WO2019116644A1 - 内視鏡システムおよび制御方法 - Google Patents

内視鏡システムおよび制御方法 Download PDF

Info

Publication number
WO2019116644A1
WO2019116644A1 PCT/JP2018/032421 JP2018032421W WO2019116644A1 WO 2019116644 A1 WO2019116644 A1 WO 2019116644A1 JP 2018032421 W JP2018032421 W JP 2018032421W WO 2019116644 A1 WO2019116644 A1 WO 2019116644A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
terminal device
voice command
processor
endoscope
Prior art date
Application number
PCT/JP2018/032421
Other languages
English (en)
French (fr)
Inventor
順一 田代
秀之 釘宮
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2019116644A1 publication Critical patent/WO2019116644A1/ja
Priority to US16/896,633 priority Critical patent/US10993608B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172—Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting

Definitions

  • the present invention relates to an endoscope system and control method for inserting an endoscope into a subject and displaying image data obtained by imaging the inside of the subject.
  • the present invention has been made in view of the above, and it is an object of the present invention to provide an endoscope system and a control method capable of preventing an erroneous operation even when a plurality of voice input units are used. Do.
  • an endoscope system performs image processing on endoscope image data acquired by an endoscope that observes the inside of a subject, A first voice command input instructing driving of any one of the plurality of peripheral devices based on voice data generated by the voice input unit that can be connected to a plurality of peripheral devices and receives voice input
  • a processor that can receive, a terminal device that can wirelessly communicate with the processor, and can receive an input of a second voice command that instructs driving of any one of the plurality of peripheral devices by voice;
  • the first voice command that can be accepted by the processor and the terminal device receives the first voice command when the terminal device can communicate with the terminal device
  • At least a portion of the command content for the second voice command that can be characterized in that it comprises a setting unit that sets differently.
  • the processor when the processor and the terminal device can communicate, the processor can input the first voice command and the second voice command from the terminal device.
  • a drive control unit for driving any one of the plurality of peripheral devices based on the priority voice command selected by the selection unit. It is characterized by
  • an acquiring unit for acquiring operator identification information for identifying an operator of the endoscope, each of a plurality of the operator identification information, and the plurality And a recording unit for recording in association with a level at which each operation of the peripheral device is permitted, in association with the first voice command and the second voice command from the terminal device by the processor.
  • the priority voice command is selected based on the level of the operator acquired by the acquisition unit and the level of the user who uses the terminal device.
  • the terminal system further includes a system controller connected to each of the processor and the plurality of peripheral devices to control driving of the plurality of peripheral devices.
  • an authentication unit that authenticates whether the user of the terminal device is a registered user registered in advance, the processor may execute the plurality of processing based on the first voice command or the second voice command.
  • the terminal system further includes a system controller connected to each of the processor and the plurality of peripheral devices to control driving of the plurality of peripheral devices.
  • An authentication unit that authenticates whether or not the user of the terminal device is a registered user registered in advance; and the setting unit, wherein the setting unit is the user authenticated by the authentication unit.
  • setting the plurality of peripheral devices operable by the second voice command through the system controller based on the level assigned to the plurality of peripheral devices.
  • the endoscope image data is transmitted to the terminal.
  • the communication control unit may further include a communication control unit that transmits to the device.
  • the processor associates the tag information related to the content of the first voice command or the second voice command with the endoscope image data to be the terminal
  • the communication control unit may further include a communication control unit that transmits to the device.
  • the terminal device further comprises a display unit capable of displaying an image, and a display control unit controlling a display mode of the display unit, the display
  • the control unit is characterized in that an endoscope image corresponding to the endoscope image data is displayed on the display unit for each tag information.
  • the endoscope system further includes a server connected to the terminal device and the processor via a network and recording related image data related to the endoscope image
  • the terminal device further includes a communication control unit that acquires the related image data recorded by the server based on the tag information, and the display control unit relates to the endoscopic image and the related image data. An image is displayed on the display unit.
  • the terminal device records the second voice command received by the terminal device and the endoscope image data in the recording unit in association with each other. And a recording control unit.
  • the terminal device associates the authentication result of the authentication unit, the tag information regarding the content of the second voice command, and the endoscope image data.
  • the communication control unit may further include a communication control unit that transmits to a server connected to the network.
  • the first voice command is constituted by a command capable of operating all of the plurality of peripheral devices
  • the second voice command is direct to surgery. It is characterized by comprising commands capable of operating peripheral devices not related to.
  • image processing is performed on endoscope image data acquired by an endoscope that observes the inside of a subject, and connection settings can be made to a plurality of peripheral devices.
  • a processor having a setting unit, a terminal device capable of wirelessly communicating with the processor, and capable of receiving an input of a voice command instructing the driving of any one of the plurality of peripheral devices by voice; And a system controller connected to each of the plurality of peripheral devices to control driving of the plurality of peripheral devices, and in the terminal device, whether the user of the terminal device is a registered user registered in advance
  • An authentication unit that authenticates whether or not the system control unit is configured to perform the system control based on the level assigned to the user authenticated by the authentication unit; Through and sets the plurality of peripheral devices operable by the voice command.
  • control method image processing is performed on endoscope image data acquired by an endoscope that observes the inside of a subject, and connection to a plurality of peripheral devices is possible.
  • a processor capable of receiving an input of a first voice command instructing driving of any one of the plurality of peripheral devices based on voice data generated by a voice input unit receiving an input, and wirelessly communicating with the processor
  • a control method executed by an endoscope system comprising: a terminal device capable of receiving an input of a second voice command instructing voice driving of any one of the plurality of peripheral devices.
  • the processor and the terminal device can communicate with each other, the first voice command that can be received by the processor is received by the terminal device.
  • said second voice command that can be attached characterized in that it comprises a setting step of at least partially be set differently.
  • FIG. 1 is a block diagram showing a functional configuration of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the terminal apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing an outline of processing executed by the processor according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing an outline of the connection process of FIG.
  • FIG. 5 is a flowchart showing an outline of the speech input unit processing of FIG.
  • FIG. 6 is a flowchart showing an outline of the terminal device processing of FIG.
  • FIG. 7 is a flowchart showing an outline of processing performed by the terminal device according to Embodiment 1 of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the terminal apparatus according to Embodiment 1 of the present invention.
  • FIG. 8 is a flowchart showing an outline of the authentication process of FIG.
  • FIG. 9 is a flowchart showing an outline of the connection process of FIG.
  • FIG. 10 is a block diagram showing a functional configuration of an endoscope system according to a second embodiment of the present invention.
  • FIG. 11 is a block diagram showing a functional configuration of a terminal apparatus according to Embodiment 2 of the present invention.
  • FIG. 12 is a flowchart showing an outline of processing executed by the processor according to the second embodiment of the present invention.
  • FIG. 13 is a flowchart showing an outline of the authentication process performed by the terminal device according to Embodiment 2 of the present invention.
  • an endoscope system including an endoscope for imaging a body cavity of a subject such as a patient and displaying an image is taken as an example. explain. Further, the present invention is not limited by the embodiment. Furthermore, in the description of the drawings, the same parts are given the same reference numerals.
  • FIG. 1 is a block diagram showing a functional configuration of an endoscope system according to a first embodiment of the present invention.
  • a medical worker including at least a doctor performs endoscopic surgery, endoscopic examination or endoscopic treatment on a subject such as a patient in an operating room 100 in a hospital. It is used when doing.
  • the endoscope system 1 includes an endoscope 2, a processor 3, a wireless unit 4, a terminal device 5, a display device 6, a system controller 7, a voice input unit 8, an ultrasound device 9,
  • the belly device 10, the electric scalpel device 11, the printer 12, the room light 13, the electric operating table 14, and the wireless power feeding device 15 are provided.
  • the endoscope 2 is inserted into a subject.
  • the endoscope 2 is configured using a rigid endoscope or a flexible endoscope.
  • the endoscope 2 emits illumination light to the inside of the subject under the control of the processor 3, and images an area inside the subject irradiated with the illumination light to generate endoscope image data.
  • the generated endoscopic image data is output to the processor 3.
  • the endoscope 2 includes an imaging element 21 that images the inside of a subject to generate image data.
  • the imaging device 21 is configured using an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), an A / D conversion circuit, or the like.
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the endoscope 2 is communicably connected to the processor 3 bi-directionally by wire or wirelessly.
  • the endoscope image data generated by the endoscope 2 may be wirelessly transmitted to the endoscope image data may be sequentially transmitted to the processor 3 via the wireless unit 4 described later, or via the network N100.
  • the endoscope image data may be sequentially transmitted to the server 200 installed in the hospital outside the operating room 100.
  • the processor 3 controls the endoscope 2 and performs predetermined image processing on endoscope image data sequentially input from the endoscope 2 and sequentially outputs the image data to the display device 6 and a plurality of peripheral devices Can be connected, and can receive an input of a first voice command instructing driving of any of a plurality of peripheral devices based on voice data generated by the voice input unit 8 that receives voice input.
  • the first voice command is configured of a command capable of operating all of the plurality of peripheral devices.
  • the processor 3 includes a video processing unit 31, a communication unit 32, a recording unit 33, an operation unit 34, an acquisition unit 35, and a processor control unit 36.
  • the image processing unit 31 performs predetermined image processing on endoscope image data input from the endoscope 2 and outputs the processed image data to the display device 6.
  • the predetermined image processing includes synchronization processing, demosaicing processing (when the imaging device 21 has a Bayer arrangement), white balance adjustment processing, ⁇ correction processing, saturation adjustment processing, format conversion processing, and the like.
  • the video processing unit 31 is configured using a field programmable gate array (FPGA), an application specific integrated circuit (ASIC), a graphics processing unit (GPU), and the like.
  • the communication unit 32 is configured using a communication module, and bidirectionally communicates with the terminal device 5 according to a predetermined communication standard. Further, the communication unit 32 bidirectionally communicates with the server 200 installed in the hospital via the wireless unit 4 or the terminal device 5 or the network N100.
  • a predetermined communication standard Wi-Fi (Wireless Fidelity) (registered trademark) communication, Bluetooth (registered trademark) communication, Bluetooth Low Energy (registered trademark) communication (hereinafter referred to simply as "BLE communication"), etc. is there.
  • the station connects to a wireless network established by the access point It becomes a relationship.
  • the wireless unit 4 which is an access point establishes a wireless network and broadcasts its own network identifier (SSID).
  • the communication unit 32 of the processor 3 which is a station searches for a broadcasted network identifier (SSID), and connects to a desired network (access point). Since a network with many devices is assumed, the coverage is wide, and strict identification steps will be taken while considering the problem of interference. For this reason, connection establishment may take time.
  • data communication can transmit and receive data at the timing of each access point and station.
  • the communication unit 32 may employ communication using 4G wireless.
  • the communication unit 32 performs communication using 3G wireless, communication using 5G wireless, WiMAX (Worldwide Interoperability for Microwave Access (registered trademark) communication, infrared data communication (IrDA (Infrared Data Association) (registered trademark)), etc.
  • WiMAX Worldwide Interoperability for Microwave Access (registered trademark) communication
  • IrDA Infrared Data Association
  • Other communications may be employed.
  • the recording unit 33 records various programs executed by the processor 3, data being processed, endoscopic image data, and the like.
  • the recording unit 33 is configured using a flash memory, a synchronous dynamic random access memory (SDRAM), a memory card, a solid state drive (SSD), and the like.
  • the recording unit 33 stores an authentication information recording unit 331 that records the device address of the device that has authenticated mutual wireless communication and connection determination information, and a processor IP address recording unit 332 that records a processor IP address that identifies the processor 3.
  • a voice command information recording unit 333 for recording a template for recognizing the control content of the voice command based on the voice data generated by the voice input unit 8.
  • the authentication information recording unit 331 permits each operation of each of a plurality of operator identification information (hereinafter referred to as “operator ID”) for identifying the operator of the endoscope 2 and each of a plurality of peripheral devices. Correspond to the level and record it.
  • operator ID operator identification information
  • the operation unit 34 receives input of various information related to the endoscope system 1, and outputs the received information to the processor control unit 36.
  • the operation unit 34 is configured using, for example, a switch, a button, a touch panel, and the like.
  • the operation unit 34 receives an input of an operator ID identifying an operator who performs treatment on a subject, and outputs the operator ID to the processor control unit 36.
  • the acquisition unit 35 acquires the operator ID provided on the ID card of the operator of the endoscope 2, and outputs the operator ID to the processor control unit 36.
  • the operator ID includes the operator level indicating the level of the ID information, the post and the name.
  • the operator level is information indicating permission of operation of each of the plurality of peripheral devices for each level. For example, at the operator level of a surgeon who is an operator (operator), all operations of a plurality of peripheral devices are permitted, and at the operator level of a doctor who is an assistant, some peripheral devices such as ultrasonic devices 9. Allow operations other than the electrosurgical unit 11 and the motorized operating table 14.
  • the acquisition unit 35 is configured using, for example, an RFID reader or a communication module capable of Bluetooth communication.
  • the processor control unit 36 controls each unit of the processor 3 and each device constituting the endoscope system 1.
  • the processor control unit 36 is configured using a CPU (Central Processing Unit) or the like.
  • the processor control unit 36 includes a connection determination unit 361, a display control unit 362, a communication control unit 363, a setting unit 364, a drive control unit 365, a voice recognition unit 366, and a selection unit 367.
  • the connection determination unit 361 determines, based on the terminal IP address transmitted from the terminal device 5 and the authentication result, whether the terminal device 5 is a connection destination capable of mutual wireless communication.
  • the display control unit 362 controls the display mode of the display device 6. Specifically, the display control unit 362 causes the display device 6 to display the endoscopic image corresponding to the endoscopic image data subjected to the image processing by the video processing unit 31. Further, when the mutual wireless communication between the processor 3 and the terminal device 5 is established, the display control unit 362 causes the display device 6 to display information indicating that the processor 3 and the terminal device 5 can communicate with each other wirelessly.
  • the communication control unit 363 permits communication between the terminal device 5 and the plurality of peripheral devices based on the determination result of the connection determination unit 361 and the authentication result transmitted from the terminal device 5.
  • the setting unit 364 sets the terminal device 5 via the system controller 7 based on the level assigned to the registered user of the authentication result transmitted from the terminal device 5 and the authentication information recorded by the authentication information recording unit 331.
  • a plurality of peripheral devices operable by the second voice command receiving the input are set.
  • the setting unit 364 is configured such that the voice input unit 8 receives an input via the system controller 7 based on the operator ID acquired by the acquisition unit 35 and the authentication information recorded by the authentication information recording unit 331. Set multiple peripheral devices that can be operated by voice command.
  • the drive control unit 365 controls the system controller 7 based on a voice command recognized by the voice recognition unit 366 described later and a request signal or an operation signal input from the terminal device 5 via the communication unit 32. Control the drive of peripheral devices. Further, when the peripheral device corresponding to the second voice command input from the terminal device 5 is not set to be operable by the setting unit 364, the drive control unit 365 causes the second voice command input from the terminal device 5 to be input. Disable and do not execute control of peripheral devices.
  • the voice recognition unit 366 recognizes the content of the voice command based on the voice data input from the voice input unit 8 with reference to the voice command information recorded by the voice command information recording unit 333. Specifically, the voice recognition unit 366 performs well-known pattern matching on voice data using a template indicating a waveform for each voice command included in the voice command information recorded by the voice command information recording unit 333. The controller recognizes the content of a voice command (first voice command) indicating the drive or control content of any of the plurality of peripheral devices, and outputs the recognition result to the drive control unit 365.
  • the voice recognition unit 366 recognizes and identifies the operator who has input the voice to the voice input unit 8 based on the voice data, based on the voiceprint or the feature amount of the operator ID registered in advance. It is also good. Furthermore, the voice recognition unit 366 may recognize the content of the voice command for the voice data transmitted from the terminal device 5 via the communication unit 32.
  • the selection unit 367 is prioritized. Select the preferred voice command. Specifically, when the processor 3 receives the input of the first voice command and the second voice command from the terminal device 5, the selection unit 367 uses the level of the operator and the terminal device 5 acquired by the acquisition unit 35. Based on the user's level, the priority voice command to be prioritized is selected from the first voice command and the second voice command.
  • the wireless unit 4 is connected to the server 200 via the network N100, and is communicably connected to the processor 3 and the terminal 5 bi-directionally according to a predetermined communication standard.
  • the wireless unit 4 employs Wi-Fi communication.
  • the wireless unit 4 is installed on the periphery of the processor 3, a wall surface in the operating room 100, or the like.
  • the terminal device 5 bi-directionally communicates with the processor 3 according to a predetermined communication standard, and receives and displays the case image data from the server 200 via the endoscope image data generated by the endoscope 2 and the wireless unit 4 Do.
  • the terminal device 5 can receive the input of the second voice command instructing the drive of any one of the plurality of peripheral devices by voice.
  • the second voice command is configured of a command capable of operating peripheral devices not directly related to the operation. The detailed configuration of the terminal device 5 will be described later.
  • the display device 6 displays an image corresponding to the image data input from the video processing unit 31 and various information of the endoscope system 1 under the control of the display control unit 362.
  • the display device 6 is configured using a display monitor of liquid crystal or organic EL (Electro Luminescence), a speaker that externally outputs sound, or the like.
  • the system controller 7 is connected to the processor 3 by wire or wirelessly, and according to an instruction signal input from the processor 3, the voice input unit 8, the ultrasonic device 9, the insufflation device 10, the electrosurgical device 11, the printer 12, the room light 13.
  • the electric operating table 14 and the wireless power feeder 15 are individually controlled.
  • the system controller 7 is connected to each peripheral device by wire or wirelessly.
  • the system controller 7 is configured using a CPU, a flash memory, and the like.
  • the voice input unit 8 picks up a voice emitted from a sound source or a speaker, converts it into an analog voice signal (electric signal), and converts the voice signal into an A / D signal. Conversion processing and gain adjustment processing are performed to generate digital audio data, which is output to the processor 3 through the system controller 7.
  • the voice input unit 8 is configured using any one microphone of a unidirectional microphone, a nondirectional microphone, and a bidirectional microphone, an A / D conversion circuit, a signal processing circuit, and the like.
  • the voice input unit 8 is attached to the operator of the endoscope.
  • the voice input unit 8 may be provided in the operating room 100 as well as the operator, or may be attached to a nurse or an assistant other than the operator.
  • the number of voice input units 8 need not be one, and may be changed as appropriate. For example, the number may be the same as the number of medical workers present in the operating room 100 including the operator.
  • the ultrasound apparatus 9 is connected to the endoscope 2 and transmits and receives ultrasound via an ultrasound transducer provided at the tip of the endoscope 2 under the control of the system controller 7. In addition, the ultrasound apparatus 9 outputs ultrasound image data based on ultrasound received via the endoscope 2 to the system controller 7. The ultrasound apparatus 9 may generate ultrasound image data of the subject via a dedicated ultrasound probe.
  • the insufflation apparatus 10 delivers insufflation gas such as carbon dioxide into the subject.
  • the electric knife device 11 drives the electric knife by applying a predetermined voltage to the electric knife under the control of the system controller 7.
  • the printer 12 outputs an image corresponding to the image data input from the processor 3 under the control of the system controller 7.
  • a plurality of room lights 13 are provided in the operating room 100, and project light from the subject or the operating room 100 at a predetermined illuminance under the control of the system controller 7.
  • the room light 13 is configured using an LED (Light Emitting Diode) lamp, a light adjustment switch, and the like.
  • the electrically operated operating table 14 changes the position and posture of the subject by moving the operating table in the vertical direction and the horizontal direction under the control of the system controller 7.
  • the electrically operated operating table 14 is configured using a vertically and horizontally movable operating table and a drive unit such as a motor for driving the operating table.
  • the wireless power feeding device 15 wirelessly feeds power to the terminal device 5 under the control of the system controller 7.
  • the wireless power supply device 15 is configured using any one of an electromagnetic induction method, a magnetic field resonance method, an electrolytic coupling method, and a radio wave transmission and reception method.
  • the server 200 is installed in a hospital outside the operating room 100, associates and records endoscopic image data transmitted from the processor 3 or the terminal device 5 via the network N100 with a patient ID for identifying a patient.
  • server 200 receives an image request signal for requesting case image data and endoscopic image data via network N 100 or wireless unit 4, the case image is sent to processor 3 or terminal device 5 that issued the image request signal.
  • the endoscopic image data includes moving image data and still image data (captured image data).
  • FIG. 2 is a block diagram showing a functional configuration of the terminal device 5.
  • the terminal device 5 shown in FIG. 2 includes a battery unit 50, a communication unit 51, an imaging unit 52, a fingerprint information detection unit 53, a voice input unit 54, a display unit 55, a recording unit 56, and an operation unit 57. And a terminal control unit 58.
  • the battery unit 50 includes a battery 501 for supplying power to each unit constituting the terminal device 5, and a receiving unit 502 for receiving the electromagnetic wave fed from the wireless power supply device 15, converting it into a current and supplying it to the battery 501.
  • a battery 501 for supplying power to each unit constituting the terminal device 5
  • a receiving unit 502 for receiving the electromagnetic wave fed from the wireless power supply device 15, converting it into a current and supplying it to the battery 501.
  • the communication unit 51 is configured using a communication module, and bidirectionally communicates with the processor 3 in accordance with a predetermined communication standard.
  • the communication unit 51 bidirectionally communicates with the server 200 via the wireless unit 4 and the in-hospital network N100.
  • Wi-Fi communication is assumed as the predetermined communication standard.
  • the communication unit 51 may adopt communication using 4G wireless.
  • the communication unit 51 may adopt other communication such as Bluetooth communication, BLE communication, communication using 3G wireless, communication using 5G wireless, WiMAX communication, infrared communication, and the like.
  • the imaging unit 52 images a user of the terminal device 5 to generate image data, and outputs the image data to the terminal control unit 58.
  • the imaging unit 52 is configured using an image sensor such as a CCD or a CMOS, an A / D conversion process, an image processing engine realized using an FPGA or a GPU, or the like.
  • the imaging unit 52 is provided with an infrared lamp capable of emitting infrared light and an image sensor provided with a pixel capable of capturing infrared light emitted by the infrared lamp, whereby the user's face surface is provided. You may make it acquire the unevenness of.
  • the fingerprint information detection unit 53 detects fingerprint information of the finger of the user touched from the outside, and outputs the detection result to the terminal control unit 58.
  • the fingerprint information detection unit 53 is configured using a fingerprint sensor.
  • the fingerprint information detection unit 53 may be, for example, a slide type other than the press type. Of course, the fingerprint information detection unit 53 may detect the vein of the user in addition to the fingerprint.
  • the voice input unit 54 picks up the voice emitted from the sound source or the speaker and converts it into an analog voice signal (electric signal). D-conversion processing and gain adjustment processing are performed to generate digital audio data and output to the terminal control unit 58.
  • the voice input unit 54 is configured using a microphone of any one of a unidirectional microphone, a nondirectional microphone and a bidirectional microphone, an A / D conversion circuit, a signal processing circuit, and the like.
  • the display unit 55 displays the image data and various information input from the terminal control unit 58.
  • the display unit 55 is configured using a display panel such as a liquid crystal or an organic EL.
  • the recording unit 56 records various programs executed by the terminal device 5, data being processed, image data, and the like.
  • the recording unit 56 is configured using a flash memory, an SSD, a memory card, and the like. Further, the recording unit 56 controls the voice command based on the authentication information recording unit 561, the terminal IP address recording unit 562 for recording the terminal IP address for identifying the terminal 5, and the voice data input from the voice input unit 54. And a voice command information recording unit 563 for recording a template for recognizing contents.
  • the operation unit 57 receives an input of an instruction signal according to an operation from the user.
  • the operation unit 57 is configured using a touch panel, a button, a switch, and the like.
  • the terminal control unit 58 centrally controls the units that constitute the terminal device 5.
  • the terminal control unit 58 also analyzes the voice data input from the voice input unit 54, generates a voice command based on the analysis result, and transmits the voice command to the processor 3.
  • the terminal control unit 58 is configured using a CPU or the like.
  • the terminal control unit 58 includes a connection determination unit 581, an authentication unit 582, a communication control unit 583, a display control unit 584, a recording control unit 585, an imaging control unit 586, and a voice recognition unit 587.
  • the connection determination unit 581 determines, based on the authentication information received by the communication unit 51 from the processor 3, whether the processor 3 is a connection destination capable of mutual wireless communication.
  • the authentication unit 582 authenticates whether the user of the terminal device 5 is a registered user registered in advance. Specifically, the authentication unit 582 performs authentication by acquiring one or more of a face image of the user of the terminal device 5, biometric information of the user, and gesture information of the user. For example, the authentication unit 582 determines whether the feature of the user's face image shown in the image corresponding to the image data generated by the imaging unit 52 matches the feature of the registered user's face recorded by the recording unit 56 or not. judge.
  • Communication control unit 583 permits mutual wireless communication between processor 3 and terminal device 5 or mutual wireless communication between network N 100 and terminal device 5 based on the determination result of connection determination unit 581 and the authentication result of authentication unit 582. .
  • the display control unit 584 controls the display mode of the display unit 55. Specifically, the display control unit 584 causes the display unit 55 to display the endoscopic image corresponding to the endoscopic image data and the case image corresponding to the case image data in a comparable manner.
  • the recording control unit 585 associates the patient round-trip time included in the schedule information acquired by the communication control unit 583 with the endoscopic image data and causes the recording unit 56 to record.
  • the imaging control unit 586 validates the imaging function of the imaging unit 52 by the user of the terminal device 5 when the authentication unit 582 authenticates the user as a registered user.
  • the voice recognition unit 587 recognizes the content of the voice command based on the voice data input from the voice input unit 54 with reference to the voice command information recorded by the voice command information recording unit 563. Specifically, the voice recognition unit 587 performs well-known pattern matching on voice data using a template indicating a waveform for each voice command included in the voice command information recorded by the voice command information recording unit 563. Recognizes the content of the voice command indicating the drive or control content of any of the plurality of peripheral devices, and outputs the recognition result to the communication control unit 583.
  • FIG. 3 is a flowchart showing an outline of processing executed by the processor 3.
  • the processor 3 executes a connection process for making a connection for bi-directional communication with the terminal device 5 (step S101). After step S101, the processor 3 proceeds to step S102 described later.
  • FIG. 4 is a flowchart showing an outline of connection processing.
  • the communication control unit 363 transmits a processor IP address (SSID) and authentication information to the terminal device 5 via the communication unit 32 (step S201).
  • the authentication information is information for requesting an authentication result of the authentication unit 582 functioning as a password for performing the inter-wireless communication of the terminal device 5.
  • step S202: Yes when the terminal IP address and the authentication result authenticated by the authentication unit 582 are received from the terminal device 5 via the communication unit 32 (step S202: Yes), the processor 3 proceeds to step S203 described later.
  • step S202: No when the terminal IP address and the authentication result authenticated by the authentication unit 582 have not been received from the terminal device 5 via the communication unit 32 (step S202: No), the processor 3 proceeds to step S205 described later. Do.
  • step S203 the connection determination unit 361 determines whether the terminal device 5 is a connection destination capable of mutual wireless communication, based on the terminal IP address received by the communication unit 32 and the authentication result authenticated by the authentication unit 582. (Step S203). Specifically, the connection determination unit 361 determines whether the terminal IP address received by the communication unit 32, the authentication result authenticated by the authentication unit 582, and the authentication information recorded by the authentication information recording unit 331 match. When they match, it is determined that the terminal device 5 is a connection destination capable of mutual wireless communication, while when they do not match, it is determined that the terminal device 5 is not a connection destination capable of mutual wireless communication.
  • step S203: Yes the processor 3 proceeds to step S204 described later.
  • step S203: No the processor 3 proceeds to step S205 described later.
  • step S204 the communication control unit 363 connects the processor 3 and the terminal device 5 so as to allow mutual communication.
  • the processor 3 is in a state capable of communicating with the terminal device 5.
  • the display control unit 362 may cause the display device 6 to display that mutual wireless communication between the processor 3 and the terminal device 5 is possible. That is, the display control unit 362 functions as a notification unit.
  • the processor 3 returns to the main routine of FIG.
  • step S205 the display control unit 362 causes the display device 6 to display a warning that the terminal device 5 is not a connection destination capable of mutual wireless communication.
  • the display control unit 362 causes the display device 6 to display a warning that the terminal device 5 is not a connection destination capable of mutual wireless communication, for example, connection where the terminal device 5 can mutually wirelessly communicate with a speaker (not shown) You may alert
  • the processor 3 returns to the main routine of FIG.
  • step S102 when the processor 3 and the terminal device 5 are in the mutual communication state (step S102: Yes), the acquisition unit 35 acquires the operator ID (step S103).
  • the setting unit 364 transmits the voice input unit via the system controller 7 based on the operator ID level acquired by the acquisition unit 35 and the level assigned to the registered user of the authentication result received from the terminal device 5.
  • a communication connection with each of a plurality of peripheral devices that can be operated by the voice command received by each of 8 and the terminal device 5 is set (step S104). Specifically, when the operator ID level and the level of the registered user are at the doctor level, setting unit 364 sets peripheral devices operable via terminal device 5 to be operable by all peripheral devices.
  • peripheral devices operable through the terminal device 5 are set to predetermined peripheral devices only, eg peripheral devices not related to surgery, more specifically Sets the printer 12, the room light 13, the wireless power feeding device 15 and the like to be operable.
  • the setting unit 364 may set peripheral devices that can be operated by the voice input unit 8 and the terminal device 5 more finely based on the operator ID level and the level of the registered user.
  • step S105 when there is a voice command from the voice input unit 8 or the terminal device 5 (step S105: Yes), when there are a plurality of voice commands in a predetermined time (for example, 1 to 2 seconds) (step S106: Yes)
  • the selection unit 367 selects a voice command to be prioritized based on the level (step S107). Specifically, the selection unit 367 compares the operator ID level of the voice input unit 8 with the level of the registered user, and preferentially selects the voice command of the higher level.
  • step S108: Yes when a voice command is input from the voice input unit 8 (step S108: Yes), the processor 3 proceeds to step S109 described later.
  • step S108: No when the voice command is not input from the voice input unit 8 (step S108: No), the processor 3 shifts to step S110 described later.
  • step S109 the processor 3 executes an audio input unit process for driving the peripheral device in accordance with the audio command input from the audio input unit 8. After step S109, the processor 3 proceeds to step S111 described later.
  • FIG. 5 is a flowchart showing an outline of the voice input unit processing.
  • step S301 when the voice command input from the voice input unit 8 instructs recording of endoscope image data (step S301: Yes), the communication control unit 363 via the communication unit 32 The endoscope image data is transmitted to the terminal device 5 (step S302). After step S302, the processor 3 proceeds to step S303 described later.
  • step S301 when the voice command input from the voice input unit 8 does not instruct recording of endoscope image data (step S301: No), the processor 3 proceeds to step S303 described later.
  • step S303 when the peripheral device to be controlled according to the voice command input from the voice input unit 8 is the control-permitted peripheral device set by the setting unit 364 (step S303: Yes), the drive control unit 365 The peripheral device is controlled with the control content corresponding to the voice command recognized by the voice recognition unit 366 (step S304).
  • the communication control unit 363 associates the tag information related to the content of the voice command with the endoscopic image data via the communication unit 32, and transmits the tag information to the terminal device 5 (step S305).
  • the processor 3 returns to the main routine of FIG.
  • step S303 when the peripheral device to be controlled according to the voice command input from the voice input unit 8 is not the control-permitted peripheral device set by the setting unit 364 (step S303: No), the display control unit 362 selects the peripheral device. A warning that the device can not be controlled is displayed on the display device 6 (step S306). After step S306, the processor 3 returns to the main routine of FIG.
  • step S110 the processor 3 executes a terminal device process for driving the peripheral device in accordance with the voice command input from the terminal device 5. After step S110, the processor 3 proceeds to step S111 described later.
  • FIG. 6 is a flowchart showing an outline of terminal device processing.
  • step S401 when the voice command input from the terminal device 5 instructs transmission of endoscope image data (step S401: Yes), the communication control unit 363 transmits the command via the communication unit 32.
  • the endoscope image data is transmitted to the terminal device 5 (step S402).
  • step S402 the processor 3 proceeds to step S403 described later.
  • step S402 when the voice command input from the terminal device 5 does not instruct transmission of endoscope image data (step S401: No), the processor 3 shifts to step S403 described later.
  • step S403 when the peripheral device to be controlled according to the voice command input from the terminal device 5 is the peripheral device of the control permission set by the setting unit 364 (step S403: Yes), the drive control unit 365 The peripheral device is controlled with the control content corresponding to the voice command recognized by the recognition unit 366 (step S404).
  • the communication control unit 363 associates the tag information related to the content of the voice command with the endoscopic image data via the communication unit 32, and transmits the tag information to the terminal device 5 (step S405).
  • the processor 3 returns to the main routine of FIG.
  • step S403 when the peripheral device to be controlled according to the voice command input from the terminal device 5 is not the peripheral device of the control permission set by the setting unit 364 (step S403: No), the communication control unit 363 A control disable signal indicating that the peripheral device can not be operated is transmitted to the terminal device 5 through 32 (step S406). After step S406, the processor 3 returns to the main routine of FIG.
  • step S111 when the instruction signal instructing the end is input from the operation unit 34 or the terminal device 5 (step S111: Yes), the processor 3 proceeds to step S112 described later.
  • step S111: No when the instruction
  • step S102 No
  • the processor 3 ends the present process.
  • step S105 when there is no voice command from the voice input unit 8 or the terminal device 5 (step S105: No), the processor 3 shifts to step S111.
  • step S106 when there are not a plurality of voice commands within the predetermined time (step S106: No), the processor 3 shifts to step S108.
  • step S112 the communication control unit 363 records the terminal IP address of the terminal device 5 in the recording unit 33. Thereby, when the terminal device 5 is powered on in the operating room 100, the communication state between the processor 3 and the terminal device 5 can be immediately connected. After step S112, the processor 3 ends the present process.
  • FIG. 7 is a flowchart showing an outline of the process performed by the terminal device 5.
  • the terminal device 5 executes an authentication process to authenticate the user of the terminal device 5 whether or not the user is the registered user who can operate the terminal device 5 (Step S701). After step S701, the terminal device 5 proceeds to step S702 described later.
  • FIG. 8 is a flowchart showing an outline of the authentication process.
  • the authentication unit 582 acquires user information of the terminal device 5 (step S801). Specifically, the authentication unit 582 includes image data obtained by imaging the user of the terminal device 5 by the imaging unit 52, fingerprint information of the user detected by the fingerprint information detection unit 53, and voice data generated by the voice input unit 54. One of them is acquired from any one of the imaging unit 52, the fingerprint information detection unit 53, and the voice input unit 54.
  • the authentication unit 582 determines whether the user is a registered user based on the user information of the terminal device 5 and the authentication information recorded by the authentication information recording unit 561 (step S802). Specifically, based on the image data generated by the imaging unit 52 and the authentication information recorded by the authentication information recording unit 561, the authentication unit 582 authenticates whether the user is a registered user. More specifically, the authentication unit 582 uses the feature points of the user's face captured in the image corresponding to the image data generated by the imaging unit 52 and the registered use included in the authentication information recorded by the authentication information recording unit 561.
  • the authentication unit 582 authenticates whether the user is a registered user based on the fingerprint information detected by the fingerprint information detection unit 53 and the authentication information recorded by the authentication information recording unit 561. More specifically, the authentication unit 582 is characterized by the feature point of the fingerprint information of the user detected by the fingerprint information detection unit 53 and the feature of the fingerprint information of the registered user included in the authentication information recorded by the authentication information recording unit 561.
  • the authentication unit 582 authenticates whether the user is a registered user, based on the voice data generated by the voice input unit 54 and the authentication information recorded by the authentication information recording unit 561. More specifically, the authentication unit 582 includes the feature points of the voiceprint of the voice data generated by the voice input unit 54 and the feature points of the voiceprint of the registered user included in the authentication information recorded by the authentication information recording unit 561.
  • the authentication unit 582 indicates that the user's gesture information captured in the image corresponding to the image data generated by the imaging unit 52 and the gesture information included in the authentication information recorded by the authentication information recording unit 561 have a predetermined coincidence. If the degree of coincidence is the predetermined degree of coincidence, the user is authenticated as a registered user. If the degree of coincidence is not the predetermined degree of coincidence, the person is authenticated as not a registered user.
  • the gesture information is, for example, the number of blinks of the user's eyes, the shape of the mouth, the movement of the face, the movement of the hand, and the like.
  • the display control unit 584 causes the display unit 55 to display a GUI or the like that can receive an input of the user's operation (step S804).
  • the display control unit 584 may notify the user that the use of the terminal device 5 is permitted using a speaker or the like (not shown). Good. That is, the display control unit 584 functions as a notification unit that notifies that mutual wireless communication between the processor 3 and the terminal device 5 or mutual wireless communication between the network N 100 and the terminal device 5 is possible.
  • the terminal device 5 returns to the main routine of FIG. 7 described above.
  • step S802 when the authentication unit 582 determines that the user of the terminal device 5 is not a registered user (step S802: No), the authentication unit 582 prohibits the user from using the terminal device 5 (step S802). Step S805).
  • the display control unit 584 hides the display unit 55 or displays a warning on the display unit 55 (step S806).
  • the display control unit 584 hides the display unit 55 or displays a warning on the display unit 55, the warning may be output using a speaker or the like (not shown).
  • the terminal device 5 returns to the main routine of FIG. 7 described above.
  • step S702 the terminal device 5 executes connection processing for performing connection for bidirectional communication with the processor 3 (step S702). After step S702, the terminal device 5 proceeds to step S703 described later.
  • FIG. 9 is a flowchart showing details of the connection process.
  • the connection determination unit 581 determines whether or not the processor IP address (SSID) and the authentication information have been received from the processor 3 via the communication unit 51 (step S901).
  • the authentication information is information for requesting an authentication result of the authentication unit 582 functioning as a password for performing mutual wireless communication with the processor 3.
  • the display control unit 584 may cause the display unit 55 to display information related to the processor IP address. In this case, the user may select a desired address via the operation unit 57 when the display unit 55 displays a plurality of addresses.
  • step S901: Yes If it is determined by the connection determination unit 581 that the processor IP address and the authentication information have been received from the processor 3 via the communication unit 51 (step S901: Yes), the terminal device 5 proceeds to step S902 described later. On the other hand, when the connection determination unit 581 determines that the processor IP address and the authentication information are not received from the processor 3 via the communication unit 51 (step S901: No), the terminal device 5 performs this determination. It is performed every predetermined time (for example, every 10 seconds).
  • the communication control unit 583 causes the communication unit 51 to transmit the terminal IP address recorded by the terminal IP address recording unit 562 recorded by the recording unit 56 and the authentication result authenticated by the authentication unit 582 to the processor 3 (Ste S902).
  • the communication control unit 583 transmits the terminal IP address and the authentication result to the communication unit 51 to the access point (the SSID of the processor 3 or the SSID of the wireless unit 4) previously selected by the user via the operation unit 57.
  • the access point is the processor 3 or the wireless unit 4 in the first embodiment
  • the terminal device 5 may be the access point.
  • the communication control unit 583 may transmit a terminal IP address (SSID) indicating that the terminal device 5 exists within a predetermined range, for example, a communication range of Wi-Fi, via the communication unit 51.
  • SSID terminal IP address
  • step S903 the connection determination unit 581 determines whether the processor IP address received by the communication unit 51 is a connection destination that can mutually communicate with the terminal device 5 (step S903). Specifically, the connection determination unit 581 determines whether or not the processor IP address (SSID) is selected by the user via the operation unit 57. When it is determined by the connection determination unit 581 that the processor IP address received by the communication unit 51 is a connection destination capable of mutual communication with the terminal device 5 (step S903: Yes), the terminal device 5 proceeds to step S904 described later Do.
  • SSID processor IP address
  • step S903 when it is determined by the connection determination unit 581 that the processor IP address received by the communication unit 51 is not a connection destination capable of mutual communication with the terminal device 5 (step S903: No), the terminal device 5 will be described later It transfers to step S906.
  • step S904 the communication control unit 583 communicably connects the processor 3 and the terminal device 5. As a result, the terminal device 5 can communicate with the processor 3.
  • the display control unit 584 causes the display unit 55 to display a connection completion indicating that the connection with the processor 3 is completed (step S905).
  • the terminal device 5 returns to the main routine of FIG.
  • the display control unit 584 causes the display unit 55 to display the connection completion
  • the display control unit 584 is not limited to this, and for example, even when the connection with the processor 3 is output using a speaker (not shown) is output Alternatively, a notification may be generated by driving a vibration unit (not shown) such as a motor.
  • step S 906 the display control unit 584 causes the display unit 55 to display connection impossibility that connection with the processor 3 can not be made. As a result, the user can intuitively understand that connection with the processor 3 can not be made.
  • step S906 the terminal device 5 returns to the main routine of FIG.
  • step S703 when the terminal device 5 and the processor 3 are in the mutual communication state (step S703: Yes), the terminal device 5 proceeds to step S704 described later. On the other hand, when the terminal device 5 and the processor 3 are not in the mutual communication state (step S703: No), the terminal device 5 ends the present process.
  • step S704 when the voice command is input from the voice input unit 54 (step S704: Yes), the communication control unit 583 transmits the voice command input from the voice input unit 54 to the processor 3 via the communication unit 51. (Step S705). After step S705, the terminal device 5 proceeds to step S706 described later. On the other hand, when the voice command is not input from the voice input unit 54 (step S704: No), the terminal device 5 ends the present process.
  • step S706 when endoscopic image data is received from the processor 3 (step S706: Yes), when tag information relating to the control content of the voice command is received from the processor 3 (step S707: Yes), the recording control unit 585 The endoscope image data and the tag information related to the control content of the voice command are correlated and recorded in the recording unit 56 (step S 708).
  • the communication control unit 583 acquires related image data from the server 200 via the communication unit 51 and the network N100 based on the tag information received from the processor 3 (step S709).
  • the related image data is image data related to tag information, for example, case image data such as endoscopic image data obtained by imaging another subject after execution of a voice command.
  • the recording control unit 585 may cause the recording unit 56 to record the related image data acquired by the communication control unit 583 in association with the tag information and the endoscope image data.
  • the display control unit 584 causes the display unit 55 to display the endoscope image corresponding to the endoscope image data and the related image data corresponding to the related image data (step S710).
  • the display control unit 584 causes endoscope images corresponding to the endoscope image data in chronological order. Make it update sequentially.
  • the display control unit 584 causes the display unit 55 to display the endoscopic image and the related image so that they can be compared.
  • the display control unit 584 causes the display unit 55 to display the endoscope image and the related image in parallel and displays the related image reduced at a predetermined ratio on the endoscope image. An endoscopic image reduced at a predetermined ratio may be superimposed and displayed on the related image.
  • the communication control unit 583 associates the endoscope image data, the tag information, and the authentication result of the authentication unit 582 via the communication unit 51 and the network N100, and transmits them to the server 200 (step S711). .
  • the terminal device 5 proceeds to step S713 described later.
  • step S706 when the endoscope image data is not received from the processor 3 (step S706: No), the terminal device 5 proceeds to step S713 described later.
  • step S707 when the tag information related to the control content of the voice command is not received from the processor 3 (step S707: No), the recording control unit 585 records the endoscope image data received from the processor 3 in the recording unit 56. (Step S712). After step S712, the terminal device 5 proceeds to step S713 described later.
  • step S713 when an instruction signal for ending the operation of the endoscope system 1 is input from the operation unit 57 while communicating with the processor 3 (step S713: Yes), the terminal device 5 proceeds to step S714 described later. Do. On the other hand, when the instruction signal for ending the operation of the endoscope system 1 is not input while communicating with the processor 3 from the operation unit 57 (step S713: No), the terminal device 5 performs the above-described step S704.
  • step S714 the recording control unit 585 records the processor IP address of the processor 3 in the recording unit 56. After step S714, the terminal device 5 ends the present process.
  • the setting unit 364 can receive the first voice command that can be received by the processor 3 and the terminal device 5 Since the content of at least a part of the second voice command is different from that of the second voice command, it is possible to prevent a malfunction as the endoscope system 1.
  • the processor 3 and the terminal device 5 can communicate, when the processor 3 receives the input of the first voice command and the second voice command from the terminal device 5, Since the selection unit 367 selects the prioritized voice command, even if a plurality of voice commands are input, malfunction can be prevented.
  • the processor 3 when the processor 3 receives the input of the first voice command and the input of the second voice command from the terminal device 5, the endoscope acquired by the acquisition unit 35 by the selection unit 367 Since the priority voice command to be prioritized is selected based on the level 2 of the operator and the level of the user using the terminal device 5, malfunction can be reliably prevented.
  • the terminal device 5 can be operated by the second voice command based on the level assigned to the user of the terminal device 5 whose setting unit 364 has been authenticated by the authentication unit 582 It is possible to prevent the peripheral devices from being operated by mistake.
  • the communication control unit 363 transmits an endoscope to the terminal device 5. Since the image data is transmitted to the communication unit 32, the operator can confirm the situation at the time of the operation of the subject such as the patient on the terminal device 5.
  • the communication control unit 363 associates the tag information related to the content of the first voice command or the second voice command with the endoscopic image data, and transmits it to the terminal device 5.
  • the endoscope image data can be easily searched using the tag information after the operation of the subject.
  • display control unit 584 displays an endoscope image corresponding to endoscope image data for each tag information related to the content of the first voice command or the second voice command. As a result, the list of endoscopic image groups linked for each tag information can be confirmed.
  • the communication control unit 583 acquires related image data recorded by the server 200 based on the tag information, and the display control unit 584 acquires the endoscopic image and the related image. Since the information is displayed on the display unit 55, browsing can be performed while comparing the endoscopic image and the related image.
  • the communication control unit 583 associates the authentication result of the authentication unit 582, the tag information regarding the content of the second voice command, and the endoscopic image data, and is connected to the network N100. Since the information is transmitted to the server 200, the endoscope image data can be easily searched using the tag information after the operation of the subject.
  • the processor 3 side sets peripheral devices that can be operated by the voice command based on the level of the registered user of the terminal device 5, but in the second embodiment, the terminal device side Set the peripheral devices that can be operated by voice commands based on the level of the registered user.
  • symbol is attached
  • FIG. 10 is a block diagram showing a functional configuration of an endoscope system according to a second embodiment of the present invention.
  • An endoscope system 1a shown in FIG. 1 includes a processor 3a and a terminal device 5a in place of the processor 3 and the terminal device 5 of the endoscope system 1 according to the first embodiment described above.
  • the processor 3a includes a processor control unit 36a in place of the processor control unit 36 of the processor 3 according to the first embodiment described above.
  • the processor control unit 36a includes a setting unit 364a in place of the setting unit 364 of the processor control unit 36 according to the first embodiment described above.
  • the setting unit 364a is a first voice command received by the voice input unit 8 via the system controller 7 based on the operator ID acquired by the acquisition unit 35 and the authentication information recorded by the authentication information recording unit 331. Set multiple peripheral devices that can be operated by.
  • FIG. 11 is a block diagram showing a functional configuration of the terminal device 5a.
  • the terminal device 5a shown in FIG. 5 includes a terminal control unit 58a in place of the terminal control unit 58 of the terminal device 5 according to the first embodiment described above.
  • the terminal control unit 58a further includes a setting unit 588 in addition to the configuration of the terminal control unit 58 according to the above-described first embodiment.
  • the setting unit 588 can be operated by the second voice command via the system controller 7 based on the level assigned to the registered user of the authentication result of the authentication unit 582 and the authentication information recorded by the authentication information recording unit 331. Set multiple peripheral devices.
  • FIG. 12 is a flowchart showing an outline of processing executed by the processor 3a.
  • the processor 3a executes the same process as the process described in the first embodiment described above, and executes step S104a instead of step S104. Thus, step S104a will be described below.
  • step S104a the setting unit 364a sets the plurality of peripheral devices operable by the voice command received by the voice input unit 8 via the system controller 7 based on the operator ID level acquired by the acquisition unit 35. Set up a communication connection with each other.
  • the processor 3a proceeds to step S105.
  • the terminal device 5a executes the same processing as the terminal device 5 according to the first embodiment described above, and only the authentication processing is different. Therefore, in the following, an authentication process performed by the terminal device 5a will be described.
  • FIG. 13 is a flowchart showing an outline of the authentication process performed by the terminal device 5a. Steps S901 to S903 in FIG. 13 correspond to steps S801 to S803 in FIG. 8 described above.
  • step S 904 setting unit 588 sets the second voice via system controller 7 based on the level assigned to the registered user of the authentication result of authentication unit 582 and the authentication information recorded by authentication information recording unit 331. Each of a plurality of peripheral devices operable by the command is set.
  • the display control unit 584 causes the display unit 55 to display a GUI or the like of a peripheral device operable by the voice command set by the setting unit 588 (step S905).
  • the terminal device 5a returns to the main routine of FIG. 7 described above.
  • Steps S906 and S907 correspond to steps S805 and S806 in FIG. 8 described above, respectively.
  • the terminal device 5a After step S907, the terminal device 5a returns to the main routine of FIG. 7 described above.
  • the second voice command is issued via the system controller 7 based on the level assigned to the user of the terminal 5 a whose setting unit 588 has been authenticated by the authentication unit 582. Since a plurality of operable peripheral devices can be set by the above, erroneous operations can be prevented.
  • the processor is provided with the light source device, but may be formed separately.
  • the endoscope system is used.
  • a capsule endoscope, a video microscope for imaging an object, a mobile phone having an imaging function, and a tablet type having an imaging function Even a terminal can be applied.
  • the endoscope system is provided with a medical endoscope.
  • the present invention can be applied to an endoscope system provided with an industrial endoscope. it can.
  • the “unit” described above can be read as “means”, “circuit” or the like.
  • the control unit can be read as control means or a control circuit.
  • the program to be executed in the embodiment of the present invention is file data of an installable format or an executable format, such as CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), USB
  • the program is provided by being recorded on a computer-readable recording medium such as a medium or a flash memory.
  • the program to be executed in the embodiment of the present invention may be stored on a computer connected to a network such as the Internet, and may be provided by being downloaded via the network. Furthermore, the program to be executed by the embodiment of the present invention may be provided or distributed via a network such as the Internet.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)

Abstract

複数の音声入力部を用いた場合であっても、誤操作を防止することができる内視鏡システムおよび制御方法を提供する。内視鏡システム（１）は、複数の周辺機器のいずれかの駆動を指示する第１音声コマンドの入力を受け付け可能なプロセッサ（３）と、プロセッサ（３）に対して無線で通信可能であるとともに、音声によって複数の周辺機器のいずれかの駆動を指示する第２音声コマンドの入力を受け付け可能な端末装置（５）と、プロセッサ（３）と端末装置（５）とが通信可能な場合において、プロセッサ（３）において受け付け可能な第１音声コマンドおよび端末装置（５）において受け付け可能な第２音声コマンドについて少なくとも一部のコマンド内容を異なるように設定する設定部（３６４）と、を備える。

Description

内視鏡システムおよび制御方法
　本発明は、被検体内に内視鏡を挿入して該被検体の体内を撮像した画像データを表示する内視鏡システムおよび制御方法に関する。
　近年、内視鏡システムにおいて、音声入力によって複数の電子機器を制御する技術が知られている（特許文献１参照）。この技術では、音声入力部によって入力された音声コマンドに基づき電子機器の制御を実行する際に、実行の承認要求を告知することによって、音声入力による誤操作を防止する。
特開２００２－３３６１８４号公報
　しかしながら、上述した特許文献１では、複数の音声入力部を用いた内視鏡システムが考慮されていないため、複数の音声入力手段の各々から互いに異なる音声コマンドがあった場合、誤認識してしまうことで、誤動作してしまうという問題点があった。
　本発明は、上記に鑑みてなされたものであって、複数の音声入力部を用いた場合であっても、誤操作を防止することができる内視鏡システムおよび制御方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る内視鏡システムは、被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続可能であり、音声の入力を受け付ける音声入力部によって生成された音声データに基づいて、前記複数の周辺機器のいずれかの駆動を指示する第１音声コマンドの入力を受け付け可能なプロセッサと、前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する第２音声コマンドの入力を受け付け可能な端末装置と、前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサにおいて受け付け可能な前記第１音声コマンドおよび前記端末装置において受け付け可能な前記第２音声コマンドについて少なくとも一部のコマンド内容が異なるように設定する設定部と、を備えることを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサが前記第１音声コマンドおよび前記端末装置から前記第２音声コマンドの入力を受け付けたとき、優先する優先音声コマンドを選択する選択部と、前記選択部が選択した前記優先音声コマンドに基づいて、前記複数の周辺機器のいずれかを駆動する駆動制御部と、をさらに備えることを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記内視鏡の操作者を識別する操作者識別情報を取得する取得部と、複数の前記操作者識別情報の各々と、前記複数の周辺機器の各々の操作を許可するレベルとを対応付けて記録する記録部と、をさらに備え、前記選択部は、前記プロセッサが前記第１音声コマンドおよび前記端末装置から前記第２音声コマンドの入力を受け付けたとき、前記取得部が取得した前記操作者のレベルと前記端末装置を使用する使用者のレベルとに基づいて、前記優先音声コマンドを選択することを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラをさらに備え、前記端末装置は、前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部をさらに備え、前記プロセッサは、前記第１音声コマンドまたは前記第２音声コマンドに基づいて、前記複数の周辺機器のいずれかを駆動する駆動制御部と、前記設定部と、を備え、前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記端末装置が前記第２音声コマンドによって操作可能な前記複数の周辺機器を設定し、前記駆動制御部は、前記端末装置から入力された前記第２音声コマンドに対応する前記周辺機器が前記設定部によって操作可能に設定されていない場合、前記端末装置から入力された前記第２音声コマンドを無効とすることを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラをさらに備え、前記端末装置は、前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部と、前記設定部と、を備え、前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記第２音声コマンドによって操作可能な前記複数の周辺機器を設定することを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記第１音声コマンドまたは前記第２音声コマンドが前記内視鏡画像データの記録を指示する場合、前記内視鏡画像データを前記端末装置へ送信する通信制御部をさらに備えることを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記プロセッサは、前記第１音声コマンドまたは前記第２音声コマンドの内容に関するタグ情報と前記内視鏡画像データとを対応付けて前記端末装置へ送信する通信制御部をさらに備えることを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、画像を表示可能な表示部と、前記表示部の表示態様を制御する表示制御部と、をさらに備え、前記表示制御部は、前記タグ情報毎に前記内視鏡画像データに対応する内視鏡画像を前記表示部に表示させることを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、ネットワークを介して前記端末装置および前記プロセッサに接続され、前記内視鏡画像に関連する関連画像データを記録するサーバをさらに備え、前記端末装置は、前記タグ情報に基づいて、前記サーバが記録する前記関連画像データを取得する通信制御部をさらに備え、前記表示制御部は、前記内視鏡画像と前記関連画像データに対応する関連画像とを前記表示部に表示させることを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、前記端末装置が入力を受け付けた前記第２音声コマンドと前記内視鏡画像データとを対応付けて記録部に記録する記録制御部をさらに備えることを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、前記認証部の認証結果と前記第２音声コマンドの内容に関するタグ情報と前記内視鏡画像データとを対応付けてネットワークに接続されたサーバに送信する通信制御部をさらに備えることを特徴とする。
　また、本発明に係る内視鏡システムは、上記発明において、前記第１音声コマンドは、前記複数の周辺機器の全てを操作可能なコマンドにより構成され、前記第２音声コマンドは、手術に直接的に関係しない周辺機器を操作可能なコマンドにより構成されることを特徴とする。
　また、本発明に係る内視鏡システムは、被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続設定が可能な設定部を有するプロセッサと、前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する音声コマンドの入力を受け付け可能な端末装置と、前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラと、を備え、前記端末装置は、当該端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部を備え、前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記音声コマンドによって操作可能な前記複数の周辺機器を設定することを特徴とする。
　また、本発明に係る制御方法は、被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続可能であり、音声の入力を受け付ける音声入力部によって生成された音声データに基づいて、前記複数の周辺機器のいずれかの駆動を指示する第１音声コマンドの入力を受け付け可能なプロセッサと、前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する第２音声コマンドの入力を受け付け可能な端末装置と、を備えた内視鏡システムが実行する制御方法であって、前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサにおいて受け付け可能な前記第１音声コマンドと、前記端末装置において受け付け可能な前記第２音声コマンドとを、少なくとも一部が異なるように設定する設定ステップを含むことを特徴とする。
　本発明によれば、複数の音声入力部を用いた場合であっても、誤動作を防止することができるという効果を奏する。
図１は、本発明の実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る端末装置の機能構成を示すブロック図である。 図３は、本発明の実施の形態１に係るプロセッサが実行する処理の概要を示すフローチャートである。 図４は、図３の接続処理の概要を示すフローチャートである。 図５は、図３の音声入力部処理の概要を示すフローチャートである。 図６は、図３の端末装置処理の概要を示すフローチャートである。 図７は、本発明の実施の形態１に係る端末装置が実行する処理の概要を示すフローチャートである。 図８は、図７の認証処理の概要を示すフローチャートである。 図９は、図７の接続処理の概要を示すフローチャートである。 図１０は、本発明の実施の形態２に係る内視鏡システムの機能構成を示すブロック図である。 図１１は、本発明の実施の形態２に係る端末装置の機能構成を示すブロック図である。 図１２は、本発明の実施の形態２に係るプロセッサが実行する処理の概要を示すフローチャートである。 図１３は、本発明の実施の形態２に係る端末装置が実行する認証処理の概要を示すフローチャートである。
　以下、本発明を実施するための形態（以下、「実施の形態」という）として、患者等の被検体の体腔内を撮像して画像を表示する内視鏡を備える内視鏡システムを例に説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。
（実施の形態１）
　〔内視鏡システムの構成〕
　図１は、本発明の実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。図１に示す内視鏡システム１は、病院内の手術室１００内において、少なくとも医者を含む医療従事者が患者等の被検体に内視鏡外科手術、内視鏡検査または内視鏡治療を行う際に用いられる。内視鏡システム１は、内視鏡２と、プロセッサ３と、ワイヤレスユニット４と、端末装置５と、表示装置６と、システムコントローラ７と、音声入力部８と、超音波装置９と、気腹装置１０と、電気メス装置１１と、プリンタ１２と、ルームライト１３と、電動手術台１４と、無線給電装置１５と、を備える。
　まず、内視鏡２の構成について説明する。内視鏡２は、被検体に挿入される。内視鏡２は、硬性内視鏡または軟性内視鏡を用いて構成される。内視鏡２は、プロセッサ３の制御のもと、被検体内に対して照明光を照射するとともに、照明光が照射された被検体内の領域を撮像して内視鏡画像データを生成し、この生成した内視鏡画像データをプロセッサ３へ出力する。内視鏡２は、被検体内を撮像して画像データを生成する撮像素子２１を備える。撮像素子２１は、ＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）のイメージセンサやＡ／Ｄ変換回路等を用いて構成される。なお、内視鏡２は、有線または無線によってプロセッサ３に双方向に通信可能に接続される。また、内視鏡２が生成した内視鏡画像データを無線によって送信する場合、後述するワイヤレスユニット４を介してプロセッサ３に内視鏡画像データを順次送信してもよいし、ネットワークＮ１００を介して手術室１００外の院内に設置されたサーバ２００に内視鏡画像データを順次送信してもよい。
　次に、プロセッサ３の構成について説明する。プロセッサ３は、内視鏡２を制御するとともに、内視鏡２から順次入力された内視鏡画像データに対して所定の画像処理を行って表示装置６へ順次出力するとともに、複数の周辺機器に対して接続可能であり、音声の入力を受け付ける音声入力部８によって生成された音声データに基づいて、複数の周辺機器のいずれかの駆動を指示する第１音声コマンドの入力を受け付け可能である。ここで、第１音声コマンドとは、複数の周辺機器の全てを操作可能なコマンドにより構成される。プロセッサ３は、映像処理部３１と、通信部３２と、記録部３３と、操作部３４と、取得部３５と、プロセッサ制御部３６と、を備える。
　映像処理部３１は、内視鏡２から入力された内視鏡画像データに対して所定の画像処理を行って表示装置６へ出力する。ここで、所定の画像処理とは、同時化処理、デモザイキング処理（撮像素子２１がベイヤー配列の場合）、ホワイトバランス調整処理、γ補正処理、彩度調整処理およびフォーマット変換処理等である。映像処理部３１は、ＦＰＧＡ（Field　Programmable　Gate　Array）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）およびＧＰＵ（Graphics　Processing　Unit）等を用いて構成される。
　通信部３２は、通信モジュールを用いて構成され、所定の通信規格に従って端末装置５と双方向に通信を行う。また、通信部３２は、ワイヤレスユニット４を介して端末装置５またはネットワークＮ１００を介して院内に設置されたサーバ２００と双方向に通信を行う。ここで、所定の通信規格としては、Ｗｉ－Ｆｉ（Wireless　Fidelity）（登録商標）通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信およびＢｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ（登録商標）通信（以下、単に「ＢＬＥ通信」という）等である。例えば、Ｗｉ-Ｆｉの場合、ローカルネットワークを想定し、機器の役割として、アクセスポイント、ステーションの関係があり、概略の接続処理としては、アクセスポイントが構築している無線ネットワークに、ステーションが接続する関係となる。大まかな接続シーケンスとしては、まず、アクセスポイントであるワイヤレスユニット４は、無線ネットワークを構築し、自分のネットワーク識別子(ＳＳＩＤ)を報知する。続いて、ステーションであるプロセッサ３の通信部３２は、報知されているネットワーク識別子(ＳＳＩＤ)を検索し、所望のネットワーク(アクセスポイント)に接続する。多くの機器とのネットワークを想定するので、カバー範囲も広く、干渉の問題を考慮しながら厳密な識別ステップを踏むことになる。このため、接続確立に時間がかかることがある。ただし、データ通信は、アクセスポイント、ステーションそれぞれのタイミングでデータの送受信が可能である。なお、通信部３２は、Ｗｉ-Ｆｉ通信以外に、４Ｇ無線を利用した通信を採用してもよい。もちろん、通信部３２は、３Ｇ無線を利用した通信、５Ｇ無線を利用した通信およびＷｉＭＡＸ（Worldwide　Interoperability　for　Microwave　Access）（登録商標）通信および赤外線通信（IrDA（Infrared　Data　Association）（登録商標））等、他の通信を採用してもよい。
　記録部３３は、プロセッサ３が実行する各種プログラム、処理中のデータおよび内視鏡画像データ等を記録する。記録部３３は、Ｆｌａｓｈメモリ、ＳＤＲＡＭ（Synchronous　Dynamic　Random　Access　Memory）、メモリカードおよびＳＳＤ（Solid　State　Drive）等を用いて構成される。また、記録部３３は、相互無線通信を認証した機器の機器アドレスと接続可否判定情報とを記録する認証情報記録部３３１と、プロセッサ３を識別するプロセッサＩＰアドレスを記録するプロセッサＩＰアドレス記録部３３２と、音声入力部８が生成した音声データに基づく音声コマンドの制御内容を認識するためのテンプレートを記録する音声コマンド情報記録部３３３と、を有する。また、認証情報記録部３３１は、内視鏡２の操作者を識別する複数の操作者識別情報（以下、「操作者ＩＤ」という）の各々と、複数の周辺機器の各々の操作を許可するレベルとを対応付けて記録する。
　操作部３４は、内視鏡システム１に関する各種情報の入力を受け付け、この受け付けた情報をプロセッサ制御部３６へ出力する。操作部３４は、例えば、スイッチ、ボタンおよびタッチパネル等を用いて構成される。また、操作部３４は、被検体に対して処置を行う術者を識別する操作者ＩＤの入力を受け付け、この操作者ＩＤをプロセッサ制御部３６へ出力する。
　取得部３５は、内視鏡２の操作者のＩＤカードに設けられた操作者ＩＤを取得し、この操作者ＩＤをプロセッサ制御部３６へ出力する。ここで、操作者ＩＤには、ＩＤ情報のレベルを示す操作者レベルおよび役職および氏名が含まれる。さらに、操作者レベルとは、レベル毎に複数の周辺機器の各々の操作の許可を示す情報である。例えば、操作者（術者）である執刀医の操作者レベルでは、複数の周辺機器の全ての操作を許可し、助手である医師の操作者レベルでは、一部の周辺機器、例えば超音波装置９、電気メス装置１１および電動手術台１４以外の操作を許可し、麻酔科医の操作者レベルでは、気腹装置１０、プリンタ１２、ルームライト１３および電動手術台１４の操作を許可し、機械出し看護師の操作者レベルでは、プリンタ１２およびルームライト１３の操作を許可し、外回り看護師の操作者レベルでは、プリンタ１２の操作を許可する。取得部３５は、例えばＲＦＩＤリーダやＢｌｕｅｔｏｏｔｈ通信可能な通信モジュールを用いて構成される。
　プロセッサ制御部３６は、プロセッサ３の各部および内視鏡システム１を構成する各装置を制御する。プロセッサ制御部３６は、ＣＰＵ（Central　Processing　Unit）等を用いて構成される。プロセッサ制御部３６は、接続判定部３６１と、表示制御部３６２と、通信制御部３６３と、設定部３６４と、駆動制御部３６５と、音声認識部３６６と、選択部３６７と、を有する。
　接続判定部３６１は、端末装置５から送信された端末ＩＰアドレスと認証結果とに基づいて、端末装置５が相互無線通信可能な接続先であるか否かを判定する。
　表示制御部３６２は、表示装置６の表示態様を制御する。具体的には、表示制御部３６２は、映像処理部３１が画像処理を施した内視鏡画像データに対応する内視鏡画像を表示装置６に表示させる。また、表示制御部３６２は、プロセッサ３と端末装置５との相互無線通信が確立された場合、プロセッサ３と端末装置５とが相互無線通信可能である旨の情報を表示装置６に表示させる。
　通信制御部３６３は、接続判定部３６１の判定結果および端末装置５から送信された認証結果に基づいて、端末装置５と複数の周辺機器との通信を許可する。
　設定部３６４は、端末装置５から送信された認証結果の登録使用者に割当てられたレベルと認証情報記録部３３１が記録する認証情報とに基づいて、システムコントローラ７を介して、端末装置５が入力を受け付けた第２音声コマンドによって操作可能な複数の周辺機器を設定する。また、設定部３６４は、取得部３５が取得した操作者ＩＤと認証情報記録部３３１が記録する認証情報とに基づいて、システムコントローラ７を介して、音声入力部８が入力を受け付けた第１音声コマンドによって操作可能な複数の周辺機器を設定する。
　駆動制御部３６５は、後述する音声認識部３６６によって認識された音声コマンド、通信部３２を介して端末装置５から入力された要求信号や操作信号に基づいて、システムコントローラ７を制御することによって、周辺機器の駆動を制御する。また、駆動制御部３６５は、端末装置５から入力された第２音声コマンドに対応する周辺機器が設定部３６４によって操作可能に設定されていない場合、端末装置５から入力された第２音声コマンドを無効とし、周辺機器の制御を実行しない。
　音声認識部３６６は、音声コマンド情報記録部３３３が記録する音声コマンド情報を参照して、音声入力部８から入力された音声データに基づく音声コマンドの内容を認識する。具体的には、音声認識部３６６は、音声コマンド情報記録部３３３が記録する音声コマンド情報に含まれる音声コマンド毎の波形を示すテンプレートを用いて、音声データに対して周知のパターンマッチングを行うことによって複数の周辺機器のいずれかの駆動や制御内容を示す音声コマンド（第１音声コマンド）の内容を認識し、この認識結果を駆動制御部３６５へ出力する。また、音声認識部３６６は、音声データに基づいて、予め登録された操作者ＩＤの声紋または特徴量に基づいて、音声入力部８に音声の入力を行った操作者を認識して特定してもよい。さらに、音声認識部３６６は、通信部３２を介して端末装置５から送信された音声データに対して音声コマンドの内容を認識してもよい。
　選択部３６７は、プロセッサ３と端末装置５とが通信可能な場合において、プロセッサ３が音声入力部８を介して第１音声コマンドおよび端末装置５から第２音声コマンドの入力を受け付けたとき、優先する優先音声コマンドを選択する。具体的には、選択部３６７は、プロセッサ３が第１音声コマンドおよび端末装置５から第２音声コマンドの入力を受け付けたとき、取得部３５が取得した操作者のレベルと端末装置５を使用する使用者のレベルとに基づいて、第１音声コマンドおよび第２音声コマンドのうち優先する優先音声コマンドを選択する。
　次に、ワイヤレスユニット４の構成について説明する。ワイヤレスユニット４は、ネットワークＮ１００を介してサーバ２００に接続されるとともに、プロセッサ３および端末装置５と所定の通信規格に従って双方向に通信可能に接続される。ワイヤレスユニット４は、Ｗｉ－Ｆｉ通信を採用している。また、ワイヤレスユニット４は、プロセッサ３の周辺や手術室１００内の壁面等に設置される。
　次に、端末装置５の構成について説明する。端末装置５は、プロセッサ３と所定の通信規格に従って双方向に通信するとともに、内視鏡２が生成した内視鏡画像データおよびワイヤレスユニット４を介してサーバ２００から症例画像データを受信して表示する。また、端末装置５は、音声によって複数の周辺機器のいずれかの駆動を指示する第２音声コマンドの入力を受け付け可能である。ここで、第２音声コマンドとは、手術に直接的に関係しない周辺機器を操作可能なコマンドにより構成される。なお、端末装置５の詳細な構成は、後述する。
　次に、表示装置６の構成について説明する。表示装置６は、表示制御部３６２の制御のもと、映像処理部３１から入力された画像データに対応する画像および内視鏡システム１の各種情報を表示する。表示装置６は、液晶または有機ＥＬ（Electro　Luminescence）の表示モニタおよび音声を外部に出力するスピーカ等を用いて構成される。
　システムコントローラ７は、プロセッサ３に有線または無線によって接続され、プロセッサ３から入力された指示信号に従って、音声入力部８、超音波装置９、気腹装置１０、電気メス装置１１、プリンタ１２、ルームライト１３、電動手術台１４および無線給電装置１５の各々を個別に制御する。以下、音声入力部８、超音波装置９、気腹装置１０、電気メス装置１１、プリンタ１２、ルームライト１３、電動手術台１４および無線給電装置１５のいずれか１つを指す場合を単に「周辺機器」という。また、システムコントローラ７は、各周辺機器と有線または無線によって接続される。システムコントローラ７は、ＣＰＵおよびＦｌａｓｈメモリ等を用いて構成される。
　音声入力部８は、システムコントローラ７の制御のもと、音源や話者から発せられた音声を収音してアナログの音声信号（電気信号）に変換し、この音声信号に対してＡ／Ｄ変換処理やゲイン調整処理を行ってデジタルの音声データを生成してシステムコントローラ７を介してプロセッサ３へ出力する。音声入力部８は、単一指向性マイク、無指向性マイクおよび双指向性マイクのいずれか１つのマイクロホン、Ａ／Ｄ変換回路および信号処理回路等を用いて構成される。また、音声入力部８は、内視鏡の操作者に装着される。もちろん、音声入力部８は、操作者以外にも、手術室１００内に設けられてもよいし、操作者以外の看護師や助手等にも装着してもよい。さらに、音声入力部８の数は、１つである必要はなく適宜変更することができ、例えば操作者を含む手術室１００内に存在する医療従事者の数だけ設けてもよい。
　超音波装置９は、内視鏡２と接続し、システムコントローラ７の制御のもと、内視鏡２の先端に設けられた超音波振動子を介して超音波を送受信する。また、超音波装置９は、内視鏡２を介して受信した超音波に基づく超音波画像データをシステムコントローラ７へ出力する。なお、超音波装置９は、専用の超音波プローブを介して被検体の超音波画像データを生成するものであってもよい。
　気腹装置１０は、システムコントローラ７の制御のもと、被検体内に気腹ガス、例えば二酸化炭素を送出する。
　電気メス装置１１は、システムコントローラ７の制御のもと、電気メスに対して所定の電圧を印加することによって電気メスを駆動する。
　プリンタ１２は、システムコントローラ７の制御のもと、プロセッサ３から入力された画像データに対応する画像を出力する。
　ルームライト１３は、手術室１００内に複数設けられ、システムコントローラ７の制御のもと、所定の照度で被検体や手術室１００を投光する。ルームライト１３は、ＬＥＤ（Light　Emitting　Diode）ランプおよび調光スイッチ等を用いて構成される。
　電動手術台１４は、被検体が手術台に配置される。電動手術台１４は、システムコントローラ７の制御のもと、手術台を垂直方向および水平方向へ移動することによって、被検体の位置や姿勢を変更する。電動手術台１４は、垂直方向および水平方向へ移動可能な手術台と、手術台を駆動するモータ等の駆動部を用いて構成される。
　無線給電装置１５は、システムコントローラ７の制御のもと、端末装置５に無線で給電する。無線給電装置１５は、電磁誘導方式、磁界共鳴方式、電解結合方式および電波送受信方式のいずれか１つを用いて構成される。
　サーバ２００は、手術室１００外の院内に設置され、ネットワークＮ１００を介してプロセッサ３または端末装置５から送信された内視鏡画像データと患者を識別する患者ＩＤとを対応付けて記録する。また、サーバ２００は、ネットワークＮ１００またはワイヤレスユニット４を介して症例画像データおよび内視鏡画像データを要求する画像要求信号を受信した場合、画像要求信号を発したプロセッサ３または端末装置５へ症例画像データおよび内視鏡画像データを送信する。なお、ここで、内視鏡画像データとは、動画データおよび静止画データ（キャプチャー画像データ）を含む。
　〔端末装置の構成〕
　次に、図１で説明した端末装置５の詳細な構成について説明する。図２は、端末装置５の機能構成を示すブロック図である。
　図２に示す端末装置５は、電池部５０と、通信部５１と、撮像部５２と、指紋情報検出部５３と、音声入力部５４と、表示部５５と、記録部５６と、操作部５７と、端末制御部５８と、を備える。
　電池部５０は、端末装置５を構成する各部に電力を供給する電池５０１と、無線給電装置１５から給電された電磁波を受信して電流に変換して電池５０１へ供給する受信部５０２と、を有する。
　通信部５１は、通信モジュールを用いて構成され、所定の通信規格に従ってプロセッサ３と双方向に通信を行う。また、通信部５１は、ワイヤレスユニット４および院内のネットワークＮ１００を介してサーバ２００と双方向に通信を行う。ここで、所定の通信規格としては、Ｗｉ－Ｆｉ通信が想定される。なお、通信部５１は、Ｗｉ-Ｆｉ通信以外に、４Ｇ無線を利用した通信を採用してもよい。もちろん、通信部５１は、Ｂｌｕｅｔｏｏｔｈ通信、ＢＬＥ通信、３Ｇ無線を利用した通信、５Ｇ無線を利用した通信およびＷｉＭＡＸ通信および赤外線通信等、他の通信を採用してもよい。
　撮像部５２は、端末制御部５８の制御のもと、端末装置５の使用者を撮像して画像データを生成し、この画像データを端末制御部５８へ出力する。撮像部５２は、ＣＣＤやＣＭＯＳ等のイメージセンサ、Ａ／Ｄ変換処理およびＦＰＧＡやＧＰＵ等を用いて実現される画像処理エンジン等を用いて構成される。なお、撮像部５２に、赤外光を照射可能な赤外ランプと、この赤外ランプが照射した赤外光を撮像可能な画素を設けたイメージセンサとを設けることによって、使用者の顔表面の凹凸を取得するようにしてもよい。
　指紋情報検出部５３は、外部からタッチされた使用者の指の指紋情報を検出し、この検出結果を端末制御部５８へ出力する。指紋情報検出部５３は、指紋センサを用いて構成される。なお、指紋情報検出部５３は、押圧式以外にも、例えばスライド式であってもよい。もちろん、指紋情報検出部５３は、指紋以外にも、使用者の静脈を検出してもよい。
　音声入力部５４は、端末制御部５８の制御のもと、音源や話者から発せられた音声を収音してアナログの音声信号（電気信号）に変換し、この音声信号に対してＡ／Ｄ変換処理やゲイン調整処理を行ってデジタルの音声データを生成して端末制御部５８へ出力する。音声入力部５４は、単一指向性マイク、無指向性マイクおよび双指向性マイクのいずれか１つのマイクロホン、Ａ／Ｄ変換回路および信号処理回路等を用いて構成される。
　表示部５５は、端末制御部５８から入力された画像データや各種情報を表示する。表示部５５は、液晶や有機ＥＬ等の表示パネルを用いて構成される。
　記録部５６は、端末装置５が実行する各種プログラム、処理中のデータおよび画像データ等を記録する。記録部５６は、Ｆｌａｓｈメモリ、ＳＳＤおよびメモリカード等を用いて構成される。また、記録部５６は、認証情報記録部５６１と、端末装置５を識別する端末ＩＰアドレスを記録する端末ＩＰアドレス記録部５６２と、音声入力部５４から入力された音声データに基づく音声コマンドの制御内容を認識するためのテンプレートを記録する音声コマンド情報記録部５６３と、を有する。
　操作部５７は、使用者からの操作に応じた指示信号の入力を受け付ける。操作部５７は、タッチパネル、ボタンおよびスイッチ等を用いて構成される。
　端末制御部５８は、端末装置５を構成する各部を統括的に制御する。また、端末制御部５８は、音声入力部５４から入力された音声データを分析し、この分析結果に基づく音声コマンドを生成してプロセッサ３へ送信する。端末制御部５８は、ＣＰＵ等を用いて構成される。端末制御部５８は、接続判定部５８１と、認証部５８２と、通信制御部５８３と、表示制御部５８４と、記録制御部５８５と、撮像制御部５８６と、音声認識部５８７と、を有する。
　接続判定部５８１は、通信部５１がプロセッサ３から受信した認証情報に基づいて、プロセッサ３が相互無線通信可能な接続先であるか否かを判定する。
　認証部５８２は、端末装置５の使用者が予め登録された登録使用者であるか否かを認証する。具体的には、認証部５８２は、端末装置５の使用者の顔画像、使用者の生体情報および使用者のジェスチャ情報のいずれか１つ以上を取得した認証を行う。例えば、認証部５８２は、撮像部５２が生成した画像データに対応する画像に写る使用者の顔画像の特徴と記録部５６が記録する登録使用者の顔の特徴とが一致するか否かを判定する。
　通信制御部５８３は、接続判定部５８１の判定結果および認証部５８２の認証結果に基づいて、プロセッサ３と端末装置５との相互無線通信またはネットワークＮ１００と端末装置５との相互無線通信を許可する。
　表示制御部５８４は、表示部５５の表示態様を制御する。具体的には、表示制御部５８４は、内視鏡画像データに対応する内視鏡画像と症例画像データに対応する症例画像とを比較可能に表示部５５に表示させる。
　記録制御部５８５は、通信制御部５８３が取得したスケジュール情報に含まれる患者回診時間と内視鏡画像データとを対応付けて記録部５６に記録させる。
　撮像制御部５８６は、認証部５８２によって使用者が登録使用者であると認証された場合、端末装置５の使用者による撮像部５２の撮像機能を有効とする。
　音声認識部５８７は、音声コマンド情報記録部５６３が記録する音声コマンド情報を参照して、音声入力部５４から入力された音声データに基づく音声コマンドの内容を認識する。具体的には、音声認識部５８７は、音声コマンド情報記録部５６３が記録する音声コマンド情報に含まれる音声コマンド毎の波形を示すテンプレートを用いて、音声データに対して周知のパターンマッチングを行うことによって複数の周辺機器のいずれかの駆動や制御内容を示す音声コマンドの内容を認識し、この認識結果を通信制御部５８３へ出力する。
　〔プロセッサの処理〕
　次に、プロセッサ３が実行する処理について説明する。図３は、プロセッサ３が実行する処理の概要を示すフローチャートである。
　図３に示すように、まず、プロセッサ３は、端末装置５と双方向に通信を行うための接続を行う接続処理を実行する（ステップＳ１０１）。ステップＳ１０１の後、プロセッサ３は、後述するステップＳ１０２へ移行する。
　〔接続処理〕
　次に、図３のステップＳ１０１で説明した接続処理の概要について説明する。図４は、接続処理の概要を示すフローチャートである。
　図４に示すように、まず、通信制御部３６３は、通信部３２を介して端末装置５にプロセッサＩＰアドレス（ＳＳＩＤ）および認証情報を送信する（ステップＳ２０１）。ここで、認証情報とは、端末装置５の相互無線通信を行うためのパスワードとして機能する認証部５８２の認証結果を要求するための情報である。
　続いて、通信部３２を介して端末装置５から端末ＩＰアドレスおよび認証部５８２が認証した認証結果を受信した場合（ステップＳ２０２：Ｙｅｓ）、プロセッサ３は、後述するステップＳ２０３へ移行する。これに対して、通信部３２を介して端末装置５から端末ＩＰアドレスおよび認証部５８２が認証した認証結果を受信していない場合（ステップＳ２０２：Ｎｏ）、プロセッサ３は、後述するステップＳ２０５へ移行する。
　ステップＳ２０３において、接続判定部３６１は、通信部３２が受信した端末ＩＰアドレスおよび認証部５８２が認証した認証結果に基づいて、端末装置５が相互無線通信可能な接続先であるか否かを判定する（ステップＳ２０３）。具体的には、接続判定部３６１は、通信部３２が受信した端末ＩＰアドレスおよび認証部５８２が認証した認証結果と認証情報記録部３３１が記録する認証情報とが一致するか否かを判定し、一致する場合、端末装置５が相互無線通信可能な接続先であると判定する一方、一致しない場合、端末装置５が相互無線通信可能な接続先でないと判定する。接続判定部３６１によって端末装置５が相互無線通信可能な接続先であると判定された場合（ステップＳ２０３：Ｙｅｓ）、プロセッサ３は、後述するステップＳ２０４へ移行する。これに対して、接続判定部３６１によって端末装置５が相互無線通信可能な接続先でないと判定された場合（ステップＳ２０３：Ｎｏ）、プロセッサ３は、後述するステップＳ２０５へ移行する。
　ステップＳ２０４において、通信制御部３６３は、プロセッサ３と端末装置５とを相互通信可能に接続する。これにより、プロセッサ３は、端末装置５と相互通信可能な状態となる。この場合、表示制御部３６２は、プロセッサ３と端末装置５との相互無線通信が可能であることを表示装置６に表示させてもよい。即ち、表示制御部３６２が報知部として機能する。ステップＳ２０４の後、プロセッサ３は、図３のメインルーチンへ戻る。
　ステップＳ２０５において、表示制御部３６２は、端末装置５が相互無線通信可能な接続先でない旨の警告を表示装置６に表示させる。なお、表示制御部３６２は、端末装置５が相互無線通信可能な接続先でない旨の警告を表示装置６に表示させていたが、例えば図示しないスピーカ等で端末装置５が相互無線通信可能な接続先でない旨の警告を報知してもよい。即ち、表示制御部３６２がプロセッサ３と端末装置５との相互無線通信が不可であることを報知する報知部として機能する。ステップＳ２０５の後、プロセッサ３は、図３のメインルーチンへ戻る。
　図３に戻り、ステップＳ１０２以降の説明を続ける。
　ステップＳ１０２において、プロセッサ３と端末装置５とが相互通信状態である場合（ステップＳ１０２：Ｙｅｓ）、取得部３５は、操作者ＩＤを取得する（ステップＳ１０３）。
　続いて、設定部３６４は、取得部３５が取得した操作者ＩＤレベルおよび端末装置５から受信した認証結果の登録使用者に割当てられたレベルに基づいて、システムコントローラ７を介して、音声入力部８および端末装置５の各々が入力を受け付けた音声コマンドによって操作可能な複数の周辺機器の各々との通信接続を設定する（ステップＳ１０４）。具体的には、設定部３６４は、操作者ＩＤレベルおよび登録使用者のレベルが医師レベルの場合、端末装置５を介して操作可能な周辺機器を全ての周辺機器で操作可能なように設定する一方、操作者ＩＤレベルおよび登録使用者のレベルが看護師レベルの場合、端末装置５を介して操作可能な周辺機器を、所定の周辺機器のみに設定、例えば手術に関係ない周辺機器、より詳しくはプリンタ１２、ルームライト１３、無線給電装置１５等を操作可能なように設定する。もちろん、設定部３６４は、操作者ＩＤレベルおよび登録使用者のレベルに基づいて、より細かく音声入力部８および端末装置５で操作可能な周辺機器を設定できるようにしてもよい。
　続いて、音声入力部８または端末装置５から音声コマンドがあった場合（ステップＳ１０５：Ｙｅｓ）において、音声コマンドが所定時間内（例えば１～２秒）に複数あったとき（ステップＳ１０６：Ｙｅｓ）、選択部３６７は、レベルに基づいて優先する音声コマンドを選択する（ステップＳ１０７）。具体的には、選択部３６７は、音声入力部８の操作者ＩＤレベルと登録使用者のレベルとを比較し、レベルが高い方の音声コマンドを優先的に選択する。
　続いて、音声コマンドが音声入力部８から入力された場合（ステップＳ１０８：Ｙｅｓ）、プロセッサ３は、後述するステップＳ１０９へ移行する。これに対して、音声コマンドが音声入力部８から入力されていない場合（ステップＳ１０８：Ｎｏ）、プロセッサ３は、後述するステップＳ１１０へ移行する。
　ステップＳ１０９において、プロセッサ３は、音声入力部８から入力された音声コマンドに応じて周辺機器を駆動する音声入力部処理を実行する。ステップＳ１０９の後、プロセッサ３は、後述するステップＳ１１１へ移行する。
　〔音声入力部処理〕
　次に、図３のステップＳ１０９で説明した音声入力部処理の概要について説明する。図５は、音声入力部処理の概要を示すフローチャートである。
　図５に示すように、まず、音声入力部８から入力された音声コマンドが内視鏡画像データの記録を指示する場合（ステップＳ３０１：Ｙｅｓ）、通信制御部３６３は、通信部３２を介して内視鏡画像データを端末装置５へ送信する（ステップＳ３０２）。ステップＳ３０２の後、プロセッサ３は、後述するステップＳ３０３へ移行する。
　ステップＳ３０１において、音声入力部８から入力された音声コマンドが内視鏡画像データの記録を指示しない場合（ステップＳ３０１：Ｎｏ）、プロセッサ３は、後述するステップＳ３０３へ移行する。
　ステップＳ３０３において、音声入力部８から入力された音声コマンドに応じて制御する周辺機器が設定部３６４によって設定された制御許可の周辺機器である場合（ステップＳ３０３：Ｙｅｓ）、駆動制御部３６５は、音声認識部３６６によって認識された音声コマンドに応じた制御内容で周辺機器を制御する（ステップＳ３０４）。
　続いて、通信制御部３６３は、通信部３２を介して、音声コマンドの内容に関するタグ情報と内視鏡画像データとを対応付けて端末装置５に送信する（ステップＳ３０５）。ステップＳ３０５の後、プロセッサ３は、図３のメインルーチンへ戻る。
　ステップＳ３０３において、音声入力部８から入力された音声コマンドに応じて制御する周辺機器が設定部３６４によって設定された制御許可の周辺機器でない場合（ステップＳ３０３：Ｎｏ）、表示制御部３６２は、周辺機器が制御不可である旨の警告を表示装置６に表示させる（ステップＳ３０６）。ステップＳ３０６の後、プロセッサ３は、図３のメインルーチンへ戻る。
　図３に戻り、ステップＳ１１０以降の説明を続ける。
　ステップＳ１１０において、プロセッサ３は、端末装置５から入力された音声コマンドに応じて周辺機器を駆動する端末装置処理を実行する。ステップＳ１１０の後、プロセッサ３は、後述するステップＳ１１１へ移行する。
　〔端末装置処理〕
　次に、図３のステップＳ１１０で説明した端末装置処理の概要について説明する。図６は、端末装置処理の概要を示すフローチャートである。
　図６に示すように、まず、端末装置５から入力された音声コマンドが内視鏡画像データの送信を指示する場合（ステップＳ４０１：Ｙｅｓ）、通信制御部３６３は、通信部３２を介して内視鏡画像データを端末装置５へ送信する（ステップＳ４０２）。ステップＳ４０２の後、プロセッサ３は、後述するステップＳ４０３へ移行する。
　ステップＳ４０２において、端末装置５から入力された音声コマンドが内視鏡画像データの送信を指示しない場合（ステップＳ４０１：Ｎｏ）、プロセッサ３は、後述するステップＳ４０３へ移行する。
　ステップＳ４０３において、端末装置５から入力された音声コマンドに応じて制御する周辺機器が設定部３６４によって設定された制御許可の周辺機器である場合（ステップＳ４０３：Ｙｅｓ）、駆動制御部３６５は、音声認識部３６６によって認識された音声コマンドに応じた制御内容で周辺機器を制御する（ステップＳ４０４）。
　続いて、通信制御部３６３は、通信部３２を介して、音声コマンドの内容に関するタグ情報と内視鏡画像データとを対応付けて端末装置５に送信する（ステップＳ４０５）。ステップＳ４０５の後、プロセッサ３は、図３のメインルーチンへ戻る。
　ステップＳ４０３において、端末装置５から入力された音声コマンドに応じて制御する周辺機器が設定部３６４によって設定された制御許可の周辺機器でない場合（ステップＳ４０３：Ｎｏ）、通信制御部３６３は、通信部３２を介して、周辺機器が操作不可であることを示す制御不可信号を端末装置５へ送信する（ステップＳ４０６）。ステップＳ４０６の後、プロセッサ３は、図３のメインルーチンへ戻る。
　図３に戻り、ステップＳ１１１以降の説明を続ける。
　ステップＳ１１１において、操作部３４または端末装置５から終了を指示する指示信号が入力された場合（ステップＳ１１１：Ｙｅｓ）、プロセッサ３は、後述するステップＳ１１２へ移行する。これに対して、操作部３４または端末装置５から終了を指示する指示信号が入力されていない場合（ステップＳ１１１：Ｎｏ）、プロセッサ３は、上述したステップＳ１０５へ戻る。
　ステップＳ１０２において、プロセッサ３と端末装置５とが相互通信状態でない場合（ステップＳ１０２：Ｎｏ）、プロセッサ３は、本処理を終了する。
　ステップＳ１０５において、音声入力部８または端末装置５から音声コマンドがなかった場合（ステップＳ１０５：Ｎｏ）、プロセッサ３は、ステップＳ１１１へ移行する。
　ステップＳ１０６において、音声コマンドが所定時間内に複数なかったとき（ステップＳ１０６：Ｎｏ）、プロセッサ３は、ステップＳ１０８へ移行する。
　ステップＳ１１２において、通信制御部３６３は、記録部３３に端末装置５の端末ＩＰアドレスを記録する。これにより、端末装置５が手術室１００内で電源が投入された場合、即座にプロセッサ３と端末装置５との通信状態を接続させることができる。ステップＳ１１２の後、プロセッサ３は、本処理を終了する。
　〔端末装置の処理〕
　次に、端末装置５が実行する処理について説明する。図７は、端末装置５が実行する処理の概要を示すフローチャートである。
　図７に示すように、まず、端末装置５は、端末装置５の使用者に対して、端末装置５を操作可能な登録使用者であるか否かの認証を行う認証処理を実行する（ステップＳ７０１）。ステップＳ７０１の後、端末装置５は、後述するステップＳ７０２へ移行する。
　〔認証処理〕
　次に、図７のステップＳ７０１で説明した認証処理の詳細について説明する。図８は、認証処理の概要を示すフローチャートである。
　図８に示すように、認証部５８２は、端末装置５の使用者情報を取得する（ステップＳ８０１）。具体的には、認証部５８２は、撮像部５２が端末装置５の使用者を撮像した画像データ、指紋情報検出部５３が検出した使用者の指紋情報および音声入力部５４が生成した音声データのいずれか１つを撮像部５２、指紋情報検出部５３および音声入力部５４のいずれか１つから取得する。
　続いて、認証部５８２は、端末装置５の使用者情報と認証情報記録部５６１が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを判定する（ステップＳ８０２）。具体的には、認証部５８２は、撮像部５２が生成した画像データと認証情報記録部５６１が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを認証する。より具体的には、認証部５８２は、撮像部５２が生成した画像データに対応する画像内に写る使用者の顔の特徴点と、認証情報記録部５６１が記録する認証情報に含まれる登録使用者の顔の特徴点とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。また、認証部５８２は、指紋情報検出部５３が検出した指紋情報と認証情報記録部５６１が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを認証する。より具体的には、認証部５８２は、指紋情報検出部５３が検出した使用者の指紋情報の特徴点と、認証情報記録部５６１が記録する認証情報に含まれる登録使用者の指紋情報の特徴点とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。さらにまた、認証部５８２は、音声入力部５４が生成した音声データと認証情報記録部５６１が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを認証する。より具体的には、認証部５８２は、音声入力部５４が生成した音声データの声紋の特徴点と、認証情報記録部５６１が記録する認証情報に含まれる登録使用者の声紋の特徴点とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。また、認証部５８２は、撮像部５２が生成した画像データに対応する画像内に写る使用者のジェスチャ情報と、認証情報記録部５６１が記録する認証情報に含まれるジェスチャ情報とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。ここで、ジェスチャ情報とは、例えば使用者の目の瞬きの回数、口の形状、顔の動作および手の動作等である。認証部５８２が端末装置５の使用者が登録使用者であると判定した場合（ステップＳ８０２：Ｙｅｓ）、認証部５８２は、端末装置５の使用を使用者に許可する（ステップＳ８０３）。
　続いて、表示制御部５８４は、使用者の操作の入力を受け付け可能なＧＵＩ等を表示部５５に表示させる（ステップＳ８０４）。なお、表示制御部５８４は、使用者の操作の入力を受け付け可能なＧＵＩ等を表示部５５に表示させていたが、図示しないスピーカ等で端末装置５の使用を許可する旨を報知してもよい。即ち、表示制御部５８４は、プロセッサ３と端末装置５との相互無線通信またはネットワークＮ１００と端末装置５との相互無線通信が可能であることを報知する報知部として機能する。ステップＳ８０４の後、端末装置５は、上述した図７のメインルーチンへ戻る。
　ステップＳ８０２において、認証部５８２が端末装置５の使用者が登録使用者でないと判定した場合（ステップＳ８０２：Ｎｏ）、認証部５８２は、端末装置５の使用を使用者に対して不可とする（ステップＳ８０５）。
　続いて、表示制御部５８４は、表示部５５を非表示または表示部５５に警告を表示させる（ステップＳ８０６）。なお、表示制御部５８４は、表示部５５を非表示または表示部５５に警告を表示させていたが、図示しないスピーカ等で警告を出力してもよい。ステップＳ８０６の後、端末装置５は、上述した図７のメインルーチンへ戻る。
　図７に戻り、ステップＳ７０２以降の説明を続ける。
　ステップＳ７０２において、端末装置５は、プロセッサ３と双方向に通信を行うための接続を行う接続処理を実行する（ステップＳ７０２）。ステップＳ７０２の後、端末装置５は、後述するステップＳ７０３へ移行する。
　〔接続処理〕
　次に、図７のステップＳ７０２で説明した接続処理の詳細について説明する。図９は、接続処理の詳細を示すフローチャートである。
　図９に示すように、まず、接続判定部５８１は、通信部５１を介してプロセッサ３からプロセッサＩＰアドレス（ＳＳＩＤ）および認証情報を受信したか否かを判定する（ステップＳ９０１）。ここで、認証情報とは、プロセッサ３との相互無線通信を行うためのパスワードとして機能する認証部５８２の認証結果を要求するための情報である。また、表示制御部５８４は、プロセッサ３からプロセッサＩＰアドレス（ＳＳＩＤ）をした場合、プロセッサＩＰアドレスに関する情報を表示部５５に表示させてもよい。この場合において、使用者は、表示部５５が複数のアドレスを表示しているとき、操作部５７を介して所望のアドレスを選択すればよい。接続判定部５８１によって通信部５１を介してプロセッサ３からプロセッサＩＰアドレスおよび認証情報を受信したと判定された場合（ステップＳ９０１：Ｙｅｓ）、端末装置５は、後述するステップＳ９０２へ移行する。これに対して、接続判定部５８１によって通信部５１を介してプロセッサ３からプロセッサＩＰアドレスおよび認証情報を受信していないと判定された場合（ステップＳ９０１：Ｎｏ）、端末装置５は、この判定を所定の時間毎（例えば１０秒毎）に行う。
　続いて、通信制御部５８３は、プロセッサ３に対して、記録部５６が記録する端末ＩＰアドレス記録部５６２が記録する端末ＩＰアドレスおよび認証部５８２が認証した認証結果を通信部５１に送信させる（ステップＳ９０２）。この場合において、通信制御部５８３は、使用者が操作部５７を介して予め選択されたアクセスポイント（プロセッサ３のＳＳＩＤまたはワイヤレスユニット４のＳＳＩＤ）に端末ＩＰアドレスおよび認証結果を通信部５１に送信させる。なお、本実施の形態１では、アクセスポイントをプロセッサ３またはワイヤレスユニット４としているが、端末装置５をアクセスポイントとしてもよい。この場合、通信制御部５８３は、通信部５１を介して所定の範囲内、例えばＷｉ－Ｆｉの通信範囲に端末装置５が存在する旨の端末ＩＰアドレス（ＳＳＩＤ）を発信してもよい。
　ステップＳ９０３において、接続判定部５８１は、通信部５１が受信したプロセッサＩＰアドレスが端末装置５と相互通信可能な接続先であるか否かを判定する（ステップＳ９０３）。具体的には、接続判定部５８１は、使用者が操作部５７を介して選択されたプロセッサＩＰアドレス（ＳＳＩＤ）であるか否かを判定する。接続判定部５８１によって通信部５１が受信したプロセッサＩＰアドレスが端末装置５と相互通信可能な接続先であると判定された場合（ステップＳ９０３：Ｙｅｓ）、端末装置５は、後述するステップＳ９０４へ移行する。これに対して、接続判定部５８１によって通信部５１が受信したプロセッサＩＰアドレスが端末装置５と相互通信可能な接続先でないと判定された場合（ステップＳ９０３：Ｎｏ）、端末装置５は、後述するステップＳ９０６へ移行する。
　ステップＳ９０４において、通信制御部５８３は、プロセッサ３と端末装置５とを相互通信可能に接続する。これにより、端末装置５は、プロセッサ３と相互通信可能な状態となる。
　続いて、表示制御部５８４は、プロセッサ３との接続が完了したことを示す接続完了を表示部５５に表示させる（ステップＳ９０５）。これにより、使用者は、プロセッサ３と相互通信可能な状態になったことを直感的に把握することができる。ステップＳ９０５の後、端末装置５は、図７のメインルーチンへ戻る。なお、表示制御部５８４は、表示部５５によって接続完了を表示させていたが、これに限定されることなく、例えばスピーカ（図示せず）によってプロセッサ３と接続が完了したことを出力してもよいし、モータ等の振動部（図示せず）を駆動させて報知するようにしてもよい。
　ステップＳ９０６において、表示制御部５８４は、プロセッサ３と接続ができない旨の接続不可を表示部５５に表示させる。これにより、使用者は、プロセッサ３と接続できない旨を直感的に把握することができる。ステップＳ９０６の後、端末装置５は、図７のメインルーチンへ戻る。
　図７に戻り、ステップＳ７０３以降の説明を続ける。
　ステップＳ７０３において、端末装置５とプロセッサ３とが相互通信状態である場合（ステップＳ７０３：Ｙｅｓ）、端末装置５は、後述するステップＳ７０４へ移行する。これに対して、端末装置５とプロセッサ３とが相互通信状態でない場合（ステップＳ７０３：Ｎｏ）、端末装置５は、本処理を終了する。
　ステップＳ７０４において、音声入力部５４から音声コマンドが入力された場合（ステップＳ７０４：Ｙｅｓ）、通信制御部５８３は、通信部５１を介して音声入力部５４から入力された音声コマンドをプロセッサ３へ送信する（ステップＳ７０５）。ステップＳ７０５の後、端末装置５は、後述するステップＳ７０６へ移行する。これに対して、音声入力部５４から音声コマンドが入力されていない場合（ステップＳ７０４：Ｎｏ）、端末装置５は、本処理を終了する。
　ステップＳ７０６において、プロセッサ３から内視鏡画像データを受信した場合（ステップＳ７０６：Ｙｅｓ）において、プロセッサ３から音声コマンドの制御内容に関するタグ情報を受信したとき（ステップＳ７０７：Ｙｅｓ）、記録制御部５８５は、内視鏡画像データと音声コマンドの制御内容に関するタグ情報とを対応付けて記録部５６に記録する（ステップＳ７０８）。
　続いて、通信制御部５８３は、プロセッサ３から受信したタグ情報に基づいて、通信部５１およびネットワークＮ１００を介して、サーバ２００から関連画像データを取得する（ステップＳ７０９）。ここで、関連画像データとは、タグ情報に関連する画像データ、例えば音声コマンドを実行後に他の被検体を撮像した内視鏡画像データ等の症例画像データである。この場合、記録制御部５８５は、通信制御部５８３が取得した関連画像データを、タグ情報と、内視鏡画像データとに対応付けて記録部５６に記録させてもよい。
　その後、表示制御部５８４は、内視鏡画像データに対応する内視鏡画像と関連画像データに対応する関連画像データとを表示部５５に表示させる（ステップＳ７１０）。この場合、表示制御部５８４は、通信部５１が受信した内視鏡画像データが順次送信される動画データであった場合、内視鏡画像データに対応する内視鏡画像を時系列に沿って順次更新させる。また、表示制御部５８４は、内視鏡画像と関連画像とを比較できるように表示部５５に表示させる。例えば、表示制御部５８４は、内視鏡画像と関連画像とを並列にして表示部５５に表示させたり、内視鏡画像上に所定の比率で縮小した関連画像を重畳して表示させたり、関連画像上に所定の比率で縮小した内視鏡画像を重畳して表示させたりしてもよい。
　続いて、通信制御部５８３は、通信部５１およびネットワークＮ１００を介して、内視鏡画像データと、タグ情報と、認証部５８２の認証結果とを対応付けてサーバ２００に送信する（ステップＳ７１１）。ステップＳ７１１の後、端末装置５は、後述するステップＳ７１３へ移行する。
　ステップＳ７０６において、プロセッサ３から内視鏡画像データを受信していない場合（ステップＳ７０６：Ｎｏ）において、端末装置５は、後述するステップＳ７１３へ移行する。
　ステップＳ７０７において、プロセッサ３から音声コマンドの制御内容に関するタグ情報を受信していないとき（ステップＳ７０７：Ｎｏ）、記録制御部５８５は、プロセッサ３から受信した内視鏡画像データを記録部５６に記録する（ステップＳ７１２）。ステップＳ７１２の後、端末装置５は、後述するステップＳ７１３へ移行する。
　ステップＳ７１３において、操作部５７からプロセッサ３と通信を行いながら内視鏡システム１の操作を終了する指示信号が入力された場合（ステップＳ７１３：Ｙｅｓ）、端末装置５は、後述するステップＳ７１４へ移行する。これに対して、操作部５７からプロセッサ３と通信を行いながら内視鏡システム１の操作を終了する指示信号が入力されていない場合（ステップＳ７１３：Ｎｏ）、端末装置５は、上述したステップＳ７０４へ戻る。
　ステップＳ７１４において、記録制御部５８５は、プロセッサ３のプロセッサＩＰアドレスを記録部５６に記録する。ステップＳ７１４の後、端末装置５は、本処理を終了する。
　以上説明した本発明の実施の形態１によれば、プロセッサ３と端末装置５とが通信可能な場合において、設定部３６４がプロセッサ３において受け付け可能な第１音声コマンドと、端末装置５において受け付け可能な第２音声コマンドとのうち少なくとも一部のコマンド内容が異なるように設定するので、内視鏡システム１としての誤動作を防止することができる。
　また、本発明の実施の形態１によれば、プロセッサ３と端末装置５とが通信可能な場合において、プロセッサ３が第１音声コマンドおよび端末装置５から第２音声コマンドの入力を受け付けたとき、選択部３６７が優先する優先音声コマンドを選択するので、複数の音声コマンドが入力された場合であっても、誤動作を防止することができる。
　また、本発明の実施の形態１によれば、プロセッサ３が第１音声コマンドおよび端末装置５から第２音声コマンドの入力を受け付けたとき、選択部３６７が取得部３５によって取得された内視鏡２の操作者のレベルと端末装置５を使用する使用者のレベルとに基づいて、優先する優先音声コマンドを選択するので、確実に誤動作を防止することができる。
　また、本発明の実施の形態１によれば、設定部３６４が認証部５８２によって認証された端末装置５の使用者に割当てられたレベルに基づいて、端末装置５が第２音声コマンドによって操作可能な複数の周辺機器を設定するので、誤って周辺機器が操作されることを防止することができる。
　また、本発明の実施の形態１によれば、第１音声コマンドまたは第２音声コマンドが内視鏡画像データの録音を指示する場合、端末装置５に対して、通信制御部３６３が内視鏡画像データを通信部３２に送信させるので、操作者が患者等の被検体の手術時の状況を端末装置５で確認することができる。
　また、本発明の実施の形態１によれば、通信制御部３６３が第１音声コマンドまたは第２音声コマンドの内容に関するタグ情報と内視鏡画像データとを対応付けて端末装置５へ送信するので、被検体の術後にタグ情報を用いて内視鏡画像データの検索を容易に行うことができる。
　また、本発明の実施の形態１によれば、表示制御部５８４が第１音声コマンドまたは第２音声コマンドの内容に関するタグ情報毎に内視鏡画像データに対応する内視鏡画像を表示部５５に表示させるので、タグ情報毎に紐付けられた内視鏡画像群の一覧を確認することができる。
　また、本発明の実施の形態１によれば、通信制御部５８３がタグ情報に基づいて、サーバ２００が記録する関連画像データを取得し、表示制御部５８４が内視鏡画像と関連画像とを表示部５５に表示させるので、内視鏡画像と関連画像とを比較しながら閲覧することができる。
　また、本発明の実施の形態１によれば、通信制御部５８３が認証部５８２の認証結果と第２音声コマンドの内容に関するタグ情報と内視鏡画像データとを対応付けてネットワークＮ１００に接続されたサーバ２００に送信するので、被検体の術後にタグ情報を用いて内視鏡画像データの検索を容易に行うことができる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。上述した実施の形態１では、プロセッサ３側で端末装置５の登録使用者のレベルに基づいて、音声コマンドで操作可能な周辺機器を設定していたが、本実施の形態２では、端末装置側で登録使用者のレベルに基づいて、音声コマンドで操作可能な周辺機器を設定する。以下においては、本実施の形態２に係る内視鏡システムの構成を説明後、プロセッサおよび端末装置の各々の処理について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
　〔内視鏡システムの構成〕
　図１０は、本発明の実施の形態２に係る内視鏡システムの機能構成を示すブロック図である。図１に示す内視鏡システム１ａは、上述した実施の形態１に係る内視鏡システム１のプロセッサ３および端末装置５に換えて、プロセッサ３ａおよび端末装置５ａを備える。
　〔プロセッサの構成〕
　プロセッサ３ａは、上述した実施の形態１に係るプロセッサ３のプロセッサ制御部３６に換えて、プロセッサ制御部３６ａを備える。プロセッサ制御部３６ａは、上述した実施の形態１に係るプロセッサ制御部３６の設定部３６４に換えて、設定部３６４ａを備える。
　設定部３６４ａは、取得部３５が取得した操作者ＩＤと認証情報記録部３３１が記録する認証情報とに基づいて、システムコントローラ７を介して、音声入力部８が入力を受け付けた第１音声コマンドによって操作可能な複数の周辺機器を設定する。
　〔端末装置の構成〕
　次に、端末装置５ａの構成について説明する。図１１は、端末装置５ａの機能構成を示すブロック図である。図５に示す端末装置５ａは、上述した実施の形態１に係る端末装置５の端末制御部５８に換えて、端末制御部５８ａを備える。また、端末制御部５８ａは、上述した実施の形態１に係る端末制御部５８の構成に加えて、設定部５８８をさらに備える。
　設定部５８８は、認証部５８２の認証結果の登録使用者に割当てられたレベルと認証情報記録部３３１が記録する認証情報とに基づいて、システムコントローラ７を介して、第２音声コマンドによって操作可能な複数の周辺機器を設定する。
　〔プロセッサの処理〕
　次に、プロセッサ３ａが実行する処理について説明する。図１２は、プロセッサ３ａが実行する処理の概要を示すフローチャートである。プロセッサ３ａは、上述した実施の形態１で説明した処理と同様の処理を実行し、ステップＳ１０４に換えて、ステップＳ１０４ａを実行する。このため、以下においては、ステップＳ１０４ａについて説明する。
　ステップＳ１０４ａにおいて、設定部３６４ａは、取得部３５が取得した操作者ＩＤレベルに基づいて、システムコントローラ７を介して、音声入力部８が入力を受け付けた音声コマンドによって操作可能な複数の周辺機器の各々との通信接続を設定する。ステップＳ１０４ａの後、プロセッサ３ａは、ステップＳ１０５へ移行する。
　〔端末装置の処理〕
　次に、端末装置５ａの処理について説明する。端末装置５ａは、上述した実施の形態１に係る端末装置５と同様の処理を実行し、認証処理のみが異なる。このため、以下においては、端末装置５ａが実行する認証処理について説明する。
　〔認証処理〕
　図１３は、端末装置５ａが実行する認証処理の概要を示すフローチャートである。図１３において、ステップＳ９０１～ステップＳ９０３は、上述した図８のステップＳ８０１～ステップＳ８０３それぞれに対応する。
　ステップＳ９０４において、設定部５８８は、認証部５８２の認証結果の登録使用者に割当てられたレベルと認証情報記録部３３１が記録する認証情報とに基づいて、システムコントローラ７を介して、第２音声コマンドによって操作可能な複数の周辺機器の各々を設定する。
　続いて、表示制御部５８４は、設定部５８８によって設定された音声コマンドによって操作可能な周辺機器のＧＵＩ等を表示部５５に表示させる（ステップＳ９０５）。ステップＳ９０５の後、端末装置５ａは、上述した図７のメインルーチンへ戻る。
　ステップＳ９０６およびステップＳ９０７は、上述した図８のステップＳ８０５およびステップＳ８０６それぞれに対応する。ステップＳ９０７の後、端末装置５ａは、上述した図７のメインルーチンへ戻る。
　以上説明した本発明の実施の形態２によれば、設定部５８８が認証部５８２によって認証された端末装置５ａの使用者に割当てられたレベルに基づいて、システムコントローラ７を介して第２音声コマンドによって操作可能な複数の周辺機器を設定するので、誤操作を防止することができる。
（その他の実施の形態）
　上述した本発明の一実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本発明の一実施の形態に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本発明の一実施の形態で説明した構成要素を適宜組み合わせてもよい。
　また、本発明の一実施の形態では、プロセッサに光源装置が設けられていたが、別体に形成してもよい。
　また、本発明の一実施の形態では、内視鏡システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
　また、本発明の一実施の形態では、医療用の内視鏡を備えた内視鏡システムであったが、工業用の内視鏡を備えた内視鏡システムであっても適用することができる。
　また、本発明の一実施の形態では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　また、本発明の一実施の形態に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）、ＵＳＢ媒体、Ｆｌａｓｈメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、本発明の一実施の形態に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明の一実施の形態に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、使用者にマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。
　以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
　１，１ａ　内視鏡システム
　２　内視鏡
　３，３ａ　プロセッサ
　４　ワイヤレスユニット
　５，５ａ　端末装置
　６　表示装置
　７　システムコントローラ
　８　音声入力部
　９　超音波装置
　１０　気腹装置
　１１　電気メス装置
　１２　プリンタ
　１３　ルームライト
　１４　電動手術台
　１５　無線給電装置
　２１　撮像素子
　３１　映像処理部
　３２　通信部
　３３　記録部
　３４　操作部
　３５　取得部
　３６，３６ａ　プロセッサ制御部
　５０　電池部
　５１　通信部
　５２　撮像部
　５３　指紋情報検出部
　５４　音声入力部
　５５　表示部
　５６　記録部
　５７　操作部
　５８，５８ａ　端末制御部
　１００　手術室
　２００　サーバ
　３３１　認証情報記録部
　３３２　プロセッサＩＰアドレス記録部
　３３３　音声コマンド情報記録部
　３６１　接続判定部
　３６２　表示制御部
　３６３　通信制御部
　３６４，３６４ａ　設定部
　３６５　駆動制御部
　３６６　音声認識部
　３６７　選択部
　５０１　電池
　５０２　受信部
　５６１　認証情報記録部
　５６２　端末ＩＰアドレス記録部
　５６３　音声コマンド情報記録部
　５８１　接続判定部
　５８２　認証部
　５８３　通信制御部
　５８４　表示制御部
　５８５　記録制御部
　５８６　撮像制御部
　５８７　音声認識部
　５８８　設定部
　Ｎ１００　ネットワーク

Claims (14)

  1. 　被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続可能であり、音声の入力を受け付ける音声入力部によって生成された音声データに基づいて、前記複数の周辺機器のいずれかの駆動を指示する第１音声コマンドの入力を受け付け可能なプロセッサと、
    　前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する第２音声コマンドの入力を受け付け可能な端末装置と、
    　前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサにおいて受け付け可能な前記第１音声コマンドおよび前記端末装置において受け付け可能な前記第２音声コマンドについて少なくとも一部のコマンド内容が異なるように設定する設定部と、
    　を備えることを特徴とする内視鏡システム。
  2. 　前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサが前記第１音声コマンドおよび前記端末装置から前記第２音声コマンドの入力を受け付けたとき、優先する優先音声コマンドを選択する選択部と、
    　前記選択部が選択した前記優先音声コマンドに基づいて、前記複数の周辺機器のいずれかを駆動する駆動制御部と、
    　をさらに備えることを特徴とする請求項１に記載の内視鏡システム。
  3. 　前記内視鏡の操作者を識別する操作者識別情報を取得する取得部と、
    　複数の前記操作者識別情報の各々と、前記複数の周辺機器の各々の操作を許可するレベルとを対応付けて記録する記録部と、
    　をさらに備え、
    　前記選択部は、前記プロセッサが前記第１音声コマンドおよび前記端末装置から前記第２音声コマンドの入力を受け付けたとき、前記取得部が取得した前記操作者のレベルと前記端末装置を使用する使用者のレベルとに基づいて、前記優先音声コマンドを選択することを特徴とする請求項２に記載の内視鏡システム。
  4. 　前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラをさらに備え、
    　前記端末装置は、
    　前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部をさらに備え、
    　前記プロセッサは、
    　前記第１音声コマンドまたは前記第２音声コマンドに基づいて、前記複数の周辺機器のいずれかを駆動する駆動制御部と、
    　前記設定部と、
    　を備え、
    　前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記端末装置が前記第２音声コマンドによって操作可能な前記複数の周辺機器を設定し、
    　前記駆動制御部は、前記端末装置から入力された前記第２音声コマンドに対応する前記周辺機器が前記設定部によって操作可能に設定されていない場合、前記端末装置から入力された前記第２音声コマンドを無効とすることを特徴とする請求項１に記載の内視鏡システム。
  5. 　前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラをさらに備え、
    　前記端末装置は、
    　前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部と、
    　前記設定部と、
    　を備え、
    　前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記第２音声コマンドによって操作可能な前記複数の周辺機器を設定することを特徴とする請求項１に記載の内視鏡システム。
  6. 　前記第１音声コマンドまたは前記第２音声コマンドが前記内視鏡画像データの記録を指示する場合、前記内視鏡画像データを前記端末装置へ送信する通信制御部をさらに備えることを特徴とする請求項１に記載の内視鏡システム。
  7. 　前記プロセッサは、
    　前記第１音声コマンドまたは前記第２音声コマンドの内容に関するタグ情報と前記内視鏡画像データとを対応付けて前記端末装置へ送信する通信制御部をさらに備えることを特徴とする請求項１に記載の内視鏡システム。
  8. 　前記端末装置は、
    　画像を表示可能な表示部と、
    　前記表示部の表示態様を制御する表示制御部と、
    　をさらに備え、
    　前記表示制御部は、前記タグ情報毎に前記内視鏡画像データに対応する内視鏡画像を前記表示部に表示させることを特徴とする請求項７に記載の内視鏡システム。
  9. 　ネットワークを介して前記端末装置および前記プロセッサに接続され、前記内視鏡画像に関連する関連画像データを記録するサーバをさらに備え、
    　前記端末装置は、
    　前記タグ情報に基づいて、前記サーバが記録する前記関連画像データを取得する通信制御部をさらに備え、
    　前記表示制御部は、前記内視鏡画像と前記関連画像データに対応する関連画像とを前記表示部に表示させることを特徴とする請求項８に記載の内視鏡システム。
  10. 　前記端末装置は、
    　前記端末装置が入力を受け付けた前記第２音声コマンドと前記内視鏡画像データとを対応付けて記録部に記録する記録制御部をさらに備えることを特徴とする請求項１に記載の内視鏡システム。
  11. 　前記端末装置は、
    　前記認証部の認証結果と前記第２音声コマンドの内容に関するタグ情報と前記内視鏡画像データとを対応付けてネットワークに接続されたサーバに送信する通信制御部をさらに備えることを特徴とする請求項４に記載の内視鏡システム。
  12. 　前記第１音声コマンドは、前記複数の周辺機器の全てを操作可能なコマンドにより構成され、
    　前記第２音声コマンドは、手術に直接的に関係しない周辺機器を操作可能なコマンドにより構成されることを特徴とする請求項１に記載の内視鏡システム。
  13. 　被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続設定が可能な設定部を有するプロセッサと、
    　前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する音声コマンドの入力を受け付け可能な端末装置と、
    　前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラと、
    　を備え、
    　前記端末装置は、
    　当該端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部を備え、
    　前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記音声コマンドによって操作可能な前記複数の周辺機器を設定することを特徴とする内視鏡システム。
  14. 　被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続可能であり、音声の入力を受け付ける音声入力部によって生成された音声データに基づいて、前記複数の周辺機器のいずれかの駆動を指示する第１音声コマンドの入力を受け付け可能なプロセッサと、前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する第２音声コマンドの入力を受け付け可能な端末装置と、を備えた内視鏡システムが実行する制御方法であって、
    　前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサにおいて受け付け可能な前記第１音声コマンドと、前記端末装置において受け付け可能な前記第２音声コマンドとを、少なくとも一部が異なるように設定する設定ステップを含むことを特徴とする制御方法。
PCT/JP2018/032421 2017-12-13 2018-08-31 内視鏡システムおよび制御方法 WO2019116644A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/896,633 US10993608B2 (en) 2017-12-13 2020-06-09 Endoscope system and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017238629 2017-12-13
JP2017-238629 2017-12-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/896,633 Continuation US10993608B2 (en) 2017-12-13 2020-06-09 Endoscope system and control method

Publications (1)

Publication Number Publication Date
WO2019116644A1 true WO2019116644A1 (ja) 2019-06-20

Family

ID=66819641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032421 WO2019116644A1 (ja) 2017-12-13 2018-08-31 内視鏡システムおよび制御方法

Country Status (2)

Country Link
US (1) US10993608B2 (ja)
WO (1) WO2019116644A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021023680A (ja) * 2019-08-07 2021-02-22 ソニー・オリンパスメディカルソリューションズ株式会社 信号処理デバイス
US20230139828A1 (en) * 2021-10-28 2023-05-04 VisOvum Ltd. Ultrasonic Endocavitary Imaging System and Method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125983A (ja) * 2000-10-19 2002-05-08 Olympus Optical Co Ltd 医療用制御システム
JP2003164464A (ja) * 2001-11-30 2003-06-10 Olympus Optical Co Ltd 医療用システム制御装置
WO2013061857A1 (ja) * 2011-10-25 2013-05-02 オリンパスメディカルシステムズ株式会社 内視鏡手術システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727066B2 (ja) 2001-05-21 2011-07-20 オリンパス株式会社 内視鏡システム
JP5452776B2 (ja) * 2011-11-07 2014-03-26 オリンパスメディカルシステムズ株式会社 撮像装置
US9324145B1 (en) * 2013-08-08 2016-04-26 Given Imaging Ltd. System and method for detection of transitions in an image stream of the gastrointestinal tract

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125983A (ja) * 2000-10-19 2002-05-08 Olympus Optical Co Ltd 医療用制御システム
JP2003164464A (ja) * 2001-11-30 2003-06-10 Olympus Optical Co Ltd 医療用システム制御装置
WO2013061857A1 (ja) * 2011-10-25 2013-05-02 オリンパスメディカルシステムズ株式会社 内視鏡手術システム

Also Published As

Publication number Publication date
US10993608B2 (en) 2021-05-04
US20200297202A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
JP5024495B1 (ja) ジェスチャ入力装置およびジェスチャ入力装置の制御方法
US10250327B2 (en) Illumination system and control method thereof
JP6211011B2 (ja) ネットワークデバイスのセンサベースの設定および制御
US20130329860A1 (en) X-ray imaging system, information processing apparatus, methods for controlling x-ray imaging system and information processing apparatus, and recording medium
EP2813065B1 (en) Camera system controlled by a tablet computer
KR101801073B1 (ko) 비접촉 제스쳐 제어 방법 및 전자 단말 장치
WO2012117570A1 (ja) ジェスチャ入力装置およびジェスチャ入力装置の制御方法
JP5326066B1 (ja) 内視鏡手術システム
JP5356633B1 (ja) 医療用内視鏡システム
CN105142322A (zh) 远程曝光控制装置、数字x射线成像系统及其曝光方法
KR20200122432A (ko) 지문 인식 장치 및 방법
US20150029350A1 (en) Imaging apparatus capable of wireless communication
WO2019116644A1 (ja) 内視鏡システムおよび制御方法
US11496468B2 (en) Endoscope system, terminal device, and control method
CN111728572B (zh) 自动化内窥镜设备控制系统
US9785131B2 (en) Device and method for contactless control of a patient table
JP5945644B1 (ja) 医療システム
US20200387590A1 (en) Endoscope system, processor, control method, and computer-readable recording medium
KR20150086807A (ko) 사물인식기반 통합 리모컨 장치 및 그 방법
CN105159099B (zh) 家用电器的控制系统和控制方法
KR20170082040A (ko) 조명시스템 및 그의 제어방법
KR102313299B1 (ko) 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
US20160085932A1 (en) Medical system
JP2004246095A (ja) 携帯電話装置及び遠隔制御方法
JP2006305155A (ja) 制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18888587

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18888587

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP