WO2022014362A1 - 医療用表示システム、制御方法、及び制御装置 - Google Patents

医療用表示システム、制御方法、及び制御装置 Download PDF

Info

Publication number
WO2022014362A1
WO2022014362A1 PCT/JP2021/025079 JP2021025079W WO2022014362A1 WO 2022014362 A1 WO2022014362 A1 WO 2022014362A1 JP 2021025079 W JP2021025079 W JP 2021025079W WO 2022014362 A1 WO2022014362 A1 WO 2022014362A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
voice
information
authority
display
Prior art date
Application number
PCT/JP2021/025079
Other languages
English (en)
French (fr)
Inventor
加奈 松浦
信二 勝木
毅 前田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/004,688 priority Critical patent/US20230248468A1/en
Priority to JP2022536254A priority patent/JPWO2022014362A1/ja
Publication of WO2022014362A1 publication Critical patent/WO2022014362A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Definitions

  • the present technology relates to a medical display system, a control method, and a control device, and more particularly to a medical display system, a control method, and a control device capable of suppressing execution of an unintended operation.
  • the operating room is zoned in clean areas and unclean areas.
  • a surgeon such as a surgeon performs an operation in a clean area.
  • the surgeon in the clean area can only operate the medical device that meets the predetermined cleanliness standard by using the hand in order to keep the hand clean.
  • Patent Document 1 it has been proposed to operate a medical device by using voice input as well.
  • This technology was made in view of such a situation, and makes it possible to suppress the execution of unintended operations.
  • the medical display system of one aspect of the present technology includes a display unit that displays information based on information output from a medical device, an imaging unit that captures at least a part of the observable area of the display unit as an imaging region, and an imaging unit.
  • the display unit includes a sound acquisition unit that acquires sound in at least an observable area, and a control unit that controls display information based on information output from the medical device, and the control unit is registered in advance.
  • the display information is controlled based on the voice of the first user or an input triggered by the voice, and the first user Is a medical display system that controls the display information based on the voice of a second user different from the first user or the input triggered by the voice when the predetermined condition is not satisfied in the imaging region. Is.
  • the control method of one aspect of the present technology is that when the medical display system controls the display information displayed on the display unit based on the information output from the medical device, the first user registered in advance When a predetermined condition is satisfied in the image pickup area imaged with the display unit as at least a part of the observable area, the voice of the first user acquired by the display unit in at least the observable area.
  • the display information is controlled based on the input triggered by the voice, and when the first user does not satisfy the predetermined condition in the imaging region, the display unit is acquired in at least an observable region. It is a control method for controlling the display information based on the voice of a second user different from the first user or the input triggered by the voice.
  • a first user registered in advance when controlling the display information displayed on the display unit based on the information output from the medical device.
  • the predetermined condition is satisfied in the imaging region imaged with the display unit as at least a part of the observable region
  • the first user who has acquired the display unit in at least the observable region.
  • the display information is controlled based on the voice or the input triggered by the voice, and when the first user does not satisfy the predetermined condition in the imaging region, the display unit is at least in an observable region.
  • the display information is controlled based on the acquired voice of a second user different from the first user or an input triggered by the voice.
  • the control device of one aspect of the present technology includes a control unit that controls the display information displayed on the display unit based on the information output from the medical device, and the control unit is a first registered in advance.
  • the control unit is a first registered in advance.
  • the first user acquired the display unit in at least the observable region.
  • the display information is controlled based on the voice of the voice or an input triggered by the voice, and when the first user does not satisfy the predetermined condition in the imaging region, at least the display unit can be observed.
  • the display information displayed on the display unit is controlled based on the information output from the medical device, and the pre-registered first user can at least display the display unit.
  • the voice of the first user acquired at least in the observable area of the display unit or the voice of the first user is used as a trigger.
  • the display information is controlled based on the input, and when the first user does not satisfy the predetermined condition in the imaging region, the display unit is acquired in at least an observable region.
  • the display information is controlled based on the voice of a second user different from the user or the input triggered by the voice.
  • the control device on one side of the present technology may be an independent device or an internal block constituting one device.
  • FIG. 1 shows a state of surgery using a medical display system according to an embodiment of the present technology.
  • the medical display system 1 is composed of a control device 10, a microscope device 20, a monitoring device 30, and a display device 40.
  • the "user” means a person who has operation authority based on voice input such as an operator.
  • the "user candidate” means any surgical staff (surgery participant) who uses the medical display system 1 including medical workers such as surgeons, assistants, nurses, and clinical engineers. .. That is, among the user candidates as surgical staff, there is a user who has an operation authority based on voice input.
  • the control device 10 is a device capable of controlling a connected device such as a medical device and integrating information output from the connected device, such as a CCU (Camera Control Unit). ..
  • the control device 10 may be connected to a network and configured to be able to communicate with an external device such as a server or a PC (Personal Computer).
  • the microscope device 20 is an electron imaging type microscope device (so-called video type microscope device).
  • the microscope device 20 takes an image of the surgical site of the patient P and outputs a signal representing the surgical field image showing the surgical field to the control device 10.
  • a medical imaging device such as an endoscope may be used instead of the microscope device 20.
  • the monitoring device 30 monitors the biological information of the patient P and generates monitoring information representing the monitoring result of the biological information.
  • the biological information of patient P includes heart rate, electrocardiogram, blood oxygen saturation, arterial pressure and the like.
  • the monitoring device 30 outputs a signal representing monitoring information to the control device 10.
  • the display device 40 is a device that displays information output from the control device 10, such as a liquid crystal display or an EL (Electro Luminescence) display.
  • the display device 40 is provided in the vicinity of the user or the user candidate, such as the wall surface of the operating room.
  • the display device 40 displays various information related to the surgery, such as the biological information, the physical information, and the surgical procedure information of the patient P, together with the surgical field image captured by the microscope device 20.
  • FIG. 2 shows an example of input / output and processing in the control device 10 of FIG.
  • signals from the microphone 50, the camera 60, and the line-of-sight detector 70 are input to the control device 10.
  • the microphone 50 is a device capable of detecting the voice of a user candidate such as an operator, for example, an array microphone.
  • the microphone 50 outputs a signal (voice signal) representing the voice emitted by the user candidate to the control device 10.
  • the camera 60 is a device that captures a user candidate such as an operator, and is, for example, an operating room camera.
  • the camera 60 outputs a signal (image signal) representing an captured image including a user candidate to the control device 10.
  • the line-of-sight detector 70 is a device that detects the line of sight of a user candidate such as an operator, and is, for example, an IR (infrared) camera.
  • the line-of-sight detector 70 outputs a signal (detection signal) representing the line of sight of the user candidate to the control device 10.
  • the microphone 50, the camera 60, and the line-of-sight detector 70 may be mounted on the display device 40, or may be configured as a single device and connected to the control device 10, respectively.
  • the configuration in which the line-of-sight detector 70 is provided as a device for detecting the line-of-sight is shown, but it is also possible to analyze the captured image captured by the camera 60 to detect the line-of-sight of the user candidate. I do not care.
  • the control device 10 acquires signals output from each of the microphone 50, the camera 60, and the line-of-sight detector 70.
  • the control device 10 controls a medical device such as a microscope device 20 or controls display information displayed on the display device 40 based on the analysis result of the acquired signal.
  • the control device 10 has a control unit 100 including a recognition unit 111, a determination unit 112, and an execution unit 113.
  • the recognition unit 111 performs predetermined recognition processing based on the signals output from each of the microphone 50, the camera 60, and the line-of-sight detector 70, and supplies the recognition result to the determination unit 112.
  • the recognition unit 111 recognizes a voice command included in the utterance of a user candidate based on the voice signal from the microphone 50. Further, the recognition unit 111 recognizes the user candidate based on the audio signal from the microphone 50 or the image signal from the camera 60. Further, the recognition unit 111 recognizes the line-of-sight position of the user candidate based on the image signal from the camera 60 or the detection signal from the line-of-sight detector 70.
  • the determination unit 112 determines whether or not a predetermined condition for the user candidate to be a user with operation authority is satisfied based on the recognition result from the recognition unit 111, and supplies the determination result to the execution unit 113. .. Predetermined conditions are determined using information acquired before the start of surgery, information acquired during surgery, and the like.
  • the execution unit 113 executes a predetermined process based on the user's voice or the input triggered by the voice.
  • the voice of the user includes a voice command issued by the user.
  • the input triggered by the voice includes the line of sight of the user when the user issues a voice command.
  • the execution unit 113 controls the display information displayed on the display device 40 as a predetermined process according to the voice command issued by the user based on the line-of-sight position of the user on the screen of the display device 40.
  • control unit 100 may be executed by an external device other than the control device 10. Further, in the control unit 100, some of the processes executed by the recognition unit 111, the determination unit 112, and the execution unit 113 may be executed by the external device.
  • the display information generated by the control device 10 is displayed on the display device 40 at the time of surgery.
  • the user performs various treatments such as excision of the affected area while observing the state of the surgical site by looking at the display information displayed on the display device 14.
  • the user can operate each device constituting the medical display system 1 by the voice and the line of sight emitted by the user when performing various treatments.
  • FIG. 3 shows an example of an operation using voice input when there are a plurality of user candidates in the operating room.
  • the display device 40 displays display information including information necessary for surgery.
  • display information a surgical field image, a reference image, monitoring information, an operation menu, and the like are displayed, and a plurality of user candidates are viewing each of the information.
  • three circles arranged in front of the screen of the display device 40 represent three user candidates U A to U C , respectively.
  • the display device 40, a microphone 50, a camera 60, and the line of sight detector 70 are mounted, it is possible to detect a speech input and line-of-sight from the user candidate U A to U C.
  • the direction of the utterance of the user candidate is represented by a dashed line
  • the direction of the line of sight is represented by a broken line.
  • a user candidate U A is to perform an operation, if the operation by a combination of voice and gaze are executed at the same time the user candidate U A issues a voice command, the operation of the line-of-sight position of the user candidate U B when recognized, the operation of the user candidate U A does not intend is caused.
  • the user candidates U A to U C are recognized by the user candidate U existing in an area where the screen of the display device 40 can be observed, in addition to the microphone 50 and the line-of-sight detector 70, which are input devices for detecting the operation.
  • the a to U C is carried out using a camera 60 capable of imaging from the screen side.
  • the microphone 50 and the line of sight detector 70 is capable of respectively detecting sound and sight of at least observable area screen of the display device 40, the three audio gaze user candidate U A to the U C has issued the Each can be detected. Further, the camera 60 can take an image of at least a part of the area where the screen of the display device 40 can be observed as an image pickup area, and in the example of FIG. 3, three user candidates U A to U C are in the image pickup area. Each exists.
  • one user who satisfies a predetermined condition is identified from among the user candidates by using the information acquired before the start of the operation and the information acquired during the operation, and another user is identified. Suppresses the execution of operations based on user candidate utterances and line-of-sight positions.
  • control unit 100 executes the processing after step S12.
  • step S12 the recognition unit 111 analyzes the voice signal from the microphone 50 and recognizes the voice command included in the utterance content of the user candidate who has input the voice.
  • step S13 the recognition unit 111 analyzes the audio signal from the microphone 50 and the image signal from the camera 60, and recognizes the user candidate who has input the audio. For example, in this recognition process, which user candidate of the preset information corresponds to the user candidate who input the voice is recognized.
  • step S14 the recognition unit 111 analyzes the detection signal from the line-of-sight detector 70 and recognizes the line-of-sight position on the screen of the display device 40 by the user candidate who has input the voice.
  • step S15 the determination unit 112 determines, based on the recognition result, whether or not the user candidate who has input the voice satisfies a predetermined condition for being a user having operation authority.
  • predetermined conditions are determined by using information acquired before the start of surgery, information acquired during surgery, and the like.
  • step S15 If it is determined in step S15 that the predetermined condition is satisfied (“Yes” in S16), the process proceeds to step S17.
  • step S17 the execution unit 113 executes a predetermined process based on the recognition result.
  • an operation is performed by a combination of voice and line of sight by a user candidate determined to satisfy a predetermined condition, that is, a user specified from a plurality of user candidates.
  • the execution unit 113 identifies the user's line of sight.
  • the area of the surgical site can be enlarged and displayed.
  • the execution unit 113 is directed by the user's line of sight. An image such as a reference image corresponding to the thumbnail image can be displayed.
  • step S14 may be skipped.
  • step S15 determines whether the predetermined condition is not satisfied (“No” in S16). If it is determined in step S15 that the predetermined condition is not satisfied (“No” in S16), the process returns to step S11, and the subsequent processes are repeated.
  • the voice of the first user or the voice of the first user is satisfied.
  • the display information displayed on the display device 40 is controlled based on the input triggered by. Further, when the first user does not satisfy a predetermined condition in the imaging region, the display information is controlled based on the voice of the second user or the input triggered by the voice.
  • the UI device that operates while looking at the display unit using the user's voice and line of sight, only one user is defined and only the operation by the user's voice and line of sight is executed.
  • the image pickup area includes an area (determination area) in which the face of the user candidate included in the image captured by the camera 60 can be determined. That is, when the above-mentioned "when the first user does not satisfy a predetermined condition in the image pickup area", “the first user does not exist in the image pickup area” and “the first user takes an image”. Both meanings of "existing in the area but not in the judgment area" are included.
  • predetermined conditions are determined based on at least one of information registered before the start of surgery, information on confirmation operation before the start of surgery, and information on a specific situation during surgery. be able to.
  • predetermined conditions for example, it is determined whether the information registered before the start of the operation matches the recognition result of the user candidate who performs the voice operation during the operation, or when the voice operation of the user candidate is performed. It is possible to determine whether the situation is appropriate as a user having operation authority, or it is possible to determine whether a user candidate exists at a predetermined position during voice operation.
  • FIG. 5 shows an example in which the user candidate is divided into the operation authority of the three categories A to C.
  • Category A corresponds to the surgeon (instruction surgeon) who is a surgeon among the surgical staff in the operating room. Since only the utterances of the user candidates (users with A authority) assigned to the authority of category A can be valid voice commands, the user with A authority basically has the operation authority. However, it is possible to temporarily transfer the operation authority, and only the user with the A authority can be replaced with the user candidate (user with the B authority) specified in the order of the B authority of the user.
  • Category B corresponds to other surgical staff who are directly involved in the surgical procedure and may operate the display device 40, such as an assistant or other surgeon or a scopist.
  • the user candidate (user with B authority) assigned to the authority of category B has an operation authority when the user with authority A is absent or cannot be operated.
  • a user with B authority can be assigned a B authority order according to a number added to "B", such as B1, B2, ..., Bn (an integer of n: 1 or more).
  • B such as B1, B2, ..., Bn (an integer of n: 1 or more).
  • the smaller the number the stronger the authority, and the B1 authority is the strongest authority.
  • the user with the highest B authority among the user candidates within the range of the imaging area can have the A authority.
  • Category C corresponds to non-surgeons such as nurses and clinical engineers among other surgical staff.
  • User candidates (users with C authority) assigned to the authority of category C do not have the operation authority by voice command.
  • information such as voiceprints and facial features of the surgery staff should be stored in a database, and such information should be divided into each category before the start of surgery. Assign. Specifically, a database such as the doctor table shown in FIG. 6 and the preoperative registration table shown in FIG. 7 is used.
  • the doctor table stores information on voiceprints and facial features for each information that identifies a doctor.
  • SDr1 and FDr1 are registered as the voiceprints and facial features of Dr.1 doctors.
  • SDrx and FDrx voiceprints and facial features are registered, respectively.
  • the preoperative registration table stores information on voiceprints and facial features for each information on the surgeon (user candidate) registered before the start of surgery. That is, in the preoperative registration table (FIG. 7), the doctor data stored in the doctor table (FIG. 6) is assigned to the surgeon data.
  • doctor Dr.3 when doctor Dr.3 is assigned as a surgeon with B1 authority, SDr3 and FDr3 as doctor data are assigned to voiceprints S (B1) and F (B1) as surgeon data.
  • SDr1 and FDr1 are assigned as voiceprints S (B2) and F (B2)
  • doctor Dr.5 is assigned to a B3 authorized surgeon. If so, SDr5 and FDr5 are assigned as voiceprints S (B3) and F (B3).
  • SDr6 and FDr6 are assigned as voiceprints S (B4) and F (B4)
  • doctor Dr.9 is assigned to a B5 authorized surgeon. If so, SDr9 and FDr9 are assigned as voiceprints S (B5) and F (B5).
  • the doctor data stored in the doctor table (FIG. 6) is assigned to the surgeon data (data of the user with B authority) stored in the preoperative registration table (FIG. 7).
  • the preoperative registration table (FIG. 7).
  • the face information and voiceprint information of the user with C authority may be registered in order to suppress the misrecognition of the user. These pieces of information can be used as information for determining the determination criteria of the user with the A authority.
  • the information in the database is referred to when the confirmation operation is performed before the start of surgery, and the surgery is performed.
  • the surgical staff who are candidate users are divided into categories A to C.
  • the user candidate is a user with A authority, B authority, or C authority.
  • This confirmation operation is performed at a predetermined timing such as a time-out time or a device operation, in addition to the time of entering the operating room for the first time.
  • information regarding the position (standing position, etc.) of the user candidate may be used.
  • Information regarding this position includes a position corresponding to the central portion of the screen of the display device 40 (for example, a substantially central portion in the width of the screen) and a position corresponding to the central portion of the angle of view of the camera 60 mounted on the display device 40.
  • Etc. are included. That is, during actual surgery, a surgeon (instructor) who is a surgeon stands in front of the screen of the display device 40, and an assistant or the like stands around it in many cases. It can be used.
  • predetermined conditions are an example, and other conditions may be set as long as the conditions are determined by using the information acquired before the start of the operation or the information acquired during the operation. .. For example, it is possible to determine whether or not the content of the procedure of the user candidate (type of surgical instrument being handled, etc.) corresponds to the content of the predetermined procedure as a predetermined condition.
  • image processing such as face recognition or bone recognition is performed using an image signal from the camera 60, or voiceprint recognition or voiceprint recognition is performed using a voice signal from the microphone 50. It is possible to perform voice processing such as voice arrival direction recognition.
  • voice processing such as voice arrival direction recognition.
  • Known techniques can be used for techniques related to face recognition and bone recognition, and techniques related to voiceprint recognition and voice arrival direction recognition.
  • FIG. 8 shows a specific example of user determination at the time of surgery.
  • FIG. 8 six circles arranged so as to surround the vicinity of the screen of the display device 40 represent user candidates, and surgical staff such as doctors are identified by the characters described in each circle.
  • surgical staff such as doctors are identified by the characters described in each circle.
  • the authority of each user candidate is indicated by the characters written in the cylinder below each circle.
  • the doctor Dr.3 to which the B1 authority is assigned, the doctor Dr.5 to which the B3 authority is assigned, and the doctor Dr.9 to which the B5 authority is assigned exist outside the imaging region.
  • the doctor Dr.1 to which the B2 authority is assigned and the doctor Dr.6 to which the B4 authority is assigned exist in the imaging region.
  • other surgical staff STs such as nurses exist in the imaging area, but have C authority assigned.
  • doctor Dr.1 utters a voice command.
  • the surgical staff in the imaging region is imaged by the camera 60.
  • three people, doctor Dr.1, doctor Dr.6, and other surgical staff ST can be identified from the facial features.
  • Dr.1 has A authority. That is, in this example, the doctor with the A authority is replaced with the doctor Dr. 1 who is the highest doctor with the B authority within the range of the imaging area among the doctors designated in the order of the B authority.
  • the utterance by the doctor Dr.1 is collected by the microphones 50-1 and 50-2 as shown by the alternate long and short dash lines L11 and L12 in the figure.
  • the voiceprint S (IN_Dr1) of the voice command obtained by analyzing this voice signal matches the voiceprint S (B2) registered in the preoperative registration table.
  • the facial feature F (IN_ST) of the surgical staff ST in the direction of voice arrival does not match the facial feature F (B2) registered in the preoperative registration table, but the facial feature F (IN_Dr1) of doctor Dr.1. Matches the facial feature F (B2) registered in the preoperative registration table.
  • a predetermined process corresponding to the voice command uttered by the doctor Dr.1 is executed based on the line-of-sight information of the doctor Dr.1 detected by the line-of-sight detector 70.
  • the broken line L22 is the line of sight of the doctor Dr. 1, and is therefore included in the visual field image to which the line of sight of the doctor Dr. 1 is directed.
  • a predetermined process is executed according to a voice command issued by Dr. 1 for a specific surgical site.
  • the recognition unit 111 recognizes the user with the highest B authority from the user candidates existing in the imaging area (S31), and considers that the recognized user with the B authority has the A authority (S32). In the example of FIG. 8, the doctor Dr.1 to whom the B2 authority is assigned existing in the imaging region has the A authority.
  • the determination unit 112 compares the voiceprint S (IN) of the input voice command with the voiceprint S (Bx) of the recognized user with B authority (S33).
  • step S35 the execution unit 113 recognizes that the user has the A authority as a voice command (S35), and executes a predetermined process according to the voice command.
  • the voice command issued by the doctor Dr. 1 is recognized as a voice command from a user with A authority, and a predetermined process is executed.
  • step S36 the execution unit 113 recognizes that the command is not a voice command by a user with A authority (S36), and determines that the voice command has not been executed. In the example of FIG. 8, it is recognized that the utterance (voice command) by the doctor Dr. 6 or another surgical staff ST is not a voice command from the user with A authority.
  • step S35 or S36 When the process of step S35 or S36 is completed, the process is terminated.
  • the recognition unit 111 recognizes the facial features of the first user candidate existing in the voice arrival direction (S51).
  • the determination unit 112 compares the face feature F (IN1) of the first user candidate with the face feature F (Bx) of the recognized user with the B authority (S52).
  • the recognized B-authority user in step S52 is the same as the B-authority user recognized as the highest B-authority user within the range of the imaging region in the process of step S31 of FIG. ..
  • the recognition unit 111 recognizes the facial features of the second user candidate existing in the voice arrival direction (S55).
  • the determination unit 112 compares the face feature F (IN2) of the second user candidate with the face feature F (Bx) of the recognized user with B authority (S56). Also here, the recognized B-authority user means the B-authority user having the highest rank within the range of the imaging region.
  • Rank information regarding rank can be set before the start of surgery, can be changed according to the situation during surgery, or can be changed by being specified by a user with specific authority (for example, a nurse).
  • step S71 to S74 the recognition result of the voice command, the recognition result of the user candidate, and the recognition result of the line-of-sight position can be obtained as in steps S11 to S14 of FIG. Further, in step S78, the determination unit 112 determines the rank of the user candidate based on the rank information. The details of the rank determination process will be described later.
  • step S75 the determination unit 112 determines whether or not a predetermined condition for being a user with operation authority is satisfied based on the recognition result and the rank determination result.
  • step S75 If it is determined in step S75 that the predetermined condition is satisfied (“Yes” in S76), the process proceeds to step S77.
  • step S77 the execution unit 113 executes a predetermined process based on the recognition result.
  • step S75 If it is determined in step S75 that the predetermined condition is not satisfied (“No” in S76), the process returns to step S71, and the subsequent processes are repeated.
  • the determination unit 112 performs rank determination of the user candidate using the rank information. For example, the following process is performed.
  • the determination unit 112 acquires the rank information set for each user candidate, and based on the rank of each user candidate, the user candidate having the highest rank among the user candidates existing in the imaging region is set as the user. judge.
  • the execution unit 113 controls the display information displayed on the display device 40 based on the voice and the line of sight of the user with the highest rank according to the determination result. For example, when the condition that the first user candidate exists in the imaging region and the rank of the first user candidate is the highest is satisfied, the operation by the voice and the line of sight of the first user candidate as a user is accepted.
  • the determination unit 112 acquires rank information regarding the rank assigned to each user candidate in advance, and determines the rank assigned to each user candidate based on information such as the confirmation operation before the start of surgery and the position of the user candidate. Adjust and make user judgment.
  • the user candidate who made a voice regarding the confirmation operation before the start of surgery can be set to the highest rank.
  • the rank is adjusted based on the position information of the user candidate. Can be done. That is, the rank of the operation authority can be updated according to the situation of the surgery, with the content of the information registered before the start of the surgery as the initial state.
  • the adjusted rank setting of the user candidate may be returned to the preset value when a predetermined operation is performed by a specific user such as pressing the reset button.
  • the first user candidate is selected from a position corresponding to the central portion of the screen of the display device 40 (for example, a substantially central portion in the width of the screen) or a position corresponding to the central portion of the angle of view of the camera 60.
  • the user determination is performed so as to accept the voice operation of the second user candidate.
  • the pre-rank of the second user candidate is lower than that of the first user candidate, the user determination is performed so as to accept the voice operation of the first user candidate.
  • the voice operation of the user candidate at the position corresponding to the central part of the screen of the display device 40 or the central part of the angle of view of the camera 60 is accepted. You may make a user judgment.
  • the determination unit 112 performs user determination with the user candidate designated by a specific user such as a nurse as the highest rank. Further, by pre-registering who the surgeon is by pre-registration, the determination unit 112 can determine who the surgeon is. For example, while there is a surgeon, limit the rank adjustment so that the rank cannot be switched.
  • the determination unit 112 uses the image recognition result using the image signal from the camera 60 and the detection signal from the line-of-sight detector 70 to be a user candidate having a surgical tool and a user candidate having an electric knife. Or, a user candidate whose time while viewing the screen of the display device 40 is longer than a predetermined time can be set to the highest rank.
  • the priority (rank) of the operation authority is determined based on preset information, but it may be changed according to the situation of surgery, so voice operation by the user more suitable for the situation can be executed. It becomes.
  • a user with A authority can temporarily transfer authority to a user with B authority.
  • a transfer of authority when a user with A authority issues a voice command for user change (hereinafter referred to as a swap command), a designated user candidate (for example, a user with B authority) is assigned.
  • the authority may be transferred.
  • control unit 100 executes the processing after step S92.
  • step S92 the recognition unit 111 analyzes the voice signal corresponding to the utterance of the user candidate who has input the voice, and recognizes the swap command included in the utterance content of the user candidate.
  • the user candidate user with B authority
  • the authority is transferred is also specified, that is also recognized.
  • step S93 the recognition unit 111 analyzes the image signal obtained by photographing the user candidate who has input the voice, and recognizes the uttered user candidate.
  • step S94 the determination unit 112 determines, based on the recognition result, whether or not the user candidate who has input the voice satisfies a predetermined condition for being a user having the A authority.
  • step S94 If it is determined in step S94 that the predetermined condition is satisfied (“Yes” in S95), the process proceeds to step S96.
  • step S96 the execution unit 113 and the user with the designated B authority (user candidate to transfer the authority) based on the B authority order of the self assigned to the user with the A authority (user candidate who input the voice). Replace. As a result, the authority is temporarily transferred to the designated user with the B authority.
  • step S94 If it is determined in step S94 that the predetermined condition is not satisfied (“No” in S95), the process returns to step S91, and the subsequent processes are repeated.
  • step S96 When the process of step S96 is completed, the process is completed.
  • the flow of authority transfer processing has been explained above.
  • control unit 100 executes the processing after step S112.
  • step S112 the recognition unit 111 analyzes the voice signal corresponding to the utterance of the user candidate who has input the voice, and recognizes the swap release command included in the utterance content of the user candidate.
  • step S113 the recognition unit 111 analyzes the image signal obtained by photographing the user candidate who has input the voice, and recognizes the uttered user candidate.
  • step S114 the determination unit 112 determines, based on the recognition result, whether or not the user candidate who has input the voice satisfies a predetermined condition for being a user having the A authority.
  • step S114 If it is determined in step S114 that the predetermined condition is satisfied (“Yes” in S115), the process proceeds to step S116.
  • step S116 the execution unit 113 restores the temporarily swapped B authority order to the designated B authority user (user candidate to whom the authority has been transferred). As a result, the delegation of authority is canceled, and the operation authority is returned from the designated user with B authority (user candidate who has transferred authority) to the user with A authority.
  • step S114 If it is determined in step S114 that the predetermined condition is not satisfied (“No” in S115), the process returns to step S111, and the subsequent processes are repeated.
  • step S116 When the process of step S116 is completed, the process is completed.
  • the flow of the authority transfer cancellation process has been explained above.
  • the operation authority can be temporarily transferred to the user candidate such as the user with the B authority, so that more flexible operation can be performed.
  • the user with C authority is a person who does not have the operation authority by voice command. It is possible to perform a user determination process on such a person who cannot surely become a user and exclude the person from the user candidates.
  • FIG. 14 is a flowchart illustrating the flow of the user exclusion process.
  • this user exclusion process is performed when the voiceprint S (IN) of the voice command is compared and determined in steps S33 and S34, and the voiceprint S (Bx) of the user with B authority is determined. ), But also the voiceprint S (C) of the user with C authority is taken into consideration so that the user with C authority is excluded from the user candidates, thereby improving the accuracy of the user determination.
  • step S131 the determination unit 112 calculates the probability P (Bx) that the voiceprint S (IN) of the voice command is the voiceprint S (Bx) of the user with B authority.
  • step S132 the determination unit 112 calculates the probability P (C) that the voiceprint S (IN) of the voice command is the voiceprint S (C) of the user with C authority.
  • step S133 the determination unit 112 compares the calculated value of the probability P (Bx) with the value of the probability P (C), and the value of the probability P (Bx) becomes equal to or higher than the value of the probability P (C). Determine if.
  • step S133 If it is determined in the determination process of step S133 that P (Bx) ⁇ P (C), the process proceeds to step S134. Then, the execution unit 113 recognizes that the command is a voice command by a user with A authority (S134), and executes a predetermined process according to the voice command.
  • step S133 If it is determined in the determination process of step S133 that P (Bx) ⁇ P (C), the process proceeds to step S135.
  • the execution unit 113 recognizes that the command is not a voice command by a user with A authority (S135), and determines that the voice command has not been executed.
  • step S134 or S135 When the process of step S134 or S135 is completed, the process is terminated.
  • the flow of user exclusion processing has been described above.
  • the user with B authority is determined when the voiceprint S (IN) of the voice command is determined in the voice correspondence process (FIG. 9) or when the face feature F (IN) is determined in the line-of-sight correspondence process (FIG. 10).
  • the voiceprint S (IN) of the voice command is determined in the voice correspondence process (FIG. 9) or when the face feature F (IN) is determined in the line-of-sight correspondence process (FIG. 10).
  • control device 10 control unit 100
  • the program executed by the control device 10 may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or when calls are made. It may be a program in which processing is performed at a necessary timing such as.
  • the above-mentioned series of processes can be executed by hardware or software.
  • the programs constituting the software are installed in a computer embedded in dedicated hardware, a general-purpose personal computer, or the like.
  • the installed program is provided by recording it on a removable recording medium consisting of an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.) or a semiconductor memory. It may also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be pre-installed in the ROM or recording section.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can take a cloud computing configuration in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a display unit that displays based on the information output from the medical device, An imaging unit that captures at least a part of the observable area of the display unit as an imaging region, A voice acquisition unit that acquires sound in an area where at least the display unit can be observed, and a sound acquisition unit. It is equipped with a control unit that controls display information based on the information output from the medical device.
  • the control unit When a pre-registered first user satisfies a predetermined condition in the imaging region, the display information is controlled based on the voice of the first user or an input triggered by the voice. When the first user does not satisfy the predetermined condition in the imaging region, the display information is controlled based on the voice of a second user different from the first user or the input triggered by the voice.
  • the control unit sets the predetermined conditions based on at least one of the information registered before the start of the operation, the information regarding the confirmation operation before the start of the operation, and the information regarding the specific situation during the operation.
  • the control unit Based on at least one of the image captured by the image pickup unit and the voice acquired by the voice acquisition unit, a user candidate including the first user and the second user is recognized.
  • the medical display system according to (2) above which determines whether or not the recognized user candidate satisfies the predetermined condition.
  • the medical display system according to (4) above wherein the information regarding the user candidate includes correspondence information in which information regarding the characteristics of the surgeon and information regarding the characteristics of the doctor are associated with each other.
  • the information regarding the confirmation operation before the start of the operation includes information regarding the operation authority consisting of a plurality of categories.
  • the operation authority category includes the first category in which the voice command is valid with the operation authority, the second category in which the voice command is valid when the operation authority is transferred, and the operation authority.
  • the medical display system according to (6) above which includes a third category that does not exist.
  • the control unit sets the priority of the operation authority for each user candidate in the above (3), (4), (6), or (8).
  • (11) The medical display system according to (10), wherein the control unit updates the priority of operation authority according to the situation of the operation, with the content of the information registered before the start of the operation as the initial state.
  • the voice-triggered input includes the line of sight of the first user or the second user when the first user or the second user issues a voice command (1) to (15).
  • the medical display system further comprising a line-of-sight detection unit that detects the line of sight of the first user or the second user existing in the imaging region.
  • the medical display system When controlling the display information displayed on the display unit based on the information output from the medical device, When the first user registered in advance satisfies a predetermined condition in the image pickup region imaged with the display unit as at least a part of the observable area, the display unit is at least in the observable area. The display information is controlled based on the acquired voice of the first user or the input triggered by the voice.
  • a control method for controlling the display information based on an input triggered by. It is equipped with a control unit that controls the display information displayed on the display unit based on the information output from the medical device.
  • the control unit When the first user registered in advance satisfies a predetermined condition in the image pickup region imaged with the display unit as at least a part of the observable area, the display unit is at least in the observable area.
  • the display information is controlled based on the acquired voice of the first user or the input triggered by the voice.
  • the voice of a second user different from the first user acquired in at least an observable area of the display unit, or the voice of the second user.
  • a control device that controls the display information based on an input triggered by.
  • 1 Medical display system 10 control device, 20 microscope device, 30 monitoring device, 40 display device (display unit), 50, 50-1, 50-2 microphone (voice acquisition unit), 60 camera (imaging unit), 70 Line-of-sight detector (line-of-sight detection unit), 100 control unit, 111 recognition unit, 112 judgment unit, 113 execution unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computational Linguistics (AREA)
  • Robotics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、意図しない操作の実行を抑制することができるようにする医療用表示システム、制御方法、及び制御装置に関する。 医療機器から出力された情報に基づいて表示する表示部と、表示部を少なくとも観察可能な領域の一部を撮像領域として撮像する撮像部と、表示部を少なくとも観察可能な領域の音声を取得する音声取得部と、医療機器から出力された情報に基づいて表示情報を制御する制御部とを備え、制御部は、予め登録されている第１のユーザが撮像領域にて所定の条件を満たしているとき、第１のユーザの音声又は当該音声をトリガにした入力に基づいて表示情報を制御し、第１のユーザが撮像領域にて所定の条件を満たしていないとき、第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて表示情報を制御する医療用表示システムが提供される。

Description

医療用表示システム、制御方法、及び制御装置
　本技術は、医療用表示システム、制御方法、及び制御装置に関し、特に、意図しない操作の実行を抑制することができるようにした医療用表示システム、制御方法、及び制御装置に関する。
　手術室は、清潔領域や不潔領域などにゾーニングがされている。例えば、執刀医等の術者は清潔領域にて手術を行う。このとき、清潔領域にいる術者は、手を清潔に保つために、所定の清潔基準を満たした医療機器しか手を使って操作することができない。
　また、フットペダルなどを用いて足を使った医療機器の操作は細かい操作が難しい。そこで、特許文献１に開示されているように、音声入力をも用いて医療機器を操作することが提案されている。
国際公開第2018/173681号
　しかしながら、手術室においては術者だけでなく、助手や看護師、臨床工学技士など複数の医療従事者が手術参加者として存在する。また、術者が途中で他の医師に交代することがある。そのため、音声入力を用いた機器の操作を行うに際しては、意図しない操作の実行を抑制することが求められる。
　本技術はこのような状況に鑑みてなされたものであり、意図しない操作の実行を抑制することができるようにするものである。
　本技術の一側面の医療用表示システムは、医療機器から出力された情報に基づいて表示する表示部と、前記表示部を少なくとも観察可能な領域の一部を撮像領域として撮像する撮像部と、前記表示部を少なくとも観察可能な領域の音声を取得する音声取得部と、前記医療機器から出力された情報に基づいて表示情報を制御する制御部とを備え、前記制御部は、予め登録されている第１のユーザが前記撮像領域にて所定の条件を満たしているとき、前記第１のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御し、前記第１のユーザが前記撮像領域にて前記所定の条件を満たしていないとき、前記第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御する医療用表示システムである。
　本技術の一側面の制御方法は、医療用表示システムが、医療機器から出力された情報に基づいて、表示部に表示される表示情報を制御するに際して、予め登録されている第１のユーザが、前記表示部を少なくとも観察可能な領域の一部として撮像された撮像領域にて所定の条件を満たしているとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御し、前記第１のユーザが前記撮像領域にて前記所定の条件を満たしていないとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御する制御方法である。
　本技術の一側面の医療用表示システム、及び制御方法においては、医療機器から出力された情報に基づいて、表示部に表示される表示情報を制御するに際して、予め登録されている第１のユーザが、前記表示部を少なくとも観察可能な領域の一部として撮像された撮像領域にて所定の条件を満たしているとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報が制御され、前記第１のユーザが前記撮像領域にて前記所定の条件を満たしていないとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報が制御される。
　本技術の一側面の制御装置は、医療機器から出力された情報に基づいて、表示部に表示される表示情報を制御する制御部を備え、前記制御部は、予め登録されている第１のユーザが、前記表示部を少なくとも観察可能な領域の一部として撮像された撮像領域にて所定の条件を満たしているとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御し、前記第１のユーザが前記撮像領域にて前記所定の条件を満たしていないとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御する制御装置である。
　本技術の一側面の制御装置においては、医療機器から出力された情報に基づいて、表示部に表示される表示情報が制御され、予め登録されている第１のユーザが、前記表示部を少なくとも観察可能な領域の一部として撮像された撮像領域にて所定の条件を満たしているとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報が制御され、前記第１のユーザが前記撮像領域にて前記所定の条件を満たしていないとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報が制御される。
　本技術の一側面の制御装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
医療用表示システムの一実施の形態の構成例を示す図である。 制御装置における入出力と処理の例を示す図である。 複数のユーザ候補が存在する場合の音声操作の例を示す図である。 音声入力時のユーザ判定処理の流れを説明するフローチャートである。 区分ごとの操作権限の例を示す図である。 医師テーブルの例を示す図である。 術前登録テーブルの例を示す図である。 手術時におけるユーザ判定の具体例を示す図である。 音声対応処理の流れを説明するフローチャートである。 視線対応処理の流れを説明するフローチャートである。 ランクに応じたユーザ判定処理の流れを説明するフローチャートである。 権限移譲処理の流れを説明するフローチャートである。 権限移譲解除処理の流れを説明するフローチャートである。 ユーザ除外処理の流れを説明するフローチャートである。
＜１．第１の実施の形態＞
（システム構成）
　図１は、本技術の一実施の形態に係る医療用表示システムを用いた手術の様子を示している。
　図１において、医療用表示システム１は、制御装置１０、顕微鏡装置２０、モニタリング装置３０、及び表示装置４０から構成される。
　図１の例においては、このような各装置により構成される医療用表示システム１を用いて、患者ベッド上の患者Ｐに対して、術者としてのユーザＵＡが手術を行っている様子が示されている。また、患者ベッド上の患者Ｐの周囲には、助手や看護師等としてのユーザ候補ＵＢ，ＵＣが存在している。
　以下の説明において、「ユーザ」とは、術者などの音声入力に基づいた操作権限を有する者をいう。また、「ユーザ候補」とは、術者、助手、看護師、臨床工学技士などの医療従事者を含み、医療用表示システム１を使用する任意の手術スタッフ（手術参加者）のことを意味する。すなわち、手術スタッフとしてのユーザ候補の中に、音声入力に基づいた操作権限を有するユーザが存在している。
　制御装置１０は、医療機器等の接続された装置を制御したり、接続された装置から出力された情報を統合したりすることが可能な装置であり、例えばCCU(Camera Control Unit)などである。制御装置１０はネットワークに接続され、サーバやPC(Personal Computer)等の外部装置と通信可能に構成されてもよい。
　顕微鏡装置２０は、電子撮像式の顕微鏡装置（いわゆるビデオ式の顕微鏡装置）である。顕微鏡装置２０は、患者Ｐの術部を撮像し、術野が写る術野画像を表す信号を制御装置１０に出力する。なお、術野画像を撮像する装置として、顕微鏡装置２０の代わりに、内視鏡等の医療用撮像装置が用いられてもよい。
　モニタリング装置３０は、患者Ｐの生体情報をモニタリングし、生体情報のモニタリング結果を表すモニタリング情報を生成する。患者Ｐの生体情報には、心拍数、心電図、血中酸素飽和度、動脈圧などが含まれる。モニタリング装置３０は、モニタリング情報を表す信号を制御装置１０に出力する。
　表示装置４０は、制御装置１０から出力された情報を表示する装置であり、例えば液晶ディスプレイ又はEL(Electro Luminescence)ディスプレイなどである。表示装置４０は、手術室の壁面などのユーザ又はユーザ候補の近傍に設けられる。表示装置４０には、顕微鏡装置２０により撮像された術野画像とともに、患者Ｐの生体情報、身体情報、手術の術式の情報などの、手術に関する各種の情報が表示される。
　図２は、図１の制御装置１０における入出力と処理の例を示している。
　図２に示すように、制御装置１０には、マイクロフォン５０、カメラ６０、及び視線検出機７０からの信号が入力される。
　マイクロフォン５０は、術者などのユーザ候補の音声を検出可能な装置であり、例えばアレイマイクである。マイクロフォン５０は、ユーザ候補が発した音声を表す信号（音声信号）を制御装置１０に出力する。
　カメラ６０は、術者などのユーザ候補を撮像する装置であり、例えば手術室カメラである。カメラ６０は、ユーザ候補を含む撮像画像を表した信号（画像信号）を制御装置１０に出力する。
　視線検出機７０は、術者などのユーザ候補の視線を検出する装置であり、例えばIR(infrared)カメラである。視線検出機７０は、ユーザ候補の視線を表した信号（検出信号）を制御装置１０に出力する。
　マイクロフォン５０、カメラ６０、及び視線検出機７０は、表示装置４０に搭載されてもよいし、あるいは単独の装置として構成されて制御装置１０にそれぞれ接続されるようにしてもよい。なお、図２の例では、視線検出用の機器としての視線検出機７０を設けた構成を示したが、カメラ６０により撮像された撮像画像を解析してユーザ候補の視線を検出する構成としても構わない。
　制御装置１０は、マイクロフォン５０、カメラ６０、及び視線検出機７０のそれぞれから出力された信号を取得する。制御装置１０は、取得した信号の分析結果に基づいて、顕微鏡装置２０等の医療機器の制御を行ったり、表示装置４０に表示される表示情報の制御を行ったりする。
　制御装置１０は、認識部１１１、判定部１１２、及び実行部１１３を含む制御部１００を有する。
　認識部１１１は、マイクロフォン５０、カメラ６０、及び視線検出機７０のそれぞれから出力された信号に基づいて、所定の認識処理を行い、その認識結果を判定部１１２に供給する。
　例えば、認識部１１１では、マイクロフォン５０からの音声信号に基づき、ユーザ候補の発話に含まれる音声コマンドが認識される。また、認識部１１１では、マイクロフォン５０からの音声信号、又はカメラ６０からの画像信号に基づき、ユーザ候補が認識される。また、認識部１１１では、カメラ６０からの画像信号、又は視線検出機７０からの検出信号に基づき、ユーザ候補の視線位置が認識される。
　判定部１１２は、認識部１１１からの認識結果に基づいて、ユーザ候補が操作権限を持つユーザであるための所定の条件を満たすか否かを判定し、その判定結果を実行部１１３に供給する。所定の条件は、手術開始前に取得された情報や、手術中に取得された情報などを用いて定められる。
　実行部１１３は、判定部１１２からの判定結果が所定の条件を満たしている場合、ユーザの音声又は当該音声をトリガにした入力に基づいて、所定の処理を実行する。
　例えば、ユーザの音声は、当該ユーザが発した音声コマンドを含む。また、当該音声をトリガにした入力は、ユーザが音声コマンドを発したときの当該ユーザの視線を含む。実行部１１３は、表示装置４０の画面上のユーザの視線位置に基づき、当該ユーザが発した音声コマンドに応じた所定の処理として、表示装置４０に表示される表示情報を制御する。
　なお、制御部１００で実行される処理が、制御装置１０以外の外部装置で実行されても構わない。また、制御部１００において、認識部１１１、判定部１１２、及び実行部１１３で実行される処理のうち、一部の処理が外部装置で実行されても構わない。
　このように、医療用表示システム１においては、手術時に、制御装置１０によって生成された表示情報が表示装置４０に表示される。ユーザは、表示装置１４に表示された表示情報を見て術部の様子を観察しながら、患部の切除などの各種の処置を行う。また、ユーザは、各種の処置を行うに際して、自己の発する音声や視線によって、医療用表示システム１を構成する各装置を操作することができる。
（音声操作の例）
　図３は、手術室において、複数のユーザ候補が存在する場合における音声入力を用いた操作の例を示している。
　図３において、表示装置４０には、手術に必要な情報を含む表示情報が表示されている。図３の例では、表示情報として、術野画像、参照画像、モニタリング情報、操作メニューなどが表示されており、それらの情報を複数のユーザ候補がそれぞれ見ている。図３では、表示装置４０の画面の前方に配置された３つの円が３人のユーザ候補ＵＡ乃至ＵＣをそれぞれ表している。
　また、表示装置４０には、マイクロフォン５０、カメラ６０、及び視線検出機７０が搭載されており、ユーザ候補ＵＡ乃至ＵＣによる音声入力や視線などを検出可能である。図３では、ユーザ候補の発話の方向を一点鎖線で表し、視線の方向を破線で表している。
　このとき、表示装置４０に表示される表示情報（の内容）を変更するための操作は、ユーザ候補による音声入力や視線、又はそれらの組み合わせで行われるが、ユーザ候補ＵＡが音声操作を行うべき状況において、ユーザ候補ＵＢの発話を音声操作として認識した場合、誤動作が引き起こされる。
　また、ユーザ候補ＵＡが操作を行うべき状況で、音声と視線の組み合わせで操作が実行される場合に、ユーザ候補ＵＡが音声コマンドを発すると同時に、ユーザ候補ＵＢの視線位置を操作として認識したときには、ユーザ候補ＵＡが意図していない動作が引き起こされる。
　なお、ユーザ候補ＵＡ乃至ＵＣの認識は、操作を検出するための入力機器であるマイクロフォン５０と視線検出機７０に加えて、表示装置４０の画面を観察可能な領域に存在するユーザ候補ＵＡ乃至ＵＣを、画面側から撮像することが可能なカメラ６０を用いて行われる。
　すなわち、マイクロフォン５０と視線検出機７０は、表示装置４０の画面を少なくとも観察可能な領域の音声と視線をそれぞれ検出可能であり、３人のユーザ候補ＵＡ乃至ＵＣが発した音声と視線をそれぞれ検出することができる。また、カメラ６０は、表示装置４０の画面を少なくとも観察可能な領域の一部を撮像領域として撮像可能であり、図３の例では、３人のユーザ候補ＵＡ乃至ＵＣが撮像領域内にそれぞれ存在している。
　このように、手術室においては術者だけでなく、助手や看護師、臨床工学技士など複数の医療従事者がユーザ候補として存在する。そのため、音声操作を行うに際しては、複数のユーザ候補の中から、適切なユーザの音声コマンドの発話を抽出して、意図しない操作の実行を抑制することが求められる。また、術者が途中で他の医師に交代することがあるため、適切なユーザを判定する必要がある。
　そこで、本技術では、手術開始前に取得された情報や、手術中に取得された情報を用いて、ユーザ候補の中から、所定の条件を満たした１人のユーザを特定して、他のユーザ候補の発話や視線位置などによる操作の実行を抑制する。
　そのため、手術に関わる複数のユーザ候補の発話や視線位置を検出可能な状況において、適切なユーザの発話や視線位置などによる操作のみを実行することができる。つまり、手術室において、清潔領域に存在する複数のユーザ候補のうち、適切な１人のユーザが、不潔領域に存在する機器に対して、非接触ユーザインタフェース（UI：User Interface）を用いて操作を行うことが可能となる。
（ユーザ判定処理）
　次に、図４のフローチャートを参照して、手術室において複数のユーザ候補が存在する場合における音声入力時のユーザ判定処理の流れを説明する。
　制御装置１０では、ユーザ候補が発話を行って、マイクロフォン５０によりユーザ候補からの音声入力が受け付けられたとき（Ｓ１１）、制御部１００によって、ステップＳ１２以降の処理が実行される。
　ステップＳ１２において、認識部１１１は、マイクロフォン５０からの音声信号を解析して、音声入力をしたユーザ候補の発話内容に含まれる音声コマンドを認識する。
　ステップＳ１３において、認識部１１１は、マイクロフォン５０からの音声信号やカメラ６０からの画像信号を解析して、音声入力をしたユーザ候補を認識する。例えば、この認識処理では、音声入力をしたユーザ候補がプリセット情報のどのユーザ候補に該当するかが認識される。
　ステップＳ１４において、認識部１１１は、視線検出機７０からの検出信号を解析して、音声入力をしたユーザ候補による表示装置４０の画面上の視線位置を認識する。
　ステップＳ１５において、判定部１１２は、認識結果に基づいて、音声入力をしたユーザ候補が操作権限を持つユーザであるための所定の条件を満たすか否かを判定する。詳細は後述するが、所定の条件は、手術開始前に取得された情報や、手術中に取得された情報などを用いて定められる。
　ステップＳ１５において、所定の条件を満たしていると判定された場合（Ｓ１６の「Yes」）、処理は、ステップＳ１７に進められる。ステップＳ１７において、実行部１１３は、認識結果に基づいて、所定の処理を実行する。
　ここでは、所定の条件を満たすと判定されたユーザ候補、すなわち、複数のユーザ候補の中から特定されたユーザによる音声と視線の組み合わせによる操作が行われる。
　例えば、表示装置４０に表示された術野画像に含まれる特定の術部を注視しているユーザが、所定の音声コマンドを発したとき、実行部１１３は、当該ユーザの視線が向けられた特定の術部の領域を拡大して表示することができる。また、例えば、表示装置４０に表示された複数のサムネイル画像のうちの１つのサムネイル画像を注視しているユーザが、所定の音声コマンドを発したとき、実行部１１３は、当該ユーザの視線が向けられたサムネイル画像に対応する参照画像等の画像を表示することができる。
　なお、この例では、音声と視線の組み合わせによる操作が行われる場合を示したが、ユーザの視線を用いずに、音声のみで操作が行われてもよい。音声のみで操作が行われる場合には、ステップＳ１４の処理をスキップしても構わない。
　一方で、ステップＳ１５において、所定の条件を満たしていないと判定された場合（Ｓ１６の「No」）、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。
　以上、音声入力時のユーザ判定処理の流れを説明した。このユーザ判定処理では、手術開始前に取得された情報などを用い、ユーザ候補の中から、所定の条件を満たした１人のユーザが特定され、当該ユーザによって、音声や視線等の非接触ユーザインタフェースを用いた操作が行われる。これにより、ユーザとして特定されたユーザ候補を除いた他のユーザ候補の発話や視線位置などによる操作の実行が抑制されるため、音声入力を用いた機器の操作を行うに際して、意図しない操作の実行を抑制することができる。
　すなわち、医療用表示システム１を用いて手術が行われる場合に、予め登録されている第１のユーザが撮像領域にて所定の条件を満たしているとき、当該第１のユーザの音声又は当該音声をトリガにした入力に基づき、表示装置４０に表示された表示情報が制御される。また、第１のユーザが撮像領域にて所定の条件を満たしていないときには、第２のユーザの音声又は当該音声をトリガにした入力に基づいて表示情報が制御される。これにより、ユーザの音声と視線等を利用して表示部を見ながら操作を行うUI装置において、ただ一人のユーザを定めて、そのユーザの音声と視線等による操作のみが実行される。
　ここで、撮像領域は、カメラ６０により撮像された撮像画像に含まれるユーザ候補の顔を判定可能な領域（判定領域）を含んでいる。つまり、上記の「第１のユーザが撮像領域にて所定の条件を満たしていないとき」には、「第１のユーザが撮像領域に存在していない」ことと、「第１のユーザが撮像領域に存在しているが判定領域に存在しない」ことの両方の意味が含まれる。
＜２．第２の実施の形態＞
　上述した判定処理（図４のＳ１５，Ｓ１６）で用いられる所定の条件として、手術開始前に取得された情報や、手術中に取得された情報などが用いられるのは先に述べた通りである。より具体的には、手術開始前に登録された情報、手術開始前の確認動作に関する情報、及び手術中の特定の状況に関する情報のうち、少なくともいずれか１つの情報に基づき、所定の条件を定めることができる。
　このようにして所定の条件を定めることで、例えば、手術開始前に登録した情報と手術中に音声操作を行うユーザ候補の認識結果とが一致するかを判定したり、ユーザ候補の音声操作時の状況が操作権限を持つユーザとして適切であるかを判定したり、あるいは音声操作時にユーザ候補が所定の位置に存在するかを判定したりすることができる。
　ユーザ候補は、操作権限に応じた区分に分けることができる。図５は、ユーザ候補を、Ａ乃至Ｃの３つの区分の操作権限に分けた場合の例を示している。
　区分Ａは、手術室において手術スタッフのうち、執刀医である術者（指示術者）が該当する。区分Ａの権限に振り分けられたユーザ候補（Ａ権限のユーザ）の発話のみが、有効な音声コマンドとなり得るため、基本的にはＡ権限のユーザが操作権限を持つ。ただし、一時的に操作権限を移譲することが可能であり、Ａ権限のユーザのみが、自己のＢ権限順位に指定されたユーザ候補（Ｂ権限ユーザ）と入れ替わることができる。
　区分Ｂは、他の手術スタッフのうち、助手等の術者やスコピストなど、手術手技に直接関与し、表示装置４０に対する操作を行う可能性のある者が該当する。区分Ｂの権限に振り分けられたユーザ候補（Ｂ権限のユーザ）は、権限Ａのユーザが不在又は操作不可の場合などに操作権限を有する。
　Ｂ権限のユーザには、Ｂ１，Ｂ２，・・・，Ｂｎ（ｎ：１以上の整数）などのように、「Ｂ」に付加された数字に応じたＢ権限順位を割り当てることができる。この例では、より数字が小さいほど権限が強いことを表し、Ｂ１権限が最も強い権限となる。例えば、一時的に操作権限を移譲するに際しては、撮像領域の範囲内にいるユーザ候補のうち、最高位のＢ権限のユーザがＡ権限を持つことができる。
　区分Ｃは、他の手術スタッフのうち、看護師や臨床工学技士などの非術者が該当する。区分Ｃの権限に振り分けられたユーザ候補（Ｃ権限のユーザ）が、音声コマンドによる操作権限を持つことはない。
　また、所定の条件として、手術開始前に登録したユーザであるかどうかを含める場合、手術スタッフの声紋や顔特徴等の情報をデータベース化しておき、それらの情報を手術開始前にそれぞれの区分にアサインする。具体的には、図６に示した医師テーブルと、図７に示した術前登録テーブルなどのデータベースが用いられる。
　図６において、医師テーブルには、医師を識別する情報ごとに、声紋と顔特徴に関する情報が格納されている。例えば、Dr.1である医師の声紋と顔特徴として、SDr1とFDr1が登録されている。また、Dr.2乃至Dr.10である医師についても、SDrxとFDrxである声紋と顔特徴がそれぞれ登録されている。
　図７において、術前登録テーブルには、手術開始前に登録される術者（ユーザ候補）に関する情報ごとに、声紋と顔特徴に関する情報が格納されている。すなわち、術前登録テーブル（図７）では、術者データに対して、医師テーブル（図６）に格納された医師データがアサインされている。
　例えば、Ｂ１権限の術者として、医師Dr.3がアサインされる場合、術者データとしての声紋S(B1)とF(B1)には、医師データとしてのSDr3とFDr3が割り当てられる。
　また、Ｂ２権限の術者に医師Dr.1がアサインされる場合には、声紋S(B2)とF(B2)としてSDr1とFDr1が割り当てられ、Ｂ３権限の術者に医師Dr.5がアサインされる場合には、声紋S(B3)とF(B3)としてSDr5とFDr5が割り当てられる。
　さらに、Ｂ４権限の術者に医師Dr.6がアサインされる場合には、声紋S(B4)とF(B4)としてSDr6とFDr6が割り当てられ、Ｂ５権限の術者に医師Dr.9がアサインされる場合には、声紋S(B5)とF(B5)としてSDr9とFDr9が割り当てられる。
　このように、手術開始前に、医師テーブル（図６）に格納された医師データを、術前登録テーブル（図７）に格納される術者データ（Ｂ権限のユーザのデータ）にアサインしておくことで、Ｂ権限順位の特定と顔認識に用いられる顔情報と、話者識別に用いられる声紋情報を登録することができる。
　なお、ユーザの誤認識を抑制するために、Ｃ権限のユーザの顔情報と声紋情報を登録しても構わない。これらの情報を、Ａ権限のユーザの判定基準を決定するための情報として用いることができる。
　さらに、所定の条件として、手術開始前に確認動作（音声確認等）を行ったユーザ候補であるかどうかを含める場合、手術開始前に確認動作を行った時点でデータベースの情報と照会し、手術室において、ユーザ候補となる手術スタッフを、Ａ乃至Ｃの区分に振り分ける。これにより、ユーザ候補は、Ａ権限、Ｂ権限、又はＣ権限のユーザとされる。この確認動作は、最初の手術室への入室時のほか、例えば、タイムアウト時や機器操作時などの所定のタイミングで実施される。
　また、所定の条件は、ユーザ候補の位置（立ち位置等）に関する情報を用いてもよい。この位置に関する情報としては、表示装置４０の画面の中央部（例えば画面の横幅における略中央部）に対応した位置や、表示装置４０に搭載されたカメラ６０の画角の中央部に対応した位置などが含まれる。すなわち、実際の手術中には、表示装置４０の画面の真正面の位置に、執刀医である術者（指示術者）が立ち、その周囲に助手などが立つ場合が多いため、その位置関係を利用することができる。
　なお、上述した所定の条件は、一例であり、手術開始前に取得された情報や、手術中に取得された情報などを用いて定められる条件であれば、他の条件を定めても構わない。例えば、ユーザ候補の手技の内容（ハンドリングしている手術器械の種類等）が所定の手技の内容に該当するかなどを所定の条件として定めて判定を行うことができる。
　また、上述したユーザ候補の認識方法としては、カメラ６０からの画像信号を用いて、顔認識やボーン認識などの画像処理を行ったり、あるいは、マイクロフォン５０からの音声信号を用いて、声紋認識や音声到来方向認識などの音声処理を行ったりすることができる。顔認識やボーン認識に関する技術や、声紋認識や音声到来方向認識に関する技術については、公知の技術を用いることができる。
（ユーザ判定の具体例）
　図８は、手術時におけるユーザ判定の具体例を示している。
　図８においては、表示装置４０の画面付近を囲むように配置された６つの円がユーザ候補を表しており、各円内に記載された文字により医師などの手術スタッフを識別している。また、各円の下側の円柱に記載された文字により各ユーザ候補の権限を表している。
　図８においては、Ｂ１権限がアサインされた医師Dr.3と、Ｂ３権限がアサインされた医師Dr.5と、Ｂ５権限がアサインされた医師Dr.9は、撮像領域外に存在している。一方で、Ｂ２権限がアサインされた医師Dr.1と、Ｂ４権限がアサインされた医師Dr.6は、撮像領域内に存在している。また、看護師等の他の手術スタッフSTは、撮像領域内に存在するが、Ｃ権限がアサインされている。
　このとき、医師Dr.1が音声コマンドを発話する場合を想定する。この場合において、撮像領域内にいる手術スタッフは、カメラ６０により撮像されている。この撮像で得られる画像信号を解析することで、顔特徴から、医師Dr.1，医師Dr.6，他の手術スタッフSTの３人が特定される。
　このように、撮像領域において、Ａ権限の医師（ユーザ）が存在せず、さらにＢ１権限がアサインされた医師Dr.3が存在しないとき、撮像領域に存在しているＢ２権限がアサインされた医師Dr.1がＡ権限を有する。つまり、この例では、Ａ権限の医師が、自己のＢ権限順位に指定された医師のうち、撮像領域の範囲内で最高位のＢ権限の医師となる医師Dr.1と入れ替わっている。
　医師Dr.1による発話は、図中の一点鎖線Ｌ１１，Ｌ１２で示すように、マイクロフォン５０－１，５０－２により集音される。この音声信号を解析することで得られる音声コマンドの声紋S(IN_Dr1)は、術前登録テーブルに登録された声紋S(B2)と一致する。
　また、音声到来方向にいる手術スタッフSTの顔特徴F(IN_ST)は、術前登録テーブルに登録された顔特徴F(B2)とは一致しないが、医師Dr.1の顔特徴F(IN_Dr1)は、術前登録テーブルに登録された顔特徴F(B2)と一致する。
　これらの判定結果から、医師Dr.1により発話された音声コマンドに応じた所定の処理が、視線検出機７０により検出された医師Dr.1の視線情報に基づいて実行される。例えば、図中の破線Ｌ２１乃至Ｌ２３で示した撮像領域内のユーザ候補の視線のうち、破線Ｌ２２が医師Dr.1の視線となるので、医師Dr.1の視線が向けられた視野画像に含まれる特定の術部に関して、医師Dr.1が発した音声コマンドに応じた所定の処理が実行される。
（音声対応処理）
　ここで、図９のフローチャートを参照して、図８に示したユーザ判定で適用可能な音声対応処理の流れを説明する。
　認識部１１１は、撮像領域に存在するユーザ候補の中から最高位のＢ権限のユーザを認識し（Ｓ３１）、認識されたＢ権限のユーザがＡ権限を持つとみなす（Ｓ３２）。図８の例では、撮像領域に存在するＢ２権限がアサインされた医師Dr.1がＡ権限を有している。
　判定部１１２は、入力された音声コマンドの声紋S(IN)を、認識されたＢ権限のユーザの声紋S(Bx)と比較する（Ｓ３３）。
　声紋の比較結果が、S(IN) = S(Bx)であると判定された場合（Ｓ３４の「Yes」）、処理は、ステップＳ３５に進められる。そして、実行部１１３は、Ａ権限のユーザによる音声コマンドであると認定し（Ｓ３５）、当該音声コマンドに応じた所定の処理を実行する。図８の例では、医師Dr.1が発した音声コマンドが、Ａ権限のユーザからの音声コマンドであると認定され、所定の処理が実行される。
　また、声紋の比較結果が、S(IN) = S(Bx)ではないと判定された場合（Ｓ３４の「No」）、処理は、ステップＳ３６に進められる。この場合、実行部１１３は、Ａ権限のユーザによる音声コマンドではないと認定し（Ｓ３６）、当該音声コマンドを未実行とする。図８の例では、医師Dr.6又は他の手術スタッフSTによる発話（音声コマンド）は、Ａ権限のユーザからの音声コマンドではないと認定される。
　ステップＳ３５，又はＳ３６の処理が終了すると、処理は終了される。
（視線対応処理）
　次に、図１０のフローチャートを参照して、図８に示したユーザ判定で適用可能な視線対応処理の流れを説明する。
　認識部１１１は、音声到来方向に存在する第１ユーザ候補の顔の特徴を認識する（Ｓ５１）。判定部１１２は、第１ユーザ候補の顔特徴F(IN1)を、認識されたＢ権限のユーザの顔特徴F(Bx)と比較する（Ｓ５２）。
　なお、ステップＳ５２における認識されたＢ権限のユーザとは、図９のステップＳ３１の処理で撮像領域の範囲内で最高位のＢ権限のユーザであると認識されるＢ権限のユーザと同様である。
　ステップＳ５２の処理で顔特徴の比較結果が、F(IN1) = F(Bx)であると判定された場合（Ｓ５３の「Yes」）、処理は、ステップＳ５４に進められる。そして、実行部１１３は、ユーザとして特定された第１ユーザ候補の視線を採用し（Ｓ５４）、当該第１ユーザ候補の音声と視線を用いた所定の処理を実行する。
　また、ステップＳ５２の処理で顔特徴の比較結果が、F(IN1) = F(Bx)ではないと判定された場合（Ｓ５３の「No」）、処理は、ステップＳ５５に進められる。この場合、認識部１１１は、音声到来方向に存在する第２ユーザ候補の顔の特徴を認識する（Ｓ５５）。
　判定部１１２は、第２ユーザ候補の顔特徴F(IN2)を、認識されたＢ権限のユーザの顔特徴F(Bx)と比較する（Ｓ５６）。なお、ここでも、認識されたＢ権限のユーザとは、撮像領域の範囲内で最高位となるＢ権限のユーザを意味する。
　ステップＳ５７の処理で顔特徴の比較結果が、F(IN2) = F(Bx)であると判定された場合（Ｓ５７の「Yes」）、処理は、ステップＳ５８に進められる。そして、実行部１１３は、ユーザとして特定された第２ユーザ候補の視線を採用し（Ｓ５８）、当該第２ユーザ候補の音声と視線を用いた所定の処理を実行する。
　また、ステップＳ５７の処理で顔特徴の比較結果が、F(IN2) = F(Bx)ではないと判定された場合（Ｓ５７の「No」）、処理は、ステップＳ５９に進められる。この場合、実行部１１３は、Ａ権限のユーザによる音声コマンドではないと認定し（Ｓ５９）、音声と視線を用いた所定の処理はスキップされる。
　ステップＳ５４，Ｓ５８，又はＳ５９の処理が終了すると、処理は終了される。
　なお、この例では、説明の都合上、音声到来方向に第１ユーザ候補と第２ユーザ候補の２人のユーザ候補の顔がある場合を例示したが、さらに他のユーザ候補の顔が存在する場合には、すべてのユーザ候補の顔の特徴について比較すればよい。
＜３．第３の実施の形態＞
　所定の条件を満たすユーザ候補が複数存在する場合に、当該ユーザ候補ごとに操作権限の優先順位（ランク）を定めておくことで、当該ランクに応じて操作可能なユーザを特定することができる。ランク付けの方法としては、様々な方法を用いることができる。ランクに関するランク情報は、手術開始前に設定するほか、手術中の状況に応じて変更したり、特定の権限を持つユーザ（例えば看護師）が指定することにより変更したりすることができる。
（ランクに応じたユーザ判定処理）
　図１１のフローチャートを参照して、ランクに応じたユーザ判定処理の流れを説明する。
　ステップＳ７１乃至Ｓ７４においては、図４のステップＳ１１乃至Ｓ１４と同様に、音声コマンドの認識結果、ユーザ候補の認識結果、及び視線位置の認識結果が得られる。また、ステップＳ７８では、判定部１１２は、ランク情報に基づいて、ユーザ候補のランクを判定する。ランク判定処理の詳細は後述する。
　ステップＳ７５において、判定部１１２は、認識結果及びランク判定結果に基づいて、操作権限を持つユーザであるための所定の条件を満たすかどうかを判定する。
　ステップＳ７５において、所定の条件を満たしていると判定された場合（Ｓ７６の「Yes」）、処理は、ステップＳ７７に進められる。ステップＳ７７において、実行部１１３は、認識結果に基づいて、所定の処理を実行する。
　また、ステップＳ７５において、所定の条件を満たしていないと判定された場合（Ｓ７６の「No」）、処理は、ステップＳ７１に戻り、それ以降の処理が繰り返される。
　以上、ランクを用いたユーザ判定処理の流れを説明した。ここで、上述したランク判定処理（図１１のＳ７８）では、判定部１１２によって、ランク情報を用いたユーザ候補のランク判定が行われるが、例えば、次のような処理が行われる。
　すなわち、判定部１１２では、各ユーザ候補に対して設定されたランク情報が取得され、各ユーザ候補のランクに基づいて、撮像領域に存在するユーザ候補のうち、最もランクの高いユーザ候補をユーザとして判定する。
　そして、実行部１１３では、判定結果に応じた最もランクが高いユーザによる音声と視線に基づき、表示装置４０に表示される表示情報を制御する。例えば、第１ユーザ候補が撮像領域に存在し、かつ、第１ユーザ候補のランクが最も高いという条件を満たしたとき、ユーザとしての第１ユーザ候補の音声と視線による操作が受け付けられる。
　また、判定部１１２では、予めユーザ候補ごとに割り振られているランクに関するランク情報が取得され、手術開始前の確認動作やユーザ候補の位置などの情報に基づき、ユーザ候補ごとに割り振られたランクを調整してユーザ判定を行う。
　例えば、手術開始前の確認動作に関する音声を発したユーザ候補を、最も高いランクに設定することができる。また、現時点で最もランクの高いユーザ候補の事前ランク（予め設定されていたランク）よりも高いランクのユーザ候補が撮像領域に現れたとき、当該ユーザ候補の位置情報に基づき、ランクを調整することができる。すなわち、手術開始前に登録された情報の内容を初期状態として、手術の状況に応じて操作権限のランクを更新することができる。
　なお、リセットボタンの押下など、特定のユーザにより所定の操作が行われた場合に、調整されたユーザ候補のランク設定を、予め設定された値に戻すようにしても構わない。
　また、判定部１１２では、表示装置４０の画面の中央部（例えば画面の横幅における略中央部）に対応した位置、又はカメラ６０の画角の中央部に対応した位置から、第１ユーザ候補がずれて、第２ユーザ候補が中央部付近に位置した場合に、第１ユーザ候補よりも第２ユーザ候補の事前ランクが高いときには、第２ユーザ候補の音声操作を受け付けるようにユーザ判定を行う。また、この場合において、第１ユーザ候補よりも第２ユーザ候補の事前ランクが低いときには、第１ユーザ候補の音声操作を受け付けるようにユーザ判定を行う。
　なお、登録されているユーザ候補が撮像領域に存在しない場合には、表示装置４０の画面の中央部又はカメラ６０の画角の中央部に対応した位置にいるユーザ候補の音声操作を受け付けるようにユーザ判定を行うようにしても構わない。
　また、判定部１１２では、看護師等の特定のユーザにより指定されたユーザ候補を最も高いランクとしてユーザ判定を行う。また、事前登録により術者が誰であるかを予め登録しておくことで、判定部１１２では、術者が誰であるかのユーザ判定を行うことができる。例えば、術者がいる間は、ランクの調整を制限して、ランクが切り替えられないようにする。
　また、判定部１１２では、カメラ６０からの画像信号を用いた画像認識結果や、視線検出機７０からの検出信号を用いて、術具を持っているユーザ候補、電気メスを持っているユーザ候補、又は表示装置４０の画面を見ている時間が所定の時間よりも長いユーザ候補を、最も高いランクに設定することができる。
　以上のように、所定の条件を満たすユーザ候補が複数存在する場合にであっても、操作権限の優先順位（ランク）を定めておくことで、適切なユーザの発話や視線などによる操作を実行することが可能となる。また、操作権限の優先順位（ランク）は、あらかじめ設定された情報に基づき決定されるが、手術の状況に合わせて変更される場合があるため、より状況に適したユーザによる音声操作が実行可能となる。
＜４．第４の実施の形態＞
　Ａ権限のユーザが、Ｂ権限のユーザに対して一時的に権限を移譲可能であることは、先に述べた通りである。このような権限移譲が行われる場合としては、Ａ権限のユーザが、ユーザ交代のための音声コマンド（以下、スワップコマンドという）を発したときに、指定したユーザ候補（例えばＢ権限のユーザ）に対して権限が移譲されるようにしてもよい。
　また、権限移譲の解除を行うに際しては、Ａ権限のユーザが、ユーザ交代の解除のためのコマンド（以下、スワップ解除コマンドという）を発したときに権限移譲が解除され、指定したユーザ候補（例えばＢ権限のユーザ）からＡ権限のユーザに操作権限が戻される。
（権限移譲処理）
　まず、図１２のフローチャートを参照して、権限移譲処理の流れを説明する。
　制御装置１０では、ユーザ候補による音声入力が受け付けられたとき（Ｓ９１）、制御部１００によって、ステップＳ９２以降の処理が実行される。
　ステップＳ９２において、認識部１１１は、音声入力をしたユーザ候補の発話に応じた音声信号を解析して、ユーザ候補の発話内容に含まれるスワップコマンドを認識する。ここでは、権限を移譲するユーザ候補（Ｂ権限のユーザ）も指定されるため、それも認識される。
　ステップＳ９３において、認識部１１１は、音声入力をしたユーザ候補を撮影して得られる画像信号を解析して、発話したユーザ候補を認識する。
　ステップＳ９４において、判定部１１２は、認識結果に基づいて、音声入力をしたユーザ候補がＡ権限を持つユーザであるための所定の条件を満たすか否かを判定する。
　ステップＳ９４において、所定の条件を満たしていると判定された場合（Ｓ９５の「Yes」）、処理は、ステップＳ９６に進められる。ステップＳ９６において、実行部１１３は、Ａ権限のユーザ（音声入力をしたユーザ候補）にアサインされた自己のＢ権限順位に基づいて、指定されたＢ権限のユーザ（権限を移譲するユーザ候補）と入れ替える。これにより、指定されたＢ権限のユーザに対し、一時的に権限が譲渡される。
　また、ステップＳ９４において、所定の条件を満たしていないと判定された場合（Ｓ９５の「No」）、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。
　ステップＳ９６の処理が終了すると、処理は終了される。以上、権限移譲処理の流れを説明した。
（権限移譲解除処理）
　次に、図１３のフローチャートを参照して、権限移譲解除処理の流れを説明する。ただし、図１３に示した権限移譲解除処理が実行されるに先立って、上述した権限移譲処理（図１２）が実行され、Ａ権限のユーザからＢ権限のユーザ（権限を移譲したユーザ候補）に対して権限が移譲されているものとする。
　制御装置１０では、ユーザ候補の発話による音声入力が受け付けられたとき（Ｓ１１１）、制御部１００によって、ステップＳ１１２以降の処理が実行される。
　ステップＳ１１２において、認識部１１１は、音声入力をしたユーザ候補の発話に応じた音声信号を解析して、ユーザ候補の発話内容に含まれるスワップ解除コマンドを認識する。
　ステップＳ１１３において、認識部１１１は、音声入力をしたユーザ候補を撮影して得られる画像信号を解析して、発話したユーザ候補を認識する。
　ステップＳ１１４において、判定部１１２は、認識結果に基づいて、音声入力をしたユーザ候補がＡ権限を持つユーザであるための所定の条件を満たすか否かを判定する。
　ステップＳ１１４において、所定の条件を満たしていると判定された場合（Ｓ１１５の「Yes」）、処理は、ステップＳ１１６に進められる。ステップＳ１１６において、実行部１１３は、指定されたＢ権限のユーザ（権限を移譲したユーザ候補）に対して、一時的にスワップしていたＢ権限順位を元に戻す。これにより、権限移譲が解除され、指定されたＢ権限のユーザ（権限を移譲したユーザ候補）からＡ権限のユーザに操作権限が戻される。
　また、ステップＳ１１４において、所定の条件を満たしていないと判定された場合（Ｓ１１５の「No」）、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返される。
　ステップＳ１１６の処理が終了すると、処理は終了される。以上、権限移譲解除処理の流れを説明した。
　以上のように、所定の条件に関わらず、Ｂ権限のユーザ等のユーザ候補に対して一時的に操作権限を移譲することができるため、より柔軟な運用を行うことができる。
＜５．第５の実施の形態＞
　Ｃ権限のユーザは、音声コマンドによる操作権限を持たない者であることは先に述べた通りである。このような確実にユーザとなり得ない者に対して、ユーザ判定処理を行って、ユーザ候補から除外することができる。
（ユーザ除外処理）
　図１４は、ユーザ除外処理の流れを説明するフローチャートである。
　このユーザ除外処理は、上述した音声対応処理（図９）において、ステップＳ３３，Ｓ３４にて、音声コマンドの声紋S(IN)を比較して判定する際に、Ｂ権限のユーザの声紋S(Bx)だけでなく、Ｃ権限のユーザの声紋S(C)をも加味して、Ｃ権限のユーザがユーザ候補から除外されるようにすることで、ユーザ判定の精度を高めるものである。
　ステップＳ１３１において、判定部１１２は、音声コマンドの声紋S(IN)がＢ権限のユーザの声紋S(Bx)である確率P(Bx)を算出する。
　ステップＳ１３２において、判定部１１２は、音声コマンドの声紋S(IN)がＣ権限のユーザの声紋S(C)である確率P(C)を算出する。
　ステップＳ１３３において、判定部１１２は、算出した確率P(Bx)の値と確率P(C)の値とを比較して、確率P(Bx)の値が確率P(C)の値以上となるかどうかを判定する。
　ステップＳ１３３の判定処理で、P(Bx) ≧ P(C)であると判定された場合、処理は、ステップＳ１３４に進められる。そして、実行部１１３は、Ａ権限のユーザによる音声コマンドであると認定し（Ｓ１３４）、当該音声コマンドに応じた所定の処理を実行する。
　また、ステップＳ１３３の判定処理で、P(Bx) < P(C)であると判定された場合、処理は、ステップＳ１３５に進められる。この場合、実行部１１３は、Ａ権限のユーザによる音声コマンドではないと認定し（Ｓ１３５）、当該音声コマンドを未実行とする。
　ステップＳ１３４，又はＳ１３５の処理が終了すると、処理は終了される。以上、ユーザ除外処理の流れを説明した。
　なお、上述したユーザ除外処理では、上述した音声対応処理（図９）において、ステップＳ３３，Ｓ３４にて、音声コマンドの声紋S(IN)を比較して判定する際に、Ｃ権限のユーザの声紋S(C)をも加味する場合を説明したが、他の処理でも適用可能である。
　例えば、上述した視線対応処理（図１０）において、ステップＳ５２，Ｓ５２、又はステップＳ５６，Ｓ５７にて、顔特徴F(IN1)，F(IN2)を比較して判定する際に、Ｂ権限のユーザの顔特徴F(Bx)だけでなく、Ｃ権限のユーザの顔特徴F(C)をも加味して、Ｃ権限のユーザがユーザ候補から除外されるようにしてもよい。
　以上のように、音声対応処理（図９）における音声コマンドの声紋S(IN)の判定時や、視線対応処理（図１０）における顔特徴F(IN)の判定時などで、Ｂ権限のユーザのデータだけでなく、Ｃ権限のユーザのデータをも比較することで、確実にユーザとなり得ない者を、ユーザ候補から除外することができる。その結果として、ユーザ判定の精度をさらに高めることができ、ユーザを特定する際の確実性を高めることができる。
（コンピュータの構成）
　制御装置１０（の制御部１００）が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなるリムーバブル記録媒体に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線又は無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROMや記録部に、予めインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本技術は、以下のような構成をとることができる。
（１）
　医療機器から出力された情報に基づいて表示する表示部と、
　前記表示部を少なくとも観察可能な領域の一部を撮像領域として撮像する撮像部と、
　前記表示部を少なくとも観察可能な領域の音声を取得する音声取得部と、
　前記医療機器から出力された情報に基づいて表示情報を制御する制御部と
　を備え、
　前記制御部は、
　　予め登録されている第１のユーザが前記撮像領域にて所定の条件を満たしているとき、前記第１のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御し、
　　前記第１のユーザが前記撮像領域にて前記所定の条件を満たしていないとき、前記第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御する
　医療用表示システム。
（２）
　前記制御部は、手術開始前に登録された情報、手術開始前の確認動作に関する情報、及び手術中の特定の状況に関する情報のうち、少なくともいずれか１つの情報に基づいて、前記所定の条件を定める
　前記（１）に記載の医療用表示システム。
（３）
　前記制御部は、
　　前記撮像部により撮像された画像及び前記音声取得部により取得された音声の少なくとも一方に基づいて、前記第１のユーザ及び前記第２のユーザを含むユーザ候補を認識し、
　　認識された前記ユーザ候補が、前記所定の条件を満たすか否かを判定する
　前記（２）に記載の医療用表示システム。
（４）
　前記手術開始前に登録された情報は、前記ユーザ候補に関する情報を含む
　前記（３）に記載の医療用表示システム。
（５）
　前記ユーザ候補に関する情報は、術者の特徴に関する情報と、医者の特徴に関する情報とを対応付けた対応情報を含む
　前記（４）に記載の医療用表示システム。
（６）
　前記手術開始前の確認動作に関する情報は、複数の区分からなる操作権限に関する情報を含み、
　前記制御部は、前記手術開始前の確認動作を行った前記ユーザ候補を、前記操作権限の区分に振り分ける
　前記（３）又は（４）に記載の医療用表示システム。
（７）
　前記操作権限の区分は、前記操作権限を有して音声コマンドが有効になる第１の区分、前記操作権限が移譲された場合に音声コマンドが有効になる第２の区分、及び前記操作権限を有さない第３の区分を含む
　前記（６）に記載の医療用表示システム。
（８）
　前記手術中の特定の状況に関する情報は、前記ユーザ候補の位置に関する情報を含む
　前記（３）、（４）、又は（６）に記載の医療用表示システム。
（９）
　前記ユーザ候補の位置に関する情報は、前記表示部の横幅における略中央部に応じた位置を含む
　前記（８）に記載の医療用表示システム。
（１０）
　前記制御部は、前記所定の条件を満たすユーザ候補が複数存在する場合、当該ユーザ候補ごとに操作権限の優先順位を設定する
　前記（３）、（４）、（６）、又は（８）に記載の医療用表示システム。
（１１）
　前記制御部は、前記手術開始前に登録された情報の内容を初期状態として、手術の状況に応じて操作権限の優先順位を更新する
　前記（１０）に記載の医療用表示システム。
（１２）
　前記制御部は、特定の権限を有するユーザの操作に応じて、操作権限の優先順位を更新する
　前記（１０）又は（１１）に記載の医療用表示システム。
（１３）
　前記制御部は、前記第１のユーザが前記所定の条件を満たしている場合に、当該第１のユーザが、ユーザ交代のための音声コマンドを発したとき、指定されたユーザ候補に操作権限を一時的に移譲する
　前記（３）乃至（１２）のいずれかに記載の医療用表示システム。
（１４）
　前記制御部は、前記第１のユーザが前記所定の条件を満たしている場合に、当該第１のユーザが、ユーザ交代の解除のための音声コマンドを発したとき、指定された前記ユーザ候補から、前記第１のユーザに操作権限を戻す
　前記（１３）に記載の医療用表示システム。
（１５）
　前記制御部は、前記第１のユーザ及び前記第２のユーザとなり得ないユーザ候補についての認識処理を行い、ユーザ候補から除外する
　前記（３）乃至（１２）のいずれかに記載の医療用表示システム。
（１６）
　前記音声をトリガにした入力は、前記第１のユーザ又は前記第２のユーザが音声コマンドを発したときの前記第１のユーザ又は前記第２のユーザの視線を含む
　前記（１）乃至（１５）のいずれかに記載の医療用表示システム。
（１７）
　前記制御部は、前記表示部上の前記第１のユーザ又は前記第２のユーザの視線位置に基づいて、前記音声コマンドに応じた所定の処理を実行する
　前記（１６）に記載の医療用表示システム。
（１８）
　前記撮像領域に存在する前記第１のユーザ又は前記第２のユーザの視線を検出する視線検出部をさらに備える
　前記（１７）に記載の医療用表示システム。
（１９）
　医療用表示システムが、
　医療機器から出力された情報に基づいて、表示部に表示される表示情報を制御するに際して、
　　予め登録されている第１のユーザが、前記表示部を少なくとも観察可能な領域の一部として撮像された撮像領域にて所定の条件を満たしているとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御し、
　　前記第１のユーザが前記撮像領域にて前記所定の条件を満たしていないとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御する
　制御方法。
（２０）
　医療機器から出力された情報に基づいて、表示部に表示される表示情報を制御する制御部を備え、
　前記制御部は、
　　予め登録されている第１のユーザが、前記表示部を少なくとも観察可能な領域の一部として撮像された撮像領域にて所定の条件を満たしているとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御し、
　　前記第１のユーザが前記撮像領域にて前記所定の条件を満たしていないとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御する
　制御装置。
　１　医療用表示システム，　１０　制御装置，　２０　顕微鏡装置，　３０　モニタリング装置，　４０　表示装置（表示部），　５０，５０－１，５０－２　マイクロフォン（音声取得部），　６０　カメラ（撮像部），　７０　視線検出機（視線検出部），　１００　制御部，　１１１　認識部，　１１２　判定部，　１１３　実行部

Claims (20)

  1. 　医療機器から出力された情報に基づいて表示する表示部と、
    　前記表示部を少なくとも観察可能な領域の一部を撮像領域として撮像する撮像部と、
    　前記表示部を少なくとも観察可能な領域の音声を取得する音声取得部と、
    　前記医療機器から出力された情報に基づいて表示情報を制御する制御部と
    　を備え、
    　前記制御部は、
    　　予め登録されている第１のユーザが前記撮像領域にて所定の条件を満たしているとき、前記第１のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御し、
    　　前記第１のユーザが前記撮像領域にて前記所定の条件を満たしていないとき、前記第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御する
    　医療用表示システム。
  2. 　前記制御部は、手術開始前に登録された情報、手術開始前の確認動作に関する情報、及び手術中の特定の状況に関する情報のうち、少なくともいずれか１つの情報に基づいて、前記所定の条件を定める
    　請求項１に記載の医療用表示システム。
  3. 　前記制御部は、
    　　前記撮像部により撮像された画像及び前記音声取得部により取得された音声の少なくとも一方に基づいて、前記第１のユーザ及び前記第２のユーザを含むユーザ候補を認識し、
    　　認識された前記ユーザ候補が、前記所定の条件を満たすか否かを判定する
    　請求項２に記載の医療用表示システム。
  4. 　前記手術開始前に登録された情報は、前記ユーザ候補に関する情報を含む
    　請求項３に記載の医療用表示システム。
  5. 　前記ユーザ候補に関する情報は、術者の特徴に関する情報と、医者の特徴に関する情報とを対応付けた対応情報を含む
    　請求項４に記載の医療用表示システム。
  6. 　前記手術開始前の確認動作に関する情報は、複数の区分からなる操作権限に関する情報を含み、
    　前記制御部は、前記手術開始前の確認動作を行った前記ユーザ候補を、前記操作権限の区分に振り分ける
    　請求項３に記載の医療用表示システム。
  7. 　前記操作権限の区分は、前記操作権限を有して音声コマンドが有効になる第１の区分、前記操作権限が移譲された場合に音声コマンドが有効になる第２の区分、及び前記操作権限を有さない第３の区分を含む
    　請求項６に記載の医療用表示システム。
  8. 　前記手術中の特定の状況に関する情報は、前記ユーザ候補の位置に関する情報を含む
    　請求項３に記載の医療用表示システム。
  9. 　前記ユーザ候補の位置に関する情報は、前記表示部の横幅における略中央部に応じた位置を含む
    　請求項８に記載の医療用表示システム。
  10. 　前記制御部は、前記所定の条件を満たすユーザ候補が複数存在する場合、当該ユーザ候補ごとに操作権限の優先順位を設定する
    　請求項３に記載の医療用表示システム。
  11. 　前記制御部は、前記手術開始前に登録された情報の内容を初期状態として、手術の状況に応じて操作権限の優先順位を更新する
    　請求項１０に記載の医療用表示システム。
  12. 　前記制御部は、特定の権限を有するユーザの操作に応じて、操作権限の優先順位を更新する
    　請求項１０に記載の医療用表示システム。
  13. 　前記制御部は、前記第１のユーザが前記所定の条件を満たしている場合に、当該第１のユーザが、ユーザ交代のための音声コマンドを発したとき、指定されたユーザ候補に操作権限を一時的に移譲する
    　請求項３に記載の医療用表示システム。
  14. 　前記制御部は、前記第１のユーザが前記所定の条件を満たしている場合に、当該第１のユーザが、ユーザ交代の解除のための音声コマンドを発したとき、指定された前記ユーザ候補から、前記第１のユーザに操作権限を戻す
    　請求項１３に記載の医療用表示システム。
  15. 　前記制御部は、前記第１のユーザ及び前記第２のユーザとなり得ないユーザ候補についての認識処理を行い、ユーザ候補から除外する
    　請求項３に記載の医療用表示システム。
  16. 　前記音声をトリガにした入力は、前記第１のユーザ又は前記第２のユーザが音声コマンドを発したときの前記第１のユーザ又は前記第２のユーザの視線を含む
    　請求項１に記載の医療用表示システム。
  17. 　前記制御部は、前記表示部上の前記第１のユーザ又は前記第２のユーザの視線位置に基づいて、前記音声コマンドに応じた所定の処理を実行する
    　請求項１６に記載の医療用表示システム。
  18. 　前記撮像領域に存在する前記第１のユーザ又は前記第２のユーザの視線を検出する視線検出部をさらに備える
    　請求項１７に記載の医療用表示システム。
  19. 　医療用表示システムが、
    　医療機器から出力された情報に基づいて、表示部に表示される表示情報を制御するに際して、
    　　予め登録されている第１のユーザが、前記表示部を少なくとも観察可能な領域の一部として撮像された撮像領域にて所定の条件を満たしているとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御し、
    　　前記第１のユーザが前記撮像領域にて前記所定の条件を満たしていないとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御する
    　制御方法。
  20. 　医療機器から出力された情報に基づいて、表示部に表示される表示情報を制御する制御部を備え、
    　前記制御部は、
    　　予め登録されている第１のユーザが、前記表示部を少なくとも観察可能な領域の一部として撮像された撮像領域にて所定の条件を満たしているとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御し、
    　　前記第１のユーザが前記撮像領域にて前記所定の条件を満たしていないとき、前記表示部を少なくとも観察可能な領域で取得された前記第１のユーザと異なる第２のユーザの音声又は当該音声をトリガにした入力に基づいて前記表示情報を制御する
    　制御装置。
PCT/JP2021/025079 2020-07-16 2021-07-02 医療用表示システム、制御方法、及び制御装置 WO2022014362A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/004,688 US20230248468A1 (en) 2020-07-16 2021-07-02 Medical display system, control method, and control device
JP2022536254A JPWO2022014362A1 (ja) 2020-07-16 2021-07-02

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020122015 2020-07-16
JP2020-122015 2020-07-16

Publications (1)

Publication Number Publication Date
WO2022014362A1 true WO2022014362A1 (ja) 2022-01-20

Family

ID=79555327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025079 WO2022014362A1 (ja) 2020-07-16 2021-07-02 医療用表示システム、制御方法、及び制御装置

Country Status (3)

Country Link
US (1) US20230248468A1 (ja)
JP (1) JPWO2022014362A1 (ja)
WO (1) WO2022014362A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002123294A (ja) * 2000-10-18 2002-04-26 Olympus Optical Co Ltd 医療システム
JP2002336183A (ja) * 2001-05-21 2002-11-26 Olympus Optical Co Ltd 内視鏡システム
JP2016009282A (ja) * 2014-06-24 2016-01-18 株式会社東芝 医用画像診断装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002123294A (ja) * 2000-10-18 2002-04-26 Olympus Optical Co Ltd 医療システム
JP2002336183A (ja) * 2001-05-21 2002-11-26 Olympus Optical Co Ltd 内視鏡システム
JP2016009282A (ja) * 2014-06-24 2016-01-18 株式会社東芝 医用画像診断装置

Also Published As

Publication number Publication date
JPWO2022014362A1 (ja) 2022-01-20
US20230248468A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
CN111344715B (zh) 对象识别系统和方法
JP5317415B2 (ja) 画像出力装置、画像出力方法、および画像出力プログラム
JP2020533701A (ja) 対象者の識別のためのカメラ及び画像校正
JP2007293818A (ja) 画像記録装置、画像記録方法、および画像記録プログラム
US9498123B2 (en) Image recording apparatus, image recording method and image recording program stored on a computer readable medium
US20130281987A1 (en) System for endoscopic surgery
JP4537901B2 (ja) 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム
WO2021216566A1 (en) Systems and methods for video and audio analysis
US20210386489A1 (en) Surgical support system, data processing apparatus and method
JP6888620B2 (ja) 制御装置、制御方法、プログラム及び音出力システム
JP2018525696A (ja) グループのメンバによってデバイスを操作する方法及び装置
JP2007289657A (ja) 画像記録装置、画像記録方法、および画像記録プログラム
WO2020116224A1 (ja) 情報処理装置、提示方法、および手術システム
CN110913787B (zh) 手术支持系统、信息处理方法和信息处理装置
WO2022014362A1 (ja) 医療用表示システム、制御方法、及び制御装置
CN116918000A (zh) 用于增强音频通信的系统和方法
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
EP4376402A1 (en) Information processing system, information processing method, and program
WO2021010193A1 (ja) 医療機器制御システム、制御装置、および制御方法
US20230274528A1 (en) System and method for assisting with the diagnosis of otolaryngologic diseases from the analysis of images
JP6345502B2 (ja) 医用画像診断装置
WO2023181417A1 (ja) 撮影装置、プログラム及び方法
JP2005111081A (ja) 内視鏡画像表示処理装置
EP4163765A1 (en) Method and apparatus for initiating an action
WO2023026528A1 (ja) 手術システム、制御方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21843508

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536254

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21843508

Country of ref document: EP

Kind code of ref document: A1