WO2017038241A1 - 機器操作装置、機器操作方法、及び電子機器システム - Google Patents

機器操作装置、機器操作方法、及び電子機器システム Download PDF

Info

Publication number
WO2017038241A1
WO2017038241A1 PCT/JP2016/069885 JP2016069885W WO2017038241A1 WO 2017038241 A1 WO2017038241 A1 WO 2017038241A1 JP 2016069885 W JP2016069885 W JP 2016069885W WO 2017038241 A1 WO2017038241 A1 WO 2017038241A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
sight
line
detected
operation target
Prior art date
Application number
PCT/JP2016/069885
Other languages
English (en)
French (fr)
Inventor
岡部　雄生
繭子 生田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP16841273.2A priority Critical patent/EP3342326B1/en
Priority to JP2017537618A priority patent/JPWO2017038241A1/ja
Publication of WO2017038241A1 publication Critical patent/WO2017038241A1/ja
Priority to US15/891,567 priority patent/US10506913B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00048—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G02B23/243—Objectives for endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control

Definitions

  • the present invention relates to an apparatus operating device, an apparatus operating method, and an electronic apparatus system, and more particularly to a technique for operating an apparatus with a user's line of sight and gesture.
  • Patent Document 1 describes that an image displayed on a windshield of a car is selected by detecting the driver's line of sight, and the selection of the image is confirmed by moving the hand.
  • Patent Document 2 describes that an operation target device such as an instrument panel switch is selected by a driver's line of sight, gestures such as hand gestures, signs, and hand shape changes, and the selected device is operated.
  • Patent Document 3 describes that an operation such as command selection of the X-ray diagnostic apparatus is performed by a viewpoint detection unit or a non-contact fingertip operation unit.
  • Patent Documents 1 to 3 cannot easily perform necessary operations.
  • the operation to be performed is complicated, the user's operation (movement of the line of sight or gesture) is complicated and annoying, and if a necessary gesture is forgotten, driving the vehicle by performing the gesture May cause trouble.
  • the fingertip detection means provided at the operator's hand is used.
  • actual instruments are used for device operation, it is likely to be a restriction on device arrangement.
  • the present invention has been made in view of such circumstances, and provides a device operating device, a device operating method, and an electronic device system that can easily perform necessary operations with line of sight and gestures and have low restrictions on device arrangement.
  • the purpose is to do.
  • an apparatus operating device includes a line-of-sight detection unit that detects a user's line of sight, a pseudo display unit that pseudo-displays a virtual object, and a virtual object that is pseudo-displayed
  • a gesture detection unit that detects a user's gesture, a determination unit that determines an operation target device and an operation content for the operation target device based on the detected line of sight and the detected gesture, and controls the operation target device
  • a control unit that causes the operation target device to execute the determined operation content.
  • a virtual object is displayed in a pseudo manner, and a gesture with respect to the virtual object is detected, so that a necessary operation can be easily performed. Further, since determination and control are performed based on the line of sight and a gesture with respect to a virtual object, it is not necessary to actually provide an operation instrument or member, and it is not necessary to directly touch the instrument or member, so that there are few restrictions on the device arrangement.
  • the virtual object pseudo display may be performed according to the operation target device and the operation content. Specifically, for example, an object to be pseudo-displayed and a display mode in consideration of conditions such as what kind of device is the operation target device and what processing the operation target device can execute Can be determined.
  • the virtual object to be pseudo-displayed may be an object that imitates an instrument or a member that is actually used for the operation, or may be an object that is not related to these.
  • the virtual object may be displayed or colored with characters, figures, or symbols according to the operation target device and the operation content, and the display may be varied according to the detected gesture. Further, the gesture may be performed by a part of the body such as a hand or a foot.
  • the number of operation target devices may be one, or one or more devices may be selected from a plurality of devices based on the line of sight and the gesture.
  • the device operating device is the first aspect, wherein the determining unit determines the operation target device and the operation content based on the detected line of sight and the first gesture among the detected gestures. Then, the determination is confirmed based on the second gesture among the detected gestures.
  • the second mode prescribes conditions for finalizing the judgment. Since the second gesture is a gesture for confirming the determination, the second gesture may be simpler than the first gesture.
  • the pseudo display unit pseudo-displays a plurality of virtual objects
  • the gesture detection unit performs a gesture on the first virtual object among the plurality of virtual objects.
  • the first gesture is detected, and a gesture for the second virtual object among the plurality of virtual objects is detected as the second gesture.
  • the operation target and the operation content can be specified reliably and easily by detecting the gesture by associating the first and second virtual objects with the first and second gestures, respectively. Can do.
  • the first and second virtual objects may be displayed at the same time, or the first virtual object may be displayed first to detect the first gesture, and then the second virtual object may be displayed. Good.
  • the device operating device is configured such that the line-of-sight detection unit detects movement of the line of sight, and the determination unit operates based on the detected movement of the line of sight.
  • the operation contents for the device and the operation target device are determined.
  • the operation target and the operation content are appropriately specified by determining the operation target device and the operation content based on not only the position of the gaze (gaze point) at a certain point of time but also the movement of the gaze. can do.
  • the device operation device includes a function that the control unit causes the operation target device to execute and a function execution condition.
  • the function and execution conditions to be executed by the operation target device can be designated, the user can easily perform the intended operation.
  • the “execution condition” is a specific value of a condition that needs to be specified when executing a function, such as a range, quantity, time, and degree of processing.
  • the gesture detection unit detects a gesture of the user's hand.
  • the sixth aspect defines a specific part of the gesture.
  • a gesture ahead of the wrist may be detected.
  • the device operating device is any one of the first to sixth aspects, wherein the gaze detection unit stops the gaze detection when the gesture detection unit starts detecting the gesture, and the gesture detection unit When the detection of the gesture is finished, the detection of the line of sight is started.
  • the line-of-sight detection and device operation can be performed stably.
  • an apparatus operating method includes a gaze detection unit that detects a user's gaze, a pseudo display unit that pseudo-displays a virtual object, and a pseudo-displayed virtual object.
  • a gesture detection unit that detects a user's gesture with respect to the device operation method of the device operation device, and based on the line of sight detected by the line of sight detection unit and the gesture detected by the gesture detection unit, A determination step of determining an operation content for the operation target device, and a control step of controlling the operation target device and causing the operation target device to execute the determined operation content.
  • a necessary operation can be easily performed by a gesture with respect to the line of sight and the virtual object, and restrictions on the device arrangement are low.
  • an electronic device system includes the device operating device according to any one of the first to seventh aspects, an electronic device that is an operation target device, and ,including.
  • the electronic device system according to the ninth aspect as described above with respect to the first to seventh aspects, it is possible to easily perform a necessary operation by a gesture with respect to the line of sight and the virtual object, and to reduce restrictions on the device arrangement. can do.
  • the electronic device includes an image display unit that displays an image, and the control unit controls the electronic device and performs processing on the image displayed on the image display unit. Let the electronics run. According to the 9th aspect, the process with respect to the image which the electronic device acquired can be performed with a gaze and a gesture.
  • the electronic device system according to an eleventh aspect is the ninth or tenth aspect, wherein the electronic device is a medical device.
  • the medical device has restrictions on holding, operation, use conditions, etc.
  • the electronic device system according to the eleventh aspect can easily operate the medical device by a gaze and a gesture on the virtual object, and the restriction on the device arrangement is low.
  • the medical device may be an endoscopic device, an X-ray diagnostic device, an ultrasonic diagnostic device, an interpretation support device, a dental diagnosis / treatment device, or the like, but is not limited thereto. .
  • the device operating device the device operating method, and the electronic device system of the present invention, necessary operations can be easily performed with a line of sight and a gesture, and restrictions on device arrangement are low.
  • FIG. 1 is a diagram showing an overall configuration of an electronic device system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of an electronic device system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a state of observation by an endoscope constituting the electronic device system.
  • FIG. 4 is a diagram illustrating how the electronic device system is used.
  • FIG. 5 is a flowchart showing device operation processing in the electronic device system according to the embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of an image acquired by an endoscope.
  • FIG. 7 is a diagram illustrating a virtual object displayed in a pseudo manner.
  • FIG. 8 is a diagram illustrating a gesture for a virtual object displayed in a pseudo manner.
  • FIG. 9 is a diagram illustrating a state in which an enlargement range of an image is designated by a line of sight.
  • FIG. 10 is a diagram showing an enlarged image.
  • FIG. 1 is an external view showing an endoscope system 10 (electronic device system) according to the first embodiment
  • FIG. 2 is a block diagram showing a main part configuration of the endoscope system 10.
  • an endoscope system 10 includes an endoscope apparatus 100 (medical device) including an endoscope main body 110, an endoscope processor 200, a light source device 300, and a monitor 400 (image display unit). And an endoscope operating device 500 (device operating device).
  • the endoscope main body 110 includes a hand operation unit 102 and an insertion unit 104 connected to the hand operation unit 102.
  • the surgeon grasps and operates the hand operation unit 102 and inserts the insertion unit 104 into the body of the subject to perform observation.
  • the insertion unit 104 includes a flexible portion 112, a bending portion 114, and a distal end portion 116 in this order from the hand operating portion 102 side.
  • the distal end portion 116 is provided with a photographing optical system 130 (see FIG. 2), an illumination unit 123, a water supply nozzle 124, a forceps port 126, and the like.
  • either or both visible light and infrared light can be emitted from the illumination lenses 123A and 123B of the illumination unit 123 by operating the operation unit 208 (see FIG. 2). Further, by operating the operation unit 208, cleaning water is discharged from the water supply nozzle 124, and the lens 132 of the photographing optical system 130 and the illumination lenses 123A and 123B can be cleaned.
  • a treatment tool (not shown) for tumor removal or excision is inserted into the forceps port 126, and can be advanced and retracted appropriately to perform necessary treatment on the subject.
  • a lens 132 of the photographing optical system 130 is disposed on the distal end surface of the distal end portion 116, and a CMOS (Complementary MOS) type imaging device 134, a drive circuit 136, An AFE (Analog Front End) 138 is arranged to output an image signal.
  • CMOS Complementary MOS
  • An AFE Analog Front End
  • the image sensor 134 is a CMOS type image sensor will be described, but the image sensor 134 may be a CCD (Charge-Coupled Device) type.
  • An observation image taken in via the lens 132 or the like is formed on the light receiving surface of the image sensor 134 and converted into an electric signal, which is output to the endoscope processor 200 via a signal cable (not shown) and converted into a video signal. Is done. Thereby, an observation image is displayed on the monitor 400 connected to the endoscope processor 200.
  • FIG. 3 is a diagram illustrating a state where the insertion unit 104 of the endoscope apparatus 100 is inserted into the subject, and illustrates a state in which an observation image is acquired via the imaging optical system 130.
  • reference symbol IA indicates an imaging range
  • reference symbol tm indicates a tumor (a portion protruding in black in FIG. 3).
  • illumination lenses 123 ⁇ / b> A (for visible light) and 123 ⁇ / b> B (for infrared light) of the illumination unit 123 are provided adjacent to the lens 132 on the distal end surface of the distal end portion 116. Yes.
  • An exit end of a light guide 170 which will be described later, is disposed behind the illumination lenses 123A and 123B.
  • the light guide 170 is inserted into the insertion unit 104, the hand operation unit 102, and the universal cable 106.
  • the incident end is disposed in the light guide connector 108.
  • the light source device 300 includes a light source 310, a diaphragm 330, a condenser lens 340, and the like, and makes illumination light enter the light guide 170.
  • the light source 310 includes a visible light source 310A and an infrared light source 310B, and can emit one or both of visible light and infrared light.
  • the illumination light emitted from the light source device 300 is transmitted to the illumination lenses 123A and 123B via the light guide 170, and is used for illumination.
  • the observation range is irradiated from the lenses 123A and 123B.
  • the endoscope processor 200 inputs an image signal output from the endoscope apparatus 100 via the image input controller 202, performs necessary image processing in the image processing unit 204, and outputs it via the video output unit 206. To do. Thereby, an observation image is displayed on the monitor 400. These processes are performed under the control of a CPU (Central Processing Unit) 210.
  • a CPU Central Processing Unit
  • the image processing unit 204 in addition to image processing such as white balance adjustment, switching or superimposing display of an image to be displayed on the monitor 400, electronic zoom processing, display of an image according to an operation mode, switching, or a specific component from an image signal Extraction (for example, luminance signal) is performed.
  • the endoscope processor 200 includes an operation unit 208.
  • the operation unit 208 includes an operation mode setting (not shown), a changeover switch, a water supply instruction button, or the like, and can operate irradiation with visible light or infrared light.
  • the endoscope operation device 500 includes a head-mounted terminal 510 (pseudo display unit), a line-of-sight detection camera 520 (line-of-sight detection unit), and a calculation unit 530 (line of sight).
  • the head-mounted terminal 510 is a terminal mounted on the user's head, and includes field-of-view cameras 512 and 514 (pseudo display units) that acquire a user's field-of-view image (an image obtained by capturing the line-of-sight direction).
  • the field-of-view cameras 512 and 514 are arranged so as to be positioned near the left and right eyes, respectively, when the head-mounted terminal 510 is mounted on the user's head.
  • a stereo image is acquired by the field cameras 512 and 514, and the calculation unit 530 calculates the position of the subject with respect to the field cameras 512 and 514 and the distance from the field cameras 512 and 514 to the subject based on the stereo image. To do.
  • the line-of-sight detection camera 520 is disposed in the vicinity of the monitor 400 and the display 540 and takes an image of the user's eyes, and based on this, the line of sight of the user is detected.
  • a plurality of line-of-sight detection cameras 520 may be provided in order to surely and stably detect the line of sight.
  • the calculation unit 530 calculates the subject position and distance based on the stereo images acquired by the visual field cameras 512 and 514, the gaze detection based on the eye image captured by the gaze detection camera 520, the pseudo display control, and the gesture detection for the virtual object. Operation control of the endoscope apparatus 100 is performed.
  • the display 540 displays a visual field image and pseudo-displays a virtual object on the visual field image.
  • FIG. 4 is a conceptual diagram showing a state in which the endoscope apparatus 100 is operated by the endoscope operation apparatus 500.
  • the user wearing the head-mounted terminal 510 looks at the monitor 400 and the display 540 while operating the endoscope apparatus 100, and continuously displays the user's visual field images by the visual field cameras 512 and 514. (However, the view camera 514 is not shown).
  • a line-of-sight detection camera 520 is provided in the vicinity of the monitor 400 and the display 540, and acquires an image of the user's eyes.
  • FIG. 5 is a flowchart showing an operation process of the endoscope apparatus 100.
  • the flowchart in FIG. 5 shows processing when the endoscope operating device 500 operates the endoscope device 100 so as to perform processing on the observation image displayed on the monitor 400.
  • step S100 an observation image is acquired through the photographing optical system 130 of the endoscope apparatus 100 as shown in FIG. 3 in step S100 and displayed on the monitor 400 as shown in FIG. 6 (reference numerals in FIG. 6).
  • tm indicates a tumor as in FIG. 3).
  • step S102 the user's visual field image by the visual field cameras 512 and 514 is acquired.
  • a virtual object is pseudo-displayed on the display 540 as will be described in detail below, but the fact that a specific object is recognized in the field-of-view image is set as a pseudo-display start condition.
  • the process proceeds to step S106 to start pseudo display. Note that the determination in step S104 is repeated until the left hand is detected.
  • step S106 the function that can be executed when the hand is recognized by the function of the endoscope apparatus 100 at the position of the user's hand in the image displayed on the display 540.
  • the corresponding virtual object is displayed in a pseudo manner.
  • the position of the hand at the time of pseudo display can be calculated based on the stereo image acquired by the visual field cameras 512 and 514 as described above.
  • the observation image of the endoscope apparatus 100 is displayed on the monitor 400 (see FIG. 6), and image enlargement, printing, and illumination (change of illumination) can be performed on the observation image. As shown in FIG.
  • virtual objects IO1, IO2, and IO3 (first virtual objects) in which each function is displayed on a keyboard key are displayed in a pseudo manner.
  • these virtual objects IO1, IO2, and IO3 can be manipulated in a pseudo manner by gestures.
  • hand recognition and pseudo-display are not performed by a marker-less, vision-based AR (Augmented Reality) technology, but by recognizing a figure or the like (marker) of a predetermined pattern.
  • the virtual object is displayed at the position of the recognized object and the vicinity thereof. Since the pseudo display can be performed without the marker, restrictions on the device arrangement can be reduced.
  • the pseudo display is not limited to that using the markerless AR technology, but may be performed using the marker AR technology depending on conditions such as restrictions on device arrangement.
  • Such AR technology is introduced on the following Web site, for example. http://www.atmarkit.co.jp/ait/articles/1109/26/news136_2.html
  • the user's left hand is recognized and displayed in a pseudo manner, but the recognized object is not limited to the left hand, and may be another part of the body such as the right hand or the foot, or an object other than the user's body.
  • pseudo display may be performed by recognizing the hand operation unit 102 of the endoscope apparatus 100.
  • a marker can be provided on the user's hand, gloves or hand operation unit 102 by sticking or the like.
  • step S106 If the virtual objects IO1, IO2, and IO3 are displayed in step S106, the process proceeds to step S108, and it is determined whether or not a gesture (first gesture) has been made on the virtual objects IO1, IO2, and IO3. Specifically, it is determined whether or not a gesture of touching or pushing down any of the virtual objects IO1, IO2, and IO3 is made by the following procedures 1 to 4. Here, it is assumed that the user touches one of the virtual objects IO1, IO2, and IO3 with the finger of the right hand. At this time, a message indicating a gesture to be performed on the virtual objects IO1, IO2, and IO3 (such as “please touch the key you want to execute with the right hand”) may be displayed on the screen of the display 540.
  • a gesture first gesture
  • the calculation unit 530 calculates the positional relationship between the finger of the right hand and the virtual objects IO1, IO2, and IO3 that are pseudo-displayed.
  • FIGS. 8A and 8B show an example in which a gesture is made on the virtual object IO1 and the virtual object IO1 is changed in color accordingly.
  • the virtual object IO1 may be deformed and displayed in addition to the color change or instead of the color change.
  • step S108 If it is determined in step S108 that a gesture has been made, the function corresponding to the virtual object that is the target of the gesture is determined as a function that causes the endoscope apparatus 100 that is the operation target device to execute (step S110; determination step).
  • step S110 determination step.
  • FIG. 8A it is determined that a gesture has been made on the virtual object IO1, and the observation image displayed on the monitor 400 is enlarged.
  • the execution condition of the function to be executed by the endoscope apparatus 100 (here, the enlargement range which is the execution condition of the function of image enlargement) can be designated by the line of sight (step S112). Specifically, first, the gazing point P1 is detected from the image of the user's eye acquired by the sight line detection camera 520 (FIG. 9A), and then the gazing point P2 is detected according to the movement of the user's sight line (see FIG. 9). 9 (b)), a rectangular area EA having the gazing points P1 and P2 at the lower left and upper right is defined as an enlarged range. At this time, since the line-of-sight direction is unstable, if the same point is watched for a certain time (for example, 3 seconds) or more, it may be detected as a gazing point.
  • a certain time for example, 3 seconds
  • Detecting the line of sight can be performed based on the position of the iris with respect to the eye, with the reference point (non-moving part) as the eye and the moving point (moving part) as the iris from the user's eye image.
  • the reference point non-moving part
  • the moving point moving part
  • the line of sight can also be detected based on the position of the pupil relative to the position of the corneal reflection, with the reference point being the corneal reflection and the moving point being the pupil. In this case, for example, if the pupil is closer to the outer corner of the eye than the corneal reflection of the left eye, the user looks at the left side. If the pupil is closer to the eye than the corneal reflection, the user is looking at the right side.
  • the user's face is irradiated with infrared rays and photographed with an infrared camera.
  • step S114 the process proceeds to step S114 to stop the line-of-sight detection process, and the process proceeds to step S116.
  • the reason why the line-of-sight detection process is stopped in step S114 is that the line-of-sight (gaze point) tends to move unstablely and is fixed so that the set enlargement range does not fluctuate.
  • the line-of-sight detection stop is canceled (line-of-sight detection is resumed) in step S124.
  • step S116 virtual objects IO4 and IO5 (second virtual objects) for determining the image enlargement range or canceling the image enlargement are pseudo-displayed on the display 540 (see FIG. 8B).
  • Virtual objects IO4 and IO5 are virtual objects imitating an OK button and a cancel button, respectively.
  • step S118 determination step
  • This gesture is a gesture in which the button is touched or pressed with the finger of the right hand, as in step S108.
  • the determination as to whether or not a gesture has been made can be made based on stereo images taken by the field-of-view cameras 512 and 514, as in steps S104 and S108.
  • step S118 determines whether a gesture for the virtual object IO4 is detected (Yes in step S118). If a gesture for the virtual object IO4 is detected (Yes in step S118), the process proceeds to step S120 (determination step) to determine the image enlargement execution condition (enlargement range: area EA in FIG. 9B), and to step S122. move on. On the other hand, when a gesture for the virtual object IO5 is detected (No in step S118, Yes in step S126), image enlargement is canceled (step S128), and the process returns to step S100. If a gesture for any one of the virtual objects IO4 and IO5 is detected, the detection of the gesture is terminated.
  • step S122 control process
  • the function of the endoscope apparatus 100 is executed according to the execution conditions specified up to step S120.
  • the arithmetic unit 530 instructs the endoscope processor 200 to enlarge and display the area EA
  • the endoscope processor 200 enlarges the area EA by enlarging the area EA using the image processing unit 204.
  • the image is displayed on the monitor 400 (see FIG. 10). If an enlarged image is displayed, it will progress to step S124, will cancel
  • an actual keyboard, mouse, or buttons are touched for the operation of the endoscope apparatus 100 (enlargement of an image in the above example). Since there is no need, it is not necessary to change equipment or attach / detach gloves at the medical site, and necessary operations can be easily performed with a line of sight and a gesture (for example, a right hand gesture). In addition, there is no need to provide a keyboard, mouse, or buttons for operating the endoscope apparatus 100, and there are low restrictions on the device arrangement. Furthermore, a virtual object corresponding to the operation device and the operation content is displayed in a pseudo manner (in the above example, executable functions are displayed as characters on a virtual key), which virtual object should be operated? Easy to grasp.
  • the operation content of the endoscope apparatus 100 is not limited to the enlarged display, the change of illumination, and the printing shown in the above example, and other functions of the endoscope apparatus 100 are executed. May be.
  • the virtual object to be pseudo-displayed is not limited to the key or button, but may be a dial, a lever, a switch, or the like, and the virtual object display may be superimposed on the observation image of the monitor 400 or may be switched.
  • the gesture for operating the endoscope apparatus 100 may be set not only by pressing a key or button but also according to a virtual object. For example, operations such as rotation of a dial, movement of a lever, and gripping a grip may be performed.
  • the gesture is not limited to the operation of moving the finger of the hand, but may be an operation of moving the fingertip, wrist, or foot.
  • the operation target device is the endoscope apparatus 100 that is a medical device
  • the operation target device may not be a medical device.
  • the operation target device is not limited to one, and may be selected from a plurality of devices based on the line of sight and the gesture.
  • the gesture may be performed with both hands instead of one hand, or the user who is the target of gaze detection and the target of the gesture detection The user who becomes may be another person.
  • SYMBOLS 10 ... Endoscope system, 100 ... Endoscope apparatus, 110 ... Endoscope main body, 200 ... Endoscope processor, 300 ... Light source apparatus, 400 ... Monitor, 500 ... Endoscope operation apparatus, 510 ... Head mounting Terminal, 512, 514 ... Field-of-view camera, 520 ... Eye-gaze detection camera, 530 ... Operation unit, 540 ... Display, IO1, IO2, IO3, IO4, IO5 ... Virtual object, P1, P2 ... Gaze point

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本発明は、必要な操作を視線及びジェスチャにより容易に行うことができ、機器配置に対する制約が低い機器操作装置、機器操作方法、及び電子機器システムを提供する。本発明の一実施形態に係る内視鏡システム（１０）によれば、内視鏡装置（１００）の操作のために実際のキーボードやマウス、ボタン類に触れなくてよいため、医療現場での機器の持ち替えや手袋の着脱等が不要であり、必要な操作を視線及びジェスチャにより容易に行うことができる。また、内視鏡装置の操作のためのキーボードやマウス、ボタン類を設ける必要がなく、機器配置に対する制約が低い。さらに、操作機器及び操作内容に応じた仮想物体が疑似表示されるので、いずれの仮想物体に対する操作を行えば良いのか容易に把握できる。

Description

機器操作装置、機器操作方法、及び電子機器システム
　本発明は機器操作装置、機器操作方法、及び電子機器システムに係り、特にユーザの視線及びジェスチャにより機器を操作する技術に関する。
　各種機器の操作は、ユーザが手や足により機器自体を直接触れたり、機器に設けられた操作用機器やデバイスを操作したりすることにより行うのが一般的であるが、機器の種類や使用状況によっては、ユーザによる機器本体や周辺機器の操作の動作、あるいは操作用機器やデバイスの配置に制約が生じる場合がある。例えばスマートフォンやゲーム機等の携帯機器の操作、車両の運転、医療機器の操作では、保持や操作のため両手が自由にならないことがあり、また医療機器では機器操作に際して手袋の着脱や手洗い等を要することがあり、円滑な機器操作が困難な場合があった。
　そこで、このような状況において、視線及びジェスチャにより機器操作を行う技術が知られている（例えば、特許文献１～３を参照）。特許文献１には、ドライバーの視線を検出して車のフロントガラスに表示された画像を選択し、手を動かして画像の選択を確定することが記載されている。特許文献２には、ドライバーの視線及び手振りやサイン、手の形状変化等のジェスチャによりインパネスイッチ等の操作対象機器を選択し、また選択した機器の操作を行うことが記載されている。また特許文献３には、視点検出手段や非接触の指先操作手段により、Ｘ線診断装置のコマンド選択等の操作を行うことが記載されている。
特開２０１４－２１８１９９号公報 特開２０１４－１４９６４０号公報 特開２００１－０７０２９３号公報
　しかしながら上述の特許文献１～３に記載されているような従来の技術では、必要な操作を容易に行えるものではなかった。例えば特許文献１，２では、実行しようとする操作が複雑である場合、ユーザの動作（視線の移動またはジェスチャ）が複雑になり煩わしく、必要なジェスチャを忘れると、ジェスチャを行うことによって車両の運転に支障をきたす、等のおそれがある。また特許文献３では操作者の手元に設けた指先検出手段を用いているが、機器操作のために実際の器具類を用いると、機器配置に対する制約となりやすい。
　このように、従来の技術では視線及びジェスチャにより操作する機器において必要な操作を容易に行うことが困難であり、機器配置に対する制約も高かった。
　本発明はこのような事情に鑑みてなされたもので、必要な操作を視線及びジェスチャにより容易に行うことができ、機器配置に対する制約が低い機器操作装置、機器操作方法、及び電子機器システムを提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る機器操作装置は、ユーザの視線を検出する視線検出部と、仮想物体を疑似表示する疑似表示部と、疑似表示された仮想物体に対するユーザのジェスチャを検出するジェスチャ検出部と、検出された視線及び検出されたジェスチャに基づいて、操作対象機器と、操作対象機器に対する操作内容と、を判断する判断部と、操作対象機器を制御し、判断した操作内容を操作対象機器に実行させる制御部と、を備える。
　第１の態様に係る機器操作装置では、仮想物体が疑似表示され、この仮想物体に対するジェスチャを検出するので、必要な操作を容易に行うことができる。また、視線及び仮想物体に対するジェスチャに基づいて判断及び制御するので操作用器具または部材を実際に設ける必要がなく、また器具または部材に直接触れる必要がないため、機器配置に対する制約が低い。
　なお第１の態様において、仮想物体の疑似表示は操作対象機器及び操作内容に応じて行うようにしてよい。具体的には例えば、操作対象機器がどのような機器であるか、及び操作対象機器がどのような処理を実行可能であるか、等の条件を考慮して疑似表示する物体及び表示の態様を決定することができる。
　また、第１の態様において、疑似表示する仮想物体は現実に操作に用いる器具または部材を模した物体でもよいし、これらに関係ない物体でもよい。仮想物体には操作対象機器及び操作内容に応じて文字、図形、または記号を表示したり、着色したりしてもよく、また検出したジェスチャに応じて表示が変動するようにしてもよい。また、ジェスチャは手または足等身体の一部分により行うようにしてよい。また第１の態様において操作対象機器は１つでもよいし、複数の機器のうちから視線及びジェスチャに基づいて１つ以上の機器を選択するようにしてもよい。
　第２の態様に係る機器操作装置は第１の態様において、判断部は、検出された視線と、検出されたジェスチャのうちの第１のジェスチャと、に基づいて操作対象機器及び操作内容を判断し、検出されたジェスチャのうちの第２のジェスチャに基づいて判断を確定する。第２の態様は判断を確定するための条件を規定するものである。なお第２のジェスチャは判断を確定するためのジェスチャであるので、第１のジェスチャより単純なものにしてもよい。
　第３の態様に係る機器操作装置は第２の態様において、疑似表示部は複数の仮想物体を疑似表示し、ジェスチャ検出部は、複数の仮想物体のうちの第１の仮想物体に対するジェスチャを第１のジェスチャとして検出し、複数の仮想物体のうちの第２の仮想物体に対するジェスチャを第２のジェスチャとして検出する。第３の態様によれば、第１，第２の仮想物体と第１，第２のジェスチャとをそれぞれ対応させてジェスチャを検出することによって、操作対象及び操作内容を確実かつ容易に指定することができる。なお第１，第２の仮想物体は同時に表示してもよいし、まず第１の仮想物体を表示して第１のジェスチャを検出し、その後に第２の仮想物体を表示するようにしてもよい。
　第４の態様に係る機器操作装置は第１から第３の態様のいずれか１つにおいて、視線検出部は視線の移動を検出し、判断部は、検出した視線の移動に基づいて、操作対象機器と操作対象機器に対する操作内容とを判断する。第４の態様によれば、ある時点での視線（注視点）の位置だけでなく視線の移動に基づいて操作対象機器と操作内容とを判断することによって、操作対象や操作内容を適切に指定することができる。
　第５の態様に係る機器操作装置は第１から第４の態様のいずれか１つにおいて、操作内容は、制御部が操作対象機器に実行させる機能と、機能の実行条件と、を含む。第５の態様では、操作対象機器に実行させる機能及び実行条件を指定できるので、ユーザは意図した操作を容易に行うことができる。なお第５の態様において「実行条件」とは、範囲、数量、時間、処理の程度等、機能の実行に際し特定する必要がある条件の具体的な値である。
　第６の態様に係る機器操作装置は第１から第５の態様のいずれか１つにおいて、ジェスチャ検出部は、ユーザの手のジェスチャを検出する。第６の態様は、ジェスチャの具体的な部位を規定したものである。なお第６の態様において、手首から先のジェスチャを検出するようにしてもよい。
　第７の態様に係る機器操作装置は第１から第６の態様のいずれか１つにおいて、視線検出部は、ジェスチャ検出部がジェスチャの検出を開始したら視線の検出を停止し、ジェスチャ検出部がジェスチャの検出を終了したら視線の検出を開始する。第７の態様では、視線検出の開始および終了の条件を設けることによって、安定して視線検出及び機器操作等を行えるようにしている。
　上述した目的を達成するため、本発明の第８の態様に係る機器操作方法は、ユーザの視線を検出する視線検出部と、仮想物体を疑似表示する疑似表示部と、疑似表示された仮想物体に対するユーザのジェスチャを検出するジェスチャ検出部と、を備える機器操作装置の機器操作方法であって、視線検出部により検出された視線及びジェスチャ検出部により検出されたジェスチャに基づいて、操作対象機器と、操作対象機器に対する操作内容と、を判断する判断工程と、操作対象機器を制御し、判断した操作内容を操作対象機器に実行させる制御工程と、を含む。第８の態様に係る機器操作方法によれば、第１の態様と同様に視線及び仮想物体に対するジェスチャにより必要な操作を容易に行うことができ、機器配置に対する制約が低い。
　上述した目的を達成するため、本発明の第９の態様に係る電子機器システムは、第１から第７の態様のいずれか１つに記載の機器操作装置と、操作対象機器である電子機器と、を含む。第９の態様に係る電子機器システムによれば、第１から第７の態様について上述したように、視線及び仮想物体に対するジェスチャにより必要な操作を容易に行うことができ、機器配置に対する制約を低くすることができる。
　第１０の態様に係る電子機器システムは第９の態様において、電子機器は画像を表示する画像表示部を備え、制御部は、電子機器を制御し、画像表示部に表示された画像に対する処理を電子機器に実行させる。第９の態様によれば、電子機器が取得した画像に対する処理を視線及びジェスチャにより実行することができる。
　第１１の態様に係る電子機器システムは第９または第１０の態様において、電子機器は医療機器である。医療機器は保持・動作・使用状況等に対する制約があるが、第１１の態様に係る電子機器システムでは視線及び仮想物体に対するジェスチャにより医療機器を容易に操作することができ、機器配置に対する制約も低い。なお第１１の態様において、医療機器は内視鏡装置、Ｘ線診断装置、超音波診断装置、読影支援装置、歯科診断・治療用装置等であってよいが、これらに限定されるものではない。
　本発明の機器操作装置、機器操作方法、及び電子機器システムによれば、必要な操作を視線及びジェスチャにより容易に行うことができ、機器配置に対する制約が低い。
図１は、本発明の一実施形態に係る電子機器システムの全体構成を示す図である。 図２は、本発明の一実施形態に係る電子機器システムの構成を示すブロック図である。 図３は、電子機器システムを構成する内視鏡による観察の様子を示す図である。 図４は、電子機器システムの使用の様子を示す図である。 図５は、本発明の一実施形態に係る電子機器システムにおける機器操作の処理を示すフローチャートである。 図６は、内視鏡により取得した画像の例を示す図である。 図７は、仮想物体を疑似表示した様子を示す図である。 図８は、疑似表示した仮想物体に対するジェスチャを示す図である。 図９は、視線により画像の拡大範囲を指定する様子を示す図である。 図１０は、拡大後の画像を示す図である。
　＜第１の実施形態＞
　以下、添付図面に従って本発明に係る機器操作装置、機器操作方法、及び電子機器システムの実施形態について説明する。図１は、第１の実施形態に係る内視鏡システム１０（電子機器システム）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１、２に示すように、内視鏡システム１０は、内視鏡本体１１０、内視鏡プロセッサ２００、光源装置３００、及びモニタ４００（画像表示部）からなる内視鏡装置１００（医療機器である電子機器）と、内視鏡操作装置５００（機器操作装置）と、を含んで構成されている。
　＜内視鏡本体の構成＞
　内視鏡本体１１０は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者は手元操作部１０２を把持して操作し、挿入部１０４を被験者の体内に挿入して観察を行う。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端部１１６で構成されている。先端部１１６には、撮影光学系１３０（図２参照）、照明部１２３、送水ノズル１２４、鉗子口１２６等が設けられる。
　観察または処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから可視光または赤外光のいずれか、または両方を照射することができる。また操作部２０８の操作により、送水ノズル１２４から洗浄水が放出されて、撮影光学系１３０のレンズ１３２及び、照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。鉗子口１２６には腫瘍摘出や切除のための図示せぬ処置具が挿通され、適宜進退して被検体に必要な処置を施せるようになっている。
　図２に示すように、先端部１１６の先端面には撮影光学系１３０のレンズ１３２が配設されており、このレンズ１３２の奥にＣＭＯＳ（Complementary MOS）型の撮像素子１３４、駆動回路１３６、ＡＦＥ（Analog Front End）１３８が配設されて、画像信号を出力するようになっている。本実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。
　レンズ１３２等を介して取り込まれた観察像は撮像素子１３４の受光面に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ２００に出力されて映像信号に変換される。これにより、内視鏡プロセッサ２００に接続されたモニタ４００に観察画像が表示される。
　＜観察画像の表示＞
　図３は内視鏡装置１００の挿入部１０４を被検体内に挿入した状態を示す図であり、撮影光学系１３０を介して観察画像を取得する様子を示している。図３中、参照符号ＩＡは撮影範囲を示し、参照符号ｔｍは腫瘍（図３中黒色で隆起している部分）を示す。
　図１～図３に示すように、先端部１１６の先端面には、レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ（可視光用）、１２３Ｂ（赤外光用）が設けられている。照明用レンズ１２３Ａ、１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
　＜光源装置の構成＞
　図２に示すように、光源装置３００は、光源３１０、絞り３３０、及び集光レンズ３４０等から構成されており、照明用の光をライトガイド１７０に入射させる。光源３１０は、可視光源３１０Ａ及び赤外光源３１０Ｂを備えており、可視光及び赤外線の一方または両方を照射可能である。これにより、ライトガイドコネクタ１０８（図１参照）を光源装置３００に連結することによって、光源装置３００から照射された照明光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
　＜内視鏡プロセッサの構成＞
　次に、図２に基づき内視鏡プロセッサ２００の構成を説明する。内視鏡プロセッサ２００は、内視鏡装置１００から出力される画像信号を、画像入力コントローラ２０２を介して入力し、画像処理部２０４において必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００に観察画像が表示される。これらの処理はＣＰＵ（Central Processing Unit；中央処理装置）２１０の制御下で行われる。画像処理部２０４では、ホワイトバランス調整等の画像処理の他、モニタ４００に表示する画像の切替または重畳表示、電子ズーム処理、操作モードに応じた画像の表示、切替、または画像信号からの特定成分（例えば輝度信号）の抽出等を行う。
　また、内視鏡プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定、切替スイッチまたは送水指示ボタン等を備えており、また可視光または赤外光の照射を操作することができる。
　＜内視鏡操作装置の構成＞
　図１，２に示すように、内視鏡操作装置５００（機器操作装置）は、頭部装着端末５１０（疑似表示部）と、視線検出カメラ５２０（視線検出部）と、演算部５３０（視線検出部、疑似表示部、ジェスチャ検出部、判断部、制御部）と、ディスプレイ５４０（疑似表示部）とを備える。
　頭部装着端末５１０はユーザの頭部に装着される端末であり、ユーザの視野画像（視線方向を撮影した画像）を取得する視野カメラ５１２，５１４（疑似表示部）を備える。視野カメラ５１２，５１４は、頭部装着端末５１０をユーザの頭部に装着したときに左右の目付近にそれぞれ位置するように配置されている。そしてこれら視野カメラ５１２，５１４によりステレオ画像を取得し、演算部５３０がこのステレオ画像に基づき、視野カメラ５１２，５１４を基準とした被写体の位置、及び視野カメラ５１２，５１４から被写体までの距離を算出する。視線検出カメラ５２０はモニタ４００及びディスプレイ５４０の近傍に配置されてユーザの目の画像を撮影し、これに基づきユーザの視線が検出される。なお視線の検出を確実に安定して行うため、視線検出カメラ５２０を複数設けるようにしてもよい。演算部５３０は、視野カメラ５１２，５１４で取得したステレオ画像に基づく被写体位置及び距離の算出、視線検出カメラ５２０によって撮影した目の画像に基づく視線検出、疑似表示の制御及び仮想物体に対するジェスチャ検出、内視鏡装置１００の操作制御等を行う。ディスプレイ５４０は、視野画像を表示すると共に、視野画像に仮想物体を疑似表示する。
　上述した構成の内視鏡操作装置５００による内視鏡装置１００の操作の詳細については、後述する。
　＜内視鏡操作装置の使用状況＞
　図４は、内視鏡操作装置５００により内視鏡装置１００を操作する様子を示す概念図である。図４に示す例では、頭部装着端末５１０を装着したユーザが内視鏡装置１００を操作しながらモニタ４００及びディスプレイ５４０を見ており、視野カメラ５１２，５１４によってユーザの視野画像を連続的に取得している（ただし視野カメラ５１４は図示を省略している）。また、視線検出カメラ５２０がモニタ４００及びディスプレイ５４０の近傍に設けられ、ユーザの目の画像を取得している。
　＜内視鏡操作装置による内視鏡装置の操作＞
　次に、上述した構成の内視鏡システム１０における、内視鏡操作装置５００による内視鏡装置１００の操作を説明する。図５は内視鏡装置１００の操作処理を示すフローチャートである。図５のフローチャートは、内視鏡操作装置５００が、モニタ４００に表示された観察画像に対する処理を行うように内視鏡装置１００を操作する場合の処理を示している。
　処理がスタートすると、まずステップＳ１００により図３のように内視鏡装置１００の撮影光学系１３０を介して観察画像を取得し、図６のようにモニタ４００に表示する（図６中の参照符号ｔｍは、図３と同様に腫瘍を示す）。次に、ステップＳ１０２に進んで、視野カメラ５１２，５１４によるユーザの視野画像を取得する。
　本実施形態では、以下に詳細を説明するようにディスプレイ５４０に仮想物体を疑似表示するが、視野画像内において特定の物体が認識されたことを疑似表示の開始条件としている。具体的には、図７（ａ）に示すように、視野画像においてユーザの手（ここでは左手とする）が認識されたか否かを判断し（ステップＳ１０４）、左手が検出されたら（ステップＳ１０４でＹｅｓ）、ステップＳ１０６へ進んで疑似表示を開始する。なお、ステップＳ１０４の判断は、左手が検出されるまで繰り返す。
　ステップＳ１０６では、図７（ｂ）に示すように、ディスプレイ５４０に表示された画像内のユーザの手の位置に、内視鏡装置１００が有する機能において手を認識した時点で実行可能な機能に対応した仮想物体が疑似表示される。疑似表示の際の手の位置は、上述のように視野カメラ５１２，５１４によって取得したステレオ画像に基づいて算出することができる。なお本実施形態では、モニタ４００に内視鏡装置１００の観察画像が表示されていて（図６参照）、この観察画像に対し画像の拡大、印刷、照明（照明の変更）が実行可能な場合について説明しており、図７（ｂ）に示すようにキーボードのキーに各機能を文字表示した仮想物体ＩＯ１，ＩＯ２，ＩＯ３（第１の仮想物体）を疑似表示する。なお、詳細を後述するように、これら仮想物体ＩＯ１，ＩＯ２，ＩＯ３は、ジェスチャにより疑似的に操作できるようになっている。
　ステップＳ１０４，Ｓ１０６における手の認識と疑似表示はマーカーレス型でビジョンベースのＡＲ（Augmented Reality）技術によって、決まったパターンの図形等（マーカー）を認識するのではなく、実在する物体または空間そのものを認識し、認識した物体等の位置およびその近傍に仮想物体を表示するようにしている。マーカーがなくても疑似表示できるので、機器配置に対する制約を低くすることができる。ただし、本発明において疑似表示はマーカーレス型のＡＲ技術によるものに限定されるものではなく、機器配置の制約等の条件に応じてマーカー型のＡＲ技術により行うようにしてもよい。なお、このようなＡＲ技術に関しては、例えば以下のＷｅｂサイトで紹介されている。
　　　http://www.atmarkit.co.jp/ait/articles/1109/26/news136_2.html
　なお、本実施形態ではユーザの左手を認識して疑似表示するようにしているが、認識する物体は左手に限らず右手や足等身体の他の部分でもよいし、ユーザの身体以外の物体でもよい。例えば、内視鏡装置１００の手元操作部１０２を認識して疑似表示を行うようにしてもよい。またマーカー型のＡＲ技術を用いる場合は、ユーザの手、手袋や手元操作部１０２にマーカーを貼付等により設けることができる。
　ステップＳ１０６で仮想物体ＩＯ１，ＩＯ２，ＩＯ３を表示したら、ステップＳ１０８へ進み、仮想物体ＩＯ１，ＩＯ２，ＩＯ３に対しジェスチャ（第１のジェスチャ）がされたか否かを判断する。具体的には、以下の手順１～４により、仮想物体ＩＯ１，ＩＯ２，ＩＯ３のいずれかに触れたり、押下げたりするジェスチャがされたか否かを判断する。なおここでは、ユーザが右手の指で仮想物体ＩＯ１，ＩＯ２，ＩＯ３のいずれかに触れるものとする。この際、仮想物体ＩＯ１，ＩＯ２，ＩＯ３に対し行うべきジェスチャを示すメッセージ（「実行したいキーに右手で触れて下さい」等）をディスプレイ５４０の画面に表示するようにしてもよい。
　（手順１）視野カメラ５１２，５１４によってユーザの左手付近のステレオ画像を取得する。
　（手順２）撮影したステレオ画像に基づき、右手の指と疑似表示した仮想物体ＩＯ１，ＩＯ２，ＩＯ３との位置関係を、演算部５３０により算出する。
　（手順３）ユーザが手を動かして仮想物体ＩＯ１，ＩＯ２，ＩＯ３のいずれかと右手の指との距離がしきい値以下になったら、その仮想物体に触れるジェスチャがされたものと判断する。距離の算出は、視野カメラ５１２，５１４で取得したステレオ画像に基づいて行うことができる。
　（手順４）ジェスチャがされたと判断したら、ジェスチャの対象となった仮想物体を変色させ、ジェスチャを検出したことをユーザに報知する。図８（ａ），（ｂ）では、仮想物体ＩＯ１に対してジェスチャがされ、これに応じて仮想物体ＩＯ１を変色させた場合の例を示している。なお変色に加えて、または変色に代えて仮想物体ＩＯ１を変形表示するようにしてもよい。
　ステップＳ１０８でジェスチャがされたと判断したら、ジェスチャの対象である仮想物体に対応した機能を、操作対象機器である内視鏡装置１００に実行させる機能として確定する（ステップＳ１１０；判断工程）。本実施形態では、図８（ａ）に示すように仮想物体ＩＯ１に対するジェスチャがされたと判断して、モニタ４００に表示された観察画像の拡大を行う。
　内視鏡装置１００に実行させる機能の実行条件（ここでは、画像の拡大という機能の実行条件である拡大範囲）は、視線により指定することができる（ステップＳ１１２）。具体的にはまず、視線検出カメラ５２０で取得したユーザの目の画像から注視点Ｐ１を検出し（図９（ａ））、次いでユーザの視線移動に応じて注視点Ｐ２を検出して（図９（ｂ））、注視点Ｐ１，Ｐ２を左下，右上とする長方形の領域ＥＡを拡大範囲とする。この際、視線方向は不安定なので、同一点を一定時間（例えば３秒）以上注視したら注視点として検出するようにしてもよい。
　視線（注視点）の検出は、ユーザの目の画像から、基準点（動かない部分）を目頭、動点（動く部分）を虹彩とし、目頭に対する虹彩の位置に基づいて行うことができる。この場合例えば、左目の虹彩が目頭から離れていれば、ユーザは左側を見ている。逆に左目の目頭と虹彩が近ければ、ユーザは右側を見ている。
　なお視線の検出は、基準点を角膜反射とし、動点を瞳孔にして、角膜反射の位置に対する瞳孔の位置に基づいて行うこともできる。この場合例えば、左目の角膜反射よりも瞳孔が目尻側にあれば、ユーザは左側を見ている。角膜反射よりも瞳孔が目頭側にあれば、ユーザは右側を見ている。この方式を用いる場合、ユーザの顔に赤外線を照射して赤外線カメラで撮影する。
　上述のような視線検出の技術は、例えば以下のＷｅｂサイトに紹介されている。
　　　http://jp.fujitsu.com/group/labs/techinfo/techguide/list/eye-movements_p03.html
　ステップＳ１１２で拡大範囲を設定したら、ステップＳ１１４へ進んで視線検出の処理を停止し、ステップＳ１１６に進む。なおステップＳ１１４で視線検出の処理を停止するのは、視線（注視点）は不安定に動きやすいので、設定した拡大範囲が変動しないように固定するためである。なお画像拡大の実行条件が確定したら、ステップＳ１２４で視線検出の停止を解除（視線検出を再開）する。
　ステップＳ１１６では、画像拡大範囲の確定、または画像拡大キャンセルのための仮想物体ＩＯ４，ＩＯ５（第２の仮想物体）をディスプレイ５４０に疑似表示する（図８（ｂ）参照）。仮想物体ＩＯ４，ＩＯ５はＯＫボタン、キャンセルボタンをそれぞれ模した仮想物体である。
　仮想物体ＩＯ４，ＩＯ５を表示したらステップＳ１１８（判断工程）へ進み、仮想物体ＩＯ４，ＩＯ５のいずれに対するジェスチャ（第２のジェスチャ）がされたか判断する。このジェスチャは、ステップＳ１０８と同様に、ボタンを右手の指で触れたり押下げたりするジェスチャである。ジェスチャがされたか否かの判断は、ステップＳ１０４，Ｓ１０８と同様に、視野カメラ５１２，５１４で撮影したステレオ画像に基づいて行うことができる。
　仮想物体ＩＯ４に対するジェスチャが検出されたら（ステップＳ１１８でＹｅｓ）、ステップＳ１２０（判断工程）へ進んで画像拡大の実行条件（拡大範囲：図９（ｂ）の領域ＥＡ）を確定し、ステップＳ１２２へ進む。一方、仮想物体ＩＯ５に対するジェスチャが検出されたら（ステップＳ１１８でＮｏ、ステップＳ１２６でＹｅｓ）、画像拡大をキャンセルして（ステップＳ１２８）、ステップＳ１００に戻る。なお仮想物体ＩＯ４，ＩＯ５のいずれかに対するジェスチャが検出されたら、ジェスチャの検出を終了する。
　ステップＳ１２２（制御工程）では、ステップＳ１２０までで指定された実行条件により、内視鏡装置１００の機能を実行する。具体的には、演算部５３０が内視鏡プロセッサ２００に対し、領域ＥＡの範囲を拡大表示するよう指示し、内視鏡プロセッサ２００は画像処理部２０４により領域ＥＡの範囲を拡大して、拡大画像をモニタ４００に表示させる（図１０参照）。拡大画像を表示したらステップＳ１２４へ進んで視線検出の停止を解除して、ステップＳ１００に戻る。
　以上説明したように、本実施形態に係る内視鏡システム１０を用いれば、内視鏡装置１００の操作（上述した例では画像の拡大）のために実際のキーボード、マウス、またはボタン類に触れなくてよいため、医療現場での機器の持ち替えや手袋の着脱等が不要であり、必要な操作を視線及びジェスチャ（例えば、右手のジェスチャ）により容易に行うことができる。また、内視鏡装置１００の操作のためのキーボード、マウス、またはボタン類を設ける必要がなく、機器配置に対する制約が低い。さらに、操作機器及び操作内容に応じた仮想物体が疑似表示される（上述した例では、実行可能な機能が仮想のキーに文字表示される）ので、いずれの仮想物体に対する操作を行えば良いのか容易に把握できる。
　なお、内視鏡システム１０において、内視鏡装置１００の操作内容は上述の例に示す拡大表示、照明の変更、印刷に限られず、内視鏡装置１００が有する他の機能を実行させるようにしてもよい。また疑似表示する仮想物体はキーまたはボタンに限らず、ダイヤル、レバー、スイッチなどでもよく、仮想物体の表示をモニタ４００の観察画像に重畳させたり、切り替え表示したりしてもよい。
　また、内視鏡装置１００の操作のためのジェスチャはキーまたはボタンの押し下げだけでなく、仮想物体に合わせて設定してよい。例えばダイヤルの回転やレバーの移動、グリップを握る等の動作を行うようにしてもよい。ジェスチャは手の指を動かす動作に限られず、指先や手首、あるいは足を動かす動作でもよい。
　＜その他＞
　上述の実施形態では、操作対象機器が医療機器である内視鏡装置１００である場合について説明したが、本発明において操作対象機器は医療機器でなくてもよい。医療機器の他にも、スマートフォン、タブレット端末、ゲーム機等の携帯機器の操作や、車両の運転等の機器操作のために両手を自由に使えない状況や、機器配置に制約がある状況での機器操作に適用できる。また、操作対象機器は１つに限られず、複数の機器から視線及びジェスチャに基づいて選択するようにしてもよい。また本発明において、操作対象機器や機器の使用状況、操作の種類や重要度等によってはジェスチャを片手ではなく両手で行うようにしてもよいし、視線検出の対象となるユーザとジェスチャ検出の対象となるユーザを別人としてもよい。
　１０…内視鏡システム、１００…内視鏡装置、１１０…内視鏡本体、２００…内視鏡プロセッサ、３００…光源装置、４００…モニタ、５００…内視鏡操作装置、５１０…頭部装着端末、５１２，５１４…視野カメラ、５２０…視線検出カメラ、５３０…演算部、５４０…ディスプレイ、ＩＯ１，ＩＯ２，ＩＯ３，ＩＯ４，ＩＯ５…仮想物体、Ｐ１，Ｐ２…注視点

Claims (11)

  1. 　ユーザの視線を検出する視線検出部と、
    　仮想物体を疑似表示する疑似表示部と、
    　前記疑似表示された仮想物体に対するユーザのジェスチャを検出するジェスチャ検出部と、
    　前記検出された視線及び前記検出されたジェスチャに基づいて、操作対象機器と、前記操作対象機器に対する操作内容と、を判断する判断部と、
    　前記操作対象機器を制御し、前記判断した操作内容を前記操作対象機器に実行させる制御部と、
    　を備える機器操作装置。
  2. 　前記判断部は、
    　前記検出された視線と、前記検出されたジェスチャのうちの第１のジェスチャと、に基づいて前記操作対象機器及び前記操作内容を判断し、
    　前記検出されたジェスチャのうちの第２のジェスチャに基づいて前記判断を確定する、請求項１に記載の機器操作装置。
  3. 　前記疑似表示部は複数の前記仮想物体を疑似表示し、
    　前記ジェスチャ検出部は、前記複数の仮想物体のうちの第１の仮想物体に対するジェスチャを前記第１のジェスチャとして検出し、前記複数の仮想物体のうちの第２の仮想物体に対するジェスチャを前記第２のジェスチャとして検出する、請求項２に記載の機器操作装置。
  4. 　前記視線検出部は前記視線の移動を検出し、
    　前記判断部は、前記検出した視線の移動に基づいて、前記操作対象機器と前記操作対象機器に対する操作内容とを判断する、請求項１から３のいずれか１項に記載の機器操作装置。
  5. 　前記操作内容は、前記制御部が前記操作対象機器に実行させる機能と、前記機能の実行条件と、を含む、請求項１から４のいずれか１項に記載の機器操作装置。
  6. 　前記ジェスチャ検出部は、前記ユーザの手のジェスチャを検出する、請求項１から５のいずれか１項に記載の機器操作装置。
  7. 　前記視線検出部は、前記ジェスチャ検出部が前記ジェスチャの検出を開始したら前記視線の検出を停止し、前記ジェスチャ検出部が前記ジェスチャの検出を終了したら前記視線の検出を開始する、請求項１から６のいずれか１項に記載の機器操作装置。
  8. 　ユーザの視線を検出する視線検出部と、仮想物体を疑似表示する疑似表示部と、前記疑似表示された仮想物体に対するユーザのジェスチャを検出するジェスチャ検出部と、を備える機器操作装置の機器操作方法であって、
    　前記視線検出部により検出された視線及び前記ジェスチャ検出部により検出されたジェスチャに基づいて、操作対象機器と、前記操作対象機器に対する操作内容と、を判断する判断工程と、
    　前記操作対象機器を制御し、前記判断した操作内容を前記操作対象機器に実行させる制御工程と、
    　を含む機器操作方法。
  9. 　請求項１から７のいずれか１項に記載の機器操作装置と、
    　前記操作対象機器である電子機器と、
    　を含む電子機器システム。
  10. 　前記電子機器は画像を表示する画像表示部を備え、
    　前記制御部は、前記電子機器を制御し、前記画像表示部に表示された画像に対する処理を前記電子機器に実行させる、請求項９に記載の電子機器システム。
  11. 　前記電子機器は医療機器である、請求項９または１０に記載の電子機器システム。
PCT/JP2016/069885 2015-08-28 2016-07-05 機器操作装置、機器操作方法、及び電子機器システム WO2017038241A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16841273.2A EP3342326B1 (en) 2015-08-28 2016-07-05 Instrument operation device, instrument operation method, and electronic instrument system
JP2017537618A JPWO2017038241A1 (ja) 2015-08-28 2016-07-05 機器操作装置、機器操作方法、及び電子機器システム
US15/891,567 US10506913B2 (en) 2015-08-28 2018-02-08 Apparatus operation device, apparatus operation method, and electronic apparatus system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015169057 2015-08-28
JP2015-169057 2015-08-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/891,567 Continuation US10506913B2 (en) 2015-08-28 2018-02-08 Apparatus operation device, apparatus operation method, and electronic apparatus system

Publications (1)

Publication Number Publication Date
WO2017038241A1 true WO2017038241A1 (ja) 2017-03-09

Family

ID=58188741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/069885 WO2017038241A1 (ja) 2015-08-28 2016-07-05 機器操作装置、機器操作方法、及び電子機器システム

Country Status (4)

Country Link
US (1) US10506913B2 (ja)
EP (1) EP3342326B1 (ja)
JP (1) JPWO2017038241A1 (ja)
WO (1) WO2017038241A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018235608A1 (ja) * 2017-06-21 2018-12-27 ソニー株式会社 手術システムおよび手術用撮像装置
WO2019082993A1 (ja) * 2017-10-26 2019-05-02 富士フイルム株式会社 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
WO2020075254A1 (ja) * 2018-10-11 2020-04-16 オリンパス株式会社 内視鏡システム及び表示画像生成方法
WO2020121536A1 (ja) * 2018-12-14 2020-06-18 オリンパス株式会社 ユーザインタフェース装置、医療システム、操作制御方法、及び操作制御プログラム
JPWO2021029117A1 (ja) * 2019-08-09 2021-02-18
EP3675066A4 (en) * 2017-08-22 2021-05-26 Canon Kabushiki Kaisha INFORMATION PROCESSING DEVICE, SYSTEM, IMAGE PROCESSING METHOD, COMPUTER PROGRAM AND STORAGE MEDIA

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726625B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US10725297B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
US11417426B2 (en) 2017-02-24 2022-08-16 Masimo Corporation System for displaying medical monitoring data
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
US11348373B2 (en) * 2020-02-21 2022-05-31 Microsoft Technology Licensing, Llc Extended reality gesture recognition proximate tracked object

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08206083A (ja) * 1995-02-02 1996-08-13 Hitachi Medical Corp 画像診断装置
JPH08336497A (ja) * 1995-06-09 1996-12-24 Olympus Optical Co Ltd 体腔内観察装置
JP2001070293A (ja) * 1999-09-06 2001-03-21 Toshiba Corp Ｘ線診断装置
JP2014113209A (ja) * 2012-12-06 2014-06-26 Toshiba Corp Ｘ線診断装置及び制御プログラム
JP2014516595A (ja) * 2011-03-16 2014-07-17 コントローラッド システムズ、インコーポレイテッド 放射線制御及び最小化システム及び方法
JP2015093147A (ja) * 2013-11-14 2015-05-18 オリンパスメディカルシステムズ株式会社 医療システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP5766150B2 (ja) * 2012-05-29 2015-08-19 国立大学法人東京工業大学 内視鏡操作システム
JP5947707B2 (ja) 2012-12-27 2016-07-06 富士フイルム株式会社 仮想内視鏡画像表示装置および方法並びにプログラム
JP2014149640A (ja) 2013-01-31 2014-08-21 Tokai Rika Co Ltd ジェスチャ操作装置及びジェスチャ操作プログラム
JP6015547B2 (ja) 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
JPWO2014188565A1 (ja) * 2013-05-23 2017-02-23 パイオニア株式会社 表示制御装置
US20140368432A1 (en) * 2013-06-17 2014-12-18 Tencent Technology (Shenzhen) Company Limited Wearable smart glasses as well as device and method for controlling the same
JP6316559B2 (ja) * 2013-09-11 2018-04-25 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
US10278782B2 (en) * 2014-03-19 2019-05-07 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08206083A (ja) * 1995-02-02 1996-08-13 Hitachi Medical Corp 画像診断装置
JPH08336497A (ja) * 1995-06-09 1996-12-24 Olympus Optical Co Ltd 体腔内観察装置
JP2001070293A (ja) * 1999-09-06 2001-03-21 Toshiba Corp Ｘ線診断装置
JP2014516595A (ja) * 2011-03-16 2014-07-17 コントローラッド システムズ、インコーポレイテッド 放射線制御及び最小化システム及び方法
JP2014113209A (ja) * 2012-12-06 2014-06-26 Toshiba Corp Ｘ線診断装置及び制御プログラム
JP2015093147A (ja) * 2013-11-14 2015-05-18 オリンパスメディカルシステムズ株式会社 医療システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018235608A1 (ja) * 2017-06-21 2018-12-27 ソニー株式会社 手術システムおよび手術用撮像装置
US11503980B2 (en) 2017-06-21 2022-11-22 Sony Corporation Surgical system and surgical imaging device
EP3675066A4 (en) * 2017-08-22 2021-05-26 Canon Kabushiki Kaisha INFORMATION PROCESSING DEVICE, SYSTEM, IMAGE PROCESSING METHOD, COMPUTER PROGRAM AND STORAGE MEDIA
US11610381B2 (en) 2017-08-22 2023-03-21 Canon Kabushiki Kaisha Information processing apparatus, system, and method for detecting collision between a physical and virtual object
WO2019082993A1 (ja) * 2017-10-26 2019-05-02 富士フイルム株式会社 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
JPWO2019082993A1 (ja) * 2017-10-26 2020-11-12 富士フイルム株式会社 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
WO2020075254A1 (ja) * 2018-10-11 2020-04-16 オリンパス株式会社 内視鏡システム及び表示画像生成方法
WO2020121536A1 (ja) * 2018-12-14 2020-06-18 オリンパス株式会社 ユーザインタフェース装置、医療システム、操作制御方法、及び操作制御プログラム
JPWO2021029117A1 (ja) * 2019-08-09 2021-02-18
WO2021029117A1 (ja) * 2019-08-09 2021-02-18 富士フイルム株式会社 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム
CN114025674A (zh) * 2019-08-09 2022-02-08 富士胶片株式会社 内窥镜装置、控制方法、控制程序及内窥镜系统
JP7214876B2 (ja) 2019-08-09 2023-01-30 富士フイルム株式会社 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム

Also Published As

Publication number Publication date
JPWO2017038241A1 (ja) 2018-06-14
US20180160881A1 (en) 2018-06-14
EP3342326A1 (en) 2018-07-04
US10506913B2 (en) 2019-12-17
EP3342326A4 (en) 2018-08-22
EP3342326B1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
WO2017038241A1 (ja) 機器操作装置、機器操作方法、及び電子機器システム
JP6693507B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
US8693732B2 (en) Computer vision gesture based control of a device
JP2004078977A (ja) インターフェイス装置
JP6507827B2 (ja) 表示システム
US10585476B2 (en) Apparatus operation device, apparatus operation method, and electronic apparatus system
JP2014026355A (ja) 映像表示装置および映像表示方法
US20140258917A1 (en) Method to operate a device in a sterile environment
US20190290102A1 (en) Medical observation apparatus
JP2016189120A (ja) 情報処理装置、情報処理システム、及び頭部装着ディスプレイ
US20200179077A1 (en) Control device, control method, and surgical system
WO2015146836A1 (ja) 内視鏡システム
US11202010B2 (en) Control device, external device, medical observation system, control method, display method, and program
US9851844B2 (en) Touch panel device
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
WO2017033858A1 (ja) 内視鏡システム
US11224329B2 (en) Medical observation apparatus
JP7414590B2 (ja) 制御装置および医療用観察システム
US20220110510A1 (en) Endoscope apparatus, control method, control program, and endoscope system
JP6291355B2 (ja) 電子内視鏡システム及びこれに用いる頭部ジェスチャ検出型遠隔操作装置
WO2017033605A1 (ja) タッチパネル装置及び内視鏡システム
JP2018019767A (ja) 内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16841273

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017537618

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE