WO2018096987A1 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2018096987A1
WO2018096987A1 PCT/JP2017/040977 JP2017040977W WO2018096987A1 WO 2018096987 A1 WO2018096987 A1 WO 2018096987A1 JP 2017040977 W JP2017040977 W JP 2017040977W WO 2018096987 A1 WO2018096987 A1 WO 2018096987A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
unit
information processing
display unit
processing apparatus
Prior art date
Application number
PCT/JP2017/040977
Other languages
English (en)
French (fr)
Inventor
和士 神田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/462,352 priority Critical patent/US20190339836A1/en
Priority to JP2018552517A priority patent/JP6950707B2/ja
Priority to EP17873471.1A priority patent/EP3547095A4/en
Publication of WO2018096987A1 publication Critical patent/WO2018096987A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously

Definitions

  • the present disclosure relates to an information processing apparatus, method, and program, and more particularly, to an information processing apparatus, method, and program that enable operations to be performed on a display unit that is different from a display unit to be operated.
  • a technique for selecting a certain content from a list of content that is a display candidate that operates on a device having a plurality of display units and displaying the corresponding content in a display frame is known.
  • Patent Document 1 there are overlapping areas in two display units, and each display unit shares the area, and the icon or the like is attached to the corresponding icon by moving there. It is described that the data to be transferred is transferred. However, this technique is difficult to apply when there is no overlapping area in the display unit.
  • This disclosure has been made in view of such a situation, and can operate a display unit different from the display unit to be operated.
  • An information processing apparatus includes a detection unit that detects a movement of a thumbnail representing display target information to a predetermined region of the first display unit in the first display unit to be operated, and the detection
  • a display position calculation unit that calculates a display position of the display target information in either the first display unit or the second display unit that is not the operation target, according to a predetermined region in which movement is detected by the unit; Is provided.
  • the display position calculation unit calculates a display position of the display target information on the first display unit when the movement of the thumbnail is detected in the first predetermined area by the detection unit, and the detection unit When the movement of the thumbnail is detected in the second predetermined area, the display position of the display target information on the second display unit can be calculated.
  • the detection unit can detect the movement of the thumbnail by a touch operation on the first display unit using a pointing device.
  • the detection unit can detect the movement of the thumbnail by a non-contact operation.
  • the detection unit can detect the movement of the thumbnail by drag and drop.
  • the display control unit can display the frame when the detection unit detects the start of dragging, and can prohibit display of the frame when the detection unit detects a drop.
  • the display control unit displays the frame when the detection unit detects the movement of the thumbnail around the second predetermined area, and the detection unit moves the thumbnail outside the second predetermined area. When the is detected, the display of the frame can be prohibited.
  • the display control unit can arrange the second predetermined area on the first display unit.
  • the display control unit can arrange the second predetermined area in accordance with the physical arrangement of the second display unit.
  • the display control unit controls display of the thumbnail list, and can place the second predetermined area in the list near the arrangement of the selected thumbnail.
  • the display control unit can display the second predetermined area as an icon according to the number of the second display units.
  • the display control unit can display a frame at a position surrounding the second predetermined area when the detection unit detects the proximity of the thumbnail near the icon.
  • the display control unit controls display of the list of thumbnails, and marks displayed on the second display unit on which display target information is displayed are displayed on the second predetermined unit corresponding to the second display unit. And at least one of the areas near the thumbnail representing the display target information in the list.
  • the display target information is content or a content control application.
  • the display control unit can cause the first display unit to display a screen of the content control application.
  • the second display unit is disposed at a location away from the first display unit.
  • the information processing apparatus is used for medical purposes, educational purposes, or conference purposes.
  • the information processing apparatus detects a movement of a thumbnail representing display target information to a predetermined area of the first display unit in the first display unit to be operated,
  • the display position of the display target information on either the first display unit or the second display unit that is not the operation target is calculated according to the predetermined area where the movement is detected.
  • a program includes: a detection unit configured to detect movement of a thumbnail representing display target information to a predetermined region of the first display unit in the first display unit to be operated; and the detection unit A computer as a display position calculation unit that calculates the display position of the display target information in either the first display unit or the second display unit that is not the operation target, in accordance with a predetermined area where the movement is detected. Make it work.
  • movement of a thumbnail representing display target information to a predetermined area of the first display unit is detected in the first display unit to be operated. Then, the display position of the display target information on either the first display unit or the second display unit that is not the operation target is calculated according to the predetermined area where the movement is detected.
  • an operation can be performed on a display unit different from the display unit to be operated.
  • FIG. 1 It is a figure which shows the example of the user interface which the program to which this technique is applied displays on a display part. It is a block diagram which shows the structural example of the hardware of the computer performed with the program of FIG. It is a functional block diagram of a computer to which the present technology is applied. It is a figure which shows the other example of the user interface of FIG. It is a figure which shows the further another example of the user interface of FIG. It is a figure which shows the further another example of the user interface of FIG. It is a figure which shows the specific example at the time of applying this technique. It is a figure explaining the example of operation at the time of applying this art. It is a figure which shows the other example of the user interface of FIG.
  • FIG. 1 It is a figure which shows the further another example of the user interface of FIG. It is a flowchart explaining a display control process. It is a flowchart explaining a display control process. It is a flowchart explaining a display control process. It is a figure which shows the outline of the classroom where a lecture is performed. It is a figure which shows the outline of the classroom where the lecture of the active learning method is performed. It is a figure which shows the example of a display of the operation screen in the centralized operation panel installed in an operating room. It is a figure showing roughly the whole operation room system composition. It is a figure which shows the example of a display of the operation screen in a concentrated operation panel. It is a figure which shows an example of the mode of the surgery to which the operating room system was applied. It is a block diagram which shows an example of a function structure of the camera head and CCU shown in FIG.
  • FIG. 1 is a diagram illustrating an example of a user interface displayed on a display unit by a program to which the present technology is applied.
  • a thumbnail of a desired content (for example, content A) is selected from a content list 21 in which thumbnails of content such as videos displayed on the main display unit 11 that is a display unit to be operated are arranged and displayed in an enlarged manner.
  • the target content (for example, content A) is enlarged and displayed.
  • the display unit to be controlled is not limited to one of the main display units 11, and the program of FIG. 1 includes two or more display units such as the sub display unit 12 that is a non-operation target display unit.
  • the display unit can be controlled.
  • the sub display unit 12 has two enlarged display units, enlarged display units 31a and 31b. That is, each display unit can have either or both of a content list and an enlarged display unit.
  • a frame 23 corresponding to the sub display unit 12 is displayed on the main display unit 11, and enlarged display units 31 a and 31 b displayed on the sub display unit 12 are displayed on the frame 23.
  • Corresponding small frames 24a and 24b are respectively displayed.
  • the main display unit 11 by dragging and dropping the thumbnail of the content to the small frames 24a and 24b, it is assumed that the corresponding content is dragged and dropped on the enlarged display units 31a and 31b of the sub display unit 12, The corresponding content is displayed on the corresponding enlarged display portions 31a and 31b. For example, by selecting a thumbnail of the content B and dragging and dropping it on the small frame 24a, the content B is enlarged and displayed on the enlarged display unit 31a of the sub display unit 12.
  • the upper left of each of the small frame 24a and the enlarged display unit 31a is a star.
  • a mark 41a is displayed, and a diamond mark 41b is displayed on the upper left of each of the small frame 24b and the enlarged display portion 31b.
  • FIG. 2 is a block diagram illustrating a configuration example of computer hardware executed by the program of FIG.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 65 is connected to the bus 64.
  • An input unit 66, an output unit 67, a storage unit 68, a communication unit 69, and a drive 70 are connected to the input / output interface 65.
  • the input unit 66 includes a keyboard, a microphone, and a pointing device 81 (FIG. 3) such as a mouse, a touch panel, or a tablet.
  • the output unit 67 includes a display unit (main display unit 11 and sub display unit 12), a speaker, and the like.
  • the storage unit 68 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 69 includes a network interface and the like.
  • the drive 70 drives a removable recording medium 71 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 61 loads, for example, a program stored in the storage unit 68 to the RAM 63 via the input / output interface 65 and the bus 64 and executes the program.
  • the functional block of FIG. 3 to be described next functions, and the series of processes described above is performed.
  • FIG. 3 is a functional block diagram of a computer to which the present technology is applied.
  • a pointing device 81 In the example of FIG. 3, a pointing device 81, a pointing position input unit 82, a pointing coordinate calculation unit 83, a display position calculation unit 84, display control units 85 and 86, a storage unit 68, a main display unit 11, and a sub display unit 12. It is shown.
  • the user uses an arbitrary pointing device 81 to drag and drop a thumbnail of the content.
  • the pointing device 81 may be a contact type or a non-contact type.
  • the pointing position input unit 82 receives a position input from the pointing device 81. At this time, the pointing position input unit 82 determines whether or not the input operation is dragging of the content thumbnail and the start or end of dragging of the content thumbnail.
  • the pointing coordinate calculation unit 83 calculates coordinates from the position input received by the pointing position input unit 82, and uses the calculated coordinate information to display a thumbnail of the content on the frame and the enlarged display unit (that is, a predetermined area). Detecting movement.
  • the display position calculation unit 84 uses the pointing device 81 in accordance with a predetermined area calculated from the coordinate information from the pointing coordinate calculation unit 83, and a thumbnail of the content on the frame or the enlarged display unit (that is, the predetermined area). Is detected, an enlarged display unit (enlarged display unit 22, 31a, or 31b) to be displayed is determined, and the display position of the content stored in the storage unit 68 is calculated.
  • the display control unit 85 controls display on the main display unit 11. That is, the display control unit 85 causes the main display unit 11 to display content, a frame, a small frame, a thumbnail, an icon, and the like based on the display position information from the display position calculation unit 84 and the like.
  • the display control unit 86 controls the display of the sub display unit 12. That is, the display control unit 86 causes the sub display unit 12 to display content based on display position information from the display position calculation unit 84 and the like.
  • FIG. 4 is a diagram showing another example of the user interface of FIG. In the example of FIG. 4, an example in which the frame 23 is displayed and hidden is shown.
  • the frame 23 including the small frames 24a and 24b is not initially displayed, and as shown at the end of the black arrow, the thumbnail of a certain content is displayed from the content list 21.
  • a frame 23 is displayed. Thereafter, when the drag operation is completed, the frame 23 is hidden again.
  • the frame 23 may be switched between display and non-display as necessary.
  • the display / non-display of the frame 23 is not limited to the example of FIG. 4.
  • the frame 23 may be displayed by arranging a button on the main display unit 11 and pressing the button.
  • the thumbnail of the content being dragged is superimposed on an icon or the like arranged on the main display unit 11 and is hidden by moving away from the frame 23, but is not limited thereto.
  • FIGS. 5 and 6 are diagrams showing still another example of the user interface of FIG.
  • an example in which there are two sub display units 12 (sub display units 12 a and 12 b) with respect to the main display unit 11 is shown.
  • the sub display unit 12a is arranged on the right side of the main display unit 11, and the sub display unit 12b is arranged on the left side.
  • the frame 23 on the main display unit 11 in accordance with the physical positions of the sub-display units 12a and 12b. That is, as shown in FIG. 5, a frame 23a corresponding to the sub display unit 12a is arranged near the right end of the main display unit 11, and a frame 23b corresponding to the sub display unit 12b is arranged near the left end of the main display unit 11. Is placed.
  • a frame 23 is provided near the thumbnail of the target content (content C in this case) in the content list 21 so as to surround the thumbnail of the target content so that it can be easily dragged and dropped. It may be arranged. It is not limited to these, Arbitrary position and shape can be used for the frame 23.
  • the number of sub display units 12 is not limited to one, and more sub display units 12 may be provided.
  • the frame 23 corresponding to each sub display unit 12 can also be displayed on the main display unit 11 in accordance with the number of sub display units 12.
  • a large number of frames 23 are displayed on the main display unit 11.
  • the frame 23 is displayed in a small icon shape, and the content being dragged is displayed.
  • a method of displaying a large image by an operation such as overlaying, bringing it closer, or touching an icon while dragging can be considered.
  • FIG. 7 shows an example in which the main display unit 11 and the sub display units 12a to 12d are arranged on the wall of a certain room 101.
  • FIG. 8 an operation example when the present technology is applied to the room 101 is shown.
  • a frame 111 is displayed as shown in FIG.
  • icons 112a to 112d corresponding to the sub display portions 12a to 12d are displayed.
  • the sub display portion 12 when it is not necessary to distinguish the sub display portions 12a to 12d, they are referred to as the sub display portion 12, and similarly, the icons 112a to 112d are also referred to as icons 112 when it is not necessary to distinguish them.
  • the icon 112 is arranged corresponding to the physical arrangement of the sub display unit 12. By overlaying the thumbnail of the content being dragged on this icon 112, a frame 23 corresponding to the sub display unit 12 corresponding to the icon 112 is displayed.
  • the display method of the frame 23 and the shape and display method of the icon 112 corresponding to the frame 23 are not limited to this.
  • the number and arrangement of the content drop small frames 24 (small frames 24a and 24b) in the frame 23 are arbitrary. Although the number and arrangement of the enlarged display units 31 (enlarged display units 31a and 31b) displayed on the sub display unit 12 corresponding to the frame 23 can be considered, the present invention is not limited to this.
  • the size of the frame 23 is adjusted according to the number of the small frames 24.
  • a method of displaying only a part of the small frame 24 and scrolling is conceivable.
  • a method of preparing an area where scrolling is performed when thumbnails of content being dragged are overlapped is conceivable, but any method is not limited thereto.
  • any display can be performed on the small frame 24.
  • the marks 41 star marks 41a, diamond marks 41b, triangle marks 41c, and circle marks 41d
  • the correspondence between them is displayed.
  • each mark can be displayed only when the frame 23 is displayed.
  • the correspondence relationship is not limited to the mark, but may be a symbol, a number, a character string, or the like.
  • the method of displaying the content currently displayed on the enlarged display part 31 is also considered, it is not limited to this.
  • the sub display unit 12 may be installed at a location away from the main display unit 11. It may be a remote place connected via the Internet.
  • the sub display unit 12 and the display control unit 86 for the sub display unit 12 are arranged at a remote location, and the display position information and content from the display position calculation unit 84 are The information is transmitted to the information processing apparatus for the sub display unit 12 via the network, and the display control unit 86 controls the display of the content based on the display position information from the display position calculation unit 84.
  • the content may be stored in advance in the information processing apparatus for the sub display unit 12.
  • main display unit 11 and the sub display unit 12 may be switched as needed. In other words, all the display units may have a function equivalent to that of the main display unit 11.
  • the content displayed on the enlarged display unit 31 may be controlled by an operation on the small frame 24, or the display may be terminated.
  • the display may be terminated.
  • not only content thumbnails but also content application thumbnails may be arranged in the content list 21.
  • content control icons (in other words, thumbnails of content control applications) 121 are arranged and dragged and dropped onto the small frame 24 to display the content being displayed on the corresponding enlarged display unit 31.
  • the control panel 131 is displayed on the main display unit 11. That is, a content control application is activated.
  • the content display end application is started and displayed on the corresponding enlarged display unit 31.
  • the display of the content inside is terminated.
  • the marks 41 (star mark 41a, diamond mark 41b, triangle mark 41c, circle mark 41d) displayed on the enlarged display part 31 in the sub display part 12 in the small frame 24, respectively.
  • the correspondence relationship is clearly shown, but the mark 141 (star mark 141a, diamond mark 141b, triangle mark 141c, circle mark 141d) similar to this mark 41 is displayed in the content list 21 as shown in FIG. It may be displayed overlaid on the thumbnails of the contents or side by side.
  • the correspondence relationship is not limited to the mark, but may be a symbol, a number, a character string, or the like.
  • marks 41 (star marks 41 a, diamonds) indicating the small frames 24 are displayed.
  • the mark 141 (star mark 141a, diamond mark 141b, triangle mark 141c, circle mark 141d) shown in the mark 41b, triangle mark 41c, circle mark 41d)
  • the displayed location can be shown.
  • the operator uses an arbitrary pointing device 81 to drag and drop a thumbnail of a content or application (hereinafter simply referred to as a thumbnail when there is no need to distinguish the content or application).
  • the pointing position input unit 82 stands by until a position input from the pointing device 81 is received in step S11 of FIG.
  • the pointing position input unit 82 determines in step S11 that the position input from the pointing device 81 has been received, and the process proceeds to step S12.
  • the pointing position input unit 82 determines whether or not the dragging of the thumbnail has started in step S12. If it is determined in step S12 that thumbnail dragging has not started, the process returns to step S11, and the subsequent processes are repeated.
  • step S12 If it is determined in step S12 that the dragging of the thumbnail has started, the process proceeds to step S13.
  • the display control unit 85 changes the frame 23 to the display state. Thereby, as shown on the right side of FIG. 4, a frame 23 is displayed on the main display unit 11.
  • the pointing position input unit 82 stands by until a position input from the pointing device 81 is received in step S14.
  • the pointing position input unit 82 determines in step S14 that the position input from the pointing device 81 has been received, and the process proceeds to step S15.
  • the pointing position input unit 82 determines in step S15 whether or not the thumbnail dragging has ended. If it is determined in step S15 that the dragging of thumbnails has not been completed, the process returns to step S14, and the subsequent processes are repeated.
  • step S15 If it is determined in step S15 that the dragging of the thumbnail has been completed, the process proceeds to step S16.
  • the display control unit 85 changes the frame 23 to a non-display state. As a result, as shown on the left side of FIG. 4, the display of the frame 23 disappears from the main display unit 11.
  • step S17 the pointing coordinate calculation unit 83 obtains the coordinates of the position where the drag has ended, and determines whether or not the thumbnail has been dropped into the small frame 24a or 24b. If it is determined in step S17 that the thumbnail has not been dropped into the small frame 24a or 24b, the process returns to step S11, and the subsequent processes are repeated.
  • step S17 If it is determined in step S17 that the thumbnail has been dropped into the small frame 24a or 24b, the process proceeds to step S18 in FIG.
  • step S ⁇ b> 18 the pointing coordinate calculation unit 83 determines based on the coordinates of the position where the drag is started whether or not it is a thumbnail of the content.
  • step S18 if the display position calculation unit 84 determines that it is the thumbnail of the content that has been dropped, the process proceeds to step S19.
  • step S ⁇ b> 19 the display position calculation unit 84 determines an enlargement display frame to be displayed, and calculates the display position of the content stored in the storage unit 68.
  • step S20 the display control unit 85 displays the content at the content display position from the display position calculation unit 84.
  • the content A is displayed on the enlarged display unit 22 of the main display unit 11 because the thumbnail of the content A is dropped.
  • the thumbnail of the content C is dropped, the content C is displayed on the enlarged display unit 31a of the sub display unit 12.
  • step S ⁇ b> 18 the display position calculation unit 84 determines that it is not a content thumbnail but an application thumbnail (for example, the content control application thumbnail (content control icon 121) in FIG. 9). If YES, the process proceeds to step S21.
  • step S ⁇ b> 21 the display control unit 85 performs processing in accordance with the dropped thumbnail application (content control icon) 121. That is, when the content control icon 121 of FIG. 9 is dropped, the content control application is activated, and the control panel 131 is displayed on the main display unit 11 as shown on the right side of FIG. Is done.
  • FIG. 13 is a diagram showing an outline of a classroom where a lecture is held.
  • a touch panel display 211 that is an operation target display unit is installed at a teacher's hand, and a non-operation target display unit is provided in front of the classroom.
  • a screen 212 is installed.
  • the teacher conducts lessons using the content displayed on the touch panel display 211 as necessary.
  • the program described above is used for display, and the teacher can switch the content to be displayed on the screen 212 by dragging and dropping within the display range of the touch panel display 211 as necessary.
  • FIG. 14 is a diagram showing an outline of a classroom in which a lecture called a method called active learning is performed.
  • a screen 311a that is a display unit to be operated is installed in front of the classroom, and the output from the computer 312 is displayed on the screen 311a by the projector 313a.
  • the teacher mainly teaches using the content displayed on the screen 311a.
  • or D is equipped with the display 314a thru
  • the computers 315a to 315d are connected via a network 316. Further, the above-described program is used for display on the screen 311a and the displays 314a to 314d.
  • a screen 311b for displaying the output from the computer 312 by the projector 313b is also arranged, and content mirroring can be performed between the screen 311b and the displays 314a to 314d of each pod.
  • Mirroring refers to displaying the content displayed on the display part of a certain terminal also on the display part of another terminal.
  • content to be displayed on a display unit of another terminal and a terminal to be a display destination can be arbitrarily selected from the terminal that is a display source.
  • the present technology can be applied also in this selection.
  • 15 is a diagram showing a display example of the operation screen 411 on the centralized operation panel installed in the operating room in the operation system.
  • FIG. 15 shows an operation screen corresponding to a case where two display devices are provided as output destination devices in the operating room system as an example.
  • the operation screen 411 includes a transmission source selection area 420 and a preview area 421.
  • a transmission source device provided in the operating room system and a thumbnail screen representing display information of the transmission source device are displayed in association with each other.
  • a control icon control application thumbnail
  • a display end icon display end application thumbnail
  • the user can select display information to be displayed in the preview area 421 from any of the transmission source devices displayed in the transmission source selection area 420.
  • the preview area 421 displays a preview of the screen displayed on the two display devices (Monitor 1 and Monitor 2) that are output destination devices.
  • four images are displayed as PinP on one display device.
  • the four images correspond to display information transmitted from the transmission source device selected in the transmission source selection area 420. Of the four images, one is displayed as a relatively large main image, and the remaining three are displayed as a relatively small sub image. The user can switch the main image and the sub image by appropriately selecting an area in which four images are displayed.
  • the present technology can be applied when selecting each display information to be displayed in the preview area 421 from the transmission source selection area 420.
  • the transmission source selection area 420 is regarded as the content list 21 of FIG. 1
  • the preview area 421 is regarded as the frame 23, and each thumbnail 422 displayed in the preview area 421 is regarded as the small frame 24, and the display target is switched by drag and drop.
  • a panel for example, a panel 5201 described later
  • the target content can be displayed.
  • a non-contact device required in the medical field may be used. Since the non-contact pointing device can be operated in a small area in many cases, as described above with reference to FIG. 6, the small frame 24 is displayed near the content list 21 to improve operability. Is also possible. In this case, since the small frame 24 and the corresponding preview area 421 are displayed on the same operation screen 411, when the small frame 24 is displayed, the preview area 421 is the transmission source selection area so that the correspondence can be easily understood. An animation approaching 420 can also be used.
  • an example of a conference system is an example of a conference system in which the sub display unit 12 in FIG. 1 is disposed in a remote place.
  • the video sent to the other party's screen in the video conference can be selected using this technology.
  • an operation can be performed on a display unit different from the display unit to be operated. That is, according to the present technology, it is possible to operate all display contents by operating only on a certain display unit, and the operation is a drag-and-drop operation from a list of contents. The operation can be performed in a wide range and intuitively by only the operation.
  • the operation can be performed by drag and drop limited to a narrow range.
  • the content displayed on the corresponding display unit can be operated by drag and drop.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an operating room system.
  • FIG. 16 is a diagram schematically showing an overall configuration of an operating room system 5100 to which the technology according to the present disclosure can be applied.
  • the operating room system 5100 is configured by connecting a group of devices installed in the operating room so as to be able to cooperate with each other via an audiovisual controller 5107 and an operating room control device 5109.
  • FIG. 16 various apparatus groups 5101 for endoscopic surgery, a ceiling camera 5187 provided on the ceiling of the operating room and imaging the operator's hand, and an operating room provided on the operating room ceiling.
  • An operating field camera 5189 that images the entire situation, a plurality of display devices 5103A to 5103D, a recorder 5105, a patient bed 5183, and an illumination 5191 are illustrated.
  • the device group 5101 belongs to an endoscopic surgery system 5113 described later, and includes an endoscope, a display device that displays an image captured by the endoscope, and the like.
  • Each device belonging to the endoscopic surgery system 5113 is also referred to as a medical device.
  • the display devices 5103A to 5103D, the recorder 5105, the patient bed 5183, and the illumination 5191 are devices provided in an operating room, for example, separately from the endoscopic surgery system 5113.
  • These devices that do not belong to the endoscopic surgery system 5113 are also referred to as non-medical devices.
  • the audiovisual controller 5107 and / or the operating room control device 5109 controls the operations of these medical devices and non-medical devices in cooperation with each other.
  • the audiovisual controller 5107 comprehensively controls processing related to image display in medical devices and non-medical devices.
  • the device group 5101, the ceiling camera 5187, and the surgical field camera 5189 have a function of transmitting information to be displayed during surgery (hereinafter also referred to as display information). It may be a device (hereinafter also referred to as a source device).
  • Display devices 5103A to 5103D can be devices that output display information (hereinafter also referred to as output destination devices).
  • the recorder 5105 may be a device that corresponds to both a transmission source device and an output destination device.
  • the audiovisual controller 5107 controls the operation of the transmission source device and the output destination device, acquires display information from the transmission source device, and transmits the display information to the output destination device for display or recording.
  • the display information includes various images captured during the operation, various types of information related to the operation (for example, patient physical information, past examination results, information on a surgical procedure, and the like).
  • the audiovisual controller 5107 can transmit information about the image of the surgical site in the patient's body cavity captured by the endoscope from the device group 5101 as display information.
  • information about the image at hand of the surgeon captured by the ceiling camera 5187 can be transmitted from the ceiling camera 5187 as display information.
  • information about an image showing the entire operating room imaged by the operating field camera 5189 can be transmitted from the operating field camera 5189 as display information.
  • the audiovisual controller 5107 acquires information about an image captured by the other device from the other device as display information. May be.
  • information about these images captured in the past is recorded by the audiovisual controller 5107 in the recorder 5105.
  • the audiovisual controller 5107 can acquire information about the image captured in the past from the recorder 5105 as display information.
  • the recorder 5105 may also record various types of information related to surgery in advance.
  • the audiovisual controller 5107 displays the acquired display information (that is, images taken during the operation and various information related to the operation) on at least one of the display devices 5103A to 5103D that are output destination devices.
  • the display device 5103A is a display device that is suspended from the ceiling of the operating room
  • the display device 5103B is a display device that is installed on the wall surface of the operating room
  • the display device 5103C is installed in the operating room.
  • the display device 5103D is a mobile device (for example, a tablet PC (Personal Computer)) having a display function.
  • the operating room system 5100 may include a device outside the operating room.
  • the device outside the operating room can be, for example, a server connected to a network constructed inside or outside the hospital, a PC used by medical staff, a projector installed in a conference room of the hospital, or the like.
  • the audio-visual controller 5107 can display the display information on a display device of another hospital via a video conference system or the like for telemedicine.
  • the operating room control device 5109 comprehensively controls processing other than processing related to image display in non-medical devices.
  • the operating room control device 5109 controls the driving of the patient bed 5183, the ceiling camera 5187, the operating field camera 5189, and the illumination 5191.
  • the operating room system 5100 is provided with a centralized operation panel 5111, and the user gives an instruction for image display to the audiovisual controller 5107 via the centralized operation panel 5111, or the operating room control apparatus 5109. An instruction about the operation of the non-medical device can be given.
  • the central operation panel 5111 is configured by providing a touch panel on the display surface of the display device.
  • FIG. 17 is a diagram showing a display example of an operation screen on the centralized operation panel 5111.
  • an operation screen corresponding to a case where the operating room system 5100 is provided with two display devices as output destination devices is illustrated.
  • the operation screen 5193 is provided with a transmission source selection area 5195, a preview area 5197, and a control area 5201.
  • a transmission source device provided in the operating room system 5100 and a thumbnail screen representing display information of the transmission source device are displayed in association with each other. The user can select display information to be displayed on the display device from any of the transmission source devices displayed in the transmission source selection area 5195.
  • the preview area 5197 displays a preview of the screen displayed on the two display devices (Monitor 1 and Monitor 2) that are output destination devices.
  • four images are displayed as PinP on one display device.
  • the four images correspond to display information transmitted from the transmission source device selected in the transmission source selection area 5195. Of the four images, one is displayed as a relatively large main image, and the remaining three are displayed as a relatively small sub image. The user can switch the main image and the sub image by appropriately selecting an area in which four images are displayed.
  • a status display area 5199 is provided below the area where the four images are displayed, and the status relating to the surgery (for example, the elapsed time of the surgery, the patient's physical information, etc.) is appropriately displayed in the area. obtain.
  • a GUI (Graphical User Interface) part for displaying a GUI (Graphical User Interface) part for operating the source apparatus and a GUI part for operating the output destination apparatus are displayed.
  • the transmission source operation area 5203 is provided with GUI parts for performing various operations (panning, tilting, and zooming) on the camera in the transmission source device having an imaging function. The user can operate the operation of the camera in the transmission source device by appropriately selecting these GUI components.
  • the transmission source device selected in the transmission source selection area 5195 is a recorder (that is, in the preview area 5197, images recorded in the past are displayed on the recorder).
  • a GUI component for performing operations such as playback, stop playback, rewind, and fast forward of the image can be provided in the transmission source operation area 5203.
  • GUI parts for performing various operations are provided. Is provided. The user can operate the display on the display device by appropriately selecting these GUI components.
  • the operation screen displayed on the centralized operation panel 5111 is not limited to the example shown in the figure, and the user can use the audiovisual controller 5107 and the operating room control device 5109 provided in the operating room system 5100 via the centralized operation panel 5111. Operation input for each device that can be controlled may be possible.
  • FIG. 18 is a diagram illustrating an example of a state of surgery to which the operating room system described above is applied.
  • the ceiling camera 5187 and the operating field camera 5189 are provided on the ceiling of the operating room, and can photograph the state of the operator (doctor) 5181 who performs treatment on the affected part of the patient 5185 on the patient bed 5183 and the entire operating room. It is.
  • the ceiling camera 5187 and the surgical field camera 5189 may be provided with a magnification adjustment function, a focal length adjustment function, a photographing direction adjustment function, and the like.
  • the illumination 5191 is provided on the ceiling of the operating room and irradiates at least the hand of the operator 5181.
  • the illumination 5191 may be capable of appropriately adjusting the irradiation light amount, the wavelength (color) of the irradiation light, the light irradiation direction, and the like.
  • Endoscopic surgery system 5113, patient bed 5183, ceiling camera 5187, operating field camera 5189, and illumination 5191 are connected via audiovisual controller 5107 and operating room controller 5109 (not shown in FIG. 18) as shown in FIG. Are connected to each other.
  • a centralized operation panel 5111 is provided in the operating room. As described above, the user can appropriately operate these devices existing in the operating room via the centralized operating panel 5111.
  • an endoscopic surgery system 5113 includes an endoscope 5115, other surgical tools 5131, a support arm device 5141 that supports the endoscope 5115, and various devices for endoscopic surgery. And a cart 5151 on which is mounted.
  • trocars 5139a to 5139d are punctured into the abdominal wall. Then, the lens barrel 5117 of the endoscope 5115 and other surgical tools 5131 are inserted into the body cavity of the patient 5185 from the trocars 5139a to 5139d.
  • an insufflation tube 5133, an energy treatment tool 5135, and forceps 5137 are inserted into the body cavity of the patient 5185.
  • the energy treatment instrument 5135 is a treatment instrument that performs incision and detachment of a tissue, sealing of a blood vessel, and the like by high-frequency current and ultrasonic vibration.
  • the illustrated surgical tool 5131 is merely an example, and as the surgical tool 5131, for example, various surgical tools generally used in endoscopic surgery such as a lever and a retractor may be used.
  • An image of the surgical site in the body cavity of the patient 5185 taken by the endoscope 5115 is displayed on the display device 5155.
  • the surgeon 5181 performs a treatment such as excision of the affected part using the energy treatment tool 5135 and the forceps 5137 while viewing the image of the surgical part displayed on the display device 5155 in real time.
  • the pneumoperitoneum tube 5133, the energy treatment tool 5135, and the forceps 5137 are supported by an operator 5181 or an assistant during surgery.
  • the support arm device 5141 includes an arm portion 5145 extending from the base portion 5143.
  • the arm portion 5145 includes joint portions 5147a, 5147b, and 5147c, and links 5149a and 5149b, and is driven by control from the arm control device 5159.
  • the endoscope 5115 is supported by the arm unit 5145, and its position and posture are controlled. Thereby, the stable position fixing of the endoscope 5115 can be realized.
  • the endoscope 5115 includes a lens barrel 5117 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5185, and a camera head 5119 connected to the proximal end of the lens barrel 5117.
  • an endoscope 5115 configured as a so-called rigid mirror having a rigid lens barrel 5117 is illustrated, but the endoscope 5115 is configured as a so-called flexible mirror having a flexible lens barrel 5117. Also good.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 5117.
  • a light source device 5157 is connected to the endoscope 5115, and the light generated by the light source device 5157 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5117, and the objective Irradiation is performed toward the observation target in the body cavity of the patient 5185 through the lens.
  • the endoscope 5115 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 5119, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU) 5153 as RAW data.
  • CCU camera control unit
  • the camera head 5119 has a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of image sensors may be provided in the camera head 5119 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 5117 in order to guide observation light to each of the plurality of imaging elements.
  • the CCU 5153 includes a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 5115 and the display device 5155. Specifically, the CCU 5153 performs various image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 5119. The CCU 5153 provides the display device 5155 with the image signal subjected to the image processing. Further, the audiovisual controller 5107 shown in FIG. 16 is connected to the CCU 5153. The CCU 5153 also provides an image signal subjected to image processing to the audiovisual controller 5107.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the CCU 5153 transmits a control signal to the camera head 5119 to control the driving thereof.
  • the control signal can include information regarding imaging conditions such as magnification and focal length. Information regarding the imaging conditions may be input via the input device 5161 or may be input via the above-described centralized operation panel 5111.
  • the display device 5155 displays an image based on an image signal subjected to image processing by the CCU 5153 under the control of the CCU 5153.
  • the endoscope 5115 is compatible with high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display.
  • high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display.
  • a display device 5155 capable of high-resolution display and / or 3D display can be used.
  • 4K or 8K high resolution imaging a more immersive feeling can be obtained by using a display device 5155 having a size of 55 inches or more.
  • a plurality of display devices 5155 having different resolutions and sizes may be provided depending on applications.
  • the light source device 5157 is composed of a light source such as an LED (light emitting diode), for example, and supplies the endoscope 5115 with irradiation light when photographing a surgical site.
  • a light source such as an LED (light emitting diode)
  • the arm control device 5159 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control driving of the arm portion 5145 of the support arm device 5141 according to a predetermined control method.
  • the input device 5161 is an input interface to the endoscopic surgery system 5113.
  • a user can input various information and instructions to the endoscopic surgery system 5113 via the input device 5161.
  • the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 5161.
  • the user instructs to drive the arm unit 5145 via the input device 5161 or an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 5115.
  • An instruction to drive the energy treatment instrument 5135 is input.
  • the type of the input device 5161 is not limited, and the input device 5161 may be various known input devices.
  • the input device 5161 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5171 and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 5155.
  • the input device 5161 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), for example, and various inputs according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 5161 includes a camera capable of detecting a user's movement, and various inputs are performed according to a user's gesture and line of sight detected from an image captured by the camera.
  • the input device 5161 includes a microphone that can pick up the voice of the user, and various inputs are performed by voice through the microphone.
  • the input device 5161 is configured to be able to input various types of information without contact, so that a user belonging to the clean area (for example, an operator 5181) operates a device belonging to the unclean area without contact. Is possible.
  • a user belonging to the clean area for example, an operator 5181
  • the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 5163 controls driving of the energy treatment instrument 5135 for tissue cauterization, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum device 5165 passes gas into the body cavity via the pneumothorax tube 5133.
  • the recorder 5167 is an apparatus capable of recording various types of information related to surgery.
  • the printer 5169 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the support arm device 5141 includes a base portion 5143 which is a base, and an arm portion 5145 extending from the base portion 5143.
  • the arm portion 5145 includes a plurality of joint portions 5147a, 5147b, and 5147c and a plurality of links 5149a and 5149b connected by the joint portions 5147b.
  • FIG. The structure of the arm part 5145 is shown in a simplified manner. Actually, the shape, number and arrangement of the joint portions 5147a to 5147c and the links 5149a and 5149b, the direction of the rotation axis of the joint portions 5147a to 5147c, and the like are appropriately set so that the arm portion 5145 has a desired degree of freedom. obtain.
  • the arm portion 5145 can be preferably configured to have six or more degrees of freedom. Accordingly, the endoscope 5115 can be freely moved within the movable range of the arm unit 5145, and therefore the lens barrel 5117 of the endoscope 5115 can be inserted into the body cavity of the patient 5185 from a desired direction. It becomes possible.
  • the joint portions 5147a to 5147c are provided with actuators, and the joint portions 5147a to 5147c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
  • the drive of the actuator is controlled by the arm control device 5159
  • the rotation angles of the joint portions 5147a to 5147c are controlled, and the drive of the arm portion 5145 is controlled.
  • control of the position and posture of the endoscope 5115 can be realized.
  • the arm control device 5159 can control the driving of the arm unit 5145 by various known control methods such as force control or position control.
  • the arm controller 5159 appropriately controls the driving of the arm unit 5145 according to the operation input.
  • the position and posture of the endoscope 5115 may be controlled. With this control, the endoscope 5115 at the distal end of the arm portion 5145 can be moved from an arbitrary position to an arbitrary position and then fixedly supported at the position after the movement.
  • the arm unit 5145 may be operated by a so-called master slave method. In this case, the arm unit 5145 can be remotely operated by the user via the input device 5161 installed at a location away from the operating room.
  • the arm control device 5159 When force control is applied, the arm control device 5159 receives the external force from the user and moves the actuators of the joint portions 5147a to 5147c so that the arm portion 5145 moves smoothly according to the external force. You may perform what is called power assist control to drive. Accordingly, when the user moves the arm unit 5145 while directly touching the arm unit 5145, the arm unit 5145 can be moved with a relatively light force. Therefore, the endoscope 5115 can be moved more intuitively and with a simpler operation, and the convenience for the user can be improved.
  • an endoscope 5115 is supported by a doctor called a scopist.
  • the position of the endoscope 5115 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
  • the arm control device 5159 is not necessarily provided in the cart 5151. Further, the arm control device 5159 does not necessarily have to be one device. For example, the arm control device 5159 may be provided in each of the joint portions 5147a to 5147c of the arm portion 5145 of the support arm device 5141, and the plurality of arm control devices 5159 cooperate to drive the arm portion 5145. Control may be realized.
  • the light source device 5157 supplies irradiation light for imaging the surgical site to the endoscope 5115.
  • the light source device 5157 is constituted by a white light source constituted by, for example, an LED, a laser light source or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources
  • the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Adjustments can be made.
  • the laser light from each of the RGB laser light sources is irradiated onto the observation target in a time-sharing manner, and the driving of the image sensor of the camera head 5119 is controlled in synchronization with the irradiation timing, thereby corresponding to each RGB. It is also possible to take the images that have been taken in time division. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 5157 may be controlled so as to change the intensity of the output light every predetermined time. Synchronously with the timing of changing the intensity of the light, the driving of the image sensor of the camera head 5119 is controlled to acquire an image in a time-sharing manner, and the image is synthesized, so that high dynamic without so-called blackout and overexposure is obtained. A range image can be generated.
  • the light source device 5157 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • narrow band imaging is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • ICG indocyanine green
  • the light source device 5157 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 19 is a block diagram illustrating an example of functional configurations of the camera head 5119 and the CCU 5153 illustrated in FIG.
  • the camera head 5119 has a lens unit 5121, an imaging unit 5123, a drive unit 5125, a communication unit 5127, and a camera head control unit 5129 as its functions.
  • the CCU 5153 includes a communication unit 5173, an image processing unit 5175, and a control unit 5177 as its functions.
  • the camera head 5119 and the CCU 5153 are connected to each other via a transmission cable 5179 so that they can communicate with each other.
  • the lens unit 5121 is an optical system provided at a connection portion with the lens barrel 5117. Observation light taken from the tip of the lens barrel 5117 is guided to the camera head 5119 and enters the lens unit 5121.
  • the lens unit 5121 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 5121 are adjusted so that the observation light is condensed on the light receiving surface of the image sensor of the imaging unit 5123. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
  • the imaging unit 5123 is configured by an imaging element, and is arranged at the rear stage of the lens unit 5121.
  • the observation light that has passed through the lens unit 5121 is collected on the light receiving surface of the imaging element, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 5123 is provided to the communication unit 5127.
  • the image pickup element constituting the image pickup unit 5123 for example, a CMOS (Complementary Metal Oxide Semiconductor) type image sensor that can perform color photographing having a Bayer array is used.
  • the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
  • the image sensor that constitutes the image capturing unit 5123 is configured to have a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 5181 can more accurately grasp the depth of the living tissue in the surgical site. Note that in the case where the imaging unit 5123 is configured as a multi-plate type, a plurality of lens units 5121 are also provided corresponding to each imaging element.
  • the imaging unit 5123 is not necessarily provided in the camera head 5119.
  • the imaging unit 5123 may be provided inside the lens barrel 5117 immediately after the objective lens.
  • the driving unit 5125 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 5121 by a predetermined distance along the optical axis under the control of the camera head control unit 5129. Thereby, the magnification and focus of the image captured by the imaging unit 5123 can be adjusted as appropriate.
  • the communication unit 5127 includes a communication device for transmitting and receiving various types of information to and from the CCU 5153.
  • the communication unit 5127 transmits the image signal obtained from the imaging unit 5123 to the CCU 5153 via the transmission cable 5179 as RAW data.
  • the image signal is preferably transmitted by optical communication.
  • the surgeon 5181 performs the surgery while observing the state of the affected part with the captured image, so that a moving image of the surgical part is displayed in real time as much as possible for safer and more reliable surgery. Because it is required.
  • the communication unit 5127 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 5153 via the transmission cable 5179.
  • the communication unit 5127 receives a control signal for controlling the driving of the camera head 5119 from the CCU 5153.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the communication unit 5127 provides the received control signal to the camera head control unit 5129.
  • the control signal from the CCU 5153 may also be transmitted by optical communication.
  • the communication unit 5127 is provided with a photoelectric conversion module that converts an optical signal into an electrical signal.
  • the control signal is converted into an electrical signal by the photoelectric conversion module and then provided to the camera head control unit 5129.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 5177 of the CCU 5153 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 5115.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Automatic White Balance
  • the camera head control unit 5129 controls driving of the camera head 5119 based on a control signal from the CCU 5153 received via the communication unit 5127. For example, the camera head control unit 5129 controls driving of the image sensor of the imaging unit 5123 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 5129 appropriately moves the zoom lens and the focus lens of the lens unit 5121 via the drive unit 5125 based on information indicating that the magnification and focus of the captured image are designated.
  • the camera head control unit 5129 may further have a function of storing information for identifying the lens barrel 5117 and the camera head 5119.
  • the camera head 5119 can be resistant to autoclave sterilization by arranging the lens unit 5121, the imaging unit 5123, and the like in a sealed structure with high airtightness and waterproofness.
  • the communication unit 5173 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 5119.
  • the communication unit 5173 receives an image signal transmitted from the camera head 5119 via the transmission cable 5179.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 5173 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 5173 provides the image processing unit 5175 with the image signal converted into the electrical signal.
  • the communication unit 5173 transmits a control signal for controlling the driving of the camera head 5119 to the camera head 5119.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 5175 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 5119. Examples of the image processing include development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Various known signal processing is included. Further, the image processing unit 5175 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 5175 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program. Note that when the image processing unit 5175 includes a plurality of GPUs, the image processing unit 5175 appropriately divides information related to the image signal, and performs image processing in parallel with the plurality of GPUs.
  • the control unit 5177 performs various controls relating to imaging of the surgical site by the endoscope 5115 and display of the captured image. For example, the control unit 5177 generates a control signal for controlling driving of the camera head 5119. At this time, when the imaging condition is input by the user, the control unit 5177 generates a control signal based on the input by the user. Alternatively, when the endoscope 5115 is equipped with the AE function, the AF function, and the AWB function, the control unit 5177 determines the optimum exposure value, focal length, and the distance according to the detection processing result by the image processing unit 5175. A white balance is appropriately calculated and a control signal is generated.
  • control unit 5177 causes the display device 5155 to display an image of the surgical site based on the image signal subjected to image processing by the image processing unit 5175.
  • the control unit 5177 recognizes various objects in the surgical unit image using various image recognition techniques. For example, the control unit 5177 detects the shape and color of the edge of the object included in the surgical part image, thereby removing surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 5135, and the like. Can be recognized.
  • the control unit 5177 causes various types of surgery support information to be superimposed and displayed on the image of the surgical site using the recognition result. Surgery support information is displayed in a superimposed manner and presented to the operator 5181, so that the surgery can be performed more safely and reliably.
  • the transmission cable 5179 connecting the camera head 5119 and the CCU 5153 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 5179, but communication between the camera head 5119 and the CCU 5153 may be performed wirelessly.
  • communication between the two is performed wirelessly, there is no need to install the transmission cable 5179 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 5179 can be solved.
  • the operating room system 5100 to which the technology according to the present disclosure can be applied has been described.
  • the medical system to which the operating room system 5100 is applied is the endoscopic operating system 5113 is described here as an example
  • the configuration of the operating room system 5100 is not limited to such an example.
  • the operating room system 5100 may be applied to an examination flexible endoscope system or a microscope operation system instead of the endoscope operation system 5113.
  • the technology according to the present disclosure can be suitably applied to the operation screen on the centralized operation panel 5111 among the configurations described above.
  • an operation screen 411 in FIG. 15 can be used as the operation screen 5193.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • the program executed by the computer (CPU 61) can be provided by being recorded on the removable recording medium 71.
  • the removable recording medium 71 includes, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Disc Only), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor memory.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 68 via the input / output interface 65 by attaching the removable recording medium 71 to the drive 70.
  • the program can be received by the communication unit 69 via a wired or wireless transmission medium and installed in the storage unit 68.
  • the program can be installed in the ROM 62 or the storage unit 68 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in a necessary stage such as in parallel or when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • this technique can also take the following structures.
  • a detection unit that detects a movement of a thumbnail representing display target information to a predetermined area of the first display unit;
  • An information processing apparatus comprising: (2) When the movement of the thumbnail is detected in the first predetermined area by the detection unit, the display position calculation unit calculates a display position of the display target information on the first display unit, and The information processing apparatus according to (1), wherein when the movement of the thumbnail is detected in the second predetermined area by the detection unit, the display position of the display target information on the second display unit is calculated.
  • the information processing apparatus detects movement of the thumbnail by a contact operation with respect to the first display unit using a pointing device.
  • the detection unit detects movement of the thumbnail by a non-contact operation using a non-contact type pointing device.
  • the information processing apparatus further including a display control unit that causes the first display unit to display a frame surrounding the second predetermined region.
  • the information processing apparatus detects movement of the thumbnail by drag and drop.
  • the display control unit displays the frame when the detection unit detects the start of dragging, and prohibits the display of the frame when the detection unit detects a drop.
  • the display control unit displays the frame, and the detection unit moves the thumbnail outside the second predetermined area.
  • the display control unit controls display of the list of thumbnails, The information processing apparatus according to (9), wherein the second predetermined area is arranged near the arrangement of the selected thumbnail in the list.
  • the information processing apparatus displays the second predetermined area as an icon according to the number of the second display units.
  • the display control unit when the proximity of the thumbnail is detected near the icon by the detection unit, displays a frame at a position surrounding the second predetermined area.
  • Information processing device The display control unit controls display of the list of thumbnails, A mark displayed on the second display unit on which display target information is displayed is displayed near the thumbnail representing the display target information in the second predetermined area corresponding to the second display unit and the list.
  • the information processing apparatus according to any one of (1) to (13), which is displayed on at least one of them.
  • the information processing apparatus according to any one of (1) to (14), wherein the display target information is content or a content control application.
  • the display control unit causes the first display unit to display a screen of the content control application.
  • Information processing device 17.
  • the information processing apparatus is used for medical use, educational use, or conference use.
  • the information processing device In the first display unit to be operated, the movement of the thumbnail representing the display target information to the predetermined area of the first display unit is detected, An information processing method for calculating a display position of the display target information on either the first display unit or the second display unit that is not an operation target, in accordance with a predetermined region in which the movement is detected.
  • a detection unit that detects the movement of the thumbnail representing the display target information to a predetermined area of the first display unit; Display position calculation for calculating a display position of the display target information in either the first display unit or the second display unit that is not the operation target, in accordance with a predetermined region in which movement is detected by the detection unit
  • a program that causes a computer to function as a part.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示は、操作対象の表示部とは異なる表示部に対して操作を行うことができるようにする情報処理装置および方法、並びにプログラムに関する。 教師の手元には、操作対象の表示部であるタッチパネルディスプレイが設置してあり、また、教室の前方には、非操作対象の表示部であるスクリーンが設置してある。教師は、必要に応じてタッチパネルディスプレイに表示されたコンテンツを用いて授業を行う。教師は、必要に応じてタッチパネルディスプレイの表示範囲内で所定の領域に移動させる。装置は、所定の領域に移動されたコンテンツを検出すると、そのコンテンツをスクリーンに表示する表示位置を計算する。本開示は、例えば、教師の手元にあるタッチパネルディスプレイと教室の前方にあるスクリーンからなる教育システムに適用することができる。

Description

情報処理装置および方法、並びにプログラム
 本開示は、情報処理装置および方法、並びにプログラムに関し、特に、操作対象の表示部とは異なる表示部に対して操作を行うことができるようにした情報処理装置および方法、並びにプログラムに関する。
 複数の表示部を有する機器上で動作する、表示候補となるコンテンツのリストから、あるコンテンツを選択して、該当のコンテンツを表示用枠内に表示する技術は、公知のものである。
 例えば、これをタッチパネルなどの操作できる領域が限定された機器を用いて制御する場合、表示候補となるコンテンツのリストと表示用枠内とが同じ表示部に表示されているならば、コンテンツのリストから、ドラッグ&ドロップにより、あるコンテンツを選択して、該当のコンテンツを表示用枠内に表示させることは可能である。
特開2015-55913号公報
 しかしながら、表示部1に表示されているコンテンツのリスト内のコンテンツを、別の表示部2にドラッグすることは困難であり、この方法では、表示用枠内に表示するコンテンツの変更が難しかった。
 なお、特許文献1に記載の技術には、2つの表示部に、重複する領域があり、その領域を各表示部が共有しており、そこにアイコンなどを移動することにより、該当アイコンに付随するデータの受け渡しを行うことが記載されている。しかしながら、この技術には、表示部に重複する領域がない場合、適用することが困難であった。
 本開示は、このような状況に鑑みてなされたものであり、操作対象の表示部とは異なる表示部に対して操作を行うことができるものである。
 本技術の一側面の情報処理装置は、操作対象の第1の表示部において、表示対象情報を表すサムネイルの前記第1の表示部の所定の領域への移動を検出する検出部と、前記検出部により移動が検出された所定の領域に応じて、前記第1の表示部、または操作対象外の第2の表示部のいずれかにおける前記表示対象情報の表示位置を計算する表示位置計算部とを備える。
 前記表示位置計算部は、前記検出部により第1の所定の領域に前記サムネイルの移動が検出された場合、前記第1の表示部における前記表示対象情報の表示位置を計算し、前記検出部により第2の所定の領域に前記サムネイルの移動が検出された場合、前記第2の表示部における前記表示対象情報の表示位置を計算することができる。
 前記検出部は、ポインティングデバイスを用いての前記第1の表示部に対する接触操作により前記サムネイルの移動を検出することができる。
 前記検出部は、非接触操作により前記サムネイルの移動を検出することができる。
 前記第1の表示部に、前記第2の所定の領域を囲む枠を表示させる表示制御部をさらに備えることができる。
 前記検出部は、ドラッグ&ドロップによる前記サムネイルの移動を検出することができる。
 前記表示制御部は、前記検出部によりドラッグの開始が検出された場合、前記枠を表示させ、前記検出部によりドロップが検出された場合、前記枠の表示を禁止することができる。
 前記表示制御部は、前記検出部により第2の所定の領域周辺に前記サムネイルの移動が検出された場合、前記枠を表示させ、前記検出部により第2の所定の領域外に前記サムネイルの移動が検出された場合、前記枠の表示を禁止することができる。
 前記表示制御部は、前記第1の表示部に、前記第2の所定の領域を配置することができる。
 前記表示制御部は、前記第2の表示部の物理的な配置に合わせて、前記第2の所定の領域を配置することができる。
 前記表示制御部は、前記サムネイルのリストの表示を制御し、前記リストのうち、選択されたサムネイルの配置の近くに、前記第2の所定の領域を配置することができる。
 前記表示制御部は、前記第2の表示部の数に応じて、前記第2の所定の領域をアイコンとして表示させることができる。
 前記表示制御部は、前記検出部により前記アイコンの近くに前記サムネイルの近接が検出された場合、前記第2の所定の領域を囲む位置に枠を表示させることができる。
 前記表示制御部は、前記サムネイルのリストの表示を制御し、表示対象情報が表示される前記第2の表示部に表示されるマークを、前記第2の表示部に対応する前記第2の所定の領域および前記リストにおける前記表示対象情報を表すサムネイルの近くの少なくともどちらか一方に表示させることができる。
 前記表示対象情報は、コンテンツまたはコンテンツの制御アプリケーションである。
 前記表示対象情報が、前記コンテンツの制御アプリケーションであった場合、前記表示制御部は、前記第1の表示部に、前記コンテンツの制御アプリケーションの画面を表示させることができる。
 前記第2の表示部は、前記第1の表示部から離れた場所に配置される。
 前記情報処理装置は、医療用途、教育用途、または会議用途に使用される。
 本技術の一側面の情報処理方法は、情報処理装置が、操作対象の第1の表示部において、表示対象情報を表すサムネイルの前記第1の表示部の所定の領域への移動を検出し、前記移動が検出された所定の領域に応じて、前記第1の表示部、または操作対象外の第2の表示部のいずれかにおける前記表示対象情報の表示位置を計算する。
 本技術の一側面のプログラムは、操作対象の第1の表示部において、表示対象情報を表すサムネイルの前記第1の表示部の所定の領域への移動を検出する検出部と、前記検出部により移動が検出された所定の領域に応じて、前記第1の表示部、または操作対象外の第2の表示部のいずれかにおける前記表示対象情報の表示位置を計算する表示位置計算部としてコンピュータを機能させる。
 本技術の一側面においては、操作対象の第1の表示部において、表示対象情報を表すサムネイルの前記第1の表示部の所定の領域への移動が検出される。そして、前記移動が検出された所定の領域に応じて、前記第1の表示部、または操作対象外の第2の表示部のいずれかにおける前記表示対象情報の表示位置が計算される。
 本技術によれば、操作対象の表示部とは異なる表示部に対して操作を行うことができる。
 なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
本技術が適用されるプログラムが表示部に表示するユーザインタフェイスの例を示す図である。 図1のプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。 本技術を適用するコンピュータの機能ブロック図である。 図1のユーザインタフェイスの他の例を示す図である。 図1のユーザインタフェイスのさらに他の例を示す図である。 図1のユーザインタフェイスのさらに他の例を示す図である。 本技術を適用した場合の具体例を示す図である。 本技術を適用した場合の動作例を説明する図である。 図1のユーザインタフェイスの他の例を示す図である。 図1のユーザインタフェイスのさらに他の例を示す図である。 表示制御処理を説明するフローチャートである。 表示制御処理を説明するフローチャートである。 講義が行われる教室の概略を示す図である。 アクティブラーニング手法の講義が行われる教室の概略を示す図である。 手術室に設置される集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図18に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態(システム例)
3.応用例
4.まとめ
<1.第1の実施の形態>
 図1は、本技術が適用されるプログラムが表示部に表示するユーザインタフェイスの例を示す図である。
 このプログラムにおいては、操作対象の表示部であるメイン表示部11に表示されている映像などのコンテンツのサムネイルが並ぶコンテンツのリスト21から所望のコンテンツ(例えば、コンテンツA)のサムネイルを選び、拡大表示部22にドラッグ&ドロップを行うことによって、対象のコンテンツ(例えば、コンテンツA)が拡大表示される。
 また、このプログラムにおいて、制御される表示部は、メイン表示部11の1つに限定されず、図1のプログラムは、非操作対象の表示部であるサブ表示部12のように2つ以上の表示部を制御することができる。サブ表示部12は、拡大表示部31aおよび31bの2つの拡大表示部を有している。すなわち、各表示部は、コンテンツのリストおよび拡大表示部のいずれかまたは両方を有することができる。
 さらに、本技術の特徴として、メイン表示部11には、サブ表示部12に対応する枠23が表示され、その枠23には、サブ表示部12に表示されている拡大表示部31aおよび31bに対応する小枠24aおよび24bがそれぞれ表示される。
 メイン表示部11において、この小枠24aおよび24bへコンテンツのサムネイルのドラッグ&ドロップを行うことにより、サブ表示部12の拡大表示部31aおよび31bに、該当コンテンツのドラッグ&ドロップをしたものとみなし、該当コンテンツを、対応する拡大表示部31aおよび31bに表示させる。例えば、コンテンツBのサムネイルを選び、小枠24aにドラッグ&ドロップを行うことにより、サブ表示部12の拡大表示部31aに、コンテンツBが拡大表示される。
 なお、メイン表示部11の小枠24aおよび24bと、サブ表示部12の拡大表示部31aおよび31bとの対応関係がわかるように、小枠24aと拡大表示部31aのそれぞれの左上には、星マーク41aが表示されており、小枠24bと拡大表示部31bのそれぞれの左上には、ダイヤマーク41bが表示されている。
 図2は、図1のプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 コンピュータ51において、CPU(Central Processing Unit)61,ROM(Read Only Memory)62,RAM(Random Access Memory)63は、バス64により相互に接続されている。
 バス64には、さらに、入出力インタフェース65が接続されている。入出力インタフェース65には、入力部66、出力部67、記憶部68、通信部69、及びドライブ70が接続されている。
 入力部66は、キーボード、マイクロフォン、並びに、マウス、タッチパネル、またはタブレットなどのポインティングデバイス81(図3)などよりなる。出力部67は、表示部(メイン表示部11およびサブ表示部12)、スピーカなどよりなる。記憶部68は、ハードディスクや不揮発性のメモリなどよりなる。通信部69は、ネットワークインタフェースなどよりなる。ドライブ70は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体71を駆動する。
 以上のように構成されるコンピュータ51では、CPU61が、例えば、記憶部68に記憶されているプログラムを、入出力インタフェース65及びバス64を介して、RAM63にロードして実行する。これにより、次に説明する図3の機能ブロックが機能し、上述した一連の処理が行われる。
 図3は、本技術を適用するコンピュータの機能ブロック図である。
 図3の例においては、ポインティングデバイス81、ポインティング位置入力部82、ポインティング座標計算部83、表示位置計算部84、表示制御部85および86、記憶部68、メイン表示部11、並びにサブ表示部12が示されている。
 ユーザは、任意のポインティングデバイス81を用いて、コンテンツのサムネイルのドラッグ&ドロップを行う。ポインティングデバイス81は、接触方式であってもよいし、非接触方式であってもよい。ポインティング位置入力部82は、ポインティングデバイス81からの位置入力を受け付ける。このとき、ポインティング位置入力部82は、入力された動作が、コンテンツのサムネイルのドラッグであり、コンテンツのサムネイルのドラッグの開始または終了であるか否かを判定する。ポインティング座標計算部83は、ポインティング位置入力部82により受け付けられた位置入力から、座標を計算し、計算した座標情報を用いて、枠や拡大表示部(すなわち、所定の領域)へのコンテンツのサムネイルの移動を検出する。
 表示位置計算部84は、ポインティング座標計算部83からの座標情報から計算される所定の領域に応じ、ポインティングデバイス81を用いて、枠や拡大表示部(すなわち、所定の領域)へのコンテンツのサムネイルの移動を検出することで、表示対象の拡大表示部(拡大表示部22、31a、または31b)を決定し、記憶部68に格納されたコンテンツの表示位置を計算する。表示制御部85は、メイン表示部11の表示を制御する。すなわち、表示制御部85は、表示位置計算部84からの表示位置情報などに基づいて、コンテンツ、枠、小枠、サムネイル、アイコンなどをメイン表示部11に表示させる。表示制御部86は、サブ表示部12の表示を制御する。すなわち、表示制御部86は、表示位置計算部84からの表示位置情報などに基づいて、コンテンツをサブ表示部12に表示させる。
 図4は、図1のユーザインタフェイスの他の例を示す図である。図4の例においては、枠23が表示、非表示される例が示されている。
 図4の例のメイン表示部11においては、小枠24aおよび24bを含む枠23は、最初表示されておらず、黒矢印の先に示されるように、コンテンツのリスト21から、あるコンテンツのサムネイルがドラッグされた場合に、枠23が表示される。その後、ドラッグ操作が完了すると、枠23は再び非表示となる。
 以上のように、枠23は、必要に応じて、表示、非表示を切り替えられるようにしてもよい。
 なお、枠23の表示、非表示は、図4の例の場合に限らず、例えば、メイン表示部11にボタンを配置し、そのボタンを押すことによって、枠23を表示するようにしてもよい。また、メイン表示部11に配置されたアイコンなどにドラッグ中のコンテンツのサムネイルを重ねることで表示し、枠23から離すことで非表示とすることが考えられるが、これに限定されない。
 図5および図6は、図1のユーザインタフェイスのさらに他の例を示す図である。図5および図6の例においては、メイン表示部11に対して、2つのサブ表示部12(サブ表示部12aおよび12b)がある例が示されている。
 メイン表示部11の右側に、サブ表示部12aが配置され、左側に、サブ表示部12bが配置されている。この場合、各サブ表示部12aおよび12bの物理的な位置に合わせて、メイン表示部11に、枠23を配置することが考えられる。すなわち、図5に示されるように、メイン表示部11の右端付近に、サブ表示部12aに対応する枠23aが配置され、メイン表示部11の左端付近に、サブ表示部12bに対応する枠23bが配置される。
 あるいは、図6に示されるように、ドラッグ&ドロップしやすいように、コンテンツのリスト21における対象コンテンツ(いまの場合、コンテンツC)のサムネイルの近くに、対象コンテンツのサムネイルを囲むように枠23を配置するようにしてもよい。これらに限定されず、枠23には、任意の位置、形状を用いることができる。
 なお、サブ表示部12は、図5に示されるように、1つに限らず、さらに多くのサブ表示部12を持つようにしてもよい。この場合、各サブ表示部12に対応する枠23もサブ表示部12の数に合わせてメイン表示部11に表示することができる。
 また、サブ表示部12が極めて多数存在する場合、メイン表示部11に多数の枠23が表示されることになるが、例えば、枠23を小さなアイコン状に表示しておき、ドラッグ中のコンテンツを重ねる、または近づける、ドラッグ中にアイコンに触れるなどの操作で、大きく表示させる方法などが考えられる。
 より具体的な例を、図7および図8を参照して説明する。
 図7の例においては、ある部屋101の壁に、メイン表示部11と、サブ表示部12a乃至12dが配置されている例が示されている。図8の例においては、この部屋101に対し、本技術を適用した場合の動作例が示されている。
 コンテンツCのサムネイルのドラッグを開始した際、図8に示されるように、枠111が表示される。枠111内には、各サブ表示部12a乃至12dに対応するアイコン112a乃至112dが表示されている。なお、以下、サブ表示部12a乃至12dをそれぞれ区別する必要がない場合、サブ表示部12と称し、アイコン112a乃至112dも同様に、それぞれ区別する必要がない場合、アイコン112と称する。
 アイコン112は、サブ表示部12の物理的な配置に対応させて配置されている。このアイコン112に対し、ドラッグ中のコンテンツのサムネイルを重ねることで、アイコン112に対応するサブ表示部12に対応する枠23が表示される。枠23の表示方法、および枠23に対応するアイコン112の形状や表示方法などはこれに限定されない。
 枠23内のコンテンツドロップ用の小枠24(小枠24aおよび24b)の数、配置は任意である。枠23に対応するサブ表示部12に表示されている拡大表示部31(拡大表示部31aおよび31b)と同様の数、配置にすることが考えられるが、これに限定されない。拡大表示部31が極めて多く存在する場合、枠23内の多数の小枠24が表示されることになる。この場合、小枠24の数に合わせて、枠23の大きさを調整する。小枠24の一部のみを表示させておいてスクロールさせるなどの方法が考えられる。また、スクロールさせる場合、ドラッグ中のコンテンツのサムネイルを重ねるとスクロールが行われる領域を用意するなどの方法が考えられるが、いずれもこれらに限定されない。
 小枠24には、任意の表示を行うことができる。小枠24に、サブ表示部12内の拡大表示部31に表示されたマーク41(星マーク41a、ダイヤマーク41b、三角マーク41c、丸マーク41d)をそれぞれ表示しておくことで互いの対応関係を明示することができる。この場合、各マークは、枠23が表示されている場合にのみ表示させるようにすることもできる。なお、対応関係を明示するものとしては、マークに限らず、記号、番号、文字列などであってもよい。また、拡大表示部31に表示中のコンテンツをそれぞれ表示しておく方法も考えられるが、これに限定されない。
 サブ表示部12は、メイン表示部11から離れた場所に設置されてもよい。インターネットを経由して接続された遠隔地でもよい。この場合、例えば、サブ表示部12およびサブ表示部12用の表示制御部86(を含む情報処理装置)が、離れた場所に配置され、表示位置計算部84からの表示位置情報とコンテンツが、ネットワークを介して、サブ表示部12用の情報処理装置に送信されて、表示制御部86により、表示位置計算部84からの表示位置情報基づいて、コンテンツの表示が制御される。なお、コンテンツは、予め、サブ表示部12用の情報処理装置に記憶されていてもよい。
 メイン表示部11とサブ表示部12の役割は必要に応じて随時入れ替えてもよい。言い換えると、すべての表示部が、メイン表示部11と同等の機能を持っていてもよい。
 拡大表示部31に表示されているコンテンツは、小枠24に対する操作により制御してもよいし、表示を終了させてもよい。例えば、図9に示されるように、コンテンツのリスト21内に、コンテンツのサムネイルだけでなく、コンテンツのアプリケーションのサムネイルも配置するようにしてもよい。図9の例の場合、コンテンツ制御用アイコン(換言するに、コンテンツ制御用アプリケーションのサムネイル)121を配置し、小枠24にドラッグ&ドロップすることによって、対応する拡大表示部31に表示中のコンテンツの制御用パネル131がメイン表示部11に表示される。すなわち、コンテンツの制御用アプリケーションが起動される。
 また、コンテンツ表示終了用アイコン(換言するに、コンテンツ表示終了用アプリケーションのサムネイル)122を小枠24にドラッグ&ドロップすることによって、コンテンツ表示終了用アプリケーションが起動し、対応する拡大表示部31に表示中のコンテンツの表示が終了される。
 なお、他にも、小枠24に配置されたボタンなどを押すことによって対応する拡大表示部105内に表示中のコンテンツを制御し、あるいは、表示終了させるなどの方法が考えられるが、これらに限定されない。
 また、小枠24に、サブ表示部12内の拡大表示部31に表示されたマーク41(星マーク41a、ダイヤマーク41b、三角マーク41c、丸マーク41d)をそれぞれ表示しておくことで互いの対応関係を明示するようにしたが、このマーク41と同様のマーク141(星マーク141a、ダイヤマーク141b、三角マーク141c、丸マーク141d)を、図10に示されるように、コンテンツのリスト21内のコンテンツのサムネイルに重ねて、あるいは、並べて表示してもよい。なお、対応関係を明示するものとしては、マークに限らず、記号、番号、文字列などであってもよい。
 例えば、図10に示されるように、表示された各小枠24に対応する拡大表示部31のいずれかでコンテンツが表示されている場合、各小枠24を示すマーク41(星マーク41a、ダイヤマーク41b、三角マーク41c、丸マーク41d)に示すマーク141(星マーク141a、ダイヤマーク141b、三角マーク141c、丸マーク141d)を表示することで、表示されている箇所を示すことができる。
 次に、図11および図12のフローチャートを参照して、図4および図9の例の場合の表示制御処理を説明する。
 操作者は、任意のポインティングデバイス81を用いて、コンテンツまたはアプリケーションのサムネイル(以下、コンテンツまたはアプリケーションを区別する必要がない場合、単にサムネイルと称する)のドラッグ&ドロップを行う。ポインティング位置入力部82は、図11のステップS11において、ポインティングデバイス81からの位置入力を受け付けるまで待機している。ポインティング位置入力部82は、ポインティングデバイス81からの位置入力を受け付けると、ステップS11において、ポインティングデバイス81からの位置入力を受け付けたと判定し、処理は、ステップS12に進む。
 ポインティング位置入力部82は、ステップS12において、サムネイルのドラッグが開始されたか否かを判定する。ステップS12において、サムネイルのドラッグが開始されていないと判定された場合、処理は、ステップS11に戻り、それ以降の処理が繰り返される。
 ステップS12において、サムネイルのドラッグが開始されたと判定された場合、処理は、ステップS13に進む。表示制御部85は、枠23を表示状態に変更する。これにより、図4の右側に示されるように、メイン表示部11には、枠23が表示される。
 ポインティング位置入力部82は、ステップS14において、ポインティングデバイス81からの位置入力を受け付けるまで待機している。ポインティング位置入力部82は、ポインティングデバイス81からの位置入力を受け付けると、ステップS14において、ポインティングデバイス81からの位置入力を受け付けたと判定し、処理は、ステップS15に進む。
 ポインティング位置入力部82は、ステップS15において、サムネイルのドラッグが終了されたか否かを判定する。ステップS15において、サムネイルのドラッグが終了されていないと判定された場合、処理は、ステップS14に戻り、それ以降の処理が繰り返される。
 ステップS15において、サムネイルのドラッグが終了されたと判定された場合、処理は、ステップS16に進む。表示制御部85は、枠23を非表示状態に変更する。これにより、図4の左側に示されるように、メイン表示部11から枠23の表示が消える。
 ステップS17において、ポインティング座標計算部83は、ドラッグが終了された位置の座標を求め、サムネイルが小枠24aまたは24b内にドロップされたか否かを判定する。ステップS17において、サムネイルが小枠24aまたは24b内にドロップされなかったと判定された場合、処理は、ステップS11に戻り、それ以降の処理が繰り返される。
 ステップS17において、サムネイルが小枠24aまたは24b内にドロップされたと判定された場合、処理は、図12のステップS18に進む。ステップS18において、ポインティング座標計算部83は、ドラッグが開始された位置の座標に基づいて、ドロップされたのは、コンテンツのサムネイルであるか否かを判定する。
 ステップS18において、表示位置計算部84は、ドロップされたのはコンテンツのサムネイルであると判定された場合、処理は、ステップS19に進む。ステップS19において、表示位置計算部84は、表示対象の拡大表示用枠を決定し、記憶部68に格納されたコンテンツの表示位置を計算する。
 ステップS20において、表示制御部85は、表示位置計算部84からのコンテンツ表示位置に、コンテンツを表示させる。例えば、図1の例においては、コンテンツAのサムネイルがドロップされたことで、メイン表示部11の拡大表示部22に、コンテンツAが表示されている。一方、コンテンツCのサムネイルがドロップされたことで、サブ表示部12の拡大表示部31aに、コンテンツCが表示されている。
 ステップS18において、表示位置計算部84は、ドロップされたのはコンテンツのサムネイルではなく、アプリケーションのサムネイル(例えば、図9のコンテンツ制御用アプリケーションのサムネイル(コンテンツ制御用アイコン121))であると判定された場合、処理は、ステップS21に進む。ステップS21において、表示制御部85は、ドロップされたサムネイルのアプリケーション(コンテンツ制御用アイコン)121に応じた処理を行う。すなわち、ドロップされたのが、図9のコンテンツ制御用アイコン121である場合、コンテンツ制御用アプリケーションが起動し、図9の右側に示されるように、メイン表示部11に、制御用パネル131が表示される。
 以上のように、図3の機能ブロックにより、上述した表示制御処理が行われる。
<2.第2の実施の形態(システム例)>
 上述した技術は、様々な範囲に応用することが考えられうるが、以下では、上述した技術が適用されうる例として、教育用途、医療用途、会議用途をあげる。
 次に、図13を参照して、教育用途への応用例について説明する。図13は、講義が行われる教室の概略を示す図である。
 図13の例に示される教育システム201においては、教師の手元には、操作対象の表示部であるタッチパネルディスプレイ211が設置してあり、また、教室の前方には、非操作対象の表示部であるスクリーン212が設置してある。教師は、必要に応じてタッチパネルディスプレイ211に表示されたコンテンツを用いて授業を行う。表示には、上述したプログラムが用いられ、教師は、必要に応じてタッチパネルディスプレイ211の表示範囲内でドラッグ&ドロップを行うことにより、スクリーン212に表示するコンテンツを切り替えることができる。
 一般に、タッチパネルディスプレイを用いる場合、ドラッグ中に画面の外にでることができないが、本技術を適用することにより、タッチパネルディスプレイ外の領域にドロップが行われたように見せることができ、上述した操作が可能となる。
 次に、図14を参照して、教育用途へのその他の応用例について説明する。図14は、アクティブラーニングと呼ばれる手法の講義が行われる教室の概略を示す図である。
 図14の例に示されるアクティブラーニングシステム301において、教室の前方には、操作対象の表示部であるスクリーン311aが設置してあり、スクリーン311aには、コンピュータ312からの出力がプロジェクタ313aによって表示されており、教師は、主に、スクリーン311aに表示されているコンテンツを用いて授業を行う。
 学生は、数人単位の複数グループに分かれて、ポッドと呼ばれる机につく。各ポッドA乃至Dには、表示用のディスプレイ314a乃至314dと、それへの表示を行うコンピュータ315a乃至315dが備えられており、学生は、これらを用いて、グループごとに作業を行うことができる。また、各コンピュータ315a乃至315dは、ネットワーク316を介して接続されている。さらに、これらのスクリーン311aおよびディスプレイ314a乃至314dへの表示は、上述したプログラムが用いられることとする。
 また、このアクティブラーニングシステム301において、コンピュータ312からの出力をプロジェクタ313bによって表示するスクリーン311bも配置されており、スクリーン311bおよび各ポッドのディスプレイ314a乃至314d間では、コンテンツのミラーリングを行うことができる。ミラーリングとは、ある端末の表示部に表示されているコンテンツを、他の端末の表示部にも表示することを指す。この際、表示の元となる端末からは、他の端末の表示部に表示するコンテンツおよび表示先となる端末を任意に選択することができる。この選択の際にも、本技術を適用することができる。表示先となる端末の候補に対応する小枠24を表示し、そこに対象となるコンテンツをドラッグ&ドロップすることにより、該当コンテンツのミラーリングを行うことができる。
 次に、図15を参照して、医療用途でのシステム例について説明する。
 図15の例においては、手術システムにおいて、手術室に設置される集中操作パネルにおける操作画面411の表示例を示す図である。
 図15では、一例として、手術室システムに、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図15を参照すると、操作画面411には、発信元選択領域420と、プレビュー領域421とが設けられる。
 発信元選択領域420には、手術室システムに備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。また、ここには、各サムネイル画面だけでなく、制御用アイコン(制御用アプリケーションのサムネイル)432と表示終了用アイコン(表示終了用アプリケーションのサムネイル)433も表示される。ユーザは、プレビュー領域421に表示させたい表示情報を、発信元選択領域420に表示されているいずれかの発信元装置から選択することができる。
 プレビュー領域421には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域420において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。
 プレビュー領域421に表示する各表示情報を、発信元選択領域420から選択する際に、本技術を適用することができる。発信元選択領域420を、図1のコンテンツのリスト21、プレビュー領域421を枠23、プレビュー領域421に表示された各サムネイル422を小枠24とみなし、ドラッグ&ドロップによって表示対象が切り替えられる。また、制御用アイコン432をプレビュー領域421にドラッグ&ドロップすることにより、対象のコンテンツを制御するパネル(例えば、後述するパネル5201)を表示することができる。
 ポインティングデバイスとして、医療領域において求められる非接触のものを利用してもよい。非接触のポインティングデバイスは、操作できる領域が狭いことが多いため、図6を参照して上述したように、小枠24をコンテンツのリスト21の近傍に表示させることによって、操作性を向上させることも考えられる。この場合、小枠24とそれに対応するプレビュー領域421が同じ操作画面411に表示されていることから、小枠24の表示時には、対応関係が理解しやすくなるよう、プレビュー領域421が発信元選択領域420に近づくアニメーションなどを利用することもできる。
 なお、会議用途としては、図1におけるサブ表示部12が遠隔地に配置されている会議システムの例が挙げられる。
 また、ビデオ会議において相手側画面に送信される映像を、本技術を用いて選択することができる。この場合、メイン表示部11の機能を遠隔地側にも持たせることにより、遠隔地側から送信させることもできる。
 以上のように、本技術によれば、複数の表示部を持つシステムにおいて、操作対象の表示部とは異なる表示部に対して操作を行うことができる。すなわち、本技術によれば、ある1つの表示部上でのみ操作することですべての表示コンテンツを操作でき、かつ、その操作がコンテンツのリストからのドラッグ&ドロップであることにより、限定された範囲のみでの操作によって広範囲に、かつ直観的に操作を行うことができる。
 特に、操作用機器としてタッチパネルを利用する場合、該当タッチパネルの外へのドラッグは不可能であるところ、仮想的に外部の表示部へドロップすることができる。
 また、非接触ポインティングデバイスを利用する場合、操作できる範囲が狭いことから、狭い範囲に限定してのドラッグ&ドロップで操作を行うことができる。
 さらに、対象となる表示部が遠隔地に配置されている場合にも、該当の表示部に表示するコンテンツをドラッグ&ドロップによって操作することができる。
<3.応用例>
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
 図16は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図16を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
 手術室には、様々な装置が設置され得る。図16では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A~5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
 ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A~5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
 視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A~5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
 具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
 あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
 視聴覚コントローラ5107は、出力先の装置である表示装置5103A~5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
 また、図16では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
 手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
 手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
 図17は、集中操作パネル5111における操作画面の表示例を示す図である。図17では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図17を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
 発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
 プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
 コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
 また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
 なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
 図18は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
 内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図16に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図18では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
 以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
 内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a~5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a~5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
 内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
 (支持アーム装置)
 支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
 (内視鏡)
 内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
 なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
 (カートに搭載される各種の装置)
 CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図16に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
 表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
 光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
 アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
 入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
 入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
 あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
 処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
 (支持アーム装置)
 支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図18では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
 関節部5147a~5147cにはアクチュエータが設けられており、関節部5147a~5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a~5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
 例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
 また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a~5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
 ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
 なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a~5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
 (光源装置)
 光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 (カメラヘッド及びCCU)
 図19を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図19は、図18に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
 図19を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
 まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
 撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
 撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
 また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
 また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
 駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
 また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
 カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
 なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
 次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
 また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
 画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
 画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
 制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
 また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
 カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
 以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
 本開示に係る技術は、以上説明した構成のうち、集中操作パネル5111における操作画面に好適に適用され得る。具体的には、操作画面5193として、図15の操作画面411を用いることができる。操作画面に本開示に係る技術を適用することにより、複数の表示部を持つシステムにおいて、操作対象の表示部とは異なる表示部に対して操作を行うことができる。すなわち、図15において上述したように操作性を向上させることができる。
<4.まとめ>
 なお、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
 図3の例において、コンピュータ(CPU61)が実行するプログラムは、リムーバブル記録媒体71に記録して提供することができる。リムーバブル記録媒体71は、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータにおいて、プログラムは、リムーバブル記録媒体71をドライブ70に装着することにより、入出力インタフェース65を介して、記憶部68にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部69で受信し、記憶部68にインストールすることができる。その他、プログラムは、ROM62や記憶部68に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
 また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
 また、本明細書において、システムとは、複数のデバイス(装置)により構成される装置全体を表すものである。
 例えば、本開示は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 なお、本技術は以下のような構成も取ることができる。
 (1) 操作対象の第1の表示部において、表示対象情報を表すサムネイルの前記第1の表示部の所定の領域への移動を検出する検出部と、
 前記検出部により移動が検出された所定の領域に応じて、前記第1の表示部、または操作対象外の第2の表示部のいずれかにおける前記表示対象情報の表示位置を計算する表示位置計算部と
 を備える情報処理装置。
 (2) 前記表示位置計算部は、前記検出部により第1の所定の領域に前記サムネイルの移動が検出された場合、前記第1の表示部における前記表示対象情報の表示位置を計算し、前記検出部により第2の所定の領域に前記サムネイルの移動が検出された場合、前記第2の表示部における前記表示対象情報の表示位置を計算する
 前記(1)に記載の情報処理装置。
 (3) 前記検出部は、ポインティングデバイスを用いての前記第1の表示部に対する接触操作により前記サムネイルの移動を検出する
 前記(1)または(2)に記載の情報処理装置。
 (4) 前記検出部は、非接触型ポインティングデバイスを用いての非接触操作により前記サムネイルの移動を検出する
 前記(1)または(2)に記載の情報処理装置。
 (5) 前記第1の表示部に、前記第2の所定の領域を囲む枠を表示させる表示制御部を
 さらに備える前記(1)または(2)に記載の情報処理装置。
 (6) 前記検出部は、ドラッグ&ドロップによる前記サムネイルの移動を検出する
 前記(5)に記載の情報処理装置。
 (7) 前記表示制御部は、前記検出部によりドラッグの開始が検出された場合、前記枠を表示させ、前記検出部によりドロップが検出された場合、前記枠の表示を禁止する
 前記(6)に記載の情報処理装置。
 (8) 前記表示制御部は、前記検出部により第2の所定の領域上に前記サムネイルの移動が検出された場合、前記枠を表示させ、前記検出部により第2の所定の領域外に前記サムネイルの移動が検出された場合、前記枠の表示を禁止する
 前記(5)に記載の情報処理装置。
 (9) 前記表示制御部は、前記第1の表示部に、前記第2の所定の領域を配置する
 前記(5)に記載の情報処理装置。
 (10) 前記表示制御部は、前記第2の表示部の物理的な配置に合わせて、前記第2の所定の領域を配置する
 前記(9)に記載の情報処理装置。
 (11) 前記表示制御部は、前記サムネイルのリストの表示を制御し、
 前記リストのうち、選択されたサムネイルの配置の近くに、前記第2の所定の領域を配置する
 前記(9)に記載の情報処理装置。
 (12) 前記表示制御部は、前記第2の表示部の数に応じて、前記第2の所定の領域をアイコンとして表示させる
 前記(9)に記載の情報処理装置。
 (13) 前記表示制御部は、前記検出部により前記アイコンの近くに前記サムネイルの近接が検出された場合、前記第2の所定の領域を囲む位置に枠を表示させる
 前記(12)に記載の情報処理装置。
 (14) 前記表示制御部は、前記サムネイルのリストの表示を制御し、
 表示対象情報が表示される前記第2の表示部に表示されるマークを、前記第2の表示部に対応する前記第2の所定の領域および前記リストにおける前記表示対象情報を表すサムネイルの近くの少なくともどちらか一方に表示させる
 前記(1)乃至(13)のいずれかに記載の情報処理装置。
 (15) 前記表示対象情報は、コンテンツまたはコンテンツの制御アプリケーションである
 前記(1)乃至(14)のいずれかに記載の情報処理装置。
 (16) 前記表示対象情報が、前記コンテンツの制御アプリケーションであった場合、前記表示制御部は、前記第1の表示部に、前記コンテンツの制御アプリケーションの画面を表示させる
 前記(15)に記載の情報処理装置。
 (17) 前記第2の表示部は、前記第1の表示部から離れた場所に配置される
 前記(1)乃至(16)のいずれかに記載の情報処理装置。
 (18) 前記情報処理装置は、医療用途、教育用途、または会議用途に使用される
 前記(1)乃至(17)のいずれかに記載の情報処理装置。
 (19) 情報処理装置が、
 操作対象の第1の表示部において、表示対象情報を表すサムネイルの前記第1の表示部の所定の領域への移動を検出し、
 前記移動が検出された所定の領域に応じて、前記第1の表示部、または操作対象外の第2の表示部のいずれかにおける前記表示対象情報の表示位置を計算する
 情報処理方法。
 (20) 操作対象の第1の表示部において、表示対象情報を表すサムネイルの前記第1の表示部の所定の領域への移動を検出する検出部と、
 前記検出部により移動が検出された所定の領域に応じて、前記第1の表示部、または操作対象外の第2の表示部のいずれかにおける前記表示対象情報の表示位置を計算する表示位置計算部と
 してコンピュータを機能させるプログラム。
 11 メイン表示部, 12,12a乃至12d サブ表示部, 21 コンテンツのリスト, 22 拡大表示部, 23 枠, 24,24a乃至24d 小枠, 31,31a乃至31d 拡大表示部, 41 マーク, 41a 星マーク, 41b ダイヤマーク, 41c 三角マーク, 41d 丸マーク, 51 コンピュータ, 61 CPU, 63 RAM, 66 入力部, 67 表示部, 68 記憶部, 81 ポインティングデバイス, 82 ポインティング位置入力部, 83 ポインティング座標計算部, 84 表示位置計算部, 85,86 表示制御部, 101 部屋, 111 枠, 112,112a乃至112d アイコン, 121 コンテンツ制御用アイコン, 122 コンテンツ終了用アイコン, 131 制御用パネル, 201 教育システム, 211 タッチパネルディスプレイ, 212 スクリーン, 301 アクティブラーニングシステム, 311a,311b スクリーン, 312 コンピュータ, 313a,313b プロジェクタ, 314a乃至314d ディスプレイ, 315a乃至315d コンピュータ, 316 ネットワーク,411 操作画面, 420 発信元選択領域, 421 プレビュー領域, 422 サムネイル, 432 制御用アイコン, 433 表示終了用アイコン

Claims (20)

  1.  操作対象の第1の表示部において、表示対象情報を表すサムネイルの前記第1の表示部の所定の領域への移動を検出する検出部と、
     前記検出部により移動が検出された所定の領域に応じて、前記第1の表示部、または操作対象外の第2の表示部のいずれかにおける前記表示対象情報の表示位置を計算する表示位置計算部と
     を備える情報処理装置。
  2.  前記表示位置計算部は、前記検出部により第1の所定の領域に前記サムネイルの移動が検出された場合、前記第1の表示部における前記表示対象情報の表示位置を計算し、前記検出部により第2の所定の領域に前記サムネイルの移動が検出された場合、前記第2の表示部における前記表示対象情報の表示位置を計算する
     請求項1に記載の情報処理装置。
  3.  前記検出部は、ポインティングデバイスを用いての前記第1の表示部に対する接触操作により前記サムネイルの移動を検出する
     請求項2に記載の情報処理装置。
  4.  前記検出部は、非接触型ポインティングデバイスを用いての非接触操作により前記サムネイルの移動を検出する
     請求項2に記載の情報処理装置。
  5.  前記第1の表示部に、前記第2の所定の領域を囲む枠を表示させる表示制御部を
     さらに備える請求項2に記載の情報処理装置。
  6.  前記検出部は、ドラッグ&ドロップによる前記サムネイルの移動を検出する
     請求項5に記載の情報処理装置。
  7.  前記表示制御部は、前記検出部によりドラッグの開始が検出された場合、前記枠を表示させ、前記検出部によりドロップが検出された場合、前記枠の表示を禁止する
     請求項6に記載の情報処理装置。
  8.  前記表示制御部は、前記検出部により第2の所定の領域に前記サムネイルの移動が検出された場合、前記枠を表示させ、前記検出部により第2の所定の領域外に前記サムネイルの移動が検出された場合、前記枠の表示を禁止する
     請求項5に記載の情報処理装置。
  9.  前記表示制御部は、前記第1の表示部に、前記第2の所定の領域を配置する
     請求項5に記載の情報処理装置。
  10.  前記表示制御部は、前記第2の表示部の物理的な配置に合わせて、前記第2の所定の領域を配置する
     請求項9に記載の情報処理装置。
  11.  前記表示制御部は、前記サムネイルのリストの表示を制御し、
     前記リストのうち、選択されたサムネイルの配置の近くに、前記第2の所定の領域を配置する
     請求項9に記載の情報処理装置。
  12.  前記表示制御部は、前記第2の表示部の数に応じて、前記第2の所定の領域をアイコンとして表示させる
     請求項9に記載の情報処理装置。
  13.  前記表示制御部は、前記検出部により前記アイコンの近くに前記サムネイルの近接が検出された場合、前記第2の所定の領域を囲む位置に枠を表示させる
     請求項12に記載の情報処理装置。
  14.  前記表示制御部は、前記サムネイルのリストの表示を制御し、
     表示対象情報が表示される前記第2の表示部に表示されるマークを、前記第2の表示部に対応する前記第2の所定の領域および前記リストにおける前記表示対象情報を表すサムネイルの近くの少なくともどちらか一方に表示させる
     請求項5に記載の情報処理装置。
  15.  前記表示対象情報は、コンテンツまたはコンテンツの制御アプリケーションである
     請求項5に記載の情報処理装置。
  16.  前記表示対象情報が、前記コンテンツの制御アプリケーションであった場合、前記表示制御部は、前記第1の表示部に、前記コンテンツの制御アプリケーションの画面を表示させる
     請求項15に記載の情報処理装置。
  17.  前記第2の表示部は、前記第1の表示部から離れた場所に配置される
     請求項2に記載の情報処理装置。
  18.  前記情報処理装置は、医療用途、教育用途、または会議用途に使用される
     請求項2に記載の情報処理装置。
  19.  情報処理装置が、
     操作対象の第1の表示部において、表示対象情報を表すサムネイルの前記第1の表示部の所定の領域への移動を検出し、
     前記移動が検出された所定の領域に応じて、前記第1の表示部、または操作対象外の第2の表示部のいずれかにおける前記表示対象情報の表示位置を計算する
     情報処理方法。
  20.  操作対象の第1の表示部において、表示対象情報を表すサムネイルの前記第1の表示部の所定の領域への移動を検出する検出部と、
     前記検出部により移動が検出された所定の領域に応じて、前記第1の表示部、または操作対象外の第2の表示部のいずれかにおける前記表示対象情報の表示位置を計算する表示位置計算部と
     してコンピュータを機能させるプログラム。
PCT/JP2017/040977 2016-11-28 2017-11-14 情報処理装置および方法、並びにプログラム WO2018096987A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/462,352 US20190339836A1 (en) 2016-11-28 2017-11-14 Information processing apparatus, method, and program
JP2018552517A JP6950707B2 (ja) 2016-11-28 2017-11-14 情報処理装置および方法、並びにプログラム
EP17873471.1A EP3547095A4 (en) 2016-11-28 2017-11-14 APPARATUS AND METHOD FOR INFORMATION PROCESSING AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-229739 2016-11-28
JP2016229739 2016-11-28

Publications (1)

Publication Number Publication Date
WO2018096987A1 true WO2018096987A1 (ja) 2018-05-31

Family

ID=62195004

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040977 WO2018096987A1 (ja) 2016-11-28 2017-11-14 情報処理装置および方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20190339836A1 (ja)
EP (1) EP3547095A4 (ja)
JP (2) JP6950707B2 (ja)
WO (1) WO2018096987A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3628207A1 (en) * 2018-09-25 2020-04-01 Medicaroid Corporation Surgical system and method of displaying information in the same
EP3628260A1 (en) * 2018-09-25 2020-04-01 Medicaroid Corporation Surgical system and method of displaying information in the same
WO2021192524A1 (ja) * 2020-03-24 2021-09-30 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム
WO2021241221A1 (ja) * 2020-05-26 2021-12-02 ソニーグループ株式会社 情報処理装置及び情報処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019091943A1 (en) * 2017-11-07 2019-05-16 Koninklijke Philips N.V. Augmented reality drag and drop of objects
CN110830645B (zh) * 2019-09-24 2021-05-18 华为技术有限公司 一种操作方法和电子设备及计算机存储介质
CN112068749B (zh) * 2020-08-21 2021-09-21 易思维(杭州)科技有限公司 多屏幕单终端设备屏幕集中显示、控制的系统及方法
CN114428572A (zh) * 2020-10-29 2022-05-03 京东方科技集团股份有限公司 分屏显示方法、装置、电子设备及计算机可读介质
US11157160B1 (en) * 2020-11-09 2021-10-26 Dell Products, L.P. Graphical user interface (GUI) for controlling virtual workspaces produced across information handling systems (IHSs)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068943A (ja) * 2010-09-24 2012-04-05 Nec Corp 表示装置、表示方法およびプログラム
JP2012079027A (ja) * 2010-09-30 2012-04-19 Nec Personal Computers Ltd ウィンドウオープン方法および装置
JP2015055913A (ja) 2013-09-10 2015-03-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001337765A (ja) * 2000-05-26 2001-12-07 Sharp Corp アイコンによる印刷制御操作システム
JP2007058332A (ja) * 2005-08-22 2007-03-08 Canon Inc オブジェクト操作装置及びオブジェクト操作方法
US7565616B2 (en) * 2006-06-02 2009-07-21 Hewlett-Packard Development Company, L.P. System for controlling display content for multiple electronic display units
JP5362307B2 (ja) * 2008-09-30 2013-12-11 富士フイルム株式会社 ドラッグアンドドロップ制御装置、方法、及びプログラム、並びにコンピュータ端末
US10860162B2 (en) * 2009-04-17 2020-12-08 Abb Schweiz Ag Supervisory control system for controlling a technical system, a method and computer program products
KR101788060B1 (ko) * 2011-04-13 2017-11-15 엘지전자 주식회사 영상표시장치 및 이를 이용한 콘텐츠 관리방법
US9513793B2 (en) * 2012-02-24 2016-12-06 Blackberry Limited Method and apparatus for interconnected devices
JP5263419B2 (ja) * 2012-03-08 2013-08-14 セイコーエプソン株式会社 画像供給装置、画像表示制御プログラム及び画像表示制御方法
JP6362207B2 (ja) * 2013-09-24 2018-07-25 株式会社日立国際電気 映像表示システム、操作端末、操作方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068943A (ja) * 2010-09-24 2012-04-05 Nec Corp 表示装置、表示方法およびプログラム
JP2012079027A (ja) * 2010-09-30 2012-04-19 Nec Personal Computers Ltd ウィンドウオープン方法および装置
JP2015055913A (ja) 2013-09-10 2015-03-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3547095A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3628207A1 (en) * 2018-09-25 2020-04-01 Medicaroid Corporation Surgical system and method of displaying information in the same
EP3628260A1 (en) * 2018-09-25 2020-04-01 Medicaroid Corporation Surgical system and method of displaying information in the same
US11478313B2 (en) 2018-09-25 2022-10-25 Medicaroid Corporation Surgical system and method of displaying information in the same
WO2021192524A1 (ja) * 2020-03-24 2021-09-30 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム
US11950759B2 (en) 2020-03-24 2024-04-09 Fujifilm Corporation Endoscope system, control method, and control program
JP7470779B2 (ja) 2020-03-24 2024-04-18 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム
WO2021241221A1 (ja) * 2020-05-26 2021-12-02 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
JPWO2018096987A1 (ja) 2019-10-17
EP3547095A4 (en) 2019-12-04
JP6950707B2 (ja) 2021-10-13
US20190339836A1 (en) 2019-11-07
JP2021192313A (ja) 2021-12-16
EP3547095A1 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
JP6950707B2 (ja) 情報処理装置および方法、並びにプログラム
EP3534620B1 (en) Signal processing device and method, and program
JP7095693B2 (ja) 医療用観察システム
US11818454B2 (en) Controller and control method
US20190191139A1 (en) Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
US11694725B2 (en) Information processing apparatus and information processing method
US20210019921A1 (en) Image processing device, image processing method, and program
US12008682B2 (en) Information processor, information processing method, and program image to determine a region of an operation target in a moving image
JP7264051B2 (ja) 画像処理装置および画像処理方法
WO2019021781A1 (en) SURGICAL SUPPORT SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING APPARATUS
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
US11902692B2 (en) Video processing apparatus and video processing method
WO2019049595A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2020246181A1 (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17873471

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018552517

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017873471

Country of ref document: EP