JP6950707B2 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP6950707B2
JP6950707B2 JP2018552517A JP2018552517A JP6950707B2 JP 6950707 B2 JP6950707 B2 JP 6950707B2 JP 2018552517 A JP2018552517 A JP 2018552517A JP 2018552517 A JP2018552517 A JP 2018552517A JP 6950707 B2 JP6950707 B2 JP 6950707B2
Authority
JP
Japan
Prior art keywords
display
unit
thumbnail
display unit
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018552517A
Other languages
English (en)
Other versions
JPWO2018096987A1 (ja
Inventor
和士 神田
和士 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018096987A1 publication Critical patent/JPWO2018096987A1/ja
Priority to JP2021153782A priority Critical patent/JP2021192313A/ja
Application granted granted Critical
Publication of JP6950707B2 publication Critical patent/JP6950707B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously

Description

本開示は、情報処理装置および方法、並びにプログラムに関し、特に、操作対象の表示部とは異なる表示部に対して操作を行うことができるようにした情報処理装置および方法、並びにプログラムに関する。
複数の表示部を有する機器上で動作する、表示候補となるコンテンツのリストから、あるコンテンツを選択して、該当のコンテンツを表示用枠内に表示する技術は、公知のものである。
例えば、これをタッチパネルなどの操作できる領域が限定された機器を用いて制御する場合、表示候補となるコンテンツのリストと表示用枠内とが同じ表示部に表示されているならば、コンテンツのリストから、ドラッグ＆ドロップにより、あるコンテンツを選択して、該当のコンテンツを表示用枠内に表示させることは可能である。
特開２０１５−５５９１３号公報
しかしながら、表示部１に表示されているコンテンツのリスト内のコンテンツを、別の表示部２にドラッグすることは困難であり、この方法では、表示用枠内に表示するコンテンツの変更が難しかった。
なお、特許文献１に記載の技術には、２つの表示部に、重複する領域があり、その領域を各表示部が共有しており、そこにアイコンなどを移動することにより、該当アイコンに付随するデータの受け渡しを行うことが記載されている。しかしながら、この技術には、表示部に重複する領域がない場合、適用することが困難であった。
本開示は、このような状況に鑑みてなされたものであり、操作対象の表示部とは異なる表示部に対して操作を行うことができるものである。
本技術の一側面の情報処理装置は、操作対象の第１の表示部において、表示対象情報を表すサムネイルの前記第１の表示部の所定の領域への移動を検出する検出部と、前記検出部により第１の所定の領域に前記サムネイルの移動が検出された場合、前記第１の表示部における前記表示対象情報の表示位置を計算し、前記検出部により第２の所定の領域に前記サムネイルの移動が検出された場合、操作対象外の第２の表示部における前記表示対象情報の表示位置を計算する表示位置計算部と、前記第１の表示部に、前記第２の所定の領域を囲む枠を表示させる表示制御部とを備え、前記表示制御部は、前記サムネイルのリストの表示を制御し、前記表示対象情報が表示される前記第２の表示部に表示されるマークを、前記第２の表示部に対応する前記第２の所定の領域および前記リストにおける前記表示対象情報を表す前記サムネイルの近くの少なくともどちらか一方に表示させる。
本技術の一側面においては、操作対象の第１の表示部において、表示対象情報を表すサムネイルの前記第１の表示部の所定の領域への移動が検出される。そして、第１の所定の領域に前記サムネイルの移動が検出された場合、前記第１の表示部における前記表示対象情報の表示位置が計算され、第２の所定の領域に前記サムネイルの移動が検出された場合、操作対象外の第２の表示部における前記表示対象情報の表示位置が計算される。また、前記第１の表示部に、前記第２の所定の領域を囲む枠が表示され、前記サムネイルのリストの表示が制御され、前記表示対象情報が表示される前記第２の表示部に表示されるマークが、前記第２の表示部に対応する前記第２の所定の領域および前記リストにおける前記表示対象情報を表す前記サムネイルの近くの少なくともどちらか一方に表示される。
本技術によれば、操作対象の表示部とは異なる表示部に対して操作を行うことができる。
なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
本技術が適用されるプログラムが表示部に表示するユーザインタフェイスの例を示す図である。 図１のプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。 本技術を適用するコンピュータの機能ブロック図である。 図１のユーザインタフェイスの他の例を示す図である。 図１のユーザインタフェイスのさらに他の例を示す図である。 図１のユーザインタフェイスのさらに他の例を示す図である。 本技術を適用した場合の具体例を示す図である。 本技術を適用した場合の動作例を説明する図である。 図１のユーザインタフェイスの他の例を示す図である。 図１のユーザインタフェイスのさらに他の例を示す図である。 表示制御処理を説明するフローチャートである。 表示制御処理を説明するフローチャートである。 講義が行われる教室の概略を示す図である。 アクティブラーニング手法の講義が行われる教室の概略を示す図である。 手術室に設置される集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図１８に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態（システム例）
３．応用例
４．まとめ
＜１．第１の実施の形態＞
図１は、本技術が適用されるプログラムが表示部に表示するユーザインタフェイスの例を示す図である。
このプログラムにおいては、操作対象の表示部であるメイン表示部１１に表示されている映像などのコンテンツのサムネイルが並ぶコンテンツのリスト２１から所望のコンテンツ（例えば、コンテンツＡ）のサムネイルを選び、拡大表示部２２にドラッグ＆ドロップを行うことによって、対象のコンテンツ（例えば、コンテンツＡ）が拡大表示される。
また、このプログラムにおいて、制御される表示部は、メイン表示部１１の１つに限定されず、図１のプログラムは、非操作対象の表示部であるサブ表示部１２のように２つ以上の表示部を制御することができる。サブ表示部１２は、拡大表示部３１ａおよび３１ｂの２つの拡大表示部を有している。すなわち、各表示部は、コンテンツのリストおよび拡大表示部のいずれかまたは両方を有することができる。
さらに、本技術の特徴として、メイン表示部１１には、サブ表示部１２に対応する枠２３が表示され、その枠２３には、サブ表示部１２に表示されている拡大表示部３１ａおよび３１ｂに対応する小枠２４ａおよび２４ｂがそれぞれ表示される。
メイン表示部１１において、この小枠２４ａおよび２４ｂへコンテンツのサムネイルのドラッグ＆ドロップを行うことにより、サブ表示部１２の拡大表示部３１ａおよび３１ｂに、該当コンテンツのドラッグ＆ドロップをしたものとみなし、該当コンテンツを、対応する拡大表示部３１ａおよび３１ｂに表示させる。例えば、コンテンツＢのサムネイルを選び、小枠２４ａにドラッグ＆ドロップを行うことにより、サブ表示部１２の拡大表示部３１ａに、コンテンツＢが拡大表示される。
なお、メイン表示部１１の小枠２４ａおよび２４ｂと、サブ表示部１２の拡大表示部３１ａおよび３１ｂとの対応関係がわかるように、小枠２４ａと拡大表示部３１ａのそれぞれの左上には、星マーク４１ａが表示されており、小枠２４ｂと拡大表示部３１ｂのそれぞれの左上には、ダイヤマーク４１ｂが表示されている。
図２は、図１のプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ５１において、CPU（Central Processing Unit）６１，ROM（Read Only Memory）６２，RAM（Random Access Memory）６３は、バス６４により相互に接続されている。
バス６４には、さらに、入出力インタフェース６５が接続されている。入出力インタフェース６５には、入力部６６、出力部６７、記憶部６８、通信部６９、及びドライブ７０が接続されている。
入力部６６は、キーボード、マイクロフォン、並びに、マウス、タッチパネル、またはタブレットなどのポインティングデバイス８１（図３）などよりなる。出力部６７は、表示部（メイン表示部１１およびサブ表示部１２）、スピーカなどよりなる。記憶部６８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６９は、ネットワークインタフェースなどよりなる。ドライブ７０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体７１を駆動する。
以上のように構成されるコンピュータ５１では、CPU６１が、例えば、記憶部６８に記憶されているプログラムを、入出力インタフェース６５及びバス６４を介して、RAM６３にロードして実行する。これにより、次に説明する図３の機能ブロックが機能し、上述した一連の処理が行われる。
図３は、本技術を適用するコンピュータの機能ブロック図である。
図３の例においては、ポインティングデバイス８１、ポインティング位置入力部８２、ポインティング座標計算部８３、表示位置計算部８４、表示制御部８５および８６、記憶部６８、メイン表示部１１、並びにサブ表示部１２が示されている。
ユーザは、任意のポインティングデバイス８１を用いて、コンテンツのサムネイルのドラッグ＆ドロップを行う。ポインティングデバイス８１は、接触方式であってもよいし、非接触方式であってもよい。ポインティング位置入力部８２は、ポインティングデバイス８１からの位置入力を受け付ける。このとき、ポインティング位置入力部８２は、入力された動作が、コンテンツのサムネイルのドラッグであり、コンテンツのサムネイルのドラッグの開始または終了であるか否かを判定する。ポインティング座標計算部８３は、ポインティング位置入力部８２により受け付けられた位置入力から、座標を計算し、計算した座標情報を用いて、枠や拡大表示部（すなわち、所定の領域）へのコンテンツのサムネイルの移動を検出する。
表示位置計算部８４は、ポインティング座標計算部８３からの座標情報から計算される所定の領域に応じ、ポインティングデバイス８１を用いて、枠や拡大表示部（すなわち、所定の領域）へのコンテンツのサムネイルの移動を検出することで、表示対象の拡大表示部（拡大表示部２２、３１ａ、または３１ｂ）を決定し、記憶部６８に格納されたコンテンツの表示位置を計算する。表示制御部８５は、メイン表示部１１の表示を制御する。すなわち、表示制御部８５は、表示位置計算部８４からの表示位置情報などに基づいて、コンテンツ、枠、小枠、サムネイル、アイコンなどをメイン表示部１１に表示させる。表示制御部８６は、サブ表示部１２の表示を制御する。すなわち、表示制御部８６は、表示位置計算部８４からの表示位置情報などに基づいて、コンテンツをサブ表示部１２に表示させる。
図４は、図１のユーザインタフェイスの他の例を示す図である。図４の例においては、枠２３が表示、非表示される例が示されている。
図４の例のメイン表示部１１においては、小枠２４ａおよび２４ｂを含む枠２３は、最初表示されておらず、黒矢印の先に示されるように、コンテンツのリスト２１から、あるコンテンツのサムネイルがドラッグされた場合に、枠２３が表示される。その後、ドラッグ操作が完了すると、枠２３は再び非表示となる。
以上のように、枠２３は、必要に応じて、表示、非表示を切り替えられるようにしてもよい。
なお、枠２３の表示、非表示は、図４の例の場合に限らず、例えば、メイン表示部１１にボタンを配置し、そのボタンを押すことによって、枠２３を表示するようにしてもよい。また、メイン表示部１１に配置されたアイコンなどにドラッグ中のコンテンツのサムネイルを重ねることで表示し、枠２３から離すことで非表示とすることが考えられるが、これに限定されない。
図５および図６は、図１のユーザインタフェイスのさらに他の例を示す図である。図５および図６の例においては、メイン表示部１１に対して、２つのサブ表示部１２（サブ表示部１２ａおよび１２ｂ）がある例が示されている。
メイン表示部１１の右側に、サブ表示部１２ａが配置され、左側に、サブ表示部１２ｂが配置されている。この場合、各サブ表示部１２ａおよび１２ｂの物理的な位置に合わせて、メイン表示部１１に、枠２３を配置することが考えられる。すなわち、図５に示されるように、メイン表示部１１の右端付近に、サブ表示部１２ａに対応する枠２３ａが配置され、メイン表示部１１の左端付近に、サブ表示部１２ｂに対応する枠２３ｂが配置される。
あるいは、図６に示されるように、ドラッグ＆ドロップしやすいように、コンテンツのリスト２１における対象コンテンツ（いまの場合、コンテンツＣ）のサムネイルの近くに、対象コンテンツのサムネイルを囲むように枠２３を配置するようにしてもよい。これらに限定されず、枠２３には、任意の位置、形状を用いることができる。
なお、サブ表示部１２は、図５に示されるように、１つに限らず、さらに多くのサブ表示部１２を持つようにしてもよい。この場合、各サブ表示部１２に対応する枠２３もサブ表示部１２の数に合わせてメイン表示部１１に表示することができる。
また、サブ表示部１２が極めて多数存在する場合、メイン表示部１１に多数の枠２３が表示されることになるが、例えば、枠２３を小さなアイコン状に表示しておき、ドラッグ中のコンテンツを重ねる、または近づける、ドラッグ中にアイコンに触れるなどの操作で、大きく表示させる方法などが考えられる。
より具体的な例を、図７および図８を参照して説明する。
図７の例においては、ある部屋１０１の壁に、メイン表示部１１と、サブ表示部１２ａ乃至１２ｄが配置されている例が示されている。図８の例においては、この部屋１０１に対し、本技術を適用した場合の動作例が示されている。
コンテンツＣのサムネイルのドラッグを開始した際、図８に示されるように、枠１１１が表示される。枠１１１内には、各サブ表示部１２ａ乃至１２ｄに対応するアイコン１１２ａ乃至１１２ｄが表示されている。なお、以下、サブ表示部１２ａ乃至１２ｄをそれぞれ区別する必要がない場合、サブ表示部１２と称し、アイコン１１２ａ乃至１１２ｄも同様に、それぞれ区別する必要がない場合、アイコン１１２と称する。
アイコン１１２は、サブ表示部１２の物理的な配置に対応させて配置されている。このアイコン１１２に対し、ドラッグ中のコンテンツのサムネイルを重ねることで、アイコン１１２に対応するサブ表示部１２に対応する枠２３が表示される。枠２３の表示方法、および枠２３に対応するアイコン１１２の形状や表示方法などはこれに限定されない。
枠２３内のコンテンツドロップ用の小枠２４（小枠２４ａおよび２４ｂ）の数、配置は任意である。枠２３に対応するサブ表示部１２に表示されている拡大表示部３１（拡大表示部３１ａおよび３１ｂ）と同様の数、配置にすることが考えられるが、これに限定されない。拡大表示部３１が極めて多く存在する場合、枠２３内の多数の小枠２４が表示されることになる。この場合、小枠２４の数に合わせて、枠２３の大きさを調整する。小枠２４の一部のみを表示させておいてスクロールさせるなどの方法が考えられる。また、スクロールさせる場合、ドラッグ中のコンテンツのサムネイルを重ねるとスクロールが行われる領域を用意するなどの方法が考えられるが、いずれもこれらに限定されない。
小枠２４には、任意の表示を行うことができる。小枠２４に、サブ表示部１２内の拡大表示部３１に表示されたマーク４１（星マーク４１ａ、ダイヤマーク４１ｂ、三角マーク４１ｃ、丸マーク４１ｄ）をそれぞれ表示しておくことで互いの対応関係を明示することができる。この場合、各マークは、枠２３が表示されている場合にのみ表示させるようにすることもできる。なお、対応関係を明示するものとしては、マークに限らず、記号、番号、文字列などであってもよい。また、拡大表示部３１に表示中のコンテンツをそれぞれ表示しておく方法も考えられるが、これに限定されない。
サブ表示部１２は、メイン表示部１１から離れた場所に設置されてもよい。インターネットを経由して接続された遠隔地でもよい。この場合、例えば、サブ表示部１２およびサブ表示部１２用の表示制御部８６（を含む情報処理装置）が、離れた場所に配置され、表示位置計算部８４からの表示位置情報とコンテンツが、ネットワークを介して、サブ表示部１２用の情報処理装置に送信されて、表示制御部８６により、表示位置計算部８４からの表示位置情報基づいて、コンテンツの表示が制御される。なお、コンテンツは、予め、サブ表示部１２用の情報処理装置に記憶されていてもよい。
メイン表示部１１とサブ表示部１２の役割は必要に応じて随時入れ替えてもよい。言い換えると、すべての表示部が、メイン表示部１１と同等の機能を持っていてもよい。
拡大表示部３１に表示されているコンテンツは、小枠２４に対する操作により制御してもよいし、表示を終了させてもよい。例えば、図９に示されるように、コンテンツのリスト２１内に、コンテンツのサムネイルだけでなく、コンテンツのアプリケーションのサムネイルも配置するようにしてもよい。図９の例の場合、コンテンツ制御用アイコン（換言するに、コンテンツ制御用アプリケーションのサムネイル）１２１を配置し、小枠２４にドラッグ＆ドロップすることによって、対応する拡大表示部３１に表示中のコンテンツの制御用パネル１３１がメイン表示部１１に表示される。すなわち、コンテンツの制御用アプリケーションが起動される。
また、コンテンツ表示終了用アイコン（換言するに、コンテンツ表示終了用アプリケーションのサムネイル）１２２を小枠２４にドラッグ＆ドロップすることによって、コンテンツ表示終了用アプリケーションが起動し、対応する拡大表示部３１に表示中のコンテンツの表示が終了される。
なお、他にも、小枠２４に配置されたボタンなどを押すことによって対応する拡大表示部１０５内に表示中のコンテンツを制御し、あるいは、表示終了させるなどの方法が考えられるが、これらに限定されない。
また、小枠２４に、サブ表示部１２内の拡大表示部３１に表示されたマーク４１（星マーク４１ａ、ダイヤマーク４１ｂ、三角マーク４１ｃ、丸マーク４１ｄ）をそれぞれ表示しておくことで互いの対応関係を明示するようにしたが、このマーク４１と同様のマーク１４１（星マーク１４１ａ、ダイヤマーク１４１ｂ、三角マーク１４１ｃ、丸マーク１４１ｄ）を、図１０に示されるように、コンテンツのリスト２１内のコンテンツのサムネイルに重ねて、あるいは、並べて表示してもよい。なお、対応関係を明示するものとしては、マークに限らず、記号、番号、文字列などであってもよい。
例えば、図１０に示されるように、表示された各小枠２４に対応する拡大表示部３１のいずれかでコンテンツが表示されている場合、各小枠２４を示すマーク４１（星マーク４１ａ、ダイヤマーク４１ｂ、三角マーク４１ｃ、丸マーク４１ｄ）に示すマーク１４１（星マーク１４１ａ、ダイヤマーク１４１ｂ、三角マーク１４１ｃ、丸マーク１４１ｄ）を表示することで、表示されている箇所を示すことができる。
次に、図１１および図１２のフローチャートを参照して、図４および図９の例の場合の表示制御処理を説明する。
操作者は、任意のポインティングデバイス８１を用いて、コンテンツまたはアプリケーションのサムネイル（以下、コンテンツまたはアプリケーションを区別する必要がない場合、単にサムネイルと称する）のドラッグ＆ドロップを行う。ポインティング位置入力部８２は、図１１のステップＳ１１において、ポインティングデバイス８１からの位置入力を受け付けるまで待機している。ポインティング位置入力部８２は、ポインティングデバイス８１からの位置入力を受け付けると、ステップＳ１１において、ポインティングデバイス８１からの位置入力を受け付けたと判定し、処理は、ステップＳ１２に進む。
ポインティング位置入力部８２は、ステップＳ１２において、サムネイルのドラッグが開始されたか否かを判定する。ステップＳ１２において、サムネイルのドラッグが開始されていないと判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。
ステップＳ１２において、サムネイルのドラッグが開始されたと判定された場合、処理は、ステップＳ１３に進む。表示制御部８５は、枠２３を表示状態に変更する。これにより、図４の右側に示されるように、メイン表示部１１には、枠２３が表示される。
ポインティング位置入力部８２は、ステップＳ１４において、ポインティングデバイス８１からの位置入力を受け付けるまで待機している。ポインティング位置入力部８２は、ポインティングデバイス８１からの位置入力を受け付けると、ステップＳ１４において、ポインティングデバイス８１からの位置入力を受け付けたと判定し、処理は、ステップＳ１５に進む。
ポインティング位置入力部８２は、ステップＳ１５において、サムネイルのドラッグが終了されたか否かを判定する。ステップＳ１５において、サムネイルのドラッグが終了されていないと判定された場合、処理は、ステップＳ１４に戻り、それ以降の処理が繰り返される。
ステップＳ１５において、サムネイルのドラッグが終了されたと判定された場合、処理は、ステップＳ１６に進む。表示制御部８５は、枠２３を非表示状態に変更する。これにより、図４の左側に示されるように、メイン表示部１１から枠２３の表示が消える。
ステップＳ１７において、ポインティング座標計算部８３は、ドラッグが終了された位置の座標を求め、サムネイルが小枠２４ａまたは２４ｂ内にドロップされたか否かを判定する。ステップＳ１７において、サムネイルが小枠２４ａまたは２４ｂ内にドロップされなかったと判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。
ステップＳ１７において、サムネイルが小枠２４ａまたは２４ｂ内にドロップされたと判定された場合、処理は、図１２のステップＳ１８に進む。ステップＳ１８において、ポインティング座標計算部８３は、ドラッグが開始された位置の座標に基づいて、ドロップされたのは、コンテンツのサムネイルであるか否かを判定する。
ステップＳ１８において、表示位置計算部８４は、ドロップされたのはコンテンツのサムネイルであると判定された場合、処理は、ステップＳ１９に進む。ステップＳ１９において、表示位置計算部８４は、表示対象の拡大表示用枠を決定し、記憶部６８に格納されたコンテンツの表示位置を計算する。
ステップＳ２０において、表示制御部８５は、表示位置計算部８４からのコンテンツ表示位置に、コンテンツを表示させる。例えば、図１の例においては、コンテンツＡのサムネイルがドロップされたことで、メイン表示部１１の拡大表示部２２に、コンテンツＡが表示されている。一方、コンテンツＣのサムネイルがドロップされたことで、サブ表示部１２の拡大表示部３１ａに、コンテンツＣが表示されている。
ステップＳ１８において、表示位置計算部８４は、ドロップされたのはコンテンツのサムネイルではなく、アプリケーションのサムネイル（例えば、図９のコンテンツ制御用アプリケーションのサムネイル（コンテンツ制御用アイコン１２１））であると判定された場合、処理は、ステップＳ２１に進む。ステップＳ２１において、表示制御部８５は、ドロップされたサムネイルのアプリケーション（コンテンツ制御用アイコン）１２１に応じた処理を行う。すなわち、ドロップされたのが、図９のコンテンツ制御用アイコン１２１である場合、コンテンツ制御用アプリケーションが起動し、図９の右側に示されるように、メイン表示部１１に、制御用パネル１３１が表示される。
以上のように、図３の機能ブロックにより、上述した表示制御処理が行われる。
＜２．第２の実施の形態（システム例）＞
上述した技術は、様々な範囲に応用することが考えられうるが、以下では、上述した技術が適用されうる例として、教育用途、医療用途、会議用途をあげる。
次に、図１３を参照して、教育用途への応用例について説明する。図１３は、講義が行われる教室の概略を示す図である。
図１３の例に示される教育システム２０１においては、教師の手元には、操作対象の表示部であるタッチパネルディスプレイ２１１が設置してあり、また、教室の前方には、非操作対象の表示部であるスクリーン２１２が設置してある。教師は、必要に応じてタッチパネルディスプレイ２１１に表示されたコンテンツを用いて授業を行う。表示には、上述したプログラムが用いられ、教師は、必要に応じてタッチパネルディスプレイ２１１の表示範囲内でドラッグ＆ドロップを行うことにより、スクリーン２１２に表示するコンテンツを切り替えることができる。
一般に、タッチパネルディスプレイを用いる場合、ドラッグ中に画面の外にでることができないが、本技術を適用することにより、タッチパネルディスプレイ外の領域にドロップが行われたように見せることができ、上述した操作が可能となる。
次に、図１４を参照して、教育用途へのその他の応用例について説明する。図１４は、アクティブラーニングと呼ばれる手法の講義が行われる教室の概略を示す図である。
図１４の例に示されるアクティブラーニングシステム３０１において、教室の前方には、操作対象の表示部であるスクリーン３１１ａが設置してあり、スクリーン３１１ａには、コンピュータ３１２からの出力がプロジェクタ３１３ａによって表示されており、教師は、主に、スクリーン３１１ａに表示されているコンテンツを用いて授業を行う。
学生は、数人単位の複数グループに分かれて、ポッドと呼ばれる机につく。各ポッドＡ乃至Ｄには、表示用のディスプレイ３１４ａ乃至３１４ｄと、それへの表示を行うコンピュータ３１５ａ乃至３１５ｄが備えられており、学生は、これらを用いて、グループごとに作業を行うことができる。また、各コンピュータ３１５ａ乃至３１５ｄは、ネットワーク３１６を介して接続されている。さらに、これらのスクリーン３１１ａおよびディスプレイ３１４ａ乃至３１４ｄへの表示は、上述したプログラムが用いられることとする。
また、このアクティブラーニングシステム３０１において、コンピュータ３１２からの出力をプロジェクタ３１３ｂによって表示するスクリーン３１１ｂも配置されており、スクリーン３１１ｂおよび各ポッドのディスプレイ３１４ａ乃至３１４ｄ間では、コンテンツのミラーリングを行うことができる。ミラーリングとは、ある端末の表示部に表示されているコンテンツを、他の端末の表示部にも表示することを指す。この際、表示の元となる端末からは、他の端末の表示部に表示するコンテンツおよび表示先となる端末を任意に選択することができる。この選択の際にも、本技術を適用することができる。表示先となる端末の候補に対応する小枠２４を表示し、そこに対象となるコンテンツをドラッグ＆ドロップすることにより、該当コンテンツのミラーリングを行うことができる。
次に、図１５を参照して、医療用途でのシステム例について説明する。
図１５の例においては、手術システムにおいて、手術室に設置される集中操作パネルにおける操作画面４１１の表示例を示す図である。
図１５では、一例として、手術室システムに、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図１５を参照すると、操作画面４１１には、発信元選択領域４２０と、プレビュー領域４２１とが設けられる。
発信元選択領域４２０には、手術室システムに備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。また、ここには、各サムネイル画面だけでなく、制御用アイコン（制御用アプリケーションのサムネイル）４３２と表示終了用アイコン（表示終了用アプリケーションのサムネイル）４３３も表示される。ユーザは、プレビュー領域４２１に表示させたい表示情報を、発信元選択領域４２０に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域４２１には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域４２０において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。
プレビュー領域４２１に表示する各表示情報を、発信元選択領域４２０から選択する際に、本技術を適用することができる。発信元選択領域４２０を、図１のコンテンツのリスト２１、プレビュー領域４２１を枠２３、プレビュー領域４２１に表示された各サムネイル４２２を小枠２４とみなし、ドラッグ＆ドロップによって表示対象が切り替えられる。また、制御用アイコン４３２をプレビュー領域４２１にドラッグ＆ドロップすることにより、対象のコンテンツを制御するパネル（例えば、後述するパネル５２０１）を表示することができる。
ポインティングデバイスとして、医療領域において求められる非接触のものを利用してもよい。非接触のポインティングデバイスは、操作できる領域が狭いことが多いため、図６を参照して上述したように、小枠２４をコンテンツのリスト２１の近傍に表示させることによって、操作性を向上させることも考えられる。この場合、小枠２４とそれに対応するプレビュー領域４２１が同じ操作画面４１１に表示されていることから、小枠２４の表示時には、対応関係が理解しやすくなるよう、プレビュー領域４２１が発信元選択領域４２０に近づくアニメーションなどを利用することもできる。
なお、会議用途としては、図１におけるサブ表示部１２が遠隔地に配置されている会議システムの例が挙げられる。
また、ビデオ会議において相手側画面に送信される映像を、本技術を用いて選択することができる。この場合、メイン表示部１１の機能を遠隔地側にも持たせることにより、遠隔地側から送信させることもできる。
以上のように、本技術によれば、複数の表示部を持つシステムにおいて、操作対象の表示部とは異なる表示部に対して操作を行うことができる。すなわち、本技術によれば、ある１つの表示部上でのみ操作することですべての表示コンテンツを操作でき、かつ、その操作がコンテンツのリストからのドラッグ＆ドロップであることにより、限定された範囲のみでの操作によって広範囲に、かつ直観的に操作を行うことができる。
特に、操作用機器としてタッチパネルを利用する場合、該当タッチパネルの外へのドラッグは不可能であるところ、仮想的に外部の表示部へドロップすることができる。
また、非接触ポインティングデバイスを利用する場合、操作できる範囲が狭いことから、狭い範囲に限定してのドラッグ＆ドロップで操作を行うことができる。
さらに、対象となる表示部が遠隔地に配置されている場合にも、該当の表示部に表示するコンテンツをドラッグ＆ドロップによって操作することができる。
＜３．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図１６は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図１６を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図１６では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ〜５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。
ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ〜５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ〜５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。
具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ〜５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。
また、図１６では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。
手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。
図１７は、集中操作パネル５１１１における操作画面の表示例を示す図である。図１７では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図１７を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。
発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。
コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。
また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。
図１８は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図１６に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図１８では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ〜５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ〜５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。
（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。
（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。
鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図１６に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。
表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。
光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。
アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。
入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。
入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。
あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。
（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図１８では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ〜５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ〜５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。
関節部５１４７ａ〜５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ〜５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ〜５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。
例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ〜５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ〜５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。
（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（カメラヘッド及びＣＣＵ）
図１９を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図１９は、図１８に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。
図１９を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。
まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。
撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。
また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。
駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。
通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。
また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。
カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。
また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、集中操作パネル５１１１における操作画面に好適に適用され得る。具体的には、操作画面５１９３として、図１５の操作画面４１１を用いることができる。操作画面に本開示に係る技術を適用することにより、複数の表示部を持つシステムにおいて、操作対象の表示部とは異なる表示部に対して操作を行うことができる。すなわち、図１５において上述したように操作性を向上させることができる。
＜４．まとめ＞
なお、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
図３の例において、コンピュータ（CPU６１）が実行するプログラムは、リムーバブル記録媒体７１に記録して提供することができる。リムーバブル記録媒体７１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータにおいて、プログラムは、リムーバブル記録媒体７１をドライブ７０に装着することにより、入出力インタフェース６５を介して、記憶部６８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６９で受信し、記憶部６８にインストールすることができる。その他、プログラムは、ROM６２や記憶部６８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） 操作対象の第１の表示部において、表示対象情報を表すサムネイルの前記第１の表示部の所定の領域への移動を検出する検出部と、
前記検出部により移動が検出された所定の領域に応じて、前記第１の表示部、または操作対象外の第２の表示部のいずれかにおける前記表示対象情報の表示位置を計算する表示位置計算部と
を備える情報処理装置。
（２） 前記表示位置計算部は、前記検出部により第１の所定の領域に前記サムネイルの移動が検出された場合、前記第１の表示部における前記表示対象情報の表示位置を計算し、前記検出部により第２の所定の領域に前記サムネイルの移動が検出された場合、前記第２の表示部における前記表示対象情報の表示位置を計算する
前記（１）に記載の情報処理装置。
（３） 前記検出部は、ポインティングデバイスを用いての前記第１の表示部に対する接触操作により前記サムネイルの移動を検出する
前記（１）または（２）に記載の情報処理装置。
（４） 前記検出部は、非接触型ポインティングデバイスを用いての非接触操作により前記サムネイルの移動を検出する
前記（１）または（２）に記載の情報処理装置。
（５） 前記第１の表示部に、前記第２の所定の領域を囲む枠を表示させる表示制御部を
さらに備える前記（１）または（２）に記載の情報処理装置。
（６） 前記検出部は、ドラッグ＆ドロップによる前記サムネイルの移動を検出する
前記（５）に記載の情報処理装置。
（７） 前記表示制御部は、前記検出部によりドラッグの開始が検出された場合、前記枠を表示させ、前記検出部によりドロップが検出された場合、前記枠の表示を禁止する
前記（６）に記載の情報処理装置。
（８） 前記表示制御部は、前記検出部により第２の所定の領域上に前記サムネイルの移動が検出された場合、前記枠を表示させ、前記検出部により第２の所定の領域外に前記サムネイルの移動が検出された場合、前記枠の表示を禁止する
前記（５）に記載の情報処理装置。
（９） 前記表示制御部は、前記第１の表示部に、前記第２の所定の領域を配置する
前記（５）に記載の情報処理装置。
（１０） 前記表示制御部は、前記第２の表示部の物理的な配置に合わせて、前記第２の所定の領域を配置する
前記（９）に記載の情報処理装置。
（１１） 前記表示制御部は、前記サムネイルのリストの表示を制御し、
前記リストのうち、選択されたサムネイルの配置の近くに、前記第２の所定の領域を配置する
前記（９）に記載の情報処理装置。
（１２） 前記表示制御部は、前記第２の表示部の数に応じて、前記第２の所定の領域をアイコンとして表示させる
前記（９）に記載の情報処理装置。
（１３） 前記表示制御部は、前記検出部により前記アイコンの近くに前記サムネイルの近接が検出された場合、前記第２の所定の領域を囲む位置に枠を表示させる
前記（１２）に記載の情報処理装置。
（１４） 前記表示制御部は、前記サムネイルのリストの表示を制御し、
表示対象情報が表示される前記第２の表示部に表示されるマークを、前記第２の表示部に対応する前記第２の所定の領域および前記リストにおける前記表示対象情報を表すサムネイルの近くの少なくともどちらか一方に表示させる
前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記表示対象情報は、コンテンツまたはコンテンツの制御アプリケーションである
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 前記表示対象情報が、前記コンテンツの制御アプリケーションであった場合、前記表示制御部は、前記第１の表示部に、前記コンテンツの制御アプリケーションの画面を表示させる
前記（１５）に記載の情報処理装置。
（１７） 前記第２の表示部は、前記第１の表示部から離れた場所に配置される
前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８） 前記情報処理装置は、医療用途、教育用途、または会議用途に使用される
前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９） 情報処理装置が、
操作対象の第１の表示部において、表示対象情報を表すサムネイルの前記第１の表示部の所定の領域への移動を検出し、
前記移動が検出された所定の領域に応じて、前記第１の表示部、または操作対象外の第２の表示部のいずれかにおける前記表示対象情報の表示位置を計算する
情報処理方法。
（２０） 操作対象の第１の表示部において、表示対象情報を表すサムネイルの前記第１の表示部の所定の領域への移動を検出する検出部と、
前記検出部により移動が検出された所定の領域に応じて、前記第１の表示部、または操作対象外の第２の表示部のいずれかにおける前記表示対象情報の表示位置を計算する表示位置計算部と
してコンピュータを機能させるプログラム。
１１ メイン表示部， １２，１２ａ乃至１２ｄ サブ表示部， ２１ コンテンツのリスト， ２２ 拡大表示部， ２３ 枠， ２４，２４ａ乃至２４ｄ 小枠， ３１，３１ａ乃至３１ｄ 拡大表示部， ４１ マーク， ４１ａ 星マーク， ４１ｂ ダイヤマーク， ４１ｃ 三角マーク， ４１ｄ 丸マーク， ５１ コンピュータ， ６１ CPU， ６３ RAM， ６６ 入力部， ６７ 表示部， ６８ 記憶部， ８１ ポインティングデバイス， ８２ ポインティング位置入力部， ８３ ポインティング座標計算部， ８４ 表示位置計算部， ８５，８６ 表示制御部， １０１ 部屋， １１１ 枠， １１２，１１２ａ乃至１１２ｄ アイコン， １２１ コンテンツ制御用アイコン， １２２ コンテンツ終了用アイコン， １３１ 制御用パネル， ２０１ 教育システム， ２１１ タッチパネルディスプレイ， ２１２ スクリーン， ３０１ アクティブラーニングシステム， ３１１ａ，３１１ｂ スクリーン， ３１２ コンピュータ， ３１３ａ，３１３ｂ プロジェクタ， ３１４ａ乃至３１４ｄ ディスプレイ， ３１５ａ乃至３１５ｄ コンピュータ， ３１６ ネットワーク，４１１ 操作画面， ４２０ 発信元選択領域， ４２１ プレビュー領域， ４２２ サムネイル， ４３２ 制御用アイコン， ４３３ 表示終了用アイコン

Claims (18)

  1. 操作対象の第１の表示部において、表示対象情報を表すサムネイルの前記第１の表示部の所定の領域への移動を検出する検出部と、
    前記検出部により第１の所定の領域に前記サムネイルの移動が検出された場合、前記第１の表示部における前記表示対象情報の表示位置を計算し、前記検出部により第２の所定の領域に前記サムネイルの移動が検出された場合、操作対象外の第２の表示部における前記表示対象情報の表示位置を計算する表示位置計算部と、
    前記第１の表示部に、前記第２の所定の領域を囲む枠を表示させる表示制御部と
    を備え、
    前記表示制御部は、前記サムネイルのリストの表示を制御し、
    前記表示対象情報が表示される前記第２の表示部に表示されるマークを、前記第２の表示部に対応する前記第２の所定の領域および前記リストにおける前記表示対象情報を表す前記サムネイルの近くの少なくともどちらか一方に表示させる
    情報処理装置。
  2. 前記検出部は、ポインティングデバイスを用いての前記第１の表示部に対する接触操作により前記サムネイルの移動を検出する
    請求項１に記載の情報処理装置。
  3. 前記検出部は、非接触型ポインティングデバイスを用いての非接触操作により前記サムネイルの移動を検出する
    請求項１に記載の情報処理装置。
  4. 前記検出部は、ドラッグ＆ドロップによる前記サムネイルの移動を検出する
    請求項１に記載の情報処理装置。
  5. 前記表示制御部は、前記検出部によりドラッグの開始が検出された場合、前記枠を表示させ、前記検出部によりドロップが検出された場合、前記枠の表示を禁止する
    請求項１に記載の情報処理装置。
  6. 前記表示制御部は、前記検出部により前記第２の所定の領域に前記サムネイルの移動が検出された場合、前記枠を表示させ、前記検出部により前記第２の所定の領域外に前記サムネイルの移動が検出された場合、前記枠の表示を禁止する
    請求項１に記載の情報処理装置。
  7. 前記表示制御部は、前記第１の表示部に、前記第２の所定の領域を配置する
    請求項１に記載の情報処理装置。
  8. 前記表示制御部は、前記第２の表示部の物理的な配置に合わせて、前記第２の所定の領域を配置する
    請求項７に記載の情報処理装置。
  9. 前記表示制御部は、前記リストのうち、選択された前記サムネイルの配置の近くに、前記第２の所定の領域を配置する
    請求項７に記載の情報処理装置。
  10. 前記表示制御部は、前記第２の表示部の数に応じて、前記第２の所定の領域をアイコンとして表示させる
    請求項７に記載の情報処理装置。
  11. 前記表示制御部は、前記検出部により前記アイコンの近くに前記サムネイルの近接が検出された場合、前記第２の所定の領域を囲む位置に枠を表示させる
    請求項１０に記載の情報処理装置。
  12. 前記表示制御部は、前記表示対象情報が表示される前記第２の表示部に表示されるマークを、前記第２の表示部に対応する前記第２の所定の領域および前記リストにおける前記表示対象情報を表す前記サムネイルの近くの少なくともどちらか一方に表示させる
    請求項１に記載の情報処理装置。
  13. 前記表示対象情報は、コンテンツまたは前記コンテンツの制御アプリケーションである
    請求項１に記載の情報処理装置。
  14. 前記表示対象情報が、前記コンテンツの制御アプリケーションであった場合、前記表示制御部は、前記第１の表示部に、前記コンテンツの制御アプリケーションの画面を表示させる
    請求項１３に記載の情報処理装置。
  15. 前記第２の表示部は、前記第１の表示部から離れた場所に配置される
    請求項１に記載の情報処理装置。
  16. 前記情報処理装置は、医療用途、教育用途、または会議用途に使用される
    請求項１に記載の情報処理装置。
  17. 情報処理装置が、
    操作対象の第１の表示部において、表示対象情報を表すサムネイルの前記第１の表示部の所定の領域への移動を検出し、
    第１の所定の領域に前記サムネイルの移動が検出された場合、前記第１の表示部における前記表示対象情報の表示位置を計算し、第２の所定の領域に前記サムネイルの移動が検出された場合、操作対象外の第２の表示部における前記表示対象情報の表示位置を計算し、
    前記第１の表示部に、前記第２の所定の領域を囲む枠を表示させ、
    前記サムネイルのリストの表示を制御し、
    前記表示対象情報が表示される前記第２の表示部に表示されるマークを、前記第２の表示部に対応する前記第２の所定の領域および前記リストにおける前記表示対象情報を表す前記サムネイルの近くの少なくともどちらか一方に表示させる
    情報処理方法。
  18. 操作対象の第１の表示部において、表示対象情報を表すサムネイルの前記第１の表示部の所定の領域への移動を検出する検出部と、
    前記検出部により第１の所定の領域に前記サムネイルの移動が検出された場合、前記第１の表示部における前記表示対象情報の表示位置を計算し、前記検出部により第２の所定の領域に前記サムネイルの移動が検出された場合、操作対象外の第２の表示部における前記表示対象情報の表示位置を計算する表示位置計算部と、
    前記第１の表示部に、前記第２の所定の領域を囲む枠を表示させる表示制御部と
    してコンピュータを機能させ、
    前記表示制御部は、前記サムネイルのリストの表示を制御し、
    前記表示対象情報が表示される前記第２の表示部に表示されるマークを、前記第２の表示部に対応する前記第２の所定の領域および前記リストにおける前記表示対象情報を表す前記サムネイルの近くの少なくともどちらか一方に表示させる
    プログラム。
JP2018552517A 2016-11-28 2017-11-14 情報処理装置および方法、並びにプログラム Active JP6950707B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021153782A JP2021192313A (ja) 2016-11-28 2021-09-22 情報処理装置および方法、並びにプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016229739 2016-11-28
JP2016229739 2016-11-28
PCT/JP2017/040977 WO2018096987A1 (ja) 2016-11-28 2017-11-14 情報処理装置および方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021153782A Division JP2021192313A (ja) 2016-11-28 2021-09-22 情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2018096987A1 JPWO2018096987A1 (ja) 2019-10-17
JP6950707B2 true JP6950707B2 (ja) 2021-10-13

Family

ID=62195004

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018552517A Active JP6950707B2 (ja) 2016-11-28 2017-11-14 情報処理装置および方法、並びにプログラム
JP2021153782A Pending JP2021192313A (ja) 2016-11-28 2021-09-22 情報処理装置および方法、並びにプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021153782A Pending JP2021192313A (ja) 2016-11-28 2021-09-22 情報処理装置および方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20190339836A1 (ja)
EP (1) EP3547095A4 (ja)
JP (2) JP6950707B2 (ja)
WO (1) WO2018096987A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019091943A1 (en) * 2017-11-07 2019-05-16 Koninklijke Philips N.V. Augmented reality drag and drop of objects
JP6898285B2 (ja) * 2018-09-25 2021-07-07 株式会社メディカロイド 手術システムおよび表示方法
JP6856594B2 (ja) 2018-09-25 2021-04-07 株式会社メディカロイド 手術システムおよび表示方法
CN110830645B (zh) * 2019-09-24 2021-05-18 华为技术有限公司 一种操作方法和电子设备及计算机存储介质
CN115209785A (zh) 2020-03-24 2022-10-18 富士胶片株式会社 内窥镜系统、控制方法及控制程序
US20230196632A1 (en) * 2020-05-26 2023-06-22 Sony Group Corporation Information processing device and information processing method
CN112068749B (zh) * 2020-08-21 2021-09-21 易思维（杭州）科技有限公司 多屏幕单终端设备屏幕集中显示、控制的系统及方法
CN114428572A (zh) * 2020-10-29 2022-05-03 京东方科技集团股份有限公司 分屏显示方法、装置、电子设备及计算机可读介质
US11157160B1 (en) * 2020-11-09 2021-10-26 Dell Products, L.P. Graphical user interface (GUI) for controlling virtual workspaces produced across information handling systems (IHSs)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001337765A (ja) * 2000-05-26 2001-12-07 Sharp Corp アイコンによる印刷制御操作システム
JP2007058332A (ja) * 2005-08-22 2007-03-08 Canon Inc オブジェクト操作装置及びオブジェクト操作方法
US7565616B2 (en) * 2006-06-02 2009-07-21 Hewlett-Packard Development Company, L.P. System for controlling display content for multiple electronic display units
JP5362307B2 (ja) * 2008-09-30 2013-12-11 富士フイルム株式会社 ドラッグアンドドロップ制御装置、方法、及びプログラム、並びにコンピュータ端末
WO2010118785A1 (en) * 2009-04-17 2010-10-21 Abb Research Ltd A supervisory control system for controlling a technical system, a method and computer program products
JP5577989B2 (ja) * 2010-09-24 2014-08-27 日本電気株式会社 表示装置、表示方法およびプログラム
JP5665464B2 (ja) * 2010-09-30 2015-02-04 Ｎｅｃパーソナルコンピュータ株式会社 ウィンドウオープン方法及び情報処理装置
KR101788060B1 (ko) * 2011-04-13 2017-11-15 엘지전자 주식회사 영상표시장치 및 이를 이용한 콘텐츠 관리방법
US9513793B2 (en) * 2012-02-24 2016-12-06 Blackberry Limited Method and apparatus for interconnected devices
JP5263419B2 (ja) * 2012-03-08 2013-08-14 セイコーエプソン株式会社 画像供給装置、画像表示制御プログラム及び画像表示制御方法
JP2015055913A (ja) 2013-09-10 2015-03-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6362207B2 (ja) * 2013-09-24 2018-07-25 株式会社日立国際電気 映像表示システム、操作端末、操作方法およびプログラム

Also Published As

Publication number Publication date
JPWO2018096987A1 (ja) 2019-10-17
WO2018096987A1 (ja) 2018-05-31
EP3547095A4 (en) 2019-12-04
EP3547095A1 (en) 2019-10-02
JP2021192313A (ja) 2021-12-16
US20190339836A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
JP6950707B2 (ja) 情報処理装置および方法、並びにプログラム
US11694725B2 (en) Information processing apparatus and information processing method
US11818454B2 (en) Controller and control method
US20210019921A1 (en) Image processing device, image processing method, and program
JPWO2018221041A1 (ja) 医療用観察システム及び医療用観察装置
US10694141B2 (en) Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method
US20220207788A1 (en) Information processor, information processing method, and program
JP7264051B2 (ja) 画像処理装置および画像処理方法
WO2020213296A1 (ja) 信号処理装置、信号処理方法、プログラム及び指向性可変用システム
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
WO2018087977A1 (ja) 情報処理装置、情報処理方法、プログラム
US11902692B2 (en) Video processing apparatus and video processing method
WO2020203265A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
US20200412959A1 (en) Image processing apparatus, image processing method, and image processing program
WO2020246181A1 (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210906

R151 Written notification of patent or utility model registration

Ref document number: 6950707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151