JPWO2018221068A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Abstract

映像コンテンツを、表示部２４０における第１表示領域１１０に第１の映像として表示し、映像コンテンツを、表示部２４０における第２表示領域１２０に第１の映像より所定の遅延時間分遅延させた第２の映像として表示し、第１の映像に対してユーザから入力された第１のタグと第２の映像に対してユーザから入力された第２のタグを映像コンテンツに対するタグとして設定する情報処理装置である。【選択図】図１

Description

本技術は、情報処理装置、情報処理方法および情報処理プログラムに関する。

従来から、録画済み映像、リアルタイムのライブ映像などに対して編集点、再生開始位置などとして用いるためにタグと称される目印情報を付加することが行なわれている（特許文献１）。

特開２０１６−１２３０８３号公報

ライブ映像では、例えばタグ付けしたいシーンが連続して起こった場合タグ付けを失敗してしまうことがある。ライブ映像に対するタグ付けでは一度タグを付けそこなうと、映像を巻き戻せないのでタグ付けを失敗したシーンに対してすぐにはタグを付けることができない。タグの付け直しにはライブ映像の記録が終わりその記録映像を再生しタグを付けそこなったシーンを探しタグを付ける必要があるので時間がかかってしまう。

本技術はこのような問題点に鑑みなされたものであり、映像へのタグ付けを容易に行うことができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。

上述した課題を解決するために、第１の技術は、映像コンテンツを、表示部における第１表示領域１１０に第１の映像として表示し、映像コンテンツを、表示部における第２表示領域１２０に第１の映像より所定の遅延時間分遅延させた第２の映像として表示し、第１の映像に対してユーザから入力された第１のタグと第２の映像に対してユーザから入力された第２のタグを映像コンテンツに対するタグとして設定する情報処理装置である。

また、第２の技術は、映像コンテンツを、表示部における第１表示領域１１０に第１の映像として表示し、映像コンテンツを、表示部における第２表示領域１２０に第１の映像より所定の遅延時間分遅延させた第２の映像として表示し、第１の映像に対してユーザから入力された第１のタグと第２の映像に対してユーザから入力された第２のタグを映像コンテンツに対するタグとして設定する情報処理方法である。

さらに、第３の技術は、映像コンテンツを、表示部における第１表示領域１１０に第１の映像として表示し、映像コンテンツを、表示部における第２表示領域１２０に前記第１の映像より所定の遅延時間分遅延させた第２の映像として表示し、第１の映像に対してユーザから入力された第１のタグと前記第２の映像に対してユーザから入力された第２のタグを前記映像コンテンツに対するタグとして設定する情報処理方法をコンピュータに実行させる情報処理プログラムである。

本技術によれば、映像へのタグ付けを容易に行うことができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。

ユーザインターフェースの構成を示す図である。 第１表示領域と第２表示領域における映像表示の説明図である。 端末装置の構成を示すブロック図である。 情報処理部の構成を示すブロック図である。 タグ付け処理の流れを示すフローチャートである。 ２つの同一種類のタグが所定期間内にある場合の処理の説明図である。 タグ追加ボタンを備えるユーザインターフェースの構成を示す図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図１０に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 変形例に係るユーザインターフェースの構成を示す図である。

以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．ユーザインターフェースの構成］
［１−２．端末装置の構成］
［１−３．タグ付け処理］
＜２．応用例＞
＜３．変形例＞

＜１．実施の形態＞
［１−１．ユーザインターフェースの構成］
本技術に係る情報処理装置は、パーソナルコンピュータ、タブレット端末、スマートフォンなどの端末装置において動作し、ビデオカメラなどの外部装置から送信された映像コンテンツにユーザからの入力に応じてタグ付けを行うものである。本実施の形態においては、情報処理装置は情報処理部２６０として、タッチパネルとしての機能を有する表示部２４０を備える端末装置２００において動作するものとする。また、本実施の形態は、映像コンテンツとしてのリアルタイムで配信されるライブ映像にタグ付けを行う場合を例にして説明を行う。

まず、図１を参照して、端末装置２００の表示部２４０に表示されるユーザインターフェース１００について説明する。ユーザインターフェース１００は、第１表示領域１１０、第２表示領域１２０、第１タグ入力部１３０、第２タグ入力部１４０、遅延時間入力部１５０を備えて構成されている。

第１表示領域１１０はリアルタイムのライブ映像を表示するものである。リアルタイムのライブ映像は特許請求の範囲における第１の映像に相当するものである。第２表示領域１２０は、第１表示領域１１０に表示されるリアルタイムのライブ映像と同じ映像を所定時間遅延させた映像（以下、遅延映像と称する。）を表示するものである。遅延映像は特許請求の範囲における第２の映像に相当するものである。なお、図１中の「ライブ映像」、「遅延映像」という表記は、そのような文字列が第１表示領域１１０と第２表示領域１２０に実際に表示されるのではなく、説明の便宜上記載したものである。

第１タグ入力部１３０は複数のタグ入力ボタンを備える。タグ入力ボタンは、ユーザがライブ映像を見ながらタグ付けしたいタイミングで行うタグ入力を受け付けるものである。本実施の形態では第１タグ入力部１３０は、タグ入力ボタンＡ、タグ入力ボタンＢ、タグ入力ボタンＣ、タグ入力ボタンＤの合計４つのタグ入力ボタンを備えており、各タグ入力ボタンに応じた４種類のタグを映像に対応付けることが可能となっている。第１タグ入力部１３０により入力されたタグは特許請求の範囲における第１のタグに相当するものである。

第２タグ入力部１４０は、ユーザが第２表示領域１２０に表示される遅延映像を見ながらタグを付けたいタイミングで行うタグ入力を受け付けるものである。本実施の形態では第２タグ入力部１４０は、第１タグ入力部１３０同様にタグ入力ボタンＡ、タグ入力ボタンＢ、タグ入力ボタンＣ、タグ入力ボタンＤの合計４つのタグ入力ボタンを備えており、各タグ入力ボタンに応じた４種類のタグを映像に対応付けることが可能となっている。第２タグ入力部１４０により入力されたタグは特許請求の範囲における第２のタグに相当するものである。

本実施の形態では、端末装置２００において表示部２４０は入力部２５０と一体的に構成されたタッチパネルであるため、ユーザからの入力はユーザの指またはスタイラスをタグ入力ボタンに接触させることにより行なわれる。

タグの種類数、すなわちタグ入力ボタンの数は事前にユーザが設定することが可能である。例えば、サッカーの試合のライブ映像において試合開始シーン、シュートシーン、キーパーセーブシーン、ゴールシーンの４つシーンについてタグ付けを行いたい場合、ユーザは第１タグ入力部１３０および第２タグ入力部１４０がそれぞれ４つのタグ入力ボタンを備えるように事前に情報処理部２６０に対して設定を行っておく必要がある。そのために、ライブ映像の表示が開始される前にユーザにタグの数を入力させるための入力画面を表示部２４０に表示するとよい。

遅延時間入力部１５０は第２表示領域１２０に表示される遅延映像の遅延時間を設定するためのユーザからの入力を受け付けるものである。遅延時間入力部１５０は具体的な遅延時間（３秒、５秒等）の入力を受け付けつつ、その遅延時間を表示する遅延時間表示部１５１と、設定された遅延時間を映像に反映させる指示を入力するための遅延反映指示ボタン１５２とを備えている。

ユーザインターフェース１００は以上のようにして構成されている。

図２に示すように、第１表示領域１１０は映像コンテンツとしてのライブ映像がリアルタイムで表示され、第２表示領域１２０にはそのライブ映像が所定の遅延時間（図２の例では３秒）分遅延して表示される。よって、ユーザは第１表示領域１１０に表示されるリアルタイムのライブ映像を見ながらタグ入力を行いつつ、タグ入力を失敗してしまった場合またはタグ入力をやり直したい場合に第２表示領域１２０に表示される遅延映像を見ながらタグ入力を行うことができる。

［１−２．端末装置の構成］
図３を参照して、端末装置２００について説明する。端末装置２００は、制御部２１０、記憶部２２０、通信部２３０、表示部２４０、入力部２５０および情報処理部２６０を備えている。

制御部２１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって端末装置２００全体の制御を行う。

記憶部２２０は、例えば、ハードディスク、ＳＤメモリカードなどの大容量記憶媒体である。記憶部２２０は、画像、映像、文書ファイルなどのコンテンツやアプリケーションなどを保存することができる。また、記憶部２２０は端末装置に入力された映像信号に所定の処理が施されて生成された映像ファイル、タグ情報などを保存用途に用いることが可能である。

通信部２３０は、外部装置、インターネットなどと通信するための通信モジュール、通信用コネクタなどである。通信部２３０による通信は、ＵＳＢ通信などの有線通信、Wi-Fiなどの無線ＬＡＮ、Bluetooth(登録商標)、ZigBee(登録商標)、４Ｇ（第４世代移動通信システム）、ブロードバンドなどの無線通信どちらであってもよい。録画することにより映像コンテンツを記録しているビデオカメラなどの外部装置から供給される映像信号は通信部２３０で受信する。

表示部２４０は、例えば、、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部２４０には、端末装置２００のユーザインターフェース、記憶部２２０に保存された画像、映像、文書ファイルなどのコンテンツ、図１を参照して説明した本技術に係るタグ付け用のユーザインターフェース１００などが表示される。

入力部２５０は、ユーザの端末装置２００に対する操作入力を受け付けるものである。入力部２５０に対してユーザから入力がなされると、その入力に応じた制御信号が生成されて制御部２１０に出力される。そして、制御部２１０はその制御信号に対応した演算処理、端末装置２００の制御を行う。入力部２５０としては、表示部２４０と一体に構成されたタッチパネル、トラックパッドやタッチパッドと称される表示部２４０とは一体となっていない平板状のセンサーを指でなぞって操作するポインティングデバイス、キーボード、マウスなどがある。本実施の形態においては、表示部２４０は入力部２５０と一体的に構成されたタッチパネルであり、ユーザは指またはスタイラスを表示部２４０に接触させることで入力を行う。

情報処理部２６０は、表示部２４０にユーザインターフェース１００を表示し、ユーザからの入力に基づいて映像へのタグ付け処理を行うものである。情報処理部２６０の詳細は図４に示す。

情報処理部２６０は、映像入力部２６１、映像遅延部２６２、遅延時間設定部２６３、計時部２６４、タグ記録処理部２６５、タグ情報保存部２６６、映像記録処理部２６７、映像ファイル保存部２６８とから構成されている。

映像入力部２６１には外部装置から端末装置２００に送信された映像信号が供給され、映像入力部２６１から表示部２４０における第１表示領域１１０に映像信号が供給されることによりリアルタイムのライブ映像が第１表示領域１１０に表示される。

また、映像入力部２６１からは映像信号が映像遅延部２６２に供給される。映像遅延部２６２は映像信号を一時的に保持しておくバッファである。映像遅延部２６２が映像信号を保持しておく時間は遅延時間設定部２６３から供給される。

遅延時間設定部２６３は、ユーザが遅延時間入力部２０６で入力した遅延時間を受けて遅延時間を設定し、遅延時間情報を映像遅延部２６２およびタグ記録処理部２６５に供給する。映像遅延部２６２は、遅延時間情報に示される時間分だけ映像信号を保持しておき、遅延時間経過後に映像信号を第２表示領域１２０に供給する。これにより、表示部２４０における第２表示領域１２０では、第１表示領域１１０に表示されるリアルタイムのライブ映像から遅延時間分だけ遅れた遅延映像が表示される。遅延時間は例えば３〜５秒程度の長さが考えられる。

計時部２６４は映像コンテンツの進行度合いを示す時間の計時を行い、時間情報をタグ記録処理部２６５に供給する。なお、時間情報は映像コンテンツの開始時からの経過時間でもよいし、実際の時刻でもよい。また、映像信号に時間情報が予め付随している場合には、計時部２６４は不要であり、その映像信号に付随した時間情報を用いてもよい。

タグ記録処理部２６５は、第１タグ入力部１３０および第２タグ入力部１４０から供給されたタグ入力情報を受けて、タグと時間情報とを対応付けてタグ情報保存部２６６に保存するものである。

なお、タグ記録処理部２６５には事前に入力するタグの種類数（タグ入力ボタンの数）を設定しておく必要がある。上述したように、例えば、サッカーの試合のライブ映像において試合開始シーン、シュートシーン、キーパーセーブシーン、ゴールシーンの４つシーンについてタグ付けを行うためにユーザによって入力されたタグの種類数「４」はタグ記録処理部２６５に設定される。

そして、端末装置２００は設定されたタグの種類数に応じて表示部２４０の第１タグ入力部１３０と第２タグ入力部１４０にタグ入力ボタンを表示させる。なお、基本的に第１タグ入力部１３０と第２タグ入力部１４０とが備えるタグ入力ボタンは同数である。

第１タグ入力部１３０に対してユーザからの入力が行なわれると、第１タグ入力部１３０からタグ記録処理部２６５にタグ入力情報が供給される。タグ記録処理部２６５は、第１タグ入力部１３０から供給されたタグ情報に計時部２６４から供給された時間情報を対応付けて映像コンテンツのタグ情報としてタグ情報保存部２６６に保存する。なお、タグ情報保存部２６６は記憶部２２０を用いて構成されていてもよい。

また第２タグ入力部１４０に対してユーザからの入力が行なわれると、第２タグ入力部１４０からタグ記録処理部２６５にタグ情報が供給される。タグ記録処理部２６５は、第２タグ入力部１４０から供給されたタグ情報と、計時部２６４から供給された時間情報に示される時間から遅延時間情報に示される遅延時間を引いた時間とを対応付けて映像コンテンツのタグ情報としてタグ情報保存部２６６に保存する。第２タグ入力部１４０で入力されるタグはリアルタイムのライブ映像から遅延した映像を見ながら入力されたタグであるため、リアルタイムのライブ映像より遅延時間分遅れたタグである。そこで、このように第２タグ入力部１４０で入力されたタグに対応付ける時間情報を補正することにより、第２タグ入力部１４０で入力されたタグ情報も正確な時間に対応したタグとなる。

映像記録処理部２６７は、映像入力部２６１から供給された映像信号に所定の映像ファイル生成用処理を施し、映像ファイルを作成し、その映像ファイルを構成するフレームごとに時間情報を対応付けて映像ファイル保存部２６８に保存する。映像ファイル保存部２６８は記憶部２２０を用いて構成されていてもよい。

なお、情報処理部２６０はプログラムで構成され、そのプログラムは、予め端末装置２００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、制御部２１０が情報処理部２６０としての機能を担うようにしてもよいし、情報処理部２６０は制御部２１０から独立した構成であってもよい。さらに、情報処理部２６０は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。

端末装置２００は以上のようにして構成されている。

［１−３．タグ付け処理］
次に、図５のフローチャートを参照して情報処理部２６０により行なわれる映像コンテンツへのタグ付け処理の流れについて説明する。まずステップＳ１１で、映像コンテンツを第１表示領域１１０にリアルタイムのライブ映像として表示させる。次にステップＳ１２で、映像コンテンツを遅延時間分遅延させた遅延映像を第２表示領域１２０に表示させる。

次にステップＳ１３で第１タグ入力部１３０または第２タグ入力部１４０にユーザからの入力があった否かが判断される。ユーザからのタグ入力がない場合、タグ入力があるまでステップＳ１３の判断が繰り返される（ステップＳ１３のＮｏ）。ユーザからのタグ入力があった場合処理はステップＳ１４に進む（ステップＳ１３のＹｅｓ）

ステップＳ１４でユーザからのタグ入力は第１タグ入力部１３０への入力であるかが判断され、第１タグ入力部１３０への入力である場合処理はステップＳ１５に進む（ステップＳ１４のＹｅｓ）。そしてステップＳ１５で、リアルタイムのライブ映像に対して第１タグ入力部１３０で入力されたタグの登録処理が行なわれる。

ステップＳ１４でユーザからのタグ入力は第１タグ入力部１３０への入力ではないと判断された場合、処理はステップＳ１６に進む（ステップＳ１４のＮｏ）。ユーザからのタグ入力が第１タグ入力部１３０への入力ではないということは、それは第２タグ入力部１４０への入力であるということなのでステップＳ１６で遅延映像に対して第２タグ入力部１４０で入力されたタグの登録処理が行なわれる。

なお、ステップＳ１４の処理は、ユーザからのタグ入力が第１タグ入力部１３０への入力であるかを判断するものに限られず、第２タグ入力部１４０への入力であるかを判断するものでもよい。すなわち、第１タグ入力部１３０または第２タグ入力部１４０への入力があったか否かを判断する処理であればどのようなものでもよい。

次にステップＳ１７で映像コンテンツが終了したか否かが判断される。これは例えば情報処理部２６０への映像信号の供給が所定時間停止したか、映像信号と共に映像コンテンツの終了を示す信号が供給されたかなどにより判断することができる。

映像コンテンツが終了した場合、情報処理部２６０によるタグ付け処理が終了する。一方、映像コンテンツが終了していない場合、処理はステップＳ１３に進み、映像コンテンツへのタグ付け処理が終了するまでステップＳ１３乃至ステップＳ１７が繰り返される。このようにして映像コンテンツへのタグ付け処理が行なわれる。

ここで、図６を参照して第１タグ入力部１３０と第２タグ入力部１４０とにより入力された同一種類のタグが所定の時間範囲内にある場合について説明する。図６は、左から右へ時刻および映像コンテンツが進んでいき、説明の便宜上、映像コンテンツ開始から１１秒後から２０秒後まで１秒毎の映像を示している。

図６Ａに示すように、ライブ映像に対する第１タグ入力部１３０への入力により映像コンテンツに設定されたタグ（図６においては「第１タグ入力」）と、遅延映像に対する第２タグ入力部１４０への入力により映像コンテンツに設定されたタグ（図６においては「第２タグ入力」）とが同一のタグの種類であり、かつ、所定の時間範囲内にある場合を考える。図６では、第１タグ入力によるタグＡと第２タグ入力によるタグＡとが同一のタグの種類であり、所定時間範囲内にあるタグである。

この場合、図６Ｂに示すように、遅延映像に対して第２タグ入力部１４０により入力されたタグ（第２タグ入力）を優先し、ライブ映像に対して第１タグ入力部１３０により入力されたタグ（第１タグ入力）を消去するようにしてもよい。図６では所定期間内に第１タグ入力部１３０により入力されたタグＡと、第２タグ入力部１４０により入力されたタグＡがあるため、第２タグ入力部１４０により入力されたタグＡを優先し、第１タグ入力部１３０により入力されたタグＡは消去する。これは、ユーザがライブ映像を見ながら入力したタグが所望のタイミングよりずれたため、遅延映像を見ながら所望のタイミングでタグを入力し直したと考えられるからである。

また、図６Ｃに示すように、ライブ映像に対して第１タグ入力部１３０から入力されたタグと、遅延映像に対して第２タグ入力部１４０から入力されたタグのそれぞれの時間情報の平均を算出し、その平均時間と対応した１つの新たなタグ（図６Ｃでは「平均タグ」）を作成してもよい。なお、所定の時間範囲は予め情報処理部２６０に設定されていてもよいし、ユーザの入力に応じて設定してもよい。

以上のようにして本技術におけるタグ付け処理が行なわれる。本技術によれば、ユーザは第１表示領域１１０に表示される第１の映像を見ながらタグ入力を行い、タグ入力のタイミングがずれた場合やタグ入力を忘れた場合に第２表示領域１２０に表示される第１の映像よりも遅延した第２の映像を見ながら正確なタイミングでタグ入力のやり直しを行うことができる。よって、リアルタイムのライブ映像にタグ入力を行っている場合でもタグ入力をやり直すために、ライブ映像が終了するのを待ち、録画済み映像となったライブ映像の早送り巻き戻しを行うということが必要ない。

また、本技術によれば、時系列的に連続して起こる可能性が高いシーンに対するタグ付けが容易となる。例えばサッカーのシュートシーン直後のキーパーセーブシーンあるいはゴールシーンに対してタグ付けを行う場合を考える。リアルタイムのライブ映像だけでタグ付けする場合、シュートシーンのタグ入力を行った後すぐにキーパーセーブシーンあるいはゴールシーンのタグ入力を行う必要がある。毎回キーパーがセーブするのであればよいが、実際はゴールする可能性もあるため、その判断をしつつタグ入力を行うのは容易ではない。そこで、本技術を用いて、リアルタイムのライブ映像で確認しながらシュートシーンにタグ入力を行い、遅延映像を確認しながらキーパーセーブあるいはゴールにタグ入力を行えば余裕をもってタグ付けを行うことができる。

さらに、リアルタイムのライブ映像と遅延映像とで、それぞれに別のタグを割り当てて利用することも可能である。例えばサッカーでＡチームとＢチームが対戦する映像に対するタグ付けをする場合、リアルタイムのライブ映像に対してはＡチームのタグ付けを行い、遅延映像にはＢチームのタグ付けを行えば、２チーム分のタグ付けが行いやすくなる。このように、１つの映像だけを用いてタグ付けをする場合に比べてタグ付けがしやすくなる場合がある。

実施の形態ではタグ入力ボタンの数、すなわちタグの種類は４つであるとして説明を行ったが、タグの種類は４つに限られるものではない。上述したようにタグ入力ボタンの数、すなわちタグの種類はいくつにでも設定可能である。また、図７Ａに示すようにユーザインターフェース１００にタグ追加ボタン１６０を設け、映像コンテンツの再生開始後にタグ追加ボタン１６０に入力が行われた場合、図７Ｂに示すようにタグ入力ボタンが追加されるようにしてもよい。図７Ｂでは、新たにタグ入力ボタンＥが追加されている。

なお、タグが複数種類ある場合、タグとタグの関連性を設定するようにしてもよい。例えば、サッカーの試合のライブ映像において試合開始シーン、シュートシーン、キーパーセーブシーン、ゴールシーンの４つシーンについてタグ付けを行う場合を考える。なお、第１タグ入力ボタンを試合開始シーン、第２タグ入力ボタンをシュートシーン、第３タグ入力ボタンをキーパーセーブシーン、第４タグ入力ボタンをゴールシーンとする。

通常サッカーの試合において、シュートシーンの後にはキーパーセーブシーン、またはゴールシーンとなる可能性が高いため、シュートシーンのタグに対応した第２タグ入力ボタンと、キーパーセーブシーンのタグに対応した第３タグ入力ボタンおよびゴールシーンのタグに対応した第４タグ入力ボタンとの関連性を設定しておく。そして、第２タグ入力ボタンに対しユーザの入力が行なわれたら、次に第３タグ入力ボタン、第４タグ入力ボタンに入力が行われる可能性が高いため、第３タグ入力ボタン、第４タグ入力ボタンを強調表示する。強調表示の方法としては、点滅、太枠で囲う、巨大化などユーザが認識できればどのような方法でもよい。

このタグの関連性の設定はユーザからの端末装置２００への入力に応じて情報処理部２６０が設定してもよい。また、データベースなどに蓄積された過去の映像とそれに付けられたタグからタグ付けの規則性を判定し、その規則性から関連性を得るようにしてもよい。

＜２．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。

図８は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図８を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。

手術室には、様々な装置が設置され得る。図８では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ〜５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。

ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ〜５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ〜５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。

具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。

視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ〜５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮像された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。

また、図８では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。

手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

図９は、集中操作パネル５１１１における操作画面の表示例を示す図である。図９では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図９を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。

発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。

プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。

図１０は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮像可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮像方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図８に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図１０では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ〜５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ〜５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５１１５によって撮像された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図８に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮像に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮像に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮像する際の照射光を内視鏡５１１５に供給する。

アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図１０では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ〜５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ〜５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

関節部５１４７ａ〜５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ〜５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ〜５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ〜５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ〜５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮像する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮像する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図１１を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図１１は、図１０に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。

図１１を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。

まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。

撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮像可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮像に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。

また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。

駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の映像像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。

また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。

カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。

また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本開示に係る技術は、以上説明した応用例のうち、手術中において撮像された手術の映像を別室のパーソナルコンピュータ、タブレット端末、モニターなどに転送してタグ付けすることに利用できる。

＜３．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

表示部２４０に表示する表示領域は第１表示領域１１０と第２表示領域１２０に限られない。表示部２４０にタグ付けを行うユーザが扱える範囲で３つ以上の表示領域を表示し、２つ以上の遅延時間が異なる映像を表示するようにしてもよい。

第１表示領域１１０に表示させるのはリアルタイムの映像に限られない。第１表示領域１１０に収録済みの映像コンテンツを表示させ、第２表示領域１２０にその収録済みの映像コンテンツを所定時間遅延させて表示してもよい。

遅延時間入力部１５０は、図１２に示すように、スライドバー１５３とスライドバー１５３上に表示されてユーザの指の接触などに応じてスライドバー１５３上を移動するアイコン１５４で構成してもよい。スライドバー上におけるアイコンの位置を遅延時間と対応させ、例えば、右方向にアイコンをスライドさせると遅延時間が長くなり、左方向にアイコンをスライドさせると遅延時間が短くなるというように構成することにより、ユーザはより直感的に遅延時間の調整を行うことができる。

また、遅延時間入力部１５０は他にも、プルダウンメニューより遅延時間を選択して入力する形式でもよいし、ソフトウェアキーボードを表示し、具体的な遅延時間を示す数値を入力できるようにしてもよい。

第１表示領域１１０および第１タグ入力部１３０を端末装置２００に接続された第１表示デバイスに表示させ、第２表示領域１２０および第２タグ入力部１４０を端末装置２００に表示された第２の表示デバイスに表示させ、いわゆるデュアルディスプレイとしてもよい。また、第１表示領域１１０を第１の端末装置の表示部に表示させ、第２表示領域１２０を第１の端末装置は異なる第２の端末装置に表示させ、二人以上のユーザがそれぞれの映像に対するタグ付けを行うようにしてもよい。

撮影を行うカメラマンが使用している撮像装置（民生用デジタルビデオカメラ、業務用ビデオカメラなど）が備える表示部にユーザインターフェース１００を表示し、カメラマンが撮影を行いながらタグ入力を行えるようにしてもよい。

実施の形態では、第１タグ入力部１３０と第２タグ入力部１４０とが備えるタグ入力ボタンは同数であるとしたが、第１タグ入力部１３０と第２タグ入力部１４０とが備えるタグ入力ボタンの数、すなわちタグの種類数は異なっていてもよい。例えば、遅延映像に対応した第２タグ入力部１４０には特に重要なタグの入力するためのボタンのみを表示するなどである。

ユーザによるタグの入力は音声入力で行ってもよい。この場合、ユーザは入力しようとするタグが第１の映像に対するものなのか、第２の映像に対するものなのかを区別するために第１の映像、第２の映像のそれぞれに対応した特定の言葉を発する、ハードウェアの入力装置に入力を行いながら発声するなどを行う必要がある。また、ユーザによるタグの入力はリストからの選択形式でもよい。

本技術は、映像コンテンツに限られず、例えば画像のスライドショーなど、時間の進行に伴い変化するコンテンツであればどのようなものにも使用可能である。

本技術は以下のような構成も取ることができる。
（１）
映像コンテンツを、表示部における第１表示領域に第１の映像として表示し、
前記映像コンテンツを、前記表示部における第２表示領域に前記第１の映像より所定の遅延時間分遅延させた第２の映像として表示し、
前記第１の映像に対してユーザから入力された第１のタグと前記第２の映像に対して前記ユーザから入力された第２のタグを前記映像コンテンツに対するタグとして設定する
情報処理装置。
（２）
前記第１のタグは、前記映像コンテンツの進行度合いを示す時間情報と対応させて前記映像コンテンツに対するタグとして登録される（１）に記載の情報処理装置。
（３）
前記第２のタグは、前記時間情報が示す時間から前記遅延時間を引いて前記映像コンテンツに対するタグとして登録される（２）に記載の情報処理装置。
（４）
前記ユーザからの入力に応じて前記第２の映像の前記第１の映像に対する前記遅延時間を設定する（１）から（３）のいずれかに記載の情報処理装置。
（５）
前記表示部に前記第１の映像に対するユーザからのタグ入力を受け付ける第１タグ入力部と、前記第２の映像に対するユーザからのタグ入力を受け付ける第２タグ入力部とを表示させる（１）から（４）のいずれかに記載の情報処理装置。
（６）
前記第１タグ入力部および前記第２タグ入力部は、タグの種類に応じた１または複数のタグ入力ボタンを備える（５）に記載の情報処理装置。
（７）
同一種類の前記第１のタグと前記第２のタグの所定の時間範囲内にある場合、前記第２のタグを優先する（６）に記載の情報処理装置。
（８）
同一種類の前記第１のタグと前記第２のタグの所定の時間範囲内にある場合、前記第１のタグに対応付けられた時間情報と前記第２のタグに対応付けられた時間情報から新たなタグを生成する（６）に記載の情報処理装置。
（９）
前記第１の映像は前記映像コンテンツをリアルタイムで表示させたライブ映像である（１）から（８）のいずれかに記載の情報処理装置。
（１０）
映像コンテンツを、表示部における第１表示領域に第１の映像として表示し、
前記映像コンテンツを、前記表示部における第２表示領域に前記第１の映像より所定の遅延時間分遅延させた第２の映像として表示し、
前記第１の映像に対してユーザから入力された第１のタグと前記第２の映像に対してユーザから入力された第２のタグを前記映像コンテンツに対するタグとして設定する
情報処理方法。
（１１）
映像コンテンツを、表示部における第１表示領域に第１の映像として表示し、
前記映像コンテンツを、前記表示部における第２表示領域に前記第１の映像より所定の遅延時間分遅延させた第２の映像として表示し、
前記第１の映像に対してユーザから入力された第１のタグと前記第２の映像に対してユーザから入力された第２のタグを前記映像コンテンツに対するタグとして設定する
情報処理方法をコンピュータに実行させる
情報処理プログラム。

１１０・・・第１表示領域
１２０・・・第２表示領域
２４０・・・表示部
２６０・・・情報処理部

Claims (11)

1. 映像コンテンツを、表示部における第１表示領域に第１の映像として表示し、
   前記映像コンテンツを、前記表示部における第２表示領域に前記第１の映像より所定の遅延時間分遅延させた第２の映像として表示し、
   前記第１の映像に対してユーザから入力された第１のタグと前記第２の映像に対して前記ユーザから入力された第２のタグを前記映像コンテンツに対するタグとして設定する
   情報処理装置。
2. 前記第１のタグは、前記映像コンテンツの進行度合いを示す時間情報と対応させて前記映像コンテンツに対するタグとして登録される
   請求項１に記載の情報処理装置。
3. 前記第２のタグは、前記時間情報が示す時間から前記遅延時間を引いて前記映像コンテンツに対するタグとして登録される
   請求項２に記載の情報処理装置。
4. 前記ユーザからの入力に応じて前記第２の映像の前記第１の映像に対する前記遅延時間を設定する
   請求項１に記載の情報処理装置。
5. 前記表示部に前記第１の映像に対するユーザからのタグ入力を受け付ける第１タグ入力部と、前記第２の映像に対するユーザからのタグ入力を受け付ける第２タグ入力部とを表示させる
   請求項１に記載の情報処理装置。
6. 前記第１タグ入力部および前記第２タグ入力部は、タグの種類に応じた１または複数のタグ入力ボタンを備える
   請求項５に記載の情報処理装置。
7. 同一種類の前記第１のタグと前記第２のタグの所定の時間範囲内にある場合、前記第２のタグを優先する
   請求項６に記載の情報処理装置。
8. 同一種類の前記第１のタグと前記第２のタグの所定の時間範囲内にある場合、前記第１のタグに対応付けられた時間情報と前記第２のタグに対応付けられた時間情報から新たなタグを生成する
   請求項６に記載の情報処理装置。
9. 前記第１の映像は前記映像コンテンツをリアルタイムで表示させたライブ映像である
   請求項１に記載の情報処理装置。
10. 映像コンテンツを、表示部における第１表示領域に第１の映像として表示し、
    前記映像コンテンツを、前記表示部における第２表示領域に前記第１の映像より所定の遅延時間分遅延させた第２の映像として表示し、
    前記第１の映像に対してユーザから入力された第１のタグと前記第２の映像に対してユーザから入力された第２のタグを前記映像コンテンツに対するタグとして設定する
    情報処理方法。
11. 映像コンテンツを、表示部における第１表示領域に第１の映像として表示し、
    前記映像コンテンツを、前記表示部における第２表示領域に前記第１の映像より所定の遅延時間分遅延させた第２の映像として表示し、
    前記第１の映像に対してユーザから入力された第１のタグと前記第２の映像に対してユーザから入力された第２のタグを前記映像コンテンツに対するタグとして設定する
    情報処理方法をコンピュータに実行させる
    情報処理プログラム。

Images