以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
0.従来のレクチャーキャプチャーシステムにおける課題
1.第1の実施の形態(撮影システムの基本的な構成と動作)
2.第2の実施の形態(板書内容を出力する構成)
3.第3の実施の形態(プレゼンテーション用スライドを出力する構成)
4.その他のバリエーション例
5.応用例
<0.従来のレクチャーキャプチャーシステムにおける課題>
従来、講師と聴講者を撮影することで、講師のトラッキングと聴講者の起立動作の検出を行い、必要に応じて講師と聴講者の映像をスイッチングしたり、両者の映像を一つの映像に合成して出力するレクチャーキャプチャーシステムが知られている。
このようなシステムにおいては、講師のトラッキングと聴講者の起立動作の検出のために、講師と聴講者を俯瞰可能な2台の俯瞰カメラと、それぞれの俯瞰カメラにより検出された講師と聴講者を追尾する2台の追尾用カメラが設けられている。
しかしながら、従来のレクチャーキャプチャーシステムには、以下のような課題があった。
(課題1)
このようなシステムにおいては、被写体を追尾して撮影する追尾用カメラに加えて、被写体を検出する俯瞰カメラが必要なため、システムのコストがかかっていた。
(課題2)
また、このようなシステム全体の動作の手順(例えば、俯瞰カメラによって聴講者の起立動作が検出されたときに、追尾用カメラでその聴講者をズームインするなど)は、あらかじめシステム設計者によって決められている。そのため、ユーザが、システムの動作を任意に変更することは、一般的には困難であった。
例えば、講師によって講義のスタイルはそれぞれ異なるが、従来のシステムにおいては、講師は、あらかじめ決められた動作を意識して講義を進めざるを得ず、本来のスタイルの講義を行うことができなかった。
加えて、従来のシステムにおいては、システム構成の変更(例えば、追尾用カメラの数の増減や、機能・性能の異なるカメラを組み合わせての利用など)に対して柔軟に対応することも困難であった。
(課題3)
さらに、従来のシステムは、主に、講師と聴講者の撮影を念頭において設計されていた。そのため、講義で用いた板書やプレゼンテーション用のスライドは鮮明に記録されず、視聴者は、板書やプレゼンテーションの内容を詳細に理解することが難しかった。
そこで、以下においては、上記の課題を解決するためのシステムの構成と動作について説明する。
本実施の形態における撮影システムにおいては、制御部が、第1の画像または第2の画像に関する被写体の状況に応じて、第1のカメラの第1の撮影方向、および、第2のカメラの第1の撮影方向とは異なる第2の撮影方向を制御する。第1の撮影方向が制御されることで、第1のカメラが撮影する範囲が制御され、第2の撮影方向が制御されることで、第2のカメラが撮影する範囲が制御される。
第1の画像または第2の画像に関する被写体には、後述する講師や聴講者などの人物はもちろん、板書に用いられる黒板やホワイトボード、さらには、PC(Personal Computer)により出力されるスライドや資料が含まれてもよい。
<1.第1の実施の形態>
(撮影システムの構成例)
図1は、本技術を適用した撮影システムの構成例を示す図である。
図1の撮影システムは、レクチャーキャプチャーシステムとして構成され、講師L1が複数の聴講者A1に対して講義を行う教室や講堂などに設置される。
図1の撮影システムは、講師用カメラ11-1、聴講者用カメラ11-2、講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、および制御装置13から構成される。制御装置13には、入出力装置14と記録装置15が付随し、さらにネットワーク16を介して、情報処理端末17が接続される。
第1の撮影部としての講師用カメラ11-1は、講師用カメラ制御装置12-1の制御の下、講師L1を撮影し、得られた画像(講師用カメラ画像)を講師用カメラ制御装置12-1に出力する。
第2の撮影部としての聴講者用カメラ11-2は、聴講者用カメラ制御装置12-2の制御の下、講師L1がいる方向とは異なる方向にいる聴講者A1を撮影し、得られた画像(聴講者用カメラ画像)を聴講者用カメラ制御装置12-2に出力する。
講師用カメラ11-1と聴講者用カメラ11-2は、例えば、教室の前(教壇側)と後ろに、互いに対向するように(それぞれの撮影方向が向かい合うように)設置されることで、講師L1がいる方向の撮影と聴講者A1がいる方向の撮影を行う。
講師用カメラ11-1と聴講者用カメラ11-2は、撮影の対象となる被写体が講師L1であるか聴講者A1であるかの違いだけで、同様の構成を有するものであってよい。例えば、講師用カメラ11-1と聴講者用カメラ11-2は、それぞれ、機械的にパン・チルトする機能を備えつつ、光学的・電子的にズーム可能なPTZカメラとして構成される。
なお、講師用カメラ11-1と聴講者用カメラ11-2は、俯瞰カメラを設けることなく、互いに異なる方向にいる被写体(言い換えると、異なる種類の被写体)をそれぞれ撮影できればよく、その配置は、上述したものに限られない。
例えば、講師用カメラ11-1を、教室の前方を12時の方向としたとき、教室の中央付近に、12時の方向を撮影するように設置する。この場合、聴講者用カメラ11-2は、教室の中央付近に、聴講者A1がいる方向に合わせて、6時の方向を撮影するように配置されたり、3時の方向や9時の方向を撮影するように配置されればよい。
また例えば、講師L1が2人いる場合には、2台の講師用カメラ11-1を、教室の前方を12時の方向としたとき、教室の中央付近に、それぞれ10時の方向と2時の方向を撮影するように設置してもよい。
また、講師用カメラ11-1と聴講者用カメラ11-2は、単体の360度カメラや魚眼カメラ(1つの撮影装置)として構成されるようにしてもよい。この場合、360度カメラや魚眼カメラにより得られた全天球画像や広角画像から、講師L1がいる方向の画像と聴講者A1がいる方向の画像が切り出されることで、講師用カメラ画像と聴講者用カメラ画像が得られるようにする。
このように、本技術を適用した撮影システムにおいては、異なる方向を撮影するように複数のカメラが設置されるだけに限らず、撮影範囲(画角や撮影方向)の異なる画像が得られればよい。
以下において、講師用カメラ11-1と聴講者用カメラ11-2とをそれぞれ区別しない場合には、単に、カメラ11といい、カメラ11により出力される画像をカメラ画像という。また、以下においては、カメラ画像は、動画像であるものとするが、静止画像や、時間的に連続して撮影されることで得られる連写画像であってもよい。
講師用カメラ制御装置12-1は、制御装置13の制御の下、講師用カメラ11-1の画角や撮影方向を制御することで、講師用カメラ11-1の撮影範囲を制御する。講師用カメラ11-1により出力される講師用カメラ画像は、制御装置13に出力される。また、講師用カメラ制御装置12-1は、制御装置13からの演算・制御の指示を受け、演算・制御の結果を制御装置13に出力する。
聴講者用カメラ制御装置12-2は、制御装置13の制御の下、聴講者用カメラ11-2の画角や撮影方向を制御することで、聴講者用カメラ11-2の撮影範囲を制御する。聴講者用カメラ11-2により出力される聴講者用カメラ画像は、制御装置13に出力される。また、聴講者用カメラ制御装置12-2は、制御装置13からの演算・制御の指示を受け、演算・制御結果を制御装置13に出力する。
講師用カメラ制御装置12-1と聴講者用カメラ制御装置12-2は、制御の対象が講師用カメラ11-1であるか聴講者用カメラ11-2であるかの違いだけで、同様の構成を有するものであってよい。
以下において、講師用カメラ制御装置12-1と聴講者用カメラ制御装置12-2とをそれぞれ区別しない場合には、単に、カメラ制御装置12という。なお、カメラ制御装置12は、カメラ11に内蔵されるようにしてもよい。
また、カメラ11が、単体の360度カメラや魚眼カメラとして構成される場合には、単体のカメラ制御装置12が設けられ、そのカメラ制御装置12が、全天球画像や広角画像から講師用カメラ画像と聴講者用カメラ画像を切り出す範囲を制御する。
以上のように、カメラ制御装置12は、カメラ11それぞれの画角や撮影方向、全天球画像や広角画像を切り出す範囲を制御することで、講師用カメラ画像と聴講者用カメラ画像の撮影範囲を制御する。
制御装置13は、複数のカメラ制御装置12(講師用カメラ制御装置12-1と聴講者用カメラ制御装置12-2)を制御することで、カメラ制御装置12それぞれにより出力されるカメラ画像を取得し、スイッチングしたり、1つの画像に合成するなどして出力する。出力されたカメラ画像は、記録装置15に記録されたり、ネットワーク16を介して情報処理端末17に伝送される。
また、制御装置13は、カメラ制御装置12それぞれに対して、演算・制御の指示を出力し、カメラ制御装置12それぞれからの演算・制御の結果を取得する。制御装置13は、カメラ制御装置12からの演算・制御の結果を基に、カメラ制御装置12を制御する。
なお、カメラ制御装置12と制御装置13は、それぞれの機能を有する専用のハードウェアにより構成されてもよいし、一般的なコンピュータにより構成され、それぞれの機能がソフトウェアにより実現されてもよい。また、カメラ制御装置12と制御装置13は、それぞれ別個に構成されるのではなく、1つの制御装置として一体に構成されるようにしてもよい。
入出力装置14は、ユーザの操作を受け付けるキーボードやマウス、さらには、表示機能を有するディスプレイなどにより構成される。このディスプレイには、タッチパネルの機能が設けられていてもよい。制御装置13は、入出力装置14によって受け付けられたシステム設計者やユーザの操作に基づいて、撮影システムを構成する各装置の動作の手順(各装置の動作をどのようにして実現するか)を表すシナリオを定義し、撮影システムの動作を制御する。シナリオの詳細については後述する。
情報処理端末17は、講師L1による講義が行われる空間内、または、遠隔地にいる視聴者が、制御装置13によって出力された画像を視聴するための端末である。
情報処理端末17は、その機能を有する専用のハードウェアにより構成されてもよいし、一般的なコンピュータにより構成され、その機能がソフトウェアにより実現されてもよい。また、情報処理端末17に、カメラやマイクロフォンなどを設け、視聴者のいる空間の画像や音声などが、ネットワーク16を介して、制御装置13に伝送されるようにしてもよい。
(カメラ制御装置の機能構成例)
図2は、上述したカメラ制御装置12(講師用カメラ制御装置12-1と聴講者用カメラ制御装置12-2)の機能構成例を示すブロック図である。
カメラ制御装置12は、動体検知部21、ジェスチャ検知部22、トラッキング部23、およびカメラ制御部24を備えている。
動体検知部21は、カメラ11からのカメラ画像(画像信号)を取得し、カメラ制御部24の制御の下、カメラ画像中の動体を検知する。検知された動体の位置(座標など)や形状を表す情報は、カメラ制御部24に供給される。
ジェスチャ検知部22は、カメラ11からのカメラ画像(画像信号)を取得し、カメラ制御部24の制御の下、カメラ画像中の被写体(講師L1や聴講者A1)のジェスチャ(動作)を検知する。検知されたジェスチャの種類やその姿勢を表す情報は、カメラ制御部24に供給される。
トラッキング部23は、カメラ11からのカメラ画像(画像信号)を取得し、カメラ制御部24の制御の下、カメラ画像中の被写体をトラッキングする。トラッキング対象となった被写体の位置(座標など)や形状を表す情報は、カメラ制御部24に供給される。
カメラ制御部24は、動体検知部21、ジェスチャ検知部22、およびトラッキング部23の各部を制御し、その結果、各部から得られた情報に基づいて、カメラ11の適切な画角やカメラワークを算出する。カメラ制御部24は、その算出結果を表すカメラ制御信号に基づいて、カメラ11を制御する。
また、カメラ制御部24は、制御装置13との間で、後述するシナリオを実行するための情報や、カメラ11の状態や演算・制御の結果を表す情報などを、装置制御信号としてやりとりする。
カメラ制御部24が、動体検知部21、ジェスチャ検知部22、およびトラッキング部23の各部を制御する際、例えば、講師用カメラ画像の画角のプリセット位置として、図3の枠PFで示されるようなプリセット位置が設定される。図3においては、教室の黒板と教壇(教卓)を中心とした範囲が、プリセット位置(枠PF)に設定されている。
カメラ制御部24は、例えば、講師L1が教壇に立ったとき、すなわち、講師用カメラ画像においてプリセットされた枠PF内で、動体検知部21によって動体が検知されたとき、その検知をトリガとして、トラッキング部23に制御を移行する。カメラ制御部24は、トラッキング部23による被写体(講師L1)のトラッキングの結果得られた情報に基づいて、講師用カメラ11-1の適切な画角を算出し、パン・チルト・ズームを制御するカメラ制御信号を生成して、講師用カメラ11-1を制御する。
(制御装置の機能構成例)
図4は、上述した制御装置13の機能構成例を示すブロック図である。
制御装置13は、中央制御部31、シナリオ生成部32、およびスイッチャ33を備えている。
中央制御部31は、あらかじめ定義されたシナリオ(後述)に基づいて、撮影システム全体の動作の制御を実行する。例えば、中央制御部31は、講師用カメラ画像、または、聴講者用カメラ画像に関する被写体の状況に応じて、講師用カメラ11-1(講師L1がいる方向)の撮影、および聴講者用カメラ11-2(聴講者A1がいる方向)の撮影を統括的に制御する。
具体的には、中央制御部31は、講師用カメラ制御装置12-1を制御することで講師用カメラ画像を取得するとともに、聴講者用カメラ制御装置12-2を制御することで聴講者用カメラ画像を取得する。そして、中央制御部31は、シナリオに従って、講師用カメラ画像または聴講者用カメラ画像の被写体の状況に応じて、各カメラ11の撮影(各カメラ制御装置12の動作)を制御したり、得られたカメラ画像の少なくともいずれかの出力(スイッチャ33の動作)を制御する。
被写体の状況とは、例えば、被写体の挙動をいう。被写体の挙動は、被写体の動作であってもよいし、被写体の発する音であってもよい。具体的には、被写体の動作には、例えば、ジェスチャ検知により検知されるような起立、着席、挙手、拍手の他、物事を説明する際の身振り手振りや指差しなどの各動作、上述したプリセット位置への移動や、プリセット位置からの移動などが含まれる。被写体が発する音には、例えば、相手への呼びかけやそれに対する返事などの発話音声、拍手の音の他、チャイムなどが含まれる。
すなわち、本実施の形態の撮影システムにおいては、このような被写体の状況に応じて、カメラ11(講師用カメラ11-1や聴講者用カメラ11-2)の画角や撮影方向(カメラ11それぞれの撮影範囲)が制御される。
これに加えて、例えば、カメラ11により取得されたカメラ画像において、被写体の状況として、複数の被写体同士が重なって写ったことが検知された場合に、カメラ11の撮影方向が制御されるようにしてもよい。また、カメラ11により取得されたカメラ画像において、被写体の状況として、同じ種類の被写体が写ったことが検知された場合に、カメラ11の画角や撮影方向が制御されるようにしてもよい。
シナリオは、動作の制御対象となる各カメラ制御装置12とスイッチャ33についての状態の遷移が記述された情報である。具体的には、シナリオには、撮影システム全体がとる複数の状態(State)について、その状態毎に、各制御対象それぞれが実行する動作(Behavior)と、他の状態へ遷移するためのトリガ(Event)が記述される。
中央制御部31は、各カメラ制御装置12とスイッチャ33に対して、シナリオに記述されているBehaviorとEventを装置制御信号として要求することで、各カメラ制御装置12とスイッチャ33の状態(State)を管理し、その動作を制御する。シナリオ実行の開始や終了、どのシナリオを実行するかの選択などのユーザとの基本的な対話は、入出力装置14から供給される操作信号に基づいて行われる。
中央制御部31は、あらかじめ定義されたシナリオだけでなく、シナリオ生成部32により生成されたシナリオを実行することもできる。
シナリオ生成部32は、ユーザによるシナリオの定義・生成を可能とする。シナリオ生成のためのユーザとの基本的な対話は、入出力装置14から供給される操作信号に基づいて行われる。生成されたシナリオは、中央制御部31に供給される。
出力制御部としてのスイッチャ33は、中央制御部31の制御の下、各カメラ制御装置12それぞれにより出力されるカメラ画像(画像信号)を取得し、そのいずれか1つの画像信号を切り替えて出力したり、複数の画像信号を合成して出力する。出力された画像信号は、記録装置15に記録されたり、ネットワーク16を介して情報処理端末17に伝送される。
スイッチャ33によるカメラ画像(画像信号)の合成としては、2つの画像を横に並べたサイド・バイ・サイド合成、一方の画像の中で他方の画像を表示するピクチャ・イン・ピクチャ合成、2つの画像を重ねるオーバーレイ合成などがある。
なお、図4の例では、スイッチャ33は、制御装置13に内蔵されるものとしたが、制御装置13から分離され独立した装置として構成されるようにしてもよい。
(シナリオの記述例)
ここで、図5を参照して、シナリオの記述例について説明する。
図5に示されるように、シナリオは、少なくとも1つのEntry Point(EP)と、少なくとも1つのStateを有する。
EPは、シナリオの開始点を示し、ユーザによりシナリオの実行開始が指示されると、EPからシナリオ実行の処理が開始される。
各Stateには、BehaviorとEventが記述されている。
Behaviorには、動作の制御対象となる、制御装置13(中央制御部31)に接続された各装置が実行する動作が記述されている。
Eventには、他の状態へ遷移するためのトリガとして、他の状態への遷移条件となる制御対象の動作結果と、その遷移条件に対応付けられた状態の遷移先が記述されている。
したがって、あるStateにおいて、制御対象それぞれが、そのStateのBehaviorに記述されている動作を実行しているとき、制御対象のいずれかが、そのStateのEventに記述されている遷移条件を満たした場合、その遷移条件に付けられて記述されている他のStateに遷移する。このように、シナリオは、Eventに基づいたStateからStateへの遷移を網羅的に表現したものということができる。
なお、遷移条件は、講師用カメラ画像の被写体(講師L1)や聴講者用カメラ画像の被写体(聴講者A1)の状況の変化に基づくものとされる。詳細は後述するが、遷移条件は、例えば、講師L1の移動に基づくものであったり、聴講者A1の動作に基づくものであったりする。
図5の例では、1つのEPと、6つのStateA乃至StateFが示されており、各Stateは、単方向または双方向の矢印により結ばれている。撮影システムの状態は、これらの矢印に従って、EPから各State間を遷移する。
図6乃至図8は、StateA乃至StateFの詳細を示す図である。
各StateのBehaviorには、中央制御部31に接続されたリソース(講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、およびスイッチャ33の各装置)それぞれが実行する動作が記述されている。
講師用カメラ制御装置12-1と聴講者用カメラ制御装置12-2については、カメラ11の撮影制御に関する動作(上段)と、各カメラ制御装置12が行う各演算(下段)とが記述されている。スイッチャ33については、画像出力に関する動作が記述されている。
Behaviorにおける各装置の動作の内容や数は、各装置が備える機能の内容や数に応じて異なる。そのため、中央制御部31は、接続されている各装置に問い合わせることで、各装置が備える機能の内容や数を把握することができるようになされている。
各StateのEventには、次の状態への遷移条件となるリソース(装置)の動作結果と、状態の遷移先が記述されている。遷移先とその遷移条件は、Eventによって、1つのみ記述される場合もあれば、複数記述される場合もある。また、Eventは、State毎の記述に限らず、各State共通で記述されることもできる。例えば、いずれのStateであっても、エラーが発生した場合や、ユーザによる割り込みがあった場合などに、強制的に他の状態に遷移するための条件とその遷移先が、各State共通のEventとして1または複数、記述されるようにできる。
StateA(図6)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Wide側で固定撮影することと、プリセット位置(教壇)での動体検知を実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Wide側で固定撮影することが記述されている。さらに、スイッチャ33の動作として、講師用カメラ画像を出力することが記述されている。
StateAのEventには、講師用カメラ制御装置12-1が、プリセット位置(教壇)での動体を検知した場合には、状態がStateBに遷移することが記述されている。
StateB(図6)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Tele側でパン・チルト撮影することと、トラッキングを実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Wide側で固定撮影することと、ジェスチャ(起立)検知を実行することが記述されている。さらに、スイッチャ33の動作として、講師用カメラ画像を出力することが記述されている。
StateBのEventには、聴講者用カメラ制御装置12-2が、ジェスチャ(起立)を検知した場合には、状態がStateCに遷移することが記述されている。
StateC(図7)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Tele側でパン・チルト撮影することと、トラッキングを実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Tele側でパン・チルト撮影することと、トラッキングとジェスチャ(着席)検知を実行することが記述されている。さらに、スイッチャ33の動作として、聴講者用カメラ画像を出力することが記述されている。
StateCのEventには、聴講者用カメラ制御装置12-2が、一定時間以上、トラッキング対象が一定距離未満しか移動しないと判定した場合には、状態がStateDに遷移することが記述されている。また、聴講者用カメラ制御装置12-2が、一定時間未満の間に、トラッキング対象が一定距離以上移動しないと判定した場合には、状態がStateEに遷移することが記述されている。さらに、聴講者用カメラ制御装置12-2が、一定時間未満の間に、ジェスチャ(着席)を検知した場合には、状態がStateBに遷移することが記述されている。
StateD(図7)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Tele側でパン・チルト撮影することと、トラッキングを実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Tele側でパン・チルト撮影することと、ジェスチャ(着席)検知を実行することが記述されている。さらに、スイッチャ33の動作として、講師用カメラ画像と聴講者用カメラ画像をサイド・バイ・サイド合成して出力することが記述されている。
StateDのEventには、聴講者用カメラ制御装置12-2が、ジェスチャ(着席)を検知した場合には、状態がStateBに遷移することが記述されている。
StateE(図8)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Tele側で固定撮影することと、動体検知を実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Tele側でパン・チルト撮影することと、トラッキングを実行することが記述されている。さらに、スイッチャ33の動作として、聴講者用カメラ画像を出力することが記述されている。
StateEのEventには、講師用カメラ制御装置12-1が、プリセット位置(教壇)に複数の動体(すなわち講師と聴講者の2人以上)を検知した場合には、状態がStateFに遷移することが記述されている。
StateF(図8)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Tele側でパン・チルト撮影することと、トラッキングを実行することが記述されている。ここでのパン・チルト撮影とトラッキングは、複数人に対応するようにして行われる。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Wide側で固定撮影することが記述されている。さらに、スイッチャ33の動作として、講師用カメラ画像を出力することが記述されている。
StateFのEventには、講師用カメラ制御装置12-1が、プリセット位置(教壇)の外側へ聴講者が移動したと判断した場合には、状態がStateBに遷移することが記述されている。
さらに、各State共通(図8)のEventとして、中央制御部31が、ユーザから終了を指示された場合には、撮影システム全体の動作を終了することが記述されている。また、撮影システムを構成する全リソース(装置)のいずれかでエラーが発生した場合には、状態がStateBに遷移することが記述されている。
(シナリオに基づいた撮影システムの動作例)
以下においては、上述したシナリオに基づいた撮影システムの動作例について説明する。
なお、本実施の形態におけるシナリオに基づいた撮影システムの動作は、特定の撮影モードが設定された場合にのみ実行されるようにしてもよい。特定の撮影モードは、例えば、被写体(講師L1および聴講者A1それぞれ)がカメラ画像において検出されたことをトリガに設定されたり、ユーザの操作によって設定されるようにできる。また、あらかじめ設定された講義の開始時刻になったことをトリガに、特定の撮影モードが設定されるようにしてもよい。
図9は、図1の撮影システムにおいて、講師L1が教壇に立った後、聴講者A1の1人が質問のために起立するまでのシーンを示しており、上述したシナリオのStateAからStateCまでの遷移に対応する。なお、この例では、図9に示されるように、講師用カメラ11-1は、講師L1を撮影するよう、講義が行われる教室の後方中央に配置され、聴講者用カメラ11-2は、聴講者A1全体を撮影するよう、教室の前方右側に配置されている。
以降、シナリオに基づいた撮影システムの動作例を示す図において、上段には、State毎に、講義が行われる教室の上面図が示され、中段と下段には、State毎に、それぞれ講師用カメラ画像と聴講者用カメラ画像が示されるものとする。教室の上面図には、講師用カメラ11-1と聴講者用カメラ11-2の画角(撮影範囲)が破線で示されるとともに、講師L1や聴講者A1の位置が示されている。また、講師用カメラ画像と聴講者用カメラ画像のうち、太枠で囲われ、太い破線矢印で結ばれている画像は、スイッチャ33により出力される画像を示している。
まず、ユーザが入出力装置14を介して、制御装置13(中央制御部31)に対してシナリオ実行の指示を行うと、状態はEP(Entry Point)からStateAに遷移する。このとき、中央制御部31は、講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、およびスイッチャ33に対して、StateA(図6)のBehaviorに記述された動作を指示する。
これにより、図9のStateAに示されるように、講師用カメラ制御装置12-1は、カメラ制御信号により、講師用カメラ11-1にWide側での固定撮影を指示するとともに、講師用カメラ画像において、教壇にプリセット位置を設定した状態で動体検知を実行する。
また、聴講者用カメラ制御装置12-2は、カメラ制御信号により、聴講者用カメラ11-2にWide側での固定撮影を指示する。
そして、スイッチャ33は、太枠で囲われている講師用カメラ画像を出力する。
この状態で、StateA(図6)のEventに記述されているように、講師用カメラ制御装置12-1が、講師用カメラ画像においてプリセット位置(教壇)で動体(講師L1)を検知すると、状態はStateBに遷移する。このとき、中央制御部31は、講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、およびスイッチャ33に対して、StateB(図6)のBehaviorに記述された動作を指示する。
これにより、図9のStateBに示されるように、講師用カメラ制御装置12-1は、講師用カメラ画像において、講師L1のトラッキングを実行する。また、講師用カメラ制御装置12-1は、トラッキング結果に基づいて、適切な画角で講師L1を捉えるよう、カメラ制御信号により、講師用カメラ11-1にTele側でのパン・チルト撮影を指示する。ここでの適切な画角は、講師L1のバストアップを捉える画角とされる。
また、聴講者用カメラ制御装置12-2は、カメラ制御信号により、StateAから引き続き、聴講者用カメラ11-2にWide側での固定撮影を指示するとともに、聴講者用カメラ画像において、ジェスチャ(起立)検知を実行する。
そして、スイッチャ33は、StateAから引き続き、太枠で囲われている講師用カメラ画像を出力する。
この状態で、StateB(図6)のEventに記述されているように、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像においてジェスチャ(起立)を検知すると、状態はStateCに遷移する。このとき、中央制御部31は、講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、およびスイッチャ33に対して、StateC(図7)のBehaviorに記述された動作を指示する。
これにより、図9のStateCに示されるように、講師用カメラ制御装置12-1は、StateBと同様の動作を継続する。
また、聴講者用カメラ制御装置12-2は、聴講者用カメラ画像において、聴講者A1のトラッキングを実行する。また、聴講者用カメラ制御装置12-2は、トラッキング結果に基づいて、適切な画角で聴講者A1を捉えるよう、カメラ制御信号により、聴講者用カメラ11-2にTele側でのパン・チルト撮影を指示する。ここでの適切な画角は、聴講者A1のバストアップを捉える画角とされる。さらに、聴講者用カメラ制御装置12-2は、聴講者用カメラ画像において、起立している聴講者A1のジェスチャ(着席)検知を実行する。
そして、スイッチャ33は、講師用カメラ画像から切り替えて、太枠で囲われている聴講者用カメラ画像を出力する。
この状態からは、StateC(図7)のEventに記述されているように、聴講者用カメラ制御装置12-2の動作結果に応じて、状態はStateD,StateE,StateBのいずれかに遷移する。
図10は、図1の撮影システムにおいて、聴講者A1が起立した後、その場で回答し、着席するまでのシーンを示しており、上述したシナリオのStateC,StateD,StateBの遷移に対応する。
すなわち、図10のStateCにおいて、StateC(図7)のEventに記述されているように、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像において、一定時間以上、トラッキング対象が一定距離未満しか移動しない(聴講者A1が席で起立したまま回答した)と判定すると、状態はStateDに遷移する。このとき、中央制御部31は、講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、およびスイッチャ33に対して、StateD(図7)のBehaviorに記述された動作を指示する。
これにより、図10のStateDに示されるように、講師用カメラ制御装置12-1は、StateCと同様の動作を継続する。
また、聴講者用カメラ制御装置12-2は、聴講者用カメラ画像において、起立している聴講者A1のジェスチャ(着席)検知を実行する。
そして、スイッチャ33は、講師用カメラ画像と聴講者用カメラ画像をサイド・バイ・サイド合成して出力する。これにより、講師L1と聴講者A1が別々のカメラ11で撮像されているにもかかわらず、視聴者は、1つの画面で両者のやりとりを確認することができる。
この状態で、StateD(図7)のEventに記述されているように、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像においてジェスチャ(着席)を検知すると、状態は再びStateBに遷移する。これにより、図10のStateBに示されるように、スイッチャ33は、講師用カメラ画像と聴講者用カメラ画像をサイド・バイ・サイド合成した画像から切り替えて、太枠で囲われている講師用カメラ画像を出力する。
図11は、図1の撮影システムにおいて、聴講者A1が起立した後、教壇に移動して回答し、席に戻り着席するまでのシーンを示しており、上述したシナリオのStateC,StateE,StateF,StateBの遷移に対応する。
すなわち、図11のStateCにおいて、StateC(図7)のEventに記述されているように、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像において、一定時間未満の間に、トラッキング対象が一定距離以上移動した(聴講者が回答するために教壇に向かって移動した)と判定すると、状態はStateEに遷移する。このとき、中央制御部31は、講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、およびスイッチャ33に対して、StateE(図8)のBehaviorに記述された動作を指示する。
これにより、図11のStateEに示されるように、講師用カメラ制御装置12-1は、カメラ制御信号により、講師用カメラ11-1にWide側でのパン・チルト撮影を指示する。また、講師用カメラ制御装置12-1は、講師用カメラ画像において、動体検知を実行する。講師用カメラ11-1がWide側でのパン・チルト撮影を行うことにより、講師L1に加え、聴講者A1が教壇に立った場合でも、両者を捉えられるように備える。
また、聴講者用カメラ制御装置12-2は、カメラ制御信号により、StateCから引き続き、聴講者用カメラ11-2にTele側でのパン・チルト撮影を指示するとともに、聴講者用カメラ画像において、聴講者A1のトラッキングを実行する。
そして、スイッチャ33は、StateCから引き続き、太枠で囲われている聴講者用カメラ画像を出力する。
この状態で、StateE(図8)のEventに記述されているように、講師用カメラ制御装置12-1が、講師用カメラ画像において、プリセット位置(教壇)に複数の動体(すなわち講師L1と聴講者A1の2人)を検知すると、状態はStateFに遷移する。このとき、中央制御部31は、講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、およびスイッチャ33に対して、StateF(図8)のBehaviorに記述された動作を指示する。
これにより、図11のStateFに示されるように、講師用カメラ制御装置12-1は、講師用カメラ画像において、講師L1と聴講者A1それぞれのトラッキングを実行する。また、講師用カメラ制御装置12-1は、トラッキング結果に基づいて、適切な画角で被写体を捉えるよう、カメラ制御信号により、講師用カメラ11-1にTele側でのパン・チルト撮影を指示する。ここでの適切な画角は、講師L1と聴講者A1の両者を捉える画角とされる。
また、聴講者用カメラ制御装置12-2は、カメラ制御信号により、聴講者用カメラ11-2にWide側での固定撮影を指示することで、次の遷移先であるStateBと同じ画角に備える。ここでは、動体検知やトラッキングは実行されない。
そして、スイッチャ33は、聴講者用カメラ画像から切り替えて、太枠で囲われている講師用カメラ画像を出力する。
この状態で、StateF(図8)のEventに記述されているように、講師用カメラ制御装置12-1が、講師用カメラ画像において、プリセット位置(教壇)の外へ聴講者が移動したと判定すると、状態は再びStateBに遷移する。これにより、図11のStateBに示されるように、スイッチャ33は、StateFから引き続き、太枠で囲われている講師用カメラ画像を出力する。
以上の構成によれば、講師のトラッキングと聴講者の起立や着席など動作の検出、および、講師と聴講者を適切な画角で捉えることを、2台のカメラのみで実現することができる。具体的には、講師用カメラと聴講者用カメラの制御を連携することで、一方のカメラではズームインして被写体を撮影し、他方のカメラではズームアウトして被写体の検出を行い、それぞれの画像を適切なタイミングでスイッチングして出力することができる。
したがって、被写体を追尾して撮影する追尾用カメラに加えて、被写体を検出する俯瞰カメラを設ける必要のない、コストを抑えたレクチャーキャプチャーシステムを提供することが可能となる。
(シナリオの編集例)
上述したシナリオは、ユーザによって編集可能とすることができる。
上述したシナリオでは、図9を参照して説明したように、聴講者A1が質問のために起立した場合、出力される画像が、講師用カメラ画像から聴講者用カメラ画像に切り替わるものとした(StateB→StateC)。
このような撮影システムの動作を、シナリオを編集可能とすることにより、図12に示されるように、聴講者A1が質問のために挙手をしたときに、出力される画像が、講師用カメラ画像から聴講者用カメラ画像に切り替わるようにすることができる(StateB’→StateG)。
図13は、編集後のシナリオの記述例を示す図である。
図13のシナリオにおいては、図5のシナリオにおけるStateBがStateB’に変更され、新たにStateGが追加されている。
図14は、StateB’とStateGの詳細を示す図である。
StateB’のBehaviorには、聴講者用カメラ制御装置12-2の動作として、StateB(図6)のBehaviorに記述されている「ジェスチャ(起立)検知を実行する」が、「ジェスチャ(挙手)検知を実行する」に変更されて記述されている。
また、StateB’のEventには、聴講者用カメラ制御装置12-2が、ジェスチャ(起立)を検知した場合に、状態が「StateC」に遷移することが、「StateG」に遷移することに変更されて記述されている。
新たに追加されたStateGのBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Tele側でパン・チルト撮影することと、トラッキングを実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Wide側で固定撮影することと、ジェスチャ(起立)検知を実行することが記述されている。さらに、スイッチャ33の動作として、聴講者用カメラ画像を出力することが記述されている。
StateGのEventには、聴講者用カメラ制御装置12-2が、ジェスチャ(起立)を検知した場合には、状態がStateCに遷移することが記述されている。
すなわち、図12のStateB’において、StateB’(図14)のEventに記述されているように、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像においてジェスチャ(挙手)を検知すると、状態はStateGに遷移する。このとき、中央制御部31は、講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、およびスイッチャ33に対して、StateG(図14)のBehaviorに記述された動作を指示する。
これにより、図12のStateGに示されるように、講師用カメラ制御装置12-1は、StateB’と同様の動作を継続する。
また、聴講者用カメラ制御装置12-2は、カメラ制御信号により、StateB’から引き続き、聴講者用カメラ11-2にWide側での固定撮影を指示するとともに、聴講者用カメラ画像において、ジェスチャ(起立)検知を実行する。
そして、スイッチャ33は、講師用カメラ画像から切り替えて、太枠で囲われている講師用カメラ画像を出力する。
この状態で、StateG(図14)のEventに記述されているように、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像においてジェスチャ(起立)を検知すると、状態はStateCに遷移する。これにより、図12のStateCに示されるように、スイッチャ33は、StateGから引き続き、太枠で囲われている講師用カメラ画像を出力する。
以上のようにして、シナリオを編集することで、撮影システム全体の動作を変更することができる。
(シナリオの編集に用いられるGUIの例)
上述したようなシナリオの編集は、制御装置13(中央制御部31)が、ユーザに対してGUI(Graphical User Interface)を提示することで実現される。制御装置13(中央制御部31)は、ユーザが入出力装置14としてのキーボードやマウスを操作することで、既存のシナリオにおけるStateの追加や削除、State(Behavior,Eventの記述内容)の編集(変更)を行うことができる。
図15は、シナリオの編集に用いられるGUIとして、入出力装置14としてのディスプレイに表示されるシナリオの編集画面の一例を示す図である。
図15のディスプレイ100には、図5を参照して説明したシナリオの編集画面が表示されている。
図15においては、シナリオを構成するStateBをマウスなどで選択した状態で右クリック操作するなどすることによって、コンテキストメニュー111が表示されている。コンテキストメニュー111には、「Stateの追加」、「Stateの削除」、「Stateの編集」の3項目が表示されている。「Stateの編集」の項目の右端には三角形の矢印が表示され、その右側には、サブメニューが表示されている。サブメニューには、「Behaviorの編集」、「Eventの編集」の2項目が表示されている。
図15において、サブメニューの「Behaviorの編集」が選択されたとすると、図16に示されるように、編集画面上に、StateBのBehaviorを編集するためのポップアップウィンドウ112が表示される。図16のポップアップウィンドウ112には、StateBのBehaviorとして各装置の動作の内容が記述された一覧が表示されている。
図16においては、聴講者用カメラ制御装置12-2が行う動作(ジェスチャ(起立)検知を実行)の項目部分をマウスなどで選択するなどすることによって、プルダウンメニューが表示されている。プルダウンメニューには、「動体検知実行」、「トラッキング実行」、「ジェスチャ(挙手)検知を実行」、「ジェスチャ(着席)検知を実行」などの、聴講者用カメラ制御装置12-2が実行可能な動作が、選択肢として表示される。
プルダウンメニューに表示される選択肢は、制御装置13(中央制御部31)が各装置に問い合わせて、各装置が備える機能の内容や数に応じて、実行可能な動作が表示される。また、ユーザが、各装置の仕様に基づいて、手動で、プルダウンメニューに表示される選択肢を追加できるようにしてもよい。
なお、シナリオの編集画面は、図15の例以外にも、例えば、図17に示されるように、編集画面上でマウスを右クリック操作するなどすることにより、画面右下の領域に、メニューボタン群121が表示されるようにしてもよい。また、メニューボタン群121は、シナリオの編集画面において、デフォルトで、かつ、位置固定で表示されるようにしてもよい。
さらに、ユーザは、各装置の機能を拡張することも可能である。例えば、ユーザは、カメラ制御装置12のジェスチャ検知部22が検知するジェスチャの種類を新たに定義し、登録することができる。
図18は、ジェスチャの定義・登録に用いるGUIとして、入出力装置14としてのディスプレイに表示されるジェスチャ登録画面の一例を示す図である。
図18には、ジェスチャ登録画面150上で、起立動作のジェスチャを登録する様子が示されている。ジェスチャ登録画面150は、ユーザが、ソフトウェア上でジェスチャ定義・登録モードを選択するなどすることで表示される。
ジェスチャ登録画面150には、画像表示部151が設けられる。画像表示部151には、カメラ11により撮影された任意の被写体(人物)の画像が表示される。図18左側のジェスチャ登録画面150の画像表示部151には、座っている状態の人物が映っており、図18右側のジェスチャ登録画面150の画像表示部151には、座っている状態から立ち上がった状態の人物が映っている。
カメラ制御装置12のジェスチャ検知部22は、画像中の人物の姿勢を認識し、画像表示部151中、太線で示される骨格情報を生成して、カメラ制御部24を介して中央制御部31に供給する。スイッチャ33は、カメラ制御装置12からの画像に、中央制御部31が取得した骨格情報を重畳して、ジェスチャ登録画面150の画像表示部151に表示させる。画像への骨格情報の重畳は、カメラ制御装置12において行われるようにしてもよい。
ジェスチャ登録画面150において、画像表示部151の上方には、ボタンb1,b2,b3,b4と、テキストボックスtbが設けられる。
ボタンb1は、画像表示部151に表示されている画像の記録を開始するためのボタンであり、ボタンb2は、その画像の記録を停止するためのボタンである。ボタンb3は、記録された画像を再生するためのボタンであり、ボタンb4は、再生されている画像中の骨格情報を編集するためのボタンである。ユーザは、ボタンb4を操作することで、画像表示部151に再生表示されている画像中の骨格情報を、マウスなどによって修正することができる。
テキストボックスtbは、登録するジェスチャの名称が入力される領域である。ユーザは、キーボードなどを操作することで、登録するジェスチャの名称を決定することができる。
ジェスチャ登録画面150において、画像表示部151の下方には、タイムライン152と登録ボタン153が設けられる。
タイムライン152は、画像表示部151に表示されている画像の再生位置を示すオブジェクトであり、バー上のカーソルRcは、画像全体における現在の時間的な再生位置を示している。
タイムライン152のバー上のアイコンRsは、記録された画像のうち、ジェスチャ検知に実際に用いられる画像の時間的な開始位置を示し、アイコンReは、ジェスチャ検知に実際に用いられる画像の時間的な終了位置を示している。タイムライン152のバーにおけるアイコンRs,Reの位置は、ユーザによって設定可能とされる。
登録ボタン153は、記録された画像中の骨格情報を、ジェスチャの名称と対応付けて登録するためのボタンである。登録ボタン153が操作されることで、記録された画像のうち、アイコンRsで示される開始位置から、アイコンReで示される終了位置までの画像中の骨格情報の一連の変化が、テキストボックスtbに入力されたジェスチャの名称とともに登録される。
上述したように登録されたジェスチャの名称は、図16のプルダウンメニューに追加されて表示されるようになる。シナリオ(Behavior)の編集の際に、カメラ制御装置12の動作を、追加されたジェスチャの検知実行に変更することで、ジェスチャ検知部22は、新たに登録したジェスチャと同一または近似したジェスチャを検知することが可能となる。
なお、ジェスチャ検知部22によるジェスチャ検知においては、カメラ画像における被写体の動きと、記録された画像中の骨格情報とが、時系列で比較されるようにしてもよいし、所定のフレーム単位で比較されるようにしてもよい。
図18においては、ジェスチャとして起立動作を登録する例について説明したが、一連の姿勢の変化を記録することができるので、任意のジェスチャを登録することが可能である。
また、ここでは、ジェスチャの登録の例について説明したが、後述する板書抽出部211(図20)が用いる板書抽出のパターンや、顔検知/識別部351が識別に用いる顔の登録も同様にして実現することができる。
以上の構成によれば、ユーザが、システム全体の動作を定義・編集可能なソフトウェア構造とGUIを実現することができる。具体的には、ユーザは、Stateを定義する個々のリソースの動作(Behavior)と、次のStateに遷移するためのEventが記述されたシナリオにおいて、Stateを組み合わせることでシステムの動作手順を追加・削除したり、State間の遷移を変更することができる。
したがって、ユーザ(講師)は、個々の講義のスタイルに合わせた講義を行うことができるようになり、また、システム構成の変更に対しても、柔軟に対応することが可能となる。
<2.第2の実施の形態>
(撮影システムの構成例)
図19は、本技術を適用した撮影システムの他の構成例を示す図である。
図19の撮影システムは、図1の撮影システムの構成に加え、板書用カメラ11-3と板書用カメラ制御装置12-3が設けられて構成される。
板書用カメラ11-3は、板書用カメラ制御装置12-3の制御の下、講師L1が講義に用いる黒板(またはホワイトボード)B1を撮影し、得られた画像(板書用カメラ画像)を板書用カメラ制御装置12-3に出力する。
板書用カメラ11-3は、講師用カメラ11-1とほぼ同じ方向の撮影が行われるような位置に設置される。
板書用カメラ11-3は、撮影の対象となる被写体が黒板B1であるだけで、講師用カメラ11-1や聴講者用カメラ11-2と同様の構成を有するものであってよい。すなわち、板書用カメラ11-3もまた、講師用カメラ11-1や聴講者用カメラ11-2と同様にして、機械的にパン・チルトする機能を備えつつ、光学的・電子的にズーム可能なPTZカメラとして構成される。
板書用カメラ制御装置12-3は、制御装置13の制御の下、板書用カメラ11-3を制御することで、板書用カメラ11-3により出力される板書用カメラ画像を取得し、制御装置13に出力する。また、板書用カメラ制御装置12-3は、制御装置13からの演算・制御の指示を受け、演算・制御の結果を制御装置13に出力する。
板書用カメラ制御装置12-3は、制御の対象が板書用カメラ11-3であるだけで、基本的には、講師用カメラ制御装置12-1や聴講者用カメラ制御装置12-2と同様の構成を有するが、後述する板書抽出機能を有する点で異なる。
(板書用カメラ制御装置の機能構成例)
図20は、上述した板書用カメラ制御装置12-3の機能構成例を示すブロック図である。
図20の板書用カメラ制御装置12-3は、図2のカメラ制御装置12の構成に加え、板書抽出部211が設けられて構成される。
板書抽出部211は、板書用カメラ11-3からの板書用カメラ画像を取得し、カメラ制御部24の制御の下、板書用カメラ画像に対して、黒板B1に板書された内容を抽出する板書抽出処理を実行する。板書抽出処理の詳細な説明は省略するが、板書抽出処理の結果である板書抽出結果画像は、画像信号として制御装置13(スイッチャ33)に出力される。この場合、スイッチャ33は、中央制御部31の制御に基づいて、各カメラ画像の被写体の画像、または、板書抽出処理の結果に応じて、各カメラ画像および板書抽出結果画像の少なくともいずれかの出力を制御する。
板書用カメラ画像には、黒板B1だけでなく、黒板B1に対して文字やグラフなどを板書する講師L1も映る。板書抽出部211は、その板書用カメラ画像から講師L1を削除し、板書された文字やグラフなどを再現・強調するなどして可視性を高めることで、板書抽出結果画像を出力する。
また、板書抽出部211は、単に、板書された内容を抽出するだけでなく、講師L1が黒板B1に文字を書いたり消したりする過程を時系列に記憶し、書き始めや消し始めのタイミング、書かれた内容(文字や図形など)の認識を行うこともできる。
(シナリオの記述例)
図21は、図19の撮影システムの動作を定義したシナリオの記述例を示す図である。
図21のシナリオにおいては、図13のシナリオにおけるStateB’がStateB’’に変更され、新たにStateH,StateIが追加されている。
図22は、StateB’’の詳細を示す図であり、図23は、StateHとStateIの詳細を示す図である。
StateB’’(図22)のBehaviorは、StateB’(図13)のBehaviorと同様の記述に、板書用カメラ制御装置12-3の動作についての記述が追加されている。StateB’’のBehaviorには、板書用カメラ制御装置12-3の動作として、(板書用カメラ11-3が)Wide側で固定撮影することと、板書抽出(処理)を実行することが記述されている。
StateB’’のEventには、StateB’(図13)のBehaviorと同様の記述に加え、板書用カメラ制御装置12-3が、板書の書き込みまたは消去を検知した場合には、状態がStateHに遷移することが記述されている。
StateH(図23)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Wide側で固定撮影することと、トラッキングを実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Wide側で固定撮影することと、ジェスチャ(挙手)検知を実行することが記述されている。さらに、板書用カメラ制御装置12-3の動作として、(板書用カメラ11-3が)Wide側で固定撮影することと、板書抽出を実行することが記述されている。スイッチャ33の動作としては、板書抽出結果画像を出力することが記述されている。
StateHのEventには、聴講者用カメラ制御装置12-2が、ジェスチャ(挙手)を検知した場合には、状態がStateGに遷移することが記述されている。また、板書用カメラ制御装置12-3が、一定時間以上、板書の書き込み/消去の検知がないと判定した場合には、状態がStateIに遷移することが記述されている。
StateI(図23)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Tele側で固定撮影することと、トラッキングを実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Wide側で固定撮影することと、ジェスチャ(挙手)検知を実行することが記述されている。さらに、板書用カメラ制御装置12-3の動作として、(板書用カメラ11-3が)Wide側で固定撮影することと、板書抽出を実行することが記述されている。スイッチャ33の動作としては、講師用カメラ画像と板書抽出結果画像をサイド・バイ・サイド合成して出力することが記述されている。
StateIのEventには、聴講者用カメラ制御装置12-2が、ジェスチャ(挙手)を検知した場合には、状態がStateGに遷移することが記述されている。また、板書用カメラ制御装置12-3が、板書の書き込みまたは消去を検知した場合には、状態がStateHに遷移することが記述されている。
(シナリオに基づいた撮影システムの動作例)
次に、図21のシナリオに基づいた撮影システムの動作例について説明する。
図21のシナリオは、図13のシナリオとは、StateB’’,StateH,StateIが異なるので、それらの間の状態遷移について、図24を参照して説明する。
図24のStateB’’において、StateB’’(図22)のEventに記述されているように、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像においてジェスチャ(挙手)を検知すると、状態はStateGに遷移する。これにより、図24のStateGに示されるように、スイッチャ33は、講師用カメラ画像から切り替えて、聴講者用カメラ画像を出力する。
一方、StateB’’(図22)のEventに記述されているように、板書用カメラ制御装置12-3が、板書用カメラ画像において板書の書き込みまたは消去を検知すると、状態はStateHに遷移する。このとき、中央制御部31は、講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、板書用カメラ制御装置12-3、およびスイッチャ33に対して、StateH(図23)のBehaviorに記述された動作を指示する。
これにより、図24のStateHに示されるように、スイッチャ33は、講師用カメラ画像から切り替えて、板書抽出結果画像を出力する。
この状態で、StateH(図23)のEventに記述されているように、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像においてジェスチャ(挙手)を検知すると、状態はStateGに遷移する。これにより、図24のStateGに示されるように、スイッチャ33は、板書抽出結果画像から切り替えて、聴講者用カメラ画像を出力する。
一方、StateH(図23)のEventに記述されているように、板書用カメラ制御装置12-3が、板書用カメラ画像において、一定時間以上、板書の書き込み/消去の検知がないと判定すると、状態はStateIに遷移する。このとき、中央制御部31は、講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、板書用カメラ制御装置12-3、およびスイッチャ33に対して、StateI(図23)のBehaviorに記述された動作を指示する。
これにより、図24のStateIに示されるように、スイッチャ33は、板書抽出結果画像から切り替えて、講師用カメラ画像と板書抽出結果画像をサイド・バイ・サイド合成した画像を出力する。
この状態で、StateI(図23)のEventに記述されているように、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像においてジェスチャ(挙手)を検知すると、状態はStateGに遷移する。これにより、図24のStateGに示されるように、スイッチャ33は、講師用カメラ画像と板書抽出結果画像をサイド・バイ・サイド合成した画像から切り替えて、聴講者用カメラ画像を出力する。
一方、StateH(図23)のEventに記述されているように、板書用カメラ制御装置12-3が、板書の書き込みまたは消去を検知すると、状態は再びStateHに遷移する。これにより、図24のStateHに示されるように、スイッチャ33は、講師用カメラ画像と板書抽出結果画像をサイド・バイ・サイド合成した画像から切り替えて、板書抽出結果画像を出力する。
以上の構成によれば、講師L1が黒板B1に板書しているときには、板書抽出結果画像が出力され(StateH)、講師L1がしばらくの間板書しなければ、板書抽出結果画像に加え、講師L1の様子が映る画像が出力される(StateI)。基本的には、撮影システムの状態としてStateHとStateIとの間の遷移が繰り返されることで、板書中心の画像が出力される。したがって、視聴者は、講義の内容を詳細に理解することが可能となる。
<3.第3の実施の形態>
(撮影システムの構成例)
図25は、本技術を適用した撮影システムのさらに他の構成例を示す図である。
図25の撮影システムは、図1の撮影システムの構成に加え、スライド用PC301が設けられて構成される。
情報処理装置としてのスライド用PC301は、制御装置13に接続され、制御装置13の制御の下、プレゼンテーション用のスライドや資料のデータを、制御装置13に出力する。この場合、スイッチャ33は、この場合、スイッチャ33は、各カメラ画像の被写体の状況(スライド(資料)の出力変化を含む)に応じて、各カメラ画像およびスライドの少なくともいずれかの出力を制御する。なお、スライド用PC301により出力されるスライドや資料は、講師L1の背後(聴講者A1とは反対側)に設置される図示せぬスクリーンにも出力(表示)される。
スライド用PC301は、パーソナルコンピュータとして構成されるが、タブレット端末やスマートフォンなどの携帯端末装置として構成されるようにしてもよい。
(シナリオの記述例)
図26は、図25の撮影システムの動作を定義したシナリオの記述例を示す図である。
図26のシナリオにおいては、図5のシナリオにおけるStateBがStateB’’’に変更され、StateC,StateD,StateE,StateFに代えて、StateJ,StateK,StateL,StateMが設けられている。
図27は、StateB’’’の詳細を示す図であり、図28および図29は、StateJ,StateK,StateL,StateMの詳細を示す図である。
StateB’’’(図27)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Tele側でパン・チルト撮影することと、トラッキングを実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Wide側で固定撮影することと、ジェスチャ(拍手)検知を実行することが記述されている。さらに、スライド用PC301の動作として、スライドを出力することが記述され、スイッチャ33の動作として、講師用カメラ画像を出力することが記述されている。
StateB’’’のEventには、聴講者用カメラ制御装置12-2が、ジェスチャ(拍手)を検知した場合には、状態がStateMに遷移することが記述されている。また、スライド用PC301が、スライドの切り替え(スライト送り)を実行した場合には、状態がStateJに遷移することが記述されている。
StateJ(図28)Behaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Tele側でパン・チルト撮影することと、トラッキングを実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Wide側で固定撮影することと、ジェスチャ(拍手)検知を実行することが記述されている。さらに、スライド用PC301の動作として、スライドを出力することが記述され、スイッチャ33の動作として、そのスライドを出力することが記述されている。
StateJのEventには、講師用カメラ制御装置12-1が、ジェスチャ(身振り手振り)を検知した場合には、状態がStateKに遷移し、トラッキング対象が一定距離以上移動したと判定した場合には、状態がStateLに遷移することが記述されている。また、聴講者用カメラ制御装置12-2が、ジェスチャ(拍手)を検知した場合には、状態がStateMに遷移することが記述されている。
StateK(図28)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Tele側でパン・チルト撮影することと、トラッキングを実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Wide側で固定撮影することと、ジェスチャ(拍手)検知を実行することが記述されている。さらに、スライド用PC301の動作として、スライドを出力することが記述され、スイッチャ33の動作として、講師用カメラ画像とスライドをサイド・バイ・サイド合成して出力することが記述されている。
StateKのEventには、講師用カメラ制御装置12-1が、トラッキング対象が一定距離以上移動したと判定した場合には、状態がStateLに遷移することが記述されている。また、聴講者用カメラ制御装置12-2が、ジェスチャ(拍手)を検知した場合には、状態がStateMに遷移することが記述されている。さらに、スライド用PC301が、スライドの切り替えを実行した場合には、状態がStateJに遷移することが記述されている。
StateL(図29)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)講師L1とその背後のスクリーンに出力されているスライドがともに映る程度の画角でパン・チルト撮影することと、トラッキングを実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Wide側で固定撮影することと、ジェスチャ(拍手)検知を実行することが記述されている。さらに、スライド用PC301の動作として、スライドを出力することが記述され、スイッチャ33の動作として、講師用カメラ画像を出力することが記述されている。
StateLのEventには、講師用カメラ制御装置12-1が、ジェスチャ(身振り手振り)を検知した場合には、状態がStateKに遷移することが記述されている。また、聴講者用カメラ制御装置12-2が、ジェスチャ(拍手)を検知した場合には、状態がStateMに遷移することが記述されている。さらに、スライド用PC301が、スライドの切り替えを実行した場合には、状態がStateJに遷移することが記述されている。
StateM(図29)のBehaviorには、講師用カメラ制御装置12-1の動作として、(講師用カメラ11-1が)Tele側でパン・チルト撮影することと、トラッキングを実行することが記述されている。また、聴講者用カメラ制御装置12-2の動作として、(聴講者用カメラ11-2が)Tele側でパン・チルト撮影することが記述されている。さらに、スライド用PC301の動作として、スライドを出力することが記述され、スイッチャ33の動作として、聴講者用カメラ画像を出力することが記述されている。
StateMのEventには、中央制御部31が、例えば、出力される画像が聴講者用カメラ画像に切り替わってから一定時間が経過したと判定した場合には、状態がStateB’’’に遷移することが記述されている。
(シナリオに基づいた撮影システムの動作例)
次に、図26のシナリオに基づいた撮影システムの動作例について説明する。
図26のシナリオは、図5のシナリオとは、StateB’’’,StateJ,StateK,StateL,StateMが異なるので、それらの間の状態遷移について、図30を参照して説明する。
図30のStateB’’’において、StateB’’’(図27)のEventに記述されているように、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像においてジェスチャ(拍手)を検知すると、状態はStateMに遷移する。
一方、StateB’’’(図27)のEventに記述されているように、スライド用PC301が、スライドの切り替えを実行すると、状態はStateJに遷移する。これにより、図30のStateJに示されるように、スイッチャ33は、講師用カメラ画像から切り替えて、スライドを出力する。
この状態で、StateJ(図28)のEventに記述されているように、講師用カメラ制御装置12-1が、講師用カメラ画像においてジェスチャ(身振り手振り)を検知すると、状態はStateKに遷移する。これにより、図30のStateKに示されるように、スイッチャ33は、スライドから切り替えて、講師用カメラ画像とスライドをサイド・バイ・サイド合成した画像を出力する。
この状態で、StateK(図28)のEventに記述されているように、講師用カメラ制御装置12-1が、講師用カメラ画像において、トラッキング対象が一定距離以上移動したと判定すると、状態はStateLに遷移する。これにより、図30のStateLに示されるように、スイッチャ33は、講師用カメラ画像とスライドをサイド・バイ・サイド合成した画像から切り替えて、講師L1とその背後のスライドが映る程度の画角の講師用カメラ画像を出力する。
この状態で、StateL(図29)のEventに記述されているように、講師用カメラ制御装置12-1が、講師用カメラ画像おいてジェスチャ(身振り手振り)を検知すると、状態はStateKに遷移する。また、スライド用PC301が、スライドの切り替えを実行すると、状態は再びStateJに遷移する。
一方、StateKにおいて、StateK(図28)のEventに記述されているように、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像においてジェスチャ(拍手)を検知すると、状態はStateMに遷移する。また、スライド用PC301が、スライドの切り替えを実行すると、状態は再びStateJに遷移する。
また、StateJにおいて、StateJ(図28)のEventに記述されているように、講師用カメラ制御装置12-1が、講師用カメラ画像において、トラッキング対象が一定距離以上移動したと判定すると、状態はStateLに遷移する。一方、聴講者用カメラ制御装置12-2が、聴講者用カメラ画像においてジェスチャ(拍手)を検知すると、状態はStateMに遷移する。
StateMにおいては、図30のStateMに示されるように、聴講者用カメラ画像が出力される。StateM(図29)のBehaviorには、Tele側でパン・チルト撮影が行われるものとしたが、Wide側での固定撮影により、聴講者全体が撮影されるようにしてもよい。また、StateMにおける聴講者用カメラ11-2の撮影位置やカメラワークは、あらかじめプリセットされたものを適用するようにしてもよい。
そして、StateM(図29)のEventに記述されているように、中央制御部31が、プリセットされたカメラワークが完了するなどして、一定時間が経過したと判定すると、状態は再びStateB’’’に遷移する。
以上の構成によれば、スライドが切り替わった場合には、講師L1がスライドを見せたい状況である可能性が高いため、スライドが出力され(StateJ)、講師L1の身振り手振りが大きくなった場合には、スライドに加えて講師の様子を映す画像が出力される(StateK)。これにより、講師L1の講義に対する情熱が効果的に視聴者に伝わるようになる。
また、講師L1が歩き出した場合には、画角をやや引いた状態で講師L1がトラッキングされるようなカメラワークで撮影される(StateL)ので、ダイナミックな画像を提供することができる。さらに、聴講者A1が拍手した場合には、聴講者が映る画像が出力される(StateM)ので、臨場感のある画像を提供することができる。
基本的には、スライド中心の画像が出力され、さらに、講師L1と聴講者A1の画像が効果的に挿入されるので、視聴者は、臨場感を味わいながら、プレゼンテーションの内容を詳細に理解することが可能となる。
<4.その他のバリエーション例>
以下においては、上述した実施の形態についての他のバリエーションについて説明する。
(撮影システムの構成例)
図31は、本技術を適用した撮影システムのさらに他の構成例を示す図である。
図31の撮影システムは、図1の撮影システムの構成に加え、板書用カメラ11-3、板書用カメラ制御装置12-3、およびスライド用PC301が設けられて構成される。
すなわち、図31の撮影システムは、図19の撮影システムと図25の撮影システムを組み合わせた構成を採る。
このような構成によれば、視聴者は、講義の内容を詳細に理解したり、臨場感を味わいながら、プレゼンテーションの内容を詳細に理解することが可能となる。
(カメラ制御装置の機能構成例)
図32は、上述したカメラ制御装置12の他の機能構成例を示すブロック図である。
図32のカメラ制御装置12は、図2のカメラ制御装置12の構成に加え、顔検知/識別部351が設けられて構成される。
顔検知/識別部351は、カメラ11からのカメラ画像を取得し、カメラ制御部24の制御の下、カメラ画像中の顔を検知したり、その顔が特定の顔であることを識別する。顔が検知されたことを表す情報や、顔が識別されたことを表す情報は、カメラ制御部24を介して、制御装置13(中央制御部31)に供給される。
なお、顔検知/識別部351は、カメラ画像中の顔ではなく、人を検知したり、その人が特定の人物であることを識別するようにしてもよい。さらに、カメラ制御装置12には、顔検知/識別部351に限らず、他の認識処理や人工知能処理などを行う高度な機能が追加されるようにしてもよい。
カメラ制御装置12が顔検知/識別部351を備える場合、図5のシナリオを構成するStateAとStateEを、図33に示されるStateA’とStateE’に変更することができる。
StateA’のBehaviorには、講師用カメラ制御装置12-1の動作として、StateA(図6)のBehaviorに記述されている「プリセット位置(教壇)での動体検知を実行」が、「プリセット位置(教壇)での顔検知または顔識別を実行」に変更されて記述されている。
また、StateA’のEventには、StateBに遷移する条件が、講師用カメラ制御装置12-1による「プリセット位置(教壇)で動体を検知」ではなく、「プリセット位置(教壇)で顔を検知または特定の顔を識別」と変更されて記述されている。
一方、StateE’のBehaviorには、講師用カメラ制御装置12-1の動作として、StateE(図8)のBehaviorに記述されている「動体検知実行」が、「顔検知または顔識別を実行」に変更されて記述されている。
また、StateE’のEventには、StateFに遷移する条件が、講師用カメラ制御装置12-1による「プリセット位置(教壇)に複数の動体を検知」ではなく、「プリセット位置(教壇)に複数(すなわち講師と聴講者の2人以上)の顔を検知または複数の特定の顔を識別」と変更されて記述されている。
このようにして、追加された機能、例えば、顔検知や顔識別をトリガとして、撮影システムの状態を遷移させることができる。さらに、追加された機能、例えば、顔検知により検知された顔の位置を利用することで、適切な画角やカメラワークを実現するなど、既存の機能と追加された機能が組み合わされて実行されるようにしてもよい。
(シナリオの他の記述例)
以上においては、シナリオは、状態遷移図形式で表現されるようにしたが、図34に示されるように、タイムライン形式で表現されるようにしてもよい。
図34のシナリオは、図5のシナリオをタイムライン形式で表現したものであり、図中左側から右側へ、時系列に状態が遷移することを表している。図34のシナリオにおいては、State毎に、講師用カメラ制御装置12-1、聴講者用カメラ制御装置12-2、およびスイッチャ33それぞれが実行する動作(Behavior)が示されている。
図34のシナリオにおいて、StateC以降の各装置(リソース)の動作は、3つに分岐しており、その分岐条件は、図7に示されるStateCのEventに従うものとする。なお、「Go to ★」は、StateBの開始点(★)に戻ることを示している。
このようにして、シナリオを、タイムライン形式で表現することも可能である。
(コンピュータの構成例)
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図35は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
上述した制御装置13は、図35に示す構成を有するコンピュータにより実現される。
CPU1001、ROM1002、RAM1003は、バス1004により相互に接続されている。
バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、キーボード、マウスなどよりなる入力部1006、ディスプレイ、スピーカなどよりなる出力部1007が接続される。また、入出力インタフェース1005には、ハードディスクや不揮発性のメモリなどよりなる記憶部1008、ネットワークインタフェースなどよりなる通信部1009、リムーバブルメディア1011を駆動するドライブ1010が接続される。
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを入出力インタフェース1005およびバス1004を介してRAM1003にロードして実行することにより、上述した一連の処理が行われる。
CPU1001が実行するプログラムは、例えばリムーバブルメディア1011に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部1008にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
<5.応用例>
本開示に係る技術は、様々なシステムへ応用することができる。上述した撮影システムは、例えば、会議室システムに適用することもできるし、以下において説明する手術室システムに適用することもできる。
図36は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図36を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図36では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A~5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A~5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A~5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A~5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図36では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図37は、集中操作パネル5111における操作画面の表示例を示す図である。図37では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図37を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図38は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図36に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図38では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a~5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a~5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図36に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図38では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a~5147cにはアクチュエータが設けられており、関節部5147a~5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a~5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a~5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a~5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図39を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図39は、図38に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図39を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、視聴覚コントローラ5107に適用され得る。具体的には、例えば2台のシーリングカメラ5187を、互いに異なる方向を撮影するような配置で設けた上で、本技術の制御部としての視聴覚コントローラ5107が、2台のシーリングカメラ5187による撮影方向を制御するようにする。
視聴覚コントローラ5107は、第1のシーリングカメラ5187により撮影された第1の画像と、第2のシーリングカメラ5187により撮影された第2の画像に関する被写体の状況に応じて、2台のシーリングカメラ5187による撮影方向を制御する。
本開示に係る技術を視聴覚コントローラ5107に適用することにより、例えば術者の立ち位置や手の位置、術部の位置に応じて、2台のシーリングカメラ5187が異なる方向から術者の手元を撮像した2つの画像を、適切に切り替えるなどして出力することができる。すなわち、術者の身体や手などによって術部が隠れることなく、手術の様子を漏れなく記録することが可能となる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本技術は以下のような構成をとることができる。
(1)
第1の撮影部による第1の画像または第2の撮影部による第2の画像に関する被写体の状況に応じて、前記第1の撮影部の第1の撮影方向、および、前記第1の撮影方向とは異なる前記第2の撮影部の第2の撮影方向を制御する制御部
を備える制御装置。
(2)
前記制御部は、前記第1の画像または前記第2の画像の前記被写体の挙動に応じて、前記第1の撮影方向および前記第2の撮影方向を制御する
(1)に記載の制御装置。
(3)
前記被写体の挙動は、前記被写体の動作である
(2)に記載の制御装置。
(4)
前記被写体の動作は、起立、着席、挙手、および移動の少なくともいずれかを含む
(3)に記載の制御装置。
(5)
前記被写体の挙動は、前記被写体が発する音である
(2)に記載の制御装置。
(6)
前記被写体の発する音は、発話音声である
(5)に記載の制御装置。
(7)
前記制御部は、
前記第1の画像に対する動体検知、ジェスチャ検知、および前記被写体のトラッキングを実行し、
前記第2の画像に対する動体検知、ジェスチャ検知、および前記被写体のトラッキングを実行し、
前記第1の画像または前記第2の画像に対する前記動体検知、前記ジェスチャ検知、および前記トラッキングのいずれかの結果に応じて、前記第1の撮影方向および前記第2の撮影方向を制御する
(1)乃至(6)のいずれかに記載の制御装置。
(8)
前記制御部は、前記第1の画像または前記第2の画像に関する前記被写体の状況に応じて、前記第1の画像および前記第2の画像の少なくともいずれかの出力を制御する
(7)に記載の制御装置。
(9)
前記制御部は、前記第1の画像または前記第2の画像の前記被写体の状況に応じて、前記第1の画像または前記第2の画像を切り替えて出力する
(8)に記載の制御装置。
(10)
前記制御部は、前記第1の画像または前記第2の画像の前記被写体の状況に応じて、前記第1の画像および前記第2の画像をサイド・バイ・サイド合成して出力する
(8)に記載の制御装置。
(11)
前記制御部は、前記第1の画像または前記第2の画像の前記被写体の状況に応じて、前記第1の画像および前記第2の画像をピクチャ・イン・ピクチャ合成して出力する
(8)に記載の制御装置。
(12)
前記第1の画像は、前記第1の撮影方向にいる講師を撮影することで取得され、
前記第2の画像は、前記第2の撮影方向にいる聴講者を撮影することで取得され、
前記制御部は、
前記第1の撮影方向および前記第2の撮影方向とは異なる第3の撮影方向にある黒板またはホワイトボードを撮影することで取得される第3の画像に対して、板書された内容を抽出する板書抽出処理を施し、
前記第1の画像または前記第2の画像に対する前記動体検知、前記ジェスチャ検知、および前記トラッキング、並びに前記板書抽出処理のいずれかの結果に応じて、前記第1乃至第3の撮影方向を制御するとともに、前記第1の画像、前記第2の画像、および、前記板書された内容の少なくともいずれかの出力を制御する
(8)乃至(11)のいずれかに記載の制御装置。
(13)
前記第1の画像は、前記第1の撮影方向にいる講師を撮影することで取得され、
前記第2の画像は、前記第2の撮影方向にいる聴講者を撮影することで取得され、
前記制御部は、前記第1の画像もしくは前記第2の画像に対する前記動体検知、前記ジェスチャ検知、および前記トラッキングのいずれかの結果、または、情報処理装置から出力される第3の画像の出力変化に応じて、前記第1および第2の撮影方向を制御するとともに、前記第1の画像、前記第2の画像、および前記第3の画像の少なくともいずれかの出力を制御する
(8)乃至(11)のいずれかに記載の制御装置。
(14)
前記制御部は、制御対象についての状態の遷移を表すシナリオに基づいて、前記制御対象それぞれの動作を制御し、
前記シナリオには、複数の前記状態について、前記状態毎に、BehaviorとEventが記述され、
前記Behaviorには、前記制御対象それぞれが実行する動作が記述され、前記Eventには、他の前記状態への遷移条件、および、前記遷移条件に対応付けられた前記状態の遷移先が記述される
(1)乃至(13)のいずれかに記載の制御装置。
(15)
前記シナリオに基づいて、第1の状態において、前記制御対象それぞれが、前記第1の状態の前記Behaviorに記述されている動作を実行しているとき、前記制御対象のいずれかが、前記第1の状態の前記Eventに記述されている前記遷移条件を満たした場合、前記状態は、前記遷移条件に対応付けられた第2の状態に遷移する
(14)に記載の制御装置。
(16)
前記遷移条件は、前記第1の画像または前記第2の画像の前記被写体の状況の変化に基づくものである
(15)に記載の制御装置。
(17)
前記シナリオは、状態遷移図形式またはタイムライン形式で表現される
(14)乃至(16)のいずれかに記載の制御装置。
(18)
前記制御部は、ユーザの操作に基づいて、前記シナリオにおける前記状態の追加および削除、並びに前記状態の記述内容の変更を行う
(14)乃至(17)のいずれかに記載の制御装置。
(19)
前記制御部は、前記シナリオにおける前記状態の追加および削除、並びに前記状態の前記記述内容の変更を受け付けるGUIの表示を制御する
(18)に記載の制御装置。
(20)
制御装置が、
第1の撮影部による第1の画像または第2の撮影部による第2の画像に関する被写体の状況に応じて、前記第1の撮影部の第1の撮影方向、および、前記第1の撮影方向とは異なる前記第2の撮影部の第2の撮影方向を制御する
制御方法。
(21)
少なくとも、第1の撮影方向の撮影により取得された第1の画像の被写体の状況に応じて、前記第1の画像、および、前記第1の画像とは異なる第2の画像の少なくともいずれかの出力を制御する制御部
を備える制御装置。
(22)
前記制御部は、
前記第1の撮影方向とは異なる第2の撮影方向の撮影を制御することで前記第2の画像を取得し、
前記第1の画像または前記第2の画像の被写体の状況に応じて、前記第1の画像および前記第2の画像の少なくともいずれかの出力を制御する
(21)に記載の制御装置。
(23)
前記第1の画像は、前記第1の撮影方向にいる人物を撮影することで取得され、
前記制御部は、
前記第1の画像に対する動体検知、ジェスチャ検知、および前記被写体のトラッキングを実行し、
前記第1の撮影方向とは異なる第2の撮影方向にある黒板またはホワイトボードを撮影することで取得される前記第2の画像に対して、板書された内容を抽出する板書抽出処理の結果を取得し、
前記第1の画像に対する前記動体検知、前記ジェスチャ検知、および前記トラッキング、または、前記板書抽出処理の結果に応じて、前記第1の画像および前記板書された内容の少なくともいずれかの出力を制御する
(21)に記載の制御装置。
(24)
前記第1の画像は、前記第1の撮影方向にいる人物を撮影することで取得され、
前記制御部は、
前記第1の画像に対する動体検知、ジェスチャ検知、および前記被写体のトラッキングを実行し、
前記第1の画像に対する前記動体検知、前記ジェスチャ検知、および前記トラッキングのいずれかの結果、または情報処理装置から出力される第2の画像の出力変化に応じて、前記第1の画像および前記第2の画像の少なくともいずれかの出力を制御する
(21)に記載の制御装置。
(25)
制御装置が、
少なくとも、第1の撮影方向の撮影により取得された第1の画像の被写体の状況に応じて、前記第1の画像、および、前記第1の画像とは異なる第2の画像の少なくともいずれかの出力を制御する
制御方法。