JP7283037B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、行動検出の精度を向上させることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。

映像内の被写体に関する情報に応じて、何らかのパラメータを設定する手法がある。

例えば、特許文献１には、映像内で追跡対象となる人物の年齢推定や個人識別の結果に基づいて、次フレームにおける探索領域を設定する技術が開示されている。

また、特許文献２には、映像内の被写体の顔のサイズと傾きを検出し、その検出結果に基づいて、ズームに関するパラメータを設定する撮像装置が開示されている。

一方、映像内の被写体の行動を検出する行動検出の技術が知られている。行動検出は、被写体の姿勢検出の結果と、行動検出に用いられるパラメータとに基づいて行われる。

行動検出に用いられるパラメータは、検出される行動に応じた体の部位の位置などで表される。映像内の被写体の体の部位の位置と、行動検出に用いられるパラメータとが比較されることで、被写体の行動が検出可能となる。

特開２００９－２６１４６号公報 特開２０１２－９５０１９号公報

ところで、行動検出に用いられるパラメータは、システム設計者によりあらかじめ設定されることが多い。

しかしながら、身長や体格などの身体的特徴は被写体毎に異なるため、行動検出に用いられるパラメータが一様に設定された場合、行動検出の精度が低下するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、行動検出の精度を向上させることができるようにするものである。

本開示の情報処理装置は、映像内の被写体の属性および身体的特徴の少なくともいずれかを表す入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定するパラメータ設定部と、設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する行動検出部とを備え、前記パラメータ設定部は、前記行動検出パラメータが登録されている前記被写体の行動が検出された場合、行動検出の対象となった前記被写体の姿勢を表す姿勢情報と、前記被写体の行動の検出結果を表す行動情報とに基づいて、前記被写体の前記行動検出パラメータを更新し、前記行動検出パラメータが登録されていない前記被写体の行動が検出された場合、推定された前記被写体の年齢および性別に基づいて前記行動検出パラメータを算出し、算出された前記行動検出パラメータを、前記被写体の前記行動検出パラメータとして登録する情報処理装置である。

本開示の情報処理方法は、情報処理装置が、映像内の被写体の属性および身体的特徴の少なくともいずれかを表す入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出し、前記行動検出パラメータが登録されている前記被写体の行動が検出された場合、行動検出の対象となった前記被写体の姿勢を表す姿勢情報と、前記被写体の行動の検出結果を表す行動情報とに基づいて、前記被写体の前記行動検出パラメータを更新し、前記行動検出パラメータが登録されていない前記被写体の行動が検出された場合、推定された前記被写体の年齢および性別に基づいて前記行動検出パラメータを算出し、算出された前記行動検出パラメータを、前記被写体の前記行動検出パラメータとして登録する情報処理方法である。

本開示のプログラムは、コンピュータに、映像内の被写体の属性および身体的特徴の少なくともいずれかを表す入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出し、前記行動検出パラメータが登録されている前記被写体の行動が検出された場合、行動検出の対象となった前記被写体の姿勢を表す姿勢情報と、前記被写体の行動の検出結果を表す行動情報とに基づいて、前記被写体の前記行動検出パラメータを更新し、前記行動検出パラメータが登録されていない前記被写体の行動が検出された場合、推定された前被写体の年齢および性別に基づいて前記行動検出パラメータを算出し、算出された前記行動検出パラメータを、前記被写体の前記行動検出パラメータとして登録する処理を実行させるためのプログラムである。

本開示においては、映像内の被写体の属性および身体的特徴の少なくともいずれかを表す入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータが設定され、設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動が検出され、前記行動検出パラメータが登録されている前記被写体の行動が検出された場合、行動検出の対象となった前記被写体の姿勢を表す姿勢情報と、前記被写体の行動の検出結果を表す行動情報とに基づいて、前記被写体の前記行動検出パラメータが更新され、前記行動検出パラメータが登録されていない前記被写体の行動が検出された場合、推定された前被写体の年齢および性別に基づいて前記行動検出パラメータが算出され、算出された前記行動検出パラメータを、前記被写体の前記行動検出パラメータとして登録される。

本開示によれば、行動検出の精度を向上させることが可能となる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の実施の形態に係る撮影システムの概観を示す図である。 撮影システムの構成例を示すブロック図である。 第１の実施の形態の情報処理装置の機能構成例を示すブロック図である。 撮影装置制御処理について説明するフローチャートである。 第２の実施の形態の情報処理装置の機能構成例を示すブロック図である。 姿勢情報の例を示す図である。 行動検出パラメータ設定処理について説明するフローチャートである。 行動検出パラメータ設定処理について説明するフローチャートである。 レクチャーキャプチャーシステムにおける映像の例を示す図である。 姿勢検出について説明する図である。 顔検出について説明する図である。 物体検出について説明する図である。 物体の位置について説明する図である。 パラメータテーブルの例を示す図である。 パラメータテーブル管理画面表示処理について説明するフローチャートである。 パラメータテーブル管理画面の例を示す図である。 聴講者情報の修正処理について説明するフローチャートである。 聴講者情報編集画面の例を示す図である。 位置情報と聴講者情報を対応づける処理について説明するフローチャートである。 位置情報と聴講者情報の対応づけについて説明する図である。 聴講者情報追加処理について説明するフローチャートである。 聴講者情報の追加について説明する図である。 コンピュータの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。

１．従来のレクチャーキャプチャーシステムにおける課題
２．本開示の実施の形態に係る撮影システムの構成
３．第１の実施の形態（基本的な構成とその動作）
４．第２の実施の形態（年齢／性別推定と個人識別を行う構成とその動作）
５．第３の実施の形態（パラメータテーブルを管理するためのＵＩ表示例）
６．変形例
７．コンピュータの構成例
８．応用例

＜１．従来のレクチャーキャプチャーシステムにおける課題＞
近年、大学などの学校における講義の様子を収録し、遠隔地での講義の聴講を実現するレクチャーキャプチャーシステムが提供されている。レクチャーキャプチャーシステムでは、聴講者を撮影する場合において、その聴講者の行動を検出し、カメラワークを制御する。例えば、聴講者の１人が起立すると、その聴講者を拡大して撮影するなど、聴講者の行動に応じてカメラワークを切り替えた映像が収録される。

このときのカメラワークは、映像を視聴している人間が、目視で聴講者の行動を観測し、その観測結果を踏まえて手動で切り替えている。仮に、カメラワークを切り替える必要のある聴講者の行動を、映像の中から自動で検出することができれば、観測する者の人員削減とカメラワークの自動制御を実現することができる。

聴講者の行動検出は、聴講者の姿勢検出の結果と、行動検出に用いられるパラメータ（以下、行動検出パラメータという）とに基づいて行われる。

例えば、聴講者の起立動作を検出する場合、行動検出パラメータとしては、起立中に顔や肩が存在し得る最低の高さ位置、着席中に顔や肩が存在し得る最高の高さ位置、これら２つの高さ位置の差分（距離）などが用いられる。

聴講者の姿勢検出により求められる現在の顔の高さ位置が、行動検出パラメータの着席中に顔や肩が存在し得る最高の高さ位置より高いか否かなど、聴講者の姿勢検出の結果と行動検出パラメータとが比較されることで、被写体の行動が検出可能となる。

上述した例では、起立を検出するための行動検出パラメータについて説明したが、検出される行動の種別によっては、全く異なるパラメータを用意する必要がある。

行動検出パラメータは、システム設計者によりあらかじめ設定されたり、システムの使用時にユーザ（システムの設定を請け負う業者など）により設定されたりするが、それぞれの場合で以下の課題があった。

（課題１）
講義収録において撮影の対象となる聴講者の年齢は例えば７歳から２２歳の幅があり、各年齢間で、身長をはじめとする身体的特徴の差がある。そのため、あらかじめパラメータが一様に設定された場合、行動検出の精度が低下するおそれがあった。

（課題２）
検出される行動の種別毎に必要となるパラメータが異なるため、ユーザによりパラメータが設定される場合、ユーザが入力する情報量が膨大になり、運用が容易でなくなるおそれがあった。

そこで、以下においては、上記の課題を解決するためのシステムの構成と動作について説明する。

＜２．本開示の実施の形態に係る撮影システムの構成＞
図１は、本開示の実施の形態に係る撮影システムの概観を示す図である。

撮影システムは、レクチャーキャプチャーシステムとして構成され、図示せぬ講師が複数の聴講者Ｕ１乃至Ｕ６に対して講義を行う教室や講堂などに設置される。

図１には、講義部屋（教室）において６人の聴講者Ｕ１乃至Ｕ６が、講義を聴講している様子が示されている。

撮影装置１は、講義部屋に設置され、聴講者Ｕ１乃至Ｕ６の全員が映る画角で撮影する。撮影された映像は、情報処理装置２に出力される。

情報処理装置２は、撮影装置１からの映像に基づいて、聴講者Ｕ１乃至Ｕ６それぞれの行動を検出し、その検出結果に基づいて撮影装置１を制御する。

図２は、撮影システムの構成例を示すブロック図である。

図２の撮影システムは、撮影装置１０、情報処理装置２０、入出力装置３０、および記録装置４０から構成される。

撮影装置１０および情報処理装置２０は、図１の撮影装置１および情報処理装置２に相当する。

撮影装置１０は、例えば、機械的にパン・チルトする機能を備えつつ、光学的・電子的にズーム可能なＰＴＺカメラとして構成される。撮影装置１０は、１つに限らず、複数設けられてもよい。

情報処理装置２０は、その機能を有する専用のハードウェアにより構成されてもよいし、一般的なコンピュータにより構成され、それぞれの機能がソフトウェアにより実現されてもよい。また、撮影装置１０と情報処理装置２０は、それぞれ別個に構成されるのではなく、１つの装置として一体に構成されるようにしてもよい。

入出力装置３０は、ユーザの操作を受け付けるキーボードやマウス、さらには、表示機能を有するディスプレイなどにより構成される。このディスプレイには、タッチパネルの機能が設けられていてもよい。入出力装置３０は、ユーザの操作に基づいた指示を受け付け、情報処理装置２０に出力する。また、入出力装置３０は、情報処理装置２０から供給される各種情報をユーザに提示する。

入出力装置３０と情報処理装置２０は、それぞれ別個に構成されるのではなく、１つの装置として一体に構成されるようにしてもよい。また、入出力装置３０は、ネットワークを介して情報処理装置２０と接続されてもよい。

記録装置４０は、情報処理装置２０から供給される各種情報を記録する。記録装置４０に記録された情報は、必要に応じて、情報処理装置２０により読み出される。詳細は後述するが、記録装置４０には、行動検出パラメータが聴講者各個人に対応づけられて登録されたパラメータテーブルが記録される。

記録装置４０と情報処理装置２０は、それぞれ別個に構成されるのではなく、１つの装置として一体に構成されるようにしてもよい。また、記録装置４０は、ネットワークを介して情報処理装置２０と接続されてもよい。

＜３．第１の実施の形態＞
（情報処理装置の機能構成例）
図３は、第１の実施の形態の情報処理装置の機能構成例を示すブロック図である。

図３の情報処理装置２０は、入力情報取得部５１、パラメータ設定部５２、行動検出部５３、および撮影制御部５４を備えている。

入力情報取得部５１は、情報処理装置２０に入力される映像内の被写体に関連する入力情報を取得し、パラメータ設定部５２に供給する。入力情報は、撮影装置１０により撮影された映像を表す映像信号から取得されたり、入出力装置３０により提示されるＵＩを介して入力された情報や、記録装置４０に記録されている情報から取得される。

パラメータ設定部５２は、入力情報取得部５１からの入力情報に基づいて、撮影装置１０からの映像信号で表される映像内の被写体の行動の検出に用いられる行動検出パラメータを設定し、行動検出部５３に供給する。

行動検出部５３は、パラメータ設定部５２からの行動検出パラメータと、撮影装置１０からの映像信号で表される映像における被写体の姿勢とに基づいて、被写体の行動を検出する。被写体の行動の検出結果は、撮影制御部５４に供給される。

撮影制御部５４は、撮影制御信号によって撮影装置１０を制御する。具体的には、行動検出部５３からの被写体の行動の検出結果に基づいて、撮影装置１０の撮影画角を制御したり、撮影装置１０により撮影された映像を切り出す範囲を制御する。

（撮影装置制御処理）
次に、図４のフローチャートを参照して、情報処理装置２０による撮影装置制御処理について説明する。

ステップＳ１１において、入力情報取得部５１は、入力情報を取得する。入力情報は、例えば、撮影装置１０により撮影された映像内の被写体（行動検出の対象となる被写体）に関する被写体情報とされる。具体的には、被写体情報（入力情報）は、被写体の属性を表す情報や、被写体の身体的特徴に関する情報とされる。被写体の属性を表す情報は、例えば、被写体の年齢や性別、人種、利き手、髪型や髪の色、メガネの着用の有無などとされる。また、被写体の身体的特徴を表す情報は、例えば、被写体の身長、体重、座高、腕や脚の長さ、腕や脚の各関節同士の間の長さなどとされる。

ステップＳ１２において、パラメータ設定部５２は、取得された入力情報（被写体情報）に基づいて、行動検出の対象となる被写体についての行動検出パラメータを設定する。行動検出パラメータは、映像内の被写体の身体的特徴に関する情報であったり、被写体の動き予測に関する情報であったりする。行動検出パラメータは、被写体それぞれに最適化されたパラメータとされ、映像内に複数の被写体が存在する場合、被写体毎に行動検出パラメータが設定される。

ステップＳ１３において、行動検出部５３は、設定された行動検出パラメータを用いて、行動検出の対象となる被写体の行動を検出する。

ステップＳ１４において、撮影制御部５４は、被写体の行動の検出結果に基づいて、撮影装置１０を制御する。

以上の処理によれば、行動検出の対象となる被写体について最適化された行動検出パラメータが設定されるので、被写体毎に身長や体格などの身体的特徴が異なっていても、行動検出の精度を向上させることが可能となる。

その結果、例えばレクチャーキャプチャーシステムにおいては、カメラワークの切り替えを確実に行うなど、精度の高いカメラワークの自動制御を実現することが可能となる。

以上においては、本開示の実施の形態の基本的な構成とその動作について説明した。以下では、図１の撮影システム（レクチャーキャプチャーシステム）において聴講者の行動検出を行う具体的な構成とその動作について説明する。

＜４．第２の実施の形態＞
（情報処理装置の機能構成例）
図５は、第２の実施の形態の情報処理装置の機能構成例を示すブロック図である。

図５の情報処理装置２０は、姿勢検出部７１、顔検出部７２、物体検出部７３、年齢／性別推定部７４、個人識別部７５、パラメータ設定部７６、行動検出部７７、撮影制御部７８、および表示制御部７９を備えている。

姿勢検出部７１は、撮影装置１０からの映像内の聴講者（被写体）の身体的特徴に関する情報として姿勢を検出し、検出した姿勢を表す姿勢情報を、パラメータ設定部７６と行動検出部７７に供給する。姿勢情報は、映像に写る人物の関節を表す関節情報と、関節情報同士を繋ぐ骨格情報とからなる情報としてもよいし、いずれか一方のみからなる情報としてもよい。また、姿勢情報は、上述した情報に特に限定されず、被写体の身体的特徴を表す姿勢に関する情報であればよい。

図６は、姿勢情報の例を示す図である。

図６においては、１４の関節情報Ｊ１１，Ｊ１２，Ｊ２１乃至Ｊ２６，Ｊ３１乃至Ｊ３６が点で示され、関節情報同士を繋ぐ骨格情報が２つの点を結ぶ線分で示されている。

図６の例では、関節情報Ｊ１１，Ｊ１２は、それぞれ人体の頭と首を表している。関節情報Ｊ２１乃至Ｊ２３は、それぞれ人体の右肩、右肘、右手首を表し、関節情報Ｊ２４乃至Ｊ２６は、それぞれ人体の右股関節、右膝、右足首を表している。関節情報Ｊ３１乃至Ｊ３３は、それぞれ人体の左肩、左肘、左手首を表し、関節情報Ｊ３４乃至Ｊ３６は、それぞれ人体の左股関節、左膝、左足首を表している。

図５の説明に戻り、顔検出部７２は、撮影装置１０からの映像内の聴講者の顔を検出し、検出した顔を表す顔情報を、年齢／性別推定部７４と個人識別部７５に供給する。顔情報は、検出された顔の映像内での位置と、その顔画像からなる。

物体検出部７３は、撮影装置１０からの映像内の物体を検出し、検出した物体を表す物体情報を、記録装置４０に出力する。物体情報は、検出された物体の映像内での位置と、その物体の種別を表す種別情報からなる。物体の種別には、一般的な講義部屋内にあるもの、例えば、机、窓、本棚、黒板、壁などが含まれる。

年齢／性別推定部７４は、顔検出部７２からの顔情報に基づいて、その顔情報に対応する聴講者の年齢と性別を推定する。推定された年齢と性別を表す年齢／性別情報は、パラメータ設定部７６に供給される。

個人識別部７５は、顔検出部７２からの顔情報に基づいて、その顔情報に対応する聴講者個人を識別する個人特徴量を算出し、算出した個人特徴量をパラメータ設定部７６に供給する。個人特徴量は、ＳＵＲＦ（Speed-Up Robust Features）のような、単一画像（静止画像）から抽出される特徴量であってもよいし、映像（動画像）から抽出される、体の部位の動き（例えば瞼の動き）のような時間方向に変化する特徴量であってもよい。

パラメータ設定部７６は、聴講者各個人の行動検出パラメータを設定する。パラメータ設定部７６は、算出部８１、決定部８２、および更新部８３を有している。

算出部８１は、年齢／性別推定部７４からの年齢／性別情報に基づいて、その年齢／性別情報に対応する聴講者の年齢と性別に応じた行動検出パラメータを算出する。具体的には、算出部８１は、推定された年齢と性別の人間の平均的な身体的特徴を用いて、行動検出パラメータを算出する。

決定部８２は、個人識別部７５からの個人特徴量に基づいて、算出部８１により算出された行動検出パラメータ、および、記録装置４０に記録されている行動検出パラメータのいずれかを、実際に行動の検出に用いる行動検出パラメータに決定する。

具体的には、決定部８２は、個人識別部７５からの個人特徴量に対応する聴講者に対応づけられている行動検出パラメータが、記録装置４０のパラメータテーブルに登録されているか否かを判定する。

聴講者に対応づけられている行動検出パラメータがパラメータテーブルに登録されている場合、決定部８２は、パラメータテーブルに登録されている行動検出パラメータを、実際に行動の検出に用いる行動検出パラメータに決定する。聴講者に対応づけられている行動検出パラメータは、その聴講者について最適化されたパラメータといえる。

一方、聴講者に対応づけられている行動検出パラメータがパラメータテーブルに登録されていない場合、決定部８２は、算出部８１により算出された行動検出パラメータを、実際に行動の検出に用いる行動検出パラメータに決定する。算出部８１により算出された行動検出パラメータもまた、その聴講者について最適化されたパラメータといえる。

このようにして決定された行動検出パラメータは、聴講者各個人について最適化されたパラメータとして、行動検出部７７に供給される。

更新部８３は、姿勢検出部７１からの姿勢情報と、行動検出部７７からの行動情報（行動の検出結果を表す情報）に基づいて、行動検出の対象となった聴講者の行動検出パラメータを更新する。更新された行動検出パラメータは、記録装置４０のパラメータテーブルに反映され、パラメータテーブルが更新される。

パラメータ設定部７６における処理に用いられた各種情報や処理結果は、適宜、記録装置４０や、表示制御部７９を介して入出力装置３０に供給される。

行動検出部７７は、姿勢検出部７１からの姿勢情報と、パラメータ設定部７６（決定部８２）からの行動検出パラメータを用いて、聴講者の少なくとも１種類の行動を検出する。検出される聴講者の行動は、聴講者が講義中にとり得る動作である。講義中にとり得る動作には、例えば、起立、礼、挙手、着席、前方への移動、発言（発話）、教科書の音読、ノートなどへの筆記、居眠り、よそ見やおしゃべり（講義の内容に対する発言ではなく講義に関係のない個別の発言）などが含まれる。

行動の検出結果を表す行動情報は、行動検出の対象となった聴講者の情報（顔情報、個人特徴量、年齢／性別情報）とともに、パラメータ設定部７６（更新部８３）に供給され、行動検出パラメータ（パラメータテーブル）の更新に用いられる。また、行動情報は、撮影制御部７８にも供給される。

撮影制御部７８は、行動検出部７７からの行動情報に基づいて、撮影装置１０を制御する。撮影制御部７８は、行動情報に基づいて、例えば、起立した聴講者をズームアップしたり、映像から挙手した複数の聴講者が映る範囲を切り出したりする。

表示制御部７９は、入出力装置３０を構成するディスプレイにおける、パラメータ設定部７６からの各種情報の表示を制御する。

（行動検出パラメータ設定処理）
次に、図７および図８のフローチャートを参照して、情報処理装置２０による行動検出パラメータ設定処理について説明する。

この例では、図９に示されるような、講義部屋において６人の聴講者Ｕ１乃至Ｕ６が講義を聴講している様子が撮影された映像に対して、行動検出パラメータ設定処理が実行される。図９においては、聴講者Ｕ１，Ｕ３，Ｕ５，Ｕ６が着席し、聴講者Ｕ２，Ｕ４が起立している。

以下においては、起立の動作が検出される例について説明する。

図９に示される映像が撮影装置１０から情報処理装置２０に供給されると、ステップＳ３１において、姿勢検出部７１は、撮影装置１０からの映像内の聴講者Ｕ１乃至Ｕ６の姿勢を検出する。

図１０は、聴講者Ｕ１乃至Ｕ６それぞれの姿勢検出について説明する図である。

図１０においては、聴講者Ｕ１乃至Ｕ６それぞれについて、関節情報と骨格情報からなる姿勢情報１１１乃至１１６が示されている。姿勢情報を構成する関節情報と骨格情報には、それぞれが体のどの部位に対応するかを示す情報が含まれている。

このようにして得られた姿勢情報は、パラメータ設定部７６と行動検出部７７に供給される。

ステップＳ３２において、顔検出部７２は、撮影装置１０からの映像内の聴講者Ｕ１乃至Ｕ６の顔を検出する。

図１１は、聴講者Ｕ１乃至Ｕ６それぞれの顔検出について説明する図である。

図１１においては、検出された聴講者Ｕ１乃至Ｕ６それぞれの顔を示す枠１２１乃至１２６が示されている。図１１の例では、枠１２１乃至１２６で囲われている聴講者Ｕ１乃至Ｕ６それぞれの顔画像とその位置が、顔情報となる。

このようにして得られた顔情報は、年齢／性別推定部７４と個人識別部７５に供給される。

ステップＳ３３において、物体検出部７３は、撮影装置１０からの映像内の物体を検出する。

図１２は、物体検出について説明する図である。ここでは、検出される物体の種別として、窓、本棚、机が設定されているものとする。

図１２においては、検出された窓を示す枠１３１、本棚を示す枠１４１、聴講者Ｕ１乃至Ｕ６それぞれの席にある机を示す枠１５１乃至１５６が示されている。図１２の例では、枠１３１，１４１，１５１乃至１５６で囲われているそれぞれの物体の種別とその位置が、物体情報となる。

このようにして得られた物体情報は、記録装置４０に出力される。

なお、物体情報に含まれる物体の位置は、映像平面上の位置であってもよいし、３次元空間上の位置であってもよい。例えば、撮影装置１０からの映像において、物体それぞれの深度情報などの３次元情報を取得することで、物体それぞれの３次元空間上の位置が求められる。これにより、例えば図１３に示されるような、講義部屋を上面からみたときの窓、本棚、机それぞれの位置を含む物体情報を得ることができる。

ステップＳ３４において、個人識別部７５は、顔検出部７２からの顔情報に基づいて、検出された顔の１つについて個人の識別を行い、個人特徴量を算出する。

ステップＳ３５において、個人識別部７５は、算出した個人特徴量に対応する聴講者が、記録装置４０のパラメータテーブルに登録されている人物か否かを判定する。

ステップＳ３５において、登録されている人物でないと判定された場合、ステップＳ３６に進み、年齢／性別推定部７４は、顔検出部７２からの顔情報に基づいて、その聴講者の年齢と性別を推定し、年齢／性別情報をパラメータ設定部７６に供給する。

ステップＳ３７において、パラメータ設定部７６の算出部８１は、年齢／性別推定部７４からの年齢／性別情報に基づいて、その聴講者の年齢／性別に応じた行動検出パラメータを算出する。

行動検出パラメータは、行動の種別毎に、基準となる値（デフォルト値）があらかじめ設定されている。行動検出パラメータのデフォルト値を用いた行動検出の手法は、特に限定されず、既知の手法を用いることができる。例えば、検出された顔の高さ位置を用いることにより、起立／着席の状態を判断することができる。また、検出された姿勢情報を用いることにより、礼や挙手の状態を判断することができる。さらに、検出された姿勢情報と、その状態が維持されている時間情報を用いることにより、例えば起立の状態が一定時間保持されていることから発言の状態であると判断することができる。本実施の形態では、聴講者の年齢／性別に応じて、行動検出に用いられる行動検出パラメータのデフォルト値が調整されることで算出される。

例えば、聴講者Ｕ４の顔情報に基づいて推定された聴講者Ｕ４の年齢／性別が、１２歳／男であった場合、日本人の１２歳男子の身長と座高の平均値に基づいて、起立動作についてのデフォルト値を調整することで、起立動作を検出するための行動検出パラメータを算出することができる。ただし、年齢／性別を用いて算出される行動検出パラメータは、その年齢／性別に応じた平均的な値であり、聴講者各個人の身体的特徴の差までは吸収できない。

一方、ステップＳ３５において、登録されている人物であると判定された場合、ステップＳ３８に進み、決定部８２は、記録装置４０のパラメータテーブルに登録されているその聴講者の行動検出パラメータを読み出す。

図１４は、パラメータテーブルの例を示す図である。

パラメータテーブルは、聴講者毎の顔情報、氏名情報、パラメータ（行動検出パラメータ）、個人特徴量、および年齢／性別情報から構成される。

図１４の例では、聴講者Ｕ１，Ｕ２，Ｕ３，Ｕ５，Ｕ６の行動検出パラメータが登録されている。

例えば、聴講者Ｕ１については、聴講者Ｕ１の顔情報（顔画像）、氏名の「○○ いちろう」、行動検出パラメータｐ１１，ｐ１２、個人特徴量ｆ１１，ｆ１２、年齢／性別情報の１２／男が登録されている。このうち、顔情報、氏名情報、年齢／性別情報は、後述するパラメータテーブル管理画面を表示するために用いられる情報となる。

なお、図１４の例では、聴講者Ｕ４の行動検出パラメータは登録されていない。

ステップＳ３７またはＳ３８の後、ステップＳ３９において、決定部８２は、実際に行動の検出に用いる行動検出パラメータを決定する。

例えば、処理対象が聴講者Ｕ４の場合、パラメータテーブルに聴講者Ｕ４の行動検出パラメータは登録されていないので、ステップＳ３７において算出された、年齢／性別に応じた行動検出パラメータを、実際に行動の検出に用いる行動検出パラメータに決定する。

また、処理対象が聴講者Ｕ１，Ｕ２，Ｕ３，Ｕ５，Ｕ６のいずれかの場合、パラメータテーブルにこれら聴講者の行動検出パラメータは登録されているので、ステップＳ３８において読み出された行動検出パラメータを、実際に行動の検出に用いる行動検出パラメータに決定する。

決定された行動検出パラメータは、行動検出部７７に供給される。

ステップＳ４０において、個人識別部７５は、顔検出部７２からの顔情報に基づいて、検出された全ての顔について処理したか否かを判定する。

検出された全ての顔について処理していないと判定された場合、ステップＳ３４に戻り、ステップＳ３４乃至Ｓ３９の処理が繰り返される。

一方、検出された全ての顔について処理したと判定された場合、ステップＳ４１に進み、姿勢検出部７１からの姿勢情報と、決定部８２からの行動検出パラメータを用いて、聴講者（被写体）の行動を検出する。

すなわち、聴講者Ｕ１，Ｕ２，Ｕ３，Ｕ５，Ｕ６の行動は、パラメータテーブルに登録されている行動検出パラメータを用いて検出され、聴講者Ｕ４の行動は、年齢／性別に応じて算出された行動検出パラメータを用いて検出される。

行動の検出結果を表す行動情報は、行動検出の対象となった聴講者の情報（顔情報、個人特徴量、年齢／性別情報）とともに、更新部８３に供給される。

ステップＳ４２において、更新部８３は、姿勢検出部７１からの姿勢情報と、行動検出部７７からの行動情報に基づいて、記録装置４０のパラメータテーブルを更新する。

例えば、聴講者Ｕ４の起立が検出された場合、起立動作時の聴講者Ｕ４の関節情報などが、聴講者Ｕ４の起立の検出に用いられる行動検出パラメータとして、パラメータテーブルに登録される。このとき、聴講者Ｕ４の顔情報、個人特徴量、年齢／性別情報も併せて、パラメータテーブルに登録されるようにする。

また、パラメータテーブルに登録済の聴講者の行動が検出された場合、そのときに取得された姿勢情報に基づいて、その聴講者の行動検出パラメータが更新されてもよい。

このようにして、聴講者各個人について最適化された行動検出パラメータが、パラメータテーブルに登録される。これにより、映像の次フレームにおいては、例えば、聴講者Ｕ４についても、自身の身体的特徴に応じた行動検出パラメータを用いた行動検出が可能となる。

以上の処理によれば、聴講者各個人について最適化された行動検出パラメータが設定されるので、レクチャーキャプチャーシステムにおいて、聴講者それぞれで身長や体格などの身体的特徴が異なっていても、行動検出の精度を向上させることが可能となる。

また、ユーザが、検出される行動の種別毎に行動検出パラメータを入力して設定する必要がないので、システムの運用を簡単にすることが可能となる。

以上においては、起立動作の検出のみを行う例について説明したが、複数の種別の行動の検出が同時に行われるようにすることも可能である。

以下では、図１の撮影システム（レクチャーキャプチャーシステム）においてユーザがパラメータテーブルを簡単に管理できるようにする構成について説明する。

＜５．第３の実施の形態＞
まず、図１５のフローチャートを参照して、パラメータテーブルを管理するためのＵＩであるパラメータテーブル管理画面の表示処理について説明する。

ステップＳ５１において、パラメータ設定部７６は、記録装置４０に記録されている、情報処理装置２０から供給された各種情報を読み出す。

ステップＳ５２において、パラメータ設定部７６は、記録装置４０から読み出した各種情報のうち、物体情報と聴講者の姿勢情報とに基づいて、講義部屋における聴講者の位置を示す位置情報を有する講義部屋情報を生成する。講義部屋情報には、物体情報に基づいた各種別の物体の位置情報と、姿勢情報に基づいた聴講者の位置情報が含まれる。

ステップＳ５３において、パラメータ設定部７６は、記録装置４０から読み出したパラメータテーブルに基づいて、聴講者情報を生成する。聴講者情報は、パラメータテーブルの顔情報、氏名情報、および年齢／性別情報から構成される。

ステップＳ５４において、パラメータ設定部７６は、講義部屋情報に含まれる聴講者の位置情報と、聴講者情報とを対応づける。位置情報と聴講者情報との対応づけは、各聴講者の個人特徴量を用いて行われる。

このようにして得られた講義部屋情報と聴講者情報は、表示制御部７９に供給される。

ステップＳ５５において、表示制御部７９は、講義部屋情報と聴講者情報を含むパラメータテーブル管理画面を、入出力装置３０を構成するディスプレイに表示させる。

図１６は、パラメータテーブル管理画面の例を示す図である。

パラメータテーブル管理画面２１０には、講義部屋情報表示領域２１１と聴講者情報表示領域２１２が設けられる。

講義部屋情報表示領域２１１は、講義部屋情報が表示される領域である。図１６の例では、講義部屋における窓、本棚、机が、図１３に例示した形で表示され、聴講者Ｕ１乃至Ｕ６それぞれに対応する位置情報２２１乃至２２６が表示されている。

聴講者情報表示領域２１２は、聴講者情報が表示される領域である。図１６の例では、聴講者Ｕ１乃至Ｕ６それぞれに対応する聴講者情報２３１乃至２３６が表示されている。

上述したように、講義部屋情報に含まれる位置情報と聴講者情報とは対応づけられており、例えば、聴講者情報表示領域２１２において、聴講者Ｕ１に対応する聴講者情報２３１をクリックすると、講義部屋情報表示領域２１１において、聴講者Ｕ１に対応する位置情報２２１が強調表示されるなどする。

なお、上述したように、聴講者Ｕ４はパラメータテーブルに新たに登録（追加）されたことから、聴講者Ｕ４に対応する聴講者情報２３６は、「未登録」とされ、例えば他の聴講者情報２３１乃至２３５と異なる色で表示される。

聴講者情報２３６には、パラメータテーブルに追加された聴講者Ｕ４の年齢／性別情報が表示されるが、年齢／性別推定部７４により推定された年齢／性別情報が必ずしも正しいとは限らない。

そこで、図１７のフローチャートを参照して、パラメータテーブルに登録された情報を修正する処理について説明する。

ステップＳ６１において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、未登録の聴講者情報が選択されたか否かを判定する。

未登録の聴講者情報が選択されない間、ステップＳ６１は繰り返され、未登録の聴講者情報が選択されると、ステップＳ６２に進む。

ステップＳ６２において、表示制御部７９は、聴講者情報編集画面を表示する。聴講者情報編集画面は、聴講者情報の変更や入力を受け付けるＵＩである。

ステップＳ６３において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、聴講者情報編集画面に情報が入力されたか否かを判定する。

聴講者情報編集画面に情報が入力されない間、ステップＳ６３は繰り返され、聴講者情報編集画面に情報が入力されると、ステップＳ６４に進む。

ステップＳ６４において、パラメータ設定部７６は、聴講者情報編集画面に入力された情報を用いて、パラメータテーブルにおいて該当する聴講者の情報を更新する。

例えば、図１６のパラメータテーブル管理画面において、未登録の聴講者情報２３６が例えばダブルクリックなどにより選択されると、図１８に示されるような聴講者情報編集画面３１０が表示される。

聴講者情報編集画面３１０には、顔情報３１１に加え、氏名情報入力欄３１２と年齢／性別情報入力欄３１３が表示される。図１８の例では、顔情報３１１として顔画像が表示され、年齢／性別情報入力欄３１３には、年齢／性別推定部７４により推定された年齢／性別情報が表示されている。

ユーザは、氏名情報入力欄３１２に氏名情報を入力したり、年齢／性別情報入力欄３１３に年齢／性別情報を入力し直すことで、聴講者情報を正しい情報とすることができる。

このようにして新たに入力された聴講者情報は、行動検出パラメータがまだ最適化されていない種別の行動を検出する際などに用いられる。

レクチャーキャプチャーシステムを用いた講義が行われたことがない講義部屋については、講義部屋情報表示領域２１１に、聴講者の位置情報は表示されず、聴講者情報との対応づけもされていない。

そこで、図１９のフローチャートを参照して、講義部屋情報における聴講者の位置情報と聴講者情報とを対応づける処理について説明する。

ステップＳ７１において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、講義部屋情報表示領域２１１に表示される講義部屋情報において、所定の位置が指定されたか否かを判定する。

講義部屋情報において所定の位置が指定されない間、ステップＳ７１は繰り返され、講義部屋情報において所定の位置が指定されると、ステップＳ７２に進む。

ステップＳ７２において、パラメータ設定部７６は、講義部屋情報において指定された位置に位置情報を追加する。この時点では、追加された位置情報は、どの聴講者の位置情報でもない。

ステップＳ７３において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、追加された位置情報に対応する聴講者情報が指定されたか否かを判定する。

追加された位置情報に対応する聴講者情報が指定されない間、ステップＳ７３は繰り返され、追加された位置情報に対応する聴講者情報が指定されると、ステップＳ７４に進む。

ステップＳ７４において、パラメータ設定部７６は、追加された位置情報と、指定された聴講者情報とを対応づける。

図２０は、レクチャーキャプチャーシステムを用いた講義が行われたことがない講義部屋の講義部屋情報が表示されるパラメータテーブル管理画面の例を示す図である。

例えば、図２０のパラメータテーブル管理画面の講義部屋情報表示領域２１１において、左上の机近傍の位置が例えばクリックなどにより指定されると、位置情報３３１が追加される。その後、聴講者情報表示領域２１２から位置情報３３１へ、聴講者情報２３１が例えばドラッグアンドドロップなどにより指定されると、位置情報３３１と聴講者情報２３１とが対応づけられる。

このようにして対応づけられた情報は、その講義部屋で新たにレクチャーキャプチャーシステムを用いた講義を行う際などに用いられる。

レクチャーキャプチャーシステムを用いた講義を聴講したことがない聴講者については、パラメータテーブルに情報がないため、聴講者情報表示領域２１２に、聴講者情報は表示されない。

そこで、図２１のフローチャートを参照して、パラメータテーブルに聴講者情報のない聴講者について、事前に聴講者情報を追加する処理について説明する。

ステップＳ８１において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、空欄の聴講者情報が選択されたか否かを判定する。

図２２は、空欄の聴講者情報を含むパラメータテーブル管理画面の例を示す図である。図２２においては、聴講者情報２３６が空欄の聴講者情報となっている。

空欄の聴講者情報が選択されない間、ステップＳ８１は繰り返され、例えばダブルクリックなどにより空欄の聴講者情報２３６が選択されると、ステップＳ８２に進む。

ステップＳ８２において、表示制御部７９は、聴講者情報追加画面を表示する。聴講者情報追加画面は、図１８の聴講者編集画面と同様のレイアウトで、顔情報３１１、氏名情報入力欄３１２、年齢／性別情報入力欄３１３がいずれも空欄となるＵＩである。

ステップＳ８３において、パラメータ設定部７６は、入出力装置３０からの情報に基づいて、聴講者情報追加画面に情報が入力されたか否かを判定する。

聴講者情報追加画面に情報が入力されない間、ステップＳ８３は繰り返され、聴講者情報追加画面に情報が入力されると、ステップＳ８４に進む。

ステップＳ８４において、パラメータ設定部７６は、聴講者情報追加画面に入力された情報を用いてパラメータテーブルを更新する。更新されたパラメータテーブルには、当該聴講者の聴講者情報が追加される。

追加された聴講者情報は、図１９と同様の手順により、講義部屋情報における聴講者の位置情報と対応づけることができる。

このようにして対応づけられた情報は、追加された聴講者が新たにレクチャーキャプチャーシステムを用いた講義を聴講する際などに用いられる。

以上の処理によれば、パラメータテーブルにおける聴講者の情報を簡単に変更したり追加したりすることができるので、聴講者の管理が容易になり、ひいては、システムの運用を簡単にすることが可能となる。

＜６．変形例＞
以下においては、上述した実施の形態における変形例について説明する。

（年齢／性別推定について）
年齢／性別の推定は、顔情報に限らず、姿勢情報に基づいた体の骨格や体型、その動作に基づいて行われてもよい。

また、パラメータテーブルの聴講者情報として、既に年齢／性別情報が登録されている場合は、年齢／性別の推定を行わず、登録されている年齢／性別情報が用いられるようにしてもよい。

（個人識別について）
個人を識別する個人特徴量の算出は、顔情報に限らず、姿勢情報に基づいた体の骨格や体型、その動作に基づいて行われてもよい。

（行動検出パラメータ算出について）
行動検出パラメータの算出は、年齢と性別の両方に限らず、いずれか一方に基づいて行われてもよい。

また、行動検出パラメータの算出は、年齢、性別だけでなく、人種などの情報に基づいて行われてもよい。

さらに、行動検出パラメータの算出は、身長、体重、座高などの身体的特徴に関する情報を用いて行われてもよい。この場合、聴講者情報編集画面（聴講者情報追加画面）において、氏名情報や年齢／性別情報の他に、身長、体重、座高などの身体的特徴に関する情報が入力されるようにする。

（その他）
一般的に、１つの講義においては、聴講者の年齢が近いことが多い。したがって、レクチャーキャプチャーシステムを用いた講義を聴講したことがない聴講者については、図２１の手順において、全ての聴講者の年齢／性別情報の年齢が一括して入力されるようにしてもよい。

講義部屋における聴講者の位置と聴講者情報とが対応づけられている場合、個人識別を行わずに、姿勢検出により得られる姿勢情報で求められる聴講者の位置に対応する聴講者情報から、行動検出パラメータが決定されるようにしてもよい。

また、物体情報として、時間割表の情報が得られている場合、時間割表の科目などから、行動検出の対象となる全ての聴講者の年齢が自動で一括して設定されるようにしてもよい。時間割表の情報は、講義部屋内に掲示されている時間割表から検出されてもよいし、記録装置４０に時間割表の情報が保持されており、これが読み出されるようにしてもよい。また、時間割表の情報が、ネットワークを介して外部の装置から取得されるようにしてもよい。

さらに、物体情報として、時間割表の情報と、座席表の情報が得られている場合、講義毎に、講義部屋における聴講者の位置と聴講者情報とが自動で対応づけされるようにしてもよい。

以上においては、行動検出の対象は人であるものとして説明したが、犬や猫などの動物であってもよい。

＜７．コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

上述した情報処理装置２０は、図２３に示す構成を有するコンピュータにより実現される。

ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、バス１００４により相互に接続されている。

バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディス
プレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

ＣＰＵ１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。

＜８．応用例＞
（移動体制御システムへの応用例）
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２４では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２５には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２４に戻って説明を続ける。車外情報検出ユニット７４００は撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

本実施の形態に係る情報処理装置２０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニットなどに実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、本実施の形態に係る情報処理装置２０は、図２４に示した応用例の統合制御ユニット７６００に適用することができる。

例えば、統合制御ユニット７６００は、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データから人物の年齢や場所を推定し、その推定結果を入力情報として用いることで、事故予測に用いる閾値として、人の動き予測に用いられる行動検出パラメータを設定する。

具体的には、画像データにおいて検出された人物が、例えば年齢が３～１２歳などの子供であると推定された場合、大人と比べて、路上に突然飛び出してくる可能性が高い。そこで、画像データから検出された人物が子供の場合、大人の場合より、「飛び出す」と判定するための閾値（行動検出パラメータ）を低く設定する。結果として、「飛び出す」と判定された場合、統合制御ユニット７６００は、子供が飛び出してくる可能性が高い旨を運転者に通知したり、車両の車速を落とすよう制御する。

また、統合制御ユニット７６００が、画像データに基づいて推定された場所が、道路であるか、駐車場であるかなどの場所情報を取得するようにし、取得した場所情報をさらに用いて、閾値（行動検出パラメータ）が設定されるようにしてもよい。

例えば、場所が駐車場である場合、車速は高くならないことから、「飛び出す」と判定するための閾値を低く設定する必要はない。一方、場所が道路である場合、車速は高くなる上に、駐車場と比べて、人が飛び出す可能性も高いことから、「飛び出す」と判定するための閾値を低く設定する。

このように、本実施の形態に係る情報処理装置２０を、図２４に示した応用例の統合制御ユニット７６００に適用することで、人の動き予測に用いられる行動検出パラメータが設定されるので、事故予測の精度を向上させることが可能となる。

（内視鏡手術システムへの応用例）
本開示に係る技術（本技術）は、内視鏡手術システムに適用されてもよい。

図２６は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図２６では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。

ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

図２７は、図２６に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。

撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

本開示に係る技術は、以上説明した構成のうち、制御部１１４１３に好適に適用され得る。

例えば、制御部１１４１３は、図示せぬ術場カメラからの映像や、あらかじめ入力された情報から術者とその利き手に関する情報を、入力情報として取得する。制御部１１４１３は、取得した入力情報に基づいて、術者が行う手術における動作の検出に用いられる行動検出パラメータを設定する。

さらに、制御部１１４１３は、設定した行動検出パラメータに基づいて、術場カメラからの映像において手術のステップを解析し、その解析結果に基づいて術場カメラの撮影を制御する。

このように、本開示に係る技術を制御部１１４１３に適用することで、手術に関する動作の検出に用いられる行動検出パラメータが設定されるので、手術のステップ解析の精度を向上させることが可能となる。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本開示は以下のような構成をとることができる。
（１）
映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定するパラメータ設定部と、
設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する行動検出部と
を備える情報処理装置。
（２）
前記パラメータ設定部は、前記被写体の行動の種別毎にあらかじめ設定された基準となる値を、前記入力情報に応じて調整することで、前記行動検出パラメータを設定する
（１）に記載の情報処理装置。
（３）
前記入力情報は、前記被写体の属性を表す情報である
（１）または（２）に記載の情報処理装置。
（４）
前記被写体の属性は、前記被写体の年齢、性別、人種の少なくともいずれかを含む
（３）に記載の情報処理装置。
（５）
前記入力情報は、前記被写体の身体的特徴に関する情報である
（１）または（２）に記載の情報処理装置。
（６）
前記行動検出パラメータは、前記被写体に対応づけられて記録される
（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記行動検出パラメータは、前記被写体の身体的特徴に関する情報である
（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記被写体の行動は、前記被写体が講義中にとり得る動作である
（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記被写体が講義中にとり得る動作は、起立、着席、および挙手の少なくともいずれかを含む
（８）に記載の情報処理装置。
（１０）
前記パラメータ設定部は、前記映像内の複数の前記被写体毎に、前記行動検出パラメータを設定する
（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記被写体の行動の検出結果に基づいて、前記映像を撮影する撮影装置を制御する撮影制御部をさらに備える
（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記撮影制御部は、前記被写体の行動の検出結果に基づいて、前記撮影装置の撮影画角を制御する
（１１）に記載の情報処理装置。
（１３）
前記撮影制御部は、前記被写体の行動の検出結果に基づいて、前記映像を切り出す範囲を制御する
（１１）に記載の情報処理装置。
（１４）
前記パラメータ設定部は、前記映像から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記パラメータ設定部は、記録装置に記録されている情報から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
（１）乃至（１３）のいずれかに記載の情報処理装置。
（１６）
前記パラメータ設定部は、ＵＩを介して入力された情報から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
（１）乃至（１３）のいずれかに記載の情報処理装置。
（１７）
前記入力情報は、前記映像内の物体に関する物体情報をさらに含み、
前記物体情報に基づいて、前記被写体がいる空間における前記被写体の位置を示す位置情報の表示を制御する表示制御部をさらに備える
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記行動検出パラメータは、前記被写体の動き予測に関する情報である
（１）に記載の情報処理装置。
（１９）
情報処理装置が、
映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、
設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する
情報処理方法。
（２０）
コンピュータに、
映像内の被写体に関連する入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、
設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する
処理を実行させるためのプログラム。

１０ 撮影装置， ２０ 情報処理装置， ３０ 入出力装置， ４０ 記録装置， ５１ 入力情報取得部， ５２ パラメータ設定部， ５３ 行動検出部， ５４ 撮影制御部， ７１ 姿勢検出部， ７２ 顔検出部， ７３ 物体検出部， ７４ 年齢／性別推定部， ７５ 個人識別部， ７６ パラメータ設定部， ７７ 行動検出部， ７８ 撮影制御部， ７９ 表示制御部

Claims (18)

1. 映像内の被写体の属性および身体的特徴の少なくともいずれかを表す入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定するパラメータ設定部と、
   設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出する行動検出部と
   を備え、
   前記パラメータ設定部は、
   前記行動検出パラメータが登録されている前記被写体の行動が検出された場合、行動検出の対象となった前記被写体の姿勢を表す姿勢情報と、前記被写体の行動の検出結果を表す行動情報とに基づいて、前記被写体の前記行動検出パラメータを更新し、
   前記行動検出パラメータが登録されていない前記被写体の行動が検出された場合、推定された前記被写体の年齢および性別に基づいて前記行動検出パラメータを算出し、算出された前記行動検出パラメータを、前記被写体の前記行動検出パラメータとして登録する
   情報処理装置。
2. 前記パラメータ設定部は、前記被写体の行動の種別毎にあらかじめ設定された基準となる値を、前記入力情報に応じて調整することで、前記行動検出パラメータを算出する
   請求項１に記載の情報処理装置。
3. 前記被写体の属性は、前記被写体の年齢、性別、人種の少なくともいずれかを含む
   請求項１に記載の情報処理装置。
4. 前記行動検出パラメータは、前記被写体に対応づけられて記録される
   請求項１に記載の情報処理装置。
5. 前記行動検出パラメータは、前記被写体の身体的特徴に関する情報である
   請求項１に記載の情報処理装置。
6. 前記被写体の行動は、前記被写体が講義中にとり得る動作である
   請求項１に記載の情報処理装置。
7. 前記被写体が講義中にとり得る動作は、起立、着席、および挙手の少なくともいずれかを含む
   請求項６に記載の情報処理装置。
8. 前記パラメータ設定部は、前記映像内の複数の前記被写体毎に、前記行動検出パラメータを設定する
   請求項１に記載の情報処理装置。
9. 前記被写体の行動の検出結果に基づいて、前記映像を撮影する撮影装置を制御する撮影制御部をさらに備える
   請求項１に記載の情報処理装置。
10. 前記撮影制御部は、前記被写体の行動の検出結果に基づいて、前記撮影装置の撮影画角を制御する
    請求項９に記載の情報処理装置。
11. 前記撮影制御部は、前記被写体の行動の検出結果に基づいて、前記映像を切り出す範囲を制御する
    請求項９に記載の情報処理装置。
12. 前記パラメータ設定部は、前記映像から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
    請求項１に記載の情報処理装置。
13. 前記パラメータ設定部は、記録装置に記録されている情報から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
    請求項１に記載の情報処理装置。
14. 前記パラメータ設定部は、ＵＩを介して入力された情報から取得される前記入力情報に基づいて、前記行動検出パラメータを設定する
    請求項１に記載の情報処理装置。
15. 前記入力情報は、前記映像内の物体に関する物体情報をさらに含み、
    前記物体情報に基づいて、前記被写体がいる空間における前記被写体の位置を示す位置情報の表示を制御する表示制御部をさらに備える
    請求項１に記載の情報処理装置。
16. 前記行動検出パラメータは、前記被写体の動き予測に関する情報である
    請求項１に記載の情報処理装置。
17. 情報処理装置が、
    映像内の被写体の属性および身体的特徴の少なくともいずれかを表す入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、
    設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出し、
    前記行動検出パラメータが登録されている前記被写体の行動が検出された場合、行動検出の対象となった前記被写体の姿勢を表す姿勢情報と、前記被写体の行動の検出結果を表す行動情報とに基づいて、前記被写体の前記行動検出パラメータを更新し、
    前記行動検出パラメータが登録されていない前記被写体の行動が検出された場合、推定された前記被写体の年齢および性別に基づいて前記行動検出パラメータを算出し、算出された前記行動検出パラメータを、前記被写体の前記行動検出パラメータとして登録する
    情報処理方法。
18. コンピュータに、
    映像内の被写体の属性および身体的特徴の少なくともいずれかを表す入力情報に基づいて、前記被写体の行動の検出に用いられる行動検出パラメータを設定し、
    設定された前記行動検出パラメータと、前記映像における前記被写体の姿勢とに基づいて、前記被写体の行動を検出し、
    前記行動検出パラメータが登録されている前記被写体の行動が検出された場合、行動検出の対象となった前記被写体の姿勢を表す姿勢情報と、前記被写体の行動の検出結果を表す行動情報とに基づいて、前記被写体の前記行動検出パラメータを更新し、
    前記行動検出パラメータが登録されていない前記被写体の行動が検出された場合、推定された前記被写体の年齢および性別に基づいて前記行動検出パラメータを算出し、算出された前記行動検出パラメータを、前記被写体の前記行動検出パラメータとして登録する
    処理を実行させるためのプログラム。

Images