JP5649429B2 - 映像処理装置、カメラ装置および映像処理方法 - Google Patents

Description

本発明は、入力映像から切り出した複数の動体の映像をピクチャ・イン・ピクチャ形式で重畳した合成映像として出力する機能を備えた映像処理装置に関するものである。

従来、通常のカメラより広角範囲を撮影できるカメラ（広角カメラ）で撮影した映像（広角映像）を処理するシステムが知られている（例えば、特許文献１参照）。そのような映像処理システムの一つとして、広角カメラで撮影した広角映像から複数の動体を検出し、動体ごとに、動体を表示する映像（動体が含まれるエリア）を広角映像から切り出して、複数の動体の映像をそれぞれ別々のウィンドウに分割して表示（マルチウィンドウ表示）するシステムが知られている。このような従来のシステムには、マルチウィンドウ表示をするために、複数の動体の映像を複数ストリームで別々に送信する機能や、複数の動画の映像を表示する複数の画面が備えられている。

特開２００４−２８９７７９号公報

しかしながら、従来のマルチウィンドウ表示のシステムにおいては、マルチウィンドウ表示をするために、複数の動体の映像を複数ストリームで別々に送信する機能（マルチストリーム機能）や、複数の動画の映像を表示するための複数の画面（マルチモニタ）を備える必要があり、そのようなマルチストリーム機能やマルチモニタを備えていないシステム（例えば、１つの映像を１つのストリームで送信して１つの画面に表示するシングルウィンドウ表示のシステム）には適用できないという問題があった。

また、従来のマルチウィンドウ表示のシステムでは、画面を無制限に設けることができない（画面の数に制限がある）ため、表示すべき動体の数が画面の数より多い場合には、すべての動体を画面に表示することができない（すべての動体を表示するには画面の数が足りない）という問題があった。

本発明は、上記従来の問題を解決するためになされたもので、シングルウィンドウ表示のシステムにも適用可能であり、マルチウィンドウ表示のような画面数による制限を受けずに多数の動体を表示することができる映像処理装置を提供することを目的とする。

本発明の映像処理装置は、入力映像に含まれる動体を検出するとともに、複数の動体が検出された場合に前記複数の動体の位置を求める動体検出部と、前記複数の動体の中から一つのメイン動体と少なくとも一つのサブ動体を決定するメインサブ決定部と、前記メイン動体を表示するメイン映像において、前記サブ動体を表示するサブ映像を、ピクチャ・イン・ピクチャ形式で重畳して表示するときのサブピクチャ位置を決定するサブピクチャ位置決定部と、前記入力映像から前記メイン映像と前記サブ映像の切り出し処理を行う切り出し部と、前記切り出し部により切り出された前記メイン映像の前記サブピクチャ位置に、前記切り出し部により切り出された前記サブ映像をピクチャ・イン・ピクチャ形式で重畳したピクチャ・イン・ピクチャ合成映像を生成する合成映像生成部と、前記ピクチャ・イン・ピクチャ合成映像を１つのストリームで出力する映像出力部と、を備え、前記メイン動体と前記サブ動体との距離に応じて、前記映像出力部は、前記ピクチャ・イン・ピクチャ合成映像もしくは前記サブ映像を重畳しない前記メイン映像を出力するた構成を有している。

この構成により、入力映像に複数の動体が含まれる場合に、その複数の動体の映像（メイン映像とサブ映像）を、ピクチャ・イン・ピクチャ形式で重畳した合成映像（ピクチャ・イン・ピクチャ合成映像）として、１つのストリーム（単独ストリーム）で出力することができる。この場合、複数の動体の映像を、ピクチャ・イン・ピクチャ形式で１つのストリームにまとめることができるので、従来のシングルウィンドウ表示のシステムにも適用可能である。また、複数の動体がピクチャ・イン・ピクチャ形式で１つの画面に表示されるので、従来のマルチウィンドウ表示のシステムのように画面数による制限を受けずに、多数の動体を表示することができる。

また、本発明の映像処理装置では、前記入力映像は、広角カメラで撮影されたものであり、前記映像処理装置は、前記切り出し部により切り出された前記メイン映像と前記サブ映像に対して、前記広角カメラのレンズの光学特性に起因する映像の歪みおよび回転を補正する歪み回転補正部を備えた構成を有している。

この構成により、広角カメラで撮影した入力映像を用いて、ピクチャ・イン・ピクチャ合成映像を生成することができる。この場合、広角カメラのレンズの光学特性に起因する映像の歪みや回転は、適切に補正される。したがって、例えば、天井に設置された魚眼レンズカメラで撮影された入力映像で、メイン動体やサブ動体の映像に歪みがあり、メイン動体やサブ動体の向きが揃っていない場合でも、ピクチャ・イン・ピクチャ合成映像では、歪みがなくメイン動体やサブ動体の向きが統一された分かりやすい映像を得ることができる。ここで、「広角カメラ」とは、標準レンズより広い画角を有するレンズ（魚眼レンズ、準広角レンズ、広角レンズ、超広角レンズなど）を備えたカメラをいう。

また、本発明の映像処理装置では、前記動体検出部は、前記入力映像を解析することにより、前記複数の動体の相対的な位置を求めるものであり、前記サブピクチャ位置決定部は、前記メイン動体に対する前記サブ動体の相対的な位置に応じて、前記サブピクチャ位置を決定する構成を有している。

この構成により、メイン動体に対するサブ動体の相対的な位置に応じてサブピクチャ位置が決定されるので、従来のマルチウィンドウ表示のシステムに比べて、複数の動体（メイン動体とサブ動体）の各々の位置関係が分かりやすい。

また、本発明の映像処理装置では、前記メイン映像に含まれていない前記サブ動体が前記メイン動体に近づいて、前記メイン動体と前記サブ動体との間の距離が所定値以下になる場合に、前記切り出し部は、前記メイン映像に前記サブ動体が含まれるまでズームアウトした画角で、前記メイン映像の切り出しを行い、前記サブピクチャ位置決定部は、前記メイン映像における前記サブ動体の位置を、前記サブピクチャ位置として決定し、前記合成映像生成部は、前記メイン映像における前記サブ動体の位置に前記サブ映像を重畳した前記ピクチャ・イン・ピクチャ合成映像を生成した後に、前記ピクチャ・イン・ピクチャ合成映像の生成を停止し、前記映像出力部は、前記メイン映像における前記サブ動体の位置に前記サブ映像を重畳した前記ピクチャ・イン・ピクチャ合成映像を出力した後に、前記サブ映像を重畳しない前記メイン映像を出力する構成を有している。

この構成により、サブ動体がメイン動体に近づいてくる場合には、メイン映像にサブ動体が含まれる画角までズームアウトされ、メイン映像におけるサブ動体の位置にサブ映像を重畳したピクチャ・イン・ピクチャ合成映像が生成される。そして、その後、メイン映像とサブ映像の合成（ピクチャ・イン・ピクチャ合成映像の生成）が停止され、サブ映像を重畳しないメイン映像（通常のシングルウィンドウ映像）が出力される。このようにして、ピクチャ・イン・ピクチャ合成映像から通常のシングルウィンドウ映像への移行（切り替え）がスムーズに行われる。

また、本発明の映像処理装置では、前記メイン映像に含まれている前記サブ動体が前記メイン動体から離れて、前記メイン動体と前記サブ動体との間の距離が前記所定値以上になる場合に、前記合成映像生成部は、再び前記サブピクチャ位置に前記サブ映像を重畳した前記ピクチャ・イン・ピクチャ合成映像を生成し、前記映像出力部は、前記サブピクチャ位置に前記サブ映像を重畳した前記ピクチャ・イン・ピクチャ合成映像を出力する構成を有している。

この構成により、ピクチャ・イン・ピクチャ合成映像から通常のシングルウィンドウ映像への移行後に、サブ動体がメイン動体から離れていく場合には、メイン映像とサブ映像の合成（ピクチャ・イン・ピクチャ合成映像の生成）が再開され、サブピクチャ位置にサブ映像を重畳したピクチャ・イン・ピクチャ合成映像が出力される。このようにして、通常のシングルウィンドウ映像からピクチャ・イン・ピクチャ合成映像への移行（切り替え）がスムーズに行われる。

また、本発明の映像処理装置では、前記メイン動体が、第１の動体から第２の動体へ切り替わる場合に、前記切り出し部は、前記メイン映像に前記第１の動体と前記第２の動体が含まれるまでズームアウトした画角で、前記メイン映像の切り出しを行った後に、前記メイン映像に前記第２の動体が含まれかつ前記第１の動体が含まれなくなるまでズームインした画角で、前記メイン映像の切り出しを行う構成を有している。

この構成により、メイン動体の切り替え（第１の動体から第２の動体への切り替え）が行われる場合には、一旦、切り替え前と切り替え後の二つのメイン動体（第１の動体と第２の動体）が含まれる画角までズームアウトされ、その後、切り替え後のメイン動体（第２の動体）にズームインする。そのため、切り替え前と切り替え後の二つのメイン動体の位置関係が分かりやすい。

また、本発明の映像処理装置では、前記入力映像は、全方位カメラで撮影されたものであり、前記切り出し部は、前記メイン映像に前記第１の動体と前記第２の動体が含まれるまでズームアウトするときの画角を広げる方向を、前記第１の動体の方位と前記第２の動体の方位のなす角が小さい方向とする構成を有している。

この構成により、メイン動体の切り替え（第１の動体から第２の動体への切り替え）が行われる場合には、メイン映像に第１の動体と第２の動体が含まれるまでズームアウトするときの画角を広げる方向が、第１の動体の方位と第２の動体の方位のなす角が小さい方向になるように適切に決定される。ここで、「全方位カメラ」とは、全方位（３６０度）を撮影することができるレンズ（魚眼レンズなど）を備えたカメラをいう。

また、本発明の映像処理装置では、前記メインサブ決定部は、前記動体検出部により複数の前記動体が検出された場合に、時系列的に最初に検出された動体を、前記メイン動体として決定する構成を有している。

この構成により、入力映像に含まれる複数の動体の中から、時系列的に最初に検出された動体が、メイン映像に表示されるべきメイン動体として決定される。時系列的に最初に検出された動体は、重要な監視対象であることが少なくないため、メイン動体として適切である。

また、本発明の映像処理装置では、前記メインサブ決定部は、前記動体検出部により複数の前記動体が検出された場合に、前記複数の動体の各々の位置から求めた前記複数の動体の重心位置に最も近い位置にある動体を、前記メイン動体として決定する構成を有している。

この構成により、入力映像に含まれる複数の動体の中から、複数の動体の重心位置に最も近い動体が、メイン映像に表示されるべきメイン動体として決定される。複数の動体の中央に位置している動体をメイン動体とすることにより、他の動体（サブ動体）がメイン動体の周りにバランス良く位置することになり、サブピクチャ位置に偏りが生じるのを抑えることができる。

また、本発明の映像処理装置では、前記メインサブ決定部は、前記動体検出部により複数の前記動体が検出された場合に、ユーザ入力によって定められた動体を、前記メイン動体として決定する構成を有している。

この構成により、入力映像に含まれる複数の動体の中から、ユーザ入力によって定められた動体が、メイン映像に表示されるべきメイン動体として決定される。これにより、ユーザが映像で確認したい動体を、メイン動体として選択することが可能になる。

また、本発明の映像処理装置では、前記メインサブ決定部は、前記動体検出部により複数の前記動体が検出された場合に、前記複数の動体の属性情報に基づいて、前記メイン動体を決定する構成を有している。

この構成により、入力映像に含まれる複数の動体の中から、各動体の属性に基づいて、メイン映像に表示されるべきメイン動体が決定される。動体の属性には、例えば、動体の種類（人間、動物、車など）が含まれ、動体が人間である場合には、年齢、性別、服装（例えば、服の色、眼鏡の有無）なども含まれる。なお、この動体の属性は、入力映像の解析（例えば、動体モデルとのマッチングなどの画像解析）をすることにより求めることができる。

また、本発明の映像処理装置では、前記切り出し部は、前記メイン映像の切り出し処理を行うときに、前記サブ映像が重畳される部分について切り出し処理を行わない構成を有している。

この構成により、メイン映像の切り出し処理が行われるときに、サブ映像が重畳される部分については切り出し処理が行われないので、その分だけ、その処理に要する演算量を減らすことができる。また、その後の処理（歪みや回転を補正する処理など）に要する演算量を減らすこともできる。

また、本発明の映像処理装置では、前記合成映像生成部は、現在のフレームのメイン映像またはサブ映像が以前のフレームのメイン映像またはサブ映像から変化していない場合には、以前のフレームのメイン映像またはサブ映像を用いて、前記ピクチャ・イン・ピクチャ合成映像を生成する構成を有している。

この構成により、現在のフレームが以前のフレームから変化していない場合には、以前のフレームをそのまま使って、メイン映像とサブ映像の合成（ピクチャ・イン・ピクチャ合成映像の生成）が行われるので、その分だけ、その処理に要する演算量を減らすことができる。

また、本発明の映像処理装置は、前記メイン動体または前記サブ動体についての属性情報を、前記ピクチャ・イン・ピクチャ合成映像にメタデータとして重畳するメタデータ重畳部を備えた構成を有している。

この構成により、メイン動体やサブ動体についての情報が、ピクチャ・イン・ピクチャ合成映像にメタデータとして重畳されるので、メタデータを参照することにより、メイン動体やサブ動体がどのような動体であるかを簡単に知ることができる。なお、メタデータとして重畳される情報は、例えば、動体の属性についての情報であってもよい。上述のように、動体の属性には、例えば、動体の種類（人間、動物、車など）が含まれ、動体が人間である場合には、年齢、性別、服装（例えば、服の色、眼鏡の有無）なども含まれる。また、この動体の属性は、入力映像の解析（例えば、動体モデルとのマッチングなどの画像解析）をすることにより求めることができる。

本発明のカメラ装置は、撮像部と、前記撮像部から入力された入力映像に含まれる動体を検出するとともに、複数の動体が検出された場合に前記複数の動体の位置を求める動体検出部と、前記複数の動体の中から一つのメイン動体と少なくとも一つのサブ動体を決定するメインサブ決定部と、前記メイン動体を表示するメイン映像において、前記サブ動体を表示するサブ映像を、ピクチャ・イン・ピクチャ形式で重畳して表示するときのサブピクチャ位置を決定するサブピクチャ位置決定部と、前記入力映像から前記メイン映像と前記サブ映像の切り出し処理を行う切り出し部と、前記切り出し部により切り出された前記メイン映像の前記サブピクチャ位置に、前記切り出し部により切り出された前記サブ映像をピクチャ・イン・ピクチャ形式で重畳したピクチャ・イン・ピクチャ合成映像を生成する合成映像生成部と、前記ピクチャ・イン・ピクチャ合成映像を１つのストリームで出力する映像出力部と、を備え、前記メイン動体と前記サブ動体との距離に応じて、前記映像出力部は、前記ピクチャ・イン・ピクチャ合成映像もしくは前記サブ映像を重畳しない前記メイン映像を出力する構成を有している。

このカメラ装置によっても、上記の映像処理装置と同様、入力映像に複数の動体が含まれる場合に、その複数の動体の映像（メイン映像とサブ映像）を、ピクチャ・イン・ピクチャ形式で重畳した合成映像（ピクチャ・イン・ピクチャ合成映像）として、１つのストリームで出力することができる。この場合、複数の動体の映像を、ピクチャ・イン・ピクチャ形式で１つのストリームにまとめることができるので、従来のシングルウィンドウ表示のシステムにも適用可能である。また、複数の動体がピクチャ・イン・ピクチャ形式で１つの画面に表示されるので、従来のマルチウィンドウ表示のシステムのように画面数による制限を受けずに、多数の動体を表示することができる。

また、本発明のカメラ装置では、前記撮像部は、広角カメラ用のレンズを備えており、前記カメラ装置は、前記切り出し部により切り出された前記メイン映像と前記サブ映像に対して、前記広角カメラ用のレンズの光学特性に起因する映像の歪みおよび回転を補正する歪み回転補正部を備えた構成を有している。

この構成により、広角カメラ用のレンズで撮影した入力映像を用いて、ピクチャ・イン・ピクチャ合成映像を生成することができる。この場合、広角カメラ用のレンズの光学特性に起因する映像の歪みや回転は、適切に補正される。したがって、例えば、天井に設置された魚眼レンズカメラで撮影された入力映像で、メイン動体やサブ動体の映像に歪みがあり、メイン動体やサブ動体の向きが揃っていない場合でも、ピクチャ・イン・ピクチャ合成映像では、歪みがなくメイン動体やサブ動体の向きが統一された分かりやすい映像を得ることができる。なお、「広角カメラ用のレンズ」とは、標準レンズより広い画角を有するレンズ（魚眼レンズ、準広角レンズ、広角レンズ、超広角レンズなど）をいう。

本発明の映像処理方法は、入力映像に含まれる動体を検出するとともに、複数の動体が検出された場合に前記複数の動体の位置を求め、前記複数の動体の中から一つのメイン動体と少なくとも一つのサブ動体を決定し、前記メイン動体を表示するメイン映像において、前記サブ動体を表示するサブ映像を、ピクチャ・イン・ピクチャ形式で重畳して表示するときのサブピクチャ位置を決定し、前記入力映像から前記メイン映像と前記サブ映像の切り出し処理を行い、切り出された前記メイン映像の前記サブピクチャ位置に、切り出された前記サブ映像をピクチャ・イン・ピクチャ形式で重畳したピクチャ・イン・ピクチャ合成映像を生成し、前記ピクチャ・イン・ピクチャ合成映像を１つのストリームで出力する映像処理方法において、前記メイン動体と前記サブ動体との距離に応じて、前記ピクチャ・イン・ピクチャ合成映像もしくは前記サブ映像を重畳しない前記メイン映像を出力するものである。

この方法によっても、上記の映像処理装置と同様、入力映像に複数の動体が含まれる場合に、その複数の動体の映像（メイン映像とサブ映像）を、ピクチャ・イン・ピクチャ形式で重畳した合成映像（ピクチャ・イン・ピクチャ合成映像）として、１つのストリームで出力することができる。この場合、複数の動体の映像を、ピクチャ・イン・ピクチャ形式で１つのストリームにまとめることができるので、従来のシングルウィンドウ表示のシステムにも適用可能である。また、複数の動体がピクチャ・イン・ピクチャ形式で１つの画面に表示されるので、従来のマルチウィンドウ表示のシステムのように画面数による制限を受けずに、多数の動体を表示することができる。

本発明は、入力映像から切り出した複数の動体の映像をピクチャ・イン・ピクチャ形式で重畳した合成映像として１つのストリームで出力することができ、シングルウィンドウ表示のシステムにも適用可能であり、マルチウィンドウ表示のような画面数による制限を受けずに多数の動体を表示可能であるという効果を有する映像処理装置を提供することができるものである。

本発明の第１の実施の形態における映像処理装置のブロック図 ピクチャ・イン・ピクチャ合成映像の生成の説明図 サブ動体がメイン動体に近づいてくるときの映像の切り替え処理の説明図 サブ動体がメイン動体から離れていくときの映像の切り替え処理の説明図 メイン動体の切り替え処理の説明図 メイン動体の切り替え処理の説明図 画角を広げる方向の説明図 メイン動体とサブ動体の決定処理の流れを説明するためのフロー図 本発明の第２の実施の形態におけるカメラ装置のブロック図

以下、本発明の実施の形態の映像処理装置について、図面を用いて説明する。本実施の形態では、所定の監視エリア（店舗や駅の構内など）を監視するシステム等に用いられる映像処理装置の場合を例示する。

（第１の実施の形態）
本発明の第１の実施の形態の映像処理装置の構成を、図面を参照して説明する。図１は、本実施の形態の映像処理装置の構成を示すブロック図である。図１に示すように、映像処理装置１は、カメラ装置２で撮影した映像（入力映像）が入力される映像入力部３と、入力映像を解析（画像解析）して入力映像中に含まれる動体を検出する動体検出部４と、複数の動体が検出された場合に、それら複数の動体の中から一つのメイン動体と他のサブ動体を決定するメインサブ決定部５を備えている。本実施の形態では、複数の動体の中で最も優先度の高い動体がメイン動体として決定される。

カメラ装置２は、例えば天井に設置された魚眼レンズカメラである。魚眼レンズカメラは、通常のカメラより広い画角を撮影することができ、広角カメラと呼ぶこともできる。また、魚眼レンズカメラは、カメラを中心として全方位（３６０度）を撮影することができ、全方位カメラと呼ぶこともできる。

例えば、図２（ａ）には、カメラ装置２で撮影した入力映像の一例が示される。図２（ａ）の入力映像には、４つの動体（３人の人物Ａ〜Ｃと１匹の動物Ｄ）と１つの静体（１本の木Ｅ）が写っている。この場合、動体検出部４は、入力映像を解析（画像解析）することにより、入力映像に含まれる４つの動体（３人の人物Ａ〜Ｃと１匹の動物Ｄ）を検出する。また、動体検出部４は、入力映像を解析することにより、複数の動体の位置（相対的な位置）を求めることができる。複数の動体の位置（相対的な位置）は、例えば、単なる上下左右の形式であってもよく、また、極座標（ｒθ座標）やｘｙ座標の形式であってもよい。また、動体検出部４は、入力映像から動体を検出すると、各動体に動体情報（ＩＤ情報、位置情報、サイズ情報、サムネイル画像）を付与する機能を備えている。

そして、メインサブ決定部５は、動体検出部４によって検出された４つの動体（３人の人物Ａ〜Ｃと１匹の動物Ｄ）の中から、１つのメイン動体（例えば、人物Ａ）と他のサブ動体（例えば、人物Ｂ、Ｃ、動物Ｄ）を決定する。この場合、メインサブ決定部５は、動体検出部４によって時系列的に最初に検出された動体（時系列に沿ってＩＤが割り当てられる場合には、最小のＩＤが割り当てられた動体）をメイン動体として決定してもよい。または、メインサブ決定部５は、複数の動体の重心位置（複数の動体の各々の位置から算出される）に最も近い位置にある動体をメイン動体として決定してもよい。または、メインサブ決定部５は、ユーザ入力部６（入力キーや操作ボタンなど）によりユーザが指定した動体をメイン動体として決定してもよい。または、メインサブ決定部５は、複数の動体の各々の属性に基づいてメイン動体を決定してもよい。

なお、動体の属性には、例えば、動体の種類（人間、動物、車など）が含まれ、動体が人間である場合には、年齢、性別、服装（例えば、服の色、眼鏡の有無）なども含まれる。なお、この動体の属性は、入力映像の解析（例えば、動体モデルとのマッチングなどの画像解析）をすることにより求めることができる。

また、図１に示すように、映像処理装置１は、メイン動体を表示するメイン映像において、サブ動体を表示するサブ映像を、ピクチャ・イン・ピクチャ形式（ＰｉｎＰ形式）で重畳して表示するときのサブピクチャ位置を決定するサブピクチャ位置決定部７を備えている。例えば、図２（ｂ）には、ピクチャ・イン・ピクチャ合成映像（ＰｉｎＰ合成映像）の一例が示されているが、この場合、メイン動体（人物Ａ）を表示するメイン映像の中に、他のサブ動体（人物Ｂ、Ｃ、動物Ｄ）を表示するサブ映像が重畳されている。

サブピクチャ位置決定部７は、メイン動体に対するサブ動体の相対的な位置に応じて、サブピクチャ位置を決定する。例えば、図２（ａ）の入力映像から、１つのメイン動体（人物Ａ）と他のサブ動体（人物Ｂ、Ｃ、動物Ｄ）が検出された場合に、サブ動体「人物Ｂ」の相対的な位置は「人物Ａより右、人物Ｃより左、動物Ｄより右」として求められ、サブ動体「人物Ｃ」の相対的な位置は「人物Ａより右、人物Ｂより右、動物Ｄより右」として求められ、サブ動体「動物Ｄ」の相対的な位置は「人物Ａより左、人物Ｂより左、人物Ｃより左」として求められたとする。

その場合、図２（ｂ）に示すように、サブ動体「人物Ｂ」を表示するサブ映像の位置（サブピクチャ位置）は、「メイン映像において、人物Ａより右、人物Ｃのサブ映像より左、動物Ｄのサブ映像より右」に決定される。同様に、サブ動体「人物Ｃ」を表示するサブ映像の位置は、「メイン映像において、人物Ａより右、人物Ｂのサブ映像より右、動物Ｄのサブ映像より右」に決定され、サブ動体「動物Ｄ」を表示するサブ映像の位置は、「メイン映像において、人物Ａより左、人物Ｂのサブ映像より左、動物Ｄのサブ映像より左」に決定される。

また、図１に示すように、映像処理装置１は、入力映像からメイン映像とサブ映像の切り出して、カメラ装置２のレンズ（例えば、魚眼レンズ）の光学特性に起因する映像の歪みや回転を補正する切り出し歪み補正部８を備えている。この場合、カメラ装置２のレンズの光学特性の情報（レンズ仕様情報）は、光学特性入力部９から入力される。なお、切り出し歪み補正部８は、メイン映像の処理（切り出しや歪み回転補正の処理）を行うときに、サブ映像が重畳される部分（サブピクチャ位置に対応する部分）については処理を行わなくてもよい。

さらに、映像処理装置１は、切り出し歪み補正部８によって切り出されて歪み回転補正が行われたメイン映像とサブ映像を合成して、メイン映像中のサブピクチャ位置にサブ映像をＰｉｎＰ形式で重畳したＰｉｎＰ合成映像を生成するピクチャ・イン・ピクチャ合成部（ＰｉｎＰ合成部）１０を備えている。なお、ＰｉｎＰ合成部１０は、現在のフレームのメイン映像が、前のフレームのメイン映像から変化していない場合には、前のフレームのメイン映像を用いてＰｉｎＰ合成映像を生成してもよい。同様に、ＰｉｎＰ合成部１０は、現在のフレームのサブ映像が、前のフレームのサブ映像から変化していない場合には、前のフレームのサブ映像を用いてＰｉｎＰ合成映像を生成してもよい。

また、映像処理装置１は、メイン動体やサブ動体に関する情報をＰｉｎＰ合成映像にメタデータとして重畳するメタデータ重畳部１１と、ＰｉｎＰ合成映像を１つのストリーム（単独ストリーム）で出力する映像出力部１２を備えている。なお、メタデータとして重畳される情報は、例えば、動体の属性についての情報であってもよい。上述のように、動体の属性には、例えば、動体の種類（人間、動物、車など）が含まれ、動体が人間である場合には、年齢、性別、服装（例えば、服の色、眼鏡の有無）なども含まれる。また、この動体の属性は、入力映像の解析（例えば、動体モデルとのマッチングなどの画像解析）をすることにより求めることができる。

以上のように構成された映像処理装置１について、図面を参照してその動作を説明する。

ここでは、まず、図３を参照しながら、メイン映像に含まれていないサブ動体がメイン動体に近づいてくるときの映像の切り替え（ＰｉｎＰ表示から１ウィンドウ表示への切り替え）について説明する。図３（ａ）に示すように、メイン動体（人物Ａ）とサブ動体（人物Ｂ）との間の距離が一定値より大きい場合には、サブ動体はサブ映像としてメイン映像中にＰｉｎＰ表示される。なお、メイン動体（人物Ａ）とサブ動体（人物Ｂ）との間の距離は、入力映像における動体間のピクセル数（動体を囲むフレームの中心間の距離のピクセル数）として算出してもよく、そのピクセル数を現実の距離に換算したものでもよい。

その後、図３（ｂ）に示すように、サブ動体がメイン動体に近づいてきて、メイン動体とサブ動体との間の距離が一定値以下になった場合には、メイン映像とサブ映像の画角をズームアウトして、サブピクチャ位置がメイン映像中のサブ動体の位置と同じになるように位置合わせしたＰｉｎＰ表示を行う。このとき、切り出し歪み補正部８は、メイン映像にサブ動体が含まれるまでズームアウトした画角で、メイン映像の切り出しを行い、サブピクチャ位置決定部７は、メイン映像におけるサブ動体の位置を、サブピクチャ位置として決定する。そして、ＰｉｎＰ合成部１０は、メイン映像におけるサブ動体の位置にサブ映像を重畳したＰｉｎＰ合成映像を生成し、映像出力部１２は、そのＰｉｎＰ合成映像（メイン映像におけるサブ動体の位置にサブ映像を重畳したＰｉｎＰ合成映像）を出力する。

そして、位置合わせが完了したら、図３（ｃ）に示すように、ＰｉｎＰ表示を解除して、メイン映像（サブ動体が含まれたメイン映像）を表示する。すなわち、ＰｉｎＰ表示から１ウィンドウ表示へ切り替える。このとき、ＰｉｎＰ合成部１０は、メイン映像とサブ映像の合成を停止し、映像出力部１２は、サブ映像を重畳しないメイン映像を出力する。

次に、図４を参照しながら、メイン映像に含まれているサブ動体がメイン動体から離れていくときの映像の切り替え（１ウィンドウ表示からＰｉｎＰ表示への切り替え）について説明する。図４（ａ）に示すように、メイン動体（人物Ａ）とサブ動体（人物Ｂ）との間の距離が一定値以下である場合には、サブ動体は、メイン映像中に表示（１ウィンドウ表示）されている。

その後、図４（ｂ）に示すように、サブ動体がメイン動体から離れていって、メイン動体とサブ動体との間の距離が一定値より大きくなった場合には、メイン映像におけるサブ動体を、サブ映像としてメイン映像中にＰｉｎＰ表示する。このとき、ＰｉｎＰ合成部１０は、メイン映像とサブ映像の合成を開始（一旦停止していた場合には再開）して、サブピクチャ位置にサブ映像を重畳したＰｉｎＰ合成映像を生成し、映像出力部１２は、そのＰｉｎＰ合成映像（サブピクチャ位置にサブ映像を重畳したＰｉｎＰ合成映像）を出力する。

そして、最後に、図４（ｃ）に示すように、メイン映像とサブ映像の画角をズームインする。このようにして、１ウィンドウ表示からＰｉｎＰ表示への切り替えが行われる。

続いて、図５および図６を参照して、メイン動体を切り替えるときの処理について説明する。例えば、図５（ａ）に示すように、人物Ａをメイン動体としてメイン映像を表示し、そのメイン映像中に人物Ｂをサブ動体としてＰｉｎＰ表示していた場合に、メイン動体を人物Ａから人物Ｂに切り替えたとする。

その場合、まず、図５（ｂ）に示すように、人物Ｂが含まれるように画角をズームアウトしていき、図５（ｃ）に示すように、人物Ａと人物Ｂが両方含まれるような画角までズームアウトしたところで、人物ＢのＰｉｎＰ表示が一旦解除される。その後、図６（ａ）〜図６（ｂ）に示すように、人物Ｂをメイン動体としてズームインをしていき、人物Ｂのメイン映像の画角から人物Ａが外れたところで、人物Ａをサブ動体としてＰｉｎＰ表示する。そして、図６（ｃ）に示すように、人物Ｂを中心としたメイン映像となる画角までズームインする。

この場合、切り出し歪み補正部８は、メイン映像に人物Ａと人物Ｂが含まれるまでズームアウトした画角で、メイン映像の切り出しを行った後に、メイン映像に人物Ｂが含まれかつ人物Ａが含まれなくなるまでズームインした画角で、メイン映像の切り出しを行うことになる。

ここで、図７を参照して、メイン動体を切り替えるときのズームアウトで画角を広げる方向について説明しておく。例えば、メイン動体を人物Ａから人物Ｂに切り替える場合、図７（ａ）に示すように、人物Ｂが人物Ａより左に位置しているときには、人物Ａから左方向に画角を広げる。また、図７（ｂ）に示すように、人物Ｂが人物Ａより右に位置しているときには、人物Ａから右方向に画角を広げる。

この場合、切り出し歪み補正部８は、メイン映像に人物Ａと人物Ｂの動体が含まれるまでズームアウトするときの画角を広げる方向を、人物Ａと人物Ｂの方位のなす角が小さい方向に決定しているともいえる。例えば、図７（ａ）の例では、人物Ａの方位を基準（０度）とすると、人物Ｂの方位は「左方向に１２０度、または、右方向に２４０度」となる。したがって、この場合には、人物Ａと人物Ｂの方位のなす角の小さい「左方向」に決定される。同様に、図７（ｂ）の例では、人物Ａの方位を基準（０度）とすると、人物Ｂの方位は「右方向に１２０度、または、左方向に２４０度」となる。したがって、この場合には、人物Ａと人物Ｂの方位のなす角の小さい「右方向」に決定される。

最後に、図８のフロー図を参照して、メイン動体とサブ動体を決定（分類）する処理の流れを説明する。図８に示すように、動体検出部４によって入力映像から動体が検出された場合（Ｓ１）、ユーザ入力部６からユーザ入力（ユーザによる指示）があったか否かの判定が行われる（Ｓ２）。ユーザ入力があった場合には、そのユーザ入力がメイン動体の指示であるか否かの判定が行われる（Ｓ３）。その結果、メイン動体の指示であれば、その動体はメイン動体に分類され（Ｓ４）、メイン動体の指示でなければ、その動体はサブ動体に分類される（Ｓ５）。

ユーザ入力がなかった場合には、時系列（ＩＤ）をキーとして決定するモード（ＩＤ決定モード）であるか否かの判定が行われる（Ｓ６）。ＩＤ決定モードであった場合には、その動体に割り当てられたＩＤが最小であるか否かの判定が行われる（Ｓ７）。その結果、ＩＤが最小であれば、その動体はメイン動体に分類され（Ｓ４）、ＩＤが最小でなければ、その動体はサブ動体に分類される（Ｓ８）。

ＩＤ決定モードでなかった場合には、年齢をキーとして決定するモード（年齢決定モード）であるか否かの判定が行われる（Ｓ９）。年齢決定モードであった場合には、その動体の属性の「年齢」の項目が最小であるか否かの判定が行われる（Ｓ１０）。その結果、年齢が最小であれば、その動体はメイン動体に分類され（Ｓ４）、年齢が最小でなければ、その動体はサブ動体に分類される（Ｓ１１）。

年齢決定モードでなかった場合には、位置をキーとして決定するモード（位置決定モード）であると判定される（Ｓ１２）。そして、位置決定モードでは、その動体の位置が全動体の重心の最も近くに位置しているか否かの判定が行われる（Ｓ１３）。その結果、重心の最も近くに位置していれば、その動体はメイン動体に分類され（Ｓ４）、重心の最も近くに位置していなければ、その動体はサブ動体に分類される（Ｓ１４）。

このような第１の実施の形態の映像処理装置１によれば、入力映像から切り出した複数の動体の映像をピクチャ・イン・ピクチャ形式で重畳した合成映像として１つのストリーム（単独ストリーム）で出力することができ、シングルウィンドウ表示のシステムにも適用可能であり、マルチウィンドウ表示のような画面数による制限を受けずに多数の動体を表示可能である。

すなわち、本実施の形態では、図２に示すように、入力映像に複数の動体が含まれる場合に、その複数の動体の映像（メイン映像とサブ映像）を、ピクチャ・イン・ピクチャ形式で重畳した合成映像（ピクチャ・イン・ピクチャ合成映像）として、１つのストリームで出力することができる。この場合、複数の動体の映像を、ピクチャ・イン・ピクチャ形式で１つのストリームにまとめることができるので、従来のシングルウィンドウ表示のシステムにも適用可能である。また、複数の動体がピクチャ・イン・ピクチャ形式で１つの画面に表示されるので、従来のマルチウィンドウ表示のシステムのように画面数による制限を受けずに、多数の動体を表示することができる。

本実施の形態では、広角カメラであるカメラ装置２で撮影した入力映像を用いて、ピクチャ・イン・ピクチャ合成映像を生成することができる。この場合、広角カメラのレンズの光学特性に起因する映像の歪みや回転は、切り出し歪み補正部８によって適切に補正される。したがって、例えば、天井に設置された魚眼レンズカメラで撮影された入力映像で、メイン動体やサブ動体の映像に歪みがあり、メイン動体やサブ動体の向きが揃っていない場合でも、ピクチャ・イン・ピクチャ合成映像では、歪みがなくメイン動体やサブ動体の向きが統一された分かりやすい映像を得ることができる。

また、メイン動体に対するサブ動体の相対的な位置に応じてサブピクチャ位置が決定されるので、従来のマルチウィンドウ表示のシステムに比べて、複数の動体（メイン動体とサブ動体）の各々の位置関係が分かりやすい。

また、図３に示すように、サブ動体がメイン動体に近づいてくる場合には、メイン映像にサブ動体が含まれる画角までズームアウトされ、メイン映像におけるサブ動体の位置にサブ映像を重畳したピクチャ・イン・ピクチャ合成映像が生成される。そして、その後、メイン映像とサブ映像の合成（ピクチャ・イン・ピクチャ合成映像の生成）が停止され、サブ映像を重畳しないメイン映像（通常のシングルウィンドウ映像）が出力される。このようにして、ピクチャ・イン・ピクチャ合成映像から通常のシングルウィンドウ映像への移行（切り替え）がスムーズに行われる。

さらに、図４に示すように、その後（ピクチャ・イン・ピクチャ合成映像から通常のシングルウィンドウ映像への移行後）に、サブ動体がメイン動体から離れていく場合には、メイン映像とサブ映像の合成（ピクチャ・イン・ピクチャ合成映像の生成）が再開され、サブピクチャ位置にサブ映像を重畳したピクチャ・イン・ピクチャ合成映像が出力される。このようにして、通常のシングルウィンドウ映像からピクチャ・イン・ピクチャ合成映像への移行（切り替え）がスムーズに行われる。

また、図５および図６に示すように、メイン動体の切り替え（第１の動体から第２の動体への切り替え）が行われる場合には、一旦、切り替え前と切り替え後の二つのメイン動体（第１の動体と第２の動体）が含まれる画角までズームアウトされ、その後、切り替え後のメイン動体（第２の動体）にズームインする。そのため、切り替え前と切り替え後の二つのメイン動体の位置関係が分かりやすい。

また、図７に示すように、メイン動体の切り替え（第１の動体から第２の動体への切り替え）が行われる場合には、メイン映像に第１の動体と第２の動体が含まれるまでズームアウトするときの画角を広げる方向が、第１の動体の方位と第２の動体の方位のなす角が小さい方向になるように適切に決定される。ここで、「全方位カメラ」とは、全方位（３６０度）を撮影することができるレンズ（魚眼レンズなど）を備えたカメラをいう。

また、本実施の形態では、入力映像に含まれる複数の動体の中から、時系列的に最初に検出された動体が、メイン映像に表示されるべきメイン動体として決定される。時系列的に最初に検出された動体は、重要な監視対象であることが少なくないため、メイン動体として適切である。

あるいは、入力映像に含まれる複数の動体の中から、複数の動体の重心位置に最も近い動体が、メイン映像に表示されるべきメイン動体として決定される。複数の動体の中央に位置している動体をメイン動体とすることにより、他の動体（サブ動体）がメイン動体の周りにバランス良く位置することになり、サブピクチャ位置に偏りが生じるのを抑えることができる。

あるいは、入力映像に含まれる複数の動体の中から、ユーザ入力によって定められた動体が、メイン映像に表示されるべきメイン動体として決定される。これにより、ユーザが映像で確認したい動体を、メイン動体として選択することが可能になる。

あるいは、入力映像に含まれる複数の動体の中から、各動体の属性に基づいて、メイン映像に表示されるべきメイン動体が決定される。動体の属性には、例えば、動体の種類（人間、動物、車など）が含まれ、動体が人間である場合には、年齢、性別、服装（例えば、服の色、眼鏡の有無）なども含まれる。なお、この動体の属性は、入力映像の解析（例えば、動体モデルとのマッチングなどの画像解析）をすることにより求めることができる。

また、本実施の形態では、メイン映像の切り出し処理が行われるときに、サブ映像が重畳される部分については切り出し処理が行われないので、その分だけ、その処理に要する演算量を減らすことができる。また、その後の処理（歪みや回転を補正する処理など）に要する演算量を減らすこともできる。

また、本実施の形態では、現在のフレームが以前のフレームから変化していない場合には、以前のフレームをそのまま使って、メイン映像とサブ映像の合成（ピクチャ・イン・ピクチャ合成映像の生成）が行われるので、その分だけ、その処理に要する演算量を減らすことができる。

さらに、本実施の形態では、メイン動体やサブ動体についての情報が、ピクチャ・イン・ピクチャ合成映像にメタデータとして重畳されるので、メタデータを参照することにより、メイン動体やサブ動体がどのような動体であるかを簡単に知ることができる。なお、メタデータとして重畳される情報は、例えば、動体の属性についての情報であってもよい。上述のように、動体の属性には、例えば、動体の種類（人間、動物、車など）が含まれ、動体が人間である場合には、年齢、性別、服装（例えば、服の色、眼鏡の有無）なども含まれる。また、この動体の属性は、入力映像の解析（例えば、動体モデルとのマッチングなどの画像解析）をすることにより求めることができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態のカメラ装置について説明する。ここでは、第２の実施の形態のカメラ装置が、第１の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第１の実施の形態と同様である。

図９は、本実施の形態のカメラ装置の構成を示すブロック図である。図９に示すように、本実施の形態のカメラ装置２０は、第１の実施の形態の映像処理装置１の映像入力部３の代わりに、撮像部２１を備えている。また、本実施の形態のカメラ装置２０は、、第１の実施の形態の映像処理装置１の光学特性入力部９の代わりに、レンズの光学特性の情報（レンズ仕様情報）が格納されるメモリ２２を備えている。

このような第２の実施の形態のカメラ装置２０によっても、第１の実施の形態と同様の作用効果が奏される。

すなわち、本実施の形態のカメラ装置２０によっても、上記の映像処理装置１と同様、入力映像に複数の動体が含まれる場合に、その複数の動体の映像（メイン映像とサブ映像）を、ピクチャ・イン・ピクチャ形式で重畳した合成映像（ピクチャ・イン・ピクチャ合成映像）として、１つのストリーム（単独ストリーム）で出力することができる。この場合、複数の動体の映像を、ピクチャ・イン・ピクチャ形式で１つのストリームにまとめることができるので、従来のシングルウィンドウ表示のシステムにも適用可能である。また、複数の動体がピクチャ・イン・ピクチャ形式で１つの画面に表示されるので、従来のマルチウィンドウ表示のシステムのように画面数による制限を受けずに、多数の動体を表示することができる。

また、本実施の形態のカメラ装置２０では、広角カメラ用のレンズで撮影した入力映像を用いて、ピクチャ・イン・ピクチャ合成映像を生成することができる。この場合、広角カメラ用のレンズの光学特性に起因する映像の歪みや回転は、切り出し歪み補正部８によって適切に補正される。したがって、例えば、天井に設置された魚眼レンズカメラで撮影された入力映像で、メイン動体やサブ動体の映像に歪みがあり、メイン動体やサブ動体の向きが揃っていない場合でも、ピクチャ・イン・ピクチャ合成映像では、歪みがなくメイン動体やサブ動体の向きが統一された分かりやすい映像を得ることができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

例えば、以上の実施の形態では、カメラ装置が魚眼レンズカメラである場合、すなわち、広角カメラ用のレンズが魚眼レンズである場合について例示したが、本発明の範囲はこれに限定されるものではなく、広角カメラ用のレンズには、標準レンズより広い画角を有するレンズ（魚眼レンズのほかにも、準広角レンズ、広角レンズ、超広角レンズなど）が含まれる。

以上のように、本発明にかかる映像処理装置は、シングルウィンドウ表示のシステムにも適用可能であり、マルチウィンドウ表示のような画面数による制限を受けずに、多数の動体を表示可能であるという効果を有し、所定の監視エリア（店舗や駅の構内など）を監視するシステム等に適用され、有用である。

１ 映像処理装置
２ カメラ装置
３ 映像入力部
４ 動体検出部
５ メインサブ決定部
６ ユーザ入力部
７ サブピクチャ位置決定部
８ 切り出し歪み補正部
９ 光学特性入力部
１０ ピクチャ・イン・ピクチャ合成部（ＰｉｎＰ合成部）
１１ メタデータ重畳部
１２ 映像出力部
２０ カメラ装置
２１ 撮像部
２２ メモリ

Claims (17)

1. 入力映像に含まれる動体を検出するとともに、複数の動体が検出された場合に前記複数の動体の位置を求める動体検出部と、
   前記複数の動体の中から一つのメイン動体と少なくとも一つのサブ動体を決定するメインサブ決定部と、
   前記メイン動体を表示するメイン映像において、前記サブ動体を表示するサブ映像を、ピクチャ・イン・ピクチャ形式で重畳して表示するときのサブピクチャ位置を決定するサブピクチャ位置決定部と、
   前記入力映像から前記メイン映像と前記サブ映像の切り出し処理を行う切り出し部と、
   前記切り出し部により切り出された前記メイン映像の前記サブピクチャ位置に、前記切り出し部により切り出された前記サブ映像をピクチャ・イン・ピクチャ形式で重畳したピクチャ・イン・ピクチャ合成映像を生成する合成映像生成部と、
   前記ピクチャ・イン・ピクチャ合成映像を１つのストリームで出力する映像出力部と、
   を備え、
   前記メイン動体と前記サブ動体との距離に応じて、前記映像出力部は、前記ピクチャ・イン・ピクチャ合成映像もしくは前記サブ映像を重畳しない前記メイン映像を出力することを特徴とする映像処理装置。
2. 前記入力映像は、広角カメラで撮影されたものであり、
   前記映像処理装置は、
   前記切り出し部により切り出された前記メイン映像と前記サブ映像に対して、前記広角カメラのレンズの光学特性に起因する映像の歪みおよび回転を補正する歪み回転補正部を備えたことを特徴とする請求項１に記載の映像処理装置。
3. 前記動体検出部は、前記入力映像を解析することにより、前記複数の動体の相対的な位置を求めるものであり、
   前記サブピクチャ位置決定部は、前記メイン動体に対する前記サブ動体の相対的な位置に応じて、前記サブピクチャ位置を決定することを特徴とする請求項１または請求項２に記載の映像処理装置。
4. 前記メイン映像に含まれていない前記サブ動体が前記メイン動体に近づいて、前記メイン動体と前記サブ動体との間の距離が所定値以下になる場合に、
   前記切り出し部は、前記メイン映像に前記サブ動体が含まれるまでズームアウトした画角で、前記メイン映像の切り出しを行い、
   前記サブピクチャ位置決定部は、前記メイン映像における前記サブ動体の位置を、前記サブピクチャ位置として決定し、
   前記合成映像生成部は、前記メイン映像における前記サブ動体の位置に前記サブ映像を重畳した前記ピクチャ・イン・ピクチャ合成映像を生成した後に、前記ピクチャ・イン・ピクチャ合成映像の生成を停止し、
   前記映像出力部は、前記メイン映像における前記サブ動体の位置に前記サブ映像を重畳した前記ピクチャ・イン・ピクチャ合成映像を出力した後に、前記サブ映像を重畳しない前記メイン映像を出力することを特徴とする請求項３に記載の映像処理装置。
5. 前記メイン映像に含まれている前記サブ動体が前記メイン動体から離れて、前記メイン動体と前記サブ動体との間の距離が前記所定値以上になる場合に、
   前記合成映像生成部は、再び前記サブピクチャ位置に前記サブ映像を重畳した前記ピクチャ・イン・ピクチャ合成映像を生成し、
   前記映像出力部は、前記サブピクチャ位置に前記サブ映像を重畳した前記ピクチャ・イン・ピクチャ合成映像を出力することを特徴とする請求項４に記載の映像処理装置。
6. 前記メイン動体が、第１の動体から第２の動体へ切り替わる場合に、
   前記切り出し部は、前記メイン映像に前記第１の動体と前記第２の動体が含まれるまでズームアウトした画角で、前記メイン映像の切り出しを行った後に、前記メイン映像に前記第２の動体が含まれかつ前記第１の動体が含まれなくなるまでズームインした画角で、前記メイン映像の切り出しを行うことを特徴とする請求項１ないし請求項４のいずれかに記載の映像処理装置。
7. 前記入力映像は、全方位カメラで撮影されたものであり、
   前記切り出し部は、前記メイン映像に前記第１の動体と前記第２の動体が含まれるまでズームアウトするときの画角を広げる方向を、前記第１の動体の方位と前記第２の動体の方位のなす角が小さい方向とすることを特徴とする請求項６に記載の映像処理装置。
8. 前記メインサブ決定部は、前記動体検出部により複数の前記動体が検出された場合に、時系列的に最初に検出された動体を、前記メイン動体として決定することを特徴とする請求項１ないし請求項７のいずれかに記載の映像処理装置。
9. 前記メインサブ決定部は、前記動体検出部により複数の前記動体が検出された場合に、前記複数の動体の各々の位置から求めた前記複数の動体の重心位置に最も近い位置にある動体を、前記メイン動体として決定することを特徴とする請求項１ないし請求項８のいずれかに記載の映像処理装置。
10. 前記メインサブ決定部は、前記動体検出部により複数の前記動体が検出された場合に、ユーザ入力によって定められた動体を、前記メイン動体として決定することを特徴とする請求項１ないし請求項９のいずれかに記載の映像処理装置。
11. 前記メインサブ決定部は、前記動体検出部により複数の前記動体が検出された場合に、前記複数の動体の属性情報に基づいて、前記メイン動体を決定することを特徴とする請求項１ないし請求項１０のいずれかに記載の映像処理装置。
12. 前記切り出し部は、前記メイン映像の切り出し処理を行うときに、前記サブ映像が重畳される部分について切り出し処理を行わないことを特徴とする請求項１ないし請求項１１のいずれかに記載の映像処理装置。
13. 前記合成映像生成部は、現在のフレームのメイン映像またはサブ映像が以前のフレームのメイン映像またはサブ映像から変化していない場合には、以前のフレームのメイン映像またはサブ映像を用いて、前記ピクチャ・イン・ピクチャ合成映像を生成することを特徴とする請求項１ないし請求項１２のいずれかに記載の映像処理装置。
14. 前記メイン動体または前記サブ動体の属性情報を、前記ピクチャ・イン・ピクチャ合成映像にメタデータとして重畳するメタデータ重畳部を備えたことを特徴とする請求項１ないし請求項１３のいずれかに記載の映像処理装置。
15. 撮像部と、
    前記撮像部から入力された入力映像に含まれる動体を検出するとともに、複数の動体が検出された場合に前記複数の動体の位置を求める動体検出部と、
    前記複数の動体の中から一つのメイン動体と少なくとも一つのサブ動体を決定するメインサブ決定部と、
    前記メイン動体を表示するメイン映像において、前記サブ動体を表示するサブ映像を、ピクチャ・イン・ピクチャ形式で重畳して表示するときのサブピクチャ位置を決定するサブピクチャ位置決定部と、
    前記入力映像から前記メイン映像と前記サブ映像の切り出し処理を行う切り出し部と、
    前記切り出し部により切り出された前記メイン映像の前記サブピクチャ位置に、前記切り出し部により切り出された前記サブ映像をピクチャ・イン・ピクチャ形式で重畳したピクチャ・イン・ピクチャ合成映像を生成する合成映像生成部と、
    前記ピクチャ・イン・ピクチャ合成映像を１つのストリームで出力する映像出力部と、
    を備え、
    前記メイン動体と前記サブ動体との距離に応じて、前記映像出力部は、前記ピクチャ・イン・ピクチャ合成映像もしくは前記サブ映像を重畳しない前記メイン映像を出力することを特徴とするカメラ装置。
16. 前記撮像部は、広角カメラ用のレンズを備えており、
    前記カメラ装置は、
    前記切り出し部により切り出された前記メイン映像と前記サブ映像に対して、前記広角カメラ用のレンズの光学特性に起因する映像の歪みおよび回転を補正する歪み回転補正部を備えたことを特徴とする請求項１５に記載のカメラ装置。
17. 入力映像に含まれる動体を検出するとともに、複数の動体が検出された場合に前記複数の動体の位置を求め、
    前記複数の動体の中から一つのメイン動体と少なくとも一つのサブ動体を決定し、
    前記メイン動体を表示するメイン映像において、前記サブ動体を表示するサブ映像を、ピクチャ・イン・ピクチャ形式で重畳して表示するときのサブピクチャ位置を決定し、
    前記入力映像から前記メイン映像と前記サブ映像の切り出し処理を行い、
    切り出された前記メイン映像の前記サブピクチャ位置に、切り出された前記サブ映像をピクチャ・イン・ピクチャ形式で重畳したピクチャ・イン・ピクチャ合成映像を生成し、
    前記ピクチャ・イン・ピクチャ合成映像を１つのストリームで出力する映像処理方法において、
    前記メイン動体と前記サブ動体との距離に応じて、前記ピクチャ・イン・ピクチャ合成映像もしくは前記サブ映像を重畳しない前記メイン映像を出力することを特徴とする映像処理方法。