JP4514185B2 - カメラサーバ装置及びその制御方法、並びにコンピュータプログラム - Google Patents

Description

本発明は、ビデオカメラ等の撮像手段で撮像された映像情報をインターネット等のネットワーク上に配信する技術に関するものである。

カメラからの映像をネットワーク（特にインターネット）経由で多地点、複数人から観察できるシステムがある。例えば、パーソナルコンピュータ（ＰＣ）により制御可能なカメラを接続し、そのリアルタイム撮像映像情報をインターネット上のＷＷＷサーバを通じて、アクセス元に配送するだけでなく、そのカメラの遠隔操作をも許容するシステムである(例えば、特許文献１)。映像を配信する側の装置と映像を見る側の装置は、サーバとクライアントの関係にある。

このような映像配送システムにおいては、不特定多数の利用者(クライアント)に対して映像を配信することを想定しているが少なくない。たとえば、自治体等が観光地や道路の様子を配信するため、その近傍にカメラサーバを設置し、そのカメラサーバが有するカメラで撮影してＷｅｂのホームページでリアルタイム配信したり、店舗が店頭にカメラを配置し生鮮食料品や中古自動車などの店舗の商品を利用者にリアルタイムで配信することで、配信映像そのものをＷｅｂコンテンツとして利用したりしている。

通常のＷｅｂページは画像を貼り付けることはあっても静止画が一般的である。したがって、商品等が代わる等のタイミングでＷｅｂページを更新することが必要になる。かかる点、上記のようにリアルタイム映像配信システムを利用することで、Ｗｅｂページの更新の頻度は少なくでき手間も省けるようになるので、益々その利用が高くなることが予想される。

ところが、不特定多数のクライアントに映像を配信する場合に問題となることがある。すなわち、景色や商品といった本来目的とする映像以外に、当初配信する意図のない観光地に来ている人や店舗に買い物に来ている人の映像なども同時に配信されてしまう点である。すなわち、プライバシーや肖像権の観点での問題である。

かかる問題点を回避するため、カメラのパン角、チルト角、或いはズーム倍率といった操作可能範囲を制限したり、特定のパン・チルト・ズーム範囲において映像配信を禁止したり、解像度を変更したりといった提案がなされている(特許文献２、特許文献３、特許文献４)。
特開平１０-０４０１８５号公報 特開平１０-１６１２１３号公報 特開２００１-１３６５１４公報 特開２００２-２７４２５公報

しかしながら、これまでの技術は、カメラの操作による撮影可能な範囲において、特定の方向或いは場所についての保護を目的とするものであったため、間接的に人物等の動きのあるオブジェクトを含む映像を配送を抑制することはできても、その撮影可能な範囲を越えた場合等に対しては対処せず、動きのあるオブジェクトそのものの配信を抑制するにはいたっていない。

本発明はかかる問題点に鑑みなされたものであり、撮影方向のみによる配送制御ではなく、動きのあるオブジェクトを含む映像についての配送を抑制する技術を提供しようとするものである。

この課題を解決するため、例えば本発明のカメラサーバ装置は以下の構成を備える。すなわち、
カメラ装置と接続し、当該カメラ装置の撮像映像に応じた画像データを、ネットワークに接続中のクライアントに配送するカメラサーバ装置であって、
前記ネットワークを介して接続されるクライアントからの要求に応じて前記カメラ装置のアングルを制御する制御手段と、
前記カメラ装置の撮像映像を画像データとして取得する映像取得手段と、
前記映像取得手段によって取得された前記画像データで表わされる画像中に、動きのあるオブジェクトが含まれるか否かを判断する判断手段と、
動きのあるオブジェクトが前記画像データで表わされる画像中に含まれると前記判断手段によって判断された場合、予め設定したプリセット位置に前記カメラ装置のアングルを変更する変更手段と、
動きのあるオブジェクトが前記画像データで表わされる画像中に含まれると前記判断手段によって判断されたことに起因して前記変更手段が前記カメラ装置のアングルを変更した後、前記変更手段による変更する以前のアングルへの要求が前記クライアントから受信され、前記制御手段による前記カメラ装置の該アングルへの制御を行った場合には、解像度を下げてから画像データを配送する処理手段とを備え、
前記処理手段により前記解像度を下げる処理が行われてから、動きのあるオブジェクトが前記映像取得手段によって取得された画像データで表わされる画像中に含まれないと前記判断手段が判断すると、前記処理手段が解像度を下げる以前の解像度の画像データを前記ネットワークに接続中のクライアントに配送することを特徴とする。

本発明によれば、動きのあるオブジェクトが含まれると判断した場合にそのオブジェクトの存在する領域を加工することで、そのオブジェクトが人間である場合のプライバシーや肖像権を保護することが可能になり、尚且つ、動きのあるオブジェクトが存在しない場合には、加工のない映像を配送することが可能になる。

以下、添付図面にしたがって本発明に係る実施形態を詳細に説明する。

図１は本実施形態のシステム構成図を示している。図中、１−１はカメラサーバ装置、１−２は表示端末であり、いずれもネットワーク１−４を通じて接続されている。また１−３は映像記録装置である。カメラサーバ装置１−１は、表示端末１−２からの要求に応じてネットワーク１−３を通じてリアルタイム映像の配送しつつ、カメラ制御要求を受付け、カメラサーバ装置１−１が有するカメラの遠隔操作を可能にする。また、必要に応じて映像記録装置１−３にカメラサーバ装置１−１の映像を保存するようになっている。

表示端末１−２は複数存在し、それぞれがネットワーク１−３に接続されていて、カメラサーバ装置１−１に対してそれぞれの表示端末１−２が同時にアクセスして映像を見ることができるようになっているものとする。カメラサーバ装置１−１についても同様であり、複数存在し得る。そして、それぞれの表示端末１−２は、接続するカメラサーバ装置１−１を選択できるようになっているものとする。

ただし、本実施形態では、説明を簡単なものとするため、カメラサーバ装置と表示端末が各々１台ずつと仮定して説明することとする。

また、ネットワーク１−４に関しては、後で述べる圧縮した映像データおよびカメラ制御データを通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればなんでもよい。なお、ここではネットワークプロコルとしてTCP/IP(UDP/IP)プロトコルを仮定し、以下アドレスといった場合にはIPアドレスを指すこととする。また、カメラサーバ装置１−１、表示端末装置１−２共にIPアドレスを割り当てられているものとする。

以下、それぞれの装置の構成について述べる。

カメラサーバ装置１−１は、ＣＣＤ等を用いデジタル映像信号として映像を取得することができる画像撮像部１−１１、画像撮像部１−１１からの入力映像に対して必要に応じたぼかし処理を施す画像処理部１−１２、映像を圧縮する画像圧縮部１−１３、画像撮像部１−１１のパン角(Ｐ)、チルト角（Ｔ）、ズーム倍率（Ｚ）を駆動・制御するＰＴＺ駆動制御部１−１６、操作端末１−２との映像配送やカメラ制御のための接続状態を管理する接続管理部１−１４、ネットワーク１−４を経由して操作端末１−２と映像配送やカメラ制御データの通信を制御する通信制御部１−１５から構成される。

カメラサーバ装置１−１は、映像撮像部１−１１で撮影したデジタル映像を取り込んだ後、必要に応じたぼかし処理を施してMotion JPEG形式で圧縮し、接続されているすべての表示端末１−２へ圧縮映像の配送をおこなう。さらに映像記録装置１−３に対しては、ぼかし処理を行わないで圧縮のみを施した映像を配信する。また、表示端末１−２からのカメラ制御コマンドを受け付け、コマンドに従って撮像部１−１１のパン・チルト・ズームを制御する。

なお、ここでは映像の圧縮形式として、MotionJEPG圧縮としたが、より圧縮率の高いフレーム間差分を用いたMPEG４などの圧縮形式であってもかまわない。本実施形態として圧縮形式にこだわるものではない。

また、先に説明したように、カメラサーバ装置１−１には不特定多数の表示端末１−２が接続可能である。したがって、複数の表示端末１−２のうちの１つのみが、カメラサーバ装置１−１が有する画像撮像部１−１１の遠隔操作する権利（以下制御権という）を有するように制御することが必要になる。この制御権の与え方は、接続中の表示端末１−２から制御権取得要求を受信した際、その中の最先の１つのみに所定時間だけ与え、それ以外からの要求を拒否する。そして、その所定時間が経過したとき、もしくは、制御権を有した表示端末が積極的に制御権を放棄指示要求があったとき、それ以降に制御権取得要求があった場合、その最先の表示端末に所定時間だけ制御権を与えるようにした。

図１０はカメラサーバ装置１−１の具体的な構成を示すブロック構成図であり、パーソナルコンピュータ（＝ＰＣ：汎用情報処理装置）をその基礎にした場合を示している。図示において、１は装置全体を制御するＣＰＵであり、２はブートプログラムやＢＩＯＳを記憶しているＲＯＭ、３はＣＰＵ１のワークエリア（ＯＳやカメラサーバとして機能するプログラムもここにロードされ、実行される）として機能するＲＡＭである。４はＯＳ、カメラサーバプログラム、更には、各各種データ（接続中の表示端末のアドレス等）を記憶するハードディスクドライブ（ＨＤＤ）である。５は撮像手段（画像撮像部１−１１）として機能するカメラ装置９と情報通信するためのカメラインタフェースであり、６は通信制御部１−１５としてのネットワークインタフェースである。７はキーボード（ＫＢ）及びマウス（商標）等のポインティングデバイス（ＰＤ）であり、８は表示装置である。

カメラ装置９は、カメラ本体９ａと雲台９ｂで構成され、カメラ本体９ａは光学レンズや絞りユニット、ＣＣＤ等を搭載し、ＡＦ，ＡＥ並びにズーム機能を有する。また、雲台９ｂには、カメラ本体９ａのチルト角及びパン角を制御するモータを内蔵する。また、カメラ装置９には、装置全体の制御を司るコントローラを内蔵し、カメラ本体９ａのズーム倍率、ＡＥ、ＡＦ、及び、雲台のパン角／チルト角を外部（図示の場合はＰＣ）からの指示コマンドに応じて制御し、尚且つ、カメラ本体９ａで撮像した映像データをＰＣに出力する処理を行う。カメラ装置９とＰＣとのインタフェースは、如何なるものでも良いが、カメラ装置９が撮像画像をデジタルデータとして出力するのであればＵＳＢや、ＩＥＥＥインタフェースで構わない。また、アナログ映像信号を出力するのであれば、ＰＣ側にはビデオキャプチャカードを装着することでＰＣ内部にてデジタル映像信号に変換するようにすればよいであろう。

上記構成において、ＣＰＵ１が図１における画像撮像部１−１１、通信制御部１−１５を除く各構成要素を実現することになる。

一方、表示端末１−２であるが、この表示端末１−２も基本的にはパーソナルコンピュータにより実現できるものであるので、そのブロック図は図１０とほぼ同様（但し、カメラ装置やカメラインタフェースは必須ではない）であるので、その説明については省略し、その機能について説明に留めることとする。

図２は表示端末１−２が有する表示装置に表示されるユーザインタフェースを示し、図１を参照して説明する。

カメラサーバ装置１−１から配送されてきた圧縮映像データを通信制御部１−２１を通じて受信し、映像伸長部１−２２で伸長処理し、映像表示部１−２３で図２の映像表示枠２−１内に表示する。

また、表示端末１−２の画面には、映像表示枠２−１以外に図示の操作パネル２−２が存在し、ここには以下に説明するカメラの遠隔操作に関する各種ボタンやスクロールバー（マウス（商標）等のポインティングデバイスで操作されるオブジェクト）が表示される。

図示において、２−２３、２−２４、２−２５のスクロールバー操作で、スクロールバーのツマミをドラッグ操作することで、カメラのパン角、チルト角、ズーム倍率を制御できるようになっている。また２−２６〜２−２９のボタンでもカメラのパン・チルト制御可能である。また、ボタン２−２１は、接続中のカメラサーバ装置に対して制御権要求を送信させるためのものであり、ボタン２−２２は制御権放棄要求（他のユーザに制御権を譲る要求）を行うためのものである。なお、スクロールバー２−２３〜２−２５、ボタン２−２６〜２−２９は、ボタン２−２１をクリックして制御権が得られた場合にのみ操作可能となる。したがって制御権がない場合にはこれらのオブジェクト２−２３〜２−２９は操作不可である。具体的には、制御権を得ていて所定時間経過したときにカメラサーバ装置１−１から制御権が無くなった旨の情報を受けとったとき、もしくは、ボタン２−２２をクリックし、その旨をカメラサーバ装置１−１に通知し、そのカメラサーバ装置１−１からアクノリッジが返った場合が、「制御権がない」場合に相当する。

なお、表示端末１−２からカメラサーバ装置１−１に対して送信する要求は、次の通りである。
映像表示開始要求： 表示端末１−２がカメラサーバ装置１−１に接続した際に発行するコマンド、
映像表示停止要求： 表示端末１−２がカメラサーバ装置１−１と非接続状態にする際に発行するコマンド、
カメラ制御開始要求： ボタン２−２１がクリックされた場合に発行するコマンド、
カメラ制御停止要求： ボタン２−２２がクリックされた場合に発行するコマンド（ただし、制御権が与えられているときのみボタン２−２２は有効になる）、
カメラ制御要求： スクロールバー２−２３〜２−２５、或いは、ボタン２−２６〜２−２９が操作された場合に発行するコマンド（ユーザからの指示要求量、すなわち、指示されたパン角やズーム等のアングル情報が含まれる）である。

以上、実施形態におけるカメラサーバ装置１−１及び表示端末１−２の基本的な処理内容を説明した。次に、本実施形態におけるカメラサーバ装置１−１の映像配送処理の内容をより詳しく説明する。

図３（ａ）は映像取得から表示端末に向けて配送までのフローである。

先ず、各種構成要素を初期化（ステップＳ３０１）した後、画像撮像部１−１１から映像を１フレームごとに取得する(ステップＳ３０２)。次いで、画像処理部１−１２で取得映像を１フレームずつ後述のようなぼかし処理（ステップＳ３０３）を施した後、JPEG圧縮し（ステップＳ３０４）、配送できる形の映像データパケットに整形して（ステップＳ３０５）、接続されているすべての表示端末に対して映像を配送する（ステップＳ３０６)。この配送においては、本カメラサーバ装置１−１に映像表示開始要求を送信してきたＩＰを不図示のＲＡＭに記憶し、その記憶されたＩＰアドレスに配送することで行う。ただし、映像表示停止要求があった場合には、ＲＡＭよりその該当するＩＰアドレスを消去し、配送対象から除外する。

図３（ｂ）は、予め設定登録されている映像記録装置１−３に配送する処理手順を示している。図３（ｂ）と図３（ａ）との違いは、画像処理部でのぼかし処理を省いた点のみである。したがって、同図によれば、映像記録装置１−３にはぼかしのない映像が配信され、記録されることになる。なお、こちらの映像配信先については、別途管理されている特別送信先リストに登録されている登録先に送ればよい。特別送信先リストへの登録に関しては、一般の表示端末が勝手に登録できないような仕組みで保護されているものとする。

なお、表示端末のうち特別なものを用意し、別途特別送信先リストに登録しておけば、ぼかしのない映像を見ることができる。これにより、証拠映像の記録のためやシステム管理者に対しては、ぼかしのない映像を確認することが可能となる。

次に、図３（ａ）におけるステップＳ３０３、すなわち、実施形態における画像処理部１−１２におけるぼかし処理であるが、これは図４の処理手順で行われる。すなわち、撮像画像中の、人物（部分）領域を検出し（ステップＳ４０１）、検出された領域についてぼかし処理を行う（ステップＳ４０２）。

ここで、人物領域の検出及びぼかし処理は、下記の如くいくつかの方法があり、それぞれについて説明する。
方法１) 背景画像差分により、差分として得られた領域を人物領域とみなしぼかす。
方法２) フレーム間差分による動き検出領域を人物領域とみなしぼかす。
方法３) 人物の肌色に相当する色を含む領域をぼかす。
方法４) 人物の顔領域を抽出して、顔領域をぼかす。

＜方法１＞
方法１は、例えば図５に示す処理手順で実現できる。

先ず、前処理として、カメラ装置９の雲台を制御し、異なるパン角、チルト角（このとき、ズームはワイド端＝最大ズーム）で、撮像画像が近接もしくは一部オーバーラップするように撮影し、それらをつなぎ合わせて１枚の大きな背景画像（以下、パノラマ背景画像という）を作成し、それをＨＤＤ４に記憶保存しておく。このとき作成するパノラマ背景画像中には、人物が入っていないものとする。ただし、人物が入っていても、その人物が特定できない程度に小さければ構わない。このパノラマ背景画像を生成する手法としては、本願出願人が特開２００１−１３６５１４公報として既に提案しているので参照されたい。

さて、実際の動作時（表示端末による遠隔操作時）、カメラ装置９の現在のパン角、チルト角、ズーム値(p, t, z)はＲＡＭ３に随時記憶保持しておくようにし、それを読出す（ステップＳ５０１）。そして、読出したＰ、Ｔ、Ｚ（以下、これらをまとめてアングル情報という）の値により、画角が決定されるから、その画角に対応する画像データをパノラマ背景画像から切り出し（ステップＳ５０２）、現在のアングル情報に基づいて適宜マッピングして入力画像サイズと同一サイズの無人の参照画像（これを合成背景画像とよぶ）を生成する（ステップＳ５０３）。

合成背景画像が生成されると、その合成背景画像の各画素と、現在撮像して得た画像の該当する位置の画素の値の差分を計算する。そして、差分値の絶対値が予め設定された閾値以上ある画素をぼかし対象画素とするために、マスク画像データを生成する(ステップＳ５０５)。このマスクデータは入力画像サイズと同一で、１画素につき１ビット（２値）のデータであって、ぼかす部分（差分値の絶対値が閾値以上）の画素値が１、そうでない部分の画素値が０である。このマスクデータの１となっている画素位置をぼかす対象とする。図７は、このマスクデータの一例を示している。同図では、撮像画像が２０×２０画素であるものとしているが、勿論、現実では数百画素×数百画素になる。また、同時において、白升が０、塗りつぶした升が１の画素を示している。

なお、その人物を特定することができないほど、撮像画像中の人物像が小さい、すなわち、マスクデータ中の１となっている部分の面積（１が連続している部分の画素数）が所定の閾値以下であれば、プライバシーの問題とはならないと判断し、ステップＳ５０７において、マスクデータをクリアする（全画素０にする）。このようにすると、例え人物が撮像画像中に存在しても、十分に小さい場合、その人物はぼかし対象外とすることができ、より自然な画像を提供できるようになる。

また、上記ではパノラマ背景画像を１つ用意する例を説明した。これは、パノラマ背景画像の対象が屋内である場合に特に有効なものである。なぜなら、時間や天候に左右されないからである。

そこで、ステップＳ５０７の処理の後、変化無しと判断された領域についてはパノラマ背景画像を更新するようにしてもよい。この結果、時刻や天候といった要因で変化する場合にも追従できるようになる。

なお、特に、パノラマ背景画像が屋外の場合には、複数の状況に応じたパノラマ背景画像を用意し、その中の１つを選択することが望まれる。この際に、有効な手法としては、例えばパノラマ背景画像中に人物等が位置することがあり得ない座標（アングル情報）を予め登録しておき、定期的にその座標位置の輝度や色相を検出し、それに最も近似する同位置の画像を有するのパノラマ背景画像を選択するようにすればよいであろう。用意するパノラマ背景画像の数にもよるが、実際に撮影した際の輝度や色相と完全に一致するパノラマ背景画像が存在しない場合には、近似するものを選択し、尚且つ、人物か否かを判断するための閾値を適当に調整するようにすればよい。以上のようにすると、屋外であっても、適切なパノラマ背景画像を選択でき、正確なマスクデータを作成することが可能になる。

＜方法２＞
この方法は、フレーム間差分による動き検出領域を人物領域とみなすものである。人物が静止したときにも検出できるよう、動きが停止してから一定時間以上静止状態を保持するものでなければ人物とみなすようにする。処理としては図６に示すフローチャートにしたがって処理する。

先ず、フレーム間差分なので直前の画像フレームを保持しておき、現入力画像フレームとの差分計算をし(ステップＳ６０１)、変化のある領域を検出する(ステップＳ６０２)。より具体的には、変化のある箇所を１とし、変化のない箇所を０とする２値画像を生成する。このとき、変化領域が複数ある場合もあるので、１が連続する外接矩形を見出し、その外接矩形の領域を分割する（ステップＳ６０３)。この結果、離れている変化領域を別の領域（別々の人物）として扱うことができる。それぞれ分割された領域は基本的には別々な人物であると考え、分割された各変化領域に以下の処理を行う（ステップＳ６０４）。

まず領域（動きありと判断した外接矩形）ごとに重心を求め、重心位置が時間経過に伴い移動しているかどうか調べる(ステップＳ６０６)。重心が移動していれば、人物とみなしこの変化部分に対応したサブマスクを生成する(ステップＳ６１０)。サブマスクとは、部分領域のみのマスクを指す。重心が静止している場合には、変化領域の形状が前フレームの変化領域と異なるか否か確認し(ステップＳ６０８)、変化があれば人物とみなす。そうでなければ、形状変化が一定時間(一定の入力画像フレーム枚数分)ないかどうか過去のフレームとの比較により確認し(ステップＳ６０９)、一定時間を経ても形状変化がなければ、人物でないとみなす。一定時間経過するまでは、人物であるとみなしておき、人物領域としてサブマスクを生成する(ステップＳ６１０)。なお、サブマスク面積が一定値以下なら、個人の特定はできないとみなしてサブマスクはクリアする(ステップＳ６１２)。以上を全分割領域に対して実施し、全サブマスクのデータの画素論理和演算をおこなうことでマスク画像データができる(ステップＳ６１４)。

上記方法２の処理によれば、方法１の処理と比較して、多少処理が複雑になるものの、パノラマ背景画像を記憶する領域が不要になる。

＜方法３＞
この方法は、画像中から人物の肌色に近い色を有する領域を抽出して、各肌色領域ごとに領域の内側をすべてサブマスクとする方法である。目や口は塗りつぶされることになる。サブマスク以降の処理は方法２と同様である。

この場合、背景画像中に人物に似た色が存在する場合には、その色のある部分についても人物として誤判断される可能性があるものの、現フレームについてのみ判断すれば良いので、処理内容は大幅に単純化できる。

＜方法４＞
この手法は、ニューラルネット等の手法により人物の顔領域を抽出して、顔領域に相当するサブマスクを生成する方法である。サブマスク以降の処理は方法２と同様である。

以上方法１乃至４について説明したが、これらは各々独立したものとしても、適宜組ウ合わせて人物領域に対応したマスク画像データを生成しても良い。

＜ぼかし処理＞
次に、実施形態におけるぼかし処理について説明する。

これまでの説明からわかるように、ぼかし処理対象はマスク画像データ中の１となっている画素を含む領域である。

先ず、もっとも単純な処理は、マスク画像データ中の１となっている位置に対応する撮像画像中の画素を所定のデータに置換えるものであろう。しかし、これだと、カメラで撮像した自然画像中に、それとは全く無関係な色の画素で構成されるオブジェクトが存在することになり、表示端末を見ているユーザが違和感を抱きかねない。そこで、実施形態では次のようにした。

一般的に画像データを転送する際には、ＪＰＥＧやＭＰＥＧ等を利用して圧縮符号化することになる。すなわち、撮像画像データは、ＤＣＴ変換、量子化、そして、エントロピー符号化を経て圧縮符号化する。ＤＣＴ変換は、適当な画素ブロック（８×８画素が一般的）であるので、その画素ブロックに該当する領域のマスク画像データ中にｎ個以上“１”となっている画素が存在するとき、その画素ブロックの量子化ステップを粗くするようにした。或いは、マスク画像中の１となっている画素の数に応じて量子化ステップの粗さを変動させてもよい。この結果、極力、原画像の雰囲気を保ちつつ、人物と考えられる部分をぼかすことが可能となる。

なお、ぼかす処理は、これに限らず、ｍ×ｍ画素を平均化する手法でも良いし、先に説明した方法１で人物の判定をおこなっている場合には、ステレオ背景画像から現在の画角に合わせて切り出した背景画像の一部で置き換えてもよい。

以上の様に本実施形態によれば、複数ユーザにリアルタイム映像を配送するようなシステムにおいて、人物がカメラ撮像範囲に入ってきた場合には、人物の部分のみぼかす処理を施すことで、映像配信しながらプライバシー保護、肖像権保護を図ることが可能である。また、別途ボカシ処理を施さない映像を一般のユーザ以外に配信する機構を設けることで、証拠映像の記録やシステム管理者には、ぼかしのない映像を提供することが可能となる。

＜第２の実施形態＞
上記実施形態（第１の実施形態）では、カメラ制御が可能なカメラを前提としていたが、本第２の実施形態ではカメラのアングルを遠隔操作できない、もしくは、パン角やチルト角が変更できないカメラを前提にする。

カメラサーバ装置１−１としては、図１０の構成で、カメラインタフェース５がビデオカメラ装置９からの映像データを受信するのみとなる点で異なる。図１に対して説明するのであれば、ＰＴＺ駆動制御部がなく、図２の操作画面ではカメラ制御パネル２−２がないことになる。

この結果、カメラの画角が変わらないため、先の第１の実施形態の方法１と比較して、より高い精度で人物検出が可能となる。

本第２の実施形態におけるカメラサーバ図３の映像配送処理は、図８に示す手順になる。

図８では、まず背景画像と現在入力画像との画素毎の差分を計算し（ステップＳ８０１）、各画素において差がある閾値を越えた場合には、新たな物体つまり人物が画像中に入ってきたものとみなし、その部分をぼかし処理のためのマスク画像データとして作成する（ステップＳ８０２）。マスク画像の生成処理の後は、第１の実施形態と同様である。なお、本第２の実施形態では、たとえば直前のｎフレームの平均画像を背景画像とする。平均画像とは、各画素位置における過去ｎフレームの画素の平均値からなる画像である。ここで、ｎは整数であり値が大きいほど静止している時間が長い人物に対応できる。なお、初期状態においては、背景画像はクリア、すなわち全画素白（ないし黒）に設定されており、システム起動から１フレーム目では、ほとんどの画素が異なるためマスク画像となる。また、そして、ｍフレーム目(ｍ＜ｎとする)においては、ｍフレーム時点での平均画像を背景画像とするので、その間、動きがある部分以外は安定した背景画像として落ち着いてくる。入力フレーム数とともに動きのある部分は背景画像から除外されるようになる。

マスク画像の面積が一定以上の時に、変化領域に対して第１の実施形態における合成背景画像で置き換える処理と同様に、マスク画像データに相当する部分を最新の背景画像データでおきかえる。マスク画像の面積が一定面積に達していない場合には、ぼかし処理を行わない。なお、図８では背景画像の更新は毎フレーム平均化処理に組み入れるようになっているが、マスク画像の面積が一定面積に達してないときにのみ、つまり動きがないときのみ入力画像を背景画像の更新に用いるようにしてもよい。また、背景画像を生成する処理では、よりよく動きのあるものを排除できるようある程度重み付けを変えた平均(加重平均)画像であってもよい。なお、本第２の実施形態は第１の実施形態よりも処理が軽いという効果がある。

以上の如く本第２の実施形態によっても、人物がカメラ撮像範囲に入ってきた場合には、人物の部分のみ背景画像に置き換える処理を施すことで、映像配信しながらプライバシー保護、肖像権保護を図ることが可能である。また、別途背景画像への置き換え処理を施さない映像を一般のユーザ以外に配信する機構を設けることで、証拠映像の記録やシステム管理者には、オリジナルの映像を提供することが可能となる。

＜第３の実施形態＞
本第３の実施形態では、第１、第２のにおいて、ぼかし処理、背景画像による動き部分の置き換え処理の変わりに、別な画像に置き換える処理を施すものである。これは、映像に対して一部だけぼかし処理等を施すと不自然な印象を与える場合もあるので、画像全体を別な画像に置き換えてしまうというものである。

この場合、人物がカメラの撮影範囲内に入ったとみなした時には、事前に準備した画像に配信映像を切り替える処理を施す。事前に準備する画像（ＨＤＤ４に予め保存していく）としては、たとえば事前に撮影したその方向にあると思われる商品等のオブジェクトを含む画像とする。用意する画像は静止画でも動画でもかまわない。そのため、図９のような対応表を用意する。図９は、パン・チルト・ズームの値の範囲とその範囲内に現在のパン・チルト・ズーム値があるときに置き換えるべき画像の対応を示す表（ＨＤＤ４に予め記憶してあるテーブル内容）である（図示の場合は静止画）。パン・チルト・ズーム値の範囲は、（Pa、Ta、Za）−(Pb、Tb、Zb)のような形で与えられている。Pa、Ta、Za、およびPb、Tb、Zbはそれぞれパン・チルト・ズーム値を示す。＊は、これらのいずれの範囲にも該当しない場合に置き換えるべき画像を示している。人物がカメラ撮影範囲内に入ったときに、現在のパン・チルト・ズーム値からこの表をもとにして置き換えるべき画像を呼び出し、配信すればよい。なお、第２の実施形態のようなカメラ制御可能でないカメラにおいては、置き換える画像はひとつ用意するだけでよいことになる。

本第３の実施形態では、人物がカメラ撮像範囲に入ってきた場合には、あらかじめ用意した画像に置き換える処理を施すことで、映像配信しながらプライバシー保護、肖像権保護を図ることが可能である。また、別途他の画像への置き換え処理を施さない映像を一般のユーザ以外に配信する機構を設けることで、証拠映像の記録やシステム管理者には、オリジナルの映像を提供することが可能となる。

＜第４の実施形態＞
また、さらに別な実施方法として、人物が写っているときにぼかし処理やあらかじめ用意した別な画像に切り替えるのではなく、
１）広角や遠景から撮影するような別なカメラ映像に自動的に切り替える
２）ズーム倍率を強制的に低く設定しなおす
３）あらかじめ設定したカメラプリセット位置にカメラ制御をする
等の方法を施してもよい。

１)の場合には、カメラサーバ装置１−１に２つめの画像撮像部１−１１'を設け２つの画像撮像部１−１１と１−１１'とを人物が写っているか否かで切り替えるような仕組みを用意するか、別なカメラサーバ装置に再接続するような仕組みを通信制御部１−１５に設ければよい。

２)、３）の場合には、画像処理部１−１２での検出結果からPTZ起動制御部１−１６を制御するような仕組みを新たに設けることになる。人物の検出時に強制的にたとえばズーム倍率を最低にする、人物の写らない方向に向けるといった制御を行う。

なお、強制的に上記のよう制御を行ったあと、再び人が写る方向に戻すようにカメラ制御を表示端末１−２から実施された場合には、すぐに映像配信を開始するのではなく、最初はたとえば配信映像の解像度を落としておき、人物が写っていないと判断したときのみ、正常の解像度を落とさない配信映像の切り替え、写っていると判断した場合には、上記１)〜３)を再実行すればよい。

なお、本実施形態において人が写っているか否かの処理については、基本的には第１、第２の実施形態と同様の方法をとるものとしている。ただし、２)、３)では第２の実施形態の方法は取れない。しかしながら、人が写っているか否かの判断の処理は、画像中の動きがあったら人が写っているとみなす等、より簡便な方法であってもよいものとする。

以上、本第４の実施形態によれば、人物がカメラ撮像範囲に入ってきた場合には、カメラ切り替えやズーム倍率変更処理を施すことで、映像配信しながらプライバシー保護、肖像権保護を図ることが可能である。なお、カメラ切り替え処理の場合にはカメラ切り替えしない映像を一般のユーザ以外に配信する機構を設けることで、証拠映像の記録やシステム管理者には、元のカメラ映像を提供することが可能となる。

以上各実施形態について説明したが、本発明が適用するカメラサーバ装置１−１は図１０で示したように、カメラ装置を接続するものの、その制御処理はパーソナルコンピュータ等の汎用情報処理装置上で実行されるカメラサーバプログラムによって実現できるものである。したがって本発明はかかるコンピュータプログラムをもその範疇とするのは明らかである。また、通常、コンピュータプログラムは、ＣＤＲＯＭ等のコンピュータ可読記憶媒体をそのコンピュータにセットし、システムにコピーもしくはインストールすることで実行可能となるわけであるから、そのようなコンピュータ可読記憶媒体も本発明の範疇に含まれるのは明らかである。

実施形態における映像配送システムのブロック構成図である。 図１における表示端末１−２が有する表示装置に表示されるユーザインタフェースを示す図である。 同図（ａ）カメラサーバ装置１−１から表示端末１−２への映像配送の処理手順を、同図（ｂ）は映像記録装置への映像配送処理を示すフローチャートである。 実施形態における画像処理部１−１２におけるぼかし処理の処理手順を示すフローチャートである。 実施形態におけるぼかし対象であるマスク画像生成処理手順を示すフローチャートである。 実施形態におけるぼかし対象であるマスク画像生成処理手順の他の例を示すフローチャートである。 マスク画像の一例を示す図である。 第２の実施形態におけるマスク画像生成処理手順を示すフローチャートである。 第３の実施形態におけるアングル情報と置換え画像のテーブル内容を示す図である。 実施形態におけるカメラサーバ装置の具体的なブロック構成図である。

Claims (7)

1. カメラ装置と接続し、当該カメラ装置の撮像映像に応じた画像データを、ネットワークに接続中のクライアントに配送するカメラサーバ装置であって、
   前記ネットワークを介して接続されるクライアントからの要求に応じて前記カメラ装置のアングルを制御する制御手段と、
   前記カメラ装置の撮像映像を画像データとして取得する映像取得手段と、
   前記映像取得手段によって取得された前記画像データで表わされる画像中に、動きのあるオブジェクトが含まれるか否かを判断する判断手段と、
   動きのあるオブジェクトが前記画像データで表わされる画像中に含まれると前記判断手段によって判断された場合、予め設定したプリセット位置に前記カメラ装置のアングルを変更する変更手段と、
   動きのあるオブジェクトが前記画像データで表わされる画像中に含まれると前記判断手段によって判断されたことに起因して前記変更手段が前記カメラ装置のアングルを変更した後、前記変更手段による変更する以前のアングルへの要求が前記クライアントから受信され、前記制御手段による前記カメラ装置の該アングルへの制御を行った場合には、解像度を下げてから画像データを配送する処理手段とを備え、
   前記処理手段により前記解像度を下げる処理が行われてから、動きのあるオブジェクトが前記映像取得手段によって取得された画像データで表わされる画像中に含まれないと前記判断手段が判断すると、前記処理手段が解像度が下げる以前の解像度の画像データを前記ネットワークに接続中のクライアントに配送する
   ことを特徴とするカメラサーバ装置。
2. 前記判断手段は、
   動きのあるオブジェクトが存在しない画像データを背景画像データとして記憶保持する記憶手段と、
   前記映像取得手段より取得された現画像データと前記記憶手段に記憶された背景画像データとの画素値の差分を演算する演算手段とを備え、
   前記演算手段によって画素値の差分が閾値以上の画素位置を前記動きのあるオブジェクトの画素位置として判断し、画素値の差分が前記閾値より小さい画素位置を前記動きのあるオブジェクトではない画素位置と判断する、
   ことを特徴とする請求項１に記載のカメラサーバ装置。
3. 前記記憶手段は、前記カメラ装置の前記アングルを変更して撮像した画像データを連結したパノラマ画像データを記憶し、
   前記判断手段は、前記パノラマ画像データから前記カメラ装置のアングルに対応する画像データを切り出し、当該切り出した画像データを前記背景画像データとして前記動きのあるオブジェクトが含まれるか否かを判断する
   ことを特徴とする請求項２に記載のカメラサーバ装置。
4. 前記判断手段は、
   過去のフレームの画像データと現フレームの画像データとの差分を演算する演算手段を備え、
   該演算手段によって差分が閾値以上の画素位置を前記動きのあるオブジェクトの画素位置として判断し、差分が前記閾値より小さい画素位置を前記動きのあるオブジェクトではない画素位置と判断する
   ことを特徴とする請求項１に記載のカメラサーバ装置。
5. 前記判断手段は、前記映像取得手段により取得された画像データ中に所定色の画素があるとき、当該画素が動きのあるオブジェクトの一部であると判断することを特徴とする請求項１に記載のカメラサーバ装置。
6. カメラ装置と接続し、当該カメラ装置の撮像映像に応じた画像データを、ネットワークに接続中のクライアントに配送するカメラサーバ装置の制御方法であって、
   前記ネットワークを介して接続されるクライアントからの要求に応じて前記カメラ装置のアングルを制御する制御工程と、
   前記カメラ装置の撮像映像を画像データとして取得する映像取得工程と、
   前記映像取得工程によって取得された画像データで表わされる画像中に、動きのあるオブジェクトが含まれるか否かを判断する判断工程と、
   動きのあるオブジェクトが前記画像データで表わされる画像中に含まれると前記判断工程により判断された場合、予め設定したプリセット位置に前記カメラ装置のアングルを変更する変更工程と、
   動きのあるオブジェクトが前記画像データで表わされる画像中に含まれると前記判断工程によって判断されたことに起因して前記変更工程が前記カメラ装置のアングルを変更した後、前記変更工程による変更する以前のアングルへの要求が前記クライアントから受信され、前記制御工程による前記カメラ装置の該アングルへの制御を行った場合には、解像度を下げてから画像データを配送する処理工程とを備え、
   前記処理工程により前記解像度を下げる処理が行われてから、動きのあるオブジェクトが前記映像取得工程によって取得された画像データで表わされる画像中に含まれないと前記判断工程によって判断すると、前記処理工程が解像度を下げる以前の解像度の画像データを前記ネットワークに接続中のクライアントに配送する
   ことを特徴とするカメラサーバ装置の制御方法。
7. カメラ装置を接続したコンピュータに読み込ませ実行させることで、前記コンピュータを、前記カメラ装置の撮像映像に応じた画像データを、ネットワークに接続中のクライアントに配送するカメラサーバ装置として機能させるコンピュータプログラムであって、
   前記コンピュータを、
   前記ネットワークを介して接続されるクライアントからの要求に応じて前記カメラ装置のアングルを制御する制御手段、
   前記カメラ装置の撮像映像を画像データとして取得する映像取得手段、
   前記映像取得手段によって取得された前記画像データで表わされる画像中に、動きのあるオブジェクトが含まれるか否かを判断する判断手段、
   動きのあるオブジェクトが前記画像データで表わされる画像中に含まれると前記判断手段によって判断された場合、予め設定したプリセット位置に前記カメラ装置のアングルを変更する変更手段、
   動きのあるオブジェクトが前記画像データで表わされる画像中に含まれると前記判断手段によって判断されたことに起因して前記変更手段が前記カメラ装置のアングルを変更した後、前記変更手段による変更する以前のアングルへの要求が前記クライアントから受信され、前記制御手段による前記カメラ装置の該アングルへの制御を行った場合には、解像度を下げてから画像データを配送する処理手段として機能させ、
   前記処理手段により前記解像度を下げる処理が行われてから、動きのあるオブジェクトが前記映像取得手段によって取得された画像データで表わされる画像中に含まれないと前記判断手段が判断すると、前記処理手段が解像度を下げる以前の解像度の画像データを前記ネットワークに接続中のクライアントに配送する
   ことを特徴とするコンピュータプログラム。

Images