JP6357595B2 - 情報伝送システム、情報受信装置、およびコンピュータプログラム - Google Patents

Description

本発明は、カメラで取得された映像情報を伝送するシステムに関する。

近年、防犯等の目的で、ショッピングセンターや街頭等の様々な場所に監視カメラが設置されている。これらのカメラで撮影された映像は、ネットワークを介して遠隔地の集中監視センター等にリアルタイムで送られ、モニタに表示される。

従来、このようなカメラの映像を伝送する際には、ネットワークの通信帯域を有効に利用するために、図１０に示すように、撮影された映像信号を、映像圧縮装置により所定の規格（例えば、Ｈ．２６４またはＭＰＥＧ２等）にしたがって圧縮してから伝送する。そして、伝送先において、映像復号装置により、受信した映像信号を当該規格にしたがって復号する。このような監視カメラの映像信号の圧縮と復号を利用した発明は、例えば下記の特許文献１等に開示されている。また、特許文献２には、画像中の人物と背景とを画像認識装置で個別のオブジェクトに分解し、変換画像選択部でオブジェクト毎に他の画像へ変換して送信できるようにする技術が開示されている。

特開２００７− ６００２２号公報

しかしながら、上述のような画像圧縮技術を利用したとしても、データの圧縮率には限界があるので、例えば複数台の監視カメラからの映像をリアルタイムに伝送する場合には、依然として幅広い帯域が必要になるという課題がある。

本発明は、このような課題を鑑み、カメラからの映像を伝送する際に、ネットワークの通信帯域の有効利用を可能とする技術を提供する。

上記の目的を達成するために、本発明にかかる情報伝送システムは、
少なくとも１台のカメラで写した映像内の被写体である人物の画像を、人体の部位に相当する複数のパーツに分割し、各パーツから特徴点を抽出する特徴点を抽出して特徴情報として出力する特徴点抽出部と、
カメラの撮影範囲における被写体の座標情報を取得する座標情報付加部と、
特徴情報および座標情報をネットワークへ送出する情報送信部と、
ネットワークから特徴情報および座標情報を受け取る情報受信部と、
特徴情報に基づいて被写体のアバター画像を生成する動態生成部であって、アバター画像のデータを、身長や体形を標準に設定したときの複数のパーツに対応したアバター断片に分割して記憶するアバター画像データ記憶手段を備え、人物の対応するパーツについて抽出された身長及び体形を含む特徴点の情報に基づいてアバター画像のアバター断片を補正した後、その補正後のアバター断片を統合してアバター画像を生成する動態生成部と、
カメラの撮影範囲の背景を表す背景画像に、座標情報に基づいてアバター画像を合成することにより、合成画像を生成する画像合成部と、を備えたことを特徴とする。

この構成によれば、被写体から抽出した特徴点の特徴情報と、カメラの撮影範囲における被写体の座標情報とがネットワークへ送出される。そして、この特徴情報に基づいて被写体のアバター画像が生成され、前記座標情報に基づいて、カメラの撮影範囲の背景を表す画像に、当該アバター画像が合成される。これにより、カメラの映像信号を送ることなく、受信側で、背景画像とアバター画像とによって合成画像が生成されるので、カメラの映像信号を送る場合に比較して、ネットワークの通信帯域を有効に利用することが可能となる。また、被写体の実映像の代わりにアバター画像が用いられるので、不特定多数の人物を撮影する場面においても、プライバシーを侵害するおそれがないという利点がある。さらに、各パーツから特徴点を抽出するようにしたので、人物の各部位の特徴点を有効的に検出することができる。そして、アバター画像のデータを、身長や体形を標準に設定したときの複数のパーツに対応したアバター断片に分割してアバター画像データ記憶手段に記憶させた形で用意しておき、人物の対応するパーツについて抽出された身長及び体形を含む特徴点の情報に基づいて、そのアバター断片を補正した後、その補正後のアバター断片を統合してアバター画像を生成ように構成できる。このようにすると、アバター断片（すなわち、人物の部位）ごとに特徴点を反映した補正をきめ細かく行うことができ、かつ、身長や体形を標準に設定したときのアバター画像のデータを用意すればよいので、アバター全体の画像データを特徴別に多数用意する必要がなくなり、データ容量の削減を図ることができるようになる。

上記本発明の情報伝送システムにおいて座標情報付加部は、撮影画面上に現れる被写体をなす人物の接地点として識別される位置を撮影接地位置とし、当該撮影設置位置に現れる人物画像領域の撮影画面上の高さを人物撮影高さとして、座標情報付加部は、被写体が人物である場合の実空間における歩行面を高さ方向の基準として、カメラの撮影画面上に設定されるカメラ二次元座標系における平面座標点と実空間三次元座標系における歩行面上の空間座標点との変換関係と、カメラ二次元座標系における撮影接地位置毎の人物の撮影高さと実空間座標系での当該人物の実高さとの変換関係とを含む位置・高さ変換関係情報を取得する位置・高さ変換関係情報取得手段と、撮影画面上にて人物画像の撮影接地位置及び撮影高さを特定する撮影接地位置・高さ特定手段と、特定されたそれら撮影接地位置座標及び撮影高さの情報を、位置・高さ変換関係情報に基づいて実空間における人物の接地位置座標である実接地位置座標情報と実空間における人物の高さを情報である実人物高さ情報とに変換・生成する実人物座標・高さ情報生成手段とを備えたものとすることができる。また、動態生成部は、生成された実人物高さ情報に基づいてアバター画像の高さ寸法を決定するアバター高さ決定手段を備え、画像合成部は、実接地位置座標情報に基づいて背景画像へのアバター画像の合成位置を決定するアバター合成位置決定手段を備えたものとすることができる。

三次元空間内の立体をカメラ映像から特定したい場合、映像は二次元データであるから、一般の立体の空間的な状態を１台のカメラ映像で特定することは原理的にできない。しかし、この発明が対象とする被写体はカメラ撮影される平面上のエリア内を動き回る人物であり、上記構成によれば、その空間幾何学的な移動特性を考慮することで、単独のカメラ映像上の人物画像領域の情報から実空間内の人物位置と高さとを容易に特定可能である。すなわち、撮影対象となるエリアの人物の空間的な存在範囲は、床面や地面など、高さ方向（仮に実空間直交座標系のｚ軸方向とする）位置が一定の水平面（同様にｘ−ｙ平面である）にほぼ限られており、その接地点（足元位置）のｚ座標は常に一定（例えば０）とみなしえる。つまり、エリア内を歩行する人物の接地点の座標は実質的にｘ−ｙの二次元系で記述でき、カメラ二次元座標系とも一義的な対応付けが可能となる。カメラ二次元座標系は実空間三次元座標系が射影変換されたものに相当し、カメラから隔たった被写体ほど寸法が縮小されて投影される。この変換は数学的には行列で記述されるが、床面上ないし地面上の実空間座標系での予め知れた種々の位置に高さが既知の基準体を配置してカメラで撮影すれば、その基準体画像の撮影画面上での位置と高さを、実空間上の位置及び実寸と比較することにより、カメラ画面上の人物の位置と高さを実空間上の位置と高さに変換する情報である位置・高さ変換関係情報を得ることができる。これを用いることにより動態生成部は、背景画像上に合成するべきアバター画像の高さを容易に決定でき、画像合成部は、背景画像へのアバター画像の合成位置を合理的かつ容易に決定することができる。

次に、本発明の情報伝送システムは、特徴点抽出部が被写体の動きまたは向きを解析して動作解析情報として出力し、情報送信部は人物属性情報をネットワークへ送出し、画像合成部が動作解析情報に基づいて前記アバター画像の動きまたは向きを調整するものとして構成できる。これによれば、撮影された時点の被写体の動きや向きに基づいてアバター画像の動きや向きが調整されるので、例えば被写体の動く速度や動く方向を、アバター画像に反映させることができる。

この場合、カメラは動画撮影可能なものであり、座標情報付加部は撮影された動画のフレーム別に被写体をなす人物の座標情報を取得するものであり、特徴点抽出部は、人物の座標情報のフレーム間の移動軌跡情報を動作解析情報として出力するものとして構成しておくとよい。現在のフレームに対し、これに先行するフレームの移動軌跡情報を解析すれば、現在のフレームに至る人物画像の動きを把握することが特に容易となる。

例えば、人物は、横歩きや後ずさりなどのイレギュラーな動きをしない限り、顔や胴体が前を向くように歩行動作するのが通常なので、人物画像の代表点（例えば接地点）の移動軌跡が判明していれば、歩行動作に応じた体の向きを逐次把握することができる。そこで、画像合成部は上記の移動軌跡情報に基づいて、背景画像上に合成するアバター画像の向きを調整するように構成できる。

この場合、動態生成部は、カメラからの視点による当該人物の見え方が反映されるように、実空間における人物の移動方向に応じて異なる表現形態のアバター画像を生成ように構成できる。カメラ視点に対し人物の歩行方向が変化する場合、その歩行方向によるカメラへの映り方（角度）に応じてアバター画像を変化させることで、アバター画像の表現のリアリティーを増すことができる。

例えば、動態生成部は、実空間における人物の予め定められた複数の移動方向別に表現形態が互いに異なる複数の二次元アバター画像データを記憶する方向別二次元アバター画像データ記憶手段を備え、先行するフレームについて取得されている移動軌跡情報に基づいて人物の移動方向を推定するとともに、方向別の二次元アバター画像データから、推定された移動方向に適合するものを選択するものであり、画像合成部は、選択された二次元アバター画像データに基づくアバター画像を背景画像と合成するものとして構成できる。アバター化する人物の移動方向を、上記のように決められた複数の方向から選択するようにしておき、かつアバター画像データを二次元描画データとして構成しておくことで、用意するアバター画像データの容量を大幅に削減することができる。

一方、動態生成部は、アバター画像のデータを三次元アバター画像データとして記憶する三次元アバター画像データ記憶手段を備え、該三次元アバター画像データに基づいて三次元アバターオブジェクトを生成するとともに、先行するフレームについて取得されている移動軌跡情報に基づいて人物の移動方向を推定するとともに、推定された移動方向を向くように該三次元アバターオブジェクトの実空間上への配置方向を決定するものであり、画像合成部は、配置方向が決定された実空間上の三次元アバターオブジェクトを背景画像の二次元座標系に射影変換することにより二次元アバター画像データを生成し、該二次元アバター画像データに基づくアバター画像を背景画像と合成するように構成することもできる。この場合はアバター画像データが三次元化されることでデータ容量は増すが、アバター画像の背景画像への貼り込み方向は無段階化でき、一層リアリティーのある表現が可能となる。

また、画像合成部は、移動軌跡情報に基づいて人物の動線を表す画像を生成することも可能である。この構成によれば、特定の被写体が背景画像上でどのように動いたかを視覚的に把握することが容易となる。例えば、防犯目的等に有効活用することができほか、展示会場や公共施設等において個々の人物が関心を集める場所がどこにあるかを、動線画像の統計傾向分析により明確にできるなど、種々の利点を享受できる。

次に、本発明の情報伝送システムは、特徴点抽出部が被写体の人物属性を解析して人物属性情報として出力し、情報送信部が人物属性情報をネットワークへ送出するものとして構成できる。この構成によれば、受信側で、この人物属性情報を用いて様々な分析・統計処理等を行うことができる。

この場合、動態生成部はアバター画像を、人物属性情報を反映したものとして生成ように構成できる。これにより、対応する人物の属性をアバター画像に変換された後も容易に把握することができる。これは、例えば防犯目的の使用を考える場合、肖像権などのプライバシー侵害を回避しつつ被疑者の特定に貢献することにもつながるし、防犯を目的としないビューイング等においても、撮影エリアを行きかう人々の属性をアバター画像によりより単純化ないし強調することができ、画像上での傾向把握を容易にできる利点がある。人物属性情報は、具体的には、人物の性別を反映した性別情報と人物の年齢を反映した年齢情報とを含むものとして構成できるが、これらに限定されるものではなく、例えば顔の風貌などから明確に把握可能なものに限られるものの、国籍（例えば、日本人か、欧米人か）なども属性の一つとしてとらえることができる。

また、特徴点抽出部は、被写体の人物の外観を解析して外観特徴情報として出力するものとすることもでき、情報送信部は、外観特徴情報をネットワークへ送出するように構成できる。被写体の外観は、人物属性に次いで個々の人物の特定につながる重要な情報であり、分析・統計処理においては有益である。そして、動態生成部はアバター画像を、外観特徴情報を反映したものとして生成するように構成することで、アバター画像に変換された後の、対応する人物の特徴把握を一層踏み込んで行うことができる。

人物の外観の特徴を最も反映する要素として髪、着衣、持ち物などを例示できる。この場合、外観特徴情報は人物の頭髪の形態及び色彩の一方又は双方を反映した頭髪情報と、人物の着衣の形態及び色彩の一方又は双方を反映した着衣情報と、人物の持ち物の形態及び色彩の一方又は双方を反映した持ち物情報の１以上のものを含むものとして構成できる。これらは、性別や年齢層などの属性の把握補助に貢献し、例えば顔の特徴だけでは年齢等の把握が困難な場合に、これらの特徴情報を合わせて考慮することでより正確な属性把握が可能になる。例えば、着衣や持ち物は年齢層別の流行なども反映するから、１０台後半と２０台半ばなど、世代の接近した人物の属性を明確化する上で有用である。

また、防犯等を目的とする場合は、人物の体形（肥満、小太り、やせ形、中肉中背、足の長短など）も有用な情報である。この場合、外観特徴情報は人物の体形を反映した体形情報を含むものとして構成できる。

さらに、近年は、歩容（歩き方の特徴）も人物を特定する情報として有用である。この場合、外観特徴情報は人物の歩容を反映した歩容情報を含むものとして構成できる。歩容を特定する情報は、例えば歩幅（あるいは、歩行速度と連動した動きの周波数）、腕の振り角、歩行速度、歩行時の上半身角度や上下方向の揺れなどであり、その１種又は２種以上を組み合わせて使用できる。

動態生成部は、人物歩行動作を細分化したコマデータからなるアバターアニメーションデータを使用するものとして構成でき、背景画像上でアバター画像を歩行動作するアニメーションとしてリアルに表現できる。この場合、動態生成部にて、コマデータの各コマを歩容情報に基づいて補正する画像補正処理を行い、画像合成部はアバター画像を、補正後のコマデータに基づき歩容特徴を反映させたアニメーション形態で背景画像に合成するものとして構成できる。アバターアニメーションデータの各コマの補正処理により、対応する人物の歩容情報反映したアバター画像の動きを容易に実現できる。

また、撮影監視したいエリアが広い場合、１台のカメラでは視野が届かない、あるいは遠方で画像が小さくなり特徴把握できない、という場合が生じる。この場合は、撮影範囲は実空間座標を共有する形で複数のカメラによりカバーすることができる。各カメラは共通のエリアに対し異なるカメラ座標系で撮影を行うが、共同監視するエリアの実空間を同一座標系にて張っておくと、のちに各カメラの撮影情報を統合したい場合に、前述した手法により人物の座標を、その共通の実空間（例えば、ＧＰＳなどで取得できるグローバル座標系など）上に変換する処理を行うだけで直ちに統合処理も完了する利点がある。このとき、異なるカメラの視野感を同一人物が移動する場合、その画像の人物の同一性の判定をカメラ間で受け渡す必要が生じるが、この場合、上記の属性情報や外観特徴情報の一致度に応じて人物の同一性を判定するように構成すれば、特定の人物の追跡や、同一人物に同一アバター画像を使用する、といった判断にも容易に利用できる。

また、画像合成部は、複数のカメラの撮影範囲を含む俯瞰画像として合成画像を生成するように構成できる。これによれば、複数のカメラの撮影範囲の全体を一目で把握することができる。

特に、複数カメラでないとカバーできないエリアについて、上記のような俯瞰画像を得るためには、座標情報付加部を次のように構成するとよい。すなわち、複数のカメラの撮影画面上に現れる人物の接地点として識別される位置を撮影接地位置とし、当該撮影設置位置に現れる人物画像領域の撮影画面上の高さを人物撮影高さとして、座標情報付加部は、被写体が人物である場合の実空間における歩行面を高さ方向の基準として、カメラの撮影画面上に設定されるカメラ二次元座標系における平面座標と、実空間三次元座標系における歩行面上の空間座標点との変換関係と、カメラ二次元座標系における撮影接地位置毎の人物の撮影高さと実空間座標系での当該人物の実高さとの変換関係とを含む位置・高さ変換関係情報を取得する位置・高さ変換関係情報取得手段と、撮影画面上にて人物画像の撮影接地位置及び撮影高さを特定する撮影接地位置・高さ特定手段と、特定されたそれら撮影接地位置座標及び撮影高さの情報を、位置・高さ変換関係情報に基づいて実空間における人物の接地位置座標である実接地位置座標情報と実空間における人物の高さを情報である実人物高さ情報とに変換・生成する実人物座標・高さ情報生成手段とを備えたものとして、座標情報付加部を構成する。動態生成部は、生成された実人物高さ情報に基づいてアバター画像の高さ寸法を決定するアバター高さ決定手段を備え、画像合成部は、実空間座標系における複数のカメラが撮影した人物の実接地位置座標情報を俯瞰画像の視点にて座標変換しつつ該俯瞰画像へのアバター画像の合成位置を決定するアバター合成位置決定手段を備えるものとして構成する。

これは、位置・高さ変換関係情報をカメラ側に付随させることで、撮影画面上の人物領域の位置と高さ情報を実空間座標系に変換する前述の構成を応用したものである。人物の画像情報を一旦実空間上の位置・寸法情報に変換してしまえば、俯瞰視点の背景画像にアバター画像を合成したい場合も、その俯瞰背景画像と実空間との変換関係を予め用意しておくことで、俯瞰視点の背景画像上へもアバター画像の合成を容易に行うことができる。

次に、本発明の情報受信装置は、
少なくとも１台のカメラで写した映像内の被写体である人物の画像を人体の部位に相当する複数のパーツに分割し各パーツからから抽出された特徴点を表す特徴情報と、カメラの撮影範囲における被写体の座標情報とを、ネットワークを介して受け取る情報受信部と、
特徴情報に基づいて被写体のアバター画像を生成する動態生成部であって、アバター画像のデータを、身長や体形を標準に設定したときの複数のパーツに対応したアバター断片に分割して記憶するアバター画像データ記憶手段を備え、人物の対応するパーツについて抽出された身長及び体形を含む特徴点の情報に基づいてアバター画像のアバター断片を補正した後、その補正後のアバター断片を統合してアバター画像を生成する動態生成部と、
カメラの撮影範囲の背景を表す画像に、座標情報に基づいてアバター画像を合成することにより、合成画像を生成する画像合成部と、を備えたことを特徴とする。

また、本発明の情報受信側に適用されるコンピュータプログラムは、
少なくとも１台のカメラで写した映像内の被写体である人物の画像を人体の部位に相当する複数のパーツに分割し各パーツからから抽出された特徴点を表す特徴情報と、カメラの撮影範囲における被写体の座標情報とを、ネットワークを介して受け取る情報受信処理と、
特徴情報に基づいて被写体のアバター画像を生成する動態生成部であって、アバター画像のデータを、身長や体形を標準に設定したときの複数のパーツに対応したアバター断片に分割して記憶するアバター画像データ記憶手段を備え、人物の対応するパーツについて抽出された身長及び体形を含む特徴点の情報に基づいてアバター画像のアバター断片を補正した後、その補正後のアバター断片を統合してアバター画像を生成する動態生成処理と、
カメラの撮影範囲の背景を表す画像に、座標情報に基づいてアバター画像を合成することにより、合成画像を生成する画像合成処理とをコンピュータに実行させるものである。

本発明によれば、カメラからの映像を伝送する際に、ネットワークの通信帯域の有効利用を妨げない伝送方式を提供できる。

本発明の第１の実施形態にかかる情報伝送システムの概略構成を示すブロック図。 特徴点抽出部の処理手順を示すフローチャート。 特徴点抽出部が人体を各パーツに分けて特徴を抽出する様子を示す模式図。 特徴点抽出部が人物属性情報を抽出する処理の流れを示すフローチャート。 カメラの撮影範囲に設定された座標系の一例を示す模式図。 背景画像にアバター画像が合成された表示例を示す模式図。 本発明の応用例を示す模式図。 送信側のカメラの連続性が無い場合におけるアバターの表現例を示す模式図。 第２の実施形態にかかる情報伝送システムの概略構成を示すブロック図。 従来の伝送方式を示す模式図。 人物画像領域の差分抽出の概念を説明する図。 背景画像の概念図。 座標情報付加処理の説明図。 図１３に続く説明図。 レンズ歪補正の説明図。 座標情報付加処理の流れを示すフローチャート。 画面上の人物画像領域の抽出状態の一例を示す図。 人物画像領域の高さｈを、変換係数αを用いて実身長Ｈに変換する説明図。 人物領域検出処理の流れを示すフローチャート。 歩容特徴情報の抽出概念を示す図。 移動軌跡情報の抽出概念を示す図。 受信部側の情報蓄積の概念を示す図。 アバター画像データベースの概念を示す図。 アバター画像の方向決定に用いる人物移動方向の概念を示す図。 アバター断片図形データの例を示す図。 アバター断片図形を合成してアバター画像を得る例を示す説明図。 アバター画像データをアバターアニメーションデータとして構成する例を示す図。 アバター断片画像データを二次元のベクトル図形データとして構成する例を示す図。 受信部側処理の流れを示すフローチャート。 新規アバター作成処理の流れを示すフローチャート。 アバター背景合成処理の流れを示すフローチャート。 統合モード表示処理の流れを示すフローチャート。 統合表示モードにおける平面視表示形態の一例を示す図。 同じく俯瞰視表示形態の一例を示す図。 三次元アバター画像を表示する例を示す画像。

以下、図面を参照しながら、本発明の具体的な実施形態について詳しく説明する。
（実施の形態１）
まず、図１を参照しながら、本発明の第１の実施形態にかかる情報伝送システム１の構成と動作の概略について説明する。図１は、情報伝送システム１の概略構成を示すブロック図である。情報伝送システム１は、情報伝送システム送信部１２（情報送信装置）と、情報伝送システム受信部１３（情報受信装置）とを有している。情報伝送システム送信部１２と、情報伝送システム受信部１３とは、ネットワーク１５を介して接続されている。ネットワーク１５は、例えばインターネットなどの公共ネットワークであるが、ローカルネットワークなどのプライベートネットワークであっても良い。

情報伝送システム送信部１２は、様々な場所に設置された複数のカメラ１１（１１ａ，１１ｂ・・・）から映像信号を受信し、送信前処理（後に詳述する。）を行ってからネットワーク１５へ送出する。なお、図１においては、カメラ１１を２台のみ図示しているが、カメラの台数は任意である。カメラ１１と情報伝送システム送信部１２との間の通信は、有線通信であっても良いし、無線通信であっても良い。

また、情報伝送システム受信部１３は、情報伝送システム送信部１２からネットワーク１５を介して送信された映像信号を受信し、受信後処理（後に詳述する。）を行ってから、モニタ１４へ表示させたり、必要に応じて映像記録装置（図示せず）へ録画したりする。

情報伝送システム送信部１２は、座標情報付加部１２１、特徴点抽出部１２２、複数カメラ連携部１２３、および、情報送信部１２４を備えている。座標情報付加部１２１および特徴点抽出部１２２は、一つのカメラ１１に対して一組ずつ設けられている。例えば、
図１においては、カメラ１１ａに対して座標情報付加部１２１ａおよび特徴点抽出部１２２ａが設けられ、カメラ１１ｂに対して座標情報付加部１２１ｂおよび特徴点抽出部１２２ｂが設けられている。

特徴点抽出部１２２は、カメラ１１で撮影された映像信号から人物領域を検出し、さらに、それぞれの人物の外観（例えば、着衣、髪型、体形、持ち物等）についての特徴を抽出する。座標情報付加部１２１は、カメラ１１で撮影されるエリア内の人物の位置を、座標情報として検出する。

ここで、情報伝送システム１は、カメラで撮影した映像信号をそのまま圧縮して伝送する従来の情報伝送システムとは異なり、特徴点抽出部１２２で得られた特徴情報と座標情報付加部１２１で得られた座標情報のみを、ネットワーク１５を介して伝送する。そして、この特徴情報と座標情報とを受け取った情報伝送システム受信部１３側では、それぞれのカメラ１１の撮影範囲の背景画像を予め記録しておき、前記の特徴情報に基づいて個々の人物を的確に表すアバターの画像を生成し、前記の座標情報にしたがって、背景画像の適宜の位置にアバター画像を合成する。このようにすることで、撮影された映像信号をそのまま圧縮して伝送する場合と比較して、伝送されるデータ量が少なくて済むので、ネットワークの通信帯域を有効に利用することができる。

なお、情報伝送システム１は、複数のカメラ１１と接続されているので、前述のように、カメラ１１のそれぞれについて座標情報付加部１２１および特徴点抽出部１２２を備えている。このため、複数カメラ連携部１２３は、座標情報付加部１２１で得られた座標情報と、特徴点抽出部１２２で得られた特徴情報とに、複数のカメラ１１のうちいずれのカメラの映像信号から得られた情報であるかを示すタグ情報を付与して、情報送信部１２４へ送る。情報送信部１２４は、複数カメラ連携部１２３から得た情報を所定の規格で符号化し、ネットワーク１５へ送出する。

情報伝送システム受信部１３は、情報受信部１３１、動態生成部１３２、および、画像合成部１３３を備えている。情報受信部１３１は、ネットワーク１５から受信した情報を復号化し、動態生成部１３２へ送る。動態生成部１３２は、受信した情報に含まれる特徴情報に基づいて、撮影された人物を表すアバターの画像を生成する。動態生成部１３２で生成されたアバター画像は、座標情報と共に画像合成部１３３へ送られる。画像合成部１３３は、アバター画像と座標情報とに基づいて、それぞれのカメラ１１の撮影範囲の背景画像とアバター画像との合成画像を生成し、モニタ１４へ表示させる。このとき、どのカメラ１１の映像信号から得られた情報であるかを示す前記のタグ情報は、背景画像を特定するために用いられる。

次に、座標情報付加部１２１の処理について説明する。座標情報付加部１２１は、それぞれのカメラ１１の撮影範囲に対して設定された座標系において、人物がいる位置の座標を特定する。例えば図５に示すように、一つのカメラ１１の撮影範囲において、ｘ−ｙ座標系５１を設定する。座標情報付加部１２１は、このｘ−ｙ座標系５１において、特徴点抽出部１２２が特定した人物領域の座標を検出する。ここで検出された座標は、当該人物のいる位置を表す座標情報として、特徴情報と共に情報伝送システム受信部１３へ送られる。

三次元空間内の立体をカメラ映像から特定したい場合、映像は二次元データであるから、一般の立体の空間的な状態を１台のカメラ映像で特定することは原理的にできない。しかし、本発明が対象とする被写体はカメラ１１が撮影するエリア内を動き回る人物であり、その空間幾何学的な移動特性を考慮することで、図５に示す単独のカメラ１１の画面上の人物画像領域ＰＡの情報から実空間内の人物位置と高さを特定可能である。すなわち、撮影対象となるエリアの人物の空間的な存在範囲は、床面や地面、図５の場合は人物が歩行する路面ＲＳなどであり、要するに高さ方向（ｚ軸方向）の位置が一定の水平面にほぼ限られている点に着目する。この路面ＲＳは、直交座標系にてｚ軸座標が常に０のｘ−ｙ平面であり、該路面ＲＳ上を歩行する人物の接地点の座標は実質的にｘ−ｙの二次元で記述でき、三次元空間内の点でありながら、撮影画面に設定されるカメラ二次元座標系と一義的な対応付けが可能となる。

他方、カメラ二次元座標系は実空間三次元座標系が射影変換されたものに相当し、カメラ光軸方向に隔たった被写体ほど寸法が縮小されて投影される。これは数学的には射影変換行列で記述されるが、実空間座標系での予め知れた種々の位置に基準体を配置してカメラで撮影すれば、その基準体画像の撮影画面上での位置と高さを実空間上の基準体の位置及び実寸と比較することにより、カメラ上の人物の映像位置・高さを実空間上の位置・高さに変換する位置・高さ変換関係情報を得ることができる。その具体例を図１３〜図１５の説明図及び図１６のフローチャートを用いて説明する。

すなわち、カメラの撮影視野ＳＡにおいて、路面ＲＳ上に高さが既知の基準体ＳＣを前後左右の種々の位置に配置し撮影を行う。図１６のＳ５０１では、その基準体の高さＨを入力する。すると撮影画面ＳＡ上では、これは同一の基準体に由来したものであるにもかかわらず、カメラ１１からの距離に応じて異なる寸法の基準体画像ＳＣＩとなって現れるので、これを抽出する（Ｓ５０２）。これらの基準体画像ＳＣＩは全て同じ路面ＲＳ（すなわち、ｘ−ｙ平面（ｚ＝０））上にあるので、その下端を表す点（基準点）ｐ１〜ｐ３は実空間においてすべてｚ＝０の接地点である。そこで、この基準点ｐ１〜ｐ３を画面上に設定されたカメラ二次元座標系であるξ−η座標系にて読み取り、基準点の画面座標データｐ（ξ，η）として記憶する（Ｓ５０３）。なお、画面上のどのエリアが路面ＲＳを表すかについては、路側縁ＲＥや路面上の白線ＷＬなどの画像を参考にすることができる。

次に、撮影画面上の映像はカメラレンズの歪の影響を受けるので、実空間の厳密な射影変換画像とはなっておらず、視野内の位置に応じて画像にゆがみが生じていることがある。図１５の左に示すように、そのひずみは画面の端に近い領域ほど大きく座標系も非線形化する。例えば、広角レンズなど視野角の大きいレンズでは外向きに凸状の歪となり、逆に望遠レンズなど視野角の小さいレンズでは凹状の歪となる。そこで、この歪を解消し、直交平面座標系の点となるように変換補正を行う（Ｓ５０４）。この時の補正係数は、例えば図１３において、画面上に現れている白線ＷＬなど、実空間上で直線であることが予めわかっている図形の形状が直線化するような最適化演算によって定めることができる。なお、この補正により画面の端ほど歪み解消に伴い寸法は伸長するから、補正後の画面形状ＳＡ’は元の画面ＳＡの外にはみ出すこととなる。

次いで、図１４に示すように、基準体ＳＣの実空間系での座標を決定する。例えば、測量による場合は、カメラ１１から路面に設置した基準体ＳＣまでの距離ｄと、カメラから基準体を見込む線と基準線（例えば、ｘ軸方向）とのなす角度θを測定すれば、
ｘ＝ｄ・ｃｏｓθ
ｙ＝ｄ・ｓｉｎθ
として基準体ＳＣの接地点の実空間座標Ｐ（ｘ，ｙ，０）を求めることができる。他方、衛星測位システム（ＧＰＳ）により座標を直接特定してもよい。なお、ここで用いられる実空間座標系は、それぞれのカメラの撮影範囲内に設定される独立した座標系であっても良いし、衛星測位システム（ＧＰＳ）から提供されるグローバル座標系と連動していても良い。ただし、後述するが、複数のカメラの撮影範囲を統合して一つの空間を生成する場合は、それぞれのカメラの座標系を連結する必要があり、複数カメラが連携撮影するエリアに対し、統合的な実空間座標を張っておくことが望ましい。また、ｘ−ｙ座標系５１を設定する際に、例えばＬＥＤライト等を用いて、キャリブレーションを行うことが望ましい。

次に、基準体画像ＳＣＩの画面上の高さｈを読み取る（Ｓ５０６）。基準体ＳＣの実高さＨは既知なので、基準体画像ＳＣＩの高さｈを実高さＨに変換する係数
α＝Ｈ／ｈ
を計算し（Ｓ５０７）、画面座標データｐ（ξ，η）と実空間座標データＰ（ｘ，ｙ，０）と互いに対応付て記憶する（Ｓ５０８）。以上の処理をすべての基準体ＳＣについて繰り返したのち（Ｓ５０９→Ｓ５０１）、路面ＲＳ上にて実測していない主要点でのｐ，Ｐ，αの組を補う処理を行う。この処理は補間データを取得するステップとして行ってもよいし、得られているｐ，Ｐの組から射影変換行列の要素を定める処理として行ってもよい。そして、これらの情報が位置・高さ変換関係情報を構成することとなる。

なお、図１３に示すように、座標情報の取得には、基準体ＳＣに代えて人物ＳＰを用いてもよい。この場合、被写体となる人物の身長を入力し、その人物がカメラの四隅などを歩くことでカメラ画角と位置情報を学習取得するキャリブレーション方式などを用いてもよい。

次に、特徴点抽出部１２２による特徴点抽出処理の内容について、図２および図３を参照しながら詳しく説明する。図２は、特徴点抽出部１２２の処理手順を示すフローチャートである。図３は、特徴点抽出部１２２が人体を各パーツに分けて特徴を抽出する様子を示す模式図である。

特徴点抽出部１２２は、対応するカメラ１１から所定数のフレームの映像信号を入力すると、図１１に示すようにフレームＦＭ間の差分を取ることにより、映像信号に映り込んでいる動物体ＭＯを検出する（図２のステップＳ１１）。具体的には、先行するフレームの画像領域ＭＯ’と後続のフレームの画像領域ＭＯとは、画像領域が動物体であればフレーム間で位置や形状が変化するが背景は変化しないので、両フレーム間の画像差分をとれば動物体の画像領域ＭＯを抽出することができる。一方、動物体が存在しない状態で撮影すれば、図１２に示すように背景画像ＢＰが得られる。この背景画像ＢＰはカメラごとに撮影され、図１の受信部１３に送信されて該受信部１３をなすコンピュータがアクセス可能な記憶装置１３５（本実施形態では外部記憶装置ないし別のコンピュータにて構成された情報蓄積・統計処理部）に格納される。

次に、特徴点抽出部１２２は、ステップＳ１１で検出した動物体の画像に対して、セグメンテーション、エッジ検出、パターンマッチング等を行うことによって人物領域を抽出し、その動物体が人物か否かを判断する（ステップＳ１２）。なお、映像信号からの動物体検出処理や人物抽出処理については、様々な手法を用いることができ、特定の手法に限定されない。また、映像信号から検出された動物体のうち、そのサイズが比較的小さいものはノイズである可能性が高いので人物ではないと判断し、比較的大きいサイズの領域については人物であるものと判断しても良い。

そして、この人物領域の抽出に随伴して、人物の位置座標と身長を特定する処理がなされる。以下、図１７及び図１８の説明図と、図１９のフローチャートを用いて説明する。まず、図１７に示すように、検出された人物領域ＰＡの下端縁位置を接地点ｐとしてみなし、その画面上の座標ｐ（ξ，η）を読み取り（Ｓ１２０１）、前述の位置・高さ変換関係情報を参照し、物の姿勢により人物領域の高さ方向寸法は変化するので、最も直立状態に近いと思われる人物領域の画像を全そのフレーム内を検索して特定する（Ｓ１２０３）。例えば、歩行中の人物については、両足を開いている姿勢よりは、先に踏み出した足に対し後方に位置する反対側の足を次に踏み出す過程で、先に踏み出したほうの足にほぼ重なるときが直立姿勢に最も近いから、そのようになる画像フレーム上での人物領域を用いて領域の高さｈを画面上で測定する（Ｓ１２０４）。そして、図１８に示すように、前述の位置・高さ変換関係情報に含まれる変換係数αを用いてこれを実身長Ｈに変換する（Ｓ１２０５）。

また、特徴点抽出部１２２は、さらに、各部位の動作を解析する処理（ステップＳ１５）を行うことが好ましい。例えば、頭ｐ１については、頭の動作（動きや向き）が検出される。人体の部位のうち、認識が最も容易であるのは頭であると言われている。最初に頭ｐ１を抽出することで頭の向きが分かれば、他の部位の状態や動く方向等を特定し易い。また、例えば、頭が右を向いている場合、後述のパーツ化において、左手や左足は隠れていて見えない可能性があるという推定を働かせることも可能となる。

例えば、歩行中の人物の動作であれば、動作は歩容情報として解析取得される。この場合、胴体ｐ２の動作としては、例えば、図２０に示すように、上半身角度ψなどの姿勢や猫背か否か等が検出される。右手ｐ３・左手ｐ４の動作は、例えば、手の振り各λ等として検出される。右足ｐ５・左足ｐ６の動作としては、例えば、歩速、歩幅ＷＬ、ひざ曲げ角などが検出される。ここで検出された歩容等の動作解析情報は、動作解析情報として情報伝送システム受信部１３へ送られ、当該人物を表すアバターの動きや向きに反映される。

また、動作の解析情報として重要なのは、人物の移動方向である。図２１に示すように、撮影された動画のフレーム別に人物の座標情報Ｐ1、Ｐ2、・・・Ｐnが特定された場合、その座標情報Ｐ1、Ｐ2、・・・Ｐnの組は当該人物のフレーム間の移動軌跡情報を構成することとなる。そして、隣接するフレーム間の座標Ｐn、Ｐn-1の位置ベクトルＶn、Vn-1の差Ｖn−Vn-1は位置Ｐnでの人物の移動方向を表す指標として使用でき、後述のアバター画像の方向決定にも有効活用される。

次に、特徴点抽出部１２２は、ステップＳ１２で抽出された人物領域Ｐ（図３の（ａ）参照）を、頭ｐ１、胴体ｐ２、右手ｐ３、左手ｐ４、右足ｐ５、左足ｐ６の６部位（図３の（ｂ）参照）にパーツ化する（ステップＳ１３）。そして、パーツ化された６部位のそれぞれについて、外観的な特徴の解析を行う（ステップＳ１４）。例えば、頭ｐ１については、髪型、髪色、帽子の有無等が特徴点として抽出される。胴体ｐ２については、体形、着衣の形、着衣の色、リュックサックなどの特定の持物の有無等が特徴点として抽出される。右手ｐ３・左手ｐ４についての特徴点は、例えば、体形、着衣の形（あるいは種別）、着衣の色、持物等である。右足ｐ５・左足ｐ６についての特徴点は、例えば、体形、着衣の形（あるいは種別）、着衣の色、靴等である。

なお、パーツ化する際のパーツの数は、６つに限定されない。処理負荷を軽減する目的で、例えば、頭、上半身、および下半身、の３部位に分割することも考えられる。その逆に、よりリアルなアバターを生成するために、６つよりも多い数のパーツに分割することも考えられる。また、ここに挙げた特徴点はあくまでも例示であり、様々な要素を特徴点として抽出すればよい。また、例えば、上述の説明では、髪型と髪色や、着衣の形と着衣の色とを、それぞれ独立した特徴点として抽出するものとしているが、「髪色」および「着衣の色」は、「髪型」および「着衣の形」の付加的データとして扱っても良い。抽出されたパーツごとの特徴点は、特徴データとして出力され、情報伝送システム受信部１３へ送られる。

抽出される特徴点（特徴データ）のバリエーションは、後述の通り、情報伝送システム受信部１３で生成される当該人物のアバターにおいて、各部位の構成要素（部分画像）のバリエーションに対応する。例えば、髪型の特徴点として「長髪」が抽出された場合は、アバターの頭髪として「長髪」の部分画像が使用される。また、例えば、胴体の横幅が太い人物の場合は、アバターの胴体の部分画像として太い胴体が用いられる。

なお、ステップＳ１１およびＳ１２により、一つのカメラ１１の撮影範囲において複数の人物領域が抽出された場合は、ステップＳ１３〜Ｓ１５の処理は、それぞれの人物領域に対して行われる。そして、得られた特徴情報と動作情報は、個々の人物領域を特定するタグ情報と共に、複数カメラ連携部１２３へ送られる。

また、特徴点抽出部１２２が、人物の年齢や性別等の、人物をある程度特定する情報（人物属性情報）をさらに抽出するようにしてもよい。この場合、図４に示すように、特徴点抽出部１２２は、パーツ化された部位の画像から抽出される特徴量に基づいて、当該人物の年齢や性別を判別する（ステップＳ２３）。例えば、頭ｐ１を捕捉できれば、顔認識技術を利用して、年齢や性別を判別することが可能である。

なお、年齢は、１歳きざみの年齢データとして出力しても良いし、例えば「２０歳台」のように年齢ゾーンを表すデータとして出力しても良い。また、ここでは、人物属性情報として性別と年齢を例示したが、人物をある程度特定する情報としては、これ以外に任意の情報を利用できる。例えば、「大人」と「子供」を判別することも考えられる。

上記の場合は、人物を一意に特定するのではなく性別や年齢等で属性付けをするのに対して、顔等の画像と人物の個人情報（氏名等）とが予め登録された人物データベースを利用できる場合には、必要に応じて、頭ｐ１の画像と人物データベースに登録されている顔画像とを照合することにより、個人を一意に特定することも可能である（ステップＳ２４）。これにより、例えば、
（１）犯人逮捕などを目的とする場合は１対１照合
（２）迷子探しなどを目的とする場合は着衣年齢による照合
（３）マーケティング活用などを目的とする場合は大まかな年齢推定のための照合
といった個人識別が可能となる。

次に、図１に戻り、情報伝送システム受信部１３においては、情報受信部１３１が、ネットワーク１５から情報を受信して復号化する。復号化された情報には、上述したように、複数のカメラ１１（カメラ１１ａ，１１ｂ・・・）の映像信号から得られた情報（特徴情報および座標情報）が含まれており、情報蓄積・統計処理部１３５に記憶・蓄積される。図２２は蓄積されている情報の例を示し、前述の特徴情報の一致度から同一と判断される人物に検出ＩＤが振られ、受信の時刻と日付、人物の実空間座標による位置（ｘ座標及びｙ座標）、歩き方（歩容）、体格、身長、頭髪の色、上半身の着衣の色、下半身の着衣の色、顔の特徴情報、性別、年齢などの抽出データと対応付けて順次記憶されておる。また、日付やＩＤ部分は＃１、＃２等に省略して表現しているが、上半身及び下半身の服装の種別（形態）、帽子の有無、持ち物などの情報も対応付けられている。さらに、歩容のデータは、歩幅ＷＬ、腕振り角λ、上半身角ψ、膝曲げ角δ、一歩周期τなどを含むものとなっている。

以下、受信部側の処理について説明する。
動態生成部１３２は、受け取った特徴情報に基づいて、各人物のアバター画像を生成する。すなわち、特徴情報には、前述したように、人物のパーツごとの特徴を表す特徴データが含まれている。動態生成部１３２は、この特徴データのそれぞれに対応するアバターの部分画像を予め記憶したデータベース（図１の情報蓄積・統計処理部１３５内に形成されているものとするが、ネットワーク上の別の記憶装置やサーバであってもよい）にアクセス可能である。例えば、ある人物の頭ｐ１の特徴データとして「長髪」が含まれる場合は、長髪の部分画像を上記データベースから取得する。動態生成部１３２は、人物の各パーツの特徴データに基づいてアバターの部分画像を組み合わせることにより、当該人物のアバター画像を生成する。

図２３は、そのデータベースの構築例を概念的に示すものである。このデータベースには、身長や体形を標準に設定したときの上半身及び下半身の着衣、髪型、持ち物等からなる、アバター構成要素となるアバター断片図形データが含まれている。アバター構成要素ごとに各アバター断片図形データは、カメラからの視点による人物の見え方（カメラに対する向き）が反映されるように、実空間における人物の移動方向に応じて異なる表現形態に構成されている。本実施形態では、図２４に示すように、カメラ１１に対する人物Ｐの向きを８方向（Ｊ１〜Ｊ８）に定め、図３で説明した人体パーツｐ１〜ｐ６に対応する形で分割されたアバター断片図形データ（上半身着衣ではｐ２〜ｐ４、下半身着衣ではｐ５、ｐ６）が、該８方向における見え方に対応して各々８通り（ｖ１〜ｖ８：引数はＪ１〜Ｊ８に対応）ずつ用意されている。また、靴や頭髪、持物は分割されないが、これも８通りずつ用意されている。

図２５の左は、図２４における方向ｖ７が指定されたときのアバター断片図形データの選択例を、同じく右は方向ｖ１が指定されたときのアバター断片図形データの選択例を示すものである。上半身についてはＴシャツが、下半身についてはジーンズが選択され、図２３のデータから、方向ｖ７及びｖ１に対応するものがそれぞれ選択されている。図２６はそれらを合成して得られるアバター画像ＡＶ７及びＡＶ１である。なお、顔については、抽出された顔特徴情報を反映した輪郭や人相のものをその都度方向別に合成するようにしているが、性別や年齢に応じて標準的な顔（ないし頭部）の画像を用意しておいてもよい。

また、アバター画像データ（あるいはアバター断片図形データ）は、図２７に示すように、物歩行動作を細分化したコマデータの集合からなるアバターアニメーションデータとして構成されている。図２７の例では、右足を踏み出して着地するまでの複数コマ（ここではＡＦＭ１〜４の４コマ）と、左足を踏み出して着地するまでの４コマ（ＡＦＭ５〜８）の２歩分１周期を８コマのアニメーションで表現している。図２３に示すように、少なくとも下半身着衣と上半身着衣については、アバター断片図形データの種別ごとにこの８コマのデータが用意されている。

そして、各アバター断片の画像データは、図２８に示すように、二次元のベクトル図形データとして構成されている。該ベクトル図形データは図形外形線を特定する頂点座標をベクトルで周回連結したものであり、一次変換変形処理を施すと、頂点座標もその一次変換を表す行列演算に従って移動し、移動後の点を再びベクトル連結することで、図形の拡大や縮小、回転などの変形処理を簡単に実行することができる。そして、そのベクトルで囲まれた図形の内部はベクトル線を基準とした内外判断により着色領域が特定され、指定の色にて領域内の画素をラスタライジングすることにより、図２２の特徴情報が規定する色情報を最終的なアバター画像ＶＤＲに容易に反映させることができる。

図２９は、受信部側の処理の流れを示すフローチャートである。
まず、ネットワークを介して送られてくる人物ＩＤと動作情報（座標点）及び特徴情報を受信する（Ｓ６０１）。次に、受信した座標情報Ｐを、複数のカメラが共有する実空間座標上にプロットする（Ｓ６０２）。そして、前後のフレームにおける人物の座標Ｐの位置変化から人物の歩行方向ベクトルを演算するとともに、図２４の８つの方向Ｊ１〜Ｊ８から、その歩行方向ベクトルの向きに最も近いものを選択してアバター画像の配置方向として決定する（Ｓ６０３）。

別のカメラの視野から着目しているカメラの視野に初めて入ってきた人物については、すでにＩＤ特定されてアバター画像を作成済みの場合があるから、受信したＩＤに対応するアバターの作成履歴を検索する（Ｓ６０４）。Ｓ６０５でアバター作成の履歴がない場合は、時刻・位置・特徴が、予め定められた条件で一致する人物がデータベース上にあるかどうかを検索する（Ｓ６０６）。Ｓ６０７で該当人物がなければ新規アバター画像の作成処理となる（Ｓ６１０）。

図３０は、新規アバター作成処理の詳細を示すもので、Ｓ６０１で特徴データに含まれる髪型、服装、持ち物及びそれらの色を特定する。次に、Ｓ６１０２で、特定された特徴に対応するアバター断片図形のうち、決定されたアバター画像配置方向（Ｊ１〜Ｊ８のいずれか）に対応するもの（図２３のｖ１〜ｖ８のいずれか）を読み出す。次に、Ｓ６１０３では、特徴データに含まれる身長・体形・歩容情報によりアバター断片図形を補正し、Ｓ６１０４で指定された色にアバター断片図形を着色する。最後にＳ６１０５で各アバター断片を合成することによりアバター画像データが完成する。

図２９に戻り、Ｓ６０５でアバター作成の履歴があった場合はＳ６０９に進み、対応するＩＤのアバター画像データをデータベースから読みだして再利用する。一方、Ｓ６０７で該当人物があった場合は、受信した人物ＩＤを該当する人物のＩＤで更新し、Ｓ６０９に進んで同様の処理となる。

動態生成部１３２で生成された各人物のアバター画像は、それぞれの人物の座標情報と共に、画像合成部１３３へ送られ、アバター・背景合成処理となる（Ｓ６１１）。画像合成部１３３は、それぞれのカメラ１１の撮影範囲の背景画像を予め記憶したデータベース（情報蓄積・統計処理部１３５内）にアクセス可能である。画像合成部１３３は、それぞれのカメラ１１の背景画像を上記データベースから取得し、動態生成部１３２で生成されたアバター画像と合成する。合成画像はモニタ１４へ出力される。このときに、アバター画像を配置する位置は、当該アバターの人物の座標情報に基づく。また、画像合成部１３３は、特徴点抽出部１２２で得られた動作解析情報（人物の動きや向きを表すデータ）に基づいて、アバターの向きを変えたり、アバターが動く速さを調整したりすることができる。なお、情報伝送システム送信部１２からの伝送を、特徴点抽出部１２２および座標情報付加部１２１や、動態生成部１３２および画像合成部１３３が処理可能な範囲で、できるだけ高いフレームレートで行うことにより、カメラ１１の映像信号をほぼリアルタイムにモニタ１４へ表示させることができる。

図３１は、アバター背景・合成処理の流れを示すものである。まず、Ｓ６１１０１では、特定されたＩＤ及び方向に対応するアバター画像データを読み出す。このアバター画像データはアニメーションを構成するコマデータの集合であり（図２７）、移動する座標点Ｐの速度と歩幅に合わせて、アバターアニメーションンのコマを動画再生のフレームに割り振る（Ｓ６１１０２）。

合成映像の表示形態であるが、この実施形態では、カメラ１１の撮影画面と同じ視野での表示モード（カメラ実映像モード）と、複数カメラの統合表示モードのいずれかを選択できるようになっている。このモード選択は、図１にて情報伝送システム受信部１３に接続された入力部（キーボードやタッチパネルで構成される）により切り替えが可能である。カメラ実映像モードが選択された場合はＳ６１１０４に進み、同時表示するすべてのアバターの位置座標Ｐ（x, y, 0）を、対応するカメラの実空間視野領域にプロットする。Ｓ６１１０５では、プロットされた位置座標Ｐとともに実空間視野領域を、対応するカメラの座標系に射影変換する。

ここで、位置座標Ｐの決定に使用したカメラ二次元座標系は、すでに説明したごとく、レンズ歪を考慮して、図１５左の状態から右の状態へと一旦補正されている。この場合、補正前の座標系で視野の全体が出力画面に収まるようになっていたものが、補正後は視野の端の領域がモニタ（図１：符号１４）の画面からはみ出ており、単純に射影変換しただけでは、カメラの撮影画像を直接見る場合と比較して、歪補正した分だけ画像が変化して違和感を生じるほか、視野の端に写り込んでいた人物のアバター画像を表示できなくなる場合もある。そこで、図３１のＳ６１１０６では、射影変換画像に元のレンズ歪の影響を復活させるための逆歪補正を施し、視野の形状を元に戻す。これにより、上記の不具合は解消されることとなる。

そして、Ｓ６１１０７では、マッピングされた人物座標位置Ｐとともに、射影変換及び歪逆補正を経てカメラ二次元座標系に戻された出力平面上に、選択されている背景映像を重ね合わせ（Ｓ６１１０７）、変換後の（カメラ二次元座標系による）各位置ｐに、上記のごとく寸法及び向きを調整されたアバター画像データを貼付け、合成する。

なお、図１のモニタ１４の画面は、分割することにより複数のカメラ１１の映像信号を同時に表示しても良いし、モニタ１４の画面を切り替え操作することにより、複数のカメラ１１のうちのいずれかの映像信号のみを表示するようにしても良い。

一方、Ｓ６１１０４で統合表示モードが選択されている場合はＳ１０００に進み、統合モードでの表示を行う。図３２はその詳細を示すフローチャートであり、Ｓ１００１では、同時表示するすべてのアバターの位置Ｐ（x, y, 0）及び方向を、複数カメラが共有する実空間にプロットする。そして、Ｓ１００２では、前後のフレームにおける人物位置座標Ｐを重ね合わせて動線軌跡データを作成する。本実施形態では、図３３のような平面視による表示形態と、図３４のような俯瞰視による表示形態のいずれかから選択できるようになっている。

平面視を選択した場合はＳ１００４に進み、図３３に示すように、予め用意された平面視背景画像ＰＢＰを貼付ける。そして、アバター画像ＡＶを、平面視背景画像上にプロットし表示する。この場合、平面視用のアバター画像を別に用意してもよいし、アバターを横方向に表示して特徴情報を把握しやすくしてもよい。そして、動線表示が指定され場合は、前述の動線軌跡データに基づいて、対応するアバター画像ＡＶの動線画像ＭＬを表示する。

一方、Ｓ１００３で俯瞰視を選択した場合はＳ１００６に進み、俯瞰角度及び方向に応じてアバターの実空間位置、方向及び動線データを射影変換し、Ｓ１００で俯瞰視の場合の背景画像を重ね合わせる。背景画像については、俯瞰視用の撮影画像を用意して用いてもよいし、三次元背景画像データ（例えば三次元コンピュータグラフィックス（ＣＧ）データ）を用意して射影変換により俯瞰視化してもよい。Ｓ１００８で、射影変換後のアバターの方向に対応するアバター画像を読み出し、図３４に示すように、俯瞰視背景画像ＰＢＰＳ上に貼付けアバター画像ＡＶＳを貼りつける。この場合も、動線表示が指定され場合は、前述の動線軌跡データに基づいて、対応するアバター画像ＡＶＳの動線画像ＭＬＳを表示する。

なお、アバター画像データは三次元アバター画像データを用い、アバター画像を、図３５に示すように、三次元ＣＧ画像として表示するようにしてもよい。この場合、アバター画像は最初から三次元化されたアバターオブジェクトとして用意されるので、指定された方向への配置や回転も三次元的に自由に設定できる。この場合、画像合成部１３３（図１）は、配置方向が決定された実空間上の三次元のアバターオブジェクトを背景画像の二次元座標系に射影変換することにより二次元アバター画像データを生成し、該二次元アバター画像データに基づくアバター画像を背景画像と合成する処理を行う。

以上説明したごとく、カメラ１１の映像信号から人物の特徴点と位置座標とを抽出し、抽出されたデータのみを伝送することにより、従来のように映像信号をそのまま圧縮して伝送する場合に比べて、ネットワーク１５の帯域を有効に利用することができる。また、モニタ１４に人物の映像がそのまま映されるのではなく、擬人化（アバター化）された状態で表示するので、街頭の防犯カメラのように不特定多数の人物を撮影する場合に、プライバシーを侵害しないという利点がある。例えば、図５に示した撮影画像中の人物は、図６に示すようなアバターとしてモニタ１４に表示される。また、それぞれのアバターは、映像から抽出された特徴情報に基づいて、それぞれの人物の特徴を表すデザインになっているので、どのような人物が撮影範囲内にいるのかを把握することができる。

また、上述の実施形態において、カメラ１１の映像信号から人物の特徴情報や座標情報を取得し、さらには、その人物の動きや向きを表す動作解析情報や、年齢・性別等の人物属性情報を取得する例を説明した。このような情報を利用して、様々な応用例が考えられる。例えば、図７に示すように、上記の情報を画像合成部１３３において処理加工し、モニタ１４に複数の画面を表示するようにしても良い。図７の例では、モニタ１４に、実映像空間画面８１、特徴量再現画面８２、統計空間画面８３、動線解析空間画面８４、個人識別空間画面８５が並べて表示されている。或いは、アバターを見ながら必要に応じて実映像をストリーミングするといった方法でもよい。また送信側で顔を認識した時にその顔のキャプチャーを送信側で録画しておき、受信側からの要求でアバターと紐付された顔画像を受信側の要求により受け取ることができるように構成してもよい。

実映像空間画面８１は、複数のカメラ１１からの映像信号を、人物をアバターに置き換えた状態で表示する画面である。図７の例では、実映像空間画面８１は４つに分割され、
４台のカメラ１１からの映像信号を同時に表示しているが、カメラの台数はこれに限定されない。

特徴量再現画面８２は、複数台のカメラ１１からの映像を表示する画面であり、人物がアバターに置き換えられ、かつ、背景画像もグラフィック表示にしたものである。なお、
図７の例では、複数台のカメラ１１からの映像を三次元的に統合して、特徴量再現画面８２が生成されている。すなわち、複数個所に設置された複数台のカメラで撮影した映像を組み合わせて、俯瞰画像として特徴量再現画面８２を構成する。例えば、図７に例示した特徴量再現画面８２は、駅構内（ホームと改札口周辺）とその周辺の店舗の様子を表す画面である。この例では、例えば、駅のホームの設置カメラ、改札口周辺の設置カメラ、および、複数の店舗のそれぞれに設置されたカメラ、からそれぞれ取得された映像信号を用いる。一台のカメラでこの全ての領域を撮影することは不可能であるが、複数個所に設置された複数台のカメラで撮影された映像を三次元的に組み合わせることにより、このような俯瞰画像的な画面を構成することができる。

また、カメラの映像信号から抽出された動作解析情報には、人物の向きや動いている方向についての情報が含まれている。この情報を利用して、実際の人物の向きに合うようにアバターを配置することにより、特徴量再現画面８２において群衆の動きが把握しやすくなるという利点がある。このような特徴量再現画面８２を構成することにより、複数個所に設置されたカメラの映像を統合的に見ることができ、より広い範囲の状況をリアルタイムに監視することが可能になる。また、実映像空間画面８１と同様に、人物がアバターに置き換えられているので、プライバシーを侵害しないという利点がある。また、それぞれのアバターは、映像から抽出された特徴情報に基づいて、それぞれの人物の特徴を表すデザインになっているので、どのような人物が撮影範囲内にいるのかを把握することが可能である。

統計空間画面８３は、様々な統計結果を表示する画面である。例えば、あるカメラの撮影範囲内にいる人の数の推移をグラフで表すことができる。あるいは、人物属性情報に基づいて、撮影範囲内にいる人を、性別や年代別にグラフで表しても良い。また、析空間画面８４は、ある人物（アバター）に着目して、その人物がカメラの撮影範囲でどのように移動したかを動線で表示するものである。これは、ある人物（アバター）の座標情報を時系列で取得することにより可能である。さらに、個人識別空間画面８５は、撮影範囲にいる人物の人物属性情報を表示する。図７の例では、それぞれの人物のアバター画像の顔部分と、性別と年齢とが表示されている。

また、実映像空間画面８１、特徴量再現画面８２、統計空間画面８３、および動線解析空間８４は、ＧＵＩ（グラフィカルユーザインタフェース）機能を有していることが好ましい。例えば、この特徴量再現画面８２において、表示されているアバターの一つを、マウス等のポインティングデバイスを用いて選択すると（図７では、アバター８２ａ）、このアバターで表されている人物の人物属性情報が、個人識別空間画面８５でハイライト表示される。この例では、アバター８２ａの人物属性情報である「男、３５歳」が、個人識別空間画面８５においてハイライト表示されている。また、これとは逆に、個人識別空間画面８５において、いずれかの人物属性情報を選択すると、特徴量再現画面８２において、選択された人物属性情報に対応するアバター画像がハイライト表示されるようにしても良い。また、特徴量再現画面８２においていずれかのアバターを選択すると、そのアバターの移動経路が、動線解析空間画面８４に表示されるようにしても良い。

図８は、送信側のカメラの連続性が無い場合におけるアバターの表現例を示す模式図である。本実施形態では送信側のカメラの連続性が無い場合、受信側でアバターの確認ができない場合も想定しなければならない。その対処法としては、例えば図８（Ａ）に示す統合レイヤーの図に示すように、カメラAでとらえた特徴量を通行先にあるカメラBで確認できた時に受信アバターに着色する、一方、図８（Ｂ）に示すように、受信側でアバターの確認ができない時は受信アバターを着色しない状態のアバター（デフォルトアバター）のままにして、両者を区別して表現しつつ、いずれの場合もカメラ間の動作は移動速度により計算し特徴量再現空間などに三次元画像を投射するという方法が考えられる。

このように、カメラの映像信号から抽出された特徴情報、座標情報、人物属性情報、動作解析情報等を情報伝送システム受信部１３側で様々に用いることにより、統合的な防犯カメラシステム等を実現することが可能になる。

（実施の形態２）
本発明の実施の形態２にかかる情報伝送システム２について説明する。なお、（実施の形態１）で説明した構成と同様の機能を有する構成については、同じ参照符号を付記し、
重複した説明は行わない。

図９は、情報伝送システム２の概略構成を示すブロック図である。図９に示すように、
情報伝送システム２は、カメラ１１が一台である点において、複数のカメラ１１ａ，１１ｂ・・・を備えた情報伝送システム１（第１の実施形態）と異なっている。このため、情報伝送システム２は、座標情報付加部１２１と特徴点抽出部１２２とを一組だけ備え、複数カメラ連携部１２３を備えていない。なお、座標情報付加部１２１および特徴点抽出部１２２、ならびに他の処理部の動作については、第１の実施形態と同様である。このように、一台のカメラ１１の映像信号のみから情報を抽出して伝送するシステムも、本発明の一実施形態に含まれる。

また、上述の実施の形態１において、情報伝送システム送信部１２および情報伝送システム受信部１３のそれぞれは、独立した装置（カメラコントローラ）またはコンピュータやサーバとして実現することができる。ブロック図に表された座標情報付加部１２１等の各部は、これらの装置において、メモリに記録されたプログラムをプロセッサが実行することにより、実現することができる。また、実施の形態２の情報伝送システム送信部２２は、カメラ１１と一体化された装置として実現することもできる。

また、このように、ハードウエアとして本発明を実施する形態の他に、汎用のコンピュータやサーバで実行されるプログラムまたはこれを記録した媒体としても、本発明を実施することができる。

１、２ 情報伝送システム
１１ カメラ
１２ 情報伝送システム送信部
１３ 情報伝送システム受信部
１４ モニタ
１５ ネットワーク
１２１ 座標情報付加部
１２２ 特徴点抽出部
１２３ 複数カメラ連携部
１２４ 情報送信部
１３１ 情報受信部
１３２ 動態生成部
１３３ 画像合成部

Claims (22)

1. 少なくとも１台のカメラで写した映像内の被写体である人物の画像を、人体の部位に相当する複数のパーツに分割し、各パーツから特徴点を抽出して特徴情報として出力する特徴点抽出部と、
   前記カメラの撮影範囲における被写体の座標情報を取得する座標情報付加部と、
   前記特徴情報および前記座標情報をネットワークへ送出する情報送信部と、
   前記ネットワークから前記特徴情報および前記座標情報を受け取る情報受信部と、
   前記特徴情報に基づいて被写体のアバター画像を生成する動態生成部であって、前記アバター画像のデータを、身長や体形を標準に設定したときの複数の前記パーツに対応したアバター断片に分割して記憶するアバター画像データ記憶手段を備え、前記人物の対応する前記パーツについて抽出された身長及び体形を含む前記特徴点の情報に基づいて前記アバター画像の前記アバター断片を補正した後、その補正後のアバター断片を統合して前記アバター画像を生成する動態生成部と、
   前記カメラの撮影範囲の背景を表す背景画像に、前記座標情報に基づいて前記アバター画像を合成することにより、合成画像を生成する画像合成部とを備えたことを特徴とする情報伝送システム。
2. 前記座標情報付加部は、撮影画面上に現れる前記被写体をなす人物の接地点として識別される位置を撮影接地位置とし、当該撮影接地位置に現れる人物画像領域の撮影画面上の高さを人物撮影高さとして、前記座標情報付加部は、被写体が人物である場合の実空間における歩行面を高さ方向の基準として、前記カメラの撮影画面上に設定されるカメラ二次元座標系における平面座標点と、実空間三次元座標系における前記歩行面上の空間座標点との変換関係と、前記カメラ二次元座標系における前記撮影接地位置毎の前記人物の撮影高さと前記実空間座標系での当該人物の実高さとの変換関係とを含む位置・高さ変換関係情報を取得する位置・高さ変換関係情報取得手段と、前記撮影画面上にて前記人物画像の前記撮影接地位置及び撮影高さを特定する撮影接地位置・高さ特定手段と、特定されたそれら撮影接地位置座標及び撮影高さの情報を、前記位置・高さ変換関係情報に基づいて前記実空間における前記人物の接地位置座標である実接地位置座標情報と前記実空間における人物の高さを情報である実人物高さ情報とに変換・生成する実人物座標・高さ情報生成手段とを備え、
   前記動態生成部は、生成された前記実人物高さ情報に基づいて前記アバター画像の高さ寸法を決定するアバター高さ決定手段を備え、
   前記画像合成部は、前記実接地位置座標情報に基づいて前記背景画像への前記アバター画像の合成位置を決定するアバター合成位置決定手段を備える請求項１記載の情報伝送システム。
3. 前記特徴点抽出部が、さらに、前記被写体の動きまたは向きを解析して動作解析情報として出力し、
   前記情報送信部が、さらに、前記人物属性情報をネットワークへ送出し、
   前記画像合成部が、前記動作解析情報に基づいて前記アバター画像の動きまたは向きを調整する請求項２に記載の情報伝送システム。
4. 前記カメラは動画撮影可能なものであり、
   前記座標情報付加部は撮影された動画のフレーム別に前記被写体をなす人物の座標情報を取得するものであり、
   前記特徴点抽出部は、前記人物の前記座標情報の前記フレーム間の移動軌跡情報を前記動作解析情報として出力するものである請求項３記載の情報伝送システム。
5. 前記画像合成部は前記移動軌跡情報に基づいて、前記背景画像上に合成する前記アバター画像の向きを調整するものである請求項４記載の情報伝送システム。
6. 前記動態生成部は、前記カメラからの視点による当該人物の見え方が反映されるように、前記実空間における前記人物の移動方向に応じて異なる表現形態のアバター画像を生成するものである請求項５記載の情報伝送システム。
7. 前記動態生成部は、前記実空間における前記人物の、予め定められた複数の移動方向別に前記表現形態が互いに異なる複数の二次元アバター画像データを記憶する方向別二次元アバター画像データ記憶手段を備え、前記先行する前記フレームについて取得されている前記移動軌跡情報に基づいて前記人物の移動方向を推定するとともに、方向別の前記二次元アバター画像データから、推定された前記移動方向に適合するものを選択するものであり、
   前記画像合成部は、選択された二次元アバター画像データに基づくアバター画像を前記背景画像と合成する請求項６記載の情報伝送システム。
8. 前記動態生成部は、前記アバター画像のデータを三次元アバター画像データとして記憶する三次元アバター画像データ記憶手段を備え、該三次元アバター画像データに基づいて三次元アバターオブジェクトを生成するとともに、前記先行する前記フレームについて取得されている前記移動軌跡情報に基づいて前記人物の移動方向を推定し、推定された前記移動方向を向くように前記三次元アバターオブジェクトの前記実空間上への配置方向を決定するものであり、
   前記画像合成部は、配置方向が決定された前記実空間上の前記三次元アバターオブジェクトを前記背景画像の二次元座標系に射影変換することにより二次元アバター画像データを生成し、該二次元アバター画像データに基づくアバター画像を前記背景画像と合成する請求項６記載の情報伝送システム。
9. 前記画像合成部が、前記移動軌跡情報に基づいて前記人物の動線を表す画像を生成する請求項４ないし請求項８のいずれか１項に記載の情報伝送システム。
10. 前記特徴点抽出部は、前記被写体の人物属性を解析して人物属性情報として出力するものであり、
    前記情報送信部は、前記人物属性情報を前記ネットワークへ送出するものである請求項１ないし請求項９のいずれか１項に記載の情報伝送システム。
11. 前記動態生成部は前記アバター画像を、前記人物属性情報を反映したものとして生成する請求項１０記載の情報伝送システム。
12. 前記人物属性情報は前記人物の性別を反映した性別情報と前記人物の年齢を反映した年齢情報とを含むものである請求項１０又は請求項１１に記載の情報伝送システム。
13. 前記特徴点抽出部は、前記被写体の人物の外観を解析して外観特徴情報として出力するものであり、
    前記情報送信部は、前記外観特徴情報を前記ネットワークへ送出するものである請求項１ないし請求項１２のいずれか１項に記載の情報伝送システム。
14. 前記動態生成部は前記アバター画像を、前記外観特徴情報を反映したものとして生成する請求項１３記載の情報伝送システム。
15. 前記外観特徴情報は前記人物の頭髪の形態及び色彩の一方又は双方を反映した頭髪情報と、前記人物の着衣の形態及び色彩の一方又は双方を反映した着衣情報と、前記人物の持ち物の形態及び色彩の一方又は双方を反映した持ち物情報の１以上のものを含むものである請求項１４記載の情報伝送システム。
16. 前記外観特徴情報は前記人物の体形を反映した体形情報を含むものである請求項１４又は請求項１５記載の情報伝送システム。
17. 前記外観特徴情報は前記人物の歩容を反映した歩容情報を含むものである請求項１４ないし請求項１６のいずれか１項に記載の情報伝送システム。
18. 前記動態生成部は、人物歩行動作を細分化したコマデータの集合からなるアバターアニメーションデータを使用するものであり、前記コマデータの各コマを前記歩容情報に基づいて補正する画像補正処理を行い、
    前記画像合成部は前記アバター画像を、補正後の前記コマデータに基づき前記歩容特徴を反映させた動画形態で前記背景画像に合成する請求項１７記載の情報伝送システム。
19. 前記画像合成部が、複数の前記カメラの撮影範囲を含む俯瞰画像として前記合成画像を生成する請求項１ないし請求項１８のいずれか記載の情報伝送システム。
20. 前記撮影範囲は実空間座標を共有する形で複数の前記カメラによりカバーされてなり、
    前記座標情報付加部は、複数の前記カメラの撮影画面上に現れる人物の接地点として識別される位置を撮影接地位置とし、当該撮影接地位置に現れる人物画像領域の撮影画面上の高さを人物撮影高さとして、前記座標情報付加部は、被写体が人物である場合の実空間における歩行面を高さ方向の基準として、前記カメラの撮影画面上に設定されるカメラ二次元座標系における平面座標と前記実空間の三次元座標系である実空間座標系における前記歩行面上の空間座標点との変換関係と、前記カメラ二次元座標系における前記撮影接地位置毎の前記人物の撮影高さと前記実空間座標系での当該人物の実高さとの変換関係とを含む位置・高さ変換関係情報を取得する位置・高さ変換関係情報取得手段と、前記撮影画面上にて前記人物画像の前記撮影接地位置及び撮影高さを特定する撮影接地位置・高さ特定手段と、特定されたそれら撮影接地位置座標及び撮影高さの情報を、前記位置・高さ変換関係情報に基づいて前記実空間における前記人物の接地位置座標である実接地位置座標情報と前記実空間における人物の高さを情報である実人物高さ情報とに変換・生成する実人物座標・高さ情報生成手段とを備え、
    前記動態生成部は、生成された前記実人物高さ情報に基づいて前記アバター画像の高さ寸法を決定するアバター高さ決定手段を備え、
    前記画像合成部は、前記実空間座標系における複数の前記カメラが撮影した前記人物の前記実接地位置座標情報を前記俯瞰画像の視点にて座標変換しつつ該俯瞰画像への前記アバター画像の合成位置を決定するアバター合成位置決定手段を備える請求項１９に記載の情報伝送システム。
21. 少なくとも１台のカメラで写した映像内の被写体である人物の画像を人体の部位に相当する複数のパーツに分割し各パーツからから抽出された特徴点を表す特徴情報と、前記カメラの撮影範囲における被写体の座標情報とを、ネットワークを介して受け取る情報受信部と、
    前記特徴情報に基づいて被写体のアバター画像を生成する動態生成部であって、前記アバター画像のデータを、身長や体形を標準に設定したときの複数の前記パーツに対応したアバター断片に分割して記憶するアバター画像データ記憶手段を備え、前記人物の対応する前記パーツについて抽出された身長及び体形を含む前記特徴点の情報に基づいて前記アバター画像の前記アバター断片を補正した後、その補正後のアバター断片を統合して前記アバター画像を生成する動態生成部と、
    前記カメラの撮影範囲の背景を表す画像に、前記座標情報に基づいて前記アバター画像を合成することにより、合成画像を生成する画像合成部とを備えたことを特徴とする情報受信装置。
22. 少なくとも１台のカメラで写した映像内の被写体である人物の画像を人体の部位に相当する複数のパーツに分割し各パーツからから抽出された特徴点を表す特徴情報と、前記カメラの撮影範囲における被写体の座標情報とを、ネットワークを介して受け取る情報受信処理と、
    前記特徴情報に基づいて被写体のアバター画像を生成する動態生成部であって、前記アバター画像のデータを、身長や体形を標準に設定したときの複数の前記パーツに対応したアバター断片に分割して記憶するアバター画像データ記憶手段を備え、前記人物の対応する前記パーツについて抽出された身長及び体形を含む前記特徴点の情報に基づいて前記アバター画像の前記アバター断片を補正した後、その補正後のアバター断片を統合して前記アバター画像を生成する動態生成処理と、
    前記カメラの撮影範囲の背景を表す画像に、前記座標情報に基づいて前記アバター画像を合成することにより、合成画像を生成する画像合成処理とをコンピュータに実行させるコンピュータプログラム。