JP3956696B2

JP3956696B2 - 情報処理システム

Info

Publication number: JP3956696B2
Application number: JP2001401221A
Authority: JP
Inventors: 雄一小島; 孝乙部; 一正高橋; 伸行石川; 聡二郎木津
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-12-28
Filing date: 2001-12-28
Publication date: 2007-08-08
Anticipated expiration: 2021-12-28
Also published as: JP2003198886A

Description

【０００１】
【発明の属する技術分野】
本発明は，画像情報や音情報に対して所定の処理を行って出力する情報処理システム，特にスポーツのプレーヤ，イベントの出演者などの身体に取付けたカメラからの画像情報や音情報をプレーヤや出演者などの身体の動きに応じて見やすい形に画像情報や音情報を処理する情報処理システムに関する。
【０００２】
【従来の技術】
従来，スポーツや演劇などのイベントにおける映像音声情報はプレーヤや出演者などを眺める視点からのものだった。例えば特開２０００−３３３０８０号公報に記載のものにおいては，スポーツの試合などで移動する被写体をカメラで撮影し，撮影対象を識別して撮影対象の位置を検出し選手の名前等をスーパーインポーズして表示する画像処理が行われている。
【０００３】
ところで，プレーヤがどんな風に周囲の情報を捉え，どんな風に感じているかは従来なかなか入手が難しかった。それだけにプレーヤや出演者等の視点での情報，プレーヤ等の置かれた環境の情報はコンテンツとして大きな価値を有する。特に視聴者にはプレーヤと同じ情報を共有したいという参加意識が底流にあることからその価値はさらに大きい。
【０００４】
プレーヤや出演者の視点からの画像情報や音情報をユーザーへ届けるものとしては，例えばＦ１レースやスキージャンプ競技でレースカーやスキーなどに挿着したカメラの映像をそのままユーザーへ届けるものがある。
【０００５】
また，プレーやの置かれた環境の情報についてはマラソンランナーの感覚を擬似的に味わう装置として例えば特開２０００−３４２７１３号公報に開示された周囲の映像，音，温度，ランナーの心拍数，呼吸等の体調情報をトレッドミルの周辺へ配ることでトレッドミル上で走るランナーに疑似体験を与えるようなものもある。
【０００６】
【発明が解決しようとする課題】
プレーヤや出演者の捉える情報で最も情報量の多いものはカメラからの映像情報である。しかしながら，従来は，カメラが捉える映像が比較的単純であり、プレーヤや出演者の多彩な動きには対応していないため、例えば球技のような人気の高いスポーツへの応用が難しいという問題点がある。例えば身体の動きが激しかったり，身体の動きが大きい場合，画像の揺れが激しく鑑賞者が見るに耐え難い画像になることも多い。
【０００７】
このような問題もあり，プレーヤや出演者に直接カメラを取付けてプレーヤ等の視点からの画像情報などを見やすい情報にしたり，さらに面白く楽しい情報にしてユーザへ届けることを実現する手段は今までなかった。
【０００８】
そこで，本発明は，このような問題に鑑みてなされたもので，その目的とするところは，プレーヤ等の視点からの画像情報や音情報などをプレーヤの動きに応じて見やすく迫力のある情報にしたり，さらに面白く楽しい情報にすることができる情報処理システムを提供することにある。
【０００９】
【課題を解決するための手段】
上記課題を解決するために，本発明によれば，例えば複数のグループに属する一または二以上のメンバーによって所定の空間で行われるイベントのキーパーソンの身体に挿着した撮像手段と，前記撮像手段の画像情報を無線送信する送信手段と，前記撮像手段からの画像情報を無線受信する受信手段と，前記受信手段で受信した画像情報に基づいて前記キーパーソンの身体の動きに応じた画像処理を行う画像処理手段とを備えたことを特徴とする画像処理システムが提供される。
【００１０】
本発明では，例えばスポーツや演劇、オペラなどにおいて、演じられるイベントの全体の進行に大きな影響を与える人、すなわちキーパーソンの身体にカメラ等の撮像手段を取り付ける。カメラ等の取り付けは例えばキーパーソンの視線に応じた映像を撮るために頭部などに取り付ける。カメラ等からの映像信号（画像信号）は無線送信手段でこれに対応する近くの無線受信手段へ送られる。かかる無線送受信手段を介して送られた映像信号は例えばデジタル化され身体の動きの情報に基づき身体の動きに合わせて画像処理が行われる。このように，プレーヤの動きに応じて画像情報を処理することにより，プレーヤ等の視点からの画像情報などを見やすい情報にしたり，面白く楽しい情報にして視聴者に提供することができる。
【００１１】
また、前記画像処理手段は，前記キーパーソンの身体の動きに応じてアングルを切替えてシーンチェンジの画像処理を行う処理をするようにしてもよい。例えば，身体に取付けられたカメラ等からの映像信号から着目対象画像（具体的には例えば着目される人や物の画素ブロック）を取り出す際に、着目対象画像を切り替えてアングルを切り替えてシーンチェンジを行うきっかけに、カメラを取り付けた身体の動きを用いることにより，野球試合においてピッチャーを見ているキャッチャーが盗塁を見つけて立上がりカメラアングルが変るなどキーパーソンの大きな動きに応じて画像処理を行うことができる。これにより，視聴者に対して見やすく迫力のある画像を提供できる。
【００１２】
また，前記画像処理手段は，前記キーパーソンの身体の動きを前記受信手段で受信した画像情報の出力を処理することにより検出するようにしてもよい。これにより，身体の動きを検出する装置を別途設ける必要がなくなる。
【００１３】
また，前記受信手段で受信した画像情報の出力に基づいて着目対象画像を取出して画像のブレを検出し，画像のブレが小さいと判断した場合はそのブレを補正するようにしてもよい。例えば受信手段で受信した画像情報から着目対象画像を取出し画像のブレを検出した際，画像のブレが小さく着目対象画像の画面内の動きが撮像手段側の動きによると判断した場合、すなわち着目対象画像が撮像手段の撮像範囲にありその範囲から外れそうにもならないと判断した場合には、その動きを補正する。これにより，画面内で着目対象画像が着目対象画像の動きによってのみ動いて見えるように画像処理を行うことができ，視聴者に見やすい画像にすることができる。
【００１４】
また，前記画像処理手段は，前記受信手段で受信した画像情報の出力に基づいて着目対象画像を取出して画像のブレを検出し，画像のブレが大きいと判断したときは別の着目対象画像に切替えて画像処理を行うようにしてもよい。例えば受信手段で受信した画像情報の出力に基づいて着目対象画像を取出し画像のブレを検出した際，キーパーソンの身体の動が大きいため画像のブレが大きく着目対象画像が撮像手段の撮像範囲から外れそうになるか若しくは外れてしまったと判断した場合には、他の着目対象画像を取り出し画像信号の処理をその新たな着目対象画像に対して行うことにより，キーパーソンの身体の動きが大きい場合に着目対象画像が切り替ったことが視聴者にわかるので，より見やすく迫力のある画像を提供することができる。
【００１５】
また，前記画像処理手段は，前記キーパーソンの身体の動きを振動ジャイロにより検出するようにしてもよい。例えば身体の動きを検出するのに画像信号処理を用いる場合には注目しているマーカに似たような特徴を持つ画像が現れると判定を誤るおそれがあるが，三次元の動きを検出する振動ジャイロによってキーパーソンの身体の動きを検出すれば上記の場合でも判定を誤ることを防止できる。
【００１６】
また，前記撮像手段を取付けるキーパーソンは，野球のキャッチャー又はピッチャーとしてもよい。これにより，撮像手段で撮像する特定対象が球から盗塁手に切替えるなど野球に特有の画像処理を行うことができる。
【００１７】
また，前記キーパーソンの身体には，撮像手段とともに集音手段も挿着し，前記送信手段は画像情報とともに音情報も送信し，前記受信手段は画像情報とともに音情報も受信するようにしてもよい。画像の臨場感には音の存在も大きいので，さらに迫力のある画像等を視聴者に提供することができる。また，音情報のうちプレーヤの音声を外部へ出すことがゲーム進行上好ましくない場合もあるため、音声のみをマスクしてそれ以外の音を視聴者に届けるような処理をすることもできる。
【００１８】
【発明の実施の形態】
以下，本発明の実施の形態を図面を参照して説明する。図１は本実施の形態にかかる情報処理システム全体の構成を示すブロック図である。
【００１９】
本発明にかかる情報処理システムは，大別するとスポーツなどのイベントを行う者の動きに応じた画像情報や音情報を取込んで無線で送信するためにその行為者に取付ける装着者側の撮像手段１００・集音手段１１０・無線手段１２０と，画像情報や音情報を無線で受信してその画像情報や音情報の情報処理を行う処理装置側の情報処理装置３００を備える。
【００２０】
上記情報処理装置３００は，装着者側の無線装置１２０からの無線情報を受信等する無線装置３２０，この無線装置３２０で受信した画像情報，音情報を加工処理する情報処理手段３５０，処理した画像を記憶する記憶手段等を備えた各種データベース３６０，ＣＰＵ，ＣＰＵが行うプログラムなどを記憶したＲＯＭ，ＣＰＵが各種処理を行うときに使用するＲＡＭなどを設けた制御部３７０，受信した画像情報を一時的に記憶するフレームメモリ等各種メモリ３８０を備える。
【００２１】
上記装着者側の撮像手段１００等は，スポーツや演劇、オペラなどにおいて演じられるイベントの全体の進行に大きな影響を与える人、すなわちキーパーソンの身体に取付けられる。従って，撮像手段１００等はスポーツなどのイベントを行うのに邪魔にならないように，例えば撮像手段１００としては小型ＣＣＤカメラ，集音手段１１０としては小型マイク，無線装置としては小型無線装置など小型のものが好ましい。
【００２２】
上記キーパーソンとしては例えば野球であればキャッチャーやピッチャーなどが挙げられる。また，サッカーであれば司令塔，テニスやバトミントンであれば両方の選手，フットボールであればクオーターバックなどが挙げられる。これらの者から見た画像等を視聴者に届けることができれば，スポーツの試合等の臨場感が増し，より劇的な画像等を提供することができる。
【００２３】
ここで，上記撮像手段１００等の取付例を図２〜図５に示す。例えば図２に示すようにヘルメット又は帽子など頭に被る被り物１０２に取りつける。この場合例えばヘルメット等の登頂部の空隙に撮像手段１００，集音手段１１０と無線装置１２０を収める。なお，無線手段１２０のアンテナはヘルメット等の周辺に目立たない様に取り付ける。
【００２４】
他の取付け例として，上記撮像手段１００等は図３に示すように眼鏡１０４のつる１０６に取りつけてもよい。普段眼鏡１０４を掛けない人は、度の入らない眼鏡１０４をするようにしてもよい。この場合、無線手段１２０のアンテナは眼鏡１０４のフレームなどを使用してもよい。
【００２５】
他の取付け例として、上記撮像手段１００等は図４に示すように耳の上側に取りつけるようにしてもよい。この場合，例えば補聴器のような取付方やヘッドホンのような取付方によって取り付けてもよい。
【００２６】
また、野球のキャッチャーに取り付ける場合は、図５に示すようにキャッチャーマスク１０８に撮像手段１００，集音手段１１０を取り付け、ヘルメット１０２に無線手段１２０を取り付けるようにしてもよい。この場合、撮像手段１００と無線手段１２０はごく近傍にあるので例えば赤外線を用いた近接用の伝送手段１２２，１２２を使うのが好ましい。これにより本体の電波を使った無線手段１２０との干渉を軽減することができる。
【００２７】
また、上記撮像手段１００としてカメラの光学系は広角が望ましく例えば魚眼レンズなどを用いる事で、画角１８０度くらいの広い範囲の映像を捉える事が可能になる。広角レンズで撮影した映像（画像）を使用すれば，画像処理によって目的物を捉えるように加工するのが容易となる。
【００２８】
次に，本実施の形態にかかる無線装置について説明する。装着者側の無線装置１２０は，撮像手段１００からの画像情報や集音手段１１０からの音情報を符号化等する符号化器等１３０とこの符号化された情報を無線情報として無線送信する無線送信手段２００と，必要に応じて無線情報をセキュリティーコードにより変換するセキュリティ手段１４０を備える。
【００２９】
また，処理装置側の無線装置３２０は，装着者側の無線装置１２０からの情報を無線で受信する無線受信手段４００と，この無線受信手段４００で受信した画像情報や音情報を復号化等する復号器等３３０と，必要に応じて無線情報をセキュリティーコードにより元に戻すセキュリティ手段３４０を備える。
【００３０】
ここではこれらの無線装置としてデジタルＦＰＵシステムを用いた例を図６〜図１５を参照しながら説明する。
【００３１】
この場合の無線送信手段２００となるデジタル送信機(Tx)は、図６に示すように送信制御部２１０と送信高周波部２２０，アンテナ２３０などから構成される。送信制御部２１０は、符号化器等から伝送に適したＴＳ（Transport Stream）形式の信号を入力し、伝送路符号化を行ってＩＦ信号を出力する。送信高周波部２２０は、ＩＦ信号を入力し、周波数変換、電力増幅を行ってＲＦ信号を出力する。
【００３２】
また無線受信手段４００となるデジタルＦＰＵ受信機(Rx)は、受信高周波部４２０，受信制御部４１０，アンテナ４３０などから構成される。受信高周波部４２０は、ＲＦ信号を入力し、周波数変換を行ってＩＦ信号を出力する。受信制御部４１０は、ＩＦ信号を入力し、伝送路復号を行い、復号器等３３０へＴＳ形式の信号を出力する。
【００３３】
ここで無線送受信の変調方式としては、例えば多重反射に強いＯＦＤＭ（直行周波数分割多重方式）を用いた伝送方式を適用する。ＯＦＤＭの基本パラメータとの例として図７にＯＦＤＭ方式の伝送パラメータを、図８に伝送容量を示す。伝送パラメータは変調方式と内符号の符号化率の組み合わせにおいて、ＴＳレート５９．６４８（Mbps）および４４．７３６（Mbps）の伝送パラメータを確保できるようなＦＦＴサンプリングクロックを選定する。
【００３４】
以下にＦＦＴサンプリングクロックの計算法を示す。目標とするＴＳレートをTSR(Mbps)、データキャリア本数をD(本)、変調方式によって決まる帯域利用効率をM(bit/Hz)、内符号の符号化率をR、有効シンボル長をTe(ms)、ガードインタバル比をGrとすると、以下の関係が成立する。
【００３５】
TSR = D×M×R／(Te×(１＋Gr)) …（１）
ここで、Teについて求めると、
Te = D×M×R／(TSR×(１＋Gr)) …（２）
ここで、ＦＦＴポイント数をP、ＦＦＴサンプリングクロックをFs(MHz)とすると、Fs = 1／(Te／P)であるから（２）式を代入して整理すると、
Fs = TSR×(１＋Gr) ×P／(D×M×R) …（３）
ここで、ＴＳレートTSR = 59.648 (Mbps)、ガードインタバル比Gr = 1/16、データキャリア本数D = 672、６４ＱＡＭの場合の帯域利用効率M = 6、ＦＦＴポイント数P = 1024を（３）式に代入してFsを求めると、
Fs = 19.3145904761905 (MHz)
となる。
【００３６】
上記符号化器等１３０の符号化器(Encoder)、再多重化器(ReMUX)、または他のデジタルＦＰＵ受信機(Rx)等とデジタルＦＰＵ送信機(Tx)とを接続する場合の接続形態としては，例えば外インタリーブと誤り訂正内符号との間で接続する場合、ＡＲＩＢ標準規格「テレビジョン放送番組素材伝送用データ・クロック別送インタフェース」（ＡＲＩＢＳＴＤ−Ｂ１８）を使用する。デジタルＦＰＵ受信機(Rx)と復号器等(Decoder)との接続形態もこれに対応する接続形態とする。
【００３７】
その他の接続形態として，例えば情報源符号化／多重化とデータフレーム同期との間で接続する場合、ＤＶＢ−ＡＳＩ（ETSI EN 50083-9 "Cabled distribution systems for television, sound and interactive multimedia signals Part 9 :Interfaces for CATV/SMATV headends and similar professional equipment for DVB/MPEG-2 transport streams"）の204byte/packet(with 16 dummy byte)を使用してもよい。
【００３８】
なお、上記の場合、クロック信号とデータの流れは、同一方向となることを基本とする。デジタルＦＰＵ送信機は外部クロックで動作可能とする。また、必要に応じて符号化器または再多重化器等にクロックを供給できるよう、デジタルＦＰＵ送信機はクロックの供給機能を有する。
【００３９】
次に、上記送信制御部２１０の構成を図９を参照しながら説明する。送信制御部は、データフレーム同期（オプション）、簡易スクランブル（オプション），エネルギー拡散、誤り訂正外符号化、外インタリーブ、誤り訂正内符号化，マッピング、ＯＦＤＭフレーム構成、ＯＦＤＭ変調などを行ってＩＦ信号を出力するものである。
【００４０】
上記データフレーム同期は、簡易スクランブルを用いる場合のオプションであり、簡易スクランブルとセットで使用するものとする。従って、簡易スクランブルを使用しない場合には、データフレーム同期も使用しない。データフレーム同期は、コーデックまたは再多重化器から送信制御部に入力されるＴＳを、８ＴＳパケット単位でフレーミングする。データフレームの最初の同期バイトは、通常のＴＳ同期バイト０ｘ４７を反転し０ｘＢ８とする。
【００４１】
上記簡易スクランブルはオプションである。本規格で扱う無線伝送システムは特定の相手方に対して行われる通信であり設備規模の縮小と消費電力の削減を図るため、スクランブルをかける場合は、１６ビットの擬似ランダム系列（生成多項式Ｘ^１６＋Ｘ^１２＋Ｘ^３＋Ｘ＋１）を加算する簡易なスクランブル方式とする。ＦＰＵは信号を受けるために方向調整を必要とするなど秘匿性を持たせる必要性が低いため、簡易スクランブル機能は必要に応じて付加できるもの（オプション）とする。ここで規定した秘匿化方式以外の任意のスクランブル方式を併せて使用する場合にあっても、スクランブルを掛ける範囲は、上記規定に従わなければならない。
【００４２】
スクランブルをかける範囲は、トランスポートパケットの同期バイトとＰＳＩを伝送するトランスポートパケットを除くトランスポートストリームのペイロードとする。スクランブルの鍵は、上記の擬似ランダム系列を発生させるＬＦＳＲ（線形帰還シフトレジスタ）にロードする初期値とする。なお、鍵の伝送は行わない。ＬＦＳＲへの初期値ロードは、フレーム同期が通過した直後に行うものとし、以降次のフレーム同期までの間、ＬＦＳＲの動作を継続するものとする。スクランブルが禁止されている部分では単に擬似ランダム系列の加算を中止するものとする。
【００４３】
上記エネルギー拡散において、ＩＳＯ／ＩＥＣ１３８１８−１で多重化されたＴＳパケットにエネルギー拡散のための擬似ランダム系列を加算する。擬似ランダム系列の生成多項式は、Ｘ^１５＋Ｘ^１４＋１とする。また、擬似ランダム系列の発生回路の初期値は、低次から"1001 0101 0000 000"とする。加算の範囲は、２０４バイトの各パケットからダミーの１６バイト、データフレーム同期バイト(０ｘＢ８)、ＴＳ同期バイト（０ｘ４７）を除いた部分とする。初期値のロードは、ＯＦＤＭ伝送フレームに収容されるＴＳパケットの最初の同期バイト（０ｘＢ８もしくは０ｘ４７）が終了した直後とする。なお、同期バイト部分においてもシフトレジスタの動作は継続し、この部分では、単に擬似ランダム系列の加算を中止するものとする。
【００４４】
上記誤り訂正外符号は、短縮化リードソロモン（２０４，１８８）とする。短縮化リードソロモン符号は、リードソロモン（２５５，２３９）符号化器の、入力データ２０４バイトのうちダミーの１６バイトを除いた１８８バイトの前に、５１バイトの「０」を付加し、符号化後に先頭の５１バイトを除去することにより生成する。リードソロモン（２５５，２３９）符号の多項式は、次の通りとする。
【００４５】
符号生成多項式：g(x) = (x+λ^０)(x+λ^１)(x+λ^２).........(x+λ^１５)
ここでλ=02hである。
【００４６】
体生成多項式：p(x) = x^８+x^４+x^３+x^２+1
なお、リードソロモン（２０４，１８８）のバイト訂正能力は、１０^−３入力で１０^−１１以下、１０^−４入力で１０^−１９以下である。
【００４７】
上記外インタリーブは、１ブロックで１７バイトの遅延量を持つブロックを、第ｎ番目のパスが（ｎ−１）ブロックの遅延量となるように配置した１２パスに、リードソロモン符号化後の２０４バイトのビットストリームを、１パス当たり１バイトずつ順次供給して行う畳み込みインタリーブとする。ここで、トランスポートパケットの同期バイト並びにフレーム同期バイトは、常に、遅延のないパスを通過することとする。なお、デインタリーブの回路構成は、先頭のパスの遅延ブロックの挿入量を１１とし、パス番号順に１ブロックずつ少なくなるものとする。
【００４８】
上記誤り訂正内符号としては，拘束長７、符号化率1/2を原符号とするパンクチュアード畳込み符号を用いる。原符号の生成多項式は、G₁=171_OCT、G₂=133_OCTとし、パンクチュアー化によりR=1/2, 2/3, 3/4, 5/6, 7/8 の５種類の符号化率に対応する。拘束長７、符号化率1/2の畳込み符号化回路を図１０に示す。なお、パンクチュアー化パターンはＯＦＤＭフレーム同期でリセットされるものとする。
【００４９】
また、伝送路の特性から内符号が必要ない場合には、内符号を省略することが出来る。この場合は、入力信号をそのまま出力信号として用いる。
【００５０】
上記周波数インタリーブは、次に示すような周波数インタリーブ関数を用いる。

上述の周波数インタリーブ関数に記述されたmseq10()は、図１１に示す擬似ランダム系列を生成する回路のシフトレジスターの値を返すものとする。なお、シフトレジスターの初期値は、“1111 1111 11”とする。
ここで、関数Ｆ（i）は、インタリーブ前のキャリア位置（i）をインタリーブ後のキャリア位置に変換する関数である。生成多項式はg(x) = x¹⁰ + x³+ 1となる。
【００５１】
上記時間インタリーブでは，フェージング特性を向上させるため、キャリアを時間軸上で分散させる。時間インタリーブは、畳込みインタリーブを用いる。時間インタリーブ長は、図１２に示すようにセル長（Ｉ）の値を変えることで５種類のパラメータを選択できる。ただし、セル長（Ｉ）＝168のパラメータはオプションとする。図１３に時間インタリーブの構成例を示す。
【００５２】
ここで，ＯＦＤＭフレームは、以下の５種類のキャリアで構成されている。
− ＣＰ（Continual Pilot）
− ＴＭＣＣ（Transmission and Multiplexing Configuration Control）
− ＡＣ（Auxiliary Channel）
− Ｎｕｌｌ（Null Carrier）
− Data（Data Carrier）
このうち、データキャリア以外のキャリアの配置を図１４に示す。
【００５３】
上記ガードインタバルの付加では，図１５に示すように有効シンボルの後端部分のガードインタバル長に相当する部分をコピーして有効シンボルの前に付加する。
【００５４】
ここで，上記ＲＦ信号フォーマットにおけるＲＦ帯においての信号フォーマットを規定する。
定義
k：キャリア番号
n：シンボル番号
K：キャリア総数（K=793）
T_s：シンボル期間長
T_g：ガード期間長
T_u：有効シンボル期間長
f_c：RF信号の中心周波数
K_c：RF信号の中心周波数に対応するキャリア番号（K_c=396）
c(n,k)：シンボル番号n、キャリア番号kに対応する複素信号点ベクトル
s(t)：RF信号
とすると，次の［数１］に示すようになる。
【００５５】
【数１】

次に，上述した無線装置１２０が複数ある場合について説明する。撮像手段１００，無線装置１２０などを複数のキーパーソンに取付けた場合に，無線送受信の周波数が重ならないようにする必要がある。例えば野球の場合，両方のチームのキャッチャーに無線装置１２０を取付けるには各無線装置１２０からの周波数が重ならないようにする必要がある。また，キャッチャーとピッチャーの両方に無線装置１２０を取付ける場合についても同様である。
【００５６】
この場合，無線装置１２０に周波数変換用の混合器などのミクサーを設け，画像情報や音情報の送信データをミクサーを介して搬送波を変えて無線送信部に送ることにより，別の異なる周波数帯へ移す。これにより，複数データを別個に送る場合の周波数の重なりを避けることができる。
【００５７】
上述したピッチャーやキャッチャーなど装着者に応じて異なる搬送波を用いて周波数を変換してもよい。また，複数のグループに属する一または二以上のメンバーによって行われる所定の空間で行われるスポーツの試合などのイベントでは，チームごとに異なる搬送波を用いて周波数を変換してもよい。例えば，野球であれば，チームごとに異なる搬送波を用いてもよい。
【００５８】
次に，本実施の形態において画像情報等を送受信する際のセキュリティー手段について説明する。
【００５９】
本実施の形態ではイベントの行為者自身，例えばスポーツを行っている選手自身に撮像手段１００や集音手段１１０を装着するため，その装着者の画像情報や音情報が不特定多数の者に利用され悪用されることを防止する必要がある。例えば，野球などでは，音情報としてキャッチャーの音声などが含まれるとピッチャーへのサインが予めわかってしまったり，次の行為を予測することができたりするおそれがある。特に画像情報や音情報のデータを無線で送受信する場合には，当該データは不特定の者に受信されるおそれがあるのでこれを防止する必要は大きい。
【００６０】
このため，本実施の形態においては，図１に示すように無線データを送信する装着者側の無線装置１２０にセキュリティ手段１４０を設けるとともに，無線データを受信する処理装置側の無線装置３２０にセキュリティ手段３４０を設けている。
【００６１】
このセキュリティ手段１４０，３４０は例えばセキュリティーコードにより無線データを変換することにより，不特定の者に受信され悪用されることを防止する。
【００６２】
装着者側の無線装置１２０におけるセキュリティ手段１４０は，予め定めたセキュリティーコードを用いて送信するデジタルデータを処理して、これを無線送信手段２００に送るようになっている。
【００６３】
処理装置側の無線装置１２０におけるセキュリティ手段３４０は，受信したデータから変換したデジタルデータを，送信する場合と同様のセキュリティーコードで処理して元のデータを取得し，次の処理を行う情報処理手段３５０に送るようになっている。
【００６４】
なお，このセキュリティ手段１４０，３４０は，セキュリティーコードを使って無線で送信するデータをＯＦＤＭのエネルギー拡散データを変えて変調するようにしてもよい。例えば、ＯＦＤＭの複数のエネルギー拡散データをセキュリティーコードに対応させて毎回異なるものを選ぶようにしてもよい。
【００６５】
このようなキュリティーコードの配布方法は、例えば試合やイベントに対応して、セキュリティーカードを配布する。また、携帯電話などを使って、使用者を特定した後で、セキュリティーコードを伝えるようにしてもよい。ＩＣカードにセキュリティーコードを埋め込むようにしてもよい。
【００６６】
また，複数のグループに属する一または二以上のメンバーによって行われる所定の空間で行われるスポーツの試合などのイベントでは，チームごとに異なるセキュリティーコードを用いるようにしてもよい。例えば，野球であれば，チームごとに異なるセキュリティコードを用いてもよい。
【００６７】
なお，セキュリティ手段１４０，３４０で用いるセキュリティコードは更新可能である。例えば装着者側の無線装置１２０には無線受信手段を設け，処理装置側の無線装置３２０には無線送信手段を設けてそれぞれ無線送受信可能に構成するとともに，情報処理装置３００の書換え可能メモリにセキュリティーコードを記憶しておき，これがキーボードやカード読取装置などの入力手段により更新されると，そのセキュリティーコードを処理装置側の無線装置３２０から装着者側の無線装置１２０へ送信するようにしてもよい。これにより，装着者側のセキュリティコードを自動的に更新することができる。
【００６８】
この場合，セキュリティコードの更新，すなわち上記入力手段からの入力は，ＩＤ，パスワードがないとできないように構成してもよい。これにより，イベントの行為者とは異なる第三者だけがセキュリティーコードを更新できるようにすることも可能となる。
【００６９】
次に，上記情報処理装置３００において，無線装置３２０により受信した画像情報，音情報のデータを処理する情報処理手段３５０について説明する。
【００７０】
情報処理手段３５０は、図１に示すように無線装置３２０により受信したデータのうち画像情報のデータ処理を行う画像情報処理手段６００、音情報のデータ処理を行う音情報処理手段７００を備える。
【００７１】
画像情報処理手段６００は、装着者の動きに応じて画像処理を行う手段として、図１６に示すように撮像手段１００の装着者の動きを検出する動き検出手段６１０、この動き検出手段６１０で検出した装着者の動きに応じてその装着者の動きが小さいときに画像のぶれ補正を行うぶれ補正手段６２０、上記動き検出手段６１０で検出した装着者の動きに応じてその装着者の動きが大きいときに画像のアングルを変更するアングル変更手段６３０を備える。
【００７２】
これらの動き検出手段６１０，画像のぶれ補正手段６２０，アングル変更手段６３０は，コンピュータ読取可能なハードディスクなどの記録媒体に記録されたプログラムに基づいて制御部３７０が行うソフトウエアの処理によるものでもよいし，またハードウエアとしての回路の処理によるものであってもよく，また両者の組合せで処理してもよい。
【００７３】
ここで，上記動き検出手段６１０の回路構成例を図１７に示す。この回路は，デジタル化された画像情報のデータのうち，基準となるフレームを記憶する基準フレームメモリ６１２，基準フレームと比較するフレームを記憶する検索メモリ６１４，基準フレームメモリ６１２と検索フレームメモリ６１４から転送されてくるデータに基づいて動き検出を行う動き検出回路６１６を備える。
【００７４】
次に，上記動き検出手段６１０，画像のぶれ補正手段６２０，アングル変更手段６３０により，例えば無線受信手段４００で受信した画像情報のデータに基づいて画像処理により装着者（キーパーソン）の動きを検出し，この装着者の動きに応じて画像のぶれを補正したり，アングルを変換したりする動作について説明する。
【００７５】
なお、ここでは撮像装置１００としてカメラを野球のキャッチャーなどのキーパーソンに装着し、このカメラに魚眼レンズなどの広角レンズを装着し、画像情報はカメラの前方１８０度の映像を写すようにすし、この広い範囲の画像情報を使って下記の処理を行う場合について説明する。
【００７６】
カメラを装着したキーパーソンは漠然と周りを見ているのではなく、自分にとってもっとも関心の高い対象を主に見ていると考えられる。キーパーソンとして特にスポーツ選手のように他の選手やボール等の動きに対応して動作する者においては、動きのある画像を注目しているはずである。例えば選手の頭部にカメラを装着した場合は、その頭部の正面には概ねその選手が注目している、動きのある着目対象画像があるものと想定される。
【００７７】
そして、キーパーソンの動きが大きい場合には、キーパーソンが注目する動きのある着目対象画像が変わり、カメラからの画像情報の内容としては元の着目対象画像は画像範囲からはみ出たり、はみ出そうになったりしたように大きく動くはずである。また、キーパーソンの動きが小さい場合には、キーパーソンが注目する着目対象画像は変わっておらず、カメラからの画像情報の内容としては元の着目対象画像は画像範囲からはみ出ることもなく動きも小さいはずである。
【００７８】
従って、キーパーソンに装着したカメラからの画像情報に基づいてキーパーソンの動きを検出するには、先ず画像情報から抽出された動きのある画像を着目対象画像として検出し、その着目対象画像の動きに基づいて装着者の動きを間接的に検出すればよいと考えられる。
【００７９】
そこで、先ず動きのある画像（着目対象画像）を検出する動作を説明する。先ず，デジタル化されたカメラからの画像情報のデータをフレームメモリへ蓄積する。この場合、画像情報のデジタル化は情報処理装置に設けたカメラ付加装置によって行うようにしてもよい。
【００８０】
次に、比較の基準となるフィールドを決め基準フレームメモリ６１２に記憶する。その前後のフィールドを検索フレームメモリ６１４へ記憶し，動き検出回路６１６にてそれぞれ対応する画素の信号レベルを比較しその差を検出する。次いで、検出した差があらかじめ決めた値よりも大きい画素の位置を検出する。続いて、検出した画素を予め決められた数の連続した走査線に出現する部分、すなわち動きのある画素の集まりを着目対象画像として検出する。
【００８１】
例えば、ＭＰＥＧ２では動きのある画素の集まり（画素ブロック）を予測してサーチ範囲を予め決めておくなどすることにより、動き検出に要する計算量を減らすことができる。なお、この動き検出はフレーム単位で対応する画素のレベル差を検出することにより行われる。
【００８２】
次に、こうして検出された着目対象画像の動きに応じて画像処理を行う。先ず、着目対象画像の画像のブレを検出し、画像のブレが小さく着目対象画像の画面内の動きがカメラ側の動きによると判断した場合、すなわち着目対象画像がカメラの撮像範囲にありその範囲から外れそうにもならないと判断した場合には、画像のブレを補正する（画像のぶれ補正手段）。具体的には着目対象画像が中央に来るように画像を修正する、いわゆる画像のぶれ補正を行う。
【００８３】
例えば野球でキャッチャーにカメラを装着した場合、キャッチャーはピッチャーが構えに入ってボールを投げるときにはボールに注目しているため、このボールがカメラの撮像範囲から外れることはないものと考えられる。この場合に、画像のぶれが補正されると視聴者にはとても見やすい画像となる。このように、画面内で着目対象画像が着目対象画像の動きによってのみ動いて見えるように画像処理を行うことができ，視聴者に見やすい画像にすることができる。
【００８４】
これに対し，着目対象画像の画像のブレを検出し、上記キーパーソンの身体の動が大きいため画像のブレが大きく着目対象画像が撮像手段の撮像範囲から外れそうになるか若しくは外れてしまったと判断した場合には、別の着目対象画像に切替えてシーンチェンジの画像処理を行う（アングル変更手段）。具体的には他の着目対象画像を取り出しその着目対象画像が画面の中央に来るように画像処理を行う。すなわち、従来のカメラのアングルを変える操作を画像処理でおこなうことになる。
【００８５】
例えば野球でキャッチャーにカメラを装着した場合、ピッチャーの投げたボールを注目していたが、そのボールをバッターが打ってフライになった場合、キャッチャーはそのボールを取ろうとして上を向くことになる。すると、ボールの画像はいったん撮像範囲から外れるが、キャッチャーが上を向いたときにまたボールの画像が中央にくるように画像処理される。このようにカメラのアングルを変えたのと同じ状態になる。こうして，キーパーソンの身体の動きが大きい場合に着目対象画像が切り替ったことが視聴者にわかるので，より見やすく迫力のある画像を提供することができる。
【００８６】
なお，上記着目対象画像を新たな画像情報の中から探す際には、予め定めた対象物を探すようにしてもよい。予め定めた対象物が見つかった場合はその対象物が画面の中央にくるように画像処理を行い、予め定めた対象物が無い場合はカメラからの画像のほぼ中央に来る頻度の高い対象物を仮想の対象物として、それが画面の中央に来るように画像処理を行う（アングル変更手段）。また、カメラが大きく動かない場合は、画像のぶれ補正手段６２０により対象物が中央に来るように画像を修正する、いわゆる画像のぶれ補正を行う（画像のぶれ補正手段）。
【００８７】
例えば野球において図１８に示すように打者が打った後に走る様子を考えると、背景のスコアボードには動きがない。もしキーパーソンに装着したカメラに動きが無ければ、画面上でスコアボードを構成する画素の位置は変化しない。しかし、打者は打った後で走るので、打者を構成する画素の位置は時間的に変化することになる。そこで、キーパーソンに装着したカメラの動きは図１８に示すようなスコアボードのような動きの無い対象物の画像の動きを検出することで行うことが好ましい。
【００８８】
なお、上記動き検出手段６１０は、ある１方向に振動(一次振動)する質量に角速度がつくと「コリオリ」効果でそれに直行する方向にも振動（二次振動）が発生する事を利用した、いわゆる振動式ジャイロからの出力に基づいて装着者の動きを検出するようにしてもよい。例えばこの振動式ジャイロを撮像手段１００の装着者に取り付け、この振動ジャイロからの出力を画像情報等とともに無線送信手段２００から無線データとして送信し、無線受信手段４００で受信したデータから装着者の動きを検出するようにしてもよい。
【００８９】
上記振動式ジャイロとしては、例えば音やビーム形状のものを使用してもよいが、シリコンセンシングシステムズの振動式ジャイロのように、振動形態を棒（音叉やビーム形状）を上下左右に振るのでなく振動子リングを中吊りにしてリングを楕円歪に振動させるものを使用するのが好ましい。このような振動式ジャイロは外来応力に敏感な支点が無い上、楕円振動は外部震動・衝撃下では起こりにくく、悪い環境下でも忠実に高精度角速度の検出ができるので、特に激しい動きをする野球などのスポーツの選手に振動式ジャイロを装着するのに適しているからである。
【００９０】
上記画像情報処理手段１００は、図１６に示すように対象物の動きに応じて画像処理を行う手段として、対象物の動きを検出する動き検出手段６４０、この対象物の動きに応じて画像をデフォルメ化する画像デフォルメ化手段６５０を備える。
【００９１】
これらの対象物の動き検出手段６４０，デフォルメ化手段６５０は，コンピュータ読取可能なハードディスクなどの記録媒体に記録されたプログラムに基づいて制御部３７０が行うソフトウエアの処理によるものでもよいし，またハードウエアとしての回路の処理によるものであってもよく，また両者の組合せで処理してもよい。
【００９２】
なお，上記動き検出手段６４０の回路構成例としては，動き検出手段６１０と同様に図１７に示すものを使用してもよい。
【００９３】
次に，上記動き検出手段６４０，デフォルメ化手段６５０により，野球のボールなど撮像手段でとらえた対象物の動きに応じてその画像をデフォルメ化し，実際の画像よりもおもろい画像や劇的な画像などへ変換する動作について説明する。なお、ここでも上記と同様に撮像装置１００としてカメラを野球のキャッチャーなどのキーパーソンに装着し、このカメラに魚眼レンズなどの広角レンズを装着し、画像情報はカメラの前方１８０度の映像を写すようにすし、この広い範囲の画像情報を使って下記の処理を行う場合について説明する。
【００９４】
先ず，カメラから受信してデジタル化した画像情報のデータに基づいてキーパーソンが着目する人や物の画素ブロック，すなわち着目対象画像を認識し，その着目対象画像の位置，速度等の付加情報の検出などを行う。例えば球技であればボールの位置、速度などを検出し，演劇であればカメラが捉えた着目対象画像である着目対象者の表情の変化などの認識を行う。この場合，予め映像をデフォルメするきっかけとなる着目対象物、着目対象者を決めておき，図１に示す各種データベース３６０の例えば着目対象画像データベースに記憶しておく。なお，カメラから受信した画像情報から特別の動きをするものを捉え、その時点でそれを着目対象物、着目対象者として着目対象画像データベースに記憶してもよい。
【００９５】
球技の場合であれば、ボールの位置、速度等がデフォルメ化する場合のパラメータとなる。例えば野球の場合、キャッチャーに装着したカメラが捉えたボールの映像は、あらかじめ背景と比較したボールの映像信号の特徴として例えば図１７に示す検索フレームメモリ６１４に記録しておき、カメラからの画像情報のフレームは例えば基準フレームメモリ６１２に記憶し，これらのデータを動き検出回路６１６により比較してボールを認識し、画面の中でのボールの大きさ、位置を測定する。これは映像信号の走査線上の輝度信号の変化などで認識，測定することができる。
【００９６】
ここで，カメラからの画像情報（画像信号）に基づいて動き検出回路６１６によりボールの速度を検出する方法の１例を説明する。ボールの速度の計算は例えば図１９に示すようにカメラはレンズを固定すれば画角が一定となり、その中で遠くから近づくボールの大きさと画面寸法の比はDb／Da1からDb／Da２そしてDb／Da1と増加するように変化する。画像情報（画像信号）は時間変化に沿ってカメラから出力されるので上記の比の時間変化を計算することでボールの速度を検出する。
【００９７】
次に，動き検出回路６１６により認識された実際の着目対象物、着目対象者などの着目対象画像の位置に予め記憶されたデフォルメ画像をはめ込む。例えば，図２０に示すようにピッチャーの画像が着目対象画像である場合，実際のピッチャーの画像の位置にデフォルメ化したピッチャーの画像をはめ込んだり，ボールの画像が着目対象画像である場合，ボールがカメラに近づくに連れてボールの大きさを実際よりも大きくしたデフォルメ画像をそのボールの位置にはめ込む。
【００９８】
また，球技のボールの速度の大小は、例えば野球におけるピッチャーのボールでは時速１３０Km~１６０Km程度とそれほど大きな変化ではないが、打者にとってはその違いは大きい。そこで、図２１に示すようにボールの時速に応じて実際の映像のボールの色を変えるようにしてもよい。また、図２２に示すように速度に応じてボールの周りに炎をつけたり，リングをつけるなどをCGによって画像合成してもよい。これにより、見ている人はリアルタイムでボールの速度を感じることができる。上記図２１及び図２２ではそれぞれ同図（ａ），（ｂ），（ｃ）の順にボールの速度が速くなる。
【００９９】
なお，例えば着目対象物、着目対象者の特徴を踏まえ実際の画像をＣＧ（Computer Graphics）などでデフォルメ化して作成されたデフォルメ画像は，図１に示す各種データベース３６０の例えばデフォルメ画像データベースに予め記憶しておき，このデフォルメ画像データベースから必要な画像を取出すようにしてもよい。
【０１００】
また，上記着目対象画像となり得るものとしては，例えば野球であれば上述したピッチャーやボールの他，盗塁手などが挙げられる。
【０１０１】
次に，装着者に取付けられた集音手段１１０から受信した音情報を実際の音よりも迫力のある音情報に変換処理する音情報処理手段７００について説明する。
【０１０２】
音情報処理手段７００は，集音手段１１０からの音情報を音声，ボールの音，ボールがバットに当った音など何の音かを識別する音識別手段７１０，音識別手段７１０で識別された音をさらに迫力のある音などに変換する音変換手段７２０，音識別手段７１０で識別された音のうち特定の音声のみをマスクする音情報のセキュリティ手段としての特定音声マスク手段７３０を備える。
【０１０３】
これらの音識別手段７１０，音情報変換手段７２０，特定音声マスク手段７３０は，コンピュータ読取可能なハードディスクなどの記録媒体に記録されたプログラムに基づいて制御部３７０が行うソフトウエアの処理によるものでもよいし，またハードウエアとしての回路の処理によるものであってもよく，また両者の組合せで処理してもよい。
【０１０４】
上記音情報処理手段７００は，例えば野球であれば音識別手段７１０によりボールの風を切る音が認識されたときは，例えば上述した図１９で示す方法により上記動き検出手段６４０によってボールの速度を検出した結果を用い，音情報変換手段７２０によりボールの速度に応じてボールの風を切る音をより大きい音に変換する。例えばボールの速度が速いほどボールの風を切る音をより大きい音に変換する。
【０１０５】
また，音情報変換手段７２０は，ボールの速度に応じてキャッチャーミットで受ける音を大きくするようにしてもよい。さらに，ボールがバットに当った場合は，そのボールの速度に応じてボールがバットに当った音を大きくするようにしてもよい。
【０１０６】
このようにボールの速度に応じて実際の音よりも大きい音に変換することにより，ボールの威力が画像のみならず音によっても強調され，よりおもしろく迫力のある画像情報や音情報を視聴者に届けることができる。
【０１０７】
次に，音情報についてのセキュリティ手段について説明する。上述したように本実施の形態ではイベントの行為者自身，例えばスポーツを行っている選手自身に撮像手段１００や集音手段１１０を装着するため，その装着者の画像情報や音情報が不特定多数の者に利用され悪用されることを防止する必要がある。そこで，このような画像情報や音情報のデータを無線で特定の者だけが受信して元のデータにできるようなセキュリティ手段１４０，３４０を設けたが，ここでは特定の音声情報自体をマスクしてしまい，特定の音声情報だけは誰にも取得できないようにしたものである。従って，セキュリティ手段１４０，３４０によるセキュリティーコードを持つ特定の者であっても特定の音声情報自体は元のデータにすることもできない。
【０１０８】
具体的には，集音手段１１０からの音声情報のうち上記音識別手段７１０により特定の音声が識別されると，特定音声マスク手段７３０によりその音声だけマスクをかけてデータを変換する。従って，特定の音声以外の観客の歓声などの音声は取得することができる。
【０１０９】
特定の音声としては，例えば次はフォークボールなど人間の声として有意味の声，特にスポーツなどのイベントを行う者の声が挙げられる。また，人間の声として所定のワードを含む声をマスクするようにしてもよい。
【０１１０】
これにより，特定の音声情報については，誰にも取得されないようにすることができるので，例えば野球などではキャッチャーの音声などの特定の音声はマスクされるので，ピッチャーへのサインが予めわかってしまったり，次の行為を予測することができたりするおそれを防ぐことができる。これにより，十分なセキュリティを確保することができる。
【０１１１】
上述したような情報処理手段３５０で処理された画像情報，音情報のデータは，図１に示す各種データベース３６０の例えば画像情報データベース，音情報データベースにそれぞれ記憶される。
【０１１２】
また，情報処理装置３００にテレビ電波送信用の送信手段を設け，情報処理手段３５０で処理された画像情報，音情報のデータをリアルタイムで，アナログ又はデジタルによりテレビ放送として発信するようにしてもよい。この場合，情報処理手段３５０で処理するデータはデジタルデータであるため，そのままデジタル放送として送信することができる。
【０１１３】
デジタル放送として送信する場合はその送信手段としては上記無線装置１２０の無線送信手段２００，符号化器等１３０と同様な手段を設けてもよい。
【０１１４】
例えば、CSデジタル放送サービスで送信する場合，情報処理手段３５０で処理した画像情報や音情報のデジタルデータは、圧縮符号化して伝送される。番組編成情報としてはPSI（Program Specific Information）などの選局のための制御情報やSI（Service Information）などの電子番組表（EPG: Electronic Program Guide）を表示するための情報を作成する。加入者の契約情報からは、限定受信のための情報を作成する。これらの情報は、多重化されてトランスポートストリーム（Transport Stream）などの一本のパケット列となり、誤り訂正符号を付加した後、QPSK（Quadrature Phase Shift Keying）変調されて衛星回線などで伝送される。視聴者である受信側では送信側と逆の処理を行い、番組の画像情報，音情報などのデータを一般のテレビ受像機に出力する。
【０１１５】
また，情報処理手段３５０で処理された画像情報，音情報のデータは，インターネットなどのネットワークを介して視聴者端末装置に提供するようにしてもよい。
【０１１６】
この場合には，例えば図１に示す情報処理装置３００に事業者サーバ装置としての機能を持たせることによりコンテンツ配信サービスシステムを構成することができる。このようなコンテンツ配信サービスシステムの構成例を図２４に示す。
【０１１７】
上記事業者サーバ１２００は，上述したイベントの行為者に取付けた撮像手段１００等からのデータを情報処理装置３００で処理した画像情報，音情報のデータの他，他の撮像手段１０２，１０４により撮像してた画像情報，他の集音手段１１２により音情報のデータを受信する受信手段を設けている。従って，ここでいうコンテンツには撮像手段１００等からのデータを情報処理装置３００で処理した画像情報，音情報のデータの他，他の撮像手段１０２，１０４により撮像してた画像情報，他の集音手段１１２により音情報のデータをさらに後述の空間画像処理手段１５００や視線アングル画像処理手段１６００により画像処理等したデータも含まれる。
【０１１８】
上記コンテンツ配信システム１０００は，図２４に示すように視聴者端末装置１１００−１…１１００−ｎ，事業者サーバ装置１２００，課金処理サーバ１３００などがインターネット等のネットワーク１４００を介して接続される。なお，視聴者端末装置１１００は，プロバイタ１４１０の通信キャリア１４２０を介して接続される。
【０１１９】
上記視聴者端末装置１１００は，ディスプレイなどの画像表示手段，事業者サーバ装置１２００から配信可能な上記画像情報のうち配信を希望する画像情報の選択に応じて選択信号を出力する画像選択手段，この画像選択手段からの選択信号を事業者サーバ装置１２００へ送信する送信手段を備える。
【０１２０】
上記事業者サーバ装置１２００は，上述した情報処理装置３００の構成に加えて，空間画像処理手段１５００と視線アングル画像処理手段１６００とを備える。
【０１２１】
空間画像処理手段１５００は，上記受信手段により受信した各撮像手段１００，１０２等からの画像に基づいて，イベントの会場空間のうちイベントが行われるプレー空間をマトリクス化して分割し，分割されたプレー空間の画像を生成する処理を行う。
【０１２２】
ここでいうプレー空間としては例えば野球であれば球場のグラウンドが該当する。例えばキャッチャーに取付けた撮像手段１００，球場の報道人席に設置した撮像手段１０２など複数の撮像手段からの画像に基づいてプレー空間全体を仮想３次元座標に座標変換する。そして，この仮想３次元空間のプレー空間をマトリクス化して分割し，ピッチャーのマウンドの空間，３塁手の空間など各分割空間を映す画像に生成する。
【０１２３】
これらの分割空間の画像をインターネット等のネットワーク１４００を介して配信することにより，視聴者は好きなプレー空間の画像を選択して端末装置１１００のディスプレイなどから見ることができる。
【０１２４】
また，視線アングル画像処理手段１６００は，上記受信手段により受信した各撮像手段１００，１０２等からの画像に基づいて，前記イベントの会場空間のうち観客席からのアングル画像や撮像手段を装着した者の視線アングルの画像など視線アングルの異なる画像を生成する処理を行う。
【０１２５】
例えばキャッチャーに取付けた撮像手段１００，球場の報道人席に設置した撮像手段１０２など複数の撮像手段からの画像に基づいてプレー空間全体を仮想３次元座標に座標変換する。この仮想３次元空間のうちの例えばピッチャーのマウンドの空間はこの空間を見る観客席の位置によりアングル画像が異なる。そこで，仮想３次元空間を見る位置をマトリクス化して，見る位置ごとの視線アングルを演算し，視線アングル画像を生成する。
【０１２６】
これらのアングル画像をインターネット等のネットワーク１４００を介して配信することにより，視聴者は自宅等に居ながら例えばアリーナ席から見たアングル画像，外野席から見たアングル画像など好きなアングル画像を選択して端末装置１１００のディスプレイなどから見ることができる。
【０１２７】
また，上記アングル画像処理手段１６００は，演算した視線アングルをイベントを行う者の動きに応じて切り替えることにより，イベントを行う者ごとの画像を生成するようにしてもよい。例えばサッカーでは選手が広いグランドを動きまわるため，ある位置から見たアングルで好きな選手を見るときには，その位置から遠い方へ選手が動いてしまうとその選手の画像が小さくなってしまう。従って，常に近い位置から特定の選手を大きな画像で見ることができるように視線アングルを切替えた画像を生成する。これにより，好きな選手を常に最もよく見える位置からのアングルで見ることができるようになる。
【０１２８】
上記課金処理サーバ１３００は，視聴者端末装置１１００からの選択信号に基づいて上述したようなプレー空間の画像やアングル画像など選択された画像に応じて課金する額を決定して課金する。
【０１２９】
例えば，画像配信を希望する需用者のニーズに応じて課金する額を決定するようにしてもよい。また，画像とともに付加情報として広告を配信する場合にはその広告の有無に応じて課金する額を決定するようにしてもよい。
【０１３０】
また，画像とともに配信する画像の加工度に応じて課金する額を決定してもよい。例えば，上述したように野球のボールの速度に応じて図２１に示すようなボールの色を変化させる画像処理（加工処理）が施されている画像と，図２２に示すようにボールに炎を付加した加工処理が施されている画像とでは課金する額を変えてもよい。この場合，よりおもしろい画像に加工処理された画像ほど高い金額を課金するようにしてもよい。
【０１３１】
また，上記撮像手段１００の挿着者からの画像やイベントを行う特定の者ごとに課金する額を決定して課金するようにしてもよい。例えば野球選手ごと，サッカー選手ごとに見たい選手の画像に応じて課金する。
【０１３２】
以上，添付図面を参照しながら本発明に係る好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれぱ，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１３３】
例えば，本実施の形態においては事業者サーバ装置１２００が情報処理装置３００の構成をすべて含む場合について説明したが，必ずしもこれに限定されるものではなく，情報処理装置とは別個の構成にして，事業者サーバ装置１２００に情報処理装置３００からの画像情報，音情報などのデータを受信してこれを配信するようにしてもよい。また，画像等サーバを別途設け，そこに情報処理装置３００からの画像情報，音情報などのデータを蓄積するようにしてもよい。
【０１３４】
【発明の効果】
以上詳述したように本発明によれば，プレーヤ等の視点からの画像情報や音情報などをプレーヤの動きに応じて見やすく迫力のある情報にしたり，さらに面白く楽しい情報にして視聴者に届けることができる情報処理システムを提供できるものである。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる画像処理システムの構成を示すブロック図。
【図２】本実施の形態にかかる撮像手段等の取付例を示す図。
【図３】本実施の形態にかかる撮像手段等の他の取付例を示す図。
【図４】本実施の形態にかかる撮像手段等の他の取付例を示す図。
【図５】本実施の形態にかかる撮像手段等の他の取付例を示す図。
【図６】本実施の形態にかかる無線装置の構成例を示すブロック図。
【図７】本実施の形態にかかるＯＦＤＭ方式の伝送パラメータを示す図。
【図８】本実施の形態にかかるＯＦＤＭ方式の伝送容量を示す図。
【図９】本実施の形態にかかる送信制御部の構成を示すブロック図。
【図１０】本実施の形態にかかる畳込み符号化回路の例を示すブロック図。
【図１１】本実施の形態にかかる擬似ランダム系列を生成する回路のシフトレジスターの例を示すブロック図。
【図１２】本実施の形態にかかる時間インターリーブ長の例を示すブロック図。
【図１３】本実施の形態にかかる時間インターリーブの構成例を示すブロック図。
【図１４】本実施の形態にかかるデータキャリア以外のキャリアの配置例を示すブロック図。
【図１５】本実施の形態にかかるガードインタバルの付加について説明する図。
【図１６】本実施の形態にかかる画像情報処理手段の構成を示すブロック図。
【図１７】本実施の形態にかかる動き検出手段の構成例を示すブロック図。
【図１８】本実施の形態にかかる動き検出手段における検出の対象となる画像を説明する図。
【図１９】本実施の形態にかかるボールの速度検出方法を説明する図。
【図２０】本実施の形態にかかる実際の画像の位置にデフォルメ化した画像をはめ込んだ例を示す図。
【図２１】本実施の形態にかかる実際の画像をデフォルメ化した例を示す図。
【図２２】本実施の形態にかかる実際の画像をデフォルメ化した他の例を示す図。
【図２３】本実施の形態にかかる音情報処理手段の構成を示す図。
【図２４】本実施の形態にかかるコンテンツ配信システムの構成を示すブロック図。
【符号の説明】
１００…撮像手段
１１０…集音手段
１２０…無線装置
２００…無線送信手段
１４０…セキュリティ手段
３００…情報処理装置
３２０…無線装置
３４０…セキュリティ手段
３５０…情報処理手段
３６０…各種データベース
４００…無線受信手段
６００…画像情報処理手段
６１０…撮像手段装着者の動き検出手段
６２０…画像のぶれ検出手段
６３０…アングル変換手段
６４０…着目画像の動き検出手段
６５０…画像のデフォルメ化手段
７００…音情報処理手段
７１０…音識別手段
７２０…音情報変換手段
７３０…特定音声マスク手段

Claims

イベントのキーパーソンの身体に挿着可能な撮像手段と，前記撮像手段の画像情報を無線送信する送信手段と，前記撮像手段からの画像情報を無線受信する受信手段と，前記受信手段で受信した画像情報に基づいて前記キーパーソンの身体の動きに応じた画像処理を行う画像処理手段とを備え、
前記画像処理手段は，前記キーパーソンの身体の動きに応じてアングルを切替えてシーンチェンジの画像処理を行うことを特徴とする、画像処理システム。
イベントのキーパーソンの身体に挿着可能な撮像手段と，前記撮像手段の画像情報を無線送信する送信手段と，前記撮像手段からの画像情報を無線受信する受信手段と，前記受信手段で受信した画像情報に基づいて前記キーパーソンの身体の動きに応じた画像処理を行う画像処理手段とを備え、
前記画像処理手段は，前記受信手段で受信した画像情報の出力に基づいて着目対象画像を取出して画像のブレを検出し，画像のブレが小さいと判断した場合はそのブレを補正することを特徴とする、画像処理システム。
イベントのキーパーソンの身体に挿着可能な撮像手段と，前記撮像手段の画像情報を無線送信する送信手段と，前記撮像手段からの画像情報を無線受信する受信手段と，前記受信手段で受信した画像情報に基づいて前記キーパーソンの身体の動きに応じた画像処理を行う画像処理手段とを備え、
前記画像処理手段は，前記受信手段で受信した画像情報の出力に基づいて着目対象画像を取出して画像のブレを検出し，画像のブレが大きいと判断したときは別の着目対象画像に切替えて画像処理を行うことを特徴とする、画像処理システム。
前記画像処理手段は，前記キーパーソンの身体の動きを前記受信手段で受信した画像情報の出力を処理することにより検出することを特徴とする、請求項１に記載の画像処理システム。
前記画像処理手段は，前記キーパーソンの身体の動きを前記受信手段で受信した画像情報の出力を処理することにより検出することを特徴とする、請求項２に記載の画像処理システム。
前記画像処理手段は，前記キーパーソンの身体の動きを前記受信手段で受信した画像情報の出力を処理することにより検出することを特徴とする、請求項３に記載の画像処理システム。
前記画像処理手段は，前記キーパーソンの身体の動きを振動ジャイロにより検出することを特徴とする、請求項１に記載の画像処理システム。
前記画像処理手段は，前記キーパーソンの身体の動きを振動ジャイロにより検出することを特徴とする、請求項２に記載の画像処理システム。
前記画像処理手段は，前記キーパーソンの身体の動きを振動ジャイロにより検出することを特徴とする、請求項３に記載の画像処理システム。
前記撮像手段を取付けるキーパーソンは，野球のキャッチャー又はピッチャーとしたことを特徴とする、請求項７に記載の画像処理システム。
前記撮像手段を取付けるキーパーソンは，野球のキャッチャー又はピッチャーとしたことを特徴とする、請求項８に記載の画像処理システム。
前記撮像手段を取付けるキーパーソンは，野球のキャッチャー又はピッチャーとしたことを特徴とする、請求項９に記載の画像処理システム。
前記キーパーソンの身体には，撮像手段とともに集音手段も挿着し，前記送信手段は画像情報とともに音情報も送信し，前記受信手段は画像情報とともに音情報も受信することを特徴とする、請求項１に記載の画像処理システム。
前記キーパーソンの身体には，撮像手段とともに集音手段も挿着し，前記送信手段は画像情報とともに音情報も送信し，前記受信手段は画像情報とともに音情報も受信することを特徴とする、請求項２に記載の画像処理システム。
前記キーパーソンの身体には，撮像手段とともに集音手段も挿着し，前記送信手段は画像情報とともに音情報も送信し，前記受信手段は画像情報とともに音情報も受信することを特徴とする、請求項３に記載の画像処理システム。