JP4330494B2 - ブロードキャスト番組参加システム、及び方法 - Google Patents

Description

本発明は、ブロードキャスト番組参加システム、及び方法に関し、より詳細には、テレビ視聴者がテレビ番組に参加し得るための、テレビ放送送信機とテレビ放送受信機とを備えたブロードキャスト番組参加システム、及びブロードキャスト番組参加方法に関する。

双方向通信がもてはやされるデジタル放送の視聴者参加型番組というものは、一般に視聴者がテレビ局に送ったデータが番組中に集計されるという程度のものであり、参加型といっても自分が番組に参加している雰囲気をあまり味わうことはできない。

また、テレビ視聴者がライブのテレビ番組に参加するテレビシステムが提案されている（例えば、特許文献１を参照）。しかし、この発明は視聴者の映像や音声をスタジオに送りただ単に画面の一部に矩形表示するだけのもので、これでは放送者の演出の範囲が限られており、参加できる番組はテレビ会議のようなタイプの番組に限定されるという欠点がある。また、実際にスタジオで参加している雰囲気も充分ではない。
特表２００３−５１８８４０号公報

そこで、実際にスタジオに行って撮影している雰囲気やタレントと演じている雰囲気、又は物語のそのシーンの中に居る雰囲気を味わえる参加型番組を提供する方法や装置が必要とされている。

本発明は、上述のごとき実情に鑑みてなされたものであり、家庭に居ながらにして番組撮影に参加したり、物語の１シーンの世界にいる気分が味わえる参加型番組を提供することが可能な、テレビ放送送信機とテレビ放送受信機とを備えたブロードキャスト番組参加システム、及びブロードキャスト番組参加方法を提供することをその目的とする。

本発明は、上述のごとき課題を解決するために、以下の各技術手段により構成される。

第１の技術手段は、映像ストリームを出力するテレビ放送送信機と、映像ストリームと該映像ストリームに付加された視点映像生成用情報を含む付加情報とを受信するテレビ放送受信機とから構成され、家庭で視聴している視聴者があたかも撮影時のセットにいるかのようにテレビ番組に参加できるブロードキャスト番組参加システムであって、前記テレビ放送送信機は、１つ以上の映像ストリームと、撮影時のカメラ位置情報やシナリオ情報などの撮影データを少なくとも１つ取得する番組撮影データ取得手段と、前記テレビ放送受信機側において視聴者が撮影映像を複数の視点から視聴可能にする視点映像生成用情報を作成する視点映像生成用情報作成手段と、前記映像ストリームに前記視点映像生成用情報作成手段で作成した視点映像生成用情報を付加して送信する放送装置と、を備え、前記テレビ放送受信機は、視聴者の少なくとも位置及び姿勢に関する情報を取得する視聴者情報取得手段と、該視聴者情報取得手段で取得した視聴者の情報である視聴者情報に基づいて、該視聴者の視点情報を生成する視点情報生成手段と、前記付加情報に含まれる視点映像生成用情報と前記視点情報生成手段で生成した視点情報とに基づいて、前記視聴者の視点として適切な映像を生成する視点映像生成手段と、を備え、前記視点映像生成用情報作成手段は、前記参加する視聴者の基準位置となる基準位置情報を生成し、前記視点情報生成手段は、前記基準位置情報と前記視聴者情報取得手段で取得した視聴者情報とに基づいて、前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴としたものである。

第２の技術手段は、映像ストリームを出力するテレビ放送送信方法と、映像ストリームと該映像ストリームに付加された視点映像生成用情報を含む付加情報とを受信するテレビ放送受信方法とを含み、家庭で視聴している視聴者があたかも撮影時のセットにいるかのようにテレビ番組に参加できるブロードキャスト番組参加方法であって、前記テレビ放送送信方法は、１つ以上の映像ストリームと、撮影時のカメラ位置情報やシナリオ情報などの撮影データを少なくとも１つ取得する番組撮影データ取得ステップと、テレビ放送受信側において視聴者が撮影映像を複数の視点から視聴可能にする視点映像生成用情報を作成する視点映像生成用情報作成ステップと、前記映像ストリームに前記作成した視点映像生成用情報を付加して送信する放送ステップと、を含み、前記テレビ放送受信方法は、視聴者の少なくとも位置及び姿勢に関する情報を取得する視聴者情報取得ステップと、該取得した視聴者の情報である視聴者情報に基づいて、該視聴者の視点情報を生成する視点情報生成ステップと、前記付加情報に含まれる視点映像生成用情報と前記生成した視点情報とに基づいて、前記視聴者の視点として適切な映像を生成する視点映像生成ステップと、を含み、前記視点映像生成用情報作成ステップは、前記参加する視聴者の基準位置となる基準位置情報を生成し、前記視点情報生成ステップは、前記基準位置情報と前記取得した視聴者情報とに基づいて、前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴としたものである。

本発明によれば、家庭に居ながらにして番組撮影に参加したり、物語の１シーンの世界にいる気分が味わえる参加型番組を提供することが可能となる。

任意視点映像生成技術において、視点や視線についてはその意味範囲があいまいなまま使用されている。そこで、本明細書中では「視点」「視線」「視点情報」「視点制御」などの「視点」や「視線」は、そのものを表すものではなく、目の位置を表す視点と目の向きを表す視線、見ているものを表す注視点の意味を含むものとし、さらに「視点映像」など映像を表す意味で用いた場合は、そのときに目が認識するだろう映像などを表す意味を含むこととする。

図１は、本発明の一実施形態に係るテレビ放送送信機、テレビ放送受信機、及びそれらからなるブロードキャスト番組参加システムの一構成例を示す図で、図２及び図３は、図１のテレビ放送受信機における処理例を説明するためのフロー図で、本発明の一実施形態に係るテレビ放送受信方法を説明するためのフロー図でもある。ここで、図３は、図１の視聴情報生成手段の処理例を説明するフロー図であり、図２のＳ８の視点情報生成に関する処理に注目しそれをより詳しく説明しているものである。

図１において、１はテレビ放送送信機（以下、単に送信機という）、２は参加用のテレビ放送受信機（以下、受信機又は参加用受信機という）、１１は送信アンテナ、１２は放送装置、１３は番組撮影データ取得手段、１４は視点映像生成用情報作成手段、１５は位置情報生成手段、２１は受信アンテナ、２２は放送受信手段、２３は視点情報生成手段、２４は視聴者情報取得手段、２５は視点映像生成手段、２６は参加者モニタである。

本発明の一実施形態に係るテレビ放送送信機１、テレビ放送受信機２、及びそれらからなるブロードキャスト番組参加システムは、受信側である家庭から送信側（撮影時のセット（スタジオ等）側）へのリアルタイムな情報の流れを無くすことにより、多数の参加者が同時に参加型番組に参加できるようにすると共に、参加者が撮影時のセット（架空のセットも含む。以下、スタジオで例示する）に居る雰囲気を仮想的に創造することにより、家庭に居ながらにして番組撮影に参加したり、物語の１シーンの世界にいる気分が味わえるようにしている。

すなわち、本実施形態に係るブロードキャスト番組参加システムは、スタジオから家庭への情報の流れはあるが、家庭からスタジオへの情報の流れはない。本発明はこのような構成でも、参加型番組の実現を可能とする。例えば、番組制作側はスタジオにて一人の参加者向けに番組を作成する。参加者は番組制作側が意図したとおりの出演者として番組に参加する。参加者以外の出演者であるタレントは参加者の動きに対してリアクションするわけでは無いが、参加者がシナリオどおりに演じていれば固定的ではあるがある程度の動作は返ってくる。結果的に参加者は１つのストーリとして参加型番組を楽しめ、映像の中に参加してストーリを進めている感覚を味わうことができる。また、固定的な映像でも、複数のストリームを切り替えることでマルチストーリを楽しむ手法は、ザッピング番組やゲームなどで広く利用されている。このような手法を本発明に用いれば、より楽しめる参加型番組が製作できる。

本実施形態に係る送信機１及び受信機２からなるブロードキャスト番組参加システムは、参加者があたかもスタジオにいるかの様な臨場感を与えるために、スタジオを撮影している複数の視点を参加者が自由に切り替えてスタジオにいるタレントなど見ることができる仕組みとして、送信機１側に視点映像生成用情報作成手段１４を、受信機２側に視点情報生成手段２３，視点映像生成手段２５，視聴者情報取得手段２４を、それぞれ備えるものとする。尚、視聴者情報取得手段２４は、実際に視聴者のうちの参加者の情報を取得する手段であり、以下、参加者情報取得手段２４と呼ぶ。また、視点映像は、視点の画像を生成するともいえる。

ここで、複数の視点とは参加型番組のために用意された複数のカメラの映像そのものであるかもしれないし、複数のカメラ映像から生成された仮想的な視点の映像であるかもしれない。例えば、画像の認識・理解シンポジウム（ＭＩＲＵ２０００）の論文“多視点映像の融合によるスポーツシーンの自由視点映像生成”（２０００ Ｊｕｌｙ）のように、複数のカメラ映像をもとに任意の視点からの映像を生成できる技術が存在するので、これを利用することも考えられる。

また、視点を自由に切り替える方法は、参加者が参加者情報取得手段２４の例としてのセンサ類に用意されたスイッチなどを操作して明示的に切り替えても良いし、同じくセンサ類として用意されている位置センサや視線センサによって参加者の動きを捉えて切り替えるのでも良い。例えば、位置センサにより参加者の位置を測定すれば、参加者が移動するとそれにつれて参加者モニタ２６に表示されるスタジオ内部の映像も移動する。また、参加者の視点の基準として参加者の基準位置が番組シナリオによって定義されている場合は、センサ類により取得された参加者の移動量は基準位置からの相対的な移動量に対応するよう処理される。さらに、番組シナリオにより参加者の視点を規定したい場合にはスタジオ側から視点を制御されることもある。

視点映像生成用情報作成手段１４は、スタジオなどを複数の視点から見ることを可能にするための視点映像生成用情報を作成する。また、視点映像生成手段２５は、視点情報生成手段２３により指定された視点から、視点映像生成用情報を用いて実際に視点映像を生成し、その映像を参加者モニタ２６に出力する。

例えば、任意視点映像を生成する仕組みを利用した場合を考える。任意視点映像生成の手法はいくつもあるが、例えば３Ｄモデルを使用する手法では、複数のカメラの映像から撮影対象を３Ｄモデル化し、３次元空間内に配置するという処理を行う。さらに、その３Ｄモデル表面にカメラ映像から適切な映像を貼り付けて、その３Ｄ空間を再度２次元映像に変換しなおすことで、任意視点からの映像を生成するという流れをとる。このような場合、視点映像生成用情報作成手段１４は複数のカメラを有し、例えば、これらのカメラ映像から３Ｄモデルを生成するまでの処理を行い、３Ｄモデルとその表面色、３Ｄ空間上の位置などの情報を視点映像生成用情報とすることができる。そうすると、視点映像生成手段２５では、それらの情報から表面色が設定された３Ｄモデルを３Ｄ空間に配置し、射影変換することで２次元映像を生成することになる。

このように、視点映像生成用情報作成手段１４と視点映像生成手段２５は、視点映像生成処理の前段と後段の関係になっている。そのため、その切り分け方はいろいろなパターンが考えられるが、本発明ではこの点については特に限定しない。

また、視点映像生成用情報作成手段１４から視点映像生成手段２５へ受け渡す情報が大きい場合、視点映像生成用情報はインデックス（例えばＵＲＬ）などであっても良く、視点映像生成手段はこれらのインデックスによって別のネットワーク上におかれている情報を引き出し、そこから視点映像を生成する手法をとってもよい。

ところで、スタジオなどで撮影した映像の代わりに仮想のＣＧセットの映像などを使用する場合もあるだろう。このような場合はカメラから３Ｄモデルを生成せずにＣＧセットの３Ｄモデルそのもののデータが視点映像生成用情報作成手段１４から出力されることになる。

さらに、特に任意視点映像生成を行わずに、いくつかのカメラを切り替えるなどの処理を採ることも考えられる。この場合は、視点映像生成用情報とは複数カメラのすべての映像を圧縮した映像ストリームであることになり、視点映像生成手段２５はこの映像ストリームから適切な映像を選択する機能を有することになる。

また、送信機１は、番組撮影データ取得手段１３を備える。番組撮影データ取得手段１３は、１つ以上の映像ストリームと、撮影時のカメラ位置情報やシナリオ情報などの撮影データを少なくとも１つを取得する手段であり、従来のスタジオ撮影システムでいえば、位置計測センサ付きのカメラにより撮影される映像ストリームとカメラ位置などを同時に取得する手段を指す。このような撮影システムは、ＣＧ合成のキャラクタをリアルタイムでスタジオ映像に合成する場合などに利用されるバーチャルスタジオとして実在しているので、ここでは特に説明しない。本発明の番組撮影データ取得手段１３は、さらにシナリオ情報を持っており、このシナリオに沿って撮影が行われるとする。また、番組撮影データは、生放送のデータでもよく、この場合はスタジオから送信される撮影データ全てを取得する手段が、番組撮影データ取得手段１３であるといえる。勿論、直接カメラから伝送されるデータ及びそれを取得する手段であっても、何らかの記憶媒体に格納しておきそこから取得する手段であってもよい。

視点映像生成用情報作成手段１４は、さらに、このシナリオ情報より参加者の基準位置となる基準位置情報と、視線制御情報を生成する。視線制御情報とはスタジオ側が参加者の視点を制御する場合に利用する制御情報で、視点や注視点の移動範囲を制限したり、視点の位置や方向をクリアし参加者の位置を基準位置に戻すなどの制御を行う情報である。

また、送信機１は、放送装置１２及び送信アンテナ１１を備える。放送装置１２は、デジタル放送を送信する能力をもつ装置である。一般にデジタル放送では、映像ストリームにメタデータやＢＭＬデータなど映像以外の付加データと共に送信することができる。また、複数の映像ストリームを一つの放送チャンネルに多重化させて送ることもできる。この仕組みを利用し、視点映像生成用情報や視線制御情報は付加データや多重ストリームとして放送する。

例えば、３Ｄモデルを利用した任意視点切替であれば、視点映像生成用情報である任意視点の３Ｄモデルデータを付加データとして放送する。またカメラを切り替えるだけの視点切替であれば、番組撮影データ取得手段１３からの（同手段１３で取得した）複数の映像ストリームを多重化ストリームにして放送する。このように視点の切り替え技術によって、放送装置１２は映像ストリームや付加データの合成の仕方が変わるが、本発明ではこれについては特に限定せず、放送装置１２は番組撮影データ取得手段１３から映像ストリームなどを、視点映像生成用情報作成手段１４から視点映像生成用情報と視線制御情報などを入力し、それらを付加データや多重化ストリーム化してブロードバンド番組を受信機に送信する装置であるとする。

一方、放送受信手段２２は、放送装置１２により放送された映像ストリームや付加データを受信する。そして、放送受信手段２２は、受信ストリームのうち視点位置を決めるための視線制御情報を視点情報生成手段２３に、視点映像生成用情報と映像ストリームを視点映像生成手段２５に送る。

受信機２の視点情報生成手段２３では、参加者の映像・音声情報や状態情報などを取得するセンサ手段から情報を得て、参加者に提示するべき映像の視点情報を生成する。詳しくは、参加者の指示又は動作を参加者情報取得手段２４（センサ類等）によりとらえ、参加者の向き、移動量などの情報を決定する。さらに、視点情報生成手段２３は、視線制御情報や基準位置情報とこれらを合成し視点情報を生成する。
視点情報生成手段２３は、生成した視点情報を視点映像生成手段２５に送ることにより、視点映像生成手段２５で生成する映像の視点を設定する。

視点映像生成手段２５は、視点情報と視点映像生成用情報や映像ストリームなどから参加者に表示するべき視点の映像を生成し、参加者モニタ２６に出力する。

上述のごとき構成による参加用受信機２における動作フローを、図２及び図３を参照して説明する。チャンネル（以下、ＣＨと略す）を指定して番組を受信すると（ステップＳ１）、受信機２は、映像ストリームのタグ情報から、その放送が参加型番組であるかどうかを知る（ステップＳ２）。もし参加型番組であれば、参加するかどうかをダイアログなどに表示する（ステップＳ４）。視聴者は、参加する場合、ＹＥＳを選択することで、参加型番組に参加する（ステップＳ４でＹＥＳ）。視聴者が参加したかどうかは放送局側で知る必要は無い。一方で、ステップＳ２において参加型番組でなければ、通常視聴の処理を行い（ステップＳ３）、ステップＳ４において視聴者が参加しなければ、参加型番組視聴の処理を行う（ステップＳ５）。

参加番組への参加が始まると、受信機２は、参加者情報取得手段２４（センサ類等）と視点情報生成手段２３の初期化を行う（ステップＳ６）。このとき視点情報生成手段２３では、参加者（参加表明した後の視聴者）の位置や向き、移動量などの内部データを初期化する。その後、放送ストリームから、視点映像生成用情報と視線制御情報や基準位置情報を取り出し（ステップＳ７）、視線制御情報とセンサ類等で取得した参加者情報とから、現在の視点（視聴点）を算出して視点情報を決定し（ステップＳ８）、その視点情報と視点映像生成用情報とから、指定された視点からの映像を生成し（ステップＳ９）、生成した視聴点における映像を参加者モニタ２６に表示する（ステップＳ１０）。そして、番組が終了したか否かを判定し（ステップＳ１１）、終了していなければステップＳ７に戻る。また、参加者がモニタ２６の前で動作すると、その動作をセンサ類で感知し、参加者の位置や向き、移動量などを想定しその変化に応じて視聴点を変化させる。この視点の変化によって、参加者がモニタ２６を通してスタジオを覗き込んでいるように映像を動作させ、参加者にあたかもスタジオに居るように感じさせる。

ここで、視点情報生成手段２３における視点情報生成処理を、図３を参照して詳細に説明する。まず、参加者の位置，向き，移動量を初期化する（ステップＳ２１）。ステップＳ２１における処理は、図２のステップＳ６に対応するものである。そして、参加者情報（センサ類の計測値など）によって参加者の位置，向き，移動量を変化させ（ステップＳ２２）、視線制御情報，基準位置情報と、参加者の位置，向き，移動量とを合成する（ステップＳ２３）。そして、視点情報を視点映像生成手段２５に送信する（ステップＳ２４）。番組が終了していなければ（ステップＳ２５でＮＯ）、ステップＳ２２に戻り、終了した時点で（ステップＳ２５でＹＥＳ）、視点情報生成処理を終了する。

以上のようにして、参加者があたかもスタジオに居るかのように参加型番組を楽しむことができるシステムを実現する。

本実施形態によれば、家庭に居ながらにして参加者があたかもスタジオに居るかのような視線で番組撮影に参加したり、物語の１シーンの世界にいる気分が味わえる参加型番組を提供することが可能となる。よって、家庭に居ながらにして、実際にスタジオやセットに行って撮影している雰囲気やタレントと演じている雰囲気、又は物語のそのシーンの中に居る雰囲気を味わうことができる。また、本発明には家庭からスタジオへの情報の流れはないという特徴がある。このため本発明における参加型番組は放送局側のリソースに依存しないため、どんな人数になっても楽しめるという利点をあわせもつ。

図４は、本発明の他の実施形態に係るテレビ放送送信機、テレビ放送受信機、及びそれらからなるブロードキャスト番組参加システムの一構成例を示す図で、図５は、スタジオの座標系の一例を示す図で、図６は、表示座標系の一例を示す図である。また、図７及び図８は、図４のテレビ放送受信機における処理例を説明するためのフロー図で、本発明の他の実施形態に係るテレビ放送受信方法を説明するためのフロー図でもある。ここで、図８は、図４のアバタ画像生成手段の処理例を説明するフロー図であり、図７のＳ３８のアバタ画像生成処理に注目しそれをより詳しく説明しているものである。

図４において、３は送信機、２は参加用受信機、６は参加・視聴兼用受信機、１５は位置情報生成手段、２７はアバタ画像生成手段、２８はアバタ画像合成手段であり、図１と同様の構成要素には同じ符号を付し、基本的にその説明を省略する。

図４乃至図８で説明する本発明の他の実施形態に係るブロードキャスト番組参加システムも、図１乃至図４で説明したシステムと同様に、スタジオから家庭への情報の流れはあるが、家庭からスタジオへの情報の流れは必ずしも必要ではないという特徴がある。本実施形態に係る送信機３及び参加用受信機４からなるブロードキャスト番組参加システムは、参加者があたかもスタジオに居るかの様な印象を与えるために、ブロードキャスト番組の映像内に参加者のアバタを表示するシステムである。このため、このシステムは、送信機１側に位置情報生成手段１５を、参加用受信機４側にアバタ画像生成手段２７，アバタ画像合成手段２８，参加者情報取得手段２４を備える。

ここで、アバタとは、参加者を分身で表現したもので、参加者が事前に選択したアニメーションキャラクタのようなものや、ビデオアバタのような参加者の身体をモデル化して表したものである。アバタは、いろいろな形態が考えられ、参加者が存在することを表す単なるマークである場合もあるし、また、参加者情報取得手段２４のセンサ類により参加者の表情や行動を取得し、それに合わせて変化するものもある。アバタは参加者の分身として番組映像中に表示され、参加者はそれを見ることにより自身が番組に参加している印象を得ることができる。

参加者は、アバタをスイッチや参加者位置センサなどの参加者情報取得手段２４を通して制御する。アバタは、参加者に明示的に制御されるだけではなく、参加者の変化や動きをセンサが捉え、その値によりアバタが動作することもある。例えば、表情センサとなるカメラなどがあれば、参加者の表情をカメラで捕らえ、その表情がアバタに反映される。

また、アバタは番組製作者の意図により制御されることもあり得る。参加者が泣いていなくてもスタジオからの命令により泣き顔になったりしてもよい。

位置情報生成手段１５は、番組撮影データ取得手段１３で取得したシナリオ情報からアバタの基準位置情報を生成すると同時に、番組撮影データ取得手段１３からカメラ位置情報，画角情報，向き情報を取得し、現在放送されている映像のカメラの位置情報，画角情報，向き情報などを、アバタの基準位置情報と同じ座標系に変換する。アバタの基準位置情報とは、図１乃至図４で説明した実施形態における参加者の基準位置情報と同等のものであり、参加者がローカルで全く移動しなかった場合にアバタが存在する位置情報である。この位置情報は、放送映像のカメラ位置やカメラ画角の情報から番組映像上のどの位置にアバタが表示されるかを算出する元になる。この情報をアバタ生成用位置情報とする。

番組撮影データ取得手段１３は、図１乃至図４で説明した実施形態におけるそれと同様の手段である。位置情報生成手段１５は、番組撮影データ取得手段１３から撮影時のカメラの位置情報を取得し、これを基準とする座標系に変換するなどの処理を行う。番組撮影データ取得手段１３が複数のカメラの情報から構成される場合（番組撮影データ取得手段１３が複数のカメラの情報を取得する場合）は、位置情報生成手段１５は、全てのカメラの位置情報を処理して出力してもよいし、放送で流れている映像を撮影したカメラの位置情報だけを出力してもよい。ただし、ここでは、少なくとも放送されている映像のカメラの位置情報が出力されている必要がある。

例えば、仮にスタジオの座標系を、図５のようにカメラに対して前方をＺ軸、右方向をＸ軸、上方向をＹ軸とする座標系として設定し、これによりアバタの基準位置を設定したとする。このとき、位置情報生成手段１５が生成する位置情報の一例を挙げる。アバタの基準位置は、位置（Ｖｘ，Ｖｙ，Ｖｚ）で表される。また、アバタに向きがある場合はアバタ向きベクトル（Ｖθ，Ｖφ）も用意される。さらに番組撮影データ取得手段１３の情報から、カメラ位置（Ｃｘ，Ｃｙ，Ｃｚ）やカメラ向きベクトル（Ｃθ，Ｃφ）、カメラ画角（θｈ，θｖ）が取り出され同じ座標系に変換されて出力される。

さらに、位置情報生成手段１５は、放送装置１２と放送受信手段２２を介してアバタ制御命令をアバタ画像生成手段２７に送ることもある。このアバタ制御命令は、アバタ画像生成手段２７に保持されているローカルな値である移動量や視線のずれ情報などを変更したり、アバタ表示アトリビュートを変更して、アバタの表示を制御したりする。アバタ表示アトリビュートに関しては後述する。

また、アバタ画像生成手段２７では、位置情報生成手段１５からの位置情報と参加者情報取得手段２４からの入力を元に映像に合成するアバタの形状とアバタの位置を決める。アバタ画像生成手段２７は、その内部に、アバタのモデルデータを持っており、アバタ画像を生成する。さらに、移動量，アバタ向きベクトル，アバタ表示アトリビュートなどを持っている場合もある。

アバタ画像生成手段２７は、アバタの標準位置からの移動量（Ｍｘ，Ｍｙ，Ｍｚ）とアバタ向きベクトルとの視線のずれを表すベクトル（Ｍθ，Ｍφ）などのアバタの表示のためのパラメータを保持している。パラメータは、参加者情報取得手段２４の入力結果により常に更新される。また、パラメータは、アバタ制御命令によりすべて初期値にクリアされたり、任意の値に設定されたりすることもある。さらに、アバタ画像生成手段２７は、アバタ表示アトリビュートも保持する場合もある。

アバタ表示アトリビュートは、アバタの表示状態をスタジオ側が変化させるのに用いられ、用いられるときの処理は次のようになる。アバタ画像生成手段２７は、透明表示，半透明表示，点滅表示，色反転表示，輝度反転表示，上下左右反転表示，回転表示，拡大縮小表示，色テーブル変換表示，エッジ強調表示，表情制御などのうち、少なくとも１つ以上の表示効果を示すアバタ表示アトリビュートをもち、そのアバタ表示アトリビュートが示す表示効果をもたらすようアバタ画像を生成する。また、アバタ画像生成手段２７は、アバタの表情変更，顔変更，手足の動作変更，アバタモデルの座標変換、前記アバタ上への別の画像の貼り付け、アバタモデルの拡大縮小などのうち、少なくとも１つ以上のアバタモデルの変更を伴う制御を示すアバタ表示アトリビュートをもち、そのアバタ表示アトリビュートが示す制御を実行するようアバタ画像を生成する。例えば、参加者の顔が泣き顔でなくとも、スタジオ側がシナリオに沿ってアバタ表示アトリビュートのデータを「泣き顔」に設定すると、アバタを泣き顔で表示することもできる。アバタを点滅表示するなどの制御をすることもある。

アバタ画像生成手段２７は、アバタ画像合成手段２８にアバタ画像とアバタ表示座標を出力する。アバタの表示座標については、図５のような座標系でスタジオが表せる仮定すると、アバタの実際の表示位置は（Ｖｘ＋Ｍｘ，Ｖｙ＋Ｍｙ，Ｖｚ＋Ｍｚ）となり実際のアバタの向きは（Ｖθ＋Ｍθ，Ｖφ＋Ｍφ）となる。これをカメラの視点（Ｃｘ，Ｃｙ，Ｃｚ）とカメラ向き（Ｃθ，Ｃφ）、カメラ画角（θｈ，θｖ）より座標変換と投影変換を行い、図６のような表示系で表される（Ｖｘ′，Ｖｙ′）を求める。さらに、同様の座標変換、投影変換をアバタモデルに施すことによりアバタ画像を生成する。アバタ画像は、実際の画素データであるかもしれないし、ポリゴンの３頂点座標と輝度（色）のデータであるかもしれない。

ところで、参加者の動きをセンサがとらえ、それがアバタに反映される場合もあり得る。その場合は、センサとしてモーションキャプチャを行い、アバタ画像生成手段２７では、そのキャプチャデータに従いアバタのモデルデータやアバタ画像生成手段２７の内部パラメータを変更し、その後に座標変換や投影変換を行うことになる。

アバタ画像合成手段２８では、放送受信手段２２より受信されている放送映像に対して、アバタ画像生成手段２７より得たアバタ表示座標に、アバタ画像を合成する処理を行う。

また、放送装置１２と放送受信手段２２は、図１乃至図４で説明した実施形態のそれと同様の構成要素であり、デジタル放送のストリームとして送信されるメタデータや多重画像ストリームを使用して、位置情報生成手段１５からアバタ画像生成手段２７へ各種位置情報やアバタ制御命令などを送ったり、番組撮影データ取得手段１３から出力される映像ストリームをアバタ画像合成手段２８に送ったりするものである。

また、番組撮影データ取得手段１３は、従来の放送システムにおける映像ストリームの編集機能も有しており、そこから映像ストリームが放送装置１２に送信される。

上述のごとき構成による参加用受信機４における動作フローを、図７及び図８を参照して説明する。まず、ＣＨを指定して番組を受信すると、受信機は映像ストリームのタグ情報から、その放送が参加型番組であるかどうかを知る（ステップＳ３１，Ｓ３２）。もし参加型番組であれば、参加するかどうかをダイアログなどに表示する（ステップＳ３３）。参加する場合、視聴者はＹＥＳを選択して、参加型番組に参加する。視聴者が参加したかどうかは放送局側で知る必要は無い。ここまでの処理は、図２及び図３で説明した実施形態における処理と同様である。

参加番組への参加が始まると、受信機４は、参加者情報取得手段２４（センサ類等）とアバタ画像生成手段２７の初期化を行う（ステップＳ３６）。アバタ画像生成手段２７では、アバタの位置，向き，移動量などの内部データを初期化する。その後、放送ストリームからアバタ制御命令や基準位置情報などを取り出し（ステップＳ３７）、基準位置情報，アバタ制御命令，参加者情報から、現在のアバタの位置情報を生成・決定し、その位置におけるアバタ画像を生成して（ステップＳ３８）、それを映像ストリームと合成してモニタ２６に表示する（ステップＳ４０）。そして、番組が終了したか否かを判定し（ステップＳ４１）、終了していなければステップＳ３７に戻る。また、参加者がモニタ２６の前で動作すると、その動作をセンサ類で感知し、参加者の位置，向き，移動量などを想定し、その変化に応じてアバタ画像や表示位置を変化させる。アバタを参加者と同じように動かすことによって、参加者がアバタとしてスタジオに居るように錯覚させることができる。

ここで、アバタ画像生成手段２７におけるアバタ画像生成処理を、図８を参照して詳細に説明する。まず、参加者の位置，向き，移動量を初期化する（ステップＳ５１）。ステップＳ５１における処理は、図７のステップＳ３６に対応するものである。そして、参加者情報（センサ類の計測値など）によってアバタの位置，向き，移動量を変化させ（ステップＳ５２）、アバタ制御命令を処理し、基準位置情報とアバタの位置，向き，移動量とを合成する（ステップＳ５３）。そして、アバタ画像とアバタ表示位置情報とを生成し、アバタ画像合成手段２８に送信する（ステップＳ５４）。番組が終了していなければ（ステップＳ５５でＮＯ）、ステップＳ５２に戻り、終了した時点で（ステップＳ５５でＹＥＳ）、アバタ画像生成処理を終了する。

以上のようにして、参加者がアバタを介してあたかもスタジオに居るかのように参加型番組を楽しむことができるシステムを実現する。

本実施形態によれば、図１乃至図４で説明した実施形態の効果において、参加者があたかもスタジオに居るかのような視線で楽しむ代わりに、アバタを介してスタジオに居るかのようなテレビ番組への参加が可能となる。

図９は、本発明の他の実施形態に係るテレビ放送送信機の一構成例を示す図で、図中、５は送信機であり、図１及び図４と同様の構成要素には同じ符号を付し、基本的にその説明を省略する。

図１乃至８で説明した各実施形態に係るブロードキャスト番組参加システムでは、家庭からスタジオへの情報の流れが無くとも、参加者として番組を楽しむことができるシステムを提案した。しかしながら、これでは自分が番組を楽しんでいるだけにとどまり、実際に番組に出演することに比べて、他の視聴者に自分の姿を見てもらう楽しみが欠けているともいえる。そこで、本発明の他の実施形態として、他の視聴者に自分の出演している姿を視聴させることを可能とする手段も提案する。図９で説明する実施形態はその一つである。

図９で例示する送信機５を送信側にもつブロードキャスト番組参加システムは、送信機５が、図１の送信機１と図４の送信機３を合成した構成になっており、それぞれのブロックの機能も全く同じものである。番組撮影データ取得手段１３にあるシナリオ情報により視点映像生成用情報作成手段１４では参加者の基準位置情報が生成され、位置情報生成手段１５ではアバタ基準位置情報が生成されるが、これらは同じシナリオ情報のパラメータから生成される同等の位置情報であり、参加者の基準位置を設定するものである。また、同じくシナリオ情報より視点映像生成用情報作成手段１４では視線制御情報が、位置情報生成手段１５ではアバタ制御命令が生成されるが、これらも同じシナリオ情報のパラメータから生成される制御情報である。

例えば、番組シナリオでは参加者をある椅子にタレントと向かい合わせに座らせるとなっているとする。するとシナリオ情報には「椅子の上を参加者の視点とし、タレントの方向をみる。」という意味の記述がなされる。本発明は、具体的な記述方法については問わず、文章による記述として説明する。すると、参加者の基準位置情報は椅子の上の平均的な座高分だけの高さの座標となり、向きはタレントの居る方向となる。これらは任意視点映像における座標系をとる。それに対し、アバタの基準位置情報では座標（Ｖｘ，Ｖｙ，Ｖｚ）はスタジオのローカル座標系の椅子のある位置の椅子の高さの座標となり、アバタの向き（Ｖθ，Ｖφ）はタレントの居る座標（Ｔｘ，Ｔｙ，Ｔｚ）への向きから算出される。このように、基準位置情報は同じシナリオ情報からそれぞれの特性に合わせて算出される。そのため、参加者の基準位置情報とアバタの基準位置情報は意味合い的には全く同じ情報ということになり、２つの情報は同期しているといえる。

ここで注目したい点は、視点映像生成用情報作成手段１４は、参加者の視点からスタジオを見た映像を作るための情報を生成しており、位置情報生成手段１５は第３者の視点から参加者を見た映像を作るための情報を生成している点である。これにより、本実施形態では、参加者視点からの映像の生成と同時に視聴者視点からの映像を同じ放送から生成することを可能する。

図１０は、図９のテレビ放送送信機に対応可能な参加・視聴兼用のテレビ放送受信機の一構成例を示す図で、本発明の他の実施形態に係るテレビ放送受信機の一構成例を示す図である。図中、６は参加・視聴兼用受信機であり、図１及び図４と同様の構成要素には同じ符号を付し、基本的にその説明を省略する。

本発明の他の実施形態として、図１０を参照して、図９の送信機５から送られた放送番組に参加すると同時に参加している人を視聴するための参加・視聴兼用受信機６を説明する。

図１０で例示する参加・視聴兼用受信機６を受信側にもつブロードキャスト番組参加システムは、受信機６が、図１の受信機２と図４の受信機４を合成した構成になっており、参加者情報取得手段２４等を共用にしただけであり、それぞれのブロックの機能も全く同じものである。アバタ画像合成手段２８の出力先を参加者モニタ２６から視聴者モニタ２９に変更してあるが、これは参加者が見るか、番組に参加していない別の視聴者が見るかの違いを表しているだけで、機能的な違いは無い。

この構成により、番組参加者は参加者モニタを見ながら、参加者情報取得手段２４を操作したり参加者情報取得手段２４によりセンシングされたりすることによって、参加番組を楽しめる。同時に、参加していない人は視聴者モニタを見ることにより、参加者をアバタとして別の視点で番組を楽しむことができる。

図１１は、本発明の他の実施形態に係るテレビ放送受信機の一構成例を示す図で、図中、７ａは参加用受信機、７ｂは視聴用受信機、８はネットワーク、３１は送信手段、３２は受信手段、２１ａは参加用受信機側の受信アンテナ、２１ｂは視聴用受信機側の受信アンテナ、２２ａは参加用受信機側の放送受信手段、２２ｂは視聴用受信機側の放送受信手段、２９ｂは視聴用受信機側にある視聴者モニタであり、図１，図４，図１０等と同様の構成要素には同じ符号を付し、基本的にその説明を省略する。

本発明の他の実施形態として、図１０で説明した構成を発展させた参加用受信機７ａと視聴用受信機７ｂとでなる受信機セットを、図１１を参照して説明する。

参加用受信機７ａは、図１０の受信機６における構成からアバタ画像合成手段２８と視聴者モニタ２９を取り除いたものとなっている。また、視聴用受信機７ｂは、取り除いたアバタ画像合成手段２８に放送受信手段２２ｂを追加したものとなっている。また、参加用受信機７ａと視聴用受信機７ｂの間はネットワーク８を介して、アバタ画像生成手段２７とアバタ画像合成手段２８が接続されている。ここで、送信手段３１と受信手段３２とがネットワーク８を介して送受信を行っている。

すなわち、受信機７ａ，７ｂからなる受信機のセットは、図１０の受信機６のアバタ画像生成手段２７とアバタ画像合成手段２８の間に通信ネットワーク８を挟むことにより、視聴者モニタ２９ｂを参加者の居ない遠隔地にも置けるようにしたものである。

このような構成にしても、参加用受信機７ａと視聴用受信機７ｂが同じ放送を受信しているのであれば、アバタ画像合成手段２８は問題なく動作する。アバタ画像合成手段２８は、放送受信機より受信されている放送映像に対して、参加用受信機７ａのアバタ画像生成手段２７が生成してネットワーク８を通じて送信されてきたアバタ画像とアバタ表示座標にアバタを合成する処理を行うだけであり、動作は図１０と全く同じであるからである。ただし、ネットワーク８のディレイがあるので単に合成するだけでは、映像ストリームとアバタの動きがずれてしまう可能性があるが、これは映像ストリームをディレイさせるなどの解決方法をとればよく、本発明の本質ではないため、ここでは特に述べないことにする。

以上のようにすれば、遠隔にいる人に対してもネットワークを通じて参加者が参加している番組を視聴させることができるようになる。もし、アバタがビデオアバタのようなものであり実際の参加者そのものを表現できるものであれば、例えば、参加型子供番組などを楽しんでいる孫の映像などを遠隔の祖父母が見ることで、祖父母は孫の成長を楽しむなどの応用ができる。

図１２は、本発明に係るテレビ放送送信機、テレビ放送受信機、及びそれらからなるブロードキャスト番組参加システムの一構成例を示す図で、上述した各実施形態に係る構成を組み合わせた一例である。図中、４０は番組撮影データ取得手段の一例であり、図１等と同様の構成要素には同じ符号を付し、基本的にその説明を省略する。

図１２で例示するブロードキャスト番組参加システムは、スタジオにおいて、番組撮影データ取得手段４０として、多視点カメラ１４ａ，１４ｂ，１４ｃ及び放送用カメラ１３ａ（及び放送用マイク１３ｂ）を備える。このシステムは、これらカメラを備えたスタジオにおいて、例えばタレントＴの傍の位置ＰＡにアバタが居るように或いはタレントＴと話しているかのように視聴者のモニタに見せるためのものである。視点映像生成用情報作成手段１４は、多視点カメラ１４ａ，１４ｂ，１４ｃで取得したデータから視点映像生成用情報を作成し、位置情報生成手段１５は、放送用カメラ１３ａで取得したデータから位置情報を生成する。

家庭Ａにおいては、参加用受信機２から参加用モニタ２６に、Ａさんがあたかもスタジオに居るようなタレントＴの映像が映し出される。また、参加者位置センサ２４ａ，音声入力装置２４ｂ，キー入力装置２４ｃ，視線・表情カメラ２４ｄといった参加者情報取得手段２４によりＡさんの参加者情報が取得され、家庭Ａにおける視聴者モニタ２９、及びネットワーク８を介した家庭Ｂでの視聴者モニタ２９ｂに、タレントＴとアバタＡとが映し出される。

本発明の一実施形態に係るテレビ放送送信機、テレビ放送受信機、及びそれらからなるブロードキャスト番組参加システムの一構成例を示す図である。 図１のテレビ放送受信機における処理例を説明するためのフロー図である。 図１のテレビ放送受信機における視点情報生成手段の処理例を説明するためのフロー図である。 本発明の他の実施形態に係るテレビ放送送信機、テレビ放送受信機、及びそれらからなるブロードキャスト番組参加システムの一構成例を示す図である。 スタジオの座標系の一例を示す図である。 表示座標系の一例を示す図である。 図４のテレビ放送受信機における処理例を説明するためのフロー図である。 図４のテレビ放送受信機における処理例のうちのアバタ画像生成処理を説明するためのフロー図である。 本発明の他の実施形態に係るテレビ放送送信機の一構成例を示す図である。 図９のテレビ放送送信機に対応可能な参加・視聴兼用のテレビ放送受信機の一構成例を示す図である。 本発明の他の実施形態に係るテレビ放送受信機の一構成例を示す図である。 本発明に係るテレビ放送送信機、テレビ放送受信機、及びそれらからなるブロードキャスト番組参加システムの一構成例を示す図である。

符号の説明

１，３，５，７ａ…送信機、２，４…参加用受信機、６…参加・視聴兼用受信機、７ｂ…視聴用受信機、８…ネットワーク、１１…送信アンテナ、１２…放送装置、１３…番組撮影データ取得手段、１４…視点映像生成用情報作成手段、１５…位置情報生成手段、２１，２１ａ，２１ｂ…受信アンテナ、２２，２２ａ，２２ｂ…放送受信手段、２３…視点情報生成手段、２４…視聴者情報取得手段、２５…視点映像生成手段、２６…参加者モニタ、２７…アバタ画像生成手段、２８…アバタ画像合成手段、２９，２９ｂ…視聴者モニタ、３１…送信手段、３２…受信手段。

Claims (2)

1. 映像ストリームを出力するテレビ放送送信機と、映像ストリームと該映像ストリームに付加された視点映像生成用情報を含む付加情報とを受信するテレビ放送受信機とから構成され、家庭で視聴している視聴者があたかも撮影時のセットにいるかのようにテレビ番組に参加できるブロードキャスト番組参加システムであって、
   前記テレビ放送送信機は、１つ以上の映像ストリームと、撮影時のカメラ位置情報やシナリオ情報などの撮影データを少なくとも１つ取得する番組撮影データ取得手段と、前記テレビ放送受信機側において視聴者が撮影映像を複数の視点から視聴可能にする視点映像生成用情報を作成する視点映像生成用情報作成手段と、前記映像ストリームに前記視点映像生成用情報作成手段で作成した視点映像生成用情報を付加して送信する放送装置と、を備え、
   前記テレビ放送受信機は、視聴者の少なくとも位置及び姿勢に関する情報を取得する視聴者情報取得手段と、該視聴者情報取得手段で取得した視聴者の情報である視聴者情報に基づいて、該視聴者の視点情報を生成する視点情報生成手段と、前記付加情報に含まれる視点映像生成用情報と前記視点情報生成手段で生成した視点情報とに基づいて、前記視聴者の視点として適切な映像を生成する視点映像生成手段と、を備え、
   前記視点映像生成用情報作成手段は、前記参加する視聴者の基準位置となる基準位置情報を生成し、前記視点情報生成手段は、前記基準位置情報と前記視聴者情報取得手段で取得した視聴者情報とに基づいて、前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴とするブロードキャスト番組参加システム。
2. 映像ストリームを出力するテレビ放送送信方法と、映像ストリームと該映像ストリームに付加された視点映像生成用情報を含む付加情報とを受信するテレビ放送受信方法とを含み、家庭で視聴している視聴者があたかも撮影時のセットにいるかのようにテレビ番組に参加できるブロードキャスト番組参加方法であって、
   前記テレビ放送送信方法は、１つ以上の映像ストリームと、撮影時のカメラ位置情報やシナリオ情報などの撮影データを少なくとも１つ取得する番組撮影データ取得ステップと、テレビ放送受信側において視聴者が撮影映像を複数の視点から視聴可能にする視点映像生成用情報を作成する視点映像生成用情報作成ステップと、前記映像ストリームに前記作成した視点映像生成用情報を付加して送信する放送ステップと、を含み、
   前記テレビ放送受信方法は、視聴者の少なくとも位置及び姿勢に関する情報を取得する視聴者情報取得ステップと、該取得した視聴者の情報である視聴者情報に基づいて、該視聴者の視点情報を生成する視点情報生成ステップと、前記付加情報に含まれる視点映像生成用情報と前記生成した視点情報とに基づいて、前記視聴者の視点として適切な映像を生成する視点映像生成ステップと、を含み、
   前記視点映像生成用情報作成ステップは、前記参加する視聴者の基準位置となる基準位置情報を生成し、前記視点情報生成ステップは、前記基準位置情報と前記取得した視聴者情報とに基づいて、前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴とするブロードキャスト番組参加方法。

Images