JP3672166B2 - 対話型視聴装置および描画制御方法および記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本願発明は、放送映像の視聴者が身振り手振りで参加できるような対話型視聴装置および方法に関する。
【０００２】
【従来の技術】
従来の多くの放送は、放送局から送信されてきた映像（音声を含む）信号を受信し、再生するという受動的なものである。このような放送に対し、視聴者が積極的に参加する対話型の放送番組（双方向ＴＶ）も試みられている。
【０００３】
対話型放送の一つの方法に、従来と同様に受信した映像に対し、視聴者が反応を電話やＦＡＸを通じて、返すものがある。この方法では、電話回線が満杯になり、すべての視聴者からの反応に対応できないことが多々ある。
【０００４】
また、視聴者からの反応をＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ ）と呼ばれる３次元ＣＧモデルによりインターネット上に仮想空間を構築し、視聴者に示す方法も試みられている。
【０００５】
このような電話回線利用による反応性の悪さを解決するために、視聴者からの送信を時分割で制御するインタラクティブＴＶ方式が提供されている。
確かに時分割制御により、視聴者は回線混雑による無応答というわずらわしさを避けることができる。が、時分割制御になったとしても、視聴者からの反応を要求する放送番組は、アンケート形式で視聴者の反応を集計するタイプのものが多く、視聴者個々の反応が、個別に反映されるわけではなく、対話性としての面白味にかけるという問題がある。このような方式では、実現できる番組のバリエーションに限りがある。
【０００６】
また視聴者からの反応を集計するために、生放送が望ましく、そのため多大な準備がいるという問題があり、対話型の番組数はそれほど多くない。さらに、このような放送番組でもいったん録画してしまうと、対話性が失われてしまう。
【０００７】
従来の対話型の放送番組では、アンケートの回答などの選択などのように、与えられた問題に回答する形式のものが多かった。このため、幼児などが参加することはできなかった。幼児向けの番組では、身体を使った簡単な体操やじゃんけんゲームなどが行われるが、それに参加できるのは、スタジオにいる幼児のみであった。ＴＶ受像機の前にいる幼児はともに身体を動かしても、対話性のある番組視聴をすることはできなかった。
【００１４】
【発明が解決しようとする課題】
視聴者からの参加の方法がリモコン、キーボードなどの機器による入力を必要とするため、参加できる視聴者の年齢層に制約を課すこととなり、幼児が身振り手振りで参加できるような対話性のある番組視聴ができないという問題点があった。
【００１５】
【課題を解決するための手段】
これらの課題を解決するために、本願発明は、少なくとも一部がオブジェクト化された動画像を再生する対話型視聴装置において、指示する対象物の距離画像を取得する距離画像取得手段と、再生中の前記動画像に対し、前記距離画像の動きから算出した経路に応じた変化指示を与えるための変化指示手段と、この変化指示手段により与えられた変化指示に基づいて、前記動画像のうち、オブジェクト化されたオブジェクトの位置座標を変化させるためのオブジェクト変化手段とを具備したことを特徴とする
【００１６】
また、前記変化手段は、前記距離画像取得手段の動きから算出した経路上にあるオブジェクトの代表点の位置座標を変更することを特徴とする。
【００１７】
また、前記変化手段は、前記代表点間の経路を曲線関数で近似してオブジェクトの位置座標を変更することを特徴とする。
【００１８】
また、前記変化手段は、オブジェクト化された動画像とともに記述されている属性を変化させ、この変化させた属性をもとに前記オブジェクトの位置座標を変化させることを特徴とする。
【００１９】
更に、前記距離画像取得手段で取得した距離画像から複数のパラメータに応じて割り当てられた変化指示を解釈する変化指示解釈手段を具備し、前記変化手段は、前記変化支持解釈手段で解釈された変化指示をもとに、オブジェクト化されたオブジェクトの変化させることを特徴とする。
【００２０】
更に、前記変化手段によりオブジェクトを変化させた回数や時間など課金に必要な情報を算出する課金情報計数手段と、前記課金計数手段が計数した課金情報を送信するための送信手段とを具備したことを特徴とする。
【００２１】
また、少なくとも一部がオブジェクト化された動画像を再生させる対話型視聴装置の描画制御方法において、距離画像取得手段により指示する対象物の距離画像を取得し、再生中の前記動画像に対し、変化指示手段によって前記距離画像の動きから算出した経路に応じた変化指示を与え、与えられた変化指示に基づいて、前記動画像のうち、オブジェクト化されたオブジェクトの位置座標を変化手段により変化させることを特徴とする。
【００２２】
【発明の実施の形態】
［第１の実施例］
次に図面を参考に第１の実施例の動作説明を行う。図１は第１の実施例の概略構成図である。
【００２３】
少なくとも視聴者からの指示で変化するオブジェクトを含み、放送局などから送られてくる放送波を受信するための伝送部１と、受信した放送波を映像、音やオブジェクト、合成情報に分割し、復号する復号部２と、この復号部２により復号されたオブジェクトに対し、対話的な指示を与えるため、たとえば、後述する距離画像取得部などにより構成される変化指示部６と、復号部２により復号されたオブジェクトと合成情報とを記憶するためのオブジェクト変化情報記憶部５と、このオブジェクト変化情報記憶部５に記憶されたオブジェクトと合成情報に対し、この変化指示部６より入力された変化指示をもとにオブジェクトの表示位置，速度，形状などに対し変化を施す変化部４と、前記変化部４で生成された変化をもとに、映像，音響信号と合成を行い、描画を制御する情報管理部３と、この情報管理部３が描画した結果を呈示する呈示部７とから構成される。
【００２４】
録画再生ではオブジェクト変化情報記憶部５の復号されたオブジェクトと合成情報が読み出され情報管理部３に復号部２からの出力の代わりに用いられる。図面上では復号部２からの入力がない状態に対応する。
【００２５】
図２は、図１の構成における変化指示部６の概略図である。反射光を受光し、距離画像を取得する、例えば、特開平１０―１７７４４９号公報に示されているような距離画像取得部６１と、取得した距離画像を解析し、複数の変化変数を抽出する画像処理部６２とから構成される。
【００２６】
距離画像取得部６１は、中央の円の部分がレンズであり、周囲に並ぶ小さな円形の発光部６１１は例えば、赤外光などの光を照射するＬＥＤにあたる。タイミング信号生成部６１４の信号に従い、ＬＥＤから照射された光が物体に反射され、レンズにより集光され、レンズの後部にあるエリアセンサ（受光部６１２）で受光される。受光した光は、反射光抽出部６１３によって、画像として取得される。このように取得された画像は例えば、図３のような形式になっている。
【００２７】
図３（ａ）は取得した画像データの一部（２５６×２５６の一部の８×８）を示したものである。この例では、行列中のセルの値は、取得した反射光の強さを８ビットで示したものである。２５５の値があるセルは、距離画像取得部６１に最も接近した状態、０の値があるセルは、距離画像取得部６１から遠くにあり、反射光が距離画像取得部６１にまで到達しないことを示している。
【００２８】
図３（ｂ）は取得した画像データ全体を３次元的に示したものである。この例では、人間の手を取得したデータを示している。
画像処理部６２は、図３（ａ）のような形式で距離画像取得部６１で取得された距離画像を受け取り、エッジ切り出し、重心抽出、面積算出など種々の画像処理を行う。
【００２９】
（ｉ，ｊ）の画素値をＰｉｊとし、生成する輪郭情報の画素をＲｉｊとすると、
Ｒｉｊ＝２５５
（Ｉｆ（Ｐｉｊ−Ｐ（ｉ−１）ｊ）＞α ＆（Ｐｉｊ−Ｐｉ（ｊ−１））＞α ＆（Ｐｉｊ−Ｐ（ｉ＋１）ｊ）＞α ＆（Ｐｉｊ−Ｐｉ（ｊ＋１））＞α）
Ｒｉｊ＝０（上記以外）
とすることにより、図４のような輪郭情報を得ることができる。
【００３０】
次に、図１の構成において、動作例を説明する。図５は図１の構成における処理の流れ図である。図６は図１の構成において、オブジェクト変化情報記憶部５に記憶されているオブジェクトと映像、動きデータの記憶形式の一例である。図６では、時刻毎に合成されるオブジェクトとその動き、対応する映像データと付属データが対になって記憶されているものとする。
【００３１】
オブジェクト変化情報記憶部５へのデータの書き込みは、復号部２が伝送部１で受信した放送信号を合成情報と映像情報などに分けた直後に行われる場合と、あるいは、別途録画した情報を再生するときに行われる場合がある。
【００３２】
動きデータの形式としては、いくつかの形式が可能である。時刻毎（例えば、１／３０秒毎、あるいは１／６０秒毎）にオブジェクトの位置座標を記憶しておき、対応するオブジェクトを、その位置に配置することで、合成する方式がある。
【００３３】
図７は、時刻ｔ０におけるオブジェクトの位置座標を動きデータとして記憶し、合成する場合に例である。映像データｐ０上に動きデータｍ０（ｘ０，ｙ０）の座標位置に、時刻ｔ０時のオブジェクトデータｏ０を別レーヤとして配置、あるいは上書きすることにより、合成を行う。図８に示すように時刻ｔ１についても同様である。
【００３４】
図５の処理の流れ図において、変化指示部６より特に変化指示がなければ、図７、図８に示したように、もともとの動きのデータにそって、オブジェクトは動く。一方、変化指示があれば、その指示に従って変化部４は動きデータの編集を行う。
【００３５】
例えば、変化指示部６より、図９に太線で示したように、道に対して、ジグザグな動きを入力したとする。動きの入力は、例えば、図６が表示されている画面に対し、人差し指で、動かしたい経路を指示することで行える。
【００３６】
変化指示部６は、この動きを解析する（ステップＳ５０１）。解析の方法はいくつかある。例えば、図４のように切り出された輪郭情報を棒形状に変換し、その棒形状の最先端点（ｙ座標の最大点）を求め、その最先端点の座標値を動きとして算出するものがある。図４では、輪郭情報は２次元になっているが、必ずしもこれに限定されるものではない。図３に示したように３次元情報が取得されているので、３次元での輪郭情報を用いることも可能である。
【００３７】
また、上述のように、最先端点を用いる代わりに、最近傍点を用いる方法もある。最近傍点とは、図３のように３次元情報より、最も画面に対し、近い点（図３（ａ）では、値が最も大きいところ、図３（ｂ）では最も盛り上がっているところ）である。最近傍点は、図３（ａ）で最大値をとる点であるが、安定的にとるために、隣り合う４つのセルを平均した値から最近傍点を求めることも可能である。
【００３８】
このようにして、解析された人差し指の動きから、図９に示した太線のような動きが算出できる。このように変化指示部６で算出された太線の動きが変化部４に送られる。変化部４では、送られてきた太線のデータから、ｔ１，ｔ２，ｔ３，ｔ４時の点を算出すると、図８に示したように４点が算出できる。
【００３９】
算出された４つの位置座標をもとに、図６（ａ）のようにオブジェクト変化情報記憶部５に記憶されているデータの内、動きデータの値を、算出した位置座標に変更する。その結果、図６（ａ）のデータは図６（ｂ）のように変更される。
【００４０】
次にこの結果を受けて、図６（ｂ）のデータをもとに合成を行う（ステップＳ５０２）。合成を行った結果を、表示すると、図１０のようになる。
図１０（ａ）〜（ｅ）により、変化部４により抽出された動きデータ、つまり座標位置にオブジェクトが配置され、オブジェクトがスキップを踏むように、道をジグザグに進むように、変更になったことがわかる。
【００４１】
この例では、図９で示した太線のように、変化指示部６で与えられた動きのうち、変化部４は代表点の４点のみを、算出し、オブジェクト変化情報記憶部５に反映させている。このため、ｔ１，ｔ２，ｔ３，ｔ４時でユーザが指定した動きは反映されるが、ｔ０時からｔ１時、ｔ１時からｔ２時、というように、各代表点から代表点間の途中の動きは、反映されていない。
【００４２】
このため、例えば、図１１のようにユーザが変化指示部６により、曲線での動きを入力した場合には、代表点での動きはあっているが、他の途中では、曲線ではなく、直線でオブジェクトが移動してしまい、ユーザの意図に合わなくなってしまうという不都合が生じる。
【００４３】
このような不都合を解決するために、動きデータは曲線に対応するように、代表点の他に、代表点間の曲線をスプライン曲線などで近似し、その制御点を例えば、図１２（ａ）のように記憶する。
【００４４】
ｍ０：（ｘ００，ｙ００）（ｘ０１，ｙ０１）（ｘ０２，ｙ０２）．．とは、動きデータはアドレスｍ０に記憶されており、アドレスｍ０に記憶されている実際のデータの内容は、（ｘ００，ｙ００）（ｘ０１，ｙ０１）（ｘ０２，ｙ０２）．．であることを示すものである。（ｘ００，ｙ００）（ｘ０１，ｙ０１）（ｘ０２，ｙ０２）．．はスプライン曲線などで近似したときの制御点である。近似はスプライン曲線に限らず、三角関数やベジェ曲線など多種の関数を用いることが可能である。
【００４５】
図１２（ａ）のように記憶すれば例えば、図１１のように、変化指示部６から動きが入力されたときには、（ｘ００，ｙ００）（ｘ０１，ｙ０１）（ｘ０２，ｙ０２）．．の点列から構成されるスプライン曲線に沿って、オブジェクトを移動できるので、ユーザの意図に合った動きの変化を実現できる。
【００４６】
たとえば、オブジェクト変化情報記憶部５に記憶されたアニメーションのキャラクタが通常状態ではそのまま再生されていて、ユーザが変化指示部６によって指示すると指示に対応した変化が変化部４で施され、例えば、大きくなったり、小さくなったり、移動したりしてあたかもユーザの反応に応えるような効果を出せる。
【００４７】
ユーザの指示がなくなると変化部４によるオブジェクトの変形がなくなりオブジェクト変化情報記憶部５に記憶されていたまま出力されるため通常の状態に戻る。従って、従来のＶＴＲのような使用になんら障害を与えることはなく、新しい機能が新たに加わったことが分かる。また、リアルタイムで放送される番組の視聴においても、視聴者からの反応に放送局がすべて応えることができないという問題を解決していることが分かる。
【００４８】
［第１の実施例の効果］
以上のように本発明によれば、ＴＶ放送など、万人が同一の映像をみるような視聴形態においても、ユーザの意図にあった動きの変化を、放送形態に大きな変化を及ぼすことなく、かつユーザにとってパソコンなどの操作と違って簡単に楽しむことができるので、同一の番組を繰り返し見るときに、少しずつ変化させながら、楽しむことができるので、従来にない放送番組を作成し、ユーザの娯楽環境を大幅に改善することができる。
【００４９】
また、録画再生した番組でも使えるし、ユーザの入力指示によって変化するため、ユーザの指示が変化した分だけのバリエーションを持つことができる。ユーザ指示に対する変化の定義は予め、番組側で用意しても良いし、受信側で定義することも可能である。
【００５０】
［第１の発明の変形例］
以上の例は、２次元の空間に対して、動きの変更を行った例である。しかし、将来においては、ＴＶ放送といえども３次元空間内での映像として受信する可能性もあり、本発明はこのような３次元空間での動きの変更に対しても対応できるものである。
【００５１】
図１３は３次元空間での合成について示したものである。３次元ＣＧにより構成された背景の映像データに対し、２次元で構成されたオブジェクトを合成する。合成に用いる動きデータは、上下方向に繰り返して移動する動きである。
【００５２】
この動きは、第１の発明の実施例と同様に、ユーザが手を使って指示したものである。３次元空間に対して、動きをつける必要があるので、変化部４は、変化指示部６から入力された動きより、３次元座標としての位置や向きの変化をデータとして抽出する。例えば、抽出された動きは以下のようになる。
【００５３】
Ｒｅｐ：（ｘ００，ｙ００，ｚ００）（ｘ００，ｙ１０，ｚ００）は、（ｘ００，ｙ００，ｚ００）と（ｘ００，ｙ１０，ｚ００）の間の移動を繰り返す（Ｒｅｐ）ということを示している。人間の手は、完璧に同じ動作を繰り替えすことは難しいので、変化指示部６からの入力データをそのまま用いると、実は、ｙ座標だけでなく、ｘ座標、ｚ座標とも変化をした値となる。このような不安定さをなくして、安定した動作をオブジェクトにさせたい場合には、ある一定値以下の座標値の変位を誤差として無視する方法をとる。この方法をとることにより、同じ座標値間の周期運動を容易にオブジェクトの動きに反映させることができる。
【００５４】
ただし、わざとユーザの動きの不安定さをオブジェクトの動きに反映させたい場合には、誤差として無視する方法はとらない。
この結果、ｙ座標のみ変化しているので、図１３の合成結果で示すように、動きとしては、同じ地点でぴょんぴょん飛び跳ねているような効果となる。
【００５５】
同様に、変化指示部６より、前後に手を動かした動きを入力すれば、ｚ軸方向に沿って、前後にぴょんぴょんはねる。あるいは左右に動かせば、ｘ軸方向に、左右にぴょんぴょんはねることとなる。あるいは、ｙ軸を軸としてぐるっと手をまわすような動きを入力すると、図１４に示すように、３次元空間の中の物体の後ろにオブジェクトが回り込みながら、ちょうどメリーゴーランドのように回転運動をさせることもできる。
【００５６】
Ｒｏｔ：（ｘ００，ｙ００，ｚ００）（ｘ１０，ｙ１０，ｚ１０）．．．のＲｏｔは回転運動であることを示す。図１４の場合、２次元オブジェクトなので、回転運動に際してもオブジェクトの向きは固定になっている。が、３次元オブジェクトの場合には、動きデータの隣り合う点から生成されるベクトルにオブジェクトの姿勢（法線方向）を合わせるように、変化部４にて、オブジェクト自身への動きデータの修正も行うようにすることも可能である。
【００５７】
また、第１の実施例での復号部２では、受信した放送波を映像、音やオブジェクト、合成情報に分割処理を行っているが、放送波がＭＰＥＧ２などにより圧縮されている場合には、分割処理の他に、ＭＰＥＧ２などの圧縮の解凍処理も行う。
【００５８】
受信した放送波でなく、録画された電波に対しても、再生時に映像，音，オブジェクト，合成情報を分割し、図６のような形式で、オブジェクト変化情報記憶部５に書き込み、手振りにより動きを与えることで、毎回異なった動きをつけて、映像を楽しむことが可能である。
【００５９】
さらに、将来本発明のような放送番組が提供されたとき、一部の放送番組が、本発明の方式に対応し、他の多くの放送番組は対応していないという状況が出現する。そのような場合には、オブジェクトとその動きデータは存在しないので、オブジェクト変化記憶部５には、例えば図１５（ａ）のように、映像データのみが記憶される。このような形式の映像データに対しては、著作権的に、動きの編集が許されていないことに相当するので、ユーザから変化指示部６を用いて変化指示があっても、変化部は、動きデータの部分がＮＵＬＬなので、変化処理を行わないようにすることができる。
【００６０】
同様に例えば、ＭＰＥＧ４のように符号化を使って圧縮がされている場合には、図１５（ｂ）のように、オブジェクトのみにデータがはいる形になるが、図１５（ａ）と同様に、動きデータがＮＵＬＬなので、変化処理を行わない。
【００６１】
［第２の実施例］
第１の実施例では、変化指示部６からは、ユーザの手の動きのデータが抽出され、その動きデータを用いて、変化部４が、オブジェクトに対し、動きを変化させるものである。
【００６２】
実際には、ユーザの手は動くだけでなく形状も変化している。動きだけでなく、形状の変化も捉えて、オブジェクトの変形や動きの変化に反映させるものが、本実施例である。その概略構成図は、図１６のようになっている。図１６の構成は、第１の実施例である図１の構成に、変化指示解釈部８が追加された構成になっている。
【００６３】
図１７は変化指示解釈部８で解釈に用いる対応規則の一例を示したものである。図１７の例では、重心（ｘ，ｙ，ｚ）はキャラクタの位置（Ｘ，Ｙ，Ｚ）に対応し、面積ｓはキャラクタの拡大率ｓ／ｓ０に、形状ｇはキャラクタのモードＭに対応することを示す。拡大率は基準面積ｓ０に対する比で表される。また、形状ｇとモードの関係は例えば図１９のようになる。複数のパラメータとキャラクタとの割付をおこなう動作処理の流れは、図１８に示す。つまり、変化指示解釈部８は、図１７の規則を用いて、抽出した重心をキャラクタの重心に割り当て、抽出した面積をキャラクタの拡大率に割り当て、抽出した形状をキャラクタのモードに割り当て、その他抽出したパラメータに応じ規則に基づいて割り当てる。
【００６４】
例えば、図１９の対応では、グー（手を握った状態）であれば、キャラクタの動作モードは「停止する」になる。停止の場合には、位置データや拡大率が変化しても、動作として変化はせず、静止した状態になる。
【００６５】
また、パー（手を開いた状態）であれば、キャラクタの動作モードは「歩く」になる。すると、それまで、静止していた場合は、別途抽出された重心に沿った歩行動作をおこなう。あるいは、それまで走っていた場合には、逆に速度をゆるめ、歩行に移行する。
【００６６】
また、チョキ（２本指をつきだした状態）であれば、キャラクタの動作モードは「走る」となる。静止して場合、歩行していた場合、いずれも、走行動作に移行する。
【００６７】
また、同じ２本指でも静止状態でなく、交互に指が動いている形状の時には、走行動作でなく、「スキップ」動作に移行する。
あるいは、拍手１（拍手が１回）であれば、モードは「解体」となる、これは、キャラクタがバラバラになることを示す。また拍手２（拍手２回）であれば、モードは「解体復帰」となり、これは、バラバラになっていただキャラクタが、合体してもとにもどることを示す。例としては、図２０のようになる。
【００６８】
以上の例では、抽出した複数のパラメータをキャラクタの動作生成に割り付ける例を示したが、必ずしも、これに依存するものではない。例えば、図１７の例で、パラメータの内、重心と形状のみを使う場合もある。その時は、図１７（ｂ）のように、面積に対応する欄に「ＮＵＬＬ」が記述されているので、割り当てを行わない。
【００６９】
［第２の発明の効果］
以上のように本発明によれば、ＴＶ放送など、万人が同一の映像をみるような視聴形態においても、ユーザは単に手を動かすだけという簡単なジェスチャーで、キャラクタに複雑な動きをつけて、楽しむことができるので、同一の番組を繰り返し見るときに、少しずつ変化させながら、楽しむことができるので、従来にない放送番組を作成し、ユーザの娯楽環境を大幅に改善することができる。
【００７０】
［第３の発明の実施例］
第１，第２の実施例では、受信した放送番組に対し、ユーザが視聴の度に、キャラクタに動きをつけて楽しむことができる。このような放送サービスを提供することで、ユーザに対し課金することも考えられる。
【００７１】
第３の実施例はこの要請に答えるものである。図２１は概略構成図である。第１の実施例の概略構成図に対し、課金処理部１０に課金やユーザ管理に必要な情報を集めるための収集送信部９が追加された構成になっている。
【００７２】
収集送信部９は、情報管理部３より、ユーザが加工・編集を行った番組名、頻度、分量、時間などのユーザ情報を受け、それを、場合によっては圧縮を施し、セキュリティ保護のための暗号化を行い、課金処理部１０を宛先にした送信形式にする処理を行う。
【００７３】
収集送信部９がパッキングして送出するユーザ情報は例えば、図２２のような形式になっている。冒頭に、宛先とユーザのＩＤが記述されている。ユーザＩＤからは番組ＩＤを先頭とする加工・編集が施された番組情報へのリンクが出ている。各番組情報は加工・編集が施された番組ＩＤ、その頻度、時間、および実際にユーザから与えられた動作指示情報が格納されている。番組ＩＤからは他の番組情報へのリンクが出ている。
【００７４】
動作指示情報としては、変化指示部から入力された指示を解釈した結果を送ることも可能であるが、例えば、図２３のように、取得された画像情報を直接圧縮して送ることも可能である。
【００７５】
課金処理部１０は放送局本体と同一であってもなくてもよいが、ユーザがどの放送番組に対し、加工・編集を施した頻度／時間をモニタリングする。課金処理部１０では、送信されてきた頻度／時間により、課金をし、請求書をユーザに送る作業と、別途設定されている口座より引き落とす作業を実施する。その他に、実際にユーザから送られてきた図２３のような生の動作指示情報をもとに、ユーザがどのようなジェスチャーにより楽しんでいるかを解析する。動きとしておもしろいものを抽出できれば、放送時のキャラクタの動きに採用することが可能である。
【００７６】
また、課金処理部１０は収集した動作データをデータベース化し、別のユーザに提供することで、別途収入を得ることも可能である。採用されたユーザに対しては、報償金として、課金の割引などをおこなう制度などを導入することで、他の画一的な放送に対して、差別化をはかることが可能である。
【００７７】
課金処理部１０への送信方法としては、電話回線を用いるもの、インターネットを用いるもの、ＩｒＤＡなどの無線を用いるものなどいくつかの方法が考えられる。が、いずれの方法であってもよい。また、通常の放送での課金システム、例えば、Ｐａｙ ｐｅｒ Ｖｉｅｗなどを流用することも可能である。
【００７８】
［第３の発明の効果］
以上のように本発明によれば、放送番組に対してユーザが自分の意図にそった動きの変化付けを楽しむだけでなく、番組提供者にとっても、加工・編集からの収入を得ることができるので、デジタルＴＶ放送のなかでさらに新しい市場を開拓するもので、ユーザにとっても、著作権者にとっても、番組提供者にとっても利点のあるサービスを実現できる点が効果が大きい。
【００７９】
［記憶媒体］
また、本願発明の図５のような処理をコンピュータ読取り可能なプログラムで実現し、このプログラムをコンピュータで読み取り可能な記憶媒体として実現することも可能である。
【００８０】
なお、本願発明における記憶媒体としては、磁気ディスク、フロッピーディスク、ハードディスク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリ等、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【００８１】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼動しているＯＳ（オペレーションシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
【００８２】
さらに、本願発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【００８３】
また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００８４】
なお、本願発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【００８５】
また、本願発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本願発明の機能を実現することが可能な機器、装置を総称している。
【００８６】
【発明の効果】
このような本願発明により、視聴者が身振り手振りで参加できるような対話性のある番組視聴が実現することができる。
【図面の簡単な説明】
【図１】 本願発明の一実施例である第１の実施例の概略構成図
【図２】 本願発明の一実施例である第１の実施例の変化指示部の概要の一例
【図３】 本願発明の一実施例である第１の実施例の変化指示部のうちの画像取得部が取得した画像形式の一例
【図４】 本願発明の一実施例である第１の実施例の変化指示部の内の画像処理部の処理結果の一例
【図５】 本願発明の一実施例である第１の実施例の処理の流れ図
【図６】 本願発明の一実施例である第１の実施例中における記憶の一形式の例
【図７】 本願発明の一実施例である第１の実施例中における合成の例
【図８】 本願発明の一実施例である第１の実施例中における合成の例
【図９】 本願発明の一実施例である第１の実施例中における合成の例
【図１０】 本願発明の一実施例である第１の実施例中における合成の例
【図１１】 本願発明の一実施例である第１の実施例中における合成の例
【図１２】 本願発明の一実施例である第１の実施例中における記憶の一形式の例
【図１３】 本願発明の一実施例である第１の実施例の変形例中における記憶の一形式の例
【図１４】 本願発明の一実施例である第１の実施例の変形例中における記憶の一形式の例
【図１５】 本願発明の一実施例である第１の実施例の変形例中における記憶の一形式の例
【図１６】 本願発明の一実施例である第２の実施例の概略構成図
【図１７】 本願発明の一実施例である第２の実施例の変化指示解釈部におけるパラメータ割り当ての記憶形式の一例
【図１８】 本願発明の一実施例である第２の実施例の処理の流れ図
【図１９】 本願発明の一実施例である第２の実施例の変化指示解釈部におけるパラメータ割り当ての記憶形式の一例
【図２０】 本願発明の一実施例である第２の実施例におけるキャラクタの変形の一例を示す図である。
【図２１】 本願発明の一実施例である第３の実施例の概略構成図である。
【図２２】 本願発明の一実施例である第３の実施例中の送信データ形式の一例である。
【図２３】 本願発明の一実施例である距離画像取得部で取得された画像の例
【符号の説明】
１…伝送部
２…復号部
３…情報管理部
４…変化部
５…オブジェクト変化情報記憶部
６…変化指示部
７…呈示部
８…変化指示解釈部
９…収集送信部
１０…課金処理部

Claims (9)

1. 少なくとも一部がオブジェクト化された動画像を再生する対話型視聴装置において、
   指示する対象物の距離画像を取得する距離画像取得手段と、
   再生中の前記動画像に対し、前記距離画像の動きから算出した経路に応じた変化指示を与えるための変化指示手段と、
   この変化指示手段により与えられた変化指示に基づいて、前記動画像のうち、オブジェクト化されたオブジェクトの位置座標を変化させるためのオブジェクト変化手段と
   を具備したことを特徴とする対話型視聴装置。
2. 前記変化手段は、前記距離画像取得手段の動きから算出した経路上にあるオブジェクトの代表点の位置座標に変更することを特徴とする請求項１記載の対話型視聴装置。
3. 前記変化手段は、前記代表点間の経路を曲線関数で近似してオブジェクトの位置座標を変更することを特徴とする請求項２記載の対話型視聴装置。
4. 前記変化手段は、オブジェクト化された動画像とともに記述されている属性を変化させ、この変化させた属性をもとに前記オブジェクトの位置座標を変化させることを特徴とする請求項１記載の対話型視聴装置。
5. 更に、前記距離画像取得手段で取得した距離画像から複数のパラメータに応じて割り当てられた変化指示を解釈する変化指示解釈手段を具備し、
   前記変化手段は、前記変化支持解釈手段で解釈された変化指示をもとに、オブジェクト化されたオブジェクトを変化させることを特徴とする請求項１記載の対話型視聴装置。
6. 更に、前記変化手段によりオブジェクトを変化させた回数や時間など課金に必要な情報を算出する課金情報計数手段と、
   前記課金計数手段が計数した課金情報を送信するための送信手段と
   を具備したことを特徴とする請求項１記載の対話型視聴装置。
7. 少なくとも一部がオブジェクト化された動画像を再生させる対話型視聴装置の描画制御方法において、
   距離画像取得手段により指示する対象物の距離画像を取得し、
   再生中の前記動画像に対し、変化指示手段によって前記距離画像の動きから算出した経路に応じた変化指示を与え、
   与えられた変化指示に基づいて、前記動画像のうち、オブジェクト化されたオブジェクトの位置座標を変化手段により変化させることを特徴とする描画制御方法。
8. 更に、前記変化手段によりオブジェクトを変化させた回数や時間など課金に必要な情報を課金情報計数手段で算出し、
   前記課金情報計数手段で算出された課金情報をもとに、ユーザに課金することを特徴とする請求項７記載の描画制御方法。
9. 対象物の距離画像を取得する距離画像取得手段と、再生中の前記動画像に対し変化指示を与えるための変化指示手段と、オブジェクト化されたオブジェクトの位置座標を変化させるためのオブジェクト変化手段とを含み、少なくとも一部がオブジェクト化された動画像を再生する対話型視聴装置を備えたコンピュータにロードされたときに、指示する対象物の距離画像を取得する手順と、再生中の前記動画像に対し、前記距離画像の動きから算出した経路に応じた変化指示を与える手順と、与えられた変化指示に基づいて、前記動画像のうち、オブジェクト化されたオブジェクトの位置座標を変化させる手順を実行させるためのプログラムを記憶したコンピュータ読取り可能な記憶媒体。

Images