JP3655832B2 - 動画像送信方法、動画像送信処理用プログラム及びそのプログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介して動画像を高速かつ高品質に送信できるようにする動画像送信方法と、その動画像送信方法の実現に用いられる動画像送信処理用プログラムと、その動画像送信処理用プログラムを記録したコンピュータ読取可能な記録媒体とに関する。
【０００２】
【従来の技術】
動画像をネットワークを介して送信することが広く行われるようになりつつある。
【０００３】
従来では、動画像をリアルタイムで送信する場合には、フレーム全体をその場で符号化して送信するように処理している。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来技術のように、動画像をリアルタイムで送信する場合に、フレーム全体をその場で符号化して送信するように処理していると、回線の容量に応じた品質しか送信できないことで、高品質の動画像を送信できないという問題点がある。
【０００５】
動画像の送信の中には、サッカー中継のように、サッカー場のような変化の少ない背景を持った映像を送信する場合もあるが、従来技術では、このような場合にも、フレーム全体をその場で符号化して送信するように処理している。
【０００６】
本発明はかかる事情に鑑みてなされたものであって、変化の少ない背景画像を持つ大容量の動画像を処理対象として、そのような動画像をネットワークを介して高速かつ高品質に送信できるようにする新たな動画像配信技術の提供を目的とする。
【０００７】
【課題を解決するための手段】
この目的を達成するために、本発明の動画像送信方法では、背景画像とその中で動く画像部分とで構成される動画像をネットワークを介して送信するという構成を採るときにあって、動画像の送信に先立ち、様々なカメラ姿勢により撮影される動く画像部分を持たない背景画像を取得して、そのときのカメラ姿勢情報と対応をとりつつ記憶装置に格納する第１の処理過程と、記憶装置に格納されるカメラ姿勢情報と対応する背景画像を、動画像の送信に先立ち送信する第２の処理過程と、動画像の送信の際に、記憶装置に格納される情報を参照することで、送信対象の動画像の撮影に用いられたカメラ姿勢情報の指す背景画像を取得する第３の処理過程と、送信対象の動画像と第３の処理過程で取得した背景画像との差分画像から動く画像部分を抽出し、その抽出した動く画像部分に外接する矩形領域を切り出す第４の処理過程と、第４の処理過程で切り出した矩形領域及びその位置情報と、送信対象の動画像の撮影に用いられたカメラ姿勢情報とを送信する第５の処理過程とを備える。
【０００８】
そして、これに合わせて、受信側では、動画像の送信に先立って送られてくる様々なカメラ姿勢により撮影された背景画像と、そのときのカメラ姿勢情報とを受信して記憶装置に格納し、その後、送信側から送られてくる送信対象の動画像から切り出された動く画像部分に外接する矩形領域及びその位置情報と、その送信対象の動画像の撮影に用いられたカメラ姿勢情報とを受信する。この受信を行うと、記憶装置に格納される情報を参照することで、その受信したカメラ姿勢情報の指す背景画像を取得して、その受信した矩形領域の位置情報に従って、その受信した矩形領域の規定する動く画像部分を、その取得した背景画像に上書きする形で合成する。
【０００９】
このように構成される本発明により実現される動画像配信システムでは、送信側及び受信側に用意される記憶装置に、様々なカメラ姿勢により撮影された背景画像と、そのときのカメラ姿勢情報との対で構成される情報が記憶される。
【００１０】
送信側は、この記憶装置に格納される情報の構築を受けて、送信対象の動画像が与えられると、先ず最初に、記憶装置に格納される情報を参照することで、送信対象の動画像の撮影に用いられたカメラ姿勢情報の指す背景画像を取得し、続いて、その取得した背景画像と送信対象の動画像との差分画像から動く画像部分を抽出して、その抽出した動く画像部分に外接する矩形領域を切り出し、続いて、その切り出した矩形領域の画像部分と、その矩形領域の画像部分の位置情報と、送信対象の動画像の撮影に用いられたカメラ姿勢情報とを受信側に送信する。
【００１１】
一方、受信側は、この記憶装置に格納される情報の構築を受けて、送信対象の動画像から切り出された動く画像部分に外接する矩形領域及びその位置情報と、その送信対象の動画像の撮影に用いられたカメラ姿勢情報とを受信すると、先ず最初に、記憶装置に格納される情報を参照することで、その受信したカメラ姿勢情報の指す背景画像を取得し、続いて、受信した矩形領域の位置情報に従って、受信した矩形領域の規定する動く画像部分をその取得した背景画像に上書きする形で合成する。
【００１７】
このようにして、本発明により実現される動画像配信システムでは、変化の少ない背景画像を持つ大容量の動画像を送信する場合に、送信対象の動画像を全部送信するのではなくて、その動画像の中に含まれる動く画像部分及びその位置情報と、その動画像の撮影に用いられたカメラ姿勢情報とを送信するだけでもって動画像を配信できるようになることから、回線容量の制限を受けることなく、動画像を高速かつ高品質に送信できるようになる。
【００１８】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００１９】
図１に、本発明の一実施形態例を図示する。
【００２０】
図中、１は本発明を具備する動画像送信装置、２は本発明に関連する動画像受信装置、３は動画像送信装置１に接続されるカメラ、４は動画像受信装置２に接続される出力装置、５は動画像送信装置１と動画像受信装置２との間を接続するネットワークである。
【００２１】
本発明の動画像送信装置１は、カメラ３の撮影する背景画像とその中で動く画像部分とで構成される動画像を入力として、それをネットワーク５を介して本発明に関連する動画像受信装置２に送信し、これを受けて、本発明に関連する動画像受信装置２は、その送られてくる動画像を受信して、出力装置４に出力するように処理する。
【００２２】
本発明の動画像送信装置１は、本発明を実現するために、動画像送信プログラム１０と背景画像データベース１１と背景画像登録送信プログラム１２とを備え、一方、本発明に関連する動画像受信装置２は、動画像受信プログラム２０と背景画像データベース２１とを備える。
【００２３】
ここで、動画像送信プログラム１０や背景画像登録送信プログラム１２や動画像受信プログラム２０は、計算機が読み取り可能な半導体メモリなどの適当な記録媒体に記録して提供することができる。
【００２４】
図２に、背景画像登録送信プログラム１２の実行する処理フローの一実施形態例を図示し、図３に、動画像送信プログラム１０の実行する処理フローの一実施形態例を図示し、図４に、動画像受信プログラム２０の実行する処理フローの一例を図示する。
【００２５】
次に、これらの処理フローに従って、本発明により実現される動画像の配信処理について説明する。
【００２６】
先ず最初に、背景画像登録送信プログラム１２及び動画像送信プログラム１０の実行する処理について説明する。
【００２７】
背景画像登録送信プログラム１２は、動画像の送信に先立って実行する背景画像の登録要求（動く画像部分が存在しない背景画像のみの登録要求）が発行されることで起動されると、図２の処理フローに示すように、先ず最初に、ステップ１で、背景画像の登録処理で要求される全てのカメラ姿勢（カメラ角度とズーム量とでカメラ姿勢が決められる）を選択したのか否かを判断する。
【００２８】
この判断処理により、背景画像の登録処理で要求される全てのカメラ姿勢を選択していないことを判断するときには、ステップ２に進んで、未選択のカメラ姿勢の中から１つを選択して、カメラ３の姿勢を制御する機構に指示することで、カメラ３の姿勢をその選択したものに制御する。
【００２９】
続いて、ステップ３で、カメラ３の撮影する背景画像を入力する。例えば、サッカー中継の動画像を送信するときには、動画像の送信に先立って、背景画像となるサッカー場の画像を取得して背景画像データベース１１に登録することになるので、選択した姿勢を持つカメラ３の撮影するサッカー場の画像を入力するのである。
【００３０】
続いて、ステップ４で、入力した背景画像を、そのときのカメラ姿勢の情報と対応をとりつつ背景画像データベース１１に登録して、ステップ１に戻る。
【００３１】
そして、ステップ１で、背景画像の登録処理で要求される全てのカメラ姿勢を選択したことを判断するときには、ステップ５に進んで、背景画像データベース１１に登録した情報を動画像受信装置２に送信して、処理を終了する。
【００３２】
このようにして、背景画像登録送信プログラム１２は、動画像の送信に先立って、背景画像データベース１１に対して、様々なカメラ姿勢で撮影された背景画像とそのときのカメラ姿勢情報との対応関係を登録することで、図５に示すような背景画像データベース１１を構築して、その構築が完了すると、それらの登録情報を動画像受信装置２に送信していくように処理するのである。
【００３３】
動画像送信プログラム１０は、この背景画像登録送信プログラム１２による背景画像データベース１１の構築後に、動画像の送信要求が発行されることで起動されると、図３の処理フローに示すように、先ず最初に、ステップ１で、送信終了指示が発行されたのか否かを判断して、発行されていないことを判断するときには、ステップ２に進んで、カメラ３により撮影される送信フレームの動画像と、そのときのカメラ３の姿勢情報とを入力する。
【００３４】
続いて、ステップ３で、その入力したカメラ姿勢情報を検索キーにして背景画像データベース１１を検索することで、その入力したカメラ姿勢情報の指す背景画像を取得する。すなわち、背景画像データベース１１に格納されている背景画像の中から、送信フレームの撮影時と同じカメラ姿勢により撮影された背景画像を取得するのである。
【００３５】
続いて、ステップ４で、入力した動画像と取得した背景画像との差分画像を作成し、規定の閾値よりも大きな差分値を持つ画像部分を抽出することで、動画像の中に含まれる動く画像部分を抽出する。すなわち、差分値が小さい画像部分は背景画像を示していることから、それ以外の画像部分を抽出することで、動画像の中に含まれる動く画像部分を抽出するのである。
【００３６】
続いて、ステップ５で、その抽出した動く画像部分に外接する矩形を特定することで、その抽出した動く画像部分の画像領域を切り出す。すなわち、図６に示すように、動く画像部分に外接する矩形を特定することで、動く画像部分の画像領域を切り出すのである。
【００３７】
続いて、ステップ６で、入力したカメラ姿勢情報と、切り出した画像領域の画像と、切り出した画像領域の位置情報（例えば外接矩形の１つの頂点位置とその矩形の大きさ）とを動画像受信装置２に送信して、ステップ１に戻る。
【００３８】
そして、ステップ１で、送信終了指示が発行されたことを判断するときには、ステップ７に進んで、送信終了を動画像受信装置２に通知して、処理を終了する。
【００３９】
このようにして、動画像送信プログラム１０は、カメラ３から送信フレームを入力すると、その送信フレームの動画像の中から動く画像部分の画像領域を抽出して（動く画像部分に外接する矩形の形態で抽出する）、その抽出した画像領域の画像と、その画像領域の位置情報と、その動画像の撮影に用いられたカメラ姿勢情報とを動画像受信装置２に送信していくように処理するのである。
【００４０】
次に、動画像受信プログラム２０の実行する動画像受信処理について説明する。
【００４１】
動画像受信プログラム２０は、動画像送信装置１の発行する動画像の送信指示などに応答して起動されると、図４の処理フローに示すように、先ず最初に、ステップ１で、動画像送信装置１から送信されてくる情報が背景画像であるのか否かを判断する。
【００４２】
すなわち、背景画像登録送信プログラム１２の処理に従って、動画像の送信に先立って、動画像送信装置１から背景画像データベース１１の登録情報が送信されてくることになるので、動画像送信装置１からその登録情報が送信されてきたのか否かを判断するのである。
【００４３】
この判断処理により、背景画像が送信されてきたことを判断するときには、ステップ２に進んで、背景画像登録送信プログラム１２の処理に従って送信されてくる背景画像とカメラ姿勢情報との対情報を受信し、続くステップ３で、その受信した情報を背景画像データベース２１に登録して、処理を終了する。
【００４４】
このようにして、動画像送信装置１から背景画像データベース１１の登録情報が送信されてくるときには、その登録情報に従って、その背景画像データベース１１と同一の情報を管理する背景画像データベース２１を構築して、処理を終了するのである。
【００４５】
一方、ステップ１で、動画像送信装置１から送信されてくる情報が背景画像でないことを判断するとき、すなわち、動画像送信プログラム１０の送信する情報が送られてきたことを判断するときには、ステップ４に進んで、送信終了通知が送信されてきたのか否かを判断する。
【００４６】
この判断処理により、送信終了通知が送信されてきたのではないことを判断するとき、すなわち、動画像送信プログラム１０の送信処理に従って、動く画像部分の画像領域の画像と、その画像領域の位置情報と、動画像の撮影に用いられたカメラ姿勢情報とが送信されてくることを判断するときには、ステップ５に進んで、それらの情報を受信する。
【００４７】
続いて、ステップ６で、その受信したカメラ姿勢情報を検索キーにして背景画像データベース２１を検索することで、その受信したカメラ姿勢情報の指す背景画像を取得する。すなわち、背景画像データベース２１に格納されている背景画像の中から、送信フレームの撮影時と同じカメラ姿勢により撮影された背景画像を取得するのである。
【００４８】
続いて、ステップ７で、受信した画像（動く画像部分の画像）を、受信した画像領域の位置情報の指定に従って、取得した背景画像に上書きする形で合成して出力装置４に出力する。
【００４９】
そして、ステップ４で、送信終了通知が送信されてきたことを判断するときには、動画像の受信処理を終了する。
【００５０】
このようにして、動画像受信プログラム２０は、図７（ａ）に示すような動く画像部分の画像が送られてくると、その画像とともに送られてくるカメラ姿勢情報の指す図７（ｂ）に示すような背景画像を取得して、その画像とともに送られてくる位置情報の指定に従って、図７（ｃ）に示すように、その送られてくる画像をその取得した背景画像に上書きする形で合成して出力することで、動画像の受信を実現するのである。
【００５１】
以上に説明したことから分かるように、図１に示した本発明の動画像送信装置１は、図８に示すように、カメラ３の撮影する画像を入力する撮影画像入力手段３０と、カメラ３の撮影する背景画像を蓄積する背景画像蓄積手段３１と、動画像の送信に先立って、カメラ３の撮影する背景画像を入手して背景画像蓄積手段３１に登録する背景画像登録手段３２と、動画像撮影時のカメラ３の姿勢情報を使って、背景画像蓄積手段３１から背景画像を取得する背景画像取得手段３３と、背景画像取得手段３３の取得する背景画像とカメラ３の撮影する動画像とから動く画像部分を切り出す動き画像切出手段３４と、動画像の送信に先立って、背景画像蓄積手段３１に蓄積される背景画像を送信するとともに、動画像の送信時に、動き画像切出手段３４の切り出す画像部分及びその位置情報と、カメラ３の姿勢情報とを本発明に関連する動画像受信装置２に送信する伝送手段３５とを備えることになる。
【００５２】
そして、図１に示した本発明に関連する動画像受信装置２は、図８に示すように、本発明の動画像送信装置１から送られてくる情報を受信する伝送手段４０と、本発明の動画像送信装置１から送られてくる背景画像を蓄積する背景画像蓄積手段４１と、本発明の動画像送信装置１から送られてくる背景画像を入手して背景画像蓄積手段４１に登録する背景画像登録手段４２と、本発明の動画像送信装置１から送られてくるカメラ姿勢情報を使って、背景画像蓄積手段４１から背景画像を取得する背景画像取得手段４３と、本発明の動画像送信装置１から送られてくる動く画像部分の画像と背景画像取得手段４３の取得する背景画像とを合成することで動画像を再生する動画像合成手段４４とを備えることになる。
【００５３】
図９に、本発明に関連する動画像送信装置１及び動画像受信装置２の装置構成を図示する。
【００５４】
この装置構成に従う本発明に関連する動画像送信装置１は、動画像送信プログラム５０と三次元モデルデータベース５１と三次元モデル生成送信プログラム５２とを備え、一方、この装置構成に従う本発明に関連する動画像受信装置２は、動画像受信プログラム６０と三次元モデルデータベース６１とを備える。
【００５５】
ここで、動画像送信プログラム５０や三次元モデル生成送信プログラム５２や動画像受信プログラム６０は、計算機が読み取り可能な半導体メモリなどの適当な記録媒体に記録して提供することができる。
【００５６】
図１０に、三次元モデル生成送信プログラム５２の実行する処理フローの一例を図示し、図１１に、動画像送信プログラム５０の実行する処理フローの一例を図示し、図１２に、動画像受信プログラム６０の実行する処理フローの一例を図示する。
【００５７】
次に、これらの処理フローに従って、図９に示す装置構成により実現される本発明に関連する動画像の配信処理について説明する。
【００５８】
先ず最初に、三次元モデル生成送信プログラム５２及び動画像送信プログラム５０の実行する処理について説明する。
【００５９】
三次元モデル生成送信プログラム５２は、動画像の送信に先立って実行する背景画像の三次元モデルの生成要求（仮想空間上に構築される背景画像の三次元モデルの生成要求）が発行されることで起動されると、図１０の処理フローに示すように、先ず最初に、ステップ１で、背景画像の三次元モデルを生成する。
【００６０】
例えば、サッカー中継の動画像を送信するときには、動画像の送信に先立って、背景画像となるサッカー場の三次元モデルを生成するのである。
【００６１】
続いて、ステップ２で、その生成した背景画像の三次元モデルを三次元モデルデータベース５１に登録し、続くステップ３で、三次元モデルデータベース５１に登録した背景画像の三次元モデルを動画像受信装置２に送信して、処理を終了する。
【００６２】
このようにして、三次元モデル生成送信プログラム５２は、動画像の送信に先立って、背景画像の三次元モデルを生成して、それを三次元モデルデータベース５１に登録するとともに、動画像受信装置２に送信していくように処理するのである。
【００６３】
動画像送信プログラム５０は、この三次元モデル生成送信プログラム５２による三次元モデルデータベース５１の構築後に、動画像の送信要求が発行されることで起動されると、図１１の処理フローに示すように、先ず最初に、ステップ１で、送信終了指示が発行されたのか否かを判断して、発行されていないことを判断するときには、ステップ２に進んで、カメラ３により撮影される送信フレームの動画像と、そのときのカメラ３の姿勢情報とを入力する。
【００６４】
続いて、ステップ３で、三次元モデルデータベース５１に格納される背景画像の三次元モデルと、その入力したカメラ姿勢情報とから、そのカメラ姿勢情報をを持つカメラ３により撮影されることになる背景画像を生成する。すなわち、カメラ３から見た背景画像をシミュレートするのである。
【００６５】
続いて、ステップ４で、入力した動画像と生成した背景画像との差分画像を作成し、規定の閾値よりも大きな差分値を持つ画像部分を抽出することで、動画像の中に含まれる動く画像部分を抽出する。すなわち、差分値が小さい画像部分は背景画像を示していることから、それ以外の画像部分を抽出することで、動画像の中に含まれる動く画像部分を抽出するのである。
【００６６】
続いて、ステップ５で、その抽出した動く画像部分に外接する矩形を特定することで、その抽出した動く画像部分の画像領域を切り出す。すなわち、図６に示すように、動く画像部分に外接する矩形を特定することで、動く画像部分の画像領域を切り出すのである。
【００６７】
続いて、ステップ６で、入力したカメラ姿勢情報と、切り出した画像領域の画像と、切り出した画像領域の位置情報（例えば外接矩形の１つの頂点位置とその矩形の大きさ）とを動画像受信装置２に送信して、ステップ１に戻る。
【００６８】
そして、ステップ１で、送信終了指示が発行されたことを判断するときには、ステップ７に進んで、送信終了を動画像受信装置２に通知して、処理を終了する。
【００６９】
このようにして、動画像送信プログラム５０は、カメラ３から送信フレームを入力すると、その送信フレームの動画像の中から動く画像部分の画像領域を抽出して、その抽出した画像領域の画像と、その画像領域の位置情報と、その動画像の撮影に用いられたカメラ姿勢情報とを動画像受信装置２に送信していくように処理するのである。
【００７０】
次に、動画像受信プログラム６０の実行する動画像受信処理について説明する。
【００７１】
動画像受信プログラム６０は、動画像送信装置１の発行する動画像の送信指示などに応答して起動されると、図１２の処理フローに示すように、先ず最初に、ステップ１で、動画像送信装置１から送信されてくる情報が背景画像の三次元モデルであるのか否かを判断する。
【００７２】
すなわち、三次元モデル生成送信プログラム５２の処理に従って、動画像の送信に先立って、動画像送信装置１から背景画像の三次元モデルが送信されてくることになるので、動画像送信装置１からその三次元モデルが送信されてきたのか否かを判断するのである。
【００７３】
この判断処理により、背景画像の三次元モデルが送信されてきたことを判断するときには、ステップ２に進んで、送信されてくる背景画像の三次元モデルを受信し、続くステップ３で、その受信した三次元モデルを三次元モデルデータベース６１に登録して、処理を終了する。
【００７４】
このようにして、動画像送信装置１から三次元モデルデータベース５１に管理される背景画像の三次元モデルが送信されてくるときには、その三次元モデルに従って、その三次元モデルデータベース５１と同一の三次元モデルを管理する三次元モデルデータベース６１を構築して、処理を終了するのである。
【００７５】
一方、ステップ１で、動画像送信装置１から送信されてくる情報が背景画像の三次元モデルでないことを判断するとき、すなわち、動画像送信プログラム５０の送信する情報が送られてきたことを判断するときには、ステップ４に進んで、送信終了通知が送信されてきたのか否かを判断する。
【００７６】
この判断処理により、送信終了通知が送信されてきたのではないことを判断するとき、すなわち、動画像送信プログラム５０の送信処理に従って、動く画像部分の画像領域の画像と、その画像領域の位置情報と、動画像の撮影に用いられたカメラ姿勢情報とが送信されてくることを判断するときには、ステップ５に進んで、それらの情報を受信する。
【００７７】
続いて、ステップ６で、三次元モデルデータベース６１に格納される背景画像の三次元モデルと、その受信したカメラ姿勢情報とから、そのカメラ姿勢情報をを持つカメラ３により撮影されることになる背景画像を生成する。すなわち、カメラ３から見た背景画像をシミュレートするのである。
【００７８】
続いて、ステップ７で、受信した画像（動く画像部分の画像）を、受信した画像領域の位置情報の指定に従って、生成した背景画像に上書きする形で合成して出力装置４に出力する。
【００７９】
そして、ステップ４で、送信終了通知が送信されてきたことを判断するときには、動画像の受信処理を終了する。
【００８０】
このようにして、動画像受信プログラム２０は、図７（ａ）に示すような動く画像部分の画像が送られてくると、その画像とともに送られてくるカメラ姿勢情報と、予め送られてきている背景画像の三次元モデルとから図７（ｂ）に示すような背景画像を生成して、その画像とともに送られてくる位置情報の指定に従って、図７（ｃ）に示すように、その送られてくる画像をその生成した背景画像に上書きする形で合成して出力することで、動画像の受信を実現するのである。
【００８１】
以上に説明したことから分かるように、図９に示した本発明に関連する動画像送信装置１は、図１３に示すように、カメラ３の撮影する画像を入力する撮影画像入力手段７０と、背景画像の三次元モデルを管理する三次元モデル管理手段７１と、動画像の送信に先立って、背景画像の三次元モデルを生成して三次元モデル管理手段７１に登録する三次元モデル生成手段７２と、動画像撮影時のカメラ３の姿勢情報と、三次元モデル管理手段７１の管理する背景画像の三次元モデルとから動画像の背景画像を生成する背景画像生成手段７３と、背景画像生成手段７３の生成する背景画像とカメラ３の撮影する動画像とから動く画像部分を切り出す動き画像切出手段７４と、動画像の送信に先立って、三次元モデル管理手段７１の管理する背景画像の三次元モデルを送信するとともに、動画像の送信時に、動き画像切出手段７４の切り出す画像部分及びその位置情報と、カメラ３の姿勢情報とを本発明に関連する動画像受信装置２に送信する伝送手段７５とを備えることになる。
【００８２】
そして、図９に示した本発明に関連する動画像受信装置２は、図１３に示すように、本発明に関連する動画像送信装置１から送られてくる情報を受信する伝送手段８０と、本発明に関連する動画像送信装置１から送られてくる背景画像の三次元モデルを管理する三次元モデル管理手段８１と、本発明に関連する動画像送信装置１から送られてくる背景画像の三次元モデルを入手して三次元モデル管理手段８１に登録する三次元モデル登録手段８２と、本発明に関連する動画像送信装置１から送られてくるカメラ姿勢情報と、三次元モデル管理手段８１の管理する背景画像の三次元モデルとから動画像の背景画像を生成する背景画像生成手段８３と、本発明に関連する動画像送信装置１から送られてくる動く画像部分の画像と背景画像生成手段８３の生成する背景画像とを合成することで動画像を再生する動画像合成手段８４とを備えることになる。
【００８４】
上述したように、本発明では、動く画像部分に外接する矩形の規定する画像領域を送信対象とするという構成を採っているが、このように、動く画像部分に外接する矩形の規定する画像領域を送信対象とするという構成を採ると、動く画像部分を切り出す際に、厳密な切り出しを行う必要がないので処理量を削減できるというメリットや、離散的に存在する動く画像部分を１つにまとめた形で送信できるというメリットがある。
【００８５】
【発明の効果】
以上説明したように、本発明では、変化の少ない背景画像を持つ大容量の動画像を送信する場合に、送信対象の動画像を全部送信するのではなくて、その動画像の中に含まれる動く画像部分及びその位置情報と、その動画像の撮影に用いられたカメラ姿勢情報とを送信するだけでもって動画像を配信できるようになることから、回線容量の制限を受けることなく、動画像を高速かつ高品質に送信できるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態例である。
【図２】背景画像登録送信プログラムの実行する処理フローである。
【図３】動画像送信プログラムの実行する処理フローである。
【図４】動画像受信プログラムの実行する処理フローである。
【図５】背景画像データベースのデータ構造の説明図である。
【図６】動く画像部分の画像領域の切り出し処理の説明図である。
【図７】動画像受信プログラムの実行する動画像合成処理の説明図である。
【図８】図１に示した実施形態例の機能ブロック構成図である。
【図９】 本発明に関連する技術の装置構成図である。
【図１０】三次元モデル生成送信プログラムの実行する処理フローである。
【図１１】動画像送信プログラムの実行する処理フローである。
【図１２】動画像受信プログラムの実行する処理フローである。
【図１３】 図９に示した技術の機能ブロック構成図である。
【符号の説明】
１ 動画像送信装置
２ 動画像受信装置
３ カメラ
４ 出力装置
５ ネットワーク
１０ 動画像送信プログラム
１１ 背景画像データベース
１２ 背景画像登録送信プログラム
２０ 動画像受信プログラム
２１ 背景画像データベース
５０ 動画像送信プログラム
５１ 三次元モデルデータベース
５２ 三次元モデル生成送信プログラム
６０ 動画像受信プログラム
６１ 三次元モデルデータベース

Claims (3)

1. 背景画像とその中で動く画像部分とで構成される動画像をネットワークを介して送信する動画像送信方法であって、
   上記動画像の送信に先立ち、様々なカメラ姿勢により撮影される動く画像部分を持たない背景画像を取得して、そのときのカメラ姿勢情報と対応をとりつつ記憶装置に格納する過程と、
   上記記憶装置に格納されるカメラ姿勢情報と対応する背景画像を、上記動画像の送信に先立ち送信する過程と、
   上記動画像の送信の際に、上記記憶装置に格納される情報を参照することで、送信対象の動画像の撮影に用いられたカメラ姿勢情報の指す背景画像を取得する過程と、
   送信対象の動画像と上記取得した背景画像との差分画像から動く画像部分を抽出し、その抽出した動く画像部分に外接する矩形領域を切り出す過程と、
   上記切り出した矩形領域及びその位置情報と、送信対象の動画像の撮影に用いられたカメラ姿勢情報とを送信する過程とを備えることを、
   特徴とする動画像送信方法。
2. 背景画像とその中で動く画像部分とで構成される動画像をネットワークを介して送信する動画像送信方法の実現に用いられる動画像送信処理用プログラムであって、
   上記動画像の送信に先立ち、様々なカメラ姿勢により撮影される動く画像部分を持たない背景画像を取得して、そのときのカメラ姿勢情報と対応をとりつつ記憶装置に格納する処理と、
   上記記憶装置に格納されるカメラ姿勢情報と対応する背景画像を、上記動画像の送信に先立ち送信する処理と、
   上記動画像の送信の際に、上記記憶装置に格納される情報を参照することで、送信対象の動画像の撮影に用いられたカメラ姿勢情報の指す背景画像を取得する処理と、
   送信対象の動画像と上記取得した背景画像との差分画像から動く画像部分を抽出し、その抽出した動く画像部分に外接する矩形領域を切り出す処理と、
   上記切り出した矩形領域及びその位置情報と、送信対象の動画像の撮影に用いられたカメラ姿勢情報とを送信する処理とをコンピュータに実行させる動画像送信処理用プログラム。
3. 背景画像とその中で動く画像部分とで構成される動画像をネットワークを介して送信する動画像送信方法の実現に用いられる動画像送信処理用プログラムを記録したコンピュータ読取可能な記録媒体であって、
   上記動画像の送信に先立ち、様々なカメラ姿勢により撮影される動く画像部分を持たない背景画像を取得して、そのときのカメラ姿勢情報と対応をとりつつ記憶装置に格納する処理と、
   上記記憶装置に格納されるカメラ姿勢情報と対応する背景画像を、上記動画像の送信に先立ち送信する処理と、
   上記動画像の送信の際に、上記記憶装置に格納される情報を参照することで、送信対象の動画像の撮影に用いられたカメラ姿勢情報の指す背景画像を取得する処理と、
   送信対象の動画像と上記取得した背景画像との差分画像から動く画像部分を抽出し、その抽出した動く画像部分に外接する矩形領域を切り出す処理と、
   上記切り出した矩形領域及びその位置情報と、送信対象の動画像の撮影に用いられたカメラ姿勢情報とを送信する処理とをコンピュータに実行させる動画像送信処理用プログラムを記録したコンピュータ読取可能な記録媒体。

Images