JP3678609B2

JP3678609B2 - Drawing device

Info

Publication number: JP3678609B2
Application number: JP18099199A
Authority: JP
Inventors: 晴代大久保; 義盛中瀬; 早苗青柳; 豊白井; 直樹田中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1999-06-28
Filing date: 1999-06-28
Publication date: 2005-08-03
Anticipated expiration: 2019-06-28
Also published as: JP2001014489A

Description

【０００１】
【発明が属する技術分野】
本発明は、動画と３次元グラフィック編集分野における、カメラデータを生成し、動画を貼り付ける３次元形状データの頂点データの輝度データを変更する描画装置に関するものである。
【０００２】
【従来の技術】
近年、描画装置は、３次元グラフィックと動画とをそれぞれ単独で描画するばかりでなく、両方の素材を同時に描画することが可能になっている。
以下、図10を参照しながら、上記従来の描画装置の一例について説明する。図10は、従来の描画装置の構成図である。
【０００３】
従来の描画装置は、図10に示すように、圧縮動画データを保存する圧縮動画データ保存部１と、圧縮動画データ保存部１より圧縮動画データを取得し、このデータをデコード方式に従ってデコードし描画フレーム番号に対応する動画データを生成する動画デコード部２と、フレーム番号から動画デコード部２の出力先を切り替える第１のスイッチ３と、第１のスイッチ３から出力された動画デコード部２の動画データを記憶するテクスチャバッファ部４と、３次元グラフィックデータを保存する３ＤＣＧデータ保存部５と、後述する描画フレーム補間生成部により生成される、描画するフレームのカメラデータおよび描画フレーム番号と、３ＤＣＧデータ保存部５に記憶された３次元グラフィックデータに基づき、描画フレーム番号における３次元シーン表示データを生成する３Ｄシーンレンダリング部６と、フレーム番号に基づき、第１のスイッチ３から出力された動画デコード部２の動画データと３Ｄシーンレンダリング部６より生成された３次元シーン表示データのいずれかを出力させる第２のスイッチ１４と、第２のスイッチ１４より出力された表示データを格納するビデオメモリ部１５とを具備し、
さらに各描画フレーム番号に対応するカメラデータを生成する描画フレーム補間生成部１１０と、カメラキーフレームのデータ、および動画と３次元グラフィックの表示を切替える切替フレーム番号を保存するシナリオデータ保存部１１１とを具備している。
【０００４】
上記シナリオデータ保存部１１１には、動画を貼り付ける面にズームインし、動画と３次元グラフィックの表示を切替える前記切替フレーム番号において、動画のみの表示と切替わるシーンのシナリオが保存されている。
以上のように構成された描画装置について、以下その動作について説明する。まず、描画フレーム補間生成部１１０において、シナリオデータ保存部１１１に保存されたカメラキーフレームデータに基づいて各描画フレーム番号に対応するカメラデータが生成され、続いて動画デコード部２において、圧縮動画データ保存部１に保存された動画データがデコード方式に従ってデコードされ、描画フレーム番号に対応する動画データが生成される。
【０００５】
次に、第１のスイッチ３において、シナリオデータ保存部１１１に記憶された、前記切替フレーム番号未満の描画フレーム番号に対する画像データを出力する場合、すなわち３次元シーン表示データを表示する場合は、スイッチはテクスチャバッファ部４側に切替えられ、また、切替フレーム番号以上の描画フレーム番号に対する画像データを出力する場合、すなわち動画データを表示する場合は、ビデオメモリ部１５側に切替えられる。
【０００６】
次に、テクスチャバッファ部４において、動画デコード部２において生成された動画データが保持され、また３Ｄシーンレンダリング部６において、描画フレーム番号に対応する３次元シーン表示データが生成される。
次に、第２のスイッチ１４において、前記切替フレーム番号未満の描画フレーム番号に対する画像データを出力する場合、すなわち３次元シーン表示データを表示する場合は、スイッチは３Ｄシーンレンダリング部６側に切替えられ、また、切替フレーム番号以上のフレーム番号に対する画像データを出力する場合、すなわち動画データを表示する場合は、動画デコード部２側に切替えられ、ビデオメモリ部１５において、出力された画像データが保持される。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記の従来の構成では、予め動画との切替え遷移時のカメラデータがシナリオ固有のものであるため、任意の時刻に動画と３次元グラフィックとの切替えができない。また、３次元グラフィックで表示されるマッピングされた動画は、マッピングする３次元形状に当てられた光の影響を加味するため、動画素材と全く同じ色に描画されない。そのため、動画と３次元グラフィックとの描画の切替えがシームレスにならないという問題を有していた。
【０００８】
本発明は、このような描画装置において、動画中の任意の時刻に動画貼りつけ領域にズームイン、あるいは、ズームアウトをして３次元グラフィックと動画再生を切替え、かつ切替え時の描画データが、シームレスに再生できる描画データを生成することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の描画装置においては、動画を貼りつける３次元形状の表面の領域いっぱいを視野に持つカメラデータを含むカメラキーフレームデータと、描画フレームレートを保存するシナリオデータ保存部と、動画と３次元グラフィックの表示を切替える時刻と切替までに所要する時間とを入力し、前記シナリオデータ保存部に記録されている前記描画フレームレートから、動画と３次元グラフィックの表示を切替える時刻に対応する切替フレーム番号と切替わりの遷移開始フレーム番号を出力する切替フレーム指定部と、前記切替フレーム指定部より入力した前記切替フレーム番号と、前記シナリオデータ保存部に記録されたカメラキーフレームデータに基づき、前記切替フレーム指定部より入力した遷移開始フレーム番号におけるカメラキーフレームデータを生成する第１の遷移カメラキーフレーム算出部と、前記第１の遷移カメラキーフレーム算出部により生成された、遷移開始フレーム番号におけるカメラキーフレームデータと、前記シナリオデータ保存部に記録された、動画を貼りつける３次元形状の表面の領域いっぱいを視野に持つカメラデータを含むカメラキーフレームデータに基づき、描画するフレームにおけるカメラデータを生成する描画フレーム補間生成部と、３次元グラフィックデータを保存する３ＤＣＧデータ保存部と、圧縮動画データを保存する圧縮動画データ保存部と、前記圧縮動画データ保存部の圧縮データとフレーム番号に基づき、フレーム番号に対応する動画データを生成する動画デコード部と、フレーム番号から前記動画デコード部の出力先を切り替える第１のスイッチと、前記第１のスイッチより出力された前記動画デコード部の動画データを記憶するテクスチャバッファ部と、前記描画フレーム補間生成部により生成された、描画するフレームのカメラデータおよび描画フレーム番号と、前記３ＤＣＧデータ保存部に記憶された３次元グラフィックデータに基づき、描画フレーム番号における３次元シーン表示データを生成する３Ｄシーンレンダリング部と、フレーム番号に基づき、前記第１のスイッチより出力された前記動画デコード部の動画データと前記３Ｄシーンレンダリング部により生成された３次元シーン表示データのいずれかを出力させる第２のスイッチと、前記第２のスイッチより出力された表示データを格納するビデオメモリ部とを具備することを特徴としたものである。
【００１０】
この本発明によれば、動画中の任意の時刻に、３次元グラフィックと動画再生を切替えることが可能な描画装置が得られる。
【００１１】
【発明の実施の形態】
請求項１に記載の発明は、動画を貼りつける３次元形状の表面の領域いっぱいを視野に持つカメラデータを含むカメラキーフレームデータと、描画フレームレートを保存するシナリオデータ保存部と、動画と３次元グラフィックの表示を切替える時刻と切替までに所要する時間とを入力し、前記シナリオデータ保存部に記録されている前記描画フレームレートから、動画と３次元グラフィックの表示を切替える時刻に対応する切替フレーム番号と切替わりの遷移開始フレーム番号を出力する切替フレーム指定部と、前記切替フレーム指定部より入力した前記切替フレーム番号と、前記シナリオデータ保存部に記録されたカメラキーフレームデータに基づき、前記切替フレーム指定部より入力した遷移開始フレーム番号におけるカメラキーフレームデータを生成する第１の遷移カメラキーフレーム算出部と、前記第１の遷移カメラキーフレーム算出部により生成された、遷移開始フレーム番号におけるカメラキーフレームデータと、前記シナリオデータ保存部に記録された、動画を貼りつける３次元形状の表面の領域いっぱいを視野に持つカメラデータを含むカメラキーフレームデータに基づき、描画するフレームにおけるカメラデータを生成する描画フレーム補間生成部と、３次元グラフィックデータを保存する３ＤＣＧデータ保存部と、圧縮動画データを保存する圧縮動画データ保存部と、前記圧縮動画データ保存部の圧縮データとフレーム番号に基づき、フレーム番号に対応する動画データを生成する動画デコード部と、フレーム番号から前記動画デコード部の出力先を切り替える第１のスイッチと、前記第１のスイッチより出力された前記動画デコード部の動画データを記憶するテクスチャバッファ部と、前記描画フレーム補間生成部により生成された、描画するフレームのカメラデータおよび描画フレーム番号と、前記３ＤＣＧデータ保存部に記憶された３次元グラフィックデータに基づき、描画フレーム番号における３次元シーン表示データを生成する３Ｄシーンレンダリング部と、フレーム番号に基づき、前記第１のスイッチより出力された前記動画デコード部の動画データと前記３Ｄシーンレンダリング部により生成された３次元シーン表示データのいずれかを出力させる第２のスイッチと、前記第２のスイッチより出力された表示データを格納するビデオメモリ部とを具備することを特徴としたものであり、
３Ｄシーンに設定されたカメラデータに基づき遷移開始フレーム番号におけるカメラキーフレームデータを算出し、算出したカメラキーフレームデータと３次元グラフィックから動画へ表示を切替える切替フレーム番号における動画貼りつけ領域に視野いっぱいにズームしたカメラデータをカメラキーフレームデータの標本値に追加し、各描画フレーム番号に対応するカメラデータを算出することにより、任意に３次元グラフィックの表示と動画を切替えるフレームを設定でき、動画貼りつけ表面に次第にズームインをして動画単独の映像に切替えることができるという作用を有する。
【００１２】
また請求項２に記載の発明は、上記請求項１に記載の発明であって、３Ｄシーンレンダリング部を、描画フレーム補間生成部により生成された、描画するフレームのカメラデータおよび描画フレーム番号と、前記３ＤＣＧデータ保存部に記憶された３次元グラフィックデータに基づき、３次元形状データの頂点のカメラデータに基づき定義される平面における位置データと輝度データとテクスチャ座標とを算出するジオメトリ演算部と、前記ジオメトリ演算部により算出された遷移開始フレーム番号におけるテクスチャ貼付け対象となる頂点の輝度データと、切替フレーム指定部から入力した切替フレーム番号と遷移開始フレーム番号を保持し、遷移開始フレーム番号から切替フレーム番号の間のフレーム番号に対応する演算をする場合に、前記ジオメトリ演算部において算出された輝度データから、テクスチャ貼付け対象となる頂点の輝度データを補正する第１の頂点輝度補正部と、前記ジオメトリ演算部と前記第１の頂点輝度補正部から算出された位置データと輝度データとテクスチャ座標に基づき、テクスチャバッファ部を参照し、３次元シーン表示データを算出するピクセル演算部とから構成し、第２のスイッチは、フレーム番号に基づき、動画デコード部の動画データと前記ピクセル部より生成された３次元シーン表示データのいずれかを出力させることを特徴としたものであり、
遷移開始フレームにおける動画貼りつけ表面のポリゴンの頂点の輝度データを使用し、遷移時間区間のフレームにおける動画貼りつけ表面のポリゴンの頂点の輝度データを補正することにより、動画と３次元グラフィックの表示の切替え時に動画の色に関してスムーズに切替えることができ、動画へ表示データを切替えた時の違和感を解消できるという作用を有する。
【００１３】
また請求項３に記載の発明は、動画を貼りつける３次元形状の表面の領域いっぱいを視野に持つカメラデータを含むカメラキーフレームデータと、描画フレームレートを保存するシナリオデータ保存部と、動画と３次元グラフィックの表示を切替える時刻と切替え遷移終了までに所要する時間とを入力し、前記シナリオデータ保存部に記録されている前記描画フレームレートから、動画と３次元グラフィックの表示を切替える時刻に対応する切替フレーム番号と切替りの遷移終了フレーム番号を出力する切替フレーム指定部と、前記切替フレーム指定部より入力した前記切替フレーム番号と、前記シナリオデータ保存部に記録されたカメラキーフレームデータに基づき、切替フレーム指定部より入力した遷移終了フレーム番号におけるカメラキーフレームデータを生成する第２の遷移カメラキーフレーム算出部と、前記第２の遷移カメラキーフレーム算出部により生成された、遷移終了フレーム番号におけるカメラキーフレームデータと、前記シナリオデータ保存部に記録された、動画を貼りつける３次元形状の表面の領域いっぱいを視野に持つカメラデータを含むカメラキーフレームデータに基づき、描画するフレームにおけるカメラデータを生成する描画フレーム補間生成部と、３次元グラフィックデータを保存する３ＤＣＧデータ保存部と、圧縮動画データを保存する圧縮動画データ保存部と、前記圧縮動画データ保存部の圧縮データとフレーム番号に基づき、フレーム番号に対応する動画データを生成する動画デコード部と、フレーム番号から前記動画デコード部の出力先を切り替える第１のスイッチと、前記第１のスイッチより出力された前記動画デコード部の動画データを記憶するテクスチャバッファ部と、前記描画フレーム補間生成部により生成された、描画するフレームのカメラデータおよび描画フレーム番号と、前記３ＤＣＧデータ保存部に記憶された３次元グラフィックデータに基づき、描画フレーム番号における３次元シーン表示データを生成する３Ｄシーンレンダリング部と、フレーム番号に基づき、前記第１のスイッチより出力された動画デコード部の動画データと前記３Ｄシーンレンダリング部により生成された３次元シーン表示データのいずれかを出力させる第２のスイッチと、前記第２のスイッチより出力された表示データを格納するビデオメモリ部とを具備することを特徴としたものであり、
カメラデータに基づき遷移終了フレームにおける動画貼りつけ領域に視野いっぱいにズームしたカメラキーフレームデータを算出し、算出したカメラキーフレームデータと動画と３次元グラフィックの表示を切替える切替フレーム番号のカメラデータをカメラキーフレームデータの標本値に追加し、各描画フレーム番号に対応するカメラデータを算出することにより、任意に動画から３次元グラフィックへ表示を切替えるフレームを設定でき、動画単独の映像から動画貼りつけ表面に次第にズームアウトして切替えることができるという作用を有する。
【００１４】
また請求項４に記載の発明は、請求項３に記載の発明であって、第２の遷移カメラキーフレーム算出部により生成された、遷移終了フレーム番号におけるカメラキーフレームデータと、３ＤＣＧデータ保存部に記憶された３次元グラフィックデータに基づき、遷移終了フレーム番号における、３次元形状データの頂点の位置データとテクスチャ座標と輝度データとを算出する切替終了フレーム輝度演算部を具備し、３Ｄシーンレンダリング部を、３ＤＣＧデータ保存部に記憶された３次元グラフィックデータと描画フレーム補間生成部により生成されたカメラデータおよび描画フレーム番号に基づいて、３次元形状データの頂点のカメラデータに基づき定義される平面における位置データと輝度データとテクスチャ座標とを算出するジオメトリ演算部と、前記切替終了フレーム輝度演算部により算出された、遷移終了フレーム番号におけるテクスチャ貼付け対象となる頂点の輝度データと、切替フレーム指定部より入力した切替フレーム番号と遷移終了フレーム番号を保持し、前記切替フレーム番号から遷移終了フレーム番号の間のフレーム番号に対応する演算をする場合に、前記ジオメトリ演算部により算出された輝度データから、テクスチャ貼付け対象となる頂点の輝度データを補正する第２の頂点輝度補正部と、前記ジオメトリ演算部と前記第２の頂点輝度補正部において算出された位置データと輝度データとテクスチャ座標に基づき、テクスチャバッファ部を参照し、３次元シーン表示データを算出するピクセル演算部とから構成し、第２のスイッチは、フレーム番号に基づき、動画デコード部の動画データと前記ピクセル部より生成された３次元シーン表示データのいずれかを出力させることを特徴としたものであり、
遷移終了フレームにおける動画貼りつけ表面のポリゴンの頂点の輝度データを使用し、遷移時間区間のフレームにおける動画貼りつけ表面のポリゴンの頂点の輝度データを補正することにより、動画から３次元グラフィックへの表示切替え時に動画の色に関してスムーズに切替えることができ、３次元グラフィックへ表示データを切替えた時の違和感を解消できるという作用を有する。
【００１５】
以下、本発明の実施の形態を図面に基づいて説明する。なお、従来例の図１０の構成と同一の構成には同一の符号を付して説明を省略する。
［実施の形態１］
図１は本発明の実施の形態１における描画装置の構成図である。
本発明の描画装置は、従来の描画装置の描画フレーム補間生成部１１０に代えて、描画フレーム補間生成部１０を設け、従来の描画装置のシナリオデータ保存部１１１に代えて、シナリオデータ保存部１１を設け、さらに第１の遷移カメラキーフレーム算出部１２と、切替フレーム指定部１３を新たに設けている。
【００１６】
上記シナリオデータ保存部１１には、カメラキーフレームのデータが保存される。
また上記切替フレーム指定部１３は、動画と３次元グラフィックの表示を切替える時刻と切替までに所要する時間とを入力し、動画と３次元グラフィックの表示を切替える時刻に対応する切替フレーム番号ｆｅと切替わり遷移開始フレーム番号ｆｓを出力する。
【００１７】
上記第１の遷移カメラキーフレーム算出部１２は、切替フレーム指定部１３より切替フレーム番号ｆｅと遷移開始フレーム番号ｆｓを入力し、シナリオデータ保存部１１に記録されたカメラキーフレームデータに基づき、遷移開始フレーム番号ｆｓにおけるカメラデータを生成する。
また描画フレーム補間生成部１０は、第１の遷移カメラキーフレーム算出部１２により生成された、遷移開始フレーム番号ｆｓにおけるカメラキーフレームデータと、シナリオデータ保存部１１に記録されたカメラキーフレームデータに基づき、描画するフレームにおけるカメラデータを生成する。
【００１８】
図２は本発明の実施の形態１における描画フレーム補間生成部１０が算出するカメラデータの概念図である。
図２において、３１は動画を貼りつける表面、Ｃｋ０とＣｋ１とＣｋ２とＣｋ３とＣｋ４とＣｋｎは、シナリオデータ保存部１１に保存されており、描画対象となっている３次元シーンに設定されているカメラキーフレームデータ、Ｃｆｓは第１の遷移カメラキーフレーム算出部１２により算出された遷移開始フレーム番号ｆｓにおけるカメラデータ、Ｃｆｅは切替フレーム番号ｆｅにおけるカメラデータ、３２は描画フレーム補間生成部１０により算出されたカメラデータの位置の軌跡である。
【００１９】
図３は本発明の実施の形態１における描画装置が描画する映像のイメージ図であり、図３（ａ）は、遷移開始フレーム番号ｆｓにおける表示データ、図３（ｂ）は切替え遷移中のフレーム番号における表示データ、図３（ｃ）は動画と３次元グラフィックの表示を切替える切替フレーム番号ｆｅにおける表示データを示す。
【００２０】
以上のように構成された描画装置において、以下その動作を説明する。今、本実施の形態１の描画装置は、動画が貼り付ている面は、貼り付けている動画とアスペクト比が一致しており、矩形の４角に映像の４角が合うよう貼り付けられている映像を描画しているとする。
まず、切替フレーム指定部１３において、動画と３次元グラフィックの表示を切替える時刻と切替までに所要する時間とを対話入力する。切替フレーム指定部１３は、シナリオデータ保存部１１に記録されている描画フレームレートから、動画と３次元グラフィックの表示を切替える切替フレーム番号ｆｅと切替りの遷移を開始する遷移開始フレーム番号ｆｓを算出する。
【００２１】
次に、第１の遷移カメラキーフレーム算出部１２は、切替フレーム指定部１３より切替フレーム番号ｆｅと遷移開始フレーム番号ｆｓを入力し、遷移開始フレーム番号ｆｓよりも順に２つの小さい描画フレーム番号に割り当てられたカメラデータと、遷移開始フレーム番号ｆｓよりも順に２つの大きい描画フレーム番号に割り当てられたカメラデータとをシナリオデータ保存部１１から参照する。これらのデータを標本値として３次のスプライン関数を用いてスプライン補間を施し、補間曲線を決定し、これにより、遷移開始フレーム番号ｆｓにおけるカメラデータを算出する。たとえば図２においては、第１の遷移カメラキーフレーム算出部１２は、描画フレーム番号ｋ１のカメラデータＣｋ１と描画フレーム番号ｋ２のカメラデータＣｋ２と描画フレーム番号ｋ３のカメラデータＣｋ３と描画フレーム番号ｋ４のカメラデータＣｋ４とから、３次のスプライン関数を決定し、遷移開始フレーム番号ｆｓにおけるカメラデータを算出する。
【００２２】
次に、描画フレーム補間生成部１０において、各描画フレーム番号に対応するカメラデータを生成する。この描画フレーム補間生成部１０は、第１の遷移カメラキーフレーム算出部１２において算出された遷移開始フレーム番号ｆｓにおけるカメラデータをカメラキーフレームとして保持する。ここで、シナリオデータ保存部１１に、動画を貼りつける表面の領域いっぱいを視野に持つカメラデータが、動画を貼りつける表面の中心から相対的に表現されているとする。このカメラデータをワールド座標系で表現し、切替フレーム番号ｆｅにおけるカメラデータを求める。これら２つのデータをカメラキーフレームデータとして標本値に加え、３次のスプライン関数を用いてスプライン補間を施し、描画フレーム番号に対するカメラデータを算出する。たとえば図２においては、遷移開始フレーム番号ｆｓにおけるカメラデータＣｆｓと切替完了フレーム番号ｆｅにおけるカメラデータＣｆｅを標本値として加え、切替完了フレーム番号ｆｅまでのカメラデータを算出する。たとえば、算出されたカメラデータの位置は、３２に示すようになる。
【００２３】
次に動画デコード部２は、データを圧縮動画データ保存部１より取得し、このデータに対するデコード方式に従って、デコードし描画フレーム番号に対応する動画データを生成する。
第１のスイッチ３は、切替フレーム指定部１３において設定された切替フレーム番号ｆｅを保持しており、第１のスイッチ３において、切替フレーム番号ｆｅ未満の描画フレーム番号に対する画像データを出力する場合は、スイッチをテクスチャバッファ部４側に切替え、また、この切替フレーム番号ｆｅ以上の描画フレーム番号に対する画像データを出力する場合は、第２のスイッチ１４側（ビデオメモリ部１５側）に切替える。
【００２４】
次に、テクスチャバッファ部４において、動画デコード部２において生成された動画データを保持する。
次に、３Ｄシーンレンダリング部６において、描画フレーム番号に対応する３次元シーン表示データを生成する。
第２のスイッチ１４は、切替フレーム指定部１３において設定された切替フレーム番号ｆｅを保持しており、第２のスイッチ１４において、切替フレーム番号ｆｅ未満のフレーム番号に対する画像データを出力する場合は、スイッチを３Ｄシーンレンダリング部６側に切替え、また、切替フレーム番号ｆｅ以上のフレーム番号に対する画像データを出力する場合は、動画デコード部２側に切替える。
【００２５】
最後に、ビデオメモリ部１５は、出力された画像データを保持する。
上記の構成の描画装置を用いて描画した映像のイメージ図を図３に示す。本実施の形態の描画装置は、３次元グラフィックの表示から動画の表示に切替える際に図３（ａ）、（ｂ）、（ｃ）という遷移を経て動画領域にズームインする表示データを生成する。
【００２６】
このように、３Ｄシーンに設定されたカメラデータに基づき遷移開始フレーム番号ｆｓにおけるカメラキーフレームデータを算出し、算出したカメラキーフレームデータと３次元グラフィックから動画へ表示を切替える切替フレーム番号ｆｅにおける動画貼りつけ領域に視野いっぱいにズームしたカメラデータをカメラキーフレームデータの標本値に追加し、各描画フレーム番号に対応するカメラデータを算出することにより、外部より入力された、動画と３次元グラフィックの表示を切替える時刻と切替までに所要する時間に対応して、任意に３次元グラフィックの表示と動画を切替えるフレームを設定でき、動画貼りつけ表面に次第にズームインをして動画単独の映像に切替えることができる。
【００２７】
なお、実施の形態１では、第１の遷移カメラキーフレーム算出部１２と描画フレーム補間生成部１０は３次のスプライン補間によりカメラデータを生成したが、他の補間アルゴリズムにより算出してもよい。
［実施の形態２］
図４は本発明の実施の形態２における描画装置の構成図である。
【００２８】
実施の形態２における描画装置は、図１に示す実施の形態１において、３Ｄシーンレンダリング６を、ジオメトリ演算部７と、第１の頂点輝度補正部８と、ピクセル演算部９により構成している。
ジオメトリ演算部７は、３ＤＣＧデータ保存部５に保存された３次元グラフィックデータと、描画フレーム補間生成部１０において生成されたカメラデータおよび描画フレーム番号から、３次元形状データの頂点のカメラデータに基づき定義される平面における位置データと輝度データとテクスチャ座標とを算出する。
【００２９】
また第１の頂点輝度補正部８は、ジオメトリ演算部７において算出された切替遷移開始フレーム番号ｆｓにおけるテクスチャ貼付け対象となる頂点の輝度データと、切替フレーム指定部１３により指定された切替フレーム番号ｆｅと切替わり遷移開始フレーム番号ｆｓを保持し、切替わり遷移開始フレーム番号ｆｓから切替フレーム番号ｆｅの間のフレーム番号に対応する演算をする場合に、算出された遷移開始フレーム番号ｆｓにおける輝度データから、テクスチャ貼付け対象となる頂点の輝度データを設定する。
【００３０】
またピクセル演算部９は、ジオメトリ演算部７と第１の頂点輝度補正部８から算出された位置データと輝度データとテクスチャ座標に基づき、テクスチャバッファ部４を参照し、３次元シーン表示データを算出する。
図５は本発明の実施の形態２における動画を貼り付ける表面の頂点の概念図である。図５において、矩形領域Ｐ１、Ｐ２、Ｐ３、Ｐ４は、動画を貼り付ける表面の図であり、Ｐ１、Ｐ２、Ｐ３、Ｐ４は、それぞれ、その表面の頂点である。
【００３１】
以上のように構成された描画装置において、以下その動作を説明する。今、本実施の形態２の描画装置は、動画が貼り付ている面は、貼り付けている動画とアスペクト比が一致しており、矩形の４角であるＰ１、Ｐ２、Ｐ３、Ｐ４と映像の４角が合うよう貼り付けられている映像を描画しているとする。
ジオメトリ演算部７においては、描画フレーム番号に対応するカメラデータに基づき、３ＤＣＧデータ保存部５から読み出した３次元形状データに透視変換を施し、各ポリゴンの頂点の位置データ（スクリーン座標値）と輝度データとテクスチャ座標が出力される。たとえば、図５に示すような動画を貼り付ける表面の頂点については、表１に示すデータが算出される。
【００３２】
【表１】

第１の頂点輝度補正部８においては、まず、切替フレーム指定部１３により指定された切替完了フレーム番号ｆｅと遷移開始フレーム番号ｆｓを記憶する。次に動画を貼りつけるポリゴンの頂点の輝度データを、描画フレーム番号が、切替遷移開始フレーム番号ｆｓから切替フレーム番号ｆｅまでの間、修正をする。
【００３３】
以下、第１の頂点輝度補正部８における上記修正の方法を説明する。
まず、ジオメトリ演算部７においてある描画フレームに対しての頂点データを算出したとき、動画を貼りつける全てのポリゴンの頂点であるＰ１、Ｐ２、Ｐ３、Ｐ４（図５）に対するＩＤを保持する。
次に、ジオメトリ演算部７で算出された遷移開始フレーム番号ｆｓにおける各ポリゴン頂点のデータから、動画を貼りつけるポリゴンの頂点の輝度データを抽出する。ここでは、Ｐ１、Ｐ２、Ｐ３、Ｐ４に対する輝度データが抽出される。
【００３４】
次に、遷移開始フレーム番号ｆｓから切替完了フレーム番号ｆｅまでの間の１フレーム当たりの輝度の補正率を算出する。輝度データは、ｒ成分、ｇ成分、ｂ成分の３つの成分で与えられるが、いずれも同様に算出できるため、ここでは、頂点Ｐ１のｒ成分の輝度データの補正率を考える。ｆｓからｆｅ内の任意の描画フレーム番号をｆｔ、ｆｔにおけるポリゴン頂点Ｐ１の輝度データのｒ成分をＩｐ１ｒ（ｆｔ）とすると、輝度補正率は式（１）のように求まる。ここで輝度値Ｉｐ１ｒは正規化された値とする。
【００３５】
ΔＩｐ１ｒ＝｛１−Ｉｐ１ｒ（ｆｓ）｝／（ｆｅ−ｆｓ）…（１）
以上の方法で得られた１フレーム当たりの輝度の補正率を使い、遷移開始フレーム番号ｆｓから切替フレーム番号ｆｅまでの間、動画を貼りつけるポリゴン頂点の輝度データに対して補正をする。たとえば、図５に示すような動画を貼り付ける表面の頂点の中のＰ１の輝度のｒ成分は、式（２）のようにして求まる。
【００３６】

以上が、第１の頂点輝度補正部８における輝度修正の方法である。
ピクセル演算部９においては、描画フレーム番号における３次元形状データの頂点の位置データと輝度データとテクスチャ座標と動画を貼りつける領域の頂点の輝度の修正値を用いて３次元シーン表示データ（ピクセルデータ）を算出する。
【００３７】
動画を貼りつける領域のピクセルデータについては、ジオメトリ演算部７から出力されたテクスチャ座標に対応した頂点の輝度値をテクスチャバッファ部４から参照する。ｆｔにおけるテクスチャバッファ部４から参照したポリゴン頂点Ｐ１のテクスチャの輝度のｒ成分を、Ｉｐ１Ｔｒ（ｆｔ）とすると、ポリゴン頂点Ｐ１の表示データの輝度値のｒ成分は式（３）で決定される。ここで輝度値Ｉｐ１Ｔｒ（ｆｔ）は正規化されていない値である。
【００３８】
Ｉｐ１ｒ（ｆｔ）×Ｉｐ１Ｔｒ（ｆｔ）…（３）
式（３）で求められる輝度値とジオメトリ演算部７で算出された各ポリゴンの頂点データを補完し、表示画面の３次元シーン表示データ（ピクセルデータ）を算出する。
このように、第１の頂点輝度補正部８において遷移開始フレーム番号ｆｓにおける動画貼りつけ表面のポリゴンの頂点の輝度データを使用し、遷移時間区間のフレームにおける動画貼りつけ表面のポリゴンの頂点の輝度データを補正することにより、動画と３次元グラフィックの表示の切替え時に動画の色に関してスムーズに切替えることができ、動画へ表示データを切替えた時の違和感を解消できる。
【００３９】
なお、実施の形態２では、第１の頂点輝度補正部８は、線形に輝度データの補正率を決定したが、滑らかに輝度データが目標輝度データに変化する補正であればよい。
［実施の形態３］
図６は本発明の実施の形態３における描画装置の構成図である。
【００４０】
実施の形態３における描画装置では、実施の形態１における描画装置の構成において、切替フレーム指定部１３に代えて切替フレーム指定部１８を設け、第１の遷移カメラキーフレーム算出部１２に代えて第２の遷移カメラキーフレーム算出部２１を設けている。
上記切替フレーム指定部１８は、動画と３次元グラフィックの表示を切替える時刻と切替え遷移終了までに所要する時間とを入力し、動画と３次元グラフィックの表示を切替える時刻に対応する切替フレーム番号ｆｓと切替りの遷移終了フレーム番号ｆｅを出力する。
【００４１】
また上記第２の遷移カメラキーフレーム算出部２１は、切替フレーム指定部１８より入力した、切替フレーム番号ｆｓと、シナリオデータ保存部１１に記録されたカメラキーフレームデータに基づき、切替わりの遷移終了フレーム番号ｆｅにおけるカメラデータを生成する。
図７は本発明の実施の形態３における描画フレーム補間生成部１０が算出するカメラデータの概念図である。図７において、３１は動画を貼りつける表面、Ｃｋ０とＣｋ１とＣｋ２とＣｋ３とＣｋ４とＣｋ５とＣｋｎは、シナリオデータ保存部１１に保存されており、描画対象となっている３Ｄシーンに設定されているカメラキーフレームデータ、Ｃｆｅは第２の遷移カメラキーフレーム算出部２１から算出された遷移終了フレーム番号ｆｅにおけるカメラデータ、Ｃｆｓは切替フレーム番号ｆｓにおけるカメラデータ、３３は描画フレーム補間生成部１０により算出されたカメラデータの位置の軌跡である。
【００４２】
図８は本発明の実施の形態３における描画装置が描画する映像のイメージ図である。図８（ａ）は動画と３次元グラフィックの表示を切替える切替フレーム番号ｆｓにおける表示データ、図８（ｂ）は切替え遷移中のフレーム番号における表示データ、図８（ｃ）は遷移終了フレーム番号ｆｅにおける表示データである。
【００４３】
以上のように構成された描画装置において、以下その動作を説明する。今、本実施の形態３の描画装置は、動画が貼り付ている面は、貼り付けている動画とアスペクト比が一致しており、矩形の４角に映像の４角が合うよう貼り付けられている映像を描画とする。
まず、切替フレーム指定部１８において、動画と３次元グラフィックの表示を切替える時刻と切替遷移終了までに所要する時間とを対話入力する。切替フレーム指定部１８は、シナリオデータ保存部１１に記録されている描画フレームレートから、動画と３次元グラフィックの表示を切替える切替フレーム番号ｆｓと切替りの遷移を終了する遷移終了フレーム番号ｆｅを算出する。
【００４４】
次に、第２の遷移カメラキーフレーム算出部２１は、遷移終了フレーム番号ｆｅよりも順に２つの小さいフレーム番号に割り当てられたカメラデータと、遷移終了フレーム番号ｆｅよりも順に２つの大きいフレーム番号に割り当てられたカメラデータとをシナリオデータ保存部１１から参照する。これらのデータを標本値として３次のスプライン関数を用いてスプライン補間を施し、補間曲線を決定し、これにより、遷移終了フレーム番号ｆｅにおけるカメラデータを算出する。たとえば図７においては、第２の遷移カメラキーフレーム算出部２１は、フレーム番号ｋ２のカメラデータＣｋ２とフレーム番号ｋ３のカメラデータＣｋ３とフレーム番号ｋ４のカメラデータＣｋ４とフレーム番号ｋ５のカメラデータＣｋ５とから、３次のスプライン関数を決定し、遷移終了フレーム番号ｆｅにおけるカメラデータを算出する。
【００４５】
次に、描画フレーム補間生成部１０において、各描画フレーム番号に対応するカメラデータを生成する。この描画フレーム補間生成部１０は、第２の遷移カメラキーフレーム算出部２１において算出された遷移終了フレーム番号ｆｅにおけるカメラデータをカメラキーフレームとして保持する。ここで、シナリオデータ保存部１１に動画を貼りつける表面の領域いっぱいを視野に持つカメラデータが、動画を貼りつける表面の中心から相対的に表現されて保存されているとする。このカメラデータをワールド座標系で表現し、動画と３次元グラフィックの表示を切替える切替フレーム番号ｆｓにおけるカメラデータを求める。これら２つのデータをカメラキーフレームデータとして標本値に加え、３次のスプライン関数を用いてスプライン補間を施し、描画フレーム番号に対するカメラデータを算出する。たとえば図７においては、動画と３次元グラフィックの表示を切り替える切替フレーム番号ｆｓにおけるカメラデータＣｆｓと遷移終了フレームｆｅにおけるカメラデータＣｆｅを標本値として加え、遷移終了フレームｆｅまでのカメラデータを算出する。たとえば、算出されたカメラデータの位置は、３３に示すようになる。
【００４６】
次に動画デコード部２は、描画フレーム番号に対応する動画データを圧縮動画データ保存部１より取得し、このデータをデコード方式に従って、デコードし動画データを生成する。
第１のスイッチ３は、切替フレーム指定部１８において設定された切替フレーム番号ｆｓを保持しており、第１のスイッチ３において、切替フレーム番号ｆｓ未満の描画フレーム番号に対する画像データを出力する場合は、スイッチをビデオメモリ部１５側に切替え、また、このフレーム番号ｆｓ以上の描画フレーム番号に対する画像データを出力する場合は、テクスチャバッファ部４側に切替える。
【００４７】
次に、テクスチャバッファ部４において、動画デコード部２において生成された動画データを保持する。
次に、３Ｄシーンレンダリング部６において、描画フレーム番号に対応する３Ｄシーンの画像データを生成する。
第２のスイッチ１４は、切替フレーム指定部１８において設定された切替フレーム番号ｆｓを保持しており、第２のスイッチ１４において、切替フレーム番号ｆｓ未満のフレーム番号に対する画像データを出力する場合は、スイッチを第１のスイッチ３側（動画デコード部２側）に切替え、また、このフレーム番号ｆｓ以上のフレーム番号に対する画像データを出力する場合は、３Ｄシーンレンダリング部６側に切替える。
【００４８】
最後に、ビデオメモリ部１５は、出力された画像データを保持する。
上記の構成の描画装置を用いて描画した映像のイメージ図を図８に示す。本実施の形態の描画装置は、動画の表示から３次元グラフィックの表示に切替える際に図８（ａ）、（ｂ）、（ｃ）という遷移を経て動画領域をズームアウトする表示データを生成する。
【００４９】
このように、第２の遷移カメラキーフレーム算出部２１において遷移終了フレーム番号ｆｅにおけるカメラデータを算出し、算出したカメラキーフレームデータ、および動画と３次元グラフィックの表示を切替える切替フレーム番号ｆｓのカメラデータをカメラキーフレームデータの標本値に追加し、各描画フレーム番号に対応するカメラデータを算出することにより、外部より入力された動画と３次元グラフィックの表示を切替える時刻と切替までに所要する時間に対応して任意に動画から３次元グラフィックへ表示を切替えるフレームが設定でき、動画単独の映像から動画貼りつけ表面に次第にズームアウトして切替えることができる。
【００５０】
なお、実施の形態３では、第２の遷移カメラキーフレーム算出部２１と描画フレーム補間生成部１０は３次のスプライン補間によりカメラデータを生成したが、他の補間アルゴリズムにより算出してもよい。
［実施の形態４］
図９は本発明の実施の形態４における描画装置の構成図である。
【００５１】
実施の形態４における描画装置は、図６に示す実施の形態３において、切替終了フレーム輝度演算部２０を付加し、３Ｄシーンレンダリング部６を、ジオメトリ演算部７と、第２の頂点輝度補正部２２と、ピクセル演算部９により構成している。
切替終了フレーム輝度演算部２０は、第２の遷移カメラキーフレーム算出部２１において生成された遷移終了フレーム番号ｆｅにおけるカメラデータと、３ＤＣＧデータ保存部５に保持された３次元形状データに基づき、遷移終了フレーム番号ｆｅにおける、３次元形状データの頂点の位置データとテクスチャ座標と輝度データとを算出する。
【００５２】
また第２の頂点輝度補正部２２は、切替終了フレーム輝度演算部２０により算出された遷移終了フレーム番号ｆｅにおけるテクスチャ貼付け対象となる頂点の輝度データと、切替フレーム指定部１８により指定された切替フレーム番号ｆｓと遷移終了フレーム番号ｆｅを保持し、切替フレーム番号ｆｓから遷移終了フレーム番号ｆｅの間のフレーム番号に対応する演算をする場合に、算出された遷移終了フレーム番号ｆｔにおける輝度データから、テクスチャ貼付け対象となる頂点の輝度データを補正する。
【００５３】
なお、ジオメトリ演算部７とピクセル演算部９は、図４に示す実施の形態２のジオメトリ演算部７とピクセル演算部９と同一である。
以上のように構成された描画装置において、以下その動作を説明する。今、本実施の形態４の描画装置は、動画が貼り付ている面は、貼り付けている動画とアスペクト比が一致しており、図５に示す矩形の４角であるＰ１、Ｐ２、Ｐ３、Ｐ４と映像の４角が合うよう貼り付けられている映像を描画している。
【００５４】
切替終了フレーム輝度演算部２０において、第２の遷移カメラキーフレーム算出部２１で算出された遷移終了フレーム番号ｆｅのカメラデータと３ＤＣＧデータ保存部５から読み出した形状データから、各ポリゴンの頂点データを算出し、動画を貼り付ける全てのポリゴンの頂点のＩＤとその頂点に対する輝度データを抽出し、第２の頂点輝度補正部２２が、これらのデータを保持する。このデータは、切替フレーム指定部１８において動画と３次元グラフィックの表示を切替える時刻と切替遷移終了までに所要する時間が入力されたときに、算出される。
【００５５】
ジオメトリ演算部７においては、描画フレーム番号に対応するカメラデータに基づき、３ＤＣＧデータ保存部５から読み出した３次元形状データに透視変換を施し、各ポリゴンの頂点の位置データ（スクリーン座標値）と輝度データとテクスチャ座標が出力される。たとえば、図５に示すような動画を貼り付ける表面の頂点については、表２に示すデータが算出される。
【００５６】
【表２】

第２の頂点輝度補正部２２においては、まず、切替フレーム指定部１８から入力した切替フレーム番号ｆｓと遷移終了フレーム番号ｆｅと、切替え終了フレーム輝度演算部２０からの出力である、動画を貼りつける全てのポリゴンの頂点ＩＤとその頂点の輝度データを記憶する。次に、動画を貼りつけるポリゴンの頂点の輝度データを、描画フレーム番号が、切替フレーム番号ｆｓから切替遷移終了フレーム番号ｆｅまでの間、修正をする。
【００５７】
以下、第２の頂点輝度補正部２２における上記修正の方法を説明する。
まず、フレーム番号ｆｓからｆｅまでの間の１フレーム当たりの輝度の補正率を算出する。輝度データは、ｒ成分、ｇ成分、ｂ成分の３つの成分で与えられるが、いずれも同様に算出できるため、ここでは、頂点Ｐ１のｒ成分の輝度データの補正率を考える。ｆｓからｆｅ内の任意の描画フレーム番号を描画フレーム番号をｆｔ、ｆｔにおけるポリゴン頂点Ｐ１の輝度データのｒ成分をＩｐ１ｒ（ｆｔ）とすると、輝度補正率は式（４）のように求まる。
【００５８】
ΔＩｐ１ｒ＝｛１−Ｉｐ１ｒ（ｆｅ）｝／（ｆｅ−ｆｓ）…（４）
以上の方法で得られた１フレーム当たりの輝度の補正率を使い、切替フレーム番号ｆｓから遷移終了フレーム番号ｆｅまでの間、動画を貼りつけるポリゴン頂点の輝度データに対して補正をする。たとえば、図５に示すような動画を貼り付ける表面の頂点の中のＰ１の輝度のｒ成分は、式（５）のようにして求まる。
【００５９】

以上が、第２の頂点輝度補正部２２における輝度修正の方法である。
ピクセル演算部９においては、描画フレーム番号における３次元形状データの頂点の位置データと輝度データとテクスチャ座標と動画を貼りつける領域の頂点の輝度の修正値を用いて３次元シーン表示データ（ピクセルデータ）を算出する。
【００６０】
動画を貼りつける領域のピクセルデータについては、ジオメトリ演算部７から出力されたテクスチャ座標に対応した頂点の輝度値をテクスチャバッファ部４から参照する。ｆｔにおけるテクスチャバッファ部４から参照したポリゴン頂点Ｐ１のテクスチャの輝度のｒ成分を、Ｉｐ１Ｔｒ（ｆｔ）とすると、ポリゴン頂点Ｐ１の表示データの輝度値のｒ成分は式（６）で決定される。ここで輝度値Ｉｐ１Ｔｒ（ｆｔ）は正規化されていない値である。
【００６１】
Ｉｐ１ｒ（ｆｔ）×Ｉｐ１Ｔｒ（ｆｔ）…（６）
式（６）で求められる輝度値とジオメトリ演算部７で算出された各ポリゴンの頂点データを補完し、表示画面の３次元シーン表示データ（ピクセルデータ）を算出する。
このように、遷移終了フレーム番号ｆｅにおける動画貼りつけ表面のポリゴンの頂点の輝度データを使用し、遷移時間区間のフレームにおける動画貼りつけ表面のポリゴンの頂点の輝度データを補正することにより、動画から３次元グラフィックへの表示切替え時に動画の色に関してスムーズに切替えることができ、３次元グラフィックへ表示データを切替えた時の違和感を解消できる。
【００６２】
なお、実施の形態４では、第２の頂点輝度補正部２２は、線形に輝度データの補正率を決定したが、輝度データが滑らかに目標輝度データに変化する補正であればよい。
【００６３】
【発明の効果】
以上のように本発明によれば、動画中の任意の時刻に、動画貼りつけ領域にズームイン、あるいはズームアウトをして３次元グラフィックと動画再生を切替えることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における描画装置の構成図である。
【図２】同描画装置の描画フレーム補間生成部が算出するカメラデータの概念図である。
【図３】同描画装置が描画する映像のイメージ図である。
【図４】本発明の実施の形態２における描画装置の構成図である。
【図５】同描画装置における動画を貼りつける表面の図である。
【図６】本発明の実施の形態３における描画装置の構成図である。
【図７】同描画装置の描画フレーム補間生成部が算出するカメラデータの概念図である。
【図８】同描画装置が描画する映像のイメージ図である。
【図９】本発明の実施の形態４における描画装置の構成図である。
【図１０】従来の描画装置の構成図である。
【符号の説明】
１圧縮動画データ保存部
２動画デコード部
３第１のスイッチ
４テクスチャバッファ部
５３ＤＣＧデータ保存部
６３Ｄシーンレンダリング部
７ジオメトリ演算部
８第１の頂点輝度補正部
９ピクセル演算部
１０描画フレーム補間生成部
１１シナリオデータ保存部
１２第１の遷移カメラキーフレーム算出部
１３切替フレーム指定部
１４第２のスイッチ
１５ビデオメモリ部
１８切替フレーム指定部
２０切替終了フレーム輝度演算部
２１第２の遷移カメラキーフレーム算出部
２２第２の頂点輝度補正部
３１動画を貼りつける表面
３２描画フレーム補間生成部１０により算出されたカメラデータの位置の軌跡（動画貼りつけ領域にズームインする場合）
３３描画フレーム補間生成部１０により算出されたカメラデータの位置の軌跡（動画貼りつけ領域にズームアウトする場合）[0001]
[Technical field to which the invention belongs]
The present invention relates to a drawing apparatus for generating camera data and changing luminance data of vertex data of three-dimensional shape data to which a moving image is pasted in the field of moving image and three-dimensional graphic editing.
[0002]
[Prior art]
In recent years, a drawing apparatus can draw not only three-dimensional graphics and moving images independently, but also draw both materials at the same time.
Hereinafter, an example of the conventional drawing apparatus will be described with reference to FIG. FIG. 10 is a configuration diagram of a conventional drawing apparatus.
[0003]
As shown in FIG. 10, the conventional drawing apparatus obtains compressed moving image data from the compressed moving image data storage unit 1 for storing the compressed moving image data and the compressed moving image data storage unit 1, and decodes and draws the data according to the decoding method. The video decoding unit 2 that generates video data corresponding to the frame number, the first switch 3 that switches the output destination of the video decoding unit 2 from the frame number, and the video of the video decoding unit 2 that is output from the first switch 3 A texture buffer unit 4 for storing data, a 3DCG data storage unit 5 for storing 3D graphic data, a camera data and a drawing frame number of a drawing frame, and 3DCG data generated by a drawing frame interpolation generation unit to be described later Based on the 3D graphic data stored in the storage unit 5, the drawing frame number 3D scene rendering unit 6 for generating three-dimensional scene display data, moving image data of moving image decoding unit 2 output from first switch 3 based on the frame number, and three-dimensional scene display data generated by 3D scene rendering unit 6 A second switch 14 that outputs any one of the above, and a video memory unit 15 that stores display data output from the second switch 14.
Furthermore, a drawing frame interpolation generation unit 110 that generates camera data corresponding to each drawing frame number, and a scenario data storage unit 111 that stores camera key frame data and a switching frame number for switching between moving image display and 3D graphic display. It has.
[0004]
In the scenario data storage unit 111, a scenario of a scene that is switched to display of only a moving image is stored in the switching frame number that zooms in on the surface to which the moving image is pasted and switches between the display of the moving image and the three-dimensional graphic.
The operation of the drawing apparatus configured as described above will be described below. First, the drawing frame interpolation generation unit 110 generates camera data corresponding to each drawing frame number based on the camera key frame data stored in the scenario data storage unit 111, and then the compressed video data The moving image data stored in the storage unit 1 is decoded according to the decoding method, and moving image data corresponding to the drawing frame number is generated.
[0005]
Next, in the first switch 3, when outputting image data for a drawing frame number less than the switching frame number stored in the scenario data storage unit 111, that is, when displaying 3D scene display data, the switch Is switched to the texture buffer unit 4 side, and when the image data corresponding to the drawing frame number equal to or higher than the switching frame number is output, that is, when moving image data is displayed, the switching is performed to the video memory unit 15 side.
[0006]
Next, the moving image data generated in the moving image decoding unit 2 is held in the texture buffer unit 4, and the 3D scene display data corresponding to the drawing frame number is generated in the 3D scene rendering unit 6.
Next, when the second switch 14 outputs image data for a drawing frame number less than the switching frame number, that is, when displaying 3D scene display data, the switch is switched to the 3D scene rendering unit 6 side. In addition, when outputting image data for a frame number equal to or greater than the switching frame number, that is, when displaying moving image data, the image data is switched to the moving image decoding unit 2 and the output image data is held in the video memory unit 15. The
[0007]
[Problems to be solved by the invention]
However, in the above-described conventional configuration, since the camera data at the time of transition switching to the moving image is specific to the scenario, switching between the moving image and the three-dimensional graphic cannot be performed at an arbitrary time. In addition, the mapped moving image displayed as a three-dimensional graphic is not drawn in the same color as the moving image material because of the influence of light applied to the three-dimensional shape to be mapped. For this reason, there has been a problem that the switching of drawing between a moving image and a three-dimensional graphic is not seamless.
[0008]
According to the present invention, in such a drawing apparatus, the moving image pasting area is zoomed in or out at any time in the moving image to switch between the three-dimensional graphic and the moving image reproduction, and the drawing data at the time of switching is seamless. An object of the present invention is to generate drawing data that can be reproduced easily.
[0009]
[Means for Solving the Problems]
In the drawing apparatus of the present invention, Camera key frame data including camera data with the entire field of view of the 3D-shaped surface to which the video is pasted, a scenario data storage unit that saves the drawing frame rate, and a time and switching that switches between video and 3D graphic display And the transition start frame number corresponding to the time for switching the display of the moving image and the 3D graphic from the drawing frame rate recorded in the scenario data storage unit. Switching frame designating section for outputting Based on the switching frame number input from the switching frame specification unit and the camera key frame data recorded in the scenario data storage unit, the camera key frame data at the transition start frame number input from the switching frame specification unit is generated. Camera key frame data at the transition start frame number generated by the first transition camera key frame calculation unit and the first transition camera key frame calculation unit, and recorded in the scenario data storage unit , Camera key frame data including camera data with a view of the entire surface area of the 3D shape to which the movie is pasted A drawing frame interpolation generation unit that generates camera data in a frame to be drawn, a 3DCG data storage unit that stores 3D graphic data, a compressed video data storage unit that stores compressed video data, and the compressed video data storage A video decoding unit that generates video data corresponding to the frame number, a first switch that switches an output destination of the video decoding unit based on the frame number, and an output from the first switch The texture buffer unit for storing the moving image data of the moving image decoding unit, the camera data and the drawing frame number of the frame to be drawn generated by the drawing frame interpolation generation unit, and the 3 stored in the 3DCG data storage unit Based on the dimensional graphic data, the drawing frame number A 3D scene rendering unit for generating 3D scene display data, a moving image data of the moving image decoding unit output from the first switch based on a frame number, and a 3D scene display generated by the 3D scene rendering unit A second switch for outputting any of the data, and a video memory unit for storing display data output from the second switch are provided.
[0010]
According to the present invention, it is possible to obtain a drawing apparatus capable of switching between three-dimensional graphics and moving image reproduction at an arbitrary time in a moving image.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
The invention described in claim 1 Camera key frame data including camera data with the entire field of view of the 3D-shaped surface to which the video is pasted, a scenario data storage unit that saves the drawing frame rate, and a time and switching that switches between video and 3D graphic display And the transition start frame number corresponding to the time for switching the display of the moving image and the 3D graphic from the drawing frame rate recorded in the scenario data storage unit. Switching frame designating section for outputting Based on the switching frame number input from the switching frame specification unit and the camera key frame data recorded in the scenario data storage unit, the camera key frame data at the transition start frame number input from the switching frame specification unit is generated. Camera key frame data at the transition start frame number generated by the first transition camera key frame calculation unit and the first transition camera key frame calculation unit, and recorded in the scenario data storage unit , Camera key frame data including camera data with a view of the entire surface area of the 3D shape to which the movie is pasted A drawing frame interpolation generation unit that generates camera data in a frame to be drawn, a 3DCG data storage unit that stores 3D graphic data, a compressed video data storage unit that stores compressed video data, and the compressed video data storage A video decoding unit that generates video data corresponding to the frame number, a first switch that switches an output destination of the video decoding unit based on the frame number, and an output from the first switch The texture buffer unit for storing the moving image data of the moving image decoding unit, the camera data and the drawing frame number of the frame to be drawn generated by the drawing frame interpolation generation unit, and the 3 stored in the 3DCG data storage unit Based on the dimensional graphic data, the drawing frame number A 3D scene rendering unit for generating 3D scene display data, a moving image data of the moving image decoding unit output from the first switch based on a frame number, and a 3D scene display generated by the 3D scene rendering unit A second switch for outputting any of the data, and a video memory unit for storing display data output from the second switch,
The camera key frame data at the transition start frame number is calculated based on the camera data set in the 3D scene, and the visual field is full in the moving image pasting area at the switching frame number for switching the display from the calculated camera key frame data and the 3D graphic to the moving image. By adding the camera data zoomed in to the sample value of the camera key frame data and calculating the camera data corresponding to each drawing frame number, it is possible to set the frame to switch between the display of 3D graphics and video, and paste the video It has the effect of gradually zooming in on the attachment surface and switching to a moving image alone.
[0012]
The invention according to claim 2 is the invention according to claim 1, wherein the 3D scene rendering unit is generated by the drawing frame interpolation generation unit, the camera data and the drawing frame number of the frame to be drawn, A geometry calculation unit that calculates position data, luminance data, and texture coordinates in a plane defined based on camera data at the apex of the three-dimensional shape data based on the three-dimensional graphic data stored in the 3DCG data storage unit; Holds the luminance data of vertices to be texture pasted in the transition start frame number calculated by the geometry calculation unit, the switching frame number and the transition start frame number input from the switching frame designation unit, and from the transition start frame number to the switching frame number When performing calculations corresponding to frame numbers between From the luminance data calculated in the geometry calculation unit, calculated from the first vertex luminance correction unit for correcting the luminance data of the vertex to be texture pasted, the geometry calculation unit and the first vertex luminance correction unit Based on the position data, the luminance data, and the texture coordinates, the texture buffer unit is referred to, and the pixel calculation unit is configured to calculate the three-dimensional scene display data. The second switch is based on the frame number. Either data or 3D scene display data generated from the pixel portion is output,
By using the luminance data of the vertex of the polygon on the animation pasting surface in the transition start frame and correcting the luminance data of the vertex of the polygon on the animation pasting surface in the frame of the transition time interval, the display of the animation and the 3D graphic is performed. The color of the moving image can be switched smoothly at the time of switching, and there is an effect that the uncomfortable feeling when the display data is switched to the moving image can be eliminated.
[0013]
The invention according to claim 3 Camera key frame data including camera data with the entire field of view of the 3D-shaped surface to which the video is pasted, a scenario data storage unit that saves the drawing frame rate, and a time that switches between video and 3D graphic display switching Input the time required until the end of the transition, and from the drawing frame rate recorded in the scenario data storage unit, the switching frame number corresponding to the time for switching the display of the moving image and the three-dimensional graphic and the end of the transition transition A switching frame designation unit for outputting a frame number; Based on the switching frame number input from the switching frame specification unit and the camera key frame data recorded in the scenario data storage unit, the camera key frame data at the transition end frame number input from the switching frame specification unit is generated. 2 transition camera key frame calculation unit and camera key frame data at the transition end frame number generated by the second transition camera key frame calculation unit, and recorded in the scenario data storage unit , Camera key frame data including camera data with a view of the entire surface area of the 3D shape to which the movie is pasted A drawing frame interpolation generation unit that generates camera data in a frame to be drawn, a 3DCG data storage unit that stores 3D graphic data, a compressed video data storage unit that stores compressed video data, and the compressed video data storage A video decoding unit that generates video data corresponding to the frame number, a first switch that switches an output destination of the video decoding unit based on the frame number, and an output from the first switch The texture buffer unit for storing the moving image data of the moving image decoding unit, the camera data and the drawing frame number of the frame to be drawn generated by the drawing frame interpolation generation unit, and the 3 stored in the 3DCG data storage unit Based on the dimensional graphic data, the drawing frame number A 3D scene rendering unit that generates 3D scene display data, a video data of a video decoding unit output from the first switch based on a frame number, and a 3D scene display data generated by the 3D scene rendering unit A second switch that outputs any one of the above, and a video memory unit that stores display data output from the second switch,
Based on the camera data, the camera key frame data zoomed to the full field of view in the moving image pasting area in the transition end frame is calculated, and the camera data of the switching frame number for switching the calculated camera key frame data, moving image, and 3D graphic display to the camera By adding to the sample value of the key frame data and calculating the camera data corresponding to each drawing frame number, it is possible to set a frame to switch the display from a moving image to a 3D graphic arbitrarily. The zoom lens can be gradually zoomed out and switched.
[0014]
The invention according to claim 4 is the invention according to claim 3, wherein the camera key frame data at the transition end frame number generated by the second transition camera key frame calculation unit and the 3DCG data storage unit A 3D scene rendering unit comprising a switching end frame luminance calculation unit that calculates position data, texture coordinates, and luminance data of the vertexes of the three-dimensional shape data in the transition end frame number based on the three-dimensional graphic data stored in On the plane defined based on the camera data at the vertex of the three-dimensional shape data based on the three-dimensional graphic data stored in the 3DCG data storage unit, the camera data generated by the drawing frame interpolation generation unit, and the drawing frame number Geometries that calculate position data, brightness data, and texture coordinates The calculation unit, the luminance data of the vertex to be texture pasted in the transition end frame number calculated by the switching end frame luminance calculation unit, the switching frame number and the transition end frame number input from the switching frame designation unit are held. Second, correcting the luminance data of the vertex to be texture pasted from the luminance data calculated by the geometry calculation unit when performing an operation corresponding to a frame number between the switching frame number and the transition end frame number 3D scene display data is calculated by referring to the texture buffer unit based on the position data, luminance data, and texture coordinates calculated by the vertex luminance correction unit, the geometry calculation unit, and the second vertex luminance correction unit. The second switch is based on the frame number. Can, which was characterized in that output one of the three-dimensional scene display data generated from the moving image data and the pixel portion of the video decoding unit,
Display from animation to 3D graphics by using the luminance data of the vertex of the polygon on the animation pasting surface in the transition end frame and correcting the luminance data of the vertex of the polygon on the animation pasting surface in the frame of the transition time section The color of the moving image can be smoothly switched at the time of switching, and there is an effect that the uncomfortable feeling when the display data is switched to the three-dimensional graphic can be eliminated.
[0015]
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the structure same as the structure of FIG. 10 of a prior art example, and description is abbreviate | omitted.
[Embodiment 1]
FIG. 1 is a configuration diagram of a drawing apparatus according to Embodiment 1 of the present invention.
The drawing apparatus of the present invention is a drawing frame of a conventional drawing apparatus. interpolation A drawing frame instead of the generation unit 110 interpolation A generation unit 10 is provided, a scenario data storage unit 11 is provided instead of the scenario data storage unit 111 of the conventional drawing apparatus, and a first transition camera key frame calculation unit 12 and a switching frame designation unit 13 are newly provided. ing.
[0016]
The scenario data storage unit 11 stores camera key frame data.
The switching frame designating unit 13 inputs the time for switching between the moving image and the display of the three-dimensional graphic and the time required for switching, and switches the switching frame number fe corresponding to the time for switching the moving image and the display of the three-dimensional graphic. Instead, the transition start frame number fs is output.
[0017]
The first transition camera key frame calculation unit 12 receives the switching frame number fe and the transition start frame number fs from the switching frame designation unit 13, and changes based on the camera key frame data recorded in the scenario data storage unit 11. Camera data at the start frame number fs is generated.
Further, the drawing frame interpolation generation unit 10 adds the camera key frame data at the transition start frame number fs generated by the first transition camera key frame calculation unit 12 and the camera key frame data recorded in the scenario data storage unit 11. Based on this, camera data in a frame to be drawn is generated.
[0018]
FIG. 2 is a conceptual diagram of camera data calculated by the drawing frame interpolation generation unit 10 according to Embodiment 1 of the present invention.
In FIG. 2, 31 is a surface on which a moving image is pasted, and Ck0, Ck1, Ck2, Ck3, Ck4, and Ckn are stored in the scenario data storage unit 11, and are set as a 3D scene to be rendered. The camera key frame data, Cfs is the camera data at the transition start frame number fs calculated by the first transition camera key frame calculation unit 12, Cfe is the camera data at the switching frame number fe, and 32 is calculated by the drawing frame interpolation generation unit 10. This is a locus of the position of the captured camera data.
[0019]
3 is an image diagram of a video drawn by the drawing apparatus according to Embodiment 1 of the present invention. FIG. 3A shows display data at the transition start frame number fs, and FIG. 3B shows a frame number during switching transition. FIG. 3C shows display data at a switching frame number fe for switching between moving image display and three-dimensional graphic display.
[0020]
The operation of the drawing apparatus configured as described above will be described below. Now, in the drawing apparatus according to the first embodiment, the surface on which the moving image is pasted has the same aspect ratio as the pasted moving image, and is pasted so that the four corners of the video match the four corners of the rectangle. Suppose you are drawing a video.
First, the switching frame designation unit 13 interactively inputs the time for switching between the display of the moving image and the three-dimensional graphic and the time required for switching. The switching frame designating unit 13 calculates a switching frame number fe for switching the display of the moving image and the three-dimensional graphic and a transition start frame number fs for starting the switching transition from the drawing frame rate recorded in the scenario data storage unit 11. To do.
[0021]
Next, the first transition camera key frame calculation unit 12 inputs the switching frame number fe and the transition start frame number fs from the switching frame designating unit 13, and sequentially sets the drawing frame numbers to two smaller than the transition start frame number fs. The scenario data storage unit 11 refers to the assigned camera data and the camera data assigned to two drawing frame numbers that are larger than the transition start frame number fs in order. These data are used as sample values to perform spline interpolation using a cubic spline function to determine an interpolation curve, thereby calculating camera data at the transition start frame number fs. For example, in FIG. 2, the first transition camera key frame calculation unit 12 includes the camera data Ck1 of the drawing frame number k1, the camera data Ck2 of the drawing frame number k2, the camera data Ck3 of the drawing frame number k3, and the drawing frame number k4. A cubic spline function is determined from the camera data Ck4, and camera data at the transition start frame number fs is calculated.
[0022]
Next, the drawing frame interpolation generation unit 10 generates camera data corresponding to each drawing frame number. The drawing frame interpolation generation unit 10 holds the camera data at the transition start frame number fs calculated by the first transition camera key frame calculation unit 12 as a camera key frame. Here, it is assumed that the camera data having the entire area of the surface on which the moving image is pasted in the scenario data storage unit 11 is expressed relatively from the center of the surface on which the moving image is pasted. This camera data is expressed in the world coordinate system, and the camera data at the switching frame number fe is obtained. These two data are added to the sample values as camera key frame data, and spline interpolation is performed using a cubic spline function to calculate camera data for the drawing frame number. For example, in FIG. 2, the camera data Cfs at the transition start frame number fs and the camera data Cfe at the switching completion frame number fe are added as sample values to calculate the camera data up to the switching completion frame number fe. For example, the calculated position of the camera data is as shown at 32.
[0023]
Next, the moving picture decoding unit 2 acquires the data from the compressed moving picture data storage unit 1, decodes the data according to the decoding method for the data, and generates moving picture data corresponding to the drawing frame number.
The first switch 3 holds the switching frame number fe set in the switching frame designating unit 13, and when the first switch 3 outputs image data for a drawing frame number less than the switching frame number fe. When the switch is switched to the texture buffer unit 4 side and the image data corresponding to the drawing frame number equal to or higher than the switching frame number fe is output, the switch is switched to the second switch 14 side (video memory unit 15 side).
[0024]
Next, the texture buffer unit 4 holds the moving image data generated by the moving image decoding unit 2.
Next, the 3D scene rendering unit 6 generates 3D scene display data corresponding to the drawing frame number.
The second switch 14 holds the switching frame number fe set in the switching frame designating unit 13, and when the second switch 14 outputs image data for a frame number less than the switching frame number fe, When the switch is switched to the 3D scene rendering unit 6 side, and image data for a frame number equal to or greater than the switching frame number fe is output, the switch is switched to the moving image decoding unit 2 side.
[0025]
Finally, the video memory unit 15 holds the output image data.
FIG. 3 shows an image diagram of an image drawn using the drawing apparatus having the above configuration. The drawing apparatus according to the present embodiment generates display data that zooms in on the moving image region through the transitions shown in FIGS. 3A, 3B, and 3C when switching from 3D graphic display to moving image display.
[0026]
As described above, the camera key frame data at the transition start frame number fs is calculated based on the camera data set in the 3D scene, and the calculated camera key frame data and the moving image at the switching frame number fe for switching the display from the three-dimensional graphic to the moving image. The camera data zoomed to the past field in the pasting area is added to the sample value of the camera key frame data, and the camera data corresponding to each drawing frame number is calculated. Depending on the time to switch the display and the time required to switch, it is possible to arbitrarily set the frame to switch between the display of 3D graphics and the movie, and gradually zoom in on the movie pasting surface to switch to the movie alone video. it can.
[0027]
In the first embodiment, the first transition camera key frame calculation unit 12 and the drawing frame interpolation generation unit 10 generate camera data by cubic spline interpolation, but they may be calculated by other interpolation algorithms.
[Embodiment 2]
FIG. 4 is a configuration diagram of a drawing apparatus according to Embodiment 2 of the present invention.
[0028]
In the drawing apparatus according to the second embodiment, in the first embodiment shown in FIG. 1, the 3D scene rendering 6 includes a geometry calculation unit 7, a first vertex luminance correction unit 8, and a pixel calculation unit 9. .
The geometry calculation unit 7 is based on the camera data at the apex of the 3D shape data from the 3D graphic data stored in the 3DCG data storage unit 5 and the camera data and the drawing frame number generated in the drawing frame interpolation generation unit 10. Position data, luminance data, and texture coordinates on the defined plane are calculated.
[0029]
Further, the first vertex luminance correction unit 8 has the luminance data of the vertex to be texture pasted in the switching transition start frame number fs calculated in the geometry calculation unit 7 and the switching frame number fe specified by the switching frame specification unit 13. And the switching transition start frame number fs is held, and the calculation corresponding to the frame number between the switching transition start frame number fs and the switching frame number fe is performed from the luminance data at the calculated transition start frame number fs. Set the luminance data of the vertices to be texture pasted.
[0030]
The pixel calculation unit 9 calculates the 3D scene display data by referring to the texture buffer unit 4 based on the position data, luminance data, and texture coordinates calculated from the geometry calculation unit 7 and the first vertex luminance correction unit 8. To do.
FIG. 5 is a conceptual diagram of the vertices on the surface to which the moving image is pasted in the second embodiment of the present invention. In FIG. 5, rectangular areas P1, P2, P3, and P4 are views of the surface on which the moving image is pasted, and P1, P2, P3, and P4 are vertices on the surface, respectively.
[0031]
The operation of the drawing apparatus configured as described above will be described below. Now, in the drawing apparatus according to the second embodiment, the aspect on which the moving image is pasted has the same aspect ratio as the pasted moving image, and P1, P2, P3, and P4 that are rectangular four corners and the image are displayed. Suppose that an image pasted so that the four corners of the screen are aligned is drawn.
The geometry calculation unit 7 performs perspective transformation on the three-dimensional shape data read from the 3DCG data storage unit 5 based on the camera data corresponding to the drawing frame number, and the position data (screen coordinate values) and luminance of each polygon. Data and texture coordinates are output. For example, the data shown in Table 1 is calculated for the vertices on the surface where the moving image as shown in FIG. 5 is pasted.
[0032]
[Table 1]

The first vertex luminance correction unit 8 first stores the switching completion frame number fe and the transition start frame number fs specified by the switching frame specifying unit 13. Next, the luminance data of the vertex of the polygon to which the moving image is pasted is corrected while the drawing frame number is between the switching transition start frame number fs and the switching frame number fe.
[0033]
Hereinafter, the above correction method in the first vertex luminance correction unit 8 will be described.
First, when the vertex data for a certain drawing frame is calculated in the geometry calculation unit 7, IDs for P1, P2, P3, and P4 (FIG. 5) that are vertices of all polygons to which the moving image is pasted are held.
Next, the luminance data of the vertices of the polygons to which the moving image is pasted are extracted from the data of the polygon vertices at the transition start frame number fs calculated by the geometry calculation unit 7. Here, luminance data for P1, P2, P3, and P4 is extracted.
[0034]
Next, the luminance correction rate per frame between the transition start frame number fs and the switching completion frame number fe is calculated. The luminance data is given by three components, r component, g component, and b component, and since all can be calculated in the same manner, the correction rate of the luminance data of the r component at the vertex P1 is considered here. If an arbitrary drawing frame number from fs to fe is ft, and the r component of the luminance data of the polygon vertex P1 at ft is Ip1r (ft), the luminance correction rate is obtained as shown in Equation (1). Here, the luminance value Ip1r is a normalized value.
[0035]
ΔIp1r = {1−Ip1r (fs)} / (fe−fs) (1)
Using the luminance correction rate per frame obtained by the above method, correction is performed on the luminance data of the polygon vertex to which the moving image is pasted from the transition start frame number fs to the switching frame number fe. For example, the r component of the luminance of P1 in the apex of the surface to which the moving image is pasted as shown in FIG. 5 is obtained as shown in Equation (2).
[0036]

The above is the luminance correction method in the first vertex luminance correction unit 8.
The pixel calculation unit 9 uses the position data of the vertex of the three-dimensional shape data in the drawing frame number, the luminance data, the texture coordinates, and the correction value of the luminance of the vertex of the region to which the moving image is pasted to generate the three-dimensional scene display data (pixel data). ) Is calculated.
[0037]
For the pixel data of the region where the moving image is pasted, the luminance value of the vertex corresponding to the texture coordinates output from the geometry calculation unit 7 is referred from the texture buffer unit 4. When the r component of the luminance of the polygon vertex P1 referenced from the texture buffer unit 4 at ft is Ip1Tr (ft), the r component of the luminance value of the display data of the polygon vertex P1 is determined by equation (3). Here, the luminance value Ip1Tr (ft) is an unnormalized value.
[0038]
Ip1r (ft) × Ip1Tr (ft) (3)
The luminance value obtained by Expression (3) and the vertex data of each polygon calculated by the geometry calculation unit 7 are complemented to calculate three-dimensional scene display data (pixel data) on the display screen.
In this manner, the first vertex luminance correction unit 8 uses the luminance data of the vertex of the polygon on the moving image pasting surface at the transition start frame number fs, and the luminance of the vertex of the polygon on the moving image pasting surface in the frame in the transition time interval. By correcting the data, it is possible to smoothly switch the color of the moving image when switching between the display of the moving image and the three-dimensional graphic, and it is possible to eliminate the uncomfortable feeling when the display data is switched to the moving image.
[0039]
In the second embodiment, the first vertex luminance correction unit 8 linearly determines the correction rate of the luminance data, but it may be any correction that smoothly changes the luminance data to the target luminance data.
[Embodiment 3]
FIG. 6 is a configuration diagram of a drawing apparatus according to Embodiment 3 of the present invention.
[0040]
In the drawing apparatus according to the third embodiment, the switching frame in the configuration of the drawing apparatus according to the first embodiment. finger Switching frame instead of fixed part 13 finger The determination unit 18 is provided, and a second transition camera key frame calculation unit 21 is provided instead of the first transition camera key frame calculation unit 12.
The switching frame designating unit 18 inputs the time for switching between the moving image and the display of the three-dimensional graphic and the time required until the end of the switching transition, and the switching frame number fs corresponding to the time for switching the display of the moving image and the three-dimensional graphic. The transition end frame number fe for switching is output.
[0041]
Further, the second transition camera key frame calculation unit 21 completes switching transition based on the switching frame number fs input from the switching frame designation unit 18 and the camera key frame data recorded in the scenario data storage unit 11. Camera data at the frame number fe is generated.
FIG. 7 is a conceptual diagram of camera data calculated by the drawing frame interpolation generation unit 10 according to Embodiment 3 of the present invention. In FIG. 7, reference numeral 31 denotes a surface on which a moving image is pasted, and Ck0, Ck1, Ck2, Ck3, Ck4, Ck5, and Ckn are stored in the scenario data storage unit 11 and are set as a 3D scene to be rendered. The camera key frame data, Cfe is the camera data at the transition end frame number fe calculated from the second transition camera key frame calculation unit 21, Cfs is the camera data at the switching frame number fs, and 33 is the drawing frame interpolation generation unit 10. This is a locus of the position of the calculated camera data.
[0042]
FIG. 8 is an image diagram of an image drawn by the drawing apparatus according to Embodiment 3 of the present invention. 8A shows display data at the switching frame number fs for switching between the display of the moving image and the three-dimensional graphic, FIG. 8B shows display data at the frame number during the switching transition, and FIG. 8C shows the transition end frame number fe. Display data.
[0043]
The operation of the drawing apparatus configured as described above will be described below. Now, in the drawing apparatus according to the third embodiment, the surface on which the moving image is pasted has the same aspect ratio as the pasted moving image, and is pasted so that the four corners of the video are aligned with the four corners of the rectangle. The video that is being played is assumed to be a drawing.
First, the switching frame designation unit 18 interactively inputs the time for switching between the display of the moving image and the three-dimensional graphic and the time required until the end of the switching transition. The switching frame designation unit 18 calculates a switching frame number fs for switching between the display of the moving image and the three-dimensional graphic and a transition end frame number fe for ending the switching transition from the drawing frame rate recorded in the scenario data storage unit 11. To do.
[0044]
Next, the second transition camera key frame calculation unit 21 assigns the camera data assigned to the two smaller frame numbers in order from the transition end frame number fe and the two in order from the transition end frame number fe. large The scenario data storage unit 11 refers to the camera data assigned to the frame number. Using these data as sample values, spline interpolation is performed using a cubic spline function to determine an interpolation curve, thereby calculating the camera data at the transition end frame number fe. For example, in FIG. 7, the second transition camera key frame calculation unit 21 receives the camera data Ck2 with the frame number k2, the camera data Ck3 with the frame number k3, the camera data Ck4 with the frame number k4, and the camera data Ck5 with the frame number k5. Then, a cubic spline function is determined, and camera data at the transition end frame number fe is calculated.
[0045]
Next, the drawing frame interpolation generation unit 10 generates camera data corresponding to each drawing frame number. The drawing frame interpolation generation unit 10 holds the camera data at the transition end frame number fe calculated by the second transition camera key frame calculation unit 21 as a camera key frame. Here, it is assumed that the camera data having the entire surface area on which the moving image is pasted in the scenario data storage unit 11 is stored relatively expressed from the center of the surface on which the moving image is pasted. This camera data is expressed in the world coordinate system, and the camera data at the switching frame number fs for switching between the display of moving images and three-dimensional graphics is obtained. These two data are added to the sample values as camera key frame data, and spline interpolation is performed using a cubic spline function to calculate camera data for the drawing frame number. For example, in FIG. 7, the camera data Cfs at the switching frame number fs for switching between moving image display and three-dimensional graphic display and the camera data Cfe at the transition end frame fe are added as sample values to calculate camera data up to the transition end frame fe. For example, the calculated position of the camera data is as shown at 33.
[0046]
Next, the moving image decoding unit 2 acquires moving image data corresponding to the drawing frame number from the compressed moving image data storage unit 1, and decodes this data according to a decoding method to generate moving image data.
The first switch 3 holds the switching frame number fs set in the switching frame designation unit 18, and when the first switch 3 outputs image data for a drawing frame number less than the switching frame number fs. The switch is switched to the video memory unit 15 side, and when the image data corresponding to the drawing frame number greater than the frame number fs is output, the switch is switched to the texture buffer unit 4 side.
[0047]
Next, the texture buffer unit 4 holds the moving image data generated by the moving image decoding unit 2.
Next, the 3D scene rendering unit 6 generates 3D scene image data corresponding to the drawing frame number.
The second switch 14 holds the switching frame number fs set in the switching frame designating unit 18, and when the second switch 14 outputs image data for a frame number less than the switching frame number fs, When the switch is switched to the first switch 3 side (moving image decoding unit 2 side) and image data for a frame number equal to or greater than the frame number fs is output, the switch is switched to the 3D scene rendering unit 6 side.
[0048]
Finally, the video memory unit 15 holds the output image data.
FIG. 8 shows an image diagram of an image drawn using the drawing apparatus having the above configuration. The drawing apparatus according to the present embodiment generates display data for zooming out the moving image area through the transitions shown in FIGS. 8A, 8B, and 8C when switching from moving image display to three-dimensional graphic display. .
[0049]
As described above, the second transition camera key frame calculation unit 21 calculates the camera data at the transition end frame number fe, and the camera of the switching frame number fs that switches between the calculated camera key frame data and the display of the moving image and the three-dimensional graphic. The time required to switch the display of moving images and 3D graphics input from the outside by adding data to the sample value of the camera key frame data and calculating the camera data corresponding to each drawing frame number The frame for switching the display from the moving image to the three-dimensional graphic can be set arbitrarily corresponding to the above, and the image can be switched by gradually zooming out from the moving image alone to the moving image pasting surface.
[0050]
In the third embodiment, the second transition camera key frame calculation unit 21 and the drawing frame interpolation generation unit 10 generate camera data by cubic spline interpolation, but may be calculated by other interpolation algorithms.
[Embodiment 4]
FIG. 9 is a configuration diagram of a drawing apparatus according to Embodiment 4 of the present invention.
[0051]
The drawing apparatus according to the fourth embodiment is the same as the third embodiment shown in FIG. 6 except that a switching end frame luminance calculation unit 20 is added, and the 3D scene rendering unit 6 is replaced with a geometry calculation unit 7 and a second vertex luminance correction unit. 22 and the pixel calculation unit 9.
The switching end frame luminance calculation unit 20 performs transition based on the camera data at the transition end frame number fe generated by the second transition camera key frame calculation unit 21 and the 3D shape data held in the 3DCG data storage unit 5. The position data, texture coordinates, and luminance data of the vertex of the three-dimensional shape data at the end frame number fe are calculated.
[0052]
Further, the second vertex luminance correction unit 22 uses the luminance data of the vertex to be texture pasted at the transition end frame number fe calculated by the switching end frame luminance calculation unit 20 and the switching frame specified by the switching frame specification unit 18. The number fs and the transition end frame number fe are held, and when the calculation corresponding to the frame number between the switching frame number fs and the transition end frame number fe is performed, the texture data is calculated from the luminance data at the calculated transition end frame number ft. Correct the luminance data of the apex to be pasted.
[0053]
The geometry calculation unit 7 and the pixel calculation unit 9 are the same as the geometry calculation unit 7 and the pixel calculation unit 9 of the second embodiment shown in FIG.
The operation of the drawing apparatus configured as described above will be described below. Now, in the drawing apparatus according to the fourth embodiment, the aspect on which the moving image is pasted has the same aspect ratio as that of the pasted moving image, and P1, P2, and P3 that are the rectangular four corners shown in FIG. , P4 and the image pasted so that the four corners of the image match are drawn.
[0054]
In the switching end frame luminance calculation unit 20, vertex data of each polygon is obtained from the camera data of the transition end frame number fe calculated by the second transition camera key frame calculation unit 21 and the shape data read from the 3DCG data storage unit 5. The IDs of the vertices of all the polygons to which the moving image is pasted and the luminance data for the vertices are extracted, and the second vertex luminance correction unit 22 holds these data. This data is calculated when the switching frame designating unit 18 inputs the time for switching between the display of the moving image and the three-dimensional graphic and the time required for the end of the switching transition.
[0055]
The geometry calculation unit 7 performs perspective transformation on the three-dimensional shape data read from the 3DCG data storage unit 5 based on the camera data corresponding to the drawing frame number, and the position data (screen coordinate values) and luminance of each polygon. Data and texture coordinates are output. For example, the data shown in Table 2 is calculated for the vertices on the surface to which the moving image as shown in FIG.
[0056]
[Table 2]

In the second vertex luminance correction unit 22, first, a switching frame number fs and a transition end frame number fe input from the switching frame specification unit 18 and a moving image that is an output from the switching end frame luminance calculation unit 20 are pasted. The vertex IDs of all the polygons and the luminance data of the vertexes are stored. Next, the luminance data of the vertex of the polygon to which the moving image is pasted is corrected while the drawing frame number is between the switching frame number fs and the switching transition end frame number fe.
[0057]
Hereinafter, the above correction method in the second vertex luminance correction unit 22 will be described.
First, a luminance correction rate per frame between frame numbers fs and fe is calculated. The luminance data is given by three components, r component, g component, and b component, and since all can be calculated in the same manner, the correction rate of the luminance data of the r component at the vertex P1 is considered here. When an arbitrary drawing frame number in fs to fe is a drawing frame number ft and an r component of the luminance data of the polygon vertex P1 at ft is Ip1r (ft), the luminance correction rate is obtained as shown in Expression (4).
[0058]
ΔIp1r = {1−Ip1r (fe)} / (fe−fs) (4)
Using the luminance correction rate per frame obtained by the above method, correction is performed on the luminance data of the polygon vertex to which the moving image is pasted from the switching frame number fs to the transition end frame number fe. For example, the r component of the luminance of P1 in the apex of the surface to which the moving image is pasted as shown in FIG. 5 is obtained as shown in Equation (5).
[0059]

The above is the luminance correction method in the second vertex luminance correction unit 22.
The pixel calculation unit 9 uses the position data of the vertex of the three-dimensional shape data in the drawing frame number, the luminance data, the texture coordinates, and the correction value of the luminance of the vertex of the region to which the moving image is pasted to generate the three-dimensional scene display data (pixel data). ) Is calculated.
[0060]
For the pixel data of the region where the moving image is pasted, the luminance value of the vertex corresponding to the texture coordinates output from the geometry calculation unit 7 is referred from the texture buffer unit 4. When the r component of the luminance of the polygon vertex P1 referenced from the texture buffer unit 4 at ft is Ip1Tr (ft), the r component of the luminance value of the display data of the polygon vertex P1 is determined by equation (6). Here, the luminance value Ip1Tr (ft) is an unnormalized value.
[0061]
Ip1r (ft) × Ip1Tr (ft) (6)
The luminance value obtained by Expression (6) and the vertex data of each polygon calculated by the geometry calculation unit 7 are complemented to calculate three-dimensional scene display data (pixel data) on the display screen.
In this way, by using the luminance data of the vertex of the polygon on the moving image pasting surface at the transition end frame number fe and correcting the luminance data of the vertex of the polygon on the moving image pasting surface in the frame of the transition time interval, The color of the moving image can be smoothly switched when the display is switched to the three-dimensional graphic, and the uncomfortable feeling when the display data is switched to the three-dimensional graphic can be eliminated.
[0062]
In the fourth embodiment, the second vertex luminance correction unit 22 linearly determines the correction rate of the luminance data, but any correction may be used as long as the luminance data smoothly changes to the target luminance data.
[0063]
【The invention's effect】
As described above, according to the present invention, it is possible to switch between three-dimensional graphics and moving image reproduction by zooming in or out on the moving image pasting area at an arbitrary time in the moving image.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a drawing apparatus according to a first embodiment of the present invention.
FIG. 2 is a conceptual diagram of camera data calculated by a drawing frame interpolation generation unit of the drawing apparatus.
FIG. 3 is an image diagram of a video drawn by the drawing apparatus.
FIG. 4 is a configuration diagram of a drawing apparatus according to Embodiment 2 of the present invention.
FIG. 5 is a diagram of a surface on which a moving image is pasted in the drawing apparatus.
FIG. 6 is a configuration diagram of a drawing apparatus according to Embodiment 3 of the present invention.
FIG. 7 is a conceptual diagram of camera data calculated by a drawing frame interpolation generation unit of the drawing apparatus.
FIG. 8 is an image diagram of a video drawn by the drawing apparatus.
FIG. 9 is a configuration diagram of a drawing apparatus according to Embodiment 4 of the present invention.
FIG. 10 is a configuration diagram of a conventional drawing apparatus.
[Explanation of symbols]
1 Compressed video data storage
2 Video decoding part
3 First switch
4 Texture buffer
5 3DCG data storage
6 3D scene rendering section
7 Geometry calculation part
8 First vertex luminance correction unit
9 Pixel operation part
10 Drawing frame interpolation generator
11 Scenario data storage
12 First transition camera key frame calculation unit
13 Switching frame designation part
14 Second switch
15 Video memory section
18 Switching frame designation part
20 Switching end frame luminance calculation section
21 Second transition camera key frame calculation unit
22 Second vertex luminance correction unit
31 Surface to paste video
32 The locus of the position of the camera data calculated by the drawing frame interpolation generation unit 10 (when zooming in on the moving image pasting area)
33 Trajectory of the position of the camera data calculated by the drawing frame interpolation generation unit 10 (when zooming out to the moving image pasting area)

Claims

A camera key frame data including camera data having a view of the entire surface area of the three-dimensional shape to which the video is pasted, a scenario data storage unit for storing a drawing frame rate,
Enter the time to switch between video and 3D graphic display and the time required to switch, and correspond to the time to switch between video and 3D graphic display from the drawing frame rate recorded in the scenario data storage unit A switching frame designation unit that outputs a switching frame number to be switched and a transition start frame number to be switched;
Based on the switching frame number input from the switching frame specification unit and the camera key frame data recorded in the scenario data storage unit, the camera key frame data at the transition start frame number input from the switching frame specification unit is generated. A first transition camera key frame calculation unit;
The camera key frame data at the transition start frame number generated by the first transition camera key frame calculation unit and the entire area of the surface of the three-dimensional shape to which the moving image is pasted recorded in the scenario data storage unit are viewed. A drawing frame interpolation generating unit that generates camera data in a frame to be drawn based on camera key frame data including camera data
A 3DCG data storage unit for storing 3D graphic data;
A compressed video data storage unit for storing compressed video data;
A video decoding unit that generates video data corresponding to a frame number based on the compressed data and the frame number of the compressed video data storage unit;
A first switch for switching the output destination of the video decoding unit from a frame number;
A texture buffer unit for storing moving image data of the moving image decoding unit output from the first switch;
Generates 3D scene display data for the drawing frame number based on the camera data and drawing frame number of the frame to be drawn generated by the drawing frame interpolation generation unit and the 3D graphic data stored in the 3DCG data storage unit. A 3D scene rendering unit that
A second switch for outputting either the moving image data of the moving image decoding unit output from the first switch or the 3D scene display data generated by the 3D scene rendering unit based on a frame number;
And a video memory unit for storing display data output from the second switch.

3D scene rendering part
Based on the camera data and drawing frame number of the frame to be drawn generated by the drawing frame interpolation generation unit and the 3D graphic data stored in the 3DCG data storage unit, based on the camera data of the vertex of the 3D shape data A geometry calculation unit for calculating position data, luminance data, and texture coordinates in a plane to be
Holds the luminance data of the vertex to be texture pasted in the transition start frame number calculated by the geometry calculation unit, the switching frame number and the transition start frame number input from the switching frame designation unit, and switches from the transition start frame number to the switching frame. A first vertex luminance correction unit that corrects the luminance data of a vertex to be texture pasted from the luminance data calculated in the geometry calculation unit when performing an operation corresponding to a frame number between numbers;
Based on the position data, luminance data, and texture coordinates calculated from the geometry calculation unit, the first vertex luminance correction unit, and a pixel calculation unit that calculates the three-dimensional scene display data with reference to the texture buffer unit. ,
The drawing apparatus according to claim 1, wherein the second switch outputs either the moving image data of the moving image decoding unit or the three-dimensional scene display data generated from the pixel unit based on the frame number.

A camera key frame data including camera data having a view of the entire surface area of the three-dimensional shape to which the video is pasted, a scenario data storage unit for storing a drawing frame rate,
The time for switching between the display of the moving image and the 3D graphic and the time required for the end of the switching transition are input, and the time for switching the display of the moving image and the 3D graphic from the drawing frame rate recorded in the scenario data storage unit. A switching frame designation unit that outputs a switching frame number corresponding to and a transition end frame number of switching,
Based on the switching frame number input from the switching frame specification unit and the camera key frame data recorded in the scenario data storage unit, the camera key frame data at the transition end frame number input from the switching frame specification unit is generated. 2 transition camera key frame calculation units;
The camera key frame data at the transition end frame number generated by the second transition camera key frame calculation unit and the entire area of the surface of the three-dimensional shape recorded in the scenario data storage unit to which the moving image is pasted are viewed. A drawing frame interpolation generating unit that generates camera data in a frame to be drawn based on camera key frame data including camera data
A 3DCG data storage unit for storing 3D graphic data;
A compressed video data storage unit for storing compressed video data;
A video decoding unit that generates video data corresponding to a frame number based on the compressed data and the frame number of the compressed video data storage unit;
A first switch for switching the output destination of the video decoding unit from a frame number;
A texture buffer unit for storing moving image data of the moving image decoding unit output from the first switch;
Generates 3D scene display data for the drawing frame number based on the camera data and drawing frame number of the frame to be drawn generated by the drawing frame interpolation generation unit and the 3D graphic data stored in the 3DCG data storage unit. A 3D scene rendering unit that
A second switch for outputting one of the video data of the video decoding unit output from the first switch and the 3D scene display data generated by the 3D scene rendering unit based on the frame number;
And a video memory unit for storing display data output from the second switch.

Based on the camera key frame data at the transition end frame number generated by the second transition camera key frame calculation unit and the 3D graphic data stored in the 3DCG data storage unit, the 3D shape data at the transition end frame number A switching end frame luminance calculation unit for calculating the vertex position data, texture coordinates, and luminance data,
3D scene rendering part
Position data in a plane defined based on the camera data at the vertex of the three-dimensional shape data based on the three-dimensional graphic data stored in the 3DCG data storage unit, the camera data generated by the drawing frame interpolation generation unit, and the drawing frame number A geometry calculation unit for calculating brightness data and texture coordinates;
Holds the luminance data of the vertex to be texture pasted in the transition end frame number calculated by the switching end frame luminance calculation unit, the switching frame number and the transition end frame number input from the switching frame designation unit, and the switching frame A second vertex luminance correction for correcting the luminance data of the vertex to be texture pasted from the luminance data calculated by the geometry calculation unit when performing an operation corresponding to the frame number between the number and the transition end frame number And
Based on the position data, luminance data, and texture coordinates calculated in the geometry calculation unit and the second vertex luminance correction unit, a texture calculation unit is referred to and a pixel calculation unit that calculates three-dimensional scene display data is configured. ,
4. The drawing apparatus according to claim 3, wherein the second switch outputs either the moving image data of the moving image decoding unit or the three-dimensional scene display data generated by the pixel unit based on the frame number.