JP4423315B2 - ３次元コンピュータ画像を用いたテロップを送出して表示させるための装置とその方法 - Google Patents

Description

本発明は、スポーツ中継・選挙速報など即時性を要求される放送用途の情報ソース送出場面において、３次元コンピュータ画像を用いたテロップを送出して表示させるための装置とその方法に関する。

３次元コンピュータ画像をリアルタイムに合成し、放送信号にスーパーインポーズして送出するには、基本的に、図１に示すように、３次元コンピュータ画像をレンダリングするのに必要な情報を３次元グラフィックアクセラレータに対して指定する事前処理が行なわれ（Ａ）、次いで、そのアクセラレータ内でレンダリングして３次元コンピュータ画像を作成する（Ｂ）。作成された３次元コンピュータ画像はスーパーインポーザへ転送され、放送信号と合成するのに必要な合成事前処理が行なわれた後（Ｃ）、放送信号と合成してテロップの入った送画像を作成するための合成送出処理を行うことで（Ｄ）、放送用の画像信号が送出される（Ｅ）。

視覚的に滑らかなアニメーションを実現するためには、ＮＴＳＣあるいはＰＡＬの放送方式に合わせて、ＮＴＳＣ方式ならば１秒間に約６０枚の３次元コンピュータ画像を表示しなければならない。しかし、リアルタイムで３次元コンピュータ画像のレンダリングを行った後に放送信号と合成して送出するとなると、前述の事前処理（Ａ）から合成送出処理（Ｄ）までの一連の作業に要する時間Ｔは、約１６．６７msec（６０枚／秒）〜２０msec（５０枚／秒）以内という限られた時間内でなければならず、加えて、３次元コンピュータ画像データをアクセラレータからシステムメモリへ転送する処理時間とシステムメモリからスーパーインポーザに転送するための処理時間に所定の時間が必要であるため、必然的にレンダリングに割けることができる処理時間が短くなってしまう。そのため、複雑な３次元コンピュータ画像をテロップとして送出しようとすると、全ての処理を上記制限時間内に終えることができなくなって、必要枚数を送出することが難しくなってしまう。

このため、３次元コンピュータ画像を処理するための放送用途に特化して設計された専用システムが用いられている。これはスーパーインポーズを行う機能と３次元コンピュータ画像を処理するための機能とを併せ持つ、専用のハードウェアを有するものであるが、このような機能を持ったシステムは特殊性が高いが故に生産時のコストがかかり、利用する側の放送担当者にとってもコストパフォーマンスの面で多くのシステムを導入することは難しい。一方、現在の３次元グラフィックアクセラレータの性能は発展の一途を辿っており、現用のボードが直ぐに時代遅れになるような状況であり、そのため、上述のような放送用途に設計された、送出用機能とハードウェアで一体化された高価な３次元グラフィックアクセラレータボードをその都度入れ替えることは無駄以外の何ものでもなかった。

このような非常に高価な放送専用のシステムを用いる代わりに、また、３次元コンピュータ画像の送出までの処理時間がかかり過ぎることに対する解決手段として、事前に必要な画像を予めレンダリングした３次元コンピュータ画像をハードディスク・メモリ等の記憶装置に一旦記録しておき、その３次元コンピュータ画像を放送時に然るべきタイミングで呼び出し、合成して送出するように構成されたスーパーインポーズ装置が特開平５−９１４１３号公報に提案されている。しかし、このようなスーパーインポーズ装置は、事前に必要な画像をレンダリングして記憶装置に予め記録しておかなければならないため、大容量の記憶装置を必要とする一方、予めレンダリングするための時間をも必要とするため、経済的および時間的な無駄を招くだけでなく、即時性を要求されるテロッパー等の用途には対応できないものであった。

本発明の目的は、上記の如き特殊性をソフトウェア処理の工夫によって吸収し、新たなハードウェアの設計を行わずに一般的な３次元グラフィックアクセラレータボードを使用し、３次元コンピュータグラフィックスを高速に処理するための特別な設計が行われていない従来の放送送出用ハードウェアと組み合わせ、ソフトウェア処理を工夫することにより、放送画面上に３次元コンピュータ画像で表現される文字や図形などの付加情報をリアルタイムに計算してスーパーインポーズすることができる３次元コンピュータ画像放送用テロップ装置およびその方法を提供することにある。

本発明の別の目的は、３次元グラフィックアクセラレータの性能が向上した場合に、そのボードだけを差し替えることで３次元グラフィクス処理能力を高めることが可能になり、最小限のコストで最新の技術を利用できる３次元コンピュータ画像放送用テロップ装置およびその方法を提供することである。

本発明による３次元コンピュータ画像放送用テロップ装置は、３次元コンピュータ画像データをレンダリングして３次元コンピュータ画像を作成するための３次元グラフィックアクセラレータと、３次元グラフィックアクセラレータにより作成された３次元コンピュータ画像を放送信号と合成して３次元コンピュータ画像がスーパーインポーズされた放送映像を作成するためのスーパーインポーザとを有している。３次元グラフィックアクセラレータおよびスーパーインポーザは並列動作するように構成される。

並列動作することにより、３次元コンピュータ画像のレンダリングと放送信号との合成が同時に並行して行なわれるため、３次元グラフィックアクセラレータが１フレームを処理する時間とスーパーインポーザが１フレームを処理する時間（より実際的には、両者のうちのより長い方の処理時間）が、最短の場合でも、前述のように放送方式により異なるが、ＮＴＳＣ方式では約１６．６７msec（約６０枚／秒）の制限時間内であれば、リアルタイムで所要枚数の３次元コンピュータ画像を作成してテロップとして送出することが可能となる。好ましくは、スーパーインポーザで合成処理されるフレームは、同時に３次元グラフィックアクセラレータでレンダリング処理されるフレームに対して１フレーム分だけ前のフレームを処理する。このことは、３次元グラフィックアクセラレータでレンダリング処理したフレームを対応するフレームの放送信号と合成するまで一時的に蓄えるためのメモリ容量を最小限に抑えることを意味している。

本発明の装置に用いられる３次元グラフィックアクセラレータとしては、３次元コンピュータ画像を高速に処理する機能を有しているがＴＶ放送用途で設計されていない汎用のグラフィックアクセラレータボードを使用し、そして、スーパーインポーザとしては、フレームメモリに書き込まれているデータをＴＶ放送用途で合成出力できる機能を有しているが３次元コンピュータ画像を高速に処理する機能を有していないスーパーインポーザボードを使用することができる。また、少なくとも２つのＣＰＵまたは１つのＭＰＵを備えた汎用の小型コンピュータにグラフィックアクセラレータボードおよびスーパーインポーザボードを装着することによって本発明の装置を構成することもできる。また、グラフィックアクセラレータボードからのフレームメモリ（ビデオメモリ）データの読み込みが可能であり、そして、スーパーインポーザボードへのフレームメモリ（ビデオメモリ）データの書き込みが可能であるシステムメモリを備えているのが好ましい。

汎用のグラフィックアクセラレータボードおよびスーパーインポーザボードを使用できることは、リアルタイムで３ＤＣＧを送出する目的で設計された特殊なシステムを使用する必要がないだけでなく、３次元グラフィックアクセラレータの性能が向上した場合に、そのボードだけを差し替えることで３次元グラフィクス処理能力を高めることが可能になり、最小限のコストで最新の技術を利用することが可能となる。また、汎用の小型コンピュータにグラフィックアクセラレータボードおよびスーパーインポーザボードを装着することによって本発明の装置を構成できることは、同様に、放送用途に設計された高価なシステムを使用する必要がなく、高性能な３次元コンピュータ画像放送用テロップ装置をより安価に作成することが可能である。グラフィックアクセラレータボードとスーパーインポーザボードの間におけるフレームメモリ（ビデオメモリ）データの受け渡しをシステムメモリを介して行なうことは、３次元コンピュータ画像のために記憶装置を別途用意する必要がなく、コストの低減に寄与することが可能となる。

本発明の装置では、前述の制限時間内に３次元コンピュータ画像を作成して放送信号と合成し送出することができる。このため、外部情報をもとに表示する内容および表示図形形状の変更または動き（モーション）をリアルタイムに変更することが可能となる。

本発明によると、高品質な３次元コンピュータ画像をリアルタイムで放送用に合成送出するために特化されたハードウェアでなくとも、一般的に普及している３次元グラフィックアクセラレータと現状で放送用に用いられている放送送出用ボードをマルチプロセッサＰＣもしくはＷＳなどで利用できるものであればそれらを組み合わせて送出することが可能になるため、新たなハードウェアの設計を待たずともリアルタイムで３次元コンピュータ画像をスーパーインポーズするテロップ用放送装置を構成することが可能である。

さらに、このことは、将来、３次元グラフィックアクセラレータの性能が向上した際に、そのアクセラレータだけを従来のものと交換することでより高品質な３次元コンピュータ画像が手に入ることを意味している。これは放送用に特化された機能を持つハードウェアを生産する事に比べるとコスト的なメリットは大きく、新たなハードウェアのためにテロップ送出用ソフトウェアを製作し直さずとも動作させることが可能なため、番組製作に必要な時間を大幅に短縮する効果もある。

以下、本発明の実施の形態を図に基づいて詳説する。尚、図中、同様な部分または処理については同様な参照番号が使用されている。

本発明の実施の形態による３次元コンピュータ画像放送用テロップ装置は、図２に示すように、高速な３次元コンピュータ画像の処理を担当する３次元グラフィックアクセラレータ１と、放送信号を元にスーパーインポーズを担当するスーパーインポーザ２と、３次元グラフィックアクセラレータ１とスーパーインポーザ２との間に介在されるシステムメモリ３と、３次元グラフィックアクセラレータ１とスーパーインポーザ２をそれぞれ制御するための２つのＣＰＵ４および５とからなるマルチプロセッサシステムで構成される。ここにおいて、ＣＰＵ４および５は３次元グラフィックアクセラレータ１とスーパーインポーザ２をそれぞれ独立して制御するが、ＣＰＵの性能が後述する処理を所定時間内で終わらせるのに十分な性能を有するものであれば単一のＣＰＵで両者を制御するように構成することも可能であり、また、本装置のＯＳを制御するＣＰＵを流用して制御させるように構成することも可能である。もちろん、複数のＣＰＵの代わりにＭＰＵを用いてそれぞれを制御するように構成できることは容易に理解されよう。ディスプレイモニタ６はオペレータが動作の確認を行うためのものであり、ディスプレイモニタ６に表示される情報を元に手動で動作制御を行う際に用いられる。

このような構成は、放送用途に設計された特殊な装置ではなく、複数のＣＰＵを備えた汎用のパソコンやワークステーション等のＡＧＰスロットに３次元グラフィックアクセラレータ１のボードを装着し、ＰＣＩスロットにスーパーインポーズ２のボードを装着することで実現可能である点に注目されたい。また、３次元コンピュータ画像を高速かつ高品質に計算できる３次元グラフィックアクセラレータボードは、放送用途以外で一般的に広く普及しており、しかもその性能は日々向上しており、そのため、用途やコストに応じて使用する３次元グラフィックアクセラレータを随意に選択、交換できる点にも注目されたい。

上述の如く構成される本発明の装置を用いて３次元コンピュータ画像を放送用テロップとして送出する方法について、図３を参照して説明する。

レンダリング処理するために必要な情報をセットする事前処理を行った後（Ｓ１）、３次元グラフィックアクセラレータ１においてレンダリングを行って１フレーム分の３次元コンピュータ画像を作成し（Ｓ２）、その３次元コンピュータ画像データを３次元グラフィックアクセラレータ１内のフレームメモリ（ビデオメモリ）に蓄えることによりフレームバッファを取得する（Ｓ３）。３次元グラフィックアクセラレータ１内のフレームメモリ（ビデオメモリ）に蓄えられた３次元コンピュータ画像データはシステムメモリ３へ読み出される（Ｓ４）。システムメモリ３へ読み出された画像データは合成処理のための合成事前処理が行なわれた後（Ｓ５）、スーパーインポーザ２のフレームメモリへ転送されて放送信号と合成され（Ｓ６）、スーパーインポーザから送出される（Ｓ７）。

このような３次元グラフィックアクセラレータ１での処理およびスーパーインポーザ２での処理は、一連の作業として行なわれるが、本発明では、３次元グラフィックアクセラレータ１およびスーパーインポーザ２が並行動作する、すなわち、３次元グラフィックアクセラレータ１でレンダリング処理が行なわれているときに、スーパーインポーザ２で合成処理が同時に行なわれる点が本発明の最大の特色の一つである。

この並行動作によりレンダリングから合成までの処理を行うために、３次元グラフィックアクセラレータ１でレンダリング処理するフレームと、それと同時にスーパーインポーザ２で合成処理するフレームとの関係は、レンダリング処理するフレームが合成処理するフレームよりも１フレーム分だけ遅れるようにタイミング付けられている。これにより、従来技術におけるような、送出するフレーム数によって確定される制限時間Ｔ（前述したフィールド単位の滑らかなアニメーションを実現する場合、ＮＴＳＣあるいはＰＡＬの放送方式に合わせて、ＮＴＳＣ方式ならば約１６．６７msec（約６０枚／秒）内にレンダリングから合成までの一連の処理を行わねばならないのではなく、レンダリング処理と合成処理をこの制限時間Ｔ内にそれぞれ行えばよいことになる。

詳述すると、ＣＰＵ４は、３次元コンピュータ画像をレンダリングするのに必要な情報を３次元グラフィックアクセラレータ１に対して指定する事前処理Ｓ１を行わせ、３次元グラフィックアクセラレータ１のレンダリング処理Ｓ２を行わせ、そして、３次元グラフィックアクセラレータ１内のフレームメモリ（ビデオメモリ）に蓄えられた３次元コンピュータ画像をシステムメモリ３へと読み出すフレームバッファ取得処理Ｓ３を行わせる。事前処理Ｓ１からフレームバッファ取得処理Ｓ３までの処理を制限時間Ｔ内に終わらせることにより、３次元コンピュータ画像を用いたテロップの送出に適合できる。

ＣＰＵ５は、システムメモリ３へと読み出された３次元コンピュータ画像（Ｓ４）を合成するために必要な合成事前処理Ｓ５を行わせ、スーパーインポーザ２の合成用フレームへと送った後、スーパーインポーザ２内で放送信号Ｓに基づいた合成処理Ｓ６を行わせて送出される（Ｓ７）。図３に示す例では、本装置は第３のＣＰＵ７を備えるように示されている。ＣＰＵ７は、この一連の処理間に実行されるＯＳ等システムの基本処理を担当するものであるが、ＣＰＵ７を設ける代わりにＣＰＵ４または５がその空き時間にシステム基本処理を行うように構成してもよい。

図３に示す並列処理は、見方を変えると、図４に示すように、奇数フィールドの処理と偶数フィールドの処理を交互に繰り返すことで実現される。図中のレンダリングＲ１、Ｒ２、Ｒ３、Ｒ４・・・は、図３に示す事前処理Ｓ１、レンダリング処理Ｓ２、フレームバッファ取得処理Ｓ３の各処理を一つのブロックとしてまとめたものである。同様に、合成送出処理Ｃ１、Ｃ２、Ｃ３・・・は、図３中の合成事前処理Ｓ５、転送処理、フレーム合成処理Ｓ６の各処理を一つのブロックとしてまとめたものである。

経時方向に従って説明すると、先ず、３次元グラフィックアクセラレータ１側で第１の偶数フィールドＦ２のためのレンダリングＲ１が開始される。このレンダリングＲ１が終了した時点ではスーパーインポーザ２が送出すべき画面は準備されていないため、第１の奇数フィールドＦ１は予めクリアされた状態のブランク画面として送出される。レンダリングＲ１に続いて、第２の奇数フィールドＦ３のためのレンダリングＲ２が開始されると共に、スーパーインポーザ２側では第１の偶数フィールドＦ２のための合成送出処理Ｃ１が開始される。レンダリングＲ２が終了したとき、合成送出処理Ｃ１にて処理された放送用の第１の偶数フィールドＦ２が送出される。この奇数フィールドと偶数フィールドの処理を順次繰り返し行うことで、第２の奇数フィールドＦ３、第２の偶数フィールドＦ４、第３の奇数フィールドＦ５、・・・と順々に送出されていくことになる。

このような並列動作を行う場合、レンダリング処理後にシステムメモリに転送する際と合成事前処理としてスーパーインポーザにシステムメモリから転送する際に同じメモリ空間を指定してしまうと読み書き処理が衝突してしまうので、奇数フィールド処理と偶数フィールド処理とで使用するメモリバンクを切り替えて使用するべきである。図５はこの目的を遂行するためのより実際的な処理の流れを示すもので、フラグ８はこのメモリバンクを切り替えるためのフラグであり、偶数フィールド処理ではメモリバンク３Ａを、奇数フィールド処理ではメモリバンク３Ｂをそれぞれ参照するように機能する。フラグ８の切り替えはスーパーインポーザ２が入力する放送信号に基づいて行われる。

より詳細には、図６に示すように、初期化Ｓ１０において、フラグ８（図４参照）を０にクリアしておき、送出に必要な解像度分を確保したシステムメモリを２バンク分準備して空白状態に初期化しておく。外部操作Ｓ１１によってオペレータの操作情報を入力し、レンダリング事前処理Ｓ１２で反映させる。これは、例えば、テロップとして表示される内容の変更や表示位置をずらす等の処理がある。レンダリングＳ１３では、３次元グラフィックアクセラレータ１で３次元コンピュータ画像をレンダリングし、レンダリングされた画像を条件分岐Ｓ１４の条件に基づいてシステムメモリバンク３Ａまたは３Ｂへ転送する（Ｓ１５ａまたはＳ１５ｂ）。その後、許可処理Ｓ１６の結果を待って条件分岐Ｓ１７の条件に基づいた次のフレームのレンダリングを開始するかどうかを決定する。これらの処理はＣＰＵの１つによって制御される。許可処理Ｓ１６の結果は、後述するに示すスーパーインポーザ２側の処理から得られるものであり、レンダリング側の処理がスーパーインポーザ側の合成送出処理よりも先走らないようにするための防護措置である。許可が得られると、再び外部操作Ｓ１１、レンダリング事前処理Ｓ１２の処理へと戻る。もし外部操作Ｓ１１においてシステム停止処理が行われた場合は、速やかに終了処理をおこないループから抜け出すことにより安全に停止できる。

図６に示す３次元グラフィックアクセラレータ１側のレンダリング処理の開始と同時に、図７に示すスーパーインポーザ２側の合成送出処理をもう一つのＣＰＵで開始させる。スーパーインポーザ側では、先ず、外部からの放送信号の割り込みを待つ処理Ｓ２０を実行する。割り込み信号を受信すると、フラグ８（図４参照）の状態に基づいて（Ｓ２１）システムメモリバンク３Ａまたは３Ｂからレンダリングした３次元コンピュータ画像データを取得する（Ｓ２２ａまたはＳ２２ｂ）。このとき、フラグのセットＳ２３ａ、Ｓ２３ｂに示されたフラグ反転処理を行い、次に使用するシステムメモリバンクの切り替えを行う。次いで、図６のレンダリング続行許可待ち処理Ｓ１７に対して続行を許可するため許可処理Ｓ２４を発行する。これにより、後続の画像合成処理Ｓ２５と送出処理Ｓ２６と並行に、図６の一連のレンダリング処理が同調して動作することになり、図２に示した並列動作処理を完全に同期しながら実現することができる。

一方、図３に示されたＣＰＵ７を用いて行うＯＳ等の基本処理に関しては、図６のレンダリング続行許可待ち処理Ｓ１７の間か、図７の放送信号を待つ処理Ｓ２０の間のいずれかの最中に行うことが可能であり、ＣＰＵ７の代用としてＣＰＵ４またはＣＰＵ５の空き時間を利用できる。この動作はＯＳによって自動的に選択使用されることになる。

リアルタイムに３次元コンピュータ画像をスーパーインポーズするために必要な処理を説明するための模式図である。 本発明の実施の形態による装置構成を示すブロック図である。 図２に示す装置構成において必要な処理の流れを示す模式図である。 本発明の実施の形態におけるフィールド送出と処理の関係を時間順に並べたタイムチャートである。 本発明の実施の形態におけるレンダリング画像をフィールド毎に転送する方法を表したブロック図である。 本発明の実施の形態における３次元画像のレンダリングを担当するＣＰＵのフローチャートである。 本発明の実施の形態における合成送出を担当するＣＰＵのフローチャートである。

符号の説明

１ ３次元グラフィックアクセラレータ
２ スーパーインポーザ
３ システムメモリ
３Ａ、３Ｂ メモリバンク
４、５、７ ＣＰＵ（またはＭＰＵ）
６ ディスプレイモニタ
８ フラグ
Ｃ１、Ｃ２、Ｃ３ 合成送出処理
Ｆ１ 第１の奇数フィールド
Ｆ２ 第１の偶数フィールド
Ｆ３ 第２の奇数フィールド
Ｆ４ 第２の偶数フィールド
Ｆ５ 第３の奇数フィールド
Ｒ１、Ｒ２、Ｒ３、Ｒ４ レンダリング
Ｔ 制限時間

Claims (5)

1. ３次元コンピュータ画像データをレンダリングして３次元コンピュータ画像を作成するための汎用の３次元グラフィックアクセラレータと、前記３次元グラフィックアクセラレータにより作成された３次元コンピュータ画像を放送信号と合成して３次元コンピュータ画像が放送画面上にテロップとしてスーパーインポーズされた送出用放送映像を作成するためのスーパーインポーザとを有し、
   前記３次元グラフィックアクセラレータおよびスーパーインポーザは並列動作するように構成され、
   前記３次元グラフィックアクセラレータは、放送用画像の１フレーム時間内に、１フレーム分の３次元コンピュータ画像をレンダリングして第１と第２のフレームメモリのうち前フレーム時間内に３次元コンピュータ画像を記憶しなかったフレームメモリに記憶し、かつ、前記第１と第２のフレームメモリのうち前フレーム時間内に３次元コンピュータ画像を記憶したフレームメモリから前記前フレーム時間内に記憶した３次元コンピュータ画像を取得してシステムメモリに転送し、
   前記スーパーインポーザは、前記放送用画像の１フレーム時間内に、前記システムメモリから前フレーム時間内にレンダリングされた３次元コンピュータ画像を取得し、かつ、前記放送信号から１フレームを取得し、当該放送信号の１フレームに対して前記前フレーム時間内にレンダリングされた３次元コンピュータ画像をスーパーインポーズして送出用放送映像を作成して送出することを特徴とする３次元コンピュータ画像放送用テロップ装置。
2. 前記３次元グラフィックアクセラレータは３次元コンピュータ画像を高速に処理する機能を有しているがＴＶ放送用途で設計されていない汎用のグラフィックアクセラレータボードであり、前記スーパーインポーザはフレームメモリに書き込まれた３次元コンピュータ画像データをＴＶ放送用途で合成出力できる機能を有しているが３次元コンピュータ画像を高速に処理する機能を有していないスーパーインポーザボードであることを特徴とする請求項１に記載の３次元コンピュータ画像放送用テロップ装置。
3. 前記グラフィックアクセラレータボードおよびスーパーインポーザボードは少なくとも２つのＣＰＵまたは１つのＭＰＵを備えた汎用の小型コンピュータに装着されていることを特徴とする請求項２に記載の３次元コンピュータ画像放送用テロップ装置。
4. 並列動作する３次元グラフィックアクセラレータおよびスーパーインポーザを用いて、
   前記３次元グラフィックアクセラレータにて、放送用画像の１フレーム時間内に、１フレーム分の３次元コンピュータ画像をレンダリングして第１と第２のフレームメモリのうち前フレーム時間内に３次元コンピュータ画像を記憶しなかったフレームメモリに記憶し、かつ、前記第１と第２のフレームメモリのうち前フレーム時間内に３次元コンピュータ画像を記憶したフレームメモリから前記前フレーム時間内に記憶した３次元コンピュータ画像を取得してシステムメモリに転送し、
   前記スーパーインポーザにて、前記放送用画像の１フレーム時間内に、前記システムメモリから前フレーム時間内にレンダリングされた３次元コンピュータ画像を取得し、かつ、前記放送信号から１フレームを取得し、当該放送信号の１フレームに対して前記前フレーム時間内にレンダリングされた３次元コンピュータ画像をスーパーインポーズして送出用放送映像を作成して送出することを特徴とする３次元コンピュータ画像を放送用テロップとして送出する方法。
5. 前記３次元グラフィックアクセラレータにより、外部操作にて入力された外部情報をもとに表示する内容および表示図形形状の変更または動き（モーション）をリアルタイムに変更する３次元コンピュータ画像をレンダリングすることを特徴とする請求項４に記載の３次元コンピュータ画像を放送用テロップとして送出する方法。

Images