JP4529633B2 - ビデオ合成装置及び方法 - Google Patents

Description

本発明はビデオ合成装置及び方法に関し、特に、航空管制などの分野においてレーダ画像（実時間画像）とグラフィック画像（文字、図形又はこれらの組み合わせ画像）を合成して表示するビデオ合成装置及び方法に関する。

従来、特許文献１には、複数の画像を1つの表示装置上で合成するため、一方の種類の画像の1フレーム（若しくはフィールド）又は１走査線を表示させ、続いて他方の画像の１フレーム（若しくはフィールド）又は１走査線を表示することが開示されている。

また、特許文献２には、複数の画像を画素単位で合成することが開示されている。レーダ画像と、図形や文字のシンボル画像とを、画素単位で論理和により合成すると、合成結果の色が、どちらか一方の画像と同色となるか、又は、どちらとも異なった色となる。そのため、合成結果の色具合によっては、シンボル画像（又はレーダ画像）が虫食い状態となる。そこで、特許文献２では、レーダ画像とシンボル画像の輝度レベルを比較し、輝度レベルの高い方の画像部分を表示装置に出力し、低い部分は出力しない。

実開昭５９−１６８７８７号公報（第1図、第５ページ） 特開平２−１９６９７９号公報（第1図、第４ページ）

しかし、シンボル、マップ、背景などのグラフィック画像の中に、レーダビデオやプロットなどのレーダ画像を合成するとき、グラフィック画像の中には、レーダ画像の輝度に関わらず、常に表示すべきシンボルなどもある。また、グラフィック画像の中には、レーダ画像の輝度に応じて、いずれかを優先表示させたいもの、例えば、マップなどがある。また、レーダ画像が低輝度であっても、背景などのグラフィック画像より、レーダ画像を表示したい場合もある。このように、グラフィック画像とレーダ画像の表示の重要度は、重畳する画像部分に応じて異なる。

これに対して、特許文献１では、グラフィック画像とレーダ画像の画素毎の表示の重要度に応じたビデオ合成を行うことができない。

また、航空管制においては、レーダ情報の更新ごとの動的変化を識別できるようにするために、その表示輝度を一定の割合で下げて更新数回前までの情報を表示する機能を持たせることが好ましいが、そのためには、低輝度のレーダ情報であっても表示し、しかも、過度に目立つ表示となってはならない。

これに対して、特許文献１では、グラフィック画像とレーダ画像の輝度を一律に比較するだけであるため、低輝度情報は選択されず、上述したようなレーダ情報の動的変化をディスプレイ上で識別することはできない。

そこで、本発明は、グラフィック画像とレーダ画像の表示の重要度に応じて画像合成を行うことを目的とする。特に、本発明は、レーダ画像の更新ごとの動的変化を多色塗りつぶしグラフィック画像上に表示することを目的とする。

前述の課題を解決するため本発明のビデオ合成装置及び方法は次のような特徴的な構成を採用している。

（１）実時間画像表示信号と、文字、図形又はこれらの組み合わせであるグラフィック画像表示信号とを合成するビデオ合成装置において、
前記グラフィック画像表示信号の画素毎に、前記グラフィック画像表示信号が表示する文字、図形又はこれらの組み合わせに対応する画素に対して所定段階の表示優先度を付与する表示優先度付与部と、
前記グラフィック画像表示信号の画素毎に前記表示優先度を抽出する表示優先度判別部と、
前記グラフィック画像表示信号の画素毎に輝度を計算するグラフィック輝度生成部と、
前記実時間画像表示信号の画素毎に輝度を計算する実時間画像輝度生成部と、
前記表示優先度判別部から出力される画素毎の前記優先度、前記グラフィック輝度生成部から出力される前記グラフィック画像表示信号の画素毎の前記輝度及び前記実時間画像輝度生成部から出力される前記実時間画像表示信号の画素毎の前記輝度に基づき前記画素の表示優先順位を決定する比較処理部とを備え、
前記グラフィック画像表示信号の画素のデータは、赤、緑及び青の所定ビットの色データを含み、前記表示優先度付与部は、前記青色データの所定の下位ビットに対して、前記表示優先度を付与するビデオ合成装置。

（２）前記表示優先度は、高表示優先度、中表示優先度及び低表示優先度であり、
前記比較処理部は、前記グラフィック画像表示信号の画素の表示優先度が高表示優先度である場合には、前記実時間画像表示信号の輝度に関わらず前記グラフィック画像表示信号の画素を優先とする上記（１）のビデオ合成装置。

（３）前記比較処理部は、前記グラフィック画像表示信号の画素の表示優先度が中表示優先度である場合には、
前記グラフィック画像表示信号の画素の輝度Ａと、前記実時間画像表示信号の画素の輝度Ｂとを比較し、
前記輝度Ｂが前記輝度Ａ以下である場合は前記グラフィック画像表示信号の画素を優先し、前記輝度Ｂが前記輝度Ａを越える場合は前記実時間画像表示信号の画素を優先する上記（２）のビデオ合成装置。

（４）前記比較処理部は、前記グラフィック画像表示信号の画素の表示優先度が低表示優先度である場合には、
前記実時間画像表示信号の画素の輝度がゼロであるならば前記グラフィック画像表示信号の画素を優先とし、前記実時間画像表示信号の画素がゼロでないならば前記実時間画像表示信号の画素を優先する上記（２）又は（３）の何れかのビデオ合成装置。

（５）画素毎に表示優先度を有するグラフィック画像表示信号と、実時間画像表示信号とを合成するビデオ合成方法において、
前記グラフィック画像表示信号の画素毎に、前記グラフィック画像表示信号が表示すべき文字、図形又はこれらの組み合わせに対応する画素に対して所定段階の表示優先度を付与するステップと、
前記表示優先度と前記グラフィック画像表示信号及び前記実時間画像表示信号の輝度とに基づいて画素の表示優先順位を決定するステップと、
前記決定された表示優先順位に基づいて表示すべき画素を前記グラフィック画像表示信号又は前記実時間画像表示信号の何れかから選択するステップと
を備えるビデオ合成方法。

（６）前記表示優先度は、高表示優先度、中表示優先度及び低表示優先度であり、
前記グラフィック画像表示信号の画素毎の前記表示優先度及び輝度と、前記実時間画像表示信号の画素毎の輝度とに基づいて、表示すべき画素を選択する上記（５）のビデオ合成方法。

（７）前記グラフィック画像表示信号の画素の表示優先度が高表示優先度である場合には、
前記実時間画像表示信号の輝度に関わらず、前記グラフィック画像表示信号の画素を選択する上記（６）のビデオ合成方法。

（８）前記グラフィック画像表示信号の画素の表示優先度が中表示優先度である場合には、
前記グラフィック画像表示信号の画素の輝度Ａと、前記実時間画像表示信号の画素の輝度Ｂとを比較し、
前記輝度Ｂの方が前記輝度Ａ以下である場合は前記グラフィック画像表示信号の画素を選択し、前記輝度Ｂが前記輝度Ａを越える場合は前記実時間画像表示信号の画素を選択する上記（６）又は（７）の何れかのビデオ合成方法。

（９）前記グラフィック画像表示信号の画素の表示優先度が低表示優先度である場合には、
前記実時間画像表示信号の画素の輝度がゼロであるならば前記グラフィック画像表示信号の画素を選択し、前記実時間画像表示信号の画素の輝度がゼロでないならば前記実時間画像表示信号の画素を選択する上記（６）乃至（８）の何れかのビデオ合成方法。

本発明によれば、グラフィック画像とレーダ画像の表示の重要度に応じて画像合成を行うことができる。特に、本発明によれば、レーダ画像の更新ごとの動的変化を、過去に遡るほどレーダ画像を低輝度にして多色塗りつぶしグラフィック画像上に表示することができる。

具体的には、マンセル表色系などに基づく単純クロマキー方式のビデオ合成では従来実現不可能であった２入力の重み付けを考慮したビデオ合成機能を実現することができる。

また、レーダビデオデータを合成表示する表示装置は従来専用ハードウェアで構成され高価な装置であったが、合成機能だけを専用ハードウェアとし、その入出力インタフェース規格をＰＣ（パーソナルコンピュータ）などの世界で標準的なＤＶＩ(digital visual interface)などとすることで、画像生成部分はコンシューマ品のＰＣを採用することが可能となり、安価に表示装置を実現することができ、ＯＳ（オペレーティングシステム）の種類に左右されることもない。

更に、表示オブジェクトが多数あり、更新頻度が高いなどの理由により、表示負荷が重いが、これに対応するため、２台の別々のＰＣ等で並列処理を行う構成が可能となる。
さらに、入力Ｉ／Ｆ端子を増設するだけで３以上の表示信号を入力し、３台以上のＰＣなどからの表示信号を合成することが同期制御により可能であるため、合成表示処理能力を容易に拡張することができる。

本発明の実施例では、グラフィック情報の内容に応じて優先度を付与し、さらに、グラフィック画像とレーダ画像の内容に応じてビデオ信号輝度を比較し、優先度と輝度比較結果の双方に基づいて、各内容に表示優先順位を決定し、ビデオ合成を行う。具体的には、高位表示優先順位のグラフィック信号が低位表示順位のレーダビデオ信号に重畳するときは、レーダ画像を表示しないようにする。さらに、背景などのグラフィック画像を必ずしも表示する必要がないときは、低輝度レーダ画像を表示する。特に、レーダ画像の更新ごとの動的変化を認識しやすくするために、過去に遡るほどレーダ画像を低輝度にして多色塗りつぶしグラフィック画像上に表示する。但し、レーダ画像がないときは、背景などのグラフィック画像を表示する。

図１は、本発明の一実施例を示すビデオ合成装置のブロック図である。
ビデオ合成装置１は、グラフィックを表示するための表示信号1を入力する入力Ｉ／Ｆ１０２と、入力Ｉ／Ｆ１０２の出力を入力するフレームメモリＡ１０３と、フレームメモリＡ１０３の出力に基づいて表示信号1の表示の優先度を判定する優先度判定部１０６と、フレームメモリＡの出力に基づいて表示信号1の輝度を算出する輝度生成部Ａ１０７とを含む。

一方、レーダビデオ信号である表示信号２を入力する入力Ｉ／Ｆ１１２と、入力Ｉ／Ｆ１１２の出力を入力するフレームメモリＢ１０４と、フレームメモリＢ１０４の出力に基づいて表示信号２の輝度を算出する輝度生成部Ｂ１０８とを含む。

優先度判定部１０６、輝度生成部Ａ１０７、輝度生成部Ｂ１０８の出力は、比較処理部１０９に入力され、これらの入力に基づいて表示優先順位が決定される。比較処理部１０９の出力、フレームメモリＡ１０３の出力、フレームメモリＢ１０４の出力は、画素選択部１１０に入力され、出力Ｉ／Ｆ１１１を介して合成表示信号３として出力される。

このように、比較処理部１０９は、優先度判定部１０６が出力する優先度（グラフィック画像における画素を表示する優先度）、輝度生成部Ａ１０７、輝度生成部Ｂ１０８が、それぞれ出力する、グラフィック画像及びレーダビデオ画像の輝度とに基づいて、２つの表示信号１、２のどちらかを選択して出力する。

次に、各構成要素について説明する。
入力Ｉ／Ｆ１０２、１１２は、別々のＰＣ（パーソナルコンピュータ）などから出力されたＤＶＩ（digital visual interface）規格などによる表示信号１、２を受け、内部処理に適した形に変換を行う。ＤＶＩは、デジタルディスプレイとＰＣ（パーソナルコンピュータ）をインタフェースする規格であり、ＤＤＷＧ（digitaldisplay working group）による国際標準規格である。入力Ｉ／Ｆ１０２、１１２の出力は、メモリ制御部１０５の制御を受けたフレームメモリＡ１０３及びＢ１０４にそれぞれ書き込まれる。また、入力Ｉ／Ｆ１０２は表示信号１、２から、同期信号１、２を抽出しメモリ制御部１０５へ出力する。

メモリ制御部１０５は、フレームメモリＡ１０３及びフレームメモリＢ１０４の書き込み及び読み出し制御を行う。読み出しにおいてメモリ制御部１０５は、同期信号１、２、及びメモリ制御部１０５内部で生成した同期信号のうち、予め設定された同期信号に同期して、フレームメモリＡ１０３及びフレームメモリＢ１０４から同時に読み出しを行う。

フレームメモリＡ１０３及びフレームメモリＢ１０４は、書き込みと読み出しが独立したタイミングで実施できるようにし、また、このときメモリ制御部１０５は、フレームメモリへの書込みにおいて、ダブルバッファ構成のうちの読み出されていないもう片方のバッファに書込みを行うようフレームメモリを制御する。

優先度判定部１０６は、表示信号１の画素データを高、中、低の３つの優先度情報として判別する。ここに、優先度は、前記グラフィック表示信号が表示すべき文字若しくは図形またはこれらの組み合わせに応じて予め定めておく。

高優先度情報は合成表示において表示信号２の画素データに関わらずに常に表示される画素である。中優先度情報は表示信号２の画素データと輝度比較して優先度を決める対象となる画素である。低優先度情報は合成表示において最下位となる画素である。優先度は、表示信号１の画素データのうち予め設定した数ビットに書き込んでおき、優先度判定部１０６は、フレームメモリＡ１０３から読み出された画素データから該当ビットを抽出し、比較処理部１０９に通知する。

輝度生成部Ａ１０７は、フレームメモリＡ１０３から読み出された画素データから、赤Ｒ、緑Ｇ、青Ｂの各色データから輝度を計算し、比較処理部１０９へ通知する。

輝度生成部Ｂ１０８は、フレームメモリＢ１０４から読み出された画素データから、上記と同様に輝度を生成し、比較処理部１０９へ通知する。

比較処理部１０９は、優先度判定部１０６から通知された情報に基づき、輝度生成部Ａ１０７と輝度生成部Ｂ１０８が出力する輝度を比較して、画素選択部１１０に対してフレームメモリＡ１０３かフレームメモリＢ１０４かのどちらのフレームメモリから読み出された画素データを選択出力するか通知する。

選択出力については、高優先度情報の場合は、最優先にフレームメモリＡ１０３の画素データを選択する。中優先度情報の場合は、輝度生成部Ａ１０７が生成した輝度Ａと、輝度生成部Ｂ１０８が生成した輝度Ｂとを比較しＡ≧ＢのときはＡ側の表示信号１を、Ａ＜ＢのときはＢ側の表示信号２の画素データを選択する。低優先度情報の場合は、輝度Ｂが０でなければＢ側、０のときはＡ側の画素データを選択する。なお、選択処理は、同期された２つの表示信号の画素毎に行われる。

出力Ｉ／Ｆ１１１は画素選択部１１０から選択出力される画素データをＤＶＩ信号に変換して、合成表示信号３を出力する。

さらに、動的変化付与部１１３は、例えば、表示信号1中の航空機などの被写体の軌跡に対して、過去に遡るほど、当該被写体の輝度を低くするような処理を行う。また、優先度付与部１０１は、所定の基準に従って表示信号１への優先度の付与を行う。

図２は、本発明の実施例における表示信号の処理を示すタイムシーケンス図である。表示信号１は、シンボル、マップなどグラフィック画像が描画されたグラフィック画像とし、表示信号２はレーダビデオ、プロットなどが描画されたレーダ画像とする。

先ず、ビデオ合成装置１は、優先度判定処理として、入力された表示信号１の画素データを高、中、低の３つの優先度情報として分類する。この優先度情報はグラフィック画像の各グラフィック要素に対して付与されるものであり、優先度判定部１０６は、表示情報１の画素データの中から優先度情報を表すビットを抽出し、比較処理部１０９に通知する。優先度については、例えば、シンボルなどに高優先度を付与し、マップなどに中優先度を付与し、背景などに低優先度を付与する。

次に、輝度比較処理として、中優先度や低優先度のグラフィック情報の輝度、レーダビデオやプロットなどのレーダ情報の輝度を順位付けする。順位付けは、例えば、高位のものから順に、レーダビデオの一部、プロットの一部を高輝度情報とし、マップなど中優先度情報を中輝度情報とし、レーダビデオの残部、プロットの残部を低輝度情報として分類してもよい。

更に、優先度及び輝度順位に基づいて、各表示画素の表示優先順位が比較処理部１０９により決定される。表示順位の決定についは、高位のものから順に、例えば、シンボルなどの高優先度情報、レーダビデオの一部やプロットの一部などの高輝度情報、マップなど中優先度情報の中輝度情報、レーダビデオの残部やプロットの残部を低輝度情報としてもよい。

ここで、優先度情報について説明すると、表示信号１には予め設定した数ビット、例えば画素データである赤、緑、青色の各８ビットのうち輝度への影響度が緑や赤に対して低い青色の下位２ビットに対して、描画データの優先度情報が書き込まれるように画素データを描画生成しておく。

表示信号１への優先度の付与は優先度付与部１０１が行う。優先度判定部１０６は、この優先度情報をデコードし、フレームメモリＡ１０３から読み出された画素データの優先度を比較処理部１０９に通知する。

また、輝度情報について説明すると、輝度生成部Ａ１０７及びＢ１０８はそれぞれ、フレームメモリＡ１０３またはフレームメモリＢ１０４から読み出された画素データから輝度を計算し、比較処理部１０９へ通知する。輝度Ｅｙの計算は、例えばＮＴＳＣ（national television system committee） によって規定されている下式、
Ｅｙ＝０．３０Ｅｒ＋０．５９Ｅｇ＋０．１１Ｅｂ
（Ｅｙ：輝度値の電圧、Ｅｒ：赤色信号の電圧、Ｅｇ：緑色信号の電圧、Ｅｂ：青色信号の電圧）に基づく。

図３は、本発明の実施例における比較処理部１０９における表示優先順位決定処理のフローチャートである。

先ず、優先度判定部１０６から出力された優先度が高優先度である場合（ステップＳ１：ＹＥＳ）、フレームメモリＢ１０４から読み出された画素データＢに関わらず、フレームメモリＡから読み出された画素データＡを選択する（ステップＳ２）。

優先度が中優先度である場合（ステップＳ３：ＹＥＳ）、画素データＡから計算された輝度Ａと、画素データＢから計算された輝度Ｂとを比較し（ステップＳ４）、輝度Ｂの方が小さい場合（Ａ≧Ｂ）は画素データＢを目立たせないようにするため、画素データＡを選択する（ステップＳ５）。これにより、画素Ｂは表示されない。一方、輝度Ｂの方が大きい場合（Ａ＜Ｂ）は画素データＢを表示させるために選択する（ステップＳ６）。

優先度が低優先度である場合（高優先度でも、中優先度でもない場合）、輝度Ｂが０のとき（画素データＢのデータがないとき（ステップＳ７：ＹＥＳ））は画素データＡを選択する（ステップＳ８）。一方、輝度Ｂが０でないとき、即ち画素データＢのデータが存在するときは（ステップＳ７：ＮＯ）画素データＢを選択する（ステップＳ９）。

以上、レーダ画像を例としたビデオ合成について説明したが、本発明はこれに限定されるものではない。カメラで撮影する車両の交通状況や船舶の航行状況、その他の実時間画像をグラフィック画像上に合成することにも、本発明を適用することができる。

本発明の実施例によるビデオ合成装置のブロック図である。 本発明の実施例における表示信号の優先度、輝度順位に基づいて、表示優先順位を決定するタイムシーケンスである。 本発明の実施例におけるビデオ合成方法のフローチャートである。

符号の説明

１０１ 優先度付与部
１０２、１１２ 入力Ｉ／Ｆ
１０３ フレームメモリＡ（グラフィック画像用）
１０４ フレームメモリＢ（レーダ画像用）
１０５ メモリ制御部
１０６ 優先度判定部
１０７ 輝度生成部Ａ
１０８ 輝度生成部Ｂ
１０９ 比較処理部
１１０ 画素選択部
１１１ 出力Ｉ／Ｆ
１１３ 動的変化付与部

Claims (9)

1. 実時間画像表示信号と、文字、図形又はこれらの組み合わせであるグラフィック画像表示信号とを合成するビデオ合成装置において、
   前記グラフィック画像表示信号の画素毎に、前記グラフィック画像表示信号が表示する文字、図形又はこれらの組み合わせに対応する画素に対して所定段階の表示優先度を付与する表示優先度付与部と、
   前記グラフィック画像表示信号の画素毎に前記表示優先度を抽出する表示優先度判別部と、
   前記グラフィック画像表示信号の画素毎に輝度を計算するグラフィック輝度生成部と、
   前記実時間画像表示信号の画素毎に輝度を計算する実時間画像輝度生成部と、
   前記表示優先度判別部から出力される画素毎の前記優先度、前記グラフィック輝度生成部から出力される前記グラフィック画像表示信号の画素毎の前記輝度及び前記実時間画像輝度生成部から出力される前記実時間画像表示信号の画素毎の前記輝度に基づき前記画素の表示優先順位を決定する比較処理部とを備え、
   前記グラフィック画像表示信号の画素のデータは、赤、緑及び青の所定ビットの色データを含み、前記表示優先度付与部は、前記青色データの所定の下位ビットに対して、前記表示優先度を付与することを特徴とするビデオ合成装置。
2. 前記表示優先度は、高表示優先度、中表示優先度及び低表示優先度であり、
   前記比較処理部は、前記グラフィック画像表示信号の画素の表示優先度が高表示優先度である場合には、前記実時間画像表示信号の輝度に関わらず前記グラフィック画像表示信号の画素を優先とすることを特徴とする請求項１に記載のビデオ合成装置。
3. 前記比較処理部は、前記グラフィック画像表示信号の画素の表示優先度が中表示優先度である場合には、
   前記グラフィック画像表示信号の画素の輝度Ａと、前記実時間画像表示信号の画素の輝度Ｂとを比較し、
   前記輝度Ｂが前記輝度Ａ以下である場合は前記グラフィック画像表示信号の画素を優先し、前記輝度Ｂが前記輝度Ａを越える場合は前記実時間画像表示信号の画素を優先することを特徴とする請求項２に記載のビデオ合成装置。
4. 前記比較処理部は、前記グラフィック画像表示信号の画素の表示優先度が低表示優先度である場合には、
   前記実時間画像表示信号の画素の輝度がゼロであるならば前記グラフィック画像表示信号の画素を優先とし、前記実時間画像表示信号の画素がゼロでないならば前記実時間画像表示信号の画素を優先することを特徴とする請求項２又は３の何れかに記載のビデオ合成装置。
5. 画素毎に表示優先度を有するグラフィック画像表示信号と、実時間画像表示信号とを合成するビデオ合成方法において、
   前記グラフィック画像表示信号の画素毎に、前記グラフィック画像表示信号が表示すべき文字、図形又はこれらの組み合わせに対応する画素に対して所定段階の表示優先度を付与するステップと、
   前記表示優先度と前記グラフィック画像表示信号及び前記実時間画像表示信号の輝度とに基づいて画素の表示優先順位を決定するステップと、
   前記決定された表示優先順位に基づいて表示すべき画素を前記グラフィック画像表示信号又は前記実時間画像表示信号の何れかから選択するステップと
   を備えることを特徴とするビデオ合成方法。
6. 前記表示優先度は、高表示優先度、中表示優先度及び低表示優先度であり、
   前記グラフィック画像表示信号の画素毎の前記表示優先度及び輝度と、前記実時間画像表示信号の画素毎の輝度とに基づいて、表示すべき画素を選択することを特徴とする請求項５に記載のビデオ合成方法。
7. 前記グラフィック画像表示信号の画素の表示優先度が高表示優先度である場合には、
   前記実時間画像表示信号の輝度に関わらず、前記グラフィック画像表示信号の画素を選択することを特徴とする請求項６に記載のビデオ合成方法。
8. 前記グラフィック画像表示信号の画素の表示優先度が中表示優先度である場合には、
   前記グラフィック画像表示信号の画素の輝度Ａと、前記実時間画像表示信号の画素の輝度Ｂとを比較し、
   前記輝度Ｂの方が前記輝度Ａ以下である場合は前記グラフィック画像表示信号の画素を選択し、前記輝度Ｂが前記輝度Ａを越える場合は前記実時間画像表示信号の画素を選択することを特徴とする請求項６又は７の何れかに記載のビデオ合成方法。
9. 前記グラフィック画像表示信号の画素の表示優先度が低表示優先度である場合には、
   前記実時間画像表示信号の画素の輝度がゼロであるならば前記グラフィック画像表示信号の画素を選択し、前記実時間画像表示信号の画素の輝度がゼロでないならば前記実時間画像表示信号の画素を選択することを特徴とする請求項６乃至８の何れかに記載のビデオ合成方法。

Images