JPH07287775A - ３次元映像表示方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 容易に３次元ＣＧ上に動画像を３次元的に整
合させて合成することができ、その合成を実時間で行え
る３次元映像表示方法および装置を提供する。 【構成】 入力部から入力し、サンプリング部でサンプ
リングした動画像（ｐ）から、切出し部により使用する
大きさで画像（ａ）を切り出す。この切り出した画像
（ａ）の縦横を、画像変換部で動画像を合成する３次元
ＣＧのオブジェクト（ｃ）の３次元形状に外接する方形
に圧縮、伸長する。この圧縮、伸長した画像（ｂ）と３
次元変換後の上記オブジェクト（ｃ）をＣＧビデオ合成
部で合成するいう簡単な処理で合成映像（ｄ）を得る。
上記の圧縮、伸長の処理により、動画像と３次元ＣＧを
視覚的に整合させる。また、このような簡単な処理の採
用により、フレームレートでの合成を行えるようにし
て、実時間で動画像と３次元ＣＧの合成が行えるように
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像と３次元コンピ
ュータグラフィックスを合成する３次元映像表示方法お
よび装置に関するものである。

【０００２】

【従来の技術】従来、動画像とコンピュータグラフィッ
クス（以下、ＣＧと記す）を合成するには、ピクチャイ
ンを使い、ＣＧ画面の一部に定型の形のビデオをはめ込
む方法が取られていた。

【０００３】

【発明が解決しようとする課題】しかし、上記従来のピ
クチャインによるはめ込み方法では、３次元ＣＧ上に動
画像をはめ込む場合、動画像が２次元的にはめ込まれる
ため、３次元ＣＧと動画像との３次元的な整合性すなわ
ち斜視的な整合性がとれず、違和感のある不自然な画像
となる問題点があった。また、実時間で、３次元ＣＧへ
の動画像のはめ込を行うことは困難であった。

【０００４】本発明は、上記問題を解決するためになさ
れたものであり、その目的は、容易に３次元ＣＧ上に動
画像を３次元的に整合させて合成することができ、ま
た、実時間で合成することのできる３次元映像表示方法
および装置を提供することにある。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、請求項１の発明では、動画像と３次元コンピュータ
グラフィックスを合成する方法であって、３次元コンピ
ュータグラフィックスを生成し、動画像を合成する３次
元変換後のオブジェクトに外接する方形を求める過程
と、動画像を入力し、サンプリングした後、使用する大
きさで画像を切り取る過程と、前記切り取った画像を前
記方形に圧縮または伸長する過程と、前記圧縮または伸
長した画像と前記３次元変換後のオブジェクトを合成す
る過程と、を有する３次元映像表示方法を手段とする。

【０００６】また、請求項２の発明では、上記の方法に
おいて、動画像を入力し、サンプリングした後、使用す
る大きさで画像を切り取る過程で、３次元変換前のオブ
ジェクトの大きさに対応する大きさで前記切り取りを行
うこととする。

【０００７】また、請求項３の発明では、動画像と３次
元コンピュータグラフィックスを合成する装置であっ
て、３次元コンピュータグラフィックスを生成し動画像
を合成する３次元変換後のオブジェクトの座標ｘ，ｙの
最大値ｘｍａｘ，ｙｍａｘおよび最低値ｘｍｉｎ，ｙｍ
ｉｎを求める３次元生成手段と、動画像を入力してサン
プリングする動画像入力手段と、前記サンプリングした
画像を使用する大きさで切り取る切り取り手段と、前記
３次元生成手段からの最大値ｘｍａｘ，ｙｍａｘおよび
最低値ｘｍｉｎ，ｙｍｉｎに基づいて前記切り取った画
像をｘ軸がｘｍａｘ−ｘｍｉｎ画素、ｙ軸がｙｍａｘ−
ｙｍｉｎ画素になるように縦または横またはそれら両方
を圧縮または伸長する画像変換手段と、前記圧縮または
伸長した画像と前記３次元変換後のオブジェクトを合成
する画像合成手段と、を有すること構成の３次元映像表
示装置を手段とする。

【０００８】さらに、請求項４の発明では、上記の３次
元映像表装置において、画像変換手段が、切り取り手段
によりｕ，ｖの大きさで切り取った画像の座標ｘ′，
ｙ′を小数点以下を切り捨てる関数式 ｘ＝ｉｎｔ（（ｘｍａｘ−ｘｍｉｎ）×ｘ′／ｕ） ｙ＝ｉｎｔ（（ｙｍａｘ−ｙｍｉｎ）×ｙ′／ｖ） を用いて変換した座標ｘ，ｙに前記座標ｘ′，ｙ′の画
素データを用いて前記切り取った画像の圧縮または伸長
を行うものとする。

【０００９】

【作用】本発明では、使用する大きさで切り出した動画
像の縦横を、動画像を合成する３次元ＣＧのオブジェク
トの３次元形状に整合させて圧縮、伸長し、圧縮、伸長
した画像と３次元変換後の上記オブジェクトを組み合わ
せるという簡単な処理で合成映像を得る。この圧縮、伸
長の処理により、動画像と３次元ＣＧを視覚的に整合さ
せる。また、簡単な処理の採用により、フレームレート
での合成を行えるようにして、実時間で動画像と３次元
ＣＧの合成が行えるようにする。

【００１０】

【実施例】以下、本発明の実施例を図面により詳細に説
明する。

【００１１】まず、図１，２により本発明の原理を説明
する。

【００１２】図１は本発明の処理を行う基本的な構成の
装置例を示すブロック図である。図において、１はビデ
オ入力部、２はサンプリング部、３は切取り部、４は画
像変換部、５はＣＧ生成部、６はＣＧビデオ合成部であ
る。

【００１３】図２は動画像と３次元ＣＧの合成の過程を
示す説明図である。図において、（ｐ）は元の動画像、
（ａ）は元の動画像（ｐ）から使用する大きさに切り取
った画像、（ｂ）は画像（ａ）の縦横を伸張、圧縮した
画像、（ｃ）は生成したＣＧの３次元変換後のオブジェ
クト、（ｄ）は合成された３次元映像を示す。

【００１４】ＣＧ生成部５は、３次元ＣＧを生成し、動
画像をはめ込む３次元変換後のオブジェクト（ｃ）の座
標ｘ，ｙの最大値ｘｍａｘ，ｙｍａｘ、最低値ｘｍｉ
ｎ，ｙｍｉｎを画像変換部４に送る。一方、元の動画像
（ｐ）をビデオ入力部１から入力し、Ａ／Ｄ変換された
動画像をサンプリング部２でサンプリングする。切取り
部３は、このサンプリングした動画像を、使用する大き
さｕ×ｖで切り取る。画像変換部４は、その切り取った
画像（ａ）を、ｘ軸がｘｍａｘ−ｘｍｉｎ画素、ｙ軸が
ｙｍａｘ−ｙｍｉｎ画素になるように縦横を伸張、圧縮
する。このように画像変換部４で縦横を変換した画像
（ｂ）と、ＣＧ生成部５で生成したＣＧの３次元変換後
のオブジェクト（ｃ）をＣＧビデオ合成部６で合成し
て、３次元合成映像（ｄ）を得る。これらの一連の過程
を動画像のフレームレートで行う。

【００１５】一般に、２次元画像を３次元的に見る場
合、斜視的に見ることとなり、２次元画像の縦または横
あるいはそれら両方が圧縮あるいは伸長して見える。同
様に３次元ＣＧのオブジェクトも、３次元変換後の表示
では元の形状の縦または横あるいはそれら両方が圧縮あ
るいは伸長して見える。そこで、本発明では、２次元的
な動画像を画像変換によりオブジェクトの３次元変換後
の形状に概ね合わせて圧縮・伸長する。その結果、３次
元ＣＧと動画像の合成画像において、概ね両者の斜視的
な整合性がとれて、違和感のない表示となる。この場
合、動画像の圧縮は画素の間引き等により、伸長は画素
の重複挿入、隣接画素の平均値挿入等により、一般的に
は行うことができる。また、上記の処理は、簡単な処理
であるため、動画像のフレームレートでの合成が可能に
なり、実時間での合成が可能となる。

【００１６】以下、具体的な３次元ＣＧと動画像の合成
の実施例を示す。

【００１７】＜実施例１＞図３は実施例１の処理を実現
する装置のブロック図である。図において、１はビデオ
入力部、２はサンプリング部、３は切取り部、４は画像
変換部、５はＣＧ生成部、６はＣＧビデオ合成部、７−
１，７−２，７−３，７−４はフレームメモリである。

【００１８】図４は動画像と３次元ＣＧの合成の過程を
示す説明図である。図において、（ａ）は元の動画像か
ら使用する大きさに切り取った画像、（ｂ）はその切り
取った画像（ａ）の縦横を伸張、圧縮した画像、（ｃ）
は３次元変換後のオブジェクト、（ｄ）は合成された３
次元映像を示す。本実施例は、３次元変換後、上下が傾
いている平行四辺形に変換されたオブジェクトに動画像
をはめ込む実施例である。

【００１９】動画像をビデオ入力部１から入力し、それ
をサンプリング部２でｍ×ｎ画素にサンプリングし、フ
レームメモリ７−１（フレームメモリ（１））へ入力す
る。ＣＧ生成部５で動画像をはめ込むオブジェクトを内
部の画素の値を０として生成し、動画像をはめ込む３次
元変換後のオブジェクトのｘ，ｙの最大値ｘｍａｘ，ｙ
ｍａｘ、最低値ｘｍｉｎ，ｙｍｉｎを画像変換部４に送
る。切取り部３は、サンプリングしたフレームメモリ７
−１の画像を使用する大きさｕ×ｖで切り取る。切り取
られた画像（ａ）を画像変換部５でｘ軸がｘｍａｘ−ｘ
ｍｉｎ画素、ｙ軸がｙｍａｘ−ｙｍｉｎ画素になるよう
に縦横を伸張、圧縮する。

【００２０】ここで、この圧縮、伸長を行う画像変換ア
ルゴリズムの例を示す。図４はその一例を示す図であ
る。まず、フレームメモリ７−２（フレームメモリ
（２））をクリアし、フレームメモリ７−１における切
り取った画像（ａ）の変換処理開始座標をｘ′＝０、
ｙ′＝０とする。次に、フレームメモリ７−１の座標
（ｘ′，ｙ′）が、変換後の画像を格納するフレームメ
モリ７−２のどの座標（ｘ，ｙ）に対応するかを次式か
ら求める。

【００２１】 ｘ＝ｉｎｔ（（ｘｍａｘ−ｘｍｉｎ）×ｘ′／ｕ）＋ｘ
ｍｉｎ ｙ＝ｉｎｔ（（ｙｍａｘ−ｙｍｉｎ）×ｙ′／ｖ）＋ｙ
ｍｉｎ ただし、ｉｎｔは小数点以下を切り捨てる関数である。
これで、求めたフレームメモリ７−２の（ｘ，ｙ）の座
標に、フレームメモリ７−１の座標（ｘ′，ｙ′）の画
素データを入力する。この処理をｘ′について＋１づつ
増加しながらｘ′＜ｘｍａｘ−ｘｍｉｎである間繰り返
し行い、その繰り返し処理が終了したらｙ′を＋１して
ｘ′＝０から同様に繰り返し行い、ｙ′＜ｙｍａｘ−ｙ
ｍｉｎでなくなったら画像変換処理を終了する。

【００２２】図４に示した画像変換アルゴリズムによ
り、フレームメモリ７−１に入っている画像（ａ）は、
３次元変換後のオブジェクトの形状に概ね整合されて縦
横が圧縮、伸長され、フレームメモリ７−２へ格納され
る。変換された画像（ｂ）の入っているフレームメモリ
７−２と、ＣＧのオブジェクト（ｃ）の入っているフレ
ームメモリ７−３（フレームメモリ（３））を、ＣＧビ
デオ合成部６でオブジェクト部分（画素の値が０の部
分）について論理和をとって合成し、合成映像（ｄ）を
フレームメモリ７−４（フレームメモリ（４））に入れ
る。

【００２３】これらの過程を動画のフレームレートで行
う。

【００２４】＜実施例２＞図５に動画像（ａ）と、３次
元変換後、左右の辺が傾いている平行四辺形に変換され
たオブジェクト（ｃ）を合成する過程を示す。使用する
大きさに切り取った動画像（ａ）を、この平行四辺形の
オブジェクトに外接する（ｘｍａｘ−ｘｍｉｎ）×（ｙ
ｍａｘ−ｙｍｉｎ）の大きさの方形画像（ｂ）に圧縮、
伸長し、３次元変換後のオブジェクト（ｃ）と合成し
て、合成画像（ｄ）を得る。

【００２５】合成の過程における構成と処理は実施例１
と同様である。

【００２６】＜実施例３＞図６に動画像（ａ）と、３次
元変換後、左右の辺が傾いている台形に変換されたオブ
ジェクト（ｃ）を合成する過程を示す。使用する大きさ
に切り取った動画像（ａ）を、この台形のオブジェクト
に外接する（ｘｍａｘ−ｘｍｉｎ）×（ｙｍａｘ−ｙｍ
ｉｎ）の大きさの方形画像（ｂ）に圧縮、伸長し、３次
元変換後のオブジェクト（ｃ）と合成して、合成画像
（ｄ）を得る。

【００２７】合成の過程における構成と処理は実施例１
と同様である。

【００２８】＜実施例４＞図７に動画像（ａ）と、３次
元変換後の不定形のオブジェクト（ｃ）を合成する過程
を示す。使用する大きさに切り取った動画像（ａ）を、
この不定形のオブジェクトに外接する（ｘｍａｘ−ｘｍ
ｉｎ）×（ｙｍａｘ−ｙｍｉｎ）の大きさの方形画像
（ｂ）に圧縮、伸長し、３次元変換後の不定形のオブジ
ェクト（ｃ）と合成して、合成画像（ｄ）を得る。

【００２９】合成の過程における構成と処理は実施例１
と同様である。

【００３０】なお、入力された動画像から使用する大き
さの画像を切り取る場合は、任意の大きさでもかまはな
いが、３次元変換前の元のオブジェクトの大きさに対応
させて切り取るのが好適である。

【００３１】

【発明の効果】以上説明したように、請求項１および請
求項３に代表される本発明によれば、動画像を切り取
り、その縦横の圧縮、伸長により３次元変換後のオブジ
ェクトの形状に整合させて合成するという容易な方法を
採用したので、動画像と３次元ＣＧの視覚的な整合性が
とれるとともに、その合成を実時間で行うことができ
る。

【００３２】また、請求項２の発明によれば、動画像を
切り取る大きさを、３次元変換前のオブジェクトの大き
さに対応させるようにしたので、視覚的な整合性が一層
向上する。

【００３３】さらに、請求項４の発明によれば、圧縮、
伸長の処理が簡単化され、処理時間が一層、短縮でき
る。

【図面の簡単な説明】

【図１】本発明の原理を説明するための基本的な実施例
を示すブロック図

【図２】本発明の原理を説明するための動画像と３次元
ＣＧの合成の過程を示す図

【図３】本発明の実施例１を示すブロック図

【図４】上記実施例１における画像変換アルゴリズムの
一例を示すフロー図

【図５】本発明の実施例２を示す動画像と３次元ＣＧの
合成の過程を示す図

【図６】本発明の実施例３を示す動画像と３次元ＣＧの
合成の過程を示す図

【図７】本発明の実施例４を示す動画像と３次元ＣＧの
合成の過程を示す図

【符号の説明】

１…ビデオ入力部 ２…サンプリング部 ３…切取り部 ４…画像変換部 ５…ＣＧ作成部 ６…ＣＧビデオ合成部 ７−１，７−２，７−３，７−４…フレームメモリ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 動画像と３次元コンピュータグラフィッ
   クスを合成する方法であって、 ３次元コンピュータグラフィックスを生成し、動画像を
   合成する３次元変換後のオブジェクトに外接する方形を
   求める過程と、 動画像を入力し、サンプリングした後、使用する大きさ
   で画像を切り取る過程と、 前記切り取った画像を前記方形に圧縮または伸長する過
   程と、 前記圧縮または伸長した画像と前記３次元変換後のオブ
   ジェクトを合成する過程と、 を有することを特徴とする３次元映像表示方法。
2. 【請求項２】 動画像を入力し、サンプリングした後、
   使用する大きさで画像を切り取る過程で、３次元変換前
   のオブジェクトの大きさに対応する大きさで前記切り取
   りを行うことを特徴とする請求項１記載の３次元映像表
   示方法。
3. 【請求項３】 動画像と３次元コンピュータグラフィッ
   クスを合成する装置であって、 ３次元コンピュータグラフィックスを生成し動画像を合
   成する３次元変換後のオブジェクトの座標ｘ，ｙの最大
   値ｘｍａｘ，ｙｍａｘおよび最低値ｘｍｉｎ，ｙｍｉｎ
   を求める３次元生成手段と、 動画像を入力してサンプリングする動画像入力手段と、 前記サンプリングした画像を使用する大きさで切り取る
   切り取り手段と、 前記３次元生成手段からの最大値ｘｍａｘ，ｙｍａｘお
   よび最低値ｘｍｉｎ，ｙｍｉｎに基づいて前記切り取っ
   た画像をｘ軸がｘｍａｘ−ｘｍｉｎ画素、ｙ軸がｙｍａ
   ｘ−ｙｍｉｎ画素になるように縦または横またはそれら
   両方を圧縮または伸長する画像変換手段と、 前記圧縮または伸長した画像と前記３次元変換後のオブ
   ジェクトを合成する画像合成手段と、 を有することを特徴とする３次元映像表示装置。
4. 【請求項４】 請求項３記載の３次元映像表装置におい
   て、 画像変換手段が、切り取り手段によりｕ，ｖの大きさで
   切り取った画像の座標ｘ′，ｙ′を小数点以下を切り捨
   てる関数式 ｘ＝ｉｎｔ（（ｘｍａｘ−ｘｍｉｎ）×ｘ′／ｕ） ｙ＝ｉｎｔ（（ｙｍａｘ−ｙｍｉｎ）×ｙ′／ｖ） を用いて変換した座標ｘ，ｙに前記座標ｘ′，ｙ′の画
   素データを用いて前記切り取った画像の圧縮または伸長
   を行うものであることを特徴とする３次元映像表示装
   置。