JP4151158B2 - シーン記述生成装置及び方法 - Google Patents
シーン記述生成装置及び方法 Download PDFInfo
- Publication number
- JP4151158B2 JP4151158B2 JP16722599A JP16722599A JP4151158B2 JP 4151158 B2 JP4151158 B2 JP 4151158B2 JP 16722599 A JP16722599 A JP 16722599A JP 16722599 A JP16722599 A JP 16722599A JP 4151158 B2 JP4151158 B2 JP 4151158B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- scene description
- texture
- position information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Description
【０００１】
【発明の属する技術分野】
本発明は、静止画像信号、動画像信号及びグラフィックデータなどを、画面中に配置して新しいシーンを記述するシーン記述生成装置及び方法に関する。
【０００２】
【従来の技術】
静止画像信号、動画像信号及びグラフィックデータなどを画面中に配置して新しいシーンを記述するシーン記述技術の概要を図１９に示す。入力された画像やグラフィックデータをそのまま表示するのではなく、１以上の入力データを結合させたシーンを表示するためには、どのようにシーンを構成するかを表す付加的な情報が必要になる。この情報をシーン記述（情報）と呼ぶ。シーン記述（情報）は、オブジェクトと呼ばれる入力となる部品をシーン中に配置するためのものである。図１９では、オブジェクトＡ０２及びオブジェクトＡ０３を、シーン記述（情報）Ａ００に基づいて表示することにより、シーンＡ０４を得ている。図１９では二次元のシーン記述を例にしているが、三次元のシーンを記述し、二次元の表示装置へ表示する際に二次元へ投影する場合もある。シーン記述により１以上のオブジェクトを結合したシーンを表現する場合には、入力となる静止画像や動画像等の画面Ａ０１の全体を使用する場合もあるが、シーン中で使用したい一部分をオブジェクトＡ０２として分離することも望まれる。この分離作業をセグメンテーションと呼ぶ。
【０００３】
図２０に、図１９のセグメンテーションとシーン記述作成を行う従来の編集システムの構成を示す。入力画像もしくはグラフィックデータに対する画像処理とシーン記述生成のための処理は独立した過程で行われる。まず画像処理部Ｂ００では、入力画像やグラフィックデータＢ０１をセグメンテーション器Ｂ０２がオブジェクトＢ０４へ変換する。セグメンテーションは、特定の色成分を持つ背景を分離するクロマキーと呼ばれる手法や、明度勾配によりオブジェクトの輪郭を切り抜く方法や、手動による輪郭の指定など様々な方法で行われている。セグメンテーションされたオブジェクトは、例えばISO14496-2で規定されている符号化方法を使用し、破線で示す符号化器Ｂ０３によって符号化されることがある。一方、シーン記述処理部Ｂ０５では、シーン記述生成器Ｂ０６が、どのようなシーンを構成したいかという指定に基づいてシーン記述Ｂ０７を生成する。シーン記述としては、例えばISO14496-1で規定されているいわゆるMPEG-4 Systemsのシーン記述や、ISO14772-1で規定されているVRML(Virtual Reality Modeling Language)、インターネットで広く使用されているHTML(HyperText Markup Language)、ISO13522-5で規定されているMHEG(Multimedia and Hypermedia information coding Expert Group)等、多くの種類が存在する。
【０００４】
ISO14496-1で規定されているMPEG-4 Systemsのシーン記述を例にとり、図２１〜図２３を用いてシーン記述の構造、内容及び具体例を説明する。図２１は、シーン記述の構造を示している。また、図２２はシーン記述の内容を示している。また、図２３はシーンの具体例を示している。シーン記述は、ノードと呼ばれる基本的な記述単位により表現される。ノードは、オブジェクトや光源、物体表面特性の記述などを行う単位であり、ノードの特性や属性を表すためにフィールドと呼ばれるデータを含んでいる。例えば図２１中のTransform2Dノードは二次元の座標変換を指定可能なノードで、図２２に示すtranslationフィールドを含み、例えば平行移動のように配置位置を指定している。フィールドには他のノードを指定することが可能なフィールドも存在し、シーン記述の構成はツリー構造を成す。オブジェクトをシーン中に配置するには、オブジェクトを表すノードを、属性を表すノードとともに図２２に示すようにグループ化し、配置位置を表すノードによりさらにグループ化する。図２２のシーン記述の内容についての詳細は以下の通りである。先ず、“Group{”がシーン全体のグルーピングノードであり、“children”がグルーピングされる子ノードの記述開始を示す。また、“Transform2D”は座標変換を指定するグルーピングノードである。さらに、“translation x1 y1”は配置位置を指示し、以下、“children[”は配置される子ノードの記述開始、“Shape{”はオブジェクトをシーンに取り込むことを指示する。そして、“geometry Bitmap{}”はテクスチャ画像をそのまま表示させる物体であり、“appearance Appearnce{”は物体の表面特性を指定し、“texture Image Texture {url}”は画像オブジェクトを指定する。このシーン記述の内容にしたがって画像オブジェクトを図２３に示すように配置する。つまり、Shapeノードが表しているオブジェクトは、その親ノードであるTransform2Dノードによって指定された平行移動を適用されて、シーン中に配置される。図２３に具体例を示す。図２３において、入力画像中のオブジェクトはオブジェクトを内包する矩形領域毎、図２０に示したセグメンテーション器Ｂ０２によりセグメンテーションされる。このオブジェクトＢ０４は、シーン記述生成器Ｂ０６によって生成されたシーン記述Ｂ０７中の指定に基づいてシーン中に配置される。
【０００５】
次にISO14496-2で規定されているMPEG-4 Videoを例にとり、画像オブジェクトの符号化方法を説明する。図２４は、入力画像Ｄ００中の楕円形のオブジェクトＤ０１と背景のオブジェクトＤ０３をセグメンテーションして符号化する場合を示している。まず、オブジェクトＤ０１を符号化する場合、オブジェクトＤ０１を内包する領域Ｄ０２を設定する。MPEG-4 Videoでは、矩形領域が使われる。矩形領域の外側は符号化されない。符号化は小ブロック単位で行われる。以下、このブロックを符号化ブロックと呼ぶ。符号化ブロックＤ０５のように符号化ブロック内部にオブジェクトのデータが含まれていない場合、その符号化ブロックは「符号化対象データ無し」を意味するフラグのみを符号化すればよい。符号化ブロックＤ０６のようにオブジェクト内と外の双方を含む符号化ブロックでは、オブジェクト外の画素値は任意の値に設定して符号化して良い。オブジェクトＤ０１の形状（輪郭）が別に符号化されるのでデコード時にオブジェクト外のデータは無視されるからである。一方、背景Ｄ０３もオブジェクトである。背景のオブジェクトＤ０３を符号化する場合にも同様に、オブジェクトを内包する矩形領域Ｄ０４を設定するが、これは入力画像の画枠全体となる。符号化方法はオブジェクトＤ０１の場合と同様である。つまり、斜線部分が符合化したいオブジェクトであり、ここでは入力画像の画枠全体が矩形領域となる。符号化ブロックＤ０７内に、オブジェクトの内外のデータを含む場合は、オブジェクト外は任意の値に設定して符号化してよい。また、符号化ブロックＤ０８内にオブジェクトのデータが無ければ、「符号化データ無し」を意味するフラグのみを符号化すればよい。
【０００６】
MPEG-4 Video等のような画像オブジェクトをシーン中に配置する場合、図２５に示すようにシーンの座標中におけるオブジェクトの配置位置を指定する。配置位置はシーン記述中に記述される。配置位置の指定は二次元座標、三次元座標を設定する方法の他に、「画像左下に配置」といったような整列制約により指定されることもある。オブジェクトの位置の基準として、図２５ではオブジェクトを内包する矩形領域の中心を使用しているが、オブジェクトの重心やオブジェクトを内包する領域の左上などを基準にする場合もある。すなわち、オブジェクトの配置は、オブジェクトの基準位置を配置することによって行われる。
【０００７】
しかし、入力動画像やグラフィックデータ中のオブジェクトが変形した場合、シーン記述によって配置されたオブジェクトがシーン中で移動してしまうという問題があった。図２５のフレーム１では、入力画像からセグメンテーションされたオブジェクトを、オブジェクトを内包する矩形領域の中心が配置位置ａとなるように配置するシーン記述を作成している。フレーム２においてオブジェクトが変形すると、そのオブジェクトを内包する矩形領域も変化し、従って本来の入力画像やグラフィックデータ中では移動していなかったオブジェクトが、記述されたシーン中では不要な移動を生じてしまう、という問題が生じる。記述されたシーン中でも、本来の入力画像やグラフィックデータ中で移動していない部分は、シーン中でも移動せずに表示することが望まれていた。さらに、オブジェクトが入力画像やグラフィックデータ中で移動した場合には、シーン記述によって記述されるシーン中にその移動を反映してオブジェクトを配置したいという要求に、従来技術では応えられなかった。つまり、記述されたシーン中でも、本来の入力画像上と同様に望ましい位置に配置するために、配置位置を図中ｂのように変更することが望まれていたが従来技術ではできなかった。
【０００８】
また、シーン記述では画像やグラフィックデータをオブジェクトとして取り込むのではなく、テクスチャとして使用し、シーン中の他の物体表面に張り付ける、というように使用されることも多い。図２６は、画像オブジェクトを立方体の表面に張り付ける例を示している。ISO14496-1で規定されているMPEG-4 Systemsのシーン記述を例に取ると、画像をテクスチャとして使用する場合、画像は二次元テクスチャ座標系であるs-t座標の0から1の範囲にあるとみなされる。これをテクスチャマップと呼ぶ。オブジェクトの表面にテクスチャを張り付ける場合は、テクスチャマップ中のどの部分を使用するか、テクスチャ座標で指定を行う。図２６のように立方体もしくは直方体にテクスチャを貼り付ける場合は、立方体もしくは直方体の各面独立にテクスチャマップのs-t両方向の0から1に相当する領域が貼り付けられる。しかし、セグメンテーションされたオブジェクトを使用している場合、図２６のフレーム２のようにオブジェクトが変形し、オブジェクトを内包する領域も変形してしまうと、テクスチャ画像の画枠が変化してしまう。テクスチャ画像の画枠が変わっても、画枠全体を０から１とするテクスチャマップが使用されるため、貼り付けられたテクスチャは入力画像中の変化とは異なる変形を受けてしまうという問題があり、記述されたシーン中でも本来の入力画像やグラフィックデータと同様に表示される事が望まれていた。
【０００９】
【発明が解決しようとする課題】
ところで、静止画像信号、動画像信号やグラフィックデータなどをセグメンテーションしたオブジェクトを、画面中に配置して新しいシーンを記述する場合、上述したように、画像やグラフィックデータ中のオブジェクトの変形により、以下のような問題点が生じた。
【００１０】
先ず、第１の問題は、オブジェクトが変形し、オブジェクトを内包する領域も変形すると、シーン記述で記述されたシーン中で、オブジェクトに不要な移動が生じてしまうことである。また入力画像やグラフィックデータ中でのオブジェクトの移動をシーン中のオブジェクトの移動に反映させることが出来ないことである。
【００１１】
第２の問題は、セグメンテーションした画像やグラフィックデータをテクスチャとしてシーン記述で使用する場合、オブジェクトが変形し、オブジェクトを内包する領域も変形すると、シーン記述で記述されたシーン中へ貼り付けるテクスチャが歪んでしまうことである。また入力画像やグラフィックデータ中でのオブジェクトの移動をテクスチャの移動に反映させることが出来ないことである。
【００１２】
そこで本発明の目的は、上記の問題点を解決し、入力画像やグラフィックデータ上でのオブジェクトが変形してもシーン記述で記述されたシーン中で不要な移動や歪みを生じさせず、また入力画像やグラフィックデータ中でのオブジェクトの移動をシーン中のオブジェクトの移動やテクスチャの移動に反映させることが可能な、シーン記述生成装置及び方法の提供である。
【００１３】
【課題を解決するための手段】
本発明に係るシーン記述生成装置は、上記課題を解決するために、入力画像からオブジェクトを抽出するときにオブジェクトの位置情報を出力するオブジェクト抽出手段と、上記オブジェクト抽出手段により出力された上記位置情報に基づいてシーン中でのオブジェクトの配置位置に関するシーン記述情報を生成するシーン記述生成手段とを備える。
【００１５】
本発明に係るシーン記述生成方法は、上記課題を解決するために、入力画像からオブジェクトを抽出するときにオブジェクトの位置情報を出力するオブジェクト抽出工程と、上記オブジェクト抽出工程により出力された上記位置情報に基づいてシーン中でのオブジェクトの配置位置に関するシーン記述情報を生成するシーン記述生成工程とを備える。
【００２１】
このように、本発明では、静止画像信号・動画像信号やグラフィックデータなどからオブジェクト抽出手段及び工程でセグメンテーションしたオブジェクトを、画面中に配置して新しいシーンを記述する場合、上記オブジェクト抽出手段となるセグメンテーション器がオブジェクトを内包する領域の入力画像やグラフィックデータ中における位置情報を出力する。シーン記述生成手段及び工程は、出力された位置情報に基づいてオブジェクトの配置位置を決定することにより、オブジェクトを内包する領域が変形・移動してもシーン記述により記述されるシーン中では望ましい位置にオブジェクトを配置することが可能となる。また、セグメンテーションしたオブジェクトをテクスチャとしてシーン記述で使用する場合にも、セグメンテーション器から出力された位置情報に基づいてテクスチャ座標を変換したシーン記述を生成することにより、シーン中で貼り付けるテクスチャの歪みを回避し、またオブジェクトの移動をテクスチャに反映させる事を可能とする。もしくは、テクスチャを貼り付ける対象の物体の大きさか、テクスチャ位置を変更することによってテクスチャの歪みを回避可能とする。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。この実施の形態では、入力画像から画像オブジェクトを抽出すると共に、シーン記述を生成する編集システムをいくつかの実施例として挙げる。これら編集システムは、以下に、ハードウェアの構成として示すが、本発明のシーン記述生成方法、オブジェクト抽出方法をプログラムとしてコンピュータに実行させることによっても実現できるのはもちろんである。また、後述する位置情報や、シーン記述を記録媒体に記録して持ち運び可能とすることにより、手軽に編集システムを構築することも可能となる。
【００２５】
先ず、本発明の第１の実施例を、図１〜図３を用いて説明する。入力画像に対する画像処理部１００と、この画像処理部１００で作成された位置情報を用いてシーンを記述するシーン記述処理部１０５とを備えてなる。画像処理とシーン記述処理は独立した過程で行われるものではない。詳細は後述するが、画像処理部１００のセグメンテーション器１０２が出力した位置情報１０８を、シーン記述処理部１０５のシーン記述生成器１０６が利用する。
【００２６】
画像処理部１００では、入力画像１０１を入力とし、セグメンテーション器１０２が画像オブジェクト１０４へセグメンテーションする。セグメンテーションは、特定の色成分を持つ背景を分離するクロマキーと呼ばれる手法や、明度勾配によりオブジェクトの輪郭を切り抜く方法や、手動による輪郭の指定などどのような方法で行われても良い。本発明におけるセグメンテーション器１０２は、オブジェクトを内包する矩形領域の幅と高さおよび矩形領域の入力画像中の位置を位置情報１０８として出力する。セグメンテーションされた画像オブジェクトは、MPEG-4画像符号化器１０３によって符号化されることがある。ISO14496-2で規定されているMPEG-4 videoでは、入力画像の１フレームに相当する画像オブジェクト毎に、オブジェクトを内包する矩形領域の幅と高さおよび矩形領域の左上の位置を符号化することになっているため、セグメンテーション装置はそれらの値を画像符号化器に渡すだけではなく、位置情報１０８としてシーン記述生成でも利用できるように出力すればよい。一方、MPEG-4シーン記述生成器１０６は、多くの場合どのようなシーンを構成したいかという指定に基づいて、ISO14496-1に規定されたMPEG-4 Systemsのシーン記述１０７を生成する。この時、MPEG-4シーン記述生成器１０６は、セグメンテーション器１０２から出力された位置情報１０８を参照し、シーン中のオブジェクト配置位置を決める。位置情報１０８を参照することにより、オブジェクトが変形した場合にも、シーン記述で記述されたシーン中でオブジェクトに不要な移動が起こることを回避できる。また、後述するが、画像をテクスチャとして使用する場合には、位置情報を参照してテクスチャ座標変換を行う。
【００２７】
図２には入力画像から画像オブジェクトをセグメンテーションしたときに生成する位置情報の具体例を示す。位置情報として、オブジェクトを内包する矩形領域の横方向サイズvop_widthと縦方向サイズvop_heightおよび入力画像中の領域左上のx座標vop_horizontal_mc_spatial_refとy座標vop_vertical_mc_spatial_refを用いる。連続する入力画像のフレーム１からフレーム２において、オブジェクトは入力画像中で移動し、かつ変形することによってオブジェクトを内包する領域のサイズも変化している。矩形領域の横方向サイズ変化分をΔw、縦方向サイズ変化分をΔhとする。これらの値はオブジェクトの変形により生じる変化分であり、位置情報から以下のように算出できる。
【００２８】
Δｗ＝vop_width2−vop_width1
Δｈ＝vop_height2−vop_height1
また、オブジェクトを内包する領域位置の横方向の移動分をΔh_ref、縦方向の移動分をΔv_refとする。これらの値はオブジェクトの変形と移動双方によって生じる変化分であり、位置情報から以下のように算出できる。
【００２９】
Δh_ref＝vop_horizontal_mc_spatial_ref2−vop_horizontal_mc_spatial_ref1
Δv_ref＝vop_vertical_mc_spatial_ref2−vop_vertical_mc_spatial_ref1
オブジェクトをシーン中に配置する場合、従来の技術で述べたように、シーン中の同じ配置位置にオブジェクトを配置し続けると、シーン中のオブジェクトは、入力画像では存在しなかった不要な移動を生じてしまう。この問題を回避するために、第１の実施例におけるシーン記述生成器１０６は、セグメンテーション器１０２が出力した位置情報１０８を参照してシーン中の配置位置を変更することにより、オブジェクトをシーン中の望ましい位置に配置する。
【００３０】
次に、図３には位置情報を参照したシーン中への画像オブジェクトの配置を表す。図３の（ａ）は入力画像中でのオブジェクトの移動分をシーン中でも反映させて配置したい場合を示す。また、図３の（ｂ）には移動成分を取り除いて配置したい場合を示している。
【００３１】
まず、図３の（ａ）に示す、入力画像中のオブジェクトの移動を反映したい場合、オブジェクトの変形による矩形領域の変形の影響を取り除かなければならない。従来の技術では、入力画像中のオブジェクトの移動成分が未知であったため、実現することが出来なかった。上記第１の実施例では、フレーム２のオブジェクトを配置するシーン２中におけるオブジェクトの配置位置(X2,Y2)を、フレーム１のオブジェクトを配置していたシーン１中の配置位置(X1,Y1)から、式１ａおよび１ｂで示したように変更する。
【００３２】
X2=X1+Sx×ΔX ---(１ａ)
Y2=Y1-Sy×ΔY ---(１ｂ)
式１ａおよび１ｂ中のSxおよびSyは、オブジェクトをシーン中に配置する際に行う拡大・縮少処理のための係数であり、任意の値を設定できる。なお、MPEG-4 videoにおける縦方向の座標軸yと、MPEG-4 Systemsにおける二次元座標の縦方向座標軸Yは向きが逆であるために、式１ｂ右辺の第二項の符号が、式１ａとは逆になっている。また、矩形領域の位置はMPEG-4 videoでは矩形領域左上の座標が用いられるが、MPEG-4 Systemsのシーン記述では矩形領域の中心が用いられる。ΔXおよびΔYは、入力画像中における矩形領域の移動量からオブジェクトの変形に起因する矩形領域変形の影響を差し引いたもので、式２ａおよび２ｂのように表せる。
【００３３】
ΔX=Δh_ref + (Δw/2) ---(２ａ)
ΔY=Δv_ref + (Δh/2) ---(２ｂ)
一方、図３の（ｂ）に示すように入力画像中のオブジェクトの移動を取り除き、シーン中の特定の位置にオブジェクトを配置したい場合には以下のようになる。従来の技術では、オブジェクトの変形に伴ってオブジェクトを内包する矩形領域が変形する影響により、シーン中に配置したオブジェクトには不要な移動が生じてしまうという問題があった。本発明では、位置情報中のオブジェクトを内包する矩形領域のサイズを使用することで、不要な移動を取り除く事ができる。図３の（ｂ）に示すように、オブジェクトの下端を合わせてシーン中に配置したい場合は、式１ｂにおける変化分ΔYを式３ａのように設定し、上端を合わせて配置したい場合は式３ｂのように設定すればよい。また、オブジェクトの左端を合わせてシーン中に配置したい場合は、式１ａにおける変化分ΔXを式３ｃのように設定し、上端を合わせて配置したい場合は式３ｄのように設定すればよい。
【００３４】
ΔY=-Δh/2 ---(３ａ)
ΔY= Δh/2 ---(３ｂ)
ΔX= Δh/2 ---(３ｃ)
ΔX=-Δh/2 ---(３ｄ)
いずれも、オブジェクト変形に伴う矩形領域変形が、シーン記述で記述されるシーン中の配置に及ぼす影響を、位置情報を用いて補正することにより、シーン中での不要なオブジェクトの移動を取り除くことが可能になっている。
【００３５】
本発明の位置情報を参照するシーン記述生成方法によれば、上記の入力画像中の移動を反映したり、移動成分を取り除いたりしてシーン中に配置する他にも、矩形領域のサイズに基づいて式１ａおよび式１ｂ中のSxおよびSyを調整するというような位置情報の利用方法も可能である。
【００３６】
ISO14496-1で規定されているMPEG-4 Systemsのシーン記述では、時間とともにシーン記述の内容を変更するアップデート機能や、シーン記述中の任意のノードの任意のフィールド値を変更するアニメーションと呼ばれる機能が存在する。従って、シーン中のオブジェクト配置位置は、上記のアップデート機能やアニメーション機能によって、シーン全体を変更しなくとも、必要な配置位置の変更のみ行うことができる。また、Scriptと呼ばれるプログラマブルな動作をシーン記述中に埋め込む方法や、シーン記述の外部からシーン記述の内容を直接書き換える方法などでも実現可能である。
【００３７】
なお、図２，図３では二次元のシーン記述に基づいて二次元のシーンを表示する例を示しているが、三次元のシーンを記述し、二次元の表示装置へ表示する際に二次元へ投影する場合にも、本発明は適用可能である。三次元座標中にオブジェクトを配置する場合には、オブジェクトを含む平面上で式１ａおよび１ｂの平行移動を行ってから三次元座標中に配置するのと等価となるように、オブジェクトの配置位置を決定すればよい。
【００３８】
次に、本発明の第２の実施例を、新たに図４〜図１２を用いて説明する。上記第１の実施例では、画像オブジェクトをシーン中に直接配置する場合を示した。第２の実施例では、セグメンテーションされた画像をテクスチャとしてシーン内で使用する。システムの構成は上記図１に示したのと同様である。
【００３９】
このシステムの中、シーン記述処理部１０５のMPEG-4シーン記述生成器１０６は、多くの場合どのようなシーンを構成したいかという指定に基づいて、ISO14496-1に規定されたMPEG-4 Systemsのシーン記述１０７を生成する。この時、MPEG-4シーン記述生成器１０６は、セグメンテーション器１０２が出力した位置情報１０８を参照し、シーン中の物体表面に張り付けるテクスチャとして使用する、セグメンテーションされた画像のテクスチャ座標を設定する。位置情報１０８を参照することにより、オブジェクトが変形した場合にも、シーン記述で記述されたシーン中へ貼り付けるテクスチャが歪んでしまうことを回避できる。さらに、入力画像中のオブジェクトの移動をテクスチャに反映させることは従来技術では出来なかったが、本発明では位置情報１０８を参照することにより実現される。
【００４０】
図４は入力画像のセグメンテーションと位置情報の概念を示す図である。図５〜図８はセグメンテーションされた画像をテクスチャとして使用する場合のテクスチャマップとテクスチャ座標の設定について示している。
【００４１】
図４において位置情報として、オブジェクトを内包する矩形領域の横方向サイズvop_widthと縦方向サイズvop_heightおよび入力画像中の領域左上のx座標vop_horizontal_mc_spatial_refとy座標vop_vertical_mc_spatial_refを用いるのは上記図２で説明したのと同様である。ここでも、連続する入力画像のフレーム１からフレーム２において、オブジェクトは入力画像中で移動し、かつ変形することによってオブジェクトを内包する領域のサイズも変化している。矩形領域の横方向サイズ変化分をΔw、縦方向サイズ変化分をΔhとする。これらの値はオブジェクトの変形により生じる変化分であり、位置情報から上述したのと同様に、
Δｗ＝vop_width2−vop_width1
Δｈ＝vop_height2−vop_height1
として求められる。
【００４２】
また、オブジェクトを内包する領域位置の横方向の移動分をΔh_ref、縦方向の移動分をΔv_refとしたとき、これらの値はオブジェクトの変形と移動双方によって生じる変化分であり、位置情報から上述したとおり以下のように算出できる。
【００４３】
Δh_ref＝vop_horizontal_mc_spatial_ref2−vop_horizontal_mc_spatial_ref1
Δv_ref＝vop_vertical_mc_spatial_ref2−vop_vertical_mc_spatial_ref1
従来の技術では、セグメンテーションされた画像は二次元テクスチャ座標系であるs-t座標の0から1の範囲にあるとみなされる。これをテクスチャマップと呼ぶ。フレーム１のテクスチャマップをシーン１中の物体表面に貼り付ける様子を図５に示す。しかし、これでは、入力画像中でオブジェクトが変形した場合にも、オブジェクトを内包する矩形領域が、テクスチャ座標系であるs-t座標の0から1の範囲にあるとみなされ、シーン中で貼り付けたテクスチャは歪みが生じてしまう。図６に示すように、フレーム２でのオブジェクトがフレーム１から変形したときにも、オブジェクトを内包する矩形領域が、s-t座標の0から1の範囲にあるとみなされるので、テスクチャを貼り付けたシーン２中の物体には歪みが生じてしまう。
【００４４】
そこで、この第２の実施例のシステム中のシーン記述生成器１０６は、セグメンテーション器１０２が出力した位置情報１０８を参照してテクスチャマップに適用するテクスチャ座標を変換することにより、歪みの無いテクスチャの貼り付けを可能にする。なお、テクスチャマップ自体を変換するのではなく、テクスチャ座標を変換するのは、MPEG-4 Systemsにおけるシーン記述中のTextureTransformと呼ばれるノードが、テクスチャ座標の拡大 縮少および平行移動の機能を有しているためであり、他のシーン記述を使用する場合には、テクスチャ座標に対してテクスチャマップ自体を変換しても構わない。
【００４５】
まず、入力画像中のオブジェクト変形に伴ってオブジェクトを内包する領域が変形した場合にも歪みの無いテクスチャをシーン中に貼り付けるために、図７に示すようにテクスチャ座標の横方向s軸をvop_width1/vop_width2倍し、縦方向t軸をvop_height1/vop_height2倍する。これらの値がオブジェクトのサイズ変化率の逆数となっているのはテクスチャ座標を変換しているためであり、テクスチャマップが相対的にオブジェクトのサイズ変化率と同等の拡大縮少を受けたのと等価である。この処理により、入力画像中におけるオブジェクト変形をテクスチャマップに反映させることができ、結果としてシーン中の物体表面に貼り付けられるテクスチャの歪みを回避することができる。なお、図７においてはテクスチャ画像の左下を前フレームのテクスチャ画像の左下と合わせる場合を示したが、これはMPEG-4 Systemsにおけるシーン記述中のTextureTransformと呼ばれるノードの座標軸拡大・縮少を行う際に指定するcenterというフィールドの値を、(t,s)=(0,0)に設定した例であり、他の位置を合わせてもよい。例えばcenterの値を(0, 1.0)に設定すると、軸の拡大・縮少は画像の左上の位置を合わせるように行われ、centerの値を(0.5, 0.5)に設定すれば、前フレームのテクスチャ画像と中心が合うように拡大・縮少される。
【００４６】
一方、入力画像中のオブジェクトの移動を反映して、シーン中にテクスチャを貼り付けたい場合も考えられる。この第２の実施例では、位置情報１０８を参照することにより、移動を反映させることが可能である。図８に示したように、テクスチャ座標をテクスチャマップに対して横方向のs軸方向にΔs、縦方向のt軸方向にΔt平行移動する。
【００４７】
Δs = -Δh_ref/vop_width2 ---(４ａ)
Δt = (Δv_ref+Δh)/vop_height2 ---(４ｂ)
Δh_refとΔv_refは、それぞれオブジェクトを内包する領域の左上座標の横方向と縦方向の座標変化であり、Δhは、上記領域の縦方向のサイズ変化である。式４ａおよび４ｂの右辺分母の項数が異なるのは、オブジェクトを内包する領域の位置が領域左上の点を基準に表されるのに対し、テクスチャ座標の原点は初期状態ではテクスチャマップの左下にあたるためである。前述したテクスチャ座標の拡大 縮少による歪みの回避と組み合わせて使用する場合は、さらにs軸とt軸の拡大・縮少をおこなう。MPEG-4 Systemsにおけるシーン記述中のテクスチャ座標変換は、平行移動の後に拡大・縮少が行われるため、式４ａおよび４ｂ右辺の分母は、フレーム２における矩形領域サイズを使用して、縦軸横軸を0から1の範囲に正規化している。なお、図８の式４ａおよび４ｂでは、平行移動の後に上記centerの値を(0,0)に設定して、テクスチャ座標の横方向s軸をvop_width1/vop_width2倍し、縦方向t軸をvop_height1/vop_height2倍している。
【００４８】
以上に説明したように、この第２の実施例では位置情報を参照してシーン記述中のテクスチャ座標を変換することにより、従来の技術で問題となっていたテクスチャの歪みを解決するとともに、従来の技術では不可能であった入力画像中の移動を反映したテクスチャの貼り付けが可能となる。
【００４９】
オブジェクトが変形した場合にテクスチャが歪むという問題点を解決するために、上記のようにテクスチャ座標を変換する他に、テクスチャを貼り付ける物体の大きさを変更する方法もある。図９は、物体の大きさを変更することによってテクスチャの歪みを回避する場合を示している。テクスチャ座標を変換した上記の例と同様に、オブジェクトのサイズが変化した場合にも、テクスチャマップはテクスチャ座標中の0から1の範囲にあるとみなされる。そこで、テクスチャを貼り付ける対象の物体のサイズを、入力画像中でのオブジェクトのサイズ変更と同様の割合で拡大・縮少することで、テクスチャの歪みを無くすことができる。なお、物体のサイズは、貼り付けるテクスチャのs軸およびt軸に相当する方向に対して、それぞれ横方向および縦方向の入力画像中のオブジェクトのサイズ変化率を乗じることで設定する。
【００５０】
さらに、オブジェクトが変形した場合にテクスチャが歪むという問題点を解決するために、上記のようにテクスチャ座標を変換する、もしくはテクスチャを貼り付ける物体の大きさを変更する他に、物体に貼り付けるテクスチャの位置を変更する方法もある。
【００５１】
図１０〜図１２は、シーン中の三つの頂点から成る物体にテクスチャを貼り付ける例を示している。以下、この物体をポリゴンと呼ぶ。ポリゴンにテクスチャを貼り付けるには、テクスチャマップ中のどの位置のテクスチャを使用するかを頂点毎に指定する。図１０中では、テクスチャマップ中の三点A、B、Cの位置を指定することにより、テクスチャの位置指定を行っている。
【００５２】
しかし、上記図４に示したようにオブジェクトが変形した場合にも、テクスチャマップはテクスチャ座標中の0から1の範囲にあるとみなされるため、A、B、Cの位置が同じなままであれば、貼り付けられるテクスチャには図１１に示すように歪みが生じてしまう。そこで本発明では、A、B、Cのテクスチャ座標中における位置を、入力画像中でのオブジェクトのサイズ変更と同様の割合で、図１２に示すようにA'、B'、C'と移動することで、テクスチャの歪みを無くすことができる。A'、B'、C'のs座標およびt座標は、それぞれ横方向および縦方向の入力画像中のオブジェクトのサイズ変化率を乗じることで設定する。さらに入力画像中のオブジェクトの移動を反映してテクスチャを貼り付けたい場合には、A'、B'、C'のテクスチャ座標中における位置を平行移動すればよく、上記したテクスチャ座標変換での平行移動と等価の効果がある。
【００５３】
上記のように、テクスチャ座標を変換する、もしくはテクスチャを貼り付ける物体の大きさを変更する、もしくは物体に貼り付けるテクスチャの位置を変更することにより、オブジェクトが変形した場合にテクスチャが歪むという従来技術の問題点を解決できる。これは、本発明が入力画像中のオブジェクトの位置情報を使用できることにより可能となっている。
【００５４】
次に、本発明の第３の実施例を、新たに図１３〜図１６を用いて説明する。この編集システムは、図１３に示すように、入力画像６０１に対する画像処理部６００と、この画像処理部６００から出力された画像オブジェクト６０４から位置情報６０８を検出する位置情報検出器６０９と、位置情報検出器６０９が検出した位置情報６０８を基にシーン記述６０７を出力するシーン記述処理部６０５とを備えてなる。
【００５５】
画像処理部６００では、入力画像６０１を入力とし、セグメンテーション器６０２が画像オブジェクトをセグメンテーションし、この画像オブジェクトをMPEG-４画像符号化器６０３が符号化して画像オブジェクト６０４を出力する。
【００５６】
位置情報検出器６０９は、画像オブジェクトデータを入力とし、入力画像中のオブジェクト位置情報を抽出する。
【００５７】
シーン記述処理部６０５では、位置情報検出器６０９が上記画像オブジェクト６０４から検出した位置情報６０８を入力としてMPEG-４シーン記述生成器６０６にシーン記述６０７を生成させる。MPEG-４シーン記述生成器６０６は、オブジェクト位置情報を参照し、シーン中のオブジェクト配置位置を決める。
【００５８】
つまり、上記第１および第２の実施例との違いは、画像処理部６００内部のセグメンテーション器６０２が位置情報を出力する代わりに、位置情報検出器６０９が画像オブジェクトのデータ６０４を入力として位置情報６０８を検出する点である。実施例１および２のように位置情報を出力可能なセグメンテーション器１０２ではないセグメンテーション器によって既にセグメントされ、符号化されている画像オブジェクトを使用する場合にも有効となる。
【００５９】
MPEG-4画像符号化器６０３でのMPEG-4video符号化により得られる画像オブジェクトの符号化データ構造について図１４〜図１６を用いて説明する。図１４は入力画像系列中のオブジェクトを内包する矩形領域を示す図である。図１５は画像オブジェクトを示す図である。図１６は画像オブジェクトの符号化データのフォーマット図である。
【００６０】
図１４に示した入力画像系列のフレーム中の図１５に示した画像オブジェクトに相当するデータをVideoObjectPlaneと呼ぶ。位置情報として、第１の実施例および第２の実施例で述べたオブジェクトを内包する矩形領域のサイズと座標が、VideoObjectPlane毎に図１６に示すように画像オブジェクトデータ中に符号化されている。従って、位置情報検出器６０９は画像オブジェクトの符号化データを入力とし、位置情報６０８を検出することができる。シーン記述生成器６０６の動作は、第１の実施例および第２の実施例と同様である。
【００６１】
なお、画像オブジェクトの符号化方法は、MPEG-4 videoに限らない。位置情報も共に符号化可能な符号化方式ならば、本発明を適用できる。また、第１の実施例および第２の実施例で述べた位置情報を出力するセグメンテーション器１０２と併用することも可能である。例えば入力画像中におけるオブジェクトの位置はセグメンテーション器１０２が出力し、矩形領域のサイズは第３の実施例の位置情報検出器６０９が抽出することも可能である。
【００６２】
次に、本発明の第４の実施例を、新たに図１７を用いて説明する。このシステムにおいてセグメンテーションとシーン記述作成を行うシステムの構成は上記図１又は上記図１３に示したとの同様に構成できる。
【００６３】
この第４の実施例では、入力された画像をオブジェクトへセグメンテーションし、セグメンテーションされたオブジェクトをシーン中で使用するシーン記述を生成する際に、入力画像中のオブジェクトが変形する度にシーン中の配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変更することを回避する目的で、セグメンテーション器１０２又は６０２はオブジェクトを内包する領域を、複数フレーム分のオブジェクトを全て内包する領域に設定する。
【００６４】
図１７は、複数フレームで共通の矩形領域を設定する様子を示している。あるオブジェクトについて、フレームｎからフレームｎ＋ｋまでの全てのフレームでオブジェクトが内包される領域を決定し、決定した領域をフレームｎからフレームｎ＋ｋまでの全てのフレームで共通に使用する。なお、セグメンテーションされた画像オブジェクトを符号化する場合には、上記のように決定した領域を使用して符号化する。オブジェクトを内包する領域が変形・移動しないため、フレームｎからフレームｎ＋ｋまでの間はシーン中のオブジェクト配置位置を変更しなくても、シーン中に配置されたオブジェクトは本来の入力画像中には無かった不要な移動を生じてしまうことはなくなる。また、セグメンテーションされた画像をテクスチャとして使用する場合にも、オブジェクトを内包する領域が変形・移動しないため、テクスチャが歪むことはなく、従来の技術での問題点を回避することが可能である。フレームｎからフレームｎ＋ｋまでの間はシーン中のオブジェクト配置位置を変更しなくても良いため、上記第１の実施例から第３の実施例で参照した位置情報１０８又は６０８は、フレームｎからフレームｎ＋ｋまでの間は変更する必要が無い。さらに、フレームｎからフレームｎ＋ｋまでの間は、シーン記述中のオブジェクトの配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変換する必要も無くなる。
【００６５】
この第４の実施例において矩形領域を決定する際に、入力画像系列全てにおいて共通な矩形領域を設定すれば、シーン中のオブジェクト配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変換する必要は全く無くなり、第１の実施例から第３の実施例における位置情報も更新する必要を無くすことができる。
【００６６】
次に、本発明の第５の実施例を、図１８を用いて説明する。このシステムにおいてもセグメンテーションとシーン記述作成を行うシステムの構成は上記図１又は上記図１３に示したとの同様に構成できる。
【００６７】
この第５実施例では、入力された画像をオブジェクトへセグメンテーションし、セグメンテーションされたオブジェクトをシーン中で使用するシーン記述を生成する際に、入力画像中のオブジェクトが変形もしくは移動する度にシーン中の配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変更することを回避する目的で、セグメンテーション器はオブジェクトを内包する領域を、入力画像の画枠全体に設定する。
【００６８】
図１８は、オブジェクトを内包する領域を入力画像の画枠全体に設定する様子を示している。オブジェクトは入力画像の一部であるから、入力画像の画枠内に必ず内包されることは自明である。領域を入力画像の画枠全体に設定すれば、領域の位置情報が全く変化しないことも自明である。従って、位置情報を更新する必要は全く無くなる。また、オブジェクトを内包する領域が変化しないため、シーン中のオブジェクト配置位置を変更しなくても、シーン中に配置されたオブジェクトは本来の入力画像中には無かった不要な移動を生じることはない。また、セグメンテーションされた画像をテクスチャとして使用する場合にも、オブジェクトを内包する領域が変形・移動しないため、テクスチャが歪むことはなく、従来の技術での問題点を回避することが可能である。シーン中のオブジェクト配置位置を変更しなくても良いため、上記第１の実施例から第３の実施例で参照した位置情報は更新する必要がない。さらに、矩形領域左上のx座標vop_horizontal_mc_spatial_refとy座標vop_vertical_mc_spatial_refは、ともに0であることが自明であり、矩形領域のサイズvop_widthおよびvop_heightはともに入力画像の画枠の幅と高さに等しい。従って、これらが既知であるとみなせる場合は、位置情報が不要となり、セグメンテーションとシーン記述作成を行うシステムの構成は、従来の技術の構成と同じにすることができる。
【００６９】
なお、セグメンテーションした画像オブジェクトをMPEG-4 video符号化方式で符号化する場合には、上述したとおり、オブジェクトを内包する矩形領域中で、オブジェクトのデータが存在しない符号化ブロックは、「符号化データ無し」を意味するフラグのみを符号化すればよいため、オブジェクトを内包する領域を画枠全体に設定することによる符号化ビット量の増加は微少である。
【００７０】
本発明において、オブジェクトの符号化方法は、MPEG-4 videoの符号化方法に限らない。他の符号化方法を用いても、本発明は同様に有効である。また、特に符号化しなくてもよい。入力は画像に限らずCG(Computer Graphics)等のグラフィックデータでもよい。シーン記述をセグメンテーション器の入力として使用し、その一部をセグメンテーションして新たなオブジェクトを作成したり、新たなシーン記述中にそのオブジェクトを配置する場合にも本発明は有効である。三次元のシーン記述をセグメンテーション機の入力として使用し、その一部をセグメンテーションして新たな三次元オブジェクトを作成したり、新たなシーン記述中にそのオブジェクトを配置する場合にも、位置情報を三次元に拡張することで本発明は有効である。シーン記述はMEPG-4 Systemsのシーン記述に限らない。他のシーン記述においても、位置情報に基づいて配置位置やテクスチャ座標もしくは対象物体のサイズあるいはるテクスチャ位置等の補正が行えれば、本発明による同様の効果が得られる。位置情報は、領域のサイズと位置そのものでなくとも、同様の情報を含んでいればよい。例えば、領域の位置は、領域の中心でも左上でも、同様の情報を含んでいれば任意の位置で良い。シーン記述の種類によっては、領域は矩形でなくてもよく、オブジェクトの重心を位置情報として使用できる。従って、第１の実施例で述べたオブジェクト配置位置の更新式と第２実施例で述べたテクスチャ座標変換式は、位置情報の表しかたやシーン記述の種類によって異なり、同等の効果を表す式で置き換えられる。
【００７１】
また、位置情報は、変化があった時のみ出力すればよい。MPEG-4 videoの符号化方法ではフレーム間の時間間隔が一定でないことも許されており、どの時間に表示すべきフレームでの位置情報であるかが分かるように出力されていればよい。入力画像が動画像ではなく静止画像や時間変化しないグラフィックデータであっても、シーン記述中の配置位置を決定する際に、本発明の位置情報を参照することは有効である。位置情報が入力画像やグラフィックデータ中の位置とサイズのどちらか一方のみしか得られない場合にも、本発明におけるシーン記述生成器は得られた位置情報のみを参照することにより、配置位置の限定的な補正を行うことができる。例えば入力画像やグラフィックデータ中の位置は得られない場合でも、オブジェクトを内包する領域のサイズを位置情報として参照可能な場合は、式３ａから式３ｄで示したようにオブジェクトのシーン中の配置位置を決定すれば、シーン中での不要なオブジェクトの移動を取り除くことが可能になっている。
【００７２】
【発明の効果】
本発明によれば、セグメンテーション器がオブジェクトを内包する領域の画像やグラフィックデータ中の位置情報を出力し、一方でシーン記述生成器は、出力された位置情報に基づいてオブジェクトの配置位置を決定することにより、オブジェクトをシーン中で望ましい位置に配置することを可能とした。また、セグメンテーションしたオブジェクトをテクスチャとしてシーン記述で使用する場合にも、セグメンテーション器から出力された位置情報に基づいてテクスチャ座標を変換したシーン記述を生成することにより、シーン中で貼り付けるテクスチャの歪みを回避し、オブジェクトの移動をテクスチャに反映させることも可能とした。もしくは、テクスチャを貼り付ける対象の物体の大きさを変更したり、物体に貼り付けるテクスチャ位置を変更することによってもテクスチャの歪みを回避可能とした。
【図面の簡単な説明】
【図１】本発明の第１の実施例となる編集システムの構成を示すブロック図である。
【図２】入力画像から画像オブジェクトをセグメンテーションしたときに生成する位置情報の具体例を示す図である。
【図３】位置情報を参照したシーン中への画像オブジェクトの配置を表す図である。
【図４】本発明の第２の実施例となる編集システムにおける、入力画像のセグメンテーションと位置情報の概念を示す図である。
【図５】フレーム１のテクスチャマップをシーン１中の物体表面に貼り付けた様子を示す図である。
【図６】フレーム１から変形したフレーム２に対して生じるテクスチャの歪みを示す図である。
【図７】この第２の実施例における、テクスチャ座標軸を拡大・縮小してからテクスチャマップに適用する具体例を示す図である。
【図８】テクスチャ座標軸を平行移動してからテクスチャマップに適用する具体例を示す図である。
【図９】対象の物体サイズを変更してからテクスチャを貼り付ける具体例を示す図である。
【図１０】物体に貼り付けるテクスチャの位置を変更する方法を説明するための図である。
【図１１】オブジェクトが変形した場合における、テクスチャを貼り付けた物体のシーン中の歪みを示す図である。
【図１２】テクスチャの歪みを無くした具体例を示す図である。
【図１３】本発明の第３の実施例となる編集システムの構成を示すブロック図である。
【図１４】入力画像系列中のオブジェクトを内包する矩形領域を示す図である。
【図１５】画像オブジェクトを示す図である。
【図１６】画像オブジェクトの符号化データのフォーマット図である。
【図１７】本発明の第４の実施例の概念を示す図である。
【図１８】本発明の第５の実施例の概念を示す図である。
【図１９】静止画像信号、動画像信号及びグラフィックデータなどを画面中に配置して新しいシーンを記述するシーン記述技術の概要を示す図である。
【図２０】セグメンテーションとシーン記述作成を行う従来の編集システムの構成を示す図である。
【図２１】シーン記述の構造を示す図である。
【図２２】シーン記述の内容を示している図である。
【図２３】シーンの具体例を示す図である。
【図２４】入力画像Ｄ００中の楕円形のオブジェクトＤ０１と背景のオブジェクトＤ０３をセグメンテーションして符号化する具体例を示す図である。
【図２５】 MPEG-4 Video等のような画像オブジェクトをシーン中に配置する場合の課題を説明するための図である。
【図２６】画像オブジェクトを立方体の表面に張り付ける具体例を示す図である。
【符号の説明】
１００ 画像処理部、１０１ 入力画像、１０２ セグメンテーション器、１０３ MPEG-4画像符号化器、１０４ 画像オブジェクト、１０５ シーン記述処理部、１０６ MPEG-4シーン記述生成器、１０７ シーン記述
【発明の属する技術分野】
本発明は、静止画像信号、動画像信号及びグラフィックデータなどを、画面中に配置して新しいシーンを記述するシーン記述生成装置及び方法に関する。
【０００２】
【従来の技術】
静止画像信号、動画像信号及びグラフィックデータなどを画面中に配置して新しいシーンを記述するシーン記述技術の概要を図１９に示す。入力された画像やグラフィックデータをそのまま表示するのではなく、１以上の入力データを結合させたシーンを表示するためには、どのようにシーンを構成するかを表す付加的な情報が必要になる。この情報をシーン記述（情報）と呼ぶ。シーン記述（情報）は、オブジェクトと呼ばれる入力となる部品をシーン中に配置するためのものである。図１９では、オブジェクトＡ０２及びオブジェクトＡ０３を、シーン記述（情報）Ａ００に基づいて表示することにより、シーンＡ０４を得ている。図１９では二次元のシーン記述を例にしているが、三次元のシーンを記述し、二次元の表示装置へ表示する際に二次元へ投影する場合もある。シーン記述により１以上のオブジェクトを結合したシーンを表現する場合には、入力となる静止画像や動画像等の画面Ａ０１の全体を使用する場合もあるが、シーン中で使用したい一部分をオブジェクトＡ０２として分離することも望まれる。この分離作業をセグメンテーションと呼ぶ。
【０００３】
図２０に、図１９のセグメンテーションとシーン記述作成を行う従来の編集システムの構成を示す。入力画像もしくはグラフィックデータに対する画像処理とシーン記述生成のための処理は独立した過程で行われる。まず画像処理部Ｂ００では、入力画像やグラフィックデータＢ０１をセグメンテーション器Ｂ０２がオブジェクトＢ０４へ変換する。セグメンテーションは、特定の色成分を持つ背景を分離するクロマキーと呼ばれる手法や、明度勾配によりオブジェクトの輪郭を切り抜く方法や、手動による輪郭の指定など様々な方法で行われている。セグメンテーションされたオブジェクトは、例えばISO14496-2で規定されている符号化方法を使用し、破線で示す符号化器Ｂ０３によって符号化されることがある。一方、シーン記述処理部Ｂ０５では、シーン記述生成器Ｂ０６が、どのようなシーンを構成したいかという指定に基づいてシーン記述Ｂ０７を生成する。シーン記述としては、例えばISO14496-1で規定されているいわゆるMPEG-4 Systemsのシーン記述や、ISO14772-1で規定されているVRML(Virtual Reality Modeling Language)、インターネットで広く使用されているHTML(HyperText Markup Language)、ISO13522-5で規定されているMHEG(Multimedia and Hypermedia information coding Expert Group)等、多くの種類が存在する。
【０００４】
ISO14496-1で規定されているMPEG-4 Systemsのシーン記述を例にとり、図２１〜図２３を用いてシーン記述の構造、内容及び具体例を説明する。図２１は、シーン記述の構造を示している。また、図２２はシーン記述の内容を示している。また、図２３はシーンの具体例を示している。シーン記述は、ノードと呼ばれる基本的な記述単位により表現される。ノードは、オブジェクトや光源、物体表面特性の記述などを行う単位であり、ノードの特性や属性を表すためにフィールドと呼ばれるデータを含んでいる。例えば図２１中のTransform2Dノードは二次元の座標変換を指定可能なノードで、図２２に示すtranslationフィールドを含み、例えば平行移動のように配置位置を指定している。フィールドには他のノードを指定することが可能なフィールドも存在し、シーン記述の構成はツリー構造を成す。オブジェクトをシーン中に配置するには、オブジェクトを表すノードを、属性を表すノードとともに図２２に示すようにグループ化し、配置位置を表すノードによりさらにグループ化する。図２２のシーン記述の内容についての詳細は以下の通りである。先ず、“Group{”がシーン全体のグルーピングノードであり、“children”がグルーピングされる子ノードの記述開始を示す。また、“Transform2D”は座標変換を指定するグルーピングノードである。さらに、“translation x1 y1”は配置位置を指示し、以下、“children[”は配置される子ノードの記述開始、“Shape{”はオブジェクトをシーンに取り込むことを指示する。そして、“geometry Bitmap{}”はテクスチャ画像をそのまま表示させる物体であり、“appearance Appearnce{”は物体の表面特性を指定し、“texture Image Texture {url}”は画像オブジェクトを指定する。このシーン記述の内容にしたがって画像オブジェクトを図２３に示すように配置する。つまり、Shapeノードが表しているオブジェクトは、その親ノードであるTransform2Dノードによって指定された平行移動を適用されて、シーン中に配置される。図２３に具体例を示す。図２３において、入力画像中のオブジェクトはオブジェクトを内包する矩形領域毎、図２０に示したセグメンテーション器Ｂ０２によりセグメンテーションされる。このオブジェクトＢ０４は、シーン記述生成器Ｂ０６によって生成されたシーン記述Ｂ０７中の指定に基づいてシーン中に配置される。
【０００５】
次にISO14496-2で規定されているMPEG-4 Videoを例にとり、画像オブジェクトの符号化方法を説明する。図２４は、入力画像Ｄ００中の楕円形のオブジェクトＤ０１と背景のオブジェクトＤ０３をセグメンテーションして符号化する場合を示している。まず、オブジェクトＤ０１を符号化する場合、オブジェクトＤ０１を内包する領域Ｄ０２を設定する。MPEG-4 Videoでは、矩形領域が使われる。矩形領域の外側は符号化されない。符号化は小ブロック単位で行われる。以下、このブロックを符号化ブロックと呼ぶ。符号化ブロックＤ０５のように符号化ブロック内部にオブジェクトのデータが含まれていない場合、その符号化ブロックは「符号化対象データ無し」を意味するフラグのみを符号化すればよい。符号化ブロックＤ０６のようにオブジェクト内と外の双方を含む符号化ブロックでは、オブジェクト外の画素値は任意の値に設定して符号化して良い。オブジェクトＤ０１の形状（輪郭）が別に符号化されるのでデコード時にオブジェクト外のデータは無視されるからである。一方、背景Ｄ０３もオブジェクトである。背景のオブジェクトＤ０３を符号化する場合にも同様に、オブジェクトを内包する矩形領域Ｄ０４を設定するが、これは入力画像の画枠全体となる。符号化方法はオブジェクトＤ０１の場合と同様である。つまり、斜線部分が符合化したいオブジェクトであり、ここでは入力画像の画枠全体が矩形領域となる。符号化ブロックＤ０７内に、オブジェクトの内外のデータを含む場合は、オブジェクト外は任意の値に設定して符号化してよい。また、符号化ブロックＤ０８内にオブジェクトのデータが無ければ、「符号化データ無し」を意味するフラグのみを符号化すればよい。
【０００６】
MPEG-4 Video等のような画像オブジェクトをシーン中に配置する場合、図２５に示すようにシーンの座標中におけるオブジェクトの配置位置を指定する。配置位置はシーン記述中に記述される。配置位置の指定は二次元座標、三次元座標を設定する方法の他に、「画像左下に配置」といったような整列制約により指定されることもある。オブジェクトの位置の基準として、図２５ではオブジェクトを内包する矩形領域の中心を使用しているが、オブジェクトの重心やオブジェクトを内包する領域の左上などを基準にする場合もある。すなわち、オブジェクトの配置は、オブジェクトの基準位置を配置することによって行われる。
【０００７】
しかし、入力動画像やグラフィックデータ中のオブジェクトが変形した場合、シーン記述によって配置されたオブジェクトがシーン中で移動してしまうという問題があった。図２５のフレーム１では、入力画像からセグメンテーションされたオブジェクトを、オブジェクトを内包する矩形領域の中心が配置位置ａとなるように配置するシーン記述を作成している。フレーム２においてオブジェクトが変形すると、そのオブジェクトを内包する矩形領域も変化し、従って本来の入力画像やグラフィックデータ中では移動していなかったオブジェクトが、記述されたシーン中では不要な移動を生じてしまう、という問題が生じる。記述されたシーン中でも、本来の入力画像やグラフィックデータ中で移動していない部分は、シーン中でも移動せずに表示することが望まれていた。さらに、オブジェクトが入力画像やグラフィックデータ中で移動した場合には、シーン記述によって記述されるシーン中にその移動を反映してオブジェクトを配置したいという要求に、従来技術では応えられなかった。つまり、記述されたシーン中でも、本来の入力画像上と同様に望ましい位置に配置するために、配置位置を図中ｂのように変更することが望まれていたが従来技術ではできなかった。
【０００８】
また、シーン記述では画像やグラフィックデータをオブジェクトとして取り込むのではなく、テクスチャとして使用し、シーン中の他の物体表面に張り付ける、というように使用されることも多い。図２６は、画像オブジェクトを立方体の表面に張り付ける例を示している。ISO14496-1で規定されているMPEG-4 Systemsのシーン記述を例に取ると、画像をテクスチャとして使用する場合、画像は二次元テクスチャ座標系であるs-t座標の0から1の範囲にあるとみなされる。これをテクスチャマップと呼ぶ。オブジェクトの表面にテクスチャを張り付ける場合は、テクスチャマップ中のどの部分を使用するか、テクスチャ座標で指定を行う。図２６のように立方体もしくは直方体にテクスチャを貼り付ける場合は、立方体もしくは直方体の各面独立にテクスチャマップのs-t両方向の0から1に相当する領域が貼り付けられる。しかし、セグメンテーションされたオブジェクトを使用している場合、図２６のフレーム２のようにオブジェクトが変形し、オブジェクトを内包する領域も変形してしまうと、テクスチャ画像の画枠が変化してしまう。テクスチャ画像の画枠が変わっても、画枠全体を０から１とするテクスチャマップが使用されるため、貼り付けられたテクスチャは入力画像中の変化とは異なる変形を受けてしまうという問題があり、記述されたシーン中でも本来の入力画像やグラフィックデータと同様に表示される事が望まれていた。
【０００９】
【発明が解決しようとする課題】
ところで、静止画像信号、動画像信号やグラフィックデータなどをセグメンテーションしたオブジェクトを、画面中に配置して新しいシーンを記述する場合、上述したように、画像やグラフィックデータ中のオブジェクトの変形により、以下のような問題点が生じた。
【００１０】
先ず、第１の問題は、オブジェクトが変形し、オブジェクトを内包する領域も変形すると、シーン記述で記述されたシーン中で、オブジェクトに不要な移動が生じてしまうことである。また入力画像やグラフィックデータ中でのオブジェクトの移動をシーン中のオブジェクトの移動に反映させることが出来ないことである。
【００１１】
第２の問題は、セグメンテーションした画像やグラフィックデータをテクスチャとしてシーン記述で使用する場合、オブジェクトが変形し、オブジェクトを内包する領域も変形すると、シーン記述で記述されたシーン中へ貼り付けるテクスチャが歪んでしまうことである。また入力画像やグラフィックデータ中でのオブジェクトの移動をテクスチャの移動に反映させることが出来ないことである。
【００１２】
そこで本発明の目的は、上記の問題点を解決し、入力画像やグラフィックデータ上でのオブジェクトが変形してもシーン記述で記述されたシーン中で不要な移動や歪みを生じさせず、また入力画像やグラフィックデータ中でのオブジェクトの移動をシーン中のオブジェクトの移動やテクスチャの移動に反映させることが可能な、シーン記述生成装置及び方法の提供である。
【００１３】
【課題を解決するための手段】
本発明に係るシーン記述生成装置は、上記課題を解決するために、入力画像からオブジェクトを抽出するときにオブジェクトの位置情報を出力するオブジェクト抽出手段と、上記オブジェクト抽出手段により出力された上記位置情報に基づいてシーン中でのオブジェクトの配置位置に関するシーン記述情報を生成するシーン記述生成手段とを備える。
【００１５】
本発明に係るシーン記述生成方法は、上記課題を解決するために、入力画像からオブジェクトを抽出するときにオブジェクトの位置情報を出力するオブジェクト抽出工程と、上記オブジェクト抽出工程により出力された上記位置情報に基づいてシーン中でのオブジェクトの配置位置に関するシーン記述情報を生成するシーン記述生成工程とを備える。
【００２１】
このように、本発明では、静止画像信号・動画像信号やグラフィックデータなどからオブジェクト抽出手段及び工程でセグメンテーションしたオブジェクトを、画面中に配置して新しいシーンを記述する場合、上記オブジェクト抽出手段となるセグメンテーション器がオブジェクトを内包する領域の入力画像やグラフィックデータ中における位置情報を出力する。シーン記述生成手段及び工程は、出力された位置情報に基づいてオブジェクトの配置位置を決定することにより、オブジェクトを内包する領域が変形・移動してもシーン記述により記述されるシーン中では望ましい位置にオブジェクトを配置することが可能となる。また、セグメンテーションしたオブジェクトをテクスチャとしてシーン記述で使用する場合にも、セグメンテーション器から出力された位置情報に基づいてテクスチャ座標を変換したシーン記述を生成することにより、シーン中で貼り付けるテクスチャの歪みを回避し、またオブジェクトの移動をテクスチャに反映させる事を可能とする。もしくは、テクスチャを貼り付ける対象の物体の大きさか、テクスチャ位置を変更することによってテクスチャの歪みを回避可能とする。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。この実施の形態では、入力画像から画像オブジェクトを抽出すると共に、シーン記述を生成する編集システムをいくつかの実施例として挙げる。これら編集システムは、以下に、ハードウェアの構成として示すが、本発明のシーン記述生成方法、オブジェクト抽出方法をプログラムとしてコンピュータに実行させることによっても実現できるのはもちろんである。また、後述する位置情報や、シーン記述を記録媒体に記録して持ち運び可能とすることにより、手軽に編集システムを構築することも可能となる。
【００２５】
先ず、本発明の第１の実施例を、図１〜図３を用いて説明する。入力画像に対する画像処理部１００と、この画像処理部１００で作成された位置情報を用いてシーンを記述するシーン記述処理部１０５とを備えてなる。画像処理とシーン記述処理は独立した過程で行われるものではない。詳細は後述するが、画像処理部１００のセグメンテーション器１０２が出力した位置情報１０８を、シーン記述処理部１０５のシーン記述生成器１０６が利用する。
【００２６】
画像処理部１００では、入力画像１０１を入力とし、セグメンテーション器１０２が画像オブジェクト１０４へセグメンテーションする。セグメンテーションは、特定の色成分を持つ背景を分離するクロマキーと呼ばれる手法や、明度勾配によりオブジェクトの輪郭を切り抜く方法や、手動による輪郭の指定などどのような方法で行われても良い。本発明におけるセグメンテーション器１０２は、オブジェクトを内包する矩形領域の幅と高さおよび矩形領域の入力画像中の位置を位置情報１０８として出力する。セグメンテーションされた画像オブジェクトは、MPEG-4画像符号化器１０３によって符号化されることがある。ISO14496-2で規定されているMPEG-4 videoでは、入力画像の１フレームに相当する画像オブジェクト毎に、オブジェクトを内包する矩形領域の幅と高さおよび矩形領域の左上の位置を符号化することになっているため、セグメンテーション装置はそれらの値を画像符号化器に渡すだけではなく、位置情報１０８としてシーン記述生成でも利用できるように出力すればよい。一方、MPEG-4シーン記述生成器１０６は、多くの場合どのようなシーンを構成したいかという指定に基づいて、ISO14496-1に規定されたMPEG-4 Systemsのシーン記述１０７を生成する。この時、MPEG-4シーン記述生成器１０６は、セグメンテーション器１０２から出力された位置情報１０８を参照し、シーン中のオブジェクト配置位置を決める。位置情報１０８を参照することにより、オブジェクトが変形した場合にも、シーン記述で記述されたシーン中でオブジェクトに不要な移動が起こることを回避できる。また、後述するが、画像をテクスチャとして使用する場合には、位置情報を参照してテクスチャ座標変換を行う。
【００２７】
図２には入力画像から画像オブジェクトをセグメンテーションしたときに生成する位置情報の具体例を示す。位置情報として、オブジェクトを内包する矩形領域の横方向サイズvop_widthと縦方向サイズvop_heightおよび入力画像中の領域左上のx座標vop_horizontal_mc_spatial_refとy座標vop_vertical_mc_spatial_refを用いる。連続する入力画像のフレーム１からフレーム２において、オブジェクトは入力画像中で移動し、かつ変形することによってオブジェクトを内包する領域のサイズも変化している。矩形領域の横方向サイズ変化分をΔw、縦方向サイズ変化分をΔhとする。これらの値はオブジェクトの変形により生じる変化分であり、位置情報から以下のように算出できる。
【００２８】
Δｗ＝vop_width2−vop_width1
Δｈ＝vop_height2−vop_height1
また、オブジェクトを内包する領域位置の横方向の移動分をΔh_ref、縦方向の移動分をΔv_refとする。これらの値はオブジェクトの変形と移動双方によって生じる変化分であり、位置情報から以下のように算出できる。
【００２９】
Δh_ref＝vop_horizontal_mc_spatial_ref2−vop_horizontal_mc_spatial_ref1
Δv_ref＝vop_vertical_mc_spatial_ref2−vop_vertical_mc_spatial_ref1
オブジェクトをシーン中に配置する場合、従来の技術で述べたように、シーン中の同じ配置位置にオブジェクトを配置し続けると、シーン中のオブジェクトは、入力画像では存在しなかった不要な移動を生じてしまう。この問題を回避するために、第１の実施例におけるシーン記述生成器１０６は、セグメンテーション器１０２が出力した位置情報１０８を参照してシーン中の配置位置を変更することにより、オブジェクトをシーン中の望ましい位置に配置する。
【００３０】
次に、図３には位置情報を参照したシーン中への画像オブジェクトの配置を表す。図３の（ａ）は入力画像中でのオブジェクトの移動分をシーン中でも反映させて配置したい場合を示す。また、図３の（ｂ）には移動成分を取り除いて配置したい場合を示している。
【００３１】
まず、図３の（ａ）に示す、入力画像中のオブジェクトの移動を反映したい場合、オブジェクトの変形による矩形領域の変形の影響を取り除かなければならない。従来の技術では、入力画像中のオブジェクトの移動成分が未知であったため、実現することが出来なかった。上記第１の実施例では、フレーム２のオブジェクトを配置するシーン２中におけるオブジェクトの配置位置(X2,Y2)を、フレーム１のオブジェクトを配置していたシーン１中の配置位置(X1,Y1)から、式１ａおよび１ｂで示したように変更する。
【００３２】
X2=X1+Sx×ΔX ---(１ａ)
Y2=Y1-Sy×ΔY ---(１ｂ)
式１ａおよび１ｂ中のSxおよびSyは、オブジェクトをシーン中に配置する際に行う拡大・縮少処理のための係数であり、任意の値を設定できる。なお、MPEG-4 videoにおける縦方向の座標軸yと、MPEG-4 Systemsにおける二次元座標の縦方向座標軸Yは向きが逆であるために、式１ｂ右辺の第二項の符号が、式１ａとは逆になっている。また、矩形領域の位置はMPEG-4 videoでは矩形領域左上の座標が用いられるが、MPEG-4 Systemsのシーン記述では矩形領域の中心が用いられる。ΔXおよびΔYは、入力画像中における矩形領域の移動量からオブジェクトの変形に起因する矩形領域変形の影響を差し引いたもので、式２ａおよび２ｂのように表せる。
【００３３】
ΔX=Δh_ref + (Δw/2) ---(２ａ)
ΔY=Δv_ref + (Δh/2) ---(２ｂ)
一方、図３の（ｂ）に示すように入力画像中のオブジェクトの移動を取り除き、シーン中の特定の位置にオブジェクトを配置したい場合には以下のようになる。従来の技術では、オブジェクトの変形に伴ってオブジェクトを内包する矩形領域が変形する影響により、シーン中に配置したオブジェクトには不要な移動が生じてしまうという問題があった。本発明では、位置情報中のオブジェクトを内包する矩形領域のサイズを使用することで、不要な移動を取り除く事ができる。図３の（ｂ）に示すように、オブジェクトの下端を合わせてシーン中に配置したい場合は、式１ｂにおける変化分ΔYを式３ａのように設定し、上端を合わせて配置したい場合は式３ｂのように設定すればよい。また、オブジェクトの左端を合わせてシーン中に配置したい場合は、式１ａにおける変化分ΔXを式３ｃのように設定し、上端を合わせて配置したい場合は式３ｄのように設定すればよい。
【００３４】
ΔY=-Δh/2 ---(３ａ)
ΔY= Δh/2 ---(３ｂ)
ΔX= Δh/2 ---(３ｃ)
ΔX=-Δh/2 ---(３ｄ)
いずれも、オブジェクト変形に伴う矩形領域変形が、シーン記述で記述されるシーン中の配置に及ぼす影響を、位置情報を用いて補正することにより、シーン中での不要なオブジェクトの移動を取り除くことが可能になっている。
【００３５】
本発明の位置情報を参照するシーン記述生成方法によれば、上記の入力画像中の移動を反映したり、移動成分を取り除いたりしてシーン中に配置する他にも、矩形領域のサイズに基づいて式１ａおよび式１ｂ中のSxおよびSyを調整するというような位置情報の利用方法も可能である。
【００３６】
ISO14496-1で規定されているMPEG-4 Systemsのシーン記述では、時間とともにシーン記述の内容を変更するアップデート機能や、シーン記述中の任意のノードの任意のフィールド値を変更するアニメーションと呼ばれる機能が存在する。従って、シーン中のオブジェクト配置位置は、上記のアップデート機能やアニメーション機能によって、シーン全体を変更しなくとも、必要な配置位置の変更のみ行うことができる。また、Scriptと呼ばれるプログラマブルな動作をシーン記述中に埋め込む方法や、シーン記述の外部からシーン記述の内容を直接書き換える方法などでも実現可能である。
【００３７】
なお、図２，図３では二次元のシーン記述に基づいて二次元のシーンを表示する例を示しているが、三次元のシーンを記述し、二次元の表示装置へ表示する際に二次元へ投影する場合にも、本発明は適用可能である。三次元座標中にオブジェクトを配置する場合には、オブジェクトを含む平面上で式１ａおよび１ｂの平行移動を行ってから三次元座標中に配置するのと等価となるように、オブジェクトの配置位置を決定すればよい。
【００３８】
次に、本発明の第２の実施例を、新たに図４〜図１２を用いて説明する。上記第１の実施例では、画像オブジェクトをシーン中に直接配置する場合を示した。第２の実施例では、セグメンテーションされた画像をテクスチャとしてシーン内で使用する。システムの構成は上記図１に示したのと同様である。
【００３９】
このシステムの中、シーン記述処理部１０５のMPEG-4シーン記述生成器１０６は、多くの場合どのようなシーンを構成したいかという指定に基づいて、ISO14496-1に規定されたMPEG-4 Systemsのシーン記述１０７を生成する。この時、MPEG-4シーン記述生成器１０６は、セグメンテーション器１０２が出力した位置情報１０８を参照し、シーン中の物体表面に張り付けるテクスチャとして使用する、セグメンテーションされた画像のテクスチャ座標を設定する。位置情報１０８を参照することにより、オブジェクトが変形した場合にも、シーン記述で記述されたシーン中へ貼り付けるテクスチャが歪んでしまうことを回避できる。さらに、入力画像中のオブジェクトの移動をテクスチャに反映させることは従来技術では出来なかったが、本発明では位置情報１０８を参照することにより実現される。
【００４０】
図４は入力画像のセグメンテーションと位置情報の概念を示す図である。図５〜図８はセグメンテーションされた画像をテクスチャとして使用する場合のテクスチャマップとテクスチャ座標の設定について示している。
【００４１】
図４において位置情報として、オブジェクトを内包する矩形領域の横方向サイズvop_widthと縦方向サイズvop_heightおよび入力画像中の領域左上のx座標vop_horizontal_mc_spatial_refとy座標vop_vertical_mc_spatial_refを用いるのは上記図２で説明したのと同様である。ここでも、連続する入力画像のフレーム１からフレーム２において、オブジェクトは入力画像中で移動し、かつ変形することによってオブジェクトを内包する領域のサイズも変化している。矩形領域の横方向サイズ変化分をΔw、縦方向サイズ変化分をΔhとする。これらの値はオブジェクトの変形により生じる変化分であり、位置情報から上述したのと同様に、
Δｗ＝vop_width2−vop_width1
Δｈ＝vop_height2−vop_height1
として求められる。
【００４２】
また、オブジェクトを内包する領域位置の横方向の移動分をΔh_ref、縦方向の移動分をΔv_refとしたとき、これらの値はオブジェクトの変形と移動双方によって生じる変化分であり、位置情報から上述したとおり以下のように算出できる。
【００４３】
Δh_ref＝vop_horizontal_mc_spatial_ref2−vop_horizontal_mc_spatial_ref1
Δv_ref＝vop_vertical_mc_spatial_ref2−vop_vertical_mc_spatial_ref1
従来の技術では、セグメンテーションされた画像は二次元テクスチャ座標系であるs-t座標の0から1の範囲にあるとみなされる。これをテクスチャマップと呼ぶ。フレーム１のテクスチャマップをシーン１中の物体表面に貼り付ける様子を図５に示す。しかし、これでは、入力画像中でオブジェクトが変形した場合にも、オブジェクトを内包する矩形領域が、テクスチャ座標系であるs-t座標の0から1の範囲にあるとみなされ、シーン中で貼り付けたテクスチャは歪みが生じてしまう。図６に示すように、フレーム２でのオブジェクトがフレーム１から変形したときにも、オブジェクトを内包する矩形領域が、s-t座標の0から1の範囲にあるとみなされるので、テスクチャを貼り付けたシーン２中の物体には歪みが生じてしまう。
【００４４】
そこで、この第２の実施例のシステム中のシーン記述生成器１０６は、セグメンテーション器１０２が出力した位置情報１０８を参照してテクスチャマップに適用するテクスチャ座標を変換することにより、歪みの無いテクスチャの貼り付けを可能にする。なお、テクスチャマップ自体を変換するのではなく、テクスチャ座標を変換するのは、MPEG-4 Systemsにおけるシーン記述中のTextureTransformと呼ばれるノードが、テクスチャ座標の拡大 縮少および平行移動の機能を有しているためであり、他のシーン記述を使用する場合には、テクスチャ座標に対してテクスチャマップ自体を変換しても構わない。
【００４５】
まず、入力画像中のオブジェクト変形に伴ってオブジェクトを内包する領域が変形した場合にも歪みの無いテクスチャをシーン中に貼り付けるために、図７に示すようにテクスチャ座標の横方向s軸をvop_width1/vop_width2倍し、縦方向t軸をvop_height1/vop_height2倍する。これらの値がオブジェクトのサイズ変化率の逆数となっているのはテクスチャ座標を変換しているためであり、テクスチャマップが相対的にオブジェクトのサイズ変化率と同等の拡大縮少を受けたのと等価である。この処理により、入力画像中におけるオブジェクト変形をテクスチャマップに反映させることができ、結果としてシーン中の物体表面に貼り付けられるテクスチャの歪みを回避することができる。なお、図７においてはテクスチャ画像の左下を前フレームのテクスチャ画像の左下と合わせる場合を示したが、これはMPEG-4 Systemsにおけるシーン記述中のTextureTransformと呼ばれるノードの座標軸拡大・縮少を行う際に指定するcenterというフィールドの値を、(t,s)=(0,0)に設定した例であり、他の位置を合わせてもよい。例えばcenterの値を(0, 1.0)に設定すると、軸の拡大・縮少は画像の左上の位置を合わせるように行われ、centerの値を(0.5, 0.5)に設定すれば、前フレームのテクスチャ画像と中心が合うように拡大・縮少される。
【００４６】
一方、入力画像中のオブジェクトの移動を反映して、シーン中にテクスチャを貼り付けたい場合も考えられる。この第２の実施例では、位置情報１０８を参照することにより、移動を反映させることが可能である。図８に示したように、テクスチャ座標をテクスチャマップに対して横方向のs軸方向にΔs、縦方向のt軸方向にΔt平行移動する。
【００４７】
Δs = -Δh_ref/vop_width2 ---(４ａ)
Δt = (Δv_ref+Δh)/vop_height2 ---(４ｂ)
Δh_refとΔv_refは、それぞれオブジェクトを内包する領域の左上座標の横方向と縦方向の座標変化であり、Δhは、上記領域の縦方向のサイズ変化である。式４ａおよび４ｂの右辺分母の項数が異なるのは、オブジェクトを内包する領域の位置が領域左上の点を基準に表されるのに対し、テクスチャ座標の原点は初期状態ではテクスチャマップの左下にあたるためである。前述したテクスチャ座標の拡大 縮少による歪みの回避と組み合わせて使用する場合は、さらにs軸とt軸の拡大・縮少をおこなう。MPEG-4 Systemsにおけるシーン記述中のテクスチャ座標変換は、平行移動の後に拡大・縮少が行われるため、式４ａおよび４ｂ右辺の分母は、フレーム２における矩形領域サイズを使用して、縦軸横軸を0から1の範囲に正規化している。なお、図８の式４ａおよび４ｂでは、平行移動の後に上記centerの値を(0,0)に設定して、テクスチャ座標の横方向s軸をvop_width1/vop_width2倍し、縦方向t軸をvop_height1/vop_height2倍している。
【００４８】
以上に説明したように、この第２の実施例では位置情報を参照してシーン記述中のテクスチャ座標を変換することにより、従来の技術で問題となっていたテクスチャの歪みを解決するとともに、従来の技術では不可能であった入力画像中の移動を反映したテクスチャの貼り付けが可能となる。
【００４９】
オブジェクトが変形した場合にテクスチャが歪むという問題点を解決するために、上記のようにテクスチャ座標を変換する他に、テクスチャを貼り付ける物体の大きさを変更する方法もある。図９は、物体の大きさを変更することによってテクスチャの歪みを回避する場合を示している。テクスチャ座標を変換した上記の例と同様に、オブジェクトのサイズが変化した場合にも、テクスチャマップはテクスチャ座標中の0から1の範囲にあるとみなされる。そこで、テクスチャを貼り付ける対象の物体のサイズを、入力画像中でのオブジェクトのサイズ変更と同様の割合で拡大・縮少することで、テクスチャの歪みを無くすことができる。なお、物体のサイズは、貼り付けるテクスチャのs軸およびt軸に相当する方向に対して、それぞれ横方向および縦方向の入力画像中のオブジェクトのサイズ変化率を乗じることで設定する。
【００５０】
さらに、オブジェクトが変形した場合にテクスチャが歪むという問題点を解決するために、上記のようにテクスチャ座標を変換する、もしくはテクスチャを貼り付ける物体の大きさを変更する他に、物体に貼り付けるテクスチャの位置を変更する方法もある。
【００５１】
図１０〜図１２は、シーン中の三つの頂点から成る物体にテクスチャを貼り付ける例を示している。以下、この物体をポリゴンと呼ぶ。ポリゴンにテクスチャを貼り付けるには、テクスチャマップ中のどの位置のテクスチャを使用するかを頂点毎に指定する。図１０中では、テクスチャマップ中の三点A、B、Cの位置を指定することにより、テクスチャの位置指定を行っている。
【００５２】
しかし、上記図４に示したようにオブジェクトが変形した場合にも、テクスチャマップはテクスチャ座標中の0から1の範囲にあるとみなされるため、A、B、Cの位置が同じなままであれば、貼り付けられるテクスチャには図１１に示すように歪みが生じてしまう。そこで本発明では、A、B、Cのテクスチャ座標中における位置を、入力画像中でのオブジェクトのサイズ変更と同様の割合で、図１２に示すようにA'、B'、C'と移動することで、テクスチャの歪みを無くすことができる。A'、B'、C'のs座標およびt座標は、それぞれ横方向および縦方向の入力画像中のオブジェクトのサイズ変化率を乗じることで設定する。さらに入力画像中のオブジェクトの移動を反映してテクスチャを貼り付けたい場合には、A'、B'、C'のテクスチャ座標中における位置を平行移動すればよく、上記したテクスチャ座標変換での平行移動と等価の効果がある。
【００５３】
上記のように、テクスチャ座標を変換する、もしくはテクスチャを貼り付ける物体の大きさを変更する、もしくは物体に貼り付けるテクスチャの位置を変更することにより、オブジェクトが変形した場合にテクスチャが歪むという従来技術の問題点を解決できる。これは、本発明が入力画像中のオブジェクトの位置情報を使用できることにより可能となっている。
【００５４】
次に、本発明の第３の実施例を、新たに図１３〜図１６を用いて説明する。この編集システムは、図１３に示すように、入力画像６０１に対する画像処理部６００と、この画像処理部６００から出力された画像オブジェクト６０４から位置情報６０８を検出する位置情報検出器６０９と、位置情報検出器６０９が検出した位置情報６０８を基にシーン記述６０７を出力するシーン記述処理部６０５とを備えてなる。
【００５５】
画像処理部６００では、入力画像６０１を入力とし、セグメンテーション器６０２が画像オブジェクトをセグメンテーションし、この画像オブジェクトをMPEG-４画像符号化器６０３が符号化して画像オブジェクト６０４を出力する。
【００５６】
位置情報検出器６０９は、画像オブジェクトデータを入力とし、入力画像中のオブジェクト位置情報を抽出する。
【００５７】
シーン記述処理部６０５では、位置情報検出器６０９が上記画像オブジェクト６０４から検出した位置情報６０８を入力としてMPEG-４シーン記述生成器６０６にシーン記述６０７を生成させる。MPEG-４シーン記述生成器６０６は、オブジェクト位置情報を参照し、シーン中のオブジェクト配置位置を決める。
【００５８】
つまり、上記第１および第２の実施例との違いは、画像処理部６００内部のセグメンテーション器６０２が位置情報を出力する代わりに、位置情報検出器６０９が画像オブジェクトのデータ６０４を入力として位置情報６０８を検出する点である。実施例１および２のように位置情報を出力可能なセグメンテーション器１０２ではないセグメンテーション器によって既にセグメントされ、符号化されている画像オブジェクトを使用する場合にも有効となる。
【００５９】
MPEG-4画像符号化器６０３でのMPEG-4video符号化により得られる画像オブジェクトの符号化データ構造について図１４〜図１６を用いて説明する。図１４は入力画像系列中のオブジェクトを内包する矩形領域を示す図である。図１５は画像オブジェクトを示す図である。図１６は画像オブジェクトの符号化データのフォーマット図である。
【００６０】
図１４に示した入力画像系列のフレーム中の図１５に示した画像オブジェクトに相当するデータをVideoObjectPlaneと呼ぶ。位置情報として、第１の実施例および第２の実施例で述べたオブジェクトを内包する矩形領域のサイズと座標が、VideoObjectPlane毎に図１６に示すように画像オブジェクトデータ中に符号化されている。従って、位置情報検出器６０９は画像オブジェクトの符号化データを入力とし、位置情報６０８を検出することができる。シーン記述生成器６０６の動作は、第１の実施例および第２の実施例と同様である。
【００６１】
なお、画像オブジェクトの符号化方法は、MPEG-4 videoに限らない。位置情報も共に符号化可能な符号化方式ならば、本発明を適用できる。また、第１の実施例および第２の実施例で述べた位置情報を出力するセグメンテーション器１０２と併用することも可能である。例えば入力画像中におけるオブジェクトの位置はセグメンテーション器１０２が出力し、矩形領域のサイズは第３の実施例の位置情報検出器６０９が抽出することも可能である。
【００６２】
次に、本発明の第４の実施例を、新たに図１７を用いて説明する。このシステムにおいてセグメンテーションとシーン記述作成を行うシステムの構成は上記図１又は上記図１３に示したとの同様に構成できる。
【００６３】
この第４の実施例では、入力された画像をオブジェクトへセグメンテーションし、セグメンテーションされたオブジェクトをシーン中で使用するシーン記述を生成する際に、入力画像中のオブジェクトが変形する度にシーン中の配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変更することを回避する目的で、セグメンテーション器１０２又は６０２はオブジェクトを内包する領域を、複数フレーム分のオブジェクトを全て内包する領域に設定する。
【００６４】
図１７は、複数フレームで共通の矩形領域を設定する様子を示している。あるオブジェクトについて、フレームｎからフレームｎ＋ｋまでの全てのフレームでオブジェクトが内包される領域を決定し、決定した領域をフレームｎからフレームｎ＋ｋまでの全てのフレームで共通に使用する。なお、セグメンテーションされた画像オブジェクトを符号化する場合には、上記のように決定した領域を使用して符号化する。オブジェクトを内包する領域が変形・移動しないため、フレームｎからフレームｎ＋ｋまでの間はシーン中のオブジェクト配置位置を変更しなくても、シーン中に配置されたオブジェクトは本来の入力画像中には無かった不要な移動を生じてしまうことはなくなる。また、セグメンテーションされた画像をテクスチャとして使用する場合にも、オブジェクトを内包する領域が変形・移動しないため、テクスチャが歪むことはなく、従来の技術での問題点を回避することが可能である。フレームｎからフレームｎ＋ｋまでの間はシーン中のオブジェクト配置位置を変更しなくても良いため、上記第１の実施例から第３の実施例で参照した位置情報１０８又は６０８は、フレームｎからフレームｎ＋ｋまでの間は変更する必要が無い。さらに、フレームｎからフレームｎ＋ｋまでの間は、シーン記述中のオブジェクトの配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変換する必要も無くなる。
【００６５】
この第４の実施例において矩形領域を決定する際に、入力画像系列全てにおいて共通な矩形領域を設定すれば、シーン中のオブジェクト配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変換する必要は全く無くなり、第１の実施例から第３の実施例における位置情報も更新する必要を無くすことができる。
【００６６】
次に、本発明の第５の実施例を、図１８を用いて説明する。このシステムにおいてもセグメンテーションとシーン記述作成を行うシステムの構成は上記図１又は上記図１３に示したとの同様に構成できる。
【００６７】
この第５実施例では、入力された画像をオブジェクトへセグメンテーションし、セグメンテーションされたオブジェクトをシーン中で使用するシーン記述を生成する際に、入力画像中のオブジェクトが変形もしくは移動する度にシーン中の配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変更することを回避する目的で、セグメンテーション器はオブジェクトを内包する領域を、入力画像の画枠全体に設定する。
【００６８】
図１８は、オブジェクトを内包する領域を入力画像の画枠全体に設定する様子を示している。オブジェクトは入力画像の一部であるから、入力画像の画枠内に必ず内包されることは自明である。領域を入力画像の画枠全体に設定すれば、領域の位置情報が全く変化しないことも自明である。従って、位置情報を更新する必要は全く無くなる。また、オブジェクトを内包する領域が変化しないため、シーン中のオブジェクト配置位置を変更しなくても、シーン中に配置されたオブジェクトは本来の入力画像中には無かった不要な移動を生じることはない。また、セグメンテーションされた画像をテクスチャとして使用する場合にも、オブジェクトを内包する領域が変形・移動しないため、テクスチャが歪むことはなく、従来の技術での問題点を回避することが可能である。シーン中のオブジェクト配置位置を変更しなくても良いため、上記第１の実施例から第３の実施例で参照した位置情報は更新する必要がない。さらに、矩形領域左上のx座標vop_horizontal_mc_spatial_refとy座標vop_vertical_mc_spatial_refは、ともに0であることが自明であり、矩形領域のサイズvop_widthおよびvop_heightはともに入力画像の画枠の幅と高さに等しい。従って、これらが既知であるとみなせる場合は、位置情報が不要となり、セグメンテーションとシーン記述作成を行うシステムの構成は、従来の技術の構成と同じにすることができる。
【００６９】
なお、セグメンテーションした画像オブジェクトをMPEG-4 video符号化方式で符号化する場合には、上述したとおり、オブジェクトを内包する矩形領域中で、オブジェクトのデータが存在しない符号化ブロックは、「符号化データ無し」を意味するフラグのみを符号化すればよいため、オブジェクトを内包する領域を画枠全体に設定することによる符号化ビット量の増加は微少である。
【００７０】
本発明において、オブジェクトの符号化方法は、MPEG-4 videoの符号化方法に限らない。他の符号化方法を用いても、本発明は同様に有効である。また、特に符号化しなくてもよい。入力は画像に限らずCG(Computer Graphics)等のグラフィックデータでもよい。シーン記述をセグメンテーション器の入力として使用し、その一部をセグメンテーションして新たなオブジェクトを作成したり、新たなシーン記述中にそのオブジェクトを配置する場合にも本発明は有効である。三次元のシーン記述をセグメンテーション機の入力として使用し、その一部をセグメンテーションして新たな三次元オブジェクトを作成したり、新たなシーン記述中にそのオブジェクトを配置する場合にも、位置情報を三次元に拡張することで本発明は有効である。シーン記述はMEPG-4 Systemsのシーン記述に限らない。他のシーン記述においても、位置情報に基づいて配置位置やテクスチャ座標もしくは対象物体のサイズあるいはるテクスチャ位置等の補正が行えれば、本発明による同様の効果が得られる。位置情報は、領域のサイズと位置そのものでなくとも、同様の情報を含んでいればよい。例えば、領域の位置は、領域の中心でも左上でも、同様の情報を含んでいれば任意の位置で良い。シーン記述の種類によっては、領域は矩形でなくてもよく、オブジェクトの重心を位置情報として使用できる。従って、第１の実施例で述べたオブジェクト配置位置の更新式と第２実施例で述べたテクスチャ座標変換式は、位置情報の表しかたやシーン記述の種類によって異なり、同等の効果を表す式で置き換えられる。
【００７１】
また、位置情報は、変化があった時のみ出力すればよい。MPEG-4 videoの符号化方法ではフレーム間の時間間隔が一定でないことも許されており、どの時間に表示すべきフレームでの位置情報であるかが分かるように出力されていればよい。入力画像が動画像ではなく静止画像や時間変化しないグラフィックデータであっても、シーン記述中の配置位置を決定する際に、本発明の位置情報を参照することは有効である。位置情報が入力画像やグラフィックデータ中の位置とサイズのどちらか一方のみしか得られない場合にも、本発明におけるシーン記述生成器は得られた位置情報のみを参照することにより、配置位置の限定的な補正を行うことができる。例えば入力画像やグラフィックデータ中の位置は得られない場合でも、オブジェクトを内包する領域のサイズを位置情報として参照可能な場合は、式３ａから式３ｄで示したようにオブジェクトのシーン中の配置位置を決定すれば、シーン中での不要なオブジェクトの移動を取り除くことが可能になっている。
【００７２】
【発明の効果】
本発明によれば、セグメンテーション器がオブジェクトを内包する領域の画像やグラフィックデータ中の位置情報を出力し、一方でシーン記述生成器は、出力された位置情報に基づいてオブジェクトの配置位置を決定することにより、オブジェクトをシーン中で望ましい位置に配置することを可能とした。また、セグメンテーションしたオブジェクトをテクスチャとしてシーン記述で使用する場合にも、セグメンテーション器から出力された位置情報に基づいてテクスチャ座標を変換したシーン記述を生成することにより、シーン中で貼り付けるテクスチャの歪みを回避し、オブジェクトの移動をテクスチャに反映させることも可能とした。もしくは、テクスチャを貼り付ける対象の物体の大きさを変更したり、物体に貼り付けるテクスチャ位置を変更することによってもテクスチャの歪みを回避可能とした。
【図面の簡単な説明】
【図１】本発明の第１の実施例となる編集システムの構成を示すブロック図である。
【図２】入力画像から画像オブジェクトをセグメンテーションしたときに生成する位置情報の具体例を示す図である。
【図３】位置情報を参照したシーン中への画像オブジェクトの配置を表す図である。
【図４】本発明の第２の実施例となる編集システムにおける、入力画像のセグメンテーションと位置情報の概念を示す図である。
【図５】フレーム１のテクスチャマップをシーン１中の物体表面に貼り付けた様子を示す図である。
【図６】フレーム１から変形したフレーム２に対して生じるテクスチャの歪みを示す図である。
【図７】この第２の実施例における、テクスチャ座標軸を拡大・縮小してからテクスチャマップに適用する具体例を示す図である。
【図８】テクスチャ座標軸を平行移動してからテクスチャマップに適用する具体例を示す図である。
【図９】対象の物体サイズを変更してからテクスチャを貼り付ける具体例を示す図である。
【図１０】物体に貼り付けるテクスチャの位置を変更する方法を説明するための図である。
【図１１】オブジェクトが変形した場合における、テクスチャを貼り付けた物体のシーン中の歪みを示す図である。
【図１２】テクスチャの歪みを無くした具体例を示す図である。
【図１３】本発明の第３の実施例となる編集システムの構成を示すブロック図である。
【図１４】入力画像系列中のオブジェクトを内包する矩形領域を示す図である。
【図１５】画像オブジェクトを示す図である。
【図１６】画像オブジェクトの符号化データのフォーマット図である。
【図１７】本発明の第４の実施例の概念を示す図である。
【図１８】本発明の第５の実施例の概念を示す図である。
【図１９】静止画像信号、動画像信号及びグラフィックデータなどを画面中に配置して新しいシーンを記述するシーン記述技術の概要を示す図である。
【図２０】セグメンテーションとシーン記述作成を行う従来の編集システムの構成を示す図である。
【図２１】シーン記述の構造を示す図である。
【図２２】シーン記述の内容を示している図である。
【図２３】シーンの具体例を示す図である。
【図２４】入力画像Ｄ００中の楕円形のオブジェクトＤ０１と背景のオブジェクトＤ０３をセグメンテーションして符号化する具体例を示す図である。
【図２５】 MPEG-4 Video等のような画像オブジェクトをシーン中に配置する場合の課題を説明するための図である。
【図２６】画像オブジェクトを立方体の表面に張り付ける具体例を示す図である。
【符号の説明】
１００ 画像処理部、１０１ 入力画像、１０２ セグメンテーション器、１０３ MPEG-4画像符号化器、１０４ 画像オブジェクト、１０５ シーン記述処理部、１０６ MPEG-4シーン記述生成器、１０７ シーン記述
Claims (9)
- 入力画像からオブジェクトを抽出するときにオブジェクトの位置情報を出力するオブジェクト抽出手段と、
上記オブジェクト抽出手段により出力された上記位置情報に基づいてシーン中でのオブジェクトの配置位置に関するシーン記述情報を生成するシーン記述生成手段と
を備えることを特徴とするシーン記述生成装置。 - 上記オブジェクト抽出手段は、上記オブジェクトの位置情報としてオブジェクトを内包する領域の幅と高さ及び領域の位置を出力することを特徴とする請求項１記載のシーン記述生成装置。
- 上記オブジェクト抽出手段で抽出されたオブジェクトを符号化するオブジェクト符号化手段を備えることを特徴とする請求項１記載のシーン記述生成装置。
- 上記シーン記述生成手段は、上記オブジェクトが変形した場合、上記オブジェクトの位置情報を参照し、入力画像中の移動を反映した上記シーン記述情報を生成することを特徴とする請求項１記載のシーン記述生成装置。
- 上記シーン記述生成手段は、上記オブジェクトが変形した場合、上記オブジェクトの位置情報を参照し、入力画像中の移動成分を取り除いた上記シーン記述情報を生成することを特徴とする請求項１記載のシーン記述生成装置。
- 上記オブジェクト抽出手段で抽出されたオブジェクトをテクスチャとしてシーン中で使用するとき、上記シーン記述生成手段は上記オブジェクト抽出手段により出力された上記位置情報に基づいてシーン中の物体に貼り付けるテクスチャマップとテスクチャ座標の変換を決定し、この決定に応じて上記シーン記述情報を生成することを特徴とする請求項１記載のシーン記述生成装置。
- 上記オブジェクト抽出手段で抽出されたオブジェクトをテクスチャとしてシーン中で使用するとき、上記シーン記述生成手段は上記オブジェクト抽出手段により出力された上記位置情報に基づいて上記テクスチャを貼り付けるシーン中の物体の大きさを決定し、この決定に応じた上記シーン記述生成情報を生成することを特徴とする請求項１記載のシーン記述生成装置。
- 上記オブジェクト抽出手段で抽出されたオブジェクトをテクスチャとしてシーン中で使用するとき、上記シーン記述生成手段は上記オブジェクト抽出手段により出力された上記位置情報に基づいて物体に貼り付ける上記テクスチャ位置の指定を決定し、この決定に応じた上記シーン記述生成情報を生成することを特徴とする請求項１記載のシーン記述生成装置。
- 入力画像からオブジェクトを抽出するときにオブジェクトの位置情報を出力するオブジェクト抽出工程と、
上記オブジェクト抽出工程により出力された上記位置情報に基づいてシーン中でのオブジェクトの配置位置に関するシーン記述情報を生成するシーン記述生成工程と
を備えることを特徴とするシーン記述生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16722599A JP4151158B2 (ja) | 1999-06-14 | 1999-06-14 | シーン記述生成装置及び方法 |
| US09/592,008 US6621939B1 (en) | 1999-06-14 | 2000-06-12 | Scene description generating apparatus and method, object extracting method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16722599A JP4151158B2 (ja) | 1999-06-14 | 1999-06-14 | シーン記述生成装置及び方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000358192A JP2000358192A (ja) | 2000-12-26 |
| JP2000358192A5 JP2000358192A5 (ja) | 2006-04-27 |
| JP4151158B2 true JP4151158B2 (ja) | 2008-09-17 |
Family
ID=15845776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16722599A Expired - Lifetime JP4151158B2 (ja) | 1999-06-14 | 1999-06-14 | シーン記述生成装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6621939B1 (ja) |
| JP (1) | JP4151158B2 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2281538C (en) * | 1997-02-14 | 2006-01-03 | The Trustees Of Columbia University In The City Of New York | Object-based audio-visual terminal and bitstream structure |
| GB9712724D0 (en) * | 1997-06-18 | 1997-08-20 | Holmes Steven | Method and apparatus for interaction with broadcast television content |
| US7199836B1 (en) * | 1998-02-13 | 2007-04-03 | The Trustees Of Columbia University In The City Of New York | Object-based audio-visual terminal and bitstream structure |
| US7293231B1 (en) | 1999-03-18 | 2007-11-06 | British Columbia Ltd. | Data entry for personal computing devices |
| WO2000057265A1 (en) | 1999-03-18 | 2000-09-28 | 602531 British Columbia Ltd. | Data entry for personal computing devices |
| CA2323856A1 (en) * | 2000-10-18 | 2002-04-18 | 602531 British Columbia Ltd. | Method, system and media for entering data in a personal computing device |
| FI109635B (fi) * | 2001-02-01 | 2002-09-13 | Hantro Products Oy | Menetelmä ja laite videokuvan jälkikäsittelemiseksi |
| FR2825556A1 (fr) * | 2001-05-31 | 2002-12-06 | Koninkl Philips Electronics Nv | Generation d'une description dans un langage de balisage d'une structure d'un contenu multimedia |
| KR100508569B1 (ko) | 2001-06-19 | 2005-08-18 | 김회율 | 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법 |
| US7216288B2 (en) * | 2001-06-27 | 2007-05-08 | International Business Machines Corporation | Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system |
| KR100478934B1 (ko) * | 2002-10-22 | 2005-03-28 | 한국전자통신연구원 | 객체기반 엠팩-4 컨텐츠 편집/저작과 검색 장치 및 방법 |
| US7142602B2 (en) * | 2003-05-21 | 2006-11-28 | Mitsubishi Electric Research Laboratories, Inc. | Method for segmenting 3D objects from compressed videos |
| EP1503299A1 (en) * | 2003-07-31 | 2005-02-02 | Alcatel | A method, a hypermedia communication system, a hypermedia server, a hypermedia client, and computer software products for accessing, distributing, and presenting hypermedia documents |
| US8552984B2 (en) * | 2005-01-13 | 2013-10-08 | 602531 British Columbia Ltd. | Method, system, apparatus and computer-readable media for directing input associated with keyboard-type device |
| KR100679124B1 (ko) * | 2005-01-27 | 2007-02-05 | 한양대학교 산학협력단 | 이미지 시퀀스 데이터 검색을 위한 정보 요소 추출 방법및 그 방법을 기록한 기록매체 |
| KR100610689B1 (ko) * | 2005-06-24 | 2006-08-09 | 엔에이치엔(주) | 3차원 화면에 동영상을 삽입하는 방법 및 이를 위한 기록매체 |
| JP2007102734A (ja) * | 2005-10-07 | 2007-04-19 | Konami Digital Entertainment:Kk | 画像処理装置、画像処理方法及びプログラム |
| US7911467B2 (en) * | 2005-12-30 | 2011-03-22 | Hooked Wireless, Inc. | Method and system for displaying animation with an embedded system graphics API |
| US20090136218A1 (en) * | 2006-08-14 | 2009-05-28 | Vmedia Research, Inc. | Multimedia presentation format |
| KR101445074B1 (ko) * | 2007-10-24 | 2014-09-29 | 삼성전자주식회사 | 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치 |
| JP2010074772A (ja) * | 2008-09-22 | 2010-04-02 | Sony Corp | 映像表示装置、及び映像表示方法 |
| US8340504B2 (en) * | 2011-04-26 | 2012-12-25 | Sony Computer Entertainment Europe Limited | Entertainment device and method |
| WO2013084234A1 (en) * | 2011-12-05 | 2013-06-13 | Rotary View Ltd. | System and method for generating a stereoscopic 3d presentation from picture sequence emanating from single lens source |
| KR102069538B1 (ko) * | 2012-07-12 | 2020-03-23 | 삼성전자주식회사 | 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법 |
| US10228819B2 (en) | 2013-02-04 | 2019-03-12 | 602531 British Cilumbia Ltd. | Method, system, and apparatus for executing an action related to user selection |
| US9928874B2 (en) | 2014-02-05 | 2018-03-27 | Snap Inc. | Method for real-time video processing involving changing features of an object in the video |
| US10116901B2 (en) | 2015-03-18 | 2018-10-30 | Avatar Merger Sub II, LLC | Background modification in video conferencing |
| US20210105451A1 (en) * | 2019-12-23 | 2021-04-08 | Intel Corporation | Scene construction using object-based immersive media |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08279054A (ja) * | 1995-04-07 | 1996-10-22 | Hitachi Ltd | 映像生成／表示システム |
| JP3812985B2 (ja) * | 1997-04-04 | 2006-08-23 | 富士通株式会社 | 自動監視装置 |
| US6124864A (en) * | 1997-04-07 | 2000-09-26 | Synapix, Inc. | Adaptive modeling and segmentation of visual image streams |
| JP3382173B2 (ja) * | 1998-03-10 | 2003-03-04 | 株式会社ハイニックスセミコンダクター | 飛越し走査方式の映像信号に対するｖｏｐ境界矩形の設定方法及び装置 |
| US6512793B1 (en) * | 1998-04-28 | 2003-01-28 | Canon Kabushiki Kaisha | Data processing apparatus and method |
-
1999
- 1999-06-14 JP JP16722599A patent/JP4151158B2/ja not_active Expired - Lifetime
-
2000
- 2000-06-12 US US09/592,008 patent/US6621939B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000358192A (ja) | 2000-12-26 |
| US6621939B1 (en) | 2003-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4151158B2 (ja) | シーン記述生成装置及び方法 | |
| US6047088A (en) | 2D mesh geometry and motion vector compression | |
| Tekalp et al. | Face and 2-D mesh animation in MPEG-4 | |
| JP3177221B2 (ja) | 興味深いシーンのイメージを表示するための方法及び装置 | |
| US6285794B1 (en) | Compression and editing of movies by multi-image morphing | |
| US20050063596A1 (en) | Encoding of geometric modeled images | |
| JP2000067267A (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| KR20140120240A (ko) | 웹 페이지를 통한 고속의 사실적 3d 렌더링에 의한 오브젝트 커스터마이즈 방법 | |
| WO2005024728A1 (ja) | 形態変形装置、物体動作符号化装置および物体動作復号化装置 | |
| JP3104638B2 (ja) | ３次元画像作成装置 | |
| JPH1049704A (ja) | 画像変換方法 | |
| KR19990077605A (ko) | 화상복호/합성방법및화상복호/합성장치 | |
| JP3720864B2 (ja) | 画像処理方法および装置 | |
| US20110012914A1 (en) | Image processing device and image processing method | |
| CN108492381A (zh) | 一种将实物颜色转换成3d模型贴图的方法及系统 | |
| US20230260215A1 (en) | Data stream, devices and methods for volumetric video data | |
| KR100822948B1 (ko) | 벡터 그래픽을 활용한 애니메이션의 개선된 중간 영상 생성시스템 | |
| JP3955177B2 (ja) | グラフィックシーンの動画化のためのデータを作成する方法及び装置 | |
| JP3642923B2 (ja) | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP3268665B2 (ja) | コンピュータ・グラフィックス制作装置 | |
| WO2020012071A1 (en) | A method, an apparatus and a computer program product for volumetric video coding | |
| KR100512567B1 (ko) | 얼굴 애니메이션을 위한 디에스엠 복원 방법 | |
| US20230038647A1 (en) | Anti-aliasing two-dimensional vector graphics using a compressed vertex buffer | |
| JP2002023905A (ja) | 対話式シーンのユーザアクションを不変変換処理する方法と装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060310 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080318 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080623 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4151158 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |