JP2024073130A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】多数のオブジェクトに対する高速なトラッキング処理を実現する。【解決手段】各フレームに複数のオブジェクトそれぞれの三次元形状を表す３Ｄモデルを含んだフレーム群から成る時系列形状データを取得する。そして、取得した時系列形状データに含まれる対応関係情報に基づいて、オブジェクト毎にトラッキング処理を行う。【選択図】図３

Description

本開示は、オブジェクトの三次元形状データのトラッキング技術に関する。

近年、映像作成の分野では、オブジェクト（被写体）の三次元形状を表すデータ（一般に「３Ｄモデル」と呼ばれる。）を三次元空間内に再構成し、ＣＧによる演出を加えて自由な視点から映像化するボリュメトリックビデオ技術が一般的になりつつある。ここで、生成した３Ｄモデルのデータをボリュメトリックビデオの生成装置等に転送する際のデータ圧縮の前処理として、３Ｄモデルのトラッキング処理が行われている。このトラッキング処理は、動画を構成する一連のフレーム群において、３Ｄモデルが表す三次元形状の各構成要素をフレーム間で対応付ける技術である。

特開２０１９－０３６２８８号公報 ＵＳ２０１７／００２４９３０

例えばメッシュ形式の３Ｄモデルに対するトラッキング処理の場合、トラッキング範囲で共通のトポロジを維持した状態になる。ここで、トラッキング処理の対象となるオブジェクトの数が増えるに連れてポリゴンの頂点数が増えて演算量が指数的に増大するところ、オブジェクトの数が多くなると望ましい時間内にトラッキング処理を完了することが困難であった。

本開示は上述した課題を解決するためになされたものであり、多数のオブジェクトに対する高速なトラッキング処理を実現することを目的とする。

本開示に係る画像処理装置は、各フレームに複数のオブジェクトそれぞれの三次元形状を表す３Ｄモデルを含んだフレーム群から成る時系列形状データを取得する取得手段と、前記時系列形状データに含まれる対応関係情報に基づいて、前記時系列形状データに対しオブジェクト毎にトラッキング処理を行うトラッキング手段と、前記トラッキング手段によって処理されたトラッキング済み時系列形状データにメタデータを付して出力する出力手段と、を有し、前記対応関係情報は、各フレームにおいて３Ｄモデルに紐づくオブジェクトを特定可能な識別情報であり、前記メタデータは、前記トラッキング済み時系列形状データにおいて前記３Ｄモデルの構成要素がフレーム間で追跡されているフレーム区間を示すトラックと前記オブジェクトの識別情報とを対応付けたデータである、ことを特徴とする。

本開示によれば、多数のオブジェクトに対してトラッキング処理を高速に行うことが可能となる。

実施形態１に係る、画像処理装置の論理構成（ソフトウェア構成）を示す機能ブロック図。 実施形態１に係る、画像処理装置のハードウェア構成を示すブロック図。 実施形態１に係る、トラッキング処理の流れを示すフローチャート。 （ａ）及び（ｂ）は、実施形態１のトラッキング処理を説明する図。 オブジェクト毎のトラッキング処理の詳細を示すフローチャート。 あるオブジェクトの連続メッシュモデルに対してトラッキング処理が適用される様子を表した模式図。 トラック情報としてのテーブルの一例。 実施形態２に係る、画像処理装置の論理構成（ソフトウェア構成）を示す機能ブロック図。 実施形態２に係る、トラッキング処理の流れを示すフローチャート。 （ａ）～（ｃ）は、実施形態２のトラッキング処理を説明する図。 トラック情報におけるGOFとトラックとの関係を示す図。 （ａ）～（ｃ）は、実施形態２の変形例のトラッキング処理を説明する図。 実施形態３に係るトラック情報の一例。 実施形態３に係る、トラッキング処理の流れを示すフローチャート。 （ａ）～（ｅ）は、実施形態３のトラッキング処理を説明する図。 実施形態３に係る、トラック分割処理の詳細を示すフローチャート 両トラックの変形誤差の合計値が最小となるフレーム位置を選択する様子を説明する図。 実施形態４に係る、トラッキング処理の流れを示すフローチャート。 （ａ）及び（ｂ）は、実施形態４のトラッキング処理を説明する図。 （ａ）～（ｃ）は、メッシュ数の増減がある場合の説明図。

以下、添付の図面を参照して、本開示の実施の形態について詳細に説明する。なお、以下の実施の形態に示す構成は一例に過ぎず、本開示の範囲をその構成のみに限定するものではない。

（課題の確認）
実施形態の説明に入る前に、本開示の課題について確認しておく。前述のとおり例えばメッシュ形式の３Ｄモデルに対するトラッキング処理の場合、トラッキング範囲（ポリゴンの頂点がフレーム間で追跡されているフレーム区間。一般に「トラック」と呼ばれる。）で共通のトポロジを維持した状態になる。例えば頂点数Ｎ_bのベースメッシュを頂点数N_tのターゲットメッシュに対してトラッキング処理を行う場合を考える。この場合、頂点間の非剛体位置合わせをICP法（Iterative Closest Point法）で行うと、最近傍点探索とコスト関数の最小化処理を繰り返す必要がある。最近傍探索は全探索の場合はＯ（Ｎ_bN_t）の演算が必要になり、コスト関数の最小化処理については3N_b×3N_bの行列の連立方一次程式を解く必要がありLU分解法を利用した場合はO（Ｎ_b ²）/2の演算が必要になる。このように頂点数が増えるほど多くの演算が必要になることから、トラッキング処理の対象オブジェクトの数が増えるほど演算量が指数的に増大して処理が追い付かなくなる、ということが本開示の課題である。

（用語の定義）
本明細書において「オブジェクト」とは、人物等の三次元物体を意味する。また、「点」とは、三次元空間において１個の座標により示される、オブジェクトの三次元形状を表す際の要素を意味し、「点群形式」はオブジェクトの表面位置を１個以上の点の集合で表現する３Ｄモデルのデータ形式を指す。また「ポリゴン」とは、３個以上の点を頂点とした多角形面を意味し、「メッシュ形式」はオブジェクトの表面形状をポリゴンの集合で表現する３Ｄモデルのデータ形式を指す。

［実施形態１］
本実施形態では、時系列に並んだ各フレームに複数のオブジェクトそれぞれの三次元形状を示す複数の３Ｄモデルを含んだフレーム群のデータを取得し、当該データをオブジェクト毎に分割した上でトラッキング処理を行う態様を説明する。なお、各フレームが複数のオブジェクトそれぞれに対応する３Ｄモデルを含んだフレーム群から成るデータを、以下では「時系列形状データ」と呼び、その中でも３Ｄモデルがメッシュ形式で表現されているものを「時系列メッシュデータ」と呼ぶこととする。すなわち、時系列メッシュデータは、オブジェクトを経時的に計測して取得された、当該オブジェクトの三次元形状を表すメッシュ形式の３Ｄモデルが、フレーム単位で時系列に並んだ集合データである。

＜画像処理装置の論理構成＞
図１は、本実施形態に係る画像処理装置の論理構成（ソフトウェア構成）を示す機能ブロック図である。画像処理装置１００は、データ取得部１０１、トラッキング部１０２、及びデータ出力部１０３を有する。以下、各機能部について説明する。

データ取得部１０１は、時系列メッシュデータ、及び当該時系列メッシュデータにおいてオブジェクトを識別可能な対応関係情報を取得する。ここで、対応関係情報は、各フレームに含まれるメッシュ形式の３Ｄモデル（以下、「メッシュモデル」と表記）に対応するオブジェクトを特定可能な、個々のメッシュモデルに付与される識別情報（オブジェクトＩＤ）である。この対応関係情報は、例えば特許文献１に示されている方法で取得できる。

トラッキング部１０２は、データ取得部１０１が取得した時系列メッシュデータに対して、オブジェクト毎にトラッキング処理を行う。メッシュモデルをフレーム間でトラッキングする場合、メッシュの構成要素であるポリゴンの頂点をフレーム間で追跡して、頂点のインデックス（頂点ＩＤ）をフレーム間で共通化するという方法（特許文献２を参照）が採られる。メッシュのインデックス情報をフレーム間で共通化することで、テクスチャ付きメッシュデータを「キーフレーム＋差分」の形式で表現することができる
データ出力部１０３は、トラッキング部１０２によるトラッキング処理の結果である（オブジェクト毎のトラッキング済みの時系列メッシュデータとトラック情報を出力する。ここで、トラック情報は、トラッキング処理においてオブジェクト毎に形成されるトラックの詳細を示す情報であり、トラッキング済みの時系列メッシュデータのメタデータとしての役割を持つ。

上述した各機能部は、画像処理装置１００が備える後述のハードウェアによって実現される。

＜画像処理装置のハードウェア構成＞
図２は、本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。画像処理装置１００は、一般的なコンピュータが備えるハードウェアとして、図２に一例として示すようにＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信部２０７、及びバス２０８を有している。

ＣＰＵ２０１は、ＲＯＭ２０２又はＲＡＭ２０３に格納されているプログラム又はデータを用いて、図１に示す画像処理装置１００が備える各機能部を実現する。なお、画像処理装置１００は、ＣＰＵ２０１とは異なる１つ又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ、ＦＰＧＡ、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ２０２は、変更を必要としないプログラム等を格納する。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラム若しくはデータ、又は通信部２０７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置２０４は、例えばハードディスクドライブ等で構成され、画像データ又は音声データ等の種々のデータを記憶する。

表示部２０５は、例えば液晶ディスプレイ又はＬＥＤ等により構成され、ユーザが画像処理装置１００を操作又は必要な情報を閲覧するためのＧＵＩ（Graphical User Interface）等を表示する。操作部２０６は、例えばキーボード、マウス、又はタッチパネル等により構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。ＣＰＵ２０１は、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部としても動作する。通信部２０７は、画像処理装置１００の外部の装置との通信に用いられる。例えば、画像処理装置１００が外部の装置と有線接続される場合には、通信用のケーブルが通信部２０７に接続される。画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信部２０７はアンテナを備える。バス２０８は、画像処理装置１００が備える各部を繋いで情報を伝達する。

本実施形態では、表示部２０５及び操作部２０６は、画像処理装置１００の内部に存在するものとして説明するが、表示部２０５及び操作部２０６の少なくとも一方は、画像処理装置１００の外部に別の装置として存在していてもよい。

＜画像処理装置１００の動作＞
図３は、本実施形態に係るトラッキング処理の流れを示すフローチャートである。図４の（ａ）及び（ｂ）は、本実施形態のトラッキング処理を説明する図である。以下、図面３及び図４を参照して、本実施形態に係る画像処理装置１００の動作について説明する。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ３０１にて、データ取得部１０１は、まず、処理対象となる時系列メッシュデータ及びその対応関係情報を取得する。図４（ａ）は、入力された時系列メッシュデータの模式図である。図４（ａ）において、横長の矩形４００、４１０、４２０はそれぞれ、“Obj.0”、“Obj.1”、“Obj.2”の３種類のオブジェクトに対応する、時系列に連続するメッシュモデルの集合（以下、「連続メッシュモデル」と呼ぶ。）を表している。

Ｓ３０２にて、トラッキング部１０２は、Ｓ３０１にて時系列メッシュデータとともに取得された対応関係情報に含まれるオブジェクトＩＤに基づいて、各オブジェクトに対応する連続メッシュモデルに対してトラッキング処理を行う。これにより、図４（ｂ）に示すような、トラッキング済みの時系列メッシュデータとこれに対応するトラック情報が生成される。図４（ｂ）の例ではトラッキング処理によって“Obj.0”に関しては、連続メッシュモデル４００をフレーム位置ｂにてTrack0-1とTrack0-2の２つのトラックに分かれた、トラッキング済みの連続メッシュモデル４０１が得られている。同様に、“Obj.1”に関しては、連続メッシュモデル４１０をフレーム位置ｄにてTrack1-1とTrack1-2の２つのトラックに分かれた、トラッキング済みの連続メッシュモデル４１１が得られている。同様に、“Obj.2”に関しては、連続メッシュモデル４２０をフレーム位置ａとｃにてTrack2-1、Track2-2、Track2-3の３つのトラックに分かれた、トラッキング済みの連続メッシュモデル４２１が得られている。よって、“Obj.0”、“Obj.1”、“Obj.2”それぞれと各トラックとの関係を規定するトラック情報が生成されることになる。本ステップにおける、オブジェクト単位で実行されるトラッキング処理の詳細については後述する。

Ｓ３０３にて、データ出力部１０３は、Ｓ３０２にて生成されたトラッキング済みの時系列メッシュデータとトラック情報を出力する。すなわち、前述の図４（ｂ）に示すような、オブジェクト毎のトラッキング済み連続メッシュモデルから成る時系列メッシュデータと、各トラッキング済み連続メッシュモデルにおけるトラックの構成を示すトラック情報が出力されることになる。

以上が、本実施形態に係るトラッキング処理の概要である。

＜トラッキング処理の詳細＞
図５は、トラッキング部１０２によるオブジェクト毎のトラッキング処理の詳細を示すフローチャートである。また、図６は、あるオブジェクトの連続メッシュモデルに対してトラッキング処理が適用される様子を表した模式図である。なお、図６においては便宜上、メッシュモデルを単に「メッシュ」と表記している。以下、図５のフローチャート及び図６の模式図を参照して説明する。

Ｓ５０１では、Ｓ３０１で取得した時系列メッシュデータにおける各フレームのキーフレームスコアが算出される。ここで、キーフレームスコアとは、個々のフレームにおけるキーフレームとしての利用のしやすさを表す指標であり、例としてフレームに含まれるメッシュモデルのトポロジの種数やメッシュモデルの表面積を用いることができる。例えば、メッシュモデルのトポロジの種数Ｇは、以下の式（１）で求めることができる。

・・・式（１）

上記式（１）において、Eはメッシュモデルのエッジ数、Vはメッシュモデルの頂点数、Fはメッシュモデルのポリゴン数を表す。また、メッシュモデルの表面積Ａは、以下の式（２）で求めることができる。

・・・式（２）

上記式（２）において、PS_iはポリゴンiの面積、mはメッシュモデルのポリゴン数を表す。

Ｓ５０２では、Ｓ５０１で算出したキーフレームスコアが最大値のフレームが、キーフレームに設定される。いま、図６の例では、フレーム２がキーフレームに設定されたものとする。

Ｓ５０３では、Ｓ５０２にて設定されたキーフレームに含まれるメッシュモデルがトラッキングの基準となるベースメッシュモデルにまず設定される。さらに、キーフレームの前後のフレームに含まれるメッシュモデルがトラッキングのターゲットとなるターゲットメッシュモデルにそれぞれ設定される。いま、図６の例では、フレーム２がキーフレームなので、フレーム２に含まれるメッシュモデル６０２がベースメッシュモデルに、その両隣のフレーム１及びフレーム３に含まれるメッシュモデル６０１及び６０３がターゲットモデルに設定されることになる。

Ｓ５０４では、ベースメッシュモデルを、ターゲットメッシュモデルの表面構造と差が少なくなるように変形するフィッティング処理が行われる。これにより、フィッティングメッシュモデルが生成される。変形には、例えばＩＣＰ（Iterative Closest Point）法を利用できる。このフィッティング処理により、図６の例では、フレーム２内のメッシュモデル６０２を、隣接するフレーム１とフレーム３のメッシュモデル６０１及び６０３それぞれに形状を近似させたフィッティングメッシュモデル６０１’及び６０３’が生成される。ここでは前後フレームの両方向にトラッキング処理を行っているが、前フレームまたは後フレームへの片方向のトラッキング処理でもよい。

Ｓ５０５では、ターゲットメッシュモデルとフィッティングメッシュモデルとの間の形状の誤差が算出される。ここでの誤差は、例えば、両モデル間の頂点のハウスドルフ距離を利用することができる。図６の例では、メッシュモデル６０１とフィッティングメッシュモデル６０１’との誤差及びメッシュモデル６０３とフィッティングメッシュモデル６０３’との誤差がそれぞれ算出されることになる。

Ｓ５０６では、Ｓ５０５にて算出された誤差が閾値以下であるか否かが判定され、判定結果に従って次に実行する処理が振り分けられる。誤差が閾値以下であった場合はＳ５０７の処理が実行され、誤差が閾値を越えていた場合はＳ５０８の処理が実行される。

Ｓ５０７では、ベースメッシュモデル及びターゲットメッシュモデルが更新される。具体的には、現ターゲットメッシュモデルを新たなベースメッシュモデルに設定し、現ターゲットメッシュモデルを包含するフレームに隣接するフレームに含まれるメッシュモデルを新たなターゲットメッシュモデルに設定する処理が行われる。更新後はＳ５０４に戻り、同様の処理が繰り返される。

Ｓ５０８では、ここまでの処理において誤差が閾値以下であったフレームの範囲が、１つのトラックとして決定される。図６の例では、まずフレーム１と３にて、ターゲットメッシュモデルとフィッティングメッシュモデルとの間の形状の誤差が算出される。この誤差は閾値以下であるため、さらに隣接するフレーム４と５のメッシュモデルに対してトラッキング処理が行われる。このときのフィッティング処理には以下の２つの手法が考えられ、いずれの手法を適用してもよい。

≪手法１≫
フレーム４については、フレーム４内のメッシュモデルと差がなくなるようにフレーム３について生成されたフィッティングメッシュモデルを変形する。フレーム５については、フレーム５内のメッシュモデルと差がなくなるようにフレーム４について生成されたフィッティングメッシュモデルを変形する。

≪手法２≫
フレーム４については、フレーム４内のメッシュモデルと差がなくなるようにベースメッシュモデル（フレーム２内のメッシュモデル）を変形する。フレーム５については、フレーム５内のメッシュモデルと差がなくなるようにベースメッシュモデル（フレーム２内のメッシュモデル）を変形する。

そして、図６の例では、フレーム５のときに誤差が閾値を上回るため、フレーム１から４までの範囲が１つのトラックとして決定されることになる。こうして、フレーム１～４をトラック幅（トラック１）とするトラッキング済みの時系列メッシュデータが得られることになる。

Ｓ５０９では、Ｓ３０１で取得した時系列メッシュデータの全てのフレームがいずれかのトラックに属しているか否かが判定される。全てのフレームがいずれかのトラックに属している場合は、Ｓ５１１が実行される。一方、まだどのトラックにも属していないフレームがある場合は続いてＳ５１０が実行される。

Ｓ５１０では、既に決定したトラックに属するフレームのキーフレームスコアが最小値に設定される。設定後は、Ｓ５０２に戻り、どのフレームにも属していない残りのフレームのうちキーフレームスコアが最大のフレームが新たなキーフレームに設定されて、同様の処理が繰り返される。これにより新しく設定されたキーフレームを基に、新しいトラックと、当該新しいトラックに対応するトラッキング済みのメッシュデータを取得する。図６の例では、既に「トラック１」に属しているフレーム１～４のキーフレームスコアを最小値“０”に設定することで、残りのフレーム５～７の中からフレーム６が新しいキーフレームに設定されている。そして、フレーム６内のメッシュモデルをベースメッシュモデルとし、その前後フレーム５と７のメッシュモデルをターゲットメッシュモデルとしてトラッキング処理が行われる。その結果、フレーム５～７をトラック幅（トラック２）とするトラッキング済みのメッシュデータが得られている。

Ｓ５１１では、ここまでの処理で得られたトラッキング済みの時系列メッシュデータとそのトラック情報が出力される。図７は、トラック情報としてのテーブルの一例である。図７に示すトラック情報は、各フレームに３つのオブジェクトのメッシュモデルが含まれる、全部で150個のフレームから成る時系列メッシュデータに対するトラッキング処理によって得られたトラックの詳細を示している。図７のテーブルは、トラックＩＤ“０～８”によって特定されるトラック毎の開始フレームと終了フレームを、オブジェクト毎に規定（オブジェクトＩＤ“０～２”）している。なお、開始フレームや終了フレームを自動でキーフレームとするように設定しておくことで、キーフレームの情報を管理する必要がなくなる。ただし、必要に応じて各トラックにキーフレームの情報を付与してもよい。

以上が本実施形態に係る、オブジェクト毎のトラッキング処理の詳細である。このようなオブジェクト毎のトラッキング処理を並列に行うことで、時系列形状データに対するより高速なトラッキング処理が可能となる。

［実施形態２］
実施形態１の方法で得られるトラッキング済みの時系列メッシュデータでは、オブジェクト毎にトラック長が異なり得る為、オブジェクト間でトラックの開始フレームの位置が揃わないということが生じる（前述の図４（ｂ）を参照）。そのため、データを転送するためにある程度のトラック幅で該当フレームのデータをパッキングする、例えばMPEG-DASHのようなフォーマットに対応できないという課題が残る。そこで、オブジェクト間でトラックの開始フレームの位置が揃ったトラッキング済みの時系列メッシュデータを得る方法を実施形態２として説明する。なお、画像処理装置１００の基本的な構成は実施形態１と共通であるため、以下では実施形態１との差異点であるトラッキング処理の内容を中心に説明することとする。

＜画像処理装置の論理構成＞
図８は、本実施形態に係る画像処理装置の論理構成（ソフトウェア構成）を示す機能ブロック図である。実施形態１に係る画像処理装置１００にはない、トラック分割部８０１が追加されている。

＜画像処理装置１００の動作＞
図９は、本実施形態に係るトラッキング処理の流れを示すフローチャートである。図１０の（ａ）～（ｃ）は、本実施形態のトラッキング処理を説明する図である。以下、図９及び図１０（ａ）～（ｃ）を参照して、本実施形態に係る画像処理装置１００の動作について説明する。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ９０１は実施形態１の図３のフローにおけるＳ３０１に相当する。すなわち、データ取得部１０１が、まず、処理対象となる時系列メッシュデータ及びその対応関係情報を取得する。図１０（ａ）は、入力された時系列メッシュデータの模式図である。図１０（ａ）において、横長の矩形１０００、１０１０、１０２０はそれぞれ、“Obj.0”、“Obj.1”、“Obj.2”の３種類のオブジェクトに対応する連続メッシュモデルを表している。

Ｓ９０２は実施形態１の図３のフローにおけるＳ３０２に相当する。すなわち、トラッキング部１０２は、Ｓ９０１にて時系列メッシュデータとともに取得された対応関係情報に含まれるオブジェクトＩＤに基づいて、各オブジェクトに対応する連続メッシュモデルに対してトラッキング処理を行う。これにより、図１０（ｂ）に示すような、トラッキング済みの時系列メッシュデータが生成される。図１０（ｂ）の例ではトラッキング処理によって“Obj.0”に関しては、連続メッシュモデル１０００をフレーム位置ｂにてTrack0-1とTrack0-2の２つのトラックに分かれた、トラッキング済みの連続メッシュモデル１００１が得られている。同様に、“Obj.1”に関しては、連続メッシュモデル１０１０をフレーム位置ｄにてTrack1-1とTrack1-2の２つのトラックに分かれた、トラッキング済みの連続メッシュモデル１０１１が得られている。同様に、“Obj.2”に関しては、連続メッシュモデル１０２０をフレーム位置ａとｃにてTrack2-1、Track2-2、Track2-3の３つのトラックに分かれた、トラッキング済みの連続メッシュモデル１０２１が得られている。

Ｓ９０３では、トラック分割部８０１が、Ｓ９０２にて得られたトラッキング済みの時系列メッシュデータに対し、所定のフレーム間隔でトラックを分割する処理を行う。これにより、トラックの開始フレームがオブジェクト間で共通化された、新たなトラッキング済みの時系列メッシュデータが生成される。ここで、所定のフレーム間隔は任意に設定可能である。例えばトラッキング済みの時系列データをMPEG-DASH等のフォーマットで配信等する場合には当該所定フォーマットにおけるパッキング単位（MPEG-DASHの場合は２秒～１０秒）に相当するフレーム間隔で分割すればよい。これにより、転送・配信時の所定フォーマットに整合的なトラッキング済みの時系列データとそのトラック情報を得ることができる。図１０（ｃ）は、図１０（ｂ）に示すオブジェクト毎の連続メッシュモデル１００１、１０１１、１０２１におけるトラックを所定フレーム間隔１０３０で分割した場合の結果を示している。図１０（ｃ）の例ではトラック分割によって“Obj.0”のトラッキング後連続メッシュモデル１００１におけるTrack0-2が、“Track0-2a”と“Track0-2b”とに分割されている。同様に、“Obj.1”のトラッキング後連続メッシュモデル１０１１におけるTrack1-1が、“Track1-1a”と“Track1-1b”とに分割されている。同様に、“Obj.2”のトラッキング後連続メッシュモデル１０２１におけるTrack2-2が、“Track2-2a”と“Track2-2b”とに分割されている。図１１は、前述の図７に示すトラック情報の各トラックを30フレーム間隔で分割したときのトラック情報におけるGOF（Group of Frame）とトラックとの関係を示す図である。図１１においてテーブル１１００によって示すGOFは、所定のフレーム間隔毎にトラック情報を整理するためのグループである。ここでは「GOF０」～「GOF4」の５つのグループに分割されている。いま、“Obj.0”、“Obj.1”、“Obj.2”の各オブジェクトについて、分割後は図１１におけるテーブル１１０１～１１０５に示すような５つのGOFから成る構成に変化している。すなわち、トラック分割によって、“Obj.0”は2トラック構成からGOFを介した6トラック構成に変化している。同様に“Obj.1”は９トラック構成からGOFを介した11トラック構成に変化している。同様に“Obj.2”は、6トラック構成からGOFを介した10トラック構成に変化している。図１１に示すトラック情報の例から明らかなように、各GOFにおける先頭トラックの開始フレームがすべてのオブジェクト間で揃っているのが分かる。なお、分割されたトラックに対してはキーフレームが再設定される。分割されるトラックには既にトラッキング処理が適用されている。したがって、開始フレームや終了フレームをキーフレームに設定してもよいし、分割前に設定されていたキーフレームを含んでいるトラックはそのフレームをキーフレームとして再設定してもよい。

Ｓ９０４では、データ出力部１０３が、Ｓ９０３にて得られたトラック分割後のトラッキング済みの時系列メッシュデータとそのトラック情報を出力する。この場合のトラック情報は、図１１に示すような、所定フレーム間隔で分割された各GOFの中で少なくとも１つ以上のトラックの開始フレームがオブジェクト間で一致したデータ構造となる。このように本実施形態で得られるトラッキング済みの時系列メッシュデータの場合、オブジェクト間でトラックの開始フレームが少なくとも一つ以上共通化されており、開始フレームが共通する部分ではトラックの遷移タイミングがオブジェクト間で一致する。そのため、例えば画像処理装置１００のデータ出力部１０３が配信サーバとして機能する場合、MPEG-DASHなどの細かくデータをパッキングするフォーマットに従った配信用データを作りやすくなる。

以上が、本実施形態に係るトラッキング処理の内容である。

＜変形例＞
トラックの分割処理はトラッキング処理の前に行ってもよい。図１２の（ａ）～（ｃ）は、本変形例のトラッキング処理を説明する図である。図１２（ａ）は、前述の図１０（ａ）に対応する図であり、入力された時系列メッシュデータの模式図である。本変形例では、処理対象の時系列メッシュデータを構成するオブジェクト毎の連続メッシュモデルを、トラッキング処理に先立って所定のフレーム間隔で分割し、新たなオブジェクトＩＤを割り当てる。図１２（ｂ）は、図１２（ａ）に示す時系列メッシュデータをフレーム間隔１２３０で分割し、オブジェクトＩＤが振り直されたオブジェクト毎の連続メッシュモデルを示している。こうして得られた新たなオブジェクト毎の連続メッシュモデルに対しトラッキング処理を行うことで、図１２（ｃ）に示すような、トラッキング後の時系列メッシュデータを得ることができる。このように、先にトラックを分割した上でトラッキング処理を行って、トラッキング済みの時系列メッシュデータとトラック情報とを生成しても構わない。

以上のとおり本実施形態によれば、オブジェクト間でトラックの開始フレームが揃ったトラッキング済みの時系列メッシュデータを得ることができる。これにより、ボリュメトリックビデオ用のトラッキング済みの時系列形状データを一般的な動画コンテンツのストリームに乗せて配信することも容易になる。

［実施形態３］
実施形態２によって得られるGOFを利用したトラック情報の場合、GOF内の先頭トラック以外のトラックの開始フレームがオブジェクト間で必ずしも揃わないことから、その分だけデータ管理を困難にする。そこで、例えば図１３に示すように、すべてのトラックの開始フレームがオブジェクト間で揃ったデータ構造を持つトラック情報を得る態様を、実施形態３として説明する。なお、以下では実施形態１及び２と共通する内容については省略し、差異点を中心に説明することとする。

＜画像処理装置の論理構成＞
実施形態２と同様、本実施形態の画像処理装置１００もトラック分割部８０１を有する。本実施形態のトラック分割部８０１は、トラッキング処理後の時系列メッシュデータにおける全オブジェクトの全トラックにおける開始フレームを分割候補フレームとする。そして、隣り合う２つの分割候補フレーム同士の間隔が所定のフレーム数以下の場合は当該隣り合う２つの分割候補フレームを１つに統合する。そうして残った分割候補クレームを分割クレームに決定して、トラックを分割する。このような処理によって分割後のトラック幅が狭くなりすぎることが抑制され圧縮効率を改善できる。

＜画像処理装置１００の動作＞
図１４は、本実施形態に係るトラッキング処理の流れを示すフローチャートである。図１５の（ａ）～（ｅ）は、本実施形態のトラッキング処理を説明する図である。以下、図１４及び図１５（ａ）～（ｅ） を参照して、本実施形態に係る画像処理装置１００の動作について説明する。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ１４０１は実施形態１の図３のフローにおけるＳ３０１に相当する。すなわち、データ取得部１０１が、まず、処理対象となる時系列メッシュデータ及びその対応関係情報を取得する。図１５（ａ）は、入力された時系列メッシュデータの模式図である。図１５（ａ）において、横長の矩形１５００、１５１０、１５２０はそれぞれ、“Obj.0”、“Obj.1”、“Obj.2”の３種類のオブジェクトに対応する連続メッシュモデルを表している。

Ｓ１４０２は実施形態１の図３のフローにおけるＳ３０２に相当する。すなわち、トラッキング部１０２は、Ｓ１４０１にて時系列メッシュデータとともに取得された対応関係情報に含まれるオブジェクトＩＤに基づいて、各オブジェクトに対応する連続メッシュモデルに対してトラッキング処理を行う。これにより、図１５（ｂ）に示すような、トラッキング済みの時系列メッシュデータが生成される。図１５（ｂ）の例ではトラッキング処理によって“Obj.0”に関しては、連続メッシュモデル１５００をフレーム位置ｂにてTrack0-1とTrack0-2の２つのトラックに分かれた、トラッキング済みの連続メッシュモデル１５０１が得られている。同様に、“Obj.1”に関しては、連続メッシュモデル１５１０をフレーム位置ｄにてTrack1-1とTrack1-2の２つのトラックに分かれた、トラッキング済みの連続メッシュモデル１５１１が得られている。同様に、“Obj.2”に関しては、連続メッシュモデル１５２０をフレーム位置ａとｃにてTrack2-1、Track2-2、Track2-3の３つのトラックに分かれた、トラッキング済みの連続メッシュモデル１５２１が得られている。

次に、Ｓ１４０３にて、トラック分割部８０１が、Ｓ１４０２にて得られたトラッキング処理の結果に基づいて、各オブジェクトのトラックを分割する処理を行う。トラック分割処理の詳細については後述する。

Ｓ１４０４では、データ出力部１０３が、Ｓ１４０３にて得られたオブジェクト間で全てのトラックが共通化されたトラッキング済みの時系列メッシュデータとそのトラック情報を出力する。

以上が、本実施形態に係るトラッキング処理の概要である。

＜トラック分割処理の詳細＞
図１６は、本実施形態に係る、トラック分割部８０１によるトラック分割処理の詳細を示すフローチャートである。以下、図１６のフローチャート及び前述の図１５（ａ）～（ｅ）の説明図を適宜参照して説明する。

Ｓ１６０１では、全オブジェクトの各トラックにおける開始フレームが、分割候補フレームとして取得される。図１５（ｃ）の例では６つの分割候補フレームａ～ｆが取得されることになる。

Ｓ１６０２では、Ｓ１６０１にて取得された複数の分割候補フレームに基づいて、隣り合う２つの分割候補フレーム（分割候補ペア）の間のフレーム数が算出される。ここで算出されるフレーム数は、算出対象の分割候補ペアに対応する仮トラックにおける想定トラック幅と同義である。

Ｓ１６０３では、Ｓ１６０２にて算出された分割候補ペア毎のフレーム数（想定トラック幅）の中に、閾値未満のものがあるか否かが判定される。ここでの閾値は、最小トラック幅を規定する所定のフレーム数としてＲＯＭ２０２又はＲＡＭ２０３に格納されている値である。フレーム数が閾値未満の分割候補位置ペアが検出された場合は、続いてＳ１６０４の処理が実行される。一方、フレーム数が閾値未満の分割候補ペアが検出されなかった場合は、続いてＳ１６０５の処理が実行される。

Ｓ１６０４では、Ｓ１６０３にて検出された分割候補ペアに係る２つの分割候補フレームを1つに統合し、新たな分割候補フレームが決定される。分割候補フレームの統合は、フレーム数が閾値未満であった２つの分割候補フレームの間にあるフレームの中から特定フレームを選択し、当該２つの分割候補フレームと置き換える処理と言い換えることができる。図１５（ｄ）は、特定フレームの選択を説明する図である。ここでは、“Obj.0”と“Obj.2”の２つのオブジェクトに関わる統合処理における特定フレームを、“Obj.0”のTrack0-2と“Obj.2”のTrack2-1のメッシュモデルに基づいて選択している。具体的には、Track0-2とTrack2-1それぞれのメッシュモデルに対して再度トラッキングを行い、トラッキング時の変形誤差を算出し、両トラックの変形誤差の合計値が最小となるフレーム位置を選択している（図１７（ａ）を参照）。同様に、“Obj.1”のTrack1-2と“Obj.2”のTrack2-3それぞれのメッシュモデルに対しても再度トラッキングを行う。そして、トラッキング時の変形誤差を算出し、両トラックの変形誤差の合計値が最小となるフレーム位置を選択している（図１７（ｂ）を参照）。この際の変形誤差には、例えばハウスドルフ距離などを利用することができる。こうして、フレーム数が閾値未満であった２つの分割候補フレームを統合して新たな分割候補フレームを決定することで、トラック分割後において、トラック幅が最小トラック幅に満たないトラックが生じるのを防ぐことができる。そして、分割候補フレームの統合により分割候補フレームの数が減ることで、分割後のトラック総数が減るので、データ圧縮時の圧縮効率を向上させることができる。なお、先頭フレームと終了フレームの位置にそれぞれ対応する分割候補フレーム（図１５（ｃ）の例では分割候補フレームａとｆ）は、特殊な分割候補フレームであり、隣接する分割候補フレームとの間のフレーム数が閾値未満であっても統合対象外となる。

Ｓ１６０５では、ここまでの処理で残った分割候補フレームを分割フレームとして、全てのオブジェクトの全てのトラックが分割される。図１５（ｅ）は、図１５（ｄ）に示す統合後に残った分割候補フレームに従ってトラックが分割された後のトラッキング済み時系列メッシュデータを示している。こうして得られたトラッキング済み時系列メッシュデータにおいては、全オブジェクト共通のトラックを持つことになる（図１５（ｅ）におけるTrack0～Track3を参照）。この時、分割候補フレームの統合によって生まれたトラックについては、矢印１５３０で示した範囲のメッシュモデルをＳ１６０４における再トラッキングで取得したフィッティングメッシュモデルに置き換える。これにより、当該トラックのフレーム内のメッシュモデルのトポロジが共通化される。なお、図１５（ｅ）の例では、“Obj.1”の連続メッシュモデルについてはトラック分割が行われず、元のトラックであるTrack1-1とTrack1-2のまま変化しない（トラック間の区切り位置が変わらない）ことになる。

以上が、本実施形態に係るトラック分割処理の詳細である。

＜変形例＞
トラック幅があるフレーム数以上になるとデータ転送・配信のフォーマットに適さない場合がある。そこで、トラック幅の上限を事前設定した上でトラック分割を行うようにしてもよい。すなわち、統合後に残った分割候補フレームのうち隣り合う２つの分割候補フレーム同士の間隔がトラック幅の上限を超える場合には当該分割候補フレームでは分割を行わないようにする。これにより、データ転送・配信のフォーマットに適したトラッキング済みの時系列形状データとそのトラック情報を得ることができる。

以上のように、本実施形態によれば、トラッキング済みの時系列メッシュデータについて、GOFを持たないトラックのみで構成されたトラック情報を取得でき、データ管理がより容易となる。また、本実施形態では、トラック分割時にトラック幅が狭いトラックが生成されないように制御するので、最終的な成果物であるトラッキング済み時系列メッシュデータに対する圧縮効率を向上させることができる。

［実施形態４］
実施形態２及び３では、トラッキング処理とトラック分割処理とを分けて行っていた。次に、トラッキング処理の中で全てのオブジェクト共通のトラックを生成する態様を、実施形態４として説明する。なお、以下では先に述べた各実施形態と共通する内容については省略し、差異点を中心に説明することとする。

＜画像処理装置の論理構成＞
本実施形態に係る画像処理装置の論理構成（ソフトウェア構成）は、実施形態１に係る画像処理装置１００と同じであり、データ取得部１０１、トラッキング部１０２、及びデータ出力部１０３から成る。すなわち、本実施形態の場合、トラッキング部１０２がトラック分割部８０１の役割も兼ねることになる。

＜画像処理装置１００の動作＞
図１８は、本実施形態に係るトラッキング処理の流れを示すフローチャートである。図１９の（ａ）及び（ｂ）は、本実施形態のトラッキング処理を説明する図である。以下、図１８及び図１９の（ａ）及び（ｂ）を参照して、本実施形態に係る画像処理装置１００の動作について説明する。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ１８０１は実施形態１の図３のフローにおけるＳ３０１に相当する。すなわち、データ取得部１０１が、まず、処理対象となる時系列メッシュデータ及びその対応関係情報を取得する。

Ｓ１８０２では、トラッキング部１０２が、全てのオブジェクトで共通のキーフレームを設定した上で、当該キーフレームの周辺フレームに対するトラッキング処理を行う。図１９（ａ）は、全オブジェクト共通のキーフレームとして、各オブジェクトのキーフレームスコアの合計値が最大となるフレームを選択する様子を示している。このようにして選択したフレームを共通キーフレームに設定して、入力された時系列メッシュデータに対するトラッキング処理が行われる。全オブジェクト共通のキーフレームからトラッキングを始めるため、オブジェクト毎に異なるキーフレームからトラッキングする場合に比べて広いトラック幅を持つことが期待できる。

Ｓ１８０３では、トラッキング部１０２が、Ｓ１８０２にて行ったトラッキング処理の結果に基づき、全オブジェクトでの変形誤差が閾値以下となるフレーム区間をトラックに決定する。図１９（ｂ）は、トラックを決定する様子を説明する図である。図１９（ｂ）に示すように、各オブジェクトでトラックできたフレーム区間のうち重複する範囲が、トラックとして決定されることになる。

Ｓ１８０４では、いずれのトラックにも属していないフレームが存在するか否かが判定される。いずれのトラックにも属していないフレームが残っている場合は続いてＳ１８０５が実行され、残っていない場合はＳ１８０６が実行される。

Ｓ１８０５では、トラッキング部１０２が、共通キーフレームを更新する。具体的には、どのトラックにもまだ属していないフレーム群の中から、各オブジェクトのキーフレームスコアの合計値が最大となるフレームを検索して新しい共通キーフレームとして設定する。共通キーフレームの更新が完了すると、Ｓ１８０２に戻って同様の処理が繰り返される。

Ｓ１８０６では、データ出力部１０３が、ここまでの処理で得られたオブジェクト間で全てのトラックが共通化されたトラッキング済みの時系列メッシュデータとそのトラック情報を出力する。

以上が、本実施形態に係るトラッキング処理の内容である。これにより、実施形態３と同様のトラッキング結果を得ることができる。

［その他の実施形態］
実施形態１～４では、入出力の対象をメッシュ形式の時系列形状データとしたが、点群形式など他の表現形式でも同様に適用可能である。例えば時系列点群データを入出力の対象とする場合には、キーフレームスコアの算出において、各表面点群の総頂点数などを利用すればよい。なお、時系列点群データを構成するオブジェクト毎の点群モデルの各頂点は、法線情報、色情報、透明度情報、またはそれらを２つ以上組み合わせた情報を持つ場合がある。

また、入力される時系列形状データに含まれるオブジェクト毎の連続メッシュモデルにおいてメッシュ数が増減する場合であっても、実施形態１～４の手法は適用可能である。メッシュ数の増減は、オブジェクト同士の接触・分離によって生じる。以下、図２０（ａ）～（ｃ）を参照して、メッシュ数の増減がある場合の処理について説明する。いま、図２０（ａ）に示すように３つのオブジェクト（Obj.0、Obj.1、Obj.2）が存在し、Obj.0とObj.1とがフレームf2で接触し、フレームf3で分離する場合を考える。まず、トラッキング部１０２は、接触・分離が起きたオブジェクトに対して、図２０（ｂ）に示すように別のオブジェクトＩＤを再設定する。これにより、トラッキング処理においてオブジェクト数の変化の影響を考慮せずに処理することができる。そして、トラッキング部１０２は、オブジェクト毎にトラッキング処理を行い、図２０（ｃ）に示すようなトラッキング済みの時系列メッシュデータとそのトラック情報を生成する。そして、トラック情報の生成の際、オブジェクトの接触・分離が起きたフレームf2とf3においてトラック及びGOFを分割することで、トラック内でオブジェクト数の変化が起きない単純なデータ構造を維持することができる。

本開示は、上述の実施形態の１つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、本実施形態の開示は、以下の構成及び方法を含む。

（構成１）
各フレームに複数のオブジェクトそれぞれの三次元形状を表す３Ｄモデルを含んだフレーム群から成る時系列形状データを取得する取得手段と、
前記時系列形状データに含まれる対応関係情報に基づいて、前記時系列形状データに対しオブジェクト毎にトラッキング処理を行うトラッキング手段と、
前記トラッキング手段によって処理されたトラッキング済み時系列形状データにメタデータを付して出力する出力手段と、
を有し、
前記対応関係情報は、各フレームにおいて３Ｄモデルに紐づくオブジェクトを特定可能な識別情報であり、
前記メタデータは、前記トラッキング済み時系列形状データにおいて前記３Ｄモデルの構成要素がフレーム間で追跡されているフレーム区間を示すトラックと前記オブジェクトの識別情報とを対応付けたデータである、
ことを特徴とする画像処理装置。

（構成２）
前記トラッキング済み時系列形状データは、前記トラックの開始フレームがオブジェクト間で共通化されている、ことを特徴とする構成１に記載の画像処理装置。

（構成３）
前記トラックの開始フレームがオブジェクト間で共通化されている前記トラッキング済み時系列形状データは、オブジェクト毎のトラッキング処理によって得られたトラックを所定のフレーム間隔で分割することによって生成される、ことを特徴とする構成２に記載の画像処理装置。

（構成４）
前記トラッキング手段は、前記取得手段によって取得された前記時系列形状データを所定のフレーム間隔で分割し、分割された前記時系列形状データに対して新たな前記識別情報を割り当て、新たな前記識別情報が割り当てられた前記時系列形状データに対して、オブジェクト毎にトラッキング処理を行うことによって、前記トラックの開始フレームをオブジェクト間で共通化させる、ことを特徴とする構成２に記載の画像処理装置。

（構成５）
前記所定のフレーム間隔は、ユーザが任意に設定可能である、ことを特徴とする構成３又は４に記載の画像処理装置。

（構成６）
前記所定のフレーム間隔は、前記トラッキング済み時系列形状データを配信する際のフォーマットにおけるパッキング単位に相当するフレーム間隔である、ことを特徴とする構成３乃至５のいずれか一項に記載の画像処理装置。

（構成７）
前記トラッキング済み時系列形状データは、オブジェクト毎のトラッキング処理によって得られたすべてのトラックの開始フレームがオブジェクト間で共通化されている、ことを特徴とする構成１に記載の画像処理装置。

（構成８）
オブジェクト毎のトラッキング処理によって得られたすべてのトラックにおける開始フレームを、全オブジェクト共通のトラックにおける開始フレームの候補とし、隣り合う２つの候補の間隔が所定のフレーム数以下の場合、当該隣り合う２つの候補を１つに統合し、統合後に残った候補のフレーム位置で前記すべてのトラックを分割することにより、すべてのトラックの開始フレームがオブジェクト間で共通化されているトラッキング済み時系列形状データを生成する分割手段をさらに有する、ことを特徴とする構成７に記載の画像処理装置。

（構成９）
前記分割手段は、前記隣り合う２つの候補がそれぞれ属する２つのトラックに含まれるフレーム群の３Ｄモデルに対して再びトラッキング処理を行い、当該トラッキング処理における変形誤差の合計値が最小となるフレーム位置に決定して前記統合を行う、ことを特徴とする構成８に記載の画像処理装置。

（構成１０）
前記分割手段は、前記統合の後に残った候補のうち隣り合う２つの候補の間隔がトラック幅の上限を超える場合、当該２つの候補のフレーム位置では前記トラックを分割しない、ことを特徴とする構成８又は９に記載の画像処理装置。

（構成１１）
前記トラッキング手段は、すべてのオブジェクトで共通のキーフレームを設定し、当該キーフレームの周辺フレームを対象としてオブジェクト毎にトラッキング処理を行って、各オブジェクトで共通化されたトラックを生成する、ことを特徴とする構成１に記載の画像処理装置。

（構成１２）
前記トラッキング手段は、オブジェクト毎にトラッキング処理を行って得られたトラックに、オブジェクト同士の接触及び分離が生じているフレームが含まれる場合、当該フレームの位置ですべてのオブジェクトについてのトラックを分割する、ことを特徴とする構成３に記載の画像処理装置。

（構成１３）
前記３Ｄモデルは、メッシュ形式または点群形式のいずれかである、ことを特徴とする構成１乃至１２のいずれか一項に記載の画像処理装置。

（方法１）
各フレームに複数のオブジェクトそれぞれの三次元形状を表す３Ｄモデルを含んだフレーム群から成る時系列形状データを取得するステップと、
前記時系列形状データに含まれる対応関係情報に基づいて、前記時系列形状データに対しオブジェクト毎にトラッキング処理を行うステップと、
前記トラッキング処理されたトラッキング済み時系列形状データにメタデータを付して出力するステップと、
を有し、
前記対応関係情報は、各フレームにおいて３Ｄモデルに紐づくオブジェクトを特定可能な識別情報であり、
前記メタデータは、前記トラッキング済み時系列形状データにおいて前記３Ｄモデルの構成要素がフレーム間で追跡されているフレーム区間を示すトラックと前記オブジェクトの識別情報とを対応付けたデータである、
ことを特徴とする画像処理方法。

（構成１４）
コンピュータを、構成１乃至１３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Claims (15)

1. 各フレームに複数のオブジェクトそれぞれの三次元形状を表す３Ｄモデルを含んだフレーム群から成る時系列形状データを取得する取得手段と、
   前記時系列形状データに含まれる対応関係情報に基づいて、前記時系列形状データに対しオブジェクト毎にトラッキング処理を行うトラッキング手段と、
   前記トラッキング手段によって処理されたトラッキング済み時系列形状データにメタデータを付して出力する出力手段と、
   を有し、
   前記対応関係情報は、各フレームにおいて３Ｄモデルに紐づくオブジェクトを特定可能な識別情報であり、
   前記メタデータは、前記トラッキング済み時系列形状データにおいて前記３Ｄモデルの構成要素がフレーム間で追跡されているフレーム区間を示すトラックと前記オブジェクトの識別情報とを対応付けたデータである、
   ことを特徴とする画像処理装置。
2. 前記トラッキング済み時系列形状データは、前記トラックの開始フレームがオブジェクト間で共通化されている、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記トラックの開始フレームがオブジェクト間で共通化されている前記トラッキング済み時系列形状データは、オブジェクト毎のトラッキング処理によって得られたトラックを所定のフレーム間隔で分割することによって生成される、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記トラッキング手段は、前記取得手段によって取得された前記時系列形状データを所定のフレーム間隔で分割し、分割された前記時系列形状データに対して新たな前記識別情報を割り当て、新たな前記識別情報が割り当てられた前記時系列形状データに対して、オブジェクト毎にトラッキング処理を行うことによって、前記トラックの開始フレームをオブジェクト間で共通化させる、ことを特徴とする請求項２に記載の画像処理装置。
5. 前記所定のフレーム間隔は、ユーザが任意に設定可能である、ことを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記所定のフレーム間隔は、前記トラッキング済み時系列形状データを配信する際のフォーマットにおけるパッキング単位に相当するフレーム間隔である、ことを特徴とする請求項３又は４に記載の画像処理装置。
7. 前記トラッキング済み時系列形状データは、オブジェクト毎のトラッキング処理によって得られたすべてのトラックの開始フレームがオブジェクト間で共通化されている、ことを特徴とする請求項１に記載の画像処理装置。
8. オブジェクト毎のトラッキング処理によって得られたすべてのトラックにおける開始フレームを、全オブジェクト共通のトラックにおける開始フレームの候補とし、隣り合う２つの候補の間隔が所定のフレーム数以下の場合、当該隣り合う２つの候補を１つに統合し、統合後に残った候補のフレーム位置で前記すべてのトラックを分割することにより、すべてのトラックの開始フレームがオブジェクト間で共通化されているトラッキング済み時系列形状データを生成する分割手段をさらに有する、ことを特徴とする請求項７に記載の画像処理装置。
9. 前記分割手段は、前記隣り合う２つの候補がそれぞれ属する２つのトラックに含まれるフレーム群の３Ｄモデルに対して再びトラッキング処理を行い、当該トラッキング処理における変形誤差の合計値が最小となるフレーム位置に決定して前記統合を行う、ことを特徴とする請求項８に記載の画像処理装置。
10. 前記分割手段は、前記統合の後に残った候補のうち隣り合う２つの候補の間隔がトラック幅の上限を超える場合、当該２つの候補のフレーム位置では前記トラックを分割しない、ことを特徴とする請求項８又は９に記載の画像処理装置。
11. 前記トラッキング手段は、すべてのオブジェクトで共通のキーフレームを設定し、当該キーフレームの周辺フレームを対象としてオブジェクト毎にトラッキング処理を行って、各オブジェクトで共通化されたトラックを生成する、ことを特徴とする請求項１に記載の画像処理装置。
12. 前記トラッキング手段は、オブジェクト毎にトラッキング処理を行って得られたトラックに、オブジェクト同士の接触及び分離が生じているフレームが含まれる場合、当該フレームの位置ですべてのオブジェクトについてのトラックを分割する、ことを特徴とする請求項３に記載の画像処理装置。
13. 前記３Ｄモデルは、メッシュ形式または点群形式のいずれかである、ことを特徴とする請求項１に記載の画像処理装置。
14. 各フレームに複数のオブジェクトそれぞれの三次元形状を表す３Ｄモデルを含んだフレーム群から成る時系列形状データを取得するステップと、
    前記時系列形状データに含まれる対応関係情報に基づいて、前記時系列形状データに対しオブジェクト毎にトラッキング処理を行うステップと、
    前記トラッキング処理されたトラッキング済み時系列形状データにメタデータを付して出力するステップと、
    を有し、
    前記対応関係情報は、各フレームにおいて３Ｄモデルに紐づくオブジェクトを特定可能な識別情報であり、
    前記メタデータは、前記トラッキング済み時系列形状データにおいて前記３Ｄモデルの構成要素がフレーム間で追跡されているフレーム区間を示すトラックと前記オブジェクトの識別情報とを対応付けたデータである、
    ことを特徴とする画像処理方法。
15. コンピュータに、請求項１４に記載の画像処理方法を実行させるためのプログラム。

Images