JP6124568B2 - データセットを可視化する方法及び装置 - Google Patents

Description

本発明は、データセットを可視化する方法及び装置に関し、より詳細には、時間的処理に支配され、すなわち部分的に完成していない及び／又は連続的に更新されるデータセットを可視化する装置に関する。

デジタル画像シークエンスもと呼ばれるデジタル動画は、多くの場合、メタデータ情報とを伴ってくる。好ましくは、このメタデータ情報は、デジタル画像シークエンスのすべての単一のフレームのために利用可能である。メタデータは、典型的に、カメラ自体により、又は、より多く、リアルタイム又は非リアルタイムの事後処理アルゴリズムにより、生成される。メタデータは、例えば、ノイズレベル、画像のコントラスト等の複数の情報を含み、より高度なアルゴリズムの場合には、それぞれの枠内で検出された顔や車等のいくつかの対象物を含む。専門のポストプロダクション環境では、映画ごとに複数のデータセットを扱う又は複数の映画において複数のデータセットを扱う人間の検閲者は、一定の品質基準のための、例えば以前の自動検出処理で識別された欠陥を再検査するためのメタデータ情報を検査する必要がある。膨大な量の情報に起因するため、人間の検閲者は、メタデータを検査する必要な時間を最適化することに重大な関心を持っている。

１つのプロット例えばグラフやバープロットで大変大規模なデータ量を表示する共通な技術は、ディスプレイユニットの使用可能な画素又はドットに表示すべき所望のデータの量を一致させるために、典型的には、ダウンサンプリングを使用している。用語の意味において、表示装置は、例えば、メタデータの表示に特に使用するモニター又は、グラフィカルユーザーインターフェース（通常はＧＵＩと呼ばれる）、例えばその目的のために使用されるウィンドウである。利用可能な解像度は、モニター自体すなわちそれぞれのモニターのハードウェア解像度によって、又はメタデータの表示に使用されるＧＵＩベースのウィンドウ内の画素数によって定義される。

最近の欧州特許出願公開第ＥＰ１１３０５１１１号において、使用可能なメタデータを複数のクラスターに分割して、それぞれのクラスターのメタデータ要素へ所定の関数を適用することによって、各クラスターの代表値を決定する事が提案されている。クラスターの数は表示部の解像度に依存する。各クラスターに対して単に代表値が表示される。所定の関数は、例えば、平均化により、メタデータ内の外れ値が省略又は減少されないが、保存され、検閲者によく見えるように選択される。

上記のアプローチは既存のメタデータシークエンスを扱い、すなわち、それはメタデータの完全なシークエンスが利用可能であると想定される。しかし、特に映画の修復の過程でのメタデータの大きなシークエンスを再検査するために、再検査のプロセスと、そしてメタデータの完全なシークエンスがすでに利用可能である前にメタデータのクラスター化を開始することが望ましいであろう。もちろん、同じ問題が部分的に未完成及び／又は連続的に更新された大規模なデータセットの可視化に対して発生する。

したがって、本発明の目的は、時間的処理に支配された、すなわち部分的に完成していない及び／又は連続的に更新された、データセットを可視化するための解決策を提案することである。

本発明によれば、定義された数の要素を含むデータセットをディスプレイ上に可視化する方法は、
前記データセットの空間的に隣接する要素の表示可能なクラスターの数を決定するステップと、
前記データセットの要素の少なくとも一部を取得するステップと、
前記データセットの取得された要素及び前記データセットのまだ取得されていない要素を前記決定されたクラスターの数へクラスター化するステップであって、プレースホルダを使用して前記データセットのまだ取得されていない要素が表されるステップと、
各クラスターに値を割り当てるステップと、
ディスプレイ上に各クラスターの前記値を可視化するステップと、
前記データセットの１つまたは複数の要素が変更されるたびに、及び／又は、前記データセットの１つまたは複数の更なる要素が取得されるたびに、前記ディスプレイ上の前記クラスターと割り当てられた前記値と前記可視化とを更新するステップと、を含む。

有利には、ディスプレイ上に設定されたデータを可視化する装置は、本発明によれば、上記の方法を実行するように適応されている。この目的のために、該装置は、データセットの要素を受信するための入力と、表示可能なクラスターの数を決定するための計算機と、データセットの要素を取得し、データセットのまだ取得されていない要素のためのプレースホルダを使用して取得した要素をクラスターの決定された数にクラスター化し、且つ各クラスターに値を割り当てるプロセッサと、プロセッサによって提供されたデータから表示信号を生成するグラフィックブロックと、ディスプレイに表示信号を供給するための出力と、を有する。

本発明は、部分的に完成していない及び／又は連続的に更新され、すなわち時間的処理に支配された定義された大きさの大きいデータセットを、迅速に再検査する問題を解決する。本発明は、できるだけ早期に、すなわちデータセットが完成するのを待たず、データセットが検査されることを可能にする。データセットの要素が有限期間の時間的処理中で一度正確に生成され、その後変更されることはない場合、本発明は、推移情報を提供する。データセットの要素が部分的に更新され、すなわち、要素が連続的に変化する場合、本発明は、現在のデータセット上に連続表示を実現する。

好ましくは、プレースホルダを含むクラスターは可視化のためにマークされている。このようなマークされたクラスターはそれらが可視化されるときに、例えば色、形、質感、又は記号で強調表示される。この方法では、オペレータは、特定のクラスターがまだ必ずしもそれらの最終的な値を有しておらず、慎重に考慮する必要があることがすぐに分かる。

好ましくは、この値は、クラスターの各要素に関数を適用し、適用された関数の結果をクラスターに割り当てることにより、クラスターに割り当てられる。これは、データセットのあまりに多くの詳細情報を表示することなく、各クラスターの代表値を割り当てることを可能とする。

有利には、表示可能なクラスターの数は、クラスターごとに必要な画素数とディスプレイの解像度とを比較することによって行われる。これは、クラスターあたりの画素数で解像度を割ることによって、簡単な方法で表示可能なクラスターの数を計算することができる。

好ましくは、ディスプレイ上のクラスターの値の可視化は、データセットの定義された第１の最小数の要素が取得されたときにのみ開始される。これは、データセットの表示がそれらの最終的な値を有するクラスターの意味のある数字で始まるようにする。数に意味があると考えられているユーザーの認識によって、定義された第１の最小数はユーザーによって好ましく設定可能である。

有利には、ディスプレイ上のクラスター、割り当てられた値及び可視化の更新は、データセットの定義された第２の最小数の要素が変更されているか、又は定義された第２の最小数の更なる要素が取得されているときにのみ開始される。好ましくは、定義されている第２の最小数は、ユーザーによって設定することが可能である。これは、ディスプレイのあまりに頻繁な変更を避けることができ、そうでなければ、オペレータが行う再検査処理を乱す可能性がある。

より良い理解のために、本発明は、図面を参照しながら、以下の説明で詳細に説明される。なお、本発明は、この実施例に限定されないと理解され、特定された特徴も便宜上添付の特許請求の範囲に規定される本発明の範囲から逸脱することなく結合及び／又は変更することができると理解される。図面において、

図１は、データセットを可視化する装置に結合された出力ユニットを示す。 図２は、データセットを可視化する方法を図式的に示す。 図３は、データセットを可視化するための本発明に係る方法を示す。 図４は、図３の方法に従って設定されたデータセットの可視化を示す。 図５は、データセットを可視化する装置をより詳細に図式的に示す。

以下において、本発明は、デジタルビデオに関連付けられたメタデータを参照しながら説明される。もちろん、本発明は、データセットの他のタイプにも同様に適用可能である。

図１は出力ユニット２の模式図である。出力ユニット２は、例えば、ＴＦＴディスプレイの画面４が含まれる。もちろん、出力ユニット２は、同様に、グラフィカルユーザーインターフェース（ＧＵＩ）のウィンドウであってもよい。出力ユニット２は、画面やＧＵＩのウィンドウの使用可能な水平方向の画素によって定義されたＸの水平方向の解像度を有する。出力ユニット２は、データセットを可視化するための出力信号ＯＳを提供する装置６に接続されている。好ましくは、この装置６は、例えば、パーソナルコンピュータやワークステーションユニット又は同一のものなどのコンピュータである。出力信号ＯＳは、好ましくは、装置６によって画面４に提供されるビデオ信号の一部である。

メタデータ情報すなわち長さＳのメタデータベクトルＭは、装置６へ入力される。メタデータベクトルＭは、デジタル画像シークエンス、例えばデジタルビデオに割り当てられている。メタデータベクトルＭの長さＳは、ベクトルが、Ｓのメタデータ要素のいくつか、例えばＳのメタデータ要素のいくつかを含むメタデータの一組を意味する。１つのメタデータ要素は、単一の値、例えばフレームのコントラスト、又はデータの一組、例えばコントラストと明るさの値であってもよい。装置６は、出力ユニット２上の可視化のためのメタデータベクトルＭを処理するように構成されている。メタデータベクトルＭは複数のバー８として可視化され、各バー８は４つの水平方向の画素（２つの暗い画素と２つの明るい画素）を有する。

図２は可視化のためのメタデータベクトルＭを処理する方法を模式的に示す。最初のステップ１０では、出力ユニット２の水平方向の解像度Ｘが決定される。続いて、バー８あたりの水平画素数Ｎは、例えばユーザー入力コマンドから、決定される（ステップ１１）。あるいは、バー８あたりの水平画素数Ｎは所定の値である。更なるステップ１２では、表示可能なバー８の数は、ＦＬＯＯＲが負の無限大への丸め操作であるＢ＝ＦＬＯＯＲ（Ｘ／Ｎ）を計算することによって決定される。表示可能なバー８の数Ｂがわかっている場合は、単一のクラスターに割り当てられなければならないメタデータ要素の数は、Ｃ＝ＣＥＩＬ（Ｓ／Ｂ）によって算出され（ステップ１３）、ここで、ＣＥＩＬは正の無限大への丸め操作である。メタデータベクトルＭの最初のメタデータ要素で開始して、各要素がそれぞれのクラスターに割り当てられる。Ｓ／Ｂ＞Ｏ（ＲＥＭ（Ｓ、Ｂ）＞０）の残りの部分が存在する場合、最後のクラスターはクラスターの残りの部分よりも小さい大きさを有する。実際のメタデータが、例えばポジトリ、ネットワーク、又はオペレータからから取得されたとき（ステップ１４）、それらはクラスターの決定された数にクラスター化される（ステップ１５）。オペレータの入力や一般的な仕様に応じて、所定の関数、例えばＭＡＸ関数が、それぞれのクラスターの各メタデータ要素に適用される（ステップ１６）。関数の結果は、それぞれのクラスターに割り当てられる（ステップ１７）。最後に、値がバーの高さで表示される（ステップ１８）。

図１に示したバー８は、メタデータベクトルＭ＝［１２２０３１７０１１］に基づき、長さＳ＝１０を有する。ディスプレイの水平解像度はＸ＝１７、グラフィック要素の幅Ｎすなわち、バーの水平方向の画素幅はＮ＝４である。適用された関数がクラスターごとにＭＡＸであり、メタデータ要素の最大値が決定され、それぞれのクラスターに割り当てられる。バーの表示可能な数は、Ｂ＝ＦＬＯＯＲ（Ｘ／Ｎ）＝４である。クラスターの大きさすなわち単一のクラスターに割り当てられているメタデータ要素の数は、Ｃ＝ＣＥＩＬ（Ｓ／Ｂ）＝３である。バーの高さの計算は、メタデータベクトルＭの上で次の操作によって決定される。
Ｇ＝（ＭＡＸ（［１２２］），ＭＡＸ（［０３１］），ＭＡＸ（［７０１］），ＭＡＸ（［１］））＝［２３７１］
ここで、Ｇは表示結果のベクトルである。

図２を参照して上述した方法は、メタデータベクトルＭのすべての要素が既に設定されているという仮定に基づいている。しかしながら、メタデータベクトルＭの長さＳが事前にわかっているものの、実際には、これは必ずしもそうではない。この問題に対処するために、図２の方法はいくつかの態様において図３に示すように変更される。本発明によれば、関数が適用されたとき（ステップ１６）、クラスター内ではまだ利用できない要素は無視される。しかしながら、不足している要素を検閲者に警告するために、未完成のクラスターが、例えば、色、質感、マーカーなどを通してマークされる（ステップ２０）。メタデータベクトルＭの要素が変化するとき、すなわち、不足している要素が利用可能になるとき又は要素が新しい値を取得するときはいつも、所望の関数は、対応するクラスターに再び適用され、表示が更新される。この目的のためにメタデータベクトルＭの要素は監視されている（ステップ１９）。図において表示は要素の変化の各回で更新される。もちろん、例えばあまりにも頻繁な更新を避けるために、要素の定義された最小の数が変更されている場合にのみ表示を更新することも同様に可能である。また、好ましくは、方法の残りのステップが実行される前に、要素の最小数は、最初に取得される。このようにして、意味のある表示がオペレータに利用可能とされることが保証される。好ましくは、変更されている必要がある要素の最小数及び／又は最初に取得する必要がある要素の数は、ユーザーによって設定可能である。

図１に使用される典型的なメタデータベクトルＭに戻ると、メタデータベクトルＭのいくつかの要素が、例えば、まだ利用できないこと、例えば、'ｘ'が不足している要素を指定するＭ＝［１２２ｘｘｘ７０ｘ１］を考慮してみる。この場合、メタデータベクトルＭにおいて次の操作Ｇ＝（ＭＡＸ（［１２２］），ＨＡＸ（［ｘｘｘ］），ＭＡＸ（［７０ｘ］），ＭＡＸ（［１］））＝［２ｘ７１］が実行される。結果の表示は図４に示されている。２つのクラスターにおいて、行方不明の要素があり、これは所望の方法で対応するバー９の画素を強調することによってマークされている。

データセットを可視化するための本発明による装置６は、図５においていくつかのより多くの詳細が模式的に示されている。装置６は、メタデータベクトルＭの要素を受信するための入力６０を有している。計算機６１は、表示可能なクラスターの数を決定し、プロセッサ６２にこの数を提供する。もちろん、計算機６１は、同様に、プロセッサ６２に組み込まれてもよい。プロセッサはメタデータベクトルＭの要素を取得し、メタデータベクトルＭのまだ取得されていない要素のプレースホルダを使って、取得された要素をクラスターの決定された数へクラスター化し、各クラスターに値を割り当てる。次にグラフィックブロック６３は、プロセッサ６２によって提供されたデータからの表示信号ＯＳを生成し、出力６４を介してディスプレイに供給する。メタデータベクトルＭの１つ以上の要素が変更されるたびに、及び／又は、データセットの１つ以上の更なる要素が取得されるたびに、プロセッサはそれに応じて、クラスターと割り当てられた値を更新する。次にグラフィックブロック６３は、表示を更新する。
［付記１］
定義された数（Ｓ）の要素を含むデータセットをディスプレイ（４）上に可視化する方法であって、
前記データセットの空間的に隣接する要素の表示可能なクラスターの数（Ｂ）を決定するステップ（１０、１１、１２）と、
前記データセットの前記要素の少なくとも一部を取得するステップ（１４）と、
前記データセットの前記取得された要素及び前記データセットのまだ取得されていない要素をクラスター化して前記決定されたクラスターの数にするステップであって、プレースホルダを使用して前記データセットのまだ取得されていない要素が表されるステップ（１５）と、
各クラスターに値を割り当てるステップ（１７）と、
前記ディスプレイ上に各クラスターの前記値を可視化するステップ（１８）と、
前記データセットの１つ以上の要素が変更されるたびに、及び／又は、前記データセットの１つ以上の更なる要素が取得されるたびに、前記ディスプレイ上の前記クラスターと前記割り当てられた値と前記可視化とを更新するステップ（１５、１７、１８）と、
を含む、前記方法。
［付記２］
プレースホルダを有するクラスターは可視化のためにマーク（２０）される、付記１に記載の方法。
［付記３］
マークされたクラスターは、色、形状、質感、又は記号で強調表示される、付記２に記載の方法。
［付記４］
前記クラスターに値を割り当てるステップ（１７）は、関数を前記クラスターの前記要素に適用し（１６）、適用された関数の結果を前記クラスターに割り当てることによって行われる、付記１ないし３のいずれか１項に記載の方法。
［付記５］
前記表示可能なクラスターの数（Ｂ）を決定するステップ（１０、１１、１２）は、クラスターごとに必要な画素数（Ｎ）と前記ディスプレイ（４）の解像度（Ｘ）を比較することにより行われる、付記１ないし４のいずれか１項に記載の方法。
［付記６］
前記ディスプレイ上に各クラスターの前記値を可視化するステップ（１８）は、前記データセットの定義された第１の最小数の要素が取得されたときにのみ開始される、付記１ないし５のいずれか１項に記載の方法。
［付記７］
前記定義された最初の最小数は、ユーザーによって設定できる、付記６に記載の方法。
［付記８］
前記ディスプレイ上の前記クラスターと前記割り当てられた値と前記可視化とを更新するステップ（１５、１７、１８）は、前記データセットの定義された第２の最小数の要素が変更されているか、又は定義された第２の最小数の更なる要素が取得されているときにのみ開始される、付記１ないし７のいずれか１項に記載の方法。
［付記９］
前記定義された第２の最小数は、ユーザーによって設定することが可能である、付記８に記載の方法。
［付記１０］
定義された数（Ｓ）の要素を含むデータセットをディスプレイ（４）上に可視化する装置（６）であって、前記装置（６）は、前記データセットを可視化するために付記１ないし９のいずれか１項に記載の方法を実行するように適合される、前記装置。

Claims (9)

1. 定義された数の要素を含むデータセットをディスプレイ上に可視化する方法であって、
   前記データセットの空間的に隣接する要素の表示可能なクラスターの数を決定するステップと、
   前記データセットの前記要素の少なくとも一部を取得するステップと、
   前記データセットの前記取得された要素及び前記データセットのまだ取得されていない要素をクラスター化して前記決定されたクラスターの数にするステップであって、プレースホルダを使用して前記データセットの前記まだ取得されていない要素が表される、前記ステップと、
   各クラスターに値を割り当てるステップと、
   前記ディスプレイ上に各クラスターの前記値を可視化するステップであって、プレースホルダを有するクラスターが可視化のためにマークされる、前記ステップと、
   前記データセットの１つ以上の要素が変更されるたびに、及び／又は、前記データセットの１つ以上の更なる要素が取得されるたびに、前記クラスターと前記割り当てられた値と前記ディスプレイ上の前記割り当てられた値の可視化された表示とを更新するステップと、
   を含む、前記方法。
2. マークされたクラスターは、色、形状、質感、又は記号で強調表示される、請求項１に記載の方法。
3. 前記クラスターに値を割り当てるステップは、関数を前記クラスターの前記要素に適用し、前記適用された関数の結果を前記クラスターに割り当てることによって行われる、請求項１又は２に記載の方法。
4. 前記表示可能なクラスターの数を決定するステップは、前記ディスプレイの解像度をクラスターごとに必要な画素数と比較することにより行われる、請求項１から３のいずれか１項に記載の方法。
5. 前記ディスプレイ上に各クラスターの前記値を可視化するステップは、前記データセットの定義された第１の最小数の要素が取得されたときにのみ開始される、請求項１から４のいずれか１項に記載の方法。
6. 前記定義された第１の最小数は、ユーザーによって設定することが可能である、請求項５に記載の方法。
7. 前記ディスプレイ上の前記クラスターと前記割り当てられた値と前記可視化とを更新するステップは、前記データセットの定義された第２の最小数の要素が変更されているか、又は定義された第２の最小数の更なる要素が取得されているときにのみ開始される、請求項１から６のいずれか１項に記載の方法。
8. 前記定義された第２の最小数は、ユーザーによって設定することが可能である、請求項７に記載の方法。
9. 定義された数の要素を含むデータセットをディスプレイ上に可視化する装置であって、前記装置は、
   前記データセットの空間的に隣接する要素の表示可能なクラスターの数を決定するよう構成された計算機と、
   前記データセットの前記要素の少なくとも一部を取得し、前記データセットの前記取得された要素及び前記データセットのまだ取得されていない要素をクラスター化して前記決定されたクラスターの数にし、プレースホルダを使用して前記データセットの前記まだ取得されていない要素が表され、各クラスターに値を割り当て、前記データセットの１つ以上の要素が変更されるたびに、及び／又は、前記データセットの１つ以上の更なる要素が取得されるたびに、前記クラスターと前記割り当てられた値とを更新するよう構成されたプロセッサと、
   前記ディスプレイ上に各クラスターの前記値を可視化し、プレースホルダを有するクラスターが可視化のためにマークされ、かつ、前記データセットの１つ以上の要素が変更されるたびに、及び／又は、前記データセットの１つ以上の更なる要素が取得されるたびに、前記ディスプレイ上の前記割り当てられた値の可視化された表示を更新するよう構成されたグラフィックブロックと、
   を備えた、前記装置。

Images