JP3857328B2 - ディスプレイ編集システム - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、ユーザが、画像、特にテキスト、グラフィック図形、及び手描き図面を編集するのを可能とするコンピュータプログラムに関する。一般に、編集される画像はコンピュータスクリーン又は他の画像形成デバイス上でユーザへディスプレイされ、且つユーザは、キーボードでストロークをタイプしたり及び／又はマウス又はスタイラスのような一つ又はそれより多くのポインティングデバイスを用いてジェスチュアをしたり又はボタンを押したりすることによって動作を実行する。
【０００２】
【従来の技術】
最も重要なユーザ動作の中には、ユーザが、オブジェクト移動、オブジェクト消去、及びオブジェクトサイズの変更その他のさらなる動作が引き続いて用いられる画像内の一つのオブジェクト又は複数のオブジェクトを選択するのを可能とする動作がある。選択可能なオブジェクト（単数又は複数）は以下の単一文字、単一単語、テキストのページの画像内で見られるような英数字の行又は段落、グラフィックシンボル、矢印、及びグラフィック図面で見られる線、円、及び矩形を含む幾何学形状、並びに隣接した孤立ストローク、複数のかど（コーナ）によって境界付けされたストローク断片、及び手描きのスケッチに見られるような結合によって境界付けられたストローク断片など、のあらゆる組合せを含んでいてもよい。画像内のいづれの可視項目が選択可能な画像オブジェクトとして利用可能とされてもよいかを決定する問題が米国特許出願番号08/101,646号の同時係属出願の主題である。この場合、グラフィック編集アプリケーションプログラムは、画像編集セッションの工程中、一組の選択可能画像オブジェクトを維持する。本発明はユーザが常に一つ又はそれより多くのこれらのオブジェクトを出来るだけ合理的にさらに処理するのを可能とすることに関する。
【０００３】
あらゆるユーザ対話型画像編集ツールが直面する重要な問題は、画像中のどの一つのオブジェクト又は複数のオブジェクトが所与のセットのキーストローク及び／又はスタイラスジェスチュアコマンドによって示されるようにユーザによって意図されるかの決定である。キーストロークはシンボリックラベル又は同一性を明瞭に指定することが可能であるが、これらはディスプレイされた画像内に含まれる固有に空間的な情報に対してぎこちなく且つ不自然なインタフェースである。これに対して、ポインティングデバイスによって行われるジェスチュアは、空間的な情報を画像形成面上の位置の形状において指定するためには好適であるが、いくつかのオブジェクトが画像の同じ領域を占める時にユーザが選択しようとする（単数又は複数の）オブジェクトの不明瞭な特定が行われてしまう可能性がある。例えば、スタイラスベースの選択は以下の手段によってのみ実行されることができる。
（１）画像内の単一ポイントにおいてユーザにスタイラスをタッチさせるか又はマウスボタンを押させた後、プログラムが当該オブジェクトの位置パラメータがそのポイントの位置又はその近隣にある一つのオブジェクト又は複数のオブジェクトを選択することと、（２）画像内のポイントにおいてユーザにスタイラスをタッチさせるか又はマウスボタンを押させた後で、プログラムは空間的な拡がりが指定された位置へ最も近くにアプローチするオブジェクト（単数又は複数）を選択することと、（３）ユーザに閉鎖した又はほぼ閉鎖した曲線を描写させた後で、閉鎖した曲線によって、充分に取り囲まれた全てのオブジェクトか、又はその位置パラメータが取り囲まれた全てのオブジェクトのいづれかを選択する。
【０００４】
最初の二つの方法は、非常に重要な位置において、即ちそれらの中からユーザが選択したいとするオブジェクトのセットが画像内のマークのレベルにおいてオーバーラップサポート（支援）を共用する時、オブジェクトのユーザ選択のサポートに失敗する。ここで、ユーザは垂直なラインだけ、水平なラインだけ、又は全体のコーナの形状を選択したいとするかもしれない。これらのラインの内の一つの上の単一点を指定することはそれらに代わるものと識別するために充分な情報を提供しない。さらに、（意図されたオブジェクトを取り囲む）第３の方法は追加のオブジェクトが所望オブジェクトを取り囲む領域内に見つけられた時は受容不可能となる。
【０００５】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、ユーザが選択しようとする画像内のオブジェクト（複数又は単数）を識別するためにユーザの単純且つ自然なジェスチュアを変換する方法及び装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明によれば、上記の目的はコンピュータビジョンのフィールドからのコンセプト（概念）とユーザインタフェース設計テクノロジーとの新規の組合せによって達成される。
【０００８】
本発明の一つの態様によれば、二つのキーコンセプトを共に結合する。第１に、画像内のオブジェクトの大体の位置、サイズ、及び形状がオブジェクト毎に演算されるパラメトリックな「ポーズ」を表わす第１の特性記述子によって要約される。次いで、第２の特性記述子即ち「ジェスチュア整合」機能がユーザ選択ジェスチュアと最良に適合する単一のオブジェクト又は複数のオブジェクトのセットを選択するために提供される。最も密接に整合した時、これらのキー特性記述子は、共に空間的にオーバーラップするかもしれない大きなセットのグラフィックオブジェクトの間で識別するために単純で且つ自然なユーザジェスチュアを許容する。ユーザジェスチュアはオブジェクトを介した単純なスラッシュであってもよいし、又はオブジェクトの形状の迅速で大まかな近似であってもよい。
【０００９】
オブジェクトの部分を選択するための本発明のさらなる態様によれば、交差、結合、又は鋭コーナのない基本曲線又は線セグメントが経路を定義するために端末間でほぼ結合される。これらの経路は最も密接に選択ジェスチュア曲線を近似する経路の選択を可能にするため、それらと選択ジェスチュア曲線の類似性を推定するために評価される。
【００１０】
本発明は、編集のために複数の画像オブジェクトから少なくとも一つの画像オブジェクトを選択するためのディスプレイ編集システムであって、ディスプレイ面上へ複数の画像オブジェクトを入力するための第１の手段と、各入力されたオブジェクトに応答して前記オブジェクトを表わす第１の特性記述子を作成し且つ記憶するための第２の手段と、前記オブジェクトの内の少なくとも一つを選択するために選択ジェスチュアを入力するための第３の手段と、前記選択ジェスチュアに応答して前記選択ジェスチュアを表わす第２の特性記述子を作成し且つ記憶するための第４の手段と、前記第２の特性記述子と最も密接に対応する前記第１の特性記述子の内の少なくとも一つを選択するための第５の手段と、を備え、これによって少なくとも一つの画像オブジェクトを選択することよりなるディスプレイ編集システムである。
【００１１】
【実施例】
【００１２】
本発明の主題であるディスプレイ編集システムの一つの実施例が図１に一般的に示されており、入力／ディスプレイコンポーネント１０がデータ入力デバイス１２と共に図示されている。入力／ディスプレイコンポーネントは入力デバイスと組み合わされた組合せディスプレイデバイスである。従って入力デバイス１２によて入力される入力データは入力された時にディスプレイ上に示される。入力デバイス１２はあらゆる形態のスタイラス、マウス、若しくは適切な近接によって感知されるオペレータの手、或いは他の形態のセンシング（感知）デバイスのようなポインタ又はポインティングデバイスである。走査されたハードコピーのような他の形態の入力も使用可能である。従って、入力デバイス１２によってスクリーン１０へ入力され且つそのスクリーン上にディスプレイされたデータはディジタイザ１４によって入力され、このディジタイザ１４はまた、データが入力される時にリアルタイムで画像をスクリーン上に形成するためにディスプレイドライバ１６を駆動する。ディジタイザ１４によってディジタル化されたデータはＣＰＵ１８へ送られて、プログラムメモリ２０内に記憶されたプログラムの制御下で処理されて、その結果がデータメモリ２２内に記憶される。ディスプレイスクリーン１０は、入力デバイス１２を介して、メニュー選択２４によって所望される編集又はドラフティング（ドラフト）ファンクション（機能）を実行するために用いられることができ、且つメニュー選択２４はエリア２４に沿ってディスプレイスクリーン１０上に直接ディスプレイされる。
【００１３】
上記のディジタイザ入力及びディスプレイ技術は、画像オブジェクトの入力及びディスプレイのための複数のデバイスのいづれかを表わしており、その例は従来の技術において容易に理解される。
【００１４】
図８は、画像オブジェクトを選択するために本発明によって用いられる手順、即ち所与のユーザ入力選択ジェスチュアによって最も良好に示される画像内の一つのオブジェクト又は複数のオブジェクトの選択、を一般に示している。これを達成するため、図８に示されている全体的なジェスチュア（身振り）整合ファンクションは、１グループの独立したサブファンクション（副機能）の出力の中から選択する。各サブファンクションはユーザ選択ジェスチュアの特徴的なスタイル又はフォーマットを提供する。例えば、あるサブファンクションは一組のオブジェクトの選択をオブジェクトを、それらを取り囲むことによって提供してもよいが、他のサブファンクションはオブジェクトを介してスラッシュを描くことによってユーザに単一オブジェクトを選択させてもよい。
【００１５】
各サブファンクションは整合基準のそれ自体のセットの下でオブジェクトジェスチュア整合を実行し、且つそのサブファンクションは二つの項目を計算する。第１の項目は、そのサブファンクションの基準下で、選択ジェスチュアと最も好ましく整合する単一オブジェクトか又は複数オブジェクトのセットである。第２の項目は、ユーザによって意図されるジェスチュア選択フォーマットとしてこのサブファンクションの「信頼率」又は「確度」を推定するサブファンクション信頼スコアである。この全体的なジェスチュア整合ファンクションはサブファンクション信頼スコアをジェスチュア整合サブファンクションと比較し、且つ（スコアが閾値より上にある場合）最高スコアのサブファンクションによって選択されたオブジェクトをリターンする。図８に示されているように、ユーザ選択ジェスチュア９６とプリコンパイルされた又は現在構築された選択可能グラフィカルオブジェクト９８は一連の選択サブファンクション動作１０２を介してそれぞれ処理される。各選択サブファンクションの出力は、選択されたオブジェクト１０４、及びこれらのオブジェクトの各々を表わすそれぞれの信頼スコア１０６である。以下に詳細に記述されている２ステップ処理において、オブジェクトスコアのシリーズは次いで、最終分析１０８においてジェスチュアに対するオブジェクトの最良整合を生成するためにゲートされる。
【００１６】
この全体的なジェスチュア整合ファンクションのアーキテクチュアは、本発明がオブジェクト選択技術の拡張可能なセットを組み込むのを可能にする。ユーザは選択ジェスチュアを単純に実行し且つシステムはサブファンクション信頼スコアを利用可能なオブジェクト選択サブファンクションと比較することによってユーザの意図を推論する。サブファンクション信頼スコアが有意義な方法でサブファンクションと比較されるようにするため、これらのスコアは設計上、共通の標準まで較正されなければならない。好ましい標準下においては、各スコアは０と１の間の範囲内にあり、０はサブファンクションがリターンするオブジェクトがユーザの意図に対応していることに信頼性が全くないことを示すが、１は絶対的な確実性を示す。例えば、「取り囲み（encircling）」ジェスチュアに対する信頼スコアの極めて単純な測度は、１−（曲線のエンドポイント間の距離と曲線の長さの重み付けされた比率）として表現されてもよい。
【００１７】
上記のアーキテクチュア内で選択されたオブジェクト１０４を生成するために選択サブファンクション１０２として使用されることができる二つの選択サブファンクションが本明細書中に開示されている。しかしながら、本発明がこれら二つの実施例に限定されないことは明白である。第１に、「ポーズ整合（pose-matching ）」ルーチンは、ユーザ選択ジェスチュアの位置、配向、サイズ、及び形状に最も類似している（わずかに異なる）単一オブジェクトの選択を生じる。このルーチンは、多くの他の偽オブジェクトへ接近又はオーバーラップする近接において見つけられたオブジェクトを選抜するために特に有用である。第２に、「パス（経路）整合」ルーチンは、選択ジェスチュアの経路に最良に対応する画像内の一組のオブジェクトを選択し且つ計算する。このルーチンは曲線形経路に沿って存在するいくつかのオブジェクトを迅速に選択するのに特に有用である。他の技術が代わりに使用されてもよいことは当然のことながら明白である。
【００１８】
ポーズ整合選択
図２の（ａ）乃至（ｅ）の各々は本発明の一つの態様を示しており、ここで図２の（ａ）は線描画グラフィック画像又は構造グラフィック画像の手描きの実施例である。図２の（ｂ）乃至（ｅ）は、ユーザが画像から選択したいとするであろう、実線で示されたオブジェクトをそれぞれ示している。
【００１９】
図３に関しては、ディスプレイスクリーン上で描写された複数のオーバーラップする画像オブジェクトが示されている。従来の空間的位置によるオブジェクトの選択は、この図における矩形、円形、及び三角形のように、複数のオブジェクトが画像形成面のほぼ同一の位置内に置かれた時、失敗する。
【００２０】
図４の（ａ）及び（ｂ）に関しては、オブジェクト上のポイントを指し示すことによる選択はオブジェクトがサポートを共用する時、失敗する。従って、図４の（ａ）においては、三つの選択可能なオブジェクトが二つのラインセグメントから構築される。水平セグメントの従来の選択は、水平セグメントのみの選択を”Ｌ”の選択から区別しない。図４の（ｂ）においては、従来の「取り囲み」ジェスチュアは、偽オブジェクトがターゲット選択されたオブジェクトによって囲繞された領域内にある時、失敗する。
【００２１】
図５の（ａ）乃至（ｆ）に関しては、複数のオーバーラップする画像オブジェクトの内の一つの選択はジェスチュアをオブジェクトへ適切に結合することによって行われる。従って、図５の（ａ）においては、ジェスチュア３０によって選択されるオブジェクトは矩形オブジェクト３２である。図５の（ｂ）においては、囲みジェスチュア３４は円形オブジェクト３６を選択する。図５の（ｃ）においては、ラインジェスチュア３８は三角形オブジェクト４０を選択する。図５の（ｄ）においては、ジェスチュア４１は短いラインセグメント４２を選択する。図５の（ｅ）においては、ジェスチュア４４はボックス４８を通過する長いラインセグメント４６を選択する。図５の（ｆ）においては、囲みジェスチュア５０はボックス５２を選択する。図５の（ｃ）においては、ジェスチュア３８は、選択されたオブジェクトと密接に類似している必要はなく、ターゲットオブジェクトの位置、配向、及びサイズの簡単な提示であるにすぎないことに注意されたい。同様に、水平のジェスチュアは図５の（ａ）において矩形を選択するために使用されることができる。
【００２２】
図６に関しては、一般的なグラフィックオブジェクトに対して、及びポインティングデバイスによって行われる選択ジェスチュアの形状に対して、ポーズの有効なパラメトリック記述即ちオブジェクト又はジェスチュア６０のおおよその位置、配向、サイズ、及び形状が、以下の５個のパラメータ、即ち横座標上のｘ位置（ｘ）６２、縦座標上のｙ位置（ｙ）６４、配向（角度）（ｅ）６６、長さ６８及び／又は幅６９のようなスケールファクタ、並びに（固定されたグローバル座標システムに相対する）オブジェクトと対応する配向された境界ボックス７０のアスペクト（縦横）比（ｒ）パラメータからなる。
【００２３】
ｘ−ｙ位置はオブジェクトの「オン」状態の画素の重心として計算されてもよい。配向パラメータは重心を通る慣性（イナーシャ）の主軸の向きとして得られてもよい。スケールパラメータはオブジェクトの長さのロガリズム（対数）の線形関数として計算されてもよい（慣性の主軸に沿った線形の拡がり）。アクペクト比は、固定された最小値、及びオブジェクトの幅（慣性の主軸に垂直な軸に沿った線形の拡がり）と長さの比率の最大値として得られてもよい。ポーズ記述ベクトルは拡張可能であり且つより多くの識別情報を提供するために上記にネーミングされた５個より多くのパラメータが吹き込まれてもよい。図７に示されているように、データ入力８０は、オブジェクト又はジェスチュアを表わす特性記述であるポーズ記述ベクトル９２を定義するため、ｘ−ｙ位置８２、配向８４、アスペクト比８８、及びあらゆる追加パラメータ９０を導出するために用いられる。例えば、追加のパラメータはより高位の幾何学モーメント、角度の閉止（状態）、及び外形（輪郭）テクスチュア計測を含むことができる。このポーズ記述ベクトルは位置９４内に記憶される第１の特性記述子を画像オブジェクト毎に定義する。このベクトルはまた、ユーザ選択ジェスチュア毎に、位置９６内に記憶される第２の特性記述子を定義する。比較及び分析機能９８は、ユーザ選択ジェスチュアに最良に整合するオブジェクトを決定するための信頼レベルを決定するため、定義されたグラフィカルオブジェクトとユーザ選択ジェスチュアの間で実行される。得られる選択されたオブジェクト１００が次いで定義される。信頼レベルと選択処理は図８に関してより詳細に記述されている。
【００２４】
２．１ ポーズ整合ルーチン
二つのポーズの類似性及び／又は違いを評価するためのポーズ整合ルーチン（図９）は、位置、配向、スケール、及びアスペクト比のパラメータの相関重要度を高度な非線形方法で共に考慮に入れなければならない。単純なユークリッド距離計測は不適切である。例えば、ポーズの配向パラメータにおける違いは、両オブジェクトのアスペクト比が相対的に高い（０に近い）時は有効であるが、いづれかのオブジェクトが低アクペスト比（１に近い）を表示する時は非有効となる。本発明の実施の目的のため、以下の論理式は二つのポーズの間のポーズ違いＤを表す式である。
【００２５】
【数１】

【００２６】
定数パラメータには以下の値、
ρ₁ ＝０．７５；ρ₂ ＝０．２；ρ₃ ＝０．６９３
が割り当てられる。
【００２７】
違いの式は、上記の同時係属出願、米国特許出願番号08/101,646号に記述されている空間的に及びスケールインデックス付けされたデータストラクチュアを用いて空間的位置に基づいて候補オブジェクトを前もって遮蔽すること（プリスクリーニング）によってポーズ整合ルーチン内に組み込まれる。選択ジェスチュアとこれらの前もって選択されたオブジェクトの各々のポーズ違いが順に演算され、且つ最も類似しているオブジェクトがリターンされる。上記のポーズ整合距離Ｄは０（完全整合）乃至１（非整合）の範囲内にあるので、サブファンクション信頼スコアは単純に１−Ｄとして計算されてもよい。
【００２８】
図９に記述されている全体的な整合動作は、ブロック１２０において、システムへ適用される入力ジェスチュアを最初に示している。次いで、ブロック１２２において、システムは、入力ジェスチュアに対するポーズパラメータを作成する。次いで、ブロック１２４において、データストラクチュア内に記憶されたオブジェクトの集合から、ブロック１２６において、候補オブジェクトは入力ジェスチュアへの近似に基づいて候補オブジェクトが選択される。次いで、ブロック１２８において、システムは候補オブジェクトに対するポーズパラメータのためのルックアップを行う。次いで、ブロック１３０において、システムは入力ジェスチュアに対するポーズパラメータのセットを候補オブジェクトのそれらと比較し、且つ最も類似したオブジェクトを選択する。
【００２９】
経路整合選択
図９に示されているような経路整合動作を実行するため、本発明は、選択ジェスチュア曲線の経路を最も良く説明している画像オブジェクトのセットを集める経路整合選択サブファンクションを提供する。このサブファンクションは、まず、経路が端末間でほぼ連結されるプリミティブ（基本要素）曲線セグメント（交違い、結合、又は鋭コーナを含まない曲線セグメント）のシーケンスとなるように経路を定義する。次いで、このサブファンクションは、経路と選択ジェスチュア曲線の類似性を推定する経路品質計測を定義する。より詳細には、あらゆる経路に対する経路品質計測があるルーチンにおける一組のステップによって以下のように計算される。
【００３０】
１． 経路シーケンスの始まりであると考えられる曲線セグメントから開始せよ。これを「左端（leftmost）」セグメントと称せよ。このセグメントの「左端」エンドを図１０に示されているように選択ジェスチュア曲線へ投影せよ。
【００３１】
１ａ． 可変の現在セグメントが左端セグメントとなるように初期化せよ。
【００３２】
１ｂ． 可変の最終投影比率を投影ポイントの左に対する選択ジェスチュア曲線の比率となるように初期化せよ。
【００３３】
１ｃ． 可変の最良可能スコアｓ_b を投影ポイントの右に対する選択ジェスチュア曲線の比率となるように初期化せよ。
【００３４】
１ｄ． 可変の実際スコアｓ_a をゼロ（０）へ初期化せよ。
【００３５】
２． 以下のように、現在セグメントに対する適合品質係数、ｆｑと呼ばれる変数を計算せよ。
【００３６】
【数２】

【００３７】
ここで、ｐ₄ は０．５の値が満足すべき調整可能なパラメータであり、ｄ_m は現在セグメント上の点と選択ジェスチュア曲線の間の最大距離であり、且つ１は現在セグメントの長さ（レングス）である。
【００３８】
３． 可変の次投影比率、ｐ_n が、選択ジェスチュア曲線への曲線セグメントの「右」端の投影の左に対する選択ジェスチュア曲線の比率となるようにセットせよ。
【００３９】
４． このセグメント選択曲線アレイ・フラクション（少数部）と呼ばれる変数ｆ_r を、次投影比率と最終投影比率の違いとなるようにセットせよ。
【００４０】
５． このセグメント投影レングスと呼ばれる変数、ｐ₁ を現在セグメントの左右の端の投影の間の選択ジェスチュア曲線に沿った曲線距離となるようにセットせよ。
【００４１】
６． 超過セグメント・レングス・コストと呼ばれる変数、ｃ_elを、以下の値、
【００４２】
【数３】

【００４３】
へセットせよ。
【００４４】
ここで、ｐ₅ は値０．２５が満足すべき調整可能パラメータである。
【００４５】
７． 可変の実際のスコア、
【００４６】
【数４】

【００４７】
を更新せよ。
【００４８】
８． 可変の最良可能スコア、
【００４９】
【数５】

【００５０】
を更新せよ。
【００５１】
９． 左端セグメントを経路シーケンス内の次のセグメントとなるようにセットし、次いでステップ２へ進め。
【００５２】
アルゴリズムの本体に関しては、それらの実際のスコアｓ_a とそれらの最良可能スコアｓ_b と共に経路のリストを含む経路リストと呼ばれるデータストラクチュアを保持せよ。
【００５３】
１． 選択ジェスチュア経路の「左端」エンドポイントの閾値距離内にあるエンドポイントを所有する曲線セグメントのセットによって経路リストを初期化せよ。
【００５４】
２． 可変の現在実際スコアｓ_a を経路リスト内の経路にわたる最大実際スコアｓ_a となるように初期化せよ。
【００５５】
３． 可変の現在最良可能スコアｓ_b を経路リスト内の経路に対する最大最良可能スコアｓ_b となるように初期化せよ。
【００５６】
４． 最大の最良可能スコアを有する経路リスト内の経路となるように可変最良可能経路をセットせよ。
【００５７】
５． 最良可能経路上で拡張動作を実行せよ。これはエンドポイントの内の一つが経路内の右端セグメントの最右端の閾値距離内にある全ての曲線セグメントを有する経路を拡張することからなる。この演算の結果は、このような拡張セグメント毎に一つ見つけられる新しい経路のリストである。この結果を現在拡張経路リストと称せよ。
【００５８】
６． 経路リスト内の各経路を現在拡張経路リスト内の各経路と比較し、且つ右端曲線セグメントが曲線セグメントを殆ど含まないあらゆる他の経路の右端曲線セグメントと同じである、あらゆる経路を取り去れ。
【００５９】
７． 経路リストと拡張経路リストの合併集合（ユニオン）となるように可変の経路リストを更新せよ。
【００６０】
８． 経路リスト内の各経路を検査せよ。可変現在実際スコアｓ_a が中でも最良の実際のスコアとなるように更新し、且つ可変の最良実際経路が対応経路となるようにセットせよ。
【００６１】
９． 最良可能スコアｓ_b が現在実際のスコアｓ_a より下のあらゆる経路を、経路リストから除去せよ。
【００６２】
１０． すでに拡張され且つその実際スコアｓ_a が現在の実際のスコアｓ_a より下のあらゆる経路を、経路リストから除去せよ。
【００６３】
１１． 唯一の経路が残った場合、それを最良適合経路として出力し且つその実際のスコアｓ_a を信頼値として出力せよ。一つより多くの経路が残った場合、ステップ５へ進め。
【００６４】
本明細書中に開示されている本発明の実施例のいくつかの変更又は訂正は当技術における当業者に容易に理解されよう。さらに、本発明がディジタイザシステムにおける座標決定以外に使用され得ることも当業者に容易に理解されよう。
【００６５】
【発明の効果】
本発明は、ユーザが選択しようとする画像内のオブジェクト（複数又は単数）を識別するためにユーザの単純且つ自然なジェスチュアを変換する方法及び装置を提供する。
【図面の簡単な説明】
【図１】本発明によるディスプレイ編集システムを示す図である。
【図２】（ａ）複数の入力された画像オブジェクトを示す図である。
（ｂ）複数の入力された画像オブジェクトを示す図である。
（ｃ）複数の入力された画像オブジェクトを示す図である。
（ｄ）複数の入力された画像オブジェクトを示す図である。
（ｅ）複数の入力された画像オブジェクトを示す図である。
【図３】複数のオーバーラップする画像オブジェクトを示す図である。
【図４】（ａ）は複数の選択可能オブジェクトを示す図である。
（ｂ）は複数の選択可能オブジェクトを示す図である。
【図５】（ａ）ジェスチュアとオブジェクトの関係を示す図である。
（ｂ）ジェスチュアとオブジェクトの関係を示す図である。
（ｃ）ジェスチュアとオブジェクトの関係を示す図である。
（ｄ）ジェスチュアとオブジェクトの関係を示す図である。
（ｅ）ジェスチュアとオブジェクトの関係を示す図である。
（ｆ）ジェスチュアとオブジェクトの関係を示す図である。
【図６】画像オブジェクトを分析するときに使用されるファクタを示す図である。
【図７】ジェスチュア上のオブジェクトのポーズ記述ベクトルを示すフローチャートである。
【図８】選択機能を概略的に示す図である。
【図９】選択ルーチンの全体的なフローチャートを示す図である。
【図１０】本発明による選択の様相を示す図である。
【符号の説明】
１０ ディスプレイスクリーン
１２ データ入力デバイス
１４ ディジタイザ
１８ ＣＰＵ
２０ プログラムメモリ
２２ データメモリ
２４ エリア

Claims (2)

1. 編集のために複数の画像オブジェクトから少なくとも一つの画像オブジェクトを選択するためのディスプレイ編集システムであって、
   ディスプレイ面上へ複数の画像オブジェクトを入力するための第１の手段と、
   各入力された画像オブジェクトに応答して前記画像オブジェクトを表わす第１の特性記述子を作成し且つ記憶するための第２の手段と、
   複数の画像オブジェクトの内の少なくとも一つを選択するために選択ジェスチュアを入力するための第３の手段と、
   前記選択ジェスチュアに応答して前記選択ジェスチュアを表わす第２の特性記述子を作成し且つ記憶するための第４の手段と、
   前記第２の特性記述子と最も密接に対応する、第１の特性記述子の内の一つを選択するための第５の手段と、
   を備え、
   前記第１の特性記述子は、画像オブジェクトのポーズを表すパラメータによって、画像オブジェクトを表し、
   前記第２の特性記述子は、選択ジェスチュアのポーズを表すパラメータによって、選択ジェスチュアを表し、
   画像オブジェクトのポーズを表すパラメータは、画像オブジェクトのディスプレイ面上の位置、サイズ、形状を表し、選択ジェスチュアのポーズを表すパラメータは、選択ジェスチュアのディスプレイ面上の位置、サイズ、形状を表し、
   前記第２の特性記述子と最も密接に対応する第１の特性記述子の内の一つは、画像オブジェクトのポーズを表すパラメータと選択ジェスチュアのポーズを表すパラメータとの違いを計算し該違いに基づき、選択され、
   これによって少なくとも一つの画像オブジェクトを選択することよりなるディスプレイ編集システム。
2. 画像オブジェクトのポーズを表すパラメータは、画像オブジェクトのディスプレイ面上の配向を更に表し、選択ジェスチュアのポーズを表すパラメータは、選択ジェスチュアのディスプレイ面上の配向を更に表すことを特徴とする、請求項１に記載のディスプレイ編集システム。

Images