JP5647246B2 - データベース検索方法、システムおよびコントローラ - Google Patents

データベース検索方法、システムおよびコントローラ Download PDF

Info

Publication number
JP5647246B2
JP5647246B2 JP2012524051A JP2012524051A JP5647246B2 JP 5647246 B2 JP5647246 B2 JP 5647246B2 JP 2012524051 A JP2012524051 A JP 2012524051A JP 2012524051 A JP2012524051 A JP 2012524051A JP 5647246 B2 JP5647246 B2 JP 5647246B2
Authority
JP
Japan
Prior art keywords
data item
search
display
database
search result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012524051A
Other languages
English (en)
Other versions
JP2013501979A (ja
Inventor
グロノー,ブレット,ジェイムズ
デヴェレル,キース,ディヴィッド
パク,ジョナサン,デイヴィッド
ベイツ,クリストファー,グレンドン
ウォルフ,デイヴィッド,ピーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Someones Group Intellectual Property Holdings Pty Ltd
Original Assignee
Someones Group Intellectual Property Holdings Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2009903736A external-priority patent/AU2009903736A0/en
Application filed by Someones Group Intellectual Property Holdings Pty Ltd filed Critical Someones Group Intellectual Property Holdings Pty Ltd
Publication of JP2013501979A publication Critical patent/JP2013501979A/ja
Application granted granted Critical
Publication of JP5647246B2 publication Critical patent/JP5647246B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/904Browsing; Visualisation therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、データアイテムであって、限定しないが特に画像、音楽、映像、ゲーム、またはブックなどのメディアアイテムのコンピュータ化されたデータベース検索方法、システムおよびコントローラに関する。
ストック写真などのメディアアイテムのデータベースを検索するのは、メディア産業と一般消費者の双方で頻繁に行われるタスクである。gettyimages.comやimages.google.comなどのウェブサイトは一般に、画像コンテンツのインデックス化に基づいた記述子を含む検索方法を提供する。このコンテンツ記述子は一般に、コンセプト、エモーション、ロケーション、または画像内の人物の特性などに関連する。ユーザが、典型的にはドロップダウンリストのチェックボックスを用いて1以上のコンテンツ記述子の値を指定すると、画像検索エンジンがユーザ指定の値に合致する画像について画像データベースのインデックスを検索する。合致した画像は通常、解像度や出所などの技術情報を伴ってスクロール可能なウィンドウに表示される。通常、最初のページは最も近い合致を表示し、これはカラーバランスなどの付加的な固有の特性の評価をいくつか含んでもよく、複数のさらなるページはあまり近くない合致を含む。ユーザは多くの画像を検査して、さらなるコンテンツ記述子の値を指定したり、例として1の参照画像を選択したりすることにより検索をリファインする。
記述子を用いた最初の検索は多くの潜在的に関連する画像を提供するが、より関心のある画像を選択するための検索リファインはしばしばフラストレーションとなる。さらに、大量の画像やテキストの混合体をスクロールして個別に精査するのは疲れるし退屈である。
このように、有用なデータアイテムの特定により効率的でユーザフレンドリーを実現する改良したデータベース検索技術とメディアへの特定の応用を提供する必要性があった。
本発明の発明者は、基準データアイテムの利用と検索結果の順序づけおよび管理可能なディスプレイを改良することにより、ユーザが感心のあるデータのロケーティングを補助する大きく改良した方法を見つけた。
本発明の第一の態様によると、記述子スペース内にデータアイテムを含むデータベースをユーザがユーザインタフェースを介して検索するための方法であって、
2以上の基準データアイテムの基準セットを選択するステップと、
各基準データアイテムの記述子座標を取得するステップと、
前記記述子スペース内の前記基準セットの1またはそれ以上の要素に近いか、その要素間にある前記データベース内のデータアイテムの検索結果のセットを特定するステップと、
前記検索結果のセットをディスプレイに表示するステップであって、ディスプレイ上での特定のデータアイテム間の近接度が前記記述子スペースの近接度を一般に示すステップを具える方法が提供される。
一実施例において、本発明はさらに、ディスプレイ上に前記基準セットとともに前記検査結果のセットを表示するステップを含む。1またはそれ以上の基準データアイテムが、関連するデータアイテムを対応する基準位置のセットのいずれかにドラッグすることにより、ユーザから選択される。この検索セットと前記基準セットは、ディスプレイパネルの縁部または角部に表示される。
一実施例において、1またはそれ以上の基準データアイテムが、前記データベースからの自動選択により選択される。この自動選択は、ランダム要素を含んでもよい。
一実施例において、前記検索結果アイテムと基準セットデータアイテムが表示され、各データアイテムのディスプレイ上の位置は通常、多次元記述子スペース内のデータアイテム位置を反映する。
一実施例において、前記データアイテムは対応する位置の定義グリッド(defined grid)に表示され、前記各検索結果データアイテムを特定するステップは、
各基準データアイテムの重みを、前記データアイテムの位置と前記検索結果データアイテム位置とのディスプレイ上の相対距離の相関(function)として算出するステップと、
前記重みを用いて、前記基準セットに対応する前記記述子の加重平均として前記記述子スペース内の目標位置を算出するステップと、
前記検索セットデータアイテムを、前記データベース内で前記目標位置に最も近いデータアイテムとして特定するステップとを具える。
各基準データアイテムの重みを算出する関数は、各基準データアイテムで同じでもよいし、前記相対距離の逆二乗であってもよい。
一実施例において、前記データアイテムは、画像および/または音声のデジタルメディアを含む。
一実施例において、1またはそれ以上の基準データアイテムが、データベース外からのユーザにより選択される。
一実施例において、前記方法がさらに、ユーザから限定条件を受け取るステップを具え、前記検索結果のセットを特定するステップがさらに、前記限定条件を満たすかこれに近いデータアイテムに前記検索結果のセットを限定するステップを具える。
本発明の第2の態様によると、ユーザがデータアイテムのデータベースをインタラクティブで検索するためのデータベース検索システムであって、
前記ユーザが見るためのディスプレイと、
前記ユーザにより操作され作動される位置セレクタと、
2またはそれ以上のデータアイテムの基準セットを選択する基準セットセレクタと、
前記基準データアイテムの各々の記述子座標を取得する基準セット座標取得部と、
前記記述子スペース内で前記基準セットの1またはそれ以上の要素に近いかこれらの間のデータアイテムのセットを検索結果として特定する検索結果特定部と、
前記ディスプレイ上に前記検索結果セットを表示する検索結果ディスプレイコントローラとを具え、ディスプレイ上で特定のデータアイテム間の近接度が一般に前記記述子スペースの近接度を示すことを特徴とするシステムが提供される。
本発明の第3の態様によると、操作および作動のための位置セレクタを具え、ディスプレイを見ているユーザが記述子スペース内のデータアイテムをデータベースからインタラクティブに検索するためのデータベース検索コントローラであって、
2またはそれ以上のデータアイテムの基準セットを選択する基準セットセレクタと、
前記基準データアイテムの各々の記述子座標を取得する基準セット座標取得部と、
前記記述子スペース内で前記基準セットの1またはそれ以上の要素に近いかこれらの間のデータアイテムのセットを検索結果として特定する検索結果特定部と、
前記ディスプレイ上に前記検索結果セットを表示する検索結果ディスプレイコントローラとを具え、ディスプレイ上で特定のデータアイテム間の近接度が一般に前記記述子スペースの近接度を示すことを特徴とするシステムが提供される。
本発明の第4の態様によると、コンピュータにより実行されたときに、前記コンピュータに、前記第1の態様の検索方法のいずれかの実施例を実現するコンピュータプログラムコードが提供される。
本発明の第5の態様によると、前記本発明の第4の態様のプログラムコードを具えるコンピュータ可読媒体が提供される。
本発明の第6の態様によると、前記本発明の第4の態様のコンピュータプログラムコードを含むデータ信号が提供される。
図1は、本発明の画像検索システムの一例のブロック図である。 図2は、本発明の一実施例の画像検索方法を示すフロー図である。 図3は、図2の実施例における画像セットを表示するスクリーンレイアウトの例を示す。
図面を参照すると、本発明のデータベース検索システム、コントローラ、および方法の多様な態様が示されている。
このシステムは多くの異なる形態をとりうる。第1の形態では、全部あるいは大部分の必要な要素がローカルのユーザ操作可能なコンピュータおよびインタフェースに存在するスタンドアロンシステムが提供される。
第2の態様では、本システムを実現するのに必要な要素のいくつかがローカルのユーザ操作可能なコンピュータに存在し、インタフェースや他の要素のいくつかがユーザに対して遠隔配置されている分散アーキテクチャが提供される。例えば、「密集クライアント(thick client)」アーキテクチャを用いて、検索および/またはディスプレイコントロールの一部がローカルのユーザ操作可能なコンピュータで実行され、インタフェースや他の部分がリモートのサーバなどで実行されてもよいし、「薄いクライアント(thin client)」アーキテクチャを用いて、検索とディスプレイコントロールの大部分がリモートのサーバなどで実行され、ローカルマシンはユーザインタフェースのみに用いられてもよい。
典型的なウェブベースの実装は、ディスプレイ、キーボード、およびマウスまたはタッチ感応型スクリーンを有する従来型のパーソナルコンピュータを含み、ウェブサイトからダウンロード可能なJavaScriptやXMLプログラムなどのデータベース検索コントローラを実装する。このデータベースは通常ユーザのリモートに保存され、データベース検索コントローラにより問い合わせを受ける。
図1を参照すると、最も広いレベルのコアな要素はデータベース検索システム10であり、これはユーザインタフェース20と、データベース検索コントローラ30とを具え、これがローカルまたはリモートに位置するデータメモリ40と通信する。一実施例において、データメモリ40は、データベース420と、記述子テーブル422と、限定タグテーブル421とを具える。
ユーザインタフェース20の要素は、LCDモニタなどのディスプレイ200と、ユーザがディスプレイ200上の位置を指定するマウスなどの位置セレクタ210とを具え、これはユーザが位置を選択し他の入力機能を実行できるようにする左右のマウスボタンといった1以上のセレクタボタンを有する。
データベース検索コントローラ30は、ユーザインタフェース20およびデータメモリ40とデータ通信を行い、典型的にはユーザ入力により検索を実行しディスプレイ200上に出力するプロセッサを含むか実装している。ここで、「プロセッサ」の語は一般にこの機能を実行する様々な装置をいい、マイクロプロセッサ、マイクロコントローラ、プログラム可能論理装置、または他のコンピュータ装置、汎用目的コンピュータ(例えばPC)、またはサーバを含む。
メディアアプリケーション用では、データベース420はメディアアイテムの大きなデータベースであり、一般に各メディアアイテムに関連するテキスト形式またはバイナリコンテンツベースの情報を含む業界標準の限定タグテーブル421を伴うが、メディア種類(例えば色/B&W)などの本来のメディア情報を含んでもよい。データメモリ40も各メディアアイテムに派生する記述子の記述子テーブル422を具え、これは一般に固有の視聴覚の記述子に由来するがコンテンツベースの情報に由来してもよい。テーブル421と422はデータベースの構築中に演算され、特に本発明がデータベース所有者以外の団体により実行される場合には、メディアアイテムデータベース420から遠隔に配置される。この技術分野で知られているように、テーブル421、422はその全体または一部が、データベース420において記述子または限定タグの値または値幅を満足するアイテムの特定を高速化すべく注文またはインデックス化される。
データベース検索コントローラ30は、いくつかの実施例において、ユーザから限定条件を受け取る限定条件レシーバ310と、データベース420内で基準データアイテムのセットおよび任意で限定条件に近く合致するデータアイテムの検索結果セットを特定する検索結果識別部320と、検索結果をディスプレイ200に表示する検索結果ディスプレイコントローラ321と、2またはそれ以上の基準データを選択する基準セットセレクタ330とを具え、これはユーザがデータベースの内側または外側から位置セレクタ210を介して選択されるか、そうでなければデータベース420から自動的に選択される。基準セット対応取得部331は、記述子テーブル422から若しくはデータアイテムからの直接演算により、繰り返す(retrace)データアイテムに対応する記述子を取得するのに適合する。基準セットディスプレイコントローラ332は、基準セットをディスプレイ上に表示するのに適合している。
図2、3を参照すると、本発明の方法の一実施例がフロー図に示され、ディスプレイレイアウト60の一例が示されている。ステップ1201で、ユーザはコンテンツウィンドウ63で、通常はテキストまたは図3に示すような「グラフィックノヴェル」などのコンテンツ関連タグである限定条件をタイプまたは選択する。ステップ1202で、限定条件を満足する4つの基準画像の最初の基準セットが、データベースから自動的に選択される。この自動選択は、単純なランダム選択を含んでもよいし、記述子スペースの閉じた領域内でのランダム選択を含んでもよい。ステップ1203で、基準画像が画像ディスプレイパネル64の角部64a、64b、64c、64dに表示される。ステップ1204で、各基準画像の記述子座標(以下に詳述する)が記述子テーブル422から取得される。ステップ1205と1206で、検索結果のセットが特定され、後述するように表示され、これによりディスプレイ上でのデータアイテムの近接度が記述子スペースでの近接度を概略示すことになる。本実施例では、画像は二次元の画像が密接に詰まったモザイクで表示され、画像表示に付加的なテキスト情報の混入はない。ステップ1207で、ユーザは表示された画像を検証し、1の基準画像をロックすることにより検索をリファインすることができる。これは位置セレクタ210で(システム外に由来するか、既にディスプレイパネル上にある)関心のある1の画像を選択し、本例では角部64a−64dのいずれかである1の基準位置にドラッグすることにより行われる。ロッキングは、基準位置で位置セレクタをダブルクリックすることで行われてもよく、これにより既存の画像が固定される。ステップ1207で変更が行われたら、アンロックされた画像はステップ1208で再びランダム化され、表示ステップ、取得ステップ、特定ステップ1203−1206が繰り返される。この再ランダム化は、単純なランダム選択でもよいし、ロックされた基準画像の記述子の値により示された記述子スペースの領域にバイアスされたランダム選択でもよい。任意で、ステップ1206の次の検索結果のセットが右側に二重パネルで表示され、ユーザが前の結果セットと今回の検索結果をディスプレイ上で同時に検証できるようにしてもよい。ステップ1207はまた、ユーザが関連する基準位置をシングルクリックすることにより、基準画像のいずれかをアンロックできるようにしてもよい。
ステップ1208において、ユーザは画マウスで画像を選択して「info」ボタン(図示せず)をクリックすることにより、特定のテキスト情報を取得することができる。この画像はその後元の場所にキューブのフロント面として再表示され、所有者、解像度、価格等のテキスト情報が別の面に表示される。ユーザはマウスの動きを利用してキューブの向きを変え、所望の情報を見ることができる。必要な情報が少ない簡単なバージョンでは、キューブの代わりにフラットなページを用いて、マウスでページ上をフリップすることによりテキストが現れるようにしてもよい。
この方法では、ユーザが新たなウィンドウを切り替えたり簡単で混乱のない画像表示を崩壊することなく、構築された大量の情報にアクセスすることができる。
画像の記述子スペースの例
本発明では、多くの画像記述子を利用することができる。例としては、カラーヒストグラム、SIFTエッジ検出、SURFエッジ検出、Cannyエッジ検出、Tamuraテキスト特性(Tamura texture features)、およびGaborテキスト特性などが含まれる。
本発明者が現在実装する写真や映像スチールなどの画像の実施例は、多次元記述子スペース用に、非圧縮CEDD(Ref1)とFTCH(Ref2)記述子セットの組み合わせにおける336の記述子の特異値分解(SVD)を用いて構築されたデータベースで派生する35の記述子の減じたセットを用いる。
各基準データアイテムの記述子座標を取得するステップ1204は、データベースに起因する画像では、テーブル422へのアクセスを伴う。ユーザが基準画像として供給した画像では、このステップは画像ピクセルから35の記述子の演算を伴う。
検索結果の特定および表示の例
上述のように、ステップ1205、1206では、検索結果のセットが特定され、基準セットとともに表示され、これにより特定のデータアイテムの表示間の近接度が、記述子スペースの近接度を概略示す。図3に示すように、ディスプレイにわたって一般的な画像特性の段階(gradation)があり、4つの角部に基準セットが宛がわれている。本発明者が検索結果のセットを取得するために現在採用している方法は以下の通りである。最初に、固定グリッドの各ディスプレイ位置について、各基準データの位置(すなわち各角部)への距離が算出される。逆二乗側(「重力モデル(gravity model)」)を用いてこの距離から重みが算出される。4つの重みはその後正規化され、合計されて統一される。次に、基準セットの記述子座標の加重平均として記述子スペース内の目標位置が算出される。最後に、ユークリッド35面間隔(Euclidean 35-dimensional distance)で測定される目標位置に最も近い関連記述子を持つデータアイテムについてデータベースが検索される。このデータアイテムが、検索結果のセットの一要素として表示位置に表示される。
上記の方法は、簡単で、様々な表示位置のいかなる数の基準データアイテムにも適用できるという利点がある。同様の広範な目的を達成するのに他の多くの方法が考えられ、本発明は特定の方法に限定するものではない。代替的な実施例は、コンピュータグラフィックでよく利用されている重心座標を用いるものであり、これは3つの基準位置の場合に最も簡単に適用可能である。
音声記述子スペースの例
本発明で利用可能な音声記述子の例は、メル周波数ケプストラム(Mel-Frequency Cepstrum)、ゼロ交差(Zero-Crossings)、スペクトル分析、スペクトル中心、スペクトルロールオフ(Spectral Rolloff)、線形予測符号コーディング、およびビートヒストグラムを含む。
本発明者が音楽や音声データアイテム用に現在構築する実施例は、多次元の記述子スペース用には、例えばインターネットhttp://jmir.sourceforge.net/jAudio.htmlにあるjAudio記述子演算ソフトウェア(Ref3)などに実装される様々な公知の音声記述子の組み合わせを用いる。多数の利用可能な記述子(本例では330)が最初にデータセットにテストされ、特定のデータ種類用のSVDアルゴリズムでエラーの原因となるもの(一般に約30)が排除される。頑健な残りのセット(約300)がその後SVDアルゴリズムにかけられ、画像例内で減じられた35の記述子セットが提供される。
音声ディスプレイの例
写真の場合、アイテムのディスプレイ内でアイテムの特性がユーザに明らかである。音声の場合は明らかに、音声の特性のいくつかの情報を運ぶために、通常は音楽トラックアートワークやアルバムカバーなどの視覚面に加えて、音声アイテムの表示内で検索結果ディスプレイコントローラ321と基準セットディスプレイコントローラ332でアダプテーションが望ましい。一つのアプローチは、SVDを用いて記述子座標を35から3に集約し、3つの集約した対応を色スペースのRGB値として表現する。ユーザはどの色がどの種類の音に対応するかを理解するであろう。
タグベース記述子のアプリケーション
上記実施例では、カラーバランスや画像のエッジ情報といった自然の視聴覚データと、音楽の場合はタイムシリーズ記述子から演算された記述子からデータベースが構築されているが、オリジナルの記述子セットにコンテンツベースのタグを含ませることが可能であり、これもSVDアルゴリズムで本来の記述子とともに集約することができる。
データベースと適用例によっては、記述子の減じたセットがコンテンツベースの記述子から全体的に算出される状況もありうる。例えば、映画や特に本を検索する際に、特性の記述子よりも、俳優、ディレクター、作家、プロット、暴力レベル等の情報がユーザに推薦を提供するのにより有用な場合がある。また、例えばビデオゲームの場合、このゲームがアクションであると戦略編隊、パズル、妖精もの、銃砲ものであるとを問わず、広範なバイナリ記述子がある。これらのコンテンツタグはすべて自然の混乱と同じように扱われ、SVDといったアルゴリズムを用いて連続的な座標の管理可能な数の多次元のセットに減じられる。
処理可能な記述子スペースを提供する一つの方法として、多数の記述子から単一値の分解(decomposition)が記述されるとしても、本発明は生成されるどのような記述子スペースも包含する。特に、NIPALSといった他のクラスタリングをSVDの代わりに用いることができる。さらに、記述子スペースはデカルトスペースに限られず、例えば3つのノードであり、座標はこの3つの位置を表し、あるいは値間の近接度が規定できる概念である他の値の構造であってもよい。
当業者は、本発明の範囲を逸脱することなく多様な変更を本発明に施すことができることを理解するであろう。
以下の特許請求の範囲と本発明の上記説明では、文脈が逆を意味するのでない限り、説明の言語または必要な意味において、「具える」または「有する」「具えている」といった派生語は包括的な意味で用いられ、すなわち記載した特徴があることを特定するものであり、本発明の多様な実施例において更なる特徴の存在や追加を排除するものではない。
本書でいかなる従来技術の公開文献が参照されても、このような文献はオーストラリアや他の国において、この分野における共有の一般知識の一部をなすことを認めるものではない。
参照文献
1. S. A. Chatzichristofis and Y. S. Boutalis, "CEDD: COLOR AND EDGE DIRECTIVITY DESCRIPTOR - A COMPACT DESCRIPTOR FOR IMAGE INDEXING AND RETRIEVAL.", ≪ 6th International Conference in advanced research on Computer Vision Systems ICVS 2008≫ Proceedings : Lecture Notes in Computer Science (LNCS) pp.312-322, May 12 to May 15, 2008 , Santorini , Greece

2. S. A. Chatzichristofis and Y. S. Boutalis, "FCTH: FUZZY COLOR AND TEXTURE HISTOGRAM- A LOW LEVEL FEATURE FOR ACCURATE IMAGE RETRIEVAL", ≪9th International Workshop on Image Analysis for Multimedia Interactive Services", Proceedings: IEEE Computer Society pp.191-196 , May 7 to May 9, 2008, Klagenfurt, Austria

3. McEnnis, D., C. McKay, I. Fujinaga, and P. Depalle. 2005. jAudio: A feature extraction library Proceedings of the International Conference on Music Information Retrieval. 600-3.

Claims (18)

  1. 記述子スペース内にデータアイテムを含むデータベースをユーザがユーザインタフェースを介して検索するための方法であって、コンピュータシステムが、
    2以上の基準データアイテムの基準セットを選択するステップと、
    各基準データアイテムの記述子座標を取得するステップと、
    前記記述子スペース内の前記基準セットの1またはそれ以上の要素に近いか、その要素間にある前記データベース内のデータアイテムの検索結果のセットを特定するステップと、
    前記検索結果のセットを前記基準セットとともにディスプレイに表示するステップであって、ディスプレイ上での特定のデータアイテム間の近接度が前記記述子スペースの近接度を概略的に表示するステップとを含み、
    前記データアイテムは対応する位置の定義グリッド(defined grid)に表示され、
    前記各検索セットデータアイテムを特定するステップは、前記コンピュータシステムが、
    各基準データアイテムの重みを、前記データアイテムの位置と前記検索結果データアイテム位置とのディスプレイ上の相対距離の相関(function)として算出するステップと、
    前記重みを用いて、前記基準セットに対応する前記記述子の加重平均として前記記述子スペース内の目標位置を算出するステップと、
    前記検索セットデータアイテムを、前記データベース内で前記目標位置に最も近いデータアイテムとして特定するステップとを含むことを特徴とする方法。
  2. 請求項に記載の方法において、1またはそれ以上の前記基準データアイテムは、関連するデータアイテムを対応する基準位置のセットのいずれかにドラッグすることにより、ユーザから選択されることを特徴とする方法。
  3. 請求項1に記載の方法において、1またはそれ以上の前記基準データアイテムは、前記データベースから自動選択により選択されることを特徴とする方法。
  4. 請求項1に記載の方法において、前記自動選択は、ランダム要素を含むことを特徴とする方法。
  5. 請求項に記載の方法において、前記検索セットと前記基準セットは、ディスプレイパネルに表示されることを特徴とする方法。
  6. 請求項に記載の方法において、前記基準位置は、前記ディスプレイパネルの縁部または角部であることを特徴とする方法。
  7. 請求項に記載の方法において、前記検索セットデータアイテムと基準セットデータアイテムが表示され、各データアイテムのディスプレイ上の位置が、多次元の記述子スペース内のデータアイテム位置を概略反映することを特徴とする方法。
  8. 請求項に記載の方法において、各基準データアイテムの重みを算出する関数は、各基準データアイテムで同じであり、前記相対距離の逆二乗であることを特徴とする方法。
  9. 請求項1乃至のいずれかに記載の方法において、前記データアイテムは、デジタルメディアを含むことを特徴とする方法。
  10. 請求項に記載の方法において、前記デジタルメディアは画像であることを特徴とする方法。
  11. 請求項に記載の方法において、前記デジタルメディアは音声メディアを含むことを特徴とする方法。
  12. 請求項1乃至11のいずれかに記載の方法において、1またはそれ以上の前記基準データアイテムが、データベース外からユーザにより選択されることを特徴とする方法。
  13. 請求項1乃至12のいずれかに記載の方法において、さらに、ユーザから限定条件を受け取るステップを具え、前記検索結果のセットを特定するステップがさらに、前記限定条件を満たすかこれに近いデータアイテムに前記検索結果のセットを限定するステップを具えることを特徴とする方法。
  14. ユーザから記述子スペース内のデータアイテムのデータベースをインタラクティブで検索するためのデータベース検索システムであって、
    前記ユーザが見るためのディスプレイと、
    前記ユーザにより操作され作動される位置セレクタと、
    2またはそれ以上のデータアイテムの基準セットを選択する基準セットセレクタと、
    前記基準データアイテムの各々の記述子座標を取得する基準セット座標取得部と、
    前記記述子スペース内で前記基準セットの1またはそれ以上の要素に近いかこれらの要素間のデータアイテムのセットを検索結果として特定する検索結果特定部と、
    前記ディスプレイ上に前記検索結果セットを表示する検索結果ディスプレイコントローラであって、ディスプレイ上で特定のデータアイテム間の近接度が前記記述子スペースの近接度を概略示す検索結果ディスプレイコントローラとを具え、
    前記ディスプレイ上に前記基準セットとともに前記検索結果のセットが表示されるとともに、前記検索結果特定部は、各基準データアイテムの重みを、前記データアイテムの位置と前記検索結果データアイテム位置とのディスプレイ上の相対距離の相関(function)として算出し、
    前記重みを用いて、前記基準セットに対応する前記記述子の加重平均として前記記述子スペース内の目標位置を算出し、
    前記検索セットデータアイテムを、前記データベース内で前記目標位置に最も近いデータアイテムとして特定することを特徴とするシステム。
  15. 操作および作動のための位置セレクタを具え、ディスプレイを見ているユーザが記述子スペース内のデータアイテムをデータベースからインタラクティブに検索するためのデータベース検索コントローラであって、
    2またはそれ以上のデータアイテムの基準セットを選択する基準セットセレクタと、
    前記基準データアイテムの各々の記述子座標を取得する基準セット座標取得部と、
    前記記述子スペース内で前記基準セットの1またはそれ以上の要素に近いかこれらの要素間のデータアイテムのセットを検索結果として特定する検索結果特定部と、
    前記ディスプレイ上に前記検索結果セットを表示する検索結果ディスプレイコントローラであって、ディスプレイ上で特定のデータアイテム間の近接度が前記記述子スペースの近接度を概略示す検索結果ディスプレイコントローラとを具え、
    前記ディスプレイ上に前記基準セットとともに前記検索結果のセットが表示されるとともに、前記検索結果特定部は、各基準データアイテムの重みを、前記データアイテムの位置と前記検索結果データアイテム位置とのディスプレイ上の相対距離の相関(function)として算出し、
    前記重みを用いて、前記基準セットに対応する前記記述子の加重平均として前記記述子スペース内の目標位置を算出し、
    前記検索セットデータアイテムを、前記データベース内で前記目標位置に最も近いデータアイテムとして特定することを特徴とするコントローラ
  16. 前記基準セットセレクタ、前記基準セットディスプレイコントローラ、前記基準セット座標取得部、前記検索結果特定部、および前記検索結果ディスプレイコントローラのいずれか1以上が、メモリ内に保存されたプロセッサ実行コードにより少なくとも部分的に実現されていることを特徴とする請求項14または15に記載のデータベース検索システムまたはデータベース検索コントローラ。
  17. コンピュータにより実行されたときに、前記コンピュータに、請求項1乃至13のいずれかの検索方法を実行させることを特徴とするコンピュータプログラム
  18. 請求項17のコンピュータプログラムを含むコンピュータ可読記録媒体。
JP2012524051A 2009-08-11 2010-08-10 データベース検索方法、システムおよびコントローラ Active JP5647246B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2009903736A AU2009903736A0 (en) 2009-08-11 Method, system and controller for searching a database
AU2009903736 2009-08-11
PCT/AU2010/001014 WO2011017746A1 (en) 2009-08-11 2010-08-10 Method, system and controller for searching a database

Publications (2)

Publication Number Publication Date
JP2013501979A JP2013501979A (ja) 2013-01-17
JP5647246B2 true JP5647246B2 (ja) 2014-12-24

Family

ID=43585764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012524051A Active JP5647246B2 (ja) 2009-08-11 2010-08-10 データベース検索方法、システムおよびコントローラ

Country Status (5)

Country Link
US (1) US8775417B2 (ja)
EP (1) EP2465056B1 (ja)
JP (1) JP5647246B2 (ja)
AU (1) AU2010282211B2 (ja)
WO (1) WO2011017746A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525789B2 (en) * 2013-03-15 2016-12-20 Dropbox, Inc. Shuffle algorithm and navigation
US11055361B2 (en) * 2019-01-07 2021-07-06 Microsoft Technology Licensing, Llc Extensible framework for executable annotations in electronic content
US11416910B1 (en) * 2020-09-28 2022-08-16 Amazon Technologies, Inc. Visual blending of content

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3361124B2 (ja) * 1991-07-30 2003-01-07 ゼロックス・コーポレーション テキストを含む2次元画像上での画像処理方法と画像処理装置
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5983237A (en) * 1996-03-29 1999-11-09 Virage, Inc. Visual dictionary
AUPO523397A0 (en) * 1997-02-20 1997-04-11 Canon Kabushiki Kaisha A method of positioning display images
US6035323A (en) * 1997-10-24 2000-03-07 Pictra, Inc. Methods and apparatuses for distributing a collection of digital media over a network with automatic generation of presentable media
EP1025517A1 (en) * 1997-10-27 2000-08-09 Massachusetts Institute Of Technology Image search and retrieval system
US6240423B1 (en) * 1998-04-22 2001-05-29 Nec Usa Inc. Method and system for image querying using region based and boundary based image matching
US6415282B1 (en) * 1998-04-22 2002-07-02 Nec Usa, Inc. Method and apparatus for query refinement
JP3978962B2 (ja) * 2000-01-13 2007-09-19 オムロン株式会社 情報検索方法および情報検索装置
US6121963A (en) * 2000-01-26 2000-09-19 Vrmetropolis.Com, Inc. Virtual theater
SE520533C2 (sv) * 2001-03-13 2003-07-22 Picsearch Ab Metod, datorprogram och system för indexering av digitaliserade enheter
US6964025B2 (en) * 2001-03-20 2005-11-08 Microsoft Corporation Auto thumbnail gallery
US20030039410A1 (en) * 2001-08-23 2003-02-27 Beeman Edward S. System and method for facilitating image retrieval
EP1302865A1 (en) * 2001-10-10 2003-04-16 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for searching for and retrieving colour images
JP2003150635A (ja) * 2001-11-08 2003-05-23 Yamaha Motor Co Ltd 検索装置、画像検索装置、音声検索装置、語句検索装置及び検索プログラム、並びに検索方法
US7353224B2 (en) 2001-12-04 2008-04-01 Hewlett-Packard Development Company, L.P. System and method for efficiently finding near-similar images in massive databases
US7236632B2 (en) * 2003-04-11 2007-06-26 Ricoh Company, Ltd. Automated techniques for comparing contents of images
US20040250205A1 (en) * 2003-05-23 2004-12-09 Conning James K. On-line photo album with customizable pages
US7523109B2 (en) * 2003-12-24 2009-04-21 Microsoft Corporation Dynamic grouping of content including captive data
US7788258B1 (en) * 2004-06-21 2010-08-31 Google Inc. Automatic determination of whether a document includes an image gallery
US20070033632A1 (en) 2005-07-19 2007-02-08 March Networks Corporation Temporal data previewing system
EP1755067A1 (en) * 2005-08-15 2007-02-21 Mitsubishi Electric Information Technology Centre Europe B.V. Mutual-rank similarity-space for navigating, visualising and clustering in image databases
GB0524572D0 (en) * 2005-12-01 2006-01-11 Univ London Information retrieval
JP2008192055A (ja) * 2007-02-07 2008-08-21 Fujifilm Corp コンテンツ検索方法、およびコンテンツ検索装置
US20130215116A1 (en) * 2008-03-21 2013-08-22 Dressbot, Inc. System and Method for Collaborative Shopping, Business and Entertainment
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing

Also Published As

Publication number Publication date
AU2010282211A1 (en) 2012-03-15
WO2011017746A1 (en) 2011-02-17
EP2465056B1 (en) 2019-07-31
US20120143857A1 (en) 2012-06-07
US8775417B2 (en) 2014-07-08
JP2013501979A (ja) 2013-01-17
EP2465056A1 (en) 2012-06-20
AU2010282211B2 (en) 2016-09-08
EP2465056A4 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
JP6069419B2 (ja) データベース検索方法、システムおよびコントローラ
US7925993B2 (en) Method and system for aggregating and presenting user highlighting of content
AU2011214895B2 (en) Method and system for display of objects in 3D
Yang et al. Semantic image browser: Bridging information visualization with automated intelligent image analysis
US20090064029A1 (en) Methods of Creating and Displaying Images in a Dynamic Mosaic
US6804420B2 (en) Information retrieving system and method
JP5212610B2 (ja) 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム
CN101263514A (zh) 在图像数据库中进行导航、可视化和聚类的互序次相似度空间
CN101556611B (zh) 一种基于视觉特征的图片搜索方法
Patil Content based image retrieval using color, texture & shape
JP7431563B2 (ja) 画像検索装置、画像検索方法、及びプログラム
JP5647246B2 (ja) データベース検索方法、システムおよびコントローラ
JP2005525606A (ja) 階層的な画像特徴ベースの視覚化方法
Kleiman et al. Dynamic maps for exploring and browsing shapes
van den Broek et al. Human-centered content-based image retrieval
Low et al. Exploring large movie collections: Comparing visual berrypicking and traditional browsing
Pflüger et al. Sifting through visual arts collections
US20100169809A1 (en) Method And System For Managing Visually Related Multimedia Information By Means Of Dimensional Classification
US9195755B1 (en) Relevancy radar
JP2004234612A (ja) 画像記述システムおよび方法
Orton et al. Personalized content based image retrieval
JP2014071701A (ja) 献立推薦装置、献立推薦方法、プログラム、および、献立推薦システム
KR20110098452A (ko) 코딩 프리 방식의 블로그 생성 및 관리 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140527

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141106

R150 Certificate of patent or registration of utility model

Ref document number: 5647246

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250