JP4014390B2 - マルチメディアオブジェクト検索システム - Google Patents
マルチメディアオブジェクト検索システム Download PDFInfo
- Publication number
- JP4014390B2 JP4014390B2 JP2001331347A JP2001331347A JP4014390B2 JP 4014390 B2 JP4014390 B2 JP 4014390B2 JP 2001331347 A JP2001331347 A JP 2001331347A JP 2001331347 A JP2001331347 A JP 2001331347A JP 4014390 B2 JP4014390 B2 JP 4014390B2
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- search
- building material
- similar
- rank
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、マルチメディアオブジェクト検索システムに係り、特に、マルチメディアオブジェクトの特徴量から類似なマルチメディアオブジェクトを検索するマルチメディアオブジェクト検索システムに関する。
【０００２】
【従来の技術】
近年、デジタルデータとしての静止画や動画、音声、音楽といったマルチメディアオブジェクトデータが様々な場面で利用されている。
【０００３】
例えば、三次元オブジェクトを表現するデータに関しても、従来からのＣＡＤデータに加え、商品の三次元オブジェクトデータ、また、考古学的遺産、美術・芸術品の三次元オブジェクトデータ化のよるデジタルアーカイブ等、盛んに利用されている。
【０００４】
また、多数のデジタル画像データやデジタル音楽データがインターネットを介してやりとりされている。
【０００５】
これらのデータは増大する一方であり、データの効率的な管理や、利用者の要求するデータを効率よく検索する要求が高まっている。
【０００６】
このような要求に答えるべく、様々な技術が提案されており、類似オブジェクトの検索技術に関しても、マルチメディアオブジェクトの持つ特徴を数値で表現される特徴量として算出し、これらの特徴量で構成される多次元ベクトルを利用した検索方法が数多く提案されている。
【０００７】
特徴量による類似オブジェクト検索では、使用者が検索結果として希望するオブジェクトを指定し、このオブジェクトの特徴量とデータベースに登録されたオブジェクトの特徴量とを比較することにより、類似なオブジェクトを検索することができる。
【０００８】
この際、各特徴量の重要性を表現する重み係数を設定することが、一般的に行われている。
【０００９】
すなわち、使用者の意図や嗜好を反映するように、重み係数を適切に設定することによって、例えば、色は異なるが、形状が類似なオブジェクトを検索することができる。
【００１０】
この重み係数を適切に設定することによって、効率的な検索を行う方法が提案されている。
【００１１】
例えば、特開平７−２１１９８号公報には、必要とする画像に類似した画像と、類似していない画像とを各々、複数指定することにより、類似度算出の際に各特徴量の重み係数を調整可能とした画像検索方法が開示されている。
【００１２】
また、特開平９−１０１９７０号公報には、希望画像に類似する画像と、類似しない画像とを各々、複数指定することにより、類似度算出の際に各特徴量の重み係数を調整可能とした画像検索方法および画像検索装置が開示されている。
【００１３】
さらに、この画像検索方法および画像検索装置では、類似画像検索の結果として表示された画像の中から、再度、希望画像に類似する画像と、類似しない画像とを各々、複数指定することができる。
【００１４】
このように、類似画像検索の結果を新たな入力とする操作を繰り返すことにより、より適切な重み係数になるように調整することが可能になる。
【００１５】
また、特開平１０−１５４１４９号公報には、出力されたサンプルオブジェクト群から利用者が指定した参照オブジェクトに類似していると思われるものを追加する手段を有し、より適切な重み係数になるように調整可能な類似オブジェクト検索方法および装置が開示されている。
【００１６】
【発明が解決しようとする課題】
上述したような従来の方法では、対象となるオブジェクトを希望するオブジェクトに類似しているか否かという２種類のみに分類する必要がある。
【００１７】
しかし、多くのオブジェクトは希望するオブジェクトに類似している部分もあれば、類似していない部分もあるという存在であるために、類似している、もしくは類似していないと明確に分類することは困難である。
【００１８】
例えば、上記特開平７−２１１９８号公報による「画像検索方法」では、予め提示されている画像を、必要とする画像に類似している画像または類似していない画像として指定することができる。
【００１９】
しかし、よほど希望する画像に似ている、もしくは似ていない限り、単独の画像毎に必要とする画像に似ているか否かを判断することは容易ではない。
【００２０】
また、上記特開平９−１０１９７０号公報による「画像検索方法および画像検索装置」、上記特開平１０−１５４１４９号公報による「類似オブジェクト検索方法および装置」においても、画像もしくはオブジェクトが希望するものに類似しているか否かを判断する過程において、全く同様な困難さが存在する。
【００２１】
一方、例えば、２つのオブジェクトを比較して、どちらが希望するものに類似かという観点で判断することは、それほど困難ではない。
【００２２】
これは、単独のオブジェクトの絶対的な類似度を判断するのではなく、２つのオブジェクトの相対的な類似度のみを判断すればよいからである。
【００２３】
本発明は、この点に着目し、検索結果として順位付けされたオブジェクトの類似度順位を相対的に変更することにより、使用者の意図を重み係数へと変換し、希望するオブジェクト群を効率良く検索することが可能なマルチメディアオブジェクト検索システムを提供することを目的とする。
【００２４】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
（１） マルチメディアオブジェクトを入力またはデータベースに予め蓄積されたマルチメディアオブジェクトを指定する入力／指定手段と、
上記入力／指定手段によって入力または指定されたマルチメディアオブジェクトの特徴量を演算する特徴量演算手段と、
上記特徴量演算手段によって演算されたマルチメディアオブジェクトの特徴量重み係数を演算する重み係数演算手段と、
上記特徴量演算手段によって演算された特徴量および上記重み係数演算手段によって演算された特徴量重み係数を用いて上記データベースに予め蓄積されたマルチメディアオブジェクトの類似度検索を行う類似度検索手段と、
上記類似度検索手段による類似度検索の結果に基づき上記入力／指定手段によって指定されたマルチメディアオブジェクトと類似するオブジェクトを類似度順位の決定結果に対応して表示する表示手段と、
上記表示手段によって表示されたマルチメディアオブジェクトの類似度順位をドラッグアンドドロップ動作によって変更する類似度順位変更手段と、
上記類似度順位変更手段によって変更された類似度順位に基づき上記ドラッグアンドドロップ動作によって類似度順位を変更したオブジェクト及び当該オブジェクトの類似度順位より類似度が一つ低い位置と類似度が一つ高い位置に存在するオブジェクトの３つのオブジェクトのみに対して特徴量を求め、この求めた演算結果からそれぞれの類似度に関する拘束条件を定義し、さらにこの定義に基づき上記マルチメディアオブジェクトの特徴量重み係数の再計算を行い、この特徴量重み係数を用いて類似度の再計算を行う類似度計算手段と、
を有することを特徴とするマルチメディアオブジェクト検索システムが提供される。
【００２５】
（対応する発明の実施の形態）
この発明に関する実施の形態は、後述する第１の実施の形態が対応する。
【００２７】
そして、上記構成要素中の類似度再計算手段は、この第１の実施の形態では図１の検索部９が該当するが、図１の演算部１とは別にネットワーク上に分散した機能として存在している場合を含む。具体的な特徴量重み係数の再計算のための計算手法は、この実施の形態で述べた最適化手法に限定されるものではなく、一般によく知られた他の計算手法も含む。
【００２８】
また、具体的な計算手法は、この実施の形態の式（１）で述べる類似度定義に限定されるものではなく、特徴量から計算される距離を対数化したものやマハラノビス距離を用いるものも含む。
【００２９】
また、上記構成要素中のマルチメディアオブジェクトは、広くデジタルデータ全般を指し、デジタルデータとしての静止画や動画、音声、音楽を含むものである。
【００３０】
ここで、動画は、ビデオ映像のみならず、画像データとアニメーションデータとの複合データをも含む。
【００３１】
また、ＣＡＤデータ等の２次元および３次元データや、シルエット法やスリット法等の一般に良く知られた手法で計測することにより生成される距離画像や３次元データをも含む。
【００３２】
また、アナログデータをデジタルデータに変換した形態のものも含む。
【００３３】
また、上記各種のデータを複数組み合わせた複合データも含む。
【００３４】
（作用）
本発明では、検索結果として出力された任意のオブジェクトの類似度順位を変更することにより、特徴量の重み係数を再計算し、類似度を再計算する。
【００３５】
あるオブジェクトが希望するオブジェクトに類似か否かを判断するためには、どの程度の差異までを類似と許容するかについて判断しなければならないので、この境界を使用者が明確に認識することが困難である。
【００３６】
本発明では、使用者はオブジェクトの相対的な順位のみに着目して、該類似度順位を変更できるので、あるオブジェクトが希望するオブジェクトに類似であるか否かを容易に判断することができる。
【００３７】
本発明では、使用者が行った類似度順位変更操作の結果から、自動的に特徴量の重み係数を再計算し、類似度を再計算するので、類似度順位変更操作の意図を反映した新しい検索結果を提示することができる。
【００３８】
この際、局所的な操作である類似度順位変更操作によって特徴量の重み係数を変更しているので、該操作による類似度判断を全オブジェクトに適応することができる。
【００３９】
この結果、使用者は局所的な操作であるにもかかわらず、同様の傾向を持つ全オブジェクトの類似度順位を変更したことと同様の結果を得ることができるため、希望するオブジェクト群を効率良く得られる。
【００８１】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【００８２】
（第１の実施の形態）
図１は、この発明によるマルチメディアオブジェクト検索方法およびシステムの第１の実施の形態が適用される構成を示すブロック図である。
【００８３】
すなわち、図１において、演算装置１は、ＣＲＴ、ＬＣＤディスプレイ、３次元表示装置等のオブジェクトデータ表示装置２およびキーボード、マウス、タブレット等のデータ入力、または操作入力を行う入力装置３に接続されている。
【００８４】
ここで、演算装置１の内部は、以下のように構成されている。
【００８５】
オブジェクト指定部４は、特徴量決定部５に接続されている。
【００８６】
特徴量決定部５は、重み係数決定部７に接続されている。
【００８７】
また、特徴量決定部５は、特徴量データベース８にネットワークを介して接続されている。
【００８８】
重み係数決定部７は、検索部９に接続されている。
【００８９】
検索部９は、特徴量データベース８および原オブジェクトデータベース１０にネットワークを介して接続されている。
【００９０】
また、検索部９は、類似度順位変更部６に接続されている。
【００９１】
類似度順位変更部６は、重み係数決定部７に接続されている。
【００９２】
原オブジェクトデータベース１０には、マルチメディアオブジェクトとして、例えば、椅子、テーブル、等のインテリア用品の３次元形状のデータが登録されている。
【００９３】
特徴量データベース８には、原オブジェクトデータベース１０に登録されているマルチメディアオブジェクトの特徴量が登録されている。
【００９４】
ここで、特徴量としては、３次元オブジェクトのテクスチャに対して算出できるＲＧＢ、ＨＳＶ、Ｌａｂ等の各色情報毎の値を量子化したヒストグラム、エッジ微分を量子化した形状ヒストグラム、３次元オブジェクトの体積や表面積等が用いられる。
【００９５】
これらの特徴量は、様々な部位に沿って取り出して、それぞれ別々の特徴量としてもよい。
【００９６】
図２および図３は、オブジェクトデータ表示装置２に表示される表示例を示している。
【００９７】
通常、オブジェクトデータ表示装置２の画面上には原オブジェクトデータベース１０に登録されているオブジェクトを表示するウィンドウや、検索結果として希望するオブジェクトを指定するウィンドウが表示されている。
図２には、この希望するオブジェクトを指定するでの指定結果に基づいて検索を行い、その検索結果を表示するウィンドウ１１が示されている。
また、図３には、ウィンドウ１１に表示された検索結果に対して類似度順位を変更した後、再度類似度の計算をした結果（再検索結果）を表示したウィンドウ１２が示されている。
【００９８】
次に、この発明の第１の実施の形態の作用について説明する。
【００９９】
図４は、この発明の第１の実施の形態の作用を説明するための操作の手順を示すフローチャートである。
【０１００】
まず、ステップＳ１０１では、使用者が検索結果として希望するオブジェクトを指定する。
【０１０１】
このステップＳ１０１は、図１のオブジェクト指定部４にて処理される。
【０１０２】
オブジェクトの指定は、原オブジェクトデータベース１０に登録されているオブジェクトを指定することや、本装置で取り扱い可能なオブジェクトを、アプリケーションのオープンメニューから選択することにより行うことができる。
【０１０３】
次に、ステップＳ１０２では、先のステップＳ１０１で指定されたオブジェクトから、これらを代表するオブジェクト特徴量を決定する。
【０１０４】
このステップＳ１０２は、図１の特徴量決定部５にて処理される。
【０１０５】
この場合、ステップＳ１０１で指定されたオブジェクトのうち、特徴量データベース８上に特徴量が存在するものについては、特徴量データベース８から特徴量を読み込む。
【０１０６】
また、ステップＳ１０１で指定されたオブジェクトのうち、特徴量データベース８上に特徴量が存在しないものについては、特徴量を算出する。
【０１０７】
この特徴量算出の形態は、特徴量データベース８を構築する際の演算と共通である。
【０１０８】
ステップＳ１０１で指定されたオブジェクトを代表する特徴量は、指定された各オブジェクトの特徴量の平均値とする。
【０１０９】
次に、ステップＳ１０３では、先のステップＳ１０２にて決定されたオブジェクトの各特徴量に対して重み係数を決定する。
【０１１０】
このステップＳ１０３は、図１の重み係数決定部７にて処理される。
【０１１１】
図５は、ステップＳ１０３での処理の詳細を示すフローチャートである。
【０１１２】
まず、ステップＳ２０１では、類似度順位を変更したオブジェクトが存在しているか否かを判断する。
【０１１３】
ここで、類似度順位を変更したオブジェクトが存在していない場合には、まだ一度も検索を実行していない状態に対応する。
【０１１４】
この場合、ステップＳ２０２で、重み係数が初期値に設定される。
【０１１５】
なお、本実施の形態では、重み係数の初期値を全ての特徴量に対して１．０としている。
【０１１６】
本実施の形態では、後述する式（１）に示すように、オブジェクトｋの類似特徴量の各成分Ｆｉと重み係数の各成分Ｗｉとの積の二乗和を類似度Ｓｋとして採用していることにより、類似度Ｓｋが小さいほど、類似度順位が高くなる。
【０１１７】
なお、類似特徴量とは、特徴量データベース８に登録されている特徴量と、先のステップＳ１０２にて決定された希望するオブジェクトを代表するオブジェクトの特徴量との差分である。
【０１１８】
すなわち、類似度Ｓｋは
Ｓｋ＝（Ｆ０Ｗ０）＾２＋（Ｆ１Ｗ１）＾２＋
…＋（ＦｎＷｎ）＾２ …（１）
として表される。
【０１１９】
この式（１）は、オブジェクトｋの類似特徴量の各成分Ｆｉを二乗した値からなるベクトルＦＳと、重み係数の各成分Ｗｉを二乗した値からなるベクトルＷＳとの内積として解釈することが可能である。
【０１２０】
本実施の形態では、前記ベクトルＦＳと、ベクトルＷＳとによる最適化を行い、類似度順位変更操作による使用者の意図を反映した重み係数を算出する。
【０１２１】
ステップＳ２０３では、現在設定されてい重み係数るｗ０，ｗ１，…，ｗｎを取得し、最適化計算のためのパラメータである基準重みベクトルＷＳＴを式（２）に示すように設定する。
【０１２２】
ＷＳＴ＝（ｗ０＾２，ｗ１＾２，…，ｗｎ＾２） …（２）
次に、ステップＳ２０４では、式（３），（４）に示す最適化計算を行う上での基本的な拘束条件を生成する。
【０１２３】
本実施の形態では、類似特徴量の各成分を二乗した値からなるベクトルＦＳと重み係数の各成分を二乗した値からなるベクトルＷＳと基準重みベクトルＷＳＴとから最適化計算を行い、最適な重み係数と関連付けられた最適重みベクトルＷＳＯを算出する。
【０１２４】
しかるに、これらのベクトルの成分が二乗された値であることからも明かなように、式（３）に示すように、最適重みベクトルＷＳＯの各要素は正でなければならない。
【０１２５】
ＷＳＯｉ＞＝０．０（ｉ＝０，１，…，ｎ） …（３）
また、重み係数の値の上限値を１．０としているので、式（４）に示すように、最適重みベクトルＷＳＯの各要素は１．０以下でなければならない。
【０１２６】
ＷＳＯｉ＜＝１．０（ｉ＝０，１，…，ｎ） …（４）
なお、最適な重み係数ＷＯｉと最適重みベクトルＷＳＯの関係は、式５に示すようになっている。
【０１２７】
ＷＳＯ＝（ＷＯ１＾２，ＷＯ２＾２，…，ＷＯｎ＾２） …（５）
次に、ステップＳ２０５では、類似度順位を変更したオブジェクトの類似特徴量の各要素を二乗した類似特徴ベクトルＦＳｂｊと該オブジェクトのよりも一つ類似度順位が高い位置に存在するオブジェクトの類似特徴量の各要素を二乗した類似特徴ベクトルＦＳａｊとから、式６に示す拘束条件を生成する。
【０１２８】
ＷＳＯ・ＦＳａｊ＜ＷＳＯ・ＦＳｂｊ …（６）
次に、ステップＳ２０６では、先のステップＳ２０５と同様に、類似度順位を変更したオブジェクトの類似特徴量の各要素を二乗した類似特徴ベクトルＦＳｂｊと該オブジェクトのよりも一つ類似度順位が低い位置に存在するオブジェクトの類似特徴量の各要素を二乗した類似特徴ベクトルＦＳｃｊとから、式７に示す拘束条件を生成する。
【０１２９】
ＷＳＯ・ＦＳｂｊ＜ＷＳＯ・ＦＳｃｊ …（７）
次に、ステップＳ２０７では、類似度順位を変更したオブジェクトが他に存在するか否かを判断する。
【０１３０】
ここで、まだ、類似度順位を変更したオブジェクトが存在する場合には、先のステップＳ２０５およびステップＳ２０６の処理に戻り、式（６）および式（７）に示す拘束条件を生成する。
【０１３１】
この繰り返しにより、式（６）および式（７）に示す拘束条件は、各々類似度順位を変更したオブジェクトの数だけ生成されることになる。
【０１３２】
また、類似度順位を変更したオブジェクトが存在しない場合には、ステップＳ２０８にて重み係数の算出を行う。
【０１３３】
次に、ステップＳ２０８では式（３），（４），（６），（７）が拘束条件であり、例えば、式（８）を評価関数とする最小値問題として後述するような最適化計算が行われることにより、最適重みベクトルＷＳＯが算出される。
ｆ（ＷＳＯ）＝−ＷＳＯ・ＷＳＴ／（｜ＷＳＯ｜｜ＷＳＴ｜） …（８）
【０１３４】
そして、算出した最適重みベクトルＷＳＯと式（５）から、最適な重み係数ＷＯｉを算出する。
【０１３５】
具体的な最適化計算の手法として、本実施の形態で設定した制約条件付き非線型計画最小値問題の解法として一般によく知られている罰金法の代表的な手法であるＳＵＭＴ法（無制約逐次最小化技術法）を用いることにより、拘束条件付き非線型計画最小値問題を制約条件無し非線型計画最小値問題へと変換する。
【０１３６】
なお、最小点の算出には、共役勾配法が用いられ、共役勾配法における１次の非線型計画最小値問題には黄金分割法が用いられる。
【０１３７】
次に、図４に戻って、ステップＳ１０４では、先のステップＳ１０２で決定した特徴量と、先のステップＳ１０３で決定した重み係数および特徴量データベース８に登録されている全オブジェクトの特徴量とを用いて類似検索を行う。
【０１３８】
具体的な類似検索の方法としては、ステップＳ２０７の作用の中で説明した式（１）を計算し、オブジェクトｋの類似度を表現する式（１）の値Ｓｋが小さい順にソートすることにより、類似度順位を決定する。
【０１３９】
次に、ステップＳ１０５では、先のステップＳ１０４で行った類似検索の結果をオブジェクトデータの表示装置２上に表示する。
【０１４０】
次に、ステップＳ１０６では、使用者がオブジェクトの類似度順位をドラッグ＆ドロップにより変更する。
【０１４１】
例えば、使用者は、図２の検索結果画面１１に示すような座面が丸い椅子２０を、別の座面が丸い椅子２１と座面が四角い椅子２２との間にドラッグ＆ドロップすることができる。
【０１４２】
このようにして、使用者の意図する類似度順位になるように、複数回操作を繰り返すことができる。
【０１４３】
全操作が終了した後、メニューから”重み係数再計算”を選択することにより、ステップＳ１０３へと処理が続く。
【０１４４】
ステップＳ１０６で行った類似度順位変更の内容は、ステップＳ１０３で最適な重み係数を算出するための条件となる。
【０１４５】
そして、先のステップＳ１０３で最適な重み係数を再計算した結果を用いて、先のステップＳ１０４にて類似検索を再度行った結果を表示したウィンドウを図３の１２に示す。
【０１４６】
図３に示す検索結果画面１２では、座面が丸い椅子２０の類似度を変更した結果、同様の特徴を持つ椅子２３、２４が座面が四角い椅子２２よりも上位になっている。
【０１４７】
次に、この発明の実施の形態の効果について説明する。
【０１４８】
ステップＳ１０６で行う類似度順位変更操作は、類似度順位を変更するよう指定したオブジェクトと、類似度順位変更先に位置するオブジェクトとの相対的な類似度のみに注目して行うことができる。
【０１４９】
ところで、希望するオブジェクトに似ているか否かという基準で判断する場合、どこまでを似ているという評価と、似ていないという評価との境界に位置するオブジェクトを使用者自身で認識することが困難である。
【０１５０】
しかるに、本実施の形態のように、あるオブジェクトとまた別のオブジェクトとの相対的な類似性を判断することは容易である。
【０１５１】
この結果、使用者は、容易に自分の意図した類似度順位変更操作を行うことができ、効率良く希望するオブジェクトに類似なオブジェクト群を検索することができる。
【０１５２】
そして、ステップＳ１０３で行う重み係数決定処理では、ステップＳ１０６で使用者により局所的に行われた類似度順位変更操作から全体の重み係数を最適化計算により決定する。
【０１５３】
この結果、例えば、使用者が、図２の検索結果画面１１に示す座面が丸い椅子２０を別の座面が丸い椅子２１と座面が四角い椅子２２との間に類似度順位を変更した場合、図３の検索結果画面１２に示すように、座面が丸い椅子２０と同様の特徴を持つ椅子２３、２４が、座面が四角い椅子２２よりも類似度順位が上位になる。
【０１５４】
このように、一部のオブジェクトの類似度を変更し、重み係数を最適化計算により再決定することにより、該オブジェクトと同様の特徴を持つオブジェクトの類似度も同様に類似度順位が変更される。
【０１５５】
この結果、使用者は、ある一部のオブジェクトの類似度順位を変更する操作によって、自分の意図を容易に全体へ反映させることが可能となり、効率良く、効率良く希望するオブジェクトに類似なオブジェクト群を検索することができるようになる。
【０１５６】
なお、特徴量データベース８および原オブジェクトデータベース１０は、ネットワークを介した接続に限定されるものでなく、演算装置１の内部に含まれていても良い。
【０１５７】
また、演算装置１の内部の構成については、ネットワーク上に分散した形態であっても良い。
【０１５８】
さらに、特徴量データベース８に登録されている特徴量データは、正規化されている形態に限定されるものではなく、特徴量決定時もしくは類似検索実行時に動的に正規化される形態であっても良い。
【０１５９】
また、ステップＳ１０３の重み係数決定処理で行う最適化計算は、本実施の形態で述べた手法に限定されるものではなく、一般によく知られた他の最適化計算の手法であっても良い。
【０１６０】
また、ステップＳ１０６での類似度順位変更操作は、複数回の操作を行った後に重み係数再計算を指示する形態ではなく、類似度順位変更操作が行われる度に自動的に重み係数を再計算し、類似検索を行う形態であっても良い。
【０１６１】
本実施の形態が対象とするマルチメディアオブジェクトは、３次元オブジェクトに限定されるものではなく、例えば、動画であっても良い。
【０１６２】
動画を時間方向の各レイヤとして積層化することにより、３次元ボリュームデータと同等の情報となる。
【０１６３】
また、音楽データであっても良く、音楽データをフーリェ変換することにより、周波数領域での特徴量が得られる。
【０１６４】
また、時間領域での振幅の変化等も特徴量となる。
【０１６５】
また、グラフィックスイコライザーのように音楽データを可視化するツールで生成した画像または映像から特徴量を算出することもできる。
【０１６６】
（第２の実施の形態）
この発明によるマルチメディアオブジェクト検索方法および装置の第２の実施の形態は、家を建築する場合やリフォームする場合等に利用できる建材検索システムに適用される場合である。
【０１６７】
すなわち、この第２の実施の形態は、建材検索システムとしてドアや窓枠等、様々な建材を選択する際に、類似な建材を検索することが可能である。
【０１６８】
図６は、この発明によるマルチメディアオブジェクト検索方法および装置の第２の実施の形態が適用される構成を示すブロック図である。
【０１６９】
この第２の実施の形態では、図６に示すように、使用者が直接操作するＷｅｂブラウザ３０１が設けられており、このＷｅｂブラウザ３０１は、ＡＤＳＬ回線によりインターネット３００に接続されている。
【０１７０】
このＷｅｂブラウザ３０１の接続先には、Ｗｅｂサーバ３０２が存在する。
【０１７１】
このＷｅｂサーバ３０２は、Ｗｅｂアプリケーションとして動作する類似建材検索システム３０３に接続されている。
【０１７２】
そして、この類似建材検索システム３０３は、建材データベース３０４に接続されている。
【０１７３】
この類似建材検索システム３０３は、Ｊａｖａ２ＥＥ等の分散ネットワーク技術により、１台もしくは複数台のハードウェアから構成されている。
【０１７４】
前記建材データベース３０４には、ドア、窓枠、壁紙等の家の構成要素となる建材のメーカー名、型番、価格等の情報および建材の画像データと３次元データ、該３次元データおよび建材の画像データから算出した各種の特徴量データとが格納されている。
【０１７５】
ここで、特徴量としては、３次元オブジェクトのテクスチャに対して算出できるＲＧＢ、ＨＳＶ、Ｌａｂ等の各色情報毎の値を量子化したヒストグラム、エッジ微分を量子化した形状ヒストグラム、３次元オブジェクトの体積や表面積等が用いられる。
【０１７６】
これらの特徴量は、さまざまな部位に渡つて取り出して、それぞれ別々の特徴量としてもよい。
【０１７７】
なお、建材データベース３０４に登録されている特徴量は、各特徴量のスケールに応じて正規化されている。
【０１７８】
前記Ｗｅｂブラウザ３０１には、希望する建材を指定するためのユーザーインターフェースを実現するオブジェクト指定部３０５が含まれている。
【０１７９】
このオブジェクト指定部３０５は、Ｗｅｂブラウザ３０１およびＷｅｂサーバ３０２を介して、類似建材検索システム３０３に含まれる検索部３０７に接続されている。
【０１８０】
この検索部３０７は、Ｗｅｂサーバ３０２およびＷｅｂブラウザ３０１を介して、Ｗｅｂブラウザ３０１において検索結果としての建材を表示し、類似度順位を変更するためのインターフェースを実現する類似度順位変更部３０８に接続されている。
【０１８１】
また、この検索部３０７は、建材データベース３０４に接続されている。
【０１８２】
前記類似度順位変更部３０８は、Ｗｅｂブラウザ３０１およびＷｅｂサーバ３０２を介して類似建材検索システム３０３に含まれる重み係数決定部３０９に接続されている。
【０１８３】
この重み係数決定部３０９は、検索部３０７に接続されている。
【０１８４】
図７および図８は、Ｗｅｂブラウザ３０１の図示しないディスプレイに表示される表示例を示している。
【０１８５】
図７のＷｅｂブラウザ３０１のウィンドウ４０１は、図６のオブジェクト指定部３０５が機能している状態を示している。
【０１８６】
そして、Ｗｅｂブラウザ３０１のウィンドウ４０１には、建材のジャンルをツリー状に表示するカタログメニュー部４０２が含まれている。
【０１８７】
また、Ｗｅｂブラウザ３０１のウィンドウ４０１には、選択されたジャンルに属する建材を表示する建材表示部４０３が含まれている。
【０１８８】
また、Ｗｅｂブラウザ３０１のウィンドウ４０１には、使用者が選択した希望する建材と類似な建材の検索を開始するためのボタンと最大出力数を指定するフィールドから構成される検索指示部４０４が含まれている。
【０１８９】
図８のＷｅｂブラウザ３０１のウィンドウ５０１は、図６の類似度順位変更部３０８が機能している状態を示している。
【０１９０】
このＷｅｂブラウザ３０１のウィンドウ５０１には、建材のジャンルをツリー状に表示するカタログメニュー部５０２が含まれている。
【０１９１】
また、Ｗｅｂブラウザ３０１のウィンドウ５０１には、類似検索の結果を表示し、類似度順位変更のためのユーザーインターフェースを提供する建材表示部５０３が含まれている。
【０１９２】
また、Ｗｅｂブラウザ３０１のウィンドウ５０１には、類似度順位変更操作による重み係数最適化処理を開始するためのボタン５０４が含まれている。
【０１９３】
また、Ｗｅｂブラウザ３０１のウィンドウ５０１には、使用者が選択した希望する建材と類似な建材の検索を開始するためのボタンと最大出力数を指定するフィールドとから構成される検索指示部５０５が含まれている。
【０１９４】
次に、この発明による第２の実施の形態の作用を説明する。
【０１９５】
使用者は、まず、図７に示すウィンドウ４０１上で操作を行う。
【０１９６】
使用者は、ウィンドウ４０１のカタログメニュー部４０２にあるジャンル名をクリックすることにより、希望する建材のジャンルを選択する。
【０１９７】
このウンンドウ４０１の建材表示部４０３には、カタログメニュー部４０２で選択されたジャンルに含まれる建材が一覧表示される。
【０１９８】
図７のウィンドウ４０１は、カタログメニュー部４０２でドアが選択された状態を示している。
【０１９９】
使用者は、建材表示部４０３に表示された各建材の画像の下にあるチェックボックスをクリックすることにより、希望する建材を選択する。
【０２００】
使用者が、希望する建材に似た一つ、または複数の建材を選択した後、検索指示部４０４の検索開始ボタンをクリックすることにより、インターネット３００上に存在する類似建材検索システム３０３に対して、検索を開始する指示が送られる。
【０２０１】
使用者は、検索指示部４６４の最大出力数フィールドを操作することにより、検索結果の最大出力数を指定することができる。
【０２０２】
そして、検索部３０７は、オブジェクト指定部３０５が機能しているウィンドウ４０１から送られた希望建材ＩＤを受け取る。
【０２０３】
この検索部３０７は、受け取った希望建材ＩＤに基づき、建材データベース３０４から特徴量を読み込む。
【０２０４】
また、検索部３０７は、検索に必要な全建材の特徴量を建材データベース３０４から読み込む。
【０２０５】
そして、検索部３０７では、希望建材の特徴量と検索対象となっている全建材の特徴量とから類似検索を行う。
【０２０６】
図９は、検索部３０７における類似計算の手順を説明するために示すフローチャートである。
【０２０７】
まず、ステップＳ６０１では、希望建材のうちのーつに対する類似特徴量を算出する。
【０２０８】
ここで、類似特徴量とは、式（９）に示すように希望するオブジェクトｋの特徴量をベクトルで表現したＦＯｋと検索対象となっているオブジェクトｉの特徴量をベクトルで表現したＦＯｉとの差分Ｆｉｋである。
【０２０９】
Ｆｉｋ＝ＦＯｉ−ＦＯｋ …（９）
つまり、検索対象となっている全建材について、各建材の特徴量ベクトルから、希望する建材ｋの特徴量ベクトルを引いた類似特徴量ベクトルの集合を算出することになる。
【０２１０】
次に、ステップＳ６０２では、類似特徴量ベクトルに重み係数をかけ、各成分の二乗和を計算することにより式（１）に示す類似度を算出する。
【０２１１】
ここで、類似度とは、式（１０）に示すように、ステップＳ６０１で算出した希望するオブジェクトｋに対する検索対象オブジェクトｉの類似特徴量ベクトルＦｉｋと重み係数をベクトルで表現したＷとの内積Ｓｉｋである。
【０２１２】
なお、重み係数ベクトルＷの各成分の初期値は１．０となっている。
【０２１３】
Ｓｉｋ＝Ｆｉｋ・Ｗ …（１０）
次に、ステップＳ６０４では、類似度の算出に関して、未計算の希望建材が存在するか否かを判断している。
【０２１４】
ここで、未計算の希望建材が存在する場合には、再びステップＳ６０１に戻り、未計算の希望建材のうちの一つについて、類似度の算出を行う。
【０２１５】
この場合、希望建材のＩＤを表す添字はｋからｌへと進められ、希望建材ｌに対する検索対象オブジェクトｉの類似度Ｓｉｌが更に求められることになる。
【０２１６】
また、類似度の算出に関して、未計算の希望建材が存在しない場合には、ステップＳ６０３へと進む。
【０２１７】
ステップＳ６０３では、式（１１）に示すように、各々の希望建材について算出した類似度Ｓｉｋの和を計算することにより、検索対象オブジェクト毎の総合類似度Ｓｉを算出する。
【０２１８】
Ｓｉ＝Ｓｉｋ＋Ｓｉｌ＋…＋Ｓｉｚ …（１１）
なお、添字ｋ，ｌ，ｚは、各希望建材のＩＤを表わしている。
【０２１９】
そして、検索部３０７は、画像データおよび／または３次元データを含む各建材データを、算出した各検索対象建材の総合類似度Ｓｉに従ってソートし、検索結果データとして、類似度順位変更部３０８が機能する図８のウィンドウ５０１ヘ送信する。
【０２２０】
この類似度順位変更部３０８は、検索部３０７より送信された検索結果データに従って、図８に示すウィンドウ５０１に含まれる建材表示部５０３の内容を描画する。
【０２２１】
また、類似度順位変更部３０８は、カタログメニュー部５０２、最適化実行ボタン５０４および検索指示部５０５も描画し、ウィンドウ５０１を表示する。
【０２２２】
使用者は、建材表示部５０３に表示された建材を表す画像をドラッグ＆ドロップにより、移動させることができる。
【０２２３】
例えば、使用者が、類似度順位８の建材５０６を図８中の矢印５０７に従って類似度順位３の建材と類似度順位４の建材との間へドラッグ＆ドロップした場合、建材５０６が類似度順位４となり、類似度順位が４から７であった建材は、類似度順位が５から８へと変化する。
【０２２４】
このとき、類似度順位変更部３０８は、類似度順位変更建材として建材５０６のＩＤを記憶する。
【０２２５】
使用者は、自分の類似度順位評価に近い状態になるまで、上記操作を繰り返し行うことができる。
【０２２６】
そして、類似度順位変更部３０８は、繰り返し行われる各操作毎に類似度順位変更建材のＩＤを追加的に記憶する。
【０２２７】
なお、Ｗｅｂブラウザ３０１におけるドラッグ＆ドロップ等、上記ユーザーインターフェースの実現には、Ｆｌａｓｈ技術が用いられている。
【０２２８】
類似度順位変更操作終了後、使用者が最適化実行ボタン５０４をクリックすることにより、類似度順位変更部３０８は、類似度順位変更建材として記憶している建材のＩＤおよび各建材の類似度順位の前後に位置する建材のＩＤを、重み係数決定部３０９へ送信する。
【０２２９】
また、使用者は、建材表示部５０３に表示された各建材に対応するチェックボックスをチェックし、検索指示部５０５に含まれる検索開始ボタンをクリックすることにより、新規に検索を行うことができる。
【０２３０】
そして、重み係数決定部３０９では、図５に示したフローチャートに従って重み係数決定のための処理が行われる。
【０２３１】
各ステップの処理内容は、第１の実施の形態と同様である。
【０２３２】
すなわち、重み係数決定部３０９は、決定した最適な重み係数を検索部３０７へ送信する。
【０２３３】
この検索部３０７では、図９に示したフローチャートに従って類似検索が再び行われる。
【０２３４】
但し、検索部３０７では、類似度算出の際に用いる重み係数ベクトルＷとして、重み係数決定部３０９にて決定した最適な重み係数を用いて類似検索を行う。
【０２３５】
そして、検索部３０７は、最適な重み係数を用いて行った類似検索の結果データを、再び類似度順位変更部３０８へ送信する。
【０２３６】
使用者は、ウィンドウ５０１に表示された建材に対して、再び類似度順位変更操作を行うことができる。
【０２３７】
使用者は、上記操作を繰り返し、希望する建材に類似な建材を検索する。
【０２３８】
次に、この発明の第２の実施の形態の効果を説明する。
【０２３９】
類似度順位変更操作部３０８にて行う類似度順位変更操作は、類似度順位を変更するよう指定した建材と、類似度順位変更先に位置する建材との相対的な類似度のみに注目して行うことができる。
【０２４０】
希望する建材に似ているか否かという基準で判断する場合、どこまでを似ていると評価し、どこからを似ていないと評価するかの境界に位置する建材を使用者自身で認識することが困難である。
【０２４１】
しかし、本実施の形態のように、ある建材とまた別の建材との相対的な類似性を判断することは容易である。
【０２４２】
この結果、使用者は、容易に自分の意図を反映した類似度順位変更操作を行うことができ、効率良く希望する建材に類似なものを検索することができる。
【０２４３】
重み係数決定部３０９にて行う重み係数決定処理では、類似度順位変更操作部３０８にて使用者により局所的に行われた類似度順位変更操作から、最適化計算により全体の重み係数を決定する。
【０２４４】
この結果、例えば、使用者が、図８に示す幅の狭いドア５０６を矢印５０７に従って移動させた場合、使用者が手動で類似度順位を変更しなくとも、同様に幅が狭いという特徴を持つ、ドアが上位に集合する結果を得ることができる。
【０２４５】
このように、一部の建材の類似度を変更し、重み係数を最適化計算により決定することにより、該建材と同様の特徴を持つ他の建材も同様に類似度順位が変更される。
【０２４６】
この結果、使用者はある一部の建材の類似度順位を変更する操作によって、自分の意図を容易に全体へ反映させることが可能となり、少ない操作で効率良く希望する建材に類似なものを検索することができる。
【０２４７】
なお、使用者が直接操作するＷｅｂブラウザ３０１のインターネット３００への接続形態は、ＡＤＳＬ回線に限定されるものではなく、他のあらゆる接続形態を含むものとする。
【０２４８】
また、Ｗｅｂブラウザ３０１とＷｅｂサーバ３０２との間にインターネット３００を介さず、ＬＡＮ内部もしくは同ハードウェア内部で接続されているようにしても良い。
【０２４９】
また、類似建材検索システム３０３内部にＷｅｂサーバの機能を取り込んだ形態であっても良い。
【０２５０】
また、検索対象は建材に限定されるものではなく、インテリア等の３次元オブジェクトや動画映像、静止画、音楽、音声といったデジタルデータであるマルチメディアオブジェクトを含む。
【０２５１】
また、建材データベース３０４に登録されている特徴量データは、正規化されている形態に限定されるものではなく、類似検索実行時に動的に正規化される形態であっても良い。
【０２５２】
さらに、類似順位変更操作部３０８で行う類似度順位変更操作は、使用者が、複数回の操作を行った後に最適化実行ボタン５０４をクリックして類似度順位変更建材のID等を送信する形態ではなく、類似度順位変更操作が行われる度に自動的に類似度順位変更建材のＩＤ等を送信し、重み係数最適化および類似検索を行う形態であっても良い。
【０２５３】
また、データベース３０４は、図６の配置に限定されるものではなく、各機能配置を変更するようにしても良いと共に、各機能の一部の配置を変更するようにしてもよい。
【０２５４】
例えば、建材データベース３０４は、検索部３０７の内部に含まれるような形態としても良い。
【０２５５】
また、重み係数決定部３０９による計算部分の一部をＷｅｂブラウザ３０１に配置するようにしても良い。
【０２５６】
【発明の効果】
従って、以上説明したように、本発明によれば、検索結果として順位付けされたオブジェクトの類似度順位を相対的に変更することにより、使用者の意図を重み係数へと変換し、希望するオブジェクト群を効率良く検索することが可能なマルチメディアオブジェクト検索システムを提供することができる。
【図面の簡単な説明】
【図１】 図１は、この発明によるマルチメディアオブジェクト検索システムの第１の実施の形態が適用される構成を示すブロック図である。
【図２】 図２は、図１のオブジェクトデータ表示装置２に表示される表示例を示す図である。
【図３】 図３は、図１のオブジェクトデータ表示装置２に表示される表示例を示す図である。
【図４】 図４は、この発明の第１の実施の形態の作用を説明するための操作の手順を示すフローチャートである。
【図５】 図５は、図４におけるステップＳ１０３での処理の詳細を示すフローチャートである。
【図６】 図６は、この発明によるマルチメディアオブジェクト検索方法および装置の第２の実施の形態が適用される構成を示すブロック図である。
【図７】 図７は、図６におけるＷｅｂブラウザ３０１の表示例を示す図である。
【図８】 図７は、図６におけるＷｅｂブラウザ３０１の表示例を示す図である。
【図９】 図９は、図６の検索部３０７における類似計算の手順を説明するために示すフローチャートである。
【符号の説明】
１…演算装置、
２…オブジェクトデータ表示装置、
３…入力装置、
４…オブジェクト指定部、
５…特徴量決定部、
６…類似度順位変更部、
７…重み係数決定部、
８…特徴量データベース、
９…検索部、
１０…原オブジェクトデータベース、
１１，１２…ウィンドウ、
３０１…Ｗｅｂブラウザ、
３００…インターネット、
３０２…Ｗｅｂサーバ、
３０３…類似建材検索システム、
３０４…建材データベース、
３０５…オブジェクト指定部、
３０７…検索部、
３０８…類似度順位変更部、
３０９…重み係数決定部、
４０１，５１１…ウィンドウ、
４０２，５０２…カタログメニュー部、
４０３，５０３…建材表示部、
４０４…検索指示部、
５０４…最適化実行ボタン、
５０５…検索指示部、
５０６…建材、
５０７…矢印。
【発明の属する技術分野】
本発明は、マルチメディアオブジェクト検索システムに係り、特に、マルチメディアオブジェクトの特徴量から類似なマルチメディアオブジェクトを検索するマルチメディアオブジェクト検索システムに関する。
【０００２】
【従来の技術】
近年、デジタルデータとしての静止画や動画、音声、音楽といったマルチメディアオブジェクトデータが様々な場面で利用されている。
【０００３】
例えば、三次元オブジェクトを表現するデータに関しても、従来からのＣＡＤデータに加え、商品の三次元オブジェクトデータ、また、考古学的遺産、美術・芸術品の三次元オブジェクトデータ化のよるデジタルアーカイブ等、盛んに利用されている。
【０００４】
また、多数のデジタル画像データやデジタル音楽データがインターネットを介してやりとりされている。
【０００５】
これらのデータは増大する一方であり、データの効率的な管理や、利用者の要求するデータを効率よく検索する要求が高まっている。
【０００６】
このような要求に答えるべく、様々な技術が提案されており、類似オブジェクトの検索技術に関しても、マルチメディアオブジェクトの持つ特徴を数値で表現される特徴量として算出し、これらの特徴量で構成される多次元ベクトルを利用した検索方法が数多く提案されている。
【０００７】
特徴量による類似オブジェクト検索では、使用者が検索結果として希望するオブジェクトを指定し、このオブジェクトの特徴量とデータベースに登録されたオブジェクトの特徴量とを比較することにより、類似なオブジェクトを検索することができる。
【０００８】
この際、各特徴量の重要性を表現する重み係数を設定することが、一般的に行われている。
【０００９】
すなわち、使用者の意図や嗜好を反映するように、重み係数を適切に設定することによって、例えば、色は異なるが、形状が類似なオブジェクトを検索することができる。
【００１０】
この重み係数を適切に設定することによって、効率的な検索を行う方法が提案されている。
【００１１】
例えば、特開平７−２１１９８号公報には、必要とする画像に類似した画像と、類似していない画像とを各々、複数指定することにより、類似度算出の際に各特徴量の重み係数を調整可能とした画像検索方法が開示されている。
【００１２】
また、特開平９−１０１９７０号公報には、希望画像に類似する画像と、類似しない画像とを各々、複数指定することにより、類似度算出の際に各特徴量の重み係数を調整可能とした画像検索方法および画像検索装置が開示されている。
【００１３】
さらに、この画像検索方法および画像検索装置では、類似画像検索の結果として表示された画像の中から、再度、希望画像に類似する画像と、類似しない画像とを各々、複数指定することができる。
【００１４】
このように、類似画像検索の結果を新たな入力とする操作を繰り返すことにより、より適切な重み係数になるように調整することが可能になる。
【００１５】
また、特開平１０−１５４１４９号公報には、出力されたサンプルオブジェクト群から利用者が指定した参照オブジェクトに類似していると思われるものを追加する手段を有し、より適切な重み係数になるように調整可能な類似オブジェクト検索方法および装置が開示されている。
【００１６】
【発明が解決しようとする課題】
上述したような従来の方法では、対象となるオブジェクトを希望するオブジェクトに類似しているか否かという２種類のみに分類する必要がある。
【００１７】
しかし、多くのオブジェクトは希望するオブジェクトに類似している部分もあれば、類似していない部分もあるという存在であるために、類似している、もしくは類似していないと明確に分類することは困難である。
【００１８】
例えば、上記特開平７−２１１９８号公報による「画像検索方法」では、予め提示されている画像を、必要とする画像に類似している画像または類似していない画像として指定することができる。
【００１９】
しかし、よほど希望する画像に似ている、もしくは似ていない限り、単独の画像毎に必要とする画像に似ているか否かを判断することは容易ではない。
【００２０】
また、上記特開平９−１０１９７０号公報による「画像検索方法および画像検索装置」、上記特開平１０−１５４１４９号公報による「類似オブジェクト検索方法および装置」においても、画像もしくはオブジェクトが希望するものに類似しているか否かを判断する過程において、全く同様な困難さが存在する。
【００２１】
一方、例えば、２つのオブジェクトを比較して、どちらが希望するものに類似かという観点で判断することは、それほど困難ではない。
【００２２】
これは、単独のオブジェクトの絶対的な類似度を判断するのではなく、２つのオブジェクトの相対的な類似度のみを判断すればよいからである。
【００２３】
本発明は、この点に着目し、検索結果として順位付けされたオブジェクトの類似度順位を相対的に変更することにより、使用者の意図を重み係数へと変換し、希望するオブジェクト群を効率良く検索することが可能なマルチメディアオブジェクト検索システムを提供することを目的とする。
【００２４】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
（１） マルチメディアオブジェクトを入力またはデータベースに予め蓄積されたマルチメディアオブジェクトを指定する入力／指定手段と、
上記入力／指定手段によって入力または指定されたマルチメディアオブジェクトの特徴量を演算する特徴量演算手段と、
上記特徴量演算手段によって演算されたマルチメディアオブジェクトの特徴量重み係数を演算する重み係数演算手段と、
上記特徴量演算手段によって演算された特徴量および上記重み係数演算手段によって演算された特徴量重み係数を用いて上記データベースに予め蓄積されたマルチメディアオブジェクトの類似度検索を行う類似度検索手段と、
上記類似度検索手段による類似度検索の結果に基づき上記入力／指定手段によって指定されたマルチメディアオブジェクトと類似するオブジェクトを類似度順位の決定結果に対応して表示する表示手段と、
上記表示手段によって表示されたマルチメディアオブジェクトの類似度順位をドラッグアンドドロップ動作によって変更する類似度順位変更手段と、
上記類似度順位変更手段によって変更された類似度順位に基づき上記ドラッグアンドドロップ動作によって類似度順位を変更したオブジェクト及び当該オブジェクトの類似度順位より類似度が一つ低い位置と類似度が一つ高い位置に存在するオブジェクトの３つのオブジェクトのみに対して特徴量を求め、この求めた演算結果からそれぞれの類似度に関する拘束条件を定義し、さらにこの定義に基づき上記マルチメディアオブジェクトの特徴量重み係数の再計算を行い、この特徴量重み係数を用いて類似度の再計算を行う類似度計算手段と、
を有することを特徴とするマルチメディアオブジェクト検索システムが提供される。
【００２５】
（対応する発明の実施の形態）
この発明に関する実施の形態は、後述する第１の実施の形態が対応する。
【００２７】
そして、上記構成要素中の類似度再計算手段は、この第１の実施の形態では図１の検索部９が該当するが、図１の演算部１とは別にネットワーク上に分散した機能として存在している場合を含む。具体的な特徴量重み係数の再計算のための計算手法は、この実施の形態で述べた最適化手法に限定されるものではなく、一般によく知られた他の計算手法も含む。
【００２８】
また、具体的な計算手法は、この実施の形態の式（１）で述べる類似度定義に限定されるものではなく、特徴量から計算される距離を対数化したものやマハラノビス距離を用いるものも含む。
【００２９】
また、上記構成要素中のマルチメディアオブジェクトは、広くデジタルデータ全般を指し、デジタルデータとしての静止画や動画、音声、音楽を含むものである。
【００３０】
ここで、動画は、ビデオ映像のみならず、画像データとアニメーションデータとの複合データをも含む。
【００３１】
また、ＣＡＤデータ等の２次元および３次元データや、シルエット法やスリット法等の一般に良く知られた手法で計測することにより生成される距離画像や３次元データをも含む。
【００３２】
また、アナログデータをデジタルデータに変換した形態のものも含む。
【００３３】
また、上記各種のデータを複数組み合わせた複合データも含む。
【００３４】
（作用）
本発明では、検索結果として出力された任意のオブジェクトの類似度順位を変更することにより、特徴量の重み係数を再計算し、類似度を再計算する。
【００３５】
あるオブジェクトが希望するオブジェクトに類似か否かを判断するためには、どの程度の差異までを類似と許容するかについて判断しなければならないので、この境界を使用者が明確に認識することが困難である。
【００３６】
本発明では、使用者はオブジェクトの相対的な順位のみに着目して、該類似度順位を変更できるので、あるオブジェクトが希望するオブジェクトに類似であるか否かを容易に判断することができる。
【００３７】
本発明では、使用者が行った類似度順位変更操作の結果から、自動的に特徴量の重み係数を再計算し、類似度を再計算するので、類似度順位変更操作の意図を反映した新しい検索結果を提示することができる。
【００３８】
この際、局所的な操作である類似度順位変更操作によって特徴量の重み係数を変更しているので、該操作による類似度判断を全オブジェクトに適応することができる。
【００３９】
この結果、使用者は局所的な操作であるにもかかわらず、同様の傾向を持つ全オブジェクトの類似度順位を変更したことと同様の結果を得ることができるため、希望するオブジェクト群を効率良く得られる。
【００８１】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【００８２】
（第１の実施の形態）
図１は、この発明によるマルチメディアオブジェクト検索方法およびシステムの第１の実施の形態が適用される構成を示すブロック図である。
【００８３】
すなわち、図１において、演算装置１は、ＣＲＴ、ＬＣＤディスプレイ、３次元表示装置等のオブジェクトデータ表示装置２およびキーボード、マウス、タブレット等のデータ入力、または操作入力を行う入力装置３に接続されている。
【００８４】
ここで、演算装置１の内部は、以下のように構成されている。
【００８５】
オブジェクト指定部４は、特徴量決定部５に接続されている。
【００８６】
特徴量決定部５は、重み係数決定部７に接続されている。
【００８７】
また、特徴量決定部５は、特徴量データベース８にネットワークを介して接続されている。
【００８８】
重み係数決定部７は、検索部９に接続されている。
【００８９】
検索部９は、特徴量データベース８および原オブジェクトデータベース１０にネットワークを介して接続されている。
【００９０】
また、検索部９は、類似度順位変更部６に接続されている。
【００９１】
類似度順位変更部６は、重み係数決定部７に接続されている。
【００９２】
原オブジェクトデータベース１０には、マルチメディアオブジェクトとして、例えば、椅子、テーブル、等のインテリア用品の３次元形状のデータが登録されている。
【００９３】
特徴量データベース８には、原オブジェクトデータベース１０に登録されているマルチメディアオブジェクトの特徴量が登録されている。
【００９４】
ここで、特徴量としては、３次元オブジェクトのテクスチャに対して算出できるＲＧＢ、ＨＳＶ、Ｌａｂ等の各色情報毎の値を量子化したヒストグラム、エッジ微分を量子化した形状ヒストグラム、３次元オブジェクトの体積や表面積等が用いられる。
【００９５】
これらの特徴量は、様々な部位に沿って取り出して、それぞれ別々の特徴量としてもよい。
【００９６】
図２および図３は、オブジェクトデータ表示装置２に表示される表示例を示している。
【００９７】
通常、オブジェクトデータ表示装置２の画面上には原オブジェクトデータベース１０に登録されているオブジェクトを表示するウィンドウや、検索結果として希望するオブジェクトを指定するウィンドウが表示されている。
図２には、この希望するオブジェクトを指定するでの指定結果に基づいて検索を行い、その検索結果を表示するウィンドウ１１が示されている。
また、図３には、ウィンドウ１１に表示された検索結果に対して類似度順位を変更した後、再度類似度の計算をした結果（再検索結果）を表示したウィンドウ１２が示されている。
【００９８】
次に、この発明の第１の実施の形態の作用について説明する。
【００９９】
図４は、この発明の第１の実施の形態の作用を説明するための操作の手順を示すフローチャートである。
【０１００】
まず、ステップＳ１０１では、使用者が検索結果として希望するオブジェクトを指定する。
【０１０１】
このステップＳ１０１は、図１のオブジェクト指定部４にて処理される。
【０１０２】
オブジェクトの指定は、原オブジェクトデータベース１０に登録されているオブジェクトを指定することや、本装置で取り扱い可能なオブジェクトを、アプリケーションのオープンメニューから選択することにより行うことができる。
【０１０３】
次に、ステップＳ１０２では、先のステップＳ１０１で指定されたオブジェクトから、これらを代表するオブジェクト特徴量を決定する。
【０１０４】
このステップＳ１０２は、図１の特徴量決定部５にて処理される。
【０１０５】
この場合、ステップＳ１０１で指定されたオブジェクトのうち、特徴量データベース８上に特徴量が存在するものについては、特徴量データベース８から特徴量を読み込む。
【０１０６】
また、ステップＳ１０１で指定されたオブジェクトのうち、特徴量データベース８上に特徴量が存在しないものについては、特徴量を算出する。
【０１０７】
この特徴量算出の形態は、特徴量データベース８を構築する際の演算と共通である。
【０１０８】
ステップＳ１０１で指定されたオブジェクトを代表する特徴量は、指定された各オブジェクトの特徴量の平均値とする。
【０１０９】
次に、ステップＳ１０３では、先のステップＳ１０２にて決定されたオブジェクトの各特徴量に対して重み係数を決定する。
【０１１０】
このステップＳ１０３は、図１の重み係数決定部７にて処理される。
【０１１１】
図５は、ステップＳ１０３での処理の詳細を示すフローチャートである。
【０１１２】
まず、ステップＳ２０１では、類似度順位を変更したオブジェクトが存在しているか否かを判断する。
【０１１３】
ここで、類似度順位を変更したオブジェクトが存在していない場合には、まだ一度も検索を実行していない状態に対応する。
【０１１４】
この場合、ステップＳ２０２で、重み係数が初期値に設定される。
【０１１５】
なお、本実施の形態では、重み係数の初期値を全ての特徴量に対して１．０としている。
【０１１６】
本実施の形態では、後述する式（１）に示すように、オブジェクトｋの類似特徴量の各成分Ｆｉと重み係数の各成分Ｗｉとの積の二乗和を類似度Ｓｋとして採用していることにより、類似度Ｓｋが小さいほど、類似度順位が高くなる。
【０１１７】
なお、類似特徴量とは、特徴量データベース８に登録されている特徴量と、先のステップＳ１０２にて決定された希望するオブジェクトを代表するオブジェクトの特徴量との差分である。
【０１１８】
すなわち、類似度Ｓｋは
Ｓｋ＝（Ｆ０Ｗ０）＾２＋（Ｆ１Ｗ１）＾２＋
…＋（ＦｎＷｎ）＾２ …（１）
として表される。
【０１１９】
この式（１）は、オブジェクトｋの類似特徴量の各成分Ｆｉを二乗した値からなるベクトルＦＳと、重み係数の各成分Ｗｉを二乗した値からなるベクトルＷＳとの内積として解釈することが可能である。
【０１２０】
本実施の形態では、前記ベクトルＦＳと、ベクトルＷＳとによる最適化を行い、類似度順位変更操作による使用者の意図を反映した重み係数を算出する。
【０１２１】
ステップＳ２０３では、現在設定されてい重み係数るｗ０，ｗ１，…，ｗｎを取得し、最適化計算のためのパラメータである基準重みベクトルＷＳＴを式（２）に示すように設定する。
【０１２２】
ＷＳＴ＝（ｗ０＾２，ｗ１＾２，…，ｗｎ＾２） …（２）
次に、ステップＳ２０４では、式（３），（４）に示す最適化計算を行う上での基本的な拘束条件を生成する。
【０１２３】
本実施の形態では、類似特徴量の各成分を二乗した値からなるベクトルＦＳと重み係数の各成分を二乗した値からなるベクトルＷＳと基準重みベクトルＷＳＴとから最適化計算を行い、最適な重み係数と関連付けられた最適重みベクトルＷＳＯを算出する。
【０１２４】
しかるに、これらのベクトルの成分が二乗された値であることからも明かなように、式（３）に示すように、最適重みベクトルＷＳＯの各要素は正でなければならない。
【０１２５】
ＷＳＯｉ＞＝０．０（ｉ＝０，１，…，ｎ） …（３）
また、重み係数の値の上限値を１．０としているので、式（４）に示すように、最適重みベクトルＷＳＯの各要素は１．０以下でなければならない。
【０１２６】
ＷＳＯｉ＜＝１．０（ｉ＝０，１，…，ｎ） …（４）
なお、最適な重み係数ＷＯｉと最適重みベクトルＷＳＯの関係は、式５に示すようになっている。
【０１２７】
ＷＳＯ＝（ＷＯ１＾２，ＷＯ２＾２，…，ＷＯｎ＾２） …（５）
次に、ステップＳ２０５では、類似度順位を変更したオブジェクトの類似特徴量の各要素を二乗した類似特徴ベクトルＦＳｂｊと該オブジェクトのよりも一つ類似度順位が高い位置に存在するオブジェクトの類似特徴量の各要素を二乗した類似特徴ベクトルＦＳａｊとから、式６に示す拘束条件を生成する。
【０１２８】
ＷＳＯ・ＦＳａｊ＜ＷＳＯ・ＦＳｂｊ …（６）
次に、ステップＳ２０６では、先のステップＳ２０５と同様に、類似度順位を変更したオブジェクトの類似特徴量の各要素を二乗した類似特徴ベクトルＦＳｂｊと該オブジェクトのよりも一つ類似度順位が低い位置に存在するオブジェクトの類似特徴量の各要素を二乗した類似特徴ベクトルＦＳｃｊとから、式７に示す拘束条件を生成する。
【０１２９】
ＷＳＯ・ＦＳｂｊ＜ＷＳＯ・ＦＳｃｊ …（７）
次に、ステップＳ２０７では、類似度順位を変更したオブジェクトが他に存在するか否かを判断する。
【０１３０】
ここで、まだ、類似度順位を変更したオブジェクトが存在する場合には、先のステップＳ２０５およびステップＳ２０６の処理に戻り、式（６）および式（７）に示す拘束条件を生成する。
【０１３１】
この繰り返しにより、式（６）および式（７）に示す拘束条件は、各々類似度順位を変更したオブジェクトの数だけ生成されることになる。
【０１３２】
また、類似度順位を変更したオブジェクトが存在しない場合には、ステップＳ２０８にて重み係数の算出を行う。
【０１３３】
次に、ステップＳ２０８では式（３），（４），（６），（７）が拘束条件であり、例えば、式（８）を評価関数とする最小値問題として後述するような最適化計算が行われることにより、最適重みベクトルＷＳＯが算出される。
ｆ（ＷＳＯ）＝−ＷＳＯ・ＷＳＴ／（｜ＷＳＯ｜｜ＷＳＴ｜） …（８）
【０１３４】
そして、算出した最適重みベクトルＷＳＯと式（５）から、最適な重み係数ＷＯｉを算出する。
【０１３５】
具体的な最適化計算の手法として、本実施の形態で設定した制約条件付き非線型計画最小値問題の解法として一般によく知られている罰金法の代表的な手法であるＳＵＭＴ法（無制約逐次最小化技術法）を用いることにより、拘束条件付き非線型計画最小値問題を制約条件無し非線型計画最小値問題へと変換する。
【０１３６】
なお、最小点の算出には、共役勾配法が用いられ、共役勾配法における１次の非線型計画最小値問題には黄金分割法が用いられる。
【０１３７】
次に、図４に戻って、ステップＳ１０４では、先のステップＳ１０２で決定した特徴量と、先のステップＳ１０３で決定した重み係数および特徴量データベース８に登録されている全オブジェクトの特徴量とを用いて類似検索を行う。
【０１３８】
具体的な類似検索の方法としては、ステップＳ２０７の作用の中で説明した式（１）を計算し、オブジェクトｋの類似度を表現する式（１）の値Ｓｋが小さい順にソートすることにより、類似度順位を決定する。
【０１３９】
次に、ステップＳ１０５では、先のステップＳ１０４で行った類似検索の結果をオブジェクトデータの表示装置２上に表示する。
【０１４０】
次に、ステップＳ１０６では、使用者がオブジェクトの類似度順位をドラッグ＆ドロップにより変更する。
【０１４１】
例えば、使用者は、図２の検索結果画面１１に示すような座面が丸い椅子２０を、別の座面が丸い椅子２１と座面が四角い椅子２２との間にドラッグ＆ドロップすることができる。
【０１４２】
このようにして、使用者の意図する類似度順位になるように、複数回操作を繰り返すことができる。
【０１４３】
全操作が終了した後、メニューから”重み係数再計算”を選択することにより、ステップＳ１０３へと処理が続く。
【０１４４】
ステップＳ１０６で行った類似度順位変更の内容は、ステップＳ１０３で最適な重み係数を算出するための条件となる。
【０１４５】
そして、先のステップＳ１０３で最適な重み係数を再計算した結果を用いて、先のステップＳ１０４にて類似検索を再度行った結果を表示したウィンドウを図３の１２に示す。
【０１４６】
図３に示す検索結果画面１２では、座面が丸い椅子２０の類似度を変更した結果、同様の特徴を持つ椅子２３、２４が座面が四角い椅子２２よりも上位になっている。
【０１４７】
次に、この発明の実施の形態の効果について説明する。
【０１４８】
ステップＳ１０６で行う類似度順位変更操作は、類似度順位を変更するよう指定したオブジェクトと、類似度順位変更先に位置するオブジェクトとの相対的な類似度のみに注目して行うことができる。
【０１４９】
ところで、希望するオブジェクトに似ているか否かという基準で判断する場合、どこまでを似ているという評価と、似ていないという評価との境界に位置するオブジェクトを使用者自身で認識することが困難である。
【０１５０】
しかるに、本実施の形態のように、あるオブジェクトとまた別のオブジェクトとの相対的な類似性を判断することは容易である。
【０１５１】
この結果、使用者は、容易に自分の意図した類似度順位変更操作を行うことができ、効率良く希望するオブジェクトに類似なオブジェクト群を検索することができる。
【０１５２】
そして、ステップＳ１０３で行う重み係数決定処理では、ステップＳ１０６で使用者により局所的に行われた類似度順位変更操作から全体の重み係数を最適化計算により決定する。
【０１５３】
この結果、例えば、使用者が、図２の検索結果画面１１に示す座面が丸い椅子２０を別の座面が丸い椅子２１と座面が四角い椅子２２との間に類似度順位を変更した場合、図３の検索結果画面１２に示すように、座面が丸い椅子２０と同様の特徴を持つ椅子２３、２４が、座面が四角い椅子２２よりも類似度順位が上位になる。
【０１５４】
このように、一部のオブジェクトの類似度を変更し、重み係数を最適化計算により再決定することにより、該オブジェクトと同様の特徴を持つオブジェクトの類似度も同様に類似度順位が変更される。
【０１５５】
この結果、使用者は、ある一部のオブジェクトの類似度順位を変更する操作によって、自分の意図を容易に全体へ反映させることが可能となり、効率良く、効率良く希望するオブジェクトに類似なオブジェクト群を検索することができるようになる。
【０１５６】
なお、特徴量データベース８および原オブジェクトデータベース１０は、ネットワークを介した接続に限定されるものでなく、演算装置１の内部に含まれていても良い。
【０１５７】
また、演算装置１の内部の構成については、ネットワーク上に分散した形態であっても良い。
【０１５８】
さらに、特徴量データベース８に登録されている特徴量データは、正規化されている形態に限定されるものではなく、特徴量決定時もしくは類似検索実行時に動的に正規化される形態であっても良い。
【０１５９】
また、ステップＳ１０３の重み係数決定処理で行う最適化計算は、本実施の形態で述べた手法に限定されるものではなく、一般によく知られた他の最適化計算の手法であっても良い。
【０１６０】
また、ステップＳ１０６での類似度順位変更操作は、複数回の操作を行った後に重み係数再計算を指示する形態ではなく、類似度順位変更操作が行われる度に自動的に重み係数を再計算し、類似検索を行う形態であっても良い。
【０１６１】
本実施の形態が対象とするマルチメディアオブジェクトは、３次元オブジェクトに限定されるものではなく、例えば、動画であっても良い。
【０１６２】
動画を時間方向の各レイヤとして積層化することにより、３次元ボリュームデータと同等の情報となる。
【０１６３】
また、音楽データであっても良く、音楽データをフーリェ変換することにより、周波数領域での特徴量が得られる。
【０１６４】
また、時間領域での振幅の変化等も特徴量となる。
【０１６５】
また、グラフィックスイコライザーのように音楽データを可視化するツールで生成した画像または映像から特徴量を算出することもできる。
【０１６６】
（第２の実施の形態）
この発明によるマルチメディアオブジェクト検索方法および装置の第２の実施の形態は、家を建築する場合やリフォームする場合等に利用できる建材検索システムに適用される場合である。
【０１６７】
すなわち、この第２の実施の形態は、建材検索システムとしてドアや窓枠等、様々な建材を選択する際に、類似な建材を検索することが可能である。
【０１６８】
図６は、この発明によるマルチメディアオブジェクト検索方法および装置の第２の実施の形態が適用される構成を示すブロック図である。
【０１６９】
この第２の実施の形態では、図６に示すように、使用者が直接操作するＷｅｂブラウザ３０１が設けられており、このＷｅｂブラウザ３０１は、ＡＤＳＬ回線によりインターネット３００に接続されている。
【０１７０】
このＷｅｂブラウザ３０１の接続先には、Ｗｅｂサーバ３０２が存在する。
【０１７１】
このＷｅｂサーバ３０２は、Ｗｅｂアプリケーションとして動作する類似建材検索システム３０３に接続されている。
【０１７２】
そして、この類似建材検索システム３０３は、建材データベース３０４に接続されている。
【０１７３】
この類似建材検索システム３０３は、Ｊａｖａ２ＥＥ等の分散ネットワーク技術により、１台もしくは複数台のハードウェアから構成されている。
【０１７４】
前記建材データベース３０４には、ドア、窓枠、壁紙等の家の構成要素となる建材のメーカー名、型番、価格等の情報および建材の画像データと３次元データ、該３次元データおよび建材の画像データから算出した各種の特徴量データとが格納されている。
【０１７５】
ここで、特徴量としては、３次元オブジェクトのテクスチャに対して算出できるＲＧＢ、ＨＳＶ、Ｌａｂ等の各色情報毎の値を量子化したヒストグラム、エッジ微分を量子化した形状ヒストグラム、３次元オブジェクトの体積や表面積等が用いられる。
【０１７６】
これらの特徴量は、さまざまな部位に渡つて取り出して、それぞれ別々の特徴量としてもよい。
【０１７７】
なお、建材データベース３０４に登録されている特徴量は、各特徴量のスケールに応じて正規化されている。
【０１７８】
前記Ｗｅｂブラウザ３０１には、希望する建材を指定するためのユーザーインターフェースを実現するオブジェクト指定部３０５が含まれている。
【０１７９】
このオブジェクト指定部３０５は、Ｗｅｂブラウザ３０１およびＷｅｂサーバ３０２を介して、類似建材検索システム３０３に含まれる検索部３０７に接続されている。
【０１８０】
この検索部３０７は、Ｗｅｂサーバ３０２およびＷｅｂブラウザ３０１を介して、Ｗｅｂブラウザ３０１において検索結果としての建材を表示し、類似度順位を変更するためのインターフェースを実現する類似度順位変更部３０８に接続されている。
【０１８１】
また、この検索部３０７は、建材データベース３０４に接続されている。
【０１８２】
前記類似度順位変更部３０８は、Ｗｅｂブラウザ３０１およびＷｅｂサーバ３０２を介して類似建材検索システム３０３に含まれる重み係数決定部３０９に接続されている。
【０１８３】
この重み係数決定部３０９は、検索部３０７に接続されている。
【０１８４】
図７および図８は、Ｗｅｂブラウザ３０１の図示しないディスプレイに表示される表示例を示している。
【０１８５】
図７のＷｅｂブラウザ３０１のウィンドウ４０１は、図６のオブジェクト指定部３０５が機能している状態を示している。
【０１８６】
そして、Ｗｅｂブラウザ３０１のウィンドウ４０１には、建材のジャンルをツリー状に表示するカタログメニュー部４０２が含まれている。
【０１８７】
また、Ｗｅｂブラウザ３０１のウィンドウ４０１には、選択されたジャンルに属する建材を表示する建材表示部４０３が含まれている。
【０１８８】
また、Ｗｅｂブラウザ３０１のウィンドウ４０１には、使用者が選択した希望する建材と類似な建材の検索を開始するためのボタンと最大出力数を指定するフィールドから構成される検索指示部４０４が含まれている。
【０１８９】
図８のＷｅｂブラウザ３０１のウィンドウ５０１は、図６の類似度順位変更部３０８が機能している状態を示している。
【０１９０】
このＷｅｂブラウザ３０１のウィンドウ５０１には、建材のジャンルをツリー状に表示するカタログメニュー部５０２が含まれている。
【０１９１】
また、Ｗｅｂブラウザ３０１のウィンドウ５０１には、類似検索の結果を表示し、類似度順位変更のためのユーザーインターフェースを提供する建材表示部５０３が含まれている。
【０１９２】
また、Ｗｅｂブラウザ３０１のウィンドウ５０１には、類似度順位変更操作による重み係数最適化処理を開始するためのボタン５０４が含まれている。
【０１９３】
また、Ｗｅｂブラウザ３０１のウィンドウ５０１には、使用者が選択した希望する建材と類似な建材の検索を開始するためのボタンと最大出力数を指定するフィールドとから構成される検索指示部５０５が含まれている。
【０１９４】
次に、この発明による第２の実施の形態の作用を説明する。
【０１９５】
使用者は、まず、図７に示すウィンドウ４０１上で操作を行う。
【０１９６】
使用者は、ウィンドウ４０１のカタログメニュー部４０２にあるジャンル名をクリックすることにより、希望する建材のジャンルを選択する。
【０１９７】
このウンンドウ４０１の建材表示部４０３には、カタログメニュー部４０２で選択されたジャンルに含まれる建材が一覧表示される。
【０１９８】
図７のウィンドウ４０１は、カタログメニュー部４０２でドアが選択された状態を示している。
【０１９９】
使用者は、建材表示部４０３に表示された各建材の画像の下にあるチェックボックスをクリックすることにより、希望する建材を選択する。
【０２００】
使用者が、希望する建材に似た一つ、または複数の建材を選択した後、検索指示部４０４の検索開始ボタンをクリックすることにより、インターネット３００上に存在する類似建材検索システム３０３に対して、検索を開始する指示が送られる。
【０２０１】
使用者は、検索指示部４６４の最大出力数フィールドを操作することにより、検索結果の最大出力数を指定することができる。
【０２０２】
そして、検索部３０７は、オブジェクト指定部３０５が機能しているウィンドウ４０１から送られた希望建材ＩＤを受け取る。
【０２０３】
この検索部３０７は、受け取った希望建材ＩＤに基づき、建材データベース３０４から特徴量を読み込む。
【０２０４】
また、検索部３０７は、検索に必要な全建材の特徴量を建材データベース３０４から読み込む。
【０２０５】
そして、検索部３０７では、希望建材の特徴量と検索対象となっている全建材の特徴量とから類似検索を行う。
【０２０６】
図９は、検索部３０７における類似計算の手順を説明するために示すフローチャートである。
【０２０７】
まず、ステップＳ６０１では、希望建材のうちのーつに対する類似特徴量を算出する。
【０２０８】
ここで、類似特徴量とは、式（９）に示すように希望するオブジェクトｋの特徴量をベクトルで表現したＦＯｋと検索対象となっているオブジェクトｉの特徴量をベクトルで表現したＦＯｉとの差分Ｆｉｋである。
【０２０９】
Ｆｉｋ＝ＦＯｉ−ＦＯｋ …（９）
つまり、検索対象となっている全建材について、各建材の特徴量ベクトルから、希望する建材ｋの特徴量ベクトルを引いた類似特徴量ベクトルの集合を算出することになる。
【０２１０】
次に、ステップＳ６０２では、類似特徴量ベクトルに重み係数をかけ、各成分の二乗和を計算することにより式（１）に示す類似度を算出する。
【０２１１】
ここで、類似度とは、式（１０）に示すように、ステップＳ６０１で算出した希望するオブジェクトｋに対する検索対象オブジェクトｉの類似特徴量ベクトルＦｉｋと重み係数をベクトルで表現したＷとの内積Ｓｉｋである。
【０２１２】
なお、重み係数ベクトルＷの各成分の初期値は１．０となっている。
【０２１３】
Ｓｉｋ＝Ｆｉｋ・Ｗ …（１０）
次に、ステップＳ６０４では、類似度の算出に関して、未計算の希望建材が存在するか否かを判断している。
【０２１４】
ここで、未計算の希望建材が存在する場合には、再びステップＳ６０１に戻り、未計算の希望建材のうちの一つについて、類似度の算出を行う。
【０２１５】
この場合、希望建材のＩＤを表す添字はｋからｌへと進められ、希望建材ｌに対する検索対象オブジェクトｉの類似度Ｓｉｌが更に求められることになる。
【０２１６】
また、類似度の算出に関して、未計算の希望建材が存在しない場合には、ステップＳ６０３へと進む。
【０２１７】
ステップＳ６０３では、式（１１）に示すように、各々の希望建材について算出した類似度Ｓｉｋの和を計算することにより、検索対象オブジェクト毎の総合類似度Ｓｉを算出する。
【０２１８】
Ｓｉ＝Ｓｉｋ＋Ｓｉｌ＋…＋Ｓｉｚ …（１１）
なお、添字ｋ，ｌ，ｚは、各希望建材のＩＤを表わしている。
【０２１９】
そして、検索部３０７は、画像データおよび／または３次元データを含む各建材データを、算出した各検索対象建材の総合類似度Ｓｉに従ってソートし、検索結果データとして、類似度順位変更部３０８が機能する図８のウィンドウ５０１ヘ送信する。
【０２２０】
この類似度順位変更部３０８は、検索部３０７より送信された検索結果データに従って、図８に示すウィンドウ５０１に含まれる建材表示部５０３の内容を描画する。
【０２２１】
また、類似度順位変更部３０８は、カタログメニュー部５０２、最適化実行ボタン５０４および検索指示部５０５も描画し、ウィンドウ５０１を表示する。
【０２２２】
使用者は、建材表示部５０３に表示された建材を表す画像をドラッグ＆ドロップにより、移動させることができる。
【０２２３】
例えば、使用者が、類似度順位８の建材５０６を図８中の矢印５０７に従って類似度順位３の建材と類似度順位４の建材との間へドラッグ＆ドロップした場合、建材５０６が類似度順位４となり、類似度順位が４から７であった建材は、類似度順位が５から８へと変化する。
【０２２４】
このとき、類似度順位変更部３０８は、類似度順位変更建材として建材５０６のＩＤを記憶する。
【０２２５】
使用者は、自分の類似度順位評価に近い状態になるまで、上記操作を繰り返し行うことができる。
【０２２６】
そして、類似度順位変更部３０８は、繰り返し行われる各操作毎に類似度順位変更建材のＩＤを追加的に記憶する。
【０２２７】
なお、Ｗｅｂブラウザ３０１におけるドラッグ＆ドロップ等、上記ユーザーインターフェースの実現には、Ｆｌａｓｈ技術が用いられている。
【０２２８】
類似度順位変更操作終了後、使用者が最適化実行ボタン５０４をクリックすることにより、類似度順位変更部３０８は、類似度順位変更建材として記憶している建材のＩＤおよび各建材の類似度順位の前後に位置する建材のＩＤを、重み係数決定部３０９へ送信する。
【０２２９】
また、使用者は、建材表示部５０３に表示された各建材に対応するチェックボックスをチェックし、検索指示部５０５に含まれる検索開始ボタンをクリックすることにより、新規に検索を行うことができる。
【０２３０】
そして、重み係数決定部３０９では、図５に示したフローチャートに従って重み係数決定のための処理が行われる。
【０２３１】
各ステップの処理内容は、第１の実施の形態と同様である。
【０２３２】
すなわち、重み係数決定部３０９は、決定した最適な重み係数を検索部３０７へ送信する。
【０２３３】
この検索部３０７では、図９に示したフローチャートに従って類似検索が再び行われる。
【０２３４】
但し、検索部３０７では、類似度算出の際に用いる重み係数ベクトルＷとして、重み係数決定部３０９にて決定した最適な重み係数を用いて類似検索を行う。
【０２３５】
そして、検索部３０７は、最適な重み係数を用いて行った類似検索の結果データを、再び類似度順位変更部３０８へ送信する。
【０２３６】
使用者は、ウィンドウ５０１に表示された建材に対して、再び類似度順位変更操作を行うことができる。
【０２３７】
使用者は、上記操作を繰り返し、希望する建材に類似な建材を検索する。
【０２３８】
次に、この発明の第２の実施の形態の効果を説明する。
【０２３９】
類似度順位変更操作部３０８にて行う類似度順位変更操作は、類似度順位を変更するよう指定した建材と、類似度順位変更先に位置する建材との相対的な類似度のみに注目して行うことができる。
【０２４０】
希望する建材に似ているか否かという基準で判断する場合、どこまでを似ていると評価し、どこからを似ていないと評価するかの境界に位置する建材を使用者自身で認識することが困難である。
【０２４１】
しかし、本実施の形態のように、ある建材とまた別の建材との相対的な類似性を判断することは容易である。
【０２４２】
この結果、使用者は、容易に自分の意図を反映した類似度順位変更操作を行うことができ、効率良く希望する建材に類似なものを検索することができる。
【０２４３】
重み係数決定部３０９にて行う重み係数決定処理では、類似度順位変更操作部３０８にて使用者により局所的に行われた類似度順位変更操作から、最適化計算により全体の重み係数を決定する。
【０２４４】
この結果、例えば、使用者が、図８に示す幅の狭いドア５０６を矢印５０７に従って移動させた場合、使用者が手動で類似度順位を変更しなくとも、同様に幅が狭いという特徴を持つ、ドアが上位に集合する結果を得ることができる。
【０２４５】
このように、一部の建材の類似度を変更し、重み係数を最適化計算により決定することにより、該建材と同様の特徴を持つ他の建材も同様に類似度順位が変更される。
【０２４６】
この結果、使用者はある一部の建材の類似度順位を変更する操作によって、自分の意図を容易に全体へ反映させることが可能となり、少ない操作で効率良く希望する建材に類似なものを検索することができる。
【０２４７】
なお、使用者が直接操作するＷｅｂブラウザ３０１のインターネット３００への接続形態は、ＡＤＳＬ回線に限定されるものではなく、他のあらゆる接続形態を含むものとする。
【０２４８】
また、Ｗｅｂブラウザ３０１とＷｅｂサーバ３０２との間にインターネット３００を介さず、ＬＡＮ内部もしくは同ハードウェア内部で接続されているようにしても良い。
【０２４９】
また、類似建材検索システム３０３内部にＷｅｂサーバの機能を取り込んだ形態であっても良い。
【０２５０】
また、検索対象は建材に限定されるものではなく、インテリア等の３次元オブジェクトや動画映像、静止画、音楽、音声といったデジタルデータであるマルチメディアオブジェクトを含む。
【０２５１】
また、建材データベース３０４に登録されている特徴量データは、正規化されている形態に限定されるものではなく、類似検索実行時に動的に正規化される形態であっても良い。
【０２５２】
さらに、類似順位変更操作部３０８で行う類似度順位変更操作は、使用者が、複数回の操作を行った後に最適化実行ボタン５０４をクリックして類似度順位変更建材のID等を送信する形態ではなく、類似度順位変更操作が行われる度に自動的に類似度順位変更建材のＩＤ等を送信し、重み係数最適化および類似検索を行う形態であっても良い。
【０２５３】
また、データベース３０４は、図６の配置に限定されるものではなく、各機能配置を変更するようにしても良いと共に、各機能の一部の配置を変更するようにしてもよい。
【０２５４】
例えば、建材データベース３０４は、検索部３０７の内部に含まれるような形態としても良い。
【０２５５】
また、重み係数決定部３０９による計算部分の一部をＷｅｂブラウザ３０１に配置するようにしても良い。
【０２５６】
【発明の効果】
従って、以上説明したように、本発明によれば、検索結果として順位付けされたオブジェクトの類似度順位を相対的に変更することにより、使用者の意図を重み係数へと変換し、希望するオブジェクト群を効率良く検索することが可能なマルチメディアオブジェクト検索システムを提供することができる。
【図面の簡単な説明】
【図１】 図１は、この発明によるマルチメディアオブジェクト検索システムの第１の実施の形態が適用される構成を示すブロック図である。
【図２】 図２は、図１のオブジェクトデータ表示装置２に表示される表示例を示す図である。
【図３】 図３は、図１のオブジェクトデータ表示装置２に表示される表示例を示す図である。
【図４】 図４は、この発明の第１の実施の形態の作用を説明するための操作の手順を示すフローチャートである。
【図５】 図５は、図４におけるステップＳ１０３での処理の詳細を示すフローチャートである。
【図６】 図６は、この発明によるマルチメディアオブジェクト検索方法および装置の第２の実施の形態が適用される構成を示すブロック図である。
【図７】 図７は、図６におけるＷｅｂブラウザ３０１の表示例を示す図である。
【図８】 図７は、図６におけるＷｅｂブラウザ３０１の表示例を示す図である。
【図９】 図９は、図６の検索部３０７における類似計算の手順を説明するために示すフローチャートである。
【符号の説明】
１…演算装置、
２…オブジェクトデータ表示装置、
３…入力装置、
４…オブジェクト指定部、
５…特徴量決定部、
６…類似度順位変更部、
７…重み係数決定部、
８…特徴量データベース、
９…検索部、
１０…原オブジェクトデータベース、
１１，１２…ウィンドウ、
３０１…Ｗｅｂブラウザ、
３００…インターネット、
３０２…Ｗｅｂサーバ、
３０３…類似建材検索システム、
３０４…建材データベース、
３０５…オブジェクト指定部、
３０７…検索部、
３０８…類似度順位変更部、
３０９…重み係数決定部、
４０１，５１１…ウィンドウ、
４０２，５０２…カタログメニュー部、
４０３，５０３…建材表示部、
４０４…検索指示部、
５０４…最適化実行ボタン、
５０５…検索指示部、
５０６…建材、
５０７…矢印。
Claims (1)
- マルチメディアオブジェクトを入力またはデータベースに予め蓄積されたマルチメディアオブジェクトを指定する入力／指定手段と、
上記入力／指定手段によって入力または指定されたマルチメディアオブジェクトの特徴量を演算する特徴量演算手段と、
上記特徴量演算手段によって演算されたマルチメディアオブジェクトの特徴量重み係数を演算する重み係数演算手段と、
上記特徴量演算手段によって演算された特徴量および上記重み係数演算手段によって演算された特徴量重み係数を用いて上記データベースに予め蓄積されたマルチメディアオブジェクトの類似度検索を行う類似度検索手段と、
上記類似度検索手段による類似度検索の結果に基づき上記入力／指定手段によって指定されたマルチメディアオブジェクトと類似するオブジェクトを類似度順位の決定結果に対応して表示する表示手段と、
上記表示手段によって表示されたマルチメディアオブジェクトの類似度順位をドラッグアンドドロップ動作によって変更する類似度順位変更手段と、
上記類似度順位変更手段によって変更された類似度順位に基づき上記ドラッグアンドドロップ動作によって類似度順位を変更したオブジェクト及び当該オブジェクトの類似度順位より類似度が一つ低い位置と類似度が一つ高い位置に存在するオブジェクトの３つのオブジェクトのみに対して特徴量を求め、この求めた演算結果からそれぞれの類似度に関する拘束条件を定義し、さらにこの定義に基づき上記マルチメディアオブジェクトの特徴量重み係数の再計算を行い、この特徴量重み係数を用いて類似度の再計算を行う類似度計算手段と、
を有することを特徴とするマルチメディアオブジェクト検索システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001331347A JP4014390B2 (ja) | 2001-10-29 | 2001-10-29 | マルチメディアオブジェクト検索システム |
| US10/278,358 US7310630B2 (en) | 2001-10-29 | 2002-10-23 | Multimedia-object-retrieving method and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001331347A JP4014390B2 (ja) | 2001-10-29 | 2001-10-29 | マルチメディアオブジェクト検索システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003141161A JP2003141161A (ja) | 2003-05-16 |
| JP4014390B2 true JP4014390B2 (ja) | 2007-11-28 |
Family
ID=19146944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001331347A Expired - Fee Related JP4014390B2 (ja) | 2001-10-29 | 2001-10-29 | マルチメディアオブジェクト検索システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7310630B2 (ja) |
| JP (1) | JP4014390B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005011180A (ja) * | 2003-06-20 | 2005-01-13 | Nec Corp | Ｕｒｌ検索システム及びそれに使用するサーバ並びにｕｒｌ検索方法 |
| US20040267746A1 (en) * | 2003-06-26 | 2004-12-30 | Cezary Marcjan | User interface for controlling access to computer objects |
| JP2005316699A (ja) * | 2004-04-28 | 2005-11-10 | Hitachi Ltd | コンテンツ公開システム、コンテンツ公開方法、及びコンテンツ公開プログラム |
| US7557818B1 (en) * | 2004-10-06 | 2009-07-07 | Apple Inc. | Viewing digital images using a floating controller |
| US7471825B2 (en) * | 2005-08-04 | 2008-12-30 | Sony Corporation | System and method for utilizing a graphic equalizer in performing image search procedures |
| CA2597200A1 (en) * | 2007-08-13 | 2009-02-13 | Semiconductor Insights Inc. | Method and apparatus for organizing claim elements |
| JP2010250630A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 画像サーバー、画像検索システムおよび画像検索方法 |
| CN102474586B (zh) | 2010-06-16 | 2015-10-21 | 松下电器（美国）知识产权公司 | 影像检索装置、影像检索方法、记录介质、程序、集成电路 |
| JP5742472B2 (ja) * | 2011-05-26 | 2015-07-01 | ヤマハ株式会社 | データ検索装置およびプログラム |
| EP2860940B1 (en) * | 2013-09-27 | 2016-09-14 | Alcatel Lucent | Method for caching |
| JP2019125333A (ja) * | 2018-01-12 | 2019-07-25 | 富士通株式会社 | 間取り抽出プログラム、間取り抽出方法及び情報処理装置 |
| CN111492424A (zh) * | 2018-10-19 | 2020-08-04 | 索尼公司 | 信息处理设备、信息处理方法以及信息处理程序 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0721198A (ja) | 1993-06-17 | 1995-01-24 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索方法 |
| JPH09101970A (ja) | 1995-10-06 | 1997-04-15 | Omron Corp | 画像検索方法および画像検索装置 |
| JP3609225B2 (ja) | 1996-11-25 | 2005-01-12 | 日本電信電話株式会社 | 類似オブジェクト検索装置 |
| US6097389A (en) * | 1997-10-24 | 2000-08-01 | Pictra, Inc. | Methods and apparatuses for presenting a collection of digital media in a media container |
| WO2000045341A1 (en) * | 1999-01-29 | 2000-08-03 | Lg Electronics Inc. | Method of searching or browsing multimedia data and data structure |
| US20020165814A1 (en) * | 2001-05-04 | 2002-11-07 | Juhnyoung Lee | System and method for ranking objects having multiple attributes |
-
2001
- 2001-10-29 JP JP2001331347A patent/JP4014390B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-23 US US10/278,358 patent/US7310630B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030084064A1 (en) | 2003-05-01 |
| US7310630B2 (en) | 2007-12-18 |
| JP2003141161A (ja) | 2003-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5344715B2 (ja) | コンテンツ検索装置およびコンテンツ検索プログラム | |
| JP4014390B2 (ja) | マルチメディアオブジェクト検索システム | |
| US8965907B2 (en) | Assisted filtering of multi-dimensional data | |
| US7296021B2 (en) | Method, system, and article to specify compound query, displaying visual indication includes a series of graphical bars specify weight relevance, ordered segments of unique colors where each segment length indicative of the extent of match of each object with one of search parameters | |
| US20010023418A1 (en) | Method and apparatus for estimating product cost | |
| US7333991B2 (en) | Digital design and maintenance system and method | |
| JP2017500664A (ja) | 多ディメンション・データー構造に対する実行のためのクエリー構築 | |
| JP2008546106A (ja) | セグメンテーション定義の作成 | |
| WO2009035998A1 (en) | Sharing quantity takeoff data between computer aided design projects | |
| US20230325544A1 (en) | Methods and apparatus for artificial intelligence conversion of a two-dimensional reference into a takeoff | |
| US20230065307A1 (en) | Methods and apparatus for quantifying requirements in construction of a building | |
| US20120265654A1 (en) | System and method for creating a build set and bill of materials from a master source model | |
| JP3881510B2 (ja) | 曲面モデルの同定方法及びプログラム | |
| Maietti et al. | Accessing and understanding heritage buildings through ICT. The INCEPTION methodology applied to the Istituto degli Innocenti | |
| CN108090110A (zh) | 推荐软件动作以创建图像和推荐图像以示范软件动作的效果 | |
| JP2002304555A (ja) | 製品提案方法及びシステム | |
| JP3599405B2 (ja) | データ表示方法及びそのシステム | |
| US20060080279A1 (en) | Customized and customizable engineering calculation and project detailing system | |
| JP3466729B2 (ja) | 情報提示方法 | |
| JP3492991B2 (ja) | 画像処理装置及び画像処理方法並びに記録媒体 | |
| JP2002215686A (ja) | 建築見積システムおよびその処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| KR100375926B1 (ko) | 인터넷 기반의 가중치 속성을 사용한 정보 검색 방법 | |
| JP3660156B2 (ja) | 設計支援装置、設計情報管理装置、設計情報編集方法、設計支援システムおよび設計情報編集プログラムを格納する記録媒体 | |
| US20240203042A1 (en) | User-Context Aware Rendering Dataset Selection | |
| Nuriyev et al. | Z-Numbers-based approach to hotel service quality assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070305 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070614 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070704 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070911 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |