JP4359685B2 - 映像提供装置及び映像提供方法 - Google Patents

映像提供装置及び映像提供方法 Download PDF

Info

Publication number
JP4359685B2
JP4359685B2 JP2006098686A JP2006098686A JP4359685B2 JP 4359685 B2 JP4359685 B2 JP 4359685B2 JP 2006098686 A JP2006098686 A JP 2006098686A JP 2006098686 A JP2006098686 A JP 2006098686A JP 4359685 B2 JP4359685 B2 JP 4359685B2
Authority
JP
Japan
Prior art keywords
video
index
order
similarity
predetermined number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006098686A
Other languages
English (en)
Other versions
JP2007272651A (ja
Inventor
健郎 相原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inter University Research Institute Corp Research Organization of Information and Systems
Original Assignee
Inter University Research Institute Corp Research Organization of Information and Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inter University Research Institute Corp Research Organization of Information and Systems filed Critical Inter University Research Institute Corp Research Organization of Information and Systems
Priority to JP2006098686A priority Critical patent/JP4359685B2/ja
Publication of JP2007272651A publication Critical patent/JP2007272651A/ja
Application granted granted Critical
Publication of JP4359685B2 publication Critical patent/JP4359685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は映像提供装置及び映像提供方法に関する。詳しくは、多数のアーカイブ映像情報を時系列関係及び類似関係を分りやすく整理し表示するアーカイブ映像提供装置及びアーカイブ映像提供方法に関する。
従来の情報の類似度を判定するものとして、文書の類似度をベクトル空間モデルを用いて判定するものがあった。ベクトル空間モデルは、出現単語に基づいて文書を1つのベクトルで表現し、文書間の類似性をベクトル間の関係(余弦など)で定義する手法である。この系列で、文書集合を構成する文書の特徴を要素とするベクトルデータを文書集合の特徴量とすることにより文書集合の類似性を判定するものや、多変数の時系列データ同士の類似度を判定するために、データセットを平均値ベクトル、分散ベクトル、主成分分析の結果などの特徴量ベクトルに変換して、類似度を演算するものがあった。また、コンピュータを発想支援に利用して類似関係を2次元空間に分かり易く整理し表示しようとする試みがあった。(特許文献1,2、非特許文献1,2参照)
特開2001−249951号広報(段落0052〜0088、図1〜4) 特開2002−15000号広報(段落0029〜0066、図1〜12) 相原健郎、堀浩一、大須賀節雄「断片的な情報の集まりから知識を構築する過程の支援」人工知能学会誌、Vol.11 No.3 p432〜439 1996年5月 杉本雅則、堀浩一、大須賀節雄「設計問題への発想支援システムの応用と発想過程のモデルから知識を構築する過程の支援」人工知能学会誌、Vol.8 No.5 p575〜581 1993年9月
多数の映像を1画面に配列する場合、通常は2次元に(縦横に)配列される。従って、縦横2つの要素を選択できる。その場合、一方を時系列順、他方を類似度順に選択して配列配置できれば、利用価値が大きいと考えられる。しかしながら、ベクトル空間を用いる方法では時系列関係はベクトルの1つの次元としてしか扱われず、また、コンピュータを発想支援に利用する方法では時系列関係を開示しておらず、従来の方法で、映像情報、特にアーカイブ映像情報を提供するに際し、多数の映像について時系列関係及び類似関係を分りやすく整理し表示するものは見当たらない。
本発明は、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置及び映像提供方法を提供することを目的とする。
上記課題を解決するために、本発明の第1の態様に係る映像提供装置1は、例えば図1に示すように、表題毎にグループにまとめられた複数の映像を蓄積した映像情報データベース3と、各映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段5と、映像情報データベース3から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出手段6と、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第1の軸に沿って時間的指標の順に配置し、所定数抽出した類似度指標が最も近い映像を第2の軸に沿って類似度指標の順に配置し、画面に表示する映像表示手段4とを備える。
ここにおいて、時間的指標とは、各グループの映像における時系列順序を示す指標をいい、典型的にはストーリー順をいうが、工程順、歴史順、製作順でも良い。また、類似度指標とは、内容の類似性を表す指標をいい、指標値の差が小さい程類似性が高い。全映像を対象にしても良く、各グループの代表映像を対象にしても良い。また、映像抽出手段6は、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出してから時間的指標の順に並べても良く、時間的指標の順に並べてから所定数抽出しても良い。また、注目映像に類似度指標が最も近い映像を所定数抽出してから類似度指標の順に並べても良く、類似度指標の順に並べてから所定数抽出しても良い。また、所定数とは、画面に表示する映像数をいうが、所定数以上抽出し、並べ、画面に表示する際に所定数に絞っても、所定数の映像が含まれた状態で抽出され、まとまった状態で並べられるので、それでも良い。このように構成すると、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置を提供できる。
また、本発明の第2の態様は、第1の態様に係る映像提供装置において、例えば図6に示すように、時間的指標は前記注目映像が属するグループにおけるストーリーの順序に基づいて定められる。このように構成すると、教材、講義、プレゼンテーション等に適した映像の表示ができる。
また、本発明の第3の態様は、第1又は第2の態様に係る映像提供装置において、例えば図4に示すように、類似度指標は、主成分分析における第1主成分と他の主成分からなる直交座標において、各映像に係るプロット点の前記第1主成分軸に対する回転角により定められる。このように構成すると、類似度を回転角で表示でき、映像をリング状に配置できるので、2次元表示の一軸上に配置でき、便利である。
また、本発明の第4の態様は、第3の態様に係る映像提供装置において、主成分分析は、映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする。このように構成すると、キーワードを特徴として選ぶことにより、類似度を判断する具体的データを作成できる。
また、本発明の第5の態様は、第1乃至第4のいずれかの態様に係る映像提供装置において、例えば図1に示すように、映像抽出手段6は、映像をグループ毎に時間的指標順に記憶し、各映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶手段7と、指標順記憶手段7に記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、指標順記憶手段7に記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出手段8とを有する。このように構成すると、指標順に記憶する指標順記憶手段を用いることにより、注目映像の前後の所定数のデータを取得するに際し、高速度の読み出しが可能になる。
また、本発明の第6の態様に係る映像提供方法は、例えば図9に示すように、表題毎にグループにまとめられた複数の映像を映像情報データベース3に蓄積する映像蓄積工程(S001)と、各映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与工程(S002)と、映像情報データベース3から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出工程(S003)と、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第1の軸に沿って時間的指標の順に配置し、所定数抽出した類似度指標が最も近い映像を第2の軸に沿って類似度指標の順に配置し、画面に表示する映像表示工程(S004)とを備える。
ここにおいて、映像抽出工程(S003)は、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出してから時間的指標の順に並べても良く、時間的指標の順に並べてから所定数抽出しても良い。また、注目映像に類似度指標が最も近い映像を所定数抽出してから類似度指標の順に並べても良く、類似度指標の順に並べてから所定数抽出しても良い。このように構成すると、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供方法を提供できる。
また、本発明の第7の態様は、第6の態様に係る映像提供方法において、時間的指標は注目映像が属するグループにおけるストーリーの順序に基づいて定められ、類似度指標は、主成分分析における第1主成分と他の主成分からなる直交座標において、各映像に係るプロット点の第1主成分軸に対する回転角により定められ、主成分分析は、映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする。このように構成すると、教材、講義、プレゼンテーション等に適した映像の表示ができる。
また、本発明の第8の態様は、第6又は第7の態様に係る映像提供方法において、例えば図9に示すように、映像抽出工程(S003)は、映像をグループ毎に時間的指標順に記憶し、また、映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶工程(S005)と、指標順記憶工程(S005)で記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶工程(S005)で記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出工程(S006)とを有する。ここにおいて、指標順記憶工程及び指標順データ抽出工程では、映像情報データベース3に記憶された全ての映像又は或るグループの全ての映像について指標順に記憶又は取得されなければならない意味ではなく、記憶又は取得された全ての映像が時間的指標順又は類似度指標順に整列されていれば良い意味である。このように構成すると、指標順に記憶する指標順記憶工程を用いることにより、注目映像の前後の所定数のデータを取得するに際し、高速度の読み出しが可能になる。
本発明によれば、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置及び映像提供方法を提供できる。
〔第1の実施の形態〕
図1に第1の実施の形態における映像提供装置の構成例を示す。本実施の形態を含め以下の実施の形態では、映像がアーカイブ映像であり、映像提供装置がアーカイブ映像提供装置であり、映像提供方法がアーカイブ映像提供方法であり、映像情報データベースがアーカイブ情報データベースである例について説明する。アーカイブ映像提供装置1は、アーカイブ映像提供装置1全体を制御して、アーカイブ映像を提供するように機能させると共に、必要な各種演算を行なう演算制御装置2と、多数のアーカイブ映像を蓄積したアーカイブ情報データベース3と、抽出された注目映像を含む複数のアーカイブ映像を画面に表示する映像表示手段4により構成される。アーカイブ情報データベース3に蓄積されるアーカイブ映像は表題毎にストーリーを有し1つのグループにまとめられている。演算制御装置2は、各アーカイブ映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段5と、アーカイブ情報データベース3から注目映像を含む複数の映像を抽出する映像抽出手段6とを有する。映像抽出手段6は、アーカイブ映像をグループ毎に時間的指標順に記憶し、また、各アーカイブ映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶手段7と、指標順記憶手段7に記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶手段7に記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出手段8とを有する。映像表示手段4は、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第1の軸に沿って時間的指標の順に配置し、所定数抽出した類似度指標が最も近い映像を第2の軸に沿って類似度指標の順に配置し、画面に表示する。
本実施の形態では、アーカイブ映像が漆工芸に係わる例について具体的に説明する。
図2に映像とその説明文の例を示す。図2(a)に映像、(b)にその説明文を示す。アーカイブ情報データベース3は、かかる映像とそれに付随する説明文の組み合わせを多数蓄積している。映像は、撮影画像、描画画像、グラフィック画像、合成画像のいずれの映像でも良く、サムネイルなどとしてアーカイブ情報データベース3に蓄積されている。図2(b)の説明文は、「この映像は、硯箱の蓋に蒔絵を施した漆器で、黒塗りの円を背景に大きく羽を広げた鶴が描かれています。白、黒を基調に、赤、金、青、紫の配色がされて美しく描かれています。蒔絵は日本文化が育んだ工芸であり、奈良時代から、経文、文具、茶道具などを収納する木箱等に描かれてきました。蒔絵には、置目、地塗り、粉蒔き、磨き、上絵付け等の工程があり、その値打は熟練者の技と美的感覚に強く依存します。」であり、このサムネイルの説明文からキーワードが文字認識技術を用いてピックアップされる。
例えば、伝統工芸教科用のアーカイブ映像提供装置では、これら伝統工芸に関する映像を、1つの映像から次に参照したい映像を直ぐに見出せるように整理して配置配列し、画面に表示する必要がある。その分かりやすい整理の仕方の1つは、もし、1つのテーマ(1つの授業)に関する講義、講演、セミナー、解説、物語の中で複数の映像が時系列的に参照されていれば、その時系列順に映像を配列して示すことであり、また、他の1つは、表示されている映像に類似するものほど参照される度合いが大きいと考えられるため、類似度の高い程近くに、低い程遠くになるように配列して示すことである。また、その他、映像名のアイウエオ順とか、製作日順とか、関連する地域や時代の順序に配列して示す方法もある。
ところで、多数の映像を1画面に配列する場合、通常は2次元に(縦横に)配列される。従って、縦横2つの要素を選択できる。その場合、一方を時系列順、他方を類似度順に選択して配列配置できれば、利用価値が大きいと考えられる。ところで時系列順は直ぐに定められるが、類似度については多様な基準があるので、どのような基準を用いるのが最も適切かは単純に定められない。
多変量データについては特異値分解(SVD:Singular Value Decomposition)を用いた主成分分析(PCA:Principal Component Analysis)を行うことによって、相関関係にある変数を合成して次元を縮退させることができる。多変量データは、類似するデータを他と識別でき、近くに集まるように、直交するいくつかの主成分で構成される空間上に射影される。この手法を用い第1主成分を横軸に第2主成分を縦軸にして映像を配置すると、全ての映像を2次元配置でき、このとき中心点の周りの角度が類似性を表示する指標となる。すなわち、類似性のあるものが中心から同じ角度の放射線近傍に集まり、角度の開きが類似度に対応することとなる。本実施の形態では、第1主成分と第2主成分のみを抽出し、第1主成分を横軸に第2主成分を縦軸に配置した。第3主成分以下を割愛したのは類似度評価の簡素化のためであり、2次元表示を実現させるためである。
図3に映像とキーワードの関係を頻度で示す。ここで、No.が映像No.を示す。キーワードが変数の要素として用いられる。すなわち、これらのキーワードを有する映像の母集団に基づいて、第1主成分、第2主成分、・・・、及び各成分値が定められる。すなわち、各映像が2次元表示のどこに配置されるかが定まり、中心の周りの角度により類似性が定まる。
図4は、特異値分解を用いた主成分分析による映像配置の例を示す。データを示す表でA,B,Cが映像を示し、x、y、zが例えばキーワードを示し、データは説明文中のキーワードの出現頻度を示す。データの行列から、特異値分解により特異値および特異ベクトルが定まり、これに基づき主成分分析すると、第1主成分(主成分1)、第2主成分(主成分2)、・・・、及び各成分値が定まる。第1主成分を横軸に、第2主成分を縦軸にすると、これらの成分値に応じて、A,B,C等の各映像がグラフ上に配置される。このとき、各映像のプロット点を単位円上に射影すると、各映像は円周(コンテンツ環)上に射影配置されて、横軸からの回転角が類似度指標を表し、データ間の円周距離又は円周角が類似度を表すことになり、類似性が高いものが近くに集まることになる。例えば、「研ぎ出し蒔絵」に関連するコンテンツの集合は第1象限の或る領域に集まり、作家「Mさん」に関連するコンテンツの集合は第4象限の或る領域に集まる。
図5に映像を類似度−時間軸表示に配置する例を示す。横軸に時系列順に配置するための時間軸をとり、縦軸を円環で表示し円周角を類似性に関連させたものである。このようにすると、各映像は第1主成分を横軸、第2主成分を縦軸とするグラフの円周角に応じてこの円環上に配置される。
円周上には類似性の順序に従って映像が並ぶ。必ずしも回転角の射影点に配置するのでなく、類似性の順序に従って近い順に並べるので、重なって配置されることはない。また、2以上の映像が同じ類似度、すなわち同じ角度上に併存する場合には、例えば第1主成分値が大きい方(従って第2主成分値も大きい)を近くに配置する、さらに、第1主成分値が等しい場合には、第3主成分が大きい方を近くに配置する等により順序を決めれば良い。したがって、アーカイブ映像の類似度指標によるコンテンツ環への配列順序は固定的に定まる。時間軸上には説明(ストーリー)の順序に従って映像が並ぶ。この場合も時間通りに配置するのではなく、ストーリー順に配置するので、重なって配置されることはない。
次に、アーカイブ情報データベース3に蓄積された多数の映像の中から目的とする映像を見出すには、通常の情報提供システムと同様に検索を行う。例えばキーワードの乗算を用いて検索を行い、ヒットした映像のリストを一覧表示し、その中から目的とする映像を特定し、抽出する。例えば、図2の映像を目的として「蒔絵」×「漆器」で検索を行い、一覧表示に、タイトル、著作者、著作日等を表示し、これらの中から該当すると思われるもの、或は適切と思われるものを抽出して、画面に表示する。これにより、目的とする映像を中心に横軸に時間的指標順に、縦軸に類似度指標順に、映像が十文字状に配置される。
アーカイブ映像の類似度指標によるコンテンツ環への配列順序は固定的に定まり、目的とする映像はコンテンツ環のいずれかに位置する。目的とする映像の近傍には当該映像に類似度指標が最も近い映像が類似度指標の順に並び、この順序も固定的に定まる。したがって、各アーカイブ映像を類似度指標順に指標順記憶手段7に記憶すると、目的とする映像の前後の所定数のデータを類似度指標順に取得するに際し、これらのデータを連続して読み出せるので、高速度の読み出しが可能になる。また、同じ表題(グループ)内ではアーカイブ映像をストーリー順に並べると時間的指標順になり、この順序も固定的に定まるので、時間的指標順に指標順記憶手段7に記憶すると、目的とする映像の前後の所定数のデータを時間的指標順に取得するに際し、これらのデータを連続して読み出せるので、高速度の読み出しが可能になる。
図6に類似度−時間軸表示の配列例を示す。目的とする蒔絵を中心に縦軸、横軸上にサムネイルが配置される。横軸に注視しているアーカイブ映像(注目映像)と時間的に連続する映像が時間的指標の順序に配置され、縦軸には注視しているアーカイブ映像(注目映像)と内容的に類似する映像が類似度指標の順序に配置される。例えば、横軸を見ると、左から、説明者、小手箱、硯、硯の蓋に描かれた鶴の蒔絵、別の蒔絵の拡大図、なつめを納めた袋、袋から取り出したなつめが、説明者のストーリーの順序に表示されている。縦軸を見ると、蒔絵の技法の習得に関する内容のものが表示されている。
図7に、図6から時間軸上を1つ進めた類似度−時間軸表示の例を示す。別の蒔絵の拡大図が中心に配置され、時間軸上にあった映像が1つずつ左にずれて、右端に扉に描かれた蒔絵が新たに表示されている。縦軸を見ると、内容が全く変り、貝などを使った蒔絵に関する内容のものが表示されている。
図8に、図7からさらに時間軸上を辿った類似度−時間軸表示の例を示す。蒔絵が描かれたなつめが中心に配置され、時間軸上にあった映像が2つずつ左にずれて、右端側に説明者が新たに表示されている。縦軸を見ると、内容が全く変り、漆工芸の発展に関する内容(上側は服飾関係、下側は万年筆関係)のものが表示されている。
本実施の形態では、横軸に配置される映像はストーリーに属するものに限られる。他方、縦軸は全ての映像が類似度指標の順序で配置されており、横軸に配置された映像もこの円環のいづれかに存在する。しかし、類似度指標は各映像に固有の値を示すので、映像の配列順序は不変である。したがって、縦軸の表示は,注目映像を中心にして、円環(コンテンツ環)の中からその近傍にある部分が抽出されて表示されることになる。
ここで、縦軸で1つ上の映像を注目画像として選択すると、縦軸上の映像は1つずつ下に移る。この場合、横軸は同じストーリーに属する映像であれば、同じストーリーで新たな注目映像が中心になるように映像がずれて表示され、同じストーリーに属さない映像であれば、全く異なるストーリーの映像が配置される。
図9に第1の実施の形態における映像提供方法、すなわちアーカイブ映像提供方法の処理フロー例を示す。まず、表題毎にグループにまとめられた多数のアーカイブ映像をアーカイブ情報データベース3に蓄積する(映像蓄積工程:S001)。次に、指標付与手段5において、各アーカイブ映像に時間的指標と内容の類似性を表す類似度指標を付与する(指標付与工程:S002)。次に、映像抽出手段6において、アーカイブ情報データベース3から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を時間的指標の順に並べて所定数抽出し、注目映像に類似度指標が最も近い映像を類似度指標の順に並べて所定数抽出する(映像抽出工程:S003)。映像抽出工程(S003)は、指標順記憶手段7にアーカイブ映像をグループ毎に時間的指標順に記憶し、また、各アーカイブ映像又は各グループの代表映像を類似度指標順に記憶し(指標順記憶工程:S005)、指標順データ抽出手段8において、指標順記憶工程(S005)で記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶工程(S005)で記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する(指標順データ抽出工程:S006)。次に、映像表示手段4において、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第1の軸に沿って時間的指標の順に配置し、所定数抽出した類似度指標が最も近い映像を第2の軸に沿って類似度指標の順に配置し、画面に表示する(映像表示工程:S005)。
〔第2の実施の形態〕
第1の実施の形態はすべての映像について類似度指標を求める例を説明したが、第2の実施の形態では、映像を時系列データ(ストーリー)毎にグループ化し、1つの時系列データについては表紙映像などの代表映像について類似度指標を求める例を説明する。このようにすると、類似度指標を求めるための第1主成分−第2主成分グラフにプロットする映像の数を少なくできるので、表示画面に表示される映像の数を少なくでき、このため、多くのグループから目的とするグループの映像を探し易くなる。すなわち、各注目映像について、横軸の時系列映像は第1の実施の形態と同様に表示されるが、縦軸の類似度指標に基づいて縦軸上に配列される映像は、各グループの代表映像に限られ、第1の実施の形態に比して、「平均映像数/グループ」で除した数になり少なくなる。これにより、縦軸方向をサーチする場合は、多くのグループに早く辿りつき、グループ単位に探すのに便宜である。
また、代表映像として、表紙映像、先頭映像、特別に製作した映像などを選択できる。また、類似度指標を作成するための説明文として、例えば、映像グループのストーリーにかかる説明文、その中の1つの映像に係る説明文、グループの全ての映像の説明文を合成したもの、のいずれとしても良い。
〔第3の実施の形態〕
第1、第2の実施の形態では、表示画面に縦横十文字に配列する例を説明したが,第3の実施の形態では、中心に位置しない十文字上の映像をクリックした場合、その映像が横軸(時系列)上にあれば、その映像の上下に類似度指標に基づく映像が表示され、その映像が縦軸(類似)上にあれば、その映像の左右に時系列(ストーリー)を示す映像が表示される。そして、これら新たな帯上に表示された映像をクリックする(十文字上の映像については2度目のクリックになる)と、その映像が中心に移動する。このようにすると、表示画面の空きスペースを有効に利用して、十文字上にない映像を早くサーチできる。
〔第4の実施の形態〕
第1〜第3の実施の形態では、第1主成分と第2主成分で類似度指標を作成する例を説明したが、第4の実施の形態では、第1主成分と第3主成分、第1主成分と第4主成分、…で類似性の指標を作成する例を説明する。第1主成分は最も識別性の強い指標を示し、第2主成分は次に識別性の強い指標を示し、第3主成分は3番目に識別性の強い指標を示すと解釈されるので、第1主成分と第2主成分で類似性の指標を作成する場合に、最も明瞭な類似度指標を示すと解釈されるが、第1主成分と第3主成分、第1主成分と第4主成分類似性の指標を作成する場合には、第1主成分と第2主成分で類似性の指標を作成する場合とは異なる角度で、しかも何らかの識別性を反映した類似度指標となり、その識別性とサーチする者の意図がうまく整合した場合には、目標の映像に早く到達できる可能性がある。また、第1主成分と組み合わせる主成分を選択可能に構成しても良い。
〔第5の実施の形態〕
第1〜第4の実施の形態では、アーカイブ情報データベース3が全体で1つのグループを構成する例を説明したが、第5の実施の形態では、アーカイブ情報データベース3を分野に応じて複数のグループに分割して構成する例である。例えば、グループを漆、藍染め、螺鈿等に分割して構成しても良い。このように構成すると、小グループ内でサーチでき、ノイズが少なくなり、専門分野に特化したサーチができる。
〔第6の実施の形態〕
例えば、アーカイブを、歴史と地理(文化の類似度)のようなもので整理する。表題を例えば、「蒔絵」、「輪島塗」、「景徳鎮」、「西陣織」等とする。時間軸を時代順とする。類似度指標を特異値分解に基づき、主成分分析を行うと、類似した文化の順に映像が整列するので、これにより、例えば、文化伝来の経路(例えば、陶器、衣類、書画などの伝来の経路)の順序に並び、歴史と文化を理解し易くなる可能性がある。
以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。
例えば、以上の実施の形態ではアーカイブ映像の静止映像を使用する例を説明したが、新作映像や動的映像にも本発明を適用可能である。また、以上の実施の形態では、データの特徴量として説明文中のキーワードの出現頻度を使用する例を説明したが、キーワードをシソーラスで整理し、同じシソーラスに属するものには類似ポイントでウエイト付けしても良い。また、以上の実施の形態では、時間的指標としてストーリー順を使用する例を説明したが、工程順としても良い。この場合は工程に則した説明が可能となる。また、時間軸−類似度表示の縦横を逆にしても良く、画面に表示する映像の数等を適宜変更可能である。
本発明は、アーカイブ映像等の映像提供に利用される。
第1の実施の形態における映像提供装置の構成例を示す図である。 映像とその説明文の例を示す図である。 映像とキーワードの関係を頻度で示す図である。 主成分分析による映像配置の例を示す図である。 映像を類似度−時間軸表示に配置する例を示す図である。 類似度−時間軸表示の配列例を示す図である。 図6から時間軸上を1つ進めた類似度−時間軸表示の例を示す図である。 図7からさらに時間軸上を辿った類似度−時間軸表示の例を示す図である。 第1の実施の形態における映像提供方法の処理フロー例を示す図である。
符号の説明
1 アーカイブ映像提供装置
2 演算制御装置
3 アーカイブ情報データベース
4 映像表示手段
5 指標付与手段
6 映像抽出手段
7 指標順記憶手段
8 指標順データ抽出手段

Claims (2)

  1. 表題毎にグループにまとめられた複数の映像を蓄積した映像情報データベースと;
    各前記映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段と;
    前記映像情報データベースから注目映像を抽出すると共に、前記注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、前記注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出手段と;
    前記抽出された注目映像を中心に、前記所定数抽出した時間的指標が最も近い映像を第1の軸に沿って時間的指標の順に配置し、前記所定数抽出した類似度指標が最も近い映像を前記第1の軸と交差する第2の軸に沿って類似度指標の順に配置し、画面に十文字状に表示する映像表示手段とを備え;
    前記時間的指標は前記注目映像が属するグループにおけるストーリーの順序に基づいて定められ;
    前記類似度指標は、主成分分析における第1主成分と他の主成分からなる直交座標において、各前記映像に係るプロット点の前記第1主成分軸に対する回転角により定められ、各前記映像は前記プロット点を単位円上に射影したコンテンツ環上に配置され;
    前記映像抽出手段は、前記映像をグループ毎に時間的指標順に記憶し、各前記映像又は各グループの代表映像を前記コンテンツ環への配列順序に対応する類似度指標順に記憶する指標順記憶手段と、前記指標順記憶手段に記憶された前記注目映像と同じグループ内の時間的指標順のデータから前記注目映像の前後の時間的指標順に連続する所定数のデータを取得し、前記指標順記憶手段に記憶された類似度指標順のデータから前記注目映像の前後の類似度指標順に連続する所定数のデータを取得する指標順データ抽出手段とを有する;
    映像提供装置。
  2. コンピュータにより実行される方法であって;
    表題毎にグループにまとめられた複数の映像を受け付け、映像情報データベースに蓄積する映像蓄積工程と;
    各前記映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与工程と;
    前記映像情報データベースから注目映像を抽出すると共に、前記注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、前記注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出工程と;
    前記抽出された注目映像を中心に、前記所定数抽出した時間的指標が最も近い映像を第1の軸に沿って時間的指標の順に配置し、前記所定数抽出した類似度指標が最も近い映像を前記第1の軸と交差する第2の軸に沿って類似度指標の順に配置し、画面に十文字状に表示する映像表示工程とを備え;
    前記時間的指標は前記注目映像が属するグループにおけるストーリーの順序に基づいて定められ;
    前記類似度指標は、主成分分析における第1主成分と他の主成分からなる直交座標において、各前記映像に係るプロット点の前記第1主成分軸に対する回転角により定められ、各前記映像は前記プロット点を単位円上に射影したコンテンツ環上に配置され;
    前記主成分分析は、前記映像に係る説明文における所定のキーワードの出現頻度を各特徴量とし;
    前記映像抽出工程は、前記映像をグループ毎に時間的指標順に記憶し、また、前記映像又は各グループの代表映像を前記コンテンツ環への配列順序に対応する類似度指標順に記憶する指標順記憶工程と、前記指標順記憶工程で記憶された前記注目映像と同じグループ内の時間的指標順のデータから前記注目映像の前後の時間的指標順に連続する所定数のデータを取得し、また、前記指標順記憶工程で記憶された類似度指標順のデータから前記注目映像の前後の類似度指標順に連続する所定数のデータを取得する指標順データ抽出工程とを有する;
    映像提供方法。
JP2006098686A 2006-03-31 2006-03-31 映像提供装置及び映像提供方法 Active JP4359685B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006098686A JP4359685B2 (ja) 2006-03-31 2006-03-31 映像提供装置及び映像提供方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006098686A JP4359685B2 (ja) 2006-03-31 2006-03-31 映像提供装置及び映像提供方法

Publications (2)

Publication Number Publication Date
JP2007272651A JP2007272651A (ja) 2007-10-18
JP4359685B2 true JP4359685B2 (ja) 2009-11-04

Family

ID=38675378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006098686A Active JP4359685B2 (ja) 2006-03-31 2006-03-31 映像提供装置及び映像提供方法

Country Status (1)

Country Link
JP (1) JP4359685B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5001569B2 (ja) * 2006-04-04 2012-08-15 富士フイルム株式会社 画像表示制御装置ならびにその制御方法およびそのプログラム
JP5121367B2 (ja) 2007-09-25 2013-01-16 株式会社東芝 映像を出力する装置、方法およびシステム
JP2009080580A (ja) 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法
US8306992B2 (en) 2008-06-26 2012-11-06 Nec Corporation System for determining content topicality, and method and program thereof
JP5060430B2 (ja) 2008-08-28 2012-10-31 株式会社東芝 表示制御装置、及び方法
JP4675995B2 (ja) 2008-08-28 2011-04-27 株式会社東芝 表示処理装置、プログラムおよび表示処理方法
JP5388631B2 (ja) 2009-03-03 2014-01-15 株式会社東芝 コンテンツ提示装置、及び方法
JP4852119B2 (ja) 2009-03-25 2012-01-11 株式会社東芝 データ表示装置、データ表示方法、データ表示プログラム
JP5505411B2 (ja) * 2009-04-16 2014-05-28 日本電気株式会社 関係情報表示装置、関係情報表示方法および関係情報表示プログラム
JP4649527B1 (ja) * 2009-09-11 2011-03-09 株式会社東芝 表示処理装置、及び表示処理方法
JP4745437B2 (ja) 2009-10-29 2011-08-10 株式会社東芝 表示処理装置及び表示処理方法
JP4802275B2 (ja) * 2009-12-21 2011-10-26 株式会社東芝 表示装置及び表示方法
JP2010250842A (ja) * 2010-06-02 2010-11-04 Toshiba Corp 表示処理装置、表示処理方法、およびプログラム
JP4977247B2 (ja) * 2010-12-09 2012-07-18 株式会社東芝 表示処理装置、及び表示処理方法
JP6590329B1 (ja) * 2019-06-26 2019-10-16 株式会社ラディウス・ファイブ 画像表示システム及びプログラム

Also Published As

Publication number Publication date
JP2007272651A (ja) 2007-10-18

Similar Documents

Publication Publication Date Title
JP4359685B2 (ja) 映像提供装置及び映像提供方法
Huang et al. A dataset of daily interactive manipulation
US7356777B2 (en) System and method for providing a dynamic user interface for a dense three-dimensional scene
US9167189B2 (en) Automated content detection, analysis, visual synthesis and repurposing
CN106030610B (zh) 移动设备的实时3d姿势识别和跟踪系统
CN110263746A (zh) 基于姿势的视觉搜索
EP1424640A3 (en) Information storage and retrieval apparatus and method
Stober et al. Musicgalaxy: A multi-focus zoomable interface for multi-facet exploration of music collections
GB2569833A (en) Shape-based graphics search
Bayraktar et al. A hybrid image dataset toward bridging the gap between real and simulation environments for robotics: Annotated desktop objects real and synthetic images dataset: ADORESet
CN102930270A (zh) 基于肤色检测与背景消除的手部识别方法及系统
Wang et al. Cluster ensemble-based image segmentation
Lokoč et al. Revisiting SIRET video retrieval tool
US20160299662A1 (en) Graphically representing content relationships on a surface of graphical object
US20220308742A1 (en) User interface with metadata content elements for video navigation
Tsai A review of image retrieval methods for digital cultural heritage resources
Osimani et al. Point Cloud Deep Learning Solution for Hand Gesture Recognition
Bernhard Gugelmann Galaxy: an unexpected journey through a collection of Schweizer Kleinmeister
EP2465056B1 (en) Method, system and controller for searching a database
Yousefi et al. 3D hand gesture analysis through a real-time gesture search engine
Kwolek GAN-based data augmentation for visual finger spelling recognition
Saravanan et al. Image retrieval by image feature using data mining technique
Ma Analysis and modeling of 3D indoor scenes
JPH10340272A (ja) 類似画像検索装置及び方法
Singh et al. Semantics Based Image Retrieval from Cyberspace-A Review Study.

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350