JP5587171B2 - カテゴリベースヒストグラムを通じたディジタルオブジェクト提示 - Google Patents

カテゴリベースヒストグラムを通じたディジタルオブジェクト提示 Download PDF

Info

Publication number
JP5587171B2
JP5587171B2 JP2010500920A JP2010500920A JP5587171B2 JP 5587171 B2 JP5587171 B2 JP 5587171B2 JP 2010500920 A JP2010500920 A JP 2010500920A JP 2010500920 A JP2010500920 A JP 2010500920A JP 5587171 B2 JP5587171 B2 JP 5587171B2
Authority
JP
Japan
Prior art keywords
histogram
digital
subsection
digital objects
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010500920A
Other languages
English (en)
Other versions
JP2010522929A5 (ja
JP2010522929A (ja
Inventor
ステイシー リン ヒビノ
マーク ディー ウッド
Original Assignee
インテレクチュアル ベンチャーズ ファンド 83 エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテレクチュアル ベンチャーズ ファンド 83 エルエルシー filed Critical インテレクチュアル ベンチャーズ ファンド 83 エルエルシー
Publication of JP2010522929A publication Critical patent/JP2010522929A/ja
Publication of JP2010522929A5 publication Critical patent/JP2010522929A5/ja
Application granted granted Critical
Publication of JP5587171B2 publication Critical patent/JP5587171B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明はディジタルオブジェクトについての情報提示、特に時間等のカテゴリをベースにしてヒストグラムを生成し表示することでディジタルオブジェクトについての情報を提供する技術に関する。
ディジタルオブジェクトをコンピュータ上で作成及び再生する機会が増えたことやリムーバブルメモリ、内蔵型ハードディスク、ネットワークアクセス等に要するコストが低下したことで、各人が所有し又はアクセスを欲するディジタルオブジェクトの個数は増えており、コンピュータユーザが扱うファイルの個数は今や数十、数百という単位ではなく数千或いはそれ以上に上っている。同様に、ディジタルカメラも携帯時外形の小型化でユーザによる持ち運びが以前より頻繁になり、またそのメモリ容量増に伴いユーザが撮影機会1回当たりに撮影する写真及び動画クリップの本数も多くなっている。そのため、ディジタルオブジェクトの私蔵コレクションの規模は大きくなる傾向にあり、その扱いとそれへのアクセスはユーザにとり以前に増して面倒なことになりつつある。
米国特許第6721454号明細書 米国特許出願公開第2003/0103065号明細書 米国特許出願公開第2003/0103247号明細書 米国特許出願公開第2004/0167925号明細書 米国特許出願公開第2004/0202349号明細書 米国特許出願公開第2005/0117031号明細書 米国特許出願公開第2005/0076031号明細書 米国特許第5793888号明細書 米国特許出願公開第2002/0184196号明細書 米国特許第6782394号明細書 米国特許第6996782号明細書 米国特許第6606411号明細書 米国特許第6351556号明細書 米国特許第6950989号明細書 国際公開第WO2004/088664号パンフレット
Published in CHI 2005 Extended Abstracts, NY: ACM Press Mondrian v1.0, beta 3 (released 10/31/2006) -- intereractive statistics software for data analysis; [online] Internet URL: http://stats.math.uni-augsburg.de/Mondrian/Mondrian.html Calendar view from Adobe Photoshop Album, v2 software; commercial prooduct from Adobe Published in CHI 1996 Conference Proceedings, NY: ACM Press, p.221-227 Published in CSCW 2002 Conference Proceedings, NY: ACM Press Published in UIST 1998 Conference Proceedings, NY: ACM Press p.29-38 Published in CHI 1994 Conference Companion, NY: ACM Press Picasa (v.1) software for photo organization; product of Google Published in Joint Conference on Digital Libraries (JCDL) 2002 Conference Proceedings, NY: ACM Press, p.326-335 Published in Joint Conference on Digital Libraries (JCDL) 2004 Conference Proceedings, NY: ACM Press, p.325-333 Picasa (v.2) software for photo organization -- product of Google, Adobe Photoshop Album (v.2) software for photo organization -- product of Adobe, Nokia Lifeblog: software for photo and text viewing by time -- product of Nokia, Microsft TimeQuilt -- published in CHI 2005 Extended Abstracts, NY: ACM Press, p.1937-1940 University of Maryland project (active 1999-2003); [online] Internet URL: http://www.cs.umd.edu/hcil/photolib/
ファイルシステムや電子メールシステムと同じく、典型的なディジタルカメラでも、日時の昇順又は降順に従いソート(リスティング)することにより、ユーザは諸ディジタルオブジェクトを簡単に一覧することができる。また、日時別にグルーピング(クラスタリング)して表示する手法も普及し始めている。ただ、現状では、テキスト、ツリー、カレンダ等によるグループ表現しかできないのが一般的である。ビジュアル表現することもできないではないが、それには非常に大きな画面が必要になる。そのため、本件技術分野では、ディジタルオブジェクトを閲覧及び整頓(オーガナイズ)する手法の改良が求められている。
上述の問題を解決し本件技術分野に技術的解決策をもたらすには、本発明に係るディジタルオブジェクト情報提示方法を実行すればよい。本発明のある実施形態に係る方法では、ディジタルオブジェクトに関する情報を提示するため、まず、第1カテゴリを定める情報を受け取るステップを実行する。第1カテゴリになりうるものとしては、期間、個々のディジタルオブジェクトから認識可能な主題、個々のディジタルオブジェクトと関連付けうる出来事等、様々なカテゴリがある。次に、本実施形態では、第1カテゴリを構成するインスタンスのうち少なくとも2個を特定する情報を受け取るステップを実行する。第1カテゴリが年次カテゴリである場合には、例えば特定の年次等がそのインスタンスになる。更に、本実施形態では第1カテゴリ内の小区分を定める情報を受け取るステップを実行する。それらの小区分を第2カテゴリと関連付けることもできる。第2カテゴリになりうるものとしては、期間、認識可能主題、出来事等、様々なカテゴリがある。第2カテゴリが認識可能主題の類であれば諸ディジタルオブジェクトから認識可能な特定の人物達等が小区分になる。本実施形態では、次いで、それぞれ第1カテゴリのインスタンスのうち1個に係り且つ小区分のうち1個に係るディジタルオブジェクトからなる複数個のグループを認識するステップを実行する。本実施形態では、更に、第1カテゴリを構成するインスタンスに係る第1軸及び小区分に係る第2軸を有するヒストグラムをインスタンス別に表示するステップを実行する。それらのヒストグラムは、それぞれ、ディジタルオブジェクトのグループのうちそのヒストグラムに係るインスタンスに対応する諸グループを示す複数個の表現を含んでおり、その表現はそれぞれいずれかのグループ及びいずれかの小区分に対応付けられている。例えば第1カテゴリが年次カテゴリ、小区分が人物に係る小区分である場合、各グループは、対応する年次に撮影されたディジタルオブジェクトのうち対応する人物を含むものの個数を示す表現で表示される。
また、本発明のある実施形態では、期間インスタンスの一部時間領域を小区分として使用する。個々の小区分の時間長は、必須とまではいえないが、互いに全く又はほぼ同じ時間長にするとよい。例えば、その期間を年次、期間インスタンスを特定の年次、個々の月次をそのインスタンスの小区分にすると、どの小区分も互いにほぼ同じ時間長になる。その場合、ユーザは、ある特定の月次例えば12月におけるディジタルオブジェクト生成個数を複数年次に亘り明快且つ迅速に調べることができる。本発明の他の実施形態では、個々の出来事例えば祝日又は誕生日を小区分として使用する。この実施形態では、ユーザは、ある特定の出来事におけるディジタルオブジェクト生成個数を複数年次に亘り明快且つ迅速に調べることができる。本発明の更に他の実施形態では、ディジタルオブジェクトのコンテンツから認識可能な主題、例えば人物、場所又は何らかの有体物を小区分として使用する。この実施形態では、ユーザは、例えば自分の母が写っている写真データの個数を複数年次に亘り明快且つ迅速に調べることができる。
本発明のある実施形態では、期間インスタンスの各小区分に係るディジタルオブジェクトの個数を、対応するバー又はラインの丈又は頂点で表す。そのバー乃至ラインが延びる方向(丈の方向)は、第2軸に対し直交する方向にすることも平行な方向にすることもできる。ユーザは、バー乃至ラインの向きを適当な方向にすることで、ある期間インスタンス(例えば2006年次)におけるディジタルオブジェクト生成個数の変動や、ある小区分(例えば1月次)におけるディジタルオブジェクト生成個数の期間インスタンス(例えば2004〜2006年次)間相違を、容易に対比検討することができる。
本発明のある実施形態では、各小区分に係るディジタルオブジェクトの個数を表現するに当たり、二種類の性質を有する表現を使用する。その性質のうち一種類は、その小区分に係るディジタルオブジェクトの集合に属するディジタルオブジェクトの個数を表す性質である。もう一種類は、その集合の部分集合に属するディジタルオブジェクトの個数を表す性質である。ここでいう“部分集合”とは、その小区分に係るディジタルオブジェクトのうち、ユーザが定めた一種類又は複数種類の質問事項を充足するものの集合のことである。例えば、ヒストグラム中に示されている全ディジタルオブジェクトのなかで自分の息子に関係するオブジェクトがどれだけあるかを、あるユーザが知りたがっているとする。その場合、期間インスタンス別且つ小区分別のディジタルオブジェクト個数を示す表現としては、二種類の性質例えば二種類の色を有するライン又はバーを使用するとよい。そのうち一方の性質(例えば一方の色)を使用することでディジタルオブジェクト総数を、また他方の性質(例えば他方の色)を使用することでそのユーザの子息に関係するディジタルオブジェクトの個数を、それぞれ示すことができる。
本発明のある実施形態では、各ヒストグラムの第1軸同士及び第2軸同士を全く又はほぼ等しい長さにする。本発明の他の実施形態では、各ヒストグラムの第1軸の長さを、少なくとも、そのヒストグラムにおける小区分別ディジタルオブジェクト個数の最大値に従い決める。ヒストグラムの向きが違う場合は、各ヒストグラムの第2軸の長さを、少なくとも、そのヒストグラムにおける小区分別ディジタルオブジェクト個数の最大値に従い決める。このようにヒストグラムのサイズを変化させることで、そのヒストグラムで示されるディジタルオブジェクト個数に大きな変動があっても、その変動をうまく吸収することができる。
本発明の諸実施形態で生成されるこうした多次元ヒストグラムは、ディジタルオブジェクトの大まかな経時的分布を可視的に表すコンパクトな梗概となる。そのため、データ中の極端なもの、例えばディジタルオブジェクト個数が非常に多い又は少ない期間を強調することができ、また期間別のデータに簡便にアクセスすることができる。更に、その多次元ヒストグラム中のバーの関連部分をハイライトすることで、データ母集合の変動傾向と、データ部分集合のそれとを対比して示すことができる。
なお、この「発明の概要」欄と後に掲げる「発明を実施するための形態」欄では、多くの部分で第1カテゴリを期間としそのインスタンスをそのうちの特定の時期とする例を示しているが、これはその説明を簡明にするためである。実際には、本発明は、期間を第1カテゴリ、具体的な期間をそのインスタンスとする構成に限られるわけではない。
本発明の実施に適するシステムを示すブロック図である。 本発明の一実施形態で生成される多次元ヒストグラムの例を示す図である。 その別例を示す図である。 本発明の一実施形態における多次元ヒストグラム(図2A参照)の生成手順を示すフローチャートである。 本発明の一実施形態における多次元ヒストグラム(図2A参照)のインタラクティブ使用手順、特に(a)多次元ヒストグラム中の所要部分にマウスポインタを移動させプリビュー用の要約情報にアクセスする方法及び(b)多次元ヒストグラムの一部分を選択しその部分に対応するディジタルオブジェクトを表示させる方法を示すフローチャートである。 本発明の一実施形態における狭隘画面領域内多次元ヒストグラム生成手順を示すフローチャートである。 本発明の一実施形態における月次対年次多次元ヒストグラム初期状態表示画面の例を示す図である。 本実施形態の多次元ヒストグラム上でマウスポインタによりある単一の年次をポイントした状態を示す図である。 本実施形態の多次元ヒストグラム上で図6Bに示す如くポイントした後その年次を選択したときに、その多次元ヒストグラムと共に画面上に表示される諸オブジェクトのサムネイル表現を示す図である。 本実施形態の多次元ヒストグラム上でマウスポインタによりある単一の月次をポイントした状態を示す図である。 本実施形態の多次元ヒストグラム上で図6Dに示す如くポイントした後その月次を選択したときに、その多次元ヒストグラムと共に画面上に表示される諸オブジェクトのサムネイル表現を示す図である。 本実施形態の多次元ヒストグラム上でマウスポインタによりある年次のバーのうちある単一の月次のバーをポイントした状態を示す図である。 本実施形態の多次元ヒストグラム上で図6Fに示す如くポイントした後そのバーを選択したときに、その多次元ヒストグラムと共に画面上に表示される諸オブジェクトのサムネイル表現を示す図である。 本実施形態に係る多次元ヒストグラム上でクリックアンドドラッグ操作によりある年次のバーのうち複数月次分のバーを選択したときに、ハイライト表示されるそれらのバーと、その多次元ヒストグラムと共に画面上に表示される諸オブジェクトのサムネイル表現とを示す図である。 本発明の一実施形態における月次対年次多次元ヒストグラム初期状態表示画面、特に各年次の度数計数値スケールの拡がりをその年次中で最大の度数計数値に基づき決定する例を示す図である。 本発明の一実施形態に係る祝日対年次多次元ヒストグラムを示す図である。 本発明の一実施形態に係る多次元ヒストグラム、特に度数表示用のバーが縦軸ではなく横軸と平行なものを示す図である。 本発明の一実施形態に係る多次元ヒストグラム、特に質問への回答を現在表示中のディジタルオブジェクトの内訳としてハイライト表示させたものを示す図である。 本発明の一実施形態に係る年次対人物多次元ヒストグラムを示す図である。
以下、別紙図面を参照しつつ本発明の好適な実施形態に関し詳細に説明する。以下の説明を参照することにより、本発明の諸実施形態を上掲のものを含めてより好適に理解することができよう。なお、別紙図面は本発明の思想を説明するためのものであり、実施形態を均等縮尺したものではないので、その点を了解されたい。
本発明の諸実施形態は、時間を含む多次元空間を使用し一群のディジタルオブジェクトを効果的に提示し、相応の期間乃至時間断面を選択することによってそのオブジェクトに効率的にアクセスできるようにする方法に関する。ディジタルオブジェクトとは、ディジタル画像ファイル、ディジタルビデオクリップ、ディジタルオーディオオブジェクト(例えばMP3)ファイル等の視聴型オブジェクト(メディアオブジェクト)を初めとして、ユーザが収集し様々な格納媒体乃至格納場所で頒布することが可能な種々の様々なディジタル文書のことである。
通常、そうしたディジタルオブジェクトはタイムスタンプを伴うものである。他方、ユーザは自分用のビジュアルなオブジェクト例えば画像やビデオクリップを特定の日時や出来事に関連付けるものである。即ち、ユーザは、個人的な思い出にまつわる画像やビデオクリップをそれらが撮影された日時や出来事と関連付けるものである(但し例外もある)。私蔵コレクション中のディジタルオブジェクトを日時と関連付けるユーザが多いことからすれば、日時に従いそれらのオブジェクトを整頓したいと望むユーザや日時に従いそれらのオブジェクトにアクセスしたいと望むユーザがあることは当然のことであろう。
ユーザが所有しているディジタルオブジェクトの個数が少なく且つその分布期間も短い場合は、時間軸沿い分布をサムネイルベースで表現する単純な一次元ヒストグラムでも十分に、それらのオブジェクトの概略分布を示しそれへのアクセス手段を提供することができる。このように概略分布を可視的に示しアクセスの便を図る手法は、多くのユーザにとりなじみ深い表現が使用される点で有益である。ユーザは時間軸の見方や時間軸に沿った諸オブジェクトの並び方を理解することができる。しかしながら、多年に亘る収集で数千ものオブジェクトを私蔵しているユーザには、そうした単純な概要表示兼アクセス提供手法は却って煩わしいものになる。画面の広さが限られているので数千ものサムネイルを一度に表示させることは不可能であるし、一次元ヒストグラムが多数のオブジェクトの大まかな経時分布を示すのに便利だといっても、ユーザが複数の時間断面に跨るトレンドを調べるときにそれらのオブジェクトへのアクセスや閲覧を助けてくれるわけではない。例えば“これまでの全年次のクリスマス”に係るオブジェクトにアクセスしたいユーザは、その年次の12月を選択する操作を各年次毎に行わねばならないであろう。これに対し、本発明の実施形態では、よりコンパクト且つ効率的な表現でインタラクティブな多次元ヒストグラムを構築することができる。そのヒストグラムは少なくとも、(a)棒グラフを並べたグラフィカルな形態(図2A及び図2B参照)にて、その多次元ヒストグラム上の個々の区画に係るオブジェクトの個数を表現することができ、(b)ユーザはそのヒストグラムとのやりとりを通じて相応のディジタルオブジェクトにアクセスすることができる。即ち、本発明の諸実施形態で生成される多次元ヒストグラムには、所定の期間、出来事、主題等に対応するディジタルオブジェクトの個数が示されるので、ユーザは、例えばその多次元ヒストグラム中の1個又は複数個の期間を選択することで、その期間に関連するディジタルオブジェクトに対応するビジュアルなサムネイル表現にアクセスすることができる。
図1に本発明の実施に適するシステムの一例を示す。このシステムはコンピュータ10をベースにしており、入力装置たるキーボード46及びマウス44はデスクトップインタフェースデバイス28を介しこのコンピュータ10に可通信接続されている。“コンピュータ”とはデータ処理装置全般、即ちデスクトップコンピュータ、ラップトップコンピュータ、メインフレームコンピュータ、携帯情報端末(PDA)、Blackberry(登録商標)等、データの処理、管理又は取扱を担うあらゆる装置のことであり、その構成部品は電気、磁気、光学、生物等どのような方式のものであってもよい。“可通信接続”とは、データをやりとりすることができるよう装置、コンピュータ、プログラム等の間を有線、無線又はその併用で接続することである。その形態としては、同じコンピュータ内に同居しているデバイスやプログラムの間の接続、別のコンピュータ上に存するデバイスやプログラムの間の接続、コンピュータ外に存する装置間又は装置内での接続等がある。
また、このコンピュータ10には、その出力を表示するビデオディスプレイ52がディスプレイインタフェースデバイス24を介し可通信接続されている。コンピュータ10の内部には、CPU14のほかにコンピュータアクセシブルメモリ、例えばリードオンリメモリ(ROM)16、ランダムアクセスメモリ(RAM)22、ハードディスクドライブ20等の部品が組み込まれている。本願でいうところのディジタルオブジェクト又は一部はこのコンピュータアクセシブルメモリによって保持されている。“コンピュータアクセシブルメモリ”とはコンピュータからアクセスできるようにデータを保存する装置全般のことであり、揮発性か不揮発性か、また電子、磁気、光学等どのような方式かを問わない。その例としては、フロッピー(商標)ディスク、ハードディスク、コンパクトディスク(CD)、DVD(登録商標;以下表記略)、フラッシュメモリ、ROM、RAM等がある。
CPU14は、データバス12を介し他のデバイスとやりとりを行いつつ、ハードディスクドライブ20上に格納されているソフトウェアを実行する。また、ハードディスクドライブ20等の固定型媒体に加え、このコンピュータ10は、リムーバブル型コンピュータアクセシブルメモリからのデータ書込及びそこからのデータ読出用のコンピュータアクセシブルメモリドライブも備えている。種々のCD系リムーバブル媒体42に対する読み書き用のCD−RWドライブ30や、種々のDVD系リムーバブル媒体40に対する読み書き用のDVDドライブ32である。コンピュータ10への音声入力はオーディオインタフェースデバイス26に可通信接続されているマイクロホン48で、またコンピュータ10からの音声出力もそのデバイス26に可通信接続されているスピーカ50で行うことができる。ディジタルカメラ6等の撮像装置を例えばUSBインタフェースデバイス34を介しコンピュータ10に可通信接続すれば、そのカメラ6からコンピュータ10内のドライブ20へと或いはその逆へとディジタルオブジェクトを転送することができる。そして、このコンピュータ10をネットワーク接続装置18を介し外部ネットワーク60に可通信接続すれば、そのネットワーク60に可通信接続されている他のコンピュータ、装置又はデータ格納システム上にあるディジタルオブジェクトに、このコンピュータ10からアクセスすることができる。なお、“データ格納システム”は1個又は複数個のコンピュータアクセシブルメモリを備えるシステムである。例えば複数個のコンピュータアクセシブルメモリを複数個のコンピュータ乃至装置を介し可通信接続した分散型データ格納システムである。但し、これに限定する必要はなく、同一のコンピュータ乃至装置内に存する1個又は複数個のコンピュータアクセシブルメモリからなるデータ格納システムも使用することができる。
収集したディジタルオブジェクトは、ハードディスクドライブ20、CD系媒体42、DVD系媒体40、或いはネットワーク60経由でアクセス可能なリモートデータ格納装置(ネットワーク接続型ハードディスクドライブ等)上に格納しておくことができる。これらのデータ格納場所のうちいずれかに集中格納してもよいし、何種類かのデータ格納場所に分散して格納してもよい。
そうして形成されるコレクションは、個々のディジタルオブジェクト(例えばディジタル画像ファイル)とその格納場所とを一意に特定可能なデータベースで表現することができる。ご理解頂けるように、それらのディジタルオブジェクトは視聴型オブジェクト、非視聴型オブジェクトのいずれでもありうる。視聴型オブジェクトとは、例えば、ディジタルカメラで撮影した画像等の静止画像データや、音楽、音声注釈等の音声データや、音声付又は音声抜きのディジタルビデオクリップのことである。Adobe(登録商標)Photoshop(登録商標)、Adobe(登録商標)Flash(登録商標)等のグラフィック乃至アニメーションソフトウェアで生成したファイル等も視聴型オブジェクトと見なすことができる。非視聴型オブジェクトとは、例えば、ワードプロセッサソフトウェアで作成した文書等のテキスト文書や、スプレッドシート、電子メール等のオフィス関連文書のことである。一種類だけのディジタルオブジェクトでのそのデータベースを形成してもよいし、任意種類のオブジェクトの組合せで形成してもよい。
本発明の一実施形態では、ディジタルオブジェクト同士がデータベース等のデータ関連付け機構により関連付けられているコレクションについて、そのコレクションに属するオブジェクトを抽象化してユーザ向けに提示することが可能である。図2Aに、本発明の一実施形態で生成されるヒストグラム列の例81を示す。このヒストグラム列81は複数個の多次元ヒストグラム83から構成されている。各ヒストグラム83を画定する軸のうち一方の軸82沿いにはある期間に属するインスタンスが、また他方の軸80沿いにはその期間を構成する小区分が並んでいる。具体的には、期間が年次、そのインスタンスが特定の年次(2000〜2004年次)、同じくその小区分が暦月であるので、縦軸82沿いには暦年が、また横軸80沿いには暦月がそれぞれ表示されている。
本発明を実施するに当たっては、多次元ヒストグラムの軸のうち1本に沿って、ディジタルオブジェクトの個数を示す数値を表示させることもできる。図2A中に示した例のように、縦軸82沿いに並ぶ個々の暦年内を、小区分間のディジタルオブジェクト個数比を示す線で区切ってもよい。また、この例では、多次元ヒストグラム中の個々のバー例えば84の丈を、そのバーが位置している小区分に係るディジタルオブジェクト個数に比例した長さにしてある。例えば図2A中のバー84は、2004年12月に生成されたディジタルオブジェクトの個数に比例した丈になっている。これに対し、図2Aの如くバー84によってディジタルオブジェクト個数を表す表現形態ではなく、図形や文字を使用するまた別の表現形態を用いてもよい。例えば、ヒストグラム中の個々の小区分に対応するよう個々のバーを配した棒グラフを表示させる図2Aの例と違い、折れ線グラフ等、途切れのない図形による表現を使用してもよい。
更に、図2Aに示した例では時間軸を断片化したものが小区分とされており、その時間断片に属する日時に係るオブジェクト個数の計数値がその小区分に示されている。その時間断片は、例えば分、半時間、時間、日、週、月、年等様々な時間長にすることができる。その時間長を長めにすれば、ヒストグラム用の画面領域が狭い場合や、その時間長が短いとオブジェクトの分布が疎らになる場合等に、うまく対処できる。但し、本件技術分野で習熟を積まれた方々(いわゆる当業者)にはご理解頂ける通り、本発明は期間の取り方によって限定解釈されるべきものではない。また、図2Aに示した例では、各年次が1個月単位で分割されているため各小区分の時間長に若干の違いがあるが、各小区分を全く同じ時間長にすることも、逆に互いに異なる時間長にすることもできるので、その点にご注意頂きたい。
また、画面が狭い場合は、表示するのを多次元ヒストグラム列の一部に留め、そのヒストグラム列の一軸又は二軸に沿ってスクロール矢印を表示させるようにしてもよい。例えば、図2Bに示す例で列をなし表示されているヒストグラムは3個だけであるが、表示されているスクロール矢印のうちスクロールバーアップボタン94を使用することで、2004年次より後の年次のインスタンスに係るヒストグラムにアクセスすることができ、またスクロールバーダウンボタン96を使用することで、2002年次より前の年次のインスタンスに係るヒストグラムにアクセスすることができる。
図3に、本発明の一実施形態に係る多次元ヒストグラム列生成手順の詳細な流れを示す。図中のステップ100では、ディジタルオブジェクトに備わる性質のうちヒストグラム軸になるものを特定する。図2Aに示した例なら個々のディジタルオブジェクトの生成日時又は修正日時をヒストグラムの軸に定めるが、諸ディジタルオブジェクトに係る出来事や主題をヒストグラムの軸に定める場合もあろう。また、生成日時や修正日時についての情報は、それらのディジタルオブジェクトに係るデータから得ることができる。例えば、本件技術分野で既知の通り、ディジタルカメラで撮影された画像にはExifヘッダが付されているので、そのヘッダからその画像ファイルに係る撮影日時を知ることができる。そうしたヘッダ情報が利用できない場合は、そのディジタルオブジェクトのファイル生成日時又は修正日時を利用すればよい。
ステップ105ではヒストグラム軸パラメタを導出する。これには、期間を定める情報、その期間に属する個々のインスタンスを特定する情報、その期間を構成する小区分を定める情報等が含まれる。図2Aに示した例では、年次を指定する情報によって期間を定め、2000、2001、2002、2003及び2004の各年次を年次インスタンスに指定する情報によってその期間に属する個々のインスタンスを特定し、暦月をその年次の小区分に指定する情報によってその期間を構成する小区分を定めている。後に図8、図11等を参照してより詳細に説明する通り、主題や出来事を小区分毎に指定する情報によってその期間の小区分を定義することもできる。
その期間に含まれる個々の時期(例えば個々の年次中の個々の暦月)を小区分とする場合、その期間及びそれに属する諸小区分をデータに基づき定めることもデータとは無関係に定めることもできる。例えば、そのデータの分布とは無関係に、常に一方の軸で月次が示され他方の軸で年次が示されるよう期間及び小区分を固定してもよい。或いは、システム側でデータを解析することによって、そのデータのタイムスロットが複数個含まれる時間断片のなかで最も大きなものを第1軸、次に大きなものを第2軸に選定してもよい。例えば1個月分のデータしかない場合、多次元ヒストグラムの軸を年次及び月次にすることは無意味であるので、システム側で例えば第1軸を週番号、第2軸を曜日と定めるとよい。
ステップ110では、その期間に属するインスタンスのうち同じ1個に係り且つ小区分のうち同じ1個に係るディジタルオブジェクトからなるグループを認識する。言い換えれば、収集済ディジタルオブジェクトを期間インスタンス毎且つ小区分毎に計数して諸多次元ヒストグラムを生成する。ステップ115では、それらの多次元ヒストグラムをディスプレイを使用しユーザ向けに表示する。
図4に、本発明の一実施形態における多次元ヒストグラムのインタラクティブな使用手順についてその流れを示す。図中のステップ125では、図3に示した手順に従い多次元ヒストグラムを生成する。ステップ130では、それらの多次元ヒストグラムをユーザ向けに且つグラフィカルに表示する。例えば、図6Aに示すように、ディスプレイを使用し月次対年次多次元ヒストグラムの列をユーザ向けに表示する。図中、領域600はそれらの多次元ヒストグラムが表示される領域であり、縦軸82は暦年による年次インスタンスを示す期間インスタンス軸であり、横軸80は暦月を示す小区分軸である。マウス、ジョイスティック、視線追尾装置等の選択型入力装置の操作でポインタ610を動かし多次元ヒストグラム上で選択操作を行うことで、そのコレクションから相応するディジタルオブジェクトを選び出すことができる。それによって見つかった(例えば視聴型の)ディジタルオブジェクトはアイコン又はサムネイル表現で領域602内に表示される。ユーザは、領域602内に表示されているアイコン乃至サムネイルのなかから1個又は複数個を選択し、対応するディジタルオブジェクトを鑑賞、再生、編纂等することができる。
次いで、図4中のステップ135では、入力装置を用いユーザがそれらの多次元ヒストグラムとやりとりする。ステップ140では、ユーザは、マウスを操作してそのポインタを動かし、多次元ヒストグラム中の可選択領域をポイント又は選択することができる。即ち、目的とするオブジェクトにマウスポインタを重ねるポイント操作や、ボタンクリックでオブジェクトを選択する選択操作を行える。ユーザがマウス操作で可選択領域をポイントするとその次のステップ165でシステムが反応し、マウスポインタの下にある可選択領域をハイライトさせる一方その領域についての要約情報を重畳表示させる。例えば、図6Bに示す如く縦軸沿いの可選択領域“2004”年次がマウスポインタ610でポイントされると、システムがそれに対して反応し、(a)ハイライタ612でその領域を強調すると共に(b)要約情報613をその領域上に重ねて表示させる。同様に、マウスポインタ610で横軸上の数値をポイントした場合は例えば図6D、その多次元ヒストグラムの主プロット領域内にある個別の直交座標点をポイントした場合は例えば図6Fに示すような表示となる。
更に、図4に示した手順中のステップ170では、ユーザがその可選択領域からマウスポインタを外すまで又はその領域を選択するまで、引き続きそのハイライタ612を表示させる。ユーザがマウスポインタをその可選択領域の外に動かすか、或いはマウスのクリック操作でその可選択領域を選択するかしたら、このシステムの動作は、ハイライタ612及び要約情報613を隠すステップ175に移行する。ステップ180では、マウスポインタがまだその多次元ヒストグラム上にある場合に、このシステムの動作を再びステップ135へと移行させる。更に、ユーザがマウスポインタで別の領域をポイントすると、このシステムではステップ140を経てステップ165が実行され、その領域向けのハイライタ及び要約情報が表示される。また、ユーザが多次元ヒストグラムのうちいずれかの上にある領域を選択すると、このシステムの動作はステップ140を経てステップ145に移行する。ステップ145では通例に倣いキーボード上のシフトキーを動作切替キーとして扱っているので、ユーザは、ステップ155に示すように選択済領域に加え新たな領域を選択することも、またステップ150に示すように選択済領域に代え新たな領域を選択することもできる。そのどちらが実行された場合でも、システムの動作はステップ160へと移行していく。ステップ160では、(a)選択済領域が属する何個かの多次元ヒストグラムを選択済ヒストグラムとし、(b)選択済多次元ヒストグラムに対応するディジタルオブジェクトを選択済ディジタルオブジェクトとし、(c)それらの選択済ディジタルオブジェクトを示す表現を画面領域602上に表示させる、といった更新動作を実行する。
図6C、図6E、図6G及び図6Hに、ユーザによる多次元ヒストグラム内領域選択手法の例を示す。まず、図6Cに示した例では、その縦軸に対する選択操作で2004年次インスタンスに係る多次元ヒストグラムを選択している。この場合、個々のバー例えば615が指定された選択時色でハイライトされ、且つそのヒストグラムの背景614がハイライトされるので、ユーザがそのヒストグラムの縦軸を選択したことをその強調表示から知ることができる。
このとき、ヘッダ領域620の左部622にはその選択の内容が要約して表示され、右部624にはそのヒストグラムに係るディジタルオブジェクトの総数が簡潔に表示される。また、領域602にはそのヒストグラムに係るディジタルオブジェクトのビジュアル表現例えば625が表示される。このビジュアル表現625は、例えば対応するディジタル画像乃至文書のサムネイル表現や、対応するビデオクリップのサムネイルフレームや、アイコン等である。次に、図6Eに示した例では、一番下の多次元ヒストグラムの横軸628上での選択操作である月次の小区分626を選択している。この選択で、そのヒストグラム列81に属する何個かの多次元ヒストグラムに跨りその小区分626を選択したことになるため、それらのヒストグラムのうちその小区分626に属する部分(614及び615の一部)が選択内容に応じてハイライトされると共に、領域620にはその選択の内容が、領域602には対応する個々のディジタルオブジェクトのビジュアル表現625がそれぞれ表示される。また、図6Gに、多次元ヒストグラム中の個別バー又は小区分を選択したとき表示される画面の例を、その画面上でハイライトされているバーと共に示す。図6Hに、あるヒストグラム上で一群のバー乃至小区分を選択したとき表示される画面の例を、その画面上でハイライトされている一群のバー乃至小区分と共に示す。
また、図4に示した手順では、ユーザは、マウス等のポインティングデバイス乃至選択型入力装置を繰返し操作することで、マウスポインタのポイント先等にある要約情報を調べることや、ディジタルオブジェクトが属する特定の期間インスタンス又は小区分を選択することことや、それによって見つかったディジタルオブジェクトを一覧することができる。更に、図中の領域602にはそれらディジタルオブジェクトのビジュアル表現625が表示されるので、ユーザは、そのうち1個又は複数個を選択し、対応するディジタルオブジェクトを鑑賞、再生、編纂等することができる。編纂とは、例えば、サムネイル等のビジュアル表現を見ながら本体のディジタルオブジェクトにアクセスすること、ディジタルオブジェクトを編集すること、1個又は複数個のディジタルオブジェクトにタグ又はメタデータを付加すること、複数個のディジタルオブジェクトを互いに結合させて新たに1個のディジタルオブジェクトを生成すること(例えば一群の画像に音楽を付加して音楽付のスライドショーを生成することやビデクリップにナレーション音声を付加すること等)、諸ディジタルオブジェクトを別のデータベース乃至コレクションに転送すること、ユーザが使用している保存場所(後刻そのユーザがそのオブジェクトに基づくスライドショー生成やそのオブジェクトの共有乃至印刷といった措置を執れる場所)に諸ディジタルオブジェクトを転送し又はリンクさせること等、そのディジタルオブジェクトの種類及びユーザの望みに応じた機能のことである。そうした処理は、例えばサムネイル等対応するビジュアル表現上でマウスをダブルクリックすることで、或いはメニュー上で相応のアクションを選択することで、開始させることができる。
更に、このシステムでは、ユーザが目的とするディジタルオブジェクトを簡単に見つけ出せるよう、図6に示した領域602上に諸ビジュアル表現をグループ分けして表示することができる。例えば、選択されている多次元ヒストグラム又はその小区分をより細かな時間断片に従いグループ分けすることができる。図6Cに示した例でいえば、2004年次分のヒストグラムが選択されているときに、それに対応する一群のディジタルオブジェクトのビジュアル表現を、月次によるグループに分けて領域602に表示させることができる。この他、本システムでは、
・ 特許文献12及び13(共に発明者:Alexander C. Loui et al.、譲受人:本願出願人と同一)に記載の如く、見つかったディジタルオブジェクトをそのオブジェクトにまつわる出来事に従いグループ分けする
・ 屋外画像のグループと屋内画像のグループに分ける、画像を原色別にグループ分けする等、マニュアル的又はアルゴリズム的に導出されるコンテンツベースの情報のうち適当なものに基づき、見つかったディジタルオブジェクトをグループ分けする
・ Exifヘッダに含まれているGPS情報に基づき位置毎にグループ分けする、Exifヘッダに含まれているフラッシュ使用有無情報に基づきそのカメラ上のフラッシュが撮影時に使用されたか否かによりグループ分けする等、メタデータ情報のうち適当なものに基づき、見つかったディジタルオブジェクトをグループ分けする
等の要領で、見つけ出したディジタルオブジェクトをグループ分けすることができる。
図5に、本発明の一実施形態における狭隘画面領域内多次元ヒストグラム生成手順の流れを示す。この手順が有用になる状況は幾通りかある。例えばディジタルカメラ、PDA、携帯電話等のようにその画面のサイズ及び解像度に制約のある携帯型の装置上で多次元ヒストグラムを表示させるとき、多くの期間インスタンスに亘る多次元ヒストグラムを表示させるとき、度数計数値の最大値が期間インスタンス間で大きく変化する多次元ヒストグラムを表示させるとき(例えば図2Aなら度数計数値の最大値が年次毎に大きく異なるとき)等の状況である。
多次元ヒストグラム生成手順の大筋は図3に示したそれと同様であるが、図5の手順では画面領域の狭さに対処すべく多次元ヒストグラム表示ステップ115をスキップしてステップ200に移行する。ステップ200では、多次元ヒストグラムの開始日時及び終了日時をシステム側で定め、ステップ205では、与えられているディスプレイの画面のうちヒストグラムの表示に使用できる領域の解像度及び物理的サイズをシステム側で定める。解像度とはその画面領域の幅方向画素数及び丈方向画素数のことであり、物理的サイズとはそのディスプレイの幅方向及び丈方向の実体寸法をインチ単位又はcm単位で表したもののことである(1インチ=約2.54×10-2m)。
ステップ210では、ステップ205にて定めたディスプレイの解像度及び物理的サイズに基づき、その画面領域上に明快表示可能なヒストグラム内小区分の個数を、システム側で双方の方向について算出する。“明快表示”は、ユーザが、個々のバーをその上下左右にある別のバーから弁別することができ、ポイント操作の結果ハイライトされたバーと選択操作の結果ハイライトされたバーとを弁別することができ、表示されているヒストグラムにおける度数トレンドのあらましを捉えることができ、そして(空間的なゆとりがあるため)多次元ヒストグラムの軸沿いに付されたラベル又はマーカを読み取ることができる表示のことをいう。ヒストグラム内のビン領域が十分に広ければ、所与の選択型入力装置でそのビンだけを選択する操作をユーザが容易に行うことができる。
ステップ215では、ステップ200及び210で決めた値に基づき、小区分サイズの調整、小区分軸へのスクロール矢印付加又はその双方をシステム側で実行する。例えば図7に示すように、図5中のステップ215では、横軸沿いに表示される月次の個数、横軸沿いバー間隔、表示されるバーの幅、並びにその横軸についてのスクロール矢印要否を決定乃至判別する。
ステップ220では、同じくステップ200及び210で決めた値に基づき度数軸の表示を調整する。このステップで調整され又は変化するのは、図7に示した例でいえば、年次インスタンス毎のヒストグラムの丈、縦軸沿いに表示される年次インスタンスの個数、並びに小区分軸についてのスクロール矢印要否である。そして、図5中のステップ225では、調整後の新たな多次元ヒストグラムを指定された画面領域に表示させる。
[別手法による小区分の定義]
多次元ヒストグラムを本発明の諸実施形態に従い生成する際には、その軸になる二種類の期間を、その時間的刻み幅が互いに異なる任意の二種類にすることができる。例えばグレゴリオ暦及び24時間制の時計を使用し多次元ヒストグラムを生成する場合、そのヒストグラムを画定する二種類の期間を、例えば十年紀、年次、月次、月内日付、月内週番号、曜日、日内の時、分又は秒値等のなかから任意に定めることができる。しかしながら、時折々の出来事のなかには、その到来周期が日付レベルできちんと決まっている出来事もあれば、グレゴリオ暦ベースの時間区分ときちんと合っていない出来事もある。その例としてアメリカ合衆国の祝日を考えてみよう。ハロウィーンは毎年10月31日だが、サンクスギビングは毎年11月と決まっているだけで11月の何日にくるかは不定であり、イースターに至っては数年の間に月や日付が変わる。仮に、月次及び年次を軸として多次元ヒストグラムを生成したとしたら、ユーザがハロウィーンにまつわるディジタルオブジェクト複数年分にアクセスするのは割合に簡単であるが、イースターにまつわるディジタルオブジェクト複数年分にアクセスするのはかなり面倒なことになる。この問題に対処するには、多次元ヒストグラムの生成に当たり、別方式による小区分定義及び命名を行えるようにしておけばよい。例えば、図8に示す多次元ヒストグラムでは、ユーザがアメリカ合衆国の祝日に基づき小区分軸を定義し、年次による期間インスタンスを他方の軸に指定している。ユーザは、また、期間インスタンスのベースとして学校年度を選ぶこともできる。その場合、通常の暦年ではなく学年暦に基づきディジタルオブジェクトにアクセスすることが可能になる。
本発明は、また、諸小区分をディジタルオブジェクトのコンテンツから認識可能な主題、例えば人物、場所、有体物等に関連付ける形態でも実施することができる。例えば図11に示す例では、多次元ヒストグラムの縦軸が小区分軸になっており、その小区分軸がそのコレクションのディジタルオブジェクトに登場する人物に関連付けられる一方、その横軸が期間軸となっている。例えば、それらのディジタルオブジェクトが全てディジタル画像であるとして詳しく見ると、この図からは、例えば特定の人物を含む画像複数年分の度数分布を知ることができる。
[横方向ヒストグラムと縦方向ヒストグラム]
本発明における多次元ヒストグラムの向きは本願中で例示した向きに限られるわけではない。例えば、複数個のヒストグラムが縦方向に積み重なる表示形態以外に、横方向に並ぶ表示形態も採用可能である。複数個の多次元ヒストグラムが縦方向に積み重なる形態の利点は、縦軸に沿って並ぶ個々の期間インスタンス内で、横軸に沿って並ぶ小区分間の度数差をユーザが目視対比で容易に調べることができる点にある。例えば図2Aに示す例なら、ユーザは、2001年次中でディジタルオブジェクトの生成個数が最も多い月次が10月であることを、容易に知ることができる。反面、別々の期間インスタンス間で度数を目視対比しようとすると、ヒストグラムの並びも個々のバーの丈も縦方向であるため、より神経を使って1対1対比を行わねばならなくなる。この問題に対処するには、ユーザ向けに提示するヒストグラム列の向きを縦方向、横方向のいずれにもすることができる形態にて、本発明を実施すればよい。図9に、そのバーが横軸と平行な多次元ヒストグラムを生成した例を示す。このようにバーの丈を横向きにすると、ユーザは、横軸に沿って並ぶ個々の小区分内で、縦軸に沿って並ぶ期間インスタンス間の度数差を目視対比で容易に調べることができる。
[部分集合選択トレンドの表示]
本発明の諸実施形態に係る方法の長所としては、時間軸を含む複数本の軸に沿ってディジタルオブジェクト経時分布のあらましをプリビュー表示させる点、並びに任意の期間インスタンス乃至小区分の選択を受けそれに関連するディジタルオブジェクトへの効率的なアクセス手段を提供する点のほかに、その部分集合たる質問回答集合に属するディジタルオブジェクトの概略度数分布をディジタルオブジェクト母集合との対比で可視表示させうる点がある。図10にそうした表示の一例を示す。この例では、2002〜2004年次における月次別ディジタルオブジェクト収集個数をバーの全長で表している。ユーザから例えば“ジェーンが含まれているディジタルオブジェクトはどれだけあるのか”といった質問が寄せられると、システム側では、この質問事項に該当するオブジェクトの個数に応じバーの一部をハイライト表示させることによって、その質問に対する回答のあらましを表示させる。従って、ユーザは、質問結果の度数分布を収集個数のそれと目視比較することができる。
以上、本発明に関し説明するため幾つか実施形態を例示した。いわゆる当業者であれば、本発明の技術的範囲内で上掲の諸実施形態を様々に変形することができよう。例えば、生成する多次元ヒストグラムを、図示例のようなヒストグラムではなく、期間に係る第1軸、小区分に係る第2軸、並びに対応する期間又は小区分ビンに関連するディジタルオブジェクトの個数に係る第3軸を有する三次元ヒストグラムにすることもできる。また、いわゆる当業者には自明な通り、例えば本願中の諸フローチャートに示したものとは異なるステップ実行順でも、本発明を実施することができる。更に、本願では、本発明の諸実施形態を説明するに当たり多次元ヒストグラムを画定する軸のうち1本を期間に係る軸としたが、いわゆる当業者には自明な通りこれは必須なことではない。即ち、多次元ヒストグラムの軸は、そのうち1本が時間カテゴリの軸か否かによらず、認識可能な主題や出来事に該当するもの等様々なカテゴリタイプの軸にすることができる。例えば、その軸のうち1本が地理的位置に係るカテゴリ(そのインスタンスは例えば特定の街)の軸、他の1本が認識可能な主題に係る小区分(例えば特定の人物乃至有体物)の軸、というヒストグラムを生成するようにしてもよい。この場合、写っている人物毎のディジタルオブジェクト個数を示すヒストグラムを街毎に生成することができる。
6 ディジタルカメラ、10 パーソナルコンピュータ、12 データバス、14 CPU、16 リードオンリメモリ、18 ネットワーク接続装置、20 ハードディスクドライブ、22 ランダムアクセスメモリ、24 ディスプレイインタフェースデバイス、26 オーディオインタフェースデバイス、28 デスクトップインタフェースデバイス、30 CD−RWドライブ、32 DVDドライブ、34 USBインタフェースデバイス、40 DVD R−,DVD R+等のDVD系リムーバブル媒体、42 CD−ROM,CD−RW等のCD系リムーバブル媒体、44 マウス、46 キーボード、48 マイクロホン、50 スピーカ、52 ビデオディスプレイ、80 小区分軸、81 ヒストグラム列、82 期間インスタンス軸、83 ヒストグラム、84 グラフィカルバー、86 時刻、94 スクロールバーアップボタン、96 スクロールバーダウンボタン、100〜225 ステップ、600,602 画面領域、610 ポインタ、612 ハイライタ、613 重畳表示型の要約情報、614 背景、615 多次元ヒストグラムの個別バー、620 ヘッダ領域、622 ヘッダ領域の左部、624 ヘッダ領域の右部、625 ディジタルオブジェクトのビジュアル表現、626 選択済小区分、628 最下欄ヒストグラムの小区分軸。

Claims (4)

  1. 全面的又は部分的にコンピュータにより実行され1個又は複数個のコンピュータアクセシブルメモリ上の諸ディジタルオブジェクトに関する情報を提示する方法であって、
    あるカテゴリを定める情報を受け取るステップと、
    そのカテゴリを構成するインスタンスのうち少なくとも2個を特定する情報を受け取るステップと、
    そのカテゴリ内の小区分を定める情報を受け取るステップと、
    それぞれそのカテゴリのインスタンスのうち1個に係り且つ小区分のうち1個に係るディジタルオブジェクトからなる複数個のグループを認識するステップと、
    そのカテゴリを構成するインスタンスに係る第1軸及び小区分に係る第2軸を有するヒストグラムをインスタンス別に複数積み重ねて表示させてヒストグラム列を形成するステップであって、各ヒストグラムが、ディジタルオブジェクトのグループのうちそのヒストグラムに係るインスタンスに対応する諸グループを示す複数個の表現を含み、且つその表現がそれぞれいずれかのグループ及びいずれかの小区分に対応付けられている、形成するステップと
    ヒストグラム列のいくつかに跨る小区分を選択して、ユーザ定義の質問に合うようなこの選択された小区分に属するデジタルオブジェクトの表現を強調するステップと、
    を含む方法。
  2. 全面的又は部分的にコンピュータにより実行され1個又は複数個のコンピュータアクセシブルメモリ上の諸ディジタルオブジェクトに関する情報を提示する方法であって、
    ある期間を定める情報を受け取るステップと、
    その期間を構成するインスタンスのうち少なくとも2個を特定する情報を受け取るステップと、
    その期間の小区分を定める情報を受け取るステップと、
    それぞれその期間のインスタンスのうち1個に係り且つ小区分のうち1個に係るディジタルオブジェクトからなる複数個のグループを認識するステップと、
    その期間を構成するインスタンスに係る第1軸及び小区分に係る第2軸を有するヒストグラムをインスタンス別に複数積み重ねて表示させてヒストグラム列を形成するステップであって、各ヒストグラムが、ディジタルオブジェクトのグループのうちそのヒストグラムに係るインスタンスに対応する諸グループを示す複数個の表現を含み、且つその表現がそれぞれいずれかのグループ及びいずれかの小区分に対応付けられている、形成するステップと
    ヒストグラム列のいくつかに跨るある小区分を選択して、ユーザ定義の質問に合うようなこの選択された小区分に属するデジタルオブジェクトの表現を強調するステップと、
    を含む方法。
  3. 請求項2記載の方法であって、各小区分が出来事にまつわる小区分である方法。
  4. 請求項2記載の方法であって、各小区分が、ディジタルオブジェクトのコンテンツから認識可能な主題にまつわる小区分である方法。
JP2010500920A 2007-03-26 2008-03-17 カテゴリベースヒストグラムを通じたディジタルオブジェクト提示 Expired - Fee Related JP5587171B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/690,994 2007-03-26
US11/690,994 US8019155B2 (en) 2007-03-26 2007-03-26 Digital object information via category-based histograms
PCT/US2008/003487 WO2008118298A1 (en) 2007-03-26 2008-03-17 Digital object information via category-based histograms

Publications (3)

Publication Number Publication Date
JP2010522929A JP2010522929A (ja) 2010-07-08
JP2010522929A5 JP2010522929A5 (ja) 2011-05-12
JP5587171B2 true JP5587171B2 (ja) 2014-09-10

Family

ID=39595761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010500920A Expired - Fee Related JP5587171B2 (ja) 2007-03-26 2008-03-17 カテゴリベースヒストグラムを通じたディジタルオブジェクト提示

Country Status (5)

Country Link
US (1) US8019155B2 (ja)
EP (1) EP2126739A1 (ja)
JP (1) JP5587171B2 (ja)
CN (1) CN101647019A (ja)
WO (1) WO2008118298A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8544040B2 (en) * 2006-12-29 2013-09-24 Google Inc. System and method for displaying multimedia events scheduling information
US8205230B2 (en) 2006-12-29 2012-06-19 Google Inc. System and method for displaying and searching multimedia events scheduling information
US8291454B2 (en) * 2006-12-29 2012-10-16 Google Inc. System and method for downloading multimedia events scheduling information for display
JP4987538B2 (ja) * 2007-03-29 2012-07-25 富士フイルム株式会社 アルバム作成装置、方法およびプログラム
US8972875B2 (en) * 2007-04-24 2015-03-03 Google Inc. Relevance bar for content listings
US8799952B2 (en) 2007-04-24 2014-08-05 Google Inc. Virtual channels
US8010900B2 (en) * 2007-06-08 2011-08-30 Apple Inc. User interface for electronic backup
US9084025B1 (en) 2007-08-06 2015-07-14 Google Inc. System and method for displaying both multimedia events search results and internet search results
KR20090083664A (ko) * 2008-01-30 2009-08-04 삼성전자주식회사 휴대 단말기 및 그의 사용자 데이터 표시 방법
US8126926B2 (en) * 2008-12-22 2012-02-28 Oracle International Corporation Data visualization with summary graphs
US20110138306A1 (en) * 2009-12-03 2011-06-09 Cbs Interactive, Inc. Online interactive digital content scrapbook and time machine
US8332530B2 (en) * 2009-12-10 2012-12-11 Hulu Llc User interface including concurrent display of video program, histogram, and transcript
US8806341B2 (en) * 2009-12-10 2014-08-12 Hulu, LLC Method and apparatus for navigating a media program via a histogram of popular segments
JP2011145386A (ja) * 2010-01-13 2011-07-28 Fuji Xerox Co Ltd 表示制御装置、表示装置及びプログラム
CN101950302B (zh) * 2010-09-29 2011-12-21 李晓耕 基于移动设备的海量音乐库管理方法
US8560933B2 (en) * 2011-10-20 2013-10-15 Microsoft Corporation Merging and fragmenting graphical objects
CN102520999A (zh) * 2011-12-14 2012-06-27 康佳集团股份有限公司 省去外置芯片flash的方法
JP2014010801A (ja) * 2012-07-03 2014-01-20 Casio Comput Co Ltd ヒストグラム表示装置およびプログラム
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
JP6343893B2 (ja) 2013-09-27 2018-06-20 株式会社リコー 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2015156187A (ja) * 2014-02-21 2015-08-27 ソニー株式会社 情報処理装置、システム、情報処理方法およびプログラム
US9298981B1 (en) * 2014-10-08 2016-03-29 Xerox Corporation Categorizer assisted capture of customer documents using a mobile device
DE102018206162B3 (de) * 2018-04-20 2019-09-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interferenzdetektion und Unterdrückung in nichtkoordinierten Systemen

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793888A (en) * 1994-11-14 1998-08-11 Massachusetts Institute Of Technology Machine learning apparatus and method for image searching
US6606411B1 (en) * 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US6721454B1 (en) * 1998-10-09 2004-04-13 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
US6351556B1 (en) * 1998-11-20 2002-02-26 Eastman Kodak Company Method for automatically comparing content of images for classification into events
US6782394B1 (en) * 1999-11-22 2004-08-24 Oracle International Corporation Representing object metadata in a relational database system
US6950989B2 (en) * 2000-12-20 2005-09-27 Eastman Kodak Company Timeline-based graphical user interface for efficient image database browsing and retrieval
WO2002057959A2 (en) 2001-01-16 2002-07-25 Adobe Systems Incorporated Digital media management apparatus and methods
US6996782B2 (en) * 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
US20020184196A1 (en) * 2001-06-04 2002-12-05 Lehmeier Michelle R. System and method for combining voice annotation and recognition search criteria with traditional search criteria into metadata
FR2833132B1 (fr) * 2001-11-30 2004-02-13 Eastman Kodak Co Procede pour selectionner et enregistrer un sujet d'interet dans une image numerique fixe
FR2833131B1 (fr) * 2001-11-30 2004-02-13 Eastman Kodak Co Procede et systeme pour obtimiser l'affichage d'un sujet d'interet dans une image numerique
US20040199565A1 (en) * 2003-02-21 2004-10-07 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US7325198B2 (en) * 2002-12-31 2008-01-29 Fuji Xerox Co., Ltd. Calendar-based interfaces for browsing and manipulation of digital images
US7617279B2 (en) * 2003-02-27 2009-11-10 Fujifilm Corporation Image-printing system using peer-to-peer network
WO2004088990A2 (en) 2003-04-04 2004-10-14 Bbc Technology Holdings Limited Media storage control
US7236632B2 (en) * 2003-04-11 2007-06-26 Ricoh Company, Ltd. Automated techniques for comparing contents of images
JP2005031830A (ja) * 2003-07-09 2005-02-03 Fuji Photo Film Co Ltd 画像表示方法及び画像表示用プログラム
US7617250B2 (en) * 2003-09-22 2009-11-10 Hewlett-Packard Development Company, L.P. Semantic file system
JP2005184785A (ja) * 2003-11-28 2005-07-07 Fuji Photo Film Co Ltd 画像再生装置及び画像再生方法
US20050117031A1 (en) * 2003-12-02 2005-06-02 Russon Virgil K. Virtual film roll for grouping and storing digital images
US7788592B2 (en) * 2005-01-12 2010-08-31 Microsoft Corporation Architecture and engine for time line based visualization of data

Also Published As

Publication number Publication date
WO2008118298A1 (en) 2008-10-02
CN101647019A (zh) 2010-02-10
US8019155B2 (en) 2011-09-13
EP2126739A1 (en) 2009-12-02
US20080240560A1 (en) 2008-10-02
JP2010522929A (ja) 2010-07-08

Similar Documents

Publication Publication Date Title
JP5587171B2 (ja) カテゴリベースヒストグラムを通じたディジタルオブジェクト提示
US7366994B2 (en) Using digital objects organized according to histogram timeline
US7421449B2 (en) Systems and methods for managing a life journal
US7788592B2 (en) Architecture and engine for time line based visualization of data
KR101224709B1 (ko) 데이터의 타임-라인 기반 표현을 이용하는 파일 관리 시스템
KR101122960B1 (ko) 디지털 파일들 및 데이터의 빠른 시각적 정렬
US20060156237A1 (en) Time line based user interface for visualization of data
US20090113350A1 (en) System and method for visually summarizing and interactively browsing hierarchically structured digital objects
JP2007527065A (ja) 画像グループを表すアイコンを生成する方法、当該方法を実行するよう構成されるコンピュータシステム、コンピュータプログラムプロダクト及びデータキャリア
US20080313158A1 (en) Database file management system, integration module and browsing interface of database file management system, database file management method
US20160117403A1 (en) Computer-Implemented System And Method For Filtering An Information Space
Van Der Corput et al. ICLIC: Interactive categorization of large image collections
Kang et al. Exploring personal media: A spatial interface supporting user-defined semantic regions
Gozali et al. How do people organize their photos in each event and how does it affect storytelling, searching and interpretation tasks?
Kang et al. Dynamic layout management in a multimedia bulletin board
JP7287486B2 (ja) 可視化データへの付箋の付与及び復元
Pinzón et al. Designing interactions in event-based unified management of personal multimedia information
Kang Managing and exploring media using semantic regions: A spatial interface supporting user-defined mental models
Chen et al. Reminiscing view: Event-based browsing of consumer's photo and video-clip collections

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130225

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130304

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140328

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140723

R150 Certificate of patent or registration of utility model

Ref document number: 5587171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees