JP4201154B2 - デジタルストーリー作成再生方法及びシステム - Google Patents
デジタルストーリー作成再生方法及びシステム Download PDFInfo
- Publication number
- JP4201154B2 JP4201154B2 JP2000381399A JP2000381399A JP4201154B2 JP 4201154 B2 JP4201154 B2 JP 4201154B2 JP 2000381399 A JP2000381399 A JP 2000381399A JP 2000381399 A JP2000381399 A JP 2000381399A JP 4201154 B2 JP4201154 B2 JP 4201154B2
- Authority
- JP
- Japan
- Prior art keywords
- story
- track
- objects
- created
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
- G06F16/4387—Presentation of query results by the use of playlists
- G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Television Signal Processing For Recording (AREA)
- User Interface Of Digital Computer (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般的には、画像の検索及び編成の分野に係り、特に、デジタル・オブジェクト（例えば画像）を用いたマルチメディアの作成に関する。
【０００２】
【従来の技術】
写真は様々な種類の日常的な話をする際に中心的な役割を演じる。写真の最も一般的で楽しい使い道の１つは、体験や旅行、友人、家族にまつわる話を共有するために利用することである。殆どだれでも、そのような形で、個人的体験のやりとりからはじまって家族や文化の歴史まで話をした経験があるものである。ワールドワイドウェブは、そのような話をデジタル化して共有することを容易化できるため、「デジタルのストーリー作成再生」への動きを加速した。デジタル化した話を、本明細書ではデジタルストーリーと呼ぶ。デジタル写真は、その内容（例えば色やテクスチャーなどの特徴）とメタデータ（例えばユーザが付けた文字による注釈）の両方によって検索し取り出すことができるという、プリント写真にはない利点がある。
【０００３】
今日、殆どのデジタルストーリーは、コンピュータの熟練者によって、画像の編集やウェブ・ページの作成（オーサリング）のための専用ソフトウェアで作成されている。また、このようなデジタルストーリーの作成は、ウインドウ又はテーブル及び何らかの種類のポインティング・デバイスもしくはカーソル制御デバイスに依存したグラフィカル・インターフェースを有するシステム上で行われている。この種のシステムは、一般に、持ち運びできず、使用方法も複雑である。このことが、この種システムの共同利用を困難にしている。また、この種のシステムは、かなりのトレーニングを必要とするため、一般消費者が利用するには適さない。
【０００４】
【発明が解決しようとする課題】
よって、本発明の目的は、以上のような不都合に鑑み、デジタルストーリーの作成再生のための改良された方法及びシステムを提供することにある。
【０００５】
【課題を解決するための手段】
本発明の一実施態様によれば、３つの領域を有するビジュアル・インターフェースが用意される。その第１の領域は３つの画像トラックを表示する。１つのトラックは装置に記憶されている画像を表示する。２番目のトラックは作成されたストーリーの画像を表示する。３番目のトラックは装置上で現在作成中のストーリーに関連付けられた１つ以上の画像を表示する。これら３つのトラック間の移動及び各トラック上の画像間の移動のために制御ボタンを利用できる。ビジュアル・インターフェースの第２の領域は、第１の領域内の３つのトラック中のいずれかのトラック上にある選択されたサムネイル画像に対応した画像の大サイズ画像を表示する。ビジュアル・インターフェースの第３の領域は、第２の領域に表示されている画像に関連付けられた１つ以上の音声クリップ及び他の情報を表現するものを表示する。以下、本発明の詳細について添付図面を参照して説明する。
【０００６】
【発明の実施の形態】
マルチメディア・ストーリー作成・再生システムについて述べる。以下の説明において、本発明の完全な理解のために様々な具体例を提示する。しかし、当業者には、そのような具体例によることなく本発明を実施し得ることは明白であろう。一方、本発明を分かりにくくしないため、周知の方法、手順、プロトコル、要素、アルゴリズム、回路はブロック図の形で表し、詳細には述べない。
【０００７】
以下の詳細な説明には、コンピュータ・メモリ内のデータビットに対する操作のアルゴリズム及び記号表現によって表された部分がある。このようなアルゴリズム記述及び表現は、データ処理技術分野において、当業者が研究内容を他の当業者に最も効率的に伝えるために用いる手段である。あるアルゴリズムがあり、それが概して期待した結果に至る筋の通ったステップの系列だと理解されるとする。そのステップは、物理量の物理的処理を要するステップである。必ずという訳ではないが、これらの物理量は記憶、転送、結合、比較、その他処理が可能な電気的または磁気的信号の形をとるのが普通である。これらの信号をビット、値、要素、記号、文字、用語、数等で表わすのが、主に慣用上の理由から便利な場合があることが分かっている。
【０００８】
しかしながら、このような用語や同様の用語はすべて適切な物理量に関連付けられるべきであり、また、それら物理量に付けた便宜上のラベルに過ぎないということに留意すべきである。以下の説明より明らかなように、特に断わらない限り、”処理”、”演算”、”計算”、”判定”、”表示”等の用語によって論じられることは、コンピュータシステムのレジスタ及びメモリの内部の物理的（電子的）な量として表現されたデータを処理して、コンピュータシステムのメモリやレジスタ、その他同様の情報記憶装置、情報伝送装置又は表示装置の内部の同様に物理量として表現された他のデータへ変換する、コンピュータシステムや同様の電子的演算装置の作用及びプロセスを意味する。
【０００９】
本発明は、ここに述べる処理を実行するための装置にも関係するものである。このような装置は、所要目的のために専用に作られてもよいし、内蔵のコンピュータ・プログラムによって選択駆動もしくは再構成された汎用コンピュータであってもよい。そのようなコンピュータ・プログラムは、コンピュータが読み取り可能な記憶媒体、限定するわけではないが例えば、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスクなどの任意の種類のディスク、リードオンリーメモリ（ＲＯＭ）やランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード又は光カードなど、すなわち電子的命令の記憶に適したコンピュータのシステムバスに接続された任意種類の媒体に格納することができる。
【００１０】
ここに提示するアルゴリズム及び表示は、本質的に、いかなる特定のコンピュータ、その他の装置とも関わりがない。様々な汎用マシンを、ここに述べる内容に従ったプログラムで使用し得るが、所要の手順のステップの実行のために、より特化した装置を作るほうが好都合であるかもしれない。これら多様なシステムに要求される構造は以下の説明から明らかになろう。さらに、どのような特定のプログラミング言語とも関連付けることなく本発明を説明する。ここに述べる本発明の内容を実現するために様々なプログラミング言語を使用し得ることを理解されよう。
【００１１】
《概要》
以下、デジタル写真及びデジタル・ストーリーを共有する機能を提供する本発明のマルチメディア・ストーリー作成再生システムについて説明する。一実施例では、本システムは、ユーザが写真及び／又はストーリーの閲覧、作成及び再生の間をシームレスに切り替えることを可能にする。一実施例では、マルチメディア・ストーリー作成再生システムは３つの要素、すなわち、記憶要素、表示要素及び対話要素を有する。記憶要素は、表示要素によって表示されるデジタル・メディア・オブジェクトを記憶する。このシステムは、ユーザがデジタル・メディア・オブジェクト間を移動し、ストーリーもしくはプレイリスト（playlist）を作成できるようにする対話要素（例えば制御ボタン）を備える。本明細書において、ストーリーもしくは「プレイリスト」とは、画像やビデオ・クリップなどのデジタル・メディア・オブジェクトの順序付けした集合である。一番上のトラック上のインポートされたストーリーは、単に１枚の写真であってもよく、それにナレーション・トラックが付属していてもいなくともよい。写真は、１巻きのフィルムの場合と同様に、複数枚をひとまとめにしてインポートすることができる。同じように、１つの文書の複数ページの画像を１まとめにすることもできる。すなわち、これらを１つのナレーション・トラックとすることはできないが、インポートされた写真の集合又は１枚の写真は本明細書でいうところの１つのストーリーとすることができる。
【００１２】
一実施例では、システム内に記憶されるデジタル・メディアとして、写真、画像、音声クリップ及びビデオ・クリップがある。これらのデジタル・メディアには、素材のままのオブジェクト、例えば個々の写真などのほか、作成されたオブジェクトつまり複数種類のメディアをまとまったストーリーに組み合わせるオブジェクトも含めることができる。作成されたオブジェクトの一例は、音声クリップもしくはナレーション・クリップと関連付けされた一連の写真である。一実施例では、オブジェクトの取り込み時刻が把握され、そのオブジェクトと一緒にシステムに記憶される。
【００１３】
ユーザの操作をまったく要せずに、新しいオブジェクトをシステムに自動的に入力することができる。新しいオブジェクトは１つ以上のソースを利用しシステムに入力される。例えば、デジタル写真を記録したフラッシュメモリカードから入力したり、ビデオカメラから入力したり、フロッピー・ドライブやＣＤ−ＲＯＭドライブによってデジタル写真やビデオ・クリップを読み込んだり、ネットワークでダウンロードする等々である。一実施例では、ユーザがフラッシュメモリカードをシステムのスロットに挿入すると、そのフラッシュメモリカードから自動的に写真が複写されてシステムに格納される。もう１つの実施例では、システムは写真及びストーリーが添付された電子メールメッセージを受信することができる。そして、この写真及び／又はストーリーを自動的にアクセスすることができる。当業者には、マルチメディア・オブジェクトを様々な方法でシステムに入力し得ることは明白であろう。
【００１４】
ナレーションは、例えば、録音した音声の注釈、デジタル・インクで書かれた注釈あるいはタイプ打ちされた注釈など、様々な形をとることができる。一実施例では、１つのナレーション・トラックを、１つのオブジェクトに適用することも、いくつかのオブジェクトに適用することもできる（例えば、一連の画像に対し１つのナレーション・トラックを適用する）。１つのオブジェクトに対し、複数のナレーション・トラックがあってもよい。すなわち、同じデジタル・オブジェクト（写真）に、いくつかのナレーションを関連付けすることができる。
【００１５】
システムの表示要素は、デジタル・メディア・オブジェクトをユーザに表示する複数のトラックを備える。１番目のトラックは、システム内に記憶されているデジタル・メディア・オブジェクトを表示する。２番目のトラックは、作成されたストーリーに統合されたデジタル・メディア・オブジェクトを表示する。３番目のトラックは、システムを利用して現在作成中のストーリーに関連付けられた１つ以上のデジタル・メディア・オブジェクトを表示する。
【００１６】
システムの表示要素は、ユーザが記憶されているオブジェクト間を移動することを可能にする。これに、素材のままのオブジェクト（例えば、ナレーションが関連付けされていないオブジェクト）を閲覧できること、ストーリーを閲覧できること、及び、以前作成されたストーリーを再生できること、を含めることができる。一実施例では、ストーリー再生には、画像のスライドショーを、関連付けられたナレーションがあればそれと一緒にユーザに表示することも含まれる。
【００１７】
システムの対話要素は、ユーザが新しいストーリーを作成することを可能にする。一実施例では、ユーザは、いくつかの方法の１つ以上を利用して新しいストーリーを作成することができる。例えば、ユーザは、内容のないストーリーからスタートして、そのストーリーにオブジェクトを追加し、個々のオブジェクト又はある範囲のオブジェクトにナレーションを追加することによりストーリーを作成することができる。オブジェクトの選択とナレーションの追加は、好きな順番で行うことができる。ユーザは、既存のストーリーに対する編集操作又は削除操作を行うことによって新しいストーリーを作ることができる。
【００１８】
一実施例では、システムはモードレス（modeless）のインターフェースを有し、これはユーザに、少数のボタンからなり、ポインティング・デバイスやタッチスクリーンを含まないインターフェースを提供する。もう１つの実施例では、システムは、一般的なデスクトップ・コンピュータやスタンドアローン機器を利用して実現される。ユーザがこのようなシステムを制御するには、例えば、マウス、キーボード、タッチスクリーン、タッチパッドなどの標準的な入力装置、あるいは、本明細書で述べる対話のために専用に設計されたボタン及び／又はスライダからなる物理的な制御環境を利用することができる。
【００１９】
図１は、システムの表示画面の一例を示す。メディア・オブジェクトは、例えばデジタルカメラ、デジタル・ビデオキャプチャ、マイクロフォン、スキャナなどの様々なソースからシステムにロードされるか、このシステム上で生成することができる。そして、これらのオブジェクトは、システム内の記憶媒体（例えばランダムアクセスメモリ、ハードディスク、フラッシュメモリなど）に格納される。
【００２０】
図１に示すように、このシステムは、画面をおおまかに３つの領域に分割したビジュアルなインターフェース１００を提供する。一実施例では、画面上部にある第１領域１０２と、画面右下部にある第２（中心的）領域１０３と、画面左下部にある第３領域１０４である。
【００２１】
第１領域１０２はメディア・オブジェクト（例えば写真など）を閲覧したり、それらオブジェクト間を移動するためのグラフィカル表示を提供する。一実施例では、３つの横方向のサムネイル画像のトラック１０５，１１０，１１５があり、各々のトラック間をスクロールにより移動できる。
【００２２】
一実施例では、上のトラック１０５は既存の写真の画像を、その作成時刻（あるいは他の同様の特徴）の順に表示する。その作成時刻をタイムスタンプで表示することができる。これらの画像を「フイルム・ロール」や他の無理のないグループにまとめることができる。スキャナで読み込んだ写真の場合、インポートされたストーリーを文字通りフィルム・ロールに対応させることができる。デジタル写真の場合、それら写真を１セッションでカメラからダウンロードされた１組の写真に対応させることができる。上のトラックは、システムに現に格納されている写真の全部又は多くを表示することもできる。すなわち、システムに格納されている写真をどれでも表示させることができる。上のトラックに表示された写真をストーリーとすることができる。例えば、上のトラック１０５に表示された写真の１枚以上を、インポートされた１つのストーリーとすることができる。
【００２３】
一実施例では、インポートされるストーリーを、データベース検索の結果として自動生成することができる。例えば、「装置に格納されている青を含む全ての画像」を求めるためのデータベース検索で「青」の識別子を持つ画像が返される。そして、得られたそれらの画像がシステムにインポートされる。なお、第１のトラック１０５にストーリーが全然含まれなくともよいことに注意されたい。すなわち、第１のトラック１０５は、それぞれ１つ以上の画像を有する０個以上のストーリーを入れることができる。
【００２４】
インポートされたストーリーの内部では、写真は時間の流れに沿って並べられる。デジタルカメラの写真は撮影順に並べることができ、プリント写真から読み取った画像は読み取り順に並べられる。一実施例では、別々のストーリーを区別するため、システムは背景色を交互に変え、各々の背景色を別々のストーリーに対応させる。
【００２５】
中間の、つまり第２のトラック１１０には作成されたストーリーが入り、その各ストーリーは人によって選ばれた１つ以上の写真のシーケンスを含む。各ストーリーはサムネイル画像のシーケンスの形で表される。一実施例では、インポートされたストーリーと作成されたストーリーは生成順に並べられ、別々のストーリーは背景色を異ならせることにより視覚的に区別される。別の実施例では、画面内でトラック上のストーリーをスペースによって区分することができる。そのスペースの大きさを、ストーリー生成時刻の間隔に応じて変えることができる。例えば、一実施例では、同日に撮影された複数の写真は、第２のトラック１１０上で、１日又は１週末だけ撮影時刻が離れた写真よりも接近させられる。そのスペースを時間の関数とすることができるが、必ずしも線形関数でなくともよい。例えば、「日」「週末」「週」「１週以上」に対応した刻みを設定してもよいであろう。
【００２６】
下の、すなわち第３のトラック１１５は、作成中のストーリーを表す。すなわち、下のトラック１１５には、ユーザにより選ばれ操作された作業中のサムネイル画像群が入る。このサムネイル画像群は、システムの現セッションの間だけ下のトラック１１５に表示させることができる。ユーザは、セッション終了後のストーリーをさらに作成したい場合には、その作成されたストーリーを選択して下のトラック１１５に取り込む。
【００２７】
一実施例では、サムネイル画像が下のトラック１１５に表示されるのは、１つ以上の制御ボタン（例えば、以下に詳述する追加（＋）ボタンか録音ボタン）を押すことにより、そのサムネイル画像を作業用のサムネイル画像群に追加したときである。作成中のストーリーは常にペンディング状態である。ストーリーが完成しユーザにより保存されると、そのストーリーは中間のトラック上の作成されたストーリーの集合に加わる。一実施例では、中間のトラック１１０と下のトラック１１５は視覚的に区分されなくともよく、このことはいずれのトラックについても同様である。
【００２８】
これら３つのトラック１０５，１１０，１１５の表示によって基本的にモードレスのインターフェースが提供され、ユーザは作成済みストーリーの閲覧、写真の閲覧／写真間の移動、新たなストーリーの閲覧／作成を同時に行うことができる。また、この表示は現在の画像を閲覧するのに便利な環境を提供する。例えば、ユーザが１つのサムネイル画像を選んで、あるストーリーの１つの画像を閲覧し、その画像を現在のストーリーに追加し、そして注釈を追加する時に、その画像が、その周辺の、元のストーリー及び現在のストーリーのサムネイル画像と一緒に表示されたままになり、注釈を付けるのに都合がよい。
【００２９】
一実施例では、各サムネイル画像は上のトラック１０５に１回だけ表示される。各サムネイル画像は、中間のトラック１１０上の任意数のストーリー中で表示させることができ、また、現在作成中の文書に明示的に追加されるか、その一部として注釈付けされたときに限り下のトラック１１５に表示される。
【００３０】
典型的な対話方法では、ユーザはサムネイル画像を見つけ、それを作業用のサムネイル画像群（下のトラック１１５）に追加する。ユーザは、選択したサムネイル画像に付随させるための、関連した音声ナレーションを録音することもできる。そのセッションの最後で、下のトラック１１５上にある全てのサムネイル画像は１つのストーリーにまとめられ、中間のトラック１１０にアペンドされる、つまり追加される。
【００３１】
表示画面の中心的領域１０３は、大きな画像１２０を表示する。この大きな画像１２０は、第１領域１０２内のトラック上で現在選択されているストーリー又は写真のサムネイル画像に対応している。こうすることで、ユーザは、（トラック１０５，１１０，１１５上の縮小されたサムネイル画像に比べ）快適な楽しめる大きさで写真を閲覧することができる。他の実施例では、それ以外のオブジェクトのために別の表示方法が必要となるかもしれない。
【００３２】
表示画面の第３領域１０４は、中心的領域１０３に現在表示中の写真に関して利用可能な音声ナレーションを表示する。別の実施例では、それ以外の情報、例えば作成日なども第３領域１０４に表示することができる。図１に見られるように、中心的領域１０３に表示されている写真１２０に関し２つのナレーション１３０，１３５を利用可能であり、それが波線の描画によって示されている。一実施例では、各ナレーションは、その時間の長さに対応したビジュアルな表示（例えば、それを示す波線が長いほどナレーションの時間は長い）、並びに、関連した録音情報、例えば、録音日時、録音したユーザの名前を有する。
【００３３】
図２は、システムのマルチメディア・ストーリーの作成及び／又は閲覧のための制御ボタンと画面表示の見本例を示す。一実施例では、ユーザがシステムを両手で持ったまま制御ボタンを操作できるようにするため、制御ボタンはシステム本体の両サイドに集中配置される。こうすることで、ユーザがシステムから手を離さなければならないようなキーボード、マウス、その他のデバイスは不要となる。
【００３４】
図２に示すように、この例では、制御ボタンとして、選択したトラック上の画像を左へスクロールするための左スクロールボタン２０５、選択したトラック上の画像を右へスクロールするための右スクロールボタン２１０、スクロールしたいトラックを選択するためのトラック選択ボタン２１５などのナビゲーション用ボタンがある。一実施例では、スクロール操作のためにジョグシャトルが用いられる。
【００３５】
一実施例では、着色された（例えば黄色の）縦線インジケータ２５５によって、選択されたトラックと同トラック上の選択されたサムネイル画像を示す。図示した縦線インジケータ２５５は、下のトラックの先頭のサムネイル画像内に表示されている。この選択されたサムネイル画像は、中心的領域２５０に表示された大きな画像と対応している。トラック選択ボタン２１５は、３つの異なるトラック間で縦線インジケータ２５５を移動させる。
【００３６】
スクロールボタン２０５又は２１０が押されると、現在のトラック上の、それまで選択されていたサムネイル画像の左側又は右側のサムネイル画像が新たに選択され、中心的領域２５０に表示される。別のサムネイル画像が縦線インジケータ２５５の下に来ると、それに対応した画像が中心的領域２５０に表示される。なお、画面上で、画像の選択のために、どのような種類のインジケータを用いてもよい。また、一実施例では縦線インジケータ２５５を所定位置に固定したままスクロールボタン２０５又は２１０で縦線インジケータ２５５があるトラック上の画像を左又は右へ移動させるが、システムが、それら画像を所定位置に保持したまま、縦線インジケータ２５５を移動させて画像を選択することも可能であることに注意されたい。一実施例では、ジョイスティック・インターフェースを介しシステムに接続した外付けのジョイスティックによって、画像間の移動を制御することができる。
【００３７】
一実施例では、ユーザは、可変速スクロールによって、トラック上のサムネイル画像間を素速く移動することができる。標準速度では、画面は図２のように表示される。一実施例では、標準速度とは左スクロールボタン２０５又は右スクロールボタンを１回だけ押すことを意味する。これによって、トラックをちょうどサムネイル画像１つ分だけ移動させる。システムにおいて別のインデックスにより素速くアクセス可能なサムネイル画像の低解像度画像を表示させ、かつ、中心的領域２５０に画像を表示させないか、音声領域２６０にナレーションを表示させないようにして、スクロール速度を上げることができる。一実施例では、そのような画像をメモリにキャッシュしてアクセス速度を上げることができる。スクロール速度を上げるためには、ユーザはスクロールボタン２０５又は２１０を長い時間押し続ける必要があるかもしれない。この時には、画像は縦線インジケータ２５５のそばを高速にスクロールするように見える。
【００３８】
一実施例では、展開／折り畳みボタン２６５は、３つのトラック中の１トラック上の各ストーリー毎に表示方法すなわち表示される写真の数を制御する。展開表示では、１つのストーリー内のすべてのサムネイル画像が表示される。一実施例では、この展開表示がデフォルトの表示方法である。折り畳み表示では、各ストーリーは所定数のサムネイル画像（例えば１つのサムネイル画像）によって表される。一実施例では、ストーリーの最初のサムネイル画像が、そのストーリーを表すために用いられる。折り畳み表示は、ナビゲーションの高速化を考慮している。図３の（ａ）と（ｂ）は、あるストーリーの展開表示と折り畳み表示の例を示す。図３（ａ）を見ると、２つのストーリー３０５，３１０が展開形式で示されており、背景が同色のサムネイル画像群は同じストーリーに属している。同じ２つのストーリーがサムネイル画像３１５，３２０に折り畳まれた形式で図３（ｂ）に示されており、各ストーリー３０５，３１０の先頭のサムネイル画像が対応した折り畳み形式のサムネイル画像として用いられている。
【００３９】
再び図２を見ると、システム２００の左下部のボタン群に、ストーリーの作成、閲覧、再生のための他の制御ボタンが用意されている。再生ボタン２２０は、ユーザが既存のストーリーを閲覧できる再生モードに入るために用いられる。再生モードでは、システムは現在選択中のサムネイル画像から再生を開始する。一実施例では、必ずというわけではないが、各サムネイル画像には、それが属しているストーリーの一部として１つの音声クリップが関連付けされている。また、各サムネイル画像は、２つ以上のストーリーの一部となり得るので、１つのストーリーに１つずつ、計２つ以上の音声クリップが関連付けされることがある。一方、音声クリップには録音したナレーションが入っていることも、入っていないこともある。ナレーションがあるときには、それがシステムの内蔵スピーカー（不図示）によって再生される。録音されたナレーションがなければ、ある時間長のポーズ、例えば１秒のポーズが置かれる。ナレーションが終わった後、又は（ナレーションがないときの）ポーズの後で、選択されているトラックは、そのストーリーの次のサムネイル画像へ自動的にスクロールする。一実施例では、デフォルトの表示・読み方向である左から右へ向かう順序に従って、次のサムネイル画像が決められる。システムが再生中に、ユーザが別のサムネイル画像へ移動すると、例えば、左から右へスクロールしたり、別のトラックへ切り替えたりすると、現在再生中の音声クリップの再生は停止する。ユーザがある短い時間（例えば１秒間）、何も操作をしなければ、システムは、その新たに選択されたサムネイル画像に関連付けされた音声クリップを再生し、その位置からストーリーを継続する。
【００４０】
前述のように、選択されたサムネイル画像には、２つ以上の音声クリップと、その対応ナレーションが関連付けされていることがある。１つのサムネイル画像が選択されるたびに、そのサムネイル画像に関連付けされた音声ナレーションが全て音声領域２６０に表示される。一実施例では、選択されたサムネイル画像に２つ以上の音声クリップが関連付けされていて、システムが１つの音声クリップを再生している時に、再生ボタン２２０を押すと、システムは次の音声クリップへ進む。
【００４１】
図１を見ると、選択されたサムネイル画像のために使用できる２つのナレーション、すなわちナレーション１３０とナレーション１３５がある。各々のナレーションには、録音日時と録音したユーザの名前が表示される。波線の長さは音声の継続時間に比例している。選択されたストーリーに関連付けされたナレーションが、ナレーション１３０のように、最初にリストされる。図２を参照すると、特に指定しなければ、再生ボタン２２０が押された時に、選択されたストーリーに関連付けられたナレーションが再生される。再生ボタン２２０を素速く繰り返し押すことにより、別の音声クリップを１つずつ選択して対応したストーリーの再生へ「ジャンプ」し、ストーリー間の自動ハイパーリンクが可能となる。
【００４２】
システムは、停止ボタン２２５が押されるか、ストーリーの最後まで進むまで再生モードのままである。停止ボタン２２５が押されるかストーリーの最後まで進むと、システムは停止モードになる。システムが停止モードの時は、音声クリップは再生されない。
【００４３】
一実施例では、システムが再生モードの時には、削除（−）ボタン２３５を押してもシステムの再生モードに何の影響も及ぼさない。一方、追加（＋）ボタン２３０を押すと、現在表示中の画像が作業用画像群に追加される。すなわち、システムは現在表示中の画像を作業用画像群にアペンドするが、再生モードは停止しない。また、システムが再生モードの時にユーザが保存ボタン２４５を押すと、システムは音声クリップの再生を止めて保存処理を実行する。また、システムが再生モードの時にユーザが録音ボタン２４０を押すと、音声クリップが停止させられる。
【００４４】
一実施例では、作成モード（再生モードではない）で、作業用画像群つまり下のトラック１１５にコピーを追加したいサムネイル画像の上に縦線インジケータ２５５が位置している時に追加（＋）ボタン２３０を押すことによって、ストーリーを作成することができる。逆に、削除（−）ボタン２３５は、選択されているサムネイル画像（すなわち、縦線インジケータ２５５の下にある画像）を下のトラック上の作業用画像群から削除する。
【００４５】
作成モード時において、録音ボタン２４０を押すと録音機能が起動する。録音機能がアクティブな時に、マイクロフォンで録音された音声が記憶され、また、その音声は作業用トラック上に現在表示されているサムネイル画像と関連付けされる。一実施例では、この関連付けは、基礎をなしているＸＭＬファイル内にリンクを張ることで行われる。そのサムネイル画像がまだ作業用画像群にない場合には、追加（＋）ボタンが先に押されたとしても、そのサムネイル画像がアペンドされた後に録音が始まる。選択されたサムネイル画像が作業用トラックにすでにある場合には、作成中のストーリーで、そのサムネイル画像に関連付けされている以前の録音に新しい録音が上書きされる。録音中に、例えば、左又は右へスクロールしたり、別のトラックへ切り替えたり、展開／折り畳みボタンを押したりして、ユーザが新たなサムネイル画像を選択した場合には、その新たなサムネイル画像に関連付けされた音声クリップに対し録音を続ける。また、その新たなサムネイル画像は、それがある短時間（例えば１秒）以上閲覧されると作業用トラックにアペンドされる。一方、ユーザが、依然として作業用トラック上で左へ、つまり戻り方向へスクロールすると、自動的に録音は停止する。こうすることで、録音の誤消去を防止する。別の実施例では、その新たなサムネイル画像は、作業用トラック上の最後に選択されたサムネイル画像（例えばトラック１１５の真ん中の画像）の前又は後に挿入される。この場合、その挿入された新たなサムネイル画像に関連付けされた音声クリップから録音を再開する。さらに、再生ボタン２２０を押すことによっても、録音モードが停止してシステムは再生モードとなる。こうすることで、ストーリーの録音作業を出来る限りストーリーの閲覧作業に似かよらせる。
【００４６】
別の実施例では、システムにタッチスクリーン又はポインティングデバイス（例えばカーソル制御装置）を装備させることができる。この場合には、録音モード中に、ユーザのポインティング操作が取り込まれることになろう。再生中に、指示された領域は適当な回数だけ強調表示される。強調表示を行う方法の１つは、他の画像を暗くすることである。もう１つの選択肢として、半透明オーバーレイ（例えば黄色の円）を利用することができる。
【００４７】
システムが停止モードの時に、ユーザは、サムネイル画像を、あるトラックから別のトラックへドラッグし、あるいは、ストーリー内の別の位置へドラッグすることができる。もう１つの選択肢として、左／右スクロールに代え、ドラッグ操作によって、あるトラック上の全部又は複数の画像を同時に移動させることができる。
【００４８】
特定のサムネイル画像を指示することにより、そのサムネイル画像が選択され、そのサムネイル画像のあるトラックが選択され、そして、対応した大きな画像が中心的領域２５０に表示される。別の実施例では、画面に触れることで、あるトラック上の１つの画像を選択することなく強調表示させることができる。
【００４９】
一実施例では、録音動作は「選択後ナレーション」方式と「選択・ナレーション同時」方式の両方をサポートする。「選択後ナレーション」方式では、追加（＋）ボタン２３０又は削除（−）ボタン２３５を用いて１つの作業用サムネイル画像群を選択して、各サムネイル画像に順に注釈を付けることによって、１つのストーリーを作成することができる。もう１つの選択肢として、「選択・ナレーション同時」方式では、写真間の移動及び写真の選択と並行して連続的にナレーションを録音することができる。録音がアクティブな時に、新たな各写真をユーザがある短い時間間隔より長い間閲覧すると、その各写真は録音された全ての入力とともに自動的に作業用画像群に追加される。こうすることで、「選択・ナレーション同時」方式をサポートする。録音のために、一実施例では、マイクロフォン２７０がシステムの外ケースに取り付けられるか組み込まれる。別の実施例では、システムに音声ナレーションをテキストに変換するための音声認識ソフトウェアが搭載される。
【００５０】
図２の右下にあるボタン群は、ストーリーの操作を制御する。保存ボタン２４５は、下のトラックに表示されている現在作業中のストーリーを、中間のトラックの最後に移動させることにより「保存」する。なお、この時に、現在のシステムの状態も保存されることに注意されたい。ＸＭＬファイル（あるいは、それと同等の言語によるファイル）を、音声クリップと一緒に、メモリ（例えばＲＡＭ）に格納し、また、保存する時にハードディスクに書き出すことができる。（それらを。それ以外の時点に書き出すこともできる） 別の実施例では、完成したストーリーを、同様のシステムあるいは通常のＰＣでメディア再生ソフトウェアや標準的なＷｅｂブラウザを利用して閲覧するために、他のユーザへ電子的に送信することもできる。もう１つの実施例では、「印刷」ボタンによって、ユーザは選択した画像を、有線又は無線技術によってローカル接続されたプリンタ又はリモート装置で印刷することができる。
【００５１】
一実施例では、システムに画像生成／取り込み装置（例えばビデオカメラ）が付属している。このビデオカメラは、システムのホルダーの内側へ向けることも外側へ向けることもできる。システムの撮影ボタンによって、ユーザは、そのデジタルカメラから静止画像とタイムスタンプを取り込み、その画像を上のトラックに追加することができる。もう１つの実施例では、各録音セッションの開始時やプリセットされた時間間隔で、あるいは、ビデオ入力が所定の閾値以上に変化するたびに、ナレーターの画像が自動的に取り込まれる。ビデオカメラを利用する場合、ビデオカメラで取り込まれた画像を、第１のトラック１０５に追加して、他の全てのオブジェクトと同様、作成されるストーリーに挿入するための画像として利用できる。
【００５２】
一実施例では、ストーリーと写真のメタデータは、ＸＭＬ(Extensible Markup Language)で記述されて記憶装置に格納される。図４は、システムが初期化中に読み込むＸＭＬメタデータ・ファイルの見本を示している。この初期化用メタデータ・ファイル４００は記憶装置上の所定の記憶位置に格納される。一実施例では、この初期化用メタデータ・ファイルは「families.xml」というファイル名を付けられ、その記憶位置はシステムの記憶装置上の同ファイルに対応したローカルＵＲＬ（Uniform Resource Locator）により指定される。システムによって実行可能な１つ１つのグループ（例えば家族）ごとに、初期化用メタデータに３つのトラックに対応したストーリーへのポインタが含まれている。例えば、図４のメタデータ・ファイルはストーリー・ファイル４０５「meta6.xml」を指示している。一実施例では、初期化用メタデータ・ファイルは、例えば個人的なストーリーの不正閲覧を防ぐためのユーザＩＤとパスワードのような管理機能も担う。一実施例では、初期化用メタデータ・ファイルにユーザの固有情報が含まる。もう１つの実施例では、システムはシングルユーザを前提とする。
【００５３】
図５（ａ）は、ストーリーのためのＸＭＬメタデータの見本を示す。ストーリーのためのＸＭＬメタデータ・ファイル５００は、他の２つのストーリー、すなわち「meta3.xml」５０５と「meta5.xml」５１０を指示している。なお、各メタデータ・ファイルは、単一のオブジェクトを指す「ストーリー」か「文書」を値として持つ「type」属性が割り当てられることに注意されたい。図５（ｂ）は、ストーリーのためのＸＭＬメタデータ・ファイルのもう１つの見本を示す。このメタデータ・ファイル５２０は、メタデータ・ファイル５００によって指示されたストーリー「meta3.xml」５０５を表している。メタデータ・ファイル５２０には、「metal.xml」５２５及び「meta2.xml」５３０として表された写真のリストがある。なお、それら写真の参照には対応したＸＭＬメタデータ・ファイルのＵＲＬが用いられる。各写真は、「clipl.au」５３５及び「clip2.au」５４０と表された音声クリップが関連付けられている。一実施例では、音声クリップ５３５又は５４０に関連付けられた音声タグのオフセット属性で、音声ファイル内の参照される音声ナレーションの先頭位置を指定し（例えば、１つの音声ファイルにユーザが用意した音声ナレーションが２つ以上含まれているような場合）、その単位はミリ秒である。
【００５４】
図６は、写真のためのＸＭＬメタデータ・ファイルの見本を示す。メタデータ・ファイル６００は、図５（ｂ）に示したメタデータ・ファイルにより指示された画像「metal.xml」を表している。メタデータ・ファイル６００には、２つの画像ファイル、すなわち、画面の領域１０３に用いることができるフルサイズ画像６０５とトラック１０５，１１０，１１５で用いることができるサムネイル画像６１０を指示するＵＲＬが入っている。また、メタデータ・ファイル６００に、縮小表示のための色データが入っている。画像の縮小表示は、サムネイル画像又はフルサイズ画像として描画させることができる。
【００５５】
一実施例では、ＸＭＬを使用することで、ＨＴＭＬ（Hypertext Markup Language）やＳＭＩＬ（Synchronized Multimedia Integration Language）などの他フォーマットへ容易に変換可能となる。その結果、ストーリーを他人と共有したり、異なった装置で閲覧することが可能となる。ＳＭＩＬフォーマットは、ストーリーの構成に合わせて音声を一連の画像に同期させることができる点で、特に適している。これらのフォーマットのどれかを使用すれば、関連付けされた写真と音声クリップを含む１つのストーリーを１つのファイルに保存することができる。そして、そのファイルをウェブ・サーバーへアップロードし、ユニークなＵＲＬを割り当てることができる。そして、このＵＲＬを、標準的な電子メール・プロトコル、例えばＳＴＭＰを使い電子メールにより、ウェブ上の特定の宛先又は宛先リストへ送信することができる。一実施例では、電子メールを送信するために、システムはネットワーク・インターフェース、例えば、Ethernet インターフェース、モデム・インターフェース、ワイヤレス・インターフェースを提供する。もう１つの選択肢として、標準的な添付ファイル・エンコーディング技術、例えばＭＩＭＥ（Multipurpose Intemet Mail Extensions）により、ファイルを電子メールの添付ファイルとして宛先へ送信することができる。
【００５６】
一実施例では、左／右スクロールボタンと追加（＋）／削除（−）ボタンを使って、宛先の電子メール・アドレスを指定することができる。これらのボタンは、上のトラック１０５に表示された文字及び句読点の中を移動するために用いられる。電子メール・アドレスを、下のトラック１１５上に作成することができる。中間のトラックは、前に保存した電子メール・アドレスの表示に利用することができる。ストーリーをユーザへ送信する人の電子メール・アドレスを、第２のトラックに自動的に追加させることをできる。さらに、システムは、ＰＤＡ（例えば Palm Pilot）から赤外線送信された「コンタクト」ファイルすなわち vCard ファイル（ Versit コンソーシアムで開発されたＰＤＩ（Personal Data Interchange）技術）を介し入力電子メール・アドレスを取り込むことができる。新しい電子メール・アドレスを作成するために、ユーザはスタイラスを用いて画面上のキーボードで入力することができる。スタイラスを使う場合に、ユーザの手書き文字を認識するために手書き文字認識ソフトウェア、例えば、 Palm Computing 製の Graffiti を利用することができる。もう１つの選択肢として、ユーザは、システムに用意されているキーボード・インターフェースに装着した外付けのキーボードを使用できる。システムは、ストーリーを電子メールの宛先へ送信することのほかに、装置／所有者へ送信された新しいストーリーを列記した電子メール・メッセージ又は所定のウェブページの形をとって、設定した時間間隔で、あるいは設定した時刻に、新しいストーリーの有無を自動的に調べることもできる。システムは、新しいストーリーやメッセージを自動的にダウンロードすることもできる。
【００５７】
一実施例では、システムには、電源とネットワーク・インターフェースを有するクレードルもしくはドッキング・ステーションが付属している。一実施例では、全ての通信情報（送信／受信メッセージ）は、システムがドッキング・ステーションにドッキングされた時に実行するための待ち行列に入れられる。そして、システムがドッキングされたときに、通信が自動的に実行される。一実施例では、システムがクレードルに置かれているか、設定時間だけ使用されないと、自動実行スクリーンセーバー機能が起動し、システム内の全ストーリーを画面に循環表示させる。
【００５８】
一実施例では、システムは、画像とその関連音声クリップを互いに同期をとって使用することによりビデオ・ファイルを生成することができる。もっとも、それら画像が、ユーザが再生ボタンを押した時にシステム上に表示されるだけであるが。そして、そのビデオ・ファイルを、例えばＭＰＥＧ、ＡＶＩ、 QuickTimeなどの標準的フォーマットで格納した後、電子メールの添付ファイルとして宛先へ送信することができる。もう１つの実施例では、ストーリーの作者は、ストーリーが宛先へ送信される時に、そのストーリーと関連付けするための自分の写真を送信させることができる。この写真へのリンクは、その電子メールに添付される。受信者がその電子メールを見たときに、その作者の写真がある画像枠に表示される。別の選択肢として、作者に関連した写真を、ストーリーの最初の写真として表示したり、特に折り畳み表示の場合には先頭の写真に合成してもよいであろう。
【００５９】
以上説明したように、入力として、様々なソースからメディア・オブジェクトを取り込むことができる。一実施例では、他のメディア・オブジェクト、例えば、ビデオ・クリップ、プレゼンテーション・スライド、文書のページ、ウェブ・ページ、音声クリップもシステムにロードすることができる。ビデオ・クリップが入力の場合、入力ビデオ・ストリームは、標準的なアナログ式ビデオ・キャプチャ・ボードや「ファイアワイア」（IEEE 1394）インターフェースを介して取り込んだり、デジタル化ビデオ・ファイル、例えばＭＰＥＧファイル又は QuickTime ファイルと直結して取り込むことができる。そして、そのビデオ・ストリームを、標準的なシーン変化検出アルゴリズムによってクリップに分割することができる。この場合、各クリップを１枚の写真として処理することができる。さらに、各クリップに、元のビデオソースの音声セグメントを関連付けしてしまうこともできる。この実施例の場合、再生ボタンを押すことにより、システムに、その音声セグメントとビデオ・クリップの両方を同期させて再生させることができる。そして、システムはストーリーの次のクリップへ進む。ビデオ・クリップの最初のフレームを、そのビデオ・クリップを代表するサムネイル画像として用いることができる。
【００６０】
プレゼンテーション・スライドが入力の場合、システムは各プレゼンテーション・スライド毎に１つの画像を生成する。プレゼンテーション・スライドは、プレゼンテーション・ソフトウェア（例えば Powerpoint ）や、他の文書又はグラフィクス編集ツールによって作成されたものであろう。この場合、ストーリーは、システム上で、プレゼンテーションと同様にスライドのシーケンスとして表示される。文書のページが入力の場合、上のトラックにあるストーリーは、元の文書のページと順に対応する。中間のトラックにある１つの文書は、音声ナレーション付きの再編成されたページの集まりである。文書は、Postscript やＰＤＦなどのページ・ベースのフォーマットと、ＨＴＭＬやプレーン・テキストのようなリニア・フォーマットのいずれの既存フォーマットからも容易にインポートすることができる。リニア・フォーマットの場合、ページ分割が必要となろう。
【００６１】
ウェブ・ページが入力の場合、上のトラック１１５にユーザの時系列の閲覧履歴を含めることができる。この閲覧履歴は、ウェブ・ブラウザをモニタリングするか、プロキシ・サーバーとしてユーザのＨＴＴＰ要求を全てインターセプトし処理することによって、捕捉することができる。各ストーリーは、ある長さの時間（例えば、１日、１回の閲覧時間など）に対応している。第２のトラックによって、ユーザは、ウェブ・ページのグループを、アクセスやその後の検索が容易になるように整理して順番に並べることができる。第２のトラック上のストーリーは、ブックマーク・フォルダ、１回の検索で見つかった一連のページ、その他、ユーザに都合のよい任意の構造とすることができる。
【００６２】
音声クリップが入力の場合、上のトラックに、「アルバム」すなわち、ユーザがＣＤ−ＲＯＭドライブによりシステムに読み込んだり、ウェブから直に一連の音声ファイルとしてダウンロードしたオーディオＣＤ、例えば、MP3.com からダウンロードしたMP3 ファイル、MicrosoftからダウンロードしたWindows Media Audioファイル、LiquidAudio.com からダウンロードしたLiquid Audioファイル、 Real NetworksからダウンロードしたRealJukeboxファイルなどを表示することができる。各々の「アルバム」は順序付けた「歌」の集まりである。第２のトラックは、ユーザの「再生リスト」（例えば、ユーザ固有の歌の再生順序）を表示する。この場合、各々の歌毎にデフォルトの視覚的表示があるか、ユーザが適当なアイコンを選ぶか、あるいは、ウェブサービスによってアーティスト名、歌のタイトル又はアルバムのタイトルに相応しいアイコンを提供する。
【００６３】
図７は、デジタルストーリー作成・再生システムの記憶要素、表示要素及び対話要素を含む典型的なコンピュータシステムの一例を示す。図７に示した様々な構成様要素は、あくまで例示にすぎない。図７に示したコンピュータの特定の構成要素は、本発明の特定の実施形態のためのシステムから省くことができる。別のシステムでは、本発明の範囲から逸脱することなく別の要素が追加されることもあろう。
【００６４】
図７に示すシステム・バス７００には、様々な構成要素が接続される。プロセッサ７０１は、コンピュータに必要とされる処理タスクを実行する。プロセッサ７０１は、ここに述べた記憶、表示及び対話の機能を遂行するために必要なステップを実行できるならば、どのような種類の処理装置でもよい。コンピュータに接続された他の装置との通信のための入出力（Ｉ／Ｏ）装置７０４がバス７００に接続されている。コンピュータで利用される各種のデータ及び情報の記憶場所を提供するため、リードオンリーメモリ（ＲＯＭ）７０３とランダムアクセスメモリ（ＲＡＭ）７０５がバス７００に接続されている。ＲＯＭ７０３とＲＡＭ７０５はバス７００に接続された状態で示されているが、別の実施例では、ＲＯＭ７０３とＲＡＭ７０５はプロセッサ７０１に直結されるか専用のメモリバス（不図示）に接続される。
【００６５】
ディプレイ装置７１０がバス７００に接続され、各種の情報及びデータをコンピュータのユーザに表示する。情報の長期大量保存のためのディスク・ドライブ７０２がバス７００に接続される。一実施例では、コンピュータシステムに情報と命令を入力するためのポインティング・デバイス７０８がバス７００に接続されている。別の実施例では、２つのディスプレイ装置が使用される。その１つは３つのトラックのための低解像度ディスプレイ装置であり、もう１つは主要表示領域のための高解像度ディスプレイ装置である。音声メディアやその他メディアの場合には、主要表示領域は必要でないかもしれない。
【００６６】
以上説明した実施例はあくまで説明を目的としたものであって、本発明の範囲を限定することを意図したものでないことは、当業者には明らかであろう。当業者には、本発明の精神及び本質的特徴から逸脱することなく、本発明を他の形態で実施し得ることは明らかであろう。個々の実施例に関し詳細に述べた内容は、特許請求の範囲を限定することを意図するものではない。
【００６７】
【発明の効果】
以上の詳細な説明から明らかなように、本発明によれば、ビジュアル・インターフェースにより、デジタル写真などを用いたデジタルストーリーを容易に作成したり再生したりすることが可能となる等の効果を得られる。
【図面の簡単な説明】
【図１】本発明によるデジタルストーリー作成再生システムの表示画面の一例を示す図である。
【図２】本発明によるデジタルストーリー作成再生システムの制御ボタンの例を示す図である。
【図３】ストーリーの展開表示と折り畳み表示の例を示す図である。
【図４】図４は、システム初期化時に読み込まれるＸＭＬメタデータ・ファイルの一例を示す図である。
【図５】ストーリーのＸＭＬメタデータ・ファイルの例を示す図である。
【図６】写真のＸＭＬメタデータ・ファイルの例を示す図である。
【図７】本発明を実施するためのコンピュータの一例を示すブロック図である。
【符号の説明】
１００ ビジュアル・インターフェース
１０５，１１０，１１５ トラック
１３０，１３５ ナレーション
２０５．２１０ スクロール・ボタン
２１５ トラック選択ボタン
２２０ 再生ボタン
２２５ 停止ボタン
２３０ 追加（＋）ボタン
２３５ 削除（−）ボタン
２４０ 録音ボタン
２４５ 保存ボタン
２５５ 縦線インジケータ
２６０ 音声領域
２６５ 展開／折り畳みボタン
【発明の属する技術分野】
本発明は、一般的には、画像の検索及び編成の分野に係り、特に、デジタル・オブジェクト（例えば画像）を用いたマルチメディアの作成に関する。
【０００２】
【従来の技術】
写真は様々な種類の日常的な話をする際に中心的な役割を演じる。写真の最も一般的で楽しい使い道の１つは、体験や旅行、友人、家族にまつわる話を共有するために利用することである。殆どだれでも、そのような形で、個人的体験のやりとりからはじまって家族や文化の歴史まで話をした経験があるものである。ワールドワイドウェブは、そのような話をデジタル化して共有することを容易化できるため、「デジタルのストーリー作成再生」への動きを加速した。デジタル化した話を、本明細書ではデジタルストーリーと呼ぶ。デジタル写真は、その内容（例えば色やテクスチャーなどの特徴）とメタデータ（例えばユーザが付けた文字による注釈）の両方によって検索し取り出すことができるという、プリント写真にはない利点がある。
【０００３】
今日、殆どのデジタルストーリーは、コンピュータの熟練者によって、画像の編集やウェブ・ページの作成（オーサリング）のための専用ソフトウェアで作成されている。また、このようなデジタルストーリーの作成は、ウインドウ又はテーブル及び何らかの種類のポインティング・デバイスもしくはカーソル制御デバイスに依存したグラフィカル・インターフェースを有するシステム上で行われている。この種のシステムは、一般に、持ち運びできず、使用方法も複雑である。このことが、この種システムの共同利用を困難にしている。また、この種のシステムは、かなりのトレーニングを必要とするため、一般消費者が利用するには適さない。
【０００４】
【発明が解決しようとする課題】
よって、本発明の目的は、以上のような不都合に鑑み、デジタルストーリーの作成再生のための改良された方法及びシステムを提供することにある。
【０００５】
【課題を解決するための手段】
本発明の一実施態様によれば、３つの領域を有するビジュアル・インターフェースが用意される。その第１の領域は３つの画像トラックを表示する。１つのトラックは装置に記憶されている画像を表示する。２番目のトラックは作成されたストーリーの画像を表示する。３番目のトラックは装置上で現在作成中のストーリーに関連付けられた１つ以上の画像を表示する。これら３つのトラック間の移動及び各トラック上の画像間の移動のために制御ボタンを利用できる。ビジュアル・インターフェースの第２の領域は、第１の領域内の３つのトラック中のいずれかのトラック上にある選択されたサムネイル画像に対応した画像の大サイズ画像を表示する。ビジュアル・インターフェースの第３の領域は、第２の領域に表示されている画像に関連付けられた１つ以上の音声クリップ及び他の情報を表現するものを表示する。以下、本発明の詳細について添付図面を参照して説明する。
【０００６】
【発明の実施の形態】
マルチメディア・ストーリー作成・再生システムについて述べる。以下の説明において、本発明の完全な理解のために様々な具体例を提示する。しかし、当業者には、そのような具体例によることなく本発明を実施し得ることは明白であろう。一方、本発明を分かりにくくしないため、周知の方法、手順、プロトコル、要素、アルゴリズム、回路はブロック図の形で表し、詳細には述べない。
【０００７】
以下の詳細な説明には、コンピュータ・メモリ内のデータビットに対する操作のアルゴリズム及び記号表現によって表された部分がある。このようなアルゴリズム記述及び表現は、データ処理技術分野において、当業者が研究内容を他の当業者に最も効率的に伝えるために用いる手段である。あるアルゴリズムがあり、それが概して期待した結果に至る筋の通ったステップの系列だと理解されるとする。そのステップは、物理量の物理的処理を要するステップである。必ずという訳ではないが、これらの物理量は記憶、転送、結合、比較、その他処理が可能な電気的または磁気的信号の形をとるのが普通である。これらの信号をビット、値、要素、記号、文字、用語、数等で表わすのが、主に慣用上の理由から便利な場合があることが分かっている。
【０００８】
しかしながら、このような用語や同様の用語はすべて適切な物理量に関連付けられるべきであり、また、それら物理量に付けた便宜上のラベルに過ぎないということに留意すべきである。以下の説明より明らかなように、特に断わらない限り、”処理”、”演算”、”計算”、”判定”、”表示”等の用語によって論じられることは、コンピュータシステムのレジスタ及びメモリの内部の物理的（電子的）な量として表現されたデータを処理して、コンピュータシステムのメモリやレジスタ、その他同様の情報記憶装置、情報伝送装置又は表示装置の内部の同様に物理量として表現された他のデータへ変換する、コンピュータシステムや同様の電子的演算装置の作用及びプロセスを意味する。
【０００９】
本発明は、ここに述べる処理を実行するための装置にも関係するものである。このような装置は、所要目的のために専用に作られてもよいし、内蔵のコンピュータ・プログラムによって選択駆動もしくは再構成された汎用コンピュータであってもよい。そのようなコンピュータ・プログラムは、コンピュータが読み取り可能な記憶媒体、限定するわけではないが例えば、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスクなどの任意の種類のディスク、リードオンリーメモリ（ＲＯＭ）やランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード又は光カードなど、すなわち電子的命令の記憶に適したコンピュータのシステムバスに接続された任意種類の媒体に格納することができる。
【００１０】
ここに提示するアルゴリズム及び表示は、本質的に、いかなる特定のコンピュータ、その他の装置とも関わりがない。様々な汎用マシンを、ここに述べる内容に従ったプログラムで使用し得るが、所要の手順のステップの実行のために、より特化した装置を作るほうが好都合であるかもしれない。これら多様なシステムに要求される構造は以下の説明から明らかになろう。さらに、どのような特定のプログラミング言語とも関連付けることなく本発明を説明する。ここに述べる本発明の内容を実現するために様々なプログラミング言語を使用し得ることを理解されよう。
【００１１】
《概要》
以下、デジタル写真及びデジタル・ストーリーを共有する機能を提供する本発明のマルチメディア・ストーリー作成再生システムについて説明する。一実施例では、本システムは、ユーザが写真及び／又はストーリーの閲覧、作成及び再生の間をシームレスに切り替えることを可能にする。一実施例では、マルチメディア・ストーリー作成再生システムは３つの要素、すなわち、記憶要素、表示要素及び対話要素を有する。記憶要素は、表示要素によって表示されるデジタル・メディア・オブジェクトを記憶する。このシステムは、ユーザがデジタル・メディア・オブジェクト間を移動し、ストーリーもしくはプレイリスト（playlist）を作成できるようにする対話要素（例えば制御ボタン）を備える。本明細書において、ストーリーもしくは「プレイリスト」とは、画像やビデオ・クリップなどのデジタル・メディア・オブジェクトの順序付けした集合である。一番上のトラック上のインポートされたストーリーは、単に１枚の写真であってもよく、それにナレーション・トラックが付属していてもいなくともよい。写真は、１巻きのフィルムの場合と同様に、複数枚をひとまとめにしてインポートすることができる。同じように、１つの文書の複数ページの画像を１まとめにすることもできる。すなわち、これらを１つのナレーション・トラックとすることはできないが、インポートされた写真の集合又は１枚の写真は本明細書でいうところの１つのストーリーとすることができる。
【００１２】
一実施例では、システム内に記憶されるデジタル・メディアとして、写真、画像、音声クリップ及びビデオ・クリップがある。これらのデジタル・メディアには、素材のままのオブジェクト、例えば個々の写真などのほか、作成されたオブジェクトつまり複数種類のメディアをまとまったストーリーに組み合わせるオブジェクトも含めることができる。作成されたオブジェクトの一例は、音声クリップもしくはナレーション・クリップと関連付けされた一連の写真である。一実施例では、オブジェクトの取り込み時刻が把握され、そのオブジェクトと一緒にシステムに記憶される。
【００１３】
ユーザの操作をまったく要せずに、新しいオブジェクトをシステムに自動的に入力することができる。新しいオブジェクトは１つ以上のソースを利用しシステムに入力される。例えば、デジタル写真を記録したフラッシュメモリカードから入力したり、ビデオカメラから入力したり、フロッピー・ドライブやＣＤ−ＲＯＭドライブによってデジタル写真やビデオ・クリップを読み込んだり、ネットワークでダウンロードする等々である。一実施例では、ユーザがフラッシュメモリカードをシステムのスロットに挿入すると、そのフラッシュメモリカードから自動的に写真が複写されてシステムに格納される。もう１つの実施例では、システムは写真及びストーリーが添付された電子メールメッセージを受信することができる。そして、この写真及び／又はストーリーを自動的にアクセスすることができる。当業者には、マルチメディア・オブジェクトを様々な方法でシステムに入力し得ることは明白であろう。
【００１４】
ナレーションは、例えば、録音した音声の注釈、デジタル・インクで書かれた注釈あるいはタイプ打ちされた注釈など、様々な形をとることができる。一実施例では、１つのナレーション・トラックを、１つのオブジェクトに適用することも、いくつかのオブジェクトに適用することもできる（例えば、一連の画像に対し１つのナレーション・トラックを適用する）。１つのオブジェクトに対し、複数のナレーション・トラックがあってもよい。すなわち、同じデジタル・オブジェクト（写真）に、いくつかのナレーションを関連付けすることができる。
【００１５】
システムの表示要素は、デジタル・メディア・オブジェクトをユーザに表示する複数のトラックを備える。１番目のトラックは、システム内に記憶されているデジタル・メディア・オブジェクトを表示する。２番目のトラックは、作成されたストーリーに統合されたデジタル・メディア・オブジェクトを表示する。３番目のトラックは、システムを利用して現在作成中のストーリーに関連付けられた１つ以上のデジタル・メディア・オブジェクトを表示する。
【００１６】
システムの表示要素は、ユーザが記憶されているオブジェクト間を移動することを可能にする。これに、素材のままのオブジェクト（例えば、ナレーションが関連付けされていないオブジェクト）を閲覧できること、ストーリーを閲覧できること、及び、以前作成されたストーリーを再生できること、を含めることができる。一実施例では、ストーリー再生には、画像のスライドショーを、関連付けられたナレーションがあればそれと一緒にユーザに表示することも含まれる。
【００１７】
システムの対話要素は、ユーザが新しいストーリーを作成することを可能にする。一実施例では、ユーザは、いくつかの方法の１つ以上を利用して新しいストーリーを作成することができる。例えば、ユーザは、内容のないストーリーからスタートして、そのストーリーにオブジェクトを追加し、個々のオブジェクト又はある範囲のオブジェクトにナレーションを追加することによりストーリーを作成することができる。オブジェクトの選択とナレーションの追加は、好きな順番で行うことができる。ユーザは、既存のストーリーに対する編集操作又は削除操作を行うことによって新しいストーリーを作ることができる。
【００１８】
一実施例では、システムはモードレス（modeless）のインターフェースを有し、これはユーザに、少数のボタンからなり、ポインティング・デバイスやタッチスクリーンを含まないインターフェースを提供する。もう１つの実施例では、システムは、一般的なデスクトップ・コンピュータやスタンドアローン機器を利用して実現される。ユーザがこのようなシステムを制御するには、例えば、マウス、キーボード、タッチスクリーン、タッチパッドなどの標準的な入力装置、あるいは、本明細書で述べる対話のために専用に設計されたボタン及び／又はスライダからなる物理的な制御環境を利用することができる。
【００１９】
図１は、システムの表示画面の一例を示す。メディア・オブジェクトは、例えばデジタルカメラ、デジタル・ビデオキャプチャ、マイクロフォン、スキャナなどの様々なソースからシステムにロードされるか、このシステム上で生成することができる。そして、これらのオブジェクトは、システム内の記憶媒体（例えばランダムアクセスメモリ、ハードディスク、フラッシュメモリなど）に格納される。
【００２０】
図１に示すように、このシステムは、画面をおおまかに３つの領域に分割したビジュアルなインターフェース１００を提供する。一実施例では、画面上部にある第１領域１０２と、画面右下部にある第２（中心的）領域１０３と、画面左下部にある第３領域１０４である。
【００２１】
第１領域１０２はメディア・オブジェクト（例えば写真など）を閲覧したり、それらオブジェクト間を移動するためのグラフィカル表示を提供する。一実施例では、３つの横方向のサムネイル画像のトラック１０５，１１０，１１５があり、各々のトラック間をスクロールにより移動できる。
【００２２】
一実施例では、上のトラック１０５は既存の写真の画像を、その作成時刻（あるいは他の同様の特徴）の順に表示する。その作成時刻をタイムスタンプで表示することができる。これらの画像を「フイルム・ロール」や他の無理のないグループにまとめることができる。スキャナで読み込んだ写真の場合、インポートされたストーリーを文字通りフィルム・ロールに対応させることができる。デジタル写真の場合、それら写真を１セッションでカメラからダウンロードされた１組の写真に対応させることができる。上のトラックは、システムに現に格納されている写真の全部又は多くを表示することもできる。すなわち、システムに格納されている写真をどれでも表示させることができる。上のトラックに表示された写真をストーリーとすることができる。例えば、上のトラック１０５に表示された写真の１枚以上を、インポートされた１つのストーリーとすることができる。
【００２３】
一実施例では、インポートされるストーリーを、データベース検索の結果として自動生成することができる。例えば、「装置に格納されている青を含む全ての画像」を求めるためのデータベース検索で「青」の識別子を持つ画像が返される。そして、得られたそれらの画像がシステムにインポートされる。なお、第１のトラック１０５にストーリーが全然含まれなくともよいことに注意されたい。すなわち、第１のトラック１０５は、それぞれ１つ以上の画像を有する０個以上のストーリーを入れることができる。
【００２４】
インポートされたストーリーの内部では、写真は時間の流れに沿って並べられる。デジタルカメラの写真は撮影順に並べることができ、プリント写真から読み取った画像は読み取り順に並べられる。一実施例では、別々のストーリーを区別するため、システムは背景色を交互に変え、各々の背景色を別々のストーリーに対応させる。
【００２５】
中間の、つまり第２のトラック１１０には作成されたストーリーが入り、その各ストーリーは人によって選ばれた１つ以上の写真のシーケンスを含む。各ストーリーはサムネイル画像のシーケンスの形で表される。一実施例では、インポートされたストーリーと作成されたストーリーは生成順に並べられ、別々のストーリーは背景色を異ならせることにより視覚的に区別される。別の実施例では、画面内でトラック上のストーリーをスペースによって区分することができる。そのスペースの大きさを、ストーリー生成時刻の間隔に応じて変えることができる。例えば、一実施例では、同日に撮影された複数の写真は、第２のトラック１１０上で、１日又は１週末だけ撮影時刻が離れた写真よりも接近させられる。そのスペースを時間の関数とすることができるが、必ずしも線形関数でなくともよい。例えば、「日」「週末」「週」「１週以上」に対応した刻みを設定してもよいであろう。
【００２６】
下の、すなわち第３のトラック１１５は、作成中のストーリーを表す。すなわち、下のトラック１１５には、ユーザにより選ばれ操作された作業中のサムネイル画像群が入る。このサムネイル画像群は、システムの現セッションの間だけ下のトラック１１５に表示させることができる。ユーザは、セッション終了後のストーリーをさらに作成したい場合には、その作成されたストーリーを選択して下のトラック１１５に取り込む。
【００２７】
一実施例では、サムネイル画像が下のトラック１１５に表示されるのは、１つ以上の制御ボタン（例えば、以下に詳述する追加（＋）ボタンか録音ボタン）を押すことにより、そのサムネイル画像を作業用のサムネイル画像群に追加したときである。作成中のストーリーは常にペンディング状態である。ストーリーが完成しユーザにより保存されると、そのストーリーは中間のトラック上の作成されたストーリーの集合に加わる。一実施例では、中間のトラック１１０と下のトラック１１５は視覚的に区分されなくともよく、このことはいずれのトラックについても同様である。
【００２８】
これら３つのトラック１０５，１１０，１１５の表示によって基本的にモードレスのインターフェースが提供され、ユーザは作成済みストーリーの閲覧、写真の閲覧／写真間の移動、新たなストーリーの閲覧／作成を同時に行うことができる。また、この表示は現在の画像を閲覧するのに便利な環境を提供する。例えば、ユーザが１つのサムネイル画像を選んで、あるストーリーの１つの画像を閲覧し、その画像を現在のストーリーに追加し、そして注釈を追加する時に、その画像が、その周辺の、元のストーリー及び現在のストーリーのサムネイル画像と一緒に表示されたままになり、注釈を付けるのに都合がよい。
【００２９】
一実施例では、各サムネイル画像は上のトラック１０５に１回だけ表示される。各サムネイル画像は、中間のトラック１１０上の任意数のストーリー中で表示させることができ、また、現在作成中の文書に明示的に追加されるか、その一部として注釈付けされたときに限り下のトラック１１５に表示される。
【００３０】
典型的な対話方法では、ユーザはサムネイル画像を見つけ、それを作業用のサムネイル画像群（下のトラック１１５）に追加する。ユーザは、選択したサムネイル画像に付随させるための、関連した音声ナレーションを録音することもできる。そのセッションの最後で、下のトラック１１５上にある全てのサムネイル画像は１つのストーリーにまとめられ、中間のトラック１１０にアペンドされる、つまり追加される。
【００３１】
表示画面の中心的領域１０３は、大きな画像１２０を表示する。この大きな画像１２０は、第１領域１０２内のトラック上で現在選択されているストーリー又は写真のサムネイル画像に対応している。こうすることで、ユーザは、（トラック１０５，１１０，１１５上の縮小されたサムネイル画像に比べ）快適な楽しめる大きさで写真を閲覧することができる。他の実施例では、それ以外のオブジェクトのために別の表示方法が必要となるかもしれない。
【００３２】
表示画面の第３領域１０４は、中心的領域１０３に現在表示中の写真に関して利用可能な音声ナレーションを表示する。別の実施例では、それ以外の情報、例えば作成日なども第３領域１０４に表示することができる。図１に見られるように、中心的領域１０３に表示されている写真１２０に関し２つのナレーション１３０，１３５を利用可能であり、それが波線の描画によって示されている。一実施例では、各ナレーションは、その時間の長さに対応したビジュアルな表示（例えば、それを示す波線が長いほどナレーションの時間は長い）、並びに、関連した録音情報、例えば、録音日時、録音したユーザの名前を有する。
【００３３】
図２は、システムのマルチメディア・ストーリーの作成及び／又は閲覧のための制御ボタンと画面表示の見本例を示す。一実施例では、ユーザがシステムを両手で持ったまま制御ボタンを操作できるようにするため、制御ボタンはシステム本体の両サイドに集中配置される。こうすることで、ユーザがシステムから手を離さなければならないようなキーボード、マウス、その他のデバイスは不要となる。
【００３４】
図２に示すように、この例では、制御ボタンとして、選択したトラック上の画像を左へスクロールするための左スクロールボタン２０５、選択したトラック上の画像を右へスクロールするための右スクロールボタン２１０、スクロールしたいトラックを選択するためのトラック選択ボタン２１５などのナビゲーション用ボタンがある。一実施例では、スクロール操作のためにジョグシャトルが用いられる。
【００３５】
一実施例では、着色された（例えば黄色の）縦線インジケータ２５５によって、選択されたトラックと同トラック上の選択されたサムネイル画像を示す。図示した縦線インジケータ２５５は、下のトラックの先頭のサムネイル画像内に表示されている。この選択されたサムネイル画像は、中心的領域２５０に表示された大きな画像と対応している。トラック選択ボタン２１５は、３つの異なるトラック間で縦線インジケータ２５５を移動させる。
【００３６】
スクロールボタン２０５又は２１０が押されると、現在のトラック上の、それまで選択されていたサムネイル画像の左側又は右側のサムネイル画像が新たに選択され、中心的領域２５０に表示される。別のサムネイル画像が縦線インジケータ２５５の下に来ると、それに対応した画像が中心的領域２５０に表示される。なお、画面上で、画像の選択のために、どのような種類のインジケータを用いてもよい。また、一実施例では縦線インジケータ２５５を所定位置に固定したままスクロールボタン２０５又は２１０で縦線インジケータ２５５があるトラック上の画像を左又は右へ移動させるが、システムが、それら画像を所定位置に保持したまま、縦線インジケータ２５５を移動させて画像を選択することも可能であることに注意されたい。一実施例では、ジョイスティック・インターフェースを介しシステムに接続した外付けのジョイスティックによって、画像間の移動を制御することができる。
【００３７】
一実施例では、ユーザは、可変速スクロールによって、トラック上のサムネイル画像間を素速く移動することができる。標準速度では、画面は図２のように表示される。一実施例では、標準速度とは左スクロールボタン２０５又は右スクロールボタンを１回だけ押すことを意味する。これによって、トラックをちょうどサムネイル画像１つ分だけ移動させる。システムにおいて別のインデックスにより素速くアクセス可能なサムネイル画像の低解像度画像を表示させ、かつ、中心的領域２５０に画像を表示させないか、音声領域２６０にナレーションを表示させないようにして、スクロール速度を上げることができる。一実施例では、そのような画像をメモリにキャッシュしてアクセス速度を上げることができる。スクロール速度を上げるためには、ユーザはスクロールボタン２０５又は２１０を長い時間押し続ける必要があるかもしれない。この時には、画像は縦線インジケータ２５５のそばを高速にスクロールするように見える。
【００３８】
一実施例では、展開／折り畳みボタン２６５は、３つのトラック中の１トラック上の各ストーリー毎に表示方法すなわち表示される写真の数を制御する。展開表示では、１つのストーリー内のすべてのサムネイル画像が表示される。一実施例では、この展開表示がデフォルトの表示方法である。折り畳み表示では、各ストーリーは所定数のサムネイル画像（例えば１つのサムネイル画像）によって表される。一実施例では、ストーリーの最初のサムネイル画像が、そのストーリーを表すために用いられる。折り畳み表示は、ナビゲーションの高速化を考慮している。図３の（ａ）と（ｂ）は、あるストーリーの展開表示と折り畳み表示の例を示す。図３（ａ）を見ると、２つのストーリー３０５，３１０が展開形式で示されており、背景が同色のサムネイル画像群は同じストーリーに属している。同じ２つのストーリーがサムネイル画像３１５，３２０に折り畳まれた形式で図３（ｂ）に示されており、各ストーリー３０５，３１０の先頭のサムネイル画像が対応した折り畳み形式のサムネイル画像として用いられている。
【００３９】
再び図２を見ると、システム２００の左下部のボタン群に、ストーリーの作成、閲覧、再生のための他の制御ボタンが用意されている。再生ボタン２２０は、ユーザが既存のストーリーを閲覧できる再生モードに入るために用いられる。再生モードでは、システムは現在選択中のサムネイル画像から再生を開始する。一実施例では、必ずというわけではないが、各サムネイル画像には、それが属しているストーリーの一部として１つの音声クリップが関連付けされている。また、各サムネイル画像は、２つ以上のストーリーの一部となり得るので、１つのストーリーに１つずつ、計２つ以上の音声クリップが関連付けされることがある。一方、音声クリップには録音したナレーションが入っていることも、入っていないこともある。ナレーションがあるときには、それがシステムの内蔵スピーカー（不図示）によって再生される。録音されたナレーションがなければ、ある時間長のポーズ、例えば１秒のポーズが置かれる。ナレーションが終わった後、又は（ナレーションがないときの）ポーズの後で、選択されているトラックは、そのストーリーの次のサムネイル画像へ自動的にスクロールする。一実施例では、デフォルトの表示・読み方向である左から右へ向かう順序に従って、次のサムネイル画像が決められる。システムが再生中に、ユーザが別のサムネイル画像へ移動すると、例えば、左から右へスクロールしたり、別のトラックへ切り替えたりすると、現在再生中の音声クリップの再生は停止する。ユーザがある短い時間（例えば１秒間）、何も操作をしなければ、システムは、その新たに選択されたサムネイル画像に関連付けされた音声クリップを再生し、その位置からストーリーを継続する。
【００４０】
前述のように、選択されたサムネイル画像には、２つ以上の音声クリップと、その対応ナレーションが関連付けされていることがある。１つのサムネイル画像が選択されるたびに、そのサムネイル画像に関連付けされた音声ナレーションが全て音声領域２６０に表示される。一実施例では、選択されたサムネイル画像に２つ以上の音声クリップが関連付けされていて、システムが１つの音声クリップを再生している時に、再生ボタン２２０を押すと、システムは次の音声クリップへ進む。
【００４１】
図１を見ると、選択されたサムネイル画像のために使用できる２つのナレーション、すなわちナレーション１３０とナレーション１３５がある。各々のナレーションには、録音日時と録音したユーザの名前が表示される。波線の長さは音声の継続時間に比例している。選択されたストーリーに関連付けされたナレーションが、ナレーション１３０のように、最初にリストされる。図２を参照すると、特に指定しなければ、再生ボタン２２０が押された時に、選択されたストーリーに関連付けられたナレーションが再生される。再生ボタン２２０を素速く繰り返し押すことにより、別の音声クリップを１つずつ選択して対応したストーリーの再生へ「ジャンプ」し、ストーリー間の自動ハイパーリンクが可能となる。
【００４２】
システムは、停止ボタン２２５が押されるか、ストーリーの最後まで進むまで再生モードのままである。停止ボタン２２５が押されるかストーリーの最後まで進むと、システムは停止モードになる。システムが停止モードの時は、音声クリップは再生されない。
【００４３】
一実施例では、システムが再生モードの時には、削除（−）ボタン２３５を押してもシステムの再生モードに何の影響も及ぼさない。一方、追加（＋）ボタン２３０を押すと、現在表示中の画像が作業用画像群に追加される。すなわち、システムは現在表示中の画像を作業用画像群にアペンドするが、再生モードは停止しない。また、システムが再生モードの時にユーザが保存ボタン２４５を押すと、システムは音声クリップの再生を止めて保存処理を実行する。また、システムが再生モードの時にユーザが録音ボタン２４０を押すと、音声クリップが停止させられる。
【００４４】
一実施例では、作成モード（再生モードではない）で、作業用画像群つまり下のトラック１１５にコピーを追加したいサムネイル画像の上に縦線インジケータ２５５が位置している時に追加（＋）ボタン２３０を押すことによって、ストーリーを作成することができる。逆に、削除（−）ボタン２３５は、選択されているサムネイル画像（すなわち、縦線インジケータ２５５の下にある画像）を下のトラック上の作業用画像群から削除する。
【００４５】
作成モード時において、録音ボタン２４０を押すと録音機能が起動する。録音機能がアクティブな時に、マイクロフォンで録音された音声が記憶され、また、その音声は作業用トラック上に現在表示されているサムネイル画像と関連付けされる。一実施例では、この関連付けは、基礎をなしているＸＭＬファイル内にリンクを張ることで行われる。そのサムネイル画像がまだ作業用画像群にない場合には、追加（＋）ボタンが先に押されたとしても、そのサムネイル画像がアペンドされた後に録音が始まる。選択されたサムネイル画像が作業用トラックにすでにある場合には、作成中のストーリーで、そのサムネイル画像に関連付けされている以前の録音に新しい録音が上書きされる。録音中に、例えば、左又は右へスクロールしたり、別のトラックへ切り替えたり、展開／折り畳みボタンを押したりして、ユーザが新たなサムネイル画像を選択した場合には、その新たなサムネイル画像に関連付けされた音声クリップに対し録音を続ける。また、その新たなサムネイル画像は、それがある短時間（例えば１秒）以上閲覧されると作業用トラックにアペンドされる。一方、ユーザが、依然として作業用トラック上で左へ、つまり戻り方向へスクロールすると、自動的に録音は停止する。こうすることで、録音の誤消去を防止する。別の実施例では、その新たなサムネイル画像は、作業用トラック上の最後に選択されたサムネイル画像（例えばトラック１１５の真ん中の画像）の前又は後に挿入される。この場合、その挿入された新たなサムネイル画像に関連付けされた音声クリップから録音を再開する。さらに、再生ボタン２２０を押すことによっても、録音モードが停止してシステムは再生モードとなる。こうすることで、ストーリーの録音作業を出来る限りストーリーの閲覧作業に似かよらせる。
【００４６】
別の実施例では、システムにタッチスクリーン又はポインティングデバイス（例えばカーソル制御装置）を装備させることができる。この場合には、録音モード中に、ユーザのポインティング操作が取り込まれることになろう。再生中に、指示された領域は適当な回数だけ強調表示される。強調表示を行う方法の１つは、他の画像を暗くすることである。もう１つの選択肢として、半透明オーバーレイ（例えば黄色の円）を利用することができる。
【００４７】
システムが停止モードの時に、ユーザは、サムネイル画像を、あるトラックから別のトラックへドラッグし、あるいは、ストーリー内の別の位置へドラッグすることができる。もう１つの選択肢として、左／右スクロールに代え、ドラッグ操作によって、あるトラック上の全部又は複数の画像を同時に移動させることができる。
【００４８】
特定のサムネイル画像を指示することにより、そのサムネイル画像が選択され、そのサムネイル画像のあるトラックが選択され、そして、対応した大きな画像が中心的領域２５０に表示される。別の実施例では、画面に触れることで、あるトラック上の１つの画像を選択することなく強調表示させることができる。
【００４９】
一実施例では、録音動作は「選択後ナレーション」方式と「選択・ナレーション同時」方式の両方をサポートする。「選択後ナレーション」方式では、追加（＋）ボタン２３０又は削除（−）ボタン２３５を用いて１つの作業用サムネイル画像群を選択して、各サムネイル画像に順に注釈を付けることによって、１つのストーリーを作成することができる。もう１つの選択肢として、「選択・ナレーション同時」方式では、写真間の移動及び写真の選択と並行して連続的にナレーションを録音することができる。録音がアクティブな時に、新たな各写真をユーザがある短い時間間隔より長い間閲覧すると、その各写真は録音された全ての入力とともに自動的に作業用画像群に追加される。こうすることで、「選択・ナレーション同時」方式をサポートする。録音のために、一実施例では、マイクロフォン２７０がシステムの外ケースに取り付けられるか組み込まれる。別の実施例では、システムに音声ナレーションをテキストに変換するための音声認識ソフトウェアが搭載される。
【００５０】
図２の右下にあるボタン群は、ストーリーの操作を制御する。保存ボタン２４５は、下のトラックに表示されている現在作業中のストーリーを、中間のトラックの最後に移動させることにより「保存」する。なお、この時に、現在のシステムの状態も保存されることに注意されたい。ＸＭＬファイル（あるいは、それと同等の言語によるファイル）を、音声クリップと一緒に、メモリ（例えばＲＡＭ）に格納し、また、保存する時にハードディスクに書き出すことができる。（それらを。それ以外の時点に書き出すこともできる） 別の実施例では、完成したストーリーを、同様のシステムあるいは通常のＰＣでメディア再生ソフトウェアや標準的なＷｅｂブラウザを利用して閲覧するために、他のユーザへ電子的に送信することもできる。もう１つの実施例では、「印刷」ボタンによって、ユーザは選択した画像を、有線又は無線技術によってローカル接続されたプリンタ又はリモート装置で印刷することができる。
【００５１】
一実施例では、システムに画像生成／取り込み装置（例えばビデオカメラ）が付属している。このビデオカメラは、システムのホルダーの内側へ向けることも外側へ向けることもできる。システムの撮影ボタンによって、ユーザは、そのデジタルカメラから静止画像とタイムスタンプを取り込み、その画像を上のトラックに追加することができる。もう１つの実施例では、各録音セッションの開始時やプリセットされた時間間隔で、あるいは、ビデオ入力が所定の閾値以上に変化するたびに、ナレーターの画像が自動的に取り込まれる。ビデオカメラを利用する場合、ビデオカメラで取り込まれた画像を、第１のトラック１０５に追加して、他の全てのオブジェクトと同様、作成されるストーリーに挿入するための画像として利用できる。
【００５２】
一実施例では、ストーリーと写真のメタデータは、ＸＭＬ(Extensible Markup Language)で記述されて記憶装置に格納される。図４は、システムが初期化中に読み込むＸＭＬメタデータ・ファイルの見本を示している。この初期化用メタデータ・ファイル４００は記憶装置上の所定の記憶位置に格納される。一実施例では、この初期化用メタデータ・ファイルは「families.xml」というファイル名を付けられ、その記憶位置はシステムの記憶装置上の同ファイルに対応したローカルＵＲＬ（Uniform Resource Locator）により指定される。システムによって実行可能な１つ１つのグループ（例えば家族）ごとに、初期化用メタデータに３つのトラックに対応したストーリーへのポインタが含まれている。例えば、図４のメタデータ・ファイルはストーリー・ファイル４０５「meta6.xml」を指示している。一実施例では、初期化用メタデータ・ファイルは、例えば個人的なストーリーの不正閲覧を防ぐためのユーザＩＤとパスワードのような管理機能も担う。一実施例では、初期化用メタデータ・ファイルにユーザの固有情報が含まる。もう１つの実施例では、システムはシングルユーザを前提とする。
【００５３】
図５（ａ）は、ストーリーのためのＸＭＬメタデータの見本を示す。ストーリーのためのＸＭＬメタデータ・ファイル５００は、他の２つのストーリー、すなわち「meta3.xml」５０５と「meta5.xml」５１０を指示している。なお、各メタデータ・ファイルは、単一のオブジェクトを指す「ストーリー」か「文書」を値として持つ「type」属性が割り当てられることに注意されたい。図５（ｂ）は、ストーリーのためのＸＭＬメタデータ・ファイルのもう１つの見本を示す。このメタデータ・ファイル５２０は、メタデータ・ファイル５００によって指示されたストーリー「meta3.xml」５０５を表している。メタデータ・ファイル５２０には、「metal.xml」５２５及び「meta2.xml」５３０として表された写真のリストがある。なお、それら写真の参照には対応したＸＭＬメタデータ・ファイルのＵＲＬが用いられる。各写真は、「clipl.au」５３５及び「clip2.au」５４０と表された音声クリップが関連付けられている。一実施例では、音声クリップ５３５又は５４０に関連付けられた音声タグのオフセット属性で、音声ファイル内の参照される音声ナレーションの先頭位置を指定し（例えば、１つの音声ファイルにユーザが用意した音声ナレーションが２つ以上含まれているような場合）、その単位はミリ秒である。
【００５４】
図６は、写真のためのＸＭＬメタデータ・ファイルの見本を示す。メタデータ・ファイル６００は、図５（ｂ）に示したメタデータ・ファイルにより指示された画像「metal.xml」を表している。メタデータ・ファイル６００には、２つの画像ファイル、すなわち、画面の領域１０３に用いることができるフルサイズ画像６０５とトラック１０５，１１０，１１５で用いることができるサムネイル画像６１０を指示するＵＲＬが入っている。また、メタデータ・ファイル６００に、縮小表示のための色データが入っている。画像の縮小表示は、サムネイル画像又はフルサイズ画像として描画させることができる。
【００５５】
一実施例では、ＸＭＬを使用することで、ＨＴＭＬ（Hypertext Markup Language）やＳＭＩＬ（Synchronized Multimedia Integration Language）などの他フォーマットへ容易に変換可能となる。その結果、ストーリーを他人と共有したり、異なった装置で閲覧することが可能となる。ＳＭＩＬフォーマットは、ストーリーの構成に合わせて音声を一連の画像に同期させることができる点で、特に適している。これらのフォーマットのどれかを使用すれば、関連付けされた写真と音声クリップを含む１つのストーリーを１つのファイルに保存することができる。そして、そのファイルをウェブ・サーバーへアップロードし、ユニークなＵＲＬを割り当てることができる。そして、このＵＲＬを、標準的な電子メール・プロトコル、例えばＳＴＭＰを使い電子メールにより、ウェブ上の特定の宛先又は宛先リストへ送信することができる。一実施例では、電子メールを送信するために、システムはネットワーク・インターフェース、例えば、Ethernet インターフェース、モデム・インターフェース、ワイヤレス・インターフェースを提供する。もう１つの選択肢として、標準的な添付ファイル・エンコーディング技術、例えばＭＩＭＥ（Multipurpose Intemet Mail Extensions）により、ファイルを電子メールの添付ファイルとして宛先へ送信することができる。
【００５６】
一実施例では、左／右スクロールボタンと追加（＋）／削除（−）ボタンを使って、宛先の電子メール・アドレスを指定することができる。これらのボタンは、上のトラック１０５に表示された文字及び句読点の中を移動するために用いられる。電子メール・アドレスを、下のトラック１１５上に作成することができる。中間のトラックは、前に保存した電子メール・アドレスの表示に利用することができる。ストーリーをユーザへ送信する人の電子メール・アドレスを、第２のトラックに自動的に追加させることをできる。さらに、システムは、ＰＤＡ（例えば Palm Pilot）から赤外線送信された「コンタクト」ファイルすなわち vCard ファイル（ Versit コンソーシアムで開発されたＰＤＩ（Personal Data Interchange）技術）を介し入力電子メール・アドレスを取り込むことができる。新しい電子メール・アドレスを作成するために、ユーザはスタイラスを用いて画面上のキーボードで入力することができる。スタイラスを使う場合に、ユーザの手書き文字を認識するために手書き文字認識ソフトウェア、例えば、 Palm Computing 製の Graffiti を利用することができる。もう１つの選択肢として、ユーザは、システムに用意されているキーボード・インターフェースに装着した外付けのキーボードを使用できる。システムは、ストーリーを電子メールの宛先へ送信することのほかに、装置／所有者へ送信された新しいストーリーを列記した電子メール・メッセージ又は所定のウェブページの形をとって、設定した時間間隔で、あるいは設定した時刻に、新しいストーリーの有無を自動的に調べることもできる。システムは、新しいストーリーやメッセージを自動的にダウンロードすることもできる。
【００５７】
一実施例では、システムには、電源とネットワーク・インターフェースを有するクレードルもしくはドッキング・ステーションが付属している。一実施例では、全ての通信情報（送信／受信メッセージ）は、システムがドッキング・ステーションにドッキングされた時に実行するための待ち行列に入れられる。そして、システムがドッキングされたときに、通信が自動的に実行される。一実施例では、システムがクレードルに置かれているか、設定時間だけ使用されないと、自動実行スクリーンセーバー機能が起動し、システム内の全ストーリーを画面に循環表示させる。
【００５８】
一実施例では、システムは、画像とその関連音声クリップを互いに同期をとって使用することによりビデオ・ファイルを生成することができる。もっとも、それら画像が、ユーザが再生ボタンを押した時にシステム上に表示されるだけであるが。そして、そのビデオ・ファイルを、例えばＭＰＥＧ、ＡＶＩ、 QuickTimeなどの標準的フォーマットで格納した後、電子メールの添付ファイルとして宛先へ送信することができる。もう１つの実施例では、ストーリーの作者は、ストーリーが宛先へ送信される時に、そのストーリーと関連付けするための自分の写真を送信させることができる。この写真へのリンクは、その電子メールに添付される。受信者がその電子メールを見たときに、その作者の写真がある画像枠に表示される。別の選択肢として、作者に関連した写真を、ストーリーの最初の写真として表示したり、特に折り畳み表示の場合には先頭の写真に合成してもよいであろう。
【００５９】
以上説明したように、入力として、様々なソースからメディア・オブジェクトを取り込むことができる。一実施例では、他のメディア・オブジェクト、例えば、ビデオ・クリップ、プレゼンテーション・スライド、文書のページ、ウェブ・ページ、音声クリップもシステムにロードすることができる。ビデオ・クリップが入力の場合、入力ビデオ・ストリームは、標準的なアナログ式ビデオ・キャプチャ・ボードや「ファイアワイア」（IEEE 1394）インターフェースを介して取り込んだり、デジタル化ビデオ・ファイル、例えばＭＰＥＧファイル又は QuickTime ファイルと直結して取り込むことができる。そして、そのビデオ・ストリームを、標準的なシーン変化検出アルゴリズムによってクリップに分割することができる。この場合、各クリップを１枚の写真として処理することができる。さらに、各クリップに、元のビデオソースの音声セグメントを関連付けしてしまうこともできる。この実施例の場合、再生ボタンを押すことにより、システムに、その音声セグメントとビデオ・クリップの両方を同期させて再生させることができる。そして、システムはストーリーの次のクリップへ進む。ビデオ・クリップの最初のフレームを、そのビデオ・クリップを代表するサムネイル画像として用いることができる。
【００６０】
プレゼンテーション・スライドが入力の場合、システムは各プレゼンテーション・スライド毎に１つの画像を生成する。プレゼンテーション・スライドは、プレゼンテーション・ソフトウェア（例えば Powerpoint ）や、他の文書又はグラフィクス編集ツールによって作成されたものであろう。この場合、ストーリーは、システム上で、プレゼンテーションと同様にスライドのシーケンスとして表示される。文書のページが入力の場合、上のトラックにあるストーリーは、元の文書のページと順に対応する。中間のトラックにある１つの文書は、音声ナレーション付きの再編成されたページの集まりである。文書は、Postscript やＰＤＦなどのページ・ベースのフォーマットと、ＨＴＭＬやプレーン・テキストのようなリニア・フォーマットのいずれの既存フォーマットからも容易にインポートすることができる。リニア・フォーマットの場合、ページ分割が必要となろう。
【００６１】
ウェブ・ページが入力の場合、上のトラック１１５にユーザの時系列の閲覧履歴を含めることができる。この閲覧履歴は、ウェブ・ブラウザをモニタリングするか、プロキシ・サーバーとしてユーザのＨＴＴＰ要求を全てインターセプトし処理することによって、捕捉することができる。各ストーリーは、ある長さの時間（例えば、１日、１回の閲覧時間など）に対応している。第２のトラックによって、ユーザは、ウェブ・ページのグループを、アクセスやその後の検索が容易になるように整理して順番に並べることができる。第２のトラック上のストーリーは、ブックマーク・フォルダ、１回の検索で見つかった一連のページ、その他、ユーザに都合のよい任意の構造とすることができる。
【００６２】
音声クリップが入力の場合、上のトラックに、「アルバム」すなわち、ユーザがＣＤ−ＲＯＭドライブによりシステムに読み込んだり、ウェブから直に一連の音声ファイルとしてダウンロードしたオーディオＣＤ、例えば、MP3.com からダウンロードしたMP3 ファイル、MicrosoftからダウンロードしたWindows Media Audioファイル、LiquidAudio.com からダウンロードしたLiquid Audioファイル、 Real NetworksからダウンロードしたRealJukeboxファイルなどを表示することができる。各々の「アルバム」は順序付けた「歌」の集まりである。第２のトラックは、ユーザの「再生リスト」（例えば、ユーザ固有の歌の再生順序）を表示する。この場合、各々の歌毎にデフォルトの視覚的表示があるか、ユーザが適当なアイコンを選ぶか、あるいは、ウェブサービスによってアーティスト名、歌のタイトル又はアルバムのタイトルに相応しいアイコンを提供する。
【００６３】
図７は、デジタルストーリー作成・再生システムの記憶要素、表示要素及び対話要素を含む典型的なコンピュータシステムの一例を示す。図７に示した様々な構成様要素は、あくまで例示にすぎない。図７に示したコンピュータの特定の構成要素は、本発明の特定の実施形態のためのシステムから省くことができる。別のシステムでは、本発明の範囲から逸脱することなく別の要素が追加されることもあろう。
【００６４】
図７に示すシステム・バス７００には、様々な構成要素が接続される。プロセッサ７０１は、コンピュータに必要とされる処理タスクを実行する。プロセッサ７０１は、ここに述べた記憶、表示及び対話の機能を遂行するために必要なステップを実行できるならば、どのような種類の処理装置でもよい。コンピュータに接続された他の装置との通信のための入出力（Ｉ／Ｏ）装置７０４がバス７００に接続されている。コンピュータで利用される各種のデータ及び情報の記憶場所を提供するため、リードオンリーメモリ（ＲＯＭ）７０３とランダムアクセスメモリ（ＲＡＭ）７０５がバス７００に接続されている。ＲＯＭ７０３とＲＡＭ７０５はバス７００に接続された状態で示されているが、別の実施例では、ＲＯＭ７０３とＲＡＭ７０５はプロセッサ７０１に直結されるか専用のメモリバス（不図示）に接続される。
【００６５】
ディプレイ装置７１０がバス７００に接続され、各種の情報及びデータをコンピュータのユーザに表示する。情報の長期大量保存のためのディスク・ドライブ７０２がバス７００に接続される。一実施例では、コンピュータシステムに情報と命令を入力するためのポインティング・デバイス７０８がバス７００に接続されている。別の実施例では、２つのディスプレイ装置が使用される。その１つは３つのトラックのための低解像度ディスプレイ装置であり、もう１つは主要表示領域のための高解像度ディスプレイ装置である。音声メディアやその他メディアの場合には、主要表示領域は必要でないかもしれない。
【００６６】
以上説明した実施例はあくまで説明を目的としたものであって、本発明の範囲を限定することを意図したものでないことは、当業者には明らかであろう。当業者には、本発明の精神及び本質的特徴から逸脱することなく、本発明を他の形態で実施し得ることは明らかであろう。個々の実施例に関し詳細に述べた内容は、特許請求の範囲を限定することを意図するものではない。
【００６７】
【発明の効果】
以上の詳細な説明から明らかなように、本発明によれば、ビジュアル・インターフェースにより、デジタル写真などを用いたデジタルストーリーを容易に作成したり再生したりすることが可能となる等の効果を得られる。
【図面の簡単な説明】
【図１】本発明によるデジタルストーリー作成再生システムの表示画面の一例を示す図である。
【図２】本発明によるデジタルストーリー作成再生システムの制御ボタンの例を示す図である。
【図３】ストーリーの展開表示と折り畳み表示の例を示す図である。
【図４】図４は、システム初期化時に読み込まれるＸＭＬメタデータ・ファイルの一例を示す図である。
【図５】ストーリーのＸＭＬメタデータ・ファイルの例を示す図である。
【図６】写真のＸＭＬメタデータ・ファイルの例を示す図である。
【図７】本発明を実施するためのコンピュータの一例を示すブロック図である。
【符号の説明】
１００ ビジュアル・インターフェース
１０５，１１０，１１５ トラック
１３０，１３５ ナレーション
２０５．２１０ スクロール・ボタン
２１５ トラック選択ボタン
２２０ 再生ボタン
２２５ 停止ボタン
２３０ 追加（＋）ボタン
２３５ 削除（−）ボタン
２４０ 録音ボタン
２４５ 保存ボタン
２５５ 縦線インジケータ
２６０ 音声領域
２６５ 展開／折り畳みボタン
Claims (60)
- 自動的に並べられ、かつ相互に関連するものごとにグループ化された複数のメディア・オブジェクトの縮小可視表現からなる第１のリストを表示するための手段、
手作業によって並べられた前記複数のメディア・オブジェクトの縮小可視表現からなる第２のリストを表示するための手段、
前記縮小可視表現間を移動するための手段、及び
前記複数のメディア・オブジェクトを表示するための手段、
を有するデジタルストーリー作成再生のためのシステムであって、
前記第１のリストはインポートされたストーリーからなり、前記第２のリストは作成されたストーリーからなり、
インポートされたストーリーは第１のトラックに表示され、作成されたストーリーは第２のトラック及び第３のトラックに表示され、前記第３のトラック上の作成されたストーリーは作成中のストーリーであることを特徴とするシステム。 - 各メディア・オブジェクトに関連付けられた音声クリップのためのナレーションを録音する手段をさらに有することを特徴とする請求項１記載のシステム。
- 前記複数のメディア・オブジェクトを表示するための手段は、インポートされたストーリー、作成されたストーリー、及び／又は、インポートされたストーリー又は作成されたストーリー中の選択されたオブジェクトに関連付けされた各音声クリップを表すものを表示することを特徴とする請求項１記載のシステム。
- 作成されたストーリーを、ユーザが編集できるように前記第２のトラックから前記第３のトラックへ移動させる手段をさらに有することを特徴とする請求項１記載のシステム。
- 複数のメディア・オブジェクトの縮小可視表現の第１のリストを表示するための手段は、一連の音声ファイルを表示するための手段を含むことを特徴とする請求項１記載のシステム。
- 音声ファイルは、ＭＰ３ファイル、LiquidAudioファイル、RealJukeboxファイル及びＷＡＶファイルからなる群、あるいは、他の圧縮又は非圧縮音声ファイルフォーマットの中から選ばれることを特徴とする請求項５記載のシステム。
- 複数のメディア・オブジェクトの縮小可視表現の第１のリストを表示するための手段は、複数のビデオ・クリップを表示する手段を含むことを特徴とする請求項１記載のシステム。
- ビデオ・クリップは、ＭＰＥＧファイル、QuickTimeファイル、ＡＶＩファイル及びRealVideoファイルからなる群から選ばれることを特徴とする請求項７記載のシステム。
- 自動的に並べられ、かつ相互に関連するものごとにグループ化された複数のメディア・オブジェクトの縮小可視表現からなる第１のリストを表示し、
手作業によって並べられた前記複数のメディア・オブジェクトの縮小可視表現からなる第２のリストを表示し、
前記縮小可視表現間を移動し、
前記複数のメディア・オブジェクトを表示する、
デジタルストーリー作成再生のための方法であって、
前記第１のリストはインポートされたストーリーからなり、前記第２のリストは作成されたストーリーからなり、
インポートされたストーリーは第１のトラックに表示され、作成されたストーリーは第２のトラック及び第３のトラックに表示され、前記第３のトラック上の作成されたストーリーは作成中のストーリーであることを特徴とする方法。 - さらに、各メディア・オブジェクトに関連付けられた音声クリップのためのナレーションを録音することを特徴とする請求項９記載の方法。
- 前記複数のメディア・オブジェクトの表示において、インポートされたストーリー、作成されたストーリー、及び／又は、インポートされたストーリー又は作成されたストーリー中の選択されたオブジェクトに関連付けされた各音声クリップを表すものを表示することを特徴とする請求項９記載の方法。
- さらに、作成されたストーリーを、それをユーザが編集できるように前記第２のトラックから前記第３のトラックへ移動させることを特徴とする請求項９記載の方法。
- 複数のメディア・オブジェクトの縮小可視表現の第１のリストの表示は、一連の音声ファイルを表示することを含むことを特徴とする請求項９記載の方法。
- 音声ファイルは、ＭＰ３ファイル、LiquidAudioファイル、RealJukeboxファイル及びＷＡＶファイルからなる群、あるいは、他の圧縮又は非圧縮音声ファイルフォーマットの中から選ばれることを特徴とする請求項１３記載の方法。
- 複数のメディア・オブジェクトの縮小可視表現の第１のリストの表示において、複数のビデオ・クリップを表示することを特徴とする請求項９記載の方法。
- ビデオ・クリップは、ＭＰＥＧファイル、QuickTimeファイル、ＡＶＩファイル及びRealVideoファイルからなる群より選ばれることを特徴とする請求項１５記載の方法。
- 複数のオブジェクトからなるストーリーを複数保持する記憶装置と、前記記憶装置と情報をやりとりするプロセッサを有し、
前記プロセッサは、
自動的に並べられたオブジェクトを有する複数のインポートされたストーリーのための第１のストーリー・トラックを表示し、
複数の作成されたストーリーのための第２のストーリー・トラックを表示し、
前記ストーリー中の選択されたオブジェクトのフルサイズ画像を表示し、
選択トラックのあるストーリー・トラックから別のストーリー・トラックへの移動、選択オブジェクトのあるオブジェクトから別のオブジェクトへの移動を含むユーザからのナビゲーション入力を処理し、
ストーリーの再生、録音又は再生の停止、及びストーリーの保存を含むユーザからの操作入力を処理する、
デジタルストーリー作成再生のためのシステムであって、
前記プロセッサは、作成中のストーリーのための第３のストーリー・トラックを表示することができ、前記ナビゲーション入力はオブジェクトの前記第３のストーリー・トラックへの追加、及び、前記第３のストーリー・トラックからのオブジェクトの削除をさらに含むことを特徴とするシステム。 - ユーザからの操作入力は選択されたオブジェクトのためのナレーションの録音をさらに含むことを特徴とする請求項１７記載のシステム。
- 前記プロセッサは、選択されたオブジェクトに関連付けられた複数のナレーションを表示することができることを特徴とする請求項１７記載のシステム。
- インポートされたストーリー中のオブジェクトは時刻順に自動的に並べられることを特徴とする請求項１７記載のシステム。
- 新たなオブジェクトを入力するためのオブジェクト入力装置をさらに有し、前記新たなオブジェクトはインポートされるストーリー、デジタル写真、ビデオ・クリップ、文書のページ、プレゼンテーション・スライド、音声クリップ及びウェブ・ページを含むことを特徴とする請求項１７記載のシステム。
- 宛先の電子メールアドレスへ電子メールの添付ファイルとしてストーリーを送信するための通信用ドッキング・クレードル及び出力装置をさらに有することを特徴とする請求項１７記載のシステム。
- さらに、ストーリーをウェブ・サーバーへ送信し、そのストーリーにユニークなＵＲＬを割り当て、そのＵＲＬを電子メールで宛先へ送信することを特徴とする請求項２２記載のシステム。
- 音声クリップのためのナレーションを録音する録音装置をさらに有し、前記録音装置は、音声作動式録音装置及びマイクロフォン式録音装置からなる群のうちの１つであることを特徴とする請求項１７記載のシステム。
- 選択されたオブジェクトが１つ以上のストーリー中にあり、
選択されたオブジェクトは１つ以上の関連付けられた音声クリップを有し、
各音声クリップは１つのストーリーに関連付けされ、
各音声クリップは０個以上のナレーションを有する、
ことを特徴とする請求項１７記載のシステム。 - 選択されたオブジェクトに関連付けられた全ての音声クリップを表示し、ストーリーに関連付けられた音声クリップは現在の音声クリップとして表示され、現在の音声クリップは他の全ての音声クリップより先に表示されることを特徴とする請求項２５記載のシステム。
- 前記第３のストーリー・トラック上の作成中のストーリーは、その作成が完了した時に前記第２のストーリー・トラックの最後に配置され、かつ記憶装置に保存されることを特徴とする請求項１７記載のシステム。
- さらに、前記第３のストーリー・トラック上のオブジェクトをグループ化して各オブジェクトのためのナレーションを録音し、ストーリーの保存においてオブジェクト及び関連付けされた音声クリップを保存することを特徴とする請求項２７記載のシステム。
- ストーリー及び関連付けされたオブジェクトは、マークアップ言語フォーマットによりファイルとして記憶装置に保存されことを特徴とする請求項２７記載のシステム。
- マークアップ言語フォーマットはＨＴＭＬ、ＳＭＩＬ又はＸＭＬであることを特徴とする請求項２９記載のシステム。
- ストーリーの再生において、
ナビゲーション入力により前記第１、第２又は第３のストーリー・トラックからストーリーを選択し、
再生動作を作動させ、
選択されたストーリー中の複数オブジェクトの各オブジェクトに対応したフルサイズ画像を表示させる、
ことを特徴とする請求項１７記載のシステム。 - 画像の表示において、
ストーリー中のオブジェクトを、ストーリーの先頭から最後へ向かう順に選択し、
選択されたオブジェクトに対応した音声クリップを再生する、
ことを特徴とする請求項３１記載のシステム。 - １つ以上の画像オブジェクトが表示された第１のトラック、又は、１つのストーリーとして記憶された１つ以上の画像オブジェクトからなる以前生成された１つ以上のストーリーを収容している第２のトラックに表示されている複数のオブジェクトから、複数のオブジェクトを選択し、選択したオブジェクトを１つのストーリーを作成するため第３のトラックに配置し、
それぞれの選択されたオブジェクトのためのナレーションを録音し、そのナレーションを選択されたオブジェクトに関連付けし、
作成されたストーリーを前記第２のトラックに保存し、
そのストーリーを再生する、
ことを特徴とするデジタルストーリー作成再生のための方法。 - インポート・トラック、作成トラック、及び作業トラックを常時表示し、
選択されたオブジェクトのフルサイズ画像を表示し、
選択されたオブジェクトに関連付けられた１つ以上の音声クリップを表示する、
ことを特徴とする請求項３３記載の方法。 - ストーリーに関連付けられた選択されたオブジェクトのための音声クリップは現在の音声クリップとして表示され、この現在の音声クリップは選択されたオブジェクトのための他の全ての音声クリップより先に表示されることを特徴とする請求項３３記載の方法。
- 音声クリップの再生において、現在の音声クリップ以外の代替の音声クリップを選択することを特徴とする請求項３５記載の方法。
- 選択されたオブジェクトは１つ以上の関連付けられた音声クリップを持ち、各音声クリップは１つの作成されたストーリーに関連付けられ、各音声クリップは０個以上のナレーションを有することを特徴とする請求項３３記載の方法。
- 前記インポート・トラック又は前記作成トラック上の各ストーリーは、隣接したストーリーと異なった色の背景を有することを特徴とする請求項３３記載の方法。
- ストーリーの再生において、前記インポート・トラック又は前記作成トラップから１つのストーリーを選択し、選択されたストーリー中の各オブジェクトに対応するフルサイズ画像を表示することを特徴とする請求項３３記載の方法。
- フルサイズ画像の表示において、ストーリー中のオブジェクトを、ストーリーの先頭から最後へ向かう順に選択し、
選択されたオブジェクトに関連付けられた音声クリップを再生する、
ことを特徴とする請求項３９記載の方法。 - 作成されたストーリーとそれに関連付けられたオブジェクトは、マークアップ言語フォーマットによりファイルとして保存されることを特徴とする請求項３３記載の方法。
- マークアップ言語フォーマットはＨＴＭＬ、ＳＭＩＬ又はＸＭＬであることを特徴とする請求項４１記載の方法。
- 前記インポート・トラック、作成トラック及び作業トラック上のオブジェクトは、対応オブジェクトのサムネイル画像もしくは縮小表示の形で表示されることを特徴とする請求項３３記載の方法。
- オブジェクトの選択において、選択が標準速度で行われる場合にはサムネイル画像を高解像度で表示し、選択が高速で行われる場合にはサムネイル画像を低解像度で表示することを特徴とする請求項３３記載の方法。
- 選択が高速で行われる時には、画像及び関連付けされた音声クリップを表示しないことを特徴とする請求項４４記載の方法。
- 外部装置から新たなオブジェクトを受け取り、この新たなオブジェクトにはインポートされたストーリー、デジタル写真、ビデオ・クリップ、文書のページ、プレゼンテーション・スライド、音声クリップ及びウェブ・ページが含まれることを特徴とする請求項３３記載の方法。
- ストーリーを宛先の電子メールアドレスへ電子メールの添付ファイルの形で送信することを特徴とする請求項３３記載の方法。
- インポートされた各ストーリーは自動作成された１つのグループであり、インポートされた各ストーリーは互いに視覚的に区別可能であり、作成された各ストーリーは互いに視覚的に区別可能であることを特徴とする請求項３３記載の方法。
- 同じトラック上にある各ストーリーは異なった色の背景を有し、各ストーリーはギャップにより互いに分離されることを特徴とする請求項４８記載の方法。
- 前記ギャップは、ストーリー作成時刻の時間差を表すことを特徴とする請求項４９記載の方法。
- ユーザがトラック選択、オブジェクト選択、及び、選択されたオブジェクトのあるトラックから別のトラックへの移動を行うことができるように構成されたポインティング・デバイスをさらに有し、前記ポインティング・デバイスはマウス、外付けのジョイスティック、音声作動式制御装置、タッチスクリーン、トラックパッド、及びカーソル制御装置からなる群から選ばれたものであることを特徴とする請求項１７記載のシステム。
- 新たなオブジェクトを前記第１のストーリー・トラックに追加するために利用されるビデオカメラが付属していることを特徴とする請求項１７記載のシステム。
- 前記第１、第２及び第３のトラック上のオブジェクトは、対応オブジェクトのサムネイル画像もしくは縮小表示の形で表示されることを特徴とする請求項１７記載のシステム。
- 前記トラックが折り畳み形式で表示するように構成されている場合に、各ストーリーのための最初のサムネイル画像がそのストーリーを表すために用いられることを特徴とする請求項３７記載の方法。
- あるオブジェクトから別のオブジェクトへの選択オブジェクトの移動において、その移動が標準速度で行われる場合にはサムネイル画像を高解像度で表示し、その移動が高速で行われる場合にはサムネイル画像を低解像度で表示することを特徴とする請求項１７記載のシステム。
- 選択オブジェクトの移動が高速で行われる場合には、サムネイル画像及び関連付けられた音声クリップを表示しないことを特徴とする請求項５５記載のシステム。
- デジタル・ストーリーを記憶するための手段、該デジタル・ストーリーはインポートされたストーリーと作成されたストーリーとがあり、各ストーリーは複数のオブジェクトからなる、
記憶されているオブジェクトを用いてストーリーを作成するための手段、
前記インポートされたストーリーに関連付けられたストーリー・トラック及び前記作成されたストーリーに関連付けられたストーリー・トラックを表示するための手段、
前記ストーリー・トラック間及び１つのストーリー・トラック上のオブジェクト間を移動するための手段、
を有するデジタルストーリー作成再生のためのシステムであって、
前記ストーリー・トラックを表示するための手段は、インポートされたストーリーを第１のトラックに表示する手段、作成されたストーリーを第２のトラックに表示する手段、及び、作成中のストーリーを第３のトラックに表示する手段とからなることを特徴とするシステム。 - 前記ストーリーを作成するための手段は、オブジェクトを選択する手段、選択されたオブジェクトに関連付けされた音声クリップのためのナレーションを録音する手段、作成されたストーリーを前記記憶手段に保存する手段からなることを特徴とする請求項５７記載のシステム。
- 作成されたストーリーはＸＭＬファイルフォーマット、ＳＭＩＬファイルフォーマット又はＨＴＭＬファイルフォーマットによって保存されることを特徴とする請求項５８記載のシステム。
- 選択されたオブジェクトのフルサイズ画像を表示するための手段、選択されたオブジェクトに関連付けされた１つ以上の音声クリップを表示するための手段、及び、前記音声クリップを再生するための手段をさらに有することを特徴とする請求項５７記載のシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/465,982 US6976229B1 (en) | 1999-12-16 | 1999-12-16 | Method and apparatus for storytelling with digital photographs |
| US09/465982 | 1999-12-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001218160A JP2001218160A (ja) | 2001-08-10 |
| JP4201154B2 true JP4201154B2 (ja) | 2008-12-24 |
Family
ID=23849964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000381399A Expired - Fee Related JP4201154B2 (ja) | 1999-12-16 | 2000-12-15 | デジタルストーリー作成再生方法及びシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (4) | US6976229B1 (ja) |
| JP (1) | JP4201154B2 (ja) |
Families Citing this family (254)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050166232A1 (en) * | 1999-04-21 | 2005-07-28 | Lamkin Allan B... | Presentation of media content from multiple media sources |
| US20060193606A1 (en) * | 1999-04-21 | 2006-08-31 | Interactual Technologies, Inc. | Two navigation |
| US20050198574A1 (en) * | 1999-04-21 | 2005-09-08 | Interactual Technologies, Inc. | Storyboard |
| CA2388565A1 (en) * | 1999-04-21 | 2000-10-26 | Research Investment Network, Inc. | System, method and article of manufacture for updating content stored on a portable storage medium |
| US20060041639A1 (en) * | 1999-04-21 | 2006-02-23 | Interactual Technologies, Inc. | Platform detection |
| US6529949B1 (en) * | 2000-02-07 | 2003-03-04 | Interactual Technologies, Inc. | System, method and article of manufacture for remote unlocking of local content located on a client device |
| US20050182828A1 (en) * | 1999-04-21 | 2005-08-18 | Interactual Technologies, Inc. | Platform specific execution |
| US7346920B2 (en) * | 2000-07-07 | 2008-03-18 | Sonic Solutions, A California Corporation | System, method and article of manufacture for a common cross platform framework for development of DVD-Video content integrated with ROM content |
| US20050210413A1 (en) * | 1999-11-24 | 2005-09-22 | Quek Su M | Utilization of digital images |
| US20040220926A1 (en) * | 2000-01-03 | 2004-11-04 | Interactual Technologies, Inc., A California Cpr[P | Personalization services for entities from multiple sources |
| US7392481B2 (en) * | 2001-07-02 | 2008-06-24 | Sonic Solutions, A California Corporation | Method and apparatus for providing content-owner control in a networked device |
| US20040220791A1 (en) * | 2000-01-03 | 2004-11-04 | Interactual Technologies, Inc. A California Corpor | Personalization services for entities from multiple sources |
| US20050251732A1 (en) * | 2000-01-20 | 2005-11-10 | Interactual Technologies, Inc. | System, method and article of manufacture for executing a multimedia event on a plurality of client computers using a synchronization host engine |
| US8620286B2 (en) | 2004-02-27 | 2013-12-31 | Synchronoss Technologies, Inc. | Method and system for promoting and transferring licensed content and applications |
| CN100508560C (zh) * | 2000-01-26 | 2009-07-01 | 索尼公司 | 信息处理设备和处理方法 |
| US7810037B1 (en) * | 2000-02-11 | 2010-10-05 | Sony Corporation | Online story collaboration |
| US6925602B1 (en) * | 2000-03-20 | 2005-08-02 | Intel Corporation | Facilitating access to digital video |
| US7187947B1 (en) | 2000-03-28 | 2007-03-06 | Affinity Labs, Llc | System and method for communicating selected information to an electronic device |
| US6760721B1 (en) * | 2000-04-14 | 2004-07-06 | Realnetworks, Inc. | System and method of managing metadata data |
| AUPQ717700A0 (en) * | 2000-04-28 | 2000-05-18 | Canon Kabushiki Kaisha | A method of annotating an image |
| US7779097B2 (en) * | 2000-09-07 | 2010-08-17 | Sonic Solutions | Methods and systems for use in network management of content |
| US7689510B2 (en) * | 2000-09-07 | 2010-03-30 | Sonic Solutions | Methods and system for use in network management of content |
| US9292516B2 (en) * | 2005-02-16 | 2016-03-22 | Sonic Solutions Llc | Generation, organization and/or playing back of content based on incorporated parameter identifiers |
| KR100694238B1 (ko) * | 2000-09-28 | 2007-03-14 | 가부시키가이샤 리코 | 구조편집방법, 영상구조편집방법, 오브젝트의 내용구조관리방법, 오브젝트의 내용구조표시방법, 컨텐츠관리방법 및 기록매체 |
| GB2370709A (en) * | 2000-12-28 | 2002-07-03 | Nokia Mobile Phones Ltd | Displaying an image and associated visual effect |
| US6928433B2 (en) * | 2001-01-05 | 2005-08-09 | Creative Technology Ltd | Automatic hierarchical categorization of music by metadata |
| JP4123726B2 (ja) * | 2001-02-26 | 2008-07-23 | セイコーエプソン株式会社 | デジタルスチルカメラ |
| JP2002259762A (ja) * | 2001-03-02 | 2002-09-13 | Fuji Photo Film Co Ltd | データ管理方法および装置並びに記録媒体 |
| FR2821947B1 (fr) * | 2001-03-12 | 2003-05-16 | Canon Kk | Procede et dispositif de validation de parametres definissant une image |
| US8615566B1 (en) | 2001-03-23 | 2013-12-24 | Synchronoss Technologies, Inc. | Apparatus and method for operational support of remote network systems |
| EP1394681A4 (en) * | 2001-05-18 | 2004-08-11 | Nikon Corp | METHOD FOR PROVIDING A BULLETIN BOARD FOR PLACING AN IMAGE AND METHOD FOR PROVIDING AN ELECTRONIC ALBUM SERVICE |
| EP1394709A4 (en) * | 2001-05-18 | 2007-07-25 | Nikon Corp | PROVISION METHOD FOR AN ELECTRONIC STORE, SITE SEARCH METHOD AND BULLETIN BOARD PROVISION METHOD |
| WO2002095641A1 (fr) * | 2001-05-18 | 2002-11-28 | Nikon Corporation | Procede d'enregistrement de client de magasin electronique |
| US6990497B2 (en) * | 2001-06-26 | 2006-01-24 | Microsoft Corporation | Dynamic streaming media management |
| US6986018B2 (en) * | 2001-06-26 | 2006-01-10 | Microsoft Corporation | Method and apparatus for selecting cache and proxy policy |
| US9113846B2 (en) | 2001-07-26 | 2015-08-25 | Given Imaging Ltd. | In-vivo imaging device providing data compression |
| WO2003017145A1 (en) * | 2001-08-21 | 2003-02-27 | Yesvideo, Inc. | Creation of slideshow based on characteristic of audio content used to produce accompanying audio display |
| US20030046693A1 (en) * | 2001-08-29 | 2003-03-06 | Digeo, Inc. | System and method for focused navigation within an interactive television user interface |
| US6803925B2 (en) * | 2001-09-06 | 2004-10-12 | Microsoft Corporation | Assembling verbal narration for digital display images |
| US7499282B1 (en) * | 2001-09-19 | 2009-03-03 | Palm, Inc. | Successively layered modular construction for a portable computer system |
| GB0129787D0 (en) * | 2001-12-13 | 2002-01-30 | Hewlett Packard Co | Method and system for collecting user-interest information regarding a picture |
| GB2383247A (en) * | 2001-12-13 | 2003-06-18 | Hewlett Packard Co | Multi-modal picture allowing verbal interaction between a user and the picture |
| US7146574B2 (en) * | 2001-12-21 | 2006-12-05 | Microsoft Corporation | Systems and methods for interfacing with digital history data |
| US8022980B2 (en) * | 2002-02-12 | 2011-09-20 | Given Imaging Ltd. | System and method for displaying an image stream |
| DE60315953T2 (de) * | 2002-02-12 | 2008-05-21 | Given Imaging Ltd. | System und verfahren zur anzeige eines bildstroms |
| US7474327B2 (en) * | 2002-02-12 | 2009-01-06 | Given Imaging Ltd. | System and method for displaying an image stream |
| US20030172108A1 (en) * | 2002-03-05 | 2003-09-11 | Joshua Paul | System for providing multimedia file |
| US7987007B2 (en) * | 2002-03-18 | 2011-07-26 | Creative Technology Ltd | Memory module with audio playback mode |
| JP2003330777A (ja) * | 2002-05-10 | 2003-11-21 | Matsushita Electric Ind Co Ltd | データファイル再生装置、記録メディア、データファイル記録装置及びデータファイル記録プログラム |
| US7398209B2 (en) | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
| US20030236830A1 (en) * | 2002-06-19 | 2003-12-25 | Eastman Kodak Company | Method and system for sharing images over a communication network among a plurality of users |
| US7693720B2 (en) | 2002-07-15 | 2010-04-06 | Voicebox Technologies, Inc. | Mobile systems and methods for responding to natural language speech utterance |
| US8161411B2 (en) | 2003-04-25 | 2012-04-17 | Apple Inc. | Graphical user interface for browsing, searching and presenting media items |
| JP2004094853A (ja) * | 2002-09-04 | 2004-03-25 | Dainippon Printing Co Ltd | スライドショーシステム、端末装置及び記録媒体 |
| US20040059996A1 (en) * | 2002-09-24 | 2004-03-25 | Fasciano Peter J. | Exhibition of digital media assets from a digital media asset management system to facilitate creative story generation |
| US20040145603A1 (en) * | 2002-09-27 | 2004-07-29 | Soares Stephen Michael | Online multimedia presentation builder and presentation player |
| JP4005470B2 (ja) * | 2002-10-09 | 2007-11-07 | オリンパス株式会社 | 情報処理装置及び情報処理プログラム |
| JP2004134985A (ja) * | 2002-10-09 | 2004-04-30 | Olympus Corp | データ編集装置及びデータ編集プログラム |
| US7327347B2 (en) * | 2002-12-23 | 2008-02-05 | Fuji Xerox Co., Ltd. | Image classifying systems and methods |
| EP1435619A3 (en) * | 2003-01-02 | 2007-07-18 | Samsung Electronics Co., Ltd. | Multimedia apparatus with "Slide-Show" and relevant audio output |
| KR100540656B1 (ko) * | 2003-02-03 | 2006-01-10 | 삼성전자주식회사 | 광 디스크 재생 장치 및 방법 |
| US7882258B1 (en) * | 2003-02-05 | 2011-02-01 | Silver Screen Tele-Reality, Inc. | System, method, and computer readable medium for creating a video clip |
| US7272779B2 (en) * | 2003-03-31 | 2007-09-18 | Sharp Laboratories Of America, Inc. | Synchronized musical slideshow language |
| US7079293B2 (en) * | 2003-04-08 | 2006-07-18 | Tr Marketing, Inc. | Digital album and methods of use |
| US7019871B2 (en) * | 2003-04-08 | 2006-03-28 | Tr Marketing, Inc. | Digital photo album having a built-in scanner |
| US7369164B2 (en) * | 2003-04-11 | 2008-05-06 | Eastman Kodak Company | Using favorite digital images to organize and identify electronic albums |
| US20040215534A1 (en) | 2003-04-25 | 2004-10-28 | Apple Computer, Inc. | Method and system for network-based allowance control |
| JP2004336343A (ja) * | 2003-05-07 | 2004-11-25 | Canon Inc | 画像処理システム |
| TWI257612B (en) * | 2003-05-29 | 2006-07-01 | Benq Corp | Multimedia message conversion system and method thereof |
| US7512622B2 (en) * | 2003-06-11 | 2009-03-31 | Yahoo! Inc. | Method and apparatus for organizing and playing data |
| WO2005010715A2 (en) | 2003-07-21 | 2005-02-03 | Fusionone, Inc. | Device message management system |
| US7468735B2 (en) * | 2003-07-24 | 2008-12-23 | Sony Corporation | Transitioning between two high resolution images in a slideshow |
| US20050071214A1 (en) * | 2003-09-25 | 2005-03-31 | Kover Arthur J. | Method and apparatus for obtaining web-based advertising research data |
| US8065616B2 (en) * | 2003-10-27 | 2011-11-22 | Nokia Corporation | Multimedia presentation editor for a small-display communication terminal or computing device |
| US7149973B2 (en) * | 2003-11-05 | 2006-12-12 | Sonic Foundry, Inc. | Rich media event production system and method including the capturing, indexing, and synchronizing of RGB-based graphic content |
| US7705859B2 (en) * | 2003-12-03 | 2010-04-27 | Sony Corporation | Transitioning between two high resolution video sources |
| US20050162718A1 (en) * | 2003-12-30 | 2005-07-28 | Lg Electronics Inc. | Television receiver and method of displaying and editing images in electronic photo album |
| JP5248780B2 (ja) * | 2003-12-31 | 2013-07-31 | ギブン イメージング リミテッド | 画像ストリームを表示するシステムおよび方法 |
| US20050166149A1 (en) * | 2004-01-23 | 2005-07-28 | Microsoft Corporation | Table of contents display |
| US8332943B2 (en) | 2004-02-17 | 2012-12-11 | Microsoft Corporation | Tiered object-related trust decisions |
| US8237712B2 (en) * | 2004-03-18 | 2012-08-07 | Apple Inc. | Manipulation of image content using various image representations |
| US20050209849A1 (en) * | 2004-03-22 | 2005-09-22 | Sony Corporation And Sony Electronics Inc. | System and method for automatically cataloguing data by utilizing speech recognition procedures |
| US9460346B2 (en) * | 2004-04-19 | 2016-10-04 | Google Inc. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| CN1998224A (zh) | 2004-05-12 | 2007-07-11 | 富盛旺公司 | 高级联络识别系统 |
| US9542076B1 (en) * | 2004-05-12 | 2017-01-10 | Synchronoss Technologies, Inc. | System for and method of updating a personal profile |
| US20050268226A1 (en) * | 2004-05-28 | 2005-12-01 | Lipsky Scott E | Method and system for displaying image information |
| US7634068B1 (en) | 2004-06-16 | 2009-12-15 | Hopechest Voices, LLC | Methods and systems for creating and delivering group recordings |
| US7631336B2 (en) | 2004-07-30 | 2009-12-08 | Broadband Itv, Inc. | Method for converting, navigating and displaying video content uploaded from the internet to a digital TV video-on-demand platform |
| US11259059B2 (en) | 2004-07-30 | 2022-02-22 | Broadband Itv, Inc. | System for addressing on-demand TV program content on TV services platform of a digital TV services provider |
| US9641902B2 (en) | 2007-06-26 | 2017-05-02 | Broadband Itv, Inc. | Dynamic adjustment of electronic program guide displays based on viewer preferences for minimizing navigation in VOD program selection |
| US9584868B2 (en) | 2004-07-30 | 2017-02-28 | Broadband Itv, Inc. | Dynamic adjustment of electronic program guide displays based on viewer preferences for minimizing navigation in VOD program selection |
| US7590997B2 (en) | 2004-07-30 | 2009-09-15 | Broadband Itv, Inc. | System and method for managing, converting and displaying video content on a video-on-demand platform, including ads used for drill-down navigation and consumer-generated classified ads |
| JP4257607B2 (ja) * | 2004-09-14 | 2009-04-22 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| US20060064719A1 (en) * | 2004-09-17 | 2006-03-23 | Youden John J | Simultaneous video input display and selection system and method |
| US7986337B2 (en) * | 2004-09-27 | 2011-07-26 | Given Imaging Ltd. | System and method for editing an image stream captured in vivo |
| US20060101330A1 (en) * | 2004-11-08 | 2006-05-11 | Taiwan Semiconductor Manufacturing Company, Ltd. | Browser sitemap viewer |
| US7486981B2 (en) * | 2004-11-15 | 2009-02-03 | Given Imaging Ltd. | System and method for displaying an image stream |
| CA2587799C (en) | 2004-11-17 | 2018-01-02 | Arthur J. Zito Jr. | User-specific dispensing system |
| US7398921B2 (en) | 2004-11-17 | 2008-07-15 | Zito Jr Arthur J | User-specific dispensing system |
| US7546528B2 (en) * | 2004-12-20 | 2009-06-09 | Ricoh Co., Ltd. | Stamp sheets |
| RU2004138685A (ru) * | 2004-12-29 | 2006-06-10 | Общество с ограниченной ответственностью "Активное Видео" (RU) | Способ (варианты) и система обработки мультимедийной информации и способ формирования назначаемой области (варианты) |
| US8024658B1 (en) * | 2005-01-09 | 2011-09-20 | Apple Inc. | Application for designing photo albums |
| US20060156238A1 (en) * | 2005-01-13 | 2006-07-13 | Filmloop, Inc. | Systems and methods for providing loops |
| US20060155672A1 (en) * | 2005-01-13 | 2006-07-13 | Filmloop, Inc. | Systems and methods for single input installation of an application |
| US20060155763A1 (en) * | 2005-01-13 | 2006-07-13 | Filmloop, Inc. | Systems and methods for providing an interface for interacting with a loop |
| JP4277218B2 (ja) * | 2005-02-07 | 2009-06-10 | ソニー株式会社 | 記録再生装置、その方法及びプログラム |
| JP2006268010A (ja) * | 2005-02-28 | 2006-10-05 | Olympus Imaging Corp | 表示装置、カメラおよび表示方法 |
| JP2006254372A (ja) * | 2005-03-14 | 2006-09-21 | Sony Corp | データ取込装置、データ取込方法及びプログラム |
| JP2006323672A (ja) * | 2005-05-19 | 2006-11-30 | Sharp Corp | インターフェース |
| US20070005789A1 (en) * | 2005-06-14 | 2007-01-04 | Chao-Hung Wu | System for real-time transmitting and receiving of audio/video and handwriting information |
| FR2887655B1 (fr) * | 2005-06-27 | 2007-10-05 | Archos Sa | Procede et dispositif d'aide a la recherche d'un element dans une liste par defilement accelere sur un dispositif d'affichage |
| WO2007005746A2 (en) * | 2005-07-01 | 2007-01-11 | Filmloop, Inc. | Systems and methods for presenting with a loop |
| US8074248B2 (en) | 2005-07-26 | 2011-12-06 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
| US7640160B2 (en) | 2005-08-05 | 2009-12-29 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
| US7620549B2 (en) | 2005-08-10 | 2009-11-17 | Voicebox Technologies, Inc. | System and method of supporting adaptive misrecognition in conversational speech |
| US7949529B2 (en) | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
| EP1934971A4 (en) | 2005-08-31 | 2010-10-27 | Voicebox Technologies Inc | DYNAMIC LANGUAGE SCRIPTURE |
| US20070066875A1 (en) * | 2005-09-18 | 2007-03-22 | Eli Horn | System and method for identification of images in an image database |
| US7840898B2 (en) * | 2005-11-01 | 2010-11-23 | Microsoft Corporation | Video booklet |
| US20070133055A1 (en) * | 2005-12-09 | 2007-06-14 | Johnson Okorie A | Electronic photo book |
| US7703012B2 (en) | 2005-12-13 | 2010-04-20 | Cbs Interactive, Inc. | Adaptable transfer and publication of digital media |
| US7614012B1 (en) * | 2005-12-22 | 2009-11-03 | Adobe Systems Incorporated | Methods and apparatus for graphical object implementation |
| US20070168868A1 (en) * | 2006-01-13 | 2007-07-19 | Lehman Brothers Inc. | Method and system for integrating calculation and presentation technologies |
| US7669128B2 (en) * | 2006-03-20 | 2010-02-23 | Intension, Inc. | Methods of enhancing media content narrative |
| US8793579B2 (en) | 2006-04-20 | 2014-07-29 | Google Inc. | Graphical user interfaces for supporting collaborative generation of life stories |
| US8689098B2 (en) * | 2006-04-20 | 2014-04-01 | Google Inc. | System and method for organizing recorded events using character tags |
| US9892196B2 (en) * | 2006-04-21 | 2018-02-13 | Excalibur Ip, Llc | Method and system for entering search queries |
| JP4902285B2 (ja) * | 2006-07-18 | 2012-03-21 | キヤノン株式会社 | 情報閲覧装置、その制御方法及びプログラム |
| US7774431B2 (en) * | 2006-09-05 | 2010-08-10 | Gloto | Real time collaborative on-line multimedia albums |
| US8176065B2 (en) * | 2006-10-13 | 2012-05-08 | Sony Corporation | System and method for automatic selection of digital photo album cover |
| US8073681B2 (en) | 2006-10-16 | 2011-12-06 | Voicebox Technologies, Inc. | System and method for a cooperative conversational voice user interface |
| US20080119714A1 (en) * | 2006-11-22 | 2008-05-22 | Oliver Meissner | Optimized clinical workflow method and apparatus for functional gastro-intestinal imaging |
| KR100773441B1 (ko) * | 2006-12-19 | 2007-11-05 | 삼성전자주식회사 | 휴대단말의 콘텐츠파일 검색방법 및 장치 |
| AU2006252196B2 (en) * | 2006-12-21 | 2009-05-14 | Canon Kabushiki Kaisha | Scrolling Interface |
| AU2006252194B2 (en) * | 2006-12-21 | 2010-02-11 | Canon Kabushiki Kaisha | Scrolling Interface |
| AU2006252191B2 (en) * | 2006-12-21 | 2009-03-26 | Canon Kabushiki Kaisha | Scrolling Interface |
| AU2006252190B2 (en) * | 2006-12-21 | 2010-03-25 | Canon Kabushiki Kaisha | Collection browser for image items with multi-valued attributes |
| US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
| WO2008088741A2 (en) | 2007-01-12 | 2008-07-24 | Ictv, Inc. | Interactive encoded content system including object models for viewing on a remote device |
| CN101606144A (zh) | 2007-01-26 | 2009-12-16 | 富盛旺公司 | 用于备份内容以供移动设备使用的系统和方法 |
| US8762882B2 (en) | 2007-02-05 | 2014-06-24 | Sony Corporation | Information processing apparatus, control method for use therein, and computer program |
| US7818176B2 (en) | 2007-02-06 | 2010-10-19 | Voicebox Technologies, Inc. | System and method for selecting and presenting advertisements based on natural language processing of voice-based input |
| US8489684B2 (en) * | 2007-02-06 | 2013-07-16 | Research In Motion Limited | System and method for image inclusion in e-mail messages |
| US20080215967A1 (en) * | 2007-02-23 | 2008-09-04 | Tabblo, Inc. | Method and system for online transformation using an image URL application programming interface (API) |
| US20080215964A1 (en) * | 2007-02-23 | 2008-09-04 | Tabblo, Inc. | Method and system for online creation and publication of user-generated stories |
| US9177603B2 (en) | 2007-03-19 | 2015-11-03 | Intension, Inc. | Method of assembling an enhanced media content narrative |
| JP4601652B2 (ja) * | 2007-03-27 | 2010-12-22 | 三洋電機株式会社 | 撮像装置 |
| JP5116407B2 (ja) * | 2007-03-27 | 2013-01-09 | 三洋電機株式会社 | 撮像装置及び撮像システム |
| US7911465B2 (en) * | 2007-03-30 | 2011-03-22 | Ricoh Company, Ltd. | Techniques for displaying information for collection hierarchies |
| KR101017808B1 (ko) * | 2007-04-04 | 2011-02-28 | 엔에이치엔(주) | 편집 파일 자동 생성 방법 및 그 장치 |
| US11570521B2 (en) | 2007-06-26 | 2023-01-31 | Broadband Itv, Inc. | Dynamic adjustment of electronic program guide displays based on viewer preferences for minimizing navigation in VOD program selection |
| US8596640B1 (en) * | 2007-09-28 | 2013-12-03 | Jacob G. R. Kramlich | Storytelling game and method of play |
| US8140335B2 (en) | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
| US8875023B2 (en) * | 2007-12-27 | 2014-10-28 | Microsoft Corporation | Thumbnail navigation bar for video |
| JP4434284B2 (ja) * | 2008-02-06 | 2010-03-17 | ソニー株式会社 | 情報処理装置、表示データ提供方法、およびプログラム |
| US8055629B2 (en) * | 2008-03-05 | 2011-11-08 | International Business Machines Corporation | Transitioning an archived file to write-once-read-many |
| US9305548B2 (en) | 2008-05-27 | 2016-04-05 | Voicebox Technologies Corporation | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
| US8589161B2 (en) | 2008-05-27 | 2013-11-19 | Voicebox Technologies, Inc. | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
| US20090307602A1 (en) * | 2008-06-06 | 2009-12-10 | Life In Focus, Llc | Systems and methods for creating and sharing a presentation |
| US20100023485A1 (en) * | 2008-07-25 | 2010-01-28 | Hung-Yi Cheng Chu | Method of generating audiovisual content through meta-data analysis |
| JP4636141B2 (ja) * | 2008-08-28 | 2011-02-23 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| KR101483995B1 (ko) * | 2008-09-04 | 2015-01-20 | 삼성전자주식회사 | 전자 앨범 및 전자 앨범의 재생 방법 |
| JP4656218B2 (ja) * | 2008-09-10 | 2011-03-23 | カシオ計算機株式会社 | 画像表示装置、及び画像表示方法、画像表示プログラム |
| US20100277496A1 (en) * | 2008-09-16 | 2010-11-04 | Ryouichi Kawanishi | Data display device, integrated circuit, data display method, data display program, and recording medium |
| US20100088642A1 (en) * | 2008-10-02 | 2010-04-08 | Sony Corporation | Television set enabled player with a preview window |
| US8423916B2 (en) * | 2008-11-20 | 2013-04-16 | Canon Kabushiki Kaisha | Information processing apparatus, processing method thereof, and computer-readable storage medium |
| US9195317B2 (en) * | 2009-02-05 | 2015-11-24 | Opentv, Inc. | System and method for generating a user interface for text and item selection |
| US8326637B2 (en) | 2009-02-20 | 2012-12-04 | Voicebox Technologies, Inc. | System and method for processing multi-modal device interactions in a natural language voice services environment |
| US8477994B1 (en) * | 2009-02-26 | 2013-07-02 | Google Inc. | Creating a narrative description of media content and applications thereof |
| US10705701B2 (en) | 2009-03-16 | 2020-07-07 | Apple Inc. | Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate |
| US20100293463A1 (en) * | 2009-05-14 | 2010-11-18 | Snyder Mike K | System for Creation and Playback of a Multi-media Enhanced Narrative |
| JP5434408B2 (ja) * | 2009-05-15 | 2014-03-05 | 富士通株式会社 | 携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラム |
| US8498657B1 (en) * | 2009-06-11 | 2013-07-30 | Sprint Communications Company L.P. | User interface update signaling |
| US20100325552A1 (en) * | 2009-06-19 | 2010-12-23 | Sloo David H | Media Asset Navigation Representations |
| JP5261633B2 (ja) * | 2009-06-29 | 2013-08-14 | 雅英 田中 | 通信機能を有する画像機器 |
| US8325192B2 (en) | 2009-07-10 | 2012-12-04 | Microsoft Corporation | Creating animations |
| JP4930564B2 (ja) * | 2009-09-24 | 2012-05-16 | カシオ計算機株式会社 | 画像表示装置及び方法並びにプログラム |
| US9171541B2 (en) | 2009-11-10 | 2015-10-27 | Voicebox Technologies Corporation | System and method for hybrid processing in a natural language voice services environment |
| US9502025B2 (en) | 2009-11-10 | 2016-11-22 | Voicebox Technologies Corporation | System and method for providing a natural language content dedication service |
| US20110164859A1 (en) * | 2010-01-05 | 2011-07-07 | Kuang-Tsai Hao | Electronic audio/video story construction method |
| US9460068B2 (en) * | 2010-02-03 | 2016-10-04 | Google Inc. | Narrative-based media organizing system for transforming and merging graphical representations of digital media within a work area |
| US20110219308A1 (en) * | 2010-03-02 | 2011-09-08 | Twentieth Century Fox Film Corporation | Pre-processing and encoding media content |
| US10264305B2 (en) * | 2010-03-02 | 2019-04-16 | Twentieth Century Fox Film Corporation | Delivery of encoded media content |
| US8682142B1 (en) | 2010-03-18 | 2014-03-25 | Given Imaging Ltd. | System and method for editing an image stream captured in-vivo |
| US8422852B2 (en) | 2010-04-09 | 2013-04-16 | Microsoft Corporation | Automated story generation |
| WO2011135573A1 (en) | 2010-04-28 | 2011-11-03 | Given Imaging Ltd. | System and method for displaying portions of in-vivo images |
| US9053032B2 (en) | 2010-05-05 | 2015-06-09 | Microsoft Technology Licensing, Llc | Fast and low-RAM-footprint indexing for data deduplication |
| US20110276744A1 (en) | 2010-05-05 | 2011-11-10 | Microsoft Corporation | Flash memory cache including for use with persistent key-value store |
| US8935487B2 (en) | 2010-05-05 | 2015-01-13 | Microsoft Corporation | Fast and low-RAM-footprint indexing for data deduplication |
| US8566348B2 (en) * | 2010-05-24 | 2013-10-22 | Intersect Ptp, Inc. | Systems and methods for collaborative storytelling in a virtual space |
| JP5462094B2 (ja) * | 2010-07-07 | 2014-04-02 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| JP5134652B2 (ja) * | 2010-07-07 | 2013-01-30 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置および画像表示方法 |
| JP5866125B2 (ja) | 2010-10-14 | 2016-02-17 | アクティブビデオ ネットワークス， インコーポレイテッド | ケーブルテレビシステムを使用したビデオ装置間のデジタルビデオストリーミング |
| US8943428B2 (en) | 2010-11-01 | 2015-01-27 | Synchronoss Technologies, Inc. | System for and method of field mapping |
| US9208472B2 (en) | 2010-12-11 | 2015-12-08 | Microsoft Technology Licensing, Llc | Addition of plan-generation models and expertise by crowd contributors |
| US9110936B2 (en) | 2010-12-28 | 2015-08-18 | Microsoft Technology Licensing, Llc | Using index partitioning and reconciliation for data deduplication |
| US10140320B2 (en) * | 2011-02-28 | 2018-11-27 | Sdl Inc. | Systems, methods, and media for generating analytical data |
| US8873816B1 (en) | 2011-04-06 | 2014-10-28 | Given Imaging Ltd. | Method and system for identification of red colored pathologies in vivo |
| EP2695388B1 (en) | 2011-04-07 | 2017-06-07 | ActiveVideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
| US20120331385A1 (en) * | 2011-05-20 | 2012-12-27 | Brian Andreas | Asynchronistic platform for real time collaboration and connection |
| US20120311444A1 (en) * | 2011-06-05 | 2012-12-06 | Apple Inc. | Portable multifunction device, method, and graphical user interface for controlling media playback using gestures |
| US10706096B2 (en) | 2011-08-18 | 2020-07-07 | Apple Inc. | Management of local and remote media items |
| US9984054B2 (en) | 2011-08-24 | 2018-05-29 | Sdl Inc. | Web interface including the review and manipulation of a web document and utilizing permission based control |
| US20130070143A1 (en) * | 2011-09-20 | 2013-03-21 | Samsung Electronics Co., Ltd. | Display apparatus and method |
| US9069748B2 (en) * | 2011-10-04 | 2015-06-30 | Microsoft Technology Licensing, Llc | Selective generation and display of data items associated with a spreadsheet |
| US8990675B2 (en) | 2011-10-04 | 2015-03-24 | Microsoft Technology Licensing, Llc | Automatic relationship detection for spreadsheet data items |
| US9514154B2 (en) | 2011-10-27 | 2016-12-06 | International Business Machines Corporation | Virtual file system interface for communicating changes of metadata in a data storage system |
| US20150169740A1 (en) * | 2011-11-21 | 2015-06-18 | Google Inc. | Similar image retrieval |
| US8959604B2 (en) | 2011-11-25 | 2015-02-17 | Synchronoss Technologies, Inc. | System and method of verifying a number of a mobile terminal |
| EP2815582B1 (en) * | 2012-01-09 | 2019-09-04 | ActiveVideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
| US20130212529A1 (en) * | 2012-02-13 | 2013-08-15 | Samsung Electronics Co., Ltd. | User interface for touch and swipe navigation |
| US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
| US10645345B2 (en) * | 2012-07-03 | 2020-05-05 | Verint Americas Inc. | System and method of video capture and search optimization |
| US20140156768A1 (en) * | 2012-11-30 | 2014-06-05 | Avaya Inc. | Methods and systems for real-time paging |
| USD748649S1 (en) * | 2013-03-04 | 2016-02-02 | Roku, Inc. | Display screen with an animated electronic program guide |
| US10275128B2 (en) | 2013-03-15 | 2019-04-30 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
| US20140351679A1 (en) * | 2013-05-22 | 2014-11-27 | Sony Corporation | System and method for creating and/or browsing digital comics |
| US20140365888A1 (en) * | 2013-06-05 | 2014-12-11 | Narrable, Llc | User-controlled disassociation and reassociation of audio and visual content in a multimedia presentation |
| US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| EP3005712A1 (en) | 2013-06-06 | 2016-04-13 | ActiveVideo Networks, Inc. | Overlay rendering of user interface onto source video |
| US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| KR20150006720A (ko) * | 2013-07-09 | 2015-01-19 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| US9324145B1 (en) | 2013-08-08 | 2016-04-26 | Given Imaging Ltd. | System and method for detection of transitions in an image stream of the gastrointestinal tract |
| US20160182942A1 (en) * | 2013-08-12 | 2016-06-23 | Telefonaktiebolaget L M Ericsson (Publ) | Real Time Combination of Listened-To Audio on a Mobile User Equipment With a Simultaneous Video Recording |
| KR101912794B1 (ko) * | 2013-11-27 | 2018-10-29 | 한화테크윈 주식회사 | 영상 검색 시스템 및 영상 검색 방법 |
| KR101560727B1 (ko) * | 2014-04-07 | 2015-10-15 | 네이버 주식회사 | 멀티트랙 비디오 컨텐츠의 제공을 위한 멀티트랙 비디오 컨텐츠 서비스 방법 및 시스템 |
| US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
| USD766266S1 (en) * | 2014-05-22 | 2016-09-13 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
| US9996537B2 (en) * | 2014-06-19 | 2018-06-12 | Storymatik Software, S.A. | Systems and methods for automatic narrative creation |
| USD762232S1 (en) * | 2014-07-08 | 2016-07-26 | Marcus Howard | Display screen or portion thereof with graphical user interface |
| CN106797493A (zh) | 2014-09-02 | 2017-05-31 | 苹果公司 | 音乐用户界面 |
| WO2016044321A1 (en) | 2014-09-16 | 2016-03-24 | Min Tang | Integration of domain information into state transitions of a finite state transducer for natural language processing |
| CN107003996A (zh) | 2014-09-16 | 2017-08-01 | 声钰科技 | 语音商务 |
| WO2016061309A1 (en) | 2014-10-15 | 2016-04-21 | Voicebox Technologies Corporation | System and method for providing follow-up responses to prior natural language inputs of a user |
| US10431214B2 (en) | 2014-11-26 | 2019-10-01 | Voicebox Technologies Corporation | System and method of determining a domain and/or an action related to a natural language input |
| US10614799B2 (en) | 2014-11-26 | 2020-04-07 | Voicebox Technologies Corporation | System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance |
| US20160342327A1 (en) * | 2015-05-22 | 2016-11-24 | Lg Electronics Inc. | Watch-type mobile terminal and method of controlling therefor |
| US10871868B2 (en) * | 2015-06-05 | 2020-12-22 | Apple Inc. | Synchronized content scrubber |
| US10692533B2 (en) * | 2015-10-07 | 2020-06-23 | Google Llc | Storyline experience |
| JP6703431B2 (ja) * | 2016-03-31 | 2020-06-03 | 株式会社ベネッセコーポレーション | 発表資料の作成を支援するプログラム、装置、及び方法 |
| US10331784B2 (en) | 2016-07-29 | 2019-06-25 | Voicebox Technologies Corporation | System and method of disambiguating natural language processing requests |
| US10992795B2 (en) | 2017-05-16 | 2021-04-27 | Apple Inc. | Methods and interfaces for home media control |
| US11431836B2 (en) | 2017-05-02 | 2022-08-30 | Apple Inc. | Methods and interfaces for initiating media playback |
| US10928980B2 (en) | 2017-05-12 | 2021-02-23 | Apple Inc. | User interfaces for playing and managing audio items |
| US20220279063A1 (en) | 2017-05-16 | 2022-09-01 | Apple Inc. | Methods and interfaces for home media control |
| CN111343060B (zh) | 2017-05-16 | 2022-02-11 | 苹果公司 | 用于家庭媒体控制的方法和界面 |
| CA3038493A1 (en) | 2018-03-29 | 2019-09-29 | Michele Francis | Narrative arc story engine |
| US10996917B2 (en) | 2019-05-31 | 2021-05-04 | Apple Inc. | User interfaces for audio media control |
| US11620103B2 (en) | 2019-05-31 | 2023-04-04 | Apple Inc. | User interfaces for audio media control |
| DK201970533A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Methods and user interfaces for sharing audio |
| US11079913B1 (en) | 2020-05-11 | 2021-08-03 | Apple Inc. | User interface for status indicators |
| US11392291B2 (en) | 2020-09-25 | 2022-07-19 | Apple Inc. | Methods and interfaces for media control with dynamic feedback |
| US11797148B1 (en) | 2021-06-07 | 2023-10-24 | Apple Inc. | Selective event display |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5999173A (en) * | 1992-04-03 | 1999-12-07 | Adobe Systems Incorporated | Method and apparatus for video editing with video clip representations displayed along a time line |
| US5404316A (en) * | 1992-08-03 | 1995-04-04 | Spectra Group Ltd., Inc. | Desktop digital video processing system |
| US6121966A (en) * | 1992-11-02 | 2000-09-19 | Apple Computer, Inc. | Navigable viewing system |
| AU5442796A (en) * | 1995-04-06 | 1996-10-23 | Avid Technology, Inc. | Graphical multimedia authoring system |
| US5717879A (en) * | 1995-11-03 | 1998-02-10 | Xerox Corporation | System for the capture and replay of temporal data representing collaborative activities |
| US5966122A (en) * | 1996-03-08 | 1999-10-12 | Nikon Corporation | Electronic camera |
| US6628303B1 (en) * | 1996-07-29 | 2003-09-30 | Avid Technology, Inc. | Graphical user interface for a motion video planning and editing system for a computer |
| US5917488A (en) * | 1996-08-21 | 1999-06-29 | Apple Computer, Inc. | System and method for displaying and manipulating image data sets |
| US6249316B1 (en) * | 1996-08-23 | 2001-06-19 | Flashpoint Technology, Inc. | Method and system for creating a temporary group of images on a digital camera |
| US6097431A (en) * | 1996-09-04 | 2000-08-01 | Flashpoint Technology, Inc. | Method and system for reviewing and navigating among images on an image capture unit |
| FR2753868A1 (fr) * | 1996-09-25 | 1998-03-27 | Technical Maintenance Corp | Procede de selection d'un enregistrement sur un systeme numerique de reproduction audiovisuel et systeme pour mise en oeuvre du procede |
| JP3998289B2 (ja) * | 1997-02-14 | 2007-10-24 | 富士通株式会社 | ライブラリ装置を論理的に分割して制御するライブラリ制御装置および方法 |
| US6912726B1 (en) * | 1997-04-02 | 2005-06-28 | International Business Machines Corporation | Method and apparatus for integrating hyperlinks in video |
| US6084582A (en) * | 1997-07-02 | 2000-07-04 | Microsoft Corporation | Method and apparatus for recording a voice narration to accompany a slide show |
| US6567980B1 (en) * | 1997-08-14 | 2003-05-20 | Virage, Inc. | Video cataloger system with hyperlinked output |
| AUPO960197A0 (en) * | 1997-10-03 | 1997-10-30 | Canon Information Systems Research Australia Pty Ltd | Multi-media editing method and apparatus |
| US6097389A (en) * | 1997-10-24 | 2000-08-01 | Pictra, Inc. | Methods and apparatuses for presenting a collection of digital media in a media container |
| US6961954B1 (en) * | 1997-10-27 | 2005-11-01 | The Mitre Corporation | Automated segmentation, information extraction, summarization, and presentation of broadcast news |
| US6166735A (en) * | 1997-12-03 | 2000-12-26 | International Business Machines Corporation | Video story board user interface for selective downloading and displaying of desired portions of remote-stored video data objects |
| JP3895492B2 (ja) * | 1998-03-13 | 2007-03-22 | 株式会社リコー | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US6453078B2 (en) * | 1998-08-28 | 2002-09-17 | Eastman Kodak Company | Selecting, arranging, and printing digital images from thumbnail images |
| US6362900B1 (en) * | 1998-12-30 | 2002-03-26 | Eastman Kodak Company | System and method of constructing a photo album |
| US6738075B1 (en) * | 1998-12-31 | 2004-05-18 | Flashpoint Technology, Inc. | Method and apparatus for creating an interactive slide show in a digital imaging device |
| US6369835B1 (en) * | 1999-05-18 | 2002-04-09 | Microsoft Corporation | Method and system for generating a movie file from a slide show presentation |
| US6339429B1 (en) * | 1999-06-04 | 2002-01-15 | Mzmz Technology Innovations Llc | Dynamic art form display apparatus |
| US6961708B1 (en) * | 1999-08-27 | 2005-11-01 | Computer Sciences Corporation | External interface for requesting data from remote systems in a generic fashion |
| US6624826B1 (en) * | 1999-09-28 | 2003-09-23 | Ricoh Co., Ltd. | Method and apparatus for generating visual representations for audio documents |
| US6559871B1 (en) * | 1999-09-29 | 2003-05-06 | International Business Machines Corporation | Asynchronous tree navigator graphical user interface and associated methods |
-
1999
- 1999-12-16 US US09/465,982 patent/US6976229B1/en not_active Expired - Fee Related
-
2000
- 2000-06-05 US US09/589,924 patent/US6833848B1/en not_active Expired - Lifetime
- 2000-12-15 JP JP2000381399A patent/JP4201154B2/ja not_active Expired - Fee Related
-
2004
- 2004-11-12 US US10/987,586 patent/US8091026B2/en not_active Expired - Fee Related
-
2005
- 2005-08-29 US US11/215,546 patent/US7886228B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001218160A (ja) | 2001-08-10 |
| US8091026B2 (en) | 2012-01-03 |
| US20050283741A1 (en) | 2005-12-22 |
| US20050120655A1 (en) | 2005-06-09 |
| US6976229B1 (en) | 2005-12-13 |
| US6833848B1 (en) | 2004-12-21 |
| US7886228B2 (en) | 2011-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4201154B2 (ja) | デジタルストーリー作成再生方法及びシステム | |
| US20210181911A1 (en) | Electronic text manipulation and display | |
| US6859909B1 (en) | System and method for annotating web-based documents | |
| US6693652B1 (en) | System and method for automatic generation of visual representations and links in a hierarchical messaging system | |
| US20090119614A1 (en) | Method, Apparatus and Computer Program Product for Heirarchical Navigation with Respect to Content Items of a Media Collection | |
| JP4574113B2 (ja) | 表示画面に付加情報を重畳表示するためのファイルを作成する装置及び磁気記録媒体 | |
| AU2018202847B2 (en) | Electronic text manipulation and display | |
| AU2020213353B2 (en) | Electronic text manipulation and display | |
| JP4371101B2 (ja) | 再生機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081001 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081002 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |