JP5568186B2

JP5568186B2 - ビデオのコンテキストのポップアップ

Info

Publication number: JP5568186B2
Application number: JP2013554640A
Authority: JP
Inventors: シュテファンハフェンガー; ゲイリーフリント
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2011-02-18
Filing date: 2012-02-17
Publication date: 2014-08-06
Anticipated expiration: 2032-02-17
Also published as: CA2823684A1; AU2012219365A1; EP2676272A1; US20120213495A1; JP2014511604A; US8467663B2; CN103380461B; WO2012112904A1; KR101428959B1; CA2823684C; KR20130116367A; CN103380461A

Description

本開示は、一般にグラフィックユーザインタフェース及びデジタルビデオの編集に関する。

ビデオ編集アプリケーションにより、ユーザは、ビデオデータを作成、操作、及び統合することができる。ビデオ編集アプリケーションの供給業者は、多くの場合、ビデオ編集アプリケーションを使いやすくするユーザインタフェースを提供しようと努める。多くの場合、供給業者は、ユーザが楽しむことのできる外観及び雰囲気をもつインタフェースを提供しようと努める。

本発明ではビデオのコンテキストのポップアップが開示される。いくつかの実施構成では、ビデオエディタでビデオのポップアップを表示して、ビデオクリップシーケンスを編集しているユーザに対してコンテキストを提供することができる。いくつかの実施構成では、ユーザは、１つ又はそれ以上のビデオクリップを追加できるビデオクリップシーケンスにおける位置を指示することができ、指示された位置に隣接する１つ又はそれ以上のビデオクリップの一部を表示する１つ又はそれ以上のビデオのポップアップを提示することができる。実施構成は、ビデオのコンテキストのポップアップを行うための方法、システム、及びコンピュータ可読媒体を含む。

特定の実施構成は、１）ビデオのコンテキストのポップアップが、ユーザのビデオ編集作業にコンテキストを提供することによりビデオエディタをさらに使いやすくすることができ、２）ビデオのコンテキストのポップアップが、ビデオクリップシーケンスの編集中、ユーザにビデオクリップの選択及び再生を要求することなく、ビデオクリップの一部を自動的に提示することにより時間を節約することができる、という利点を少なくとも提供する。

１つ又はそれ以上の実施構成の詳細内容は、添付図面に示され以下に説明される。他の特徴、態様、及び潜在的な利点は、本明細書及び図面、並びに請求項から明らかになるはずである

ビデオ再生インタフェースの実施例を示す。ビデオ編集インタフェースの実施例を示す。タイムラインから多数のビデオクリップを選択する実施例を示す。ビデオクリップの群の実施例を示す。タイムラインの空間を広げて選択されたビデオクリップを収容する実施例を示す。ビデオのコンテキストのポップアップの実施例を示す。タイムラインの新しい位置に選択されたビデオクリップを挿入する実施例を示す。ビデオクリップのフロッキングシステムの実施例のブロック図である。ビデオクリップのフロッキング処理の実施例のフロー図である。ビデオのコンテキストのポップアップ処理の実施例のフロー図である。図１〜図７の機能及び処理を実行するシステム構成の実施例のブロック図である。

図１は、ビデオ編集アプリケーションのビデオ再生ユーザインタフェースの実施例を示す。ビデオ再生ユーザインタフェースが、表示環境１００を含む。例えば、表示環境１００は、コンピュータ装置の表示部に表示されるアプリケーションウィンドウとすることができる。表示環境は、画像１０２を表示するように構成することができる。例えば、画像１０２は、ビデオクリップの連続フレームを含むビデオ画像又はデジタル写真などの静止画像とすることができる。制御要素１０４は、ビデオの表示を制御するためのユーザインタフェース要素１０６、１０８、及び１１０を含む。例えば、要素１０６によってユーザはビデオを巻き戻す（ビデオを時間的に元に戻す）ことでき、要素１０８によってユーザはビデオを再生することができ、要素１１０によってユーザはビデオを早送りすることができる。また、制御要素１０４は、ユーザにビデオの継続時間、ビデオをどのくらい再生したか、又は再生するビデオがどのくらい残っているかを示すタイムライン１１４を含むことができる。タイムライン１１４は、ビデオの再生中、ユーザにタイムラインの現在の位置を示す位置インジケータ１１２を含むことができる。ビデオ再生インタフェースは、ビデオ編集アプリケーションの編集モードに入るためのユーザインタフェース要素（図示せず）を提供することもできる。例えば、ユーザは、一般的なプルダウンメニューからメニュー項目を選択することによって、又は表示環境１００に表示されるか又は制御要素１０４に表示されるユーザインタフェース要素を選択することによって、ビデオ編集アプリケーションの編集モードに入ることができる。

図２は、ビデオ編集アプリケーションのビデオ編集ユーザインタフェースの実施例を示す。表示環境１００は、制御要素２００を含むことができる。例えば、制御要素２００は、ビデオ編集アプリケーションが編集モードの場合に表示することができる。制御要素２００は、ユーザが制御要素２００を通して表示画像１０２を見ることができるようにする半透明のオーバーレイの制御要素とすることができる。制御要素２００は、ユーザがビデオ、及びビデオ２０４〜２１６（ビデオクリップ）の一部を表す画像を表示するタイムライン２１８を再生できるようにするユーザインタフェース要素２０２を含むことができる。従って、ビデオは、タイムライン２１８内にビデオクリップ２０４〜２１６のシーケンスを含む。本明細書に開示される実施構成により、ユーザが表示環境１００において各々のビデオクリップを表す画像を操作できるようにすることで、ユーザはタイムライン２１８内のビデオクリップ２０４〜２１６のシーケンスの順序を変更することができる。

実施構成によれば、ビデオ編集アプリケーションは、ビデオクリップ上でドラッグ及びドロップ動作を行うことによって、ビデオクリップをタイムライン２１８に追加できるように構成することができる。例えば、表示環境１００の外側（ビデオ編集アプリケーションの外部など）のビデオクリップをユーザが選択し、タイムライン２１８の或る場所にドラッグし、その場所でビデオクリップ２０４〜２１６のシーケンス内にドロップすることができる。ビデオクリップがタイムライン内に存在しない場合、外部のビデオクリップは、タイムライン２１８に追加される。タイムライン２１８内にすでに存在するビデオクリップは、ドラッグ及びドロップ動作によって再配置又は削除することができる。例えば、ユーザは、タイムライン２１８内のクリップを選択し、それをタイムライン２１８内の異なる場所までドラッグして、ビデオクリップ２０４〜２１６のシーケンスを修正することができる。タイムライン２１８からビデオクリップを削除するために、ユーザは、１つ又はそれ以上のビデオクリップを選択し、選択されたビデオクリップをメニュー項目（プルダウンメニュー内の削除メニュー項目など）又はキーボードのキー（削除又はバックスペースキーなど）によって削除することができる。

図３は、ビデオ編集アプリケーションにおいてタイムラインから複数のビデオクリップを選択する方法を示す。多数のビデオクリップをタイムライン２１８から選択することができる。例えば、クリップ２０６及びクリップ２１０の両者に対して同時に動作を行うことができるように、強調表示されたビデオクリップ２０６及び２１０を選択することができる。ユーザは、カーソル３００を用いて複数のクリップを選択することができる。例えば、ユーザは、クリップ２０６にカーソル３００を置き、クリップ２０６を選択したいことを示すカーソル入力（マウスのクリック、タッチパッド又はタッチ画面のタッチなど）を生成することができる。クリップ２０６の外観は、選択状態を示すように変更することができる。次に、ユーザは、クリップ２１０上にカーソル３００を置き、ユーザがクリップ２０６の選択に加えて、クリップ２１０を選択したいことを示す入力を生成することができる。例えば、クリップ２０６及びクリップ２１０の複数の選択を示すために、ユーザは、カーソル入力の生成に加えて、キーボードのキー（コマンドキー、シフトキー、制御キーなど）を押したままとすることができる。クリップ２０６及びクリップ２１０が選択されると、ユーザは、選択した複数のビデオクリップに対してビデオ編集動作を行うことができる。

図４は、ビデオクリップのフロッキングを示す。ビデオ編集アプリケーションにおけるユーザ経験を改善するために、ユーザインタフェース要素のフロッキング又は群化を用いることができる。例えば、クリップ２０４〜クリップ２１６のシーケンスは、編集したビデオ内に存在することができる。ユーザは、隣接していないクリップ２０６及び２１０を選択し、次に、タイムライン２１８の現在の場所から選択されたクリップをドラッグすることができる。実施構成によれば、各クリップは、カーソルでドラッグされると、カーソル３００の方へ移動するように一緒に「フロッキング」する（相互に近接して移動する）ことができる。例えば、クリップ２０６及び２１０は、それぞれの経路４０２及び４０４（又は同じ経路）に沿ってカーソル３００の方へ移動し、ビデオクリッププレビュー４００としてカーソル３００の場所で表示することができる。従って、ユーザは、タイムライン２１８内のクリップのそれぞれの場所から表示部を横切って表示部上のカーソル３００の場所まで移動するクリップ２０６及びクリップ２１０を表す画像を見ることができる。

ビデオクリップのプレビューをユーザに提示して、選択されたビデオクリップのコンテキストのプレビューを提供することができる。例えば、クリップ２０６及びクリップ２１０は、連続するビデオクリップのシーケンスとしてプレビュー４００に表示することができる。クリップ２０６及びクリップ２１０は、クリップがタイムライン２１８に配置された順序と同じ相対的な順序でプレビュー４００に配置することができる。ビデオクリッププレビュー４００は、カーソル３００を用いて表示環境１００の方々に移動することができる。例えば、ユーザは、表示環境１００の方々にカーソル３００を移動することができ、ビデオクリッププレビュー４００は、カーソル３００及びビデオクリッププレビュー４００が一緒に移動するように見えるように、カーソル３００に近接して移動することができる。

図５Ａは、タイムライン内の空間を広げて選択されたビデオクリップを収容する実施例を示す。実施構成によれば、選択されたビデオクリップのコンテキストのプレビューが提供され、これにより選択されたクリップを単一クリップとして処理できる。例えば、ユーザがクリップ２１４とクリップ２１６の間にクリップ２０６及びクリップ２１０をドラッグし、次に、クリップ２１４とクリップ２１６の間の位置にマウスを合わせる場合、タイムライン２１８内のクリップ２１４とクリップ２１６の間の空間５００が、クリップ２０６及びクリップ２１０の合計継続時間に対応した幅になり、これによって、ユーザにこの２つのクリップがクリップ２１４及びクリップ２１６と比較してどれくらいの時間であるかの感覚を与える。空間を広げることは、タイムライン内の２つのクリップ間の空間を漸進的に広くすることによって行うことができる。換言すれば、空間を広げることは、タイムライン内で隣接する２つのクリップを徐々に移動して離して、２つのクリップ間にプレビューシーケンスのビデオクリップの合計継続時間に対応する距離を形成することによって行うことができる。

図５Ｂは、ビデオのコンテキストのポップアップの実施例を示す。いくつかの実施構成によれば、ユーザに単数の又は複数のビデオクリップを挿入できるタイムラインの位置に関する追加のコンテキストを提供するために、ビデオのコンテキストのポップアップを表示することができる。例えば、ユーザがクリップ２１４とクリップ２１６の間にクリップ２０６及びクリップ２１０をドラッグし、クリップ２１４とクリップ２１６の間の位置にマウス又はカーソルを合わせると、ビデオのコンテキストのポップアップ５０２及び５０４を表示させることができる。いくつかの実施構成では、ビデオのコンテキストのポップアップは、タイムライン内の該当位置に隣接するビデオクリップの一部の拡大ビューを提供することができる。例えば、ビデオのコンテキストのポップアップは、タイムライン２１８内の各々のビデオクリップに対して表示されるサムネイル画像よりもさらに大きな形式でビデオクリップの一部を提示又は再生することができるウィンドウ、表示領域、又は他のユーザインタフェース要素とすることができる。更に、ビデオのコンテキストのポップアップは、タイムライン２１８の各々のビデオクリップを表すことができる静止画像の代わりに、タイムライン２１８のビデオクリップの一部のビデオ（動画など）を表示することができる。

いくつかの実施構成では、ビデオのコンテキストのポップアップは、所定時間だけタイムラインの該当位置にビデオクリップ２０６及び２１０を合わせた後に表示することができる。例えば、ビデオのコンテキストのポップアップは、ユーザが所定時間だけ（２秒など）タイムラインの該当位置にマウス、カーソル、及び／又はビデオクリップ２０６及び２１０を合わせた後に表示することができる。ビデオのコンテキストのポップアップの表示の遅延は、どこのビデオクリップを挿入すべきかが分かっており、ビデオのコンテキストのポップアップが提供するコンテキスト情報を望まない又は必要としないユーザへのビデオのコンテキストのポップアップが引き起こす妨害及び不快感を低下させることができる。

いくつかの実施構成では、ビデオのコンテキストのポップアップ５０２及び５０４は、ビデオクリップ２１４及び２１６の一部をそれぞれ表示することができる。例えば、ビデオのコンテキストのポップアップ５０２は、ビデオクリップ２１４の最後の５秒を表示することができる。ビデオのコンテキストのポップアップ５０４は、例えば、ビデオクリップ２１６の最初の５秒を表示することができる。いくつかの実施構成では、ユーザが隣接するビデオクリップを１つだけ含む所定の位置（タイムライン２１８のビデオクリップシーケンスの開始位置又は最終位置など）にマウス及び／又はビデオクリップ２０６及び２１０を合わせると、１つのビデオのコンテキストのポップアップだけを表示することができる。

いくつかの実施構成では、ビデオのコンテキストのポップアップに表示されるビデオクリップの一部はループすることができる。例えば、ユーザがタイムライン内の該当位置にビデオクリップ２０６及び２１０を挿入するまで、又はユーザがタイムライン内の別の位置にビデオクリップを移動するまで、又はビデオクリップの挿入動作又は移動動作をキャンセルするまで、ビデオクリップ２１４の最後の５秒（又は７秒、１０秒など）は、反復して連続して再生することができる。

いくつかの実施構成では、ビデオのコンテキストのポップアップに表示されるビデオクリップの一部は同時に表示又は再生することができる。例えば、ビデオのコンテキストのポップアップ５０２及び５０４は、ビデオクリップ２１４及び２１６の一部をそれぞれ同時に再生することができる。同時に表示されるビデオクリップ２１４及び２１６のそれぞれの部分はループすることができる。

いくつかの実施構成では、ユーザは、１つ又はそれ以上のビデオクリップを挿入することを望む単一のビデオクリップ内の位置を示すことができる。例えば、ユーザは、タイムライン２１８内のビデオクリップ２１２の中間位置にビデオクリップ２０６及び２１０を合わせて、ビデオクリップ２１２を分割させ、これによりビデオクリップ２１２をベースとした２つのビデオクリップを生成することができる。いくつかの実施構成では、ポップアップは、指示された位置に隣接するビデオクリップ２１２の一部を表示又は再生するビデオのコンテキストを提示することができる。例えば、ビデオクリップ２１２が３０秒の長さであり、ユーザが２０秒の位置を指示した場合、ビデオクリップ２１２の１５秒のところから開始し、２０秒のところで終了するビデオクリップセグメントに対応したビデオクリップ２１２の一部を表示する第１のビデオのコンテキストのポップアップを提示することができる。例えば、ビデオクリップ２１２の２０秒のところから開始し、２５秒のところで終了するビデオクリップの区分に対応したビデオクリップ２１２の一部を表示する第２のビデオのコンテキストのポップアップを提示することができる。

いくつかの実施構成では、ビデオのコンテキストのポップアップに表示されるビデオクリップの一部は、連続して表示又は再生することができる。いくつかの実施構成では、第１及び第２のビデオのコンテキストのポップアップによって表示される分割ビデオクリップ２１２の一部を連続して表示することができる。例えば、第１のビデオのコンテキストのポップアップは、最初にビデオクリップ２１２の一部を再生することができ、第２のビデオのコンテキストのポップアップは、第１のビデオのコンテキストのポップアップがビデオクリップ２１２の一部の再生した後に、ビデオクリップ２１２の一部を再生することができる。いくつかの実施構成では、ビデオクリップの一部の連続的な表示は、連続して交互になった様式でループすることができる。例えば、第１のビデオのコンテキストのポップアップがビデオクリップ２１２の一部を最初に再生し、次に、第２のビデオのコンテキストのポップアップがビデオクリップ２１２の一部を再生し、第２のビデオのコンテキストのポップアップの後に、再度、第１のビデオのコンテキストのポップアップがビデオクリップ２１２の一部を再生することができる。

いくつかの実施構成では、ビデオのコンテキストのポップアップで再生するビデオクリップの一部に関連する音声は、ビデオのコンテキストのポップアップの提示中には再生しないようにすることができる。例えば、２つのビデオのコンテキストのポップアップが表示され、ビデオのコンテキストのポップアップに表示されたそれぞれのビデオクリップの一部が同時に再生される場合、ビデオクリップの一部に対する音声を再生しないことが可能である。

いくつかの実施構成では、ビデオのコンテキストのポップアップに提示されるビデオクリップの一部に関連する音声を再生することができる。例えば、単一のビデオのコンテキストのポップアップが提示され、単一のビデオクリップの一部が再生される場合、単一のビデオクリップの一部に関連する音声を再生することができる。他の実施例として、２つのビデオのコンテキストのポップアップが提示され、ビデオのコンテキストのポップアップに関連するビデオクリップの一部が連続して又は同時に再生される場合、音声は、各々のビデオのコンテキストのポップアップに対して再生することができる。

いくつかの実施構成では、ビデオクリップの一部に対する音声は、ビデオのコンテキストのポップアップに関連するそれぞれの音声チャネルで再生される。例えば、第１のビデオのコンテキストのポップアップが左側に表示され、第２のビデオのコンテキストのポップアップが右側に表示される場合、第１のビデオのコンテキストのポップアップに対する音声を左の音声チャネル上で再生し、第２のビデオのコンテキストのポップアップに対する音声を右の音声チャネル上で再生することができる。例えば、左側のビデオのコンテキストのポップアップに表示されるビデオクリップの一部の音声チャネルの全ては、左の音声チャネルにミックスすることができ、右側のビデオのコンテキストのポップアップに表示されるビデオクリップの一部の音声チャネルの全ては、右の音声チャネルにミックスすることができる。従って、ユーザは、２つのビデオクリップの一部に対する音声が同時に再生されるとしても、それぞれの音声チャネルに基づいて、第１のビデオのコンテキストのポップアップ及び右側のビデオのコンテキストのポップアップに対する音声を識別することができる。いくつかの実施構成では、音声は、ユーザが音声を左右のクリップとそれぞれ関連付けできるように、左右の音声チャネルの間でパンすることができる。

いくつかの実施構成では、ビデオのコンテキストのポップアップに表示されるビデオは、タイムライン内の位置に隣接するビデオクリップの一部、及びタイムライン内の該当位置に挿入することができるビデオクリップの一部を含むことができる。例えば、ビデオクリップ２１４と２１６との間にビデオクリップ２０６及び２１０を置くと、ビデオのコンテキストのポップアップ５０２及び５０４を表示することができる。ビデオのコンテキストのポップアップ５０２は、ビデオクリップ２１４の最後の５秒とビデオクリップ２０６の最初の５秒とを表示することができ、これによって、ビデオクリップを連続して再生する場合にどのように見えるのかに関するプレビューが提供される。同様に、ビデオのコンテキストのポップアップ５０４は、ビデオクリップ２１０の最後の５秒及びビデオクリップ２１６の最初の５秒を表示することができ、ユーザはビデオクリップ２１０とビデオクリップ２１６との間の移行部をプレビューできる。

いくつかの実施構成では、ビデオのコンテキストのポップアップに表示されるビデオは、タイムライン内の位置に隣接するビデオクリップ（ビデオクリップ２１４など）と、タイムライン内の該当位置に挿入することができるビデオクリップ（ビデオクリップ２０６など）との間の移行のために選択される移行部のプレビューを含むことができる。例えば、移行部は、ビデオクリップ２１４とビデオクリップ２０６との間の移行に関して、ユーザによって又は自動的に選択することができる。選択された移行部は、例えばハードカット、フェード、クロスフェード、ディゾルブ、又は他の移行部とすることができる。ビデオクリップ２１４と２１６との間にビデオクリップ２０６及び２１０を置くと、ビデオのコンテキストのポップアップ５０２及び５０４を表示することができる。ビデオのコンテキストのポップアップ５０２は、ビデオクリップ２１４の最後の５秒、選択した移行部、及びビデオクリップ２０６の最初の５秒を表示することができ、これによって、連続して再生される際に、ビデオクリップ及び移行部がどのように見えるかに関するプレビューが提供される。同様に、ビデオのコンテキストのポップアップ５０４は、ビデオクリップ２１０の最後の５秒、選択した移行部、及びビデオクリップ２１６の最初の５秒を表示することができ、ユーザは、ビデオクリップ２１０とビデオクリップ２１６の間の移行部をプレビューすることができる。

図５Ｃは、タイムライン２１８内の新しい位置に選択されたビデオクリップを挿入する方法を示す。例えば、クリップ２０６及び２１０を含むプレビューシーケンス４００は、カーソル３００を用いてタイムライン２１８までドラッグし、クリップ２１４及びクリップ２１６の間にドロップすることができる。ドロップすると、クリップ２０６及び２１０は、タイムライン２１８内の以前の位置から、タイムライン２１８内のクリップ２１４とクリップ２１６の間の新しい位置へ移動することができる。従って、ユーザは、カーソル３００を使用して、タイムライン２１８に表示されるビデオクリップシーケンスのビデオクリップ２０４〜２１６の順序を変更するビデオ編集アプリケーションによって、ドラッグアンドドロップ動作が行われるようにすることができる。

図６は、ビデオクリップのフロッキングシステムの実施例のブロック図である。ビデオクリップのフロッキングシステムにより、ユーザは、システムで編集されたビデオクリップのシーケンスを修正するために、１つ又はそれ以上のビデオクリップに対応する画像を操作できる。システムは、ビデオクリップシーケンス６０２上で動作するように構成される。例えば、ビデオクリップシーケンス６０２は、単一のビデオからのビデオクリップを含むこと、又はユーザがこのシステムを用いて単一のビデオに組み合わせることを望む複数の異なるビデオからのビデオクリップを含むことができる。

ブロック６０４において、ビデオクリップシーケンスが表示される。例えば、ビデオクリップシーケンスは、ビデオ編集アプリケーションのユーザインタフェースにおいて図２のタイムライン２１８などのタイムライン上に表示することができる。タイムラインは、シーケンス内のビデオクリップの現在の順序を示すことができる。また、タイムラインは、各々のビデオクリップの継続時間及び／又はビデオクリップのシーケンスの継続時間を示すことができる。

ブロック６０６において、ビデオクリップの選択対象を受け取る。例えば、ユーザは、タイムラインに表示された１つ又はそれ以上のビデオクリップを選択することができる。クリップは、隣接するクリップとすること又は隣接しないクリップとすることができる。例えば、複数の隣接しないクリップを選択することができる。

ブロック６０８において、選択されたクリップがカーソルにフロックされる。フロッキングは、タイムラインから選択されたクリップのうちの１つをドラッグすることによって開始することができる。例えば、図４において、クリップ２０６及び２１０が選択され、クリップ２１０がタイムラインからドラッグされた場合に、クリップ２０６及び２１０は、カーソルの場所にフロックすることができる。クリップがタイムラインからドラッグされると、タイムラインは、クリップがドラッグされたタイムラインの場所に空きスペースを表示することができる。もしくは、タイムラインは、クリップがタイムラインからドラッグされた後でも、選択されたクリップの画像を表示し続けることができる。隣接しないクリップが選択される場合、各々のクリップは、タイムライン内のクリップのそれぞれの場所からカーソルの場所までそれぞれ異なる経路を辿ることができる。例えば、タイムライン内に各々のクリップを表す画像を表示することができる。複数の隣接しないクリップを選択し、カーソルを用いて表示部上の或る場所までドラッグすることができる。選択されたクリップの画像は、ドラッグすると、図４に示すように、それぞれの経路に沿ってカーソルの場所まで移動することができる。隣接するクリップがタイムラインから選択される場合、それらがタイムラインからカーソルの場所まで移動するように、隣接するクリップを単一のクリップとして処理することができる。

ブロック６１０において、選択されたクリップのプレビューシーケンスが表示される。例えば、選択されたクリップをカーソルの場所にフリックすると、選択されたクリップのプレビューシーケンスを表示することができる。プレビューシーケンスは、選択されたクリップがタイムライン内で表示される順序と同じそれぞれの順序で、選択されたクリップに対応する画像を表示することができる。プレビューシーケンスは、シーケンスが単一のクリップであるかのように、表示部の方々に移動することができる。例えば、ユーザは、カーソルを使用して表示部の方々にプレビューシーケンスを移動することができる。このようにプレビューシーケンスを操作できるようにすることで、プレビューシーケンス内のビデオクリップに対してドラッグアンドドロップ動作を実行できる。

ビデオクリップのプレビューシーケンスは、解除されるまで、カーソルで保持することができる。例えば、ユーザは、タイムラインから複数のクリップを選択し、マウスボタンをクリックして、押し下げたまま、タイムラインからクリップをドラッグすることができる。ユーザがマウスボタンを押し下げ続けている間、カーソルの場所においてプレビューシーケンスを表示し続けることができる。ユーザがタイムライン以外の場所でマウスボタンを解除した場合、又はユーザがキーボードのキー（Ｅｓｃ又はバックスペースキーなど）を押すことによってプレビューをキャンセルした場合、プレビューシーケンスが解除され、タイムラインを変更することなく、プレビューシーケンスのビデオクリップの画像をタイムラインに戻らせることができる。例えば、キャンセルイベントを受け取ると（例えば、プレビューがキャンセル又は解除されると）、逆フロッキング動画を実行することができ、ここでは、プレビューシーケンス内のビデオクリップ画像を表示又は動画化して、ビデオクリップのプレビューからタイムライン内の元の位置まで戻すことができる。プレビューシーケンスが解除されると、それぞれの経路に沿ってカーソルの場所からタイムラインまで戻る画像を表示することができる。画像がタイムラインに到着すると、ビデオクリップ画像は、ビデオクリップ画像がタイムラインからドラッグされた際に形成されたタイムライン内の空きスペースを占めることができる。

ブロック６１２において、タイムライン内のクリップのシーケンスの場所を受け取る。例えば、ユーザは、シーケンスがタイムライン内の或る場所に対する単一のクリップであるかのように、ビデオクリップのプレビューシーケンスを移動することができる。ユーザは、該当場所にプレビューシーケンスを置くことができる。例えば、ユーザは、タイムライン内の該当場所までプレビューシーケンスをドラッグする間にマウスボタンを押し下げたままとして、プレビューシーケンスが該当場所上に保持される間にマウスボタンを押し下げ続けることによって該当場所にプレビューシーケンスを置くことができる。タイムライン内の該当場所にプレビューシーケンス上を置く間に、タイムライン内の該当場所の近くのビデオクリップは、図５Ａで示すように、プレビューシーケンスのビデオクリップの合計継続時間に対応した幅を有するように、タイムライン内の空間を広げるために移動することができる。

ブロック６１４において、選択されたクリップはタイムライン内の該当場所へ移動される。例えば、プレビューシーケンス（選択されたクリップの画像シーケンス）は、タイムライン内の或る場所までドラッグし、その場所でタイムライン内にドロップする（マウスボタンを解放する）ことができる。プレビューシーケンスがタイムライン内の該当場所にドロップすることで、タイムライン内のドロップされた場所に選択されたクリップの画像を挿入できる。タイムライン内の該当場所にプレビューシーケンスをドロップすることにより、タイムライン内のビデオクリップのシーケンスを修正できる。タイムライン内の修正されたビデオクリップのシーケンスは、タイムライン内のビデオクリップのシーケンスの以前の場所からプレビューシーケンスがドロップされたタイムライン内の該当場所に対応するタイムライン内の新しい場所へ、選択されたビデオクリップを移動することによって生成することができる。従って、システムは、タイムライン内の修正された画像シーケンスを生成して表示することができ、修正された画像シーケンスに対応する修正されたビデオクリップのシーケンス６１６を生成することができる。

図７は、ビデオクリップのフロッキング処理の実施例のフロー図である。ステップ７０２において、ビデオクリップのシーケンスが表示される。例えば、ビデオクリップのシーケンスは、前記の図２及び図６の説明で開示された方法で表示することができる。

ブロック７０４において、ビデオクリップの選択対象を受け取る。例えば、ビデオクリップの選択対象を前記の図３及び図６の説明で開示された方法で受け取ることができる。

ステップ７０６において、選択されたビデオクリップはカーソルにフロックされる。例えば、選択されたビデオクリップを前記の図４及び図６の説明で開示された方法でカーソルにフロックすることができる。

ステップ７０８において、選択されたビデオクリップをシーケンスの新しい場所までドラッグする。例えば、前記の図５Ａ、図５Ｃ、及び図６の説明で開示された方法で、選択されたビデオクリップをシーケンスの新しい場所までドラッグすることができる。

ステップ７１０において、シーケンス内の選択されたビデオクリップの以前の場所からシーケンス内の新しい場所へ選択されたビデオクリップを移動する。例えば、前記の図５Ａ、図５Ｃ、及び図６のブロック６１４の説明で開示された方法で選択されたビデオクリップをシーケンス内に移動することができる。

図８は、ビデオのコンテキストのポップアップ処理の実施例のフロー図である。ステップ８０２において、第１のサイズを有するオブジェクトのシーケンスが表示される。例えば、ビデオクリップのシーケンス（図２のビデオクリップ２０４〜２１６など）は、コンピュータ装置で実行されるビデオクリップ編集アプリケーションのインタフェース（インタフェース１００など）上に表示することができる。ビデオクリップシーケンスは、ビデオクリップシーケンス内の各々のビデオクリップを表すサムネイル画像を含むことができる。いくつかの実施構成では、オブジェクトのシーケンスは、写真又は静止画像のシーケンスとすることができる。いくつかの実施構成では、オブジェクトのシーケンス内のオブジェクトは、特定の表示サイズを有することができる。

ステップ８０４において、オブジェクトのシーケンス内の位置を指示する入力を受け取る。例えば、ユーザは、ビデオクリップを挿入するか又は移動することができる、ビデオクリップのシーケンス内の位置を指示することができる。例えば、ユーザは、ビデオクリップシーケンスにビデオクリップを追加すること、及びビデオクリップを配置したいと思う位置を指示することを望む場合がある。ユーザは、ビデオクリップシーケンス内の所定の位置からビデオクリップシーケンス内の別の位置までビデオクリップを移動すること、及びユーザがビデオクリップを移動したいと思うシーケンス内の位置を指示することを望む場合がある。いくつかの実施構成では、ユーザは、表示されたビデオクリップシーケンス内の所定の位置にカーソル、マウスポインタ、又はビデオクリップを置くことで該当位置を指示することができる。

ステップ８０６において、指示された位置に隣接する１つ又はそれ以上のオブジェクトの拡大ビューが提示される。例えば、ユーザがビデオクリップシーケンス内の所定の位置を指示すると、タイムライン内の該当位置に隣接するビデオクリップを特定することができる。いくつかの実施構成では、１つの隣接するビデオクリップが存在する場合がある。例えば、指示された位置がビデオクリップシーケンスの開始又は終了位置であれば、指示された位置に隣接するビデオクリップは１つしか存在しない。いくつかの実施構成では、２つの隣接するビデオクリップが存在する場合がある。例えば、指示された位置がビデオクリップシーケンスの中間又はビデオクリップの中間に存在する場合、指示された位置には隣接する２つのビデオクリップが存在する。いくつかの実施構成では、ユーザは、単一のビデオクリップの中間の所定の位置を指示することができ、このビデオクリップを分割して２つのビデオクリップを生成して、他のビデオクリップを２つの生成されたビデオクリップの間に配置することができる。例えば、生成された２つのビデオクリップの一部をそれぞれのビデオのコンテキストのポップアップ内に表示することができる。

いくつかの実施構成によれば、各々の隣接するビデオクリップに関するビデオのコンテキストのポップアップを表示して、各々の隣接するビデオクリップの拡大ビューを提示することができる。例えば、ビデオクリップシーケンス内のビデオクリップは、１つ又はそれ以上の静止画像によって表わすことができる。１つ又はそれ以上の静止画像は、ユーザには見え難く、ビデオクリップシーケンス内の特定の位置を取り囲むビデオのコンテキストを確認するのを難しくする、小さなサイズである場合がある。特定の位置を取り囲むビデオのコンテキストは、ビデオクリップを表すために使用される静止画像は、隣接するビデオクリップを識別するのに（例えば、ユーザが、ビデオのコンテキストを適切に確認するためにいくつかのビデオフレーム又は短時間のビデオの視聴を必要とする場合に）十分なコンテキスト情報を提供できないという理由から、確認するのが難しい場合がある。

いくつかの実施構成では、ビデオクリップシーケンスで表示されるビデオクリップ画像よりも広いサイズを有する、隣接ビデオクリップの一部を表示することができる。例えば、ビデオクリップシーケンスに表示されるビデオクリップ画像よりも大きな寸法のウィンドウ又は表示領域は、ビデオ編集アプリケーションのユーザインタフェースに表示又はポップアップ表示することができる。いくつかの実施構成では、隣接ビデオクリップの一部は、をポップアップ表示される表示領域の大きな寸法に応じて表示できる。いくつかの実施構成では、隣接ビデオクリップは、図５Ｂを参照して前述した静止画像ではなく、動画（例えば、一連のフレーム、ビデオ）として表示される。いくつかの実施構成では、ビデオのコンテキストのポップアップは、隣接するビデオクリップの一部、挿入又は移動されるビデオクリップの一部、及び／又は隣接するビデオクリップと、挿入又は移動されるビデオクリップとの間で移行するために選択される移行部を表示することができる。

システムアーキテクチャの実施例
図９は、図１〜８の機能及び処理を実装するシステムアーキテクチャの実施例のブロック図である。アーキテクチャ９００は、限定されるものではないが、パーソナルコンピュータ、サーバ、スマートフォン、メディアプレーヤ、電子タブレット、ゲーム用コンソール、Ｅメールデバイス等を含む、コンパイルされた命令から生じるソフトウェアアプリケーションを実行する任意の電子デバイスによって実装されることができる。いくつかの実施構成では、アーキテクチャ９００は、１つ又はそれ以上のプロセッサ９０２、１つ又はそれ以上の入力デバイス９０４、１つ又はそれ以上の表示デバイス９０６、１つ又はそれ以上のネットワークインタフェース９０８、及び１つ又はそれ以上のコンピュータ可読媒体９１０を含むことができる。これらの構成要素の各々は、バス９１２によって接続することができる。

表示デバイス９０６は、限定されるものではないが、液晶ディスプレイ（ＬＣＤ）又は発光ダイオード（ＬＥＤ）技術を用いた表示デバイスを含む任意の公知のディスプレイ技術とすることができる。プロセッサ９０２は、限定されるものではないが、グラフィックプロセッサ及びマルチコアプロセッサを含む任意の公知のプロセッサ技術を用いることができる。入力デバイス９０４は、限定されるものではないが、キーボード（仮想キーボードを含む）、マウス、トラックボール、タッチセンサパッド、又はディスプレイを含む任意の公知の入力デバイス技術とすることができる。バス９１２は、限定されるものではないが、ＩＳＡ、ＥＩＳＡ、ＰＣＩ、ＰＣＩエクスプレス、ＮｕＢｕｓ、ＵＳＢ、シリアルＡＴＡ、又はＦｉｒｅＷｉｒｅを含む任意の公知の内部又は外部バス技術とすることができる。コンピュータ可読媒体９１０は、限定されるものではないが、不揮発性記憶媒体（例えば、光ディスク、磁気ディスク、フラッシュドライブ）又は揮発性媒体（例えば、ＳＤＲＡＭ、ＲＯＭ）を含む、実行のためにプロセッサ９０２に命令を提供することに関与する任意の媒体とすることができる。

コンピュータ可読媒体９１０は、オペレーティングシステム（ＭａｃＯＳ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ（登録商標）など）を実行するための種々の命令９１４を含むことはできる。オペレーティングシステムは、マルチユーザ、マルチプロセッシング、マルチタスク、マルチスレッド、リアルタイム等とすることができる。オペレーティングシステムは、限定されるものではないが、入力デバイス９０４からの入力を認識すること、表示デバイス９０６へ出力を送ること、コンピュータ可読媒体９１０上のファイル及びディレクトリを記録すること、直接又はＩ／Ｏコントローラを介して制御可能な周辺デバイス（例えば、ディスクドライブ、プリンタ）を制御すること、及びバス９１２上のトラフィックを管理すること、を含む基本タスクを行う。ネットワーク通信命令９１６は、ネットワーク接続（例えば、ＴＣＰ／ＩＰ、ＨＴＴＰ、イーサネット（登録商標）などの通信プロトコルを実装するためのソフトウェア）を確立して維持することができる。

グラフィック処理システム９１８は、グラフィック及び画像処理能力を提供する命令を含むことができる。例えば、グラフィック処理システム９１８は、図１〜図７を参照して説明したビデオのコンテキストのポップアップを実行することができる。

アプリケーション９２０は、画像処理アプリケーション、又は図１〜図７に関連して説明したビデオのコンテキストのポップアップを用いる写真エディタ又はビデオエディタなどの任意の他のアプリケーションとすることができる。ビデオのコンテキストのポップアップは、オペレーティングシステム９１４において実行することもできる。

説明した特徴は、データ記憶システムからデータ及び命令を受け取り、データ記憶システムへデータ及び命令を送信するように接続された少なくとも１つのプログラム可能なプロセッサと、少なくとも１つの入力デバイスと、少なくとも１つの出力デバイスとを含むプログラム可能なシステム上で実行することができる、１つ又はそれ以上のコンピュータプログラムにおいて好都合に実行することができる。コンピュータプログラムは、特定の動作を実行するか又は特定の結果をもたらすために、コンピュータにおいて直接的に又は間接的に使用することができる命令セットである。コンピュータプログラムは、コンパイル型言語又はインタラプタ型言語を含む任意の形式のプログラミング言語（例えば、オブジェクト指向Ｃ、Ｊａｖａ（登録商標））で書くことができ、スタンドアロンプログラムとしての展開、又はモジュール、構成要素、サブルーチン、又はコンピューティング環境での使用に適した他のユニットとしての形式を含む、任意の形式で展開することができる。

プログラム命令の実行に適切なプロセッサは、例示的に、任意の種類のコンピュータの、汎用マイクロプロセッサ及び専用マイクロプロセッサ、単一プロセッサ又はマルチプロセッサ又はコアのうちの１つを含む。一般に、プロセッサは、リードオンリメモリ又はランダムアクセスメモリ、又は双方から命令及びデータを受け取ることができる。コンピュータの本質的な構成要素は、命令を実行するためのプロセッサ、及び命令及びデータを記憶するための１つ又はそれ以上のメモリである。一般に、コンピュータは、データファイルを記憶するための１つ又はそれ以上の大容量記憶デバイスを含み、又はこれらと通信するために動作可能に結合される。このようなデバイスは、内部ハードディスク及び取り外し可能なディスク、磁気−光学ディスク、及び光ディスクなどの磁気ディスクを含む。コンピュータプログラム命令及びデータを具体化するのに適した記憶デバイスは、例示的に、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリ装置などの半導体記憶装置、内部ハードディスク及び取り外し可能なディスクなどの磁気ディスク、磁気−光学ディスク、並びにＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む全ての形式の不揮発性メモリを含む。プロセッサ及びメモリは、ＡＳＩＣ（特定用途向け集積回路）によって補完すること、又はこれに組み込むこともできる。

特徴は、ユーザとの相互作用を可能にするために、ユーザへ情報を表示するためのＣＲＴ（ブラウン管）、又はＬＣＤ（液晶表示部）モニタなどの表示デバイス、ユーザがコンピュータに入力を提供することができるキーボード、及びマウス又はトラックボールなどのポインティングデバイスを備えるコンピュータで実行することができる。

特徴は、データサーバなどのバックエンド構成要素を含み、アプリケーションサーバ又はインターネットサーバなどのミドルウェア構成要素を含み、グラフィックユーザインタフェース又はインターネットブラウザを有するクライアントコンピュータなどのフロントエンドコンポーネントを含み、又はこれらの任意の組み合わせを含むコンピュータシステムにおいて実行することができる。システムの構成要素は、通信ネットワークなどのデジタルデータ通信の任意の形式又媒体によって接続することができる。通信ネットワークの例は、ＬＡＮ、ＷＡＮ、及びインターネットを形成するコンピュータ及びネットワークなどを含む。

コンピュータシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般に、互いに離れており、通常、ネットワークを介して相互作用する。クライアントとサーバの関係は、それぞれのコンピュータにおいて動作し、相互にクライアントーサーバの関係を有するコンピュータプログラムによって生じる。

開示される実施形態の１つ又はそれ以上の特徴又はステップは、ＡＰＩを用いて実行することができる。ＡＰＩは、呼び出しアプリケーションと、サービスを提供する、データを提供する、若しくは動作又は計算を行う他のソフトウェアコード（オペレーティングシステム、ライブラリルーチン、関数など）との間で渡される１つ又はそれ以上のパラメータを定義することができる。

ＡＰＩは、ＡＰＩ仕様書において定義された呼び出し規定に基づくパラメータリスト又は他の構造を介して１つ又はそれ以上のパラメータを送受信するプログラムコード内の１つ又はそれ以上の呼び出しとして実行することができる。パラメータは、定数、キー、データ構造、オブジェクト、オブジェクトクラス、変数、データ型、ポインタ、配列、リスト、又は他の呼び出しとすることができる。ＡＰＩ呼び出し及びパラメータは、任意のプログラム言語で実行することができる。プログラム言語は、プログラマがＡＰＩをサポートする機能にアクセスするために採用するボキャブラリ及び飛び出し規定を定義することができる。

いくつかの実施構成において、ＡＰＩ呼び出しは、入力能力、出力能力、処理能力、電源能力、通信能力などのアプリケーションを実行するデバイスの能力をアプリケーションに報告することができる。

いくつかの実施構成が説明されている。しかしながら、様々な変更を行うことができることを理解されたい。例えば、他のステップを提供すること、又は説明したフロー図からステップを除去することができ、説明したシステムに他の構成要素を追加すること及び説明したシステムから他の構成要素を取り除くことができる。従って、他の実施構成は添付の請求項の範囲内にある。

１００：表示環境
１０２：画像
２００：制御要素
２０２：ユーザインタフェース要素
２０４〜２１６：ビデオクリップ
２１８：タイムライン
４００：プレビュー
５００：空間
５０２：ビデオのコンテキストのポップアップ
５０４：ビデオのコンテキストのポップアップ

Claims

コンピュータ装置のインタフェースに、各々が第１の表示サイズを有するオブジェクトのシーケンスを表示するためのデータを生成する段階と、
挿入オブジェクトの選択対象入力を受け取る段階と、
前記オブジェクトのシーケンス内の少なくとも１つのオブジェクトに隣接する位置を指示する挿入入力を受け取る段階と、
前記挿入入力に応答して、前記少なくとも１つのオブジェクトの少なくとも一部の拡大ビューを自動的に提示するために、コンテキストのポップアップを生成する段階と、
前記オブジェクトのシーケンス内の前記少なくとも１つのオブジェクトに隣接する前記コンテキストのポップアップにおいて、前記第１の表示サイズよりも大きい第２の表示サイズを有する前記拡大ビューを表示する段階と、
を含む編集方法。
前記オブジェクトのシーケンスが、ビデオクリップのシーケンスである、請求項１に記載の方法。
前記挿入入力によって指示される前記位置に対して、前記挿入オブジェクトの移行部を提示するための移行データを生成する段階を更に含む、請求項１に記載の方法。
第２のオブジェクトの少なくとも一部の第２のビューを提示するための第２のコンテキストのポップアップを生成する段階を更に含む、請求項１に記載の方法。
１つ又はそれ以上のプロセッサによって実行される場合に、前記プロセッサに、
コンピュータ装置のインタフェースに、各々が第１の表示サイズを有するオブジェクトのシーケンスを表示するためのデータを生成する段階と、
挿入オブジェクトの選択対象入力を受け取る段階と、
前記オブジェクトのシーケンス内の少なくとも１つのオブジェクトに隣接する位置を指示する挿入入力を受け取る段階と、
前記挿入入力に応答して、前記少なくとも１つのオブジェクトの少なくとも一部の拡大ビューを自動的に提示するために、コンテキストのポップアップを生成する段階と、
前記オブジェクトのシーケンス内の前記少なくとも１つのオブジェクトに隣接する前記コンテキストのポップアップにおいて、前記第１の表示サイズよりも大きい第２の表示サイズを有する前記拡大ビューを表示する段階と、
を含む方法を実行させる１つ又はそれ以上の命令セットを有する非一時的コンピュータ可読媒体。
前記オブジェクトのシーケンスは、ビデオクリップのシーケンスである、請求項５に記載の非一時的コンピュータ可読媒体。
前記命令が、
前記挿入オブジェクトと、前記オブジェクトのシーケンス内の前記少なくとも１つのオブジェクトの前記少なくとも一部のビューとの間の移行部を提示するための移行データを生成するための命令を含む、請求項５に記載の非一時的コンピュータ可読媒体。
前記命令が、
前記オブジェクトのシーケンス内の第２のオブジェクトに隣接する位置を指示する入力を受け取り、
前記第２の隣接オブジェクトの少なくとも一部の第２のビューを提示するためのデータを生成するための命令を含む、請求項５に記載の非一時的コンピュータ可読媒体。
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサによって実行される場合に、前記プロセッサが、
コンピュータ装置のインタフェースに、各々が第１の表示サイズを有するオブジェクトのシーケンスを表示するためのデータを生成する段階と、
挿入オブジェクトの選択対象入力を受け取る段階と、
前記オブジェクトのシーケンス内の少なくとも１つのオブジェクトに隣接する位置を指示する挿入入力を受け取る段階と、
前記挿入入力に応答して、前記少なくとも１つのオブジェクトの少なくとも一部の拡大ビューを自動的に提示するために、コンテキストのポップアップを生成する段階と、
前記オブジェクトのシーケンス内の前記少なくとも１つのオブジェクトに隣接する前記コンテキストのポップアップにおいて、前記第１の表示サイズよりも大きい第２の表示サイズを有する前記拡大ビューを表示する段階と、
を含む方法を実行させる命令を記憶するコンピュータ可読記憶媒体と、
を備えるシステム。
前記オブジェクトのシーケンスは、ビデオクリップのシーケンスである、請求項９に記載のシステム。
前記命令が、
前記挿入オブジェクトと、前記オブジェクトのシーケンス内の前記少なくとも１つのオブジェクトの前記少なくとも一部のビューとの間の移行部を提示するための移行データを生成するための命令を含む、請求項９に記載のシステム。
前記命令が、
第２のオブジェクトの少なくとも一部の第２のビューを提示するために第２のコンテキストのポップアップを生成するための命令を含む、請求項９に記載のシステム。
第２の挿入オブジェクトの第２の選択入力を受け取る段階と、
カーソルの場所へ前記挿入オブジェクト及び前記第２の挿入オブジェクトをフロッキングする段階と、
を更に含む、請求項１に記載の方法。
前記挿入オブジェクトの一部、前記第２の挿入オブジェクト、及び前記少なくとも１つのオブジェクトの一部を含む、コンテキスト的なプレビューを提示する段階を更に含む、請求項１３に記載の方法。
前記オブジェクトのシーケンスを表示するためのデータを生成する段階は、前記挿入入力に応答して、前記オブジェクトのシーケンスの空間を広げて、前記挿入オブジェクト及び前記第２の挿入オブジェクトを収容する段階を含む、請求項１３に記載の方法。
前記命令は、
第２の挿入オブジェクトの第２の選択入力を受け取り、
カーソルの場所へ前記挿入オブジェクト及び前記第２の挿入オブジェクトをフロッキングするための命令を含む、請求項５に記載の非一時的コンピュータ可読媒体。
前記命令は、
前記挿入オブジェクトの一部、前記第２の挿入オブジェクト、及び前記少なくとも１つのオブジェクトの一部を含む、コンテキスト的なプレビューを提示するための命令を含む、請求項１６に記載の非一時的コンピュータ可読媒体。
前記オブジェクトのシーケンスを表示するためのデータを生成する段階は、前記挿入入力に応答して、前記オブジェクトのシーケンス内の空間を広げて、前記挿入オブジェクト及び前記第２の挿入オブジェクトを収容する段階を含む、請求項１６に記載の非一時的コンピュータ可読媒体。
前記命令は、
第２の挿入オブジェクトの第２の選択入力を受け取り、
カーソルの場所へ前記挿入オブジェクト及び前記第２の挿入オブジェクトをフロッキングするための命令を含む、請求項９に記載のシステム。
前記命令は、
前記挿入オブジェクトの一部、前記第２の挿入オブジェクト、及び前記少なくとも１つのオブジェクトの一部を含む、コンテキスト的なプレビューを提示するための命令を含む、請求項１９に記載のシステム。
前記オブジェクトのシーケンスを表示するためのデータを生成する段階は、前記挿入入力に応答して、前記オブジェクトのシーケンス内の空間を広げて、前記挿入オブジェクト及び前記第２の挿入オブジェクトを収容する段階を含む、請求項１９に記載のシステム。