JP5868044B2 - 情報処理装置及びその制御方法、プログラム、コンピュータが読み取り可能なプログラム記憶媒体 - Google Patents

Description

本発明は、動画などを表すファイルを編集する装置、及びその方法に関するものである。

従来、動画の編集において、その動画を構成する静止画群を時間軸に沿って表示させ、「編集点」や「分割点」といわれるポイントを指定することが知られている。例えば、ユーザは、その動画の一部を取り出したい場合に、その開始点および終了点となるポイントを指定する。特許文献１では、複数の部分動画の時間長が視覚的に理解できるように、動画を立体的に表示させ、動画の時間長をその立体の奥行きに対応させるように表示している。

特開平１０−１９１２４８号公報

特許文献１は、ディスプレイ上に表示された映像の音声信号の波形に対して、マウス等のポインティング・デバイスによって編集ポイントを指示・入力するものであり、ユーザにとっては簡易かつ直感的な編集が難しかった。
本発明は上記課題に鑑みてなされたものであり、動画の時間長を視覚的に理解できるとともに、その動画の編集作業を、より直感的な操作で行えるようにすることを目的とする。

上記課題を解決するために、請求項１に記載の発明は、表示面に、動画像を構成する各フレームと、前記動画像の再生時間を示す時間軸とで、前記表示面から垂直または略垂直な方向に飛び出すように、前記表示面に立体的に表現されるオブジェクトを表示させる表示制御手段と、前記オブジェクトを表示させた状態で、前記表示面に近接した操作者の指により、前記時間軸における点が指定されたことを検知する検知手段とを備え、前記表示制御手段は、前記表示面に、一部のフレームを表す静止画の一覧として表示させた複数の動画像のうち、前記検知手段によって操作者の指が近接したことが検知された動画像を、前記表示面から垂直または略垂直な方向に飛び出すように立体的に表現されるオブジェクトとして表示させ、さらに、前記オブジェクトが表す動画像の再生時間の時間軸上で前記検知手段により検知された２点に挟まれた部分の動画像を示す別のオブジェクトを、前記表示面から垂直または略垂直な方向に飛び出すように、かつ、前記オブジェクトよりも前記操作者の指側に存在するように表示させると共に、前記操作者の指の移動に合わせて移動させる。

本発明によれば、限られた表示スペースの中で、複数の動画の中で特に所望とする動画に関して、時間長を視覚的に理解できるとともに、その動画の一部を抽出する編集作業を、より直感的な操作で行えるようにすることができる。

装置の構成を示すブロック図 映像ファイルから一部を取り出す編集処理のフローチャート 映像クリップを他の映像ファイルに挿入する編集処理のフローチャート 映像編集作業の際の画面遷移の一例を示した図 映像編集作業後の画面表示の一例を示した図 映像クリップを他の映像ファイルに挿入する様子を示す図 映像クリップを他の映像ファイルに挿入する様子を示す図

以下、図面を参照しながら本発明の好適な実施例について説明する。

図１（ａ）は、本発明の情報処理装置の機能構成を示すブロック図である。
表示制御部１０１は、検知部１０４が検知した情報、記憶部１０３から読みだされた動画像（以下、映像ファイルと呼ぶ）、及び画像生成部１０２により生成された画像を基に、表示部１０５の表示内容を制御する。初期画面では、各映像ファイルの開始点であるフレームに相当する静止画（以下、サムネイル画像と呼ぶ）を表示する。画像生成部１０２は、各映像ファイルを、サムネイル画像と、時間軸とで立体的に表現されるオブジェクト（以下、立体オブジェクトと呼ぶ）として表示するための画像を生成する。検知部１０４は表示部１０５と一体に構成され、ユーザが表示される内容に対して指示・入力操作を行ったことを検知することができる。更に検知部１０４は、ユーザが入力した表示部１０５上での位置情報を検知する。

図１（ｃ）は、本発明の一例である情報処理装置のハードウェア構成を示す構成図である。

ＣＰＵ１１１は、システムバス１１７を介して接続する各デバイスを総括的に制御する。ＣＰＵ１１１は、読み出し専用メモリ（ＲＯＭ）１１３もしくはハードディスク（ＨＤ）１１６に記憶された、または外部メモリなどの記憶媒体から読み出された処理ステップやプログラムを読み出して実行する。同様に、ＣＰＵ１１１は、図２、図３のフローチャートに示された工程を実行でき、表示制御部１０１、画像生成部１０２として機能する。その際、ランダムアクセスメモリ（ＲＡＭ）１１２は高速にアクセス可能なＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ここで、ＨＤ１１６は、映像ファイルなどのデータファイルや、オペレーティングシステム、アプリケーションなどにおける、処理ステップを格納する。ＣＰＵ１１１が、処理ステップやプログラムに従って新たなデータファイルを生成した場合はＨＤ１１６や図示していない外部メモリなどの記憶デバイスに格納される。

検知部１０４は、タッチパネル１１４等から構成される。また、表示部１０５は、ディスプレイ１１５等から構成される。タッチパネル１１４では、１箇所のタッチや複数箇所のタッチ、ドラッグ（タッチしたまま指でずらす操作）、フリック（タッチした指を高速にはじく操作）の検出を行う。さらに、本実施形態で用いるタッチパネル１１４では、パネル上に物体（ユーザの手指など）が触れているか否かにかかわらず、パネルに近接した物体の位置を検出できるものとする。この近接検知には、静電容量の変化を利用するもの、超音波や音波の反射を利用するものなどが利用可能である。例えば、静電容量の変化を利用するものは、指先と導電膜、静電容量測定計と地面を含む周辺環境との間で形成される回路の静電容量を静電容量測定計により測定し、指先と導電膜との距離およびパネル面上の位置を算出するものである。

本実施形態においては、ディスプレイ１１５上にタッチパネル１１４が密着して構成され、一体となったタッチパネルディスプレイを検知部１０４及び表示部１０５として用いる。

以下、図を参照しながら、情報処理装置の具体的な動作例を説明する。

＜第１の実施形態＞
図２のフローチャートに従って、第１の実施形態による、情報処理装置における映像ファイルから一部を取り出す編集処理を説明する。

まず、ステップＳ２０１において、初期画面を表示する。初期画面では、表示制御部１０１は、記憶部１０３より映像ファイルを読みだし、サムネイル画像を表示部１０５上に表示する。図４の画面４０１は、初期画面の一例である。ここでは、８つの映像ファイルが記憶部１０３から読みだされ、サムネイル画像として表示されている。ただし、ここでは編集候補である８つの映像ファイルのサムネイル画像が表示されているが、映像ファイルの全てが読み出される必要は無い。すなわち、編集候補である映像ファイルは記憶部１０３に保持したまま、編集指示のためのグラフィックユーザインタフェースとしてサムネイル画像４０１１が画面上に表示されても構わない。なお、これらのサムネイル画像は各映像ファイルの開始点であるフレームの静止画を表示してするものとする。

次に、ステップＳ２０２では、編集作業の対象となる映像ファイルのサムネイル画像を、その時間軸に相当する奥行きを有する立体オブジェクトとして表示する。例えば、映像ファイルを直方体のオブジェクトとして表示する場合には、６面のうちの一面にサムネイル画像を表示し、その面から見た奥行き方向を時間軸として認識させる。

本実施形態では、検知部１０４が、ユーザの手指がある映像ファイルに対応するサムネイル画像４０１１に近接した場合に、その映像ファイルが編集対象として指定されたと認識し、そのサムネイル画像４０１１を立体オブジェクトとして表示する。なお、上記検知部１０４が、近接検知を行わないタッチパネルを適用している場合には、ユーザがサムネイル画像をタッチしたことに応じて立体オブジェクトを表示するようにしても良い。画像生成部１０２は、上記立体オブジェクトを示す画像を生成し、表示部１０５は上記画像を表示する。図４の画面４０２は、初期画面４０１のサムネイル画像４０１１にユーザのタッチ、またはユーザの手指の近接を検知したことに応じて、立体オブジェクト４０２１を表示した際の様子を示す画面である。

なお本実施例では、画面４０２に示すように手指が何かをつまむように接した状態で、画面にタッチまたは近接することを想定して説明する。これは、後段の処理において、何かをつまんだような形状から指を広げる必要があるからである。従って、もし１本の指でタッチまたは近接した場合には、その次の手指の動きが不適合な動きになるため、それを検知部が検知した時点で、後段の一連の動作はキャンセルされることになる。

図４において、立体オブジェクト４０２１は、遠近法を用いた透視投影図法によって、画面に対し手前方向に、垂直または略垂直に飛び出したように表示されている。編集の対象となるサムネイル画像が手前に飛び出す立体として表示されることから、ユーザは立体オブジェクトを「つまんで操作できる」という視覚的な感覚を得ることができる。本実施形態では、サムネイル画像が有する奥行き４０２２は、時間軸方向として認識させるものであるが、ここでは動画の長さ（フレーム数）に関わらず一定の長さＬで表示されるものとする。

この長さＬは、ディスプレイ１１５の大きさと、表示されているサムネイル画像の数に基づいて表示制御部１０１が定めた長さとする。なお、映像ファイル全体の時間長に関わらず長さＬが同じであることから、時間長が他の映像ファイルの長さＬに対応する時間軸の縮尺率も異なる。例えば、１時間の映像ファイルも３０分の映像ファイルも奥行の長さはＬであるから、立体オブジェクトで表現された各ファイルの時間軸における縮尺率は２：１となっている。以上によれば、時間長の短い映像ファイルの立体オブジェクトに対しても長さＬの範囲で手指を用いたタッチ操作の編集ができる。

なお、画像生成部１０２が立体オブジェクトを示す画像を生成する際の表現は、透視投影によるものに限らず、三次元立体を表現できる方法であればよく、例えば平行投影図法を用いてもよい。

なお、上記説明においては、立体オブジェクトの正面にサムネイル画像を配置し、奥行き方向に時間軸を表示していたが、本発明はこれに限らない。例えば、細かいフレーム単位での編集をしたい場合には、軸を長めに表示できない奥行き方向に時間軸を与えるのではなく、画面の縦または横方向に時間軸が表示されるように、適宜、立体オブジェクトを回転させることができる。もし、これを行いたい場合には、回転指示に相当する追加コマンドをユーザから検知部１０４に入力させれば良い。また、その回転指示に基づく新しい表示状態を元に戻す場合にも、追加コマンドを検知部１０４に入力すれば良いだろう。

ステップＳ２０３において、表示制御部１０１は、検知部１０４によってユーザによる立体オブジェクト４０２１への第１の位置の指定が検知されたかどうかを確認する。ここで第１の位置は、サムネイル画像４０１１が立体オブジェクト４０２１として表示されてから初めてなされたタッチ位置であるとする。また手指の形状は、上述したように、何かをつまんだように接した状態であることが前提である。第１の位置の指定があった場合にはステップＳ２０４へ進み、無かった場合はタッチが検知されるまで待機する。また手指が何かをつまんだように接してはいない状態で画面にタッチ、近接した等の、第１の位置の指定に該当しない状態だったことを検知した場合にも、上記待機状態に戻ることとする。

ステップＳ２０４では、表示制御部１０１が、立体オブジェクト４０２１の奥行き４０２２において、検知部１０４によって検知された第１の位置に対応する時間を特定し、その時間に対応する映像ファイル中の静止画（サムネイル画像）を表示する。図４の画面４０３は、立体オブジェクト４０２１に第１の位置の指定がなされた様子を示している。静止画４０３３は、立体オブジェクト４０２１に対応する映像ファイルの１フレームをサムネイル画像として表示する。この１フレームに該当する映像ファイル中の時間的な位置、または画面中の静止画４０３３の空間的な位置をユーザが指定した第１の位置であるとする。奥行き４０２２の長さＬに対する、開始点から第１の位置までの長さＬｔの割合が、立体オブジェクト４０２１に対応する映像ファイルの時間長に対する、静止画４０３３に相当するフレームが再生されるまでの経過時間の割合に等しい。ここで、ユーザは、タッチしてからタッチ点を上下にスライドさせることで、最初に表示された１フレームの前後の１フレームを順次見て行くことが可能である。

次に、ステップＳ２０５において、表示制御部１０１は、検知部１０４によってユーザによる立体オブジェクト４０２１への第２の位置の指定が検知されたかどうかを確認する。ここで第２の位置は、第１の位置を指定するタッチが保持されたまま、第１の位置とは異なる位置に新たになされたタッチの位置である。上述したように、第２の位置を指定するためには、手指の形状として「何かをつまんだように接した状態」から「一部の指が他の指から遠ざかった状態」に変化させる必要がある。具体例をあげれば、他の指の位置が第１の位置であるとすると、一部の指が遠ざかった先に該当するのが第２の位置であると考えることができるだろう。第２の位置の指定があった場合はステップＳ２０８に進み、無かった場合はステップＳ２０６に進む。

ステップＳ２０６では、第１の位置が変更されたかどうかを確認する。上述したように、ユーザは、タッチしてからタッチ点を上下にスライドさせることで、最初に第１の位置に対応する静止画として表示されたフレームの前後の１フレームを順次見て行くことができる。従って、ユーザは、所望するフレームを捜すために第１の位置を変更する。第１の位置が変更された場合はステップＳ２０７に進み、変更されていない場合は、ステップＳ２０５に戻り待機する。ステップＳ２０７では、変更された第１の位置に対応する時間の静止画を新たに表示し、ステップＳ２０５に戻る。

ステップＳ２０８では、表示制御部１０１が、立体オブジェクト４０２１の奥行き４０２２において、検知部１０４によって検知された第２の位置に対応する時間を特定し、その時間に対応する静止画を表示する。図４の画面４０４は、第２の位置がなされ、対応する静止画４０４４が表示された様子である。第１の位置同様、ユーザは、タッチしてからタッチ点を上下にスライドさせることで、最初に第２の位置に対応する静止画が表示された１フレームの前後の１フレームを順次見て行くことが可能となっている。

ステップＳ２０９では、第１または第２の位置がスライドによって変更されたかどうかを確認する。ユーザは、立体オブジェクト４０２１に対応する映像ファイルから取り出したい映像クリップの開始点及び終了点となるフレームを捜すため、第１及び第２の位置を変更することができる。ここでタッチ位置が変更された場合は、ステップＳ２１０に進み、変更されなかった場合はステップＳ２１１に進む。ステップＳ２１０では、新たなタッチ位置に対応する静止画を表示して、ステップＳ２１１に進む。

ステップＳ２１１では、第１及び第２の位置が確定されたかを確認する。本実施形態では、第１および第２の位置を指定するタッチが略同時に解放される操作によって、その位置が確定される。すなわち、検知部１０４が、ユーザの手指が略同時にタッチパネル１１４から離されたことを検知することで、第１及び第２の位置が確定されたと判断する。手指をタッチパネルから離し、近接が検知される範囲に保持することによって、ユーザは、立体オブジェクトからタッチした部分を取り出す際に「つまみ出す」という感覚を得ることができる。なお、第１及び第２の位置を確定する操作はこれに限られない。例えば、両タッチの間隔を保持した状態で、略同時に所定の方向にフリック又はドラッグする、または新たな手指を用いて画面の任意の位置をタップ（軽く叩く操作）する構成にすることも可能である。この場合は、近接検知を行うセンサが構成されていないタッチパネルディスプレイであっても、立体オブジェクトを「つまみ出す」という感覚を表現することが可能である。第１及び第２の位置が確定された場合は、ステップＳ２１２に進み、確定されなければステップＳ２１３に進む。

ステップＳ２１２において、画像生成部１０２は、第１及び第２の位置に挟まれた部分に対応する映像のサムネイル画像を、その時間軸に相当する奥行きを有するサムネイル画像として生成する。そして、表示制御部１０１によって、取り出した映像クリップに対応する立体オブジェクトが表示される。

図４の画面４０５は、第１及び第２の位置に挟まれた部分である立体オブジェクト４０５１が表示され、持ち上げるようにして移動された様子を示している。ここで立体オブジェクト４０５１は、第１の位置を開始点とし、第２の位置を終了点とする映像クリップに対応する。従って、サムネイル画像としては静止画４０３３が表示され、その奥行きは、開始点から終了点までの長さすなわち第１及び第２の位置に挟まれた部分に対応する映像クリップの時間長に対応している。取り出された映像クリップを立体オブジェクトとして表示したら、ステップＳ２１４に進み、取り出した映像クリップに対する編集作業を待つ。

本実施形態では、このとき、取り出された映像クリップは、元のサムネイル画像４０１１に対応する映像ファイルの一部をコピーしており、元の映像ファイル自体に切り取りや削除などの変更は生じていないものとする。例えば、第１の位置が立体オブジェクト４０２１の開始点であり、第２の位置が終了点であった場合には、映像ファイル全体をコピーしたことになる。なお、映像ファイルの一部をコピーするか、切り取るかを選択可能としても構わない。更に、元の映像ファイルから切り取る場合には、立体オブジェクト４０５１は元のファイルの立体オブジェクトから切り離され、元のファイルの立体オブジェクトは前後に分割されるように表示することもできる。

ステップＳ２１３では、終了操作がなされたかを確認する。終了操作とは、映像クリップの取り出しを中止して、編集作業を終わらせるための操作である。例えば、第１及び第２の位置を指定する手指を順次タッチパネルから離したり、再び接するように手指が狭められた後、離したりするなどの操作を、終了操作に該当させることができる。このような所定の操作があった場合は、本発明の情報処理装置は、第１及び第２の位置に挟まれた部分の映像クリップを取り出すことなく処理を終了する。終了操作が無い場合は、ステップＳ２０９に戻る。

以上が、第１の実施形態による、情報処理装置における映像ファイルから一部を取り出す編集処理である。ここで、なお、たとえば、第１の位置の指定があった後（ステップＳ２０４）第２の位置の指定がされることなく第１の位置が解除されたときは、第１の位置指定がされる前の処理段階（ステップＳ２０３）に戻ることとなる。それぞれのステップでこのような「取り消し操作」が存在するが、煩雑を避けるためフローチャートでの記載は省略する。

次に、図３のフローチャートに従って、第１の実施形態による、取り出した映像クリップを映像ファイルに挿入する編集処理を説明する。

図２のフローチャートにおけるステップＳ２１４から、ステップＳ３０１に進む。ステップＳ３０１では、取り出された映像クリップである立体オブジェクトが移動されたかを確認する。本実施形態では、図２のステップＳ２１１において、ユーザによる第１及び第２の位置を指定するタッチが略同時に解放されたことにより、第１及び第２の位置に挟まれた部分の立体オブジェクトが表示されている。この時、タッチパネルから離された手指が、パネルの近接検知が可能である範囲内で動かされたことを検知部１０４が検知することで、立体オブジェクトが移動されたと判断する。なお、近接検知を行うセンサが構成されていないタッチパネルディスプレイであれば、立体オブジェクトを「つまみ出した」第１及び第２の指をそのままドラッグする操作によって移動操作が可能である。あるいは一度タッチパネルから手指が離れた後、取り出された立体オブジェクトを改めて一または複数のタッチ操作によって指定し、ドラッグすることによって移動できるようにすることもできる。次に、立体オブジェクトが、移動された場合は、ステップＳ３０２に進み、移動されなければステップＳ３１４に進む。

ステップＳ３０２では、立体オブジェクトが移動された先が、映像ファイルのサムネイル画像上であるかどうかを確認する。ここでの映像ファイルとは、ユーザが映像クリップを挿入しようとする映像ファイルである。ここでは、ステップＳ２０２と同様、検知部１０４が、ユーザの手指がサムネイル画像に近接したことを検知したのに応じ、映像ファイルのサムネイル画像を立体オブジェクトとして表示する。画像生成部１０２により、対象となる映像ファイルのサムネイル画像を一定の奥行きを有する立体オブジェクトを示す画像が生成され、表示部１０５上に表示される。当該奥行きは、映像ファイルの時間長に対応する。近接検知を行わない場合には、サムネイル画像がタッチされたこと、あるいはドラッグ操作によるタッチ位置が近づいてきたことを検知して、サムネイル画像を立体オブジェクトとして表示する。映像ファイルの上に移動された場合、ステップＳ３０３に進む。映像ファイルのサムネイル画像上ではない場合、ステップＳ３０６に進む。図４の例では、画面４０５におけるサムネイル画像４０５２の上に、立体オブジェクト４０５１を移動させるものとして説明していく。

次に、ステップＳ３０３では、移動された立体オブジェクトが、移動により重ねられた映像ファイルに挿入された場合の、時間軸の縮尺率の変化を表す画像を表示する。この点については、詳細を後述する。

ステップＳ３０４では、映像クリップを挿入する映像ファイルが確定したものとして、移動された立体オブジェクトを半透明に表示する。続くステップＳ３０５では、第３の位置に対応する静止画を表示する。図４の画面４０６では、サムネイル画像４０５２の映像ファイルが立体オブジェクト４０６２として表示されている。ここで、立体オブジェクトは後述されるように、移動された立体オブジェクトが挿入された場合を時間軸の縮尺率の変化を表す画像を含んでいる。移動された立体オブジェクト４０６１は、立体オブジェクト４０６２に重ねられることによって、半透明に表示されている。これによって、ユーザは、立体オブジェクト４０６１越しに立体オブジェクト４０６２に注目しながら、編集作業を行う事が出来る。また、静止画４０６３は、立体オブジェクト４０６２の時間長に対応する奥行きにおいて、ユーザによる第３の位置に対応する時間のフレームを表示した静止画である。

ここで第３の位置とは、移動された立体オブジェクト４０６１に対応する映像クリップを挿入する位置を指定するものである。本実施形態では、立体オブジェクト４０６１を移動させてきた手指のうち、映像クリップの開始点に相当する手指（画面４０６では親指）が近接する位置を検知部１０４が検知し、第３の位置とする。検知部１０４であるタッチパネル１１４が、近接検知を行わない場合は、タッチ操作によって指定することができる。第１及び第２の位置同様、ユーザは、指定位置を示す手指を上下に動かすことで、最初に表示された１フレームの前後の１フレームを順次見て行くことが可能となっている。本実施形態では、第３の位置に対応する静止画４０４３は１枚のみを表示している。この場合、映像クリップは、静止画４０４３に相当するフレームの前に挿入されることを想定しているが、映像クリップが挿入される前のフレームとなる静止画を表示することも、前後に当たる２枚の静止画を表示することもできる。

次に、ステップＳ３０６では、第３の位置が確定されたかどうかを確認する。本実施形態では、ユーザが、タッチパネル１１４に近接させていた手指で画面をタッチしたことを検知することで、第３の位置が確定されたと判断する。タッチパネル１１４から離して浮かせた手指を、再びタッチパネルにタッチすることで、ユーザは「つまみ出した立体オブジェクトを再び置く」という感覚で編集操作を行う事が出来る。なお、第３の位置を確定する操作はこれに限られない。例えば、近接検知を行わないタッチパネル１１４で、立体オブジェクトの移動をドラッグ操作で行っていた場合には、新たな手指を用いて画面の任意の位置をタップ（軽く叩く操作）することで、第３の位置の確定を示すことができる。第３の位置が確定した場合は、ステップＳ３０７に進み、確定されなければステップＳ３０９に進む。

ステップＳ３０９では、第３の位置が変更されたかを確認する。上述したように、ユーザは、指定位置を示す手指を上下に動かすことで、最初に表示された１フレームの前後の１フレームを順次見て行くことができる。従って、ユーザは、映像クリップを挿入する位置を捜すために第３の位置を変更することができる。第３の位置が変更された場合はステップＳ３０８に進み、変更されていない場合は、ステップＳ３０６に戻る。ステップＳ３０８では、変更された第１の位置に対応する時間の静止画を新たに表示し、ステップＳ３０６に戻る。図４の画面４０７は、第３の位置が変更され、新たな静止画４０７３が表示された様子を示している。

ステップＳ３０７において、確定された第３の位置に映像クリップを挿入した編集映像の映像ファイルが生成される。本実施形態では、編集映像のファイルは元の映像ファイルに上書き保存されるが、別のファイルとして新規に保存するようにしても構わない。更に画像生成部１０２は、生成された映像ファイルのサムネイル画像を映像ファイルの時間軸に相当する奥行きを有する立体オブジェクトとして生成する。表示制御部１０１によって、生成された映像に対応する立体オブジェクトが表示され、処理は終了する。図４の画面４０８は、生成された映像の立体オブジェクト４０８２が表示されている様子を示している。

ステップＳ３１０に進んでいた場合は、立体オブジェクトが移動された先が、映像ファイルに対応するサムネイル画像がない領域であるかどうかを確認する。サムネイル画像がない領域であった場合はステップＳ３１１に進み、そうではない場合、ステップＳ３０２に戻る。

ステップＳ３１１では、移動された立体オブジェクトを当該領域に配置した場合の時間軸の縮尺率の変化を表す画像を表示する。この点については詳細を後述する。

続くステップＳ３１２では、立体オブジェクトを配置することが確定したかを確認し、確定すればステップＳ３１３に進み、確定しなければステップＳ３０２に戻る。ここで、配置することを確定する操作は、第３の位置の確定と同様、立体オブジェクトを移動させてきた手指でタッチパネル１１４をタッチすることによって行われる。

ステップＳ３１３では、移動された立体オブジェクトに対応する映像クリップを、新たな映像ファイルとして生成する。更に画像生成部１０２は、生成された映像ファイルのサムネイル画像を映像ファイルの時間軸に相当する奥行きを有する立体オブジェクトとして生成する。表示制御部１０１によって、生成された映像ファイルに対応する立体オブジェクトが表示され、処理は終了する。

ステップＳ３１４に進んでいた場合は、終了操作があったかを確認する。終了操作とは、映像クリップの挿入を中止して、編集作業を終わらせるための操作である。例えば、ユーザが、タッチパネル１１４が近接検知できる範囲の外まで手指を離す、第１及び第２の位置に対応していた手指の間隔を接するまで狭める、などを終了操作に該当させることができる。このような所定の操作があった場合は、本発明の情報処理装置は、新たな映像ファイルを生成することなく処理を終了する。終了操作が無い場合は、ステップＳ３０１に戻る。フローチャートに従った処理の途中においても、終了操作がなされた場合には同様の終了判断を行うが、煩雑を避けるため図示を省略する。

図５の画面４０９は、ステップＳ３０７において映像ファイルが生成され、編集された映像に対応する立体オブジェクトが表示された後、処理が終了したことによって遷移した画面である。チェックマーク４０９１は、映像ファイルに編集が加えられたことを示すチェックマークである。本実施形態では、映像クリップが挿入され新たに生成された映像ファイルは、元のファイルに上書き保存されているため、サムネイル画像の数には変化がない。従って、初期画面４０１の時点に対して、変化があったことをユーザが確認しやすいようにチェックマーク４０９１を表示している。本実施形態では、映像クリップを取りだした元の映像ファイルには変更を加えていないので、サムネイル画像４０１１にはチェックマークは表示されていないが、編集に用いたことを示す表示を別途加えてもよい。情報処理装置を次回起動したときの初期画面は、画面４０１に戻るようにすれば、起動の度に、その時行った編集の結果を確認しやすい。あるいは、編集の履歴を管理することにより起動し直した際にもチェックマーク４０９１を再表示して、編集の経過を確認できるようにしてもよい。

ここで、ステップＳ３０３及びステップＳ３１１において表示する、時間軸の縮尺率の変化を表す画像について図６、図７を用いて詳述する。この画像は、映像クリップを他の映像ファイルに挿入した結果を視覚的に表示することで、編集作業を感覚的にイメージし易くするものである。図６では、図４における画面４０５から画面４０８への遷移をより細かく説明するため、編集に関与する立体オブジェクトのみを平行投影図法によって表示している。ここでは、編集に関与しないサムネイル画像及びユーザの手指を省略し、図４と共通する要素については同一の符号を付している。

図６（ａ）は、立体オブジェクト４０５１を他のサムネイルの表示領域に少し近づけるように移動させたことにより、他のサムネイル画像が奥行きを有する立体オブジェクト４０６２として表示された様子を示している（ステップＳ３０２）。ここで、立体オブジェクト４０６２の奥行きの長さＬは、上述したとおり、立体オブジェクト４０６２に対応する映像ファイルの時間長にかかわらず一定の長さである。

図６（ｂ）〜図６（ｃ）は、立体オブジェクト（映像クリップ）４０５１が図６（ａ）に示す立体オブジェクト４０６２（または、その時間軸上の何れかの位置）に近づけるように移動させたことにより表示状態が変更していく過程を示している。ここでは、立体オブジェクト（映像クリップ）４０５１が立体オブジェクト（映像ファイル）４０６２に挿入された場合の２つの動画の時間長の内訳比率がわかる画像６０１が表示される（ステップＳ３０３）。

例えば映像クリップ４０５１が３分間の映像クリップだった場合で、映像ファイル４０６２が５分間の映像ファイルだった場合には、立体オブジェクト４０６２の奥行全体に対して、３分／（３分＋５分）＝３７．５％が、オブジェクト６０１として色分け表示される。ただし、ここではオブジェクト６０１が、「映像クリップが挿入された場合の時間領域であること」をユーザに明示するため、アニメーション表示にすることが好ましい。具体的には、オブジェクト６０１の初期の奥行きは、図６（ｂ）に示すように奥行きの浅い状態（奥行がほとんど無い状態）とする。そして、オブジェクト６０１の後半の奥行きは、図６（ｃ）に示すように、徐々に奥行が広がった結果、上記全体の約４０パーセントの奥行きが色分け表示された状態とする。

更に、図６（ｃ）の表示状態に遷移した場合には、図４の画面４０６の状態に相当し、立体オブジェクト４０６１が半透明に表示される。そして、第３の位置に対応する静止画６０４３が表示されている（ステップＳ３０５）。オブジェクト６０１は、上述の例のように５分の映像ファイルに挿入された３分の映像クリップを表現しているものとする。既に説明したように、本実施形態では、静止画４０６３は映像クリップを挿入した場合において、挿入された映像の次に再生されるフレームに相当している。このように、ユーザは、半透明の立体オブジェクト４０６１越しに、オブジェクト６０１を含む立体オブジェクト４０６２と、静止画４０６３を確認することで、編集の結果を感覚的にイメージしながら作業を行うことができる。

図６（ｄ）は、図４の画面４０８の状態に相当する。ステップＳ３０７において、生成された編集映像のファイルが新たに立体オブジェクト４０８２として表示された様子を示すものである。

なお、本実施形態では、映像ファイルが立体オブジェクトとして表示される際の奥行きの長さＬは一定である。従って、同じ映像クリップを挿入する編集作業であっても、挿入先の映像ファイルの方の時間長が異なれば、上記オブジェクト６０１に相当する奥行きも異なる。図７は、その違いを表す一例を示している。なおこの図では、第３の位置に対応する静止画の表示は省略する。

図７（ａ）は、図６（ｃ）と同一の内容であり、５分の映像ファイルに３分間の映像クリップが挿入される場合を示している。この図７（ａ）におけるオブジェクト６０１の奥行きは、全体の奥行きＬの３７．５％であった。

図７（ｂ）は、図５の画面４０９でのサムネイル画像４０９２に対応する立体オブジェクト（映像ファイル）７０１に、同じ立体オブジェクト（映像クリップ）４０６１を挿入する場合を示している。ここで、上記立体オブジェクト７０１に相当する映像ファイルは１２分の時間長を有しているとする。この場合には、オブジェクト６０１と同様の役割を持つオブジェクト７０２の奥行きは、全体の奥行きＬの２０％（３分／（３分＋１２分））となる。

更に、図７（ｃ）は、図５の画面４０９における領域４０９３のように、サムネイル画像がない領域に映像クリップが移動された場合に表示されるオブジェクト７０３を示す（ステップＳ３１１）。この場合は、取り出された映像クリップが新たに映像ファイルとして生成される場合を示すので、オブジェクト７０３の奥行きは、全体の奥行きＬと同じとなる。ここで、サムネイル画像がない領域として、サムネイル画像とサムネイル画像の隙間に映像クリップが移動された場合には、その隙間以降のサムネイルを後ろにずらして再度表示し、空いたスペースにオブジェクト７０３を表示するようにする。

以上のように、同じ３分間の映像クリップを挿入する場合でも、挿入先の映像ファイルによって、時間軸の縮尺率の変化を表すオブジェクトの大きさは異なる。また、３分間の映像クリップに対応する立体オブジェクト４０６１は、図７の（ａ）、（ｂ）、（ｃ）に渡って同じ奥行きの長さで表示する。これは、ユーザが立体オブジェクト４０６１を移動させる際に、移動の途中で手指の間隔を変えなければならない煩わしさを生じさせないためである。これにより、ユーザは立体オブジェクト４０６１を「つまんで動かしている」という感覚を得られる。このように、ユーザが立体オブジェクト４０６１を移動させるのに応じ、画像生成部１０２が縮尺率を最適化したオブジェクトが生成され、表示される。これによりユーザは、編集した結果生成される映像ファイルにおいて、映像クリップが再生されるタイミングや時間長の割合を感覚的にイメージしながら作業を行うことができる。

第１の実施形態では、ユーザが画面にタッチしたか、あるいはユーザの手指が近接したことが検知されたサムネイル画像のみを立体オブジェクトとして表示しているが、これに限らない。例えば変形例として、編集作業モードが設定された場合に、表示されている全てのサムネイル画像を立体オブジェクトとして表示する構成とすることもできる。この場合には、サムネイル画像それぞれが有する奥行きを、一定ではなくそれぞれの時間長の長さに応じて相対的に変える。これにより、映像ファイルが長時間であるときは奥行きの長さは長く、短時間であるときは奥行きの長さは短くなるため、一見して各映像ファイルの時間長の差異を視覚的に理解することができる。

更にこの場合には、ユーザがタッチしたか、あるいはユーザの手指が近接したことが検知されたサムネイル画像の奥行きを、一定の長さに変化させて表示する。例えば、時間長が１時間の映像ファイルと３分間の映像ファイルが共に記憶部１０３に記憶されていた場合、３分間の映像ファイルの奥行きの長さは極端に短くなってしまい、タッチ位置の指定が困難な場合がある。しかし、編集対象とするサムネイル画像の奥行きを余裕のある長さに変化させることで、時間長が短い映像ファイルに対しても第１及び第２の位置を細かく指定することが可能になる。

第1の実施形態では、図２のフローチャートの処理ステップに従って取り出した映像クリップに対し、行う編集処理は、図３のフローチャートの処理ステップに限られない。例えば別なる変形例として、映像ファイルの一部を「つまみ出す」操作によって立体オブジェクトとして表示し、持ち上げるように移動させた時は、取り出した部分に相当する映像クリップを必ず新たな映像ファイルとして生成するようにしてもよい。その際は、元の映像ファイルのサムネイル画像の隣、あるいは全てのサムネイル画像の後に新たな映像ファイルに対応するサムネイル画像を表示する。

この変形例によれば、取り出した映像クリップを繰り返し編集に用いたい場合に、開始点と終了点を指定して取り出す作業を何度も行ったり、ユーザ自らが新規の映像ファイルを生成してからそれをコピーしたりする必要がなくなる。

また、例えば、映像ファイルの一部を「つまみ出す」操作は、複数の映像ファイルが表示されている場合にしか行えないものとすることもできる。この場合、つまみ出した立体オブジェクトは、必ず他の映像ファイルに挿入され、編集映像のファイルを生成する処理が行われるようにする。この場合は、新たに表示されたオブジェクトが、サムネイル画像のない領域に移動された上でタッチ操作がなされたときには、終了操作有りと判断して処理を終了する。

この変形例によれば、例えば動画撮影が可能なデジタルビデオカメラなど、記憶部１０３の容量が限られるような情報処理装置において、映像ファイルの数が増えるのを避け、複数の映像クリップを合成した映像を作ることに特化した編集環境を提供することができる。

＜第２の実施形態＞
第１の実施形態では、ディスプレイに遠近法を用いた図法によって表示した立体オブジェクトに対し、タッチパネルディスプレイへのタッチおよび近接を検知することによって操作を行っていた。それに対し、第２の実施形態では、３Ｄ表示装置に３Ｄ画像として表示した立体オブジェクトに対し、空間ジェスチャーによる操作を検知することによって操作を行う。

図１（ｂ）は、第２の実施形態において、画像生成部１０２が３Ｄ画像を生成する際に用いる具体的な要素を示すブロック図である。

３Ｄ画像は、視差を有する２画像をユーザの右眼と左眼に表示する２眼式３Ｄ画像が一般に実用されている。また、３Ｄ表示装置では、右眼と左眼に対してそれぞれ表示パネルを具え視差画像を表示するものや、１つの表示装置にそれぞれ偏光フィルタまたは赤青フィルタをかけた左右画像を重ね表示し、ユーザは偏光眼鏡または赤青眼鏡を通してそれを見るものがある。また、左眼用と右眼用の画像を時分割表示し、ユーザは画像に同期して開閉するシャッター眼鏡を通してそれを見るものや、指向性を持つレンチキュラ板を使用し左右の眼に対応する画像を表示するものなどがある。

一般に、コンピュータグラフィックス画像は、仮想空間にオブジェクト形状データと仮想光源、仮想カメラとを配置し、仮想カメラの視点からのオブジェクトの見え方を、投影変換、隠面消去、シェーディング等のプロセスを経てレンダリングすることにより得られる。また、略同一の光軸方向を有する２の仮想カメラを、間隔をおいて配置し、これらの視点からのレンダリングを右眼用、左眼用の画像とすることにより、コンピュータグラフィックスの２眼式３Ｄ画像が得られる。

従って、画像生成部１０２は、まず基本となる立体オブジェクト形状データ１０６に対して、映像ファイルの時間長に対応する奥行き方向の辺の長さＬを設定する。そして当該立体オブジェクトの手前側の表面に映像ファイルの最初のフレームをテクスチャー・マッピングすることによって、仮想空間に、映像ファイルに対応した立体オブジェクトを生成する。これを、間隔をおいて左視点位置座標１０７と右視点位置座標１０８に配置した仮想カメラで撮影する。撮影した画像をそれぞれ左眼用画像１０９、右眼用画像１１０として生成する。表示制御部１０１は、左眼用画像１０９、右眼用画像１１０を用い、３Ｄ表示装置である表示部１０５上に、２眼式３Ｄ画像で表現された立体オブジェクトを表示することができる。

空間ジェスチャーの検知では、例えば撮像手段によりユーザの手指を撮影して位置を算出するものなどが利用可能に提供されている。複数の撮像手段によって複数の方向から撮影された手指の情報から、三次元空間における位置やユーザのジェスチャーを検知することができる。

第２の実施形態においても、図２及び図３のフローチャートに従って、映像ファイルの一部を取り出し、他の映像ファイルに挿入する編集処理を行う。３Ｄ画像が表示された様子を図示することは困難なため、画面遷移は図４に準じる。

第２の実施形態では、Ｓ２０２において、ユーザの手指が近づいたことが検知部１０４によって検知されたサムネイル画像を、２眼式３Ｄ画像で表現された立体オブジェクトとして表示する。

ステップＳ２０３及びステップＳ２０５において、第１及び第２の位置を指定される操作は、ユーザが三次元空間において指定した位置を、検知部１０４が検知することによって判断される。同様に、ステップＳ２０７やステップＳ２０９において、それぞれの位置が変更されたかも、三次元空間におけるユーザの手指の動きを検知することで判断する。ステップＳ２１１において、第１及び第２の位置が確定される操作は、ユーザが第１及び第２の位置に挟まれた部分をつまみ上げるように手指を動かしたことを、検知部１０４が検知することによって判断する。

更に、ステップＳ３０１、ステップＳ３０２及びステップＳ３１０において、新たに表示された３Ｄ立体オブジェクトがどこかに移動されていることは、ユーザが立体オブジェクトをつまんでいる手指を動かしている軌跡を検知することによって行う。同様に、ステップＳ３０５、ステップＳ３０６やステップＳ３０８での第３の位置の検知も、ユーザが三次元空間において指定したり動かしたりする手指を検知部１０４によって検知して行う。この際、ユーザは常に表示部１０５に表示される２眼式３Ｄ画像で表現された立体オブジェクトを見ながら、ジェスチャーを行う。

三次元の空間を用いた操作により、ユーザは「立体オブジェクトをつまみ出し、移動させて新たな位置に置く」という操作感覚を得ることができる。

なお、第1および第２の実施形態では、上述した表示部１０５上に表示する立体オブジェクトの一面には、サムネイル画像として各映像ファイルの開始点であるフレームに相当する静止画を表示していたが、本発明はこれに限らない。例えば、上記静止画を含む複数のフレームを動画として繰り返し再生しても良いであろう。

Claims (11)

1. 表示面に、動画像を構成する各フレームと、前記動画像の再生時間を示す時間軸とで、前記表示面から垂直または略垂直な方向に飛び出すように、前記表示面に立体的に表現されるオブジェクトを表示させる表示制御手段と、
   前記オブジェクトを表示させた状態で、前記表示面に近接した操作者の指により、前記時間軸における点が指定されたことを検知する検知手段とを備え、
   前記表示制御手段は、前記表示面に、一部のフレームを表す静止画の一覧として表示させた複数の動画像のうち、前記検知手段によって操作者の指が近接したことが検知された動画像を、前記表示面から垂直または略垂直な方向に飛び出すように立体的に表現されるオブジェクトとして表示させ、
   さらに、前記オブジェクトが表す動画像の再生時間の時間軸上で前記検知手段により検知された２点に挟まれた部分の動画像を示す別のオブジェクトを、前記表示面から垂直または略垂直な方向に飛び出すように、かつ、前記オブジェクトよりも前記操作者の指側に存在するように表示させると共に、前記操作者の指の移動に合わせて移動させることを特徴とする情報処理装置。
2. 前記表示制御手段は、前記２点に挟まれた部分の動画像を示すオブジェクトが、他の動画像を示すオブジェクトの上に移動させられたときは、前記他の動画像の再生時間を示す時間軸において前記検知手段が前記移動した操作者の指に基づいて検知した１点に対応する時間に、前記移動させられたオブジェクトが示す動画像を挿入した全体の動画像を示すオブジェクトを表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記２点に挟まれ他の動画像を示すオブジェクトの上に移動させられたオブジェクトを半透明に表示すると共に、前記他の動画像の再生時間を示す時間軸において、前記検知手段が前記移動した操作者の指に基づいて検知した１点に対応する時間に、前記移動させられたオブジェクトが示す動画像を挿入した場合の、前記時間軸の縮尺率の変化を表すオブジェクトを表示することを特徴とする請求項２に記載の情報処理装置。
4. 前記表示制御手段は、前記動画像を構成する各フレームと、前記動画像の再生時間を示す時間軸とで立体的に表現されるオブジェクトの、前記時間軸において、前記検知手段により検知された点が対応する時間のフレームを静止画として表示することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記移動させられたオブジェクトが示す動画像を挿入した全体の動画像を、新たなファイルとして生成する生成手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記生成手段は、前記２点に挟まれた部分の動画像を示すオブジェクトが、他の動画像を示すオブジェクトが表示されていない領域に移動させられたときは、前記移動させられたオブジェクトが示す動画像を新たなファイルとして生成することを特徴とする請求項５に記載の情報処理装置。
7. 前記検知手段は、前記立体的に表現されるオブジェクトを二次元に投影して表示すると共に、ユーザによるタッチを検知するタッチパネルディスプレイであることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記検知手段は、三次元空間におけるユーザのジェスチャーを検知することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
9. コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至８のいずれか１項に記載の情報処理装置として機能させることを特徴とするプログラム。
10. 請求項９に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能なプログラム記憶媒体。
11. 表示制御手段により、表示面に、動画像を構成する各フレームと、前記動画像の再生時間を示す時間軸とで前記表示面から垂直または略垂直な方向に飛び出すように、前記表示面に立体的に表現されるオブジェクトを表示させる表示制御工程と、
    検知手段により、前記オブジェクトを表示させた状態で、前記表示面に近接した操作者の指により、前記時間軸における点が指定されたことを検知する検知工程とを備え、前記表示制御工程では、前記表示面に、一部のフレームを表す静止画の一覧として表示させた複数の動画像のうち、前記検知手段によって操作者の指が近接したことが検知された動画像を、前記表示面から垂直または略垂直な方向に飛び出すように立体的に表現されるオブジェクトとして表示させ、
    さらに、前記オブジェクトが表す動画像の再生時間の時間軸上で前記検知手段により検知された２点に挟まれた部分の動画像を示す別のオブジェクトを、前記表示面から垂直または略垂直な方向に飛び出すように、かつ、前記オブジェクトよりも前記操作者の指側に存在するように表示させると共に、前記操作者の指の移動させることを特徴とする情報処理装置の制御方法。

Images