JP4151640B2

JP4151640B2 - 画像表示方法、画像表示プログラムおよび編集装置

Info

Publication number: JP4151640B2
Application number: JP2004308050A
Authority: JP
Inventors: 和明田口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-10-22
Filing date: 2004-10-22
Publication date: 2008-09-17
Anticipated expiration: 2024-10-22
Also published as: US7557813B2; CN100412946C; JP2006121481A; CN1783205A; US20060088229A1

Description

この発明は、素材に対応する写像を画面表示する画像表示方法、画像表示プログラムおよび編集装置に関する。

近年、ノンリニア編集を行うためのパーソナルコンピュータ用アプリケーションは広く知られている。このアプリケーションはＧＵＩ(Graphical User Interface)をベースとして編集を行うことができ、映像編集の際には、例えば、動画、音声、静止画、テロップ等の素材(以下、クリップと称する)の写像を同一画面にレイアウトし、さらにそれらを時系列的に配列して順番を定義することで最終結果作品(以下、完パケと称する)を作成する（例えば、特許文献１参照）。

図１３Ａは、クリップ全体の写像であるセグメント１０３を示す略線図である。図１３Ｂは、従来のノンリニア編集を説明するためのＧＵＩ画面を示す略線図である。図１３Ｂに示すように、ＧＵＩ画面には時間軸方向（図１３Ｂ中、横方向）に向かって延びる帯状の形状を有するトラック１０１が複数配列され、このトラック２２内にはセグメント２３が表示される。このセグメント２３の長さは、図１３Ａに示すように、クリップ全体のうち使われている部分の長さ、すなわちデュレーションに対応している。セグメント１０２を時系列的に配列して適宜順番を定義することで完パケが作成される。

完パケを構成するクリップのうち、動画、音声等のクリップは時間的な概念を有しているため、これらのクリップのどの部分を完パケに組み込むかを決定する作業では、編集者はどのクリップのどの部分が使用されているかを視覚的に確認する必要がある。

しかしながら、従来の技術では、完パケに取り込む部分を視覚的に確認する作業は、ユーザに過度の負担となっている。これは、クリップ全体のうち使用されている部分の長さすなわち、デュレーションはセグメントの長さによって視覚的に表現されるが、クリップ全体のうちどの部分が使用されているかは視覚的に表現されず、例えば、クリップの先頭から終了の少し前までの部分が使用されているとか、途中から終了までの部分が使用されているなどの情報をユーザが直感的に知ることができないためである。

そこで、ＧＵＩ画面上の各セグメントに文字により時間情報を表示する方法が提案されている。例えば、図１４に示すように、クリップの先頭の時間を00:00:00:00として、クリップ全体のうちセグメントに対応している部分を"00:00:03:12->00:00:05:21"と表示している。

特開平１１−６６８１５号公報

しかしながら、クリップ全体のうちどの部分が使用されているかを文字によりセグメントに表示した場合には、以下のような点が問題となる。
（１）完パケを構成するクリップ数が増えるほど、すなわち、ＧＵＩ画面に表示されるセグメント数が増えるほど、ＧＵＩ画面が煩雑になりユーザへの情報伝達が阻害されてしまう。
（２）セグメントは表示スペースが限られているため、文字により時間情報を十分に表示することは困難である。特に、クリップネームやサムネイルピクチャ／アイコン等をセグメントに表示する場合には、時間情報を表示するためのスペースは更に狭くなるため、時間情報を表示することは更に困難になる。
（３）クリップ全体の時間長さとセグメントに表示された時間情報とに基づいて計算をすれば分かることであるが、セグメントがクリップ全体のどの部分に対応しているかを一見して把握することはできない。例えば、セグメントがクリップ全体の前よりの部分に対応しているのか、または後ろよりの部分に属しているのかを直感的に把握することはできない。

したがって、この発明の目的は、クリップ全体のうちのどの部分を使用しているか文字情報によらず直感的に把握することができる画像表示方法、画像表示プログラムおよび編集装置を提供することにある。

上述の課題を解決するために、第１の発明は、
時間概念を有する素材、および時間概念を有さない素材の全体または部分に対応した写像を画面上に時系列的に配列するステップを備え、
上記時間概念を有する素材の全体または部分に対応した写像を画面上に配列するときには、上記素材全体に対応する写像に先端から終端まで設定されるグラデーションのうち、上記配列される写像に対応する区間に設定されるグラデーションを上記配列される写像に付し、
上記時間概念を有さない素材の全体または部分に対応した写像を画面上に配列するときには、先端から終端までの同一調の色を上記配列される写像に付す画像表示方法である。

第２の発明は、
時間概念を有する素材、および時間概念を有さない素材の全体または部分に対応した写像を画面上に時系列的に配列するステップを備え、
上記時間概念を有する素材の全体または部分に対応した写像を画面上に配列するときには、上記素材全体に対応する写像に先端から終端まで設定されるグラデーションのうち、上記配列される写像に対応する区間に設定されるグラデーションを上記配列される写像に付し、
上記時間概念を有さない素材の全体または部分に対応した写像を画面上に配列するときには、先端から終端までの同一調の色を上記配列される写像に付す画像表示方法をコンピュータ装置に実行させる画像表示プログラムである。

第３の発明は、
情報を表示する表示手段と、
時間概念を有する素材、および時間概念を有さない素材を記憶する記憶手段と、
上記時間概念を有する素材、および上記時間概念を有さない素材の全体または部分に対応した写像を上記表示手段に時系列的に配列して表示する表示制御手段と
を備え、
上記時間概念を有する素材の全体または部分に対応した写像を画面上に配列するときには、上記素材全体に対応する写像に先端から終端まで設定されるグラデーションのうち、上記配列される写像に対応する区間に設定されるグラデーションを上記配列される写像に付し、
上記時間概念を有さない素材の全体または部分に対応した写像を画面上に配列するときには、先端から終端までの同一調の色を上記配列される写像に付す編集装置である。

以上説明したように、この発明によれば、素材の部分に対応する写像を表示するときには、素材全体に対応する写像に付されるグラデーションのうち部分に対応する区間に付されるグラデーションを、素材の部分に対応する写像に付すので、写像に付されるグラデーションの度合いによって、写像がクリップ全体のうちのどの部分に対応しているかを文字情報によらず直感的に把握することができる。

図１は、この発明の第１の実施形態による編集装置１の一構成例を示すブロック図である。図１では、説明に必要な構成だけを抜き出して示している。ＣＰＵ(Central Processing Unit)２、グラフィック部３、入力装置７、ＲＯＭ(Read Only Memory)８およびハードディスクドライブ９がバス１０に対して接続される。ＣＰＵ２に対して、ワークメモリとしてＤＲＡＭ(Dynamic Random Access Memory)３が接続される。グラフィック部４に対してＶＲＡＭ(Video RAM)５が接続される。グラフィック部４の出力がディスプレイ６に供給される。

本発明は主にＧＵＩをベースとしたノンリニア編集アプリケーションのタイムライン編集機能に適用して好適なものである。タイムライン編集機能とは、クリップの全体および／または部分に対応する写像を画面にレイアウトし、更にそれらの順番を時系列的に定義して完パケを作成するための機能である。

ＣＰＵ２は、ＤＲＡＭ３をフレームバッファとして用いて、画像データに対して縮小処理など所定の処理を施す。処理された画像データは、ＣＰＵ２によりＤＲＡＭ３から読み出され、バス１０を介してグラフィック部４に供給される。グラフィック部４は、ディスプレイ６に送る水平および垂直走査周波数を設定して表示解像度を決めると共に、ＣＰＵ２からの描画命令を実行するグラフィック制御チップを有する。グラフィック部４に供給された画像データは、ＶＲＡＭ５に書き込まれる。ＶＲＡＭ５に書き込まれた画像データは、グラフィック部４によって所定の水平および垂直走査周波数に対応して読み出され、例えば、ディジタルビデオ信号としてディスプレイ６に供給される。すなわち、ＶＲＡＭ５の記憶内容がディスプレイ６の表示に直接的に反映される。

入力装置７は、編集装置１に対して命令および情報を与えるための装置であり、例えばポインティングデバイス（例えばマウス）およびキーボードから構成される。この入力装置７の操作によって、例えば、ディスプレイ６に表示されたＧＵＩ画面上で位置を示すカーソルを移動させたり、ＧＵＩ画面内でのメニューの選択などを行うことができる。

ＲＯＭ８には、編集装置１の起動に必要なプログラムなどが記憶されている。ＨＤＤ９には、クリップ全体および／または部分に対応する写像を画面にレイアウトし、更にそれらの順番を時系列的に定義することにより完パケを作成するための編集プログラムと、オーディオクリップ、ビデオクリップおよびテキストクリップなどのデータやその情報とが記憶されている。

次に、この発明の第１の実施形態の編集装置１のＧＵＩ画面について説明する。まず、この発明の理解を容易とするために、タイムライン編集のための一般的なＧＵＩ画面について説明する。図２Ａは、クリップ全体の写像であるセグメント５１を示す略線図である。図２Ｂは、一般的なＧＵＩ画面２１の一例を示す略線図である。なお、ＧＵＩ画面２１では、便宜上右端側を省略している。

図２Ｂに示すように、ＧＵＩ画面２１には帯状の形状を有するトラック２２が複数配列され、このトラック２２内にはセグメント２３が表示される。このセグメント２３の長さは、図２Ａに示すように、クリップ全体のうち使われている部分の長さ、すなわちデュレーションに対応している。

複数配列されたトラック２２の下端にはタイムルーラ２４およびスクロールバー２５が設けられている。また、ＧＵＩ画面２１には、再生の際に複数のトラック２２上を時間方向に向かって（図２中、左から右に向かって）移動するタイムカーソル２８が設けられている。

さらに、各トラック２２の先端側には、トラック名を表示するためのトラック名表示部２６が設けられている。複数配列されたトラック名表示部２６の下端には、タイムスケールアップ／ダウン２７が設けられている。

ここでは、タイムライン編集を行うためのＧＵＩ画面２１として、タイムラインウインドウのみを便宜上図示しているが、これ以外にも種々のウインドウ等を表示可能であり、例えば、ビデオクリップおよびオーディオクリップなどの編集に必要な素材を一覧表示するプロジェクトウインドウ、ビデオクリップのプレビュー等をするためのモニタウインドウ、画像および音声処理などの各種コマンドをメニュー表示するコマンドパレット、マウスポインタおよびクリップに関する情報などを表示する情報パレットなどを表示可能である。以下、ＧＵＩ画面２１の各部についてより詳細に説明する。

トラック名表示部
トラック名表示部２６には、トラック２２の種類を表すためトラック名が表示される。また、トラック名表示部２６内には、各クリップの種類を示すためのアイコンが表示され、例えばテキスト、静止画およびビデオなどの画像クリップに対応するセグメントを配置するトラック２２のトラック名表示部２６には、例えば人間の目を模したアイコンが表示され、オーディオクリップに対応するセグメントを配置するトラックのトラック名表示部２６には、例えばスピーカを模したアイコンが表示される。

セグメント
セグメント２３とは、完パケに使用したいクリップを必要なデュレーション分だけトラック２２に貼り付けたときに、そのトラック２２上に表示されるクリップの写像のことである。また、トラック２２上に表示されるセグメントの横方向の長さ(ピクセル数)は、タイムライン２４に設定されているタイムスケールとセグメント２３の持つデュレーションによって決定される。

図３は、セグメントの一表示例を示す略線図である。図３に示すように、セグメント２３上にはクリップのクリップネーム３１、サムネイルピクチャ／アイコン３２等の情報が表示される。クリップネーム３１は、クリップに付されたクリップ名である。サムネイルピクッチャ／アイコン３２はクリップの内容を示す画像である。

クリップがテキストクリップである場合には、サムネイルピクチャ／アイコン３２としてテキストクリップであることを示す文字または絵柄などが表示され、例えば文字「Ｔ」が表示される。クリップが静止画クリップである場合には、サムネイルピクチャ／アイコン３２として静止画を縮小した画像が表示される。クリップがビデオクリップである場合には、サムネイルピクチャ／アイコン３２としてビデオクリップの１フレームの縮小画像が表示される。クリップがオーディオクリップである場合には、サムネイルピクチャ／アイコン３２としてオーディオクリップであることを示す文字または絵柄などが表示され、例えばスピーカを模した絵柄が表示される。クリップがテンプレートクリップである場合には、サムネイルピクチャ／アイコン３２としてテンプレートである画面分割を模した絵柄が表示される。

トラック
トラック２２はセグメント２３を配置するための領域である。トラック２２はクリップの種別(以下、マテリアルタイプ（Material Type）と称する)毎に備えられる。マテリアルタイプとしては、例えば動画、音声、静止画等がある。トラック２２にはそのトラック２２に設定されているマテリアルタイプと同種のセグメント２３が配置される。

タイムカーソル
タイムライン上のカレント位置を決めるためのものである。カレント位置のプレビューを表示したり、その他の情報を表示したり、その位置にあるセグメント２３に対して何か編集操作を行ったりするなど、そのタイムラインの仕様により、多種多様な使用方法がある。

タイムルーラ
タイムライン上の時間を表す目盛りである。表示されている１目盛りが１フレームを表しているのか、５フレーム、１秒等の大きなスケールを表しているのかは、後に説明するタイムスケールの設定によって変更することが出来る。

タイムスケールアップ／ダウン
タイムスケールアップ／ダウン２７は、タイムライン上で表現する時間の尺度（以下、タイムスケールと称する）を設定するためのものである。タイムスケールの設定によってタイムラインの限られた領域に表示できる時間的な長さを変更することができる。例えば、タイムルーラ１目盛りを１フレームとするよりも５フレームとする方が長い時間範囲を画面内に一度に表示することができる。しかし、タイムルーラ１目盛りを１秒程度にすると、タイムカーソルを細かく動作させたり、目視で正確なセグメントの長さを把握することは難しくなってしまうため、編集処理に応じてタイムスケールアップ／ダウン２７によりタイムスケールを適宜調整することが好ましい。

スクロールバー
スクロールバー２５は、複数配列されたトラック２２を時間方向または時間と逆方向にスクロールして、ウィンドウ内に一度に表示できない部分を見るためのものである。スクロールバー２５は、棒状の枠２５ａとその枠内に表示されるスクロール・ボックス２５ｂとを備え、例えば、スクロール・ボックス２５ｂをドラッグして左右に移動することで、トラック２２を左右にスクロールすることができる。

図４Ａは、クリップ全体の写像であるセグメント５１の一例を示す略線図である。図４Ｂは、この発明の第１の実施形態による編集装置１のＧＵＩ画面２１の一例を示す略線図である。このＧＵＩ画面２１では、時間概念を有するクリップと時間概念を有さないクリップとでその写像であるセグメント２３の表示が異なる。すなわち、時間概念を有するクリップ全体またはその部分の写像であるセグメント２３には、その先端から終端に向けて、すなわちその時間方向に向けてグラデーションが付され、時間概念を有さないクリップ全体またはその部分の写像であるセグメント２３は、同一調の色（以下、ソリッドカラー(Solid Color)と称する）が付される。このように、クリップの時間概念の有無に応じてセグメント２３の表現を変えることで、どのセグメント２３が時間概念を有するクリップに対応しているかを直感的に把握できる。

ここで、時間概念を有さないクリップとは、静止画、テロップ(固定位置に留まるもの)等、時間の経過によって出力されるコンテンツ(例えば、映像、音声、文字等)に変化がないものである。また、時間概念を有するクリップとは、動画、音声、モーション付きテロップ等、時間の経過によって出力されるコンテンツが変化するものである。また、グラデーションとは、色合いまたは濃淡等が徐々に変わることである。また、セグメント２３の先端とは時間的に前の方の一端を示し、終端とは時間的に後の方の一端を示す。

また、この発明の第１の実施形態においては、クリップの一部に対応するセグメント２３に付されるグラデーションは、クリップ全体のセグメント５１に付されるグラデーションのうち、クリップの一部に対応する区間に付されるグラデーションである。このようにグラデーションを付すことで、セグメント２３に付されるグラデーションの度合いにより、セグメント２３がクリップ全体のうちおよそどの部分に対応しているかを直感的に把握することができる。

また、グラデーションとして、色合いまたは色調などが線形的に変化するリニアグラデーションを用いると、セグメント２３に対応する部分がクリップ全体のうちどの部分に属しているかを色合いまたは濃淡の度合いなどに基づいてより正確に判別でき、より好ましい。

図５Ａは、時間概念を有するクリップ全体に対応するセグメント２３の一表示例を示す略線図である。図５Ｂは、時間概念を有するクリップの一部に対応する、すなわちセグメント２３の一部に対応するセグメント２３の一表示例を示す略線図である。図５Ａおよび図５Ｂでは、時間方向に向けて徐々に白くなるグラデーションをセグメント２３に付した場合を例として示している。なお、一端から他端に向けてグラデーションを付すために用いる色は白に限られるものではないが、ＧＵＩ画面２１上のすべてのセグメント２３を容易に識別できるような色を用いることが好ましい。すなわち、図２に示すセグメント２３のセグメントカラーを基調として、図４に示すセグメント２３にグラデーションを付す場合には、一端から他端に向けてグラデーションを付すために用いる色としては、図２に示すＧＵＩ画面２１上の全てのセグメントカラーと背反する色を用いることが好ましい。

時間概念を有するクリップ全体に対応するセグメント２３をトラック２２に表示するときには、図５Ａに示すように、セグメント２３にはセグメントカラーが先端から終端に向かって、すなわち時間軸上、後方向に向かって徐々に白くなるようにグラデーションが付される。具体的には、先端のＲＧＢ値（Ｒ，Ｇ，Ｂ）から終端のＲＧＢ値（２５５，２５５，２５５）に向けてＲＧＢ値が徐々に変化する。

時間概念を有するクリップの一部に対応するセグメント２３をトラック２２に表示するときには、図５Ｂに示すように、セグメント２３の先端位置に対応するセグメント５１上の位置の色がセグメント２３の先端の色となり、セグメント２３の終端位置に対応するセグメント５１上の位置の色がセグメント２３の終端の色となるようにセグメント２３にグラデーションを設定する。このようにグラデーションを付すことで、セグメント２３の終端（図５Ｂ中、右端）が白いときには、セグメント２３はクリップの終了まで対応していることが分かる。

図５Ｃは、時間概念を有さないクリップのセグメント２３の一表示例を示す略線図である。時間概念を有さないクリップ２３をトラック２２に表示するときには、セグメント２３にはソリッドカラーが付される。具体的には、先端から終端まで一定のＲＧＢ値（Ｒ，Ｇ，Ｂ）となる。

次に、セグメント２３のＲＧＢ値の算出方法の一例について説明する。図６は、セグメント２３のＲＧＢ値の算出方法の一例について説明するための略線図である。図６に示すように、クリップ全体のデュレーションをＤｃ（Ｆｒａｍｅ）、時間軸上においてクリップ全体の先頭を０、先頭からのオフセット位置をＯｆ（Ｆｒａｍｅ）、元となるＲＧＢ値(１００％時)を(Ｒｏ，Ｇｏ，Ｂｏ)とすると、オフセット位置ＯｆのＲＧＢ値Ｏｆ（Ｒ，Ｇ，Ｂ）は
と表現できる。上述の式（１）を用いると、任意のフレーム位置のＲＧＢ値を算出できる。

ここで、ＲＧＢ値の算出方法についてより具体的に説明する。図７は、ＲＧＢ値の算出方法をより具体的に説明するための略線図である。ここでは、例として、クリップのデュレーションが２５０フレーム、セグメント２３のオフセットが５０フレーム、セグメント２３のデュレーションが１００フレーム、１００％時のＲＧＢ値が(５１，１５３，１０２)である場合を一例として説明する。

上述の式（１）を用いて、セグメント先頭位置のＲＧＢ値Ｏｆ（Ｒ，Ｇ，Ｂ）を算出するとそれぞれ
となる。
なお、算出結果は小数点以下切捨てとしている。

実際には、ディスプレイ６に画像を表示するためにはＶＲＡＭ５上にピクセル単位でデータを配置する必要がある。そのため、上述の式（１）をピクセル単位に変換する必要がある。

画面上で１フレームを表示したときの１フレーム当たりのピクセル数をＲｐ（Ｐｉｘｅｌ／Ｆｒａｍｅ）とすると、オフセット位置Ｏｆのピクセル位置ＯｆＰは
と表現できる。

よって、ピクセル位置ＯｆＰのＲＧＢ値ＯｆＰ（Ｒ，Ｇ，Ｂ）は
と表現できる。

例えば、クリップ全体に対応するセグメントのデュレーション５１と、クリップの参照位置と、１フレーム当たりのピクセル数とを用いて、セグメント２３に付される各ピクセルのＲＧＢ値を算出可能である。ここで、１フレーム当たりのピクセル数は、タイムラインに設定されているタイムスケールに基づいて算出可能である。この計算は、ＣＰＵ２でなされ、ＣＰＵ２で計算された結果がＶＲＡＭ５に書き込まれる。例えば、セグメント２３の長さが変更される度にデータが変更される。

次に、この発明の第１の実施形態による編集装置１のセグメント表示動作の一例について説明する。なお、編集装置１のＨＤＤ９には、編集操作に先立って予めビデオクリップおよびオーディオクリップなどの編集に必要な各種クリップと、この各種クリップに関するデータとが予め格納されている。

以下に、各種クリップに関するデータの一例を示す。
（１）デュレーション
（２）クリップネーム
（３）デフォルトのＩｎ／Ｏｕｔ点タイムコード
（４）素材ファイルパス
（５）その他素材ファイルに記録されている情報(ビデオフォーマット、オーディオフォーマット、画像サイズ等)

まず、クリップを管理している所定のウインドウ等に表示されているクリップのアイコンまたはサムネイルをタイムライン内のトラック２２に、例えばドラッグ・アンド・ドロップなどの操作により貼り付ける。これにより、ドロップされたアイコンまたはサムネイルのクリップに対応したセグメント２３が生成され表示される。このセグメント２３に対しては、例えば、上述の算出方法により求められた各ピクセルのＲＧＢ値に基づき、時間方向に向かうグラデーションが付される。

また、このセグメント２３の生成に際して、クリップを参照してセグメント２３内のデータが構築される。以下にセグメント２３に関するデータの一例を示す。
（１）クリップの識別子
（２）クリップのクリップネーム
（３）クリップのデュレーション
（４）クリップの参照位置(クリップのどの位置が使用されているかを示す情報)
（５）その他、クリップが持っているセグメントに表示するための情報
なお、クリップの参照位置としては、クリップのデフォルトＩｎ／Ｏｕｔ点タイムコードが使用される。

次に、例えば、タイムカーソル２３を用いてクリップ全体から所望部分を選択してセグメント２３の長さを短くすると、図５Ｂに示すように、セグメント２３の先端位置に対応するセグメント５１上の位置の色がセグメント２３の先端の色となり、セグメント２３の終端位置に対応するセグメント５１上の位置の色がセグメント２３の終端の色となるようにセグメント２３にグラデーションが設定される。また、セグメント２３に関するデータが変更される。ここで、グラデーション表示に使用される各ピクセルのＲＧＢ値は、例えば、上述の算出方法により算出される。

なお、上述の第１の実施形態による編集装置１において、サムネイルピクチャ／アイコン３２等の情報をセグメン２３に表示する一般的なＧＵＩ画面（図２参照）と、セグメント２３にグラデーションが付されたＧＵＩ画面（図４参照）とを切り替え可能としてもよい。例えば、グラデーションをセグメント２３に表示するための第１の表示モードと、サムネイルピクチャ／アイコン３２等の情報をセグメント２３に表示するための第２の表示モードとを備え、第１および第２の表示モードを切り替え可能とする。この場合、表示モードの切り替えは、例えば、ＧＵＩ画面上のモード切り替ボタン、ショートカットキーおよびメニューからのコマンド実行など、ユーザの操作をトリガーとしてなされる。

次に、この発明の第２の実施形態について説明する。上述の第１の実施形態ではセグメントにグラデーションを付す場合について説明したが、この第２の実施形態ではセグメント内にグラデーションに加えて対角線を付す場合について説明する。

この第２の実施形態による編集装置の構成は、上述の第１の実施形態による編集装置１の構成と同様であるので説明を省略し、第１の実施形態による編集装置１の各部に対応する部分には同一の符号を用いて説明する。

図８Ａは、クリップ全体の写像であるセグメント５１の一例を示す略線図である。図８Ｂは、この発明の第２の実施形態による編集装置１のＧＵＩ画面２１の一例を示す略線図である。図９Ａは、時間概念を有するクリップ全体に対応するセグメント２３の一表示例を示す略線図である。図９Ｂは、時間概念を有するクリップの一部に対応するセグメント２３の一表示例を示す略線図である。

時間概念を有するクリップ全体に対応するセグメント２３をトラック２２に表示するときには、図９Ａに示すように、矩形状を有するセグメント２３にはグラデーションが先端から終端に向かって付されると共に、対角線２３ａ、例えば、時間軸上、後方向に向かうに従って下降する対角線、すなわちセグメント２３の左上角から右下角を結ぶ直線(以下、プログレスラインと称する)が付される。

時間概念を有するクリップの一部に対応するセグメント２３をトラック２２に表示するときには、セグメント２３の先端位置に対応するセグメント５１上の位置の色がセグメント２３の先端の色となり、セグメント２３の終端位置に対応するセグメント５１上の位置の色がセグメント２３の終端の色となるようにセグメント２３にグラデーションを設定する。

さらに、セグメント２３の先端位置に対応する対角線５１ａの位置がセグメント２３の直線２３ａの先端位置となり、セグメント２３の終端位置に対応する対角線５１ａの位置がセグメント２３の直線２３ａの終端位置となるようにセグメント２３に対角線を設定する。

グラデーション２３に関しては上述の第１の実施形態と同様であるので、グラデーションについての詳細は省略し、以下ではセグメント２３に付される対角線２３ａについて説明する。

図１０は、プログレスラインの表示方法の一例を説明するための略線図である。図１０に示すように、クリップ全体に対応するセグメント５１の長さをＬ、セグメント５１の幅をＤ、クリップ全体に対応するセグメント５１の先端側の下端を原点、横方向をｙ軸、縦方向をｘ軸とすると、プログレスラインは、
と表現できる。

したがって、クリップの部分に対応するセグメント２３の先頭位置をｌ₁、クリップの部分に対応するセグメント２３の終端位置をｌ₂とすると、クリップの部分に対応するプログレスラインは、
と表現できる。

例えば、ＣＰＵ２が上述の式（５）により座標を求めて、座標に基づく描画命令をビデオチップに送る。ビデオチップは、ＣＰＵ２から受けた画像指示をもとに描画データを作成し、ディスプレイ６に出力する。この描画データに基づき対角線２３ａがセグメント２３に表示される。なお、セグメント２３の長さが変更される度に描画データが変更され、変更された描画データに基づき対角線２３ａがセグメント２３に表示される。

このように、セグメント２３内にグラデーションを付す共にプログレスラインなどの対角線２３ａを付すことで、グラデーションおよび対角線２３ａの傾斜の度合いを見ることで、トラック２２に表示されているセグメント２３がクリップ全体のおよそどの部分に対応しているかを、第１の実施形態に比してより的確に直感的に把握することができる。例えば、プログレスライン２３ａがセグメント２３の終端の角に達している場合には、セグメント２３はクリップの終了まで対応していることが分かる。また、ＧＵＩ画面２１が情報過多になることを抑えてＧＵＩ画面２１を非常にシンプルにすることができる。

対角線の色は、クリップ全体のセグメント２３にグラデーションを付した場合の先端（図９Ｂ中、左端）の色と同一であることが好ましく、例えばソリッドカラーで表示される。このように色を設定することで、左端にプログレスラインなどの対角線２３ａが見えないセグメント２３の場合には、セグメント２３はクリップ全体の先頭部分に対応していることが分かる。また、ソリッドカラーとすることで、プログレスライン２３ａの視認性を向上することができる。

図９Ｃは、時間概念を有さないクリップのセグメント２３の一表示例を示す略線図である。図９Ｃに示すように、時間概念を有さないクリップのセグメント２３の表示については、上述の第１の実施形態と同様であるので説明を省略する。

次に、この発明の第２の実施形態による編集装置１のセグメント表示動作の一例について説明する。セグメント２３内にグラデーションを付す際に、セグメント２３内に対角線を付す以外のことは、上述の第１の実施形態による編集装置１のセグメント表示動作と同様であるので説明を省略する。

なお、上述の第２の実施形態による編集装置１において、サムネイルピクチャ／アイコン３２等の情報をセグメン２３に表示する一般的なＧＵＩ画面と、セグメント２３にグラデーションおよび対角線が付されたＧＵＩ画面とを切り替え可能としてもよい。例えば、グラデーションおよび対角線をセグメント２３に表示するための第１の表示モードと、サムネイルピクチャ／アイコン３２等の情報をセグメント２３に表示するための第２の表示モードとを備え、第１および第２の表示モードを切り替え可能とする。この場合、表示モードの切り替えは、例えば、ＧＵＩ画面上のモード切り替ボタン、ショートカットキーおよびメニューからのコマンド実行など、ユーザの操作をトリガーとしてなされる。

また、上述の第２の実施形態による編集装置１では、グラデーションおよび対角線の両方がセグメント２３に付される場合を例として示したが、対角線のみをセグメント２３に付すことができるようにしてもよい。また、グラデーションおよび対角線のうちどちらを付すかをユーザが選択できるようにしてもよい。例えば、グラデーションをセグメント２３に付す第１のモードと、対角線をセグメント２３に付す第２のモードとを備え、ユーザが入力装置により選択できる構成としてもよい。

次に、この発明の第３の実施形態について説明する。この第３の実施形態では、グラデーションを透過してサムネイルピクチャおよびクリップネームなどの各種情報を見ることができるようにして、両者を同時に確認可能とする場合について説明する。

この第３の実施形態による編集装置の構成は、上述の第１の実施形態による編集装置１の構成と同様であるので説明を省略し、第１の実施形態による編集装置１の各部に対応する部分には同一の符号を用いて説明する。

次に、この発明の第３の実施形態による編集装置１のＧＵＩ画面について説明する。図１１Ａは、クリップ全体の写像であるセグメント５１の一例を示す略線図である。図１１Ｂは、この発明の第３の実施形態による編集装置１のＧＵＩ画面２１の一例を示す略線図である。

セグメント２３には、グラデーションを透過するようにしてサムネイルピクチャおよびクリップネームなどの情報が表示される。このように表示することで、グラデーションの度合いとサムネイルピクチャおよびクリップネームなどの情報とを同時に見ることができる。したがって、サムネイルピクチャ／アイコン３２等の情報をセグメン２３に表示する一般的なＧＵＩ画面と、セグメント２３にグラデーションが付されたＧＵＩ画面とを切り替え可能とする場合に比べて、タイムライン編集の際のユーザの操作負担を低減することができる。

なお、グラデーションとともに対角線も透過とすることは可能であるが、対角線の視認性を向上させることを考慮すると、対角線の透過率は０％とすることが好ましい。なお、この発明の第３の実施形態では、セグメント２３内に対角線２３ａが付される例を示したが、対角線２３ａの表示を省略することも可能である。

図１１では、グラデーションの透過率を０％、１５％、３０％、５０％とした場合のセグメント２３が示されている。なお、透過率１００％ではセグメントが透明となる。図１１から、あまり透過率を上げるとグラデーションの度合いを判別することが困難になることが分かる。また、透過率１５％程度であればグラデーションの確認が容易であり、且つクリップネームおよびサムネイルピクチャの内容も確認可能であることが分かる。この点を考慮すると、セグメント２３の透過率を１５％程度として、セグメント２３に通常表示されるクリップネームおよびサムネイルピクチャなどの情報を表示することが好ましいことが分かる。なお、上述の透過率の値は一例であって様々な値が考えられる。

次に、この発明の第３の実施形態による編集装置１のセグメント表示動作の一例について説明する。トラック２２にセグメント２３を表示する際またはセグメント２３の長さを変更した際に、グラデーションを透過してサムネイルピクチャおよびクリップネームなどの各種情報が見えるようにセグメント２３を表示する以外のことは、上述の第１の実施形態による編集装置１のセグメント表示動作と同様である。したがって、ここでは、サムネイルピクチャおよびクリップネームなどの各種情報がグラデーションを透過して見えるように画像を処理する動作について説明する。

図１２は、透過画像処理部の一構成例を示すブロック図である。この透過画像処理部は、サムネイルピクチャおよびクリップネームなどの各種情報がグラデーションを透過して見えるように画像処理を行うものである。なお、このセグメント表示部の機能は、例えば、編集装置１に備えられたＣＰＵ２またはグラフィック部４にて実行することができる。

上側画像であるグラデーションを表示するための画像データ６１に対して、乗算器６３にて不透明度αを画素毎に乗じる。また、下側画像となる各種情報を表示するための画像データ６２に対して、乗算器６４にてα−１を画素毎に乗ずる。なお、不透明度αは、０〜１の範囲の値を取る。そして、加算器６５にて、上述の処理がなされた画像データを画素毎に加算して、下側画像と上側画像とを合成して出力する。この合成された出力データに基づきトラック２２にセグメント２３が表示される。なお、不透明度αを変えることでグラデーションの透過率を変更することができる。

なお、上述の第３の実施形態による編集装置１において、セグメント２１の透過率をユーザが所望の値に設定可能とする構成にしてもよい。また、セグメント２１の透過有無をユーザが選択できる構成としてもよい。

また、上述の第３の実施形態による編集装置１では、グラデーションおよび対角線の両方がセグメントに付される場合を例として示したが、グラデーションおよび対角線のうちのどちらか一方をセグメントに付すことができるようにしてもよい。また、グラデーションおよび対角線のうちどちらを付すかをユーザが選択できるようにしてもよい。例えば、グラデーションをセグメントに付す第１のモードと、対角線をグラデーションに付す第２のモードとを備え、ユーザが入力装置７により選択できる構成としてもよい。

以上、この発明の第１〜３の実施形態について具体的に説明したが、この発明は、上述の第１〜３の実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。

例えば、上述の第１〜３の実施形態において挙げた数値はあくまでも例に過ぎず、必要に応じてこれと異なる数値を用いてもよい。

また、タイムライン編集機能を持つノンリニアアプリケーションソフト、複数のコンテンツ素材を時系列的に配置して１つの完パケを作成するためのアプリケーションソフトおよび、時間概念のある素材の１部分もしくは全部を利用して作業を進めるアプリケーションソフト等に本発明は適用可能である。

また、上述の第１〜第３の実施形態において、ＭＩＤＩ（Music Instrument Digital Interface）データなどの演奏指示情報に対応するセグメントをトラックに表示するようにしてもよい。

また、上述の第１〜第３の実施形態においては、ビデオデータなどを編集する編集装置に対してこの発明を適用した例について説明したが、この発明はこの例に限られるものではなく、音楽編集を行うような編集装置に対しても本発明を適用することは可能である。

この発明の第１の実施形態による編集装置の一構成例を示すブロック図である。図２Ａは、クリップ全体の写像であるセグメントの一例を示す略線図、図２Ｂは、一般的なＧＵＩ画面の一例を示す略線図である。セグメントの一表示例を示す略線図である。図４Ａは、この発明の第１の実施形態によるセグメントの一例を示す略線図、図４Ｂは、この発明の第１の実施形態によるＧＵＩ画面の一例を示す略線図である。図５Ａは、時間概念を有するクリップ全体に対応するセグメントの一表示例を示す略線図、図５Ｂは、時間概念を有するクリップの一部に対応するセグメントの一表示例を示す略線図、図５Ｃは、時間概念を有さないクリップのセグメントの一表示例を示す略線図である。セグメントのＲＧＢ値の算出方法の一例について説明するための略線図である。セグメントのＲＧＢ値の算出方法の一例について説明するための略線図である。図８Ａは、この発明の第２の実施形態によるセグメントの一例を示す略線図、図８Ｂは、この発明の第２の実施形態によるＧＵＩ画面の一例を示す略線図である。図９Ａは、時間概念を有するクリップ全体に対応するセグメントの一表示例を示す略線図、図９Ｂは、時間概念を有するクリップの一部に対応するセグメントの一表示例を示す略線図、時間概念を有さないクリップのセグメントの一表示例を示す略線図である。プログレスラインの表示方法の一例を説明するための略線図である。図１１Ａは、この発明の第３の実施形態によるセグメントの一例を示す略線図、図１１Ｂは、この発明の第３の実施形態によるＧＵＩ画面の一例を示す略線図である。ＣＰＵの合成処理動作を説明するためのブロック図である。従来のノンリニア編集を説明するための編集画面である。従来のノンリニア編集を説明するための編集画面である。

符号の説明

１編集装置
２ＣＰＵ
３ＤＲＡＭ
４グラフィック部
５ＶＲＡＭ
６ディスプレイ
７入力装置
８ＲＯＭ(Read Only Memory)
９ハードディスクドライブ
１０バス
２１ＧＵＩ画面
２２トラック
２３セグメント
２３ａ対角線

Claims

時間概念を有する素材、および時間概念を有さない素材の全体または部分に対応した写像を画面上に時系列的に配列するステップを備え、
上記時間概念を有する素材の全体または部分に対応した写像を画面上に配列するときには、上記素材全体に対応する写像に先端から終端まで設定されるグラデーションのうち、上記配列される写像に対応する区間に設定されるグラデーションを上記配列される写像に付し、
上記時間概念を有さない素材の全体または部分に対応した写像を画面上に配列するときには、先端から終端までの同一調の色を上記配列される写像に付す画像表示方法。
上記写像は矩形状を有し、
上記時間概念を有する素材の全体または部分に対応した写像を画面上に配列するときに、上記素材全体に対応する写像の対角線のうち、上記配列される写像に対応する区間に付される部分を上記配列される写像にさらに付す請求項１記載の画像表示方法。
上記素材全体に対応する写像に設定されるグラデーションのうち、先端側のグラデーションの色と、上記素材全体に対応する写像の対角線のうち、上記配列される写像に対応する区間に付される部分の色とを同一色とする請求項１記載の画像表示方法。
上記写像に付されるグラデーションに透過率を付加するようにした請求項１記載の画像表示方法。
上記グラデーションを上記配列される写像に付す第１の表示モードと、
上記グラデーションを上記配列される写像に付さないようにする第２の表示モードと、
を備える請求項１記載の画像表示方法。
時間概念を有する素材、および時間概念を有さない素材の全体または部分に対応した写像を画面上に時系列的に配列するステップを備え、
上記時間概念を有する素材の全体または部分に対応した写像を画面上に配列するときには、上記素材全体に対応する写像に先端から終端まで設定されるグラデーションのうち、上記配列される写像に対応する区間に設定されるグラデーションを上記配列される写像に付し、
上記時間概念を有さない素材の全体または部分に対応した写像を画面上に配列するときには、先端から終端までの同一調の色を上記配列される写像に付す画像表示方法をコンピュータ装置に実行させる画像表示プログラム。
上記写像は矩形状を有し、
上記時間概念を有する素材の全体または部分に対応した写像を画面上に配列するときに、上記素材全体に対応する写像の対角線のうち、上記配列される写像に対応する区間に付される部分を上記配列される写像にさらに付す請求項６記載の画像表示プログラム。
上記素材全体に対応する写像に設定されるグラデーションのうち、先端側のグラデーションの色と、上記素材全体に対応する写像の対角線のうち、上記配列される写像に対応する区間に付される部分の色とを同一色とする請求項６記載の画像表示プログラム。
上記写像に付されるグラデーションに透過率を付加するようにした請求項６記載の画像表示プログラム。
上記グラデーションを上記配列される写像に付す第１の表示モードと、
上記グラデーションを上記配列される写像に付さないようにする第２の表示モードと、
を備える請求項６記載の画像表示プログラム。
情報を表示する表示手段と、
時間概念を有する素材、および時間概念を有さない素材を記憶する記憶手段と、
上記時間概念を有する素材、および上記時間概念を有さない素材の全体または部分に対応した写像を上記表示手段に時系列的に配列して表示する表示制御手段と
を備え、
上記時間概念を有する素材の全体または部分に対応した写像を画面上に配列するときには、上記素材全体に対応する写像に先端から終端まで設定されるグラデーションのうち、上記配列される写像に対応する区間に設定されるグラデーションを上記配列される写像に付し、
上記時間概念を有さない素材の全体または部分に対応した写像を画面上に配列するときには、先端から終端までの同一調の色を上記配列される写像に付す編集装置。
上記写像は矩形状を有し、
上記時間概念を有する素材の全体または部分に対応した写像を画面上に配列するときに、上記素材全体に対応する写像の対角線のうち、上記配列される写像に対応する区間に付される部分を上記配列される写像にさらに付す請求項１１記載の編集装置。
上記素材全体に対応する写像に設定されるグラデーションのうち、先端側のグラデーションの色と、上記素材全体に対応する写像の対角線のうち、上記配列される写像に対応する区間に付される部分の色とを同一色とする請求項１１記載の編集装置。
上記写像に付されるグラデーションに透過率を付加するようにした請求項１１記載の編集装置。
上記表示制御手段を操作するための操作手段をさらに有し、
上記表示制御手段は、ユーザによる上記操作手段の操作に応じて、上記写像に上記グラデーションを付して表示する第１の表示モードと、上記写像に上記グラデーションを付さずに表示する第２の表示モードとを切り替える請求項１１記載の編集装置。