JP3200819B2 - 画像表示方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像表示技術に関し、
特に、多数の映像情報を持つデータベースのデータを、
３次元コンピュータ・グラフィックス（以下、ＣＧと称
する）上に表示する方法及び装置に適用して有効な技術
に関するものである。

【０００２】

【従来の技術】従来、３次元ＣＧに映像を表示する際に
は、２次元的映像表示方法、キーワードにより映像情報
を検索して表示する映像表示方法又は映像情報とそのリ
ンクのみを表示する映像表示方法等を用いていた。

【０００３】前記２次元的映像表示方法とは、映像から
代表的な静止画像を抽出し、前記抽出された静止画像を
紙面又はディスプレイ上に平面的に並べて表示する方法
であり、ディスプレイ上に前記静止画像を並べる際に
は、該静止画像が重ならない様にメニュー形式で表示す
ることが多い。

【０００４】また、キーワードにより映像情報を検索し
て表示する映像表示方法は、各映像に該映像を検索する
為のキーワードを設定し、前記キーワードを映像情報の
一部として蓄積しておき、表示したい映像のキーワード
を基に前記映像情報内を検索して、前記検索した映像を
表示する方法である。

【０００５】前記の映像情報とそのリンクのみを表示す
る映像表示方法とは、ディスプレイ上に静止画像を表示
すると同時に、前記静止画像に関連する他の静止画像へ
のリンクとして、前記静止画像に関連する他の静止画像
の格納場所を蓄積している方法であり、ある静止画像に
関連する静止画像を選択して他の映像情報を引き出す場
合には、現在表示されている静止画像に埋め込まれたリ
ンクをたどり、他の静止画像の表示を行っている。

【０００６】前記の映像表示方法で、特定の静止画像の
表示から他の静止画像の表示に移動する場合には、２次
元的にメニューに表示された他の静止画像を選択する
か、他のキーワードによって他の静止画像を検索する
か、又は、現在表示されている静止画像のリンクをたど
って他の静止画像へ移動する等の、予め定められた特定
の映像情報への離散的な移動に限られていた。

【０００７】

【発明が解決しようとする課題】本発明者は、前記従来
技術を検討した結果、以下の問題点を見い出した。

【０００８】（１）従来の２次元的映像表示方法では、
複数の静止画像を重ならない様に並べて表示し、その付
加情報の多くは表示されていなかった為、複数の映像及
びその付加情報の表示効率が悪いという問題があった。

【０００９】（２）従来の映像情報とそのリンクのみを
表示する映像表示方法では、ある映像情報に関連する映
像情報は、そのリンクで表されている為、前記リンクに
よって関連付けられた映像情報空間の把握及び複数の映
像情報間の関係が一度に表示できないという問題があっ
た。

【００１０】（３）前記２次元的映像表示方法のメニュ
ーやキーワードサーチによって映像を選択したり、前記
の映像情報とそのリンクのみを表示する映像表示方法で
映像情報を引き出すリンクをたどった場合には、予めメ
ニューに表示された映像やキーワードやリンクが設定さ
れた映像が選択の対象となる為、メニュー、キーワード
及びリンクによる選択対象となっていない映像情報を検
索することができないという問題があった。

【００１１】（４）従来の離散的な情報散策である、前
記２次元的映像表示方法や前記の映像情報とそのリンク
のみを表示する映像表示方法では、ある映像情報から他
の映像情報への移動先は、２次元的に表示された映像情
報又はリンクの設定された映像情報に限られていた為、
ある映像情報から、２次元的に表示されていない映像や
リンクの設定されていない映像に移動する映像情報空間
の横断的見方を行うことができないという問題があっ
た。

【００１２】本発明の目的は、複数の映像及びその付加
情報の表示効率を向上することが可能な技術を提供する
ことにある。

【００１３】本発明の他の目的は、複数の映像が表示さ
れる映像情報空間の視覚的把握が可能な技術を提供する
ことにある。

【００１４】本発明の他の目的は、時間的及び論理的に
つながりのある映像の表示を行うことが可能な技術を提
供することにある。

【００１５】本発明の他の目的は、複数の映像が表示さ
れる映像情報空間の任意の映像を選択して表示すること
が可能な技術を提供することにある。

【００１６】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【００１７】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。

【００１８】（１）３次元ＣＧ上に映像を表示する画像
表示方法であって、複数の動画像から複数の静止画像を
抽出し、前記複数の静止画像に付随する関係情報を抽出
し、前記複数の静止画像の時間的なつながりを示す時系
列リンクを作成し、前記複数の静止画像の論理的なつな
がりを示すハイパーリンクを作成し、複数の静止画像と
該静止画像に付随する関係情報と前記時系列リンクと前
記ハイパーリンクを蓄積し、前記複数の静止画像と該静
止画像に付随する関係情報を、前記時系列リンク及び前
記ハイパーリンクに基づいて前記３次元ＣＧ上に配置し
て表示するものである。

【００１９】（２）前記（１）の画像表示方法におい
て、前記複数の動画像から抽出された複数の静止画像
は、該動画像の各場面の映像を代表する複数の代表場面
となるものである。

【００２０】（３）前記（１）又は（２）の画像表示方
法において、前記時系列リンクの作成は、前記複数の静
止画像の中の所定の静止画像に対して時間的につながり
のある別の静止画像の識別コードを前記所定の静止画像
のデータに蓄積して行い、前記ハイパーリンクの作成
は、前記複数の静止画像の中の所定の静止画像に対して
任意の静止画像を選択し、前記選択された静止画像の識
別コードを前記所定の静止画像のデータに蓄積して行う
ものである。

【００２１】（４）３次元ＣＧ上に映像を表示する画像
表示方法であって、複数の動画像から複数の静止画像を
抽出し、前記複数の静止画像に付随する関係情報を抽出
し、前記複数の静止画像の時間的なつながりを示す時系
列リンクを作成し、前記複数の静止画像の論理的なつな
がりを示すハイパーリンクを作成し、複数の静止画像と
該静止画像に付随する関係情報と前記時系列リンクと前
記ハイパーリンクを蓄積し、前記蓄積された複数の静止
画像と該静止画像に付随する関係情報とを、コンピュー
タ内に仮想的に生成された３次元仮想空間内の３次元の
物体である３次元ＣＧオブジェクトに合成し、前記静止
画像と関係情報が合成された複数の３次元ＣＧオブジェ
クトを前記蓄積された各時系列リンクと各ハイパーリン
クに基づいて前記３次元仮想空間内に配置し、前記３次
元仮想空間内の所定の視点位置から見た３次元ＣＧオブ
ジェクト群を表示し、複数の映像間の関係を可視化する
ものである。

【００２２】（５）前記（４）の画像表示方法におい
て、前記３次元ＣＧオブジェクトをコンピュータ内に仮
想的に生成された３次元仮想空間内に配置する際に、前
記時系列リンクによってつながれた複数の３次元ＣＧオ
ブジェクトを配置する場合には、該３次元ＣＧオブジェ
クトを互いに隣接して配置し、前記ハイパーリンクによ
ってつながれた複数の３次元ＣＧオブジェクトを配置す
る場合には、該３次元ＣＧオブジェクトを予め定められ
た一定距離まで互いに接近させて配置するものである。

【００２３】（６）前記（４）又は（５）の画像表示方
法において、前記３次元仮想空間内の所定の視点位置か
ら見た３次元ＣＧオブジェクト群を表示する際に、前記
視点位置を入力し、該入力された視点位置に基づいて前
記３次元仮想空間内の視点位置を変更し、前記変更され
た視点位置から眺めた３次元ＣＧオブジェクト群を表示
し、任意の視点位置から見た複数の映像間の関係を可視
化するものである。

【００２４】

【作用】前述した手段によれば、まず、３次元ＣＧ上に
表示される複数の動画像から複数の静止画像を抽出する
と共に、前記複数の静止画像に付随する関係情報を抽出
する。

【００２５】次に、前記抽出された複数の静止画像の時
間的なつながりを示す時系列リンクと、前記複数の静止
画像の論理的なつながりを示すハイパーリンクを作成す
る。

【００２６】前記複数の静止画像と該静止画像に付随す
る関係情報と前記時系列リンクと前記ハイパーリンクを
データベースに蓄積する。

【００２７】前記データベースに蓄積された前記複数の
静止画像と該静止画像に付随する関係情報を、前記時系
列リンクに基づいて前記３次元ＣＧ上に時系列に並べて
配置した後、前記ハイパーリンクに基づいて論理的なつ
ながりのある静止画像同志を接近させて配置して表示す
る。

【００２８】前記動画像から抽出された複数の静止画像
は、前記複数の映像中の代表的な場面である複数の代表
場面であるものとし、また、前記複数の静止画像の関係
情報は、前記動画像の情報から抽出された前記複数の静
止画像の題名、ユーザのコメント、該映像のカテゴリー
等の情報であるものとする。

【００２９】ここで、前記代表場面を抽出する方法に特
に指定は無く、例えば、前記動画像におけるシーンチェ
ンジを基に代表場面を抽出したり、また、前記動画像中
の一定時間毎の場面を基に代表場面を抽出しても良い。

【００３０】前記時系列リンクの作成は、前記複数の静
止画像の中の所定の静止画像に対し時間的につながりの
ある別の静止画像の識別コードを前記所定の静止画像の
データに蓄積して行う。

【００３１】前記ハイパーリンクの作成は、前記複数の
静止画像の中の所定の静止画像に対して任意の静止画像
を選択し、前記選択された静止画像の識別コードを前記
所定の静止画像のデータに蓄積して行う。

【００３２】以上の様に、複数の静止画像を該静止画像
に付随する関係情報と共に時間的又は論理的なつながり
を基に並べて表示するので、複数の映像及びその付加情
報の表示効率を向上することが可能である。

【００３３】また、３次元ＣＧ上に表示する複数の動画
像から複数の静止画像を抽出し、前記複数の静止画像に
付随する関係情報を抽出し、前記複数の静止画像の時間
的なつながりを示す時系列リンクを作成し、前記複数の
静止画像の論理的なつながりを示すハイパーリンクを作
成し、複数の静止画像と該静止画像に付随する関係情報
と前記時系列リンクと前記ハイパーリンクをデータベー
スに蓄積する。

【００３４】次に、前記蓄積された複数の静止画像と該
静止画像に付随する関係情報とを、コンピュータ内に仮
想的に生成された３次元仮想空間内の３次元の物体であ
る３次元ＣＧオブジェクトに合成する。

【００３５】例えば、直方体の３次元ＣＧオブジェクト
の各面に、ある静止画像と該静止画像の題名、ユーザの
コメント、時系列上の時間データ等を合成する。

【００３６】次に、前記静止画像と関係情報が合成され
た複数の３次元ＣＧオブジェクトを前記時系列リンク及
び前記ハイパーリンクに基づいて前記３次元仮想空間内
に配置する。

【００３７】前記３次元仮想空間内の所定の視点位置か
ら見た前記複数の３次元ＣＧオブジェクト群を表示し、
前記複数の３次元ＣＧオブジェクト間の関係を表示する
ことによって、複数の映像間の関係を可視化する。

【００３８】以上の様に、前記静止画像を合成した複数
の３次元ＣＧオブジェクトを３次元ＣＧ上に配置して複
数の映像間の関係を可視化するので、前記複数の３次元
ＣＧオブジェクトが表示される映像情報空間の視覚的把
握が可能である。

【００３９】また、前記３次元ＣＧオブジェクトをコン
ピュータ内に仮想的に生成された３次元仮想空間内に配
置する際に、前記時系列リンクによってつながれた複数
の３次元ＣＧオブジェクトを配置する場合には、前記時
系列リンクによってつながれた３次元ＣＧオブジェクト
同志を互いに隣接して配置する。

【００４０】次に、前記時系列リンクによって配置され
た３次元ＣＧオブジェクトの中に、前記ハイパーリンク
によってつながれた３次元ＣＧオブジェクトが存在する
場合には、前記ハイパーリンクによってつながれた３次
元ＣＧオブジェクト同志を予め定められた一定距離まで
互いに接近させて配置する。

【００４１】以上の様に、前記複数の３次元ＣＧオブジ
ェクトを、前記時系列リンク及びハイパーリンクに基づ
いて接近させて配置するので、時間的及び論理的につな
がりのある映像の表示を行うことが可能である。

【００４２】また、前記画像表示方法において、前記３
次元仮想空間内の所定の視点位置から見た３次元ＣＧオ
ブジェクト群を表示する際に、前記視点位置を入力し、
該入力された視点位置に基づいて前記３次元仮想空間内
の視点位置を変更し、前記変更された視点位置から眺め
た３次元ＣＧオブジェクト群を表示し、任意の視点位置
から見た複数の映像間の関係を可視化する。

【００４３】以上の様に、前記３次元仮想空間内の視点
位置を変更することによって前記３次元ＣＧ上の任意の
３次元ＣＧオブジェクトの映像を重点的に表示するの
で、複数の映像が表示される映像情報空間の任意の映像
を選択して表示することが可能である。

【００４４】

【実施例】以下、本発明について、実施例とともに図面
を参照して詳細に説明する。

【００４５】なお、実施例を説明する為の全図におい
て、同一機能を有するものは同一符号を付け、その繰り
返しの説明は省略する。

【００４６】図１は、本発明の画像表示方法を実施する
一実施例の装置の概略構成を示す図である。図１におい
て、１００はＣＰＵ、１１０はビデオ入力装置、１２０
はメモリ、１２１はサンプリング部、１２２は代表場面
切り出し部、１２３は合成部、１３０は外部記憶装置、
１３１は場面データ、１４０はグラフィカル・ユーザ・
インタフェース（ＧＵＩ）装置、１４１は配置部、１５
０は付加情報入力装置である。

【００４７】図１に示す様に、本実施例の画像表示方法
の実施装置は、映像を入力するビデオ入力装置１１０
と、ビデオ入力装置１１０によって入力された映像を処
理するプログラムを記憶したメモリ１２０と、映像の場
面データ１３１を蓄積したデータベースを格納する外部
記憶装置１３０と、場面データ１３１を表示するＧＵＩ
装置１４０と、ユーザからの指示を入力する付加情報入
力装置１５０と、ビデオ入力装置１１０とメモリ１２０
と外部記憶装置１３０とＧＵＩ装置１４０と付加情報入
力装置１５０の動作を制御するＣＰＵ１００を備えてい
る。

【００４８】本実施例の画像表示方法を実施する実施装
置では、ビデオ入力装置１１０から入力された映像をサ
ンプリング部１２１に送って前記映像をメモリ１２０に
記憶し、代表場面切り出し部１２２で前記映像から代表
的な静止画像を代表場面として抽出し、前記抽出された
代表場面を外部記憶装置１３０のデータベースに場面デ
ータ１３１として蓄積する。

【００４９】また、代表場面切り出し部１２２では、前
記代表場面の関係情報として、前記代表場面の題名、ユ
ーザのコメント、ユーザが用意したメニュー、映像のカ
テゴリー、前記代表場面の映像中の場所を示す時間デー
タ及び前記代表場面の配置位置の情報を抽出し、場面デ
ータ１３１に蓄積する。

【００５０】ここで、前記代表場面を抽出する方法に特
に指定は無く、例えば、前記入力された映像におけるシ
ーンチェンジを基に、場面転換の最初の画像を代表場面
として抽出したり、また、前記映像中の一定時間毎の場
面の画像を代表場面として抽出しても良い。

【００５１】外部記憶装置１３０のデータベースに蓄積
された場面データ１３１は、合成部１２３によって、Ｇ
ＵＩ装置１４０に表示されている３次元ＣＧ上の３次元
ＣＧオブジェクトに合成した後、配置部１４１によっ
て、前記３次元ＣＧ上に配置される。

【００５２】また、ユーザは付加情報入力装置１５０に
よって、ＧＵＩ装置１４０に表示される３次元ＣＧの視
点位置やハイパーリンクを形成する３次元ＣＧオブジェ
クトの指定を行う。

【００５３】（場面データの３次元ＣＧオブジェクトへ
の合成処理）以下に、本実施例の画像表示方法におい
て、映像の場面データを３次元仮想空間内の３次元ＣＧ
オブジェクトに合成する処理について説明する。

【００５４】図２は、本実施例の画像表示方法におい
て、場面データを３次元ＣＧオブジェクトに合成する処
理の概要を示す図である。図２において、２１０は映像
場面、２２０は付加情報、２３０はメディア情報、２４
０は３次元ＣＧオブジェクト、２４１は３次元ＣＧオブ
ジェクト２４０の正面、２４２は３次元ＣＧオブジェク
ト２４０の裏面、２４３は３次元ＣＧオブジェクト２４
０の上面、２４４及び２４５は３次元ＣＧオブジェクト
２４０の側面、２５１は音声再生エリア、２５２は映像
再生エリアである。

【００５５】図２に示す様に、本実施例の画像表示方法
の外部記憶装置１３０のデータベースに蓄積された場面
データ１３１は、代表場面である映像場面２１０と、付
加情報２２０と、メディア情報２３０で構成され、直方
体の３次元ＣＧオブジェクト２４０に場面データ１３１
が合成される。

【００５６】付加情報２２０は、関係情報及び属性情報
で構成されており、前記関係情報は、映像場面２１０の
題名、ユーザのコメント、ユーザが用意したメニュー、
映像のカテゴリー、映像場面２１０の映像中の場所を示
す時間データ及び映像場面２１０の配置位置を有し、前
記属性情報は、前記時系列リンク及び前記ハイパーリン
クによってつながれた他の場面データの識別コードを有
している。

【００５７】メディア情報２３０は、映像場面２１０に
付随したメディア情報であり、該場面データから時系列
リンクによってつながれた次の場面データまでの音声情
報及び映像情報で構成されている。この映像場面２１０
に付随したメディア情報２３０は、３次元ＣＧオブジェ
クト２４０の回りの空間にマッピングされており、付加
情報入力装置１５０によってユーザが３次元ＣＧオブジ
ェクト２４０の回りの座標を指示すると、前記指示され
た座標値が半径Ｒの音声再生エリア２５１内である場合
には前記音声情報が再生され、前記指示された座標値が
半径ｒの映像再生エリア２５２内の場合には前記映像情
報が再生される。

【００５８】本実施例の画像表示方法の合成部１２２で
は、場面データ１３１を３次元ＣＧオブジェクト２４０
に合成する。代表場面である映像場面２１０は、３次元
ＣＧオブジェクト２４０の正面２４１にカラー、裏面２
４２に白黒で合成される。

【００５９】映像場面２１０の付加情報２２０中の関係
情報である、映像場面２１０の映像中の場所を示す時間
データは、３次元ＣＧオブジェクト２４０の上面２４３
に合成され、映像場面２１０の題名、ユーザのコメン
ト、ユーザが用意したメニュー及び映像のカテゴリー
は、３次元ＣＧオブジェクト２４０の側面２４４及び側
面２４５に合成される。

【００６０】図３は、本実施例の画像表示方法におい
て、場面データが合成された３次元ＣＧオブジェクトの
概略を示す図である。図３において、３１０は映像場面
２１０の題名とコメントを合成した３次元ＣＧオブジェ
クト、３２０はユーザが用意したメニューと映像場面２
１０のカテゴリーを合成した３次元ＣＧオブジェクトで
ある。

【００６１】図３に示す様に、本実施例の画像表示方法
の３次元ＣＧオブジェクト３１０及び３次元ＣＧオブジ
ェクト３２０の正面２４１と裏面２４２には、代表場面
である映像場面２１０が合成されており、上面２４３に
は、映像場面２１０の映像中の位置である時間が合成さ
れている。

【００６２】３次元ＣＧオブジェクト３１０の側面２４
４及び側面２４５には、映像場面２１０の題名、ユーザ
のコメントが合成され、３次元ＣＧオブジェクト３２０
の側面２４４及び側面２４５には、ユーザの用意したメ
ニューと映像場面２１０のカテゴリーが合成されてお
り、図３に示す様に、本実施例の画像表示方法では、そ
の関係情報により、合成する情報の内容を選択しても良
い。

【００６３】以上の様に、本実施例の画像表示方法によ
れば、複数の静止画像を該静止画像に付随する関係情報
と共に表示するので、複数の映像及びその付加情報の表
示効率を向上することが可能である。

【００６４】（３次元ＣＧオブジェクトの配置処理）以
下に、本実施例の画像表示方法において、場面データを
合成した３次元ＣＧオブジェクトを時系列リンクに基づ
いて３次元仮想空間内に配置する処理手順について説明
する。

【００６５】図４は、本実施例の画像表示方法におい
て、場面データを合成した３次元ＣＧオブジェクトを時
系列リンクに基づいて配置する処理手順を示すフローチ
ャートである。

【００６６】図４に示す様に、本実施例の画像表示方法
では、時間的につながりのある映像場面２１０を合成し
た複数の３次元ＣＧオブジェクトを、その付加情報２２
０の属性情報である時系列リンクに基づいてコンピュー
タ内の仮想的な３次元仮想空間内に配置する。

【００６７】ステップ４０１の処理では、場面データ１
３１の付加情報２２０の関係情報内に蓄積されている、
映像場面２１０の映像中の場所を示す時間データを参照
し、時系列リンクによってつながれた各代表場面の内、
時間的に最初であるエントリー場面を取り出す。

【００６８】次に、ステップ４０２の処理では、前記取
り出されたエントリー場面の場面データ１３１の付加情
報２２０の関係情報内に蓄積されている配置位置を読み
出し、該３次元ＣＧオブジェクトを前記３次元仮想空間
内に配置する。

【００６９】ステップ４０３の処理では、配置した場面
データ１３１の付加情報２２０の属性情報内の時系列リ
ンクを調べ、該代表場面が他の代表場面と時間的につな
がりがあるかどうかを調べる。

【００７０】該代表場面が他の代表場面と時間的につな
がりがある場合には、ステップ４０４の処理で、該時系
列リンクに蓄積された他の代表場面への識別コードを参
照し、前記の他の代表場面の場面データ１３１が合成さ
れた３次元ＣＧオブジェクトを、該代表場面の場面デー
タ１３１が合成された３次元ＣＧオブジェクトから一定
の距離ｔだけ離れた位置に配置する。

【００７１】次に、ステップ４０３の処理に戻り、前記
時系列リンクによってつながれた代表場面を合成した全
ての３次元ＣＧオブジェクトについて、前記３次元仮想
空間内への配置を行う。

【００７２】ステップ４０３の処理で、前記時系列リン
クによってつながれた代表画面を合成した３次元ＣＧオ
ブジェクトがなくなった場合には、ステップ４０１の処
理に戻り、他の時系列リンクによってつながれた最初の
代表場面であるエントリー場面を探し、前記エントリー
場面が見つからない場合には処理を終了する。

【００７３】図５は、本実施例の画像表示方法におい
て、時系列リンクに基づいて３次元ＣＧオブジェクトを
配置する過程を示す図である。図５において、５１０〜
５６０は３次元ＣＧオブジェクトの並びを示す配置段階
である。

【００７４】図５に示す様に、本実施例の画像表示方法
の３次元ＣＧオブジェクトを配置する過程では、エント
リー場面を合成した３次元ＣＧオブジェクトの位置指定
を行う配置段階５１０から始まり、配置段階５２０から
配置段階５４０を経て時系列リンクに基づいた３次元Ｃ
Ｇオブジェクトの配置を行う。

【００７５】もし、時系列に基づいた配置を行った３次
元ＣＧオブジェクトの中に、ハイパーリンクによってつ
ながれた３次元ＣＧオブジェクトが存在する場合には、
配置段階５５０の様にハイパーリンクによる並びを作成
し、配置段階５６０の様に、ハイパーリンクに基づいた
３次元ＣＧオブジェクトの配置を行う。

【００７６】本実施例の画像表示方法では、付加情報入
力装置１５０によって特定の３次元ＣＧオブジェクトを
指示して、論理的なつながりであるハイパーリンクを作
成している。前記ハイパーリンクが作成されると、それ
まで表示されていた時系列リンクに基づいた３次元ＣＧ
オブジェクトの配置位置が変更される。

【００７７】図６は、本実施例の画像表示方法におい
て、ハイパーリンクに基づいて３次元ＣＧオブジェクト
の配置位置を更新する処理手順を示すフローチャートで
ある。

【００７８】本実施例の画像表示方法では、ハイパーリ
ンクの存在を調べて前記ハイパーリンクによってつなが
れた３次元ＣＧオブジェクトの配置位置を変更した後、
前記配置位置の変更よって影響を受ける他の３次元ＣＧ
オブジェクトの配置位置の更新を行う処理を一定時間毎
に繰り返す。

【００７９】以下に、本実施例の画像表示方法におい
て、時系列リンクに基づいて配置された３次元ＣＧオブ
ジェクトの配置位置をハイパーリンクに基づいて更新す
る処理手順について説明する。

【００８０】図６に示す様に、ステップ６０１の処理で
は、３次元ＣＧオブジェクトの論理的なつながりを示す
ハイパーリンクが存在しているかどうかを調べる。

【００８１】前記ハイパーリンクが存在する場合には、
ステップ６０２の処理で、全てのハイパーリンクについ
て、前記ハイパーリンクによってつながれた複数の３次
元ＣＧオブジェクトのハイパー関数を計算し、新しい配
置位置を最急降下法により求める。

【００８２】ステップ６０３の処理では、前記の求めら
れた配置位置に前記ハイパーリンクによってつながれた
３次元ＣＧオブジェクトを移動する。

【００８３】次に、ステップ６０４の処理では、前記の
移動した３次元ＣＧオブジェクトから時系列リンクによ
ってつながれた３次元ＣＧオブジェクトが存在するかど
うかを調べる。

【００８４】前記の移動した３次元ＣＧオブジェクトか
ら時系列リンクによってつながれた３次元ＣＧオブジェ
クトが存在する場合には、ステップ６０５の処理で、前
記時系列リンクによってつながれた複数の３次元ＣＧオ
ブジェクトの時系列関数を計算し、新しい配置位置を最
急降下法により求める。

【００８５】ステップ６０６の処理では、前記の求めら
れた配置位置に前記時系列リンクによってつながれた３
次元ＣＧオブジェクトを移動する。

【００８６】次に、ステップ６０４の処理に戻って、前
記の求められた配置位置に移動された３次元ＣＧオブジ
ェクトに時系列リンクによってつながれた他の３次元Ｃ
Ｇオブジェクトが存在するかどうかを調べる。

【００８７】前記の様にして、前記ハイパーリンクの作
成によって移動された３次元ＣＧオブジェクトの時系列
リンクによってつながれた全ての３次元ＣＧオブジェク
トの移動を行う処理を一定時間毎に繰り返す。

【００８８】以下に、本実施例の画像表示方法における
ハイパー関数について説明する。

【００８９】本実施例の画像表示方法におけるハイパー
関数とは、３次元仮想空間内に配置された複数の３次元
ＣＧオブジェクト間に仮想的に生じる力を定義する関数
であり、ハイパーリンクによってつながれた２つの３次
元ＣＧオブジェクト間では仮想的な引力が働き、ハイパ
ーリンクによってつながれていない２つの３次元ＣＧオ
ブジェクト間では仮想的な斥力が働いている。

【００９０】例えば、本実施例の画像表示方法では、図
５に示す様に、３次元ＣＧオブジェクトｂの代表場面
と、３次元ＣＧオブジェクトａの代表場面との間にハイ
パーリンクが作成されており、前記ハイパーリンクの間
には

【００９１】

【数１】

【００９２】の引力が働いている。ここで、Ｈ（ａ、
ｂ）は、ハイパーリンクによってつながれた３次元ＣＧ
オブジェクトａと３次元ＣＧオブジェクトｂとの間に生
じている引力、ｒは３次元ＣＧオブジェクトａと３次元
ＣＧオブジェクトｂとの間の距離、ｈはハイパーリンク
によってつながれた２つの３次元ＣＧオブジェクトの間
の理想的な距離、Ａ及びＢは定数である。

【００９３】また、３次元ＣＧオブジェクトａと３次元
ＣＧオブジェクトｂとの間に前記のハイパーリンクが定
義されていない場合には、前記２つの３次元ＣＧオブジ
ェクト間には、

【００９４】

【数２】

【００９５】の斥力が働く。ここで、Ｇ（ａ、ｂ）は、
ハイパーリンクによってつながれていない３次元ＣＧオ
ブジェクトａと３次元ＣＧオブジェクトｂとの間に生じ
ている斥力、Ｃは定数である。

【００９６】前記ハイパー関数による力が３次元仮想空
間内の全ての３次元ＣＧオブジェクトに対して生じてい
るので、前記３次元仮想空間内には、前記ハイパー関数
による力の場であるポテンシャルが発生しており、前記
３次元仮想空間内の各３次元ＣＧオブジェクトは、前記
ポテンシャルが最も低い配置位置で最も安定することに
なる。

【００９７】そこで、本実施例の画像表示方法では、あ
る特定の３次元ＣＧオブジェクトにハイパーリンクを作
成したときに、前記作成されたハイパーリンクによって
変化したポテンシャル状態の最も低い座標を前記最急降
下法により求め、前記求められた座標を前記３次元ＣＧ
オブジェクトの配置位置としている。

【００９８】ここで、最急降下法とは、ある関数の極小
値を求める方法の１つであり、ある関数の微分値の負の
方向に座標を小刻みに変化させて、前記関数の極小値を
求める方法である。

【００９９】例えば、図５に示す様に、本実施例の画像
表示方法の配置段階５５０で、３次元ＣＧオブジェクト
ａとハイパーリンクによってつながれた３次元ＣＧオブ
ジェクトｂは、３次元ＣＧオブジェクトａと３次元ＣＧ
オブジェクトｂとの間に働く引力により、３次元ＣＧオ
ブジェクトａの配置位置方向に移動するが、あまり３次
元ＣＧオブジェクトａに近付き過ぎると、３次元ＣＧオ
ブジェクトａのまわりの３次元ＣＧオブジェクトから斥
力を受けるので、最終的に、３次元ＣＧオブジェクトａ
との距離がｒ＝ｈである配置位置の近傍に配置される。

【０１００】前記ハイパーリンクが作成された３次元Ｃ
Ｇオブジェクトが移動するのに伴って、時系列リンクに
よってつながれた他の３次元ＣＧオブジェクトの配置位
置も変わる。

【０１０１】前記時系列リンクによってつながれた２つ
の３次元ＣＧオブジェクトの間には、以下の時系列関数
による引力が生じている。

【０１０２】

【数３】

【０１０３】ここで、Ｔ（ａ、ｂ）は時系列リンクによ
ってつながれた３次元ＣＧオブジェクトａと３次元ＣＧ
オブジェクトｂの間に生じる引力、ｔは時系列リンクに
よってつながれた２つの３次元ＣＧオブジェクトの間の
理想的な距離である。

【０１０４】前記時系列関数によって生じる引力は、前
記時系列リンクによってつながれた２つの３次元ＣＧオ
ブジェクトの間にしか生じないが、全ての３次元ＣＧオ
ブジェクトは、前記ハイパー関数の影響を受けるので、
前記時系列リンクによってつながれた３次元ＣＧオブジ
ェクトの配置位置も、前記最急降下法を用いて求めてい
る。

【０１０５】前記ハイパーリンクによる３次元ＣＧオブ
ジェクトの移動に伴い、時系列リンクによってつながれ
た３次元ＣＧオブジェクトは、前記ハイパー関数及び前
記時系列関数によって発生するポテンシャルが最小とな
る様に移動することになる。また、時間的につながりの
ある代表場面は、連続したシーンを提示できる様に、ス
プライン補間され常に滑らかな列となって配置される。

【０１０６】図５に示す様に、本実施例の画像表示方法
の配置段階５６０では、３次元ＣＧオブジェクトｂは最
終的にｒ＝ｈの位置に配置されている。

【０１０７】図７は、本実施例の画像表示方法の３次元
仮想空間内に配置された複数の３次元ＣＧオブジェクト
に新たにハイパーリンクが加えられる過程を示す図であ
る。図７において、７１０〜７５０は３次元ＣＧオブジ
ェクトである。

【０１０８】図７に示す様に、本実施例の画像表示方法
では、３次元ＣＧオブジェクト７１０と３次元ＣＧオブ
ジェクト７２０、並びに、３次元ＣＧオブジェクト７１
０と３次元ＣＧオブジェクト７３０が、時系列リンクに
よってつながれており、また、３次元ＣＧオブジェクト
７１０と３次元ＣＧオブジェクト７４０が、ハイパーリ
ンクによってつながれている。

【０１０９】このときユーザが、３次元ＣＧオブジェク
ト７１０と３次元ＣＧオブジェクト７５０にハイパーリ
ンクを作成すると、３次元ＣＧオブジェクト７１０と３
次元ＣＧオブジェクト７５０との間に引力が働き、３次
元ＣＧオブジェクト７５０と３次元ＣＧオブジェクト７
２０との間、３次元ＣＧオブジェクト７５０と３次元Ｃ
Ｇオブジェクト７３０との間、並びに、３次元ＣＧオブ
ジェクト７５０と３次元ＣＧオブジェクト７４０との間
に斥力が働く。

【０１１０】２つの３次元ＣＧオブジェクトに働く引
力、又は、斥力を加え合わせた値が最小となる座標を前
記最急降下法により求める。

【０１１１】すなわち、数１を微分した、

【０１１２】

【数４】

【０１１３】と、数２を微分した、

【０１１４】

【数５】

【０１１５】に従ってｒを更新し、３次元ＣＧオブジェ
クト７５０の座標を移動して、前記の引力と斥力の和が
最小となる座標を求め、前記求められた座標に３次元Ｃ
Ｇオブジェクト７５０を配置する。

【０１１６】本実施例の画像表示方法において、２つの
３次元ＣＧオブジェクト間に働く斥力の有効範囲は、ｒ
＝２ｈの距離の領域である。前記領域に働く斥力によっ
て、３次元ＣＧオブジェクト７２０、３次元ＣＧオブジ
ェクト７３０、３次元ＣＧオブジェクト７４０及び３次
元ＣＧオブジェクト７５０が互いに反発し合い、図７に
示す様に、前記３次元ＣＧオブジェクトの３次元仮想空
間内の配置位置が変わっている。

【０１１７】図８は、本実施例の画像表示方法におけ
る、３次元ＣＧオブジェクトの配置例を示す図である。
図８において、８１０〜８３０は複数の３次元ＣＧオブ
ジェクトの並びを示す配置である。

【０１１８】図８に示す様に、本実施例の画像表示方法
による複数の３次元ＣＧオブジェクトの配置では、時系
列リンクに基づいて３次元ＣＧオブジェクトを並べた配
置８１０、ハイパーリンクに基づいて３次元ＣＧオブジ
ェクトを並べた配置８２０、及び、時系列リンクとハイ
パーリンクに基づいて３次元ＣＧオブジェクトを並べた
配置８３０がある。

【０１１９】時系列リンクに基づいて３次元ＣＧオブジ
ェクトを並べた配置８１０では、複数の代表場面を、そ
の時間が経過する方向に配置するので、時間方向の映像
内容の一覧性に優れた配置となっており、映像の内容の
把握を促進している。

【０１２０】また、ハイパーリンクに基づいて３次元Ｃ
Ｇオブジェクトを並べた配置８２０では、論理的に関連
付けられた代表場面同志がハイパーリンクにより接近し
た位置に配置される為、１つの代表場面を見ている際
に、周辺視によって前記代表場面に関連した情報を見る
ことが可能で、人が立っている代表場面の周辺に、その
人の車や家の近所の風景等を見ることができる。

【０１２１】また、時系列リンクとハイパーリンクに基
づいて３次元ＣＧオブジェクトを並べた配置８３０で
は、３次元仮想空間内を移動して視点位置を変え、代表
場面の配置を遠くから見ることにより映像情報の構造を
把握することが可能であり、中央の代表場面に、他の２
つの関連情報があることが分かる。

【０１２２】以上の様に、本実施例の画像表示方法によ
れば、前記静止画像を合成した複数の３次元ＣＧオブジ
ェクトを３次元ＣＧ上に配置して複数の映像間の関係を
可視化するので、前記複数の３次元ＣＧオブジェクトが
表示される映像情報空間の視覚的把握が可能である。

【０１２３】また、本実施例の画像表示方法によれば、
前記複数の３次元ＣＧオブジェクトを、前記時系列リン
ク及びハイパーリンクに基づいて接近させて配置するの
で、時間的及び論理的につながりのある映像の表示を行
うことが可能である。

【０１２４】（３次元ＣＧオブジェクト表示の変更処
理）以下に、本実施例の画像表示方法において、３次元
仮想空間内の視点位置を入力して３次元ＣＧオブジェク
トの表示を変更する処理について説明する。

【０１２５】図９は、本実施例の画像表示方法におい
て、３次元仮想空間内の視点位置を変更した場合の３次
元ＣＧオブジェクトの表示の変化を示す図である。図９
において、９０１は中央の３次元ＣＧオブジェクトの並
びを示す映像シーケンス、９０２は左側の３次元ＣＧオ
ブジェクトの並びを示す映像シーケンス、９０３は右側
の３次元ＣＧオブジェクトの並びを示す映像シーケン
ス、９１０〜９８０は視点位置を変更したときの３次元
ＣＧオブジェクトの表示である。

【０１２６】図９に示す様に、本実施例の画像表示方法
では、ユーザは、付加情報入力装置１５０から視点位置
を入力することによって、３次元仮想空間内の視点位置
を変更し、仮想的にユーザが３次元仮想空間内を自由に
散策しているかの様に、３次元ＣＧオブジェクトの表示
を変更している。

【０１２７】本実施例の画像表示方法では、前記３次元
仮想空間内の視点位置の入力は、付加情報入力装置１５
０に備えられた上下左右の４つの方向を入力する４つの
ボタンによって行い、上方向のボタンを押し続けると視
点位置は画面の奥に進み、下方向のボタンを押し続ける
と視点位置は画面の手前に戻り、左右のボタンを押し続
けると視点位置は左右に移動する。

【０１２８】図９に示す様に、本実施例の画像表示方法
では、始めに表示９１０の様に、遠くの視点位置から代
表場面群を見ている。次に、表示９２０の様に視点位置
を中央の映像シーケンス９０１に移動させ、次に、表示
９３０の様に左側の映像シーケンス９０２へのハイパー
リンクに沿って視点位置を移動させ、表示９４０及び表
示９５０の様に左側の映像シーケンス９０２を見てい
る。

【０１２９】続いて、表示９６０の様に左側の映像シー
ケンス９０２の代表場面の間を通過し、視点位置を中央
の映像シーケンス９０１に移動すると、表示９７０の様
に、左側の映像シーケンス９０２は視点位置の後方に移
動して、表示画面から消える。

【０１３０】更に中央の映像シーケンス９０１を横断し
て、視点位置を右側の映像シーケンス９０３に移動する
と、表示９８０の様に、中央の映像シーケンス９０１の
一部は、視点位置の後方に移動して表示されなくなり、
右側の映像シーケンス９０３が大きく表示される。

【０１３１】この様に、本実施例の画像表示方法では、
３次元仮想空間内を自由に移動することにより、ハイパ
ーリンクに依存せずに横断的に映像情報を見ることがで
きている。

【０１３２】図１０は、本実施例の画像表示方法におい
て、３次元ＣＧ上に表示された代表画面を示す図であ
る。

【０１３３】図１０に示す様に、本実施例の画像表示方
法を実施するＧＵＩ装置１４０のディスプレイ上には仮
想的な３次元仮想空間が表示され、代表場面が合成され
た複数の３次元ＣＧオブジェクトが前記３次元仮想空間
内に並んでいる。連なって並んでいる代表場面は、時間
的に連続した映像から作られたものである。所々、違う
列の代表場面同志が近付いている所がハイパーリンクと
なっている。

【０１３４】ユーザは、代表場面が配置された３次元仮
想空間内を任意の方向に移動し、映像情報を見ることが
できる。

【０１３５】以上の様に、本実施例の画像表示方法によ
れば、前記３次元仮想空間内の視点位置を変更すること
によって前記３次元ＣＧ上の任意の３次元ＣＧオブジェ
クトの映像を重点的に表示するので、複数の映像が表示
される映像情報空間の任意の映像を選択して表示するこ
とが可能である。

【０１３６】以上、本発明を、前記実施例に基づき具体
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。

【０１３７】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記のとおりである。

【０１３８】すなわち、複数の静止画像を該静止画像に
付随する関係情報と共に時間的又は論理的なつながりを
基に並べて表示するので、複数の映像及びその付加情報
の表示効率を向上することが可能である。

【０１３９】また、静止画像を合成した複数の３次元Ｃ
Ｇオブジェクトを３次元ＣＧ上に配置して複数の映像間
の関係を可視化するので、前記複数の３次元ＣＧオブジ
ェクトが表示される映像情報空間の視覚的把握が可能で
ある。

【０１４０】また、複数の３次元ＣＧオブジェクトを時
系列リンク及びハイパーリンクに基づいて接近させて配
置するので、時間的及び論理的につながりのある映像の
表示を行うことが可能である。

【０１４１】また、３次元仮想空間内の視点位置を変更
することによって前記３次元ＣＧ上の任意の３次元ＣＧ
オブジェクトの映像を重点的に表示するので、複数の映
像が表示される映像情報空間の任意の映像を選択して表
示することが可能である。

【図面の簡単な説明】

【図１】本発明の画像表示方法を実施する一実施例の装
置の概略構成を示す図である。

【図２】本実施例の画像表示方法の場面データを３次元
ＣＧオブジェクトに合成する処理の概要を示す図であ
る。

【図３】本実施例の画像表示方法の場面データが合成さ
れた３次元ＣＧオブジェクトの概略を示す図である。

【図４】本実施例の画像表示方法の場面データを合成し
た３次元ＣＧオブジェクトを時系列リンクに基づいて配
置する処理手順を示すフローチャートである。

【図５】本実施例の画像表示方法の時系列リンクに基づ
いて３次元ＣＧオブジェクトを配置する過程を示す図で
ある。

【図６】本実施例の画像表示方法のハイパーリンクに基
づいて３次元ＣＧオブジェクトの配置位置を更新する処
理手順を示すフローチャートである。

【図７】本実施例の画像表示方法の３次元仮想空間内に
配置された複数の３次元ＣＧオブジェクトに新たにハイ
パーリンクが加えられる過程を示す図である。

【図８】本実施例の画像表示方法の３次元ＣＧオブジェ
クトの配置例を示す図である。

【図９】本実施例の画像表示方法の３次元仮想空間内の
視点位置を変更した場合の３次元ＣＧオブジェクトの表
示の変化を示す図である。

【図１０】本実施例の画像表示方法の３次元ＣＧ上に表
示された代表画面を示す図である。

【符号の説明】

１００…ＣＰＵ、１１０…ビデオ入力装置、１２０…メ
モリ、１２１…サンプリング部、１２２…代表場面切り
出し部、１２３…合成部、１３０…外部記憶装置、１３
１…場面データ、１４０…グラフィカル・ユーザ・イン
タフェース（ＧＵＩ）装置、１４１…配置部、１５０…
付加情報入力装置、２１０…映像場面、２２０…付加情
報、２３０…メディア情報、２４０…３次元ＣＧオブジ
ェクト。

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 17/40 G06F 17/30 G06F 12/00 H04N 5/76

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 ３次元コンピュータ・グラフィックス上
   に映像を表示する画像表示方法であって、複数の動画像
   から複数の静止画像を抽出し、前記複数の静止画像に付
   随する関係情報を抽出し、前記複数の静止画像の時間的
   なつながりを示す時系列リンクを作成し、前記複数の静
   止画像の論理的なつながりを示すハイパーリンクを作成
   し、複数の静止画像と該静止画像に付随する関係情報と
   前記時系列リンクと前記ハイパーリンクを蓄積し、前記
   複数の静止画像と該静止画像に付随する関係情報を、前
   記時系列リンク及び前記ハイパーリンクに基づいて前記
   ３次元コンピュータ・グラフィックス上に配置して表示
   することを特徴とする画像表示方法。
2. 【請求項２】 前記複数の動画像から抽出された複数の
   静止画像は、該動画像の各場面の映像を代表する複数の
   代表場面であることを特徴とする請求項１に記載された
   画像表示方法。
3. 【請求項３】 前記時系列リンクの作成は、前記複数の
   静止画像の中の所定の静止画像に対して時間的につなが
   りのある別の静止画像の識別コードを前記所定の静止画
   像のデータに蓄積して行い、前記ハイパーリンクの作成
   は、前記複数の静止画像の中の所定の静止画像に対して
   任意の静止画像を選択し、前記選択された静止画像の識
   別コードを前記所定の静止画像のデータに蓄積して行う
   ことを特徴とする請求項１又は請求項２に記載された画
   像表示方法。
4. 【請求項４】 ３次元コンピュータ・グラフィックス上
   に映像を表示する画像表示方法であって、複数の動画像
   から複数の静止画像を抽出し、前記複数の静止画像に付
   随する関係情報を抽出し、前記複数の静止画像の時間的
   につながりを示す時系列リンクを作成し、前記複数の静
   止画像の論理的なつながりを示すハイパーリンクを作成
   し、複数の静止画像と該静止画像に付随する関係情報と
   前記時系列リンクと前記ハイパーリンクを蓄積し、 前記蓄積された複数の静止画像と該静止画像に付随する
   関係情報とを、コンピュータ内に仮想的に生成された３
   次元仮想空間内の３次元の物体である３次元コンピュー
   タ・グラフィックス・オブジェクトに合成し、前記静止
   画像と関係情報が合成された複数の３次元コンピュータ
   ・グラフィックス・オブジェクトを前記蓄積された各時
   系列リンクと各ハイパーリンクに基づいて前記３次元仮
   想空間内に配置し、前記３次元仮想空間内の所定の視点
   位置から見た３次元コンピュータ・グラフィックス・オ
   ブジェクト群を表示し、複数の映像間の関係を可視化す
   ることを特徴とする画像表示方法。
5. 【請求項５】 前記３次元コンピュータ・グラフィック
   ス・オブジェクトをコンピュータ内に仮想的に生成され
   た３次元仮想空間内に配置する際に、前記時系列リンク
   によってつながれた複数の３次元コンピュータ・グラフ
   ィックス・オブジェクトを配置する場合には、該３次元
   コンピュータ・グラフィックス・オブジェクトを互いに
   隣接して配置し、前記ハイパーリンクによってつながれ
   た複数の３次元コンピュータ・グラフィックス・オブジ
   ェクトを配置する場合には、該３次元コンピュータ・グ
   ラフィックス・オブジェクトを予め定められた一定距離
   まで互いに接近させて配置することを特徴とする請求項
   ４に記載された画像表示方法。
6. 【請求項６】 前記３次元仮想空間内の所定の視点位置
   から見た３次元コンピュータ・グラフィックス・オブジ
   ェクト群を表示する際に、前記視点位置を入力し、該入
   力された視点位置に基づいて前記３次元仮想空間内の視
   点位置を変更し、前記変更された視点位置から眺めた３
   次元コンピュータ・グラフィックス・オブジェクト群を
   表示し、任意の視点位置から見た複数の映像間の関係を
   可視化することを特徴とする請求項４又は請求項５に記
   載された画像表示方法。