JP4154012B2 - 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像表示方法に係り、詳しくは、撮影された多数の動画像群から適切な代表画面を生成して、ユーザに静止画の一覧表を提示する方法に関する。
【０００２】
【従来の技術】
近年、計算機の高速化と大容量化を背景にして、従来は扱えなかった映画やビデオなどの動画像情報を扱うことのできるデータベースシステムやプレゼンテーションツールが注目されている。しかしながら、膨大な情報量を有する動画像情報の中から必要な部分だけを探したり、それを加工したりするのは、ユーザにとって手間のかかる作業である。そこで、計算機による作業負担軽減方法として、例えば、情報処理学会論文誌 Vol.33, No.4, 「カラービデオ映像における自動索引付け法と物体探索法」や特開平４−１１１１８１号「動画像の変化点検出方法」等で示された方法がある。
【０００３】
これは、動画像をカット単位に自動的に分割し、各カットを代表する画像の一覧を作成して、それを書籍の索引のように用いることで、動画像の検索や編集の一助とする方法である。これによれば、動画像の中身が一覧上で一目で把握できるので所望の場面が見つかりやすく、また、カットという区切れのよい単位で扱えるので大まかな編集が簡単にできる。
【０００４】
【発明が解決しようとする課題】
このような方法においては、一つのカットに対してそのカットを最も代表していると思われる１枚のフレームを選択する必要がある。固定して撮影したビデオカメラからの動画像であれば、通常はカットの先頭フレームを代表画面とすることで問題はない。しかしながら、ビデオカメラを左右に振るパンニングや上下に振るチルティングといったカメラ操作が行われると、１つのカット内に多様な風景が含まれているため、それらの中から１枚の最適な代表画面を選択するということは極めて困難になる。
【０００５】
従来の方法では、カットの先頭画面を選択するのみであり、カメラ操作が行われたときに撮影されていた途中の情報は失われていた。そのため、動画像の検索や編集時に重要な場面を見落とす場合があった。
【０００６】
本発明の目的は、カメラ操作時の途中の情報も欠落させることなく、代表画像が一覧表示できる動画像表示方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記の課題を解決するために、入力した動画像をフレーム順に連続して表示する動画像表示ウィンドウと、該動画像のパノラマ画像を逐次表示するパノラマ画像表示ウィンドウと、該パノラマ画像を動画像の変化点毎またはユーザの指定単位毎のいずれかまたは両方で区切り、静止画として一覧表示するアイコン画像表示ウィンドウにより動画像を表示する。
【０００８】
とくに、アイコン画像とともに時間情報をも合わせて表示することにより、動画像の時間的な所在を明確にする。また、カメラ操作に関する情報を提示することにより、どのような視点でカメラ操作が行われたかを明確に示し、ある視点における注視時間やカメラ操作の速度も明確に示す。
【０００９】
【発明の実施の形態】
図１は、本発明を実現するためのシステム構成のブロック図である。ＣＲＴ等のディスプレイ装置１は、コンピュータ４の出力画面を表示する。コンピュータ４に対する命令は、キーボードやポインティングデバイス等の入力装置５を使って行うことができる。動画像再生装置１０は、光ディスクやビデオデッキ等である。動画像再生装置１０から出力される映像信号は、逐次、Ａ／Ｄ変換器３によってデジタル画像データに変換され、コンピュータ４に送られる。デジタル画像データは、インタフェース８を介してメモリ９に入り、メモリ９に格納されたプログラムに従って、ＣＰＵ７によって処理される。動画像の各フレームに、動画像の先頭から順に番号（フレーム番号）が割り付けられている場合には、フレーム番号を制御線２によって動画像再生装置１０に送ることで、対応する場面の動画像が再生される。処理の必要に応じて、各種情報を外部情報記憶装置６に蓄積することができる。外部情報記憶装置６に記録される情報としては、動画データ６−１、アイコン画像等のインデックスデータ６−２、パノラマ画像データ６−３、動画像表示プログラム６−４が含まれる。動画像表示プログラム６−４は、メモリ９に読み出されて実行される。
【００１０】
以上の動画像表示装置のシステム構成において、動画像表示プログラム６−４によって、動画像再生装置１０からの動画像を１フレームずつ、メモリ９に入力する。入力した動画像は、デイスプレィ１に表示する。さらに動画像中のカメラ操作を抽出して、パノラマ画像を作成し、デイスプレィ１に動画像とともにパノラマ画像も表示する。ここで、パノラマ画像とは連続するフレームを相互の位置ずれ量に応じて平面的に接続して作成した画像をいう。そして、入力した動画像のカット変わりを検出した時点で、これまで作成中のパノラマ画像を一定のサイズになるようにスケーリングして、アイコン画像を作成し、ディスプレイ１上に一覧にして表示する。以上に処理中に得た動画像やアイコン画像、パノラマ画像は必要に応じて外部情報記憶装置６に格納される。
【００１１】
なお、本実施の形態では、動画像はＶＴＲやＤＶＤなどの動画像再生装置から入力しているが、チューナを利用したテレビ放送の動画像、ビデオカメラからの動画像、さらにハードディスクなどの外部情報記憶装置に格納された動画像であってもよい。
【００１２】
図２は、図１に示したディスプレイ１上の動画像の表示画面の例である。ウィンドウ２０は動画像表示プログラム６−４により表示される。ウィンドウ２０の中のウィンドウ２1は動画像表示ウィンドウ、ウィンドウ２２はパノラマ画像表示ウィンドウ、ウィンドウ２３はアイコン画像表示ウィンドウである。チェックボタン２４はアイコン画像表示ウィンドウ２３の表示モードを制御する。チェックボタン２５はカット変わりの点で動画像を区分するかどうかの処理モードを制御する。ボタン２６はトグルスイッチになっており、動画像表示の処理の開始と終了を制御する。ボタン２７は現在作成中のパノラマ画像を外部情報記憶装置６に出力する際に押下する。
【００１３】
ウィンドウ２２のパノラマ画像２２−１は動画像の入力の都度逐次生成して表示する。その際、ウィンドウ２２からはみ出さないように、ウィンドウの中央に位置決めし、かつ、スケーリングして表示する。これにより、ユーザは現在入力中の動画像のパノラマ画像作成状況が正確に理解できる。
【００１４】
ウィンドウ２３のアイコン画像２３−１は、カット変わりの点またはユーザがボタン２６で終了の合図を出したタイミングで表示する。このアイコン画像２３−１は作成中のパノラマ画像を一定のサイズになるようにスケーリングされたものである。アイコン画像の下側にはパノラマ画像作成の開始時刻を表示する。これは動画像再生装置が出力するタイムコードであってもよい。これらのアイコン画像はカメラ操作の結果得られた全てのフレーム画像情報を利用して生成したパノラマ画像すなわち広角の静止画像であるため、ユーザは動画像の情報を見落とすことがない。
【００１５】
図３に図２のチェックボタン２４が押されたときの、アイコン画像表示ウィンドウ２３の別の表示形態を示す。すなわち、アイコン画像２３−１の上に、カメラ操作による視点の移動経路を図形２３−１−１として表示する。これにより左から右にカメラ操作が行われたのか、あるいは、右から左にカメラ操作が行われたのかといった、より詳細な情報が、アイコン画像の表示スペースを削減することなくユーザに提供できる。
【００１６】
図４は図３よりもさらに詳細な情報を提供する、ウィンドウ２３の別の実施例である。すなわち、図３では視点の移動経路は明確になったが、移動時間等は不明である。本表示方法においては、どの視点位置でどの程度注視時間があったかといった移動時間に関する情報も提供する。カメラ操作情報２３−２がアイコン画像に付属して表示される。カメラ操作情報２３−２は視点の移動経路のグラフ２３−２−１と視点の移動時間のグラフ２３−２−２で構成される。移動経路グラフ２３−２−１は横軸がＸ方向の移動距離、縦軸がＹ方向の移動距離、各軸の交点がパノラマ画像生成開始時の原点（黒丸印）を示す。一方、移動時間グラフ２３−２−２は、左下隅がパノラマ画像生成開始時の原点であり、横軸が時間、縦軸が視点総移動距離を示す。したがって、時間方向に対して、移動時間グラフが水平になっている区間は視点移動がなく、そこではカメラ操作が固定していることを意味している。ユーザはこうした区間を観察することにより、撮影者が意図的に注視した場面を即座に探し出すことができる。
【００１７】
図５は、図１で示したシステム上で実行される動画像表示プログラム６−４のフローチャートである。
【００１８】
動画像表示プログラム６−４の説明の前に、プログラムで参照されるデータ６−１〜３について説明する。これらのデータを図６に示す。動画像データ６−１は、画像サイズや圧縮形式などを記述したヘッダに続いて、ｎ枚のフレーム画像が記録される。インデックスデータ６−２は、アイコン画像データ６−２−１とフレーム画像合成データを含む。アイコン画像データ６−２−１はアイコン画像のサイズや個数ｍを記述したヘッダと、ｍ個のアイコン画像とそのアイコン画像に付属するタイムコード等の付属情報から構成される。フレーム画像合成データ６−２−２は合成パラメータの個数を記述したヘッダと隣接する各フレーム間のパノラマ画像合成パラメータ（ｄｘ，ｄｙ）から構成される。パラメータ（ｄｘ，ｄｙ）は現在入力したフレーム画像と一つ前に入力されたフレーム画像との位置ずれ量を表す。パノラマ画像データ６−３は、パノラマ画像のサイズを記述したヘッダとパノラマ画像で構成される。
【００１９】
まず、動画像表示プログラム６−４はメモリ９に読み出され、ＣＰＵ７は最初に処理６０を実行し、図２のウィンドウ２１、２２、２３を初期状態にする。そして、ファイルメニュー２８でクローズが指示されるまで、以下の処理を反復、実行する。
【００２０】
まず、処理６２でボタン２６は開始状態であるかチェックする。開始状態であれば、処理６３を実行し、そうでなければ処理８０を実行する。
【００２１】
処理６３では、動画像再生装置１０から動画像を構成するフレーム画像を入力し、メモリ９に格納する。次に、入力したフレーム画像をウィンドウ２１に表示する（処理６４）。そして、入力したフレーム画像を外部情報記憶装置６の動画データ６−１として格納する（処理６５）。処理６６では、チェックボタン２５の状態がカット分割指定かどうかを判定する。「カット分割指定」状態であれば、処理６７を実行し、動画像のカット変わり点を検出する。動画像のカット変わり点を検出するためには、現在およびそれ以前のフレームとの色ヒストグラム差分からフレーム間の相関を求め、相関が無くなった時点をカット変わりとする方法がある。たとえば、発明者らの特開平８−２２７４６２号「動画像の変化点検出方法及び装置」が利用できる。
【００２２】
カット変わり点が検出されれば、処理６９を実行する。処理６９では、ウィンドウ２２に表示中のパノラマ画像２２−１を一定のサイズにスケーリングして、ウィンドウ２３に表示する。処理７０では、チェックボタン２４の状態が経路表示指定かどうかを判定する。経路表示指定の場合は、パノラマ画像合成パラメータ（ｄｘ，ｄｙ）をパノラマ画像の合成開始フレームから終了フレームまで、（ｄｘ，ｄｙ）を個々に積分することにより、図３の２次元のグラフ２３−１−１の形式でアイコン画像の上に重ねて表示する。これによって、カメラの視点の移動経路が表示できる。別の表示方法として、図４のグラフ２３−２がある。視点の移動経路グラフ２３−２−１はパノラマ画像合成パラメータ（ｄｘ，ｄｙ）はｄｘ、ｄｙのそれぞれを積分することにより、視点の移動経路グラフ２３−２−１はパノラマ画像の合成開始フレームからその時点のフレームまで（ｄｘ，ｄｙ）を個々に積分した値を時系列に表示することにより生成できる。視点の移動経路グラフ及び移動経路グラフはアイコン画像に隣接して表示する。処理７２ではアイコン画像を外部情報記憶装置６に格納し、処理７３でウィンドウ２２中のパノラマ画像を消去し、初期状態とする。
【００２３】
処理７４はパノラマ画像を生成する処理である。パノラマ画像は現在入力したフレーム画像と一つ前に入力したフレーム画像との位置ずれ（ｄｘ，ｄｙ）を検出して、位置ずれに応じて画像を合成することで達成できる。このパノラマ画像生成処理はたとえば、発明者らの特願平９−１５３３０３号「デジタルワイドカメラ」が適用できる。生成されたパノラマ画像はウィンドウ２２に表示する（処理７５）。このとき、ウィンドウ２２の中心にパノラマ画像を配置し、パノラマ画像の全体がウィンドウ２２内に収まるようにスケーリングして表示する。パノラマ画像の生成に使用するパノラマ画像合成パラメータ（ｄｘ，ｄｙ）は外部情報記憶装置６に格納し（処理７６）、先に説明した処理７１において利用する。
【００２４】
一方、ボタン２６が終了状態であれば（処理６２）、ユーザがボタン２７（図２を参照）を押したかどうかを判定する（処理８０）。押されていればウィンドウ２２で表示中のパノラマ画像２２−１を外部情報記憶装置６へパノラマ画像データ６−３として出力する。これにより、ユーザが所望する任意時点のパノラマ画像を取得することが可能になる。
【００２５】
次に、ウィンドウ２３中に表示されているアイコン画像がポインティングデバイス５でポインティングされたかどうかチェックする（処理８２）。ポインティングされていた場合はウィンドウ２１に、既に外部情報記憶装置６に格納されている動画データ６−１の該当するフレーム区間だけを部分的に再生し、同時に、該当する合成パラメータ６−２−２を用いて、パノラマ画像を順次作成し、ウィンドウ２２で表示する。これにより、スケーリングで小さくなりすぎたアイコン画像の、詳細なパノラマ画像ならびに対応する動画像をユーザは簡単に見ることができる。
【００２６】
以上の実施例ではカット変わりの点ごとに動画像を区分してそれぞれパノラマ画像のアイコン画像を一覧表にしているが、テレビ放送から入力した動画像には、動画像中にデイゾルブと呼ぶ、場面が緩やかに切り替わる点がある。このような切り替わり点を無視してパノラマ画像を作成すると、それ以前に作成したパノラマ画像の上に別の場面のフレーム画像を上書きする可能性がでてくる。こうした問題を解決するためには、カット変わりの点に加えてデイゾルブ点も動画の区分の条件とすればよい。緩やかに切り替わる点を検出するためには、過去数フレームの画像の変化を調べることで達成できる。このデイゾルブ点の検出には、たとえば発明者らによる特開平９−６５２８７号「動画像の特徴場面検出方法及び装置」が適用できる。
【００２７】
【発明の効果】
本発明によれば、動画像全体を変化点で区分し、区分された動画像のカメラ操作情報から生成したパノラマ画像を一覧表示するため、区分された動画中のあらゆる被写体をあますことなく表示できる。従来の動画像の一覧表示では、区分された動画像について、それを代表するフレームを１つ選択して表示していたため、代表画像以外のフレーム中に含まれた被写体を見逃してしまう問題があったが、本発明では全てのフレームの情報を使ってパノラマ画像を生成するためそのような問題が解消するという効果がある。さらに、アイコン画像に重畳してカメラ操作による視点の移動経路を表示するため、ユーザはアイコン画像を見ることによって、撮影技法まで理解できるという効果がある、また、本発明では、動画像表示ウィンドウによる動画表示、パノラマ画像表示ウィンドウによる生成中のパノラマ画像表示、アイコン画像一覧ウィンドウによる静止画表示が同時に行えるため、ユーザの動画像に対する理解がより促進されるという効果がある。
【図面の簡単な説明】
【図１】本発明を実現するためのシステム構成の一例である。
【図２】本発明の画面表示の一例である。
【図３】本発明の画面表示の別の一例である。
【図４】本発明の画面表示のさらに別の一例である。
【図５】動画像表示プログラムのフローチャートの一例である。
【図６】外部情報記憶装置に格納されるデータの構造の一例である。
【符号の説明】
１…ディスプレイ、３…Ａ／Ｄ変換器、４…コンピュータ、５…入力装置、６…外部情報記憶装置、７…ＣＰＵ、８…インタフェース、９…メモリ、１０…動画像再生装置、２１…動画像表示ウィンドウ、２２…パノラマ画像表示ウィンドウ、２３…アイコン画像表示ウィンドウ。

Claims (5)

1. 撮影された動画像を入力する入力手段と、ディスプレイと、画像を処理する制御部を有する装置における画像表示方法であって、
   該制御部に、
   該装置に入力された動画像を構成するフレームを順次表示する動画像表示ウィンドウを設定して該ディスプレイ上に表示させるステップと、
   該動画像を構成するフレームが入力される度に、現在入力されるフレームと一つ前に入力されたフレームとの位置ずれを検出し、当該位置ずれに応じたパノラマ画像を順次合成して作成するステップと、
   該パノラマ画像を逐次表示するパノラマ画像表示ウィンドウを設定し、上記合成されるパノラマ画像を上記合成の都度該パノラマ画像ウィンドウに合わせて一定のサイズにスケーリングし、上記動画像表示ウィンドウとともに該ディスプレイ上に表示させるステップと、
   該パノラマ画像を該動画像の変化点毎または該装置に入力された指定単位毎のいずれかまたは両方で区切り、該区切りの一または複数の区切り目のパノラマ画像を、一または複数の静止画として一覧表示するアイコン画像表示ウィンドウを設定し、該ディスプレイ上に表示させるステップを有することを特徴とする画像表示方法を実行させるプログラムを記録した記録媒体。
2. 上記制御部に、上記ステップに加えてさらに、上記アイコン画像表示ウィンドウに一覧表示された上記一または複数の静止画から一の静止画を、上記装置に入力された指示に従って選択するステップと、上記動画像の該選択された一の静止画に代表されるフレーム区間を再生し、上記動画像表示ウィンドウに表示させるステップと、上記選択された一の静止画に代表される該フレーム区間のパノラマ画像を作成するステップと、上記作成されたパノラマ画像を上記パノラマ画像表示ウィンドウに逐次表示させるステップを有することを特徴とする請求項１記載の画像表示方法を実行させるプログラムを記録した記録媒体。
3. 上記制御部に、上記ステップに加えてさらに、上記一または複数の静止画の各々について、該静止画を作成するのに用いた上記フレームを撮影した際の撮影視点の移動経路を示す情報を該フレームを用いて算出するステップと、該移動経路を示す情報を上記ディスプレイ上に表示させるステップを有することを特徴とする請求項１または２に記載の画像表示方法を実行させるプログラムを記録した記録媒体。
4. 上記制御部に、上記ステップに加えてさらに、上記一または複数の静止画の各々について、該静止画を作成するのに用いた上記フレームを撮影した際の撮影視点の移動時間を示す情報を該フレームを用いて算出するステップと、該移動時間を示す情報を上記ディスプレイ上に表示させるステップを有することを特徴とする請求項１乃至３のいずれかに記載の画像表示方法を実行させるプログラムを記録した記録媒体。
5. ディスプレイと、画像入力手段を有する装置であって、
   該入力手段から入力された動画像を構成するフレームを順次表示する動画像表示ウィンドウを設定し、該ディスプレイ上に表示させる手段と、
   該動画像を構成するフレームが入力される度に、現在入力されるフレームと一つ前に入力されたフレームとの位置ずれを検出し、当該位置ずれに応じたパノラマ画像を順次合成して作成する手段と、
   該パノラマ画像を逐次表示するパノラマ画像表示ウィンドウを設定し、上記合成されるパノラマ画像を上記合成の都度該パノラマ画像ウィンドウに合わせて一定のサイズにスケーリングし、上記動画像表示ウィンドウとともに該ディスプレイ上に表示させる手段と、
   該パノラマ画像を該動画像の変化点毎またはユーザの指定単位毎のいずれかまたは両方で区切り、該区切りの一または複数の区切り目のパノラマ画像を、一または複数の静止画として一覧表示するアイコン画像表示ウィンドウを設定し、該ディスプレイ上に表示させる手段を有することを特徴とする画像合成装置。

Images