JPH11134352A - 動画像表示方法 - Google Patents
動画像表示方法Info
- Publication number
- JPH11134352A JPH11134352A JP29815297A JP29815297A JPH11134352A JP H11134352 A JPH11134352 A JP H11134352A JP 29815297 A JP29815297 A JP 29815297A JP 29815297 A JP29815297 A JP 29815297A JP H11134352 A JPH11134352 A JP H11134352A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image display
- moving
- displayed
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
(57)【要約】
【課題】 撮影された多数の動画像群から、一連のシー
ンを代表するパノラマ画面を生成、提示する。 【解決手段】 動画像の変化点毎に動画像のパノラマ画
像を生成し、生成したパノラマ画像を一覧表示する。 【効果】 カメラ操作時の途中の情報も欠落させること
なく、代表画像が一覧表示が達成される。
ンを代表するパノラマ画面を生成、提示する。 【解決手段】 動画像の変化点毎に動画像のパノラマ画
像を生成し、生成したパノラマ画像を一覧表示する。 【効果】 カメラ操作時の途中の情報も欠落させること
なく、代表画像が一覧表示が達成される。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像表示方法に
係り、詳しくは、撮影された多数の動画像群から適切な
代表画面を生成して、ユーザに静止画の一覧表を提示す
る方法に関する。
係り、詳しくは、撮影された多数の動画像群から適切な
代表画面を生成して、ユーザに静止画の一覧表を提示す
る方法に関する。
【０００２】
【従来の技術】近年、計算機の高速化と大容量化を背景
にして、従来は扱えなかった映画やビデオなどの動画像
情報を扱うことのできるデータベースシステムやプレゼ
ンテーションツールが注目されている。しかしながら、
膨大な情報量を有する動画像情報の中から必要な部分だ
けを探したり、それを加工したりするのは、ユーザにと
って手間のかかる作業である。そこで、計算機による作
業負担軽減方法として、例えば、情報処理学会論文誌 V
ol.33, No.4, 「カラービデオ映像における自動索引付
け法と物体探索法」や特開平４−１１１１８１号「動画
像の変化点検出方法」等で示された方法がある。
にして、従来は扱えなかった映画やビデオなどの動画像
情報を扱うことのできるデータベースシステムやプレゼ
ンテーションツールが注目されている。しかしながら、
膨大な情報量を有する動画像情報の中から必要な部分だ
けを探したり、それを加工したりするのは、ユーザにと
って手間のかかる作業である。そこで、計算機による作
業負担軽減方法として、例えば、情報処理学会論文誌 V
ol.33, No.4, 「カラービデオ映像における自動索引付
け法と物体探索法」や特開平４−１１１１８１号「動画
像の変化点検出方法」等で示された方法がある。
【０００３】これは、動画像をカット単位に自動的に分
割し、各カットを代表する画像の一覧を作成して、それ
を書籍の索引のように用いることで、動画像の検索や編
集の一助とする方法である。これによれば、動画像の中
身が一覧上で一目で把握できるので所望の場面が見つか
りやすく、また、カットという区切れのよい単位で扱え
るので大まかな編集が簡単にできる。
割し、各カットを代表する画像の一覧を作成して、それ
を書籍の索引のように用いることで、動画像の検索や編
集の一助とする方法である。これによれば、動画像の中
身が一覧上で一目で把握できるので所望の場面が見つか
りやすく、また、カットという区切れのよい単位で扱え
るので大まかな編集が簡単にできる。
【０００４】
【発明が解決しようとする課題】このような方法におい
ては、一つのカットに対してそのカットを最も代表して
いると思われる１枚のフレームを選択する必要がある。
固定して撮影したビデオカメラからの動画像であれば、
通常はカットの先頭フレームを代表画面とすることで問
題はない。しかしながら、ビデオカメラを左右に振るパ
ンニングや上下に振るチルティングといったカメラ操作
が行われると、１つのカット内に多様な風景が含まれて
いるため、それらの中から１枚の最適な代表画面を選択
するということは極めて困難になる。
ては、一つのカットに対してそのカットを最も代表して
いると思われる１枚のフレームを選択する必要がある。
固定して撮影したビデオカメラからの動画像であれば、
通常はカットの先頭フレームを代表画面とすることで問
題はない。しかしながら、ビデオカメラを左右に振るパ
ンニングや上下に振るチルティングといったカメラ操作
が行われると、１つのカット内に多様な風景が含まれて
いるため、それらの中から１枚の最適な代表画面を選択
するということは極めて困難になる。
【０００５】従来の方法では、カットの先頭画面を選択
するのみであり、カメラ操作が行われたときに撮影され
ていた途中の情報は失われていた。そのため、動画像の
検索や編集時に重要な場面を見落とす場合があった。
するのみであり、カメラ操作が行われたときに撮影され
ていた途中の情報は失われていた。そのため、動画像の
検索や編集時に重要な場面を見落とす場合があった。
【０００６】本発明の目的は、カメラ操作時の途中の情
報も欠落させることなく、代表画像が一覧表示できる動
画像表示方法を提供することにある。
報も欠落させることなく、代表画像が一覧表示できる動
画像表示方法を提供することにある。
【０００７】
【課題を解決するための手段】上記の課題を解決するた
めに、入力した動画像をフレーム順に連続して表示する
動画像表示ウィンドウと、該動画像のパノラマ画像を逐
次表示するパノラマ画像表示ウィンドウと、該パノラマ
画像を動画像の変化点毎またはユーザの指定単位毎のい
ずれかまたは両方で区切り、静止画として一覧表示する
アイコン画像表示ウィンドウにより動画像を表示する。
めに、入力した動画像をフレーム順に連続して表示する
動画像表示ウィンドウと、該動画像のパノラマ画像を逐
次表示するパノラマ画像表示ウィンドウと、該パノラマ
画像を動画像の変化点毎またはユーザの指定単位毎のい
ずれかまたは両方で区切り、静止画として一覧表示する
アイコン画像表示ウィンドウにより動画像を表示する。
【０００８】とくに、アイコン画像とともに時間情報を
も合わせて表示することにより、動画像の時間的な所在
を明確にする。また、カメラ操作に関する情報を提示す
ることにより、どのような視点でカメラ操作が行われた
かを明確に示し、ある視点における注視時間やカメラ操
作の速度も明確に示す。
も合わせて表示することにより、動画像の時間的な所在
を明確にする。また、カメラ操作に関する情報を提示す
ることにより、どのような視点でカメラ操作が行われた
かを明確に示し、ある視点における注視時間やカメラ操
作の速度も明確に示す。
【０００９】
【発明の実施の形態】図１は、本発明を実現するための
システム構成のブロック図である。ＣＲＴ等のディスプ
レイ装置１は、コンピュータ４の出力画面を表示する。
コンピュータ４に対する命令は、キーボードやポインテ
ィングデバイス等の入力装置５を使って行うことができ
る。動画像再生装置１０は、光ディスクやビデオデッキ
等である。動画像再生装置１０から出力される映像信号
は、逐次、Ａ／Ｄ変換器３によってデジタル画像データ
に変換され、コンピュータ４に送られる。デジタル画像
データは、インタフェース８を介してメモリ９に入り、
メモリ９に格納されたプログラムに従って、ＣＰＵ７に
よって処理される。動画像の各フレームに、動画像の先
頭から順に番号（フレーム番号）が割り付けられている
場合には、フレーム番号を制御線２によって動画像再生
装置１０に送ることで、対応する場面の動画像が再生さ
れる。処理の必要に応じて、各種情報を外部情報記憶装
置６に蓄積することができる。外部情報記憶装置６に記
録される情報としては、動画データ６−１、アイコン画
像等のインデックスデータ６−２、パノラマ画像データ
６−３、動画像表示プログラム６−４が含まれる。動画
像表示プログラム６−４は、メモリ９に読み出されて実
行される。
システム構成のブロック図である。ＣＲＴ等のディスプ
レイ装置１は、コンピュータ４の出力画面を表示する。
コンピュータ４に対する命令は、キーボードやポインテ
ィングデバイス等の入力装置５を使って行うことができ
る。動画像再生装置１０は、光ディスクやビデオデッキ
等である。動画像再生装置１０から出力される映像信号
は、逐次、Ａ／Ｄ変換器３によってデジタル画像データ
に変換され、コンピュータ４に送られる。デジタル画像
データは、インタフェース８を介してメモリ９に入り、
メモリ９に格納されたプログラムに従って、ＣＰＵ７に
よって処理される。動画像の各フレームに、動画像の先
頭から順に番号（フレーム番号）が割り付けられている
場合には、フレーム番号を制御線２によって動画像再生
装置１０に送ることで、対応する場面の動画像が再生さ
れる。処理の必要に応じて、各種情報を外部情報記憶装
置６に蓄積することができる。外部情報記憶装置６に記
録される情報としては、動画データ６−１、アイコン画
像等のインデックスデータ６−２、パノラマ画像データ
６−３、動画像表示プログラム６−４が含まれる。動画
像表示プログラム６−４は、メモリ９に読み出されて実
行される。
【００１０】以上の動画像表示装置のシステム構成にお
いて、動画像表示プログラム６−４によって、動画像再
生装置１０からの動画像を１フレームずつ、メモリ９に
入力する。入力した動画像は、デイスプレィ１に表示す
る。さらに動画像中のカメラ操作を抽出して、パノラマ
画像を作成し、デイスプレィ１に動画像とともにパノラ
マ画像も表示する。ここで、パノラマ画像とは連続する
フレームを相互の位置ずれ量に応じて平面的に接続して
作成した画像をいう。そして、入力した動画像のカット
変わりを検出した時点で、これまで作成中のパノラマ画
像を一定のサイズになるようにスケーリングして、アイ
コン画像を作成し、ディスプレイ１上に一覧にして表示
する。以上に処理中に得た動画像やアイコン画像、パノ
ラマ画像は必要に応じて外部情報記憶装置６に格納され
る。
いて、動画像表示プログラム６−４によって、動画像再
生装置１０からの動画像を１フレームずつ、メモリ９に
入力する。入力した動画像は、デイスプレィ１に表示す
る。さらに動画像中のカメラ操作を抽出して、パノラマ
画像を作成し、デイスプレィ１に動画像とともにパノラ
マ画像も表示する。ここで、パノラマ画像とは連続する
フレームを相互の位置ずれ量に応じて平面的に接続して
作成した画像をいう。そして、入力した動画像のカット
変わりを検出した時点で、これまで作成中のパノラマ画
像を一定のサイズになるようにスケーリングして、アイ
コン画像を作成し、ディスプレイ１上に一覧にして表示
する。以上に処理中に得た動画像やアイコン画像、パノ
ラマ画像は必要に応じて外部情報記憶装置６に格納され
る。
【００１１】なお、本実施の形態では、動画像はＶＴＲ
やＤＶＤなどの動画像再生装置から入力しているが、チ
ューナを利用したテレビ放送の動画像、ビデオカメラか
らの動画像、さらにハードディスクなどの外部情報記憶
装置に格納された動画像であってもよい。
やＤＶＤなどの動画像再生装置から入力しているが、チ
ューナを利用したテレビ放送の動画像、ビデオカメラか
らの動画像、さらにハードディスクなどの外部情報記憶
装置に格納された動画像であってもよい。
【００１２】図２は、図１に示したディスプレイ１上の
動画像の表示画面の例である。ウィンドウ２０は動画像
表示プログラム６−４により表示される。ウィンドウ２
０の中のウィンドウ２1は動画像表示ウィンドウ、ウィ
ンドウ２２はパノラマ画像表示ウィンドウ、ウィンドウ
２３はアイコン画像表示ウィンドウである。チェックボ
タン２４はアイコン画像表示ウィンドウ２３の表示モー
ドを制御する。チェックボタン２５はカット変わりの点
で動画像を区分するかどうかの処理モードを制御する。
ボタン２６はトグルスイッチになっており、動画像表示
の処理の開始と終了を制御する。ボタン２７は現在作成
中のパノラマ画像を外部情報記憶装置６に出力する際に
押下する。
動画像の表示画面の例である。ウィンドウ２０は動画像
表示プログラム６−４により表示される。ウィンドウ２
０の中のウィンドウ２1は動画像表示ウィンドウ、ウィ
ンドウ２２はパノラマ画像表示ウィンドウ、ウィンドウ
２３はアイコン画像表示ウィンドウである。チェックボ
タン２４はアイコン画像表示ウィンドウ２３の表示モー
ドを制御する。チェックボタン２５はカット変わりの点
で動画像を区分するかどうかの処理モードを制御する。
ボタン２６はトグルスイッチになっており、動画像表示
の処理の開始と終了を制御する。ボタン２７は現在作成
中のパノラマ画像を外部情報記憶装置６に出力する際に
押下する。
【００１３】ウィンドウ２２のパノラマ画像２２−１は
動画像の入力の都度逐次生成して表示する。その際、ウ
ィンドウ２２からはみ出さないように、ウィンドウの中
央に位置決めし、かつ、スケーリングして表示する。こ
れにより、ユーザは現在入力中の動画像のパノラマ画像
作成状況が正確に理解できる。
動画像の入力の都度逐次生成して表示する。その際、ウ
ィンドウ２２からはみ出さないように、ウィンドウの中
央に位置決めし、かつ、スケーリングして表示する。こ
れにより、ユーザは現在入力中の動画像のパノラマ画像
作成状況が正確に理解できる。
【００１４】ウィンドウ２３のアイコン画像２３−１
は、カット変わりの点またはユーザがボタン２６で終了
の合図を出したタイミングで表示する。このアイコン画
像２３−１は作成中のパノラマ画像を一定のサイズにな
るようにスケーリングされたものである。アイコン画像
の下側にはパノラマ画像作成の開始時刻を表示する。こ
れは動画像再生装置が出力するタイムコードであっても
よい。これらのアイコン画像はカメラ操作の結果得られ
た全てのフレーム画像情報を利用して生成したパノラマ
画像すなわち広角の静止画像であるため、ユーザは動画
像の情報を見落とすことがない。
は、カット変わりの点またはユーザがボタン２６で終了
の合図を出したタイミングで表示する。このアイコン画
像２３−１は作成中のパノラマ画像を一定のサイズにな
るようにスケーリングされたものである。アイコン画像
の下側にはパノラマ画像作成の開始時刻を表示する。こ
れは動画像再生装置が出力するタイムコードであっても
よい。これらのアイコン画像はカメラ操作の結果得られ
た全てのフレーム画像情報を利用して生成したパノラマ
画像すなわち広角の静止画像であるため、ユーザは動画
像の情報を見落とすことがない。
【００１５】図３に図２のチェックボタン２４が押され
たときの、アイコン画像表示ウィンドウ２３の別の表示
形態を示す。すなわち、アイコン画像２３−１の上に、
カメラ操作による視点の移動経路を図形２３−１−１と
して表示する。これにより左から右にカメラ操作が行わ
れたのか、あるいは、右から左にカメラ操作が行われた
のかといった、より詳細な情報が、アイコン画像の表示
スペースを削減することなくユーザに提供できる。
たときの、アイコン画像表示ウィンドウ２３の別の表示
形態を示す。すなわち、アイコン画像２３−１の上に、
カメラ操作による視点の移動経路を図形２３−１−１と
して表示する。これにより左から右にカメラ操作が行わ
れたのか、あるいは、右から左にカメラ操作が行われた
のかといった、より詳細な情報が、アイコン画像の表示
スペースを削減することなくユーザに提供できる。
【００１６】図４は図３よりもさらに詳細な情報を提供
する、ウィンドウ２３の別の実施例である。すなわち、
図３では視点の移動経路は明確になったが、移動時間等
は不明である。本表示方法においては、どの視点位置で
どの程度注視時間があったかといった移動時間に関する
情報も提供する。カメラ操作情報２３−２がアイコン画
像に付属して表示される。カメラ操作情報２３−２は視
点の移動経路のグラフ２３−２−１と視点の移動時間の
グラフ２３−２−２で構成される。移動経路グラフ２３
−２−１は横軸がＸ方向の移動距離、縦軸がＹ方向の移
動距離、各軸の交点がパノラマ画像生成開始時の原点
（黒丸印）を示す。一方、移動時間グラフ２３−２−２
は、左下隅がパノラマ画像生成開始時の原点であり、横
軸が時間、縦軸が視点総移動距離を示す。したがって、
時間方向に対して、移動時間グラフが水平になっている
区間は視点移動がなく、そこではカメラ操作が固定して
いることを意味している。ユーザはこうした区間を観察
することにより、撮影者が意図的に注視した場面を即座
に探し出すことができる。
する、ウィンドウ２３の別の実施例である。すなわち、
図３では視点の移動経路は明確になったが、移動時間等
は不明である。本表示方法においては、どの視点位置で
どの程度注視時間があったかといった移動時間に関する
情報も提供する。カメラ操作情報２３−２がアイコン画
像に付属して表示される。カメラ操作情報２３−２は視
点の移動経路のグラフ２３−２−１と視点の移動時間の
グラフ２３−２−２で構成される。移動経路グラフ２３
−２−１は横軸がＸ方向の移動距離、縦軸がＹ方向の移
動距離、各軸の交点がパノラマ画像生成開始時の原点
（黒丸印）を示す。一方、移動時間グラフ２３−２−２
は、左下隅がパノラマ画像生成開始時の原点であり、横
軸が時間、縦軸が視点総移動距離を示す。したがって、
時間方向に対して、移動時間グラフが水平になっている
区間は視点移動がなく、そこではカメラ操作が固定して
いることを意味している。ユーザはこうした区間を観察
することにより、撮影者が意図的に注視した場面を即座
に探し出すことができる。
【００１７】図５は、図１で示したシステム上で実行さ
れる動画像表示プログラム６−４のフローチャートであ
る。
れる動画像表示プログラム６−４のフローチャートであ
る。
【００１８】動画像表示プログラム６−４の説明の前
に、プログラムで参照されるデータ６−１〜３について
説明する。これらのデータを図６に示す。動画像データ
６−１は、画像サイズや圧縮形式などを記述したヘッダ
に続いて、ｎ枚のフレーム画像が記録される。インデッ
クスデータ６−２は、アイコン画像データ６−２−１と
フレーム画像合成データを含む。アイコン画像データ６
−２−１はアイコン画像のサイズや個数ｍを記述したヘ
ッダと、ｍ個のアイコン画像とそのアイコン画像に付属
するタイムコード等の付属情報から構成される。フレー
ム画像合成データ６−２−２は合成パラメータの個数を
記述したヘッダと隣接する各フレーム間のパノラマ画像
合成パラメータ（ｄｘ，ｄｙ）から構成される。パラメ
ータ（ｄｘ，ｄｙ）は現在入力したフレーム画像と一つ
前に入力されたフレーム画像との位置ずれ量を表す。パ
ノラマ画像データ６−３は、パノラマ画像のサイズを記
述したヘッダとパノラマ画像で構成される。
に、プログラムで参照されるデータ６−１〜３について
説明する。これらのデータを図６に示す。動画像データ
６−１は、画像サイズや圧縮形式などを記述したヘッダ
に続いて、ｎ枚のフレーム画像が記録される。インデッ
クスデータ６−２は、アイコン画像データ６−２−１と
フレーム画像合成データを含む。アイコン画像データ６
−２−１はアイコン画像のサイズや個数ｍを記述したヘ
ッダと、ｍ個のアイコン画像とそのアイコン画像に付属
するタイムコード等の付属情報から構成される。フレー
ム画像合成データ６−２−２は合成パラメータの個数を
記述したヘッダと隣接する各フレーム間のパノラマ画像
合成パラメータ（ｄｘ，ｄｙ）から構成される。パラメ
ータ（ｄｘ，ｄｙ）は現在入力したフレーム画像と一つ
前に入力されたフレーム画像との位置ずれ量を表す。パ
ノラマ画像データ６−３は、パノラマ画像のサイズを記
述したヘッダとパノラマ画像で構成される。
【００１９】まず、動画像表示プログラム６−４はメモ
リ９に読み出され、ＣＰＵ７は最初に処理６０を実行
し、図２のウィンドウ２１、２２、２３を初期状態にす
る。そして、ファイルメニュー２８でクローズが指示さ
れるまで、以下の処理を反復、実行する。
リ９に読み出され、ＣＰＵ７は最初に処理６０を実行
し、図２のウィンドウ２１、２２、２３を初期状態にす
る。そして、ファイルメニュー２８でクローズが指示さ
れるまで、以下の処理を反復、実行する。
【００２０】まず、処理６２でボタン２６は開始状態で
あるかチェックする。開始状態であれば、処理６３を実
行し、そうでなければ処理８０を実行する。
あるかチェックする。開始状態であれば、処理６３を実
行し、そうでなければ処理８０を実行する。
【００２１】処理６３では、動画像再生装置１０から動
画像を構成するフレーム画像を入力し、メモリ９に格納
する。次に、入力したフレーム画像をウィンドウ２１に
表示する（処理６４）。そして、入力したフレーム画像
を外部情報記憶装置６の動画データ６−１として格納す
る（処理６５）。処理６６では、チェックボタン２５の
状態がカット分割指定かどうかを判定する。「カット分
割指定」状態であれば、処理６７を実行し、動画像のカ
ット変わり点を検出する。動画像のカット変わり点を検
出するためには、現在およびそれ以前のフレームとの色
ヒストグラム差分からフレーム間の相関を求め、相関が
無くなった時点をカット変わりとする方法がある。たと
えば、発明者らの特開平８−２２７４６２号「動画像の
変化点検出方法及び装置」が利用できる。
画像を構成するフレーム画像を入力し、メモリ９に格納
する。次に、入力したフレーム画像をウィンドウ２１に
表示する（処理６４）。そして、入力したフレーム画像
を外部情報記憶装置６の動画データ６−１として格納す
る（処理６５）。処理６６では、チェックボタン２５の
状態がカット分割指定かどうかを判定する。「カット分
割指定」状態であれば、処理６７を実行し、動画像のカ
ット変わり点を検出する。動画像のカット変わり点を検
出するためには、現在およびそれ以前のフレームとの色
ヒストグラム差分からフレーム間の相関を求め、相関が
無くなった時点をカット変わりとする方法がある。たと
えば、発明者らの特開平８−２２７４６２号「動画像の
変化点検出方法及び装置」が利用できる。
【００２２】カット変わり点が検出されれば、処理６９
を実行する。処理６９では、ウィンドウ２２に表示中の
パノラマ画像２２−１を一定のサイズにスケーリングし
て、ウィンドウ２３に表示する。処理７０では、チェッ
クボタン２４の状態が経路表示指定かどうかを判定す
る。経路表示指定の場合は、パノラマ画像合成パラメー
タ（ｄｘ，ｄｙ）をパノラマ画像の合成開始フレームか
ら終了フレームまで、（ｄｘ，ｄｙ）を個々に積分する
ことにより、図３の２次元のグラフ２３−１−１の形式
でアイコン画像の上に重ねて表示する。これによって、
カメラの視点の移動経路が表示できる。別の表示方法と
して、図４のグラフ２３−２がある。視点の移動経路グ
ラフ２３−２−１はパノラマ画像合成パラメータ（ｄ
ｘ，ｄｙ）はｄｘ、ｄｙのそれぞれを積分することによ
り、視点の移動経路グラフ２３−２−１はパノラマ画像
の合成開始フレームからその時点のフレームまで（ｄ
ｘ，ｄｙ）を個々に積分した値を時系列に表示すること
により生成できる。視点の移動経路グラフ及び移動経路
グラフはアイコン画像に隣接して表示する。処理７２で
はアイコン画像を外部情報記憶装置６に格納し、処理７
３でウィンドウ２２中のパノラマ画像を消去し、初期状
態とする。
を実行する。処理６９では、ウィンドウ２２に表示中の
パノラマ画像２２−１を一定のサイズにスケーリングし
て、ウィンドウ２３に表示する。処理７０では、チェッ
クボタン２４の状態が経路表示指定かどうかを判定す
る。経路表示指定の場合は、パノラマ画像合成パラメー
タ（ｄｘ，ｄｙ）をパノラマ画像の合成開始フレームか
ら終了フレームまで、（ｄｘ，ｄｙ）を個々に積分する
ことにより、図３の２次元のグラフ２３−１−１の形式
でアイコン画像の上に重ねて表示する。これによって、
カメラの視点の移動経路が表示できる。別の表示方法と
して、図４のグラフ２３−２がある。視点の移動経路グ
ラフ２３−２−１はパノラマ画像合成パラメータ（ｄ
ｘ，ｄｙ）はｄｘ、ｄｙのそれぞれを積分することによ
り、視点の移動経路グラフ２３−２−１はパノラマ画像
の合成開始フレームからその時点のフレームまで（ｄ
ｘ，ｄｙ）を個々に積分した値を時系列に表示すること
により生成できる。視点の移動経路グラフ及び移動経路
グラフはアイコン画像に隣接して表示する。処理７２で
はアイコン画像を外部情報記憶装置６に格納し、処理７
３でウィンドウ２２中のパノラマ画像を消去し、初期状
態とする。
【００２３】処理７４はパノラマ画像を生成する処理で
ある。パノラマ画像は現在入力したフレーム画像と一つ
前に入力したフレーム画像との位置ずれ（ｄｘ，ｄｙ）
を検出して、位置ずれに応じて画像を合成することで達
成できる。このパノラマ画像生成処理はたとえば、発明
者らの特願平９−１５３３０３号「デジタルワイドカメ
ラ」が適用できる。生成されたパノラマ画像はウィンド
ウ２２に表示する（処理７５）。このとき、ウィンドウ
２２の中心にパノラマ画像を配置し、パノラマ画像の全
体がウィンドウ２２内に収まるようにスケーリングして
表示する。パノラマ画像の生成に使用するパノラマ画像
合成パラメータ（ｄｘ，ｄｙ）は外部情報記憶装置６に
格納し（処理７６）、先に説明した処理７１において利
用する。
ある。パノラマ画像は現在入力したフレーム画像と一つ
前に入力したフレーム画像との位置ずれ（ｄｘ，ｄｙ）
を検出して、位置ずれに応じて画像を合成することで達
成できる。このパノラマ画像生成処理はたとえば、発明
者らの特願平９−１５３３０３号「デジタルワイドカメ
ラ」が適用できる。生成されたパノラマ画像はウィンド
ウ２２に表示する（処理７５）。このとき、ウィンドウ
２２の中心にパノラマ画像を配置し、パノラマ画像の全
体がウィンドウ２２内に収まるようにスケーリングして
表示する。パノラマ画像の生成に使用するパノラマ画像
合成パラメータ（ｄｘ，ｄｙ）は外部情報記憶装置６に
格納し（処理７６）、先に説明した処理７１において利
用する。
【００２４】一方、ボタン２６が終了状態であれば（処
理６２）、ユーザがボタン２７（図２を参照）を押した
かどうかを判定する（処理８０）。押されていればウィ
ンドウ２２で表示中のパノラマ画像２２−１を外部情報
記憶装置６へパノラマ画像データ６−３として出力す
る。これにより、ユーザが所望する任意時点のパノラマ
画像を取得することが可能になる。
理６２）、ユーザがボタン２７（図２を参照）を押した
かどうかを判定する（処理８０）。押されていればウィ
ンドウ２２で表示中のパノラマ画像２２−１を外部情報
記憶装置６へパノラマ画像データ６−３として出力す
る。これにより、ユーザが所望する任意時点のパノラマ
画像を取得することが可能になる。
【００２５】次に、ウィンドウ２３中に表示されている
アイコン画像がポインティングデバイス５でポインティ
ングされたかどうかチェックする（処理８２）。ポイン
ティングされていた場合はウィンドウ２１に、既に外部
情報記憶装置６に格納されている動画データ６−１の該
当するフレーム区間だけを部分的に再生し、同時に、該
当する合成パラメータ６−２−２を用いて、パノラマ画
像を順次作成し、ウィンドウ２２で表示する。これによ
り、スケーリングで小さくなりすぎたアイコン画像の、
詳細なパノラマ画像ならびに対応する動画像をユーザは
簡単に見ることができる。
アイコン画像がポインティングデバイス５でポインティ
ングされたかどうかチェックする（処理８２）。ポイン
ティングされていた場合はウィンドウ２１に、既に外部
情報記憶装置６に格納されている動画データ６−１の該
当するフレーム区間だけを部分的に再生し、同時に、該
当する合成パラメータ６−２−２を用いて、パノラマ画
像を順次作成し、ウィンドウ２２で表示する。これによ
り、スケーリングで小さくなりすぎたアイコン画像の、
詳細なパノラマ画像ならびに対応する動画像をユーザは
簡単に見ることができる。
【００２６】以上の実施例ではカット変わりの点ごとに
動画像を区分してそれぞれパノラマ画像のアイコン画像
を一覧表にしているが、テレビ放送から入力した動画像
には、動画像中にデイゾルブと呼ぶ、場面が緩やかに切
り替わる点がある。このような切り替わり点を無視して
パノラマ画像を作成すると、それ以前に作成したパノラ
マ画像の上に別の場面のフレーム画像を上書きする可能
性がでてくる。こうした問題を解決するためには、カッ
ト変わりの点に加えてデイゾルブ点も動画の区分の条件
とすればよい。緩やかに切り替わる点を検出するために
は、過去数フレームの画像の変化を調べることで達成で
きる。このデイゾルブ点の検出には、たとえば発明者ら
による特開平９−６５２８７号「動画像の特徴場面検出
方法及び装置」が適用できる。
動画像を区分してそれぞれパノラマ画像のアイコン画像
を一覧表にしているが、テレビ放送から入力した動画像
には、動画像中にデイゾルブと呼ぶ、場面が緩やかに切
り替わる点がある。このような切り替わり点を無視して
パノラマ画像を作成すると、それ以前に作成したパノラ
マ画像の上に別の場面のフレーム画像を上書きする可能
性がでてくる。こうした問題を解決するためには、カッ
ト変わりの点に加えてデイゾルブ点も動画の区分の条件
とすればよい。緩やかに切り替わる点を検出するために
は、過去数フレームの画像の変化を調べることで達成で
きる。このデイゾルブ点の検出には、たとえば発明者ら
による特開平９−６５２８７号「動画像の特徴場面検出
方法及び装置」が適用できる。
【００２７】
【発明の効果】本発明によれば、動画像全体を変化点で
区分し、区分された動画像のカメラ操作情報から生成し
たパノラマ画像を一覧表示するため、区分された動画中
のあらゆる被写体をあますことなく表示できる。従来の
動画像の一覧表示では、区分された動画像について、そ
れを代表するフレームを１つ選択して表示していたた
め、代表画像以外のフレーム中に含まれた被写体を見逃
してしまう問題があったが、本発明では全てのフレーム
の情報を使ってパノラマ画像を生成するためそのような
問題が解消するという効果がある。さらに、アイコン画
像に重畳してカメラ操作による視点の移動経路を表示す
るため、ユーザはアイコン画像を見ることによって、撮
影技法まで理解できるという効果がある、また、本発明
では、動画像表示ウィンドウによる動画表示、パノラマ
画像表示ウィンドウによる生成中のパノラマ画像表示、
アイコン画像一覧ウィンドウによる静止画表示が同時に
行えるため、ユーザの動画像に対する理解がより促進さ
れるという効果がある。
区分し、区分された動画像のカメラ操作情報から生成し
たパノラマ画像を一覧表示するため、区分された動画中
のあらゆる被写体をあますことなく表示できる。従来の
動画像の一覧表示では、区分された動画像について、そ
れを代表するフレームを１つ選択して表示していたた
め、代表画像以外のフレーム中に含まれた被写体を見逃
してしまう問題があったが、本発明では全てのフレーム
の情報を使ってパノラマ画像を生成するためそのような
問題が解消するという効果がある。さらに、アイコン画
像に重畳してカメラ操作による視点の移動経路を表示す
るため、ユーザはアイコン画像を見ることによって、撮
影技法まで理解できるという効果がある、また、本発明
では、動画像表示ウィンドウによる動画表示、パノラマ
画像表示ウィンドウによる生成中のパノラマ画像表示、
アイコン画像一覧ウィンドウによる静止画表示が同時に
行えるため、ユーザの動画像に対する理解がより促進さ
れるという効果がある。
【図１】本発明を実現するためのシステム構成の一例で
ある。
ある。
【図２】本発明の画面表示の一例である。
【図３】本発明の画面表示の別の一例である。
【図４】本発明の画面表示のさらに別の一例である。
【図５】動画像表示プログラムのフローチャートの一例
である。
である。
【図６】外部情報記憶装置に格納されるデータの構造の
一例である。
一例である。
１…ディスプレイ、３…Ａ／Ｄ変換器、４…コンピュー
タ、５…入力装置、６…外部情報記憶装置、７…ＣＰ
Ｕ、８…インタフェース、９…メモリ、１０…動画像再
生装置、２１…動画像表示ウィンドウ、２２…パノラマ
画像表示ウィンドウ、２３…アイコン画像表示ウィンド
ウ。
タ、５…入力装置、６…外部情報記憶装置、７…ＣＰ
Ｕ、８…インタフェース、９…メモリ、１０…動画像再
生装置、２１…動画像表示ウィンドウ、２２…パノラマ
画像表示ウィンドウ、２３…アイコン画像表示ウィンド
ウ。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０９Ｇ 5/14 Ｇ０９Ｇ 5/36 ５１０Ｍ 5/36 ５１０ Ｇ０６Ｆ 15/62 ３２０Ｍ Ｈ０４Ｎ 5/91 Ｈ０４Ｎ 5/91 Ｎ
Claims (8)
- 【請求項１】動画像と動画像の構造を表示する装置にお
ける動画像表示方法であって、入力した動画像をフレー
ム順に連続して表示する動画像表示ウィンドウと、該動
画像のパノラマ画像を逐次表示するパノラマ画像表示ウ
ィンドウと、該パノラマ画像を動画像の変化点毎または
ユーザの指定単位毎のいずれかまたは両方で区切り、静
止画として一覧表示するアイコン画像表示ウィンドウと
をディスプレイ上に表示することを特徴とする動画像表
示方法。 - 【請求項２】請求項１記載の動画像表示ウィンドウは、
撮像装置または動画像再生装置または外部情報記憶装置
から入力した動画像を表示するようにしたことを特徴と
する動画像表示方法。 - 【請求項３】請求項１記載のパノラマ画像表示ウィンド
ウは、上記パノラマ画像表示ウィンドウの中心にパノラ
マ画像を配置し、上記パノラマ画像の全体が上記パノラ
マ画像表示ウィンドウ内に収まるようにスケーリングし
て表示するようにしたことを特徴とする動画像表示方
法。 - 【請求項４】請求項１記載の動画像の変化点は、カット
変わり点またはディゾルブ点のいずれかまたは両方であ
ることを特徴とする動画像表示方法。 - 【請求項５】請求項１記載の静止画は、所定のサイズに
スケーリングすることを特徴とする動画像表示方法。 - 【請求項６】請求項１記載のアイコン画像表示ウィンド
ウは、静止画を一覧表示するとともに、上記静止画に代
表される動画像の開始時刻または終了時刻に関する情報
を合わせて表示するようにしたことを特徴とする動画像
表示方法。 - 【請求項７】請求項１記載のアイコン画像表示ウィンド
ウは、上記静止画を一覧表示するとともに、上記静止画
上にカメラ操作の移動経路を示す情報をも重畳させて表
示するようにしたことを特徴とする動画像表示方法。 - 【請求項８】請求項１記載のアイコン画像表示ウィンド
ウは、上記静止画を一覧表示するとともに、上記静止画
の各々についてカメラ操作による視点の移動経路と移動
時間を示す情報を表示するようにしたことを特徴とする
動画像表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29815297A JP4154012B2 (ja) | 1997-10-30 | 1997-10-30 | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29815297A JP4154012B2 (ja) | 1997-10-30 | 1997-10-30 | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11134352A true JPH11134352A (ja) | 1999-05-21 |
| JP4154012B2 JP4154012B2 (ja) | 2008-09-24 |
Family
ID=17855878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29815297A Expired - Lifetime JP4154012B2 (ja) | 1997-10-30 | 1997-10-30 | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4154012B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001246150A (ja) * | 2000-03-02 | 2001-09-11 | Namco Ltd | ゲーム装置及び情報記憶媒体 |
| WO2009028409A1 (ja) * | 2007-08-24 | 2009-03-05 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009028413A1 (ja) * | 2007-08-24 | 2009-03-05 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009072551A1 (ja) * | 2007-12-07 | 2009-06-11 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009081732A1 (ja) * | 2007-12-26 | 2009-07-02 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009081806A1 (ja) * | 2007-12-21 | 2009-07-02 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009084410A1 (ja) * | 2007-12-27 | 2009-07-09 | Sony Corporation | 撮像装置、その制御方法およびプログラム |
| US8421871B2 (en) | 2008-09-22 | 2013-04-16 | Sony Corporation | Method and apparatus for image pickup and image processing |
| EP2654286A1 (en) * | 2011-11-29 | 2013-10-23 | Samsung Electronics Co., Ltd. | Method of providing panoramic image and imaging device thereof |
| US8570390B2 (en) | 2007-12-07 | 2013-10-29 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| US8599320B2 (en) | 2008-01-21 | 2013-12-03 | Sony Corporatiion | Picture processing apparatus, processing method for use therewith, and program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04117686A (ja) * | 1990-09-07 | 1992-04-17 | Fujitsu Ltd | 動画像編集装置 |
| JPH05199460A (ja) * | 1992-01-21 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | 動画内容表示方法 |
-
1997
- 1997-10-30 JP JP29815297A patent/JP4154012B2/ja not_active Expired - Lifetime
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04117686A (ja) * | 1990-09-07 | 1992-04-17 | Fujitsu Ltd | 動画像編集装置 |
| JPH05199460A (ja) * | 1992-01-21 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | 動画内容表示方法 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001246150A (ja) * | 2000-03-02 | 2001-09-11 | Namco Ltd | ゲーム装置及び情報記憶媒体 |
| US8754959B2 (en) | 2007-08-24 | 2014-06-17 | Sony Corporation | Image processing device, dynamic image reproduction device, and processing method and program in them |
| WO2009028409A1 (ja) * | 2007-08-24 | 2009-03-05 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009028413A1 (ja) * | 2007-08-24 | 2009-03-05 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| US8963951B2 (en) | 2007-08-24 | 2015-02-24 | Sony Corporation | Image processing apparatus, moving-image playing apparatus, and processing method and program therefor to allow browsing of a sequence of images |
| US9402015B2 (en) | 2007-12-07 | 2016-07-26 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| WO2009072551A1 (ja) * | 2007-12-07 | 2009-06-11 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| US8768097B2 (en) | 2007-12-07 | 2014-07-01 | Sony Corporation | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor |
| US8570390B2 (en) | 2007-12-07 | 2013-10-29 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| WO2009081806A1 (ja) * | 2007-12-21 | 2009-07-02 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| US8305457B2 (en) | 2007-12-21 | 2012-11-06 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| US8810708B2 (en) | 2007-12-21 | 2014-08-19 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| JP2009159330A (ja) * | 2007-12-26 | 2009-07-16 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009081732A1 (ja) * | 2007-12-26 | 2009-07-02 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| US8515256B2 (en) | 2007-12-26 | 2013-08-20 | Sony Corporation | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor |
| US8350929B2 (en) | 2007-12-27 | 2013-01-08 | Sony Corporation | Image pickup apparatus, controlling method and program for the same |
| JP2009159514A (ja) * | 2007-12-27 | 2009-07-16 | Sony Corp | 撮像装置、その制御方法およびプログラム |
| WO2009084410A1 (ja) * | 2007-12-27 | 2009-07-09 | Sony Corporation | 撮像装置、その制御方法およびプログラム |
| US8717504B2 (en) | 2008-01-21 | 2014-05-06 | Sony Corporation | Picture processing apparatus, processing method for use therewith, and program |
| US8599320B2 (en) | 2008-01-21 | 2013-12-03 | Sony Corporatiion | Picture processing apparatus, processing method for use therewith, and program |
| US8421871B2 (en) | 2008-09-22 | 2013-04-16 | Sony Corporation | Method and apparatus for image pickup and image processing |
| EP2654286A1 (en) * | 2011-11-29 | 2013-10-23 | Samsung Electronics Co., Ltd. | Method of providing panoramic image and imaging device thereof |
| US9538085B2 (en) | 2011-11-29 | 2017-01-03 | Samsung Electronics Co., Ltd. | Method of providing panoramic image and imaging device thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4154012B2 (ja) | 2008-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4241709B2 (ja) | 画像処理装置 | |
| US6157744A (en) | Method and apparatus for detecting a point of change in a moving image | |
| US20080304706A1 (en) | Information processing apparatus and information processing method | |
| US20080019610A1 (en) | Image processing device and image processing method | |
| US8174571B2 (en) | Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images | |
| US20020197060A1 (en) | Video apparatus and method | |
| JPH1175150A (ja) | 動画像編集方法及び動画像編集装置並びに動画像編集動作を実行するためのプログラムを記録した記録媒体 | |
| JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
| US8063970B2 (en) | Image recording/reproduction apparatus, index displaying method by image recording/reproduction apparatus, and computer program | |
| JPH1028250A (ja) | インテリジェントビデオカメラ及びインテリジェントスチルカメラ | |
| JP4154012B2 (ja) | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 | |
| JP2003303333A (ja) | 画像表示制御装置 | |
| JP2002152721A (ja) | 録画再生装置の映像表示方法および装置 | |
| JPH10243323A (ja) | シーン管理装置、シーン管理方法及び記録媒体 | |
| CN112822394B (zh) | 显示控制方法、装置、电子设备及可读存储介质 | |
| JP4464088B2 (ja) | 映像メディア閲覧システムおよび方法 | |
| JP3427969B2 (ja) | 映像表示方法および装置並びに映像表示プログラムを記録した記録媒体 | |
| JP4185376B2 (ja) | 画像処理システム | |
| JP4175622B2 (ja) | 画像表示システム | |
| JP6576704B2 (ja) | 動画再生装置及び動画再生方法 | |
| JP6847168B2 (ja) | 動画再生装置及び動画再生方法 | |
| JP4223762B2 (ja) | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム | |
| JP3955418B2 (ja) | 動画像編集装置 | |
| JP3157928B2 (ja) | 動画像の拾い見装置 | |
| JP3156804B2 (ja) | 動画の速見表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050527 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050722 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050826 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20051014 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080530 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |