JP4185719B2 - 動画表示制御装置 - Google Patents

Description

【０００１】
【技術分野】
この発明は，動画表示装置に関する。
【０００２】
【発明の背景】
動画を鑑賞しようとする場合において，所望の部分から見始めようとするときには，動画を早送りで再生したり，巻き戻しで再生したりして，所望の部分を見つけることとなる。しかしながら，所望の部分を探し出すのは比較的面倒である。とくに長時間の動画となると，所望の部分を探すのに時間がかかってしまう。
【０００３】
【発明の開示】
この発明は，比較的簡単に動画の所望の部分を見つけだすことを目的とする。
【０００４】
この発明による動画表示制御装置は，動画を表す動画データが記録されている記録媒体から上記動画データを読み出す読み出し手段，上記読み出し手段によって読み出された動画データによって表される動画を構成する多数駒の画像を，類似している画像同士によって複数のグループに分類するグループ化手段，上記グループ化手段によって分類された複数のグループのそれぞれを代表する画像を表示画面上に表示するように表示装置を制御する画像表示制御手段，ならびに上記画像表示制御手段による表示制御にもとづいて表示された代表画像のうち，選択された代表画像につづく動画を上記表示画面に表示するように上記読み出し手段および上記表示制御手段を制御する動画表示制御手段を備えていることを特徴とする。
【０００５】
この発明による動画表示制御装置に適した制御方法を提供するようにしてもよい。すなわち，動画を表す動画データが記録されている記録媒体から上記動画データを読み出し，読み出された動画データによって表される動画を構成する多数駒の画像を，類似している画像同士によって複数のグループに分類し，分類された複数のグループのそれぞれを代表する画像を表示画面上に表示し，表示された代表画像のうち，選択された代表画像につづく動画を上記表示画面に表示するものである。
【０００６】
この発明によると，記録媒体に記録されている動画データによって表される動画を構成する多数駒の画像が，類似している画像同士によって複数のグループに分類される。分類されたグループのそれぞれを代表する複数の画像が表示装置の表示画面に表示される。表示画面に表示された複数の代表画像のうち動画として見たい画像に近い代表画像がユーザによって選択される。選択された代表画像から始まる動画が表示画面上に表示される。
【０００７】
比較的簡単に，ユーザが見たい所望の動画の部分を見つけだすことができるようになる。また，複数駒の代表画像が表示されるので，それらの代表画像を一瞥することにより動画の全体を把握することもできる。
【０００８】
上記選択された代表画像をもつグループについてグループ化および代表画像の表示を繰り返すように上記グループ化手段および上記表示制御手段を制御する制御手段をさらに備えるようにしてもよい。
【０００９】
類似する画像ごとに，さらに動画をグループ化していくことができ，所望の画像部分を比較的簡単に見つけだすことができるようになる。
【００１０】
上記グループ化手段は，上記多数駒の画像のうちから複数駒の代表画像を複数のグループに分類するものでもよい。
【００１１】
【実施例の説明】
図１は，この発明による実施例を示すもので，動画の記録／再生機能を有したディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００１２】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ20によって統括される。
【００１３】
ディジタル・スチル・カメラには，各種指令を与えるためのスイッチ21が含まれている。スイッチ21から出力される信号は，ＣＰＵ20に入力する。この実施例によるディジタル・スチル・カメラは，動画記録モード，静止画記録モード，再生モード，動画検索モードなどの各種モードの設定が可能である。
【００１４】
スイッチ21により記録モード（動画記録モードまたは静止画記録モード）が設定されると，撮像レンズ１によって被写体像がＣＣＤ２の受光面上に結像する。被写体像を表す映像信号がＣＣＤ２から出力されアナログ／ディジタル変換回路３に入力する。アナログ／ディジタル変換回路３において変換されたディジタル画像データは信号処理回路４において，ガンマ補正，白バランス調整などの所定の信号処理が行われる。
【００１５】
信号処理回路４から出力された画像データは，ディジタル／アナログの変換回路11においてアナログ映像信号に変換される。アナログ映像信号が表示装置12に与えられることにより，撮像により得られた画像が表示される。
【００１６】
動画記録モードに設定されていると，上述のようにして信号処理回路４から出力された画像データは圧縮／伸長回路５に入力する。圧縮／伸長回路５においてモーションＪＰＥＧ（joint photographic experts group）などの動画圧縮が行われる。圧縮された動画データがインターフェイス６を介してメモリ・カード７に与えられ，記録される。静止画モードに設定されていると，シャッタ・レリーズ・ボタンの押下のタイミングに応じて被写体が撮像され，上述のようにして画像データが得られる。得られた画像データが圧縮／伸長回路５においてＪＰＥＧなどの静止画圧縮が行われる。圧縮された画像データがメモリ・カード７に与えられ，記録されることとなる。
【００１７】
再生モードが設定されていると，メモリ・カード７に記録されている画像データがインターフェイス６を介して圧縮／伸長回路５に与えられる。動画データであれば，圧縮／伸長回路５において動画圧縮に対応した伸長が行われる。静止画データであれば，圧縮／伸長回路５において静止画圧縮に対応した伸長が行われる。いずれにしても伸長された画像データは，ディジタル／アナログ変換回路11に与えられ，アナログ映像信号に変換される。変換されたアナログ映像信号が表示装置12に与えられることにより，メモリ・カード７に記録されている画像データによって表される動画または静止画が表示される。
【００１８】
この実施例によるディジタル・スチル・カメラにおいては，動画を再生するときに，所望のシーンから動画を再生することができる。所望のシーンを見つけるために動画検索モードが設定される。所望のシーンを見つける動画を表す動画データがメモリ・カード７から読み取られる。動画データは，インターフェイス６を介して圧縮／伸長回路５において伸長される。伸長された動画データは，類似度算出回路８および代表画像抽出回路10に入力する。
【００１９】
類似度算出回路８において，動画を構成する各画像同士の類似度が算出される。算出された類似度を表すデータが閾値判断回路９に与えられる。所定の閾値以下であれば，類似すると判断される。類似度が閾値以下同士の画像がグループ化され，そのグループの代表画像が代表画像抽出回路10において抽出される。抽出された代表画像を表す画像データがディジタル／アナログ変換回路11においてアナログ映像信号に変換される。変換されたアナログ映像信号が表示装置12に与えられることにより，代表画像が表示される。
【００２０】
このように，動画が各グループごとに分けられ，それらのグループの代表画像が表示される。グループがさらに，複数のサブ・グループに分けられて，サブ・グループの代表画像が表示される。ユーザが見たい代表画像が表示されるまで，グループ分けおよび分けられたグループの代表画像の表示が繰り返される。ユーザが見たい代表画像が表示されると，その代表画像が選択されることにより，選択された代表画像につづく動画が表示されるようになる。
【００２１】
上述した各回路は，ハードウエアにより構成されているがソフトウエアによって実現してもよいのはいうまでもない。また，動画圧縮処理は，モーションＪＰＥＧが用いられているが，ＭＰＥＧ（moving picture experts group）などの他の圧縮手法を用いても良いし，圧縮しなくとも良い。より詳しくは，以下の説明によって明らかとなろう。
【００２２】
図２は，ディジタル・スチル・カメラの背面の一例である。
【００２３】
ディジタル・スチル・カメラの背面にはそのほぼ全面に液晶表示画面31が形成されている。この液晶表示画面31に上述した代表画像Ｆ１，Ｆ３およびＦ10が表示されている。
【００２４】
液晶表示画面31の下には，動画記録モードまたは静止画記録モードを設定する記録モード・スイッチ22，再生モードを設定する再生モード・スイッチ23，上下左右の矢印が形成されている上下左右ボタン24，動画検索モードを設定する検索スイッチ25および決定ボタン26が設けられている。上下左右ボタン24に形成されている矢印の押下に応じてカーソル32が移動する。
【００２５】
再生モード・スイッチ23により再生モードが設定されると，液晶表示画面31には動画データを表すアイコン，静止画データを表すアイコンなどが表示される。上下左右ボタン24を用いて所望の動画アイコンを指定して，検索スイッチ25が押されると，後述のように動画検索処理が開始する。
【００２６】
図３は，動画検索処理を示すフローチャート，図４から図７は，動画データによって表される動画を構成する各画像の一例である。
【００２７】
動画検索処理が開始すると，指定された動画アイコンによって特定される動画データがメモリ・カード７から読み出される。この実施例においては，合計10分の動画を表す動画データがメモリ・カード７から読み出されるものとする。
【００２８】
この実施例においては，動画は，１秒当たり15駒の画像から構成されているものとする。図４の上の図に示すように，10分×60秒×15駒／秒＝9000駒の画像から10分の動画が構成される。
【００２９】
これらの9000駒の画像の中から，動画を代表する画像として10駒の画像がディフォルトで抽出される。この実施例においては，一番最初に表示される画像と１分ごとに現れる画像の合計10駒の画像がディフォルトの代表画像とされる。最初に表示される画像は，画像Ｉ１であり，１分後，２分後，３分後，４分後，５分後，６分後，７分後，８分後および９分後に表される画像はそれぞれ，１駒目の画像Ｉ１，901駒目の画像Ｉ901，1801駒目の画像Ｉ1801，2701駒目の画像Ｉ2701，3601駒目の画像Ｉ3601，4501駒目の画像Ｉ4501，5401駒目の画像Ｉ5401，6301駒目の画像Ｉ6301，7201駒目の画像Ｉ7201および8101駒目の画像Ｉ8101となる。これらの画像Ｉ１，Ｉ901，Ｉ1801，Ｉ2701，Ｉ3601，Ｉ4501，Ｉ5401，Ｉ6301，Ｉ7201およびＩ8101が代表画像となる。これらの代表画像を表す画像データが動画データからまず抽出される（ステップ41）。これらの画像Ｉ１，Ｉ901，Ｉ1801，Ｉ2701，Ｉ3601，Ｉ4501，Ｉ6301，Ｉ7201およびＩ8101を，それぞれＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８およびＦ９とする。また，代表画像Ｆ１とＦ２との間には，図４の下の図に示すように，900駒の画像Ｉ１からＩ900がある。
【００３０】
このようにして抽出された10駒の代表画像の代表画像同士の類似度が算出される（ステップ42）。この類似度算出処理について詳しくは，後述する。算出された類似度を用いて類似する画像同士から構成されるグループが作成される（ステップ43）。たとえば，画像Ｆ１，Ｆ２，Ｆ３，Ｆ５，Ｆ７，Ｆ８およびＦ９がそれぞれ類似し，画像Ｆ３，Ｆ４およびＦ６がそれぞれ類似し，画像Ｆ10はそのほかの画像とは類似しないものとする。すると，図５に示すように，画像Ｆ１，Ｆ２，Ｆ３，Ｆ５，Ｆ７，Ｆ８およびＦ９から構成されるグループ１，画像Ｆ３，Ｆ４およびＦ６から構成されるグループ２，画像Ｆ10から構成されるグループ３の３つのグループが作成される。
【００３１】
グループが作成されると，各グループの最初の画像Ｆ１，Ｆ３およびＦ10が代表画像として決定される。図５においては，代表画像がハッチングで示されている。決定された代表画像が図２に示すように表示画面31に表示される（ステップ44）。
【００３２】
表示画面31上に表示されている代表画像の中に，動画として続きを見たい画像が含まれていると，その続きを見たい画像上にカーソル32が動かされる。その後，決定ボタン26が押されると再生指令となり（ステップ45），カーソル32によって指定された画像の続きを表す動画データがメモリ・カード７から読み出される。読み出された画像データによって表される動画が表示画面31上に表示されるようになる（ステップ50）。
【００３３】
表示画面31上に表示されている代表画像の中に，動画としてつづきを見たい画像が含まれていない場合には，つづきを見たい画像にもっとも近い画像上にカーソル32が動かされる。その後，検索ボタン25が押されると検索指令となり（ステップ45），カーソル32によって指定された画像を含むグループを構成する画像の類似度が算出される（ステップ46）。この実施例においては，代表画像１がユーザによって指定され，検索指令が与えられたものとする。
【００３４】
すると，上述したのと同様に，グループ１を構成する画像Ｆ１，Ｆ２，Ｆ５，Ｆ７，Ｆ８およびＦ９のそれぞれの類似度を用いてサブ・グループが作成される（ステップ47）。たとえば，図６に示すように，画像Ｆ１とＦ２とが類似し，グループ４が作成され，画像Ｆ５，Ｆ７およびＦ８が類似し，グループ５が作成される。画像Ｆ９がグループ６を構成する。サブ・グループの作成に用いられる閾値は，上述したステップ43のグループ作成処理に用いられるものよりも値が小さくなっている（より細かなグループ分けが可能な閾値が用いられる）のはいうまでもない。
【００３５】
サブ・グループが作成されると，作成されたサブ・グループの最初の画像が代表画像として，表示画面31に表示される（ステップ48）。図６にハッチングで示すように，グループ４の代表画像として画像Ｆ１が表示され，グループ５の代表画像として画像Ｆ５が表示され，グループ６の代表画像として画像Ｆ９が表示される。
【００３６】
表示された代表画像の中に動画としてつづきを見たい画像が含まれていれば，カーソル32によって指定され，決定ボタン26が押される（ステップ49）。指定された画像の続きの動画が表示画面31に表示される（ステップ50）。
【００３７】
表示された代表画像の中に動画としてつづきを見たい画像が含まれていなければ，続きを見たい画像にもっとも近い画像上にカーソル32が動かされ，検索ボタン25が再度押される（ステップ49）。すると，ステップ46から49の処理が繰り返される。たとえば，画像Ｆ５が指定され，検索ボタン25が押されると，画像Ｆ５が代表画像であるグループ５を構成する各画像がさらにグループ化され，それぞれのグループの代表画像が表示画面31上に表示される。たとえば，グループ７と８とのグループ化され，代表画像Ｆ５およびＦ７が表示される。
【００３８】
このように，代表画像が徐々に収束していき，所望の動画の部分を見つけだすことができるようになる。また，上述したように動画は１秒当たり15駒の画像から構成されているから，このようにして選択された代表画像の続きを構成する900駒の画像をさらにグループ化して，それらの900駒の画像の中から画像を選択するようにしてもよい。
【００３９】
図８は，類似度算出処理（図３ステップ42および46）の手順を示すフローチャートである。
【００４０】
まず，類似度を算出する２駒の画像が選択される（ステップ61）。選択された２駒の画像を構成する画素同士の輝度の差分が算出され，その差分の重み付け平均が算出される（ステップ62）。この重み付け平均算出処理を式で表すと式１のようになる。
【００４１】
S(x,y)＝Σｗｉ×ＤFi(x,y)・・・式１
ただし，S(x,y)は任意の座標(x,y)の重み付け平均値，ｗｉは，重み付け係数，ＤFi(x,y)は，２つの画像における同じ座標(x,y)にある画素の輝度の差分である。
【００４２】
算出された平均値が最小であれば（ステップ63でＹＥＳ），最小平均値として記憶される（ステップ64）。算出された平均値が最小でなければ（ステップ63でＮＯ），ステップの処理はスキップされる。
【００４３】
２駒の画像のうち，一方の画像が360度回転していなければ（ステップ65でＮＯ），所定角度（たとえば，10度）回転させられ（ステップ66），再びステップ62から65の処理が繰り返される。
【００４４】
このようにして得られた最小平均値が２駒の画像の類似度となる。類似度算出処理を上述した各グループを構成するすべての画像または代表画像について行い，類似度によって分けられたグループが作成されることとなる。
【図面の簡単な説明】
【図１】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２】ディジタル・スチル・カメラの背面を示している。
【図３】動画検索処理を示すフローチャートである。
【図４】ディフォルトの代表画像を示している。
【図５】作成されたグループを示している。
【図６】作成されたグループを示している。
【図７】作成されたグループを示している。
【図８】類似度算出処理を示すフローチャートである。
【符号の説明】
５ 圧縮／伸長回路
７ メモリ・カード
８ 類似度算出回路
９ 閾値判断回路
10 代表画像抽出回路
12 表示装置
20 ＣＰＵ
31 表示画面
23 再生モード・スイッチ
24 上下左右ボタン
25 検索スイッチ
26 決定ボタン

Claims (1)

1. 動画を表す動画データが記録されている記録媒体から上記動画データを読み出す読み出し手段，
   上記読み出し手段によって読み出された動画データによって表される動画を構成する多数駒の画像の中から選ばれた複数駒の画像について，第１の閾値に基づいて類似している画像同士によって複数のグループに分類するグループ化手段，
   上記グループ化手段によって分類された複数のグループのそれぞれを代表する画像を表示画面上に表示するように表示装置を制御する画像表示制御手段，ならびに
   上記画像表示制御手段による表示制御にもとづいて表示された代表画像の選択および再生指令に基づいて，選択された代表画像につづく動画を上記表示画面に表示するように上記読み出し手段および上記表示制御手段を制御する動画表示制御手段を備え，
   上記グループ化手段はさらに，上記画像表示制御手段による表示制御にもとづいて表示された代表画像の選択および検索指令に基づいて，選択された代表画像を含むグループに属する複数駒の画像を，上記第１の閾値よりも小さい第２の閾値に基づいて類似している画像同士によって複数のグループに再分類するものであり，
   上記画像表示制御手段はさらに，再分類された複数のグループのそれぞれを代表する画像を表示画面上に表示するように表示装置を制御する，
   動画表示制御装置。

Images