JP4935551B2 - 表示制御装置、表示制御方法、プログラム - Google Patents

表示制御装置、表示制御方法、プログラム Download PDF

Info

Publication number
JP4935551B2
JP4935551B2 JP2007185475A JP2007185475A JP4935551B2 JP 4935551 B2 JP4935551 B2 JP 4935551B2 JP 2007185475 A JP2007185475 A JP 2007185475A JP 2007185475 A JP2007185475 A JP 2007185475A JP 4935551 B2 JP4935551 B2 JP 4935551B2
Authority
JP
Japan
Prior art keywords
image
moving image
scene
index
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007185475A
Other languages
English (en)
Other versions
JP2009027236A (ja
Inventor
公一 小山
哲雄 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007185475A priority Critical patent/JP4935551B2/ja
Priority to US12/218,279 priority patent/US8004594B2/en
Publication of JP2009027236A publication Critical patent/JP2009027236A/ja
Application granted granted Critical
Publication of JP4935551B2 publication Critical patent/JP4935551B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、表示デバイスの表示画面部位に対して画像を表示出力させるための表示制御を実行する表示制御装置とその方法に関する。また、このような表示制御装置が実行するプログラムに関する。
例えば記憶媒体に記憶されている動画像コンテンツについての検索一覧表示を行う手法として、タイトル単位若しくはチャプタ単位に相当するサムネイル画像やアイコンを配列表示させることが、広く行われている。また、このような検索一覧表示は、サムネイル画像などとして表示されたタイトル、チャプタを選択することにより、その選択されたタイトル、チャプタからの再生を開始させるようにされたGUI(Graphical User Interface)として構成されていることが通常である。
また、例えば、動画撮影が可能な撮像装置では、これまでに撮影記録したシーンにつき1つの代表画像を生成し、これらの代表画像を1画面上に表示させるものが広く知られている。
なお、上記の「シーン」とは、撮像装置による動画記録の開始から終了までに対応して得られる動画像コンテンツの単位を指すものであり、他に「カット」「ショット」などともいわれる。
しかし、上記のような動画像コンテンツの一覧表示では、1つのタイトル、チャプタ、シーンなどの動画単位につき、その動画単位を代表する1フレーム分に相当する、1枚のサムネイル画像としての静止画のみを提示するようにされているのが通常である。このために、各シーンの中身の内容をユーザが把握しにくく、この点で、動画像コンテンツを検索する手法としては決して使い易いものであるとはいえない。一般に、タイトル、チャプタ、シーンなどの動画単位の記録時間長は、数秒程度から数十分、数時間とかなりばらつくが、上記の問題は、これらの動画単位が長尺になるほど顕著になる。
そこで、特許文献1のようにして、動画(タイトル)一覧表示、チャプタ一覧表示などの検索一覧表示を行っている場合において、ユーザ操作に応じて選択された静止画のサムネイル画像を対象として、再生キーの操作が行われた場合には、その選択されたサムネイル画像の領域において、対応する動画像を再生して表示させる構成が提案されている。
このような構成であれば、検索一覧表示において、動画(タイトル)、チャプタの内容を動画により確認できることになり、単に静止画によるサムネイル画像のみにより一覧表示を行う場合よりも、タイトル、チャプタの内容を把握しやすくなる。
特開2006−165679号公報
本願発明としても、或る単位動画(単位動画データ)についての検索一覧表示に関して、単位動画を代表する画像として動画像を表示させる構成を採ることで、先ず、単位動画の内容把握が容易化されるように配慮する。そのうえで、ユーザにとって、より高い利便性が与えられるような検索一覧表示の態様が得られるようにするものである。
そこで本発明は上記した課題を考慮して、表示制御装置として次のように構成する。
つまり、所定単位による単位動画データごとに対応する代表画像を少なくとも配置して形成される単位動画一覧画像を表示させるための制御を実行する一覧画像表示制御手段と、上記代表画像のうち、動画とすべき代表画像については、上記単位動画一覧画像上で、対応する単位動画データを再生して得た動画像を配置するようにされ、上記動画として指定した以外の代表画像については、上記単位動画一覧画像上で、対応する単位動画を代表するとされる静止画像を配置するようにされた代表画像表示制御手段と、上記動画として指定する代表画像を、所定の変更規則と変更タイミングに従って順次変更していくようにされる動画変更制御手段と、を備え、上記単位動画データは、1つのシーンとしての動画データを区分して得られる部分動画データとされ、上記動画変更制御手段は、所定の時間長による単位動画データの再生を完了したタイミングに応じて、シーンにおける上記単位動画データの時系列としての順序規則に従って決まる上記単位動画データの順序に対応させて、上記動画像とすべき代表画像を変更するようにされていることとした。
上記構成によれば、単位動画一覧画像において配置される代表画像としては、静止画だけではなく、動画も表示させることが可能とされる。そのうえで、動画として表示される代表画像は、所定の変更規則とタイミングに従って、順次変更されていくものとなる。
即ち、本願発明によっては、例えばユーザが、動画として表示させたい代表画像を選択して動画として再生させるための操作を逐一行わなくとも、ユーザの感覚に適合させた順序とタイミングにより、自動的に動画として表示される代表画像が変更されていくという動作が得られることになる。このようにして操作を行う手間が省ける分、ユーザにとっては使い易いものとなって利便性が高まることになる。また、動画再生される代表画像が自動的に変わっていくという表示態様が得られることで、検索一覧表示を視るときの娯楽性も高められるということがいえる。
図1は、本願発明を実施するための最良の形態(以下、実施の形態という)としての装置である、ビデオカメラ装置1の構成例を示すブロック図である。
この図において、先ず、光学系部11は、レンズ光学系、フォーカス機構、ズーム機構、絞り(アイリス)機構などを備えて成り、入射された光を撮像光として撮像部12が備えるものとされる撮像素子(光電変換素子)の受光面に結像させる。
また、ここでの光学系部11におけるフォーカス機構、ズーム機構、絞り機構の駆動は、マイクロプロセッサ17による制御に応じて、カメラ制御部13が上記各機構に駆動信号を出力するによって行われるものとしている。
撮像部12は、例えばCMOSセンサ、CCD(Charge Coupled Device)などの撮像素子を備えて成り、上記のようにして受光面にて受光した撮像光についての光電変換を行う。そして、受光面にて受光された撮像光に応じて蓄積された電荷を、例えば、マイクロプロセッサ17の制御に応じてカメラ制御部13から出力されるタイミング信号に応じた、しかるべきタイミングで順次出力するようにされる。これにより、所定の画素数サイズによる撮像画像に対応した電気信号を出力する。このようにして出力された信号は、カメラ信号処理部14に対して入力される。
カメラ信号処理部14では、上記のようにして撮像部12から入力される電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などの波形成形を行ったうえでデジタル信号に変換し、記録再生処理回路15に出力する。
記録再生処理回路15では、カメラ信号処理部14から出力されたデジタル信号を入力して、記録信号処理を実行する。例えば所定方式による圧縮符号化をはじめとして、所定の動画像記録フォーマットに対応した記録用ビデオ信号データを生成するようにされる。そして、このようにして生成されるビデオ信号データをHDD16に書き込んで記録する。この結果、HDD16には、撮像により得られたビデオコンテンツのデータが記憶保存されるようにして管理されることになる。また、撮像装置による撮影記録の開始から終了までの間に得られた動画像は、シーン(あるいはカット、ショット)などともいわれるが、上記のようにしてHDD16に記録されるビデオコンテンツとしても、このシーン単位により管理される。即ち、原則としては、シーン単位のビデオコンテンツのデータが所定形式の動画像ファイルとしてファイルシステムにより管理される。ただし、1シーンの記録時間が非常に長尺になって、1動画ファイルにおける最大データ量、若しくは最大時間を越えた場合には、複数の動画像ファイルに分割して、これら複数の動画像ファイルを1シーン相当のビデオコンテンツとして管理するようにされる。
また、記録再生処理回路15は、撮影記録モード時においては表示部20に対してスルー画を表示させるための処理も実行するようにされる。スルー画とは、そのときに光学系部11により撮像しているとされる画像のことをいうもので、ユーザは、表示部20に表示されるスルー画を見ることで撮影されている画内容を確認することができる。このスルー画表示のためには、記録再生処理回路15は、カメラ信号処理部14から入力したデジタル信号を利用して、表示部20による画像表示に適合した解像などを有するスルー画用のビデオ信号を生成し、このスルー画用ビデオ信号を重畳処理部19を介して表示部20に対して出力する。
また、記録再生処理回路15は、HDD16に記憶保存されたビデオコンテンツのデータを読み出して、記録信号処理に対応した復号処理などを実行して動画像としてのビデオ信号を再生することも可能とされる。このようにして再生されたビデオ信号は、例えばマイクロプロセッサ17の制御に応じて、重畳処理部19を介して表示部20に対して出力することで、この表示部20にて画像として表示させることができるようになっている。
なお、実際のビデオコンテンツとしては、ビデオ信号とともに、少なくとも、このビデオ信号とリップシンクするようにして再生されるべきオーディオ信号も含む構造を有するものであるが、ここでは、説明を簡単なものとすることの便宜上、このオーディオ信号についての記録再生処理についての構成の図示及び説明は省略する。
マイクロプロセッサ17は、例えばCPU、ROM、RAMなどを有して構成されるもので、例えば内部のROMに記憶されるプログラムを実行することにより、ビデオカメラ装置1における各種の制御を実行する。これにより、ビデオカメラ装置1としての各種の動作が得られることとなる。
OSD(On Screen Display)処理部18及び重畳処理部19は、表示部20に対して、そのときのビデオカメラ装置1の動作に応じた各種のGUI(Graphical User Interface)としての画像を表示させるために備えられる。
GUI画像を表示させるべきとき、マイクロプロセッサ17は、OSD(On Screen Display)処理部18により、そのGUI画像としての画内容を有する表示用ビデオ信号(表示用画像データ)を生成させ、この表示用ビデオ信号を重畳処理部19に対して出力させる。重畳処理部19では、OSD処理部18から出力される表示用ビデオ信号を表示部20に出力するが、この際、そのGUI画像が、例えばスルー画や再生画像上に重畳させるべきものである場合には、記録再生処理回路15から入力されてくるスルー画や再生画像などのビデオ信号に、GUI画像の表示用ビデオ信号を重畳、合成し、この合成後のビデオ信号を表示部20に出力するようにされる。
操作部21は、ビデオカメラ装置1本体に備えられるハードウェアキー、ボタンなどの各種操作子と、この操作子に対する操作に応じた操作信号をマイクロプロセッサ17に出力する操作信号出力部位を一括して示しているものとされる。例えば、この操作部21における操作子としては、写真撮影時に操作されるシャッターボタン、撮影モードなどを選択する操作子、パラメータのアップ/ダウンを行うための操作子などが含まれる。また、特にこの図においては、操作部21を成す操作子として、ホームキー21a、及びフィルムロールキー21bが示されている。ホームキー21aを操作することによっては、ホームメニューといわれる大元のメニュー画面としてのGUI画像を表示部20に表示させることができる。また、フィルムロールキー21bを操作することによっては、後述するフィルムロールインデックス画面としてのGUI画像を表示部20に表示させることができる。
また、本実施の形態のビデオカメラ装置1では、上記操作部21としてのキー、ボタンのほかに、操作入力部として、タッチパネル21Aを備える。このタッチパネル21Aは、実際においては、表示部20の表示画面と一体化される態様で設けられる。即ち、本実施の形態のビデオカメラ装置1では、GUI画像が表示された表示部20の画面上に対して直接指を振れるなどの操作が可能なGUIを提供するものである。なお、GUIの内容によっては、表示部20に表示されるGUI画像に対する操作が、操作部21における所定のキー、ボタンに対する操作により行われるようにされてもよいものである。
上記の構成から分かるように、ビデオカメラ装置1では、HDD16に対して、撮像記録により得たビデオコンテンツを記憶保存させることが可能とされている。ここでHDDは、ランダムアクセスが可能なもののうち、現状においてはGB(ギガバイト)クラスでの大容量を技術的、コスト的に容易に実現できる記憶媒体の1つであり、従って、圧縮符号化データを主体とするビデオコンテンツデータとしても多数を記憶保存することが可能となる。
このようにして多数のビデオコンテンツが記憶可能であることを考慮すると、ビデオカメラの機能として、記憶保存されたビデオコンテンツに関する一覧表示機能を与えて、その検索性が高められるようにすることが、ユーザにとっての利便性向上などを求めた場合には好ましくなってくる。そこで、本実施の形態のビデオカメラ装置1も、GUIの一機能として、このようなビデオコンテンツに関しての一覧・検索表示機能を実装するものである。つまり、ビデオカメラ装置1は、表示部20の表示画面上に対して、HDD16に記憶保存されたビデオコンテンツを対象として、一覧・検索を行うことのできるGUI画像を表示するものである。また、ランダムアクセスが可能な記憶媒体に対応しては、このような一覧・検索画像上でのコンテンツの再生操作を行えるようにされたものが一般的であるが、本実施の形態としても、一覧・検索画面上でのコンテンツの再生操作が可能なようにされる。
図2により、本実施の形態のビデオカメラ装置1における一覧・検索画面の表示に関連した操作態様例について説明する。
ここで、例えば本実施の形態のビデオカメラ装置1が撮影待機モードにあるとする。撮影待機モード下では、ビデオカメラ装置1は、図2(a)に示すようにして、表示部20の表示画面部20A上にて、そのときに光学系部11により撮影しているとされる画像であるいわゆるスルー画を表示させる動作を実行しながら、撮影記録開始操作を待機している状態にある。そして、例えばこの状態の下で撮影記録の開始を指示する操作(撮影開始操作)が行われたとすれば、その操作タイミング以降において撮影記録が開始される。この撮影記録は、撮影記録の終了を指示する撮影終了操作が行われるまで実行される。なお、確認のために述べておくと、前述もしたように、本実施の形態のHDD16に記憶保存される1単位のビデオコンテンツは、原則、上記の撮影開始操作から撮影終了操作までに対応する撮影記録により得られる動画像データ(ファイル)の単位に相当するものであって、この単位は、映像内容としては、シーン、カット、ショットなどともいわれるものとなる。なお、本実施の形態では、この単位名称については、以降、「シーン」で統一する。
ここで、本実施の形態のビデオカメラ装置1により表示するスルー画の画像内においては、図2(a)に示されているようにして、画面内ホームボタンBt1が表示されるようになっている。なお、この場合には画面内ホームボタンBt1の画像を、表示画面部20Aにおける左上に位置させているが、他の位置において表示させるようにして構わない。
上記のホームボタンBt1は、ホームメニューの画面に移行させる操作を行うためのボタンとして機能する。ユーザが、タッチパネル21Aに対する操作として、このスルー画面上におけるホームボタンBt1の表示位置に触れる操作を行ったとされると、図2(a)から図2(b)への遷移として示すようにして、表示画面部20Aは、これまでのスルー画表示から、ホームメニューの画面表示に移行することになる。
また、先に図1にて説明したように、本実施の形態のビデオカメラ装置1の本体には、ハードウェアの操作子の1つとして、ホームキー(ハードウェアホームキー)21aが設けられている。このホームキー21aを操作することによっても、同じく、図2(a)から図2(b)への遷移として示すようにして、表示画面部20Aは、これまでのスルー画表示から、ホームメニューの画面表示に移行することができる。
図2(b)に示されるホームメニューは、タッチパネル操作が可能とされるGUIとしてのメニュー画面のうちで、その大元となるものである。従って、このホームメニューから操作を始めてしかるべきメニュー画面へと辿っていくようにすることで、ユーザは、ビデオカメラ装置1についての各種多様な操作を行うことが可能とされる。
ここでは、図2(b)のホームメニューの画面において、ボタン画像として、先ず、クローズボタンBt2が表示されている。
このクローズボタンBt2に対するタッチパネル上での押し操作(タッチパネル押操作)を行った場合には、現在表示中のホームメニュー画面が閉じられて、今回のホームメニュー画面の表示前に表示されていた画面に戻るようにされる。この場合には、図2(b)から図2(a)への遷移として示すように、撮影待機モード下でのスルー画表示に切り換わる。
また、ホームメニュー画面においては、さらに、通常インデックスボタンBt11、フィルムロールインデックスボタンBt12、プレイリストボタンBt13が表示されている。
通常インデックスボタンBt11に対するタッチパネル押操作を行った場合には、ここでは図示していないが、表示画面部20Aにおいて、この図2(b)のホームメニュー画面から、通常インデックス画像の表示に移行する。また、フィルムロールインデックスボタンBt12に対するタッチパネル押操作を行った場合には、図2(b)から図2(c)への遷移へと示すようにして、フィルムロールインデックス画面の表示に移行する。
また、本実施の形態では、ビデオカメラ装置1の本体に対して、ハードウェアキーのひとつであるフィルムロールキー21bが設けられている。本実施の形態では、フィルムロールインデックス画面以外の他の何らかの表示を行っている状態の下で、このフィルムロールキー21bを操作することによっても、フィルムロールインデックス画面への表示の切り換えが行われるようになっている。図2においては、フィルムロールキー21bの操作に応じて、図2(a)のスルー画、図2(b)のホームメニュー画面、あるいは図2(d)のシーン再生画面からフィルムロールインデックス画面に移行できることを示している。これにより、後述するようにして本実施の形態において特徴となるフィルムロールインデックス画面への表示切り換えを、例えばタッチパネル操作により行うような場合よりも、直接的に、迅速に行える。
また、プレイリストボタンBt11に対する操作を行った場合には、ここでは図示していないが、表示画面部20Aにおいて、プレイリスト画面に表示が切り換わることになる。プレイリスト画面は、例えばHDD16に記憶されているビデオコンテンツについての、ユーザが作成したプレイリストを提示する画面とされる。
上記の説明において挙げられた「通常インデックス画面」と「フィルムロールインデックス画面」は、本実施の形態のビデオカメラ装置1において表示可能なビデオコンテンツの一覧・検索画面とされる。
先ず「通常インデックス画面」は、その表示態様例についての図示は省略するが、HDD16に記憶保存されているビデオコンテンツ(動画像ファイル)について、これらをビデオコンテンツ単位主体で提示するようにされた表示態様の一覧・検索画面をいう。この「通常インデックス画面」では、1つのビデオコンテンツ(シーン)につき1つのサムネイル画像が対応するようにされ、これらのサムネイル画像が、予め設定されたソート順に従って配列表示される。つまり、シーンのリストを、シーンごとに対応したサムネイル画像により示すようにされる。そして、例えば、ユーザが通常インデックス画面に表示されているサムネイル画像のうちから、或る1つのものを選択決定するための所定操作を行ったとされると、ビデオカメラ装置1は、この選択決定されたサムネイル画像が対応するビデオコンテンツの再生を開始するようにされる。
これに対して、図2(c)に示される「フィルムロールインデックス画面」は、詳細については後述するが、HDD16に記憶保存されているビデオコンテンツのうちから選択した1つのビデオコンテンツについて、そのシーンにおける内容を、再生時間経過に応じて或る時間タイミングから抜き出すようにして抽出した画像内容を持つサムネイル画像の配列によって示すようにされる。フィルムロールインデックス画面における「フィルムロール」との名称は、1つのシーンを1つのフィルムロールと捉えたうえで、上記のサムネイル画像の表示態様が、あたかも、このフィルムロールを拡げてコマの内容を見ているイメージと重なることに由来する。
そして、このフィルムロールインデックス画面において表示されているサムネイル画像のうちから、或る1つのものを選択決定するための所定操作を行ったとされると、ビデオカメラ装置1は、この選択決定されたサムネイル画像が対応する再生時間から、そのビデオコンテンツの再生を開始する。つまり、1つのビデオコンテンツにおける中途位置からの再生を開始させることができる。
上記したことによれば、上記「通常インデックス画面」、「フィルムロールインデックス画面」としての一覧・検索画面において配列されるサムネイル画像(代表画像)は、前者にあっては、HDD16に記録されるビデオコンテンツの単位に対応した索引、見出しであると捉えることができ、後者にあっては、1ビデオコンテンツ(1シーン)としての開始時間から終了時間までの間において設定した再生時間位置ごとに対応した索引、見出しであると捉えることができる。上記2つの一覧・検索画面の名称全体における「インデックス画面」との名称部分は、索引、見出しを提示する画面であるということに由来したものである。また、以降においては、インデックス画面上において、個々の索引、見出しとして機能するサムネイル画像(代表画像)については、インデックス画像ともいうことにする。
次に、図3を参照して、表示画面部20Aにおいて表示されるフィルムロールインデックス画面の表示態様例と、その機能動作例について説明しておくこととする。この図3に示されるフィルムロールインデックス画面は、例えば図2(c)に示される内容を拡大したものとされる。
先ず、このフィルムロールインデックス画面内の領域は、大きくは、シーン単位インデックス領域AR1、シーン内インデックス領域AR2から成るものとされる。
シーン単位インデックス領域AR1においては、HDD16に記憶保存されているビデオコンテンツ(シーン)単位に対応したインデックス画像(サムネイル画像:静止画)であるシーン単位インデックス画像が、縦方向に沿って、所定のソート順に従って配列されるようにして表示される。この場合には、シーン単位インデックス領域AR1においては、3つのシーン単位インデックス画像(P1、P2、P3)が表示されることとなっており、そのうえで、中央に位置させたシーン単位インデックス画像P2が、選択中にあるシーン(ビデオコンテンツ)を示しているものとされる。選択すべき(中央に位置させるべき)シーン単位インデックス画像、即ちビデオコンテンツ(シーン)を他のものに変更するときには、送りボタンBt31と戻しボタンBt32に対して適宜タッチパネル押操作を行うようにされる。この送りボタンBt31、戻しボタンBt32に対する操作ごとに、シーン単位インデックス画像が1つずつ、順次、上方向あるいは下方向にスクロールされ、これに応じて、中央に位置するシーン単位インデックス画像が切り換わっていく。また、シーン単位インデックス領域AR1においては、シーン単位インデックス画像が配列される領域の左側に沿ってスクロールバーBr1が表示される。このスクロールバーBr1におけるノブの位置により、現在、シーン単位インデックス領域AR1において表示されているシーン単位インデックス画像が、全体においてどのあたりの順序にあるものなのかが示される。また、ノブに対するタッチパネル上でのドラッグ操作をスクロールバーBr1に沿って行うことで、送りボタンBt31、戻しボタンBt32を操作する場合よりも、大きな単位移動量でもってシーン単位インデックス画像をスクロールさせることができる。
次に、シーン内インデックス領域AR2においては、上記シーン単位インデックス領域AR1において選択されているシーン(選択シーン)、即ち、シーン単位インデックス領域AR1において中央に配置されるシーン単位インデックス画像P2が対応するシーン(ビデオコンテンツ)についての、その内容が下記のようにして表示される。
この場合のシーン内インデックス領域AR2においては、シーン内インデックス領域AR2を3つの行領域clm1、clm2、clm3に分割するようにしたうえで、先ず、行領域clm1において左から右にかけて順に、インデックス画像貼付領域F1、F2、F3を配置することとし、次の行領域clm2において左から右にかけて順に、インデックス画像貼付領域F4、F5、F6、F7を配置し、さらに次の行領域clm3において左から右にかけて順に、インデックス画像貼付領域F8、F9、F10を配置することとしている。これらインデックス画像貼付領域F1〜F10は、それぞれ、シーン内インデックス画像が貼り付けられるようにして表示される領域とされる。そして、インデックス画像貼付領域F1〜F10の配列順は、選択シーンの再生時間進行(再生時間経過:時系列)に対応したものとなっている。
この場合、インデックス画像貼付領域F1〜F10には、それぞれ、シーン内インデックス画像P101〜P110が貼り付けられて表示されている。これらのシーン内インデックス画像P101〜P110は、選択シーンの再生時間進行に従って、所定の時間間隔ごとに対応して表示されることとなる画像内容を、その選択シーンから抽出するようにして生成したサムネイル画像である。そして、インデックス画像貼付領域F1〜F10が上記のようにして選択シーンの再生時間進行に対応していることにより、シーン内インデックス画像P101〜P110の順で、選択シーンの再生時間進行に沿うこととなる。
なお、以降においては、インデックス画像貼付領域F1〜F10について、その配列順に従って、第1インデックス画像貼付領域F1〜第10インデックス画像貼付領域F10ともいうことにする。
また、行領域clm1における第1インデックス画像貼付領域F1の左側には、送りボタンBt41が配置され、行領域clm3における第10インデックス画像貼付領域F10の右側には、戻しボタンBt42が配置されている。シーンの時間長にもよるがシーン内インデックス領域AR2において表示されるインデックス画像は、通常、そのシーンにて得られるシーン内インデックス画像のうちの一部の再生区間にて得られるものが表示されている。これら送りボタンBt41、戻しボタンBt42に対してタッチパネル押操作を行うことで、シーン再生時間を先へ進める、あるいは遡るようにして、インデックス画像貼付領域F1〜F10に貼付表示されるシーン内インデックス画像を1つずつ送る、あるいは戻していくという態様でのスクロールを行うことができる。
また、シーン内インデックス領域AR2の下側においては、横方向に延びるスクロールバーBr2が配置されている。このスクロールバーBr2のノブをドラッグ操作することにより、送りボタンBt31、戻しボタンBt32を操作する場合よりも、大きな単位移動量でもってインデックス画像貼付領域F1〜F10に貼付表示されるシーン内インデックス画像を送り・戻しさせることができる。
上記の説明から理解されるようにして、シーン内インデックス領域AR2においては、選択シーン内の或る場面に対応する画内容を持つシーン内インデックス画像が、シーン内容の時系列に沿うようにして配列表示される。この表示を見ることで、ユーザは、選択シーンの中の画像内容を容易に把握することが可能になる。
また、フィルムロールインデックス画面においては、クローズボタンBt2と、関連機能ボタンBt3が配置されている。
クローズボタンBt2をタッチパネル押操作することによっては、これまでのフィルムロールインデックス画面の表示を消去して、フィルムロールインデックス画面の表示前の状態に戻すようにされる。例えば、ホームメニュー画面から今回のフィルムロールインデックス画面の表示に切り換わったのであれば、ホームメニュー画面に戻ることになる。
関連機能ボタンBt3は、そのときに表示されている画面に関連した設定項目、メニュー画面などにジャンプさせるための操作を行うボタンである。フィルムロールインデックス画面が表示されている下で関連機能ボタンBt3を操作した場合には、例えば、図9により後述するようにして、フィルムロールインデックス画面に関連した所定項目についての設定を行うための操作画面(関連メニュー画面)に移行することになる。
そして、例えばユーザが、シーン内インデックス領域AR2に表示されているシーン内インデックス画像の1つに対するタッチパネル押操作(選択決定操作)を行ったとされると、ビデオカメラ装置1は、選択シーンについて、今回の選択決定操作により指定されたシーン内インデックス画像が対応する再生時間からの中途再生を開始するようにされる。これに伴って、表示画面部20Aにおいては、図2(c)から図2(d)への遷移として示すようにして、選択シーンを再生表示する画内容のシーン再生画面に切り換わることになる。また、確認のために述べておくと、図2(d)の再生画面に切り換わったときには、今回の選択決定操作により指定されたシーン内インデックス画像と同じ内容の画からの再生表示が始まるものである。
図2(d)に示されるシーン再生画面上には、ソフトウェアボタンとして、戻るボタンBt14、シーン単位送りボタンBt25、シーン単位戻しボタンBt26、再生開始/一時停止ボタンBt21、停止ボタンBt22、早送りボタンBt23、早戻しボタンBt24、関連機能ボタンBt3が表示されている。ユーザは、シーン単位送りボタンBt25、シーン単位戻しボタンBt26、再生開始/一時停止ボタンBt21、停止ボタンBt22、早送りボタンBt23、早戻しボタンBt24に対するタッチパネル押操作により、シーン(ビデオコンテンツ)について、ユーザの意図するようにして再生を行わせることができる。
また、戻るボタンBt14を操作すれば、今回のシーン再生画面の表示に移行する前に表示されていた画面に戻るようにされる。先の説明のようにして、図2(c)のフィルムロールインデックス画面からシーン再生画面に切り換わったのであれば、フィルムロールインデックス画面に戻るようにされる。
また、シーン再生画面上に配置表示されている関連機能ボタンBt3に対する操作を行った場合、図示は省略するが、シーン再生に関連した所定の設定項目、メニューなどが表示された操作画面に移行するようにされる。
上記のようにして、本実施の形態のビデオカメラ装置1は、表示画面部20Aに対して、スルー画、メニュー画面、シーン再生画面などのほか、インデックス画面として、フィルムロールインデックス画面の表示が行えるようにされている。
このフィルムロールインデックス画面においては、先に図3により説明したように、第1〜第10インデックス画像貼付領域F1〜F10に対して、選択シーンから抽出したとされるシーン内インデックス画像が、時系列に沿うようにして貼付表示される。本実施の形態におけるシーン内インデックス画像は、基本的には、選択シーンにおける或る再生時間から抜き出した(抽出した)静止画像とされる。そこで、静止画像としてのシーン内インデックス画像を、選択シーンから抜き出す時間タイミングをどのようにして決定しているのかについて、図4を参照して説明しておくこととする。
先ず図4(a)には、選択シーンとしての動画像のストリームデータ(ビデオストリーム)を再生時間経過に沿ったバー形式により模式的に示している。このビデオストリームとしてのバーの左端が、選択シーンとしてのビデオコンテンツの再生開始時間であり、以降、右方向に延びていくのに従い再生時間が経過していくことが表現される。
図4(b)には、図3において、第1〜第10インデックス画像貼付領域F1〜F10に表示されるシーン内インデックス画像P101〜P110を、ビデオストリームから抜き出したとされる再生時間タイミングとの対応により示している。
なお、図4(c)は、シーン内インデックス画像として動画再生を行う場合の再生シーケンスを模式的に示したものであるが、これについては後述する。
この場合においては、先ず、選択シーンの再生開始時間である時点t0において、ビデオストリームの先頭フレームに相当する静止画内容を抽出し、これを、一番目のシーン内インデックス画像P101として生成している。なお、ここでは、シーン単位インデックス領域AR1に配置されるシーン単位インデックス画像についても、対応するシーンのビデオストリームの先頭フレーム画像から生成するものとしており、図4(b)においては、再生開始時間において、シーン内インデックス画像P101とともに、シーン単位インデックス画像P2も生成していることが示されている。
そして、本実施の形態としては、予め抽出時間間隔Tmを設定しておくようにされる。これにより、シーン内インデックス画像P101に続く2番目のシーン内インデックス画像P102を抜き出すべき再生時間(抽出再生時間)は、図示するようにして、時点t0から抽出時間間隔Tmが経過した時点となる。以降、同様にして、抽出時間間隔Tmが経過する時点ごとが、シーン内インデックス画像P103〜P110を抽出すべき再生時間として決定される。なお、図においては、図面のサイズの都合上、シーン内インデックス画像P107までが示されている。
また、図4(a)(b)により説明したシーン内インデックス画像を抽出すべき再生時間(抽出再生時間)の決定の仕方は、最も順当で簡易な例を挙げているものであり、これ以外の規則による抽出再生時間の決定が行われてもよいものである。
上記のようにしてシーン内インデックス画像の抽出再生時間を決定するものとした場合、シーン内インデックス画像P101、P102のそれぞれは、選択シーンのビデオストリームを抽出時間間隔Tmごとに分割して得られるビデオストリームの区間部分(部分動画データ)である、シーン内分割区間Is1、Is2・・・における先頭の画像内容を示しているということがいえる。即ち、シーン内インデックス画像は、シーン内分割区間に対応する代表画像である、ということがいえる。
これまでに述べてきたように、本実施の形態のフィルムロールインデックス画面において配列表示されるシーン内インデックス画像のそれぞれは、基本的には静止画であるものとされる。しかし、シーン内分割区間というものが、或る再生時間長を有する動画であることを考えると、対応するシーン内分割区間の冒頭を静止画により示すシーン内インデックス画像では、そのシーン内分割区間の内容をユーザが把握しにくい場合も出てくると考えられる。例えば、前後のシーン内分割区間で同じような場面を撮影していた場合には、そのシーン内インデックス画像も似たような内容となって、ユーザにとっては区別が付きにくくなる。
そこで、本実施の形態としては、フィルムロールインデックス画面において、シーン内インデックス画像を動画により表示させるようにして、そのシーン内分割区間の内容をより的確に把握できるようにする。そのうえでさらに、シーン内インデックス画像を動画として表示させるのにあたり、これまでには無かったとされる態様を与えることで、例えば、ユーザにとってより使い勝手が良くなるように配慮するものである。以降、この点について説明を行っていく。
ここで、例えば先に図2にて説明したようにして、撮影モード時であるとかホームメニュー画面の表示時などにおいて、フィルムロールインデックス画面を表示させるための所定操作をユーザが行ったことに応じて、図2(c)に示したフィルムロールインデックス画面の表示が開始されたとする。
この表示開始時における、フィルムロールインデックス画面内のシーン内インデックス領域AR2の表示態様例は、図5(a)に示されるものとなる。この場合のシーン内インデックス領域AR2においては、先にも述べたようにして、第1〜第10インデックス画像貼付領域F1〜F10のそれぞれにおいて、シーン内インデックス画像P101〜P110が貼付表示されるのであるが、これらのシーン内インデックス画像のうち、第1インデックス画像貼付領域F1に配置されるシーン内インデックス画像P101については、これが代表するシーン内分割区間Is1(図4参照)について、その先頭位置(ビデオストリームの再生開始時間に一致する)から動画として再生している画像(インデックス動画像)が表示される。また、このときには残る第2〜第10インデックス画像貼付領域F1〜F10に貼付表示されているシーン内インデックス画像P102〜P110は、それぞれ、図4(b)により説明したようにして抽出した静止画像(インデックス静止画像)が表示される。なお、図5(及び後述する図6)において、第1〜第10インデックス画像貼付領域F1〜F10の右下に表示される「V」は、そこにインデックス動画像を表示させている状態にあることを、「S」は、インデックス静止画像を表示させていることを、それぞれ便宜的に示しているものであり、例えば実際において、これらの文字が表示されることを意味するものではない。
上記のようにして、フィルムロールインデックス画面の表示開始と同時にシーン内インデックス画像P101としての動画再生が行われるのであるが、この動画再生は、図4(c)における動画再生シーケンスとして示しているように、予め設定された所定の再生時間Tpを経過した時点で終了するようにされる。各シーン内インデックス画像が対応するシーン内分割区間の再生時間長は抽出時間間隔Tmだけあることになるが、この図の場合のようにして、Tp<Tmの関係が成り立つときには、再生時間Tpを経過した時点で動画再生が停止され、シーン内分割区間における残りの部分についての再生は行わないようにされる。なお、図示はしていないが、Tp≧Tmの関係が成り立つ場合には、そのシーン内分割区間の動画再生を最後まで行って終了することになる。
上記のようにしてシーン内インデックス画像P101についての動画再生を終了したとすると、図5(b)に示されるようにして、先ず、シーン内インデックス画像P101は、静止画像の表示に遷移するようにされる。このときに表示させる静止画像は、シーン内分割区間Is1の先頭から抽出して得たとされる画像を用いるようにされる。なお、動画再生された最後の画像を、シーン内インデックス画像P101の静止画像として表示させることも考えられる。前者と後者の何れの画像を、シーン内インデックス画像における動画再生後の静止画とするのかは、例えば実際における使い勝手の良さであるとか、表示制御アルゴリズムの都合などに応じて任意に選択すればよい。
これと同時に、シーン内インデックス画像P101に対して時系列的に次となるシーン内インデックス画像P102が、これまでの静止画像から、対応するシーン内分割区間Is2の再生動画像に切り換わるようにされる。この動画再生も、シーン内分割区間Is2の先頭から開始されるものである。
そして、シーン内インデックス画像P102としての動画再生が再生時間Tpを経過したとされると、このシーン内インデックス画像P102は静止画表示に戻り、これと同時に、シーン内インデックス画像P103が、シーン内分割区間Is3の再生動画像に切り換わることになる。このシーン内分割区間Is3の動画再生も、その開始位置から再生時間Tpだけ行われるものとなる。
以降、同様にして、再生時間Tp分の再生動画の表示を終了したシーン内インデックス画像がもとの静止画像に戻るようにされると同時に、時系列的に次となるシーン内インデックス画像が、静止画像から、対応するシーン内分割区間についての先頭から再生時間Tp分を経過した位置までの再生動画像に切り換わるようにされる。このような表示の遷移が、シーン内インデックス画像の時系列に従って、順次行われていくようにされる。
上記のようにして、本実施の形態では、フィルムロールインデックス画面の表示開始と共に、シーン内分割区間を代表するシーン内インデックス画像について、その時系列に従った順序で、所定時間(Tp)ずつ、シーン内分割区間の動画像を表示させていく。
このような表示が行われることで、先ずは、フィルムロールインデックス画面上において、シーン内分割区間ごとの一部動画内容が、選択シーンの時系列に沿うようにして、順次、表示されていくことになる。これにより、ユーザは、シーン内分割区間ごとの内容把握が容易になるだけではなく、選択シーン全体の内容の大まかな流れも把握することが可能になる。また、本実施の形態の場合には、フィルムロールインデックス画面を表示させることに応じて、自動的に、選択シーンの時系列に沿って、シーン内インデックス画像としての動画表示が切り換わっていくようにされることから、例えば、動画として表示させるためのシーン内インデックス画像の選択操作であるとか、シーン内インデックス画像の動画再生を開始させるための操作などは不要となる。また、自動的にシーン内インデックス画像としての動画表示が切り換わっていくという態様は、見ていて楽しいものであり、娯楽性が高まることにもつながる。
なお、確認のために述べておくと、特許文献1においては、シーン(動画)あるいはチャプタのインデックス一覧表示におけるサムネイル画像の1つを動画として再生する技術が開示されているが、動画として再生するサムネイル画像の変更は、自動で行われるものではなく、あくまでもユーザ操作に応じて行われるべきものとされている点で、本実施の形態(本願発明)とは異なるものである。また、特許文献1における動画のスキップ再生は、あくまでも1つのサムネイル画像の動画再生において行われるものであり、本実施の形態のようにして、再生時間tp分を再生しながら動画再生されるシーン内インデックス画像を変更していくという態様とは異なるものである。
また、上記図5により説明したようにして、動画が表示されるシーン内インデックス画像が切り換わっていくことによっては、図6(a)に示すようにして、最後のインデックス画像貼付領域F10に表示されるシーン内インデックス画像P110が動画となる状況に至ることとなる。そして、この場合の選択シーンについて、シーン内インデックス画像P110の後にも、これに続くシーン内インデックス画像(シーン内分割区間)が在るとされる場合には、次のようにして、表示を行っていくものとされる。
先に述べたようにして、インデックス領域AR2における送りボタンBt41、戻しボタンBt42を操作することで、インデックス画像貼付領域F1〜F10に貼付表示されるシーン内インデックス画像を、シーン再生時間に沿った送り方向と戻り方向とでスクロールさせることが可能とされている。このことは、インデックス画像貼付領域F1〜F10に貼付表示されるシーン内インデックス画像についてスクロールさせる表示制御が可能であることを意味している。
なお、このシーン内インデックス画像についてのスクロールとして、送り方向(シーン再生時間を先へ進める方向)に対応するスクロールの表示態様は、図7に示すものとなる。つまり、これまでインデックス画像貼付領域F2〜F10に表示されていたシーン内インデックス画像が、シーン内インデックス画像F1〜F9にて表示されるようにして移動配置を行い、これまでインデックス画像貼付領域F1に表示されていたインデックス画像については消去する。また、インデックス画像貼付領域F10には、インデックス画像貼付領域F9に移動配置されたシーン内インデックス画像に対して時系列的に次となるシーン内インデックス画像を新たに表示させるものである。また、戻り方向のスクロールは、これとは逆の方向にシーン内インデックス画像を移動配置させると共に、これまでインデックス画像貼付領域F10に表示されていたインデックス画像については消去し、インデックス画像貼付領域F1には、インデックス画像貼付領域F2に移動配置されたシーン内インデックス画像に対して時系列的に1つ前となるシーン内インデックス画像を新たに表示させることになる。
そして、例えば図6(a)に示す状態となって、シーン内インデックス画像P110としての動画再生が再生時間Tpを経過して終了したとされる直後のタイミングにおいては、送り方向に対してシーン内インデックス画像1つ分のスクロール表示を行うようにされる。これにより、図6(b)に示すようにして、インデックス画像貼付領域F1〜F9には、静止画像によるシーン内インデックス画像P102〜P110がそれぞれ新たに移動して配置されることになる。また、これとともに、インデックス画像貼付領域F10には、シーン内インデックス画像P110に対してシーンの再生時間的に1つ後となるシーン内インデックス画像P111が新たに配置表示される。そして、このシーン内インデックス画像P111については、対応するシーン内分割区間の再生動画像を表示させる。なお、このシーン内分割区間の動画再生も、その開始位置から再生時間Tpを経過した時点までの区間を再生するようにされる。
また、例えばシーン内インデックス画像P111としての動画再生が終了したとされると、上記と同様にして、インデックス画像貼付領域F1〜F9において、静止画とされるシーン内インデックス画像の送り方向へのスクロールが行われるとともに、インデックス画像貼付領域F10には、シーン内インデックス画像P112として、対応するシーン内分割区間の動画再生が行われることになる。
このようにして、最後のインデックス画像貼付領域F10にてシーン内インデックス画像が動画再生される状態に至った場合には、以降においては、再生時間Tp分の動画再生が終了するごとに、送り方向へのシーン内インデックス画像(静止画)のスクロールを行いながら、インデックス画像貼付領域F10にて、新たに配置させた次のシーン内分割区間に対応するシーン内インデックス画像を動画像として表示させるようにする。つまり、動画再生については、最後のインデックス画像貼付領域F10において、順次、シーン内分割区間の画像が表示されていくことになる。
そして、例えば選択シーンを形成する最後のシーン内分割区間に対応するインデックス動画像の表示が終了したとされると、このインデックス動画像を静止画像に切り換える。これにより、シーン内インデックス画像の動画再生シーケンスは終了するが、以降においては、例えば、各シーン内インデックス画像が静止画となっている状態により、これまでのフィルムロールインデックス画面の表示を継続させるようにする。
なお、シーン内インデックス画像の動画再生シーケンスを一巡して終了させた後のフィルムロールインデックス画面(シーン内インデックス領域AR2)についての表示態様は、上記のほかにもいくつか考えることができる。例えば、もう一度、初期表示と同じシーン内インデックス領域AR2の表示内容に戻して、再度、先頭のシーン内インデックス画像(P101)からの動画再生を繰り返すようにすることが考えられる。また、他のシーンを選択シーンとするシーン内インデックス画像の動画再生シーケンスに移行させることも考えられる。このときに、どのシーンを次の選択シーンとするのかは、シーン単位に対して設定された再生順などの順序に応じて決定することとすればよい。このシーン単位の順序は、本実施の形態のフィルムロールインデックス画面上では、例えばシーン単位インデックス領域におけるシーン単位インデックス画像の表示順に反映されているものとされる。
また、例えばこれまでに説明したシーン内インデックス画像の動画再生が実行中とされているときに、任意のシーン内インデックス画像を選択決定する操作を行ったとすれば、この選択決定されたシーン内インデックス画像が対応するシーン内分割区間の先頭からの選択シーンについての動画再生が、図2(d)に示したシーン再生画面に切り換わった状態で行われることとなる。
なお、図6のようにして、インデックス動画像の再生終了に応じて1シーン内インデックス画像ごとにスクロールさせる代わりに、例えば、図5(b)に示したインデックス画像貼付領域F10におけるシーン内インデックス画像P110の動画再生が終了して次のタイミングにおいては、次に動画再生すべきシーン内インデックス画像P111がインデックス画像貼付領域F1に配置されて、時系列的に続く以降のシーン内インデックス画像P112〜120がインデックス画像貼付領域F2〜F10に配置させ、この状態から、図5(a)(b)と同様にしてインデックス動画の再生を順次行っていくようにする表示態様とすることも考えられる。
これまでに説明したシーン内インデックス画像の動画再生を含むフィルムロールインデックス画面の表示を実現するための表示用画像データは、例えば図8(a)に示すグラフィクスプレーン、図8(b)に示す静止画インデックスプレーン、及び図8(c)に示す動画インデックスプレーンとしてのプレーン画像データをそれぞれ生成し、これらのプレーン画像データを合成して1つの画像データとすることで生成することができる。なお、この図8に示す画内容は、先に図5(a)に示したシーン内インデックス領域AR2の画像内容に対応したものとなっている。図8において、図3及び図5(a)と同一とされる部分については同一符号を付している。
図8(a)のグラフィクスプレーンは、この場合には、シーン内インデックス画像以外であって、各種ボタン(クローズボタンBt2、関連機能ボタンBt3、送りボタンBt31、戻しボタンBt32、送りボタンBt41、戻しボタンBt42)、スクロールバー(Br1、Br2)、シーン単位インデックス画像の表示領域を示す枠であるとか、シーン内インデック領域AR2の行領域clm1、clm2、clm3を示す枠などをはじめとする、フィルムロールインデックス画面を形成するのに必要な画像部分を描画して得られるプレーン画像である。
図8(b)の静止画インデックスプレーンは、インデックス画像貼付領域F1〜F10に貼付表示するべきシーン内インデックス画像のうちで、静止画として表示すべきシーン内インデックス画像を描画して形成されるプレーン画像である。図8のプレーン画像内容は、上記しているように、図5(a)に対応している。このために、図8(b)の静止画インデックスプレーンは、シーン単位インデックス領域AR1に配置した静止画としてのシーン単位インデックス画像P1、P2、P3と、インデックス画像貼付領域F2〜F10の位置に配置した静止画としてのシーン内インデックス画像P102〜P110を描画することにより形成されているものである。
図8(c)の動画インデックスプレーンは、インデックス画像貼付領域F1〜F10に貼付表示するべきシーン内インデックス画像のうちで、動画として表示すべきシーン内インデックス画像を描画して形成されるプレーン画像である。ここでは、図5(a)との対応により、インデックス画像貼付領域F1の位置に配置した動画としてのシーン内インデックス画像P101を描画して、動画インデックスプレーンが形成されている状態を示している。
そして、これらの図8(a)(b)(c)に示したプレーン画像のデータを合成して1つの表示用画像データとして形成すれば、図5(a)に示す内容のフィルムロールインデックス画面としての画内容が得られることになる。
また、ここで、本実施の形態のフィルムロールインデックス画面における関連機能ボタンBt3を操作した場合についての説明をしておくこととする。
先にも述べたようにして、関連機能ボタンBt3は、そのときに表示されている操作画面などに対応・関連した他の機能操作などのための画面(例えばメニュー画面など)に即座に移行するために用意されるものであり、どのような画面に移行するのかは、上記操作画面の内容に応じて異なってくる。
そして、フィルムロールインデックス画面において配置される関連機能ボタンBt3に対するタッチパネル押操作を行った場合には、例えば図9(a)から図9(b)への遷移として示すようにして、表示画面部20Aは、フィルムロールインデックス画面対応の関連メニュー画面に移行するようにされる。
この図9(b)に示される関連メニュー画面においては、HD/SD切替用ボタンBt51、抽出時間間隔設定用ボタンBt52、インデックス動画再生時間設定用ボタンBt53と、戻るボタンBt14が配置表示されている。なお、戻るボタンBt14を操作すれば、この関連メニュー画面が表示される前の状態である、図9(a)のフィルムロールインデックス画面に移行する。
HD/SD切替用ボタンBt51は、本実施の形態のビデオカメラ装置1により記録再生するビデオ信号形式を、HD(High Definition)とSD(Standard Definition)との間で切り換えるための操作画面に移行させるためのものとされる。
また、抽出時間間隔設定用ボタンBt52に対するタッチパネル押操作を行った場合には、ここでは図示していないが、抽出時間間隔設定画面に移行する。この抽出時間間隔設定画面が表示された状態では、ユーザは、抽出時間間隔設定画面に対する所定操作に(タッチパネル押操作)よって、図4にて説明した抽出時間間隔Tmについての変更設定を行うことができるようになっている。
また、インデックス動画再生時間設定用ボタンBt53に対するタッチパネル押操作を行った場合には、図9(c)に示すインデックス動画再生時間設定画面に移行することになる。このインデックス動画再生時間設定画面に対する操作により、図4(c)に示した再生時間Tp、つまり、シーン内インデックス画像ごとについてのシーン内分割区間の動画再生時間を変更設定することができる。
このインデックス動画再生時間設定画面には、図10に示すようにして、プラスボタンBt61、マイナスボタンBt62、及び設定時間表示ウィンドウwd1が配置表示されている。ユーザは、プラスボタンBt61、マイナスボタンBt62を適宜操作して、設定時間表示ウィンドウwd1内に表示されている再生時間Tpを示す数値を増減させ、自身が望む再生時間Tpとしての時間長を設定するようにされる。再生時間Tpについて短めに設定すれば、動画再生されるシーン内インデックス画像は、速いタイミングで切り換わっていくようになるので、例えば短い時間で、シーン全体の内容を把握することが可能になる。一方、再生時間Tpを長めに設定すれば、個々のシーン内分割区間の内容をより長い時間にわたって見ることができることになるので、シーンの内容をよりじっくりと確認したいような場合に有利となる。また、実施の形態としては、このようにして再生時間Tpについてユーザによる変更設定が可能であるとしているが、例えば、一般的に最適であろうと推定される再生時間Tpを固定的に設定することとしてもよいものである。
また、時間間隔設定画面内の戻るボタンBt14に対するタッチパネル押操作を行った場合には、図5(c)から図5(a)への遷移として示すように、フィルムロールインデックス画面に移行するようにされている。つまり、この場合には、時間間隔設定画面が関連メニュー画面の階層化のメニュー画面であることにより、関連メニュー画面の表示前の状態に戻ることとしている。
続いては、これまでに説明したシーン内インデックス画像の動画再生シーケンスを含む、フィルムロールインデックス画面の表示を実現するための技術構成例について説明を行っていくこととする。
フィルムロールインデックス画面に表示されるシーン単位インデックス画像若しくはシーン内インデックス画像は、HDD16に記憶管理されているシーン単位相当のビデオコンテンツのデータを基として生成されるものとなる。
そこで、先ず、本実施の形態のビデオカメラ装置1による、HDD16に記憶されるビデオコンテンツについての管理態様例についての説明を、図11を参照して行っておくこととする。
図11においては、HDD16の記憶内容例を模式的に示している。この場合、HDD16には、シーン単位に対応する単位動画データ(動画ファイル)である、n個のビデオコンテンツ1〜nが記憶されているものとしている。通常は、1シーンが1つの動画ファイルに対応するが、1シーンの時間が一定以上になると、そのシーンは、ファイルシステム上では、複数の動画ファイルに分割して管理されることになる。ファイルシステムより上のビデオコンテンツ管理のためのアプリケーションにより、これらの分割された動画ファイルを1つのシーンとして扱うようにされる。そして、このビデオコンテンツのデータとともに、ビデオコンテンツ管理ファイルもHDD16に記憶させることとしている。
1動画ファイルに対応するビデオコンテンツのデータ(ビデオコンテンツデータ)の構造例を図12に示す。
図12(a)には、ビデオコンテンツデータを、時系列に従ったデータ書込単位のシーケンスにより示している。例えばビデオカメラ装置1は、記録メディアであるHDD16に対して、ビデオコンテンツのデータを書き込んで記録するのにあたり、記録再生処理回路15にて、ビデオコンテンツの記録用データを生成して、これを一時的にバッファに蓄積していくようにされる。そして、このバッファに蓄積された或るまとまったサイズの記録用データの集合を、所定のタイミングで以て、一度に読み出してHDD16に書き込むようにされる。ここでのデータ書込単位は、このバッファに蓄積されて一度に書き込まれるデータが対応するものであり、ここでは、データ書込単位はほぼ一定であるものとされる。
このデータ書込単位は、この場合には、図12(b)に示すようにして、GOP(Group Of Picture)のシーケンスにより成るものとされる。GOPは、周知のようにして、画像圧縮符号化処理により得られる1つの再生単位(圧縮・伸長処理単位)であり、これ自体で、独立して復調処理を行って、或る時間分の動画を正常に再生することができる。また、これも周知のようにして、GOP内には、少なくとも1つのI(Intra)ピクチャを含むようにされている。確認のために、Iピクチャは、他のP(Predictive)ピクチャ、B(Bi-directional Predictive)ピクチャなどのようにして、予測符号化により生成された画像ではなく、1つの独立したフレーム画像から生成される画像データである。
そして、この場合のGOP内の構造としては、図9(c)に示すようにして、或る所定単位により分割されたビデオ(Video)データ、オーディオ(Audio)データから成るものとされる。
また、図11において示されるビデオコンテンツ管理ファイルは、同じHDD16に記憶されるビデオコンテンツの再生(ここでは通常再生、早送り、早戻しなどをはじめとする変則再生、また、プレイリスト再生などを総括して「再生」といっている)を管理するために必要なファイルであり、例えばその内容としては、図示するようにして、HDD16に記憶されるビデオコンテンツ1〜nのそれぞれに対応した管理情報部1〜nを有して形成されている。例えばビデオコンテンツ1についての再生管理を行うときには、ビデオコンテンツ管理ファイルにおける管理情報部1を利用することになる。
なお、実際において、このビデオコンテンツ管理ファイルのようにして、ビデオコンテンツ管理用のファイルを、ビデオコンテンツのファイルとは個別に持つようにされた規格・フォーマットとしては、AVCHDなどを挙げることができる。また、HDDではないが、DVD−Video、DVD+VR、DVD−VRに対して、標準信号形式(SD形式)により記録するような場合にも、このようなビデオコンテンツ管理用のファイルを記録することが行われている。
図13及び図14のフローチャートは、本実施の形態のビデオカメラ装置1が実行するものとされる、フィルムロールインデックス画面内のシーン内インデックス領域AR2についての表示制御に関する処理手順例を示している。
先に述べたようにして、シーン内インデックス領域AR2におけるシーン内インデックス画像の表示は、静止画像の表示を基本とする。そのうえで、図5、図6により説明した動画再生シーケンスが行われるようにしているものと考えることができる。
そこで、先ず図13のフローチャートにより、基本的なシーン内インデックス領域AR2としての画像内容を形成する処理手順について説明を行う。これは、静止画としてのシーン内インデックス画像を抽出してインデックス画像貼付領域F1〜F10に貼り付けていく手順となる。次に、図14のフローチャートにより、上記図13の手順により形成されたシーン内インデックス領域AR2に対して、シーン内インデックス画像の動画再生シーケンスを与えることのできる表示制御の手順例について説明する。
ここでは、フィルムロールインデックス画面の表示開始時においては、先ず、図13のフローチャートに示す手順により、全て静止画のシーン内インデックス画像が表示されたシーン内インデックス領域AR2を形成し、この後直ちに、図14に示す動画再生シーケンスの手順に移行するものであると考えることとする。例えば実際においてこの手順に従って表示制御が行われたとしても、シーン内インデックス画像が全て静止画として表示される時間はユーザにとっては一瞬であることになるので、フィルムロールインデックス画面の表示開始とともに、例えばインデックス画像貼付領域F1のシーン内インデックス画像が動画として再生されているように見えるものである。
また、上記の説明によると、図13の処理手順は、静止画インデックスプレーンを生成するための処理であるとみることができ、図14の処理手順は、動画再生シーケンスの進行に応じて、静止画インデックスプレーンと動画インデックスプレーンを生成していくための処理であると見ることができる。
また、これら図13、図14に示す処理は、マイクロプロセッサ17において、例えばCPUが、ROM或いは不揮発性メモリなどに記憶されるプログラムを実行することで実現されるものとしてみることができる。また、このプログラムは、上記のようにして、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてマイクロプロセッサ17内の不揮発性の記憶領域に記憶させることが考えられる。また、USBやIEEE1394などのデータインターフェイス経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、ビデオカメラ装置1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
例えば、他の画面からフィルムロールインデックス画面に表示を移行させる操作、若しくは、フィルムロールインデックス画面が表示されている状態の下で、シーン単位インデックス領域AR1における選択シーンを変更する操作が行われて、シーン内インデックス領域AR2の表示内容を、選択シーンの変更に応じて変更すべきこととなったとされると、マイクロプロセッサ17は、図13のステップS101から始まる処理手順を実行するようにされる。
先ず、ステップS101においては、HDD16に記憶されているビデオコンテンツ管理ファイルから、現在の選択シーンに対応するビデオコンテンツに対応する管理情報部を読み込んで取得するようにされる。
ここで、ビデオコンテンツ管理ファイルの管理情報部は、対応するビデオコンテンツに関しての各種の管理情報項目を備えて成るものとされるが、これらの管理情報項目のうちで、この図10に示される処理が利用するものとしては、以降の説明からも理解されるように、GOP単位のデータサイズを示すサイズ情報や、ビデオデータ(ストリーム)についての再生時間情報などとなる。
また、以降においては、上記ステップS101により読み込んで取得した管理情報については、「取得管理情報部」ということにする。
続くステップS102においては、先ず、現在の選択シーンにおけるシーン先頭の画像内容を有するサムネイル画像データを取得してサムネイル画像化し、これを、静止画インデックスプレーン上において、時系列に従っての配列順において最初となるインデックス画像貼付領域F1に対応する位置に貼り付けるようにされる。このようにして貼り付けられた画像は、図3、図4などとの対応では、先ず、シーン先頭の画内容を示すものとされるシーン内インデックス画像P101に相当する。
なお、このシーン先頭のシーン内インデックス画像としてのサムネイル画像を得るのにあたっては、本実施の形態においては、シーン単位インデックス領域AR1において表示されている、選択シーンのシーン単位インデックス画像P2の基となるサムネイル画像データを流用すればよい。本実施の形態のビデオカメラ装置1においては、シーン単位インデックス画像は、シーン先頭の画内容をサムネイル画像化したものであるとしているからである。このようにして、先頭のシーン内インデックス画像のサムネイル画像データを取得することとすれば、例えばHDDのビデオコンテンツデータから、直接、対応するIピクチャにアクセスして読み込みを行う必要が無くなり、その分の処理負担を軽くできる。もちろん、選択シーンに対応するビデオコンテンツの先頭に対応するフレーム画像データ(例えばIピクチャ)をHDD16から読み出して、この画像データを基にして生成することとしてもよい。この場合には、例えば、HDD16に記憶されているビデオコンテンツの先頭の画像データ位置は、ステップS101により読み込んで取得した取得管理情報部の内容を参照することにより認識できるものとされる。
ステップS103においては、このときに設定されている抽出時間間隔Tmに応じて、単位オフセット値(ut_offset)を決定する。この単位オフセット値(ut_offset)は、後述する説明から理解されるように、シーン内インデックス画像の元となるIピクチャを探索するのに利用する値とされる。例えば、この単位オフセット値(ut_offset)についても時間値として表されるものであるとすれば、単位オフセット値は、抽出時間間隔Tmが示す時間長と一致する値を示すこととなる。
また、ステップS104においては、変数nについて、初期値として2を代入(設定)する。この変数nは、シーン内インデックス画像として抽出したサムネイル画像データを貼り付けるためのインデックス画像貼付領域を示す。つまり、第1〜第10インデックス画像貼付領域F1〜F10のうちから何れか1つが、変数nにより特定される。変数n=2であれば、第2インデックス画像貼付領域F2を示すことになる。ここで、変数nの初期値を2としているのは、既にステップS102により、変数n=1の場合に対応する第1インデックス画像貼付領域F1に対するサムネイル画像データの貼り付けが完了しているからである。
ステップS105においては、絶対オフセット値(absl_offset)について、初期値として0を設定するようにされる。絶対オフセット値(absl_offset)は、選択シーンに対応するビデオコンテンツの再生開始時間(時刻)を起点とする再生時間のオフセット値を指す。absl_offset=0は、ビデオコンテンツの再生開始時間を示していることになる。
上記の初期設定を行ったうえで、ステップS106以降により実行される手順が、第2インデックス画像貼付領域F2〜F10に対応するシーン内インデックス画像を抽出し、そのサムネイル画像データを貼り付けるための手順となる。
先ず、ステップS106においては、絶対オフセット値(absl_offset)を更新設定する。この絶対オフセット値(absl_offset)の更新値は、
absl_offset←absl_offset+ut_offset・・・(式1)
により表される演算により求められる。つまり、これまでに設定されていた絶対オフセット値(absl_offset)に対して、先のステップS103にて取得した単位オフセット値(ut_offset)を加算することにより得るようにされる。
ステップS107においては、取得管理情報部を参照することにより、上記ステップS106により更新した絶対オフセット値(absl_offset)により示されるビデオコンテンツの再生時間の前後において最も近い時間位置に在るとされるIピクチャを探索するようにされる。このときの探索結果であるIピクチャの位置としては、例えばビデオコンテンツにおける再生時間により表現される。また、このステップS107にて探索されたIピクチャは、静止画によるシーン単位インデックス画像として、静止画インデックスプレーン上での第nインデックス画像貼付領域Fnに対応した位置に貼付表示されるべきサムネイル画像データの基となるものである。
そして、ステップS108においては、HDD16に記録されている選択シーンのビデオコンテンツのストリームデータにおける、上記ステップS107により探索したIピクチャの再生時間位置に対応するデータ位置にアクセスする。これにより、探索したIピクチャの実データへのアクセスが行われたこととなる。そして、このアクセスしたIピクチャのデータを読み出して取得するようにされる。
ステップS109においては、上記ステップS108により取得したIピクチャのデータから、シーン内インデックス画像としての表示サイズに適合した画サイズによるサムネイル画像データを生成する、そして、ステップS110により、上記ステップS109により生成したサムネイル画像データを、静止画インデックスプレーン上における第nインデックス画像貼付領域Fnに対応する位置に貼り付けるようにされる。
ステップS111では、変数nについて、最大値に至ったか否かについて判別する。図3の表示態様の場合には、変数nの最大値は10となる。ここで先ず、肯定の判別結果が得られた場合には、全てのインデックス画像貼付領域に対してサムネイル画像データを貼り付けられた状態であることになる。そこでこの場合には、第2インデックス画像貼付領域F2以降のインデックス画像貼付領域にシーン内インデックス画像を貼り付けていくためのループ処理であるステップS106〜S113までの処理手順を抜け、この図に示す処理は終了するようにされる。
一方、ステップS111にて否定の判別結果が得られた場合には、ステップS112に進む。
ステップS112においては、最後のステップS110により貼り付けられたサムネイル画像データが、選択シーンにおいて時系列的に最後のシーン内分割区間に対応するシーン内インデックス画像のためのものであったか否かについて判別する。
ステップS112にて否定の判別結果が得られた場合には、未だ、サムネイル画像データが貼り付けられていないインデックス画像貼付領域が残っているということになる。そこで、この場合には、ステップS113により変数nについてインクリメントを行ったうえで、ステップS106に戻るようにされる。
一方、ステップS112にて肯定の判別結果が得られた場合には、サムネイル画像データが貼り付けられていないインデックス画像貼付領域は存在しない、ということになる。そこで、この場合にも、ステップS111にて肯定の判別結果が得られた場合と同様に、この図に示す処理を終了する。
続いては、図14について説明する。図14には、先にも述べたように、例えば上記図13によるフィルムロールインデックス画面の表示が完了した直後から実行されるものとする、シーン内インデックス画像についての動画再生のための制御手順が示される。
図14においては、先ずステップS201により、図13の場合と同様にインデックス画像貼付領域を示す変数nについて、初期値として1を設定しておくようにされる。
続くステップS202においては、現在の第nインデックス画像貼付領域Fnに貼付表示されている静止画のシーン内インデックス画像(インデックス静止画像)についての、本来の生成元であるIピクチャにアクセスするための制御を実行する。確認のために述べておくと、このIピクチャは、選択シーンに対応するものとしてHDD16に記憶されているビデオコンテンツデータのストリーム内において存在するものである。なお、このIピクチャへのアクセスのためには、例えば、先の図13におけるステップS108に対応して実行されたIピクチャについての探索結果として、そのアドレスを保持しておくこととしたうえで、この保持しているアドレスを参照することとすればよい。また、選択シーンにおいて最初のシーン内インデックス画像(P101)に対応するIピクチャへのアクセスは、ビデオコンテンツデータにおける先頭のIピクチャにアクセスすればよいことになる。
続いて、ステップS203においては、上記ステップS202によりアクセスしたIピクチャの画像からの動画再生処理を開始させるようにする。また、このときには、ビデオコンテンツデータが本来有する解像度により再生するのではなく、インデックス画像貼付領域に対応したサムネイル画像(シーン内インデックス画像)のサイズ、解像度による再生処理を行うようにされる。そして、このようにして再生を開始した動画像を、動画インデックスプレーン上において、現在の第nインデックス画像貼付領域Fnに対応する位置に貼り付けるようにされる。また、これとともに、静止画インデックスプレーン上においては、第nインデックス画像貼付領域Fnに対応する位置には何も貼り付けないようにする。これにより、図5、図6にて説明したようにして、シーン内インデックス画像のうち、1つのシーン内インデックス画像が動画として表示され、残るシーン内インデックス画像が静止画として表示される態様が得られることになる。
ステップS205においては、ステップS203により開始させた動画再生について、予め設定した再生時間Tpが経過するのを待機し、再生時間Tpを経過したタイミングで、ステップS206以降の手順に移行するようにされる。
ステップS206においては、先ず、ステップS203から開始させた動画再生を終了させる。これとともに、一旦、動画インデックスプレーン上に配置された動画像のサムネイル画像データも消去されることになる。また、このステップS206とともに、ステップS207により、静止画インデックスプレーン上の、第nインデックス画像貼付領域Fnに対応する位置に対して、静止画のシーン内インデックス画像を再び貼り付けるようにされる。
ステップS208においては、今回のステップS203〜S206による動画像の再生が、選択シーンにおける最終のシーン内分割区間についてのものであったか否かについての判別を行うようにされる。
ここで肯定の判別結果が得られた場合には、これまでの処理により、選択シーンにおける全てのシーン内インデックス画像についての動画再生を完了したことになるので、この図に示す処理は抜けるようにされる。これに対して、否定の判別結果が得られた場合には、ステップS209に進む。
ステップS209においては、現在設定されている変数nについて、これが最大値を示しているか否かについて判別し、未だ最大値には至っていないとして否定の判別結果を得たのであれば、ステップS210により、変数nについてインクリメントを行ったうえで、ステップS202の手順に戻る。このようにして、ステップS202に戻ることによっては、例えば図5(a)から図5(b)への遷移として例示したように、動画像としてのシーン内インデックス画像の表示は、時系列的に次となるインデックス画像貼付領域に切り換わることとなる。
これに対して、ステップS209において、変数nは最大値に至っているとして肯定の判別結果が得られた場合には、現在の状態は、例えば図6(a)に示したように、時系列的に最後のインデックス画像貼付領域(第10インデックス画像貼付領域F10)において動画像を再生し、この再生が終了した段階に至ったことになる。そこで、この場合には、ステップS211により、静止画インデックスプレーンに配置すべきシーン内インデックス画像について、送り方向に1つ分のスクロールが行われるようにして、表示制御を実行するようにされる。これにより、時系列的に最後となるインデックス画像貼付領域(第10インデックス画像貼付領域F10)に対しては、これまで貼り付けられていたシーン内インデックス画像に対して次となるシーン内インデックス画像のサムネイル画像データ(静止画)が新たに貼り付けられることになる。このスクロール表示にあたっては、例えば、静止画インデックスプレーンについて、これまでインデックス画像貼付領域F2〜F10に対応する位置に配置させていたサムネイル画像データを、それぞれ、インデックス画像貼付領域F1〜F9に配置させる。また、これとともに、新たにインデックス画像貼付領域F10に配置させるべきシーン内インデックス画像としてのサムネイル画像データを生成して、静止画インデックスプレーン上のインデックス画像貼付領域F10の位置に対して貼り付けるようにされる。なお、インデックス画像貼付領域F10に配置させるべきシーン内インデックス画像のサムネイル画像データを生成するのにあたっては、例えば先ずは、その元となるIピクチャについてのHDD16上での記録位置を求めて、この記録位置にアクセスして読み込みを行うようにされる。このIピクチャの記録位置は、例えば、時系列的に直前のインデックス画像貼付領域F10に配置されるサムネイル画像データの元となるIピクチャの絶対オフセット値(absl_offset)に単位オフセット値(ut_offset)を加算して、絶対オフセット値を更新することで求めることができる。
そして、上記ステップS211の処理を完了して後にステップS202に戻ることにより、直ぐに、この静止画のサムネイル画像データは、動画像に切り換えられるようにされる。
このようにして、ステップS211によりスクロールを行ってからステップS202に戻る、あるいはステップS210により変数nについてのインクリメントを行ってからステップS202に戻るようにされることで、次に動画とすべき代表画像の変更が、順次行われていくことになるものである。
なお、ビデオコンテンツデータについての記憶管理の態様、及びビデオコンテンツデータの形式、構造は、図12により説明したもの以外にも各種考えられるものであり、これに伴って、例えば図12及び図13におけるフィルムロールインデックス画面の表示制御のための処理手順における、Iピクチャへのアクセス制御であるとか、図13における動画再生制御などに関する処理の実際などは、適宜変更されるべきものである。
また、本願発明にあっては、先ず、シーン内インデックス領域AR2において、所定の抽出時間間隔によりビデオコンテンツのストリームから抜き出したものとされるシーン内インデックス画像が配列表示される態様を採る限り、フィルムロールインデックス画面における表示態様等の変更は適宜行われてよいものとされる。また、上記実施の形態にあっては、設定された抽出時間間隔Tmにより表される等間隔で以て、シーン内インデックス画像を抜き出すこととしているのであるが、所定の条件に従って、この抽出時間間隔が可変されるようにしても構わない。
また、本願発明にあっては、インデックス画像(サムネイル画像)を配列させた状態の下で、予め定めた所定の順序により、動画として表示させるインデックス画像を順次変更していくようにされた表示態様が採られる限り、インデックス画像が代表するものとされる動画データ単位については特に限定されない。実施の形態では、この動画データ単位は、1シーンを分割して得られるシーン内分割区間であることとされているが、例えばシーン単位であってもよい。また、これに伴って、動画として表示させるインデックス画像を変更していく順序についての決定規則も適宜変更されて構わない。
また、実施の形態においては、シーンの時系列に従った配列順によりインデックス画像を配列するとともに、動画表示させるインデックス画像の順序も、対応するシーン内分割区間(単位動画データ)の時系列順に従うべきものとしていることで、動画表示の変更順もインデックス画像の配列順に従ったものとなっている。しかし、先ず、動画表示の変更順の規則(順序規則)に関しては、例えば上記の時系列を基準とするものに限定されることなく、例えば、単位動画データごとのビットレートなどをはじめとして他にも考えることができる。さらに、動画表示についての順序規則と、インデックス画像(代表画像)の配列順を設定する順序規則との関係によっては、動画表示の変更順がインデックス画像の配列順と異なるものとなっても構わないものである。
また、本願発明は、動画として表示されるインデックス画像を変更していくという、インデックス動画のシーケンス再生が自動的に行われることに1つの特徴を有しており、実施の形態においては、このようなインデックス動画のシーケンス再生は、フィルムロールインデックス画面の表示開始と共に自動的に開始されるものとしている。しかし、例えば、このフィルムロールインデックス画面の初期表示は、全てインデックス静止画による表示として、インデックス動画のシーケンス再生については、ユーザ操作に応じて開始(及び停止)できるように構成することも考えられる。
また、実施の形態では、本願発明の構成をビデオカメラ装置に適用しているが、これ以外にも、例えば動画撮影機能を有するようにされたデジタルスチルカメラ、携帯電話などをはじめ、他の電子機器に対しても適用が可能である。
本発明の実施の形態としてのビデオカメラ装置の構成例を示すブロック図である。 本実施の形態のビデオカメラ装置における一覧・検索画面の表示に関連した操作に応じて表示画面部に表示される画像の内容例を示す図である。 実施の形態に対応するフィルムロールインデックス画面の表示内容例を示す図である。 シーン内インデックス画像についての抽出時間間隔の設定例、及びインデックス動画の再生シーケンスの設定例を説明するための図である。 実施の形態におけるインデックス動画の再生についての態様例を示す図である。 実施の形態におけるインデックス動画の再生についての態様例を示す図である。 シーン内インデックス画像についての送り方向へのスクロールに対応する表示内容の遷移状態を模式的に示す図である。 インデックス動画が表示されるフィルムロールインデックス画面の表示用画像データの生成例(表示制御例)を模式的に示す図である。 フィルムロールインデックス画面を基点とする、関連メニュー画面、インデックス動画再生時間設定画面との間での遷移例を示す図である。 インデックス動画再生時間設定画面の表示態様例を示す図である。 実施の形態におけるビデオコンテンツの管理態様例を説明するための図である。 実施の形態におけるビデオコンテンツの構造例を説明するための図である。 シーン内インデックス領域についての初期表示のための処理手順例を示すフローチャートである。 シーン内インデックス領域におけるインデックス動画表示のための処理手順例を示すフローチャートである。
符号の説明
1 ビデオカメラ装置、11 光学系部、12 撮像部、13 カメラ制御部、14 カメラ信号処理部、15 記録再生処理回路、16 HDD、17 マイクロプロセッサ、18 OSD処理部、19 重畳処理部、20 表示部、20A 表示画面部、21 ハードウェア操作部、21A タッチパネル部、21a ホームキー、21b フィルムロールキー、AR1 シーン単位インデックス領域、AR2 シーン内インデックス領域、F1〜F10 インデックス画像貼付領域、P101〜P111 シーン内インデックス画像

Claims (5)

  1. 所定単位による単位動画データごとに対応する代表画像を少なくとも配置して形成される単位動画一覧画像を表示させるための制御を実行する一覧画像表示制御手段と、
    上記代表画像のうち、動画とすべき代表画像については、上記単位動画一覧画像上で、対応する単位動画データを再生して得た動画像を配置するようにされ、上記動画として指定した以外の代表画像については、上記単位動画一覧画像上で、対応する単位動画を代表するとされる静止画像を配置するようにされた代表画像表示制御手段と、
    上記動画として指定する代表画像を、所定の変更規則と変更タイミングに従って順次変更していくようにされる動画変更制御手段と、
    を備え
    上記単位動画データは、1つのシーンとしての動画データを区分して得られる部分動画データとされ、
    上記動画変更制御手段は、
    所定の時間長による単位動画データの再生を完了したタイミングに応じて、シーンにおける上記単位動画データの時系列としての順序規則に従って決まる上記単位動画データの順序に対応させて、上記動画像とすべき代表画像を変更するようにされている、
    表示制御装置。
  2. 代表画像表示制御手段は、
    上記動画変更制御手段により次に動画とすべき変更先代表画像が、既に上記単位動画一覧画像上において配置されていない状態のときには、上記動画像としての変更先代表画像が上記単位動画一覧画像上において新たに配置された状態が得られるようにして、上記単位動画一覧画像上での代表画像の配置を所定の態様に変更するようにされている、
    請求項1に記載の表示制御装置。
  3. 代表画像表示制御手段は、
    上記単位動画一覧画像上で、動画とすべき代表画像についての再生が完了すると、再生動画像から静止画像に戻るようにされると同時に、時系列的に次となる上記変更先の代表画像が、静止画像から、対応する再生動画像に切り換わるようにされる、
    請求項1に記載の表示制御装置。
  4. 所定単位による単位動画データごとに対応する代表画像を少なくとも配置して形成される単位動画一覧画像を表示させるための制御を実行する一覧画像表示制御手順と、
    上記代表画像のうち、動画とすべき代表画像については、上記単位動画一覧画像上で、対応する単位動画データを再生して得た動画像を配置するようにされ、上記動画として指定した以外の代表画像については、上記単位動画一覧画像上で、対応する単位動画を代表するとされる静止画像を配置するようにされた代表画像表示制御手順と、
    上記動画として指定する代表画像を、所定の変更規則と変更タイミングに従って順次変更していくようにされる動画変更制御手順と、
    を実行し、
    上記単位動画データは、1つのシーンとしての動画データを区分して得られる部分動画データとされ、
    上記動画変更制御手順は、
    所定の時間長による単位動画データの再生を完了したタイミングに応じて、シーンにおける上記単位動画データの時系列としての順序規則に従って決まる上記単位動画データの順序に対応させて、上記動画像とすべき代表画像を変更するようにされている、
    表示制御方法。
  5. 所定単位による単位動画データごとに対応する代表画像を少なくとも配置して形成される単位動画一覧画像を表示させるための制御を実行する一覧画像表示制御手順と、
    上記代表画像のうち、動画とすべき代表画像については、上記単位動画一覧画像上で、対応する単位動画データを再生して得た動画像を配置するようにされ、上記動画として指定した以外の代表画像については、上記単位動画一覧画像上で、対応する単位動画を代表するとされる静止画像を配置するようにされた代表画像表示制御手順と、
    上記動画として指定する代表画像を、所定の変更規則と変更タイミングに従って順次変更していくようにされる動画変更制御手順と、
    を表示制御装置に実行させ
    上記単位動画データは、1つのシーンとしての動画データを区分して得られる部分動画データとされ、
    上記動画変更制御手順は、
    所定の時間長による単位動画データの再生を完了したタイミングに応じて、シーンにおける上記単位動画データの時系列としての順序規則に従って決まる上記単位動画データの順序に対応させて、上記動画像とすべき代表画像を変更するようにされている、
    プログラム。
JP2007185475A 2007-07-17 2007-07-17 表示制御装置、表示制御方法、プログラム Expired - Fee Related JP4935551B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007185475A JP4935551B2 (ja) 2007-07-17 2007-07-17 表示制御装置、表示制御方法、プログラム
US12/218,279 US8004594B2 (en) 2007-07-17 2008-07-14 Apparatus, method, and program for controlling display of moving and still images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007185475A JP4935551B2 (ja) 2007-07-17 2007-07-17 表示制御装置、表示制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2009027236A JP2009027236A (ja) 2009-02-05
JP4935551B2 true JP4935551B2 (ja) 2012-05-23

Family

ID=40264506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007185475A Expired - Fee Related JP4935551B2 (ja) 2007-07-17 2007-07-17 表示制御装置、表示制御方法、プログラム

Country Status (2)

Country Link
US (1) US8004594B2 (ja)
JP (1) JP4935551B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009118215A (ja) * 2007-11-07 2009-05-28 Canon Inc 撮像装置
JP5268500B2 (ja) * 2008-08-28 2013-08-21 キヤノン株式会社 画像記録装置、画像再生装置、並びに画像処理装置および方法
JP2012525076A (ja) 2009-04-24 2012-10-18 デルタ・ヴィディオ・インコーポレイテッド デジタルビデオ配信システムにおける即時マルチチャネルビデオコンテンツブラウジングのためのシステム、方法、およびコンピュータ可読媒体
WO2011066105A1 (en) * 2009-11-25 2011-06-03 Delta Vidyo, Inc. Iptv presence and interaction protocol
US9792363B2 (en) * 2011-02-01 2017-10-17 Vdopia, INC. Video display method
WO2013035046A1 (en) * 2011-09-08 2013-03-14 Nds Limited Map your movie
KR101952260B1 (ko) 2012-04-03 2019-02-26 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
JP5925656B2 (ja) * 2012-09-28 2016-05-25 富士フイルム株式会社 画像表示制御装置、画像表示装置、プログラム及び画像表示方法
KR101650153B1 (ko) * 2015-03-19 2016-08-23 네이버 주식회사 만화 데이터 편집 방법 및 만화 데이터 편집 장치
USD781908S1 (en) * 2016-03-04 2017-03-21 Hotel Revup, Llc Display panel with graphical user interface
USD808417S1 (en) * 2016-09-15 2018-01-23 General Electric Company Display screen or portion thereof with transitional graphical user interface
JP6718389B2 (ja) * 2017-01-20 2020-07-08 株式会社ミクシィ 情報処理装置,情報処理装置の制御方法及び制御プログラム
JP6898575B2 (ja) * 2017-01-20 2021-07-07 株式会社ミクシィ 情報処理装置,情報処理装置の制御方法及び制御プログラム
JP7182754B2 (ja) * 2020-06-12 2022-12-05 株式会社Mixi 情報処理装置,情報処理装置の制御方法及び制御プログラム
CN115050133B (zh) * 2022-05-31 2024-01-16 山东亚华电子股份有限公司 一种动态数据展示方法及设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023520A (en) * 1995-07-06 2000-02-08 Hitach, Ltd. Method and apparatus for detecting and displaying a representative image of a shot of short duration in a moving image
US5917488A (en) * 1996-08-21 1999-06-29 Apple Computer, Inc. System and method for displaying and manipulating image data sets
JPH11289517A (ja) * 1998-04-02 1999-10-19 Sony Corp 再生装置及び再生方法
US7145601B2 (en) * 2000-01-14 2006-12-05 Fuji Photo Film Co., Ltd. Multi-modal reproducing apparatus and digital camera
JP2004072727A (ja) 2002-06-11 2004-03-04 Sanyo Electric Co Ltd 画像処理方法、画像処理装置、画像記録再生装置、およびテレビジョン受像機
US7558318B2 (en) * 2002-06-11 2009-07-07 Sanyo Electric Co., Ltd. Method and apparatus for processing images, method and apparatus for recording and reproducing images, and television receiver utilizing the same
JP4915978B2 (ja) 2004-12-02 2012-04-11 カシオ計算機株式会社 動画再生装置及びそのプログラム
JP4462036B2 (ja) * 2005-01-06 2010-05-12 株式会社デンソー 液晶表示装置
JP4478607B2 (ja) 2005-05-20 2010-06-09 キヤノン株式会社 携帯型画像再生装置
JP4730050B2 (ja) * 2005-10-11 2011-07-20 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2007116385A (ja) * 2005-10-20 2007-05-10 Funai Electric Co Ltd 情報記録再生装置

Also Published As

Publication number Publication date
US8004594B2 (en) 2011-08-23
JP2009027236A (ja) 2009-02-05
US20090021592A1 (en) 2009-01-22

Similar Documents

Publication Publication Date Title
JP4935551B2 (ja) 表示制御装置、表示制御方法、プログラム
US9990958B2 (en) Playback apparatus, method for the same, and recording medium
US8326115B2 (en) Information processing apparatus, display method thereof, and program thereof
KR101328199B1 (ko) 동영상 편집 방법 및 그 단말기 그리고 기록매체
US8364017B2 (en) Image processing apparatus, image processing method, image playback apparatus, image playback method, and program
JP2010288015A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP5524653B2 (ja) 表示制御装置及びその制御方法
JP2005197913A (ja) 画像処理装置及び画像処理方法
JP4696967B2 (ja) 表示装置、表示方法及びプログラム
JP2007323698A (ja) マルチメディアコンテンツ表示装置、方法及びプログラム
US8379109B2 (en) Image processing apparatus
JP2009047721A (ja) 表示制御装置、表示制御方法、プログラム
JP2006101076A (ja) 動画編集方法、動画編集装置及びプログラム
JP6410483B2 (ja) 画像処理装置
JP6117621B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2008311847A (ja) 表示制御装置、表示制御方法、プログラム
KR100883119B1 (ko) 동영상 파일 목록 편집 방법
JP5828251B2 (ja) 画像処理装置およびデジタルカメラ
JP5522972B2 (ja) 再生装置及びその制御方法
JP4933386B2 (ja) 表示制御装置及びその制御方法、プログラム
JP6071399B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP6463967B2 (ja) 撮像装置及びその制御方法
JP2011024076A (ja) 映像記録再生装置および映像記録再生方法
JP5010420B2 (ja) 画像再生装置、プログラム、および画像再生方法
JP6049369B2 (ja) 画像処理装置及び画像処理装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees