JP6012384B2 - 動画再生装置、表示制御方法、プログラム及び記憶媒体 - Google Patents

動画再生装置、表示制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP6012384B2
JP6012384B2 JP2012222203A JP2012222203A JP6012384B2 JP 6012384 B2 JP6012384 B2 JP 6012384B2 JP 2012222203 A JP2012222203 A JP 2012222203A JP 2012222203 A JP2012222203 A JP 2012222203A JP 6012384 B2 JP6012384 B2 JP 6012384B2
Authority
JP
Japan
Prior art keywords
moving image
frame rate
image portion
section
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012222203A
Other languages
English (en)
Other versions
JP2014075699A (ja
Inventor
尊比古 諧
尊比古 諧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012222203A priority Critical patent/JP6012384B2/ja
Priority to US14/043,896 priority patent/US9077957B2/en
Publication of JP2014075699A publication Critical patent/JP2014075699A/ja
Application granted granted Critical
Publication of JP6012384B2 publication Critical patent/JP6012384B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/915Television signal processing therefor for field- or frame-skip recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、異なるフレームレートで撮像された動画部が混在する動画を再生可能な動画再生装置における表示制御技術に関する。
デジタルカメラやデジタルビデオカメラ等の撮像装置の技術分野では、動画の撮像時のフレームレートを変更して撮像することを可能とする技術が知られている。一般的な動画は、通常のフレームレートで撮像され、撮像された動画の再生時の再生速度のフレームレートを撮像時のフレームレートと同じとする。この場合、撮像時の被写体の動きと再生時の被写体の動きは略同一となる(等倍再生)。
これに対し、通常の撮像を行うフレームレートより高いフレームレートで撮像された動画を通常の撮像を行うフレームレートで撮像された動画と同じ再生速度で再生した場合には、等倍再生に比べてゆっくりとした動画となる(スロー再生)。逆に、通常の撮像を行うフレームレートより低いフレームレートで撮像された動画を通常の撮像を行うフレームレートで撮像された動画と同じ再生速度で再生した場合には、等倍再生に比べて速い動画となる(高速再生)。
なお、高いフレームレートでの撮像は、動きの速い被写体を撮像する際に有用であり、肉眼では捉えられない被写体の動きを解析することが可能になる。一方、低いフレームレートでの撮像は、動きの遅い被写体(例えば、植物の成長や天体の動き等)や長時間にわたっての変化(例えば、街頭での人の往来等)等を、記録時間に対して少ない記録容量で撮像したい場合に有用である。
このような通常とは異なるフレームレートで撮像された動画部と通常のフレームレートで撮像された動画部とが混在する動画を再生する場合、それぞれの動画部が動画全体の中のどの位置に在るのかをユーザにわかりやすく表示する必要が生じる。そこで、例えば、特許文献1には、図11に示す表示方法が提案されている。
図11は、動画の再生時に、再生される動画のフレームレートの構成(分布)をユーザに示す従来の表示例を示す図である。図11の表示例では、ディスプレイに再生動画1101が表示されると同時に、再生動画1101の時間経過を表すタイムシーケンスバー1102が、横長形状で再生動画1101の下側に表示される。タイムシーケンスバー1102には、高フレームレートで撮像された動画部を示す高フレームレート動画区間1103と、通常のフレームレートで撮像された動画部を示す通常フレームレート動画区間1104とが識別可能に表示されている。また、特許文献1には、高フレームレートで撮像された動画部を再生する際に、撮像時と同じ時間経過で再生する高フレームレート再生モードと、撮像時の時間経過と比較してスローに再生するスロー再生モードとを切り替え可能な構成が記載されている。
特開2007−166501号公報
しかしながら、上記従来技術では、高フレームレート動画区間1103をタイムシーケンスバー1102上に配置する手順について考慮されていない。また、高フレームレート動画区間1103を生成するためのベースとなるデータ、高フレームレート動画区間1103の表示を処理する条件や表示方法について考慮されていない。そのため、上記従来技術では、次のような問題がある。
即ち、仮に、高フレームレート動画区間1103を、実撮像時間長に基づいてタイムシーケンスバー1102上に表示したとする。その場合、タイムシーケンスバー1102の全体長さ(実撮像時間長)に対して、高フレームレート動画区間1103の幅が相対的に極端に短くなるケースが想定される。これは、高フレームレートでの撮像は、一瞬の素早い動きを撮像するために使用されるケースが多いからである。つまり、タイムシーケンスバー1102の全体長さに対して、高フレームレート動画区間1103の幅が相対的に極端に短くなる場合、ユーザにとって高フレームレート動画区間1103を視認し難い表示となる。このような問題に対して、タイムシーケンスバー1102上における高フレームレート動画区間1103の生成・処理に関する検討が、上記特許文献1ではなされていない。
本発明は、異なるフレームレートで撮像された動画部が混在する動画の再生時に、タイムシーケンスバー上で通常のフレームレートとは異なるフレームレートで撮像された動画部を、ユーザが良好に視認可能な動画再生装置を提供することを目的とする。
本発明に係る動画再生装置は、異なるフレームレートで撮像された動画部が混在する動画を再生して表示手段に表示する再生手段と、前記動画についての単一のシーケンスバーを前記表示手段に表示する表示制御手段とを備える動画再生装置であって、前記動画が第1のフレームレートで撮像された第1の動画部と前記第1のフレームレートよりも高い第2のフレームレートで撮像された第2の動画部とを含む場合に、前記表示制御手段は、前記シーケンスバーに前記第1の動画部を示す第1の区間と前記第2の動画部を示す第2の区間とを表示する際に、前記第1の区間よりも前記第2の区間の方が、対応する動画部の撮像に要した時間に対する区間の長さの比率が大きくなるように、前記シーケンスバーの表示を制御することを特徴とする。
本発明によれば、異なるフレームレートで撮像された動画部が混在する動画の再生時に、ユーザは、タイムシーケンスバー上で通常のフレームレートとは異なるフレームレートで撮像された動画部を良好に視認することができる。
本発明の実施形態に係るデジタルビデオカメラの機能構成を示すブロック図である。 図1のデジタルビデオカメラの外観構造を示す斜視図である。 図1のデジタルビデオカメラにおいて、画像処理部が動画データに付加するフレームレート情報を模式的に示す図である。 図1のデジタルビデオカメラにおいて、撮像モードから再生モードへ切り替えた際に表示画面に表示される記録動画のサムネイル画像のマルチ表示の表示例である。 図1のデジタルビデオカメラにおいて、表示画面に表示される記録動画の再生画面の例を示す図である。 図5に示すタイムシーケンスバーに表示する可変フレームレート動画区間の生成処理を模式的に示す図である。 図6に示す可変フレームレート動画区間の拡大/縮小処理を制限する例を模式的に示す図である。 図6に示す可変フレームレート動画区間の拡大/縮小処理を説明するフローチャートである。 図8のステップS804の処理の詳細を示すフローチャートである。 図5の状態から動画再生が進み、高フレームレート動画部に再生位置が移った状態と、低フレームレート動画部に再生位置が移った状態とを示す図である。 動画の再生時に、再生される動画のフレームレートの構成(分布)をユーザに示す従来の表示例を示す図である。
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。以下の説明では、動画再生装置の一例として、複数の異なるフレームレートで動画を撮像することができ、撮像された動画を異なる再生速度で再生可能なデジタルビデオカメラを取り上げることとする。
<デジタルビデオカメラの概略構成>
図1は、本発明の実施形態に係るデジタルビデオカメラ100の機能構成を示すブロック図である。デジタルビデオカメラ100は、制御部101、ROM102、操作入力部103、撮像部104、A/D変換部105、画像処理部106、記憶媒体107及び画像表示部108を備える。
制御部101は、デジタルビデオカメラ100が備える各部(ブロック)の動作を制御する。制御部101は、ROM102に記憶されているデジタルビデオカメラ100の動作(制御)プログラムを読み出し、RAM(不図示)のワークエリアに展開して実行することにより、各部の動作を制御する。ROM102は、書き換え可能な不揮発性の記憶メモリであり、デジタルビデオカメラ100の動作を制御するためのプログラム、プログラムの実行に必要なパラメータ等の設定値、画像表示部108に表示するGUI等のデータを記憶する。
操作入力部103は、デジタルビデオカメラ100が備える入力インタフェースであり、ユーザによって操作入力がなされると、入力された操作内容が制御部101に伝送される。本実施形態では、操作入力部103は、例えば、トリガスイッチやモードスイッチ等の機械的なスイッチの他、画像表示部108に設けられたタッチパネルセンサを含む。タッチパネルセンサは、ユーザからの接触入力を検出し、検出された接触入力の内容は、制御部101に伝送される。
撮像部104は、例えば、CCDやCMOSセンサ等の撮像素子であり、レンズや絞りを含む撮像光学系によって撮像素子に結像された被写体像を光電変換し、生成したアナログ画像信号をA/D変換部105に伝送する。A/D変換部105は、入力されたアナログ画像信号に対してA/D変換処理を施し、得られたデジタル画像データを画像処理部106に伝送する。また、A/D変換部105は、例えば、デジタルビデオカメラ100が録画モードにあるときに、得られたデジタル画像データを画像表示部108に逐次出力し、画像表示部108を電子ビューファインダとして機能させる。
画像処理部106は、入力されたデジタル画像データに対して各種の画像処理や拡大/縮小処理を施す。画像処理部106は、録画処理時には、各種処理が施されたデジタル画像データを不図示のRAMに順次蓄積し、得られた画像群のデータを撮像時の撮像時間やフレームレート等からなるフレームレート情報と共に、AVCHDフォーマットの動画データに符号化する。また、画像処理部106は、制御部101の制御により記憶媒体107に記録(保存)されている符号化された動画データを読み出し、復号化して画像表示部108に出力する。更に、画像処理部106は、動画データとROM102に記憶されているGUIデータとに対して各種の画像処理や拡大/縮小処理を施し、合成して画像表示部108に出力する。
記憶媒体107は、画像処理部106により作成された動画データを記録(保存)する。記憶媒体107は、具体的には、デジタルビデオカメラ100が備える内蔵メモリ、デジタルビデオカメラ100に着脱可能に接続されるメモリカードやHDD等の記録装置である。画像表示部108は、例えば、小型の液晶ディスプレイ(LCD)等の表示装置であり、撮像中の画像(映像)や記憶媒体107に記録されている動画データの再生表示、デジタルビデオカメラ100の設定情報の表示等に用いられる。なお、前述の通り、本実施形態では、画像表示部108にはタッチパネルセンサが設けられているが、タッチパネルセンサは必ずしも必要なものではない。タッチパネルセンサにおける入力操作の検出方法は、公知のいずれの方式(技術)を用いてもよい。
本実施形態では、デジタルビデオカメラ100は、毎秒60フレーム(60FPS)(第1のフレームレート)、360FPS(第2のフレームレート)及び30FPS(第3のフレームレート)の3種類のフレームレートで動画撮像が可能であるとする。これは、デジタルビデオカメラ100による動画の撮像/再生の処理についての説明を簡略化して、本発明の理解を容易にするためのものであり、実際には、デジタルビデオカメラ100ではより多くのフレームレートで動画の撮像が可能である。
ユーザは、撮像モードを、60FPSの通常モード、通常モードのフレームレートより高い360FPSの高フレームレート撮像モード及び通常モードのフレームレートより低い30FPSの低フレームレート撮像モードのいずれかから選択して、撮像を行う。以下、通常モードで撮像された動画を「通常フレームレート動画」、高フレームレート撮像モードで撮像された動画を「高フレームレート動画」、低フレームレートで撮像された動画を「低フレームレート動画」と称することとする。
デジタルビデオカメラ100は、これらの撮像モードで撮像された動画の再生モードとして、等倍再生モード、及び、スロー再生モードと高速再生モードとを含む可変速再生モードを有する。「等倍再生」とは、動画を撮像されたフレームレートで再生する再生方法(動画を再生する際のフレームレートをその動画の撮像時のフレームレートに合わせること)を指すものとする。「等倍再生」では、撮像中の被写体の動きと再生中の動画における被写体の動きとが略同一速度となる。例えば、通常のフレームレートより高いフレームレートで撮像した動画を等倍再生する場合は、通常の再生速度よりも速い再生速度で再生することになる。なお、毎秒360フレームのフレームレートで撮像された動画を、6フレーム毎に間引いて毎秒60フレームで再生することで、等倍再生としてもよい。
「スロー再生」とは、動画を撮像されたフレームレートより低いフレームレートで再生する再生方法(動画を再生する際のフレームレートをその動画の撮像時のフレームレートよりも低くする)を指すものとする。「スロー再生」では、撮像中の被写体の動きに比べて、再生中の動画における被写体の動きは遅くなる。
「高速再生」とは、動画を撮像されたフレームレートより高いフレームレートで再生する再生方法(動画を再生する際のフレームレートをその動画の撮像時のフレームレートよりも高くする)を指すものとする。「高速再生」では、撮像中の被写体の動きに比べて、再生している動画における被写体の動きは速くなる。なお、これら「スロー再生」及び「高速再生」を纏めて、「可変速再生」と称することとする。
<デジタルビデオカメラ100の外観構造>
図2は、デジタルビデオカメラ100の外観構造を示す斜視図である。図2(a)は、デジタルビデオカメラ100を背面側から見たときの上面と右側面を主に示す図であり、図2(b)は、デジタルビデオカメラ100の背面側から見たときの上面と左側面を主に示す図である。
デジタルビデオカメラ100のカメラ本体の内部には、図2には不図示の撮像部104や記憶媒体107、制御基板等が内蔵されており、制御基板には、制御部101やA/D変換部105、画像処理部106が実装されている。図2(a)に示すように、デジタルビデオカメラ100は、ユーザがカメラ本体を把持する際に使用するグリップベルト205を備える。また、デジタルビデオカメラ100に電源を供給するバッテリは不図示のバッテリボックスに収用されており、図2(a)には、バッテリボックスが蓋部材206により閉じられた状態が示されている。
また、図2(a)に示すように、カメラ本体を背面側から見たときの右側面上側には、撮像モードと再生モードとを切り替えるモードスイッチ201が配置されている。また、カメラ本体の背面には、撮像モードにおいて動画の撮像を開始/停止するトリガスイッチ202が配置されている。カメラ本体の上面には、撮像モード及び再生モードにおいてフレームレートを切り替えるためのフレームレートスイッチ203と、撮像モード及び再生モードにおいて回転操作によりフレームレートを変更するフレームレートダイアル204が配置されている。
図2(b)に示すように、カメラ本体の背面側から見たときの左側面には、撮像中の動画(映像)や記録された動画を再生表示する表示画面208を有する表示装置207が、ヒンジ209によりカメラ本体に対して開閉自在に設けられている。表示画面208の表面にはタッチパネル(不図示)が設けられており、ユーザはタッチパネルにタッチすることにより、表示画面208に表示された画像やアイコンをタッチする感覚で、入力操作を行うことができる。なお、表示装置207は、図1に示す画像表示部108に含まれる。カメラ本体の背面側から見たときの左側面の上側には、デジタルビデオカメラ100の電源をON/OFFする電源スイッチ210が配置されている。
<撮像モードでの動画記録>
ユーザがデジタルビデオカメラ100を使用して動画の撮像を行う際、ユーザは、バッテリが装着されたデジタルビデオカメラ100のグリップベルト205に右手を通し、カメラ本体の上面側を右手で覆うようにカメラ本体を把持する。そして、ユーザは、電源スイッチ210を操作して電源をONし、表示画面208を視認することができるように表示装置207を開く。再生モードになっている場合には、ユーザは、モードスイッチ201をスライド操作して、撮像モードへ変更する。撮像モードでは、撮像光学系及び撮像部104によって取得される映像が表示画面208に表示される。撮像を開始/停止するためには、トリガスイッチ202を押下すればよい。撮像が開始されると、撮像された動画の動画データは、逐次、記憶媒体107に記録される。
ユーザは、トリガスイッチ202が操作されて撮像が行われている状態で撮像中の動画のフレームレートを変更したい場合には、撮像中にフレームレートスイッチ203を押下すればよい。フレームレートスイッチ203が操作されると、表示画面208には、撮像中の動画のフレームレート情報が表示され、フレームレートダイアル204が操作可能となる。ユーザは、フレームレートダイアル204を回転操作することで、所望のフレームレートを選択することができる。所望のフレームレートが選択された状態で、再度、ユーザによりフレームレートスイッチ203が押下されると、撮像中の動画のフレームレートが選択されたフレームレートに変更されて、撮像が続けられる。
なお、撮像モードではあっても撮像が行われていない状態(レックポーズ状態を含む撮像停止状態)でも、同様の操作により、フレームレートの変更が可能である。撮像停止状態でフレームレートスイッチ203が押下されると、表示画面208には、現在、設定されているフレームレート情報が表示され、フレームレートダイアル204の操作が可能となる。フレームレートダイアル204が回転操作されて所望のフレームレートが選択された状態で、再度、フレームレートスイッチ203が押下されると、フレームレートの設定が変更され、次の動画の撮像から有効となる。
動画の撮像中にA/D変換部105から画像処理部106へ動画データが伝送され、画像処理部106は受信した動画データにフレームレート情報を付加し、AVCHDフォーマットに変換して、符号化する。そして、符号化された動画データは、記憶媒体107に送られて、記録される。
図3は、画像処理部106が記憶媒体107に記録される動画データに付加するフレームレート情報を模式的に示す図である。なお、フレームレート情報は、動画の撮像中に制御部101によって演算、処理される。フレームレート情報を示す情報バー300には、撮像した1シーン全体の撮像時間に対して、フレームレートを変更したタイミングとフレームレートを変更して撮像した撮像時間とが示されている。情報バー300において、その左端は動画の撮像スタート時を表し、その右端は動画の撮像ストップ時を表している。情報バー300の上側には動画の撮像、記録をスタートしてからストップするまでの時間経過が示されており、ここでは、撮像された動画の撮像時間(記録時間)は15分00秒である。
情報バー300に表示された破線306は、フレームレートの変更タイミングを示しており、破線306の上側に表示されている時間は、撮像スタート時からの経過時間を示している。破線306で区切られている各範囲には、撮像に用いられたフレームレートと、そのフレームレートで撮像された動画の撮像時間が示されている。したがって、範囲301は、00分00秒から02分15秒までの2分15秒間は、60fpsで動画が撮像されたことを示す。同様に、範囲302は、02分15秒から02分45秒までの0分30秒間は、360fpsで動画が撮像されたことを示す。範囲303,304,305についても、図3に示す通りのフレームレートで、所定時間、動画が撮像されている。
画像処理部106は、範囲301〜305のように、フレームレート、フレームレートの切り替えタイミング、各フレームレートで撮像された動画の撮像時間をフレームレート情報として動画データに付加し、記憶媒体107に記録する。
<再生モードでの動画表示>
ユーザは、モードスイッチ201を再生モード位置へスライドさせることにより、デジタルビデオカメラ100を、記憶媒体107に記録された動画(以下「記録動画」という)を再生する再生モードへ切り替えることができる。再生モードでは、更に、フレームレートスイッチ203を押下することで、等倍再生モードと、スロー再生又は高速再生を行う可変速再生モードとを切り替えることができる。
フレームレートスイッチ203が押下されると、その時点で設定されている記録動画再生時のフレームレート情報が表示画面208に表示され、フレームレートダイアル204が操作可能となる。ユーザは、フレームレートダイアル204を回転操作することにより、記録動画再生時のフレームレートを選択することができる。ユーザが、所望のフレームレートを選択した状態で、再度、フレームレートスイッチ203を押下すると、記録動画再生時のフレームレートが選択されたフレームレートに変更、設定される。
図4〜図7を参照して、デジタルビデオカメラ100の再生モードにおける記録動画の再生表示の形態について説明する。以下の説明において、本実施形態では、再生モードは可変速再生モードに設定されているものとする。
[サムネイル画像のマルチ表示]
図4は、撮像モードから再生モードへ切り替えた際に、表示画面208に表示される記録動画のサムネイル画像のマルチ表示の表示例である。ここでは、サムネイル画像401,402,403,404を縦2×横2でマス目状に配置した例を示している。なお、サムネイル画像401〜404は、それぞれの記録動画のシーン全体を代表する画像である。また、不図示であるが、4つ以上の記録動画が記憶媒体107に記録されている場合、「次ページ」へ移動するためのアイコンが表示され、ページを移動させることができるようになっている。
サムネイル画像401に付随して、サムネイル画像401の下側には横長に単一のタイムシーケンスバー400が配置され、また、サムネイル画像401の右側には縦長に単一のフレームレートバー410が配置されている。タイムシーケンスバー400及びフレームレートバー410は、サムネイル画像401〜404のそれぞれに付随表示される。
[記録画像のシングル表示]
ユーザが、図4のようにマルチ表示されたサムネイル画像401〜404の中から再生したい所望のサムネイル画像をタッチ操作すると、図4のマルチ表示から図5のシングル表示に切り替わり、記録動画の再生が開始される。図5は、表示画面208に表示される記録動画の再生画面の例を示す図である。表示画面208には、再生中の再生動画500が表示され、再生動画500の下側にはタイムシーケンスバー400が表示され、再生動画500の右側にはフレームレートバー410が表示される。
〔タイムシーケンスバー400の表示形態〕
タイムシーケンスバー400は、再生中の記録動画全体のタイムシーケンスを表しており、その左端は記録動画の再生開始位置を示し、その右端は記録動画の再生終了位置を示している。再生中の記録動画は、360FPSの高フレームレート撮像モードで撮像記録された高フレームレート動画部(第2の動画部)を含み、タイムシーケンスバー400は、対応する高フレームレート動画区間501,503(第2の区間)を含む。また、再生中の記録動画は、30FPSの低フレームレート撮像モードで撮像記録された低フレームレート動画部(第3の動画部)を含み、タイムシーケンスバー400は、対応する低フレームレート動画区間502(第3の区間)を含む。高フレームレート動画部及び低フレームレート動画部以外の区間は、60FPSの通常フレームレートで撮像記録された通常フレームレート動画部(第1の動画部)である。つまり、高フレームレート動画区間501,503及び低フレームレート動画区間502以外の区間は、通常フレームレートで撮像記録された通常フレームレート動画区間(第1の区間)である。
可変フレームレート動画区間(高フレームレート動画区間501,503及び低フレームレート動画区間502)は、同じフレームレート毎に色分けされ或いは背景に柄が施される等して区別可能に表示されている。これにより、ユーザはフレームレートを容易に認識することができるようになっている。
ユーザは、タイムシーケンスバー400上の所定位置にタッチすることで、再生する動画部を指定することができる。即ち、図5において、破線で示されるタッチエリア501aにタッチすることにより高フレームレート動画区間501の動画部を頭出しして、ダイレクトにスロー再生することができる。同様に、ユーザは、タッチエリア503aをタッチすることにより、高フレームレート動画区間503の動画部を頭出しして、ダイレクトにスロー再生することができる。また、ユーザは、破線で示されるタッチエリア502aをタッチすることにより、低フレームレート動画区間502の動画部を頭出しして、ダイレクトに高速再生することができる。
なお、不図示であるが、ユーザは、通常フレームレート動画区間にタッチすることで、タッチした通常フレームレート動画区間の動画部を頭出しして、ダイレクトに通常再生することができる。これらのダイレクト操作は、図4に示すマルチ表示画面上でも行うことができるようにしてもよい。
タイムシーケンスバー400の下側には、再生位置ポインタ504が付随して表示される。再生位置ポインタ504は、再生中の記録動画の時間経過を表しており、タイムシーケンスバー400上の再生位置を指し示している。再生位置ポインタ504は、記録動画の再生時間の経過に従って移動し、再生時には左から右へ、巻き戻し時には右から左へ移動して、ユーザにタイムシーケンスバー400上の現在の再生位置を伝える。
次に、タイムシーケンスバー400に可変フレームレート動画区間を表示するための表示制御処理について説明する。可変フレームレート動画部と通常フレームレート動画部とが混在する記録動画では、可変フレームレートが用いられる撮像状況の特異性から、記録動画全体のシーケンスに対して、可変フレームレート動画部が極端に短くなり或いは極端に長くなる状況が想定される。特に、図3に示した情報バー300のように、撮像時間と情報バー300上での幅(長さ)とが常に比例するように可変フレームレート動画区間を表示した場合に、顕著に起こり得る。この問題を解決する方法を、図6及び図7を参照して説明する。
図6は、タイムシーケンスバー400に表示する可変フレームレート動画区間の生成処理を模式的に示す図である。図6上段のタイムシーケンスバー600は、通常フレームレート動画部と可変フレームレート動画部とが混在する記録動画のタイムシーケンスバーであり、図3に示す情報バー300を模式化したものである。つまり、タイムシーケンスバー600の左端は記録動画の再生開始時を、右端は再生終了時を示している。
タイムシーケンスバー600は、高フレームレートで撮像された高フレームレート動画区間601と、低フレームレートで撮像された低フレームレート動画区間602と、通常フレームレートで撮像された通常フレームレート動画区間603を含む。タイムシーケンスバー600では、可変フレームレート動画区間(高フレームレート動画区間601,低フレームレート動画区間602)は、実撮像時間長に合わせた幅で表示されている。
タイムシーケンスバー600のように、実撮像時間長に合わせて可変フレームレート動画区間を表示した場合、高フレームレート動画区間601の幅Qは短くなり、低フレームレート動画区間602の幅Rは長くなる。高フレームレート動画区間601のように可変フレームレート動画区間が短く表示されてしまうと、ユーザは、その位置を視認し難くなる。また、タッチエリアが狭くなって、可変フレームレート動画区間のダイレクト再生操作を行い難くなる等の問題が生じる。更に、可変速再生モードでは、可変フレームレート動画区間の幅と可変速再生される再生時間とがアンマッチとなり、ユーザが記録動画全体の再生時間に対する可変フレームレート動画部の再生時間の割合が把握し難くなる。そこで、タイムシーケンスバー600を、図6下段のタイムシーケンスバー610の通りに変更する。
タイムシーケンスバー610は、タイムシーケンスバー600に対して、可変フレームレート動画区間の幅を可変速再生時間長に合わせて、拡大/縮小処理を施している。なお、この拡大/縮小処理の詳細(演算手法)については後述する。
タイムシーケンスバー600と同様に、タイムシーケンスバー610の左端は記録動画の再生開始時を、右端は再生終了時を示している。タイムシーケンスバー610上の高フレームレート動画区間611(幅T)は、タイムシーケンスバー600上の高フレームレート動画区間601(幅Q)をタイムシーケンスバー610の長さ方向に拡大したものである。また、タイムシーケンスバー610上の低フレームレート動画区間612(幅U)は、タイムシーケンスバー600上の低フレームレート動画区間602(幅R)をタイムシーケンスバー610の長さ方向に縮小したものである。
各可変フレームレート動画区間の拡大/縮小率は、各可変フレームレート動画部を可変速再生モードにて可変速再生させる際の再生時間に基づいて決定されている。例えば、高フレームレート動画部が360FPSで30秒撮像されている場合、高フレームレート動画部を60FPSで可変速再生(スロー再生)させると、再生時間は180秒(撮像時間の6倍)となる。また、低フレームレート動画部が30FPSで420秒撮像されている場合、低フレームレート動画部を60FPSで可変速再生(高速再生)させると、再生時間は210秒(撮像時間の0.5倍)となる。
このとき、タイムシーケンスバー600の全シーンの幅P(実撮像時間)が15分(900秒)であるとすると、タイムシーケンスバー610の幅S(実再生時間)は、可変フレームレート動画部の再生時間の増減分を加減計算して、14分(840秒)となる。この全シーンの実再生時間に対する各可変フレームレート動画部の再生時間の割合が、タイムシーケンスバー610上での各可変フレームレート動画区間の幅となる。即ち、高フレームレート動画区間611は、180秒/840秒の割合(幅T/幅S)、低フレームレート動画区間612は、210秒/840秒の割合(幅U/幅S)で各可変フレームレート動画区間の幅が定義される。
タイムシーケンスバー610の各可変フレームレート動画区間に対して、タッチエリアが設定される。即ち、拡大処理された高フレームレート動画区間611の幅に応じてタッチエリア613が設定され、縮小処理された低フレームレート動画区間612の幅に応じてタッチエリア614が設定される。
ここで、閾値を用いて可変フレームレート動画区間の拡大/縮小処理を制限し、一定の幅よりも短くならないように、また、逆に長くなり過ぎないように、制限幅を設けることを考える。これは、例えば、高フレームレート動画区間を拡大表示することにより、タイムシーケンスバーに占める高フレームレート動画区間の幅が極めて広くなってしまうという問題が起こり得るからである。また、逆に、低フレームレート動画区間を縮小表示することにより、低フレームレート動画区間の幅が視認性を損なうまでに短くなってしまうという問題が起こり得るからである。
可変フレームレート動画区間の拡大/縮小処理を制限する閾値としては、例えば、タイムシーケンスバー610に示した、「幅T/幅S」や「幅U/幅S」等の割合、又は、幅Tや幅Uそのものの値を用いてもよい。但し、閾値は、表示画面208の大きさや表示画面208に表示されるタイムシーケンスバー400,610の全体長さを考慮して、適切に設定する必要がある。
図7は、閾値を用いて可変フレームレート動画区間の拡大/縮小処理を制限する例を模式的に示す図である。図7には、通常フレームレート動画部と低フレームレート動画部とが混在した記録動画について、3種類のタイムシーケンスバー700,710,720が示されている。なお、ここでは、可変フレームレート動画区間の拡大/縮小処理の制限をわかりやすく説明するために、例外的に、低フレームレート動画部は、通常フレームレートの1/10の6FPSで撮像されたものとする。また、タイムシーケンスバー700,710,720の全体長さを、説明を簡略化するために「幅S」で統一することとする。
タイムシーケンスバー700は、実撮像時間長に基づいて作成されており、低フレームレート動画区間701(幅R)を含む。タイムシーケンスバー700に対して、タイムシーケンスバー710は、低フレームレート動画区間701の長さを可変速再生時間長に合わせて縮小処理を施したものである。つまり、6FPSで記録された動画を60FPSで再生するため、再生時間は1/10となる。その結果、タイムシーケンスバー710では、低フレームレート動画区間711の幅Uは、タイムシーケンスバー700上の低フレームレート動画区間701の幅Rを長さ方向で1/10(U/R=1/10)に縮小した長さとなる。
タイムシーケンスバー710には、低フレームレート動画区間711に対するタッチエリア713が表示されている。タイムシーケンスバー710に示すように、縮小処理された低フレームレート動画区間711の表示領域はタイムシーケンスバー710の全体長さに対して著しく狭いため、ユーザはタッチエリア713を視認し難くなる。また同時に、タッチエリア713の面積が小さいため、タッチ操作も容易とは言えない。
そこで、可変フレームレート動画区間の拡大/縮小処理に対して、「縮小処理はタイムシーケンスバー全体長さの1/10までとする」という閾値(制限幅)を設けて、縮小処理を制限する。タイムシーケンスバー720は、タイムシーケンスバー700にこの閾値制限をかけて、低フレームレート動画区間701を縮小処理したものである。
タイムシーケンスバー720における低フレームレート動画区間721の幅Vは、「タイムシーケンスバー全体長さの1/10までとする」という閾値に従うため、幅Sの1/10までしか縮小されていない。そして、タイムシーケンスバー720には、低フレームレート動画区間721に対するタッチエリア722が設定される。このように、低フレームレート動画区間の縮小処理に制限が課されることによって、ユーザは、低フレームレート動画区間721を良好に視認することができ、しかも、タッチ操作も容易に行うことができるようになる。
このような再生時間ベースの(再生時間に基づく)タイムシーケンスバーでは、図6及び図7を参照説明した通り、高フレームレート動画部の幅は拡大処理されて実撮像時間長よりも長く表示される。逆に、低フレームレート動画部の幅は縮小処理されて実撮像時間長よりも短く表示される。すなわち、本実施形態では、通常フレームレートで撮像された第1の動画部を示す第1の区間よりも、高フレームレートで撮像された第2の動画部を示す第2の区間の方が、動画部の撮像に要した時間に対する区間の長さの比率が大きくなるようにタイムシーケンスバーが表示される。また、通常フレームレートで撮像された第1の動画部を示す第1の区間よりも、低フレームレートで撮像された第3の動画部を示す第3の区間の方が、動画部の撮像に要した時間に対する区間の長さの比率が小さくなるように、タイムシーケンスバーが表示される。
図8は、タイムシーケンスバーにおける可変フレームレート動画区間の拡大/縮小処理を説明するフローチャートである。なお、図8のフローチャートに示される処理は、デジタルビデオカメラ100が撮像モードから再生モードに切り替えられたときに、表示画面208に記録動画とタイムシーケンスバーを表示するための処理である。制御部101が、ROM102に格納されたプログラムをRAMのワークエリアに展開、実行することにより、図8の各処理が実行される。
ステップS801では、制御部101は、画像処理部106を制御して記憶媒体107から記録動画を呼び出す。続いて、ステップS802では、制御部101は、ステップS801で呼び出した記録動画に付加されたフレームレート情報を読み取り、呼び出した記録動画に可変フレームレート動画部が含まれているか否かを判定する。なお、フレームレート情報は、図3に示した情報バー300から読み取られる。制御部101は、可変フレームレート動画部を含む場合(S802でYES)、処理をステップS803へ進め、可変フレームレート動画部を含まない場合(S802でNO)、処理をステップS805へ進める。
ステップS803では、制御部101は、ステップS802で読み取った記録動画に含まれるフレームレート情報から、可変フレームレート動画部の記録時間(撮像時間)、記録タイミング(撮像(再生)の開始時と終了時)、フレームレートを識別する。続くステップS804では、制御部101は、ステップS803で識別した情報に基づいて、タイムシーケンスバー上での可変フレームレート動画区間の幅を決定し、表示処理を行う。なお、ステップS804の詳細については、図9を参照して後述する。次に、ステップS805では、制御部101は、画像処理部106を介して、ステップS804で生成したタイムシーケンスバーの表示画像(GUI)を、記録動画と共に画像表示部108に表示させる。
図9は、ステップS804の処理の詳細を示すフローチャートである。ステップS901では、制御部101は、識別した可変フレームレート動画部の情報(記録時間、記録タイミング・フレームレ−ト)に基づいて、通常再生(60FPSで再生)する際の可変フレームレート動画部の再生時間と記録動画全体の再生時間を演算する。そして、演算結果に基づき、記録動画全体の再生時間に対する可変フレーム動画部の再生時間の割合Xを算出する。次に、ステップS902では、制御部101は、S901で算出した割合Xが制限範囲内であるか否かを判定する。なお、割合Xの制限範囲は、予め設定されて、例えばROM102に記憶されている。
制御部101は、割合Xが制限範囲内ではない場合(S902でNO)、処理をステップS903へ進め、割合Xが制限範囲内である場合(S902でYES)、処理をステップS904へ進める。ステップS903では、制御部101は、制限範囲に収まるように可変フレームレート動画区間の幅を調整(拡大又は縮小)し、調整後の可変フレームレート動画区間の幅とタイムシーケンスバーの全体長さとの割合Yを算出する。ステップS904では、制御部101は、ステップS901で算出した割合X又はステップS903で算出された割合Yから、タイムシーケンスバー上での可変フレームレート動画区間の幅を演算して、画像処理部106に送る。画像処理部106は、受信した情報に基づいて、タイムシーケンスバーの表示画像(GUI)を生成し、表示画面208に表示する。
以上の説明の通り、本実施形態では、タイムシーケンスバー上の可変フレームレート動画区間の幅を、可変速再生モードでの再生時間に代表される所定の範囲まで拡大/縮小処理する。これにより、ユーザは、タイムシーケンスバー上の可変フレームレート動画区間を良好に視認することができるようになる。また、タイムシーケンスバーの全体長さに対して、可変フレームレート動画区間の幅に制限を設けて、拡大/縮小処理を制限することにより、最低限必要とされる視認性やタッチ操作に必要なタッチエリアを保つことが可能となる。
〔フレームレートバー410の表示形態〕
図5の表示画面208において再生動画500の右側に縦長に表示されたフレームレートバー410について説明する。フレームレートバー410は、本実施形態では、撮像時に選択可能な3つフレームレートに対応した3つの領域505,506,507によって構成されている。
領域505は、再生中の動画部分が通常フレームレート(60FPS)で撮像、記録されていることを示す領域であり、フレームレートバー410の中段に配置されている。領域506は、再生中の動画部分が高フレームレート(360FPS)で撮像、記録されていることを示す領域であり、フレームレートバー410上の上段に配置される。領域507は、再生中の動画部分が低フレームレート表示部(30FPS)で撮像、記録されていることを示す領域であり、フレームレートバー410上の下段に配置される。
フレームレートバー410の右側には、再生中の動画部分がどのフレームレートで撮像、記録されているのかを示すフレームレートポインタ508が表示されている。フレームレートポインタ508の表示位置は、再生中の動画部のフレームレートの変化に伴って移動し、ユーザは、フレームレートポインタ508の表示位置から、現在再生されている動画部分のフレームレートを容易に認識することができる。例えば、図5には、再生動画500を再生した直後の様子が示されており、再生位置ポインタ504は、フレームレートバー410の左端近くの、通常フレームレートで撮像、記録された動画部を示しており、通常フレームレートでの等倍再生が行われている。このとき、フレームレートポインタ508は領域505を指す位置に表示される。
図10(a)は、図5の状態から動画再生が進み、高フレームレート動画部に再生位置が移った状態を示す。再生位置ポインタ504は、タイムシーケンスバー400上の高フレームレート動画区間501を指し示している。このとき、再生位置ポインタ504は領域506を指す位置に表示され、現在再生されている動画部分の撮像記録時のフレームレートが高フレームレートであることを示している。なお、ここでは、再生動画500は通常フレームレートで再生されているため、高フレームレート動画部はスロー再生される。
図10(b)は、図10(a)の状態から動画再生が進み、低フレームレート動画部に再生位置が移った状態を示す。再生位置ポインタ504は、タイムシーケンスバー400上の低フレームレート動画区間502を指し示している。このとき、再生位置ポインタ504は領域507を指す位置に表示され、現在再生されている動画部分の撮像記録時のフレームレートが低フレームレートであることを示している。なお、ここでは、再生動画500は通常フレームレートで再生されているため、低フレームレート動画部は高速再生される。
このようにデジタルビデオカメラ100では、記録動画の再生中に撮像記録時のフレームレートが変化すると、これに追随してフレームレートバー410上のフレームレートポインタ508が移動し、再生中の動画部のフレームレートをユーザに示す。これにより、ユーザは、通常フレームレート動画部と可変フレームレート動画部とが混在する動画を再生、視聴する際に、再生中の動画部のフレームレートを一目で簡単に認識することができる。
〔可変フレームレート動画部のダイレクト再生〕
先に、ユーザは、図5に表示されたタイムシーケンスバー400上のタッチエリア501aにタッチすることにより、高フレームレート動画区間501の動画部をダイレクト再生することが可能であると述べた。これに関連して、ユーザが、フレームレートバー410に示された所定のフレームレートにタッチすることにより、タッチされたフレームレートと同一のフレームレートで撮像された動画部が自動的に選択され、連続して再生される構成とすることができる。例えば、図5の場合、ユーザがタッチエリア506aにタッチすると、高フレームレート動画区間501の動画部が再生され、その後続いて、高フレームレート動画区間503の動画部が再生される。なお、その際に再生される動画部の順番は時系列に従うものとする。
このような再生方法を採用することにより、ユーザの、フレームレートを変更して撮像した特定のフレームレートの動画部を優先的に見たいというニーズに応えて、ダイレクトに分かりやすく特定のフレームレート動画を再生させることができる。なお、この再生方法は、図4に示すマルチ表示画面上でも行うことができるようにしてもよい。
<その他の実施形態>
本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
例えば、上記実施形態では、図9等のフローチャートの処理をはじめとして、デジタルビデオカメラ100の全体制御を制御部101が行うとした。しかし、デジタルビデオカメラ100の制御を1つのハードウェアが行うこのような構成に限定されず、複数のハードウェアが処理を分担してデジタルビデオカメラ100の全体制御が行われる構成としてもよい。
また、上記実施形態では、再生モードを可変速再生モードに限定して説明したが、等倍再生モードであってもよい。具体的には、等倍再生モードにおいて、図9に示すステップS902の表示範囲の制限及びステップS903の表示範囲の拡大/縮小処理を適用し、等倍再生モードにおける可変フレームレート動画区間の表示を拡大/縮小処理する。これによって、等倍再生モードにおいても、可変フレームレート動画区間の良好な視認性とタッチ操作性を得ることができる。
また、再生モードにおいて等倍再生モードと可変速再生モードとを切り替えた際に、各モードに好適な表示形態に切り替える構成としてもよい。具体的には、等倍再生モードでは、撮像時間ベースのタイムシーケンスバーを表示するようにする。一方、可変速再生モードでは、撮像時間ベースのタイムシーケンスバーと共に或いは撮像時間ベースのタイムシーケンスバーを表示せずに、再生時間ベースのタイムシーケンスバーを表示するようにする。これにより、ユーザは、再生される時間幅を把握し易くなる。また、撮像時間ベースのタイムシーケンスバーを表示するか、それとも、再生時間ベースのタイムシーケンスバーを表示するかを、ユーザの操作に応じて切り替えられるようにしてもよい。
更に、可変速再生モードにおいて、最初は撮像時間ベースのタイムシーケンスバーを表示し、撮像時間ベースのタイムシーケンスバーがタッチ操作されると、動画の再生位置を変更することなく、再生時間ベースのタイムシーケンスバーに表示が切り替わる構成としてもよい。そして、表示された再生時間ベースのタイムシーケンスバーがタッチ操作されると、上述のように、タッチされた位置に応じて動画再生位置を変更する。また、再生時間ベースのタイムシーケンスバーが表示された状態で、所定時間、タッチ操作が無い場合、自動的に撮像時間ベースのシーケンスバーに戻すようにする。これにより、通常は撮像時間ベースのタイムシーケンスバーを表示しておき、ユーザがタイムシーケンスバーに対してタッチ操作を行おうとしたときに、タッチ操作に適した再生時間ベースのタイムシーケンスバーに切り替えることができる。こうして、ユーザの操作性を向上させることができる。
可変フレームレート動画区間の表示処理方法について、上記実施形態では、可変速再生モードにおける再生時間ベースのタイムシーケンスバーについて、表示範囲を拡大/縮小処理する方法を取り上げた。しかし、これに限定されず、例えば、記録動画に含まれるフレームレート毎に一定の拡大率/縮小率を定めてもよい。これにより、可変フレームレート動画区間の拡大/縮小処理を簡略化することが可能となる。また、記録動画に含まれるフレームレート毎に、タイムシーケンスバーにおける表示幅を固定する等してもよい。このような方法を採用すると、例えば、記録動画の1シーンの中に多数の可変フレームレート動画部がある場合に、1シーンのどの辺りに可変フレームレート動画部があるかを確認したい場合、確認が容易となる。
更に、上記実施形態でのタイムシーケンスバーの表示方法は、撮像記録時のフレームレートが異なる複数の記録動画を連続再生する場合にも有効である。具体的には、高フレームレートのみで撮像された記録動画と通常フレームレートのみで撮像された記録動画とがあるとする。可変速再生モードにて、これらの記録動画を選択し、連続再生させる場合に、例えば、各記録動画の可変速再生モードでの再生時間を演算する。得られた再生時間を合計した時間をタイムシーケンスバーの全体再生時間とし、タイムシーケンスバーの全体長に対して、各記録動画の再生時間の割合を用いて動画区間を明らかにする。これにより、可変フレームレート動画部と通常フレームレート動画部とを含む記録動画のタイムシーケンスバーの表示方法と同様に、記録動画の連続再生を行う場合に可変フレームレートのみで撮像された記録動画の範囲を良好に視認することが可能になる。
上記実施形態においては、本発明をデジタルビデオカメラに適用した場合を例にして説明したが、本発明はこれに限定されず、複数の異なるフレームレートで撮像された動画を異なる再生速度で再生可能な任意の電子機器に適用することができる。例えば、本発明は、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、デジタルフォトフレーム、電子ブックリーダ、ディスプレイを備えるプリンタ装置、音楽プレーヤ、ゲーム機等にも適用可能である。
更に、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
100 デジタルビデオカメラ
101 制御部
103 操作入力部
106 画像処理部
107 記憶媒体
108 画像表示部
208 表示画面
400 タイムシーケンスバー
410 フレームレートバー
501,503,611 高フレームレート動画区間
502,622 低フレームレート動画区間

Claims (21)

  1. 異なるフレームレートで撮像された動画部が混在する動画を再生して表示手段に表示する再生手段と、前記動画についての単一のシーケンスバーを前記表示手段に表示する表示制御手段とを備える動画再生装置であって、
    前記動画が第1のフレームレートで撮像された第1の動画部と前記第1のフレームレートよりも高い第2のフレームレートで撮像された第2の動画部とを含む場合に、前記表示制御手段は、前記シーケンスバーに前記第1の動画部を示す第1の区間と前記第2の動画部を示す第2の区間とを表示する際に、前記第1の区間よりも前記第2の区間の方が、対応する動画部の撮像に要した時間に対する区間の長さの比率が大きくなるように、前記シーケンスバーの表示を制御することを特徴とする動画再生装置。
  2. 前記表示制御手段は、前記動画が前記第1のフレームレートよりも低い第3のフレームレートで撮像された第3の動画部を含む場合に、前記シーケンスバーに前記第3の動画部を示す第3の区間を表示する際に、前記第1の区間よりも前記第3の区間の方が、対応する動画部の撮像に要した時間に対する区間の長さの比率が小さくなるように、前記シーケンスバーの表示を制御することを特徴とする請求項1記載の動画再生装置。
  3. 表示手段と、異なるフレームレートで撮像された動画部が混在する動画を再生して前記表示手段に表示する再生手段と、前記動画についての単一のシーケンスバーを前記表示手段に表示する表示制御手段とを備える動画再生装置であって、
    前記動画が第1のフレームレートで撮像された第1の動画部と前記第1のフレームレートよりも低い第3のフレームレートで撮像された第3の動画部とを含む場合に、前記表示制御手段は、前記シーケンスバーに前記第1の動画部を示す第1の区間と前記第3の動画部を示す第3の区間とを表示する際に、前記第1の区間よりも前記第3の区間の方が、対応する動画部の撮像に要した時間に対する区間の長さの比率が小さくなるように、前記シーケンスバーの表示を制御することを特徴とする動画再生装置。
  4. 前記表示制御手段は、前記第3の区間が所定の制限幅より短くならないようにすることを特徴とする請求項2又は3に記載の動画再生装置。
  5. 前記制限幅は、前記シーケンスバーの全体の長さおける所定の割合で定義されることを特徴とする請求項4記載の動画再生装置。
  6. 前記表示制御手段は、前記シーケンスバーにおいて前記異なるフレームレートで撮像された各動画部を示す各区間を、各動画部を所定のフレームレートで再生するのに要する時間に基づいた長さで表示するように制御すること特徴とする請求項1乃至5のいずれか1項に記載の動画再生装置。
  7. 前記表示制御手段は、前記シーケンスバーにおいて、前記異なるフレームレートで撮像された各動画部を示す各区間の長さに対する、各動画部を所定のフレームレートで再生するのに要する時間の比率が同じとなるように、前記シーケンスバーの表示を制御することを特徴とする請求項6記載の動画再生装置。
  8. 異なるフレームレートで撮像された動画部が混在する動画を所定のフレームレートで再生して表示手段に表示する再生手段と、前記動画についての単一のシーケンスバーを前記表示手段に表示する表示制御手段とを備える動画再生装置であって、
    前記動画が第1のフレームレートで撮像された第1の動画部と前記第1のフレームレートよりも高い第2のフレームレートで撮像された第2の動画部とを含む場合に、前記表示制御手段は、前記第1の動画部を前記所定のフレームレートで再生するのに要する時間に基づいた長さで前記第1の動画部を示す第1の区間を、かつ、前記第2の動画部を前記所定のフレームレートで再生するのに要する時間に基づいた長さで前記第2の動画部を示す第2の区間を、前記シーケンスバーに表示するように制御することを特徴とする動画再生装置。
  9. 前記表示制御手段は、前記シーケンスバーを前記再生手段で再生している動画に付随表示すること特徴とする請求項1乃至8のいずれか1項に記載の動画再生装置。
  10. 前記シーケンスバー上の位置をユーザが指定する指定手段を備え、
    前記再生手段は、前記指定手段により指定された前記シーケンスバー上の位置に応じた動画部を再生することを特徴とする請求項1乃至9のいずれか1項に記載の動画再生装置。
  11. 前記指定手段は、前記表示手段に設けられるタッチパネルであることを特徴とする請求項10記載の動画再生装置。
  12. 前記表示制御手段は、前記シーケンスバーに代えて又は前記シーケンスバーと共に、前記異なるフレームレートで撮像されたそれぞれの動画部の実撮像時間長に基づく別のシーケンスバーを前記表示手段に表示することを特徴とする請求項1乃至11のいずれか1項に記載の動画再生装置。
  13. 前記表示制御手段は、ユーザの操作に応じて、前記シーケンスバーと前記別のシーケンスバーと切り替えて前記表示手段に表示することを特徴とする請求項12記載の動画再生装置。
  14. 前記表示制御手段は、ユーザによる前記別のシーケンスバーに対する操作があると、前記再生手段での再生位置を変更することなく、前記別のシーケンスバーに代えて前記シーケンスバーを前記表示手段に表示することを特徴とする請求項13記載の動画再生装置。
  15. 前記表示制御手段は、前記異なるフレームレートを表示する単一のフレームレートバーを、前記シーケンスバーと共に表示することを特徴とする請求項1乃至14のいずれか1項に記載の動画再生装置。
  16. 前記フレームレートバーに表示された所定のフレームレートをユーザが指定する指定手段を備え、
    前記再生手段は、前記動画において前記指定手段により指定されたフレームレートで記録された動画部を連続して再生することを特徴とする請求項15記載の動画再生装置。
  17. 異なるフレームレートで撮像された動画部が混在する動画を再生して表示手段に表示する再生手段と、前記動画についての単一のシーケンスバーを前記表示手段に表示する表示制御手段とを備える動画再生装置の表示制御方法であって、
    前記動画が第1のフレームレートで撮像された第1の動画部と前記第1のフレームレートよりも高い第2のフレームレートで撮像された第2の動画部とを含む場合に、前記表示制御手段が、前記シーケンスバーに前記第1の動画部を示す第1の区間と前記第2の動画部を示す第2の区間とを表示する際に、前記第1の区間よりも前記第2の区間の方が、対応する動画部の撮像に要した時間に対する区間の長さの比率が大きくなるように、前記シーケンスバーの表示を制御する制御ステップを有することを特徴とする表示制御方法。
  18. 異なるフレームレートで撮像された動画部が混在する動画を再生して表示手段に表示する再生手段と、前記動画についての単一のシーケンスバーを前記表示手段に表示する表示制御手段とを備える動画再生装置の表示制御方法であって、
    前記動画が第1のフレームレートで撮像された第1の動画部と前記第1のフレームレートよりも低い第3のフレームレートで撮像された第3の動画部とを含む場合に、前記表示制御手段が、前記シーケンスバーに前記第1の動画部を示す第1の区間と前記第3の動画部を示す第3の区間とを表示する際に、前記第1の区間よりも前記第3の区間の方が、対応する動画部の撮像に要した時間に対する区間の長さの比率が小さくなるように、前記シーケンスバーの表示を制御する制御ステップを有することを特徴とする表示制御方法。
  19. 異なるフレームレートで撮像された動画部が混在する動画を所定のフレームレートで再生して表示手段に表示する再生手段と、前記動画についての単一のシーケンスバーを前記表示手段に表示する表示制御手段とを備える動画再生装置の表示制御方法であって、
    前記動画が第1のフレームレートで撮像された第1の動画部と前記第1のフレームレートよりも高い第2のフレームレートで撮像された第2の動画部とを含む場合に、前記表示制御手段は、前記第1の動画部を前記所定のフレームレートで再生するのに要する時間に基づいた長さで前記第1の動画部を示す第1の区間を、かつ、前記第2の動画部を前記所定のフレームレートで再生するのに要する時間に基づいた長さで前記第2の動画部を示す第2の区間を、前記シーケンスバーに表示するように制御する制御ステップを有することを特徴とする表示制御方法。
  20. 請求項17乃至19のいずれか1項に記載の表示制御方法が有する制御ステップをコンピュータに実行させることを特徴とするプログラム。
  21. 請求項20記載のプログラムを格納したことを特徴とするコンピュータで読み取り可能な記憶媒体。
JP2012222203A 2012-10-04 2012-10-04 動画再生装置、表示制御方法、プログラム及び記憶媒体 Expired - Fee Related JP6012384B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012222203A JP6012384B2 (ja) 2012-10-04 2012-10-04 動画再生装置、表示制御方法、プログラム及び記憶媒体
US14/043,896 US9077957B2 (en) 2012-10-04 2013-10-02 Video reproducing apparatus, display control method therefor, and storage medium storing display control program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012222203A JP6012384B2 (ja) 2012-10-04 2012-10-04 動画再生装置、表示制御方法、プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2014075699A JP2014075699A (ja) 2014-04-24
JP6012384B2 true JP6012384B2 (ja) 2016-10-25

Family

ID=50432732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012222203A Expired - Fee Related JP6012384B2 (ja) 2012-10-04 2012-10-04 動画再生装置、表示制御方法、プログラム及び記憶媒体

Country Status (2)

Country Link
US (1) US9077957B2 (ja)
JP (1) JP6012384B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11367465B2 (en) 2018-10-29 2022-06-21 Henry M. Pena Real time video special effects system and method
US11641439B2 (en) 2018-10-29 2023-05-02 Henry M. Pena Real time video special effects system and method
US11743414B2 (en) 2018-10-29 2023-08-29 Henry M. Pena Real time video special effects system and method
US12081896B2 (en) 2018-10-29 2024-09-03 Henry M. Pena Real time video special effects system and method

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6509908B2 (ja) * 2014-12-08 2019-05-08 シャープ株式会社 表示装置、表示装置の制御方法、および制御プログラム
CN104735385B (zh) * 2015-03-31 2018-10-12 小米科技有限责任公司 播放控制方法及装置、电子设备
KR102449872B1 (ko) * 2015-12-18 2022-09-30 삼성전자주식회사 촬영 디바이스 및 그 제어 방법
JP7034729B2 (ja) * 2017-02-10 2022-03-14 キヤノン株式会社 表示制御装置、その制御方法、および制御プログラム
US11283990B2 (en) * 2017-04-18 2022-03-22 Sony Corporation Display control device, imaging device, and display control method
US10979744B2 (en) * 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming
KR102512298B1 (ko) * 2018-02-23 2023-03-22 삼성전자주식회사 영상 데이터의 편집을 위한 인터페이스를 표시하는 전자 장치 및 그 동작 방법
US11044420B2 (en) 2018-10-29 2021-06-22 Henry M. Pena Real time video special effects system and method
US11689686B2 (en) * 2018-10-29 2023-06-27 Henry M. Pena Fast and/or slowmotion compensating timer display
US20240040068A1 (en) * 2018-10-29 2024-02-01 Henry M. Pena Fast and/or slow motion compensating timer display
CN109819307B (zh) * 2019-01-17 2021-12-03 广州视源电子科技股份有限公司 信息推送方法及装置、存储介质、处理器
USD932512S1 (en) * 2019-07-05 2021-10-05 Canon Kabushiki Kaisha Electronic device with animated graphical user interface
CN116888456A (zh) * 2021-02-26 2023-10-13 富士胶片株式会社 数据处理装置、方法及程序、以及光学元件、摄影光学系统及摄影装置
JPWO2022190984A1 (ja) * 2021-03-08 2022-09-15
CN113038218B (zh) * 2021-03-19 2022-06-10 厦门理工学院 一种视频的截图方法、装置、设备及可读存储介质
CN117651851A (zh) * 2021-07-30 2024-03-05 富士胶片株式会社 摄像方法及程序
CN114822433B (zh) * 2022-04-07 2023-06-30 Tcl华星光电技术有限公司 液晶显示器、存储介质、图像显示处理方法及相关装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974235A (en) * 1996-10-31 1999-10-26 Sensormatic Electronics Corporation Apparatus having flexible capabilities for analysis of video information
JPH10304234A (ja) * 1997-04-24 1998-11-13 Sony Corp 撮像システム、及びビデオカメラ装置
US20040125124A1 (en) * 2000-07-24 2004-07-01 Hyeokman Kim Techniques for constructing and browsing a hierarchical video structure
JP4537266B2 (ja) * 2005-06-16 2010-09-01 キヤノン株式会社 記録装置及び再生装置
JP4773817B2 (ja) * 2005-12-16 2011-09-14 キヤノン株式会社 画像再生装置及びプログラム
EP1995961A4 (en) * 2006-03-14 2012-08-15 Sony Corp IMAGE PROCESSING DEVICE AND METHOD
JP5371493B2 (ja) * 2009-03-09 2013-12-18 キヤノン株式会社 装置及び方法
JP4724259B2 (ja) * 2009-07-29 2011-07-13 オリンパスメディカルシステムズ株式会社 画像表示装置、読影支援システムおよび読影支援プログラム
JP4958993B2 (ja) * 2009-11-02 2012-06-20 キヤノン株式会社 映像表示装置及びその制御方法
US9412414B2 (en) * 2011-02-16 2016-08-09 Apple Inc. Spatial conform operation for a media-editing application

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11367465B2 (en) 2018-10-29 2022-06-21 Henry M. Pena Real time video special effects system and method
US11641439B2 (en) 2018-10-29 2023-05-02 Henry M. Pena Real time video special effects system and method
US11727958B2 (en) 2018-10-29 2023-08-15 Henry M. Pena Real time video special effects system and method
US11743414B2 (en) 2018-10-29 2023-08-29 Henry M. Pena Real time video special effects system and method
US12081896B2 (en) 2018-10-29 2024-09-03 Henry M. Pena Real time video special effects system and method

Also Published As

Publication number Publication date
JP2014075699A (ja) 2014-04-24
US9077957B2 (en) 2015-07-07
US20140099074A1 (en) 2014-04-10

Similar Documents

Publication Publication Date Title
JP6012384B2 (ja) 動画再生装置、表示制御方法、プログラム及び記憶媒体
JP5341744B2 (ja) メニュー表示装置、メニュー表示方法及び撮像装置
US8515237B2 (en) Imaging device and image processing apparatus
JP5627383B2 (ja) 動画再生装置及びその制御方法、プログラム、及び記憶媒体
JP2010122856A (ja) 画像処理装置、画像表示方法および画像表示プログラム
JPH104531A (ja) 情報処理装置
JP2006287597A (ja) カメラ装置
JP2009147824A (ja) 撮像装置及び撮像方法
JP5077979B2 (ja) 表示制御装置および表示制御方法、並びにプログラム
JP2008252454A (ja) カメラ装置およびカメラ装置におけるgui切替方法
JP6699589B2 (ja) 表示装置、及び表示方法
JP2006303896A (ja) 画像拡大再生時に縮小ガイド画像の表示を切り替え可能なカメラ装置、および画像表示方法
WO2015015560A1 (ja) 表示制御装置及びその制御方法
JP5876991B2 (ja) 撮影機器、撮影方法及び再生方法
JP3870123B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2013051640A (ja) 撮影機器
JP2010166417A (ja) カメラ、カメラの表示制御装置、表示制御方法および表示制御用プログラム
JP2007243630A (ja) 再生装置、早送り/巻き戻し後の再生開始位置制御方法、プログラム、および記憶媒体
JP4360395B2 (ja) 情報処理装置
JP6590560B2 (ja) 撮像制御装置およびその制御方法
JP2013115692A (ja) 撮像装置及び撮像装置に用いる制御プログラム
JP2006109058A (ja) 再生装置
JP2018195923A (ja) 記録装置
TWI358718B (en) Recording-reproduction apparatus, reproduction app
JP2009100019A (ja) 記録再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160920

R151 Written notification of patent or utility model registration

Ref document number: 6012384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees