JP6956380B2 - 情報処理装置 - Google Patents

Description

本開示は、動画データから静止画データを生成可能な情報処理装置に関する。

動画からフレーム画像を切り出して静止画として記録する撮像装置が有る。例えば、特許文献１は、静止画に適したモードで動画を撮影し、撮影した動画からフレーム画像を切り出すことで静止画データを生成する撮像装置を開示している。この構成により、シャッタチャンスを意識せずに、従来では難しかった決定的瞬間に撮影された画像の生成を可能としている。

動画からフレーム画像を切り出して静止画を生成する場合、ユーザが切り出しを行う所望のフレーム画像を選択する必要がある。しかし、動画は多数のフレーム画像で構成されるため、多くのフレーム画像の中から所望の画像を選択することはユーザにとって大きな手間となっていた。例えば、６０ｆｐｓで１０秒間動画を撮影すると、ユーザは６００枚のフレーム画像の中から所望のフレーム画像を選択しなければならない。このため、ユーザが効率的に所望のフレーム画像を選択できるユーザインタフェース（ＵＩ）が望まれる。

一方、特許文献２は、動画から気に入ったシーンの周辺画を簡単に切り出して記録することができる画像処理装置を開示する。特許文献２の装置では、動画は液晶モニタ３０の「動画表示領域」に再生表示される。この動画再生中にメニュー／ＯＫボタンを押して静止画抽出指令を出すと、その静止画抽出指令が入力された瞬間の直前、直後又は前後の静止画データが、静止画抽出指令が入力された瞬間の静止画データと共に所定コマ数分、所定間隔をもって動画データから抽出される。そして、液晶モニタの「静止画表示領域」に再生表示されると共に、静止画ファイルとしてメモリカードに記録される。

また、特許文献３は、動画からインパクトのあるシーンや特徴的なシーンなどの画像を抜き出し、その画像を集めることで、動画の内容を一目で把握できる仕組みを開示する。特許文献３の情報処理装置は、動画から静止画を抽出するにあたり、どのようなデータを考慮して抽出すべきかが設定されたテンプレートの選択を受け付け、静止画を抽出したい動画について、選択されたテンプレートに設定された抽出条件をもとに静止画を抽出する。

特開２０１６−３２２１４号公報 特開２００４−３１２４９５号公報 特開２０１３−１２６１１３号公報

本開示は、動画データから静止画データを生成する情報処理装置において、動画から切り出したいフレーム画像を選択する際のユーザの利便性を向上した情報処理装置を提供する。

本開示の第１の態様において、動画データから静止画データを生成する第１の情報処理装置が提供される。第１の情報処理装置は、表示部と、ユーザからの指示を受け付ける操作部と、動画データを記憶する記憶部と、動画データから静止画として保存したいフレーム画像を選択するための選択画面を表示部に表示させる制御部とを備える。選択画面は、選択されるフレーム画像の候補として表示される候補画像と、動画データを構成する複数フレームにおいて、ユーザによりマーキングされたフレームの位置を示す第１のマーカ情報と、所定の特徴に基づき自動でマーキングされたフレームの位置を示す第２のマーカ情報と、を表示する。制御部は、操作部が候補画像の切替え指示を受け付けたときに、候補画像のフレーム位置を第１または第２のマーカ情報が示す位置に基づいて移動させる。

本開示の情報処理装置によれば、動画を構成する複数のフレーム画像から、切り出したいフレーム画像を選択する際のユーザの利便性を向上できる。

本開示のデジタルカメラの内部構成を示すブロック図 本開示のデジタルカメラの背面を示す図 ４Ｋフォトモードを説明するための図 切り出し画像の選択画面の表示例（第１の選択画面）を説明した図 切り出し画像の選択画面の表示例（第２の選択画面）を説明した図 第２の選択画面上での操作の例を説明するための図 マーキング表示モードを設定するための画面を示した図 マーキング表示モードの各設定におけるマーカ表示の例を説明した図 マーキング情報の構成を説明した図 特徴点情報の構成を説明した図 特徴点情報の生成処理のフローチャート 特徴点情報に登録する特徴点の選択方法の例を説明するための図 特徴点情報に登録する特徴点の選択方法の別の例を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図面を用いて、本開示に係る情報処理装置の一実施の形態であるデジタルカメラの構成、動作を説明する。

［１．構成］
１．デジタルカメラの構成
本実施の形態１に係るデジタルカメラの電気的構成例について図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像をＣＣＤ１４０で撮像する撮像装置である。デジタルカメラ１００の種類は、レンズ交換レンズ式のカメラまたはレンズとボディが一体型のカメラのいずれでもよい。

ＣＣＤ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルカメラ１００の構成を詳細に説明する。

光学系１１０は、ズームレンズやフォーカスレンズにより構成される。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、又は縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。

レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動させる。レンズ駆動部１２０は、例えばズームレンズを駆動するズームモータや、フォーカスレンズを駆動するフォーカスモータを含む。

絞り部３００は、ユーザの設定に応じて又は自動で、光の開口部の大きさを調整し、透過する光の量を調整する。

シャッタ部１３０は、ＣＣＤ１４０に透過させる光を遮光するための手段である。シャッタ部１３０は、光学系１１０及び絞り部３００とともに、被写体像を示す光学情報を制御する光学系部を構成する。

ＣＣＤ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＣＤ１４０は、カラーフィルタと、受光素子と、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌｌｅｒ）を含む。受光素子は、光学系１１０によって集光された光学的信号を電気信号に変換し、画像情報を生成する。ＡＧＣは、受光素子から出力された電気信号を増幅する。ＣＣＤ１４０はさらに、露光、転送、電子シャッタなどの各種動作を行うための駆動回路等を含む。詳細については、後述する。なお、撮像素子としてＣＣＤ１４０を例示したが、ＣＭＯＳイメージセンサ、ＮＭＯＳイメージセンサ等、他の種類の画像センサを用いても良い。

ＡＤＣ（Ａ／Ｄコンバータ：アナログ―デジタル変換器）１５０は、ＣＣＤ１４０で生成されたアナログ画像データをデジタル画像データに変換する。

画像処理部１６０は、ＣＣＤ１４０で生成され、変換されたデジタル画像データに対して、コントローラ１８０の制御を受け、各種処理を施す。画像処理部１６０は、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やマイコンなどで実現可能である。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに基づいて、画素数４０００×２０００前後の動画の画像データ（４Ｋ動画データ）を生成することができる。画像処理部１６０は、生成した４Ｋ動画データに対して後述する種々の処理を行うことができる。

コントローラ１８０は、デジタルカメラ１００の全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコン、ＣＰＵ、ＭＰＵ、ＡＳＩＣ、ＦＰＧＡなどで実現できる。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００を着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。

メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。

内蔵メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内蔵メモリ２４０は、デジタルカメラ１００全体を制御するための制御プログラム等を記憶している。

操作部材２１０は、ユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、ユーザからの操作を受け付ける選択ボタンや決定ボタン等がこれにあたる。

表示モニタ２２０は、ＣＣＤ１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。表示モニタ２２０は、液晶表示デバイスや有機ＥＬ表示デバイスで構成される。

図２は、デジタルカメラ１００の背面を示した図である。操作部材２１０は、ボタン、レバー、ダイヤル、ユーザによる操作を受け付ける部材を含む。例えば、操作部材２１０は、図２に示すように、レリーズボタン２１１、カーソルボタン２１３、決定ボタン２１４、動画記録ボタン２１７等を含む。操作部材２１０は、ユーザによる操作を受け付けると、コントローラ１８０に種々の指示信号を送信する。また、操作部材２１０は、表示モニタ２２０と重畳して設けられたタッチパネルを含み、表示モニタ２２０に表示されたアイコン、ボタン等に対するユーザによるタッチ操作を受け付けることができる。

レリーズボタン２１１は、二段押下式の押下ボタンである。レリーズボタン２１１がユーザにより半押し操作されると、コントローラ１８０はオートフォーカス制御（ＡＦ制御）やオート露出制御（ＡＥ制御）などを実行する。また、レリーズボタン２１１がユーザにより全押し操作されると、コントローラ１８０は、押下操作のタイミングに撮像された画像データを記録画像としてメモリカード２００等に記録する。

カーソルボタン２１３は、上下左右方向に設けられた押下式ボタンである。ユーザは、カーソルボタン２１３のいずれかの方向を押下することにより、カーソルを移動したり、表示モニタ２２０に表示される各種条件項目を選択したりすることができる。

決定ボタン２１４は、押下式ボタンである。デジタルカメラ１００が撮影モードあるいは再生モードにあるときに、決定ボタン２１４がユーザにより押下されると、コントローラ１８０は表示モニタ２２０にメニュー画面を表示する。メニュー画面は、撮影/再生のための各種条件を設定するための画面である。決定ボタン２１４が各種条件の設定項目が選択されているときに押下されると、コントローラ１８０は、選択された項目の設定を確定する。

［２．動作］
以上のような構成を有する撮像システム１０の動作を説明する。デジタルカメラ１００は、被写体を撮像して動画データ及び静止画データを生成することができる。動画データと静止画データはデジタルカメラ１００内のメモリカード２００に保存される。メモリカード２００内のデータはユーザの指示にしたがいデジタルカメラ１００からＰＣに転送することができる。

［２−１．４Ｋフォトモード］
デジタルカメラ１００は、静止画を撮影するためのドライブモードとして、１枚ずつ画像を撮影する単写モードと、１回の操作で複数の画像を連続して撮影する連写モードと、４Ｋフォトモードとを有する。４Ｋフォトモードは、４Ｋまたは６Ｋのような高い解像度で高精細の動画（以下「４Ｋフォト動画」という）を撮影するモードである。４Ｋフォト動画の撮影後に、４Ｋフォト動画を構成するフレーム群の中から所望のフレームを切り出すことにより静止画を生成することができる（例えば、特許文献１参照）。

図３は、４Ｋフォト動画からの静止画の生成を説明するための図である。４Ｋフォト動画は時間的に連続した複数のフレーム画像で構成されている。４Ｋフォト動画を構成する複数のフレーム画像の中から所望のフレーム画像を切り出することにより静止画データを生成できる。このように、動画から所望のシーンの画像（フレーム画像）を静止画として切り出すことから、ユーザはシャッタチャンスを意識する必要がなくなり、従来では難しかった決定的瞬間が撮影された画像の生成が可能となる。すなわち、いつ起こるかわからないハプニング／アクシデントの写真や、時間経過とともに状態が変化する被写体（液体、炎等）の瞬間的な状態の写真を容易に撮影することが可能となる。

４Ｋフォト動画は、それを構成する１つ１つのフレーム画像を静止画として切り出されるため、動画としての品位や画質よりも静止画として切り出した際の画質が優先される。このため、４Ｋフォトモードに設定されると、撮影に関する種々の設定が、静止画の記録に適したフォト動画モード特有の設定に自動的に設定される（例えば、特許文献１参照）。例えば、画質設定（解像度）に関して、通常動画モードでは、ＶＧＡ〜４Ｋ（４０００ピクセルｘ２０００ピクセル前後）の範囲の中でユーザが指定した値に設定される。これに対して、４Ｋフォトモードでは、画質設定（解像度）はデジタルカメラ１００において設定可能な最高の解像度の値（例えば、４Ｋまたは６Ｋ）に設定される。これにより、高画質なフレーム画像の記録が可能となり、高画質な静止画の切り出しが可能となる。

［２−２．静止画選択処理］
４Ｋフォト動画を構成する複数のフレーム画像の中から、静止画として切り出すフレーム画像を選択するための選択画面を説明する。

図４は、４Ｋフォト動画から切り出すフレーム画像を選択するための第１の選択画面を示した図である。第１の選択画面は、フォト動画モードでの記録の完了直後にレビュー画像が表示されているときに、静止画選択モードへの切替えを指示する所定の操作（例えば、所定ボタンの操作）がなされたときに表示される。または、第１の選択画面は、再生モードにおいて所望の４Ｋフォト動画を選択し、その後に、静止画選択モードへの切替えを指示する所定の操作がなされたときに表示される。

図４に示すように、第１の選択画面では、４Ｋフォト動画を構成するフレーム画像の中の１つのフレーム画像が候補画像４０（静止画）として表示される。第１の選択画面の画面上方には、切り出し画像の位置を大まかに選択するためのスライドバー２０が表示される。

スライドバー２０は、長手方向の位置が、４Kフォト動画を構成する各フレームの位置に対応する。スライドバー２０の左端は４Kフォト動画の始端のフレーム位置に対応し、右端は４Kフォト動画の終端のフレーム位置に対応する。スライドバー２０は、切り出し画像候補として再生（表示）中のフレーム画像のフレーム位置を示すポインタ２１を有する。なお、ポインタ２１はユーザが手動で（タッチ操作で）移動させることができる。ポインタ２１の移動位置に応じて画面に表示される候補画像４０が変更される。

デジタルカメラ１００は、後述するように、ユーザ操作にしたがいフレーム画像に対してマーカを付与する機能（以下「手動マーキング」という）と、特徴があるフレーム画像を抽出し、抽出したフレーム画像に対して自動でマーカを付与する機能（以下「自動マーキング」という）とを有している。このため、スライドバー２０上には、ユーザの手動により付与されたマーカの位置（フレーム位置）を示すマーカ表示２３と、自動で抽出された特徴点（詳細は後述）の位置（フレーム位置）を示すマーカ表示２５とが表示されている。マーカ表示２３、２５を利用することで、デジタルカメラ１００は、候補画像４０を、マーカ表示が示すフレーム画像に迅速に切り替えて表示することが可能になり、切り出し画像の選択時のユーザの利便性を向上できる。マーキング処理の詳細については後述する。

マーカ表示２３、マーカ表示２５、及びポインタ２１は、視覚的に互いに区別できるように例えば、色、形状または模様を互いに異ならせて表示させる。

第１の選択画面上には、候補画像４０をマーカ表示２３、２５が示すフレーム位置の画像に切り替えるためのスキップボタン２９Ｒ、２９Ｆが表示されている。

ユーザは、第１の選択画面上でスキップボタン２９Ｒ、２９Ｆを操作することによって、候補画像４０を、マーカ表示２３、２５が示すフレーム位置の画像に切り替える（スキップさせる）ことができる。

すなわち、コントローラ１８０は、現在表示されている候補画像４０の前後に存在するマーカの位置を、後述するマーキング情報５０及び／または特徴点情報５５を参照して特定し、特定したマーカの位置に対応するフレームの画像を新たに表示する。例えば、ユーザによりスキップボタン２９Ｆが操作されると、コントローラ１８０は、マーキング情報５０または特徴点情報５５を参照して、候補画像４０の後に存在するマーカの位置を特定し、特定したマーカが示すフレーム位置の画像を候補画像４０として表示する。ユーザによりスキップボタン２９Ｒが操作されると、コントローラ１８０は、マーキング情報５０または特徴点情報５５を参照して、現在表示されているフレーム画像の前に存在するマーカの位置を特定し、特定したマーカが示すフレーム位置の画像を候補画像４０として表示する。

また、スキップボタン２９Ｒ、２９Ｆに代えて、ユーザは左右方向のカーソルボタン２１３を操作することでも、候補画像４０を、マーカ表示２３、２５が示す画像に切り替えることができる。

または、ユーザは、第１の選択画面上でマーカ表示２３、２５を直接タッチすることによっても、候補画像４０を、タッチしたマーカ表示２３、２５が示すフレーム位置の画像に切り替えることができる。

このように手動または自動で付与されたマーカにより、候補画像４０を、マーカが付与された画像にスキップさせることができる。これにより、ユーザは、ユーザ自身がマーキングした画像もしくは自動で抽出された特徴のある画像またはそれらの近傍の画像を短時間で探すことが可能となる。

以上のように、ユーザは、第１の選択画面上でスライドバー２０のマーカ表示２３、２５を用いて候補画像の位置をスキップさせることで切り出し位置の大まかな選択ができる。その後、ユーザは、画面に表示されるサムネイル画像を用いてより細かな画像の選択を行う。

具体的には、図４に示す第１の選択画面が表示されているときに、所定の操作ボタンが操作されると、図５に示すような第２の選択画面に切り替わる。第２の選択画面では、画面の下部に、画像選択用のサムネイル画像３０が表示される。第２の選択画面上でのサムネイル画像３０の水平方向の位置はフレーム位置に対応する。第２の選択画面上でユーザによりサムネイル画像３０を水平方向にスライドさせると、図６に示すように、サムネイル画像３０がそのスライド位置（フレーム位置）に応じて切り替わる。第１の選択画面上では、候補画像４０はマーキングされた画像間で切り替わったが、第２の選択画面上では、サムネイル画像３０はその移動位置に応じてフレーム単位で切り替わる。すなわち、第２の選択画面では、画像のコマ送りが可能である。

サムネイル画像３０を右方向にスライドさせる場合、位置に応じてフレーム番号が増加し、増加したフレーム番号のフレーム画像に対応するサムネイル画像３０が表示される。逆に、サムネイル画像３０を左方向にスライドさせた場合、フレーム番号が減少し、減少したフレーム番号のフレーム画像に対応するサムネイル画像３０が表示される。すなわち、サムネイル画像３０を右方向にスライドさせることで、より大きなフレーム番号のサムネイル画像３０が表示される。逆に、サムネイル画像３０を左方向にスライドさせることで、より小さなフレーム番号のサムネイル画像３０が表示される。所望のサムネイル画像３０が表示された時点で、サムネイル画像３０に対するタッチを止めることで、選択されているサムネイル画像３０に対応した候補画像４０が表示される。

なお、第１の選択画面上でのマーカ操作により、候補画像４０をマーカが付与されたフレームまたは特徴点に移動後、第２の選択画面上でユーザによって切り出したいシーン（フレーム）を選択できる画像の範囲は、候補画像４０の位置を中心とした一定の範囲に制限されてもよい。例えば、表示中の画像の位置を中心として前後に所定時間（例えば、±１秒）の画像の範囲に制限されてもよい。

第１または第２の選択画面上で候補画像４０が表示されている状態でユーザにより決定ボタン２１４が押下されると、コントローラ１８０は、候補画像４０に対応するフレーム画像を動画データから切り出して静止画としてメモリカード２００に記録する。

このように、ユーザは、まず、第１の選択画面におけるマーカ操作により大まかに切り出したい位置を指定し、その後、第２の選択画面においてフレーム単位で細かく切り出し位置を設定する。これにより、ユーザは動画から切り出したい所望の画像を容易に選択することができる。

本実施の形態のデジタルカメラ１００は、第１及び第２の選択画面上で、スライドバー２０に表示するマーカの種類を切り替えることができる。スライドバー２０に表示するマーカの種類を切り替えはマーキング表示モードの設定により行う。

図７は、マーキング表示モードの設定画面を示した図である。図８は、マーキング表示モードの各設定におけるマーカの表示の例を説明した図である。第１または第２の選択画面においてMODEボタン２７が押下されると、図７に示すマーキング表示モードの設定画面が表示される。マーキング表示モードの設定画面においていずれかのアイコン２７１〜２７４が選択されると、選択されたアイコンに応じたモードに設定される。

図７において、アイコン２７１は、マーキング表示モードを、ユーザが手動で付与したマーカに加えて、顔検出および／または被写体の動きに基づき自動抽出された特徴点を表示する第１モードに設定するためのアイコンである。例えば、図８（Ａ）に示すように、第１モードでは、スライドバー２０上に、ユーザが手動で付与したマーカのマーカ表示２５と、顔検出および／または被写体の動きに基づき自動抽出された特徴点を示すマーカ表示２３ａ、２３ｂとが表示される。このとき、マーカ表示２３ａ、２３ｂはスライドバー２０上に同時に最大１０個までしか表示しないようにする。よって、特徴点情報５５に登録された特徴点の数が１０個を超える場合、登録された特徴点の中からスコアの高いものから１０個が選択され、選択された特徴点についてマーカ表示２３ａ、２３ｂが表示される。

アイコン２７２は、マーキング表示モードを、ユーザが手動で付与したマーカに加えて、顔検出に基づき自動抽出された特徴点を表示する第２モードに設定するためのアイコンである。例えば、図８（Ｂ）に示すように、第２モードでは、スライドバー２０上に、ユーザが手動で付与したマーカを示すマーカ表示２５と、顔検出に基づき自動抽出された特徴点を示すマーカ表示２３ａとが表示される。このとき、マーカ表示２３ａはスライドバー２０上に同時に最大１０個までしか表示しないようにする。よって、特徴点情報５５に登録された顔検出に関する特徴点の数が１０個を超える場合、顔検出に関する特徴点の中からスコアの高いものから１０個が選択され、選択された特徴点についてマーカ表示２３ａが表示される。

アイコン２７３は、マーキング表示モードを、ユーザが手動で付与したマーカに加えて、被写体の動きに基づき自動で抽出された特徴点を表示する第３モードに設定するためのアイコンである。図８（Ｃ）に示すように、第３モードでは、スライドバー２０上に、ユーザが手動で付与したマーカを示すマーカ表示２５と、被写体の動きに基づき自動抽出された特徴点を示すマーカ表示２３ｂとが表示される。このとき、マーカ表示２３ｂはスライドバー２０上に同時に最大１０個までしか表示しないようにする。よって、特徴点情報５５に登録された被写体の動きに関する特徴点の数が１０個を超える場合、被写体の動きに関する特徴点の中からスコアの高いものから１０個が選択され、選択された特徴点についてマーカ表示２３ｂが表示される。

アイコン２７４は、マーキング表示モードを、ユーザが手動で付与したマーカのみを表示する第４モードに設定するためのアイコンである。図８（Ｄ）に示すように、第４モードでは、スライドバー２０上に、ユーザが手動で付与したマーカを示すマーカ表示２５のみが表示されるが、自動抽出された特徴点を示すマーカ表示２３ａ、２３ｂは表示されない。

なお、第１ないし第４モードにおいて、ユーザが手動で付与したマーカを示すマーカ表示２５についてもスライドバー２０上に所定の上限数（例えば、４０個）まで表示される。

［２−３．マーキング処理］
デジタルカメラ１００は、４Ｋフォト動画の撮影中になされたユーザ操作にしたがいフレーム画像に対してマーカを付与する機能（手動マーキング）を有する。さらに、デジタルカメラ１００は、４Ｋフォト動画の撮影中に、特徴があるフレーム画像を抽出し、抽出したフレーム画像に対して自動でマーカを付与する機能（自動マーキング）を有する。マーカを利用することで、デジタルカメラ１００は、マーカが付与されたフレーム画像を迅速に表示することが可能になり、ユーザに対して、切り出し画像の候補を迅速に提示することが可能になる。

［２−３−１．手動マーキング］
手動マーキングは、ユーザのマーキングボタン２１９の操作によりなされる。４Ｋフォト動画記録中にユーザによりマーキングボタン２１９が押下されると、押下された時に記録中のフレームがマーキングされる。マーキングされたフレームは、ユーザが後に静止画として切り出すフレームを探すための指標となる。

マーキングボタン２１９が押下されると、コントローラ１８０は、マーキングを管理するマーキング情報を更新する。図９はマーキング情報５０の構成を示した図である。マーキング情報５０は、マーカ番号と、マーキングされたときに撮影されていたフレーム画像のフレーム番号とを対応づけて管理する。動画データはヘッダとストリームデータで構成されるが、マーキング情報５０は動画データのヘッダ内に格納される。

［２−３−２．自動マーキング］
コントローラ１８０は４Ｋフォト動画の記録中、撮影した動画を解析し、動画中の特徴点を抽出し、抽出した特徴点に対してマーキングを行う。ここで、特徴点とは、４Ｋフォト動画の撮影時に、顔検出及び／または動き検出に基づき自動抽出されたフレーム画像である。特徴点（すなわちフレーム画像）は、ユーザが切り出したいと思うであろうフレーム（シーン）そのものである場合や、切り出したいと思うであろうフレームの近傍のフレームである場合もある。具体的には、コントローラ１８０は、人の顔を含む画像または動きのある被写体を含むフレーム画像を特徴点として検出し、そのような画像に対してマーキングを行う。被写体の動きに基づき特徴点を検出することで、例えば、鳥の飛び立つ瞬間もしくは羽を広げた瞬間またはそれらの近傍のタイミングの画像が特徴点として抽出されることが期待できる。顔検出に基づき特徴点を検出することで、例えば、人物が振り向いた瞬間もしくは正面を向いた瞬間またはそれらの近傍のタイミングの画像が特徴点として抽出されることが期待できる。

動画撮影中には多数の特徴点が抽出されるが、最終的には最大２０個までの特徴点が特徴点情報として４Ｋフォト動画に関連づけて管理される。図１０は、特徴点情報の構成を説明した図である。特徴点情報５５は動画データのヘッダ内に格納される。ヘッダは基本情報とプライベート情報とを含み、プライベート情報内に特徴点情報５５が格納される。特徴点情報５５は、抽出された特徴点（すなわち、フレーム画像）毎に、特徴が抽出されたフレーム画像のフレーム番号と、特徴情報とを含む。特徴情報は、抽出された特徴点が顔検出に基づくものか、被写体の動きに基づくものかを示す特徴種別フラグと、抽出された特徴点のスコアとを含む。

図１１は、デジタルカメラ１００のコントローラ１８０により実行される特徴点情報５５の生成処理のフローチャートである。図１１を参照し、特徴点情報５５の生成処理を説明する。

デジタルカメラ１００においてユーザの操作にしたがい４Ｋフォト動画の撮影が開始されると（Ｓ１１）、コントローラ１８０は、ＣＣＤ１４０で生成され、所定の処理が施されたフレーム画像を取得する（Ｓ１２）。ユーザによる手動のマーキングの指示の有無を判断する（Ｓ１３）。ユーザからのマーキングの指示があった場合（Ｓ１３でＹＥＳ）、コントローラ１８０はマーキング処理を行う（Ｓ２１）。具体的には、図９に示すようにマーキング情報５０に現在のフレームのフレーム番号を登録する。マーキングの指示がない場合（Ｓ１３でＮＯ）、マーキング処理は行わない。

次に、コントローラ１８０は取得したフレーム画像に対して顔検出処理を実行する（Ｓ１４）。顔が検出された場合（Ｓ１５でＹＥＳ）、コントローラ１８０は、フレーム毎に顔らしさを示す得点（スコア）を計算する（Ｓ１６）。顔らしさのスコアは、顔の有無、顔の大きさ、顔の位置（中央か周辺か）、顔の傾き等を考慮して算出する。例えば、顔の有無のスコアを０，２０，４０の３段階に設定し、顔の大きさのスコアを０、１５、３０の３段階に設定し、顔の位置のスコアを０、１５、３０の３段階に設定し、以下の式で全体のスコアを算出してもよい。
全体スコア＝顔の有無のスコア＋顔の大きさのスコア＋顔の位置のスコア

一方、顔が検出されなかった場合（Ｓ１５でＮＯ）、コントローラ１８０は、被写体の動き検出を行う（Ｓ２２）。そして、フレーム毎に動きのスコアを計算する（Ｓ２３）。具体的には、動体検出によって、フレーム間の被写体の動きを、隣接フレーム間の差分値（動きベクトル）の大きさによって求める。動きのある領域が一旦検出されると、以降のフレームに対しては、動きのある領域が検出される前のフレームとの動きベクトルを求める。このように、連続するフレームの中で動きベクトルが極大になっているフレームが、動きのある領域の画面占有率が最大となるフレームであると推定する。この動きの大きさに従って５段階（０，２５，５０，７５，１００）にスコアをつける。このようにして、フレーム毎に、被写体の動きのスコアを計算する。

その後、対象フレームについて計算したスコアに基づき特徴点情報を内蔵メモリ２４０に記録する（Ｓ１７）。すなわち、図１０に示すように、特徴点情報として、フレーム画像毎に、フレーム番号と特徴情報（特徴種別フラグ、スコア）とを関連付けて記録する。但し、スコアが付与されたフレーム番号が連続する場合は、代表として、連続するフレーム番号の中で最もスコアの高いフレーム番号に対応する特徴点情報を内蔵メモリ２４０に記録する。

例えば、図１２は、風船が破裂する際の４Ｋフォト動画の撮影例を示す図である。図１２（Ａ）はフレーム画像を示す。図１２（Ｂ）はフレーム画像内の動きのある領域の画面占有率を縦軸とし、時間を横軸として示している。図１２に示すように所定の期間（本例では４フレーム）に亘って画面占有率が検出されている。この例では、フレーム２〜５に対してスコアが付与されるが、上述したように内蔵メモリ２４０に記録されるのは、代表として最もスコアの高いフレーム５に対応する特徴点情報である。このように、所定の特徴がある期間の範囲で検出された際、代表とするフレーム位置にだけに特徴点情報を付与する制限を加えることで、静止画を切り出したいと想定されるシーンに対していたずらに多くの特徴点情報が付与されないようにしている。

コントローラ１８０は、４Ｋフォト動画の撮影終了指示を受け付けたかを判断する（Ｓ１８）。撮影終了指示を受け付けていない場合（Ｓ１８でＮＯ）、コントローラ１８０は、上記の処理を繰り返す（Ｓ１２〜Ｓ１８、Ｓ２１、Ｓ２２〜Ｓ２３）。

コントローラ１８０は４Ｋフォト動画の撮影の終了指示を受けたか否かを判断する（Ｓ１８）。４Ｋフォト動画の撮影の終了指示を受けた場合（Ｓ１８でＹＥＳ）、コントローラ１８０は、４Ｋフォト動画の記録を停止する（Ｓ１９）。そして、コントローラ１８０は、内蔵メモリ２４０に記憶した特徴点情報を、４Ｋフォト動画の画像データのヘッダ内に記録し、４Ｋフォト動画の画像データをメモリカード２００に記録する（Ｓ２０）。このとき、内蔵メモリ２４０に記憶した全ての特徴点情報の中から、スコアの高い方から２０個のレコードを選択し、選択した特徴点情報を、特徴点情報５５として４Ｋフォト動画の画像データのヘッダ内に記録する。このことで、最終的にヘッダ内に記録する特徴点情報５５の数を制限できる。上記のように２つの制限を設けることにより、デジタルカメラモニタ２２０の小さな画面に多くの無意味なマーカを表示させることがなくなる。

以上のように、４Ｋフォト動画の記録中に、ユーザにより手動でマーキングの指示があった場合、指示があったときに撮像されたフレーム（またはその近傍のフレーム）にマーキングされるととともに、自動で抽出した特徴点（特徴のあるフレーム）に対してもマーキングされる。

なお、ステップＳ２０において、内蔵メモリ２４０に記録した全特徴点の中から特徴点情報５５として記録するものを抽出する際に下記のようにして抽出してもよい。

例えば、第１の選択画面上で、候補画像４０をマーカが付与されたフレームに移動した後、ユーザによって切り出したいシーン（フレーム）を選択できる画像の範囲が、移動後の候補画像４０の位置を中心として±Ｔ秒分の画像の範囲であるとする。この場合、図１３に示すように、所定期間（２Ｔ秒の間隔）において、フレーム毎に計算されたスコアの中で最大スコアを記録候補として抽出する。そして、各期間で抽出した記録候補の中からスコアの大きい順に最大で２０個を選択して、特徴点情報５５として記録してもよい。例えば、所定期間１では、スコアＡの特徴点が選択され、所定期間２では、スコアＢの特徴点が選択される。これにより、マーカ数を低減でき、無意味に多くのマーカを表示させることがなくなる。

［３．効果、等］
本実施形態のデジタルカメラ１００は、４Ｋフォト動画データ（動画データの一例）から静止画データを生成する情報処理装置である。デジタルカメラ１００は、表示モニタ２２０（表示部の一例）と、ユーザからの指示を受け付ける操作部２１０（操作部の一例）と、４Ｋフォト動画データを記憶する記憶部（メモリカード２００、内蔵メモリ２４０、バッファ１７０等）と、動画データから静止画として保存したいフレーム画像を選択するための選択画面（図４、図６参照）を表示モニタ２２０に表示させるコントローラ１８０（制御部の一例）とを備える。選択画面は、選択されるフレーム画像の候補として表示される候補画像４０と、動画データを構成する複数フレームにおいて、ユーザによりマーキングされたフレームの位置を示すマーカ表示２５（第１のマーカ情報の例）と、所定の特徴に基づき自動でマーキングされたフレームの位置を示すマーカ表示２３（第２のマーカ情報の例）と、を表示する。コントローラ１８０は、操作部２１０が候補画像４０の切替え指示を受け付けたときに、候補画像のフレーム位置をマーカ表示２３、２５が示す位置に基づいて移動させる。

この構成により、静止画の選択画面上で、ユーザの手動によりマーキングされたフレームまたは自動で抽出されたフレームに候補画像を迅速に移動させることが可能となり、動画から切り出したい静止画を選択する際のユーザの利便性を向上できる。また、特徴のあるフレームを自動で抽出してマーキングするため、マーキング作業の手間を省くことができ、利便性を向上できる。

また、MODEボタン２７（操作部の一例）は、選択画面に表示すべきマーカ表示２３、２５の種別を選択するための指示を受け付ける（図７，図８参照）。これにより、ユーザは、好みに応じて選択画面上に表示させるマーカの種類（自動、顔優先、動き優先、自動オフ（手動のみ））を設定することが可能となる。

また、マーカ表示２３とマーカ表示２５とは互いに視覚的に区別できる態様（色、形状、パターン）で表示される。これにより、ユーザはマーカを区別して認識することができる。

また、選択画面は、候補画像４０のフレーム位置を示すポインタ２１（再生位置情報の例）と、動画データの時間軸に対応して設けられたスライドバー２０（時間軸情報の例）とをさらに表示する。ポインタ２１、マーカ表示２３及びマーカ表示２５は、スライドバー２０上に配置されて表示される。

また、所定の特徴がある期間の範囲で検出された際は、マーカ表示２３は、代表とするフレーム位置にだけ付与される。これにより、静止画を切り出したいと想定されるシーンに対していたずらに多くの特徴点情報が付与されないようにできる。

また、マーカ表示２３は、所定期間（２Ｔ）毎に、所定の特徴に基づき自動で検出されたフレーム群の中から選択された１つのフレームに対して付与される（図１３参照）。マーカ表示２３を所定期間毎に１つだけ付与することで、無意味に多くのマーカを表示させることを防止できる。

また、選択画面において同時に表示されるマーカ表示２３の数の最大値が所定値（例えば、１０）に制限されている。これにより多くのマーカ表示が小さな選択画面上に表示され、見難くなることを防止できる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。

上記の実施の形態では、顔検出及び被写体の動きの特徴に基づいて特徴点（特徴のあるフレーム画像）を抽出したが、画像の特徴はこれらに限定されず、他の種類の特徴に基づいて特徴点を抽出してもよい。

上記の実施の形態では、選択画面として、候補画像のスキップを行うための第１の選択画面と、候補画像のコマ送りを行うための第２の選択画面との２つの画面を用意した。しかし、１つの選択画面上で、候補画像のスキップと、候補画像のコマ送りとを実行できるようにしてもよい。この場合、候補画像のスキップを行うための操作部材と、候補画像のコマ送りを行うための操作部材とをそれぞれ別の操作部材に設定すればよい。

上記の実施の形態では、情報処理装置としてデジタルカメラを説明したが、本開示の情報処理装置は他の電子機器であってもよい。例えば、情報処理装置は、パーソナルコンピュータ、ビデオカメラ、スマートフォン、タブレット端末のような画像データを処理可能な装置であればよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示の思想は、動画データから静止画データを生成可能な情報処理装置に適用できる。

２０ スライドバー
２１ ポインタ
２３、２３ａ、２３ｂ 自動で抽出された特徴点に対するマーカ表示
２５ ユーザの手動により付与されたマーカに対するマーカ表示
１００ デジタルカメラ（撮像装置）
１１０ 光学系
１２０ レンズ駆動部
１３０ シャッタ部
１４０ ＣＣＤイメージセンサ
１５０ ＡＤ変換器
１６０ 画像処理部
１９０ カードスロット
２００ メモリカード
２１０ 操作部
２１３ カーソルボタン
２１４ 決定ボタン
２２０ 表示モニタ
２４０ 内蔵メモリ

Claims (7)

1. 動画データから静止画データを生成する情報処理装置であって、
   表示部と、
   ユーザからの指示を受け付ける操作部と、
   動画データを記憶する記憶部と、
   前記動画データから静止画として保存したいフレーム画像を選択するための選択画面を前記表示部に表示させる制御部と
   を備え、
   前記選択画面は、
   選択されるフレーム画像の候補として表示される候補画像と、
   前記動画データを構成する複数フレームにおいて、ユーザによりマーキングされたフレームの位置を示す第１のマーカ情報と、所定の特徴に基づき自動でマーキングされたフレームの位置を示す第２のマーカ情報と、
   を表示し、
   前記制御部は、前記操作部が前記候補画像の切替え指示を受け付けたときに、前記候補画像のフレーム位置を前記第１または第２のマーカ情報が示す位置に基づいて移動させる、
   情報処理装置。
2. 前記操作部は、前記選択画面に表示すべき前記第１および第２のマーカ情報の種別を選択するための指示を受け付ける、請求項１に記載の情報処理装置。
3. 前記第１のマーカ情報と前記第２のマーカ情報とは互いに視覚的に区別できる態様で表示される、請求項１に記載の情報処理装置。
4. 前記選択画面は、前記候補画像のフレーム位置を示す再生位置情報と、前記動画データの時間軸に対応して設けられた時間軸情報とをさらに表示し、
   前記再生位置情報、前記第１のマーカ情報及び前記第２のマーカ情報は、前記時間軸情報上に配置されて表示される、請求項１に記載の情報処理装置。
5. 前記所定の特徴がある期間の範囲で検出された際は、前記第２のマーカ情報は、代表とするフレーム位置にだけ付与される、請求項１に記載の情報処理装置。
6. 前記第２のマーカ情報は、所定期間毎に、所定の特徴に基づき自動で検出されたフレーム群の中から選択された１つのフレームに対して付与される、請求項１に記載の情報処理装置。
   
7. 前記選択画面において同時に表示される前記第２のマーカ情報の数の最大値が所定値に制限されている、請求項１に記載の情報処理装置。

Images