JP7281951B2 - 電子機器、制御装置、制御プログラムおよび制御方法 - Google Patents

Description

本発明は、電子機器、制御装置、制御プログラムおよび制御方法に関する。

近年、多くのスマートフォン等に動画像の撮影機能が搭載されてきており、ユーザによる動画像の撮影機会が増加している。撮影された多くの動画像を効率的に視聴および整理するために、動画像中における重要なシーンを抽出して編集または再生する処理に対する要請が高まってきている。

例えば特許文献１には、撮影中におけるズーム操作等の、撮影処理実行期間での入力情報に基づいて、撮影データ中から重要シーン撮影部分の選択処理を実行する撮像装置が提案されている。

特開２００７－１３４７７０号公報

しかしながら、特許文献１に記載の撮像装置は、撮影中の入力情報に基づいて重要シーンを選択できるが、撮影した動画像中における被写体の状態等から重要シーンを選択することはできない。したがって、撮影者にとって興味が大きいと考えられる被写体の状態とは関係なく、重要シーンの選択がされてしまうという問題がある。

このような問題を解決するために、本発明の一態様は、撮影した動画像中における画像情報に基づいて重要シーンを判定する電子機器等を実現することを目的とする。

前記の課題を解決するために、本発明の一態様に係る電子機器は、少なくとも一つの撮像装置と、少なくとも一つの制御装置と、を備える電子機器であって、前記制御装置は、前記撮像装置により撮影された第１動画像を取得する動画像取得処理と、前記第１動画像に含まれる画像情報に基づいて、前記第１動画像に含まれるそれぞれのフレームが重要シーンであるか否かを判定する重要シーン判定処理と、前記フレームがそれぞれ前記重要シーンであるか否かの判定結果を含む重要シーン情報を生成するシーン情報生成処理と、を実行する。

前記の課題を解決するために、本発明の一態様に係る制御装置は、少なくとも一つの撮像装置を備える電子機器を制御する制御装置であって、前記撮像装置により撮影された第１動画像を取得する処理を実行可能な動画像取得部と、前記第１動画像に含まれる画像情報に基づいて、前記第１動画像に含まれるそれぞれのフレームが重要シーンであるか否かを判定する処理を実行可能な重要シーン判定部と、前記第１動画像のそれぞれの前記フレームが前記重要シーンであるか否かの判定結果を含む重要シーン情報を生成する処理を実行可能なシーン情報生成部と、を含む。

前記の課題を解決するために、本発明の一態様に係る制御方法は、少なくとも一つの撮像装置を備える電子機器を制御する制御方法であって、前記撮像装置により撮影された第１動画像を取得する動画像取得ステップと、前記第１動画像に含まれる画像情報に基づいて、前記第１動画像に含まれるそれぞれのフレームが重要シーンであるか否かを判定する重要シーン判定ステップと、前記第１動画像のそれぞれの前記フレームが前記重要シーンであるか否かの判定結果を含む重要シーン情報を生成するシーン情報生成ステップと、を含む。

本発明の一態様によれば、撮影した動画像中における画像情報に基づいて重要シーンを判定する電子機器等を実現できる。

本発明の一実施形態に係るスマートフォンの機能構成を示すブロック図である。 本発明の一実施形態に係る制御装置による構図認識処理を示すフローチャートである。 本発明の一実施形態に係る制御装置による被写体認識処理を示すフローチャートである。

〔スマートフォンの構成〕
本発明の一実施形態について、図１～図３を参照して以下に説明する。図１に示すように、スマートフォン（電子機器）１は、少なくとも一つのカメラ（撮像装置）１０と、少なくとも一つの表示装置２０と、少なくとも一つのＡＩエンジン制御装置３０と、少なくとも一つの制御装置４０とを備える。なお、ＡＩエンジン制御装置３０および制御装置４０はいずれも、特許請求の範囲に記載された制御装置の一例である。

＜カメラ＞
カメラ１０は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を受光素子として備え、少なくとも動画像の撮影を行うことが可能なカメラである。なおカメラ１０は、動画像の撮影に加え静止画像の撮影も行うことが可能なカメラであってもよい。スマートフォン１は、動画像撮影用のカメラ１０に加え、静止画像撮影用の別のカメラを備えていてもよく、カメラ１０が動画像および静止画像を同時に撮影するものであってもよい。

＜表示装置＞
表示装置２０は、スマートフォン１の一面に備えられており、スマートフォン１に記憶された静止画像および動画像等を含む各種情報を表示する。表示装置２０は、例えば液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイ等であってよい。

＜ＡＩエンジン制御装置＞
ＡＩエンジン制御装置３０は、人工知能（ＡＩ：Artificial Intelligence）を動作させるＡＩエンジンとして機能する。当該ＡＩエンジンとしての機能は、ＡＩエンジン制御装置３０が備えるＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）またはＤＳＰ（Digital Signal Processor）によって実現される。またＡＩエンジン制御装置３０は、人工知能が学習したデータ等が記憶される記憶部（不図示）を備えていてもよい。

ＡＩエンジン制御装置３０は、動画像に含まれるフレームごとに、または動画像に含まれる連続した複数のフレームであるシーンごとに、当該フレームまたは当該シーン中の画像情報に基づいてスコアを算出（重要度を評価）する。ここで、画像情報とは各フレームまたはシーンに係る情報であり、例えば被写体、構図、または色調等のうちの少なくとも１つであってよい。

当該スコアは、例えば、動画像に含まれる被写体に基づいて算出する場合、被写体の種類（人または動物等の特定の物体であるか否か）、大きさ、動き、位置、向き、数または明るさ等に基づいて、人工知能が予め学習した基準によって算出される。

具体例としては、ＡＩエンジン制御装置３０は、被写体の種類が人である場合に、被写体が人でない場合よりも高いスコアを算出してもよい。またＡＩエンジン制御装置３０は、当該人の表情が笑顔である場合には、より高いスコアを算出してもよい。なお、どのような被写体に対して高いスコアを算出するかは、ユーザにより設定されてもよい。このような構成によれば、人を撮影対象とした動画像を撮影する場合と、動物等の人以外を撮影対象とした動画像を撮影する場合とで、異なるスコア算出の基準をユーザが適切に設定できる。

同様に、ＡＩエンジン制御装置３０が動画像に含まれる構図に基づいてスコアを算出する場合、人工知能が予め学習した基準に従ってスコアが算出される。例えば、ＡＩエンジン制御装置３０は、三分割法に則った構図等の一般的に良いとされている構図に近いほど、高いスコアを算出してもよい。

ＡＩエンジン制御装置３０が算出したフレームまたはシーンごとのスコアの情報は、後述する重要シーン判定部４２に出力される。

＜制御装置＞
制御装置４０は、例えばＣＰＵを備えており、スマートフォン１の動作を統括的に制御する。制御装置４０は、動画像取得部４１と、重要シーン判定部４２と、シーン情報生成部４３とを備える。また制御装置４０は、動画像生成部４４および動画像再生部４５をさらに備えていてもよい。

（動画像取得部）
動画像取得部４１は、カメラ１０により撮影された動画像である撮影動画（第１動画像）を取得する動画像取得処理を実行する。動画像取得部４１は、取得した撮影動画をＡＩエンジン制御装置３０に出力する。

（重要シーン判定部）
重要シーン判定部４２は、ＡＩエンジン制御装置３０により算出された、撮影動画に含まれるフレームまたはシーンごとのスコアから、当該フレームまたは当該シーンが重要シーンであるか否かを判定する。言い換えれば、重要シーン判定部４２は、撮影動画に含まれる画像情報に基づいて、撮影動画に含まれるそれぞれのフレームが重要シーンであるか否かを判定する重要シーン判定処理を実行する。また、重要シーン判定部４２は、撮影動画に含まれる画像に係る被写体、構図および色調の少なくとも１つに基づいて、それぞれのフレームまたはシーンが重要シーンであるか否かを判定する。

重要シーン判定部４２は、重要シーンであるか否かの判定について、前記のスコアが所定の閾値以上であるか否かによって判定する。所定の閾値は、ＡＩエンジンのスコア算出基準に対応して、重要シーン判定部４２が適切な値に設定する。また、ユーザが所定の閾値を任意の値として設定してもよい。これによれば、ユーザは、重要シーンであると判定されるフレームまたはシーンの数を、所定の閾値を変更することで調整できる。

また、重要シーン判定部４２は、後述する切り出し動画（第２動画像）の長さが予め定められていた場合には、全ての重要シーンを足し合わせた動画像の長さが、定められた切り出し動画の長さと略同一となるように、所定の閾値を適宜調整してもよい。これによれば、重要シーン判定部４２は、切り出し動画が所定の長さの動画像となるように、撮影動画から重要シーンを抽出できる。

なお、ＡＩエンジン制御装置３０が備えるＡＩエンジンの機能は、重要シーン判定部４２に含まれていてもよい。この場合、ＡＩエンジンは制御装置４０が備えるＣＰＵ等によって動作し、重要シーン判定部４２は、撮影動画に含まれるそれぞれのフレームまたはシーンのスコアを算出する処理と、重要シーンであるか否かの判定処理との、両方の処理を実行する。

以上のように、重要シーン判定部４２によれば、撮影動画に含まれる画像に基づいて、撮影動画においてどの部分が重要シーンであるかを判定できる。

（シーン情報生成部）
シーン情報生成部４３は、重要シーン判定部４２による判定結果に基づいて、撮影動画に含まれるフレームまたはシーンが、それぞれ重要シーンであるか否かの判定結果を含む重要シーン情報を生成する、シーン情報生成処理を実行する。重要シーン情報は、撮影動画の各フレームに重要シーンであるか否かの情報が直接タグ付けされたものであってよい。

またシーン情報生成部４３は、撮影動画のデータとは別個に、重要シーンと判定されたフレームを特定する情報を重要シーン情報として生成してもよい。このような構成によれば、スマートフォン１は、撮影動画と重要シーン情報とを分離して管理できる。

前記のフレームを特定する情報としては、撮影動画中の重要シーンであると判定されたフレームが、撮影動画において存在する時点に係る情報であってもよく、撮影動画中の何番目のフレームであるかの情報であってもよい。なお、撮影動画中におけるフレームが存在する時点を、フレームを特定する情報とする構成によれば、撮影動画のフレームレートが後から変更された場合でも、撮影動画において重要シーンであると判定されたフレームの存在位置は変わらない。そのため、撮影動画に係る重要シーン情報を変更する必要がない。

（動画像生成部）
動画像生成部４４は、撮影動画から重要シーンを切り出した切り出し動画（第２動画像）を生成する。言い換えれば、動画像生成部４４は、シーン情報生成部４３が生成した重要シーン情報に基づいて、撮影動画から重要シーンであると判定されたフレームを連結用フレームとして抽出する。そして、単一の連結用フレームからなる、または、複数の連結用フレーム同士を連結してなる第２動画像を生成する動画像生成処理を実行する。

このような構成によれば、動画像生成部４４は、撮影動画よりも短い、重要シーンのみが含まれる切り出し動画を生成できる。したがってユーザは、動画像の長さおよびデータのサイズが小さい切り出し動画を得ることができるため、スマートフォン１に保存した動画像を容易に管理できる。

なお、制御装置４０は切り出し動画を生成した後、撮影動画および切り出し動画の両方について、スマートフォン１が備える記憶装置（不図示）に記憶してもよい。これによれば、ユーザは、切り出し動画に自らが重要と考えるシーンが含まれていなかった場合でも、前記の所定の閾値を変更する等により改めて撮影動画から切り出し動画を生成できる。また、制御装置４０は切り出し動画を生成した後、切り出し動画のみ前記の記憶装置に記憶し、撮影動画は消去してもよい。これによれば、前記の記憶装置の容量を撮影動画の容量分だけ節約できるため、ユーザはスマートフォン１により多くの動画像を記憶させることができる。

また、動画像生成部４４は、重要シーン判定部４２が重要シーンであると判定したフレームから、さらに所定の条件を満たしたフレームを連結用フレームとして抽出してもよい。ここで、所定の条件とは例えば、重要シーンと判定されたフレームが一定数以上連続していた場合にのみ適用される、これらのフレームに係る被写体の表情、構図、動きの大きさ等の条件であってよい。

具体的には、動画像生成部４４は、重要シーンと判定された一連のフレームについて、被写体の表情が笑顔でない場合と比較して、被写体の表情が笑顔である場合にはより多くのフレームを連結用フレームとして抽出してもよい。このような構成によれば、動画像生成部４４は、所定の条件に応じて重要シーンと判定された一連の連続するフレームの数を変更できる。そのため、動画像生成部４４は、同じ被写体または構図等を含むシーンの長さを調節できるため、短い時間の中で様々なシーンが含まれるような、ユーザにとってより好ましい内容の切り出し動画を生成できる。

所定の条件は前記の例に限られず、いかなる条件であってもよい。当該所定の条件は、様々な条件がスマートフォン１に予め設定されていてもよく、ユーザが所定の条件を任意に設定してもよい。また、スマートフォン１が備える通信機能を介して、逐次所定の条件の選択肢が増加または更新されてもよい。

このように、重要シーンであると判定されたフレームから、さらに所定の条件を満たしたフレームを連結用フレームとして抽出する構成によれば、制御装置４０は、重要シーン判定におけるスコアについての所定の閾値の他にも、切り出し動画を生成するための所定の条件を設定できる。したがって、ユーザは切り出し動画の生成条件を細かく設定および変更できるため、制御装置４０は、よりユーザの嗜好に合致した切り出し動画を生成できる。

なお制御装置４０は、動画像取得部４１と、重要シーン判定部４２と、シーン情報生成部４３とが実行する処理を、カメラ１０による撮影動画の撮影が完了した後に実行してもよいし、当該撮影と略並行してリアルタイムに実行してもよい。このようなリアルタイムな処理は、制御装置４０が、重要シーンの判定の少なくとも一部にＡＩエンジンを用いることにより実現される。

制御装置４０が、撮影動画の撮影中にリアルタイムにこれらの処理を実行する構成によれば、制御装置４０は、カメラ１０による撮影動画の撮影が完了してすぐに重要シーン情報を生成できる。したがって、カメラ１０による撮影動画の撮影完了後から、動画像生成部４４による切り出し動画の生成までのタイムラグを効果的に低減できる。

（動画像再生部）
動画像再生部４５は、切り出し動画を表示装置２０に表示して再生する処理を実行する。動画像再生部４５は、再生中の切り出し動画に対して、フェードアウト等のトランジッション効果を付与してもよい。また動画像再生部４５は、切り出し動画中の特定の連結用フレームのみを一定時間再生してもよい。

また動画像再生部４５は、切り出し動画におけるそれぞれの連結用フレームが、順次横からスライドして入れ替わっていく態様により再生してもよく、再生中の連結用フレームが徐々に小さくなっていき、その次の連結用フレームが徐々に大きくなっていくことで入れ替わっていく態様により、切り出し動画を再生してもよい。

さらに、動画像再生部４５は、撮影動画の撮影中に撮影された静止画像が存在する場合には、当該静止画像を切り出し動画の所定の位置に入れ込んで再生してもよい。当該所定の位置とは、切り出し動画中における当該静止画像に対応する連結用フレームが登場する位置であってもよく、切り出し動画の最初または最後であってもよく、その他のいかなる位置であってもよい。

動画像再生部４５は、その他のいかなる態様により切り出し動画を再生してもよい。また、前記のトランジッション効果等は、動画像生成部４４による切り出し動画の生成時に、切り出し動画に適用されていてもよい。

また、動画像再生部４５は、切り出し動画ではなく撮影動画を表示装置２０に表示して再生してもよい。この場合、動画像再生部４５は、重要シーンと判定されたフレームまたはシーンをユーザが認識できる態様により撮影動画を再生してもよい。前記のユーザが認識できる態様とは、例えば、重要シーンと判定されたフレームまたはシーンでは、表示装置２０に小さい赤丸が表示されるような態様である。

このような構成によれば、ユーザは、撮影動画を視聴することで重要シーンの位置を確認できる。これにより、ユーザは例えば、前記の所定の閾値または前記の所定の条件を変更する等して、より望ましい切り出し動画を生成するための設定を検討できる。

〔制御装置が実行する処理〕
制御装置４０が実行する処理、すなわち制御装置４０によるスマートフォン１の制御方法について、図２および図３を参照して以下に説明する。なお、図２では制御装置４０が撮影動画中の構図に基づいて重要シーンであるか否かを判定する処理の一例を示し、図３では制御装置４０が撮影動画中の被写体に基づいて重要シーンであるか否かを判定する処理の一例を示す。

＜構図認識処理＞
図２に示すように、動画像取得部４１は、カメラ１０が撮影した撮影動画を取得し（動画像取得ステップ）、当該撮影動画をＡＩエンジン制御装置３０に出力する。ＡＩエンジン制御装置３０は、撮影動画の入力を受けて、ＡＩエンジンの一つである構図認識エンジンを起動する（Ｓ１）。

次に、ＡＩエンジン制御装置３０は、撮影動画に含まれるそれぞれのフレームについて、画像の構図に基づいてスコアを算出し、算出したスコアが所定の閾値以上であるか（スコアが高いか）否かを判定する（Ｓ２、重要シーン判定ステップ）。一つのフレームについて当該構図のスコアが所定の閾値以上ではなかった場合（Ｓ２でＮＯ）、ＡＩエンジン制御装置３０は次のフレームについてＳ２の判定を実行する。

一つのフレームについて当該構図のスコアが所定の閾値以上だった場合（Ｓ２でＹＥＳ）、重要シーン判定部４２は当該フレームを重要シーンであると判定する。そしてシーン情報生成部４３は、当該フレームが重要シーンであるとして、重要シーン情報を生成することでマーキングする（Ｓ３、シーン情報生成ステップ）。

次に、重要シーン判定部４２は、カメラ１０による撮影動画の撮影が終了したか否かを判定する（Ｓ４）。撮影が終了していなかった場合（Ｓ４でＮＯ）、ＡＩエンジン制御装置３０および制御装置４０は、撮影が終了するまでＳ２およびＳ３の処理を繰り返し実行する。撮影が終了していた場合（Ｓ４でＹＥＳ）、ＡＩエンジン制御装置３０は、構図認識エンジンの機能を終了する（Ｓ５）。

次に、動画像生成部４４は、撮影動画から、重要シーンとしてマーキングされたフレームを連結用フレームとして抽出し、当該連結用フレームを連結して切り出し動画を生成する（Ｓ６、動画像生成ステップ）。

＜被写体認識処理＞
また図３に示すように、動画像取得部４１は、カメラ１０が撮影した撮影動画を取得し（動画像取得ステップ）、当該撮影動画をＡＩエンジン制御装置３０に出力する。ＡＩエンジン制御装置３０は、撮影動画の入力を受けて、ＡＩエンジンの一つである被写体認識エンジンを起動する（Ｓ１１）。

次に、ＡＩエンジン制御装置３０は、撮影動画に含まれるそれぞれのフレームについて、当該フレームに係る画像情報に人または動物等の特定の被写体が含まれているか否かを判定する（Ｓ１２）。一つのフレームについて特定の被写体が含まれていなかった場合（Ｓ１２でＮＯ）、ＡＩエンジン制御装置３０は次のフレームについてＳ１２の判定を実行する。

一つのフレームについて特定の被写体が含まれていた場合（Ｓ１２でＹＥＳ）、ＡＩエンジン制御装置３０はさらに、当該フレームの周辺のフレームの画像情報に基づいて、当該特定の被写体の動きが大きいか否かを判定する（Ｓ１３）。特定の被写体の動きが大きくなかった場合（Ｓ１３でＮＯ）、ＡＩエンジン制御装置３０は次のフレームについてＳ１２の判定を実行する。

特定の被写体の動きが大きかった場合（Ｓ１３でＹＥＳ）、ＡＩエンジン制御装置３０は当該フレームに対して所定の閾値以上のスコアを算出し、重要シーン判定部４２は当該フレームを重要シーンであると判定する（重要シーン判定ステップ）。そしてシーン情報生成部４３は、当該フレームが重要シーンであるとして、重要シーン情報を生成することでマーキングする（Ｓ１４、シーン情報生成ステップ）。

次に、重要シーン判定部４２は、カメラ１０による撮影動画の撮影が終了したか否かを判定する（Ｓ１５）。撮影が終了していなかった場合（Ｓ１５でＮＯ）、ＡＩエンジン制御装置３０および制御装置４０は、撮影が終了するまでＳ１２～Ｓ１４の処理を繰り返し実行する。撮影が終了していた場合（Ｓ１５でＹＥＳ）、ＡＩエンジン制御装置３０は、被写体認識エンジンの機能を終了する（Ｓ１６）。

次に、動画像生成部４４は、撮影動画から重要シーンとしてマーキングされたフレームを連結用フレームとして抽出し、連結用フレームを連結して切り出し動画を生成する（Ｓ１７、動画像生成ステップ）。

なお、ここでは被写体認識エンジンが、判定対象であるフレームに係る画像情報に含まれる被写体の種類（特定の被写体であるか否か）および被写体の動きの大きさに基づいてスコアを算出する例を示した。しかし、被写体認識エンジンはこれに限られず、被写体のいかなる特徴に基づいてスコアを算出してもよい。

上述の、構図認識エンジンによる構図認識処理および被写体認識エンジンによる被写体認識処理は、撮影動画に含まれるそれぞれのフレームが重要シーンであるか否かを判定する処理において、並行して実行されてもよい。すなわち、ＡＩエンジン制御装置３０は、撮影動画に含まれる画像に係る被写体、構図および色調の２つ以上に基づいて、それぞれのフレームが重要シーンであるか否かを判定してもよい。

また、ＡＩエンジン制御装置３０が備えるＡＩエンジンは、上述の構図認識エンジンおよび被写体認識エンジンに限られず、撮影動画を解析可能ないかなるＡＩエンジンであってもよい。

〔変形例〕
本発明の一実施形態に係るスマートフォン１による上述の各機能および処理は、ユーザがカメラ１０により動画像を撮影している場合を前提として説明した。しかしながら、ユーザがカメラ１０により静止画像を撮影している場合に、並行して、カメラ１０がバックグラウンドで動画像を撮影し、ＡＩエンジン制御装置３０および制御装置４０が、当該動画像を撮影動画として重要シーンの判定等の処理を実行してもよい。言い換えれば、撮影動画は、静止画撮影状態である場合に撮影されてもよい。ここで静止画撮影状態とは、カメラ１０が静止画撮影のトリガー（シャッター等）を受付け可能な状態または静止画撮影中の、少なくともいずれかを含む状態である。なお、この場合に静止画像を撮影するのは、カメラ１０以外のスマートフォン１が備える撮像装置であってもよい。

例えば、制御装置４０は、ユーザが静止画像を撮影するために使用するカメラアプリを起動している期間は常にバックグラウンドでカメラ１０に動画像を撮影させ、重要シーン判定部４２は当該動画像を撮影動画として重要シーンの有無を判定し、動画像生成部４４は当該撮影動画中の重要シーンと判定されたフレームを連結用フレームとして抽出し、切り出し動画を生成してもよい。

このような構成によれば、ユーザが静止画像を撮影した際に、当該静止画像の周辺の時点を含む動画像が自動的にスマートフォン１により撮影される。したがって、ユーザは静止画像を後から見返す場合に、対応する切り出し動画を視聴することができる。また、スマートフォン１が、バックグラウンドで撮影された撮影動画は記憶せず切り出し動画のみ記憶する設定とした場合には、カメラアプリが起動されるたびに動画像が撮影されても、スマートフォン１に記憶されるのは重要シーンを含む切り出し動画のみである。そのため、スマートフォン１の記憶容量を必要以上に使用することがない。

〔ソフトウェアによる実現例〕
制御装置４０の制御ブロック（特に動画像取得部４１、重要シーン判定部４２およびシーン情報生成部４３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、制御装置４０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る電子機器（スマートフォン１）は、少なくとも一つの撮像装置（カメラ１０）と、少なくとも一つの制御装置（ＡＩエンジン制御装置３０および制御装置４０）と、を備える電子機器であって、前記制御装置は、前記撮像装置により撮影された第１動画像を取得する動画像取得処理と、前記第１動画像に含まれる画像情報に基づいて、前記第１動画像に含まれるそれぞれのフレームが重要シーンであるか否かを判定する重要シーン判定処理と、前記フレームがそれぞれ前記重要シーンであるか否かの判定結果を含む重要シーン情報を生成するシーン情報生成処理と、を実行する。

本発明の態様２に係る電子機器は、前記態様１において、前記制御装置は、前記重要シーンであると判定された前記フレームを連結用フレームとして抽出し、単一の前記連結用フレームからなる、または、複数の前記連結用フレーム同士を連結してなる第２動画像を生成する動画像生成処理をさらに実行してもよい。

本発明の態様３に係る電子機器は、前記態様２において、前記制御装置は、前記動画像生成処理にて、前記重要シーンであると判定された前記フレームから、所定の条件を満たした前記フレームを前記連結用フレームとして抽出してもよい。

本発明の態様４に係る電子機器は、前記態様１から３において、前記制御装置は、前記重要シーン判定処理にて、前記画像情報に係る被写体、構図および色調の少なくとも１つに基づいて、それぞれの前記フレームが前記重要シーンであるか否かを判定してもよい。

本発明の態様５に係る電子機器は、前記態様４において、前記制御装置は、前記重要シーン判定処理にて、前記画像情報に係る被写体、構図および色調の少なくとも１つに基づいて、前記フレームごとに重要度を評価し、前記重要度が所定の閾値以上である前記フレームを、前記重要シーンであると判定してもよい。

本発明の態様６に係る電子機器は、前記態様１から５において、前記重要シーン情報は、前記重要シーンであると判定された前記フレームが前記第１動画像において存在する時点に係る情報を含んでいてもよい。

本発明の態様７に係る電子機器は、前記態様１から６において、前記第１動画像は、前記撮像装置が静止画撮影状態である場合に撮影されてもよい。

本発明の態様８に係る制御装置（ＡＩエンジン制御装置３０および制御装置４０）は、少なくとも一つの撮像装置（カメラ１０）を備える電子機器（スマートフォン１）を制御する制御装置であって、前記撮像装置により撮影された第１動画像を取得する処理を実行可能な動画像取得部（４１）と、前記第１動画像に含まれる画像情報に基づいて、前記第１動画像に含まれるそれぞれのフレームが重要シーンであるか否かを判定する処理を実行可能な重要シーン判定部（４２）と、前記第１動画像のそれぞれの前記フレームが前記重要シーンであるか否かの判定結果を含む重要シーン情報を生成する処理を実行可能なシーン情報生成部（４３）と、を含む。

本発明の態様９に係る制御方法は、少なくとも一つの撮像装置（カメラ１０）を備える電子機器（スマートフォン１）を制御する制御方法であって、前記撮像装置により撮影された第１動画像を取得する動画像取得ステップと、前記第１動画像に含まれる画像情報に基づいて、前記第１動画像に含まれるそれぞれのフレームが重要シーンであるか否かを判定する重要シーン判定ステップと、前記第１動画像のそれぞれの前記フレームが前記重要シーンであるか否かの判定結果を含む重要シーン情報を生成するシーン情報生成ステップと、を含む。

本発明の各態様に係る制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記制御装置が備える各部（ソフトウェア要素）として動作させることにより前記制御装置をコンピュータにて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ スマートフォン（電子機器）
１０ カメラ（撮像装置）
３０ ＡＩエンジン制御装置（制御装置）
４０ 制御装置
４１ 動画像取得部
４２ 重要シーン判定部
４３ シーン情報生成部
４４ 動画像生成部

Claims (9)

1. 少なくとも一つの撮像装置と、少なくとも一つの制御装置と、を備える電子機器であって、
   前記制御装置は、
   前記撮像装置により撮影された第１動画像を取得する動画像取得処理と、
   前記第１動画像に含まれる画像情報に基づいて、前記第１動画像に含まれるそれぞれのフレームが重要シーンであるか否かを判定する重要シーン判定処理と、
   前記フレームがそれぞれ前記重要シーンであるか否かの判定結果を含む重要シーン情報を生成するシーン情報生成処理と、
   前記重要シーンであると判定された前記フレームを連結用フレームとして抽出し、単一の前記連結用フレームからなる、または、複数の前記連結用フレーム同士を連結してなる第２動画像を生成する動画像生成処理と、を実行することを特徴とする電子機器。
2. 前記制御装置は、
   前記動画像生成処理にて、
   前記重要シーンであると判定された前記フレームから、所定の条件を満たした前記フレームを前記連結用フレームとして抽出することを特徴とする、請求項１に記載の電子機器。
3. 前記制御装置は、
   前記重要シーン判定処理にて、
   前記画像情報に係る被写体、構図および色調の少なくとも１つに基づいて、それぞれの前記フレームが前記重要シーンであるか否かを判定する、請求項１または２に記載の電子機器。
4. 前記制御装置は、
   前記重要シーン判定処理にて、
   前記画像情報に係る被写体、構図および色調の少なくとも１つに基づいて、前記フレームごとに重要度を評価し、
   前記重要度が所定の閾値以上である前記フレームを、前記重要シーンであると判定することを特徴とする、請求項３に記載の電子機器。
5. 前記重要シーン情報は、前記重要シーンであると判定された前記フレームが前記第１動画像において存在する時点に係る情報を含むことを特徴とする、請求項１から４の何れか１項に記載の電子機器。
6. 前記第１動画像は、
   前記撮像装置が静止画撮影状態である場合に撮影されたことを特徴とする、請求項１から５の何れか１項に記載の電子機器。
7. 少なくとも一つの撮像装置を備える電子機器を制御する制御装置であって、
   前記撮像装置により撮影された第１動画像を取得する処理を実行可能な動画像取得部と、
   前記第１動画像に含まれる画像情報に基づいて、前記第１動画像に含まれるそれぞれのフレームが重要シーンであるか否かを判定する処理を実行可能な重要シーン判定部と、
   前記第１動画像のそれぞれの前記フレームが前記重要シーンであるか否かの判定結果を含む重要シーン情報を生成する処理を実行可能なシーン情報生成部と、
   前記重要シーンであると判定された前記フレームを連結用フレームとして抽出し、単一の前記連結用フレームからなる、または、複数の前記連結用フレーム同士を連結してなる第２動画像を生成する動画像生成部と、を含むことを特徴とする制御装置。
8. 請求項７に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、前記動画像取得部、前記重要シーン判定部、前記シーン情報生成部、および前記動画像生成部としてコンピュータを機能させるための制御プログラム。
9. 少なくとも一つの撮像装置を備える電子機器を制御する制御方法であって、
   前記撮像装置により撮影された第１動画像を取得する動画像取得ステップと、
   前記第１動画像に含まれる画像情報に基づいて、前記第１動画像に含まれるそれぞれのフレームが重要シーンであるか否かを判定する重要シーン判定ステップと、
   前記第１動画像のそれぞれの前記フレームが前記重要シーンであるか否かの判定結果を含む重要シーン情報を生成するシーン情報生成ステップと、
   前記重要シーンであると判定された前記フレームを連結用フレームとして抽出し、単一の前記連結用フレームからなる、または、複数の前記連結用フレーム同士を連結してなる第２動画像を生成する動画像生成ステップと、を含むことを特徴とする制御方法。

Images