JP7470726B2 - 画像処理装置、及び、画像処理方法 - Google Patents

Description

本発明は、画像処理装置、及び、画像処理方法に関する。

撮影装置によって撮影された複数の撮影画像に基づき、これらの撮影画像をスライドショー形式の動画で再生する技術が知られている（例えば、特許文献１参照）。
また、スライドショーに用いる撮影画像を、より簡単で効率的な操作によってユーザが選択することができることを目的とした技術も提案されている（例えば、特許文献２参照）。

特開２０１８－１０１９１４号公報 特開２０１４－１４７０２５号公報

しかしながら、特許文献２の技術において、ユーザが撮影画像を選択する際に、候補となる撮影画像が多い場合に、撮影画像を選択する負担が大きくなる、という問題がある。
なお、撮影像が画像ではなく動画である場合も、多数の撮影動画を用いて１つの動画を作成するときに同様な問題を生じる。

本発明は、適切な撮影像を自動で選択し、ユーザの負担を減らすことができる画像処理装置、及び、画像処理方法を提供することを目的とする。

本発明の一態様は、撮影装置によって撮影された複数の撮影像を取得する撮影像取得部と、前記撮影像の撮影時に再生されていた音楽の情報である音楽再生情報を取得する音楽再生情報取得部と、前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するハイライトシーン用撮影像選択部と、を備え、前記所定音楽条件は、前記音楽を聴いた人が感じ得る感性についての感性情報に関する条件を含むことを特徴とする画像処理装置である。

本発明の一態様は、上記画像処理装置において、前記ハイライトシーン用撮影像選択部は、前記撮影時の状況に関する情報に基づいて前記所定音楽条件を判定することを特徴とする。

本発明の一態様は、撮影装置によって撮影された複数の撮影像を取得する撮影像取得部と、前記撮影像の撮影時に再生されていた音楽の情報である音楽再生情報を取得する音楽再生情報取得部と、前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するハイライトシーン用撮影像選択部と、を備え、前記所定音楽条件は、前記撮影時に再生されていた音楽と、前記撮影時に当該音楽を聴いていたユーザの音楽に関する嗜好性と、の乖離度に関する条件を含む、ことを特徴とする画像処理装置である。

本発明の一態様は、上記画像処理装置において、前記撮影装置は、移動体に設けられ、
前記撮影時の音楽は前記移動体内で再生された音楽であることを特徴とする。

本発明の一態様は、移動体に設けられた撮影装置によって撮影された複数の撮影像を取得する撮影像取得部と、前記撮影像の撮影時に前記移動体内で再生されていた音楽の情報である音楽再生情報を取得する音楽再生情報取得部と、前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するハイライトシーン用撮影像選択部と、を備え、前記所定音楽条件は、前記撮影時に再生されていた音楽が、前記移動体の移動に係る移動情報に基づいて選定された音楽であること、を含むことを特徴とする画像処理装置である。

本発明の一態様は、移動体に設けられた撮影装置によって撮影された複数の撮影像を取得する撮影像取得部と、前記撮影像の撮影時に前記移動体内で再生されていた音楽の情報である音楽再生情報を取得する音楽再生情報取得部と、前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するハイライトシーン用撮影像選択部と、を備え、前記所定音楽条件は、前記撮影時に再生されていた音楽と、前記移動体の移動情報とのマッチング度合が所定値以上でること、を含む、ことを特徴とする画像処理装置である。

本発明の一態様は、上記画像処理装置において、前記ハイライトシーン用撮影像選択部は、前記移動体のドライビングサイクルの１サイクルの間に撮影された撮影像の中から撮影像を選択することを特徴とする。

本発明の一態様は、上記画像処理装置において、前記所定音楽条件は、前記撮影時に再生されていた音楽の再生履歴に基づいて特定される情報に関する条件を含むことを特徴とする。

本発明の一態様は、上記画像処理装置において、前記ハイライトシーン用撮影像選択部によって選択された前記撮影像に基づいて、動画を生成する動画生成部を備えることを特徴とする。

本発明の一態様は、撮影装置によって撮影された複数の撮影像を取得する撮影像取得部を備えた画像選択装置による画像処理方法において、前記撮影像の撮影時に再生されていた音楽の情報である音楽再生情報を取得するステップと、前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するステップと、を備え、前記所定音楽条件は、前記撮影時に再生されていた音楽と、前記撮影時に当該音楽を聴いていたユーザの音楽に関する嗜好性と、の乖離度に関する条件を含む、ことを特徴とする画像処理方法である。

本発明の一態様は、移動体に設けられた撮影装置によって撮影された複数の撮影像を取得する撮影像取得部を備えた画像選択装置による画像処理方法において、前記撮影像の撮影時に前記移動体内で再生されていた音楽の情報である音楽再生情報を取得するステップと、前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するステップと、を備え、前記所定音楽条件は、前記撮影時に再生されていた音楽が、前記移動体の移動に係る移動情報に基づいて選定された音楽であることを含むことを特徴とする画像処理方法である。
本発明の一態様は、移動体に設けられた撮影装置によって撮影された複数の撮影像を取得する撮影像取得部を備えた画像選択装置による画像処理方法において、前記撮影像の撮影時に前記移動体内で再生されていた音楽の情報である音楽再生情報を取得するステップと、前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するステップと、を備え、前記所定音楽条件は、前記撮影時に再生されていた音楽と、前記移動体の移動情報とのマッチング度合が所定値以上であることを含む、ことを特徴とする画像処理方法である。

本発明の一態様によれば、適切な撮影像を自動で選択し、ユーザの負担を減らすことができる。

本発明の実施形態に係る動画作成システムの構成を示す図である。 クライアント機器の機能的構成を示す図である。 動画作成サーバの機能的構成を示す図である。 撮影画像選択処理のフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。
なお、以下の実施形態では、撮影像が画像である場合を例示する。

図１は、本実施形態に係る動画作成システム１の構成を示す図である。
動画作成システム１は、インターネット等の電気通信回線４を通じて動画作成サービスを提供する動画作成サーバ１０と、当該動画作成サービスをユーザＡが利用するためのクライアント機器１２と、を備える。
動画作成サーバ１０は、クライアント機器１２から撮影画像Ｄａの入力を受け付け、これらの撮影画像Ｄａに基づいて動画Ｄｂを生成することで、上記動画作成サービスを実現するサーバコンピュータである。なお、動画Ｄｂは、映像データ（フレームデータ）の他に、音楽などの音声データを含んでもよい。

また、かかる動画作成サーバ１０は、撮影画像選択処理を実行する画像処理装置としての機能を備える。撮影画像選択処理は、動画Ｄｂの中のハイライトシーンＤｃに用いる撮影画像Ｄａを、クライアント機器１２から入力された複数の撮影画像Ｄａの中から自動で選択する処理である。動画作成サーバ１０が、かかる撮影画像選択処理を実行することで、動画作成に要するユーザＡの負担を軽減している。さらに、動画作成サーバ１０は、撮影画像選択処理において、撮影画像Ｄａの自動選択において、ハイライトシーンＤｃについて予め設定された所定音楽条件に該当する音楽が再生されていたときに撮影された撮影画像Ｄａを選択している。これにより、ハイライトシーンＤｃに適した撮影画像Ｄａが自動で選択される。

本実施形態の動画作成システム１は、ユーザＡが車両２（図１）に乗車してドライブを楽しんだ後、当該ドライブ中に撮影された撮影画像Ｄａを用いて当該ドライブの思い出動画を作成する用途に適したシステムとなっている。すなわち、かかる動画Ｄｂは、ドライブのハイライトシーンＤｃを含み、このハイライトシーンＤｃに用いられる撮影画像Ｄａが動画作成サーバ１０によって自動で選択される。

以下、かかる動画作成システム１のクライアント機器１２、及び、動画作成サーバ１０について、より詳細に説明する。

図２は、本実施形態に係るクライアント機器１２の機能的構成を示す図である。
クライアント機器１２は、例えば、スマートフォンやノート型パソコン、据置型パソコンなどであり、操作装置２０と、表示装置２１と、通信装置２２と、コンピュータ２３と、を備える。

操作装置２０は、ユーザＡの操作を受け付ける装置であり、ボタンやタッチパネル、キーボードなどである。表示装置２１は各種の情報を表示する装置である。これらの情報の例には、撮影画像Ｄａや動画Ｄｂなどが挙げられる。通信装置２２は、送信機及び受信機を備え、電気通信回線４を通じて動画作成サーバ１０と通信する装置である。

コンピュータ２３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などのプロセッサと、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリデバイス（主記憶装置とも呼ばれる）と、ＨＤＤ（hard disk drive）やＳＳＤ（Solid State Drive）などのストレージ装置（副記憶装置とも呼ばれる）と、周辺装置（上記操作装置２０や表示装置２１、通信装置２２など）を接続するためのインターフェース回路と、を備える。そして、プロセッサがメモリデバイス又はストレージ装置に記憶されているコンピュータプログラムを実行することで、動画作成サーバ１０のクライアントコンピュータとして機能する。

具体的には、コンピュータ２３は、機能的構成として、撮影画像記憶部２４と、音楽再生情報記憶部２５と、ドライビングサイクル情報記憶部２６と、動画用データ送信制御部２７と、動画受信制御部２８と、を備える。

撮影画像記憶部２４は、動画Ｄｂの素材となる多数の撮影画像Ｄａを記憶し、音楽再生情報記憶部２５は、後述する音楽再生情報Ｄｅを記憶し、ドライビングサイクル情報記憶部２６は、後述するドライビングサイクル情報Ｄｆを記憶する。
これら撮影画像Ｄａ、音楽再生情報Ｄｅ及びドライビングサイクル情報Ｄｆは、インターフェース回路又は通信装置２２を通じて他の装置からクライアント機器１２に取り込まれたデータである。

本実施形態において、撮影画像Ｄａは、ユーザＡが車両２（図１）に搭乗して移動しているときに、撮影装置の一例である後述の車載カメラ３０によって撮影された画像である。
音楽再生情報Ｄｅは、撮影画像Ｄａの撮影時に車載カメラ３０の周囲で再生され、撮影時にユーザＡが聴いていた音楽の情報である。本実施形態では、音楽再生情報Ｄｅは、再生された音楽の履歴の情報を含んでおり、具体的には、音楽を一意に識別する音楽識別情報Ｄｅ１と、その音楽が再生されていたタイミングを特定可能な情報である再生日時Ｄｅ２と、を含んでいる。
ドライビングサイクル情報Ｄｆは、車両２のドライビングサイクルに係る情報であり、少なくとも、ドライビングサイクルの開始日時Ｄｆ１及び終了日時Ｄｆ２を含んでいる。なお、ドライビングサイクルは、出発地点から目的地点までの移動のためにユーザＡが車両２を使用した期間であり、例えば、車両２の動力源を始動させる始動スイッチの操作から次の再度の操作までを１つのサイクルとして設定された期間を用いることができる。

これら撮影画像Ｄａ、音楽再生情報Ｄｅ、及び、ドライビングサイクル情報Ｄｆを得るために、車両２には、前掲図１に示すように、車載カメラ３０と、音楽再生装置３２と、車載装置３４と、が設けられている。

車載カメラ３０は、車両２に設けられ、当該車両２の周囲又は車室内を撮影し、多数の撮影画像Ｄａを保持する撮影装置である。これらの撮影画像Ｄａがクライアント機器１２に取り込まれる。なお、撮影は、ユーザＡによる手動操作、及び、自動撮影のいずれで行われてもよい。

音楽再生装置３２は、車両２の車室内で様々な音楽を再生する装置である。本実施形態の音楽再生装置３２は、上述の音楽再生情報Ｄｅを保持し、音楽を再生するごとに、その音楽の音楽識別情報Ｄｅ１及び再生日時Ｄｅ２を音楽再生情報Ｄｅに記録する。この音楽再生情報Ｄｅがクライアント機器１２に取り込まれる。

車載装置３４は、ドライビングサイクル情報Ｄｆを記録する装置であり、例えば、車両２の走行を制御する車両制御ＥＣＵ（Electronic Control Unit）などである。本実施形態の車載装置３４は、車両２の始動スイッチが操作されるごとに、ドライビングサイクルの開始日時Ｄｆ１又はＤｆ２をドライビングサイクル情報Ｄｆに記録する。このドライビングサイクル情報Ｄｆがクライアント機器１２に取り込まれる。

前掲図２に戻り、クライアント機器１２において、動画用データ送信制御部２７は、ユーザＡの操作に基づいて、動画作成に用いられるデータを動画作成サーバ１０へ通信装置２２から送信する制御を実行する。かかるデータは、動画Ｄｂの素材となる多数の撮影画像Ｄａ、音楽再生情報Ｄｅ、及びドライビングサイクル情報Ｄｆを、少なくとも含んでいる。

動画受信制御部２８は、動画作成サーバ１０が作成し、出力した動画Ｄｂを通信装置２２によって受信する制御を実行する。かかる動画Ｄｂを表示装置２２が表示することで、ユーザＡによって動画Ｄｂが鑑賞される。

図３は、動画作成サーバ１０の機能的構成を示す図である。
動画作成サーバ１０は、プロセッサと、メモリデバイス（主記憶装置とも呼ばれる）と、ストレージ装置（副記憶装置とも呼ばれる）と、電気通信回線４を通じて通信する通信装置（受信機及び送信機）と、各種の周辺機器を接続するためのインターフェース回路と、を備えたコンピュータを有する。そして、プロセッサがメモリデバイス又はストレージ装置に記憶されているコンピュータプログラムを実行することで、動画作成サービスに係る各種の機能を実現する。なお、動画作成サーバ１０が複数のコンピュータを備え、それぞれのコンピュータが協同して、動画作成サービスに係る機能を実現してもよい。

動画作成サーバ１０は、撮影画像Ｄａに基づいて動画Ｄｂを作成する動画作成装置に係る機能的構成として、撮影画像取得部４０と、動画生成部４２と、動画出力部４４と、を備える。

撮影画像取得部４０は、動画Ｄｂの素材となる複数の撮影画像Ｄａを取得する。撮影画像Ｄａの取得は、通信装置がクライアント機器１２から受信することで行われる。
動画生成部４２は、撮影画像Ｄａに基づいて、映像データ（フレームデータ）を生成することで、例えばスライドショー形式などの動画Ｄｂを生成する。撮影画像Ｄａから動画Ｄｂの生成手法には、公知または周知の適宜の手法を用いることができる。
動画出力部４４は、動画生成部４２が生成した動画Ｄｂをクライアント機器１２に送信する。
なお、動画生成部４２は、映像データ（フレームデータ）に、音楽などの音声データを付加してもよい。この音声データには、ユーザＡが指定した音楽、又は、動画生成部４２が撮影画像Ｄａの情報（被写体や撮影位置、撮影日時など）に基づいて自動で選択した音楽を用いることができる。

ここで、動画生成部４２が生成する動画Ｄｂは、１又は複数（本実施形態では１つ）のハイライトシーンＤｃを含んでおり、上述したように、少なくとも、このハイライトシーンＤｃに用いられる撮影画像ＤａについてはユーザＡに代わって、動画作成サーバ１０が自動で選択する。すなわち、動画作成サーバ１０は、撮影画像Ｄａの選択処理を実行する画像処理装置に相当する機能的構成として、図３に示すように、音楽再生情報取得部５０と、ドライビングサイクル情報取得部５２と、感性情報記憶部５４と、ハイライトシーン用撮影画像選択部５６と、を備える。

音楽再生情報取得部５０は、上述の音楽再生情報Ｄｅを取得し、ドライビングサイクル情報取得部５２は、上述のドライビングサイクル情報Ｄｆを取得する。これら音楽再生情報Ｄｅ及びドライビングサイクル情報Ｄｆの取得は、通信装置がクライアント機器１２から受信することで行われる。

感性情報記憶部５４は、その音楽を聴いた人が感じ得る感性についての感性情報Ｄｇを記憶する。より具体的には、感性情報Ｄｇに記録される情報は、その音楽の曲調や雰囲気、歌詞から人が感じる感情や衝動、欲望などを含む情報である。例えば、「軽快」、「興奮」、「明るい」、「爽やか」、「荘厳」、「海水浴」、「雪景色」といった、感性に係る単語が感性情報Ｄｇに記録される。なお、感性情報Ｄｇは、その感性を人が感じる要因となった情報（例えば、歌詞に登場する単語や歌詞の内容、曲調、曲の雰囲気）であってもよい。

ハイライトシーン用撮影画像選択部５６は、音楽再生情報Ｄｅ及びドライビングサイクル情報Ｄｆに基づいて、ハイライトシーンＤｃに用いる撮影画像Ｄａを選択する。
以下、かかるハイライトシーン用撮影画像選択部５６による撮影画像Ｄａの選択動作について詳述する。

図４は、撮影画像選択処理のフローチャートである。
先ず、ハイライトシーン用撮影画像選択部５６は、ユーザＡが指定したドライブ（すなわち、思い出動画の作成対象とするドライブ）に対応するドライビングサイクルを、ドライビングサイクル情報Ｄｆに基づいて特定する（ステップＳａ１）。

次いで、ハイライトシーン用撮影画像選択部５６は、ステップＳａ１において特定したドライビングサイクルの間に再生されていた音楽を音楽再生情報Ｄｅに基づいて特定する（ステップＳａ２）。
具体的には、ハイライトシーン用撮影画像選択部５６は、ドライビングサイクルの開始日時Ｄｆ１及び終了日時Ｄｆ２をドライビングサイクル情報Ｄｆに基づいて特定する。そして、この開始日時Ｄｆ１から終了日時Ｄｆ２の間の期間に再生日時Ｄｅ２が該当する音楽を、ハイライトシーン用撮影画像選択部５６が音楽再生情報Ｄｅに基づいて特定する。

次いで、ハイライトシーン用撮影画像選択部５６は、ステップＳａ２において特定した各音楽のうち、ハイライトシーンＤｃについて予め設定された所定音楽条件に該当する音楽を特定する（ステップＳａ３）。

さらに詳述すると、ステップＳａ３における所定音楽条件は、ハイライトシーンＤｃの内容が視聴者に与え得る感性に基づいて設定された条件である。
例えば、ハイライトシーンＤｃは動画Ｄｂにおいて盛り上がる内容を含むシーンであるため、「気分の高揚」に係る感性を視聴者に感じさせるシーンであると言える。
そこで、ハイライトシーンＤｃについての所定音楽条件には、「聴取者が気分の高揚に係る感性を感じ得る音楽」が予め設定される。

また、本実施形態のハイライトシーン用撮影画像選択部５６は、ステップＳａ３において、撮影時の音楽が所定音楽条件に該当するか否かを、その音楽に対応付いている感性情報Ｄｇと、その音楽を聴いていたユーザＡの当該音楽についての聴取履歴と、に基づいて判定する。

具体的には、ハイライトシーン用撮影画像選択部５６は、気分の高揚に係る感性（例えば、「興奮」や「壮大」など）が、その音楽の感性情報Ｄｇに記録されていれば、その音楽が所定音楽条件に該当すると判定する。

また、一般的に、聴取者が新たに体験する音楽は、当該聴取者に新鮮さを感じさせることで、当該聴取者の気分の高揚に繋がると言える。
撮影時に再生されていた音楽が、その音楽を聴いていたユーザＡにとって新鮮かどうかは、その音楽の再生回数が所定数（ゼロを含む）以下であるか否かに基づいて判定することができ、また、当該ユーザＡの嗜好性に基づいて判定することもできる。
嗜好性は、どのような音楽をユーザＡが好むかを示すものであり、当該ユーザＡが過去に聴取した音楽の履歴（すなわち、音楽再生情報Ｄｅ）に基づいて推測可能である。そして、一般的に、聴取者が自身の嗜好性から大きく乖離した音楽を積極的に聴くことは稀であるから、かかる嗜好性からの乖離度が所定値以上（嗜好性から外れていると見做せる大きさの乖離度）である音楽は、聴衆者が新たに体験する音楽である可能性が高く、当該聴取者の気分の高揚に繋がる音楽であると言える。

したがって、ハイライトシーン用撮影画像選択部５６は、再生回数が所定数（ゼロを含む）以下あり、又は、ユーザＡの嗜好性からの乖離度が所定値以上の音楽であれば、その音楽が所定音楽条件に該当すると判定する。

そして、ハイライトシーン用撮影画像選択部５６は、クライアント機器１２から取得した撮影画像Ｄａのうち、ステップＳａ３において特定した音楽が再生されていたときに撮影された撮影画像Ｄａを、その音楽の再生日時Ｄｅ２と、撮影画像Ｄａに予め記録されている撮影日時と、に基づいて特定し、それらの撮影画像ＤａをハイライトシーンＤｃの作成に用いる撮影画像Ｄａとして選択する（ステップＳａ４）。

これにより、ハイライトシーンＤｃに適切な撮影画像Ｄａが自動で選択されることとなる。そして、動画生成部４２が、かかる撮影画像ＤａをハイライトシーンＤｃに用いた動画Ｄｂを生成することで、ユーザＡの期待に則した動画Ｄｂが生成される。

上述した実施形態によれば次の効果を奏する。

本実施形態の動画作成サーバ１０は、車載カメラ３０によって撮影された複数の撮影画像Ｄａを取得する撮影画像取得部４０と、撮影画像Ｄａの撮影時に再生されていた音楽の情報である音楽再生情報Ｄｅを取得する音楽再生情報取得部５０と、音楽再生情報Ｄｅに基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影画像Ｄａを選択するハイライトシーン用撮影画像選択部５６と、を備える。
この構成によれば、撮影画像Ｄａが自動で選択されるため、選択にユーザＡの負担を減らすことができる。加えて、かかる撮影画像Ｄａとして、所定音楽条件に該当する音楽が再生されていたときに撮影された撮影画像Ｄａが選択されるため、適切な撮影画像Ｄａが選択される。

本実施形態の動画作成サーバ１０において、所定音楽条件は、音楽を聴いた人が感じ得る感性についての感性情報Ｄｇに関する条件を含む。
この構成によれば、ハイライトシーンＤｃが視聴者に感じさせ得る感性（本実施形態では「気分の高揚」）と同じ、又は、近い感性を、ユーザＡが感じていたときに撮影された撮影画像Ｄａをハイライトシーン用撮影画像選択部５６が自動で選ぶことができる。

本実施形態の動画作成サーバ１０において、所定音楽条件は、撮影時に再生されていた音楽の再生履歴に基づいて特定される情報（例えば、再生回数、及び、ユーザＡの嗜好性）に関する条件を含む。
この構成によれば、ハイライトシーンＤｃが視聴者に感じさせ得る感性（本実施形態では、「気分の高揚」）と同じ、又は、近い感性を、ユーザＡが感じていたときに撮影された撮影画像Ｄａをハイライトシーン用撮影画像選択部５６が自動で選ぶことができる。

本実施形態の動画作成サーバ１０において、所定音楽条件は、撮影時に再生されていた音楽と、撮影時に当該音楽を聴いていたユーザＡの音楽に関する嗜好性と、の乖離度に関する条件を含む。
この構成によれば、ハイライトシーンＤｃが視聴者に感じさせ得る感性（本実施形態では、「気分の高揚」）と同じ、又は、近い感性を、ユーザＡが感じていたときに撮影された撮影画像Ｄａをハイライトシーン用撮影画像選択部５６が自動で選ぶことができる。

本実施形態において、車載カメラ３０は、ユーザＡが搭乗した車両２に設けられ、撮影時の音楽は当該車両２内で再生された音楽である。
この構成により、ユーザＡは、車両２に搭乗してドライブしたときの撮影画像Ｄａの中から適切な撮影画像Ｄａを自動で選択できる。

本実施形態において、ハイライトシーン用撮影画像選択部５６は、車両２のドライビングサイクルの１サイクルの間に撮影された撮影画像Ｄａの中から撮影画像Ｄａを選択する。
この構成によれば、ユーザＡは、所望の特定のドライブについての撮影画像Ｄａの中から適切な撮影画像Ｄａを自動で選択できる。

本実施形態の動画作成サーバ１０は、ハイライトシーン用撮影画像選択部５６によって選択された撮影画像Ｄａに基づいて、動画Ｄｂを生成する動画生成部４２を備える。
この構成によれば、ユーザＡは、適切な撮影画像Ｄａを用いた動画Ｄｂ（例えば、ドライブの思い出動画など）を簡単に作成することができる。

なお、上述した実施形態は、あくまでも本発明の一態様の例示である。すなわち、本発明の主旨を逸脱しない範囲において、上述した実施形態は、任意に変形、及び応用が可能であり、かつ、これら実施形態、変形、及び応用に係る各態様は、任意に組み合わせが可能である。

（変形例１）
上述した実施形態において、ハイライトシーン用撮影画像選択部５６による所定音楽条件の判定に、撮影画像Ｄａの撮影時の状況に関する情報を用いても良い。
詳述すると、ユーザＡの撮影時の気分は、撮影時におかれた状況から推察することもできる。特に、車両２でドライブしているときのユーザＡの気分は、車両２の周囲の環境情報（景色、天気、時間帯など）や、車両２の走行に係る走行情報（走行速度、現在位置、走行している場所（地域）、走行中の道路種別（一般道路や高速道路など）、混雑状態など）に影響され易い。
したがって、これら環境情報及び走行状況の少なくともいずれか一つに基づいて、ユーザＡの撮影時の気分を特定することが可能となる。なお、これら環境情報及び走行情報は、車両２が備える適宜の車載装置（車載ＥＣＵや、車載バッテリ４０の撮影像）によって記録可能な情報である。

そこで、動画作成サーバ１０は、環境情報及び走行情報を車両２から取り込んだクライアント機器１２から、これら環境情報及び走行情報（移動情報）を取得する。
次いで、ハイライトシーン用撮影画像選択部５６は、ハイライトシーンＤｃについての所定音楽条件である「聴取者が気分の高揚に係る感性を感じ得る音楽」を判定する場合、先ず、撮影時の状況がユーザＡの気分を高揚させ得る状況か否かを、環境情報及び走行情報の少なくともいずれか一方に基づいて判定する。
そして、撮影時の状況がユーザＡの気分を高揚させ得る状況である場合、ハイライトシーン用撮影画像選択部５６は、そのときに再生されていた音楽の感性情報Ｄｇに「気分の高揚」に係る感性が記録されているとき、換言すれば、撮影時の状況に相応しい音楽が再生されていたときに、その音楽は所定音楽条件に該当すると判定する。

これにより、ハイライトシーンに適切な撮影画像Ｄａを、より正確に選択することができる。

（変形例２）
上述した実施形態、及び変形例において、ハイライトシーンＤｃについて予め設定された所定音楽条件が、「撮影時に再生されていた音楽が、車両２の上記走行情報に基づいて選定された音楽であること」を含んでもよい。

具体的には、本変形例に係る車両２の音楽再生装置３２は、車両２が備える適宜の車載装置から上記走行情報を取得する走行情報手段と、当該走行情報に対応する音楽を選択する音楽選択手段と、を備え、音楽選択手段によって取得された音楽を再生することで、車両２の走行状況に相応しい音楽を再生するように構成される。そして、音楽再生装置３２は、音楽選択手段が選択した音楽を再生した場合、音楽再生情報Ｄｅには、走行情報に基づいて音楽を再生したことを示す音楽選択情報が記録される。
ハイライトシーン用撮影画像選択部５６は、所定音楽条件の判定の際に（図４：ステップＳａ３）、音楽再生情報Ｄｅの音楽選択情報に基づいて、判定対象の音楽が「撮影時に再生されていた音楽が、車両２の上記走行情報に基づいて選定された音楽である」か否かを判定する。

本変形例によれば、走行情報に基づいて選定された音楽が再生されているときに、その音楽は所定音楽条件に該当すると判定されるため、ハイライトシーンに適切な撮影画像Ｄａを、より正確に選択することができる。

（変形例３）
上述した実施形態、及び変形例において、ハイライトシーンＤｃについて予め設定された所定音楽条件が、「前記撮影時に再生されていた音楽と、車両２の上記走行情報とのマッチング度合が所定値以上でること」を含んでもよい。
マッチング度合は、車両２の走行情報によって示される走行状況から人が感じ得る感性と、音楽を聴いた人が感じ得る感性と、の類似度である。すなわち、走行情報とのマッチング度合いが所定値以上（すなわち高い）である場合、その音楽は、そのときの走行状況と深い関連を有すると言える。

本変形例に係る車両２の音楽再生装置３２は、車両２が備える適宜の車載装置から上記走行情報を取得する走行情報手段と、そのときの再生している音楽について、その音楽を聴いた人が感じ得る第１感性と、走行情報によって示される走行状況から人が感じ得る第２感性とのマッチング度合いを判定するマッチング判定手段と、を備え、当該マッチング度合いを、上記音楽再生情報Ｄｅに記録する。
そして、ハイライトシーン用撮影画像選択部５６は、所定音楽条件の判定の際に（図４：ステップＳａ３）、音楽再生情報Ｄｅの音楽選択情報に基づいて、判定対象の音楽と、車両２の上記走行情報とのマッチング度合が所定値以上であるか否かを判定する。

本変形例によれば、走行情報によって示される走行状況とのマッチング度合いが高い音楽、すなわち、その走行状況に相応しい音楽が再生されているときに、その音楽は所定音楽条件に該当すると判定されるため、ハイライトシーンに適切な撮影画像Ｄａを、より正確に選択することができる。

（変形例４）
上述した実施形態において、撮影像として撮影画像Ｄａを例示したが、撮影像が動画形式の撮影動画であってもよい。

（変形例５）
上述した実施形態において、移動体の一例である車両２の車輪数は任意であり、四輪車や二輪車でもよい。また、移動体は、車両２に限らず、ユーザＡが搭乗して移動できるものであれば良く、例えば、船舶やドローン、ロボットなどでもよい。

（変形例６）
上述した実施形態において、ハイライトシーン用撮影画像選択部５６により複数の撮影画像Ｄａ（撮影像）が選択された後の処理として、動画生成部４２が複数の撮影像に基づいて動画Ｄｂを生成することとした。しかしながら、動画Ｄｂの生成に加え、又は、動画Ｄｂの生成に代えて、図示しない情報処理部が、ハイライトシーン用撮影画像選択部５６により複数の撮影画像Ｄａ（撮影像）が選択された後に、それら撮影画像Ｄａ（撮影像）を所定のフォルダやサーバに対してアップロードしたり、電子アルバムを作成したりしてもよい。

（他の変形例）
上述した実施形態において、動画作成サーバ１０の動画作成に係る機能は、クライアント機器１２に統合されてもよい。この統合は、例えば、動画作成サーバ１０の動画作成に係る機能を実現するコンピュータプログラムを、クライアント機器１２に実行させることで行われてもよい。

上述した実施形態において、動画作成サーバ１０は、非サーバ型のコンピュータを用いて構成された動画作成装置であってもよい。

上述した実施形態、及び変形例における、機能的構成を示す各図は、本願発明を理解容易にするために、構成要素を主な処理内容に応じて分類して示した概略図であり、それらの構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

（本明細書の開示によりサポートされる構成）
本明細書の開示は、以下の構成をサポートする。

（構成１）
撮影装置によって撮影された複数の撮影像を取得する撮影像取得部と、前記撮影像の撮影時に再生されていた音楽の情報である音楽再生情報を取得する音楽再生情報取得部と、前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するハイライトシーン用撮影像選択部と、を備えることを特徴とする画像処理装置。
構成１によれば、適切な撮影画像を自動で選択し、ユーザの負担を減らすことができる。

（構成２）
前記所定音楽条件は、前記音楽を聴いた人が感じ得る感性についての感性情報に関する条件を含むことを特徴とする構成１に記載の画像処理装置。
構成２によれば、適切な撮影画像を、より正確に自動で選ぶことができる。

（構成３）
前記ハイライトシーン用撮影像選択部は、前記撮影時の状況に関する情報に基づいて前記所定音楽条件を判定することを特徴とする構成２に記載の画像処理装置。
構成３によれば、適切な撮影画像を、より正確に自動で選ぶことができる。

（構成４）
前記所定音楽条件は、前記撮影時に再生されていた音楽の再生履歴に基づいて特定される情報に関する条件を含むことを特徴とする構成１から３のいずれかに記載の画像処理装置。
構成４によれば、適切な撮影画像を、より正確に自動で選ぶことができる。

（構成５）
前記所定音楽条件は、前記撮影時に再生されていた音楽と、前記撮影時に当該音楽を聴いていたユーザの音楽に関する嗜好性と、の乖離度に関する条件を含む、ことを特徴とする構成１から４のいずれかに記載の画像処理装置。
構成５によれば、適切な撮影画像を、より正確に自動で選ぶことができる。

（構成６）
前記撮影装置は、移動体に設けられ、前記撮影時の音楽は前記移動体内で再生された音楽であることを特徴とする構成１から５のいずれかに記載の画像処理装置。
構成６によれば、ユーザが移動体に搭乗して移動したときの撮影画像の中から、適切な撮影画像を自動で選ぶことができる。

（構成７）
前記ハイライトシーン用撮影像選択部は、前記移動体のドライビングサイクルの１サイクルの間に撮影された撮影像の中から撮影像を選択することを特徴とする構成６に記載の画像処理装置。
構成７によれば、ユーザは、所望の特定の移動についての撮影画像の中から、適切な撮影画像を自動で選ぶことができる。

（構成８）
前記所定音楽条件は、前記撮影時に再生されていた音楽が、前記移動体の移動に係る移動情報に基づいて選定された音楽であること、を含むことを特徴とする構成６または構成７に記載の画像処理装置。
構成８によれば、ユーザが移動体に搭乗して移動したときの撮影画像の中から、適切な撮影画像を、より正確に自動で選ぶことができる。

（構成９）
前記所定音楽条件は、前記撮影時に再生されていた音楽と、前記移動体の移動情報とのマッチング度合が所定値以上でること、を含む、ことを特徴とする構成６から８のいずれかに記載の画像処理装置。
構成９によれば、ユーザが移動体に搭乗して移動したときの撮影画像の中から、適切な撮影画像を、より正確に自動で選ぶことができる。

（構成１０）
前記ハイライトシーン用撮影像選択部によって選択された前記撮影像に基づいて、動画を生成する動画生成部を備える、ことを特徴とする構成１から９のいずれかに記載の画像処理装置。
構成１０によれば、適切な撮影画像を用いた動画を簡単に作成することができる。

（構成１１）
撮影装置によって撮影された複数の撮影像を取得する撮影像取得部と、を備えた画像選択装置による画像処理方法において、前記撮影像の撮影時に再生されていた音楽の情報である音楽再生情報を取得するステップと、前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するステップと、を備えることを特徴とする画像処理方法。
構成１１によれば、適切な撮影画像を自動で選択し、ユーザの負担を減らすことができる。

１ 動画作成システム
２ 車両（移動体）
１０ 動画作成サーバ（画像処理装置）
１２ クライアント機器
３０ 車載カメラ（撮影装置）
４０ 撮影画像取得部（撮影像取得部）
４２ 動画生成部
４４ 動画出力部
５０ 音楽再生情報取得部
５２ ドライビングサイクル情報取得部
５４ 感性情報記憶部
５６ ハイライトシーン用撮影画像選択部（ハイライトシーン用撮影像選択部）
Ｄａ 撮影画像（撮影像）
Ｄｂ 動画
Ｄｃ ハイライトシーン
Ｄｅ 音楽再生情報
Ｄｆ ドライビングサイクル情報
Ｄｇ 感性情報

Claims (13)

1. 撮影装置によって撮影された複数の撮影像を取得する撮影像取得部と、
   前記撮影像の撮影時に再生されていた音楽の情報である音楽再生情報を取得する音楽再生情報取得部と、
   前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するハイライトシーン用撮影像選択部と、
   を備え、
   前記所定音楽条件は、
   前記音楽を聴いた人が感じ得る感性についての感性情報に関する条件を含む
   ことを特徴とする画像処理装置。
2. 前記ハイライトシーン用撮影像選択部は、
   前記撮影時の状況に関する情報に基づいて前記所定音楽条件を判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 撮影装置によって撮影された複数の撮影像を取得する撮影像取得部と、
   前記撮影像の撮影時に再生されていた音楽の情報である音楽再生情報を取得する音楽再生情報取得部と、
   前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するハイライトシーン用撮影像選択部と、
   を備え、
   前記所定音楽条件は、
   前記撮影時に再生されていた音楽と、前記撮影時に当該音楽を聴いていたユーザの音楽に関する嗜好性と、の乖離度に関する条件を含む、
   ことを特徴とする画像処理装置。
4. 前記撮影装置は、移動体に設けられ、
   前記撮影時の音楽は前記移動体内で再生された音楽である
   ことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 移動体に設けられた撮影装置によって撮影された複数の撮影像を取得する撮影像取得部と、
   前記撮影像の撮影時に前記移動体内で再生されていた音楽の情報である音楽再生情報を取得する音楽再生情報取得部と、
   前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するハイライトシーン用撮影像選択部と、
   を備え、
   前記所定音楽条件は、
   前記撮影時に再生されていた音楽が、前記移動体の移動に係る移動情報に基づいて選定された音楽であること、を含む
   ことを特徴とする画像処理装置。
6. 移動体に設けられた撮影装置によって撮影された複数の撮影像を取得する撮影像取得部と、
   前記撮影像の撮影時に前記移動体内で再生されていた音楽の情報である音楽再生情報を取得する音楽再生情報取得部と、
   前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するハイライトシーン用撮影像選択部と、
   を備え、
   前記所定音楽条件は、
   前記撮影時に再生されていた音楽と、前記移動体の移動情報とのマッチング度合が所定値以上でること、を含む、
   ことを特徴とする画像処理装置。
7. 前記ハイライトシーン用撮影像選択部は、
   前記移動体のドライビングサイクルの１サイクルの間に撮影された撮影像の中から撮影像を選択する
   ことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記所定音楽条件は、
   前記撮影時に再生されていた音楽の再生履歴に基づいて特定される情報に関する条件を含む
   ことを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 前記ハイライトシーン用撮影像選択部によって選択された前記撮影像に基づいて、動画を生成する動画生成部を備える、
   ことを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 撮影装置によって撮影された複数の撮影像を取得する撮影像取得部を備えた画像選択装置による画像処理方法において、
    前記撮影像の撮影時に再生されていた音楽の情報である音楽再生情報を取得するステップと、
    前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するステップと、
    を備え、
    前記所定音楽条件は、
    前記音楽を聴いた人が感じ得る感性についての感性情報に関する条件を含む
    ことを特徴とする画像処理方法。
11. 撮影装置によって撮影された複数の撮影像を取得する撮影像取得部を備えた画像選択装置による画像処理方法において、
    前記撮影像の撮影時に再生されていた音楽の情報である音楽再生情報を取得するステップと、
    前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するステップと、
    を備え、
    前記所定音楽条件は、
    前記撮影時に再生されていた音楽と、前記撮影時に当該音楽を聴いていたユーザの音楽に関する嗜好性と、の乖離度に関する条件を含む、
    ことを特徴とする画像処理方法。
12. 移動体に設けられた撮影装置によって撮影された複数の撮影像を取得する撮影像取得部を備えた画像選択装置による画像処理方法において、
    前記撮影像の撮影時に前記移動体内で再生されていた音楽の情報である音楽再生情報を取得するステップと、
    前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するステップと、
    を備え、
    前記所定音楽条件は、
    前記撮影時に再生されていた音楽が、前記移動体の移動に係る移動情報に基づいて選定された音楽であることを含む
    ことを特徴とする画像処理方法。
13. 移動体に設けられた撮影装置によって撮影された複数の撮影像を取得する撮影像取得部を備えた画像選択装置による画像処理方法において、
    前記撮影像の撮影時に前記移動体内で再生されていた音楽の情報である音楽再生情報を取得するステップと、
    前記音楽再生情報に基づいて、所定音楽条件に該当する音楽が再生されているときに撮影された撮影像を前記複数の撮影像の中から選択するステップと、
    を備え、
    前記所定音楽条件は、
    前記撮影時に再生されていた音楽と、前記移動体の移動情報とのマッチング度合が所定値以上であることを含む、
    ことを特徴とする画像処理方法。

Images