以下、実施の形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。
<実施の形態1>
図1は、実施の形態1にかかる動画システム1の構成の一例を示す模式図である。動画システム1は、録画データを生成する録画装置10と、録画データを録画装置10から取得して録画データを再生する再生装置20とを含む。なお、再生装置20は、有線又は無線の通信により、録画装置10から直接的に録画データを取得してもよいし、録画装置10から他の装置等を介して録画データを取得してもよい。
以下、録画装置10及び再生装置20について具体的に説明する。図2は、録画装置10のハードウェア構成の一例を示すブロック図である。また、図3は、再生装置20のハードウェア構成の一例を示すブロック図である。また、図4は、録画装置10の機能構成の一例を示すブロック図である。そして、図5は、再生装置20の機能構成の一例を示すブロック図である。
録画装置10は、4輪自動車などの車両に設けられる装置であり、いわゆるドライブレコーダである。図2に示すように、録画装置10は、カメラ11、マイク12、ネットワークインタフェース13、記憶装置14、及びプロセッサ15を含む。
カメラ11は、デジタルカメラであり、録画装置10が搭載されている車両の車内又は車外の動画を撮影する。マイク12は、車内の音を集音する装置であり、カメラ11の撮影中の車内の音を取得する。
ネットワークインタフェース13は、他の装置と通信するために使用される。なお、他の装置とは、例えば、録画装置10の処理の一部を代行するサーバであってもよいし、録画データを受信する再生装置20であってもよい。ネットワークインタフェース13は、例えば、ネットワークインタフェースカード(NIC)を含んでもよい。
記憶装置14は、揮発性メモリ及び不揮発性メモリのいずれか若しくは両方を備えたメモリ群と、HDD(Hard Disk Drive)またはSSD(Solid State Drive)などの内部ストレージとを含む。なお、本実施の形態では、メモリと内部ストレージとをまとめて、記憶装置14と称すが、メモリと内部ストレージは、一つの装置として録画装置10に内蔵されていなくてもよく、別々の装置として録画装置10に内蔵されていてもよい。
内部ストレージは、例えば、録画データや、録画装置10の処理に必要な各種データなどを格納するために用いられる。メモリは、例えば、プロセッサ15により実行される、1以上の命令を含むソフトウェア(コンピュータプログラム)などを格納するために使用される。
このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、Compact Disc Read Only Memory(CD-ROM)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、Programmable ROM(PROM)、Erasable PROM(EPROM)、フラッシュROM、Random Access Memory(RAM))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
プロセッサ15は、メモリからソフトウェア(コンピュータプログラム)を読み出して実行することで、例えば、図4に示す構成要素の処理を行う。すなわち、図4に示す曲情報取得部100、録画データ生成部101、及び記憶制御部102の各処理は、プログラムの実行により実現されてもよい。このように、録画装置10は、コンピュータとしての機能を備えている。プロセッサ15は、例えば、マイクロプロセッサ、MPU(Micro Processor Unit)、又はCPU(Central Processing Unit)などであってもよい。プロセッサ15は、複数のプロセッサを含んでもよい。
再生装置20は、録画装置10により記録された録画データを再生する装置であり、具体的には、例えば、スマートフォン、タブレット端末、PC(Personal Computer)等である。再生装置20は、図3に示すように、録画データの映像を表示するディスプレイ21と、録画データの音声を出力するスピーカ22とを有する。また、録画装置10は、さらに、入力装置23、ネットワークインタフェース24、記憶装置25、及びプロセッサ26も含む。
入力装置23は、再生装置20を利用するユーザの操作入力を受け付ける装置であり、例えば、ポインティングデバイスなどである。
ネットワークインタフェース24は、録画データを送信する録画装置10などの他の装置と通信するために使用される。ネットワークインタフェース24は、例えば、ネットワークインタフェースカード(NIC)を含んでもよい。
記憶装置25は、録画装置10における記憶装置14と同様、メモリ群と内部ストレージを含む。内部ストレージは、例えば、録画装置10から取得した録画データや、再生装置20の処理に必要な各種データなどを格納するために用いられる。メモリは、例えば、プロセッサ26により実行される、1以上の命令を含むソフトウェア(コンピュータプログラム)などを格納するために使用される。このプログラムも、様々なタイプの非一時的なコンピュータ可読媒体を用いてコンピュータに供給されうるし、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されうる。
プロセッサ26は、メモリからソフトウェア(コンピュータプログラム)を読み出して実行することで、例えば、図5に示す構成要素の処理を行う。すなわち、図5に示す再生制御部200、指示受付部201、及び曲データ取得部202の各処理は、プログラムの実行により実現されてもよい。このように、再生装置20も、コンピュータとしての機能を備えている。プロセッサ26は、例えば、マイクロプロセッサ、MPU、又はCPUなどであってもよい。プロセッサ26は、複数のプロセッサを含んでもよい。
次に、録画装置10の機能構成について、説明する。図4に示すように、録画装置10は、曲情報取得部100と、録画データ生成部101と、記憶制御部102とを有する。録画装置10は、ドライブ中などの際にユーザが曲を歌った場合に、この曲の曲情報を取得し、この曲情報をカメラ11の映像データと関連づける。このとき、映像データにおけるどの時点からどの時点までが実際にユーザが歌っていた期間であるのかを特定して、映像データと曲情報とを対応付ける。なお、鼻歌などのように、歌詞を伴わずに曲のメロディを歌った場合の曲情報が取得されてもよいし、歌詞を歌った場合の曲情報が取得されてもよい。
曲情報取得部100は、マイク12によって取得された音のオーディオデータから、カメラ11の撮影中に歌われた曲の曲情報と、当該曲の動画内における開始タイミングと終了タイミングとを取得する。ここで、曲情報とは、曲の識別情報である。すなわち、曲を一意に特定するため情報である。また、曲情報取得部100は、開始タイミングにおいてマイク12により取得された曲の一部分について、当該曲の全体における位置を特定する位置情報をさらに取得してもよい。すなわち、曲情報取得部100は、ある曲が歌われた場合、その歌い出しが、当該曲のどこからであるか(例えば、曲の冒頭からなのか、サビからなのか、2番からなのかなど)を特定する位置情報を取得する。例えば、この位置情報は、曲の開始から経過時間を示す時間情報である。
曲情報取得部100は、具体的には、例えば次のようにして、これらを取得する。曲情報取得部100は、マイク12によって取得された音のオーディオデータを継続的に監視し、ユーザの音声が検出されたか否かを判定する。音声が検出されると、曲情報取得部100は、検出した音声のオーディオデータのバッファへの蓄積を開始する。所定の単位時間分のオーディオデータが蓄積されると、この単位時間分のオーディオデータに対して、曲情報の解析を行なう。本実施の形態では、この解析処理は、例えば、録画装置10と通信可能に接続されたサーバにより行なわれる。なお、このサーバは、例えば、サーバのメモリに記憶されたプログラムをサーバのプロセッサが実行することにより解析処理を行なう。
曲情報取得部100は、単位時間分のオーディオデータをサーバに送信する。このサーバは、音声から曲を検索するハミング検索などの公知の楽曲検索技術を用いて、受信したオーディオデータの音楽特徴量と類似する音楽特徴量を有する曲を、楽曲毎の音楽特徴量を格納した楽曲データベースを参照して検索する。曲情報取得部100は、サーバから、解析対象のオーディオデータとの類似度が所定の閾値(第1の閾値)を超える曲の曲情報を取得する。後述する録画データ生成部101は、この第1の閾値を超える曲の曲情報を映像データに付加する。なお、第1の閾値を超える曲の曲情報として、複数の曲の曲情報が取得された場合、すなわち、カメラ11の撮影中に歌われた1つの曲の曲情報として複数の候補を取得した場合、録画データ生成部101は、類似度が一番高い曲の曲情報を映像データに付加する。ただし、録画データ生成部101は、いずれかを選ばず、後述するように、これら複数の曲の曲情報を候補リストとして映像データに付加してもよい。
上述の通り、曲情報取得部100は、録画中の歌い出しが、曲のどこからであるかを特定する位置情報を取得してもよい。これは、例えば、解析対象とされた単位時間分のオーディオデータが、このオーディオデータと類似すると判定された曲のどの部分の音楽特徴量と対応しているかをサーバにおいて特定することにより行なうことができる。
また、曲情報取得部100は、連続する単位時間毎のオーディオデータの解析結果に基づいて、曲の開始タイミング及び終了タイミングを取得する。すなわち、曲情報取得部100は、解析により或る曲に類似すると判定されたオーディオデータが得られたタイミングをこの曲の開始タイミングとし、この曲に類似すると判定されるオーディオデータが得られなくなったタイミングをこの曲の終了タイミングとする。
曲情報取得部100は、1回の録画中に複数の期間で曲が歌われた場合、それら各期間に対する曲情報、開始タイミング、及び終了タイミングを取得する。また、曲情報取得部100は、異なる曲が連続して順次歌われている場合に、歌われている曲毎に、曲情報、開始タイミング、及び終了タイミングを取得してもよい。
なお、上述した通り、本実施の形態では、解析処理はサーバにより行なわれるが、曲情報取得部100の処理として行なわれてもよい。すなわち、サーバの処理として説明された全ての処理又は一部の処理が録画装置10における処理として行なわれてもよい。
録画データ生成部101は、曲情報取得部100が取得した曲情報と開始タイミングと終了タイミングとをカメラ11により撮影された動画の映像データに付加した録画データを生成する。具体的には、録画データ生成部101は、曲が歌われた期間ごとに、動画内における歌の開始タイミングを示す時刻情報及び終了タイミングを示す時刻情報と、当該期間に歌われた曲の曲情報とをタグ情報として、映像データに付加する。なお、曲情報取得部100により、歌い出しの位置を特定する上述した位置情報が取得されている場合には、録画データ生成部101は、さらに、タグ情報として、この位置情報を曲毎に付加した録画データを生成してもよい。これにより、後述する再生装置20における再生の際、この位置情報で示される位置から曲を出力することができる。
また、録画データ生成部101は、曲情報取得部100がカメラ11の撮影中に歌われた1つの曲の曲情報として複数の候補を取得した場合、取得した複数の曲情報を当該曲の曲情報の候補リストとして付加した録画データを生成してもよい。すなわち、タグ情報として、候補リストを録画データに設定してもよい。これにより、後述するように、ユーザは、候補としてあげられた曲情報の中から、適切な曲情報を選択することができる。
なお、録画データ生成部101は、カメラ11により撮影された動画の映像データを含む録画データを生成すればよいが、映像データと、マイク12により取得された音のオーディオデータとを含む録画データを生成してもよい。
記憶制御部102は、録画データ生成部101により生成された録画データの記憶装置14(内部ストレージ)への記憶を制御する。例えば、記憶制御部102は、記憶装置14の空き容量がなくなると、古い録画データから順に上書き処理をすることにより、新たな録画データを記憶するよう制御する。記憶制御部102は、開始タイミングから終了タイミングまでの録画データについて、上書きを禁止してもよい。このようにすることにより、曲が歌われた区間の録画データが削除されることを防ぐことができる。すなわち、印象的な場面の映像が削除されてしまうことを防ぐことができる。なお、記憶制御部102は、記憶装置14における、新たな録画データの記憶可能容量が所定の基準量を下回った場合、開始タイミングから終了タイミングまでの録画データについての上書き禁止を解除してもよい。ここで、新たな録画データの記憶可能容量とは、上書き処理が許可されている容量と空き容量との総量である。録画装置10では、例えば、車両の事故発生時の映像などのように、より重要な映像を記憶する必要がある場合がある。このため、新たな録画データの記憶可能容量が少なくなった場合に、そのような重要な映像を記憶できないというのは好ましくない。上書き禁止を解除することにより、そのような事態の発生を抑制することができる。
次に、再生装置20の機能構成について、説明する。図5に示すように、再生装置20は、再生制御部200と、指示受付部201と、曲データ取得部202とを有する。
再生制御部200は、録画装置10から取得した録画データを再生し、ディスプレイ21に録画データの映像を表示する。また、録画データが、マイク12により取得された音のオーディオデータを含む場合、このオーディオデータの音声をスピーカ22から出力してもよい。
また、再生制御部200は、録画データを再生する際、開始タイミングから終了タイミングまでの区間の再生中、当該区間に関連づけられた曲情報に基づいて曲をスピーカ22から出力するよう制御する。具体的には、再生制御部200は、この曲情報に基づいて取得された曲のオーディオデータを用いて、この曲をスピーカ22から出力するよう制御する。再生制御部200は、当該区間の再生中、曲データ取得部202が取得したオーディオデータを用いて、曲をスピーカ22から出力する。なお、この出力は、マイク12により取得された音のオーディオデータの音声の出力と重畳されてもよい。重畳される両者の音量の比率は任意に設定することができる。また、マイク12により取得された音をミュートするよう設定してもよい。
また、再生制御部200は、録画データに対して上述した位置情報が付与されている場合、曲を出力するとき、この位置情報に基づいて特定された位置から曲を再生して出力するよう制御してもよい。すなわち、再生制御部200は、実際に歌われたときの歌い出しと、再生時の歌い出しとがそろうように、曲の出力を行なってもよい。このようにすることにより、録画時の状況をより忠実に再現することができる。
また、録画データが開始タイミングから終了タイミングまでの区間を複数備え、隣接する区間の間隔が所定の時間よりも短い場合、再生制御部200は、一方の区間で出力する曲と他方の区間で出力する曲とをクロスフェードさせて出力するよう制御してもよい。すなわち、再生制御部200は、先行する曲をフェードアウトさせるとともに、後続する曲をフェードインするように曲の出力を行なってもよい。このようにすることにより、より自然に曲を楽しむことができる。
また、開始タイミングから終了タイミングまでの区間の長さが当該区間に対応付けられている曲の長さよりも長い場合、再生制御部200は、当該曲をループして出力するよう制御してもよい。すなわち、この区間の長さが、後述する曲データ取得部202により取得された曲の長さよりも長い場合、再生制御部200は、当該区間の再生中、曲データ取得部202により取得された曲を繰り返し出力するよう制御してもよい。このようにすることにより、歌われていた実際の期間と同じだけ曲を出力することができるので、録画時の状況をより忠実に再現することができる。
なお、再生制御部200は、録画データの全体を再生してもよいし、録画データのダイジェスト再生を行なってもよい。ダイジェスト再生を行なう場合、再生制御部200は、録画データのうち、開始タイミングから終了タイミングまでの区間を抽出して、ダイジェスト再生してもよい。このようにすることにより、印象的な場面を抽出したダイジェスト再生を提供することができる。
指示受付部201は、開始タイミングから終了タイミングまでの区間の曲の出力に関する指示を受け付ける。指示受付部201は、入力装置23を介してユーザが入力した指示を受け付ける。再生制御部200は、受け付けられた指示に従って、開始タイミングから終了タイミングまでの区間の曲の出力を行なうよう制御してもよい。例えば、録画データにおいて、ある区間の1つの曲に対し、複数の曲情報を含む候補リストが付加されている場合、指示受付部201は、候補リストに挙げられた曲情報の中からいずれかを選択する指示を受け付ける。この場合、再生制御部200は、選択された曲情報に基づいて曲を出力するよう制御する。すなわち、再生制御部200は、選択された曲情報に基づいて取得された曲のオーディオデータを用いて、この曲をスピーカ22から出力するよう制御する。このような構成によれば、ユーザは、候補としてあげられた曲情報の中から適切な曲情報を選択することができるため、適切な曲を聞くことができる。
また、例えば、指示受付部201は、曲における再生開始位置を指定する指示を受け付けてもよい。この場合、再生制御部200は、開始タイミングから終了タイミングまでの区間で曲を出力するとき、曲における指定された再生開始位置からこの曲を再生して出力するよう制御する。例えば、曲の2番から再生するよう指示された場合、再生制御部200は、曲の2番から出力する。このようにすることで、ユーザは、所望の再生開始位置から曲を聞くことができる。
曲データ取得部202は、録画データにおける開始タイミングから終了タイミングまでの区間の再生中に出力される曲のオーディオデータを取得する。具体的には、曲データ取得部202は、録画装置10の録画中に歌われた曲の原曲のオーディオデータを取得する。すなわち、曲データ取得部202は、実際のアーティストが歌っている曲又は演奏している曲のオーディオデータを取得する。本実施の形態では、曲データ取得部202は、録画データに付与されている曲情報と一致する曲情報を持つオーディオデータを取得する。ただし、曲データ取得部202は、指示受付部201により候補リストから曲情報が選択されている場合には、選択された曲情報に一致する曲情報を持つオーディオデータを取得する。
曲データ取得部202は、再生装置20の記憶装置25に記憶されているオーディオデータ群から、当該区間の再生中に出力すべきオーディオデータを取得してもよいし、ネットワークインタフェース24を介して、有線又は無線により通信可能に接続された他の装置からオーディオデータを取得してもよい。例えば、ネットワークストリーミングにより配信されたオーディオデータを取得してもよい。上述の通り、再生制御部200は、曲データ取得部202が取得したオーディオデータを用いて、開始タイミングから終了タイミングまでの録画データの再生中に、曲の出力を行なう。
次に、動画システム1の動作の一例についてフローチャートを用いて説明する。図6は、録画装置10によるタグ情報の設定動作の一例を示すフローチャートである。以下、図6に沿って、タグ情報の設定動作の一例を説明する。
ステップS100において、曲情報取得部100が、マイク12によって取得された音のオーディオデータを継続的に監視し、ユーザの音声が検出されたか否かを判定する。音声が検出されない場合(ステップS100でNo)、本ステップが継続する。音声が検出された場合(ステップS100でYes)、処理はステップS101へ移行する。
ステップS101において、曲情報取得部100は、検出した音声のオーディオデータのバッファへの蓄積を開始する。
次に、ステップS102において、曲情報取得部100は、音声が検出されなくなったか否かを判定する。音声が検出されている場合(ステップS102でNo)、処理はステップS103へ移行し、音声が検出されなくなった場合(ステップS102でYes)、処理はステップS109に移行する。
ステップS103において、曲情報取得部100は、所定の単位時間分のオーディオデータが蓄積されたか否かを判定する。単位時間分のオーディオデータが蓄積された場合(ステップS103でYes)、処理はステップS104へ移行し、そうでない場合(ステップS103でNo)、処理はステップS102へ戻る。
ステップS104において、曲情報取得部100は、蓄積されたオーディオデータを用いて、曲情報を取得する。具体的には、曲情報取得部100は、上述した通り、このオーディオデータを用いた楽曲検索で得られた曲情報を取得する。なお、曲情報取得部100は、このオーディオデータが、曲のどの位置に対応するかについての情報である上述した位置情報を取得してもよい。
次に、ステップS105において、曲情報取得部100は、開始タイミングのタグ情報を設定済みであるか否かを判定する。なお、開始タイミング及び終了タイミングで特定される区間が1つの録画データに対して複数設定されうることを考慮すると、より詳細には、本ステップの判定は、終了タイミングのタグ情報と未だ対をなしていない開始タイミングのタグ情報が設定されているか否かの判定である。したがって、既に、対をなす開始タイミングと終了タイミングのタグ情報が1組以上設定されているとしても、そのような開始タイミングのタグ情報については無視して、開始タイミングのタグ情報を設定済みであるか否かの判定が行なわれる。開始タイミングのタグ情報が設定されていない場合(ステップS105でNo)、処理はステップS106へ移行する。これに対し、開始タイミングのタグ情報が設定されている場合(ステップS105でYes)、処理はステップS107へ移行する。
ステップS106において、曲情報取得部100は、ステップS104の処理に用いられたオーディオデータの取得タイミングを開始タイミングとする。このようにして、曲情報取得部100は開始タイミングを取得する。そして、録画データ生成部101は、この開始タイミングのタグ情報を、このオーディオデータの取得タイミングに相当する録画時刻におけるタグ情報として、録画データに設定する。また、録画データ生成部101は、ステップS104で得られた曲情報のタグ情報についても、このオーディオデータの取得タイミングに相当する録画時刻におけるタグ情報として、録画データに設定する。なお、ステップS104において、位置情報も取得している場合、録画データ生成部101は、この位置情報のタグ情報についても、このオーディオデータの取得タイミングに相当する録画時刻におけるタグ情報として、録画データに設定する。
ステップS106の後、処理はステップS102に戻り、上述した処理が繰り返される。すなわち、音声が継続している場合、次の単位時間分のオーディオデータに対して、楽曲の検索が行なわれることとなる。上述した通り、音声が検出されなくなった場合(ステップS102でYes)、処理はステップS109に移行する。
ステップS109では、曲情報取得部100は、音声が検出されなくなったタイミングを終了タイミングとする。このようにして、曲情報取得部100は終了タイミングを取得する。すなわち、録画データ生成部101は、この終了タイミングのタグ情報を、音声が検出されなくなったタイミングに相当する録画時刻におけるタグ情報として、録画データに設定する。そして、オーディオデータの蓄積が終了される。なお、終了タイミングのタグ情報の設定は、開始タイミングのタグ情報だけが設定されている場合に行なわれる。
一方、ステップS107では、前回のオーディオデータに対して検索された曲情報と、今回のオーディオデータに対して検索された曲情報とが異なるか否かを判定する。すなわち、検索された曲が前回と比べて変化したか否かを判定する。これにより、歌われる曲が変わったとしても、適切にタグ情報を付与することができる。検索された曲が前回と比べて変化した場合(ステップS107でYes)、処理はステップS108へ移行する。検索された曲が前回と比べて変化していない場合(ステップS107でNo)、処理はステップS102へ戻り、上述した処理が繰り返される。すなわち、音声が継続している場合、次の単位時間分のオーディオデータに対して、楽曲の検索が行なわれることとなる。
ステップS108において、曲情報取得部100は、ステップS104の処理に用いられたオーディオデータの取得タイミングを終了タイミングとする。このようにして、曲情報取得部100は終了タイミングを取得する。すなわち、録画データ生成部101は、この終了タイミングのタグ情報を、このオーディオデータの取得タイミングに相当する録画時刻におけるタグ情報として、録画データに設定する。ステップS108の後、処理は、ステップS106へ移行する。
以上のような処理により、録画データに対して、例えば図7に示すようなタグ情報が設定される。
次に、再生装置20の動作の一例について説明する。図8は、再生装置20による再生動作の一例を示すフローチャートである。以下、図8に沿って、再生動作の一例を説明する。
ステップS200において、再生制御部200は、映像の再生が終了されたか否かを判定する。再生が終了された場合(ステップS200でYes)、処理は終了する。再生が継続している場合(ステップS200でNo)、処理はステップS201へ移行する。
ステップS201において、再生制御部200は、開始タイミングのタグ情報を検出したか否かを判定する。すなわち、再生制御部200は、現在再生している録画データについて開始タイミングが到来したか否かを判定する。開始タイミングが到来していない場合(ステップS201でNo)、処理はステップS200に戻る。開始タイミングが到来した場合(ステップS201でYes)、処理はステップS202へ移行する。
ステップS202において、曲データ取得部202は、録画データにタグとして付与されている曲情報に基づいて曲のオーディオデータを取得する。
次に、ステップS203において、再生制御部200は、ステップS202で取得されたオーディオデータを用いて曲を出力する。すなわち、再生制御部200は、曲を映像に重畳させて録画データを再生する。
次に、ステップS204において、再生制御部200は、終了タイミングのタグ情報を検出したか否かを判定する。すなわち、再生制御部200は、現在再生している録画データについて終了タイミングが到来したか否かを判定する。終了タイミングが到来していない場合(ステップS204でNo)、曲の再生が継続される。
これに対し、終了タイミングが到来した場合(ステップS204でYes)、処理はステップS205に移行し、ステップS205において、再生制御部200は、曲の再生を終了する。ステップS205の後、処理はステップS200に戻る。
以上、実施の形態1について説明した。上述した録画装置10によれば、録画中に曲が歌われた場合に、録画データのどの区間において歌われたのかを特定する情報(すなわち、開始タイミング及び終了タイミング)と、どの曲が歌われたかについての情報(曲情報)を記録することができる。このため、ユーザは、車両のカメラの映像を再生する際に、実際に曲が歌われたタイミングで、その曲を聞くことができる。このため、ユーザは車両のカメラの映像を楽しむことができる。したがって、映像の視聴についての利便性を向上することができる。
なお、上述した実施の形態では、曲情報は、曲の識別情報であるとしたが、曲情報を曲のオーディオデータとすることもできる。この場合、録画データ生成部101は、開始タイミングから終了タイミングまでの区間について、映像データと曲のオーディオデータとを重畳した録画データを生成してもよい。このようにすることにより、一般的な再生装置においても、録画データの再生の際、曲が歌われた区間に曲を出力することができる。
なお、録画装置10において、映像データと曲のオーディオデータとを重畳した録画データを生成する場合、録画データ生成部101は、2種類の録画データを生成してもよい。すなわち、録画データ生成部101は、映像データと曲のオーディオデータとを重畳した録画データである第1の録画データと、曲のオーディオデータが重畳されていない映像データの録画データである第2の録画データとを生成してもよい。曲のオーディオデータを重畳することはドライブ映像が加工されることを意味するため、ドライブ映像としての価値が失われかねない。このため、2種類の録画データを作成することにより、そのような事態を回避することができる。
また、上述した実施の形態では、録画と同時に、曲の解析処理を行なったが、必ずしも録画中に行なわれなくてもよい。
<実施の形態2>
上述した実施の形態では、解析対象のオーディオデータとの類似度が所定の閾値(第1の閾値)を超える曲が見つからなかった場合、開始タイミングから終了タイミングの区間に対応付ける曲を決定することができない。したがって、そのような場合には、当該区間の再生の際、曲を出力することができない。そこで、本実施の形態では、そのような場合であっても、曲を出力することができる技術を提供する。以下、上述した実施の形態と異なる点について説明する。
本実施の形態では、曲情報取得部100は、解析対象のオーディオデータとの類似度が第1の閾値を超える曲が見つからなかった場合、第1の閾値よりも低い所定の第2の閾値を超える曲の曲情報を取得する。すなわち、曲情報取得部100は、カメラ11の撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在する場合には、当該曲の曲情報を、カメラ11の撮影中に歌われた曲の曲情報として取得する。そして、曲情報取得部100は、カメラ11の撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在しない場合には、類似度が第2の閾値を超える曲の曲情報を、カメラ11の撮影中に歌われた曲の曲情報の候補として取得する。
また、本実施の形態では、録画データ生成部101は、第2の閾値を超える曲の曲情報が取得された場合、第2の閾値を超える曲の曲情報をカメラ11の撮影中に歌われた曲の曲情報の候補リストとして付加した録画データを生成する。すなわち、録画データ生成部101は、タグ情報として、第2の閾値を超える曲の曲情報を含む候補リストを録画データに設定する。
そして、本実施の形態の再生装置20では、第1の閾値を超える曲が存在しない場合、すなわち、第1の閾値を超える曲の曲情報が得られなかった場合、指示受付部201は、第2の閾値を超える曲の曲情報を含む候補リストに挙げられた曲情報の中からいずれかを選択する指示をユーザから受け付ける。そして、再生制御部200は、第1の閾値を超える曲が存在しない場合、すなわち、第1の閾値を超える曲の曲情報が得られたかった場合、指示で選択された曲情報に基づいて開始タイミングから終了タイミングまでの区間の曲の出力を行なうよう制御する。このため、曲データ取得部202は、指示で選択された曲情報を持つ曲のオーディオデータを取得する。なお、第1の閾値を超える曲の曲情報が得られている場合には、再生制御部200は、実施の形態1で説明したように、この曲情報に基づいて開始タイミングから終了タイミングまでの区間の曲の出力を行なうよう制御する。
なお、指示受付部201は、例えば、録画データの再生前に予め指示を受け付ける。本実施の形態では、指示受付部201は、受け付けた指示で指定された曲情報をタグ情報として録画データに設定する。
ユーザに曲情報を指示してもらうために、注意喚起する構成を設けてもよい。すなわち、図9に示すように、再生装置20は注意喚起部203をさらに有してもよい。注意喚起部203の処理は、例えばプロセッサ26によるプログラムの実行により実現される。注意喚起部203は、開始タイミングから終了タイミングまでの区間の再生中に出力する曲が特定されていない録画データが存在する場合に、注意喚起を行なう。例えば、注意喚起部203は、ユーザが、曲が特定されていない録画データの再生を行なおうとした際に、曲情報の指定を促す表示を行なってもよい。また、注意喚起部203は、再生可能な録画データの一覧画面において、曲が特定されていない録画データに対し、曲が特定されていない録画データであることを表わすマークを表示してもよい。このようにすることで、ユーザに対して曲の指定を促すことができる。
なお、再生制御部200は、開始タイミングから終了タイミングまでの区間の再生中に出力する曲が特定されていない録画データの再生が開始された場合、当該区間の再生中、所定の曲を出力するよう制御してもよい。すなわち、ユーザによる曲の指定が行なわれていない状態で、録画データが再生された場合、おすすめの曲などといった所定の曲を再生するようにしてもよい。特に、この所定の曲として、候補リストに挙げられた曲情報のいずれかにより特定される曲が用いられてもよい。このようにすることにより、曲が指定されていない場合であっても、当該区間において、曲を出力することができる。
また、指示受付部201は、第2の閾値を超える曲が存在しない場合に、曲を指定する指示を受け付けてもよい。第2の閾値を超える曲が存在しない場合、録画データには上述した候補リストが設定されていないため、開始タイミングから終了タイミングまでの区間の再生中に出力する曲を特定することできない。そこで、そのような場合には、ユーザから曲を指定する指示を受け付けることにより、当該区間の再生中に出力する曲を特定することが可能となる。この場合、再生制御部200は、当該区間の再生中、指示受付部201が受け付けた指示で指定された曲を出力するよう制御する。
次に、本実施の形態における動作の一例についてフローチャートを用いて説明する。図10は、録画装置10による曲情報に関するタグ情報の設定動作の一例を示すフローチャートである。以下、図10に沿って、本実施の形態における曲情報に関するタグ情報の設定動作の一例を説明する。
ステップS300において、録画データ生成部101は、類似度が第1の閾値を超える曲が検索されたかを判定する。すなわち、録画データ生成部101は、類似度が第1の閾値を超える曲の曲情報を曲情報取得部100が取得したか否かを判定する。類似度が第1の閾値を超える曲が検索された場合(ステップS300でYes)、処理はステップS301へ移行し、そうでない場合(ステップS300でNo)、処理はステップS303に移行する。
ステップS301において、録画データ生成部101は、類似度が最も高い曲の曲情報をタグ情報として録画データに設定する。すなわち、録画データ生成部101は、類似度が第1の閾値を超える曲が複数見つかった場合、それらのうち、最も類似度が高い曲の曲情報をタグ情報として録画データに設定する。ステップS301の後、処理はステップS302へ移行する。
ステップS302において、録画データ生成部101は、第1の閾値を超える曲が複数ある場合、それらの曲情報を候補リストのタグ情報として録画データに設定する。これにより、実施の形態1で述べたように、ユーザは、候補としてあげられた曲情報の中から、適切な曲情報を選択することができる。ステップS302が終わると、曲情報に関するタグ情報の設定を終了する。
一方、ステップS303では、録画データ生成部101は、検索条件に該当する曲がないことを示すタグ情報、すなわち、第1の閾値を超える曲が存在しないことを示すタグ情報を録画データに設定する。ステップS303の後、処理はステップS304へ移行する。
ステップS304において、録画データ生成部101は、第2の閾値を超える曲がある場合、それらの曲情報を候補リストのタグ情報として録画データに設定する。すなわち、類似度が第2の閾値を超える曲の曲情報を曲情報取得部100が取得している場合、録画データ生成部101は、そのような曲の曲情報を候補リストのタグ情報として録画データに設定する。これにより、検索条件に該当する曲が見つからなかった場合であっても、ユーザは、所望の曲情報を選択することができる。
図11は、ユーザによる曲情報の設定処理の一例を示すフローチャートである。以下、図11に沿って、本実施の形態におけるユーザによる曲情報の設定処理の一例を説明する。ユーザは、例えば、第1の閾値を超える曲が存在しないことを示すタグ情報が付加されている録画データについて、曲を指定する操作を行なう。
ステップS400において、指示受付部201は、録画データに候補リストが設定されているか否かを判定する。候補リストが設定されている場合(ステップS400でYes)、処理はステップS401へ移行する。これに対し、候補リストが設定されていない場合(ステップS400でNo)、処理はステップS403へ移行する。
ステップS401において、指示受付部201は、候補リストに挙げられている曲情報の一覧をユーザに提示する。ステップS401の後、処理はステップS402へ移行する。
ステップS402において、指示受付部201は、候補リストに挙げられている曲情報のいずれか一つを選択する指示をユーザから受け付ける。そして、指示受付部201は、この指示で指定された曲情報を、曲情報のタグ情報として、当該録画データに新たに設定する。以上により、曲情報の設定処理を終了する。
一方、ステップS403では、指示受付部201は、曲情報の入力をユーザから受け付ける。そして、指示受付部201は、入力された曲情報を、曲情報のタグ情報として、当該録画データに新たに設定する。以上により、曲情報の設定処理を終了する。
以上、実施の形態2について説明した。本実施の形態によれば、検索条件に該当する曲が見つからなかった場合、ユーザは、所望の曲情報を選択することができる。このため、検索条件に該当する曲が見つからなかった場合であっても、録画データの再生の際、曲を出力することができる。
<実施の形態3>
上述した実施の形態では、録画装置10により録画データに設定された曲情報で特定される曲のオーディオデータ取得できない場合、再生装置20は、録画データにおける曲の開始タイミングから終了タイミングの区間の再生の際、曲を出力することができない。そこで、本実施の形態では、録画装置10により録画データに設定された曲情報で特定される曲のオーディオデータ取得できない場合であっても、曲の再生を可能にする技術を提供する。以下、上述した実施の形態と異なる点について説明する。
本実施の形態にかかる曲データ取得部202は、録画装置10により録画データに設定された曲情報により特定される曲のオーディオデータが取得できない場合、この曲情報により特定される曲と関連しオーディオデータが取得可能な曲を、開始タイミングから終了タイミングの区間の再生中に出力する曲の候補とする。すなわち、曲データ取得部202は、曲情報により特定される曲と関連する曲であって、オーディオデータが取得可能な曲のリストである関連曲リストを作成する。この関連曲リストに挙げられた曲が、録画データの再生の際に出力される曲の候補となる。なお、関連曲リストは候補リストと称されてもよい。そして、再生制御部200は、録画装置10により録画データに設定された曲情報により特定される曲のオーディオデータが取得できない場合、当該区間の再生中、上述した候補に含まれる曲のいずれかを出力するよう制御する。すなわち、再生制御部200は、関連曲リストに挙げられている曲のいずれかを出力する。
ここで、関連する曲とは、例えば、曲に関する所定の属性が同じである曲をいう。具体的には、例えば、関連する曲は、同じアルバムに収録されている曲であってもよいし、同じアーティストの曲であってもよいし、同じジャンルの曲であってもよいし、アーティストが属するカテゴリが同じである曲であってもよいし、同じリリース年の曲であってもよい。なお、これらは例に過ぎず、他の所定の関連基準に従って、関連する曲が定義されてもよい。曲データ取得部202は、例えば、曲についてのデータベースを参照することにより、関連する曲を特定する。
再生制御部200は、関連曲リストに挙げられている曲のうち自動的に選択された曲を出力してもよいし、ユーザからの指示にしたがい選択された曲を出力してもよい。自動的に選択される場合、例えば、再生制御部200は、録画データの開始タイミングから終了タイミングまでの区間の再生中、関連曲リストに含まれる曲のうち(すなわち、候補に含まれる曲のうち)、所定の選択ルールにしたがって選択された曲を出力するよう制御する。このとき、曲データ取得部202は、選択された曲のオーディオデータを取得し、再生制御部200は、このオーディオデータを用いて曲を出力する。なお、所定の選択ルールは、任意のルールを用いることができる。所定の選択ルールは、例えば、ランダムに選択するというルールであってもよいし、曲がリリースされた時期が最も新しい曲を選択するというルールであってもよい。自動的に選択することにより、ユーザが指定する手間を省くことができる。
また、ユーザからの指示にしたがい選択する場合、例えば、指示受付部201が、関連曲リストに含まれる曲のうち(すなわち、候補に含まれる曲のうち)、いずれかを指定する指示をユーザから受け付ける。そして、再生制御部200は、録画データの開始タイミングから終了タイミングまでの区間の再生中、指示により指定された曲を出力するよう制御する。このとき、曲データ取得部202は、指定された曲のオーディオデータを取得し、再生制御部200は、このオーディオデータを用いて曲を出力する。ユーザの指示により曲を選択することにより、ユーザは所望の曲を聴くことができる。
また、本実施の形態においても、ユーザによる曲の選択を促すために、注意喚起する構成を設けてもよい。すなわち、再生装置20は注意喚起部203を有してもよい。この場合、注意喚起部203は、録画装置10により録画データに設定された曲情報により特定される曲のオーディオデータが取得できない場合に、注意喚起を行なう。例えば、注意喚起部203は、ユーザが、曲が選択されていない録画データの再生を行なおうとした際に、関連曲リストから曲を選択することを促す表示を行なってもよい。また、注意喚起部203は、再生可能な録画データの一覧画面において、オーディオデータが取得できない曲が設定されている録画データに対し、その旨を表わすマークを表示してもよい。このようにすることで、ユーザに対して曲の選択を促すことができる。
なお、関連曲リストに含まれる曲のうちいずれかを指定する指示が指示受付部201により受け付けられた場合、曲データ取得部202は、指定された曲のオーディオデータが存在する場所を示す情報を保存するようにしてもよい。また、曲データ取得部202は、録画装置10により録画データに設定された曲情報により特定される曲のオーディオデータが取得できる場合に、この曲のオーディオデータが存在する場所を示す情報を記憶装置25に保存するようにしてもよい。また、曲データ取得部202は、オーディオデータが存在する場所を示す情報をタグ情報として録画データに設定してもよい。ここで、曲のオーディオデータが存在する場所を示す情報は、例えば、ファイルパスであってもよいし、当該曲を配信するネットワークストリーミングサービスのURL(Uniform Resource Locator)であってもよいし、ダウンロードするためのURLであってもよい。このように、一旦、曲のオーディオデータが存在する場所を示す情報を保存しておくことにより、繰り返し録画データを再生する場合に、オーディオデータを容易に取得することが可能となる。
次に、本実施の形態において、録画データの再生時に開始タイミングから終了タイミングまでの区間で出力する曲の決定についての処理の流れの一例を説明する。図12は、出力する曲の決定についての処理の流れの一例を示すフローチャートである。以下、図12に沿って、出力する曲の決定についての処理の流れの一例を説明する。
曲データ取得部202は、録画装置10により録画データに設定された曲情報により特定される曲のオーディオデータを検索する。具体的には、以下のステップS500からステップS502の処理を行なう。
ステップS500において、曲データ取得部202は、再生装置20内を検索する。具体的には、曲データ取得部202は、記憶装置25に記憶されている音楽ライブラリを検索する。再生装置20内に検索対象のオーディオデータが存在しない場合(ステップS500でNo)、処理はステップS501へ移行する。これに対し、再生装置20内に検索対象のオーディオデータが存在する場合(ステップS500でYes)、処理はステップS507へ移行する。
ステップS501において、曲データ取得部202は、ネットワークを介して、検索対象のオーディオデータを検索する。本ステップでは、曲データ取得部202は、ネットワーク上のユーザが利用可能なデータを検索する。曲データ取得部202は、例えば、クラウド上のオンラインストレージを検索してもよいし、ユーザが利用可能な音楽配信サービスにより提供されるオーディオデータを検索してもよい。なお、このとき、曲データ取得部202は、再生装置20のユーザのアカウントを利用するなどして、これらの接続先にアクセスしてもよい。検索対象のオーディオデータが、ネットワークを介して利用可能でない場合(ステップS501でNo)、処理はステップS502へ移行する。これに対し、検索対象のオーディオデータが、ネットワークを介して利用可能である場合(ステップS501でYes)、処理はステップS507へ移行する。
ステップS502は、ユーザが現在利用可能ではない音楽配信サービスにより提供されるオーディオデータの中に、検索対象のオーディオデータが存在するか否かを検索する。ここで、ユーザが現在利用可能ではない音楽配信サービスとは、具体的には例えば、ユーザが当該音楽配信サービスとの間にサービス提供についての契約又は購入手続きをしていないサービスをいう。検索対象のオーディオデータが、現在利用可能ではない音楽配信サービスにより提供可能である場合(ステップS502でYes)、処理はステップS503へ移行し、そうでない場合(ステップS502でNo)、処理はステップS505へ移行する。
ステップS503において、曲データ取得部202は、検索対象のオーディオデータを提供可能な音楽配信サービスであって、ユーザが現在利用可能でない音楽配信サービスに関する情報をディスプレイ21に提示する。すなわち、そのような音楽配信サービスを利用することにより、オーディオデータを取得できることをユーザに通知する。これにより、そのような音楽配信サービスとのストリーミング配信契約またはダウンロード購入手続きを促す。このように、曲データ取得部202は、曲情報により特定される曲のオーディオデータの取得のために、ユーザが現在利用可能ではない音楽配信サービスからのオーディオデータの提供が必要である場合、当該音楽配信サービスに関する情報を提示してもよい。こうすることにより、曲情報により特定される曲を出力することが可能となる。ステップS503の後、処理はステップS504へ移行する。
ステップS504において、曲データ取得部202は、検索対象のオーディオデータを提供可能な音楽配信サービスが利用可能となったか否かを判定する。音楽配信サービスが利用可能となっていない場合(ステップS504でNo)、処理はステップS505へ移行する。これに対し、音楽配信サービスが利用可能となった場合(ステップS504でYes)、処理はステップS507へ移行する。
ステップS505において、曲データ取得部202は、曲情報により特定される曲と関連する曲であって、オーディオデータが取得可能な曲のリスト(すなわち、関連曲リスト)を作成する。ステップS505の後、処理はステップS506へ移行する。
ステップS506において、指示受付部201が、関連曲リストから曲を選択する指示をユーザから受け付ける。ステップS506の後、処理はステップS507へ移行する。
ステップS507において、再生制御部200は、開始タイミングから終了タイミングまでの区間の再生中に出力する曲を決定する。再生装置20内に検索対象のオーディオデータが存在する場合(ステップS500でYes)、ネットワークを介して利用可能である場合(ステップS501でYes、又はステップS504でYes)、再生制御部200は、録画データに設定された曲情報により特定される曲を出力対象の曲とする。これに対し、関連曲リストの中から指定された場合(ステップS506)、再生制御部200は、指定された曲を出力対象の曲とする。なお、出力する曲の決定に伴い、再生制御部200は、録画データにタグ情報として設定された曲情報を、決定された曲の曲情報に更新してもよい。すなわち、再生制御部200は、タグ情報を更新してもよい。
以上、実施の形態3について説明した。本実施の形態によれば、関連曲リストが作成される。このため、録画装置10により録画データに設定された曲情報で特定される曲のオーディオデータ取得できない場合であっても、曲の再生を可能にすることができる。
<実施の形態4>
上述した実施の形態では、記憶装置14の空き容量がなくなると、古い録画データから順に上書き処理をすることにより、新たな録画データを記憶するよう制御する。このため、上書き処理により、曲が歌われた区間の録画データが削除される恐れがある。これを防ぐために、上述の通り、曲が歌われた区間の録画データを上書き禁止にすることも可能である。しかしながら、その場合、上書きが禁止された録画データが記憶装置14において増加すればするほど、新たな録画データの記憶可能容量が減少してしまい、車両の事故発生時の映像などのように、より重要な映像を記憶できなくなる恐れがある。これを防ぐために、上述の通り、新たな録画データの記憶可能容量が少なくなった場合に、上書き禁止を解除することも可能である。しかしながら、その場合、曲が歌われた区間の録画データが削除される恐れが再び生じる。このように、上述した実施の形態では、曲が歌われた区間の録画データ及びより重要な録画データについて保存することが困難となる恐れがある。そこで、本実施の形態では、録画データを適切に保存することができる技術を提供する。以下、上述した実施の形態と異なる点について説明する。
図13は、本実施の形態における録画装置10のハードウェア構成の一例を示すブロック図である。図13に示した構成は、メモリカード、USB(Universal Serial Bus)メモリなどのリムーバブルメディア19が接続される外部ストレージインタフェース16をさらに有する点で、図2に示した構成と異なっている。外部ストレージインタフェース16は、録画装置10の外部ストレージとして機能するリムーバブルメディア19と録画装置10とを通信可能に接続するインタフェース回路である。
本実施の形態における記憶制御部102は、録画データのうち開始タイミングから終了タイミングまでの区間のデータ、すなわち曲が歌われた区間のデータを記憶装置14から他の記憶装置に移動するよう制御する。より詳細には、記憶制御部102は、上述した他の記憶装置の空き容量が、当該区間のデータのサイズ以上である場合、当該区間のデータを記憶装置14から他の記憶装置に移動する。ここで、他の記憶装置は、記憶装置14以外の任意の外部のストレージを言い、具体的には、リムーバブルメディア19であってもよいし、ネットワークインタフェース13を介して接続されるオンラインストレージであってもよい。なお、他の記憶装置としてオンラインストレージが用いられる場合、外部ストレージインタフェース16は必ずしも設けられなくてもよい。
次に、本実施の形態において、曲が歌われた区間の録画データを他の記憶装置に移動する動作の流れの一例を説明する。図14は、曲が歌われた区間の録画データを他の記憶装置に移動する処理の流れの一例を示すフローチャートである。以下、図14に沿って、録画データの移動の流れの一例を説明する。
ステップS600において、記憶制御部102は、曲が歌われた区間を含む録画データが記憶装置14に記憶されているか否かを判定する。すなわち、記憶制御部102は、開始タイミングのタグ情報と終了タイミングのタグ情報とが設定された録画データが記憶装置14に記憶されているか否かを判定する。記憶制御部102は、そのような録画データがない場合、所定時間後に本ステップを繰り返す(ステップS600でNo)。これに対し、そのような録画データが記憶装置14に記憶されている場合(ステップS600でYes)、処理はステップS601へ移行する。
ステップS601において、記憶制御部102は、ステップS600で見つかった、曲が歌われた区間を含む録画データについて、当該区間部分を移動対象とする。すなわち、記憶制御部102は、曲が歌われた区間を含む録画データのうち、当該区間部分に対応する部分的な録画データを他の記憶装置への移動対象とする。
ステップS602において、記憶制御部102は、アクセス可能かつ空き容量が十分である他の記憶装置が存在するか否かを判定する。ここで、空き容量が十分であるとは、移動対象のデータのサイズ以上の空き容量があることをいう。なお、他の記憶装置として複数が存在しうる場合には、記憶制御部102は、これら全てについて順に、アクセス可能かつ空き容量が十分であるか否かを確認する。いずれかの他の記憶装置について、アクセス可能かつ空き容量が十分である場合(ステップS602でYes)、処理はステップS603へ移行する。これに対し、アクセス可能かつ空き容量が十分である他の記憶装置が存在しない場合(ステップS602でNo)、所定時間後、再び、ステップS600以降の処理が行なわれる。
ステップS603において、記憶制御部102は、記憶装置14から、ステップS601で移動対象とされたデータを、アクセス可能かつ空き容量が十分である他の記憶装置へ移動する。これにより、移動対象とされたデータのサイズだけ、記憶装置14の記憶容量が回復する。ステップS603の後、所定時間後、再び、ステップS600以降の処理が行なわれる。
以上、実施の形態4について説明した。上述の通り、本実施の形態では、記憶制御部102は、曲が歌われた区間のデータを、録画データが記憶される記憶装置14から他の記憶装置へと移動する。これにより、曲が歌われた区間のデータが、記憶装置14において上書きされてしまって削除されることを防ぐことができるとともに、車両の事故発生時の映像などのようにより重要な映像を記憶するための記憶容量を確保することができる。
<実施の形態5>
本実施の形態では、録画データの再生開始位置の指定についての利便性を向上させる技術を提供する。具体的には、再生装置20は、ユーザが曲を歌った場合、その曲に対応する位置へ録画データの再生位置を移動する。以下、上述した実施の形態と異なる点について説明する。
図15は、本実施の形態にかかる再生装置20のハードウェア構成の一例を示すブロック図である。図15に示した再生装置20は、マイク27が追加されている点で、図3に示した構成と異なっている。マイク27は、再生装置20の周辺の音を集音する装置であり、再生装置のユーザの声を取得する。
図16は、本実施の形態にかかる再生装置20の機能構成の一例を示すブロック図である。図16に示した再生装置20は、曲情報取得部204が追加されている点で、図5に示した構成と異なっている。曲情報取得部204の処理は、例えばプロセッサ26によるプログラムの実行により実現される。なお、本実施の形態の再生装置20も、図9と同様、注意喚起部203をさらに有してもよい。
曲情報取得部204は、マイク27によって取得された音のオーディオデータから、再生装置20を利用するユーザにより歌われた曲の曲情報(例えば、識別情報)を取得する。また、曲情報取得部204は、ユーザによる歌い出しに対応する曲の一部分について、当該曲の全体における位置を特定する位置情報をさらに取得してもよい。つまり、曲情報取得部204は、ある曲が歌われた場合、その歌い出しが、当該曲のどこからであるか(例えば、曲の冒頭からなのか、サビからなのか、2番からなのか)を特定する位置情報を取得してもよい。なお、曲情報取得部204による曲情報の取得及び位置情報の取得については、録画装置10における曲情報取得部100と同様の処理により可能である。したがって、曲情報取得部204は、サーバから、解析対象のオーディオデータとの類似度が所定の閾値を超える曲の曲情報と、位置情報とを取得する。なお、再生装置20における曲情報及び位置情報の取得においても、解析処理は、サーバではなく、曲情報取得部204(すなわち、再生装置20)の処理として行なわれてもよい。
本実施の形態にかかる再生制御部200は、曲情報取得部204が曲情報を取得した場合、録画データに付加されている曲情報のうち、再生装置20の曲情報取得部204が取得した曲情報に対応する曲情報と関連づけられている区間を再生開始位置とする。そして、再生制御部200は、その再生開始位置から、曲の出力を伴いつつ録画データを再生する。図17は、録画データの再生開始位置について示す模式図である。図17に示すように、例えば、ある録画データにおいて、曲Aが関連づけられている区間と曲Bが関連づけられている区間が設定されているものとする。この場合、再生装置20の曲情報取得部204が曲Aの曲情報を取得した場合、再生制御部200は、曲Aの区間(具体的には例えば曲Aの区間の開始タイミングである再生開始位置P)から録画データの再生を開始する。これにより、ユーザは、所望の曲が歌われている箇所の視聴を容易に開始することができる。
上述した再生開始位置の制御では、曲が歌われた区間の冒頭へのスキップが行なわれたが、位置情報を用いることにより、曲が歌われた区間の途中へのスキップも可能となる。すなわち、録画データが歌い出しの位置情報(以下、第1の位置情報と称す)を含み、再生装置20の曲情報取得部204が歌い出しの位置情報(以下、第2の位置情報と称す)を取得した場合、再生制御部200は、第1の位置情報と第2の位置情報の差に応じて、録画データの再生開始位置を調整してもよい。これについて、図18を用いて、具体的に説明する。図18は、録画データの再生開始位置について示す模式図である。図18に示すように、例えば、ある録画データにおいて、曲Aが関連づけられている区間と曲Bが関連づけられている区間が設定されているものとする。特に、曲Aが関連づけられている区間の開始タイミングには、第1の位置情報として、曲の冒頭から1分15秒経過した位置を表わす位置情報が関連づけられているものとする。すなわち、この場合、再生装置20は、曲が歌われた区間を開始タイミングから再生するとき、当該曲の途中から(より詳細には曲の冒頭から1分15秒経過した位置から)、当該曲を出力する。ここで、再生装置20の曲情報取得部204が、曲Aの曲情報を取得し、さらに、第2の位置情報として、曲Aの冒頭から2分15秒経過した位置を表わす位置情報を取得したとする。この場合、再生制御部200は、曲Aが歌われた区間の冒頭から1分(=[2分15秒]-[1分15秒])経過した時点である再生開始位置Pから録画データの再生を開始する。これにより、より詳細に再生開始位置を決定することができる。
また、本実施の形態において、取得された曲情報に基づく再生開始位置からの再生を実施して良いか否かについて、ユーザが指示してもよい。すなわち、指示受付部201は、再生装置20の曲情報取得部204が取得した曲情報に対応する曲情報と関連づけられている録画データの区間が特定された場合に、当該区間を再生開始位置とすることを許可する指示を受け付けてもよい。この場合、再生制御部200は、許可する指示が得られた場合に、当該区間を再生開始位置とする。このような構成によれば、ユーザは、曲情報による再生開始位置の制御を行なうか否かを決定することができる。
また、指示受付部201は、再生装置20の曲情報取得部204が取得した曲情報に対応する曲情報と関連づけられている録画データの区間が複数特定された場合に、いずれの区間を再生開始位置とするかを選択する指示を受け付けてもよい。この場合、再生制御部200は、指示により選択された区間を再生開始位置とする。このような構成によれば、より適切な区間を再生することができる。
なお、指示受付部201は、曲情報に基づく再生開始位置をユーザに明示するために、曲情報に基づく再生開始位置における時刻情報又はサムネイル画像の一覧をディスプレイ21に表示してもよい。
次に、本実施の形態における、再生開始位置の決定動作の流れの一例を説明する。図19は、録画データの再生開始位置の決定動作の流れの一例を示すフローチャートである。以下、図19に沿って、再生開始位置の決定動作の流れの一例を説明する。
ステップS700において、再生制御部200は、曲情報取得部204が曲情報を取得したか否かを判定する。曲情報が取得されていない場合(ステップS700でNo)、本処理が繰り返される。曲情報が取得されると(ステップS700でYes)、処理はステップS701へ移行する。
ステップS701において、再生制御部200は、再生対象の録画データに、曲情報取得部204が取得した曲情報が設定された区間があるか否かを判定する。再生対象の録画データに当該曲情報が設定された区間がない場合(ステップS701でNo)、処理はステップS700に戻る。これに対し、再生対象の録画データに当該曲情報が設定された区間がある場合(ステップS701でYes)、処理はステップS702へ移行する。
ステップS702において、再生制御部200は、指示受付部201が所定の指示を受け付けたか否かを判定する。具体的には、再生制御部200は、取得された曲情報に基づく再生開始位置からの再生を許可する指示が受け付けられたか否かを判定する。また、再生対象の録画データに、取得された曲情報が設定された区間が複数ある場合には、再生制御部200は、いずれの区間を再生開始位置とするかを選択する指示が受け付けられたか否かを判定する。そのような指示が受付けられなかった場合(ステップS702でNo)、処理はステップS700に戻る。これに対し、そのような指示が受付けられた場合(ステップS702でYes)、処理はステップS703へ移行する。
ステップS703において、再生制御部200は、曲情報に基づく位置を、再生開始位置とする。これにより、再生装置20のユーザが歌った曲が歌われている区間から録画データの再生が開始される。
以上、実施の形態5について説明した。上述の通り、本実施の形態では、再生装置20のユーザが歌った曲に対応する位置から録画データが再生される。したがって、本実施の形態によれば、録画データの再生開始位置の指定についての利便性を向上させることができる。
<実施の形態6>
本実施の形態では、車内で複数人の人物が同時に曲を歌った場合であっても、適切に曲情報を録画データに設定することができる技術を提供する。以下、上述した実施の形態と異なる点について説明する。
本実施の形態にかかる録画データ生成部101は、所定の優先ルールにしたがって決定された人物により歌われた曲の曲情報と、当該曲の開始タイミングと、当該曲の終了タイミングとをカメラ11により撮影された動画の映像データに付加した録画データを生成する。このような構成によれば、車内で複数人の人物が同時に曲を歌った場合であっても、適切に曲情報を録画データに設定することができる。
上述した所定の優先ルールは、例えば、車内の座席に対して設定された優先度により、曲情報の取得対象の人物を決定するものである。具体的には、例えば、特定の座席の人物が歌う曲の曲情報の取得を優先するために、当該特定の座席を他の座席よりも優先するというルールが用いられる。つまり、この特定の座席には、他の座席よりも高い優先度が設定されている。なお、特定の座席は、例えば、右側の後部座席であってもよいし、左側の後部座席であってもよいし、運転席であってもよい。なお、これらの席種は例に過ぎず、車両に設けられた任意の位置の座席が特定の座席として用いられてもよい。また、優先度は、いずれか1つの座席を他の座席よりも優先するために、当該1つの座席だけに他の座席よりも高い優先度を設定してもよいし、複数の座席の優先順位を決めるために、各座席に対して優先順位に相当する優先度を設定してもよい。
所定の優先ルールとして、車内の座席に対して設定された優先度により、曲情報の取得対象の人物を決定するものが用いられる場合、録画データ生成部101は、次のような録画データを生成する。すなわち、この場合、録画データ生成部101は、優先度に基づいて選ばれる座席にいる人物により歌われた曲の曲情報と、当該曲の前記開始タイミングと、当該曲の前記終了タイミングとをカメラ11により撮影された動画の映像データに付加した録画データを生成する。
なお、優先度に基づいて選ばれる座席にいる人物により歌われた曲の曲情報は、次のようにして取得することができる。例えば、マイク12として指向性マイクを用いることにより、特定の座席の人物の声を抽出することができる。また、例えば、マイクロフォンアレーなどのような複数のマイク12を用いた公知のブラインド信号分離により、特定の座席の人物の声を抽出してもよい。曲情報取得部100は、このようにして抽出された声を使って、曲情報を取得する。すなわち、曲情報取得部100は、優先度に基づいて選ばれる座席からの声のオーディオデータを使って、当該座席にいる人物が歌った曲の曲情報を取得する。
また、上述した所定の優先ルールは、人物の声に対して設定された優先度により、曲情報の取得対象の人物を決定するものであってもよい。具体的には、例えば、特定の人物が歌う曲の曲情報の取得を優先するために、当該特定の人物の声を他の人物の声よりも優先するというルールが用いられる。つまり、この特定の人物の声には、他の人物の声よりも高い優先度が設定されている。また、優先度は、いずれか1人を他の人物よりも優先するために、当該1人の声だけに他の人物の声よりも高い優先度を設定してもよいし、複数の人物の優先順位を決めるために、複数の人物の声に対して優先順位に相当する優先度を設定してもよい。
所定の優先ルールとして、人物の声に対して設定された優先度により、曲情報の取得対象の人物を決定するものが用いられる場合、録画データ生成部101は、次のような録画データを生成する。すなわち、この場合、録画データ生成部101は、優先度に基づいて選ばれる声の人物により歌われた曲の曲情報と、当該曲の開始タイミングと、当該曲の終了タイミングとをカメラ11により撮影された動画の映像データに付加した録画データを生成する。
なお、優先度に基づいて選ばれる声の人物により歌われた曲の曲情報は、次のようにして取得することができる。曲情報取得部100は、公知の音源分離技術を用いて、マイク12によって取得されたオーディオデータから、特定の人物の声を抽出する。例えば、曲情報取得部100は、特定の人物の声を含む訓練データを用いて深層学習などの機械学習によって予め学習されたモデルに対し、マイク12によって取得されたオーディオデータを入力することにより音源分離処理を行ない、特定の人物の声を抽出する。曲情報取得部100は、このようにして抽出された声を使って、曲情報を取得する。すなわち、曲情報取得部100は、優先度に基づいて選ばれる声のオーディオデータを使って、当該声をもつ人物が歌った曲の曲情報を取得する。
優先度を曲情報の取得対象の決定以外に用いてもよい。例えば、図20に示すように、録画装置10はカメラ制御部103をさらに有してもよい。カメラ制御部103の処理は、例えばプロセッサ15によるプログラムの実行により実現される。カメラ制御部103は、優先ルールにしたがって決定された人物にズームインして撮影を行なうよう、車内を撮影するカメラ11を制御する。このような構成によれば、優先度の高い人物について注目した録画データを生成することができる。具体的には、車内の座席に対して設定された優先度が用いられる場合、カメラ制御部103は、例えば、車内の各座席とカメラ11との相対的な位置関係を予め定義した情報を用いて、カメラ11の撮影範囲及びズーム倍率を制御する。また、人物の声に対して設定された優先度が用いられる場合、カメラ制御部103は、例えば、予め登録された当該人物の顔画像とカメラ11が撮影した画像とを照合する顔認識処理により、当該人物の位置を特定し、カメラ11の撮影範囲及びズーム倍率を制御する。
なお、撮影時に、優先ルールにしたがって決定された人物にズームインを行なうのではなく、録画データの再生時に当該人物にズームインした映像表示が行なわれてもよい。すなわち、再生装置20の再生制御部200は、曲が歌われた区間の再生の際に、当該人物にズームインした映像表示を行なってもよい。車内の座席に対して設定された優先度が用いられる場合、具体的には、例えば、次のようにして、優先ルールにしたがって決定された人物にズームインした映像表示が実現される。録画データ生成部101は、どの座席の人物の曲情報を付加したかを示す情報を、曲が歌われた区間毎に録画データに対し付加する。再生装置20の再生制御部200は、この情報と、カメラ11の撮影画像内のどの領域に各座席が写されるかを示す予め定義された情報とを用いて、カメラ11の撮影画像のうち当該領域を拡大することにより、当該人物にズームインした映像表示を行なう。また、人物の声に対して設定された優先度が用いられる場合、具体的には、例えば、次のようにして、優先ルールにしたがって決定された人物にズームインした映像表示が実現される。録画データ生成部101は、予め登録された当該人物の顔画像とカメラ11が撮影した画像とを照合する顔認識処理により、当該人物の画像内の位置を特定し、この位置を示す情報を曲が歌われた区間毎に録画データに対し付加する。再生装置20の再生制御部200は、この情報を用いて、カメラ11の撮影画像のうち当該人物が位置する領域を拡大することにより、当該人物にズームインした映像表示を行なう。
ところで、曲情報取得部100は、例えば、優先度に基づいて選ばれる一人について曲情報を取得するが、複数人の人物のそれぞれについて曲情報を取得してもよい。すなわち、曲情報取得部100は、マイク12によって取得された音のオーディオデータから、カメラ11の撮影中に同時に歌われた曲のそれぞれの曲情報を取得してもよい。この場合、曲情報取得部100は、マイク12によって取得された音のオーディオデータから、人物毎の声をそれぞれ抽出し、各声のオーディオデータを用いて、それぞれの曲情報を取得する。これにより、曲情報取得部100は、各人物が歌った曲をそれぞれ特定することができるため、優先度に基づいて選ばれる一人が、他の人物と同じ曲について合唱しているか否かを判定することができる。このため、複数人の人物のそれぞれについて曲情報を取得した場合、この判定結果を他の処理の制御に利用することができる。具体的には、例えば、カメラ制御部103が、次のような制御を行なってもよい。カメラ制御部103は、同時に歌われた曲の曲情報が同じである場合には、優先ルールにしたがって決定された人物にズームインせずに車内の全体を撮影するようカメラ11を制御し、同時に歌われた曲の曲情報が異なる場合に、優先ルールにしたがって決定された人物にズームインして撮影を行なうようカメラ11を制御してもよい。このような構成によれば、状況に応じた映像内容の録画データを生成することができる。なお、録画データの再生時にこのような制御が行なわれた映像表示が行なわれてもよい。この場合、録画データ生成部101は、曲が歌われた区間毎に、同時に歌われた曲の曲情報が同じであるか否かを示す情報を録画データに付加し、再生制御部200はこの情報に基づいて、上述した制御を行なう。
次に、本実施の形態にかかる録画装置10によるタグ情報の設定動作について説明する。図21は、録画装置10によるタグ情報の設定動作の一例を示すフローチャートである。以下、図21に沿って、タグ情報の設定動作の一例を説明するが、図6に示したフローチャートと同様の処理については適宜、説明を省略する。
図21に示したフローチャートでは、ステップS100において、ユーザの音声が検出された場合(ステップS100でYes)、処理はステップS800へ移行する。
ステップS800において、曲情報取得部100は、マイク12からのオーディオデータから、曲情報の取得対象の人物のオーディオデータを抽出する。優先度に基づいて選ばれる一人だけについて曲情報を取得する場合、曲情報取得部100は、マイク12からのオーディオデータから当該一人の声のオーディオデータを抽出する。また、複数人の人物のそれぞれについて曲情報を取得する場合、曲情報取得部100は、マイク12からのオーディオデータからこれらの人物の声のオーディオデータをそれぞれ抽出する。ステップS800の後、処理はステップS801へ移行する。
ステップS801において、曲情報取得部100は、ステップS800で抽出したオーディオデータのバッファへの蓄積を開始する。
次に、ステップS802において、曲情報取得部100は、曲情報の取得対象の人物の音声が検出されなくなったか否かを判定する。曲情報の取得対象の人物の音声が検出されなくなった場合(ステップS802でYes)、処理は図6を参照して説明したS109に移行する。すなわち、ステップS109では、開始タイミングのタグ情報だけが設定されている場合、終了タイミングのタグ情報が設定される。そして、オーディオデータの蓄積が終了される。曲情報の取得対象の人物の音声が検出されている場合(ステップS802でNo)、処理はステップS103へ移行する。
ステップS103以降の処理は、図6を参照して説明した各ステップの処理と同じである。ただし、本実施の形態では、上述した通り、録画データに設定される曲情報、開始タイミング、及び終了タイミングのタグ情報は、所定の優先ルールにしたがって決定された一人についての曲情報、開始タイミング、及び終了タイミングである。
以上、実施の形態6について説明した。上述の通り、本実施の形態では、優先ルールにしたがって、いずれの人物についての曲情報を録画データに付加するのかが制御される。したがって、車内で複数人の人物が同時に曲を歌った場合であっても、適切に曲情報を録画データに設定することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。技術的に矛盾が生じない限り、各実施の形態に記載された構成又は機能の一部又は全てを他の実施の形態に記載された構成又は機能と組み合わせてもよい。また、技術的に矛盾が生じない限り、各実施の形態の一部の機能又は構成を除いてもよい。