JP7247616B2 - データ編集処理装置、アプリケーション、及び撮影装置 - Google Patents

Description

本発明は、データ編集処理装置、アプリケーション、及び撮影装置に関する。

全天球カメラの普及に伴い、全天球動画を撮影する技術が開発されている。このような全天球動画を視聴する場合において、視線の方向に合わせて立体的な音声を再生する立体音響技術が知られている。

例えば、複数のマイクで録音することで、立体的な音声を再生する技術が知られている（例えば、特許文献１）。すなわち、特許文献１では、再生する画像と立体音声を同期させることで、ユーザの視点位置と視線方向に応じた立体音声データを出力することができ、ユーザは仮想的な臨場感を味わうことができる。

このような立体音声は、画像ファイルとともにＭＰ４等の動画コンテナ形式で記録される。動画ファイルは、メタデータとともにコンテナ構造を有するファイル形式であり、画像ファイルと音声ファイルとがコンテナ形式で格納される（例えば、特許文献２参照）。

例えば、ＭＰ４形式の動画ファイルの場合には、音声ファイルは、ＡＡＣ（Advanced Audio Codec）などの非可逆圧縮音声コーデックでエンコード（符号化処理）されたものである場合が多い。このように音声ファイルを非可逆圧縮形式とすることにより、動画ファイルのデータ容量を削減することができる。

しかしながら、動画ファイルを編集用アプリケーション等により編集する場合において、非可逆圧縮形式の音声ファイルが編集される際には、音声データはデコード（復号処理）されたうえで編集が行われ、編集後にエンコードが行われる。

このように非可逆圧縮形式の音声ファイルは、編集が行われるたびにデコード及びエンコードが行われるので音質が劣化する。特に、音声ファイルが立体音声データである場合には、音質の劣化とともに、空間音声の指向性の劣化が生じるので、空間音声による臨場感が低下するという問題がある。

開示の技術は、上記事情に鑑みてこれを解決すべくなされたものであり、非可逆圧縮形式の音声ファイルを含む動画ファイルの編集による劣化を防止することを目的としている。

開示の技術は、画像データと非可逆圧縮形式の第１音声データとが格納された第１領域と、可逆圧縮形式又は非圧縮形式の第２音声データが格納された第２領域とを有するコンテナ構造の動画ファイルを編集可能とするデータ編集処理装置であって、前記動画ファイルが編集される場合に、前記第２領域から前記第２音声データを読み込んで編集する編集処理部と、前記第２領域に格納された前記第２音声データを、前記編集処理部により編集された前記第２音声データで置換する第１置換処理部と、前記編集処理部により編集された前記第２音声データを符号化する符号化処理部と、前記第１領域に格納された前記第１音声データを、前記符号化処理部により符号化された前記第２音声データで置換する第２置換処理部と、を有するデータ編集処理装置。

本発明によれば、非可逆圧縮形式の音声ファイルを含む動画ファイルの編集による劣化を防止することができる。

本実施形態に係る撮影装置の正面図（Ａ）、及び背面図（Ｂ）である。 本実施形態に係る撮影装置の右側面図（Ａ）、及び左側面図（Ｂ）である。 本実施形態に係る撮影装置の平面図（Ａ）、及び底面図（Ｂ）である。 外部マイクロフォンユニットの外観を示す斜視図である。 撮影装置及びユーザ端末に含まれるハードウェア構成を示す図である。 立体音声データを生成する処理のブロックを示す図である。 撮影装置のＣＰＵに構成される機能ブロックを例示する図である。 編集用アプリケーションの機能ブロックを例示する図である。 編集用アプリケーションの処理を説明するフローチャートである。 第２編集処理部による編集処理を概念的に説明する図である。 ファイル共有処理部による処理を説明するフローチャートである。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

以下の図１～図３における説明中の前、後、上、下、左、右の各方向は、各図に記載した矢線方向を基準とする。また、左右方向が幅方向に一致しており、前後方向が厚さ方向に一致している。

図１～図３は、本実施形態に係る撮影装置１の外観を示す図である。図１（Ａ），（Ｂ）、図２（Ａ），（Ｂ）、図３（Ａ），（Ｂ）に示すように、全天球カメラとしての撮影装置１は、撮影装置１の各構成要素が組み付けられてこれを保持する筐体１０を有している。

筐体１０は、左右方向に短く、上下方向に長く、前後方向に所定の厚みを持ち、上面が丸みを帯びた輪郭を有している。筐体１０は、後側金属筐体２０と前側金属筐体３０を有している。後側金属筐体２０と前側金属筐体３０は、後述する後側樹脂筐体７０と前側樹脂筐体８０と接続樹脂筐体９０と比較して相対的に高剛性の金属材料（例えばマグネシウム合金）から構成された一体成形品とすることができる。

後側金属筐体２０と前側金属筐体３０は、左側面接続筐体４０と右側面接続筐体５０と下面接続筐体６０によって接続されている。左側面接続筐体４０と右側面接続筐体５０と下面接続筐体６０は、例えば、後側金属筐体２０と前側金属筐体３０と同一の金属材料から構成することができるが、その材料には自由度があり、種々の設計変更が可能である。

後側金属筐体２０と前側金属筐体３０の一方には、位置決めボス（図示せず）が形成されており、後側金属筐体２０と前側金属筐体３０の他方には、ボス挿入孔（図示せず）が形成されており、位置決めボスをボス挿入孔に挿入することにより、後側金属筐体２０と前側金属筐体３０が接近した状態で位置決めされる。後側金属筐体２０と前側金属筐体３０は、左側面と右側面と下面に、上記位置決め状態で重なって共締め可能なネジ孔（図示せず）を有している。

後側金属筐体２０と前側金属筐体３０の間の左側面と右側面と下面の隙間に、左側面接続筐体４０と右側面接続筐体５０と下面接続筐体６０を嵌め込んで、これらに挿通した共締めネジ（図示せず）を上記ネジ孔に螺合することにより、後側金属筐体２０と前側金属筐体３０と左側面接続筐体４０と右側面接続筐体５０と下面接続筐体６０が一体化される。なお、後側金属筐体２０と前側金属筐体３０と左側面接続筐体４０と右側面接続筐体５０と下面接続筐体６０を一体化するための構成には自由度があり、種々の設計変更が可能である。

後側金属筐体２０の上方には、略円形のレンズ露出孔２１が形成されており、前側金属筐体３０の上方には、略円形のレンズ露出孔３１が形成されている。後側金属筐体２０の上下方向の中間部よりやや下方には、撮影（静止画撮影、動画撮影）のトリガとなるシャッターボタン２２が設けられている。シャッターボタン２２の下方には、撮影装置１の操作画面や設定画面等の各種情報を表示する表示装置２３が設けられている。表示装置２３は、例えば、有機ＥＬディスプレイから構成することができる。

左側面接続筐体４０の上下方向の中間部には、例えば、音声案内メッセージ等を発するスピーカ４１が設けられている。右側面接続筐体５０の上下方向の中間部には、撮影装置１の電源のオンオフを切り替えるための電源ボタン５１が設けられており、電源ボタン５１の下方には、撮影モードや無線接続モードの設定操作を行うための操作ボタン５２、５３、５４が設けられている。

後側金属筐体２０のシャッターボタン２２のやや上方の右側には、上下方向に離間する２つのマイクロフォン２４が設けられている。前側金属筐体３０の上下方向の中間部よりやや上方には、左右方向に離間する２つのマイクロフォン３２が設けられている。表裏に位置する後側金属筐体２０の２つのマイクロフォン２４と前側金属筐体３０の２つのマイクロフォン３２の計４つのマイクロフォンによって３Ｄ音声が取得可能となっている。

後側金属筐体２０と前側金属筐体３０と左側面接続筐体４０と右側面接続筐体５０と下面接続筐体６０の結合体は、上下方向の中間部より下方がグリップ部ＧＰを構成している。撮影者は、グリップ部ＧＰを把持した状態で、シャッターボタン２２、電源ボタン５１、操作ボタン５２～５４を押圧操作することができる。

後側金属筐体２０と前側金属筐体３０と左側面接続筐体４０と右側面接続筐体５０と下面接続筐体６０の結合体は、上方が開放された開口部ＯＳを有している。開口部ＯＳは、後側樹脂筐体７０と前側樹脂筐体８０と接続樹脂筐体９０によって埋められている。後側樹脂筐体７０と前側樹脂筐体８０と接続樹脂筐体９０は、後側金属筐体２０と前側金属筐体３０と比較して相対的に低剛性の樹脂材料（例えばＰＣ（ポリカーボネート）若しくはＡＢＳ樹脂又はこれらの混合材）から構成された一体成形品とすることができる。

後側樹脂筐体７０は、後側金属筐体２０の上方に形成された開口部ＯＳの湾曲切欠部に嵌め込まれる湾曲形状を有している。前側樹脂筐体８０は、前側金属筐体３０の上方に形成された開口部ＯＳの湾曲切欠部に嵌め込まれる湾曲形状を有している。後側樹脂筐体７０と前側樹脂筐体８０は、前後方向に逆方向を向いた対称形状を有している。接続樹脂筐体９０は、後側金属筐体２０と前側金属筐体３０の上方に形成された開口部ＯＳのうち、後側樹脂筐体７０と前側樹脂筐体８０の間に嵌め込まれる湾曲形状を有している。

また、下面接続筐体６０には、外部マイクロフォンユニット１００を接続するためのネジ孔及びコネクタ（図示せず）が設けられている。

図４は、撮影装置１に取り付け可能な外部マイクロフォンユニット１００の外観を示す斜視図である。外部マイクロフォンユニット１００の上面には、ネジやコネクタ（図示せず）が設けられている。コネクタは、撮影装置１との間でデータ転送を可能とするアナログピンやＵＳＢ端子である。外部マイクロフォンユニット１００は、特定の方向の対する感度特性の指向性を有する４つの単一指向性マイクロフォン（図示せず）を有する。

外部マイクロフォンユニット１００のネジ及びコネクタを、撮影装置１の下面接続筐体６０に設けられたネジ孔及びコネクタにそれぞれ接続することにより、外部マイクロフォンユニット１００を、撮影装置１に電気的及び物理的に接続することができる。

外部マイクロフォンユニット１００を用いることにより、撮影装置１による撮影環境の周囲の音声を、高品質に取得することができるが、外部マイクロフォンユニット１００は必須ではない。

全天球カメラとしての撮影装置１は、例えば、ユーザ端末（図示せず）とヘッドマウントディスプレイ（図示せず）とを含んで構成されるシステム環境で使用される。なお、各ハードウェアは、無線通信または有線通信によって相互に接続することができ、設定データや、動画ファイルなどの各種データを送受信することが可能である。

本実施形態の撮影装置１は、複数の結像光学系を含んで構成され、各結像光学系で撮影された画像を合わせることで、立体角４πステラジアンの全天球画像として撮影することができる。また、撮影装置１は全天球画像を時間的に連続して撮影することも可能であり、これによって全天球動画を撮影することができる。全天球動画を撮影する場合には、撮影装置１が備えるマイクロフォン、又は撮影装置１及び外部マイクロフォンユニット１００が備えるマイクロフォンによって、撮影環境の周囲の音声を取得することができる。なお、撮影装置１が取得する音声は、立体音声として、ユーザに臨場感のある映像を提供することができる。

ユーザ端末として、例えば、スマートフォン端末、タブレット端末、パーソナルコンピュータなどが挙げられる。ユーザ端末は、撮影装置１と有線または無線によって通信することができ、撮影の設定や、撮影した画像の表示や編集を行う装置である。撮影装置１の設定や、撮影装置１で撮影した画像の表示や編集には、事前にユーザ端末にアプリケーションをインストールすることで操作できる。

ユーザ端末にインストールされるアプリケーション（ソフトウェア）には、撮影装置１により撮影された全天球イメージを編集可能とする編集用アプリケーションが含まれる。編集用アプリケーションは、編集した画像（静止画や動画）をＷＥＢやＳＮＳ（Social Networking Service）にアップロード（ファイル共有）する機能が含まれる。

なお、以下における本実施形態の説明において、撮影装置１の設定を行う機能はユーザ端末が保持するものとして説明するが、実施形態を限定するものではない。例えば、撮影装置１が画面を含み、各種操作を行ってもよい。

ヘッドマウントディスプレイは、全天球画像や全天球動画を視聴するための装置である。ヘッドマウントディスプレイは、モニタとスピーカとを含んで構成され、ユーザの頭部に装着する装置である。

ヘッドマウントディスプレイは、モーションセンサなどのような、姿勢を検出するセンサを備えることにより、ユーザの頭部の動きに追従させて、表示する画像を変更できる。これにより、ユーザ、は実際に画像を撮影した場所にいるような臨場感を得ることができる。また、ヘッドマウントディスプレイのスピーカから出力される立体音声も、ユーザの視野と同期させて再生することができる。例えば、ユーザが頭部を動かすことで視線の方向を変更した場合、当該視線の方向にある音源からの音声を強調して出力できる。これにより、ユーザは、視線の方向の変更に合わせた画像と音声を視聴することができるので、臨場感のある動画を視聴することができる。

次に、各装置の詳細なハードウェア構成について説明する。図５は、撮影装置１及びユーザ端末３００に含まれるハードウェア構成を示す図である。

撮影装置１は、ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３と、記憶装置２０４と、通信Ｉ／Ｆ２０５と、音声入力Ｉ／Ｆ２０６と、撮影部２０７と、姿勢センサ２０８と、操作部２０９とを含んで構成されている。各ハードウェアはバスを介して接続されている。また、撮影装置１は、ハードウェアとして、上述の表示装置２３やスピーカ４１を含む。

ＣＰＵ２０１は、撮影装置１の動作を制御するプログラムを実行する装置である。ＲＡＭ２０２は、ＣＰＵ２０１が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ２０３は、プログラムやデータ等を記憶するための不揮発性の記憶装置である。

記憶装置２０４は、撮影装置１を機能させるＯＳ（Operating System）やアプリケーション、各種設定情報、撮影した画像データや音声データなどを記憶する、読み書き可能な不揮発性の記憶装置である。通信Ｉ／Ｆ２０５は、所定の通信プロトコルにより、ユーザ端末３００やヘッドマウントディスプレイなどの他の装置と通信し、各種データの送受信を行うインターフェースである。

音声入力Ｉ／Ｆ２０６は、動画を撮影する際に音声を取得し、録音するためのマイクロフォン２４，３２と接続するインターフェースである。また、撮影装置１に外部マイクロフォンユニット１００が接続されている場合には、音声入力Ｉ／Ｆ２０６には、マイクロフォン２４，３２に加えて外部マイクロフォンユニット１００が接続される。

撮影部２０７は、２つの広角レンズ系２１０ａ，２１０ｂと、２つの撮像センサ２１１ａ，２１１ｂと、画像処理部２１２とを含んで構成されている。広角レンズ系２１０ａ，２１０ｂは、それぞれ魚眼レンズ系及び撮像光学系を含む。

広角レンズ系２１０ａはレンズ露出孔２１に配置されており、広角レンズ系２１０ｂはレンズ露出孔３１に配置されている。２つの広角レンズ系２１０ａ，２１０ｂによる像は、それぞれ２つの撮像センサ２１１ａ，２１１ｂの撮像面に結像される。画像処理部２１２は、撮像センサ２１１ａ，２１１ｂにより撮像された２つの画像を合成することにより４πステラジアンの立体角内の像（全天球画像）を生成する。

姿勢センサ２０８は、ジャイロセンサ等の角速度センサであって、撮影装置１の傾きを検出して、姿勢データとして出力する。また、姿勢センサ２０８は、検出された傾き情報に基づいて、鉛直方向を算出する。この鉛直方向は、全天球画像の天頂補正に用いられる。

撮影装置１は、画像データと、音声データと、姿勢データ（方向性データ）とを対応付けて動画ファイルとして保存することができる。これらの各種データによって、ヘッドマウントディスプレイで全天球動画を視聴する場合に、ユーザの動作に合わせた映像を再生することができる。

なお、操作部２０９には、上述のシャッターボタン２２、電源ボタン５１、操作ボタン５２～５４が含まれる。

また、ユーザ端末３００は、ＣＰＵ３０１と、ＲＡＭ３０２と、ＲＯＭ３０３と、記憶装置３０４と、通信Ｉ／Ｆ３０５と、表示装置３０６と、入力装置３０７とを含んで構成され、各ハードウェアはバスを介して接続されている。

ユーザ端末３００に含まれるＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、記憶装置３０４、及び通信Ｉ／Ｆ３０５は、上述した撮影装置１のＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、記憶装置２０４、及び通信Ｉ／Ｆ２０５にそれぞれ対応し、同様の機能であることから、説明を省略する。

表示装置３０６は、ユーザに対してユーザ端末３００状態や操作画面などを表示する装置であり、例として、ＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイなどが挙げられる。入力装置３０７は、ユーザがユーザ端末３００を操作するための装置であり、例として、キーボード、マウス、スタイラスペンなどが挙げられる。また、入力装置３０７は、表示装置３０６の機能を有するタッチパネルディスプレイであってもよい。

図６は、立体音声データを生成する処理のブロックを示す図である。図６中の破線で囲った部分は、ＣＰＵ２０１等により実現される信号処理ブロックである。この信号処理ブロックは、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。

図６では、一例として、撮影装置１が備えるマイクロフォンを無指向性とし、外部マイクロフォンユニット１００が備えるマイクロフォンを指向性とした場合を例示している。撮影装置１はＣＨ１～４のマイクロフォン（ＭＩＣ）を含み、外部マイクロフォンユニット１００はＣＨ５～８のマイクロフォン（ＭＩＣ）を含む。

まず、撮影装置１が備えるマイクロフォンから出力される音声信号の処理を説明する。ＣＨ１～４の各マイクロフォンから出力された音声信号は、プリアンプ（Ｐｒｅ ＡＭＰ）によって、信号のレベルが増幅される。なお、プリアンプでは、インピーダンスの変換を行ってもよい。

プリアンプによって増幅された音声信号は、ＡＤＣ（Analog to Digital Converter）によりデジタル化される。デジタル化された音声信号は、ＨＰＦ（High Pass Filter）、ＬＰＦ（Low Pass Filter）、ＩＩＲ（Infinite Impulse Response）、ＦＩＲ（Finite Impulse Response）などの各種フィルタによって、周波数分離などが行われる。

次に、感度補正ブロックでは、音声信号の感度が補正される。コンプレッサでは、信号レベルが補正される。感度補正ブロックとコンプレッサとの補正処理によって、チャンネル間の信号のギャップを低減することができる。

その後、指向性合成ブロックでは、ＣＨ５～８のマイクロフォンから出力された音声データが合成される。すなわち、指向性合成ブロックは、マイクロフォンが無指向性である場合に、指向性を持った音声データを合成する。

指向性合成ブロックで合成された音声データは、補正ブロックで各種補正処理が行われる。補正処理の例としては、前段フィルタにおける周波数分離に起因するタイミングずれや、周波数の補正である。補正ブロックで補正された音声データは、後述する音声ファイルとして出力され、音声ファイル保存部としての記憶装置２０４に記憶される。

立体音声データは、一例としてambisonics形式で保存することができる。ambisonics形式の立体音声データには、無指向性のＷ成分、Ｘ軸方向に指向性を有するＸ成分、Ｙ軸方向に指向性を有するＹ成分、Ｚ軸方向に指向性を有するＺ成分の各指向性成分を持つ音声データが含まれる。なお、上述した立体音声データの形式は、ambisonics形式に限定するものではなく、他の形式であってもよい。

次に、外部マイクロフォンユニット１００から出力される音声信号の処理を説明する。ＣＨ５～８の各マイクロフォンから入力された音声信号は、プリアンプ、ＡＤＣ、ＨＰＦ／ＬＰＦ、ＩＩＲ／ＦＩＲ、感度補正ブロック、コンプレッサによって、種々の信号処理が施される。これらの各種信号処理は、ＣＨ１～４の場合と同様であることから、詳細な説明は省略する。

音声データは、上述の信号処理が行われた後、指向性変換ブロックに入力される。指向性変換ブロックでは、ユーザが設定した指向性の感度特性で以て、音声データを変換する。すなわち、指向性変換ブロックは、指向性選択情報に基づいて、４つのマイクロフォンが出力する音声データのパラメータを調整することで、ユーザが所望する方向に指向性を持った音声データに変換する。指向性変換ブロックで変換された音声データは、上述の指向性合成ブロックに入力される。

図７は、撮影装置１のＣＰＵ２０１に構成される機能ブロックを例示する図である。ＣＰＵ２０１には、立体音声データ生成部２２０と、動画ファイル生成部２２１とが構成される。立体音声データ生成部２２０は、図６に示した機能ブロックであり、立体音声データを生成する。

動画ファイル生成部２２１は、上述の撮影部２０７により生成される全天球画像の画像データと、立体音声データ生成部２２０により生成れる立体音声の音声データとに基づき、動画ファイルを生成して記憶装置２０４に保存する。動画ファイル生成部２２１により生成される動画ファイルは、例えば、ＭＰ４のコンテナ構造を有するデータファイルである。動画ファイル生成部２２１により生成される動画ファイルは、ＭＯＶ，ＭＰＥＧＨ等のコンテナ構造を有するものであってもよい。

図７に示すように、動画ファイルには、第１領域としての汎用領域の他に、第２領域としてのベンダ固有領域が設けられている。汎用領域は、通常ユーザがアクセス可能な領域である。ベンダ固有領域は、コンテナ構造を把握しているベンダ等の特定のユーザのみがアクセス可能な領域である。

汎用領域には、例えば、Ｈ．２６４の圧縮形式で符号化された画像データと、ＡＡＣの圧縮形式で符号化されたマルチチャンネル（４ｃｈ）の音声データが、メタデータ（管理情報）とともに格納される。汎用領域に格納される音声データは、非可逆圧縮形式である。以下、非可逆圧縮形式の音声データを、第１音声データともいう。

非可逆圧縮とは、圧縮（符号化）前のデータと、圧縮・展開（符号化・復号）を経たデータとが完全には一致しないデータ圧縮方式である。第１音声データの圧縮形式として、ＡＡＣ以外に、ＭＰ３等を用いることが可能である。

なお、汎用領域には、上述の姿勢センサ２０８により立体音声データとともに取得された姿勢データ（方向性データ）が格納される。

ベンダ固有領域には、例えば、ＦＬＡＣ等の可逆圧縮形式で符号化されたマルチチャンネル（４ｃｈ）の音声データが、メタデータとともに格納される。ベンダ固有領域に格納される音声データは、非可逆圧縮形式である。以下、可逆圧縮形式の音声データを、第２音声データともいう。

ベンダ固有領域に格納される第２音声データは、圧縮形式（符号化形式）以外については、汎用領域に格納される第１音声データと同一の音声情報を有する。

非可逆圧縮とは、圧縮（符号化）前のデータと、圧縮・展開（符号化・復号）を経たデータとが完全に一致するデータ圧縮方式である。なお、第２音声データは、可逆圧縮形式に限られず、ＷＡＶ等の非圧縮形式の音声データであってもよい。

図８は、ユーザ端末３００にインストールされる編集用アプリケーション４００の機能ブロックを例示する図である。ＣＰＵ３０１が編集用アプリケーション４００に基づき、コンピュータを作動させることにより各部の機能が実現される。

編集用アプリケーション４００には、ファイル読み込み部４１０と、コンテナ構造解析部４２０と、第１編集処理部４３０と、第２編集処理部４４０と、ファイル共有処理部４５０とを含む。

第１編集処理部４３０は、復号処理部４３１と、編集処理部４３２と、符号化処理部４３３と、置換処理部４３４とを含む。第２編集処理部４４０は、編集処理部４４１と、第１置換処理部４４２と、符号化処理部４４３と、第２置換処理部４４４とを含む。ファイル共有処理部４５０は、第２領域削除処理部としてのベンダ固有領域削除処理部４５１を含む。

ファイル読み込み部４１０は、撮影装置１により生成された動画ファイル等を、ＲＡＭ３０２に読み込む。コンテナ構造解析部４２０は、読み込まれた動画ファイルのコンテナ構造を解析することにより、特定のメタデータによる固有コンテナ構造（ベンダ固有領域）が存在するか否かを判定する判定部である。すなわち、コンテナ構造解析部４２０は、動画ファイル読み込み部４１０により読み込まれた動画ファイルが、撮影装置１により生成されたベンダ固有領域を有する動画ファイルであるか否かを判定する。

第１編集処理部４３０は、動画ファイルがベンダ固有領域を有していない従来の動画ファイルである場合に動作する。ユーザの操作指示により音声データの編集が行われる場合に、復号処理部４３１は、汎用領域に格納されている第１音声データに対して復号処理を行い、非圧縮形式とする。

編集処理部４３２は、第１音声データに対して復号処理がなされた非圧縮形式の音声データに対して編集処理を行う。符号化処理部４３３は、編集処理部４３２による編集後の音声データに対して符号化処理を行う。置換処理部４３４は、汎用領域に格納されている第１音声データを、符号化処理部４３３により符号化された第１音声データで置換する。

第２編集処理部４４０は、動画ファイルがベンダ固有領域を有している場合に動作する。ユーザの操作指示により音声データの編集が行われる場合に、編集処理部４４１は、ベンダ固有領域に格納された第２音声データを読み込みんで、第２音声データに対して編集処理を行う。第１置換処理部４４２は、ベンダ固有領域に格納されている第２音声データを、編集後の第２音声データで置換する。

符号化処理部４４３は、編集処理部４４１による編集後の第２音声データに対して符号化処理を行う。第２置換処理部４４４は、汎用領域に格納されている第１音声データを、符号化処理部４４３により符号化された第１音声データで置換する。

ファイル共有処理部４５０は、ユーザの操作指示に応じて、動画ファイル等をＷＥＢやＳＮＳにアップロードする処理を行う。ベンダ固有領域削除処理部４５１は、ファイル共有処理部４５０が動画ファイルをアップロードする際、当該動画ファイルがベンダ固有領域を有する場合には、当該ベンダ固有領域のデータを削除する。これにより、アップロードする動画ファイルの容量が削減される。

次に、編集用アプリケーション４００の処理を、フローチャートを参照しながら説明する。図９は、編集用アプリケーション４００の処理を説明するフローチャートである。

編集用アプリケーション４００により動画ファイルの編集を行う場合には、ファイル読み込み部４１０により動画ファイルが読み込まれる（ステップＳ１００）。動画ファイルが読み込まれると、コンテナ構造解析部４２０により当該動画ファイルのコンテナ構造が解析され（ステップＳ１０１）、ベンダ固有領域が存在するか否かを判定される（ステップＳ１０２）。

当該動画ファイルにベンダ固有領域が存在しない場合には（ステップＳ１０２：ＮＯ）、編集用アプリケーション４００により編集処理が開始されたか否かが判定される（ステップＳ１０３）。編集処理が開始された場合には（ステップＳ１０３：ＹＥＳ）、第１編集処理部４３０の復号処理部４３１により汎用領域に格納されている第１音声データが読み込まれ（ステップＳ１０４）、第１音声データに対して復号処理が行われる（ステップＳ１０５）。

次に、編集処理部４３２により復号された非圧縮形式の音声データに対して編集処理が行われ（ステップＳ１０６）、編集用アプリケーション４００により編集処理が終了されたか否かが判定される（ステップＳ１０７）。編集処理が終了された場合には（ステップＳ１０７：ＹＥＳ）、符号化処理部４３３により編集後の音声データに対して符号化処理が行われる（ステップＳ１０８）。そして、置換処理部４３４により、汎用領域に格納されている第１音声データが、符号化された第１音声データで置換される。

このように、動画ファイルにベンダ固有領域が存在しない場合には、第１音声データに対する復号処理及び符号化処理によって、データが損失することにより、音質や空間音声の指向性に劣化が生じてしまう。

次に、ステップＳ１０２において、動画ファイルにベンダ固有領域が存在すると判定された場合には（ステップＳ１０２：ＹＥＳ）、編集用アプリケーション４００により編集処理が開始されたか否かが判定される（ステップＳ１１０）。編集処理が開始された場合には（ステップＳ１１０：ＹＥＳ）、第２編集処理部４４０の編集処理部４４１によりベンダ固有領域に格納された第２音声データが読み込まれ（ステップＳ１１１）、第２音声データに対して編集処理が行われる（ステップＳ１１２）。

次に、編集用アプリケーション４００により編集処理が終了されたか否かが判定される（ステップＳ１１３）。編集処理が終了された場合には（ステップＳ１１３：ＹＥＳ）、第１置換処理部４４２により、ベンダ固有領域に格納されている第２音声データが、編集後の第２音声データで置換される（ステップＳ１１４）。次に、符号化処理部４４３により、編集処理部４４１による編集後の第２音声データに対して符号化処理が行われる（ステップＳ１１５）。そして、第２置換処理部４４４により、汎用領域に格納されている第１音声データが、符号化された第１音声データで置換される（ステップＳ１１６）。

図１０は、第２編集処理部４４０によるステップＳ１１１～Ｓ１１６の編集処理を概念的に説明する図である。

このように、第２編集処理部４４０は、第２音声データに対して編集を行った後、編集後の第２音声データを符号化して汎用領域の第１音声データを置換する。第２音声データに対する編集では、復号・符号化によるデータの劣化が生じないため、音質や空間音声の指向性に劣化が防止される。

図１１は、ファイル共有処理部４５０による処理を説明するフローチャートである。ファイル共有処理部４５０は、動画ファイルがＷＥＢやＳＮＳにアップロードするファイル共有指示の有無を判定し（ステップＳ２００）、ファイル共有指示があった場合には（ステップＳ２００：ＹＥＳ）、コンテナ構造解析部４２０により当該動画ファイルのコンテナ構造が解析され（ステップＳ２０１）、ベンダ固有領域が存在するか否かを判定される（ステップＳ２０２）。

動画ファイルにベンダ固有領域が存在する場合には（ステップＳ２０２：ＹＥＳ）、ベンダ固有領域削除処理部４５１により、当該ベンダ固有領域のデータが削除される（ステップＳ２０３）。そして、ファイル共有処理部４５０により、ベンダ固有領域が削除された画像ファイルがアップロードされる（ステップＳ２０４）。

なお、ステップＳ２０２において動画ファイルにベンダ固有領域が存在しないと判定された場合には（ステップＳ２０２：ＮＯ）、ベンダ固有領域削除処理部４５１による削除処理は行われず、処理がステップＳ２０４に移行する。このように、ベンダ固有領域を有する動画ファイルをアップロードする際に、動画ファイルの容量を削減することができる。

なお、編集用アプリケーション４００の機能は、ユーザ端末３００のＣＰＵ３０１に限られず、撮影装置１のＣＰＵ２０１に構成されてもよい。編集用アプリケーション４００がインストールされた装置は、動画ファイルの復号・符号化による劣化を防止することが可能なデータ編集処理装置を構成する。

また、上記各実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１ 撮影装置
１００ 外部マイクロフォンユニット
１２０ ユーザ端末
２０４ 記憶装置
２０７ 撮影部
２０８ 姿勢センサ
２１２ 画像処理部
２２０ 立体音声データ生成部
２２１ 動画ファイル生成部
３００ ユーザ端末
４００ 編集用アプリケーション
４２０ コンテナ構造解析部
４３０ 第１編集処理部
４３１ 復号処理部
４３２ 編集処理部
４３３ 符号化処理部
４３４ 置換処理部
４４０ 第２編集処理部
４４１ 編集処理部
４４２ 第１置換処理部
４４３ 符号化処理部
４４４ 第２置換処理部
４５０ ファイル共有処理部
４５１ ベンダ固有領域削除処理部

特許第５７７７１８５号 特開２０１７－１７４４７号公報

Claims (10)

1. 画像データと非可逆圧縮形式の第１音声データとが格納された第１領域と、可逆圧縮形式又は非圧縮形式の第２音声データが格納された第２領域とを有するコンテナ構造の動画ファイルを編集可能とするデータ編集処理装置であって、
   前記動画ファイルが編集される場合に、前記第２領域から前記第２音声データを読み込んで編集する編集処理部と、
   前記第２領域に格納された前記第２音声データを、前記編集処理部により編集された前記第２音声データで置換する第１置換処理部と、
   前記編集処理部により編集された前記第２音声データを符号化する符号化処理部と、
   前記第１領域に格納された前記第１音声データを、前記符号化処理部により符号化された前記第２音声データで置換する第２置換処理部と、
   を有するデータ編集処理装置。
2. 前記第２領域は、特定のユーザのみがアクセス可能なベンダ固有領域である請求項１に記載のデータ編集処理装置。
3. 前記動画ファイルに前記第２領域が存在するか否かを判定する判定部を有し、
   前記編集処理部、前記第１置換処理部、前記符号化処理部、及び前記第２置換処理部は、前記判定部により前記第２領域が存在すると判定された場合に動作する請求項１又は２に記載のデータ編集処理装置。
4. 前記第１音声データ及び前記第２音声データは、マルチチャンネルの立体音声データである請求項１ないし３いずれか１項に記載のデータ編集処理装置。
5. 前記第１領域は、ＭＰ４、ＭＯＶ、又はＭＰＥＧＨのうちいずれか１つのコンテナ構造を有する請求項１ないし４いずれか１項に記載のデータ編集処理装置。
6. 前記第２領域は、ＦＬＡＣ又はＷＡＶのコンテナ構造を有する請求項５に記載のデータ編集処理装置。
7. 前記動画ファイルは、全天球画像を含む請求項１ないし６いずれか１項に記載のデータ編集処理装置。
8. 前記動画ファイルをファイル共有する際に、前記第２領域を削除する第２領域削除処理部を有する請求項１ないし７いずれか１項に記載のデータ編集処理装置。
9. 画像データと非可逆圧縮形式の第１音声データとが格納された第１領域と、可逆圧縮形式又は非圧縮形式の第２音声データが格納された第２領域とを有するコンテナ構造の動画ファイルを編集可能とする処理をコンピュータに実行させるアプリケーションであって、
   前記動画ファイルが編集される場合に、前記第２領域から前記第２音声データを読み込んで編集する編集処理と、
   前記第２領域に格納された前記第２音声データを、前記編集処理により編集された前記第２音声データで置換する第１置換処理と、
   前記編集処理により編集された前記第２音声データを符号化する符号化処理と、
   前記第１領域に格納された前記第１音声データを、前記符号化処理により符号化された前記第２音声データで置換する第２置換処理と、
   をコンピュータに実行させるアプリケーション。
10. 前記データ編集処理装置はさらに、
    前記画像データを生成する撮影部と、
    音声を入力する音声入力部と、
    を有する請求項１ないし８いずれか１項に記載のデータ編集処理装置。

Images