WO2023238721A1 - 情報作成方法、及び情報作成装置 - Google Patents

Abstract

音データに含まれる複数の音のそれぞれに関して、その特徴に関する付帯情報を効率よく作成するための情報作成方法、及び情報作成装置を提供する。　本発明の一つの実施形態に係る情報作成方法は、複数の音源からの複数の音を含む音データを取得する第１取得工程と、音源又は音に対して、精度を設定する設定工程と、精度に基づいて、音についての特徴に関する情報を、音データと対応する動画データの付帯情報として作成する作成工程と、を含む。

Description

情報作成方法、及び情報作成装置

　本発明の一つの実施形態は、情報作成方法、及び情報作成装置に関する。

　音源からの音を含む音データと、その音データと対応する動画データとを含む動画ファイルを作成する場合に、音の特徴に関する情報を、動画データの付帯情報として作成することがある。音の特徴としては、例えば、音量、振幅及び周波数等の物理的特徴、音源の種別、並びに、音に基づく判定結果等が挙げられる（例えば、特許文献１参照）。

国際公開第２０１１／１４５２４９号

　音データとして記録される音（特に、環境音等の非言語音）は、多様であり、あらゆる種類の音について、一律に、統一された基準に則って付帯情報を作成する必要はない。この点を踏まえ、音データに含まれる複数の音のそれぞれに関して、音の特徴に関する付帯情報を効率よく作成することが求められている。

　本発明は、音データに含まれる複数の音のそれぞれに関して、その特徴に関する付帯情報を効率よく作成するための情報作成方法、及び情報作成装置を提供することを目的とする。

　上記の目的を達成するために、本発明の一つの実施形態に係る情報作成方法は、複数の音源からの複数の音を含む音データを取得する第１取得工程と、音源又は音に対して、精度を設定する設定工程と、精度に基づいて、音についての特徴に関する情報を、音データと対応する動画データの付帯情報として作成する作成工程と、を含む情報作成方法である。

　また、設定工程では、音又は音源に対して重要度を設定し、重要度に応じた精度を設定してもよい。

　また、音は、非言語音であってもよい。

　また、本発明の一つの実施形態に係る情報作成方法は、複数の画像フレームを含む動画データを取得する第２取得工程を備えてもよい。また、設定工程では、音源が、複数の画像フレームのうち、対応する画像フレームの画角内に存在するか否かに応じて、音源に対する精度を設定するとよい。

　また、本発明の一つの実施形態に係る情報作成方法は、音源が、対応する画像フレームの画角内に存在しない場合に、音が所定の基準を満たすか否かを判定する判定工程を含んでもよい。また、設定工程では、所定の基準を満たす場合の音に対する精度を、所定の基準を満たさない場合に比べて高く設定してもよい。

　また、本発明の一つの実施形態に係る情報作成方法は、音が所定の基準を満たす場合には、撮像装置の撮像レンズが音源の方向に近づくように撮像レンズの向きを変え、又は、音源が画像フレームの画角内に含まれるように撮像装置のズーム倍率を下げる変更工程を含んでもよい。

　また、設定工程では、対応する画像フレームにおける音源に関する画像認識の結果、又は、画像フレームを撮影する撮像装置について画像フレームと関連付けられた装置情報に基づいて、音源に対する精度を設定してもよい。

　また、設定工程では、装置情報に基づいて音源に対する精度を設定してもよい。この場合、装置情報は、画像フレームにおける撮像装置の焦点位置、又は、画像フレームにおける撮像装置のユーザの視線位置に関する情報であるとよい。

　また、作成工程では、付帯情報として、対応する画像フレームの画角内に音源が存在するか否かに関する情報を作成してもよい。

　また、本発明の一つの実施形態に係る情報作成方法は、重要度に応じた精度が所定の条件を満たす場合に、音が検査基準を満たすか否かを検査する検査工程を含んでもよい。この場合、作成工程では、付帯情報として、検査工程での検査結果に関する情報を作成するとよい。

　また、作成工程では、付帯情報として、検査結果の信頼性に関する信頼性情報をさらに作成してもよい。

　また、作成工程では、付帯情報として、重要度に関する重要度情報を作成してもよい。

　また、重要度に応じた精度が第１条件を満たす場合に、作成工程では、音を擬音語としてテキスト化した擬音語情報を、付帯情報として作成してもよい。

　また、重要度に応じた精度が第２条件を満たす場合に、作成工程では、対応する画像フレーム中の音源の状態を擬態語としてテキスト化した擬態語情報を、付帯情報としてさらに作成してもよい。

　また、本発明の一つの実施形態に係る情報作成装置は、プロセッサを備える情報作成装置であって、プロセッサが、複数の音源からの複数の音を含む音データを取得し、プロセッサが、音源又は音に対して、精度を設定し、プロセッサが、精度に基づいて、音についての特徴に関する情報を、音データと対応する動画の付帯情報として作成する。

動画ファイルの説明図である。 動画データと音データに関する図である。 本発明の一つの実施形態に関する情報作成装置の構成例を示す図である。 付帯情報の一例を示す図である。 画角と音源との位置関係についての一例を示した図である。 音源の位置を特定する手順に関する図である。 音源の位置を特定する手順の別例に関する図である。 音の付帯情報に含まれる各種の情報を示す図である。 本発明の第１実施形態に係る情報作成装置の機能に関する図である。 本発明の第１実施形態に係る撮像装置及び雲台の一例を示す図である。 擬音語情報についての説明図である。 擬態語情報についての説明図である。 本発明の第１実施形態に係る情報作成フローを示す図である。 第１実施形態において動画ファイルを作成する具体的場面の一例を示す図である。 作成工程の流れを示す図である。 図１３のケースにて作成される音の付帯情報の一例を示す図である。 本発明の第２実施形態に係る情報作成装置の機能に関する図である。 本発明の第２実施形態に係る情報作成フローを示す図である。 第２実施形態において動画ファイルを作成する具体的場面の一例を示す図である。 図１８のケースにて作成される音の付帯情報の一例を示す図である。

　本発明の具体的な実施形態について説明する。ただし、以下に説明する実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。本発明は、その趣旨を逸脱しない限り、以下に説明する実施形態から変更又は改良され得る。また、本発明には、その等価物が含まれる。

　また、本明細書において、「装置」という概念には、特定の機能を発揮する単一の装置が含まれるとともに、分散して互いに独立して存在しつつ協働（連携）して特定の機能を発揮する複数の装置の組み合わせも含まれることとする。

　また、本明細書において、「者」は、特定の行為を行う主体を意味し、その概念には、個人、家族等のグループ、企業等の法人、及び団体等が含まれる。

　また、本明細書において、「人工知能（ＡＩ：Artificial Intelligence）」は、推論、予測及び判断等の知的な機能をハードウェア資源及びソフトウェア資源を使って実現されるものである。なお、人工知能のアルゴリズムは任意であり、例えば、エキスパートシステム、事例ベース推論（ＣＢＲ：Case-Based Reasoning）、ベイジアンネットワーク又は包摂アーキテクチャ等である。

　＜＜本発明の一つの実施形態について＞＞
　本発明の一つの実施形態は、動画ファイルに含まれる動画データの付帯情報を、動画ファイルに含まれる音データに基づいて作成する情報作成方法、及び情報作成装置に関するものである。本発明の一つの実施形態は、また、上記の付帯情報を含む動画ファイルに関する。

　動画ファイルは、図１に示すように、動画データと音データと付帯情報を含む。動画ファイルのファイル形式には、ＭＰＥＧ（Moving Picture Experts Group）－４、Ｈ．２６４、ＭＪＰＥＧ（Motion JPEG）、ＨＥＩＦ（High Efficiency Image File Format）、ＡＶＩ（Audio Video Interleave）、ＭＯＶ（QuickTime file format）、ＷＭＶ（Windows Media Video）、及びＦＬＶ（Flash Video）等が挙げられる。

　動画データは、ビデオカメラ及びデジタルカメラ等のような公知の撮像装置によって取得される。撮像装置は、画角内の被写体を撮像して画像フレームのデータを一定のフレームレートにて作成し、図２に示すように複数の画像フレームからなる動画データを取得する。本発明の一つの実施形態において、各画像フレームに記録される被写体には、背景（風景）が含まれる。
　なお、動画データ中の各画像フレームに対しては、図２に示すように、フレーム番号（図中、＃ｎと表記：ｎは自然数）が付与される。

　本発明の一つの実施形態では、複数の音源が音を発する状況を撮像して動画データが作成されることとする。詳しくは、動画データに含まれる各画像フレームには、少なくとも一つの音源が記録され、動画データ全体には、複数の音源が記録される。音源は、音を発する物であり、具体的には、動物、植物、機械、機器、楽器、道具、サイレン及び警鐘等の装置、乗物、山及び海等のような自然物（環境）、爆発等の事故、並びに、雷又は風雨等の自然現象等である。なお、音源には、人が含まれていてもよい。

　音データは、動画データと対応するように音を記録したデータである。具体的に説明すると、音データは、動画データに記録された複数の音源からの音を含む。すなわち、音データは、動画データの取得中（つまり、撮像中）に各音源からの音を、撮像装置に内蔵又は外付けされたマイク等により収音することで取得される。本発明の一つの実施形態において、音データに含まれる音は、主として非言語音であり、例えば機械の作動音、乗物の音、滝等のような自然物の音、動物の鳴き声、事故の音、自然現象の音、及びノイズ等である。また、音データに含まれる音には、人の笑い声、泣き声及び驚く声等のような感情音、並びに、人の動作に起因して発生する音等が含まれてもよい。

　本発明の一つの実施形態では、動画データと音データとが互いに同期しており、動画データ及び音データの取得は、同じタイミングで開始され、同じタイミングで終了するものとする。つまり、本発明の一つの実施形態では、音データと対応する動画データが、音データの取得期間と同じ期間に取得される。

　付帯情報は、動画ファイルに設けられたボックス領域に記録可能な、動画データに関する情報である。付帯情報には、例えば、Ｅｘｉｆ（Exchangeable image file format）形式のタグ情報、具体的には、撮影日時、撮影場所及び撮影条件等に関するタグ情報が含まれる。
　また、本発明の一つの実施形態に係る付帯情報は、図１に示すように、動画データに記録された映像に関する付帯情報（以下、映像の付帯情報）と、音データに含まれる音に関する付帯情報（以下、音の付帯情報）とを含む。映像の付帯情報には、映像中の被写体に関する付帯情報（以下、被写体の付帯情報）が含まれる。
　付帯情報については、後の項で詳しく説明する。

　付帯情報を有する動画ファイルは、例えば、音認識用の機械学習において教師データとして利用することができる。この機械学習により、入力映像中の音を認識し、その認識結果を出力する学習モデル（以下、音認識モデル）を構築することができる。
　また、本発明の一つの実施形態では、動画ファイルが含む音データには、一つ以上の非言語音が含まれる。この場合、上記の動画ファイルを教師データとして用いて機械学習を行うことにより、非言語音を認識して音の種別等を識別するための音認識モデルを構築することができる。

　＜＜本発明の一つの実施形態に係る情報作成装置の構成例＞＞
　本発明の一つの実施形態に係る情報作成装置（以下、情報作成装置１０）は、図３に示すように、プロセッサ１１、メモリ１２及び通信用インタフェース１３を備える。
　プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、又はＴＰＵ（Tensor Processing Unit）等によって構成される。

　メモリ１２は、例えば、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の半導体メモリ等によって構成される。メモリ１２には、動画データの付帯情報を作成するためのプログラム（以下、情報作成プログラム）が格納されている。情報作成プログラムは、後に説明する情報作成方法の各工程をプロセッサ１１に実施させるためのプログラムである。
　なお、情報作成プログラムは、コンピュータが読み取り可能な記録媒体から読み込むことで取得されてもよいし、インターネット又はイントラネット等の通信網を通じてダウンロードすることで取得されてもよい。

　通信用インタフェース１３は、例えば、ネットワークインタフェースカード又は通信インタフェースボード等によって構成される。情報作成装置１０は、通信用インタフェース１３を通じて他の機器と通信し、その機器との間でデータを送受信することができる。

　情報作成装置１０は、図３に示すように入力機器１４及び出力機器１５をさらに備える。入力機器１４は、タッチパネル及びカーソルボタン等のようなユーザ操作を受け付ける機器と、マイク等のような音の入力を受け付ける機器とを含む。出力機器１５は、ディスプレイ等のような表示機器と、スピーカ等のような音響機器とを含む。

　また、情報作成装置１０は、ストレージ１６内に記憶された各種のデータに自由にアクセス可能である。ストレージ１６に記憶されたデータには、付帯情報を作成するために必要なデータが含まれる。具体的には、音データに含まれる音の音源を特定するためのデータ、及び、動画データに記録された被写体を識別するためのデータ等がストレージ１６に記憶されている。
　なお、ストレージ１６は、情報作成装置１０に内蔵又は外付けされてもよく、若しくはＮＡＳ（Network Attached Storage）等によって構成されてもよい。あるいは、ストレージ１６が、情報作成装置１０とインターネット又はモバイル通信網を通じて通信可能な外部機器、例えばオンラインストレージでもよい。

　本発明の一つの実施形態において、情報作成装置１０は、図３に示すように、ビデオカメラ等のような撮像装置に搭載される。情報作成装置１０を備える撮像装置（以下、撮像装置２０と称する）のメカ構成は、動画データ及び音データを取得する機能を有する公知の撮像装置と略共通する。また、撮像装置２０は、内部時計を備え、撮像中の各時点の時刻を記録する機能を有する。これにより、動画データの各画像フレームの撮像時刻を特定して記録することができる。
　なお、撮像装置２０は、デジタルカメラ等のように持ち運び可能なものでもよく、あるいは、監視カメラ又は定点カメラ等のように所定位置に固定されて用いられるものでもよい。

　撮像装置２０は、図３に示すように撮像レンズ２０Ｌを備え、撮像レンズ２０Ｌにより画角内の被写体を結像し、被写体を記録した画像フレームを一定のフレームレートにて作成して、動画データを取得する。また、撮像装置２０は、撮像中、装置周辺の音源からの音をマイク等によって収音して音データを取得する。さらに、撮像装置２０は、取得した動画データ及び音データに基づいて付帯情報を作成し、動画データと音データと付帯情報とを含む動画ファイルを作成する。

　撮像装置２０は、撮像中、画角内の所定位置に自動的に合焦するオートフォーカス（ＡＦ）機能、及び、焦点位置（ＡＦポイント）を特定する機能を備えてもよい。ＡＦポイントは、画角内の基準位置を原点とした場合の座標位置として特定される。画角は、画像が表示又は描画されるデータ処理上の範囲であり、その範囲は、互いに直交する２つの軸を座標軸とする二次元座標空間として規定される。

　撮像装置２０は、図３に示すように、撮像中にユーザ（すなわち、撮影者）が覗き込むファインダ２０Ｆを備えてもよい。この場合、撮像装置２０は、ファインダ使用中のユーザの視線及び瞳のそれぞれの位置を検出してユーザの視線位置を特定する機能を備えてもよい。ユーザの視線位置は、ファインダ２０Ｆ内を覗き込んでいるユーザの視線と、ファインダ２０Ｆ内の表示画面との交点位置に相当する。

　撮像装置２０は、赤外センサ等の公知の距離センサを搭載してもよく、この場合には、距離センサにより、奥行方向における画角内の被写体の距離（深度）を測定可能である。

　撮像装置２０は、ＧＰＳ（Global Positioning System）又はＧＮＳＳ（Global Navigation Satellite System）用のセンサを搭載してもよい。この場合には、上記センサの機能により、撮像装置２０の所在位置（緯度及び経度）を測定することが可能である。

　撮像装置２０は、撮像中、雲台に支持された状態で利用されてもよい（図９Ｂ参照）。雲台は、撮像装置２０を支持する姿勢を変更可能な構造であり、姿勢変更用の機構と、その制御回路とを備えてもよい。この場合、撮像装置２０は、通信用インタフェース１３を通じて上記の制御回路と通信し、制御回路を介して雲台の姿勢を制御してもよい。これにより、撮像中、撮像装置２０からの指令信号に基づき、撮像レンズ２０Ｌの向きを変えて画角を変更させることができる。

　＜＜付帯情報について＞＞
　本発明の一つの実施形態では、撮像装置２０に搭載された情報作成装置１０の機能により、動画データの付帯情報が作成される。作成された付帯情報は、動画データ及び音データに付帯されて動画ファイルの構成要素となる。
　付帯情報は、例えば、撮像装置２０が動画データ及び音データを取得している間（つまり、撮像中）、画像フレームと対応付けて作成される。

　本発明の一つの実施形態では、動画データに基づいて被写体の付帯情報を作成し、音データに基づいて音の付帯情報を作成する。被写体の付帯情報、及び音の付帯情報は、互いに関連付けられて作成される。詳しく説明すると、それぞれの付帯情報は、図４に示すように、動画データに含まれる複数の画像フレームのうち、２以上の画像フレームと対応付けられて作成される。具体的には、音の付帯情報は、その音の発生中に撮像された２以上の画像フレームと対応付けて作成される。被写体の付帯情報は、音の付帯情報と対応付けられた２以上の画像フレームと対応付けて作成される。

　なお、音の付帯情報と２以上の画像フレームとの対応関係に関する情報（以下、対応情報）が、付帯情報として作成されるとよい。対応情報は、音の発生期間の開始時点及び終了時点の各々の該当時刻、あるいは、図４に示すように、開始時点及び終了時点の各々で撮像された画像フレームのフレーム番号に関する情報である。

　被写体の付帯情報は、動画データを構成する画像フレームの画角内に存在する被写体に関する情報であり、例えば、図４に示すように、被写体の種別に関する情報を含む。被写体の種別は、被写体の形態的属性に基づく種類であり、具体的には、物又は事象等の一般名称である。
　被写体の種別を特定する手法は、特に限定されないが、画像フレームにおいて被写体が存在する領域の特徴から、公知の被写体認識技術及び画像処理技術によって被写体の種別を特定してもよい。被写体が存在する領域の特徴としては、その領域の色相、彩度、輝度、形状、大きさ、及び画角内における位置等が挙げられる。

　また、被写体が音源であり、且つ所定の条件が成立した場合には、被写体の付帯情報として、音源である被写体の状態を擬態語としてテキスト化した擬態語情報が作成される。擬態語情報は、画像フレームにおいて被写体が存在する領域の特徴から、公知の被写体認識技術及び画像処理技術によって被写体の状態を特定することで作成される。被写体の状態をテキスト化する機能は、人工知能（ＡＩ）、詳しくは、被写体の状態を入力した場合に擬態語を出力する学習モデルによって実現される。

　ここで、擬態語としてテキスト化される被写体の状態には、被写体の外観、形態（様態）、表面の特性、姿勢、動き、動作、様子、速度、及び表情等が含まれる。また、擬態語には、人又は物の状態を模倣的に表す言語、具体的には、動き又は様子等を表す擬態語、動作又は様態等を表す擬態語（擬容語）、及び、表情又は心情等を表す擬態語（擬情語）が含まれる。

　画像フレーム内に複数の被写体が存在する場合、被写体の付帯情報は、それぞれの被写体について作成されてもよく、あるいは、一部の被写体（例えば、主要被写体）に限定して作成されてもよい。

　音の付帯情報は、動画データに記憶される音源からの音に関する情報であり、特に、音源が発する非言語音に関する情報である。音の付帯情報は、音源が音を発する度に作成される。換言すると、図４に示すように、音データに含まれる音源からの複数の音のそれぞれに対して、音の付帯情報が音毎に作成される。

　音の付帯情報は、図４に示すように、音についての特徴に関する特徴情報を含む。音についての特徴は、その音の性質及び特性、音に対する評価結果、音の内容を表現する言語、音がもたらす効果及び影響、並びに、その他の音に関する項目である。具体的には、音の周波数、卓越周波数（フォルマント成分）、振幅、音量（音圧）、音の波形、音をテキスト化したテキスト情報、及び音を模倣して表現した言語（擬音語）等が音についての特徴に相当する。
　また、音の種別及び音源の種類は、音についての特徴に相当する。音の種別は、どのような音であるか、ノイズ音であるか否か、あるいは、どのようなシーンにおける音であるかを表す。音源の種類は、音源の形態的属性に基づく種類であり、具体的には、音を発する物、人又は事象等の一般名称である。

　本発明の一つの実施形態において、特徴情報は、音、又はその音を発する音源に対して設定される精度に応じて作成される。精度とは、特徴情報として作成する情報の詳しさの度合い（精細度）を表す概念である。より高い精度が設定された音又は音源に対しては、より詳細な特徴情報が作成され、例えば、より多くの項目に関する特徴情報が作成される。
　なお、精度の概念には、特徴情報を作成する／しないの選択が含まれ得る。

　また、精度は、音又は音源の重要度に応じて設定される。重要度は、「高・中・低」のような段階又はランク等によって表されてもよく、あるいは数値によって表されてもよい。

　音の重要度は、音の目立ち度合いであり、具体的には、音の特徴が際立っている度合いである。音の重要度は、音量及び周波数等の音の物理的性質に基づいて設定され、例えば、音量が大きくなるほど、重要度が高く設定される。

　また、音の重要度は、音の種別に基づいて設定されてもよい。音の種別は、どのような音であるかを表す概念であり、例えば、警告音等のように突然発せられた音であるか、環境音であるか、ノイズ音であるか、及び、爆発音等のような異質で特徴的な音であるか等である。特徴的な音に対しては、通常、重要度を高く設定するのがよく、ノイズ音又は環境音に対しては、通常、重要度を低く設定するのがよい。ただし、環境音に関しては、その音源が主要被写体になる場合があり（例えば、電車を撮影している場合の電車の走行音等）、その場合には、環境音であっても重要度を高く設定してもよい。

　なお、音の種別を特定する手段として、音認識用のＡＩを利用してもよい。また、音の重要度は、重要度設定用のＡＩ、詳しくは、音データを入力した際に音データに含まれる音の重要度を出力する学習モデルによって設定してもよい。

　音源の重要度は、動画データにおいて音源が及ぼす影響の度合いであり、例えば、音データ及び動画データに基づいて設定される。具体的には、音源の重要度は、その音源が対応する画像フレームの画角内に存在するか否かに応じて設定される。具体的に説明すると、画角内に被写体として存在する音源は、撮像対象として選択されているため、ユーザにとって重要である可能性が高い。その事を踏まえて、画角内に存在する音源、又は音源から発せられる音に対しては、一般的により高い重要度が設定される。

　音源が画角内に存在するか否かを判定する方法について、図５に示すケースを例に挙げて説明する。図５では、画角の外で爆発音が発生している状況を表している。図５中、点線にて囲んだ範囲は、画角（撮影画角）のエリアを表している。
　音源が画角内に存在するか否かを判定するには、先ず、音データから音の種別を特定する。その後、動画データ中、音が発生した時点の画像フレームに映る被写体に、音の種別と対応する音源が存在するかを判定する。図５のケースでは、爆発音の音源（つまり、爆発箇所）が、画像フレームにおける被写体として記録されていないため、画角の外に存在すると判定される。
　なお、音データから音の種別を特定する前段階で、音が発生した時点での被写体（音源）が画像フレーム内に存在するか否かを判定してもよい。

　なお、音源が画角内に存在するか否かを判定する方法は、上記の方法に限定されない。例えば、公知の音源探索技術を利用して音源の位置を特定し、特定された音源の位置から、音源が画角内に存在するか否かを判定してもよい。その場合、収音用のマイクとして指向性マイクを利用し、指向性マイクの収音方向から音源の位置を特定して、音源が画角内に存在するか否かを判定する。また、指向性マイクは、複数のマイク要素を組み合わせて１８０°以上の広範囲（好ましくは、３６０°）の音を集音し、集音された各音の方向を判断可能なマイクであると好ましい。

　画像フレームの画角内に音源が存在する場合、音源の重要度は、画像フレームにおける音源に関する画像認識の結果に基づいて設定されてもよい。具体的には、画角に対する音源のサイズ、及び音源の種類等に基づいて重要度を設定してもよい。この場合、例えば、サイズが大きいほど重要度を高く設定してもよい。また、音源が人である場合には、重要度を比較的低く設定し、音源が物である場合には、重要度を比較的高く設定してもよい。このように音源に関する画像認識の結果に基づいて音源の重要度を設定することで、設定された重要度の妥当性が高められる。
　なお、音源の種類を特定する手段として、音源特定用のＡＩを利用してもよい。

　また、画像フレームの画角内に音源が存在する場合、音源の重要度は、その画像フレームを撮影する撮像装置２０について当該画像フレームと関連付けられた装置情報に基づいて設定されてもよい。装置情報は、例えば、画像フレームにおける撮像装置２０の焦点位置（ＡＦポイント）、又は、画像フレームにおける撮像装置２０のユーザの視線位置（詳しくは、視線検出センサ付きのファインダを用いて検出したユーザの視線位置）に関する情報である。

　装置情報に基づいて重要度を設定する際には、画角内における音源の位置と焦点位置との距離、あるいは、音源の位置と視線位置との距離を特定し、距離が小さいほど、重要度を高く設定するとよい。これは、焦点位置又は視線位置に近いほど、ユーザにとって重要な被写体である傾向にあることを反映している。このように撮像装置２０の装置情報に基づいて重要度を設定することにより、設定された重要度の妥当性が高められる。特に、装置情報として、撮像装置２０の焦点位置、又はユーザの視線位置を用いた場合には、上記の理由により、より妥当な重要度を設定することができる。

　なお、画角内における音源の位置を特定する方法については特に限定されないが、例えば、図６に示すように、画角において、音源の一部又は全体を囲む領域（以下、音源領域）を規定する。そして、音源領域が矩形領域である場合には、その領域の縁において対角線の両端に位置する２つの交点（図６にて白丸及び黒丸で示す点）の座標を、音源の位置（座標位置）として特定するとよい。一方、例えば、図７に示すように音源領域が円形領域である場合には、その領域の中心（基点）の座標、及び、基点から領域の縁までの距離（つまり、半径ｒ）によって音源の位置を特定するとよい。なお、音源領域が矩形である場合にも、その領域の中心（対角線の交点）の座標、及び中心から縁までの距離によって音源の位置を特定してもよい。

　また、音源の位置に基づいて重要度を設定する際には、音源の距離（深度）を参照し、音源の位置及び距離の双方に基づいて重要度を設定してもよい。

　また、画像フレームの画角の外に音源が存在する場合、音源の重要度は、動画データに記録される映像のシーン又はイベント等に基づいて設定されてもよい。具体的には、動画データに基づいて、重要なシーン又はイベント等を認識し、認識されたシーン又はイベント等と、画角外の音源が発する音との関連性に基づいて重要度を設定してもよい。例えば、動画データに「お祭り」のシーンが記録されているケースにおいて、お祭りの太鼓音が音データに記録されている一方で、その音源である太鼓が画角外にある場合、音源（太鼓）の重要度は、比較的高く設定される。また、前述の図５に示すシーンにおいて、爆発音のような特異な音については、その音源が画角外に存在しても、爆発音の重要度は、比較的高く設定される。
　なお、シーン又はイベント等を認識する際には、撮像装置２０に備えられたＧＰＳ用のセンサによって撮像装置２０の所在位置を特定し、その所在位置に基づいて、シーン又はイベント等を割り出してもよい。

　重要度の設定方法については、上記の方法に限定されず、例えば、音又は音源の重要度は、ユーザによって指定されてもよい。これにより、音の付帯情報、より詳しくは、付帯情報を作成する際の精度にユーザの意向を反映させることができる。

　以上の要領で音又は音源の重要度が設定されると、その音又は音源に対して、重要度に応じた精度が設定される。具体的には、重要度が高いほど、より詳しい精度が設定される。そして、精度が設定された音又は音源に関して、その音についての特徴情報が、精度に応じて作成される。例えば、重要度がより高い音については、より高い精度にて特徴情報が作成される。反対に、重要度がより低い音については、精度を下げて特徴情報が作成される。この結果、音データに含まれる複数の音のそれぞれについて、統一された精細度又は情報量で特徴情報を作成する場合に比較して、より効率よく特徴情報を作成することができる。

　また、特徴情報が付帯情報として作成されることにより、付帯情報を含む動画ファイルを教師データとして用いて機械学習を実施する場合に、特徴情報を利用することができる。具体的には、教師データとして動画ファイルを選別（アノテーション）する際に、動画ファイルに含まれる特徴情報を利用することができる。

　また、音データに含まれる音、又はその音源に対して精度を設定し、精度に応じて特徴情報が作成されることにより、より適切に動画ファイルを選別することができる。すなわち、音データに含まれる音について、精度に応じた特徴情報が作成されることで、例えば、重要な音については、より詳しい特徴情報が作成されるため、その特徴情報を踏まえて、アノテーションを行うことができる。

　また、図４に示すように、音又は音源に対して設定された重要度に関する重要度情報を、音の付帯情報として作成してもよい。この場合には、動画ファイルを教師データとして用いて機械学習を実施する際に、その動画ファイルに含まれる付帯情報としての重要度情報を利用することができる。具体的には、機械学習の実施に際して、重要度情報に基づいて、より重要度が高い音のデータを抽出し、その音についての特徴情報等を用いて機械学習を実施することができる。

　また、音源に対して重要度を設定するにあたり、音源の位置及び距離（深度）を特定した場合には、音源の位置及び距離（深度）に関する情報を、音の付帯情報としてさらに作成してもよい。

　また、音データに含まれる音の音源が、その音と対応する画像フレームの画角内に存在するか否かを判定し、その判定結果に関する情報（以下、存否情報）を、図４に示すように、音の付帯情報としてさらに作成してもよい。この場合には、動画ファイルに含まれる存否情報に基づいて、教師データとして用いる動画ファイルを選別（アノテーション）することができる。

　また、図４に示すように、音データに含まれる音の音源の種類に関する情報（以下、種類情報）を、音の付帯情報として作成してもよい。この場合、動画ファイルに付帯情報として含まれる種類情報に基づいて、所望の動画ファイルを検索することができる。つまり、付帯情報としての種類情報は、動画ファイルを検索する際の検索キーとして活用することができる。

　また、重要度が高い音又は音源については、図８に示すように、その音を擬音語としてテキスト化した擬音語情報を、音の付帯情報（詳しくは、上述した特徴情報の一つ）として作成してもよい。擬音語情報は、音データに含まれる音（非言語音）に対して公知の音認識技術を適用し、音の発音から尤もらしい言葉を割り当てることで作成される。音をテキスト化する機能は、人工知能（ＡＩ）、詳しくは、音を入力した場合に擬音語を出力する学習モデルによって実現される。
　なお、擬音語には、人の笑い声及び動物の鳴き声等のような擬声語（音声を模倣して表した言葉）が含まれる。

　非言語音をテキスト化した擬音語情報を付帯情報として作成することにより、動画ファイルの有用性がより向上する。つまり、擬音語情報を含む動画ファイルを教師データとして機械学習を実施することにより、非言語音と擬音語情報との関係を学習し、より正確な音認識モデルを構築することができる。

　また、擬音語情報を作成する場合には、その擬音語の種類（例えば、人の笑い声であるか、あるいは動物の鳴き声であるか等）に関する情報を併せて作成してもよい（図１０参照）。なお、重要度が低い音又は音源については、負荷軽減の観点から、擬音語情報を作成しなくてもよいが、これに限定されず、擬音語情報を作成してもよい。

　本発明の一つの実施形態において、音の付帯情報は、図８に示すように、リンク先情報及び権利関係情報をさらに含んでもよい。

　リンク先情報は、動画ファイルの音データと同じ音データが別ファイル（音声ファイル）として作成される場合に、その音声ファイルの記憶先（保存先）へのリンクを示す情報である。なお、動画ファイルの音データには複数の音源からの音が記録されているため、音声ファイルは、音源毎に作成されてもよい。その場合には、音声ファイル毎に（つまり、音源毎に）、リンク先情報が付帯情報として作成される。

　権利関係情報は、音データに含まれる音に関する権利の帰属、及び、動画データに関する権利の帰属に関する情報である。例えば、複数の演奏家が順番に演奏するシーンを撮像して動画ファイルを作成した場合、動画データの権利（著作権）は、動画ファイルの作成者（つまり、撮影者）に帰属する。一方、音データに記録された複数の演奏家のそれぞれの音（演奏音）に関する権利は、各演奏家又はその所属団体等に帰属する。この場合、これらの権利の帰属関係を規定した権利関係情報が付帯情報として作成される。

　＜＜情報作成装置の機能について＞＞
　本発明の一つの実施形態（以下、第１実施形態）に係る情報作成装置１０の機能について、図９Ａを参照しながら説明する。
　第１実施形態に係る情報作成装置１０は、図９Ａに示すように、取得部２１、特定部２２、判定部２３、設定部２４、第１作成部２５、第２作成部２６、及び変更部２７を有する。これらの機能部は、情報作成装置１０のハードウェア機器（プロセッサ１１、メモリ１２、通信用インタフェース１３、入力機器１４、出力機器１５及びストレージ１６）と、前述の情報作成プログラムを含むソフトウェアとの協働によって実現される。また、一部の機能については、人工知能（ＡＩ）を利用して実現される。以下、各機能部について説明する。

　（取得部）
　取得部２１は、撮像装置２０の各部を制御して、動画データ及び音データを取得する。第１実施形態では、複数の音源が音（非言語音）を発している間に、取得部２１が、動画データ及び音データを同期させながら、これらのデータを同時に作成する。具体的には、取得部２１は、一つの画像フレームに少なくとも一つの音源が記録されるように、複数の画像フレームからなる動画データを取得する。また、取得部２１は、動画データに含まれる複数の画像フレームに記録された複数の音源からの複数の音を含む音データを取得する。この際、それぞれの音は、複数の画像フレームのうち、その音の発生期間に取得された２以上の画像フレームと対応付けられる（例えば、図４参照）。

　（特定部）
　特定部２２は、取得部２１により取得された動画データ及び音データに基づいて、音データに含まれる音に関する内容を特定する。
　具体的に説明すると、特定部２２は、音データに含まれる複数の音のそれぞれについて、音と画像フレームとの対応関係を特定し、詳しくは、それぞれの音の発生期間に取得された２以上の画像フレームを特定する。
　また、特定部２２は、それぞれの音について、特徴（音量、音圧、振幅、周波数、及び音の種別等）及び音源を特定する。
　また、特定部２２は、音の音源が対応する画像フレームの画角内に存在するか否かを特定する。ここで、対応する画像フレームとは、動画データに含まれる複数の画像フレームのうち、音源が音を発した時点で撮像された画像フレームである。
　また、音源が画角内に存在する場合、特定部２２は、画角内における音源の位置及び距離（深度）を特定する。この場合、特定部２２は、対応する画像フレームにおける音源に関する画像（詳しくは、音源領域）を認識し、画像認識の結果として、音源のサイズ、及び音源の種類等を特定する。さらに、特定部２２は、対応する画像フレームにおける撮像装置２０の焦点位置（ＡＦポイント）又はユーザの視線位置に関する装置情報を取得し、これらの位置と音源の位置との距離（間隔）を特定する。

　（判定部）
　判定部２３は、音源が対応する画像フレームの画角内に存在しない場合に、特定部２２により特定された特徴に基づき、当該音源からの音が所定の基準（以下、判定基準）を満たすか否かを判定する。判定基準は、画角外の音源からの音に対して設定された基準であり、例えば、音量が一定レベル以上であるか、特定の周波数帯域の音であるか、音が異質で特徴的な音であるか等である。
　なお、判定基準は、撮像装置２０側で予め設定されてもよく、あるいはユーザによって設定されてもよい。

　（設定部）
　設定部２４は、音データに含まれる複数の音源からの複数の音のそれぞれ、又は、それぞれの音の音源に対して、重要度を設定する。
　音源に対して重要度を設定する場合、設定部２４は、音源が対応する画像フレームの画角内に存在するか否かに基づいて重要度を設定する。
　また、音源が画角内に存在する場合、設定部２４は、画像フレームにおける音源に関する画像認識の結果、すなわち、特定部２２により特定された音源のサイズ及び音源の種類等に基づいて音源の重要度を設定する。
　さらに、音源が画角内に存在する場合には、設定部２４は、装置情報から撮像装置２０の焦点位置又はユーザの視線位置を特定し、特定された位置と音源の位置との距離に基づいて音源の重要度を設定してもよい。

　また、音源が画角内に存在しない場合、設定部２４は、判定部２３による判定結果に基づき、当該音源からの音に対して重要度を設定する。具体的に説明すると、設定部２４は、例えば、判定基準を満たす音に対し、判定基準を満たさない場合よりも高い重要度を設定する。画角外の音源からの音に対しては、一般的に重要度が低く設定されるが、爆発音のような特徴的な音が判定基準を満たす場合においては、例え画角外の音源からの音であっても、ユーザにとって重要な音となり得る。第１実施形態では、その点を考慮し、画角外の音源からの音に対して、判断基準の成否に応じて適切に重要度を設定することができる。

　そして、設定部２４は、それぞれの音又は音源に対して、設定された重要度に応じて精度を設定する。具体的には、より高い重要度が設定された音又は音源に対しては、より高い精度を設定し、より低い重要度が設定された音又は音源に対しては、より低い精度を設定する。

　（第１作成部）
　第１作成部２５は、音データに含まれる複数の音源からの複数の音のそれぞれについて、特定部２２によって特定された特徴に基づき、特徴情報を作成する。この際、第１作成部２５は、設定部２４が音又はその音源に対して設定した精度に基づいて特徴情報を作成し、具体的には、精度に応じた詳しさ（精細度）にて特徴情報を作成する。

　また、第１作成部２５は、特定部２２により特定された音と画像フレームとの対応関係に基づき、その対応関係に関する対応情報を作成する。
　また、第１作成部２５は、音データに含まれる複数の音源からの複数の音のそれぞれについて、設定部２４が音又はその音源に対して設定した重要度に関する重要度情報を、音の付帯情報として作成する。
　また、特定部２２が、対応する画像フレームの画角内に音源が存在するか否かを特定した場合、第１作成部２５は、画角内における音源の存否に関する存否情報を、音の付帯情報としてさらに作成する。
　また、画角内の音源の種類が特定部２２によって特定された場合、第１作成部２５は、音源の種類に関する種類情報を、音の付帯情報としてさらに作成する。

　また、第１作成部２５は、音又はその音源の重要度に応じて設定された精度が所定の条件（以下、第１条件）を満たす場合に、その音を擬音語としてテキスト化した擬音語情報を、音の付帯情報として作成することができる。例えば、図１０に示すように、音データに含まれる音が犬の鳴き声であり、その音の重要度に応じて設定された精度が第１条件を満たす場合に、第１作成部２５は、「わんわん」という擬音語情報を作成する。この際、第１作成部２５は、図１０に示すように、擬音語の種類に関する付帯情報を併せて作成してもよい。

　第１条件は、擬音語情報を作成すべき精度に該当することであり、例えば、一定以上の重要度に応じた精度に該当することである。
　なお、音には、雨音のように長時間に亘って続く音、あるいは、サイレンのように一定時間繰り返して鳴る音が含まれ得る。そのような音については、当該音の発生期間分の擬音語情報をすべて作成する必要はなく、例えば、一定間隔（具体的には、数百フレームに１回の頻度）で擬音語情報を作成するとよい。つまり、音（非言語音）の種類に応じて、付帯情報を作成する頻度を変えるとよい。

　（第２作成部）
　第２作成部２６は、動画データに含まれる画像フレームの画角内に存在する被写体について、付帯情報（被写体の付帯情報）を作成する。第１実施形態では、音又は音源に対して設定された重要度に応じた精度が所定の条件（以下、第２条件）を満たした場合、第２作成部２６は、その音の音源について擬態語情報を作成する。擬態語情報は、対応する画像フレーム中の音源の状態に関する情報である。例えば、図１１に示すように、画角内の音源が笑っている人であり、その音の重要度に応じて設定された精度が第２条件を満たす場合に、第２作成部２６は、「にこにこ」という擬態語情報を作成する。この際、第２作成部２６は、図１１に示すように、擬態語としてテキスト化された人の感情の種類に関する付帯情報を併せて作成してもよい。
　なお、音源の状態について擬態語情報を作成する手法としては、例えば、公知の画像解析技術を用いて動画から音源の状態を特定し、特定した状態と対応する擬態語をＡＩによって付与してもよい。

　第２条件は、擬態語情報を作成すべき精度に該当することであり、例えば、一定以上の重要度に応じた精度に該当することである。精度が第２テキスト条件を満たす音源は、例えば、対応する画像フレーム内の主要被写体であってもよい。主要被写体としては、画像フレームにおいて最もサイズが大きい被写体、あるいは焦点位置又はユーザの視線位置に最も近い被写体等が該当する。

　以上のように、第２作成部２６の機能によれば、音源の状態を言語（擬態語）で表す擬態語情報を付帯情報として作成することができる。これにより、動画ファイルの有用性がより向上する。具体的には、擬態語情報を含む動画ファイルを教師データとして機械学習を実施することで、被写体（詳しくは、音源）の映像が入力された際に当該映像に基づく擬態語を出力する学習モデルを構築することができる。

　また、音源が動いた場合には、第２作成部２６は、動画データが示す動画から音源の動きを検出し、その動きを表す擬態語情報を付帯情報として作成してもよい。特に、動画内で被写体である音源が大きく動くなど、音源の動きが所定の条件を満たした場合に、擬態語情報を作成するのがよい。

　（変更部）
　変更部２７は、雲台を制御して撮像装置２０の撮像レンズ２０Ｌの向きを変えたり、撮像装置２０のズーム倍率を変えたりする。具体的に説明すると、音源が対応する画像フレームの画角内に存在しない場合には、前述したように、判定部２３が、当該音源からの音が判定基準を満たすか否かを判定する。そして、音が判定基準を満たす場合、変更部２７は、撮像レンズ２０Ｌが当該音源の方向に近づくように（つまり、音源を向くように）撮像レンズ２０Ｌの向きを変える。あるいは、変更部２７は、当該音源が画像フレームの画角内に含まれるように撮像装置２０のズーム倍率を下げる。

　なお、雲台は、撮像レンズ２０Ｌの向きを変更可能な構造であれば特に限定されず、図９Ｂに示す雲台３３が一例として挙げられる。この雲台３３は、撮像装置２０の本体を収容する筐体３２を、３軸方向（ロール、ピッチ、及びヨーの各方向）に移動させることが可能な３軸移動機構である。筐体３２、及び３軸移動機構である雲台３３の構成については、公知の構成であり、また、撮像装置２０、筐体３２及び雲台３３は、図９Ｂに示すように、ドーム状のカバー３１によって覆われる構成でもよい。

　上述した変更部２７の機能により、爆発音のような特徴的な音が発生した際に、その音源が対応する画像フレームの画角内に存在しない場合には、その音源を含むように画角を変更することができる。これにより、画角外で発生した特徴的な音について、その音源（音の発生箇所）の映像を記録しておくことができる。

　なお、変更部２７によって変更された撮像レンズ２０Ｌの向き及びズーム倍率（換言すると、変更後の画角）は、所定期間、具体的には、判定基準を満たす音が発生している間には維持されるのがよい。また、撮像レンズ２０Ｌの向き及びズーム倍率は、変更後の設定内容にて所定期間維持された後には、変更前の設定内容に戻ってもよい。

　＜＜本発明の一つの実施形態に係る情報作成フローについて＞＞
　次に、情報作成装置１０を用いた情報作成フローについて説明する。以下に説明する情報作成フローでは、本発明の情報作成方法が用いられる。つまり、以下に説明する情報作成フロー中の各ステップは、本発明の情報作成方法の構成要素に相当する。
　なお、下記のフローは、あくまでも一例であり、本発明の趣旨を逸脱しない範囲において、フロー中の不要なステップを削除したり、フローに新たなステップを追加したり、フローにおける２つのステップの実行順序を入れ替えてもよい。

　情報作成フロー中の各ステップ（工程）は、情報作成装置１０が備えるプロセッサ１１によって実行される。つまり、情報作成フロー中の各工程において、プロセッサ１１は、情報作成プログラムによって規定されたデータ処理のうち、各工程と対応する処理を実行する。

　第１実施形態に係る情報作成フローは、図１２に示す流れに従って進行する。本フローでは、動画データ及び音データを取得し、動画データの付帯情報を作成して動画ファイルを作成する。

　情報作成フローでは、プロセッサ１１が、複数の音源からの複数の音を含む音データを取得する第１取得工程（Ｓ００１）と、複数の画像フレームを含む動画データを取得する第２取得工程（Ｓ００２）とを実施する。
　なお、図１２に示すフローでは、第１取得工程の後に第２取得工程が実施されることになっているが、例えば、撮像装置２０を用いて音付きの動画を撮像する場合、第１取得工程及び第２取得工程を同時に行うことになる。

　第１取得工程及び第２取得工程の実施期間中、プロセッサ１１は、特定工程Ｓ００３）を実施する。特定工程では、音データに含まれる音に関する内容を特定し、具体的には、音と画像フレームとの対応関係、音の特徴、音の種別、及び音源等を特定する。

　また、特定工程では、音の音源が対応する画像フレームの画角内に存在するか否かを特定する。画角内に存在する音源については、その音源の画角内における位置及び距離（深度）、音源のサイズ及び種類等をさらに特定する。
　画角内に音源が存在する場合には、対応する画像フレームにおける撮像装置２０の焦点位置（ＡＦポイント）又はユーザの視線位置に関する装置情報を取得し、装置情報が示す位置と音源の位置との距離を特定する。

　特定工程において、音源が対応する画像フレームの画角内に存在することが特定された場合（Ｓ００４でＹｅｓ）、プロセッサ１１は、設定工程（Ｓ００８）へ移行する。

　一方、音源が対応する画像フレームの画角内に存在しない場合（Ｓ００４でＮｏ）、プロセッサ１１は、判定工程（Ｓ００５）を実施する。判定工程では、特定工程にて特定された特徴に基づき、画角外の音源からの音が判定基準を満たすか否かを判定する。

　そして、音が判定基準を満たす場合（Ｓ００６でＹｅｓ）、プロセッサ１１は、変更工程（Ｓ００７）を実施する。変更工程では、撮像装置２０の撮像レンズ２０Ｌが上記の音源の方向に近づくように撮像レンズ２０Ｌの向きを変え、又は、上記の音源が画像フレームの画角内に含まれるように撮像装置２０のズーム倍率を下げる。

　変更工程の実施後、プロセッサ１１は、設定工程（Ｓ００８）へ移行する。
　設定工程において、プロセッサ１１は、音データに含まれる複数の音源からの複数の音のそれぞれ、又は、それぞれの音の音源に対して、重要度を設定する。

　重要度は、対応する画像フレームの画角内における音源の存否に基づいて設定される。また、画角内に存在する音源については、画像フレームにおける当該音源に関する画像認識の結果（具体的には、音源のサイズ及び音源の種類等）に基づいて、重要度が設定される。さらに、画角内に存在する音源については、装置情報から特定される撮像装置２０の焦点位置又はユーザの視線位置と、音源の位置との距離に基づいて、重要度が設定される。

　画角内に存在しない音源については、判定工程での判定結果に基づいて重要度が設定され、判定基準を満たす場合には、判定基準を満たさない場合に比べて、より高い重要度が設定される。

　そして、設定工程では、それぞれの音又は音源に対して、設定された重要度に応じた精度を設定する。ここで、画角内に存在する音源に対する重要度は、前述したように、対応する画像フレームの画角内に音源が存在するか否かに基づいて設定される。したがって、画角内に存在する音源に対しては、画角内における音源の存否に基づいて精度が設定されることになる。
　また、画角内に存在する音源については、対応する画像フレームにおける当該音源に関する画像認識の結果、及び装置情報が示す焦点位置又はユーザの視線位置に基づいて重要度が設定される。したがって、画角内に存在する音源に対しては、音源に関する画像認識の結果及び装置情報に基づいて、精度が設定されることになる。

　他方、画角内にない音源については、その音が判定基準を満たすか否かに基づいて重要度が設定されるため、画角外の音源からの音に対しては、判定基準の成否に基づいて精度が設定される。その際、判定基準を満たす場合の音に対する精度が、所定の基準を満たさない場合に比べて高く設定される。

　ここまでの流れについて、図１３に示すケースを例に挙げて具体的に説明する。図１３に示すケースでは、滝を被写体として動画を撮像しており、撮像開始後のある時点（フレーム数では＃１０００に相当する時点）にて、画角の外で雷が発生している。このため、動画撮像中に取得される音データには、滝の音と雷の音とが含まれる。滝の音は、動画中の画像フレーム＃１～９９９と対応している。他方、雷の音は、雷発生時点で撮像された画像フレーム＃１０００と対応している。

　例えば、フレーム数＃１～＃９９９に相当する期間において、滝の音の音源、すなわち滝は、図１３から分かるように、対応する画像フレームの画角内に存在する。このため、音源としての滝に対する重要度は、画角内での滝のサイズ、及び、撮像装置の焦点位置又はユーザの視線位置と滝との距離等に基づいて設定される。図１３に示すケースでは、滝のサイズが基準サイズより大きいため、滝が主要被写体に該当することになり、そのため、滝に対する重要度が比較的高く設定される。この結果、滝に対する精度は、重要度に応じて比較的高く設定されることになる。

　他方、フレーム数＃１０００に相当する時点で発生した雷の音の音源、すなわち雷は、前述した、対応する画像フレームの画角の外にある。このため、判定工程において、雷の音が判定基準を満たすか否か、例えば、雷の音の音量が基準値以上であるか否かが判定される。図１３に示すケースでは、雷の音が判定基準を満たしておらず、そのため、雷の音に対する重要度が比較的低く設定される。この結果、雷に対する精度は、重要度に応じて比較的低く設定されることになる。

　なお、仮に雷の音が判定基準を満たした場合には、判定基準を満たしていない場合よりも重要度及び精度が高く設定されることになる。さらに、その場合には、変更工程が実施され、音源としての雷が画角の外から画角内に位置するように撮像レンズ２０Ｌの向き又はズーム倍率が変更されることになる。

　情報作成フローの説明に戻ると、設定工程の実施後、プロセッサ１１は、動画データの付帯情報を作成する作成工程（Ｓ００９）を実施する。作成工程は、図１４に示す流れに従って進行する。作成工程では、動画データの付帯情報として、音の付帯情報及び映像の付帯情報を作成する。

　音の付帯情報は、特定工程にて特定された内容に基づいて作成される。具体的に説明すると、作成工程では、音データに含まれる複数の音源からの複数の音のそれぞれについて、特徴情報を作成するステップ（Ｓ０２１）を実施する。このステップＳ０２１では、設定工程にて設定された精度に基づいて特徴情報を作成する。すなわち、音又は音源に対する精度が比較的高く設定された場合、その音について、より詳しい特徴情報が作成される。他方、音又は音源に対して精度が比較的低く設定された場合、その音については、より低い詳しさで特徴情報が作成され、あるいは、特徴情報の作成が省略される。

　作成工程では、また、設定工程で設定された音又は音源の重要度に関する重要度情報を、付帯情報として作成するステップ（Ｓ０２２）を実施する。
　さらに、作成工程では、音源が対応する画像フレームの画角内に存在するか否かに関する存否情報を、付帯情報として作成するステップ（Ｓ０２３）を実施する。

　また、音又はその音源の重要度に応じて設定された精度が、第１条件を満たす場合（Ｓ０２４）、その音を擬音語としてテキスト化した擬音語情報を、付帯情報として作成するステップ（Ｓ０２５）を実施する。
　また、画像フレームの画角内に存在する音源に対して設定された重要度に応じた精度が、第２条件を満たす場合（Ｓ０２６）、その音源の状態を擬態語としてテキスト化した擬態語情報を、付帯情報として作成するステップ（Ｓ０２７）を実施する。作成工程では、また、その他の関連情報（具体的には、対応情報、及び種類情報等）を作成する（Ｓ０２８）。

　情報作成フロー中のステップＳ００１～Ｓ００９は、動画データ及び音データを取得する期間中（つまり、動画の撮影中）、繰り返し実施される。これにより、図１５に示すように、音データに含まれる複数の音源からの複数の音源のそれぞれについて、音の付帯情報が作成される。図１５は、先に述べた図１３のケースについて作成された音の付帯情報を示している。

　図１５に示すように、＃１～＃９９９までの画像フレームと対応する「滝の音」に対しては、音源である滝に対して重要度がより高く設定されている。このため、「滝の音」については、図１５に示すように、より高精度で特徴情報が作成され、具体的には、音量、音源の種類、及び音源と焦点位置との位置関係に関する情報等が特徴情報として作成される。
　他方、＃１０００の画像フレームと対応する「雷の音」に対しては、重要度がより低く設定されている。このため、「雷の音」については、図１５に示すように、特徴情報を作成する際の精度がより低く、音の種別を示す情報が作成される一方で、音量及び音源の種類等に関する特徴情報は作成されない。

　そして、これらのデータの取得が終了すると（Ｓ０１０）、それに伴って情報作成フローが終了する。

　＜＜本発明の第２実施形態について＞＞
　打音検査のように、音を利用して、検査対象における異常の有無を検査することがある。その検査の動画データ及び音データを取得して動画ファイルを作成する際に、音に基づく検査結果に関する情報を、音の付帯情報として作成してもよい。かかる構成を本発明の第２実施形態とし、以下、第２実施形態について説明することとする。
　なお、以下の説明では、第２実施形態について、第１実施形態と異なる点を主に説明することとする。

　第２実施形態において、音データに含まれる複数の音は、検査時に複数の検査対象の各々から発せられる音を含む。つまり、第２実施形態では、複数の音源に、複数の検査対象が含まれる。複数の検査対象は、複数の検査対象品であってもよく、あるいは、一つの物（建物のような構造物を含む）に設定される複数の検査箇所であってもよい。

　以下では、複数の検査対象品（製品）を対象として打音検査を行うケースを例に挙げて説明する。
　なお、打音検査では、複数の検査対象品のそれぞれが一つずつ順に検査地点に搬送され、検査地点にて打音検査を受ける。

　打音検査の様子は、情報作成装置１０を備えた撮像装置２０によって撮像され、検査時に発生する音は、撮像装置２０が備えるマイクによって収音される。これにより、打音検査についての動画データ及び音データが取得される。音データには複数の音が含まれ、複数の音には、検査音と搬送音とが含まれる。検査音は、検査地点にて検査用の打撃が付与された検査対象品から発せられる音である。搬送音は、検査地点に配置する検査対象品を交換するために不図示の搬送装置が作動した際の作動音である。

　情報作成装置１０は、検査地点に配置されて検査を受けている検査対象品を特定することができる。具体的には、各検査対象品には、その識別情報（ＩＤ）が記憶された記憶素子が取り付けられており、不図示のセンサが、検査地点に配置された検査対象品の記憶素子から識別情報を読み取る。情報作成装置１０は、通信用インタフェース１３を通じて上記のセンサと通信することで、当該センサが読み取った識別情報を入手する。これにより、検査実施中の検査対象品のＩＤが情報作成装置１０によって特定される。
　なお、検査対象品が異なる場所に配置される場合にはＧＰＳ機能等を利用して、検査対象品の配置位置を特定することで、各検査対象品を特定してもよい。また、検査対象品が識別情報を表面に有する場合は、撮像装置２０の画像認証技術を用いて識別情報を認識し、識別情報から各検査対象品を特定してもよい。

　そして、情報作成装置１０は、音データに含まれる検査音及び搬送音のそれぞれについて、音の付帯情報を作成する。具体的に説明すると、情報作成装置１０は、検査音及び搬送音のそれぞれに対して、重要度を設定した後、重要度に応じた精度を設定する。この際、検査音に対しては、より高い重要度が設定され、搬送音に対しては、より低い重要度が設定される。
　その後、情報作成装置１０は、それぞれの音について、精度に応じた付帯情報を作成する。検査音については、打音検査の結果に関する情報が付帯情報（厳密には、上述した特徴情報）として作成される。一方、搬送音については、検査結果に関する情報が作成されない。

　より詳しく説明すると、第２実施形態において、情報作成装置１０は、図１６に示すように、第１実施形態と同じ機能部を備えるとともに、検査部２８を備える。検査部２８は、音データに含まれる音に対して設定された精度（詳しく、重要度に応じた精度）が所定の条件を満たす場合に、その音が検査基準を満たすか否かを検査する。具体的に説明すると、検査部２８は、音の精度が検査音に対して設定される精度である場合、音の特徴（例えば、周波数等）に基づいて、その音が検査基準を満たすか否かを検査する。検査基準とは、音（検査音）の音源である検査対象品の良否を判定するための基準であり、例えば、検査音が正常品の音とは異なる異常音であるか否かである。
　なお、音が検査基準を満たすか否かを検査する手段としては、検査用のＡＩ、より詳しくは、入力された音の特徴から当該音が検査基準を満たすか否かを判定する学習モデルを利用してもよい。

　そして、第２実施形態において、第１作成部２５は、重要度に応じた精度が所定の条件を満たす音、すなわち検査音について、検査部２８による検査結果に関する情報を特徴情報（音の付帯情報）として作成する。この際、第１作成部２５は、検査音が検査基準を満たすか否かを検査する際に用いた検査音の物理的特徴（例えば、周波数、音量及び振幅等）に関する情報を付帯情報として作成してもよい。

　また、第２実施形態において、第１作成部２５は、検査結果に関する情報を作成した場合に、その検査結果の信頼性に関する信頼性情報を特徴情報として作成することができる。信頼性は、検査結果の正確さ又は妥当性を示す指標であり、例えば、所定の算出式から算出される数値、その数値に基づいて決められるランク若しくは区分、あるいは信頼性を評価する場合に用いられる評価用語等によって表される。
　なお、検査結果の信頼性を評価する手段としては、信頼性評価用のＡＩ、より詳しくは、検査用のＡＩによる検査結果の正確さ又は尤度を評価する別のＡＩを利用してもよい。

　次に、第２実施形態に係る情報作成フローについて、図１７を参照しながら説明する。第２実施形態に係る情報作成フローは、概ね第１実施形態と共通している。具体的には、打音検査の実施期間中に、プロセッサ１１が、音データを取得する第１取得工程（Ｓ０４１）と、動画データを取得する第２取得工程（Ｓ０４２）とを実施する。この場合、図１８に示すように、動画データには、検査対象品を検査する映像と、検査対象品を搬送する映像とが交互に記録され、音データには、検査音と搬送音とが交互に記録される。

　第１取得工程及び第２取得工程の実施期間中、プロセッサ１１は、特定工程Ｓ０４３）を実施し、音データに含まれる音に関する内容として、音と画像フレームとの対応関係、音の特徴、音の種別、及び音源等を特定する。
　また、特定工程では、音の音源が対応する画像フレームの画角内に存在するか否かを特定する。画角内に存在する音源については、対応する画像フレームにおける撮像装置２０の焦点位置（ＡＦポイント）又はユーザの視線位置に関する装置情報を取得し、装置情報が示す位置と音源の位置との距離を特定する。
　また、音が検査音である場合には、特定工程において、その音源である検査対象品のＩＤを特定し、具体的には、上述したセンサから検査対象品の識別情報を入手してＩＤを特定する。

　特定工程の実施後、プロセッサ１１は、設定工程（Ｓ０４４）を実施し、音データに含まれる複数の音（すなわち、検査音及び搬送音）のそれぞれに対して、重要度を設定する。また、設定工程では、それぞれの音又は音源に対して、設定された重要度に応じた精度を設定する。この際、検査音に対しては、より高い重要度及び精度が設定され、搬送音に対しては、より低い重要度及び精度が設定される。

　その後、プロセッサ１１は、設定工程にて精度が設定された複数の音のそれぞれについて、その精度が所定の条件を満たすか、具体的には、検査音に対する精度に相当するか否かを判断する（Ｓ０４５）。そして、プロセッサ１１は、精度が所定の条件を満たす音、すなわち検査音について検査工程を実施する（Ｓ０４６）。検査工程では、検査音が検査基準を満たすか否か、詳しくは、検査音が正常品の音とは異なる異常音であるか否かを検査する。

　その後、プロセッサ１１は、動画データの付帯情報を作成する作成工程（Ｓ０４７）を実施する。
　具体的に説明すると、作成工程では、音データに含まれる複数の音源からの複数の音のそれぞれについて、特徴情報を含む音の付帯情報を作成する。より詳しく説明すると、精度がより高く設定された検査音については、図１９に示すように、音の周波数等に関する情報に加えて、検査工程での検査結果に関する情報が、特徴情報として作成される。また、図１９に示すように、検査音については、検査結果の信頼性に関する信頼性情報が音の付帯情報としてさらに作成される。
　また、検査対象品については、特定工程において、そのＩＤ（識別情報）が特定されており、検査結果に関する情報及び信頼性情報を含む音の付帯情報は、図１９に示すように、対象品検査対象品のＩＤに関連付けられる。

　他方、精度がより低く設定された搬送音については、図１９に示すように、音の周波数等に関する情報が特徴情報として作成される一方で、検査結果に関する情報は作成されない。

　上記一連の工程は、動画データ及び音データの取得が継続される間、つまり、打音検査が続行される間、繰り返し実施される。そして、すべての検査対象品についての検査が終了してデータの取得が終了した時点で（Ｓ０４８）、情報作成フローが終了する。

　第２実施形態では、以上の手順により、音に基づく検査結果に関する情報を付帯情報（特徴情報）として作成し、その付帯情報を含む動画ファイルを作成することができる。この動画ファイルを教師データとして用いて機械学習を実施することで、入力された検査音から検査結果を出力（推定）する学習モデルを構築することができる。

　また、検査結果の信頼性に関する信頼性情報が付帯情報として作成されることで、上記の学習精度を向上させることができる。具体的には、検査結果の信頼性に基づいて動画ファイルを選別（アノテーション）することができる。これにより、検査結果の信頼性を確保した上で機械学習を実施することができ、より妥当な学習結果が得られるようになる。

　＜＜その他の実施形態＞＞
　以上までに説明してきた実施形態は、本発明の情報作成方法、及び情報作成装置を分かり易く説明するために挙げた具体例であり、あくまでも一例に過ぎず、その他の実施形態も考えられる。

　（動画データ及び音データを記録するファイルについて）
　上記の実施形態では、マイク付きの撮像装置２０を用いて音付きの動画を撮像することで、動画データ及び音データを同時に取得し、これらのデータを一つの動画ファイルに含めることとした。ただし、これに限定されるものではない。動画データ及び音データを別機器にて取得し、それぞれのデータを別ファイルにて記録してもよい。その場合、動画データ及び音データの各々を互いに同期させながら取得するのが好ましい。

　（精度の設定について）
　上記の実施形態では、音データに含まれる音又はその音源に対して、重要度を設定し、重要度に応じて精度を設定することとした。ただし、必ずしも重要度を設定する必要はなく、音又は音源に関する情報から精度を直接設定してもよい。

　（音データに含まれる音について）
　上記の実施形態では、音データに含まれる複数の音には、非言語音以外の音、つまり人の会話音のような言語音が含まれてもよい。この場合、言語音について作成される付帯情報（音の付帯情報）の精度は、言語音の音源の重要度に応じて設定してもよい。ただし、言語音については、例えば、その音源が画角の外に存在した場合でも、その言語音が明瞭である場合には重要度及び精度を比較的高く設定する等、非言語音の場合とは異なる要領で精度を設定してもよい。

　（情報作成装置の構成について）
　上記の実施形態では、本発明の情報作成装置が撮像機器に搭載されている構成を説明した。つまり、上記の実施形態では、動画データ及び音データを取得する撮像装置によって、動画データの付帯情報が作成されることとした。ただし、これに限定されるものではなく、付帯情報は、撮像装置とは異なる装置、具体的には撮像装置に接続されたＰＣ、スマートフォン又はタブレット型端末等によって作成されてもよい。この場合、撮像装置により動画データ及び音データを取得しながら、撮像装置とは別の機器により、動画データの付帯情報（詳しくは、音の付帯情報）を作成してもよい。あるいは、動画データ及び音データを取得した後に、付帯情報を作成してもよい。

　（プロセッサの構成について）
　本発明の情報作成装置が備えるプロセッサには、各種のプロセッサが含まれる。各種のプロセッサには、例えば、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵが含まれる。
　また、各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）が含まれる。
　さらに、各種のプロセッサには、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

　また、本発明の情報作成装置が有する１つの機能部を、上述した各種のプロセッサのうちの１つによって構成してもよい。あるいは、本発明の情報作成装置が有する１つの機能部を、同種又は異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、若しくは、ＦＰＧＡ及びＣＰＵの組み合わせ等によって構成してもよい。
　また、本発明の情報作成装置が有する複数の機能部を、各種のプロセッサのうちの１つによって構成してもよいし、複数の機能部のうちの２以上をまとめて１つのプロセッサによって構成してもよい。
　また、上述の実施形態のように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の機能部として機能する形態でもよい。

　また、例えば、ＳｏＣ（System on Chip）等に代表されるように、本発明の情報作成装置における複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態でもよい。また、上述した各種のプロセッサのハードウェア的な構成は、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）でもよい。

　１０　情報作成装置
　１１　プロセッサ
　１２　メモリ
　１３　通信用インタフェース
　１４　入力機器
　１５　出力機器
　１６　ストレージ
　２０　撮像装置
　２０Ｌ　撮像レンズ
　２０Ｆ　ファインダ
　２１　取得部
　２２　特定部
　２３　判定部
　２４　設定部
　２５　第１作成部
　２６　第２作成部
　２７　変更部
　２８　検査部
　３１　カバー
　３２　筐体
　３３　雲台

Claims (15)

1. 　複数の音源からの複数の音を含む音データを取得する第１取得工程と、
   　前記音源又は前記音に対して、精度を設定する設定工程と、
   　前記精度に基づいて、前記音についての特徴に関する情報を、前記音データと対応する動画データの付帯情報として作成する作成工程と、を含む情報作成方法。
2. 　前記設定工程では、前記音又は前記音源に対して重要度を設定し、前記重要度に応じた前記精度を設定する、請求項１に記載の情報作成方法。
3. 　前記音は、非言語音である、請求項１又は２に記載の情報作成方法。
4. 　複数の画像フレームを含む動画データを取得する第２取得工程を備え、
   　前記設定工程では、前記音源が、前記複数の画像フレームのうち、対応する画像フレームの画角内に存在するか否かに応じて、前記音源に対する前記精度を設定する、請求項１に記載の情報作成方法。
5. 　前記音源が、対応する画像フレームの画角内に存在しない場合に、前記音が所定の基準を満たすか否かを判定する判定工程を含み、
   　前記設定工程では、前記所定の基準を満たす場合の前記音に対する前記精度を、前記所定の基準を満たさない場合に比べて高く設定する、請求項１に記載の情報作成方法。
6. 　前記音が前記所定の基準を満たす場合には、撮像装置の撮像レンズが前記音源の方向に近づくように前記撮像レンズの向きを変え、又は、前記音源が前記画像フレームの画角内に含まれるように前記撮像装置のズーム倍率を下げる変更工程を含む、請求項５に記載の情報作成方法。
7. 　前記設定工程では、対応する画像フレームにおける前記音源に関する画像認識の結果、又は、前記画像フレームを撮影する撮像装置について前記画像フレームと関連付けられた装置情報に基づいて、前記音源に対する前記精度を設定する、請求項１に記載の情報作成方法。
8. 　前記設定工程では、前記装置情報に基づいて前記音源に対する前記精度を設定し、
   　前記装置情報は、前記画像フレームにおける前記撮像装置の焦点位置、又は、前記画像フレームにおける前記撮像装置のユーザの視線位置に関する情報である、請求項７に記載の情報作成方法。
9. 　前記作成工程では、前記付帯情報として、対応する画像フレームの画角内に前記音源が存在するか否かに関する情報を作成する、請求項１に記載の情報作成方法。
10. 　前記重要度に応じた前記精度が所定の条件を満たす場合に、前記音が検査基準を満たすか否かを検査する検査工程を含み、
    　前記作成工程では、前記付帯情報として、前記検査工程での検査結果に関する情報を作成する、請求項２に記載の情報作成方法。
11. 　前記作成工程では、前記付帯情報として、前記検査結果の信頼性に関する信頼性情報をさらに作成する、請求項１０に記載の情報作成方法。
12. 　前記作成工程では、前記付帯情報として、前記重要度に関する重要度情報を作成する、請求項２に記載の情報作成方法。
13. 　前記重要度に応じた前記精度が第１条件を満たす場合に、前記作成工程では、前記音を擬音語としてテキスト化した擬音語情報を、前記付帯情報として作成する、請求項２に記載の情報作成方法。
14. 　前記重要度に応じた前記精度が第２条件を満たす場合に、前記作成工程では、対応する画像フレーム中の前記音源の状態を擬態語としてテキスト化した擬態語情報を、前記付帯情報としてさらに作成する、請求項１３に記載の情報作成方法。
15. 　プロセッサを備える情報作成装置であって、
    　前記プロセッサが、複数の音源からの複数の音を含む音データを取得し、
    　前記プロセッサが、前記音源又は前記音に対して、精度を設定し、
    　前記プロセッサが、前記精度に基づいて、前記音についての特徴に関する情報を、前記音データと対応する動画の付帯情報として作成する、情報作成装置。

Images