JP4271195B2 - 映像音声記録再生装置、映像音声記録方法及び映像音声再生方法 - Google Patents

映像音声記録再生装置、映像音声記録方法及び映像音声再生方法 Download PDF

Info

Publication number
JP4271195B2
JP4271195B2 JP2005514705A JP2005514705A JP4271195B2 JP 4271195 B2 JP4271195 B2 JP 4271195B2 JP 2005514705 A JP2005514705 A JP 2005514705A JP 2005514705 A JP2005514705 A JP 2005514705A JP 4271195 B2 JP4271195 B2 JP 4271195B2
Authority
JP
Japan
Prior art keywords
audio
information
recording
video
main information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005514705A
Other languages
English (en)
Other versions
JPWO2005039175A1 (ja
Inventor
大介 林
英明 三田
亨 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2005039175A1 publication Critical patent/JPWO2005039175A1/ja
Application granted granted Critical
Publication of JP4271195B2 publication Critical patent/JP4271195B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus

Description

本発明は、メモリ記録カメラレコーダなどの映像音声の記録再生装置及び方法に関し、特に、映像及び音声の主情報に音声付加情報を関連づけて記録し、再生する装置及び方法に関する。
カメラ一体型VTRで撮影録画した取材済みテープを元に、番組を制作する場合には、撮影録画された多くのカット(シーン)から必要な場面のみ編集して1本の番組を制作するという作業が一般的に行われている。
かかる編集作業を行う従来のノンリニア編集装置は、素材となる取材済みテープに記録された映像および音声などの情報を、ハードディスクのようなランダムアクセスが可能な記録媒体に取り込み、このハードディスクに取り込んだ映像および音声をランダムアクセスしながら編集を行う。
この編集作業を効率的に行うためには、編集者は、各カットの撮影内容がどのようなものであるかを確認する必要がある。このため、従来では各カットの先頭に、そのカットの内容を説明する文字タイトルなどの静止画を、いわゆるクレジット(編集を補助するための付加情報)として撮影して挿入し、ハードディスクに記録していた。その後の編集時に、この記録した静止画のクレジットを再生してモニタに表示することにより、各カットにどのような内容が撮影されているかを容易に把握できる。
上記のように、各カットの先頭に、その内容を説明する文字タイトルなどのクレジットを撮影し挿入する作業は面倒であり、より簡単に各カットの内容を把握できる方法が要望されていた。
これに対し特開2001−136482号公報では、各カットの撮影内容を知るための手段として、映像および音声の主情報とは別に、音声による付加情報(ボイスメモ)を前記主情報に関連付けて記録再生する方法が提案されている。
しかし、上記特許文献では、付加情報(ボイスメモ)を各カットの素材と関連付けする概念については述べられているが、メモリ記録カメラレコーダ等に適用する際の具体方法については言及されていない。また、主情報の再生中にしかボイスメモを記録することができないという問題点があった。
本発明は、上記課題を解決するためになされたものであり、映像音声記録再生装置において各カットに対して付加情報を付加する際の具体的な方法を提案する。
本発明の第1の態様において、映像音声記録再生装置は、映像及び音声の主情報を入力する映像音声入力部と、主情報に付加される音声付加情報を入力する音声付加情報入力部と、主情報および音声付加情報を出力する映像音声出力部と、主情報および音声付加情報を記録する記録媒体と、主情報および音声付加情報を、記録媒体へ記録または記録媒体から再生する記録再生部と、映像音声入力部、音声付加情報入力部、映像音声出力部、記録再生部の動作を制御する制御部とを備える。制御部は、音声付加情報を主情報の時間軸と非同期に、主情報における特定のフレーム位置に関連付けして記録媒体に記録するように制御する。
本発明の第2の態様において、映像音声記録方法は、映像及び音声の主情報を入力し、主情報に付加される音声付加情報を入力し、音声付加情報を主情報の時間軸と非同期に、主情報における特定のフレーム位置に関連付けして記録媒体に記録する。
本発明の第3の態様において、上記の映像音声記録方法により主情報と音声付加情報とが記録された記録媒体の再生方法であって、主情報のサムネイル画像を表示し、同一の主情報に一つ以上の音声付加情報が関連付けされている場合それら一つ以上の音声付加情報の各々に対して、音声付加情報が関連付けられたフレーム位置にある主情報のサムネイル画像のそれぞれを選択可能に表示する。
本発明の第4の態様において、上記の映像音声記録方法により主情報と音声付加情報とが記録された記録媒体の再生方法であって、音声付加情報を主情報の時間軸と同期を取らずに再生する。
本発明によれば、映像および音声の主情報の内容等を説明するための音声付加情報(ボイスメモ)を、主情報の特定フレーム位置に関連付けて記録することができ、主情報内の時間軸上の一点において複数のボイスメモを記録することができる。また、音声付加情報を主情報の時間軸と非同期に主情報と関連付けて記録することで、音声付加情報の再生制御が容易になる。
また、主情報における特定のフレーム位置を主情報の先頭からのフレーム数で指定してもよく、これにより、素材データのタイムコードが不連続の場合でも音声付加データを素材データの一意の位置に関連付けすることができる。
また、連続に記録された素材データ(クリップ)毎に音声付加情報を関連付けてもよく、これにより、音声付加情報をシーン毎のメモとして用いることができる。
また、記録媒体全体に関連付けた音声付加データを記録してもよく、その記録媒体にどのようなショットが記録されているのかを音声付加データとして関連付けすることにより、他の記録媒体との区別が容易になる。
また、複数の記録媒体にまたがって記録された主情報(ショット)において、記録媒体毎に音声付加データを関連付けしてもよく、これにより、一部の記録媒体が取り外されても残りの記録媒体に記録されている主情報に関連付けた音声付加データを記録、再生することができる。
また、主情報の記録を終了したときに音声付加情報の記録を終了させてもよく、これにより、ユーザによる素材データの記録終了時に音声付加データの記録を終了する手間が省ける。
また、音声付加情報を主情報の音声データと異なるサンプリングレートまたはビットレートで記録してもよく、例えば、音声付加情報をより低レートで記録することにより、音声付加データの記録可能時間を増やすことができる。
また、音声付加情報を主情報の音声データとは異なるファイルフォーマットで記録してもよく、例えば、主情報を編集機専用のフォーマットで、音声付加情報を汎用PC用のフォーマットで記録することにより、PC上でも音声付加データを再生することが可能となる。
また、記録媒体に音声付加情報を記録するための領域を予め確保しておいてもよく、主情報の空き容量がなくなっても音声付加データの記録が確保できる。
また、主情報の記録中、記録一時停止中、記録停止中、再生中、再生一時停止中、再生停止中のいずれの状態からでも、音声付加情報を記録できるようにしてもよく、これにより、編集作業が容易になる。
また、音声付加情報が関連付けされている主情報を削除した場合、削除された主情報に関連する音声付加情報も同時に削除するようにしてもよく、不要な音声付加データの消し忘れを防ぐことができる。
また、同一の主情報に一つ以上の音声付加情報が関連付けされている場合に、一つ以上の音声付加情報のうちの一つが選択されたときに、その選択された音声付加情報が関連付けられたフレーム位置にある主情報のサムネイル画像を表示するようにしてもよく、これにより、必要な音声付加情報を探すのが容易になる。
また、音声付加情報の再生時に、音声付加情報に関連付けされた主情報のサムネイルまたは主情報中の映像情報を表示してもよく、音声付加情報の再生中に主情報を確認することが可能となる。
また、一つの音声付加情報が選択されたときに、選択された音声付加情報と関連付けされている主情報のフレーム位置から主情報を再生可能としてもよく、音声付加情報をキーとした検索後に、関連付けられた主情報をすぐに確認できるので編集の作業効率が上がる。
また、音声付加情報を再生中に、再生中の音声付加情報と関連付けされている主情報のフレーム位置から主情報を再生可能としてもよく、音声付加情報をキーとした検索後に、関連付けられた主情報をすぐに確認できるので編集の作業効率が上がる。
また、音声付加情報の記録開始時の状態を示す情報を含んだ、音声付加情報に関する管理情報を有してもよく、この管理情報を参照して様々な方法で音声付加情報を再生することが可能となる。
以下、添付の図面を用いて本発明に係る映像音声記録再生装置の好ましい実施形態について詳細に説明する。
(実施の形態1)
図1は、本発明に係るメモリ記録カメラレコーダの概略構成を示すブロック図である。
映像・音声入力部100は音声情報及び映像情報を主情報として入力する。映像情報は撮像素子や再生装置等を介して、また、音声情報はマイクや再生装置等を介して入力できるが、映像、音声情報を入力することができればその手段は問わない。ここで、「主情報」とは、音声付加情報が付加され得る対象となる映像・音声情報をいい、「本編」とも呼ぶ。
圧縮伸長回路101は、映像・音声入力部100で入力した映像、音声の主情報をデータ圧縮して映像、音声データの主データとして記録再生部140に出力するか、あるいは、記録再生部140から再生された映像、音声の主データおよび音声付加データをデータ伸長して映像、音声の主情報および音声付加情報として映像・音声出力部102に出力する。
映像・音声出力部102は、圧縮伸長回路101からの映像、音声の主情報および音声付加情報を外部出力する。
ボイスメモマイク110は音声付加情報入力手段であり、ボイスメモを音声付加情報として入力する。なお、音声付加情報入力手段としては、カメラレコーダにマイクを設ける代わりに単に音声入力端子を設けておき、そこにマイク等の入力手段を接続して使用するようにしてもよい。ボイスメモ処理回路111は、ボイスメモマイク110で入力した音声付加情報をデータ変換、データ圧縮して音声付加データとして記録再生部140に出力する。
制御部120は、記録再生部140および表示部121等の各部の動作を制御する。表示部121は、制御部120によって指定されたボイスメモ番号およびサムネイル(代表画像)等を表示する。操作部130は、記録釦、再生釦、ボイスメモ再生釦等を有し、それらによるユーザの操作を外部から受け付ける。記録再生部140は、圧縮伸長回路101からの映像、音声の主データおよび、ボイスメモ処理回路111からの音声付加データを記録媒体150に記録し、また、記録媒体150から再生される映像、音声の主データおよび音声付加データを圧縮伸長回路101に出力する。
記録媒体150は、記録再生部140からの映像、音声の主データや音声付加データなどを記録するランダムアクセス可能な記録媒体である。記録媒体150はランダムアクセス可能な記録媒体であればその種類を問わず、内蔵型、外付け型、着脱可能型等の制限もなく、複数存在してもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、半導体メモリなどが考えられる。本実施例では、唯一つの記録媒体しか存在しない場合を想定することにする。
素材データを構成する映像及び音声それぞれの主データが単一の記録媒体150において連続して記録されている場合において、その記録された一連のデータ単位を「クリップ」と呼ぶ(なお、1つの素材データが複数の記録媒体にまたがって記録される場合については後述する。)。
映像の主データおよび音声の主データが同一ファイルとして記録媒体150に記録されている場合、クリップは一つの素材ファイルから構成されるが、映像の主データおよび音声の主データが異なる別々のファイルとして記録媒体150に記録されている場合は、クリップは複数の素材ファイルから構成されることもある。本実施形態では、映像の主データと音声の主データが別々のファイルとして記録媒体150に記録されており、一つのクリップにおいて、映像の主データは一つの映像ファイルで構成され、音声の主データは複数チャンネルの音声ファイルから構成されているものとする。以下、映像の主データのことを単に「映像データ」、音声の主データのことを単に「音声データ」と呼ぶ。
ボイスメモマイク110から入力した音声情報はボイスメモ処理回路111によって音声付加データに変換されて出力される。この音声付加データのことを「ボイスメモデータ」と呼ぶ。
記録再生部140が記録媒体150にデータを記録する際、このボイスメモデータはクリップ中のタイムコードと関連付けて記録される。関連付けるタイムコードは、クリップ内の最初のフレームについてのタイムコードでもよいし、途中の任意のフレームについてのタイムコードでもよい。
ボイスメモデータをクリップのタイムコードと関連付けて記録することにより、一つのクリップに対して複数のボイスメモを記録することが可能となる。また、素材データのフレーム単位での詳細な位置に関連付けすることが可能となる。編集時には、ボイスメモを聴取することにより、所望の素材データの位置を容易に見つけることができる、という効果が得られる。
また、ボイスメモデータをクリップのタイムコードではなく、クリップのフレームオフセット(先頭からのフレーム数)に関連付けてもよい。
図2を参照し、ボイスメモデータと、クリップのフレームオフセットとの関連付けについて具体的に説明する。
クリップ400内の一つのフレーム(フレームオフセット=4)に関連付けてボイスメモ#1(411)が記録されている。また、ボイスメモ#1(411)が関連付けされたフレームよりも後ろのフレーム(フレームオフセット=8)にボイスメモ#2(412)が関連付けて記録されている。ボイスメモ#1(411)の終了時刻よりもボイスメモ#2(412)の関連付けたフレームオフセットの位置の時刻が早くてもよい。また、ボイスメモ#2(412)を関連付けしたフレーム(フレームオフセット=8)と全く同じフレームに関連付けて別のボイスメモ#3(413)を記録してもよい。
このように、ボイスメモの記録時間は、本編データを構成する素材クリップの記録時間とは直接影響しない。つまり、ボイスメモは関連付けられたクリップのフレームオフセット上の一点に記録されていると考えることができる。よって、素材クリップよりも長い時間のボイスメモを記録することも可能である。ただし、ボイスメモの記録時間の上限については後述しているが、その設定時間以内でなければならない。
ここで、ボイスメモデータをクリップの特定のフレームオフセット値、例えばクリップの先頭フレームに関連付けしてもよく、このときは、そのボイスメモはクリップ全体に関連付けされたと定義してもよい。このようにクリップ全体と関連付けすることにより、ボイスメモをキーとしたクリップ単位での検索が容易になる、という効果が得られる。
また、ボイスメモデータをクリップのフレームオフセットと関連付けて記録することにより、クリップ内のタイムコードが不連続な場合でも一意的に関連付けすることができる、という効果が得られる。
クリップのフレームオフセットとボイスメモデータを関連付けする方法としては、例えば、図3に示すようなクリップとボイスメモファイルの関係を示す管理テーブル(以下「ボイスメモ管理テーブル」と呼ぶ。)および図4に示すようなクリップとその素材ファイル(映像・音声データファイル)の関係を示す管理テーブル(以下「クリップ管理テーブル」と呼ぶ。)を用いることが考えられる。なお、図3及び図4は、ボイスメモデータをクリップのフレームオフセットと関連付けた場合の管理テーブルを示している。
図3に示すボイスメモ管理テーブル20において、クリップ名200はクリップのIDを示す。なお、同一記録媒体内で全クリップはユニークなIDを持っている。フレームオフセット201は、クリップの先頭からのフレーム数である。メモID202は、同じクリップに関連付けられた複数のボイスメモに対して付加されたユニークなIDである。ボイスメモファイル名203はボイスメモファイルのファイル名であり、同一クリップ内で全ボイスメモファイル名はユニークなファイル名を持っている。
図4に示すクリップ管理テーブル30において、AVタイプ301は、本編データを構成するクリップ(素材ファイル)のタイプが映像データか音声データかを示す情報である。チャンネル番号302は、音声データであればそのチャンネル番号を指定し、映像データであれば特に指定しなくてもよい。素材ファイル名303は、クリップを構成する素材ファイルとしての映像データまたは音声データのユニークなファイル名である。
以下に、図5のフローチャートを用いて、ボイスメモの再生中に、そのボイスメモデータに関連付けられた主データ(クリップ)を再生する時の処理を説明する。なお、クリップとボイスメモとは図2及び図3の管理情報を介して関連づけられている。
再生中のボイスメモのボイスメモファイル名は同一クリップ内でユニークである。よって、ボイスメモ管理テーブル20を参照し、ボイスメモファイル名をキーとして、それに関連づけられたクリップ名、フレームオフセットを求める(S11)。そして、次に、クリップ管理テーブル30を参照し、求めたクリップ名のクリップを構成する全ての素材ファイルのファイル名(素材ファイル名303)を取得する(S12)。すなわち、素材ファイル名を、クリップを構成しているファイルの数だけ取得する。ここで得られた各素材ファイル名を持つデータファイルのそれぞれについて、先に求めたフレームオフセットが示す位置から再生を開始する(S13)。このように管理情報20、30を参照することにより、ボイスメモと本編データ(クリップ)との対応を認識でき、ボイスメモの再生中にそのボイスメモに関連するクリップを再生することができる。
次に、図6のフローチャートを用いて、クリップを再生中に、そのクリップに関連付けられているボイスメモを再生する時の処理を説明する。
クリップ管理テーブル30を参照し、現在再生中のクリップのクリップ名を取得する(S21)。そして、ボイスメモ管理テーブル20を参照し、その取得したクリップ名に関連付けられているメモID、そのメモIDに対応するボイスメモファイル名を取得する(S22)。取得したボイスメモファイル名で示されるボイスメモデータを再生する(S23)。再生するボイスメモの具体的な指定方法等については後述する。
上述の方法により、管理情報20、30を用いてクリップとボイスメモデータを関連付けることができる。また、ボイスメモをクリップ内のタイムコードやフレームオフセットと関連付けるので、一つのクリップに対して複数のボイスメモデータを関連付けることができる。また、特定のクリップの同じフレームオフセット上に複数のボイスメモを関連付けすることも可能である。
なお、本実施の形態では、圧縮伸長回路101によって、映像、音声情報を圧縮、また、映像、音声データを伸長しているが、圧縮、伸長を行わずに非圧縮データである映像、音声情報をそのまま扱ってもよい。
また、本実施の形態では、クリップ内のフレームオフセットとボイスメモデータを関連付ける手段として、図3および図4に示す管理テーブルを用いたが、それらの関連づけが実現できれば他の手段でもよい。
また、本実施形態では、ボイスメモをクリップのフレームオフセットやタイムコードに関連付けしたが、ボイスメモをクリップ内での特定の時間軸上の位置に関連付けることができれば、すなわち、クリップ内のフレーム位置を特定できる情報であれば、ボイスメモの関連付け先はクリップのフレームオフセットやタイムコードでなくてもよい。
ここで、本発明のボイスメモと従来の編集装置によるアフレコ機能により記録される音声情報との違いについて説明する。
従来の編集機等では、あらかじめ撮影した映像、音声のデータに対して、アフレコによって音声データを追加記録し、それを映像データに対する音声データとみなして再生することがある。この場合、アフレコによって追加記録した音声データは、最初の撮影時に記録した映像データと同期を取って再生することを前提として記録される。よって、アフレコによって音声データを追加記録する時は、映像データを再生し同期を取りながら音声データを追加記録することが一般的である。
これに対し、本発明におけるボイスメモは、クリップ(素材データ)が何であるかを示すためのメモ情報であり、映像、音声の主データとの同期再生は必須ではない。よって、ボイスメモ記録時の主データの状態に制限はなく、主データが、停止中、再生中、特殊再生中等(複数倍サーチ再生、逆再生等)、様々な状態にあっても、ボイスメモを記録することができる。
つまり、ボイスメモは、主データの時間軸の特定の一点に関連付けられるものであり、主データと同期を取ることなく記録することができる。
また、音声データをアフレコにより追加記録する場合、追加数は、機器の音声出力チャンネルの数に制限される。例えば、音声が4チャンネルまでしか出力できない機器に対しては、音声は最大4チャンネルしか記録できない。これに対し、本発明のボイスメモは、音声の出力チャンネル数とは無関係に、主データの同一の時間軸の位置に複数のボイスメモを関連付けて記録することができる。
(実施の形態2)
実施の形態1では、メモリ記録カメラレコーダが唯一つの記録媒体150しか備えていない場合を想定したが、本実施の形態では、記録媒体150が、図7に示すように着脱可能な複数の記録媒体(記録媒体#1(501)、記録媒体#2(502)、記録媒体#3(503))で構成される場合を説明する。
本実施形態において、複数の記録媒体にまたがって映像、音声の主データが連続して記録されている場合に、その記録データ単位を「ショット」と呼ぶ。例えば、一つのショットの素材を一つの記録媒体に記録した場合には、そのショットは一つのクリップとなる。一方、一つのショットの素材を複数の記録媒体にまたがって記録すると、各記録媒体毎に別々のクリップが作成されることになる。この場合、ボイスメモデータは分割されたクリップ毎に関連付けられる。
図8を用いて、複数の記録媒体にまたがって記録される一つのショット600に対するボイスメモの付加について詳細に説明する。
ショット600は、記録媒体#1(501)から記録が開始され、記録媒体#2(502)をまたがって記録媒体#3(503)で記録が終了したとする。この時、ショット600は、記録媒体#1(501)内のクリップ#1(611)、記録媒体#2(502)内のクリップ#2(612)、記録媒体#3(503)内のクリップ#3(613)に分割されて記録されている。
本実施形態では、ショット600内のある特定の位置に関連付けてボイスメモデータを記録する場合、ボイスメモデータは、それが付加される実体データが記録されている記録媒体と同じ記録媒体に記録される。例えば、ボイスメモを関連付けしたい位置がクリップ#1(611)内のデータである場合、そのボイスメモデータ(ボイスメモ#1(621))は記録媒体#1(501)上に記録される。同様に、ボイスメモを関連付けしたい位置がクリップ#2(612)内のデータである場合、そのボイスメモデータは記録媒体#2(502)上に記録される(ボイスメモ#2(622))。この時、ボイスメモ#2(622)の終了時刻はクリップ#2(612)の終了時刻よりも後になってもよい。しかし、この場合、ボイスメモ#2(622)は記録媒体#2(502)から記録媒体#3(503)にまたぐことなく、関連付けられた位置の本編データが記録されている記録媒体(すなわちここでは記録媒体#2(502))と同じ記録媒体上に記録されることになる。また、同様に、ボイスメモを関連付けしたい位置がクリップ#3(613)内のデータである場合、そのボイスメモデータ(ボイスメモ#3(623))は記録媒体#3(503)上に記録される。その際、ボイスメモ#3(623)の終了時刻はショット600の終了時刻よりも後になってもよい。
このように、ボイスメモデータは、それが関連付けられる、クリップのフレームオフセットの本編データの記録されている記録媒体上に記録する。また、ボイスメモデータの記録時間は実施の形態1と同様に、ボイスメモの記録時間の上限以内でなければならない。
上記の方法を用いてボイスメモデータとクリップ内のデータとの関連付けをすることによって、それぞれの記録媒体において本編データとボイスメモを関連付けた状態で再生することができる。例えば、記録媒体#3(503)が取り外された場合でも、クリップ#1(611)内のデータに関連付けされているボイスメモ#1(621)およびクリップ#2(612)内のデータに関連付けされているボイスメモ#2(622)は再生することができる、という効果が得られる。
なお、実施の形態1では、ボイスメモデータを映像または音声データを含むクリップに関連付けしたが、無効な映像および音声データから構成されるクリップ(以下「ダミークリップ」と呼ぶ。)を作成し、このダミークリップにボイスメモデータを関連付けしてもよい。そして、ダミークリップに関連付けされたボイスメモデータは、記録媒体全体に関連付けされたものとしてもよい。
例えば、ある映像、音声データが記録された記録媒体全体に、その記録媒体にどのようなデータが記録されているかを示すボイスメモデータを関連付けすることにより、その記録媒体を他の記録媒体と区別することが容易になる、という効果が得られる。
ダミークリップには、本来、映像、音声データは必要ないが、ダミークリップの無効な映像データとしてブルーバック映像データを用いると、既存のクリップと同様の管理が可能となる。クリップがダミークリップかどうかの判断をするためには、例えば、クリップがダミークリップであるか否かを示すフラグを図3の管理テーブルに付加しておけばよい。そして、ダミークリップ作成時にはこのフラグを立てるようにする。
(実施の形態3)
本実施形態では、ボイスメモの記録処理について簡単に説明する。
図9に、ボイスメモを記録、再生する時にユーザが操作する操作部130の例を示す。操作部130上にはボイスメモ記録釦1101、選択釦1102、決定釦1103が設けられている。
ボイスメモ記録釦1101はボイスメモの記録を開始する時、およびボイスメモの記録を終了する時に用いられる。ボイスメモが記録されていない状態でボイスメモ記録釦1101が押下されると、ボイスメモの記録動作が開始する。また、ボイスメモが記録されている状態でボイスメモ記録釦1101が押下されると、ボイスメモの記録動作が終了する。なお、ボイスメモ記録釦1101は、記録開始用の釦および記録終了用の釦にそれぞれ分けて構成してもよい。
選択釦1102は、例えば、クリップのサムネイル(代表画像)一覧におけるカーソルの移動および各種オプション項目でのカーソル移動等を行うための釦である。
決定釦1103は、選択を決定するための釦である。例えば、あるボイスメモが選択されている常態で決定釦1103を押すと、そのボイスメモの再生が開始される。なお、操作部130には図示しない各種の釦が存在してもよい。
図10を用いて、ボイスメモを記録してクリップに関連付けるまでの処理の流れを説明する。
ユーザによりボイスメモ非記録状態でボイスメモ記録釦1101が押下されると、ボイスメモの記録動作が開始する。その時、まず、記録すべきボイスメモを関連づけるクリップのクリップ名およびフレームオフセットを取得し、それらの情報を記憶しておく(S31)。なお、ボイスメモを関連付けるクリップやフレームオフセットの具体的な決定方法は後述する(実施の形態5参照)。また、この時、管理テーブル20、30を参照し、同一クリップにおいて重複しないようにメモID及びファイル名を決定し、記憶しておく(S32)。なお、ファイル名の決定方法等は後述する(実施の形態7参照)。そして、ボイスメモの記録が開始される(S33)。
その後、ボイスメモ記録動作中に、ユーザのボイスメモ記録釦1101の押下による記録停止操作の有無を判断する(S34)。記録停止操作があると、ボイスメモの記録を終了する(S35)。その時、ボイスメモ記録開始時に記憶しておいたボイスメモ関連付先のクリップ名、フレームオフセット、メモID、ファイル名等の関連付け情報を図3に示すような管理テーブルに記録する(S36)。
(実施の形態4)
本実施の形態では、ボイスメモの具体的な記録方法について述べる。
ボイスメモは素材データが何であるかを示すためのメモ情報であり、記録後に編集が行われることはほとんどない。また、ボイスメモは素材の音声データと違い、高音質は要求されないと考えられる。よって、ボイスメモのサンプリングレートおよびビットレートを素材の音声データに比べて低いレートで記録する。これによりボイスメモのファイルサイズが小さくなり、効率的になる。
例えば、素材の音声データのサンプリングレートを48kHz、ボイスメモのサンプリングレートを8kHzにして記録する。また、素材の音声データのビットレートを16bps(Bits Per Sample)、ボイスメモのビットレートを8bpsにして記録する。これにより、ボイスメモは素材の音声データの1/12のサイズで記録することができるので、限られた容量の記録媒体などでは、素材の映像、音声データをより多く記録することが可能となる。
また、ボイスメモのファイルフォーマットは、素材の音声データのファイルフォーマットと異なるものを用いることができる。
例えば、本編の音声データのフォーマットとしては素材交換用フォーマットであるMXF(Material Exchange Format)、ボイスメモのフォーマットとしては汎用PCで用いられているWAVEを用いる。
本編の音声データは、編集を行うのが前提なので、MXFのような素材交換用フォーマットを用いると、編集機等での編集が容易になり、編集効率が上がる。また、ボイスメモにWAVEのような汎用PCで扱えるフォーマットを用いると、後述するサムネイル(代表画像)等を用いることにより、実際の素材データを見なくともPC上でタイトル挿入などの簡易編集が可能となる、という効果が得られる。
以下、素材データおよびボイスメモを記録媒体に記録する場合について具体的に説明する。なお、ボイスメモの音質を若干高めに設定することを想定して、各データのパラメータは以下の通りとする。
フレームレート: 30fps(Frames Per Second)、
本編の映像データのフレームサイズ: 120kB、
本編の音声データのサンプリングレート: 48kHz、
ボイスメモのサンプリングレート: 12kHz、
本編の音声データのビットレート: 16bps、
ボイスメモのビットレート: 16bps、
ここで、クリップは映像データ1ch、音声データ2chで構成されているとする。この時、クリップの1秒当たりのデータサイズは、
(120kB×30fps)+((48kHz)×16bps/8bit)×2ch= 3.792MB (式1)
となる。
また、ボイスメモ1秒当たりのデータサイズは、
12kHz×16bps/8bit = 24kB (式2)
となる。
なお、ここでは説明の簡単化のため、素材データファイルおよびボイスメモファイルのデータ部以外の部分(ヘッダやフッタ部等)の記録は考慮しないことにする。
また、記録媒体に、予めボイスメモ記録専用の領域を確保しておくようにしてもよい。
例えば、記録媒体に5分間(300秒)分のボイスメモの記録用の領域を確保する。ボイスメモを5分間(300秒)記録するのに必要な記録容量は、(式2)より、
24kB×300秒 = 7.2MB (式3)
となる。つまり、ボイスメモを5分間(300秒)記録するのに必要な記録容量(7.2MB)は、クリップを約1.9秒(約57フレーム)記録する記録容量に相当する。
ここで、記録容量が1GBの記録媒体にクリップのみを記録する場合、すなわち、ボイスメモ記録領域を確保しない場合の記録可能時間を計算すると、(式1)より、
1GB/3.792MB = 約264秒 (式4)
となる。記録容量が1GBの記録媒体において予め5分間(300秒)分のボイスメモの記録領域を確保した場合は、クリップの記録可能時間は約262秒となる。すなわち、5分間(300秒)分のボイスメモの記録領域を確保しても、記録可能時間は確保しない場合とほとんど変わらない。
よって、記録媒体に予めボイスメモの記憶領域を確保しておいても、素材データの記録可能時間にほとんど影響を与えないと言える。また、予め確保しておいた記憶領域に、仮にボイスメモを記録しなくても、記録媒体の使用効率もほとんど無駄がない。
また、図8に示すように、クリップ#2(612)およびボイスメモ#2(622)を記録媒体#2(502)上に記録している際、記録媒体#2(502)上の本編データ用の空き領域がなくなり、本編データの続きを記録媒体#3(503)上にクリップ#3(613)として記録を続行した場合でも、記録媒体#2(502)に予め確保していたボイスメモ専用の記録領域が残っていれば、ボイスメモ#2(622)は記録媒体#2(502)上に記録できる、という効果が得られる。
なお、上記の例では、ボイスメモの最大記録可能時間を5分間として説明したが、その値は5分間でなくてもよく、ユーザが任意に設定できるようにしてもよい。また、ボイスメモ記録専用領域の容量をボイスメモ記録時間で設定したが、記録媒体の全容量に対するボイスメモ記録領域の割合を設定してもよい。また、確保する容量をByte単位等で直接設定してもよい。
(実施の形態5)
本実施形態では、ボイスメモの記録処理について種々のバリエーションについて説明する。
ボイスメモは、映像・音声の主情報の記録中、記録一時停止中、記録停止中、再生中、再生一時停止中、再生停止中のいずれの状態においても記録を開始することができる。複数の状態からボイスメモを記録することができるので、ボイスメモ記録の利便性が上がる、という効果が得られる。以下、それぞれの状態におけるボイスメモの記録方法について述べる。
最初に、主情報の記録(撮影)中にボイスメモを記録する方法について述べる。
主情報を記録(撮影)中に、ユーザにより操作部130に設けられたボイスメモ釦が押下されると、ボイスメモマイク110から入力された音声信号がボイスメモ処理回路111によりデータ変換され、ボイスメモとして記録媒体150に記録される。その際、このボイスメモはボイスメモ釦を押した時点に記録されたクリップのフレームオフセットに関連付けられる。この関連付けは管理情報の登録、更新により行われる。この方法により、主情報の撮影とボイスメモの記録を同時に記録でき、主情報撮影後に改めてボイスメモを記録する必要がなくなる。
また、ボイスメモ記録中にクリップが変わった時、すなわち現在記録している記録媒体の主情報記録用の空き容量が0になり、別の記録媒体に主情報の続きを記録する時は、実施の形態2に示したように、ボイスメモは、そのボイスメモの記録開始時の記録媒体上にそのまま記録され続ける。これにより、ボイスメモが関連付けられたクリップが記録されている記録媒体以外の記録媒体が取り外されても、そのボイスメモを再生することが可能となる。
次に主情報の記録一時停止中にボイスメモを記録する方法について述べる。
主情報の記録一時停止中にボイスメモ釦が押下されると、ボイスメモマイク110から入力された音声信号をデータ変換し、ボイスメモとして記録媒体に記録する。それと共に、このボイスメモは、クリップ内の記録一時停止中の位置のクリップのフレームオフセットに関連付けられる。この方法により、前述の記録中にボイスメモ釦が押された場合と同様に、本編撮影後にボイスメモを記録する必要がなくなる、という効果がある。
次に主情報の記録停止中にボイスメモを記録する方法について述べる。
主情報の記録動作中に記録動作を停止し、ボイスメモ釦が押下されると、ボイスメモマイク110から入力された音声信号がデータ変換され、ボイスメモとして記録される。その際、このボイスメモは、最後に記録されたショット全体に関連付けられる。ショットが複数のクリップに分かれて記録された場合、ボイスメモは、最後に記録されたクリップ全体に関連付けられる。これにより、主情報記録(映像撮影)後にボイスメモを記録することができるので、記録中は主情報の記録(映像撮影)に集中することができる。
なお、主情報の記録停止中にボイスメモ釦が押された場合、次に撮影されるショットにボイスメモを関連付けて記録するようにしてもよい。その際、ダミークリップを一時的に作成し、そのダミークリップ全体にボイスメモを関連付けする。その後、撮影が再開されると、記録したボイスメモを撮影中のクリップに関連付けし直し、ダミークリップを削除する。もし次の撮影が開始されなければ、記録したボイスメモを削除する。この方法により、主情報の記録前にボイスメモを記録することができるので、記録中は映像の撮影に集中することができる。
主情報記録後にボイスメモを記録するか、主情報記録前にボイスメモを記録するかは、ユーザの用途に合わせて設定を変更できるようにしてもよい。
次に主情報の再生中にボイスメモを記録する方法について述べる。
主情報の再生中にボイスメモ釦が押下されると、ボイスメモマイク110から入力された音声がデータ変換され、ボイスメモとして記録媒体に記録される。このとき、このボイスメモは、ボイスメモ釦を押した時点に再生中のクリップのフレームオフセットに関連付けられる。この方法により、主情報記録後に、主情報の映像を確認しながらボイスメモを関連付けできるので、所定のシーンのより正確な位置に関連付けすることができる。
次に主情報の再生一時停止中にボイスメモを記録する方法について述べる。
主情報の再生一時停止中にボイスメモ釦が押下されると、ボイスメモマイク110から入力された音声はデータ変換され、ボイスメモとして記録される。その際、このボイスメモは、クリップ内の再生一時停止中での位置のクリップのフレームオフセットに関連付けられる。この方法により、再生中にボイスメモ釦が押された時と同様に、記録後に主情報を確認しながらボイスメモを関連付けできるので、所定のシーンのより正確な位置に関連付けすることができる、という効果が得られる。
次に主情報の停止中にボイスメモを記録する方法について述べる。
主情報の再生後の停止中にボイスメモ釦が押下された場合、停止位置がショットの途中だった場合は、ボイスメモマイク110から入力された音声信号がデータ変換されボイスメモとして記録される。その際、このボイスメモはそのショット全体に関連付けられる。また、ショットが複数のクリップに分かれて記録されている場合には、停止位置を含むクリップ全体に関連付けられる。この方法により、編集中にショットまたはクリップ全体に関連付けてボイスメモを記録でき、ボイスメモをキーとしたクリップ単位の検索が容易になる、という効果が得られる。
なお、一つ以上のボイスメモが関連付けされているクリップを削除した場合、クリップに関連付けられているボイスメモも同時に削除するようにする。この操作により、ボイスメモを消す手間が省けると共に、不必要になったボイスメモの消し忘れを防ぐことができる、という効果が得られる。
また、主情報とボイスメモを同時に記録している時に、主情報の記録を終了すると、ボイスメモの記録も終了する。この方法により、ボイスメモ記録を終了する手間が省けると共に、不注意等によるボイスメモ記録の終了処理忘れがなくなる、という効果が得られる。
なお、本実施の形態では、主情報の音声データおよびボイスメモのサンプリングレートを、それぞれ48kHzおよび12kHzとしたが、それぞれの値は別の値でもよい。また、主情報の音声データおよびボイスメモのビットレートを、共に16bpsとしたが、それぞれの値は別の値でもよい。また、記録媒体の容量に余裕がある場合、ボイスメモの高音質が要求される場合、および制御を簡単化する等の理由により、主情報の音声データとボイスメモで共通のサンプリングレートまたは共通のビットレートを用いてもよく、その大小関係は問わない。
また、主情報の音声データおよびボイスメモのフォーマットとして、それぞれMXFおよびWAVEを用いたが、他のフォーマットを用いてもよい。また、制御を簡単化する等の理由により、主情報の音声データとボイスメモで共通のフォーマットを用いてもよい。
また、本実施形態では、クリップが、映像データ1ch、音声データ2chで構成されているものとしたが、そのチャンネル数は任意でもよく、例えば音声データ1chだけのクリップであってもよい。
(実施の形態6)
本実施形態では、ボイスメモの再生方法を具体的に説明する。
最初に、ボイスメモの再生指示のために表示部12上に表示される画面について説明する。
図11に表示部121に表示されるクリップ一覧画面の例を示す。クリップ一覧画面は、記録媒体150内に記録されているクリップの一覧を表示する。全てのクリップが画面に入りきらない場合は、選択カーソル1102を用いて画面をスクロールさせて表示する。
クリップ一覧画面において、記録されている各クリップのサムネイル(クリップの代表画像)1402が整列して表示される。サムネイル1402は、クリップの先頭フレームの映像データでもよく、クリップ内のその他のフレームの映像データでもよい。クリップに映像データが存在しない場合、すなわち音声データのみで構成されるクリップの場合は、サムネイル1402にはブルーバック等の画像を埋め込む。なお、サムネイル1402には、クリップ内の映像データではない別の画像をユーザが設定してもよい。
サムネイル1402とともに、そのクリップのクリップ番号1403も表示される。クリップ番号1403はクリップ名とは無関係に決定することができ、記録媒体内でユニークであれば、自由に設定してよい。
さらに、ボイスメモが関連付けられているクリップについては、ボイスメモマーク1404が表示される。図11の例ではクリップ番号が「02」、「03」および「05」のクリップにボイスメモが関連付けられている。
選択釦1102の操作により選択されたサムネイルについては、選択されていることを示す表示1405が外枠に付加される。
図12は、ボイスメモクリップ一覧画面の例を示した図である。ボイスメモクリップ一覧画面はクリップ一覧画面から導かれる。
ボイスメモクリップ一覧画面は、記録媒体に記録されているクリップの中でボイスメモが関連付けられているクリップのみを一覧表示する。ボイスメモクリップ一覧画面への移行は、操作部130上のオプション釦等を用いて行えばよく、その手段は問わない。ボイスメモクリップ一覧画面には、ボイスメモ表示領域1502及びクリップ表示領域1504が設けられている。
クリップ表示領域1504は、ボイスメモが関連付けられているクリップのサムネイル(以下「クリップ・サムネイル」と呼ぶ)1402を表示する領域である。
ボイスメモ表示領域1502には、現在選択されているクリップに関連付けられているボイスメモに関するサムネイル(以下「ボイスメモ・サムネイル」と呼ぶ。)1501の一覧が表示される。ボイスメモ・サムネイル1501は、ボイスメモが関連付けられたクリップ中の位置の静止画の縮小画像である。関連付けられているクリップに映像データが存在しない場合、すなわち音声データのみで構成されるクリップの場合は、ボイスメモ・サムネイル1501にはブルーバック等の画像を埋め込む。
ボイスメモ・サムネイル1501にはボイスメモ番号1503が表示される。ボイスメモ番号1503は、後述のMemoID985と無関係に決定することができ、クリップ内でユニークであれば、ボイスメモ番号1503は自由に設定してよい。
ボイスメモ表示領域1502には、現在選択されているボイスメモの情報を表示するボイスメモ情報1505が表示される。例えば、現在選択されているボイスメモの関連付先のクリップ番号1403、現在選択されているボイスメモのボイスメモ番号1503が表示される。図12の例では、ボイスメモ情報1505により、クリップ番号「02」、ボイスメモ番号「02」のボイスメモが選択されていることが示されている。この例において、クリップ番号「02」のクリップにはボイスメモが合計3つ関連付けされていることが示されている。
なお、ボイスメモ情報1505に表示する情報は、必要がなければ表示しなくてもよく、また、必要ならば他の情報を表示してもよい。
図13を用いてボイスメモの再生動作を説明する。
ユーザは、ボイスメモを再生するために、ボイスメモクリップ一覧画面に移行し、再生したいボイスメモが関連付けられているクリップを選択・決定する。再生したいクリップの選択は操作部130上の選択釦1102で行われ、決定釦1103によってその選択が決定される。
ボイスメモクリップ一覧の画面上でユーザ操作によりクリップが選択・決定されたか否かを判断する(S41)。クリップが選択・決定されると、カーソルをボイスメモ表示領域1502に移動し、ボイスメモ表示領域1502においてユーザにより再生したいボイスメモ・サムネイルが選択されたか否かを判断する(S42)。再生したいボイスメモが選択されている状態で、決定釦1103が押下されると、その選択が確定し、選択されたボイスメモが再生される(S43)。その時、ボイスメモの再生開始と同時に、再生するボイスメモが関連付けられた位置にある本編の映像データの静止画が表示される(S44)。その後、ボイスメモデータがその終端まで再生されると、ボイスメモの再生は終了し、それとともに、本編の映像データの静止画の表示も停止する。
図14は、ボイスメモ再生中の画面を示した図である。
本編の映像データの静止画とともに、ボイスメモが再生中であることを示す表示1601が表示されている。表示1601は点滅表示でもよい。
なお、ボイスメモの再生開始と同時に、再生するボイスメモの関連付けられた位置から本編の映像データの動画の再生を開始してもよい。この時、ボイスメモの再生が終了する前に本編の映像データの動画の再生が終了した場合は、本編の映像データの最終フレームの静止画、またはブルーバック画像等を出力し続けるとよい。
ボイスメモの再生が終了すると、自動的にボイスメモクリップ一覧画面に戻る。ボイスメモの再生途中での終了を可能とするために、所定の釦(例えば、決定釦1103、停止釦(図示せず))が押下されたときにボイスメモの再生動作を中断するようにしてもよい。また、ボイスメモ再生中に、本編再生釦(図示せず)または選択決定釦1103が押下されると、ボイスメモの再生を中断し、再生していたボイスメモが関連付けられている位置から、本編の映像、音声データの再生を開始するようにしてもよい。
(実施の形態7)
実施の形態1では、クリップのフレームオフセットとボイスメモデータを関連付ける手段として図2および図3に示すような管理テーブルを用いたが、本実施の形態では、XML(eXtensible Markup Language:W3C勧告)ファイルにボイスメモの関連付けに関する情報を記述する。また、クリップとボイスメモの関連情報以外にも、クリップを構成する映像データおよび音声データに関する情報等、クリップに関する種々の情報をXMLファイルに記述する。
(記録媒体のディレクトリ構成)
図15に、記録媒体150に記録する各コンテンツのディレクトリ構成の例を示す。
Contentsディレクトリ800は、記録媒体150のrootディレクトリの下に配置される。クリップを構成する全てのファイルは、Contentsディレクトリ800の下に配置される。
Clipディレクトリ810は、Contentsディレクトリ800の下に配置される。クリップ情報の記述されたXMLファイルはClipディレクトリ810の下に格納される。
Videoディレクトリ820は、Contentsディレクトリ800の下に配置される。映像データファイルはVideoディレクトリ820の下に格納される。
Audioディレクトリ830は、Contentsディレクトリ800の下に配置される。音声データファイルはAudioディレクトリ830の下に格納される。
Voiceディレクトリ850は、Contentsディレクトリ800の下に配置される。ボイスメモデータファイルはVoiceディレクトリ850の下に格納される。
クリップファイル811および812はそれぞれ、ボイスメモの付加情報等のあらゆるクリップ情報が記述されたXMLファイルである。1つのクリップに対して1つのクリップファイルが作成される。
映像ファイル821および822はそれぞれ、クリップを構成する映像データファイルである。
音声ファイル831〜834はそれぞれ、クリップを構成する音声データファイルである。
ボイスメモファイル851〜853はそれぞれ、クリップに関連付けられるボイスメモデータファイルである。
なお、上記例では、本実施の形態を説明するために必要な構成要素のみを用いた。必要に応じて、例えば図示しないIconディレクトリや、図示しないIconファイル等をこの構成に組み入れてもよい。また、記録媒体150内のディレクトリ構成は別の構成でもよい。
(XMLによるクリップファイルの定義)
以下、XMLを用いたクリップファイルの具体的な記述方法について説明する。
図16に、XML記述内に具体的に記述する項目を示す。図16に記載されている項目は、本実施の形態を説明するために列挙した一例であり、図16に記述していない項目が存在してもよく、また、図16に示されている項目のいくつかが存在しなくてもよい。また、各項目においてはその属性が存在してもよい。
ClipContentタグ900は、以下に示すクリップに関する情報を要素として持つ。
ClipNameタグ901は、クリップの名前を要素として持つ。
Durationタグ902は、クリップのフレーム数を要素として持つ。
EssenceListタグ910は、映像、音声データ等のエッセンスのリストを要素として持つ。
Videoタグ920は、以下に示す映像データの情報を要素として持つ。また、Videoタグ920の属性として、例えば図示しないValidAudioFlagという属性を付加することにより、映像データの中に音声データが多重化されているかどうかを判断してもよい。
VideoFormatタグ921は、映像データのファイルフォーマットを要素として持つ。例えばMXFファイルフォーマットなどが考えられるが、その他のフォーマットでもよい。
Audioタグ940は、以下に示す音声データの情報を要素として持つ。
AudioFormatタグ941は、音声データのファイルフォーマットを要素として持つ。例えばMXFファイルフォーマットなどが考えられるが、その他のフォーマットでもよい。
SamplingRateタグ942は、音声データのサンプリングレートを要素として持つ。例えば48000Hzなどが考えられるが、サンプリングレートの値は何でもよい。
BitsPerSampleタグ943は、音声データのビットレートを要素として持つ。例えば16bps、24bpsなどが考えられるが、ビットレートの値は何でもよい。
ClipMetadataタグ960は、ボイスメモなど、クリップに関連付けられる素材データ以外のメタデータの情報を要素として持つ。
MemoListタグ970は、クリップに関連付けするメモのリストを要素として持つ。なお、メモが存在しなければ、MemoListタグ970はなくてもよい。
Memoタグ980は、以下に示すメモの各情報を要素として持つ。なお、Memoタグ980には属性としてMemoID985を付加する。MemoID985は、クリップ毎に独立な2桁の値であり、各クリップに最大100個までメモを関連付けることができる。また、MemoID985は2桁の値でなくてもよく、クリップ毎に関連付けられるメモの最大数は100でなくてもよい。
Offsetタグ981は、メモを関連付けするクリップのフレームオフセットを要素として持つ。Offsetタグ981は必要がなければなくてもよい。Offsetタグ981がなければ、そのメモはクリップ全体に関連付けられたものとすればよい。
Personタグ982は、メモを作成した人の名前等を要素として持つ。例えば、ボイスメモ記録時に、誰が記録したかをPersonタグ982内に記述する。これにより、ボイスメモの記録者が明確になり、ボイスメモを記録した時の状況などが知りたければ、その記録者に問い合わせればよい。なお、特に必要がない場合はPersonタグ982を付加しなくてもよい。
Voiceタグ990は、以下に示すボイスメモの各情報を要素として持つ。もしボイスメモが関連付けされていなければVoiceタグ990はなくてよい。
VoiceFormatタグ991は、ボイスメモデータのファイルフォーマットを要素として持つ。例えばWAVEファイルフォーマットなどが考えられるが、その他のフォーマットでもよい。
VoiceSamplingRateタグ992は、ボイスメモデータのサンプリングレートを要素として持つ。例えば12000Hz等が考えられるが、サンプリングレートの値は何でもよい。
VoiceBitsPerSampleタグ993は、ボイスメモデータのビットレートを要素として持つ。例えば16bps等が考えられるが、ビットレートの値は何でもよい。
RecContidionタグ994は、ボイスメモを記録した時の状態を要素として持つ。例えば、PLAY状態、STILL状態等が考えられるが、それ以外の状態があってもよく、また、それらの状態を細分化してもよい。なお、RecConditionタグ994は必要がなければ設けなくてもよい。
なお、クリップファイルに記述する項目として上記のような例を上げたが、クリップとボイスメモを関連付けすることができれば、その構造、項目、要素、属性は問わない。
(ボイスメモ記録時の状態管理)
ボイスメモ記録時の状態を管理する方法について説明する。
例えば、本編データの記録中または本編データの再生中にボイスメモを記録する場合には、RecConditionタグ994を“PLAY”にする。また、本編データの記録一時停止中、記録停止中、再生停止中および再生一時停止中にボイスメモを記録する場合、すなわち、本編データと同期を取らずにボイスメモを記録する場合に、RecConditionタグ994を“STILL”にする。
ボイスメモを再生する場合は、RecConditionタグ994を参照し、“PLAY”ならば、そのボイスメモに関連付けられた位置から本編の映像データを同時に再生する。一方、RecConditionタグ994が“STILL”ならば、そのボイスメモに関連付けられた位置の本編の映像データの静止画を出力し続けながらボイスメモを再生する。ここでは、RecConditionタグ994の値を“PLAY”および“STILL”としたが、それ以外の状態を別途定義してもよく、例えば、サーチ再生中にボイスメモを記録した場合は、そのときのサーチ再生速度を示す値をRecConditionタグ994に記述してもよい。その場合は、RecConditionタグ994を参照してサーチ再生速度を取得し、本編データを、その取得した速度でサーチ再生しながらボイスメモを再生する、といったことも可能となる。
なお、RecConditionタグ994の値に関わらず、常に本編の映像データの静止を出力し続けながらボイスメモを再生してもよい。また、RecConditionタグ994とボイスメモの再生方法との関係はユーザが自由に決定してもよい。また、RecConditionタグ994は記録しなくてもよく、その場合はボイスメモの再生方法を統一化するようにすればよい。また、RecConditionタグ994の値には関係なく、ユーザが設定した再生方法でボイスメモを再生してもよい。
このように、ボイスメモを記録した時の状態を管理することにより、ボイスメモの再生手段を増やすことができる。
なお、ボイスメモを再生する場合、関連付けられた位置から本編の映像データのみを同時に再生する例を挙げたが、同時に本編音声データを再生してもよい。
(ボイスメモデータの非同期記録、非同期再生)
一般的に、素材の映像、音声データを再生する時は、映像と音声は同期を取る必要がある。この時、映像と音声が1フレームのずれも許されないのが一般的である。映像データと音声データが多重化されておらず、映像データファイル、音声データファイル(複数チャンネルの場合も含む)がそれぞれ別々のファイルである場合、これら全てのファイルの同期を取りながら再生する制御は複雑なものとなる。また、サンプリングレートの異なる2つ以上の音声データファイルを再生する場合、これらの同期を取りながら再生する制御はより複雑なものとなる。
一方、映像と音声で同期を取りながら再生する必要がない場合、すなわち、数フレームのずれならば許される場合は、映像データファイル、音声データファイルが別々のファイルであっても、それぞれ独立して再生すればよく、その制御はより簡易なものとなる。
前述したように、ボイスメモデータは素材データが何であるかを示すためのメモデータなので、素材データと厳密な同期を取って再生する必要はないと考えられる。よって、ボイスメモを本編データと同期を取ることなく再生すると、制御がより簡単なものとなる。
また、ボイスメモは本編データの時間軸の特定の一点に関連付けられるものであり、ボイスメモを本編データと同期を取ることなく記録することにより、関連付けるクリップのDurationよりも長時間ボイスメモを記録することができる。例えば、数秒のクリップに対して、数十秒のボイスメモを記録することもできる。また、本編データの、停止中、再生中、特殊再生中等(複数倍サーチ再生、逆再生等)、様々な状態でボイスメモを記録することができる。
例えば、本編データの停止中、一時停止中等にボイスメモを記録する場合は、ボイスメモの管理情報として、RecConditionタグ994の値を“STILL”にしておけばよい(この時のボイスメモの再生方法については後述する。)。この時、素材の記録前にあらかじめボイスメモを記録しておくこともできる。例えば、今から撮影するシーンに対して、そのシーンの説明等をボイスメモとしてあらかじめ記録しておき、その後に対象となるシーンを撮影し、そのクリップにあらかじめ記録しておいたボイスメモを関連付けることもできる。
また、本編データの記録中および再生中にボイスメモを記録する場合は、RecConditionタグ994の値を“PLAY”にしておけばよい。(この時のボイスメモの再生方法については後述する。)この時、記録するボイスメモは本編データと必ずしも同期を取る必要はない。よって、実施の形態2で示したように、本編データが複数の記録媒体にまたがって記録する、または記録されている場合でも、ボイスメモは複数の記録媒体にまたぐことなく記録することができる。また、特に本編データ再生中にボイスメモを記録する場合には、ボイスメモ記録中に、本編データの終端が過ぎてもボイスメモの記録を続けることができる。
また、本編データの特殊再生中等(複数倍サーチ再生、逆再生等)にボイスメモを記録する場合は、RecConditionタグ994の値を、それぞれの状態を示すような値にしておけばよい。
上記のように記録されたボイスメモを再生する時は、ボイスメモ記録時に付加しておいたRecConditionタグ994を参照することにより、その再生方法を選択するようにすればよい。
RecConditionタグ994の値が“STILL”の時、すなわち、ボイスメモを記録した時の本編の状態が停止または一時停止だった時は、ボイスメモが関連付けられた位置の本編の映像データの静止画を出力し続けながらボイスメモを再生する。
また、RecConditionタグ994の値が“PLAY”の時、すなわち、ボイスメモを記録した時の本編の状態が記録中または再生中だった時は、ボイスメモが関連付けられた位置の本編の映像データを同時に再生する。この時、前述したように、本編データとボイスメモでは必ずしも同期をとる必要がないため、より簡単な制御で再生することができる。ここで、長時間にわたるボイスメモ等で、早くボイスメモを聞きたい場合は、本編を等倍再生中に、ボイスメモのみを1.5ないし2倍速で再生することもできる。逆に、ボイスメモで残された音声メッセージが速すぎて聞き取れない場合等は、本編を等倍再生中に、ボイスメモのみを0.5倍速で再生してもよい。
また、RecConditionタグ994が、サーチ再生等を示す値だった時、例えばサーチ再生4倍速を示す値だった時は、ボイスメモが関連付けられた位置から本編データを4倍速でサーチ再生しながらボイスメモを再生することができる。また、RecConditionタグ994が逆再生を示す値だった時は、ボイスメモが関連付けられた位置から本編データを逆再生しながらボイスメモを再生することもできる。
(XML記述の具体例)
図17は、図15におけるディレクトリ構造の一部に対するXML記述の例を示した図である。すなわち、図15に示す例には、クリップ名が“0001AB”であるクリップファイル#1(811)と、クリップ名が“0001CD”であるクリップファイル#2(812)とが含まれているが、図17は、そのうちのクリップファイル#1(811)に関するXML記述を示している。ただし、図17はクリップファイル#1(811)に記述されている内容の一部を示し、記載されている項目は、本実施の形態を説明するために必要な項目のみである。図17に記述していない項目が存在してもよく、また、図17に示されている項目のいくつかが存在しなくてもよい。また、各項目においてはその属性が存在してもよい。
図17のXML記述には以下の内容が定義されている。
クリップファイル#1(811)のクリップ名(ClipName)は”0001AB”である。
クリップファイル#1(811)の長さ(Duration)は1000フレームである。本編の映像データおよび本編の音声データのファイルフォーマット(Video Format, AudioFormat)としてMXFを用い、ボイスメモのファイルフォーマット(VoiceFormat)としてWAVEを用いている。また、本編の音声データのサンプリングレート(SamplingRate)は48kHzとし、ボイスメモデータのサンプリングレート(VoiceSamplingRate)は12kHzである。また、音声データおよびボイスメモのビットレート(BitsPerSample, VoiceBitsPerSample)は共に16bpsである。
クリップファイル#1(811)は、映像ファイル#1(821)、音声ファイル#1(831)、音声ファイル#2(832)、ボイスメモファイル#1(851)、および、ボイスメモファイル#2(852)から構成されている。
ボイスメモファイル#1(851)は“UserName1”をユーザ名(Person)に持つユーザにより作成されている。そのボイスメモは、素材の記録一時停止中、記録停止中、再生一時停止中、再生停止中のいずれかの状態(RecCondition)で記録され、このクリップの0フレーム目(Offset)に関連付けられている。
また、ボイスメモファイル#2(852)は“UserName2” をユーザ名(Person)に持つユーザにより作成され、そのボイスメモは、素材の記録中または再生中(RecCondition)に記録され、このクリップの100フレーム目(Offset)に関連付けられている。
各データファイルは以下のように名付けられる。
クリップファイル#1(811)のファイル名は、クリップ名“0001AB”に拡張子“.xml”を付加したものであり、“0001AB.xml”となる。
また、映像ファイル#1(821)のファイル名は、クリップ名“0001AB”に、拡張子“.mxf”を付加したものであり、“0001AB.mxf”となる。
音声ファイル#1(831)および音声ファイル#2(832)のファイル名は、クリップ名“0001AB”に2桁のチャンネル番号“00”および“01”を付加したものに、さらに拡張子“.mxf”を付加したものであり、それぞれ“0001AB00.mxf”および“0001AB01.mxf”となる。なお、音声データのチャンネル番号は、EssenceListタグ910に登録されているAudioタグ940の要素のリスト順に0チャンネル、1チャンネル、2チャンネル、・・・のように割り当てられる。音声データのチャンネル番号は、図9で示すAudioタグ940の属性としてチャンネル番号を付加し、その値から決定してもよく、また、別のタグからチャンネル情報を取得してもよく、その手段は問わない。
ボイスメモファイル#1(851)およびボイスメモファイル#2(852)のファイル名は、クリップ名“0001AB”にそれぞれのMemoID985の2桁の値“00”および“01”を付加したものに、さらに拡張子“.wav”を付加したものであり、それぞれ、“0001AB00.wav”および“0001AB01.wav”となる。
上述した各ファイルを図16のようなディレクトリ構成に基づいて格納しておく。この構成により、クリップファイル#1(811)を参照するだけで、クリップを構成する素材データやボイスメモデータ等の関連情報を知ることができる。
なお、各ファイルのファイル名の決定方法は、上記の例以外の方法でもよい。
本実施の形態では、クリップと映像、音声データおよびボイスメモデータを関連付けする方法やその効果を説明するために必要な項目についてのみ述べたが、各素材データの詳細情報、クリップの代表画像であるサムネイルファイルに関する情報、撮影した場所の情報、撮影者のユーザ情報、撮影機器の情報等、様々な情報をクリップファイルに記述しておいてもよい。そうすることにより、クリップファイルを参照するだけでクリップのあらゆる情報を知ることができる。
本実施の形態では、クリップファイルの記述言語としてXMLを用いた。XMLはW3C(World Wide Web Consortium)により規格化(勧告)されている言語であるので、例えば、XMLを扱うことのできる変換ソフト等を用いれば管理情報を他のデータベースに移行する、等の操作も可能となり、より汎用性が増すと考えられる。また、新規のタグを定義することにより管理情報も容易に追加することもできるため、拡張性が高いと考えられる。また、XMLはテキストファイルであるため、汎用の情報機器を用いてユーザはクリップファイルを直接かつ容易に参照でき、クリップ情報をおおよそ把握することができる。また、ユーザは汎用の情報機器を用いて、直接クリップファイルを編集でき、簡易編集も可能となる。
本発明は、メモリ記録カメラレコーダ等で撮影録画した取材済みメディアを元にノンリニア編集等の編集作業を効率的に行うための映像音声記録再生装置に有用である。
本発明は、特定の実施形態について説明されてきたが、当業者にとっては他の多くの変形例、修正、他の利用が明らかである。それゆえ、本発明は、ここでの特定の開示に限定されず、添付の請求の範囲によってのみ限定され得る。なお、本出願は日本国特許出願、特願2003−356079号(2003年10月16日提出に関連し、それらの内容は参照することにより本文中に組み入れられる。
本発明の実施の形態1における映像音声記録再生装置の構成を示した図である。 ボイスメモの、クリップ内の特定位置への関連付けを説明するための図である。 ボイスメモファイルとクリップの関係を示す管理情報の例(ボイスメモ管理テーブル)を示した図である。 クリップとそのクリップを構成する素材ファイル(映像、音声ファイル)の関係を示す管理情報の例(クリップ管理テーブル)を示した図である。 ボイスメモ再生中に、ボイスメモデータに関連付けられた本編のデータ(クリップ)を再生する時の処理のフローチャートである。 クリップ再生中に、クリップに関連付けられているボイスメモを再生する時の処理のフローチャートである。 本発明の実施の形態2における、複数の記録媒体を有する映像音声記録再生装置の構成を示した図である。 複数の記録媒体にまたがって記録されたショット内の特定位置への、ボイスメモの関連付けを説明する図である。 記録再生装置における操作部の例を示した図である。 ボイスメモの記録動作のフローチャートである。 クリップ一覧画面の表示例を示す図である。 ボイスメモクリップ一覧画面の表示例を示す図である。 ボイスメモの再生動作のフローチャートである。 ボイスメモ再生中の画面の表示例を示す図である。 記録媒体内のコンテンツのディレクトリ構成を示した図である。 クリップ情報を管理するタグを説明した図である。 クリップファイルのXML記述の例を示した図である。

Claims (23)

  1. 映像及び音声の主情報を入力する映像音声入力部と、
    前記主情報に付加される音声付加情報を入力する音声付加情報入力部と、
    前記主情報および前記音声付加情報を出力する映像音声出力部と、
    前記主情報および前記音声付加情報を、記録媒体へ記録または記録媒体から再生する記録再生部と、
    前記映像音声入力部、前記音声付加情報入力部、前記映像音声出力部、前記記録再生部の動作を制御する制御部とを有し、
    前記制御部は、前記音声付加情報を前記主情報の時間軸と非同期に、前記主情報における特定のフレーム位置に関連付けして前記記録媒体に記録するように制御し、
    前記主情報の音声データは MXF ファイルフォーマットで記録され、前記音声付加情報は、前記主情報の音声データとは異なるファイルフォーマットである WAVE ファイルフォーマットで記録される、
    映像音声記録再生装置。
  2. 前記主情報における特定のフレーム位置を、前記主情報の先頭からのフレーム数または前記主情報のタイムコードで指定し、前記音声付加情報を、前記主情報の先頭からのフレーム数または前記主情報のタイムコードと関連付けして前記記録媒体に記録する、請求項1記載の映像音声記録再生装置。
  3. 前記記録媒体が単一の媒体で構成される場合に、該単一の記録媒体に連続に記録された主情報であるクリップ内の特定のフレーム位置に関連付けされた前記音声付加情報は前記クリップ全体に関する情報を含む、請求項1記載の映像音声記録再生装置。
  4. 前記特定のフレームはクリップ内の先頭フレームである、請求項3記載の映像音声記録再生装置。
  5. 前記記録媒体全体に対して音声付加情報を付加するために、ダミーの主情報を作成し、該作成したダミーの主情報に前記音声付加情報を関連付け、前記ダミーの主情報と前記音声付加情報を前記記録媒体に記録する、請求項1記載の映像音声記録再生装置。
  6. 前記記録媒体が複数の媒体で構成され、一連の動作で撮影された前記主情報が複数媒体に亘って分割されて記録されている場合、分割された前記主情報毎に前記音声付加情報を関連付けし、前記主情報と、前記主情報と関連付けられた前記音声付加情報とを同一の媒体に記録する、請求項1記載の映像音声記録再生装置。
  7. 前記主情報および前記音声付加情報の記録動作において、前記主情報の記録を終了したときに前記音声付加情報の記録を終了する、請求項1記載の映像音声記録再生装置。
  8. 前記音声付加情報を、前記主情報の音声データとは異なるサンプリングレートまたはビットレートで記録する、請求項1記載の映像音声記録再生装置。
  9. 前記音声付加情報に関する管理情報を有し、該管理情報は前記音声付加情報の記録開始時の、前記主情報の状態を示す情報を含む、請求項1記載の映像音声記録再生装置。
  10. 前記音声情報を付加した使用者を特定する情報を管理ファイル内に記録する、請求項1記載の映像音声記録再生装置。
  11. 前記音声付加情報の管理情報をXMLファイルで記録する、請求項1記載の映像音声記録再生装置。
  12. 映像及び音声の主情報を入力し、
    前記主情報に付加される音声付加情報を入力し、
    前記音声付加情報を前記主情報の時間軸と非同期に、前記主情報における特定のフレーム位置に関連付けして記録媒体に記録し、
    前記主情報の音声データは MXF ファイルフォーマットで記録され、前記音声付加情報は、前記主情報の音声データとは異なるファイルフォーマットである WAVE ファイルフォーマットで記録される、映像音声記録方法。
  13. 前記主情報における特定のフレーム位置を、前記主情報の先頭からのフレーム数または前記主情報のタイムコードで指定し、前記音声付加情報を、前記主情報の先頭からのフレーム数または前記主情報のタイムコードと関連付けして前記記録媒体に記録する、請求項12記載の映像音声記録方法。
  14. 前記記録媒体が単一の媒体で構成される場合に、該単一の記録媒体に連続に記録された主情報であるクリップ内の特定のフレーム位置に関連付けされた前記音声付加情報は前記クリップ全体に関する情報を含む、請求項12記載の映像音声記録方法。
  15. 前記特定のフレームはクリップ内の先頭フレームである、請求項14記載の映像音声記録方法。
  16. 前記記録媒体全体に対して音声付加情報を付加するために、ダミーの主情報を作成し、該作成したダミーの主情報に前記音声付加情報を関連付け、前記ダミーの主情報と前記音声付加情報を前記記録媒体に記録する、請求項12記載の映像音声記録方法。
  17. 前記記録媒体が複数の媒体で構成され、一連の動作で撮影された前記主情報が複数媒体に亘って分割されて記録されている場合、分割された前記主情報毎に前記音声付加情報を関連付けし、前記主情報と、前記主情報と関連付けられた前記音声付加情報とを同一の媒体に記録する、請求項12記載の映像音声記録方法。
  18. 前記主情報および前記音声付加情報の記録動作において、前記主情報の記録を終了したときに前記音声付加情報の記録を終了する、請求項12記載の映像音声記録方法。
  19. 前記音声付加情報を、前記主情報の音声データとは異なるサンプリングレートまたはビットレートで記録する、請求項12記載の映像音声記録方法。
  20. 請求項12記載の映像音声記録方法により主情報と音声付加情報とが記録された記録媒体の再生方法であって、
    前記主情報のサムネイル画像を表示し、
    同一の主情報に一つ以上の音声付加情報が関連付けされている場合、前記一つ以上の音声付加情報の各々に対して、前記各音声付加情報が関連付けられたフレーム位置にある主情報のサムネイル画像のそれぞれを選択可能に表示する、映像音声再生方法。
  21. 前記音声付加情報を再生する時、該音声付加情報に関連付けされた主情報の静止画を表示し続ける、請求項20記載の映像音声再生方法。
  22. 前記音声付加情報を再生中に、再生中の音声付加情報と関連付けられている前記主情報の特定のフレーム位置から前記主情報を再生可能とする、請求項20記載の映像音声再生方法。
  23. 請求項12記載の映像音声記録方法により主情報と音声付加情報とが記録された記録媒体の再生方法であって、
    前記音声付加情報を前記主情報の時間軸と同期を取らずに再生する、映像音声再生方法。
JP2005514705A 2003-10-16 2004-06-29 映像音声記録再生装置、映像音声記録方法及び映像音声再生方法 Expired - Fee Related JP4271195B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003356079 2003-10-16
JP2003356079 2003-10-16
PCT/JP2004/009489 WO2005039175A1 (ja) 2003-10-16 2004-06-29 映像音声記録再生装置、映像音声記録方法及び映像音声再生方法

Publications (2)

Publication Number Publication Date
JPWO2005039175A1 JPWO2005039175A1 (ja) 2007-02-08
JP4271195B2 true JP4271195B2 (ja) 2009-06-03

Family

ID=34463188

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005514705A Expired - Fee Related JP4271195B2 (ja) 2003-10-16 2004-06-29 映像音声記録再生装置、映像音声記録方法及び映像音声再生方法

Country Status (7)

Country Link
US (1) US20070127888A1 (ja)
EP (1) EP1677531A4 (ja)
JP (1) JP4271195B2 (ja)
KR (1) KR100801396B1 (ja)
CN (1) CN100484222C (ja)
CA (1) CA2542390A1 (ja)
WO (1) WO2005039175A1 (ja)

Families Citing this family (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
CN100409681C (zh) * 2005-08-19 2008-08-06 上海晨兴电子科技有限公司 影音同步录制及播放方法
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8301995B2 (en) * 2006-06-22 2012-10-30 Csr Technology Inc. Labeling and sorting items of digital data by use of attached annotations
KR100856407B1 (ko) 2006-07-06 2008-09-04 삼성전자주식회사 메타 데이터를 생성하는 데이터 기록 및 재생 장치 및 방법
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
KR101309284B1 (ko) 2006-12-05 2013-09-16 삼성전자주식회사 오디오 사용자 인터페이스 처리 방법 및 장치 및 그를적용한 오디오 기기
CN101202873B (zh) * 2006-12-13 2012-07-25 株式会社日立制作所 信息记录再现装置和信息记录再现方法
US20080167009A1 (en) * 2007-01-07 2008-07-10 Gregory Novick Voicemail Systems and Methods
US8553856B2 (en) * 2007-01-07 2013-10-08 Apple Inc. Voicemail systems and methods
JP5009650B2 (ja) * 2007-03-02 2012-08-22 株式会社エクシング 合成装置、合成システム、合成方法及びプログラム
KR101125286B1 (ko) 2007-03-27 2012-03-21 삼성전자주식회사 부가 데이터 업데이트 방법 및 재생 장치
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US20090062944A1 (en) * 2007-09-04 2009-03-05 Apple Inc. Modifying media files
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8682848B2 (en) * 2008-07-08 2014-03-25 Broadcom Corporation Method and system for automatic detection of multimedia settings
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
JP5540244B2 (ja) * 2009-10-24 2014-07-02 株式会社コルグ 多重録音装置
KR101641240B1 (ko) * 2009-12-17 2016-07-21 엘지전자 주식회사 영상 표시 방법 및 그 장치
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
CN102013179A (zh) * 2010-12-02 2011-04-13 无敌科技(西安)有限公司 同时同步录播方式的电子学习系统及方法
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
JP2013055569A (ja) * 2011-09-06 2013-03-21 Sony Corp 撮像装置、情報処理装置、それらの制御方法、および、プログラム
KR101356006B1 (ko) * 2012-02-06 2014-02-12 한국과학기술원 구간설정이 가능한 음성기반 멀티미디어 컨텐츠 태깅 방법 및 장치
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
KR102042265B1 (ko) * 2012-03-30 2019-11-08 엘지전자 주식회사 이동 단말기
CN102682820B (zh) * 2012-05-03 2015-01-28 福建星网视易信息系统有限公司 嵌入式linux平台媒体播放方法和系统
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR101943320B1 (ko) * 2012-09-21 2019-04-17 엘지전자 주식회사 이동단말기 및 그 제어방법
EP4138075A1 (en) 2013-02-07 2023-02-22 Apple Inc. Voice trigger for a digital assistant
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2014200728A1 (en) 2013-06-09 2014-12-18 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
CN105265005B (zh) 2013-06-13 2019-09-17 苹果公司 用于由语音命令发起的紧急呼叫的系统和方法
JP6163266B2 (ja) 2013-08-06 2017-07-12 アップル インコーポレイテッド リモート機器からの作動に基づくスマート応答の自動作動
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
JP2016181767A (ja) * 2015-03-23 2016-10-13 パナソニックIpマネジメント株式会社 ウェアラブルカメラ及びウェアラブルカメラシステム
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN110740275B (zh) * 2019-10-30 2022-07-19 中央电视台 一种非线性编辑系统
EP4172795A1 (en) * 2020-06-30 2023-05-03 Seff Technology Corporation System and method for digital information management

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3528214B2 (ja) * 1993-10-21 2004-05-17 株式会社日立製作所 画像表示方法及び装置
US5600775A (en) * 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US6006241A (en) * 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
US6529920B1 (en) * 1999-03-05 2003-03-04 Audiovelocity, Inc. Multimedia linking device and method
US6378132B1 (en) * 1999-05-20 2002-04-23 Avid Sports, Llc Signal capture and distribution system
JP2001136482A (ja) * 1999-11-09 2001-05-18 Matsushita Electric Ind Co Ltd 映像音声記録再生装置
JP3942792B2 (ja) * 2000-03-28 2007-07-11 パイオニア株式会社 映像編集方法及び装置、並びにそのための記憶媒体
GB2366926A (en) * 2000-09-06 2002-03-20 Sony Uk Ltd Combining material and data
US20020089519A1 (en) * 2001-01-05 2002-07-11 Vm Labs, Inc. Systems and methods for creating an annotated media presentation
JP2003158697A (ja) * 2001-11-21 2003-05-30 Fuji Photo Film Co Ltd 撮像装置及びプログラム
US20040216173A1 (en) * 2003-04-11 2004-10-28 Peter Horoszowski Video archiving and processing method and apparatus

Also Published As

Publication number Publication date
CN1868209A (zh) 2006-11-22
KR20060096026A (ko) 2006-09-05
CA2542390A1 (en) 2005-04-28
US20070127888A1 (en) 2007-06-07
CN100484222C (zh) 2009-04-29
KR100801396B1 (ko) 2008-02-05
WO2005039175A1 (ja) 2005-04-28
JPWO2005039175A1 (ja) 2007-02-08
EP1677531A1 (en) 2006-07-05
EP1677531A4 (en) 2009-03-04

Similar Documents

Publication Publication Date Title
JP4271195B2 (ja) 映像音声記録再生装置、映像音声記録方法及び映像音声再生方法
JP3569191B2 (ja) オーディオ情報の記録、編集、再生方法及び情報記憶媒体
US20040008970A1 (en) Enhanced bookmarks for digital video playback
US20040167783A1 (en) Information processing device and information processing program
JP4218029B2 (ja) 映像記録装置
US20020197058A1 (en) Recording apparatus
JP4330968B2 (ja) 再生装置、記録装置、再生プログラム、及び再生プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4375052B2 (ja) 映像編集支援方法
JP3780252B2 (ja) 記録再生装置および記録再生方法
JP3540785B2 (ja) オーディオ情報の記録、編集、再生方法及び情報記憶媒体
JP4035984B2 (ja) 情報記録装置、カメラ一体型情報記録装置、及び情報記録方法
JP2006157697A (ja) 録画再生装置
JP3626958B2 (ja) 音楽付き画像記録媒体作成システムおよび音楽付き画像記録媒体
JP4464012B2 (ja) 記録装置及びその方法
JP2005236950A (ja) 映像記録再生装置
JP2002008353A (ja) 再生装置、記録再生装置及び記録装置
JPH11213630A (ja) 再生映像音声データ特定方法、映像音声データ編集方法、再生映像音声データ特定装置および映像音声データ編集装置
JP2003333487A (ja) 動画像記録再生装置および動画像記録再生方法
JP3569244B2 (ja) オーディオ情報の記録、編集、再生方法及び情報記憶媒体
JP3569245B2 (ja) オーディオ情報の記録、編集、再生方法及び情報記憶媒体
KR20000043311A (ko) 디지털 캠코더의 영상 탐색 장치 및 방법
JP4735611B2 (ja) 画像データ再生装置および画像データ再生方法
JP4719454B2 (ja) 記録方法、記録装置
JP2001136482A (ja) 映像音声記録再生装置
JP2004193772A (ja) 画像記録媒体作成システム及び画像記録媒体

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080828

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081014

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140306

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees