JP4946935B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4946935B2
JP4946935B2 JP2008077317A JP2008077317A JP4946935B2 JP 4946935 B2 JP4946935 B2 JP 4946935B2 JP 2008077317 A JP2008077317 A JP 2008077317A JP 2008077317 A JP2008077317 A JP 2008077317A JP 4946935 B2 JP4946935 B2 JP 4946935B2
Authority
JP
Japan
Prior art keywords
shooting
scene
scenario data
clip
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008077317A
Other languages
English (en)
Other versions
JP2009232325A5 (ja
JP2009232325A (ja
Inventor
恭敬 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008077317A priority Critical patent/JP4946935B2/ja
Publication of JP2009232325A publication Critical patent/JP2009232325A/ja
Publication of JP2009232325A5 publication Critical patent/JP2009232325A5/ja
Application granted granted Critical
Publication of JP4946935B2 publication Critical patent/JP4946935B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影本番前にシナリオデータを作成し、そのシナリオデータに基づいて撮影した映像に対して自動編集を行う撮像装置、カメラレコーダおよび編集システムに関する。
近年、光ディスクや、半導体メモリなどのランダムアクセス可能な記録媒体に、映像や音声データをファイル化して記録する装置が一般的になり、例えば、放送局や映像制作会社等においても、このような記録媒体を備えた編集装置を利用して映像編集作業等が行われている。
従来、映画やテレビドラマ等の撮影は、絵コンテ等を元に作成されたシナリオに基づいて行われている。シナリオにはタイトル(名前)が付けられており、複数のシーンにより構成されている。またシーンは複数のカットで構成されている。監督はシナリオに従って演出を行い、俳優、女優、エキストラ等の出演者はシナリオの記述に従って演技し、シナリオに従った撮影条件(例えば、カメラのパラメータ設定や、カメラの位置、向き等)により撮影が行われる。生本番の舞台やコンサート等においては、シナリオに示されたシーンの順番通りに演じられたものを撮影する。また、講演会の撮影、結婚式の撮影は、あらかじめ、講演や結婚式の進捗に沿って、決められたスケジュールに基づいて撮影が行われている。一方、映画やドラマ等においては、シナリオに示されたシーンの順番通りに撮影が行われることは稀である。
これらの背景に基づいて、撮影前に撮影内容、台詞、撮影番号等を含む撮影時のシナリオ情報であるシナリオデータを入力し、そのシナリオデータに従って撮影ガイダンスを行う技術(例えば、特許文献1)が開示されている。一方、撮影に関する電子化されたシナリオデータを作成しておき、シナリオデータ中のシーンを選択してから撮影を行うことで、作成したシナリオデータをテイクメタデータとして撮影したカットと関連付けて記録して、シナリオデータを企画工程から、編集工程まで利用する技術(例えば、特許文献2)が開示されている。
特開2006−174318号公報 特開2004−187275号公報
しかしながら、特許文献2に開示された従来の構成は、ユーザが撮影前にシナリオデータを入力しておき、撮影開始時には撮影前に入力したシナリオデータよりこれから撮影するシーンを選択しなければならず、撮影時に手間となるという課題がある。
上記課題に鑑みて本発明の撮像装置は、ユーザの撮影時の負荷を軽減するためにシナリオデータの入力を容易にし、自動的にシナリオデータと撮影映像データとの関連付けを行うことを目的とする。
上述した課題を解決するために本発明の撮像装置は、被写体を撮像し、撮像時のカメラ設定パラメータと共に映像を出力するカメラ部と、事前に作成された撮影シーン毎の撮影条件を含むシナリオデータを保持するシナリオデータ保持手段と、カメラ設定パラメータに基づいて撮影時の撮影条件を求め、シナリオデータ中の撮影シーン毎の撮影条件と比較することにより、撮影シーンを映像と関連付けるシーン特定手段と、シーン特定手段が関連付けた撮影シーンと映像との関連付けの情報を記録媒体に記録する記録部とを備える。
本発明の撮像装置によれば、シナリオデータと映像データとを関連付ける時に、ユーザがシーン選択を行わずに装置が自動的にシーン選択することで、ユーザの撮影時の負荷を軽減することができる。また、例えばシナリオデータに撮影条件を含む撮影映像データ識別子を追記することで、シナリオデータから撮影映像データを検索できるように撮影映像データとシナリオデータとの関連付けを行う。このことにより、自動的にシーン順番に並べることや、不要なシーンのデータ取り込みを行わない等の編集作業の効率化を図ることができる。
以下、図面を参照しながら本発明の実施の形態について説明する。
図1は、本発明の一実施の形態における撮像装置のブロック図である。本実施の形態では、被写体を撮像するカメラ部と、カメラ部により撮像された映像を圧縮符号化された符号化映像データとして記録媒体に記録するとともに、記録媒体に記録した符号化映像データを再生する記録再生手段とを有したカメラレコーダの一例を挙げて説明する。このようなカメラレコーダは、映像制作事業者などを対象とした業務用途を目的とする装置であり、撮影現場での取材等に利用されている。例えば撮影現場において、本カメラレコーダで撮影することにより生成した映像データおよび音声データ(以下、これらを合わせて素材データと呼ぶ)は、本カメラレコーダに着脱可能な記録媒体に記録される。さらに編集室内において、この記録媒体に記録された複数の素材データを用いて編集作業が行われる。
図1に示すように、本発明の撮像装置としてのカメラレコーダは、カメラレコーダの各部や記録媒体を管理、および制御するシステム制御部101と、各部を共通に接続し、各部間で各種データを伝送するI/Oバス121と、着脱可能な記録媒体としての記録メモリ161を接続するためのインターフェースであるPCMCIA I/F部160と、符号化映像データや音声データの記録や再生をユーザが指示入力する入力部131と、撮像素子であるCCDなどにより撮像した映像を映像信号として取り込むカメラ部141と、映像信号の前処理を行うとともに、映像信号をデジタル形式の映像データに変換する映像処理部142と、映像データに対し圧縮符号化を施し、符号化映像データを生成する映像符号化部143と、音声信号を入力するマイク部144と、入力した音声信号の前処理を行うと共に、音声信号をデジタル形式の音声データに変換する音声処理部145と、符号化映像データを復号化し、元の映像データへと復元する映像復号化部148と、復元された映像データを出力する映像出力部149と、音声データを出力する音声出力部150と、機器の動作状態をユーザに呈示する表示部132と、本カメラレコーダの物理的位置を検出するための位置検出手段133とを含む構成である。
また、記録メモリ161は、本カメラレコーダに対して着脱可能な記録媒体である。本実施の形態では、記録メモリ161が、PCMCIAの形状でカメラレコーダに着脱可能な構成の一例を挙げており、記録メモリ161とPCMCIA I/F部160(以下、適宜、I/F部と呼ぶ)とは、PCカード規格に基づき接続される。
また、本実施の形態では、システム制御部101が、例えば、図示しないマイコンとメモリとを備え、マイコンがメモリに格納されたプログラムを実行することによって実現される一例を挙げている。システム制御部101に含まれるシナリオデータ保持手段106、記録バッファメモリ110および再生バッファメモリ115以外の各処理手段は、マイコンが、メモリに記憶した各種のプログラムを実行することによって実現される。システム制御部101は、マイコンがメモリに記憶したプログラムを実行することで、撮影モードをテスト撮影モードと本番撮影モードとに切り替える撮影モード切替手段113と、カメラ部141からカメラ設定パラメータを受け付けるカメラ動作検出部102と、カメラ動作検出部102から送られてくるカメラ設定パラメータに基づいて撮影条件を特定する撮影条件特定手段103と、撮影モードがテスト撮影モードであるときに、撮影条件特定手段103の情報に基づいて、撮影条件から撮影シーンに対応するシナリオデータ(シナリオデータには、撮影内容、台詞、撮影番号等を含む撮影時のシナリオ情報に加え、撮影した映像との関連付けに利用する分類情報および撮影特徴(いずれも後述する)を含む)を作成するシナリオデータ作成手段104と、記録メモリ161に記録されたシナリオデータを読み込むシナリオデータ読み込み手段105と、シナリオデータを、例えばメモリ上に保持するあるいは、シナリオデータを記録メモリ161に記録するシナリオデータ保持手段106と、撮影条件をシナリオデータ保持手段106が保持しているシナリオデータと比較し、最も近いシナリオデータに対応する撮影シーンを撮像した映像と対応付けるシーン特定手段107と、シーン特定手段107にて特定されたシーン情報からマークを付与するマーク付与手段108と、記録メモリ161に記録する映像音声データを管理するための管理情報ファイルを処理する管理ファイル処理手段109と、映像符号化部143及び音声処理部145から提供される映像音声データを一時的に保持する記録バッファメモリ110と、記録バッファメモリ110に保持された映像音声データを記録メモリ161に所定のファイル形式で記録するための処理を行う記録処理手段111と、記録メモリ161に記録されたファイルを再生するための処理を行う再生処理手段114と、記録メモリ161からの再生映像音声データを一時的に保持する再生バッファメモリ115とを含む。
さらに、本実施の形態では、カメラ部141が、被写体を撮像する撮像部171と、撮像部171のズーム制御を行うズーム手段172と、撮像部171の手振れ補正を行うための角度及び角速度データを検出する角度検出手段173とを含み、ズーム手段172にて制御するズーム設定値(ズーム倍率)と、角度検出手段173にて検出される撮影角度等の角度、角速度データをカメラ設定パラメータとしてカメラ動作検出部102に提供する。
次に、以上のように構成された本実施の形態のカメラレコーダにおける、基本的な記録動作について説明する。ユーザがカメラレコーダに対して記録開始を指示すると、カメラレコーダは撮像処理を行って映像データを圧縮符号化し、符号化映像ファイルとして記録メモリ161に記録する。ユーザがカメラレコーダに対して記録停止を指示すると、カメラレコーダは映像データの記録を終了する。以上のような1連続の記録、すなわち記録開始から記録終了までの間を一単位とする記録動作によって生成された符号化映像ファイルおよびこれに関連するファイルを含んだファイル群をクリップ(Clip)と呼ぶことにする。クリップには、少なくとも映像を圧縮符号化した符号化映像データファイルを含み、さらに音声ファイルを含んでもよい。
以下、記録動作についてより詳細に説明する。例えば、入力部131によりユーザが通常記録開始を指示すると、カメラ部141は撮像処理を行い、デジタル化された映像データを出力する。次に、この信号が映像処理部142に供給され、供給された映像データは、例えばフィルタでの帯域制限やノイズ除去が行われ、処理された映像データは、映像符号化部143に提供される。
映像符号化部143に供給された映像データは、例えば、映像圧縮方式として広く利用されているMPEG−2方式や、MPEG−4/AVC方式、あるいは業務用のデジタルVTR(Video Tape Recoder)の規格の一つであるSMPTE(Society of Motion Picture and Television Engineers)−314M(DV−Based 25M)規格に基づき圧縮符号化される。映像符号化部143は、圧縮符号化処理により生成した符号化映像データをI/Oバス121を介して、システム制御部101に供給する。
システム制御部101に供給された符号化映像データは、記録バッファメモリ110に供給される。なお、システム制御部101において、記録処理の前処理として次のような処理が実行される。
まず、システム制御部101において、記録処理手段111は、入力部131からのユーザの指示に応じて、記録メモリ161に対し現在処理中の符号化映像データを格納するファイルの生成などに関する処理を行う。すなわち、例えば、ユーザから新たな素材データの記録の開始が指示された場合、記録処理手段111は、新たな素材データを記録メモリ161に記録するために付加情報としてのインデックスデータの作成や、映像データファイルや音声データファイルの生成などの処理を行う。
また、インデックスデータとは、例えば記録メモリ161中に記録された素材データを管理するための情報であるメディアインデックステーブルと、各素材データの属性情報であるメタデータであるクリップインデックステーブルとを含む。インデックスデータは、管理ファイル処理手段109により、記録メモリ161に設けられたインデックスファイルに記録される。インデックスデータおよびインデックスファイルの詳細については後述する。
さらに、管理ファイル処理手段109は、符号化映像データの記録に先立ち、生成されるファイルや記録される記録メモリ161に対するインデックスファイルの更新を実行する。
さらに、符号化映像データの記録に先立ち、記録処理手段111が、記録メモリ161に符号化映像データを書き込むための空き領域の有無を検索し、空き領域がある場合にのみ記録を開始する。なお、記録処理手段111は、空き領域がなくなった場合には、記録不可能であることを、例えば、表示部132に表示することによってユーザに対して通知する。
記録処理手段111により記録メモリ161の所定のファイル領域が確保されると、さらに、記録処理手段111は、記録バッファメモリ110に順次供給される符号化映像データを、I/Oバス121、およびI/F部160を介して、記録メモリ161に送出し、確保された記録領域にファイルとして書き込む。
また、ユーザが入力部131に対して記録の停止を指示すると、カメラ部141からの映像信号の供給が終了するとともに、記録メモリ161への符号化映像データの書き込みも終了する。
このような一連の記録動作の実行により、カメラ部141により撮像された映像は、一つのファイルとしてファイル化された符号化映像データファイルとして記録メモリ161に記録され、記録メモリ161には一つの符号化映像データファイルが新規に作成される。
一方、本カメラレコーダにおいて、ユーザから入力部131に対して記録の開始が指示されると、カメラ部141からの映像の取り込みとともに、マイク部144からの音声の取り込みも開始される。マイク部144から取り込まれた音声は、音声信号として音声処理部145に供給される。音声処理部145は、供給された音声信号をデジタル形式である音声データに変換し、記録バッファメモリ110に供給する。記録バッファメモリ110に供給された音声データは、記録処理手段111により、映像に対する記録処理と同様に、音声ファイルとして記録メモリ161に書き込まれる。
以上のようにして、マイク部144により取り込まれた音声は、映像の取り込みと並行して音声ファイルとして記録メモリ161に記録される。
なお、本実施の形態では音声圧縮を施していないが、音声圧縮を施してもよい。
次に、本カメラレコーダにおいて、例えば、ユーザが入力部131に対してクリップを指定して再生の開始を指示すると、管理ファイル処理手段109は、記録メモリ161に記録されているインデックスファイルから、再生すべきクリップに含まれる符号化映像ファイルと音声ファイルの情報を読み出し、それらのファイル名を再生処理手段114に供給する。再生処理手段114は、再生指定された符号化映像ファイルの符号化映像データと音声ファイルの音声データとを読み出し、再生バッファメモリ115を介して、符号化映像データを映像復号化部148に、音声データを音声出力部150に供給する。映像復号化部148は、SMPTE−314M方式に準拠した映像復号化処理を行い、復号化済の映像データを映像出力部149に供給する。映像出力部149は、供給された映像データを映像信号に変換し、例えば、カメラレコーダに備えられたモニタから再生画像をユーザに呈示する。また、音声出力部150は、供給された音声データを音声信号に変換し、例えば、カメラレコーダに備えられたスピーカから再生音声をユーザに呈示する。
このような一連の再生動作の実行により、記録メモリ161に記録された符号化映像データと音声データとが読み出され、映像出力部149から再生映像が、音声出力部150から再生音声が出力される。
なお、映像と音声との記録および再生は、当然のことながら、通常並行して行われる。すなわち、記録および再生時には、映像および音声各々の記録開始時刻、記録終了時刻、再生開始時刻および再生終了時刻は同期して処理される。
以上、本カメラレコーダにおける記録、および再生処理の基本的な動作について説明したが、上記にて簡単に説明したように、システム制御部101により、素材データをファイル形式でクリップとして記録再生するための処理が実行される。
次に、システム制御部101による、付加情報としてのインデックスデータに関する処理について説明する。
本発明の撮像装置であるカメラレコーダは、上述したように、符号化映像データや音声データと共に、これら素材データの付加情報であるインデックスデータを記録メモリ161に記録する。このようなインデックスデータは、取材等で収録した各素材データの属性情報を示すメタデータである。本カメラレコーダは、このようなメタデータをクリップインデックステーブルとして各素材データ、および各記録メモリ161に対応させて記録メモリ161のインデックスファイルに記録する。
インデックスファイルは、一つの記録メモリ161に対し一つのみのファイルとして生成される。例えば、記録メモリ161のフォーマット処理の後、管理ファイル処理手段109が記録メモリ161上に、次に説明するような構成のインデックスファイルを生成する。
図2は、記録メモリ161に設けたインデックスファイルの概要を示した図である。図2に示すように、インデックスファイルにおいては、二階層構造のインデックステーブルが設定される。上位階層として、図2の記録メモリ−Aで示すように、個々の記録メモリ161に対応させた情報を記録するメディアインデックステーブルが設けられ、このメディアインデックステーブルにそれぞれの記録メモリ161固有のメタデータが記録される。また、下位階層として、図2のClip−A、およびClip−Bで示すように、収録した各クリップに対応させた情報を記録するクリップインデックステーブルが設けられ、このクリップインデックステーブルにそれぞれのクリップ固有のメタデータが記録される。
なお、図2においては、一つのクリップに対応して、一つの符号化映像ファイルと二つの音声ファイルとがリンクする。すなわち、素材データを記録する毎に、素材データが格納される一つの符号化映像ファイルと二つ音声ファイルとが生成されるとともに、インデックスファイルには新たなクリップインデックステーブルが設定され、この新たなクリップインデックステーブルに、その素材データに対応したメタデータが記録される。
また、図2に示すようにインデックスファイルに対して、1つ、または複数のシナリオデータを各々シナリオファイルとして記録する。すなわち、シナリオファイルはインデックスファイルとは別ファイルとして記録する。これは、例えば記録する記録媒体を変更するときに、シナリオデータのみのデータ移動を容易にするためである。シナリオデータとは、撮影すべき映像を構成する各シーンについて、撮影内容、台詞、撮影番号等を含む撮影時のシナリオ情報を規定したものであり、撮影する時間長、カメラワーク等が含まれる。
図3は、シナリオデータの構成と具体例を示した図であり、(1)結婚式撮影時のシナリオデータと、(2)映画撮影時のシナリオデータの2例を例示している。(1)の結婚式撮影時のシナリオデータは、再度撮影することが許されない場合の例として、(2)の映画撮影時のシナリオデータは、同じシーンの撮影が繰り返し行える場合の例として説明する。ここでシーンとは、撮影を予定しているシナリオで定義されたある一連続で撮影する区間を表し、そのシーンに従って、撮影されたデータがクリップ(あるいは、カット)となる。したがって、撮影中に何らかのミスがあり再度同じシーンを撮影する場合には、1シーンに対応するクリップが複数あることになる。また、同じシーンを繰り返し撮影することをテイクと呼び、繰り返した数をテイク番号(テイク1、テイク2、・・・)で表す。
「シーン番号」は、例えば、撮影順番や編集後のシーン順を表すシーンの識別番号であり、ユーザが自由に付加することができる。
「タイトル」は、ユーザが任意に付加することができる各シーンのタイトルであり、ユーザが認識し易い名前(文字列)を自由に付加することができる。
「採用Duration」は、各シーンにおいて、編集結果として採用を予定している時間長及びフレーム長である。
「撮影特徴」は、各シーンの撮影方法や撮影条件の代表的な特徴を表し、例えば、カメラレコーダの角度変更や角度移動を示す「パン」、「チルト」や、ズームアップを示す「ズーム」や、撮影装置の物理的移動量を示す「位置移動」に分類する。
「撮影開始時ズーム設定」は、撮影開始時のカメラ部141のズーム設定状態を表し、ズームされた状態を示す「ズームUP」、ズームされていない状態を示す「通常」に分類する。
「ズーム変化」は、撮影開始時から撮影終了時までのカメラ部141(ズーム手段172により制御する)のズーム設定値の変化を表し、「変化あり」、「変化なし」に分類する。
「撮影開始時角度」は、撮影開始時の本撮像装置の角度を表し、地面に対して水平な状態を示す「水平」、地面に対して上向きの角度であることを示す「上向き」、地面に対して下向きの角度であることを示す「下向き」に分類する。
「角度変化」は、撮影開始時から撮影終了時までの本撮像装置の角度変化を表し、地面に対して垂直方向に角度変化したことを示す「垂直方向移動」、地面に対して水平な方向に角度変化したことを示す「水平方向移動」、角度変化が生じなかったことを示す「変化なし」に分類する。
「撮影開始時位置」は、撮影開始時の本撮像装置時の物理的位置を表し、例えば、緯度、経度や、基準点からの相対距離を示す。図3では、緯度、経度の例を記述している。
「位置移動量」は、撮影開始時から撮影終了時までの本撮像装置の物理的位置の移動を表し、緯度、経度の変化量や、方角と移動距離を示す。図3では、方角と移動距離の例を記述している。
なお、上述したシナリオデータの分類を細分化すれば、撮影したクリップとシナリオデータとの関連付け精度は向上する。また、例では撮影開始時と撮影終了時において時間的にサンプリングしているが、時間分解能をあげれば、シナリオデータとの関連付け精度を高めることが可能である。なお、上述したシナリオデータの各項目の分類を総称して分類情報と呼び、シナリオデータを作成する場合に各項目の選択肢となる。
次に、インデックスデータを構成するメディアインデックステーブルおよびクリップインデックステーブルについて詳細に説明する。
図4は、メディアインデックステーブルの一構成例を示した図である。また、図5は、クリップインデックステーブルの一構成例を示した図である。
図4に示すメディアインデックステーブルおいて、「Media ID」は、メディア、すなわち、記録メモリ161毎にユニークとなるように付加される識別子(IDentifier、以下、適宜、IDと呼ぶ)である。例えば、メディアをフォーマットする際に、フォーマット時の時刻及び機器のID等の組み合わせにより固有のIDを付加することができる。この「Media ID」は、例えば、次に説明する「Clip ID」と組み合わせて所望のクリップを検索する際の識別子として利用することが可能である。
「Media Title」は、ユーザが任意に付加することのできるメディア固有のタイトルであり、ユーザが認識し易い名前を自由に付加することができる。機器内でのメディアの特定は「Media ID」によるため、「Media Title」は、符号化映像ファイルや音声ファイルが記録された状態でも自由に変更することが可能である。
また、図5に示すクリップインデックステーブルにおいて、「Clip ID」は、クリップ毎にユニークとなるように付加されるIDである。例えば、クリップの記録をする際に、記録開始時の時刻及び機器のID等の組み合わせにより固有のIDを付加することができる。符号化映像ファイルおよび音声ファイルとクリップとの関連付けはこの「Clip ID」をファイル名に記述することで行う。例えば、「Clip ID」がC001の符号化映像ファイルは、「C001.DIF」とし、音声2チャンネル分のファイルはそれぞれ「C001_1.WAV」、「C001_2.WAV」とすることでクリップと映像及び音声ファイルとの関連付けができる。なお、拡張子が「.DIF」であるDIF形式ファイルは、SMPTE−314M規格に基づき圧縮符号化された符号化映像データをファイル化したものである。
「Clip Title」は、ユーザが任意に付加することのできるクリップ固有のタイトルであり、ユーザが認識し易い名前を自由に付加することができる。機器内でのクリップの特定は「Clip ID」によるため、「Clip Title」は、符号化映像ファイルや音声ファイルが記録された状態でも自由に変更することが可能である。
「Frame Rate」は、映像信号のフレーム周波数を表す。「Duration」は、クリップに含まれるフレーム数を表す。また、「Frame Rate」と「Duration」とによりクリップ全体の記録時間を計算することが可能である。
「Mark」は、クリップの種別(分類)識別子を表す。例えば、撮影成功クリップと撮影失敗クリップを区別したい場合に、OK_MARK:OKクリップ、NG_MARK:NGクリップと定義し、ユーザの操作により、OK_MARKかNG_MARKの文字列を記録することで、クリップの区別を行う。
「Condition」は、各クリップの撮影方法や撮影条件の代表的な特徴を表し、シナリオデータにおける「撮影特徴」と対応している。
「Zoom」は、撮影開始時のカメラ部141のズーム設定状態を表し、シナリオデータにおける「撮影開始時ズーム設定」と対応している。
「Zoom Change」は、撮影開始時から撮影終了時までのカメラ部141のズーム設定値の変化を示し、シナリオデータにおける「ズーム変化」と同じ分類を行う。
「Angle」は、撮影開始時の本撮像装置の地面に対して垂直方向の角度を示し、シナリオデータにおける「撮影開始時角度」と対応している。
「Angle Change」は、撮影開始時から撮影終了時までの本撮像装置の角度変化を示し、シナリオデータにおける「角度変化」と対応している。
「Position」は、撮影開始時の本撮像装置時の物理的位置を表し、例えば、緯度、経度や、基準点からの相対距離を示す。これはシナリオデータにおける「撮影開始時位置」と対応している。
「Position Change」は、撮影開始時から撮影終了時までの本撮像装置の物理的位置の移動を表し、緯度、経度の変化量や、方角と移動距離を示す。これはシナリオデータにおける「位置移動量」と対応している。
図3のシナリオデータと、図5のクリップインデックステーブルには、分類された種別であるか、数値であるかの違いはあるが、対応する項目が存在する。例えば、シナリオデータの「採用Duration」とクリップインデックステーブルの「Duration」とが対応し、同様に「撮影特徴」と「Condition」、「撮影開始時ズーム設定」と「Zoom」とが対応する。これは、クリップインデックステーブルの内容からシナリオデータを参照し、撮影したクリップの対応するシーンへ関連付ける処理を容易にするためであり、シナリオデータよりもクリップインデックステーブルの方が情報量の多い場合には、図5にて例示した以外の情報が含まれてもよい。
図6は、インデックスファイルにおけるクリップインデックステーブルの記述例を示した図である。図6(a)は、記録開始直後のクリップインデックステーブルの内容を示す。本実施の形態では、インデックスファイルはテキスト形式とし、文字列を「,」で区切るComma Separated Values(CSV)形式で記録するものとする。クリップインデックステーブルは、クリップ毎に図5にて示した順番に記述される。“C001”は、ClipIDを示し、例えば、“C”を先頭に付けた連続番号を割り振る。“Title001”は、Clip Titleを示す。“30”は、Frame Rateを示し、撮影クリップが30フレーム毎秒で撮影されることを表す。“0”は、Durationを示し、記録開始時は値を決定できないので0とする。その他のデータも記録開始時には、確定できないので情報なし、或いは、変化がないことを示す“NONE”を記録する。
図6(b)は、記録終了後のクリップインデックステーブルの内容を示す。記録後にDuration以下の値が決定し情報が記録される。各項目の決定方法については後述する。図6(b)の例では、Durationは、5400フレームであり、180秒のクリップが記録されたことを表している。Markが、“OK_MARK”となっており、OKクリップのマークが付与されたことを表している。Conditionは、“ZOOM”となっており、撮影特徴が「ズーム」に決定されたことを表す。Zoomは、“ZOOM_UP”となっており、ズーム状態で記録開始したことを表している。ZoomChangeは、“CHANGED”となっており、記録中にズーム設定値が変更されたことを表している。Angleは、“UPPER”となっており、「上向き」状態で記録開始したことを表している。AngleChangeは、“NONE”であり、記録中の撮影角度に変化がなかったことを表している。Positionは、“N_90_232323_E_100_121212”となっており、北緯90.232323度、東経100.121212度を表している。この緯度、経度は、本実施の形態では、位置検出手段133として、Global Positioning System(GPS)装置を用いた例を説明する。Positionに関しては、緯度、経度の他に、距離センサ等を利用して基準点からの距離を記録してもよい。PositionChangeは、“NONE”となっており、本撮影装置の記録中の位置移動が行われなかったことを表している。
以上、基本的な記録再生の方法と、記録データに関して説明した。
次に、本発明の特徴である撮影条件によるシナリオデータとクリップとの関連付けおよび、シナリオデータの処理の概要について説明する。
まず、本番撮影の撮影開始前の準備として、シナリオデータの読み込み処理について説明する。シナリオデータを本発明の撮影装置に取り込むには、次の2つの方法がある。1つ目は、事前に記録メモリ161に図3に示すようなシナリオファイルが記録されているとし、シナリオファイルをシナリオデータ読み込み手段105にて記録メモリ161から読み込み、シナリオデータ保持手段106でシナリオデータを保持する方法である。2つ目は、シナリオデータ作成手段104にてシナリオデータを作成し、シナリオデータ保持手段106にてシナリオデータを保持する方法である。2つ目については、撮影モード切替手段113によって撮影モードをテスト撮影モードに切り替えて撮影し、撮影後にシナリオデータ作成手段104が、このテスト撮影で作成されたクリップインデックステーブルからシナリオデータを作成することができる。どちらの方法を採用するにしても、シナリオデータ保持手段106にてシナリオデータが保持され、シナリオデータはシーン特定手段107等の必要なブロックに供給される。なお、シナリオデータ作成の詳細については後述する。
次に、シナリオデータがシナリオデータ保持手段106に保持されている前提で、撮影条件検出から記録、シナリオデータとの関連付けまでの処理概要を説明する。
上述したような基本的な記録方法において、カメラ部141は撮像した映像をフレーム単位で映像信号として取り込むと同時に、カメラ設定パラメータ(例えば、ズーム設定値、手振れ補正用のジャイロ値等)をフレーム単位でカメラ動作検出部102に提供する。カメラ動作検出部102は、記録開始から記録終了までの間に一定間隔でカメラ設定パラメータをサンプリングすることによりデータを間引いて保持する(本実施の形態では、記録開始時と記録終了時の2回、合計2フレーム分のカメラ設定パラメータをサンプリングした例を示している。保持しているシナリオデータと共に時間分解能を上げれば(サンプリング周期を短く取れば)、シナリオデータとの関連付け精度を高めることが可能である。)。カメラ動作検出部102は、サンプリングして間引いたカメラ設定パラメータを撮影条件特定手段103に供給すると共に、すべてのカメラ設定パラメータ、すなわちデータを間引く前のカメラ設定パラメータを記録処理手段111に供給する。
撮影条件特定手段103は、提供されたサンプリングしたカメラ設定パラメータから、例えば、図3に示したように分類した分類情報と、複数の分類情報からクリップの特徴となる撮影特徴とを検出する(以下、分類情報と撮影特徴とを合わせて撮影条件と呼ぶ)。この検出した撮影条件をシナリオデータ検索等のキーに用いる。カメラ設定パラメータから撮影条件を検出するアルゴリズムは後述する。一方、記録処理手段111は、記録中は、カメラ動作検出部102から提供されたカメラ設定パラメータと映像データとをフレーム毎に関連付けし、符号化映像データに多重化して、符号化映像ファイルとして記録メモリ161に記録する。
次に、撮影条件特定手段103は、撮影終了時に、検出した撮影条件をシーン特定手段107と管理ファイル処理手段109とに供給する。シーン特定手段107は、シナリオデータ保持手段106からシナリオデータを取得し、取得したシナリオデータと撮影条件特定手段103から提供された撮影条件とを比較して類似性を評価する。そして類似と判断した場合には、シナリオデータ上のシーン番号にクリップのClip IDを追記する等して撮影したクリップをシナリオデータと関連付ける。この関連付け処理の具体的な説明は後述する。一方、管理ファイル処理手段109は、インデックスファイルのクリップインデックステーブルに、撮影条件特定手段103から提供された撮影条件を記録する。
以上の処理で、符号化映像ファイルにフレーム毎のカメラ設定パラメータが記録され、インデックスファイルのクリップインデックステーブルに撮影条件が記録され、シナリオファイルにクリップとの関連付けが記録されることになる。
次に、撮影条件検出およびテスト撮影モードにおけるシナリオデータ作成の処理概要を説明する。シナリオデータの作成に関して、本実施の形態では、記録後のクリップインデックステーブルから再構成する構成とする。これは、実現が容易で、ファイルとして記録メモリ161に記録されるため再構成が容易な利点がある。具体的には、各撮影条件を、クリップインデックステーブルとシナリオデータで同じ定義(同じ分類)とし、クリップインデックステーブルからシナリオデータへの変換は、各撮影条件の単なる形式変換のみで実現可能な構成とする。
1回のテスト撮影により、1つのクリップに対応する撮影条件を含むクリップインデックステーブルがインデックスファイルに追加される。そしてこのテスト撮影により作成された撮影条件から、1つのシーンに対応するシナリオデータが作成されてシナリオファイルに記録される。すでにシナリオファイルが存在する状況においては、そのシナリオファイルに新たに1行、テスト撮影で得られたシナリオデータが追加される。以下、シナリオデータ作成についてより詳細に説明する。
まず、上述した記録方法にて撮影条件を含むクリップインデックステーブルが、記録メモリ161に記録される。記録処理手段111は、クリップインデックステーブルを記録すると同時に、シナリオデータ作成手段104にクリップインデックス中の撮影条件を提供する。シナリオデータ作成手段104は、供給された撮影条件を、例えば図7のようなシナリオファイルの形式に変換して記録メモリ161に記録する。
図7は、シナリオファイルの1例を示す図である。本実施の形態では、インデックスファイルと同様にテキスト形式のCSV形式とし、図3のシナリオデータの項目を順番に並べて記録しており、図7は、図3で示した1例のシナリオファイルを示している。
図7、図3で示すシナリオデータの各項目において、撮影条件以外の各項目の作成方法を説明する。シーン番号は、すでにシナリオファイルに記録されている最終のシーン番号に1を加算したシーン番号とする。シナリオファイルが存在せず、新規にシナリオファイルを作成する場合には、シーン番号は1となる。タイトルは、入力部131からテキスト情報を入力し、シナリオデータ作成手段104にてシナリオデータに追記する。なお、タイトルに関しては表示に使用するのみなので、シーン番号等から自動生成する、記録しない、或いは事後に記録する方法でも構わない。採用Durationは、クリップ長(クリップインデックステーブルのDuration)と同じ値を記録する。
なお、シナリオデータは記録後のクリップインデックステーブルから再構成する構成としたが、クリップインデックステーブルから再構成する構成としなくても、撮影条件特定手段103から直接シナリオデータ作成手段104に撮影条件を供給し、シナリオデータ作成手段104において、同様に上述したシナリオファイルを作成する構成とすることも可能であり、シナリオデータ作成の目的を果すことができる。
以上の処理で、テスト撮影で得られた撮影条件からシナリオデータが作成され、シナリオファイルとして記録メモリ161に記録される。また、本実施の形態では、撮影終了時にシナリオデータ作成手段104にてシナリオデータを作成する例を示したが、撮影後であれば、どのようなタイミングでも、記録済みクリップインデックステーブルからシナリオデータを作成することが可能である。例えば、テスト撮影モードを設けずに、表示部132にメニューを表示し、入力部131を介して、ユーザにシナリオデータを作成するタイミングを選択させることが容易に実現可能である。
以上、本発明のクリップとシナリオデータとの関連付け、シナリオデータ作成の処理概要を説明した。
次に、本実施の形態のカメラレコーダにおける各ブロックの処理を具体的に説明する。
まず、カメラ動作検出部102におけるカメラ設定パラメータの検出について具体的に説明する。本実施の形態では、ズーム設定値、撮影角度、撮影位置と、各々の変化量をカメラ設定パラメータとして検出する例を説明する。
ズーム設定値は、ズーム倍率値を表している。カメラレコーダでズーム撮影する場合、一般的に、レンズを用いた光学ズームと、デジタル映像データを画像処理して一部分を拡大するデジタルズームが存在する。このときユーザは、カメラに備えられたズームレバーやレンズユニットのズームリング等の操作にてズーム倍率を入力する。この入力は、入力部131を介してカメラ部141のズーム手段172に供給され、カメラ部141のズーム手段172において、ズーム動作処理を行う。カメラ動作検出部102は、カメラ部141から現在カメラ部141(ズーム手段172)が動作しているズーム設定値を取得する。
撮影角度は、撮影時のカメラレコーダの水平角度および垂直角度(アングル)を表している。カメラレコーダにて撮影する場合、一般的には地面に対して水平なるように撮影装置を固定して撮影することが多いが、映像効果や場所の制約により、撮影対象を上から見下ろして撮影する場合や、下から見上げて撮影する場合もある。また、撮影中に被写体に追従するとき等にカメラの角度(向き)を上下に変化(チルト)させたり左右に変化(パン)させながら撮影する場合もある。カメラ動作検出部102は、カメラ部141の角度検出手段173からこのときの水平方向および垂直方向の角度を取得する。角度検出手段173は、例えば、ジャイロセンサ等の角度や角速度検出手段を含む構成とし、本実施の形態では、角度検出手段173として、ジャイロセンサを用い、手振れ補正処理と共通で使用する構成とする。なお、角度検出手段173としては、カメラレコーダを取り付ける雲台等から直接その角度を得られるようにしてもよい。
撮影位置は、例えば、撮影時にGPS、赤外線センサ等を用いて計測する位置情報を表している。本実施の形態では、位置検出手段133がGPSを用いて緯度、経度からなる位置情報を計測し、撮影位置としてカメラ動作検出部102に提供する。
また、カメラ動作検出部102は、検出、取得したカメラ設定パラメータ(例えば、ズーム設定値、撮影角度、撮影位置)をフレーム毎に記録処理手段111に供給すると共に、撮影開始時、撮影終了時等のサンプリングタイミングでカメラ設定パラメータをサンプリングして撮影条件特定手段103に供給する。
次に、撮影条件特定手段103が撮影特徴を特定する方法について具体的に説明する。
撮影条件特定手段103では、カメラ動作検出部102において検出、取得したカメラ設定パラメータを区分し、撮影条件、すなわち分類情報およびクリップを代表する撮影特徴を決定する。
図8に、撮影特徴の区分の1例を、図9に分類情報の区分の1例を示す。撮影条件特定手段103がカメラ設定パラメータに基づいて決定した撮影条件は、管理ファイル処理手段109によってクリップインデックステーブルとして記録或いは処理される。また、シナリオデータ作成手段104がクリップインデックステーブルに記載された撮影条件を元にしてシナリオデータを作成する。
図8、図9ともに、基本的には選択肢欄の各項目の上段が内容を示し、下段にクリップインデックステーブルおよびシナリオデータとして記録される識別子を示している。ただし、図9におけるPositionについては位置情報の緯度および経度を具体的に記載することを示している。また、PositionChangeについても同様に、移動量がゼロでない場合にはその方角と距離を具体的に記載することを示している。具体的な記載方法については後述する。
まず、撮影条件特定手段103がカメラ設定パラメータから分類情報を決定する方法を説明する。
「Zoom」は、撮影開始時のズーム設定値(Zoom_s)と閾値(Zoom_Th1)により以下の式で区分する。本実施の形態では、Zoom_Th1を5(倍)とするが、1以上の数値(倍率)ならば同様の効果を発揮する。
Zoom_s>Zoom_Th1:ズームUP状態
Zoom_s≦Zoom_Th1:通常状態
「ZoomChange」は、撮影開始時のズーム設定値(Zoom_s)と、撮影終了時のズーム設定値(Zoom_e)と閾値(Zoom_Th2)により以下の式で区分する。本実施の形態では、Zoom_Th2を3(倍)とするが、0以上の数値(倍率)であればよい。
|Zoom_e−Zoom_s|>Zoom_Th2:ズーム変化あり
|Zoom_e−Zoom_s|≦Zoom_Th2:ズーム変化なし
「Angle」は、撮影開始時の垂直方向の角度(Angle_v_s)と、閾値(Angle_v_Th)により以下の式で区分する。本実施の形態では、Angle_v_Thを2.0(度)とするが、0以上の数値(角度)なら同様の効果を発揮する。
Angle_v_s> Angle_v_Th:上向き
|Angle_v_s|≦ Angle_v_Th:水平
Angle_v_s<―Angle_v_Th:下向き
「AngleChange」は、撮影開始時の垂直方向の角度(Angle_v_s)と、撮影終了時の垂直方向の角度(Angle_v_e)と、撮影開始時の水平方向の角度(Angle_h_s)と、撮影終了時の水平方向の角度(Angle_h_e)と、閾値(Angle_v_Th、Angle_h_Th)とにより以下の式で区分する。Angle_v_Th、Angle_h_Thをそれぞれ2.0(度)とするが、0以上の数値(角度)なら同様の効果を発揮する。
h_abs=|Angle_h_e−Angle_h_s|
v_abs=|Angle_v_e−Angle_v_s|
h_abs>v_absのとき、
h_abs>Angle_h_Th:水平方向移動
h_abs≦Angle_h_Th:変化なし
h_abs≦v_absのとき、
v_abs>Angle_v_Th:垂直方向移動
v_abs≦Angle_v_Th:変化なし
「Position」は、本実施の形態では、緯度経度からなる位置情報を表し、例えば、北緯12.345678度をN_12.345678と表記する。同様に、南緯34.567890度をS_34.567890、東経56.789012度をE_56.789012、西経78.901234度をW_78.901234と表記する。
「PositionChange」は、撮影開始時の位置に対する撮影終了時の位置の方角と、撮影開始時および撮影終了時の2点間の距離(例えば、単位はメートルとする)とを表し、例えば、三角関数と平方根の定理や、球面三角法といった一般的な方法を用いて、2点の緯度・経度から方角および距離を求めることができる。
以上、撮影条件特定手段103における分類情報に区分する方法を説明した。
次に、撮影条件特定手段103が、分類情報から撮影特徴を決定する方法について具体的に説明する。
撮影特徴は、図8に示すような各クリップを代表する特徴を表し、区分された各分類情報から決定される。すなわち、図9に区分された各分類情報を優先順位付けし、図8に示す区分から撮影特徴を決定する。
図10は、撮影特徴を決定するためのフローチャートである。まず、S101にて「PositionChange」=NONEであるか否かを確認する。「PositionChange」=NONE、すなわち、「移動なし」の時には、S103の処理に進み、「PositionChange」=NONE以外の時には、S102の処理に進む。
S102において、例えば、移動距離が3メートル以上あるか否かを確認し、移動距離3メートル以上の場合には、位置移動があると判断して、S114にて、撮影特徴をMOVE_POSとし、移動距離が3メートル未満の場合には、S103の処理に進む。
S103にて、「AngleChange」=MOVE_Vのとき、すなわち、撮影角度の垂直移動を行った場合、S113にて、撮影特徴をTILT(チルト)とし、「AngleChange」=MOVE_V以外のときは、S104の処理に移る。
S104にて、「AngleChange」=MOVE_Hのとき、すなわち、撮影角度の水平移動を行った場合、S112にて、撮影特徴をPAN(パン)とし、「AngleChange」=MOVE_H以外のときは、S105の処理に移る。
S105にて、「Zoom」=ZOOM_UPのとき、すなわち、ズーム状態で撮影開始された場合、S111にて、撮影特徴をZOOM_UP(ズーム状態)とし、「Zoom」=ZOOM_UP以外のときは、S110にて、撮影特徴をNONE(特徴なし)とする。
なお、図10のフローチャートは1例であり、分類情報あるいはその元となったカメラ設定パラメータにより撮影特徴を決定する方式であれば、どのような分類方式でもよい。
次に、マーク付与手段108におけるマークの設定処理について具体的に説明する。図11にマークの種別の1例を示す。OK_MARKは、編集時に採用すべきクリップを表すマークであり、NG_MARKは、編集時に採用しないクリップを表す。OK_MARKおよびNG_MARKは、ユーザが入力部131を介してメニュー選択や釦を押すことで入力するマークである。このマーク種別により、各クリップを分類して扱うことが可能になり、ユーザの利便性が高くなる。
マーク付与手段108は、シナリオデータとクリップとの関連付け処理と同時に上記OK_MARKおよびNG_MARKのいずれかを自動的にクリップに設定することも可能である。このマーク処理方法の詳細は後述する。
次に、記録処理手段111における符号化映像ファイルへのメタデータの埋め込み方法ついて具体的に説明する。
SMPTE−314M規格では、DIFデータとして、各映像フレームに対してVAUX等の付属情報を付加して記録することができる。本実施の形態では、その付属情報として、映像フレーム毎、或いは、一定の間隔、或いは、記録開始時と記録終了時にカメラ設定パラメータ、すなわちズーム設定値(Zoom)、撮影角度(Angle)、撮影位置(Position)を記録する。符号化映像ファイルに付属情報としてカメラ設定パラメータを記録することで、クリップインデックステーブルが削除された場合においても、シナリオ情報との関連付け等、本発明の効果を発揮することが可能になる。
上記付属情報は、記録間隔の違いはあるが、インデックスファイルのクリップインデックステーブルに記録する情報と同じであるため説明は省略する。
なお、SMPTE−314M規格以外の映像音声の符号化に関する規格(例えば、MPEG−2方式)においてもフレーム毎に付属データを記録することが可能な構成になっており、その他の規格の場合でも同様な効果を発揮することができる。
次に、シーン特定手段107における、シナリオデータのシーンと撮影したクリップインデックステーブルのシーンとの関連付け方法について具体的に説明する。図12に関連付けの概念図を示す。ここで、シナリオデータのシーンと、撮影したクリップインデックステーブルのクリップとの関連付けとは、例えば、図12に示すようにシナリオデータの各シーンに対して、撮影クリップ(クリップインデックステーブル)を関連付けることを意味する。この関連付け方法の基本的な概念について図12を参照しながら説明する。図12(a)はシナリオデータの最初のシーンを関連付けする順番と処理対象となる項目を表している。まず、(1)に図示するようにシナリオデータの撮影条件とクリップインデックステーブルの撮影条件(複数項目も含む)の一致を検出し、次に、(2)に図示するようにシナリオデータとクリップインデックステーブルとを関連付ける識別子(例の場合はClipIDのC0001)を、シナリオデータ(あるいはクリップインデックステーブル)に記録する。さらに、(3)に図示するようにシーン判断として関連付け処理で得られたシーン番号と、テイク番号(同じシーン番号に対して付与される連番)を記録する。図12(b)は全シーン、全クリップに対する関連付け処理が終わった時点でのシナリオデータとクリップインデックスデータの関連付けの例を示している。全シーン、全クリップに対する関連付け処理完了後に、(4)に図示するように自動判断として、関連付けられたクリップをOKクリップ、関連付けられなかったクリップをNGクリップとする。以上が基本的な関連付け方法であるが、撮影時の前提条件により効率的な関連付け方法が異なるため2つの関連付け方法を説明(後述)する。また、関連付け結果を記録する方法としても複数の方法が考えられる。具体的には、関連付けの記録方法として、シナリオデータのシーン番号をクリップインデックステーブルに記録することによる関連付け(例えば、図13)と、シナリオデータに記録したクリップのClipIDを記録することによる関連付けの記録方法(例えば、図14)等が挙げられる。図13と図14の差異は、図13は「関連付け」の項目がクリップインデックステーブルにあり、図14は「関連付け」の項目がシナリオデータにあることである。図13、図14共に同じ関連付けの1例であり、“×”は関連先が存在しない(未撮影である)ことを表す。
本実施の形態では、図14のように、シナリオデータのシーン番号をクリップインデックステーブルに記録することによる関連付けを行う。このようにすることで、編集時にシナリオデータを解釈すれば編集に必要なクリップ(符号化映像ファイル及び音声ファイル)が特定できるため編集機の制御が容易となる。
図14(a)は、撮影終了後のシナリオデータの内容を表しており、図14(b)は、撮影終了後のクリップインデックステーブルの内容を表している。シナリオデータのシーン1はクリップC0001と、シーン2はクリップC0003と、シーン3はクリップC0004と、シーン4はC0006と、シーン5はクリップC0007と関連付けられていることを示している。シーン6の「関連付け」項目の“×”は、シナリオファイルに存在するシーン番号がクリップインデックステーブルに関連付けが行われなかったことを表し、シナリオのシーンを撮影していないことを表す。クリップC0002、C0005に関しては、シナリオデータの各シーンから関連付けされていないので、シナリオデータに存在していないクリップ、あるいは、同じシーンの撮影が複数回行われ、当該クリップが採用されなかった(他のクリップが採用された)ことを示す。同じシーンの撮影が行われた場合には、例えば、時間的に後で記録されたクリップとシナリオデータと関連付けする方法等がある。これは、記録された符号化映像ファイル及び音声ファイルのタイムスタンプ(日時情報)を確認することや、クリップインデックステーブルに記録日時情報を記録しておけば容易に判断が可能である。
関連付けの処理フローとして、映画の制作のように同じシーンを繰り返し撮影することが許される場合を想定した第1の関連付け方法と、結婚式や講演会の撮影のように繰り返して同じシーンの撮影が行えず、かつ各シーンの撮影順があらかじめ決まっている場合を想定した第2の関連付け方法の2つの関連付け方法を説明する。
まず、同じシーンを繰り返し撮影することが許される場合の第1の関連付け方法のフローチャートを図15に示す。シナリオデータのシーン番号と、撮影済みクリップとの撮影特徴を順番に比較し、一致すれば、その時のシーン番号と、その時のクリップとを関連付ける例を説明する。同じシーンを繰り返し撮影することが許される場合の関連付け処理では、シナリオデータの各シーンに対応する撮影済みクリップが複数存在する場合、対応するすべてのクリップと関連付けるようにする。このとき、記録時間順にテイク番号を付けるとクリップの要否(OKクリップやNGクリップ)の判断が容易になる。
S301において、処理対象をシナリオデータの先頭シーンとし、S302にて、クリップインデックステーブルの処理対象を先頭クリップとする。S303において、シナリオデータの処理対象にあるシーンと、クリップインデックステーブルの処理対象にあるクリップとの撮影特徴が一致しているかを判断し、一致していれば、S304に、一致しなければ、関連なしと判断し、S307に処理を進める。S304にて、すでにシナリオデータの該当シーンに関連付けが行われているか否かを確認し、関連付けが行われていなければ、現在の処理対象のシナリオデータのシーンの関連付け欄に、現在の処理対象のクリップのClipIDを記録する処理が行われる(S305)。すでに関連付けが行われていれば、現在の処理対象のクリップのClipIDを上書き記録する(S306)。S307では、処理対象クリップが、最終クリップか否かを確認し、最終クリップの場合には、S309に進み、最終クリップで無い場合には、処理対象を次のクリップに移し、S303の処理に戻る。S309では、処理対象シーンが最終シーンであるか否かを確認し、最終シーンであれば、処理を終了し、最終シーンでなければ、処理対象を次のシーンに移して(S310)、処理対象クリップを先頭のクリップに移し(S302)、再度、撮影特徴の一致を確認する。
また、マーク付与手段108においては、例えば、図12の自動判断欄に示すように、同じシーンに関連付けられる場合に、後のクリップをOKクリップ(OK_MARKを付与)とし、以前に関連付けられていたクリップをNGクリップ(NG_MARKを付与)とすればよい。すなわち、シナリオデータの各シーンに対応する撮影済みクリップが複数存在する場合、対応する最新のクリップ(最後に撮影されたクリップ)にOK_MARKを付与する。これは、同じシーンに対応するクリップが複数存在する場合には、最後に撮影したシーンが採用シーンである可能性が高いためである。
なお、本実施の形態では、撮影特徴のみで関連付けを判断しているが、分類情報を含めた撮影条件で判断してもよく、本実施の形態では、シナリオデータと、クリップインデックステーブルとに同じ内容を記録しているので、例えば、各分類情報を比較して一致を確認するようにS303の処理の条件を変更すればよい。
次に、繰り返して同じシーンの撮影が行えない場合の第2の関連付け方法のフローチャートを図16に示す。繰り返して同じシーンの撮影が行えない場合、一般的には、撮影順番で必要ない映像を削除する編集形態がとられることが多い。そこで、シナリオデータのシーン番号と撮影済みクリップとの撮影条件を比較する際に、撮影順にシナリオデータとクリップインデックステーブルとの関連付けを行うことで、検出精度及び関連付け処理効率を向上させることができる。撮影順が決まっており、各シーンに対応する撮影済みクリップがひとつしかないという前提では、このようにシナリオデータとクリップインデックステーブルを撮影順に比較し、最初に撮影特徴が一致するものを関連付ける処理を繰り返すことで、容易に全クリップの関連付けを行うことができる。
図16のフローチャートについて詳細に説明する。S401にて、各クリップのクリップインデックステーブルを記録順に並べる処理を行う。ただし、例えば、記録順に追記する記録形態を採用すれば、特に並べ替える必要はなく、すべてのシーンを記録する前にでも関連付けを行うことが可能である。S402において、シナリオデータと各クリップのクリップインデックステーブルの撮影特徴が一致するか否かを確認する。一致する場合には、S403にて、該当するシナリオデータの「関連付け」欄に、該当クリップのClipIDを記録し、S404にて、シナリオデータの処理の対象を次のシーン番号に移す。一方、一致しない場合には、S405にて、最終クリップあるいは最終シーンであるか否かを確認し、最終クリップあるいは最終シーンであれば処理を終了し、最終クリップでも、最終シーンでもなければ、S406にて処理対象を記録順の次のクリップに移し、S402の処理に戻る。
以上のように処理をシナリオデータの各シーンと各クリップのクリップインデックステーブルに対して行うことで、シナリオデータのシーンと撮影クリップの関連付けを行い、シナリオファイルに記録することができる。
図17に関連付け処理終了後のシナリオデータファイルの1例を示す。図17(1)は、図7(1)で示した撮影前のシナリオデータファイルから、図14に示す関連付けが行われた例であり、図17(2)は、図7(2)で示した撮影前のシナリオデータファイルから、図12に示す関連付けが行われた例である。
図17において、関連付けクリップが存在する場合には、各シーンの最終項目にClipID(例えば、“C0001”)を追記しており、関連付けクリップが存在しない場合には“NO_CLIP”と記録し、関連がある撮影済みクリップが無いことを表す。“NO_CLIP”の場合には、例えば、表示部132に未撮影であるシナリオデータが存在することを表す表示(例えば、「未撮影リスト」として該当するシーン番号を表示する)を行い、シーン番号あるいは、タイトルの文字列を表示することで、撮影忘れを防ぐことが可能である。また、図7の撮影前のシナリオデータのように、関連付けを表す項目にデータが存在しない場合にも上記“NO_CLIP”と同じ動作を行えばよい。
なお、マーク付与手段108においては、関連付けが行われた(“NO_CLIP”でない)場合に、OKクリップ(OK_MARKを付与)とし、関連付けが行われなかった(“NO_CLIP”となる)場合に、NGクリップ(NG_MARKを付与)とすればよい。
以上、2つの関連付け方法について説明したが、本実施の形態のシーン特定手段107では、第1の関連付け方法と第2の関連付け方法とを切り替え可能な構成とする。これは、関連付け方法を切り替えることにより様々な撮影用途に適用可能であり、用途によりユーザが関連付け方法を選択することにより関連付け精度を向上することができる。実現するためには、例えば、表示部132に選択メニューを表示し、入力部131を介してユーザが選択する構成とする。
次に、シナリオデータ作成手段104におけるシナリオデータの作成方法について具体的に説明する。シナリオデータを作成するには、次の3つの方法がある。第1のシナリオデータ作成方法は、テスト撮影モードを設けて、テスト撮影モード時に撮影したクリップに対応するクリップインデックステーブルからシナリオデータを作成する方法であり、第2のシナリオデータ作成方法は、任意の撮影済みクリップに対応するクリップインデックステーブルからシナリオデータを作成する方法であり、第3のシナリオデータ作成方法は、符号化映像ファイルに記録した付属情報からクリップインデックステーブルを生成し、このクリップインデックステーブルからシナリオデータを作成する方法である。
まず、第1のシナリオデータ作成方法について説明する。第1のシナリオデータ作成方法は、テスト撮影モードと本番撮影モードを設け、テスト撮影モードは、シナリオデータを記録し、映像音声ファイルを記録しないモードであり、本番撮影モードは、上述してきたように符号化映像ファイルと音声ファイルを記録するモードである。このモード移行に関しては、撮影モード切替手段113において、例えば、メニュー操作や、ダイヤル釦等の入力部131から提供される操作情報に基づいて行われる。本番撮影モードは、本実施の形態の基本的な動作として上述してきたので、テスト撮影モード時の動作について説明する。
本実施の形態では、テスト撮影モード時の動作は、符号化映像ファイル、及び、音声ファイルを作成せずに、通常の記録動作を行い、シナリオデータを作成することで実現する。これは、通常の記録動作と処理を同じにすることで実装が容易にできるためである。なお、映像符号化部143等の記録ファイルに関する処理を省いても実現可能である。
シナリオデータ作成は、通常の記録動作で記録されるクリップインデックステーブルから作成する。このシナリオデータ作成方法は、第2のシナリオデータ作成方法と同じであるので、後で詳しく説明する。
ユーザは、テスト撮影モードにて実際に本番のようにカメラレコーダのアングルを変更し、記録釦を押下する等の操作を行うことで、カメラレコーダが、自動的にカメラパラメータ、カメラレコーダの動作状況をシナリオデータファイルとして記録することになる。シナリオデータ上のシーンは、通常の記録動作と同じく、記録開始釦押下から、記録終了釦押下までの間の期間と定義し、記録開始釦を押下する度にシーン番号を自動的にインクリメントする。好ましくは、表示部132に記録済みのシナリオデータファイルを参照して、シーン番号を入れ替えたり、不要なシーンを削除したり、各シーンのタイトルを入力できればよいが、コンピュータ等の別の装置で同様の機能を実現しても構わない。
次に、第2のシナリオデータ作成方法について説明する。第2のシナリオデータ作成方法は、クリップインデックステーブルからシナリオデータを作成する方法であり、通常記録されたインデックスファイルのクリップインデックステーブル、あるいは、テスト撮影モードにて記録されたクリップインデックステーブルが存在することを前提とする。すなわち、図5に示すクリップインデックステーブルの項目から、図3に示すようなシナリオデータの項目に変換する。以下、図5、図3を参照して、クリップインデックステーブルの項目からシナリオデータの項目との対応と変換する方法を説明する。
まず、ClipID、FrameRate、Markは、シナリオデータの項目に変換されない(シナリオファイルには同類の情報が存在しない)。
ClipTiTleは、タイトルに対応し、文字列をそのまま記録すればよい。Durationは、採用Durationに対応し、値をそのまま記録すればよい。Conditionは、撮影特徴に対応し、図8に示す撮影特徴をそのまま記録すればよい。Zoomは、撮影開始時ズーム設定に対応し、図9に示すZoomの分類情報(選択肢)をそのまま記録すればよい。ZoomChangeは、ズーム変化に対応し、図9のZoomChangeの分類情報(選択肢)をそのまま記録すればよい。Angleは、撮影開始時角度に対応し、図9のAngleの分類情報(選択肢)をそのまま記録すればよい。AngleChangeは、角度変化に対応し、図9のAngleChangeの分類情報(選択肢)をそのまま記録すればよい。Positionは、撮影開始位置に対応し、緯度、経度をそのまま記録すればよい。PositionChangeは、位置移動量に対応し、方角と距離をそのまま記録すればよい。
最後に、第3のシナリオデータ作成方法について説明する。第3のシナリオデータ作成方法は、符号化映像ファイルに記録した付属情報からクリップインデックステーブルを生成し、第2のシナリオデータ作成方法でシナリオデータを撮影する方法である。第2のシナリオデータ作成方法は前述したので、符号化映像ファイルに記録したメタデータからクリップインデックステーブルを生成する方法を具体的に説明する。
記録処理手段111における符号化映像ファイルへの付属情報の埋め込み方法を上述したが、すべての符号化映像ファイルに対して、その埋め込まれた付属情報を読み出して、クリップインデックステーブルを生成する。付属情報は、クリップインデックステーブルと同じ項目であり、サンプリング周期もクリップインデックステーブルの各項目に対して同じかより短期間である。例えば、クリップインデックステーブルは、記録開始時と記録終了時のみに基づいて処理を行うのに対して、符号化映像ファイルに対しては、フレーム毎にカメラ設定パラメータを付属情報として埋め込む。すなわち、符号化映像ファイルから、記録開始時のカメラ設定パラメータと、記録終了時のカメラ設定パラメータとが取得できれば、記録時のクリップインデックステーブル作成と同様に、記録後に符号化映像ファイルからクリップインデックステーブルの生成が可能である。
以上のように、シナリオデータファイルを生成することができ、上述してきたように、シナリオデータのシーンと、撮影クリップとの関連付けを行うことで、企画段階(撮影テスト段階)から撮影、編集といった一連のワークフロー効率化が実現可能である。すなわち、本発明は、撮影本番前にカメラ設定パラメータを含んだシナリオデータを生成し、カメラ設定パラメータを利用して、シナリオデータと記録したクリップとを関連付け、分類するもので、編集時における素材データの検索や、自動編集、編集アシストが可能である。この特徴は、特に、定型的な撮影パターンで、繰り返し撮影を行う場合や、事前に綿密なリハーサルを行う場合の編集効率向上に特に効果的である。
以上のように、本実施の形態のカメラレコーダによれば、編集効率を飛躍的に向上させることができ、ユーザにとって利便性の高いカメラレコーダを実現することができる。
なお、本実施の形態では、クリップインデックステーブルは、インデックスファイルとして映像ファイルとは別ファイルとして記録する方法を説明したが、映像記録ファイルのヘッダ部分に埋め込んで記録しても同様の効果を発揮する。また、インデックスファイル及びシナリオファイルを記録する際に、テキスト形式にて記録する方法を説明したが、例えば、XML(eXtensible Markup Language)形式等のマークアップ言語や、テキスト形式をバイナリデータ化した形式等で記述しても同様の効果を発揮する。
また、SMPTE−314M方式にて圧縮符号化する例を説明したが、フレーム間の相関情報を用いて圧縮するMPEG−2方式やMPEG−4/AVC方式等、どのような圧縮符号化方式を採用しても同様の効果を発揮する。また、映像に対して圧縮を施さなくても同様の効果を発揮する。さらに、映像データと音声データとを別ファイルとして記録する例を説明したが、例えば、MPEG2−TS(Transport Stream)方式のように映像データと音声データとを多重化する方式を用いて映像データと音声データとを1つのファイルとして符号化しても同様の効果を発揮する。
さらに、本実施の形態では、記録メモリ161は、PCMCIAの形状とする例を説明したが、SDメモリーカード等の形状であって、PCMCIA_IF160の代わりにSDメモリーカードIFとしても同様の効果を発揮する。
本発明にかかる撮像装置は、ユーザの編集における利便性を向上させるもので、半導体メモリや光ディスク等を応用した映像記録再生装置や映像編集装置等に広く適用可能である。
本発明のカメラレコーダの構成を示す図 インデックスファイルの概念図 シナリオデータテーブルの1構成例を示す図 メディアインデックステーブルの1構成例を示す図 クリップインデックステーブルの1構成例を示す図 クリップインデックステーブルの1具体例を示す図 撮影前のシナリオデータファイルの1例を示す図 撮影特徴の1区分例を示す図 分類情報の1区分例を示す図 撮影特徴を決定するフローチャート マーク種別の1例を示す図 シナリオデータと記録クリップの関連付けを示す概念図 シナリオデータに記録する場合のシナリオデータと記録クリップの関連付けの1例を示す図 クリップインデックステーブルに記録する場合のシナリオデータと記録クリップの関連付けの1例を示す図 繰り返し撮影を行わない場合の関連付けのフローチャート 繰り返し撮影を行う場合の関連付けのフローチャート 関連付け終了後のシナリオデータファイルの1例を示す図
符号の説明
101 システム制御部
102 カメラ動作検出部
103 撮影条件特定手段
104 シナリオデータ作成手段
105 シナリオデータ読み込み手段
106 シナリオデータ保持手段
107 シーン特定手段
108 マーク付与手段
109 管理ファイル処理手段
110 記録バッファメモリ
111 記録処理手段
113 撮影モード切替手段
114 再生処理手段
115 再生バッファメモリ
121 IOバス
131 入力部
132 表示部
133 位置検出手段
141 カメラ部
142 映像処理部
143 映像符号化部
144 マイク部
145 音声処理部
148 映像復号化部
149 映像出力部
150 音声出力部
171 撮像部
172 ズーム手段
173 角度検出手段

Claims (9)

  1. 被写体を撮像し、撮像時のカメラ設定パラメータと共に映像を出力するカメラ部と、
    事前に作成された撮影シーン毎の撮影条件を含むシナリオデータを保持するシナリオデータ保持手段と、
    前記カメラ設定パラメータに基づいて撮影時の撮影条件を求め、前記シナリオデータ中の前記撮影シーン毎の撮影条件と比較することにより、前記撮影シーンを前記映像と関連付けるシーン特定手段と、
    前記シーン特定手段が関連付けた前記撮影シーンと前記映像との関連付けの情報を記録媒体に記録する記録部とを備えた撮像装置。
  2. 前記カメラ部は、撮影時における前記カメラ部の角度及び角速度を検出して前記カメラ設定パラメータに含めて出力し、
    前記撮影シーン毎の撮影条件は、撮影角度および前記撮影角度の変化を示す情報のうち少なくとも1つを含み、
    前記シーン特定手段は、前記角度および前記角速度に基づいて前記撮影時の撮影条件として前記撮影角度および前記撮影角度の変化を示す情報のうち少なくとも前記撮影シーン毎の撮影条件に含まれる1つを求める請求項1記載の撮像装置。
  3. 前記カメラ部は、撮影時における前記カメラ部の撮影位置を検出して前記カメラ設定パラメータに含めて出力し、
    前記撮影シーン毎の撮影条件および前記撮影時の撮影条件は、前記撮影位置を含む請求項1または2に記載の撮像装置。
  4. 前記シーン特定手段は、前記撮影シーンと前記映像との関連付けを判断する際に、前記撮影シーン毎の撮影条件に対応する前記撮影時の撮影条件が複数存在する場合、対応するすべての前記映像と関連付ける第1の関連付け方法と、撮影順に前記撮影シーンと前記映像とを比較し、最初に撮影条件が一致するものを関連付ける処理を繰り返す第2の関連付け方法とを切り替えて実行する請求項1記載の撮像装置。
  5. マークを付与するマーク付与手段を備え、
    前記マーク付与手段は、前記第1の関連付け方法の場合には、各撮影シーンに関連付けられた前記映像のうち最新の映像に前記マークを付与し、前記第2の関連付け方法の場合には、各撮影シーンに関連付けられた前記映像に前記マークを付与する請求項4記載の映像記録装置。
  6. 前記カメラ部から出力された前記カメラ設定パラメータに基づいて求めた撮影時の撮影条件を撮影シーン毎の撮影条件として含むシナリオデータを作成する第1のシナリオデータ作成手段を備えた請求項1から5の何れかに記載の撮像装置。
  7. 前記記録部は、前記映像に前記カメラ設定パラメータを含めて前記記録媒体に記録し、
    前記記録媒体から前記カメラ設定パラメータを含んだ前記映像を読み出し、前記映像に含まれた前記カメラ設定パラメータに基づいて求めた撮影時の撮影条件を撮影シーン毎の撮影条件として含むシナリオデータを作成する第2のシナリオデータ作成手段を備えた請求項1から5の何れかに記載の撮像装置。
  8. 撮影モードをテスト撮影モードと本番撮影モードとに切り替える撮影モード切替手段と、
    前記撮影モードがテスト撮影モードであるときに、前記カメラ部が撮像して出力した前記カメラ設定パラメータに基づいて求めた撮影時の撮影条件を撮影シーン毎の撮影条件として含むシナリオデータを作成する第3のシナリオデータ作成手段と、を備え、前記シナリオデータ保持手段は、前記第3のシナリオデータ作成手段が作成した前記シナリオデータを保持し、シーン特定手段は、前記撮影モードが本番撮影モードであるときに、前記カメラ部が撮像して出力した前記カメラ設定パラメータに基づいて前記撮影時の撮影条件を求め、前記シナリオ保持手段が保持している前記シナリオデータ中の前記撮影シーン毎の撮影条件と比較することにより、前記撮影シーンを前記映像と関連付ける請求項1から5の何れかに記載の撮像装置。
  9. 前記シーン特定手段が関連付けを行わなかった前記撮影シーンについて、未撮影シーンを表す表示を行う表示部を備えた請求項1から8の何れかに記載の撮像装置。
JP2008077317A 2008-03-25 2008-03-25 撮像装置 Active JP4946935B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008077317A JP4946935B2 (ja) 2008-03-25 2008-03-25 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008077317A JP4946935B2 (ja) 2008-03-25 2008-03-25 撮像装置

Publications (3)

Publication Number Publication Date
JP2009232325A JP2009232325A (ja) 2009-10-08
JP2009232325A5 JP2009232325A5 (ja) 2011-02-17
JP4946935B2 true JP4946935B2 (ja) 2012-06-06

Family

ID=41247182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008077317A Active JP4946935B2 (ja) 2008-03-25 2008-03-25 撮像装置

Country Status (1)

Country Link
JP (1) JP4946935B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4875199B1 (ja) * 2010-11-30 2012-02-15 株式会社東芝 番組合成装置および番組合成方法
JP5759212B2 (ja) * 2011-03-17 2015-08-05 キヤノン株式会社 シナリオ編集装置およびシナリオ編集方法、ならびに撮像システム
KR101930460B1 (ko) 2012-11-19 2018-12-17 삼성전자주식회사 촬영 장치 및 제어 방법
JP7128695B2 (ja) * 2018-09-11 2022-08-31 日本放送協会 撮影操作データ収集装置、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185908A (ja) * 2000-12-12 2002-06-28 Minolta Co Ltd 画像抽出プログラムを記録したコンピュータ読取可能な記録媒体、画像抽出装置および画像抽出方法
JP3708854B2 (ja) * 2001-09-04 2005-10-19 株式会社東芝 メディア作品制作支援装置及びプログラム
JP4580148B2 (ja) * 2003-03-14 2010-11-10 ソニー株式会社 情報処理装置,メタデータ表示方法

Also Published As

Publication number Publication date
JP2009232325A (ja) 2009-10-08

Similar Documents

Publication Publication Date Title
US8208792B2 (en) Content shooting apparatus for generating scene representation metadata
JP4792686B2 (ja) 画像処理装置及び画像処理方法並びに記録媒体
KR101022343B1 (ko) 정보 생성 장치, 기록 장치, 재생 장치, 정보 생성 방법, 기록 방법, 재생 방법, 및 기록 재생 시스템
US8422849B2 (en) Image playback apparatus, image recording apparatus, image playback method, and image recording method
JP4656454B2 (ja) 記録装置および方法、再生装置および方法、並びにプログラム
JP2007082088A (ja) コンテンツとメタデータを記録、再生する装置、コンテンツ処理装置、プログラム
US20070201832A1 (en) Recording apparatus, recording method, program for recording method, recording medium recording program for recording method, reproducing apparatus, reproduction method, program for reproduction method, and recording medium recording program for reproduction method
JP4978324B2 (ja) 画像記録装置、画像記録システム、画像再生方法
CN101263706A (zh) 摄像装置、记录方法
US8582948B2 (en) Scenario editing apparatus and scenario editing method, image capturing apparatus and control method thereof, and scenario editing system
JP4946935B2 (ja) 撮像装置
WO2009150827A1 (ja) コンテンツ編集装置
JP2004312281A (ja) 映像編集装置,映像編集装置の処理方法
JP6168453B2 (ja) 信号記録装置、カメラレコーダおよび信号処理装置
JP5683301B2 (ja) 画像記録装置
CN102474585A (zh) 图像处理设备和图像处理方法
JP4962783B2 (ja) 情報処理装置および情報処理方法、並びにプログラム
JP4438177B2 (ja) データ送受信システム
JP4698961B2 (ja) 電子カメラ、及び電子カメラの制御プログラム
JP4466482B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP3287814B2 (ja) 動画再生装置
JP4846892B2 (ja) 画像処理システム及び素材蓄積方法
JP6463967B2 (ja) 撮像装置及びその制御方法
JP2008072572A (ja) コンテンツ撮影装置
JP2006092681A (ja) 画像管理方法、画像管理装置及び画像管理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101227

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4946935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3