JP4253762B2 - Subtitle creation management server and distributed caption program production system - Google Patents

Subtitle creation management server and distributed caption program production system Download PDF

Info

Publication number
JP4253762B2
JP4253762B2 JP2003133639A JP2003133639A JP4253762B2 JP 4253762 B2 JP4253762 B2 JP 4253762B2 JP 2003133639 A JP2003133639 A JP 2003133639A JP 2003133639 A JP2003133639 A JP 2003133639A JP 4253762 B2 JP4253762 B2 JP 4253762B2
Authority
JP
Japan
Prior art keywords
program
subtitle
time
worker
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003133639A
Other languages
Japanese (ja)
Other versions
JP2004336668A (en
Inventor
英治 沢村
隆雄 門馬
徹 都木
克彦 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
National Institute of Information and Communications Technology
Japan Broadcasting Corp
NHK Engineering System Inc
Original Assignee
NEC Corp
National Institute of Information and Communications Technology
NHK Engineering Services Inc
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, National Institute of Information and Communications Technology, NHK Engineering Services Inc, Japan Broadcasting Corp filed Critical NEC Corp
Priority to JP2003133639A priority Critical patent/JP4253762B2/en
Publication of JP2004336668A publication Critical patent/JP2004336668A/en
Application granted granted Critical
Publication of JP4253762B2 publication Critical patent/JP4253762B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、字幕を作成する作業者の作業能力等を配慮して字幕作成作業を分担するようにした字幕作成用管理サーバおよび分散型字幕番組制作システムに関する。
【0002】
[発明の概要]
本発明は、字幕制作作業の分散・協調による効率的な字幕作成用管理サーバおよび分散型字幕番組制作システムに関するもので、字幕番組制作のためのホスト側システムである字幕作成用管理サーバとクライアント側システムとをネットワークで連携し、各クライアントは在宅勤務を含む字幕データ制作を分担し、ホスト側システムは素材テレビ番組の処理、分担業務の設定、クライアントが制作した字幕データの編成・試写などを行うシステム構成を採っている。
【0003】
特に、各クライアントの特徴(作業者の能力、機材の性能、ネットワーク状況等、これらを含めて“スキル”とも称する)に応じた適切な分担業務の設定により、最も効率的な字幕制作を可能とする。複数作業による最適な分散作業環境の実現により、字幕番組制作時間の短縮および在宅勤務などを含む字幕制作作業者層の拡大などを達成し、また対象番組の実時間以内での字幕付与を目指す字幕作成用管理サーバおよび分散型字幕番組制作システムを提供するものである。
【0004】
【従来の技術】
字幕つきテレビ放送番組を受信者が利用する際、字幕が読みやすく、理解しやすいものであることが重要となる。そのため、字幕番組制作における字幕原稿作成では、熟練した人手を使い、多大の労力・時間をかけて、より読みやすく、理解しやすい字幕となるよう制作している。
【0005】
現在最も多く行われている字幕番組制作形態では、タイムコードを映像にスーパーした番組テープと必要な場合は番組台本を素材とし、これを放送関係経験者など専門知識のある人によって、1)番組スピーチの要約書起し、2)字幕表示イメージ化(別途定めのある字幕原稿作成要領による)、および 3)その開始・終了タイムコード記入を行い、字幕用の原稿を作成している。この字幕原稿を基に、オペレーターが電子化字幕用テキストを作成し、担当の字幕制作責任者、原稿作成者、電子化したオペレーター立ち会いのもとで、試写・修正を行って完成字幕としている。
【0006】
この作業の中で最も多くの時間を必要とするのは、1)の番組スピーチなどを聴取して、字幕原稿を書起し作成する点であり、ほとんどが人間の知能と手作業によっている。
【0007】
番組スピーチの具体的な書起し作業例では、番組テープを再生操作して音声を聴取し、音声中のスピーチ開始点からテープを再生聴取しつつ、ワープロや筆記で書起しを行う。実際には、書起し作業者の書起し速度や内容確認などのため、一区切りのスピーチ区間を対象として録音テープの頭出し・再生操作を繰り返し、書起し作業が行われる。
【0008】
【特許文献1】
特開2002−118819
【0009】
【発明が解決しようとする課題】
しかしながら、今後適用番組分野・番組数などの拡大を進めている字幕放送において、この熟練した人手、多大の労力・時間を要するこのような形態の字幕番組制作システムでは、字幕番組制作上の大きなネックとなっており、その改善が急がれている。
【0010】
すなわち、書起し作業は、テープの頭出し・再生操作の繰り返しといった煩雑なテープ操作と、スピーチの聴取確認、書起しといった人間の知能に負う負担の多い業務であり、必要な能力・労力を低減できる適切な支援機能が必要であり、その開発が望まれている。
【0011】
そこで、従来、特開2002−118819に開示された「字幕作成方法及び字幕作成システム」が知られている。この従来例では、番組の映像・音声を連続した番組データとして取り込みデータベースに記憶させ、この連続した番組データを字幕作成者たる複数の作業者にインターネットを通じて供給する。作業者は受信した一連の番組データを見つつ字幕データを作成して番組データの供給先に送信し、この字幕データを受信した供給先は、複数の作業者から受信した字幕データをデータベースに統合して記憶するようにしている。
【0012】
このように、一つの番組データを複数の作業者に送信して、複数人により作成された字幕データがデータベースに統合されて記憶されることにより、その字幕作成作業を在宅作業者等、複数人によって行うことができ、一人あたりの作業労力の軽減を図ることができ、字幕作成までの所要時間の短縮が図られるという利点を有する、というものである。
【0013】
しかしながら、上述した従来例では、番組データを複数の作業者に分散して字幕データを作成させるようにしているが、複数の作業者にどのように作業を分担させるのかについての具体性に欠けるものであった。また、字幕データ入力作業に習熟している者、不慣れな者等、作業者の作業能力や使用する機材の性能、あるいはネットワーク環境等のスキルについては何ら配慮されていない。このため、効率的な字幕番組作業を可能にする分散型の字幕番組制作システムの開発が望まれていた。
【0014】
本発明は上記事情に鑑み、作業者の作業能力等を配慮しつつ字幕作成作業の分散・協調による効率的な字幕作成を可能とし、例えば、対象番組の実時間以内といった短時間での字幕付与を目指す字幕作成用管理サーバおよび分散型字幕番組制作システムを提供することを目的としている。
【0015】
【課題を解決するための手段】
上記の目的を達成するために請求項1の発明は、字幕を作成する作業者の作業能力、作業者が所持する字幕作成用機材の性能、および作業者のネットワーク状況に関する情報を作業者を特定するデータとして作業者毎に保存した作業者データベースと、この作業者データベースに保存された前記作業者を特定するデータと、字幕作成対象となる番組素材の実時間と字幕データの作成完了時間とに基づいて、字幕用テキストを作成する作業者一人当たりの作業時間と作業者数とを求める作業時間等演算手段と、求められた作業時間、作業者数に基づいて前記番組素材を分割する素材分割手段と、分割された番組素材を各作業者に供給する一方、供給された番組素材に基づいて完成された字幕データを受け取って統合された字幕データを作成する編集手段とを備えたことを特徴としている。
【0016】
請求項2の発明は、請求項1に記載の字幕作成用管理サーバにおいて、前記作業時間等演算手段は、番組音声を書起して字幕用テキストを作成するのに要する延べ時間は番組時間の4倍必要とし、作成された字幕用テキストにタイミングを付与するための自動同期の計算時間及びその他の延べ処理時間は番組時間の4倍必要とするという現状知見に基づき、これらの作業を番組時間内で完了させるために、作業者一人あたりの作業時間を求めることを特徴としている。
【0018】
請求項の発明は、請求項1または2に記載の字幕作成用管理サーバと、この字幕作成用管理サーバとネットワークを介して接続され、分割された番組素材を前記ネットワークを介して供給されると共に、番組素材に対して字幕用テキストの作成および作成された字幕用テキストにタイミングを付与して、完成された字幕データを前記字幕作成用管理サーバに送信する作業者用端末とを備えたことを特徴としている。
【0019】
上記構成によれば、作業者の作業能力等のスキルを配慮しつつ字幕作成作業の分散・協調による効率的な字幕作成を可能とし、対象番組の実時間以内での字幕付与が可能となる。
【0020】
【発明の実施の形態】
<発明の技術的背景>
実施の形態を説明する前に本発明の技術的背景を説明する。
【0021】
従来の技術の欄でも説明したように、本発明では、字幕番組制作のためのホストと各クライアントをネットワークで連携し、各クライアントは字幕番組素材データ制作を分担し、ホストは素材テレビ番組の処理、作業者の能力や作業環境等に応じた分担業務の設定、各クライアントが制作した字幕データの編成・試写などを行うシステムである。
【0022】
このため、システムの主なコンセプトは以下のようにすることが考えられる。
【0023】
(1)書起し作業を複数作業者に分散して高速化する。
【0024】
(2)複数のパソコンを使用し、自動処理の高速化を図る。
【0025】
(3)インターネットなどのネットワークを活用した、在宅勤務者による書起し作業を可能とする。
【0026】
(4)ネットワークによる相互接続で、映像、音声、プロジェクト情報のスムーズな共有化を可能とする。
【0027】
(5)分散作業を最適化するプロジェクト管理アプリケーションを備える。
【0028】
その結果、以下のような効果が期待できる。すなわち、字幕制作時間の大幅な短縮が可能になり、例えば、分割・分担により対象番組の実時間以内での字幕付与も可能となる。また、作業内容の分割、作業能力(スキル)に応じた分割作業の割付と実施を通して字幕制作作業者層の拡大が可能となる。その結果として字幕制作のコスト削減効果が期待できる。
【0029】
《システム構成》
複数の作業者による分散作業により、対象番組の実時間以内での一応の字幕付与を目指すという目標をここでは設定する。それを実現するシステム構成では、以下のような現状認識に基づく。
【0030】
(1)番組音声の書起しに要する延べ時間を番組時間の4倍と想定する。
【0031】
(2)自動同期の計算時間及びその他の延べ処理時間を番組時間の4倍と想定する。
【0032】
以上のように、現状をベースに書起し時間、自動同期処理時間を想定すると、これらの作業を番組時間内で完了させるためには、1/8の時間、つまり8分割した分散作業が必要となる。このためには、書起し・編集端末(クライアントマシン)は8式必要となる。
【0033】
一方、字幕番組の試写・修正は通常、番組実時間の1.5〜2倍の時間を要するため、8式の書起し・編集端末のフル稼働に対応できるように字幕試写・修正端末は2式必要となる。
【0034】
また、ネットワーク構成、番組映像、音声、プロジェクト情報の共有、分散作業に最適化されたプロジェクト管理、システム統括制御などのために、少なくとも1式のホストサーバを備える構成とする。ネットワークは、インターネットまたはイントラネット等のLANによる伝送とする。
【0035】
<実施の形態の説明>
《実施形態1》
図1は本発明による分散型字幕番組制作システムの実施形態を示す構成図である。
【0036】
同図に示すように、この分散型字幕番組制作システムは、プロジェクト管理端末10と、このプロジェクト管理端末10とインターネット20またはLAN30で接続された書起し・編集端末40と、プロジェクト管理端末10と接続された2台の字幕試写・修正端末50A,50Bとから構成されている。
【0037】
プロジェクト管理端末10は、番組テープ11を再生する複数台のVTR12と、各VTR12で再生されたTV番組データを各書起し・編集端末20へ送信するためのデータを編集する素材エンコードマシン13と、字幕作成用管理サーバであるプロジェクト管理サーバ14とを備えている。
【0038】
プロジェクト管理サーバ14は、図2に示すように、書起し作業者に関する特徴データが蓄積された作業者データベース15と、編集管理部16と、送受信部17とを備えている。
【0039】
作業者データベース15は、字幕作成に従事する作業者の氏名、住所(地域)、作業可能な時間帯、作業能力、機材性能、ネットワーク環境等の作業者を特定するデータが予め保存されている。ここで、「作業能力」の項目には、作業者の字幕書起しの能力がランク付して保存されている。また、「機材性能」の項目には、作業者が使用するパソコン等の機材の性能がランク付して保存されている。さらに、「ネットワーク環境」の項目には、作業者のネットワーク環境、例えば、専用のLANを使用できる環境か、インターネットを使用する環境か、インターネットの中でも高速光ケーブルを使用できる環境か等のデータが格納されている。
【0040】
編集管理部16は、字幕作成対象となる番組素材の実時間と字幕データの作成完了時間とに基づいて、字幕用テキストを作成する作業者一人当たりの作業時間と作業者数とを求める作業時間等演算手段と、求められた作業時間、作業者数に基づいて前記番組素材を分割する素材分割手段と、分割された番組素材を各作業者に供給する一方、供給された番組素材に基づいて完成された字幕データを受け取って統合された字幕データを作成する編集手段とを備える。作業者データベース15を参照してスキルに応じた最適な作業者を選択し、各作業者の作業時間を求める。
【0041】
本実施形態においては、書起し・編集端末40は、8台のクライアントマシン41A〜41Hから構成されている。各クライアントマシン41A〜41Hは、プロジェクト管理サーバ14とインターネット20またはLAN30を介して接続され、分割された番組素材をインターネット20またはLAN30を介して供給されると共に、番組データに対して字幕用テキストの作成および作成された字幕用テキストにタイミングを付与して、完成された字幕データをプロジェクト管理サーバ14に送信する。
【0042】
字幕試写・修正端末50A,50Bは、それぞれクライアントマシン字幕信号重畳装置付字幕試写・修正端末装置51A,51Bと、文字放送チューナ52A,52Bと、モニタ装置53A,53Bとを備えている。
【0043】
図3(A)はプロジェクト管理サーバ14での処理手順を、図3(B)は各書起し・編集端末40での処理手順を示している。
【0044】
プロジェクト管理サーバ14の編集管理部16は、字幕番組制作の依頼を受けると、対象となる番組素材の実時間と字幕データの作成完了時間とに基づいて、字幕データを作成する作業者一人当たりの作業時間と作業者数とを求め、求められた作業時間、作業者数に基づいて前記番組素材を分割する。その際に、作業者のスキルを考慮する場合には、作業者データベースを参照して作業者を選択する(ステップS1)。分割された番組素材は、送受信部17、インターネット20またはLAN30を介して各作業者の書起し・編集端末40に供給される(ステップS2)。各作業者への番組素材の配信が終了すると、プロジェクト管理サーバ16は、各書起し・編集端末40から完成された字幕素材データが送信されてくるか否かを監視し、字幕データが受信されると(ステップS3)、字幕試写・修正端末50A,50Bへ送信する(ステップS4)。
【0045】
一方、プロジェクト管理サーバ14から番組データが配信されると(ステップS11)、各作業者は、自身のクライアントマシンを使用して書起し作業を開始する(ステップS12)。書起し作業が終了して字幕用テキストが作成されると、次に、この字幕用テキストに対してタイミング付与を行う同期編集作業を開始する(ステップS13,S14)。こうして、字幕用テキストにタイミングが付与され、字幕データが作成されると(ステップS15)、各クライアントマシンからインターネット20またはLAN30を介してプロジェクト管理サーバ14へ送信される(ステップS16)。
【0046】
次に実施形態1の作用を具体的に説明する。
【0047】
実施形態1では、「特に緊急を要する番組」について、複数作業者による分散作業により、対象番組の実時間以内で字幕データを作成することを目指している。但し、実施形態1では、作業者の作業能力や作業環境は同一として説明する。この場合のシステム構成を図6に示す。
【0048】
今、1時間の番組を例として、番組の実時間内に番組音声の書起しや、自動同期計算およびその他の処理を実行して字幕番組データを完成させるには、前記のように番組時間の1/8の時間、つまり8分割した分散作業を必要とする。そのため、対象番組を7.5分ずつの8分割にする。各分割番組の書起しを、分割番組の4倍の30分で完了する。各分割番組の書起しテキストの自動同期計算等を、分割番組時間の4倍の30分で完了する。
【0049】
そして、自動改行・改ページされ、かつタイミング付与された各書起しテキストを順次編集合成することによって、ほぼ番組の実時間程度で試写可能な字幕番組データを完成させる。
【0050】
なお、図6に示すように、字幕番組の試写・修正は通常、番組実時間の1.5〜2倍の時間を要するため、書起し・編集端末がフル稼働する場合を想定して字幕試写・修正端末は最小限2式必要とする。
【0051】
次に、図4を参照して分担作業の進め方について説明する。図4の例では、3種類の1時間番組(番組A,B,C)を並列して8人の作業者に分担させることを想定している。この場合、各作業者のスキルは同じとし、各作業者は1時間番組を7.5分ずつ分担することとなる。すなわち、端末である8台クライアントマシン41A〜41Hは、それぞれ7.5分の番組の書起し作業などを実行する。図中実線は番組時間、細い破線は書起し作業時間、太い破線は同期計算等の作業時間、一点鎖線波試写・修正時間をそれぞれ示している。同図に示すように、書起しに必要な時間は30分であり、書起し終了後、各分割番組に対して30分(7.5×4)のタイミング付与のための自動同期計算等の作業が実行される。
【0052】
こうして番組Aの実時間である1時間で各分割番組の字幕データが作成されると、次に、番組Bの字幕データに対して字幕試写・修正端末50Aによる試写・修正作業が実行される。この作業と並行して番組Bの分割番組に対する書起し作業が実行される。そして番組Bの実時間である1時間で各分割番組の字幕データが作成されると、次に、番組Bの字幕データに対して字幕試写・修正端末50Bによる試写・修正作業が実行される。このようにして、番組Cまでの書起し作業から試写・修正作業までがほぼ番組実時間+番組Cの試写・修正時間で終了させることができるのである。
【0053】
《実施形態2》
実施形態1では、作業者のスキルの差を考慮することなく、作業を均等に分担して「特に緊急を要する番組」について字幕データを作成させるようにしたが、実施形態2では、作業者のスキルに差がある場合を考慮して分担する番組時間に差を持たせるようにしている。
【0054】
このため、作業者データベース15に保存された各作業者毎の作業能力データ、機材性能データ、およびネットワーク環境データが参酌され、現状での最適な割り振りが行われる。
【0055】
図5は、特に書起し作業者の書起しに関するスキルのみを考慮して分担する番組時間を定めた字幕データ制作作業時間の一例を示している。
【0056】
書起し作業者の端末41A〜41Fは、標準的な書起しスキルの者、端末41Gは書起しスキルの高い者、端末41Hは書起しスキルの低い者をそれぞれ想定している。同図に示すように、端末41Gの作業者が最も長い番組の書起し作業を分担し、端末41Hの作業者が最も短い番組の書起し作業を分担するように分割し、同期計算等が終了して字幕データが完成する時間が、各端末でほぼ同一時間となるようにしている。
【0057】
上述のようにして書起し作業が終了して字幕用テキストが作成され、この字幕用テキストにタイミングが付与されて字幕データが完成されると、各端末41A〜41Hからプロジェクト管理サーバ14を介して字幕試写・修正端末50Aに転送され、試写・修正作業が実行される。
【0058】
このように、実施形態2によれば、作業者のスキルに応じて分担量を調整したので、より効率的な作業分担が可能となる。
【0059】
《実施形態3》
図7は本発明の実施形態3の構成を示している。この実施形態3は、「急を要する番組」に対して、複数作業者による分散作業により、対象番組の実時間の4倍以内で字幕データを完成させることを目標としている。
【0060】
すなわち、番組実時間の4倍以内で書起し、タイミング付与の各作業を完了させるためには、1/2の時間、つまり番組を2分割した分散作業が必要となる。このため、書起し・編集端末は、2式で1番組に対応する。各書起し・編集端末40A,40Bは、4台のクライアントマシン41A〜41D,41E〜41Hを備える構成となっている。書起し・編集端末40A,40Bは字幕試写・修正端末50A,50Bに1対1に対応している。
【0061】
この実施形態3では、先ず、対象番組は30分ずつの2分割にされて書起し・修正端末41A,41Bに供給される。各分割番組の書起しは、分割番組時間の4倍の120分で完了する。書起しを行った各分割番組の自動同期の計算等は、分割番組時間の4倍の約120分で完了される。自動改行・改ページがされ、タイミング付与がされた各書起しテキストデータを順次合成することにより、ほぼ番組実時間の4倍程度で試写可能な字幕データを完成させることができる。また、実施形態3では、同時に4番組に対応することができる。
【0062】
《実施形態4》
図8は本発明の実施形態4を示している。この実施形態4は、「通常の番組」に対する書起し・編集を行う例であり、書起し・編集端末は各1式で対応している。前記したように、書起しとタイミング付与のための同期計算等の作業のため、それぞれ番組時間の4倍の時間が必要となり、対象番組の実時間の8倍で字幕を付与するものである。このシステムによれば、1番組に対する作業時間は長くなるものの、8つの番組に対して同時に作業を進行させることが可能となる。
【0063】
【発明の効果】
以上説明したように本発明によれば、作業者の作業能力等を配慮しつつ字幕作成作業の分散・協調による効率的な字幕作成を可能とし、対象番組の実時間以内での字幕付与が可能となる。
【図面の簡単な説明】
【図1】本発明による分散型字幕番組制作システムの実施形態を示すブロック図である。
【図2】本発明による字幕作成用管理サーバであるプロジェクト管理サーバの実施形態を示すブロック図である。
【図3】本発明による分散型字幕番組制作システムの処理手順の一例を示すフローチャートである。
【図4】作業者に作業を均等に分担させた場合の処理の流れを示す説明図である。
【図5】作業者のスキルに応じた作業分担をさせた場合の処理の流れを示す説明図である。
【図6】本発明による分散型字幕番組制作システムの他の実施形態を示すブロック図である。
【図7】本発明による分散型字幕番組制作システムのさらに他の実施形態を示すブロック図である。
【図8】本発明による分散型字幕番組制作システムのさらに他の実施形態を示すブロック図である。
【符号の説明】
10 プロジェクト管理端末
11 番組テープ
12 VTR
13 素材エンコードマシン
14 プロジェクト管理サーバ
15 作業者データベース
16 編集管理部
17 送受信部
20 インターネット
30 LAN
40,40A,40B 書起し・編集端末
41A〜41H クライアントマシン
50A,50B 字幕試写・修正端末
51A,51B クライアントマシン字幕信号重畳装置付字幕試写・修正端末装置
52A,52B 文字放送チューナ
53A,53B モニタ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a subtitle creation management server and a distributed subtitle program production system configured to share subtitle creation work in consideration of the work ability of a worker who creates subtitles.
[0002]
[Summary of Invention]
The present invention relates to an efficient subtitle creation management server and distributed subtitle program production system by distributing and collaborating subtitle production work, and a subtitle creation management server and client side which are host side systems for producing subtitle programs. The system is linked with the network, and each client shares subtitle data production including telecommuting, and the host side system processes the material TV program, sets the division work, organizes and previews the subtitle data produced by the client, etc. The system configuration is adopted.
[0003]
In particular, it is possible to produce the most efficient subtitles by setting appropriate assignments according to the characteristics of each client (workers' capabilities, equipment performance, network conditions, etc.). To do. By realizing an optimal distributed work environment with multiple work, subtitles can be shortened and the number of subtitle production workers including telecommuting can be expanded. A production management server and a distributed caption program production system are provided.
[0004]
[Prior art]
When a receiver uses a TV broadcast program with subtitles, it is important that the subtitles are easy to read and understand. For this reason, in the production of subtitle manuscripts in the production of subtitle programs, skilled manpower is used to produce subtitles that are easier to read and understand, taking much effort and time.
[0005]
The most popular subtitle program production format is a program tape that superimposes the time code into video and, if necessary, a program script as a material. A summary of the speech, 2) subtitle display image (according to the procedure for preparing subtitle manuscripts specified separately), and 3) the start / end time code are entered, and a subtitle manuscript is created. Based on this subtitle manuscript, the operator creates a text for electronic subtitles, and previews and corrects the final subtitles in the presence of the responsible subtitle production manager, manuscript creator, and electronic operator.
[0006]
The most time required for this work is to listen to the program speech of 1) and write and create a subtitle manuscript, which is mostly based on human intelligence and manual work.
[0007]
In a specific example of a program speech transcribe operation, a program tape is played and listened to by voice, and the tape is reproduced and listened from the speech start point in the voice, and written by a word processor or writing. Actually, in order to confirm the writing speed and contents of the writing operator, the writing operation is performed by repeating the cueing / playing operation of the recording tape for a single speech segment.
[0008]
[Patent Document 1]
JP 2002-118819 A
[0009]
[Problems to be solved by the invention]
However, in the subtitle broadcasting that is expanding the application program field and the number of programs in the future, this type of subtitle program production system that requires a lot of labor and time is a big bottleneck in the production of subtitle programs. The improvement is urgent.
[0010]
In other words, transcription work is a burdensome task for human intelligence, such as complicated tape operations such as repeated cueing and replaying of tapes, listening confirmation of speech, and transcription. Appropriate support functions that can reduce the risk are necessary, and their development is desired.
[0011]
Therefore, conventionally, a “caption creation method and caption creation system” disclosed in Japanese Patent Laid-Open No. 2002-118819 is known. In this conventional example, video and audio of a program are captured as continuous program data and stored in a database, and the continuous program data is supplied to a plurality of workers as caption creators via the Internet. The operator creates subtitle data while looking at the received series of program data and sends it to the program data supply destination. The supply destination that receives this subtitle data integrates the subtitle data received from multiple workers into the database. And memorize it.
[0012]
Thus, by transmitting one program data to a plurality of workers and subtitle data created by a plurality of people is integrated and stored in a database, the subtitle creation work is performed by a plurality of people such as home workers. It is possible to reduce the work effort per person and reduce the time required to create captions.
[0013]
However, in the above-described conventional example, the program data is distributed to a plurality of workers so that caption data is created, but there is a lack of concreteness about how the tasks are shared by a plurality of workers. Met. In addition, no consideration is given to the skills of operators such as those who are familiar with subtitle data input work and those who are unfamiliar, such as the work ability of the workers, the performance of the equipment used, or the network environment. Therefore, it has been desired to develop a distributed caption program production system that enables efficient caption program work.
[0014]
In view of the above circumstances, the present invention enables efficient subtitle creation by distributing and collaborating subtitle creation work while considering the work ability of the operator, for example, providing subtitles in a short time such as within the actual time of the target program The purpose is to provide a subtitle creation management server and a distributed subtitle program production system.
[0015]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 specifies the worker with information on the work ability of the worker who creates the caption, the performance of the caption production equipment possessed by the worker, and the network status of the worker. a worker database stored for each operator as data, the data for specifying the operator stored in the operator database, real-time and program material to be subtitling target, the creation completion time of the caption data Calculation means for determining the work time and the number of workers per worker who creates subtitle text, and the material for dividing the program material based on the determined work time and the number of workers The dividing means and the divided program material are supplied to each worker, while the subtitle data completed based on the supplied program material is received and integrated subtitle data is created. It is characterized by comprising an editing unit.
[0016]
According to a second aspect of the present invention, in the subtitle creation management server according to the first aspect, the operation time and the like calculating means calculates the total time required to create the subtitle text by writing the program audio. Based on the current knowledge that the calculation time of automatic synchronization and other total processing time required to give timing to the generated caption text is four times the program time, these operations are required for the program time. In order to complete the process, the work time per worker is obtained.
[0018]
According to a third aspect of the present invention, the closed caption creation management server according to the first or second aspect is connected to the closed caption creation management server via a network, and the divided program material is supplied via the network. And a worker terminal for creating subtitle text for the program material and adding timing to the created subtitle text and transmitting the completed subtitle data to the subtitle creation management server. It is characterized by.
[0019]
According to the above configuration, it is possible to efficiently create captions by distributing and coordinating caption creation work while considering the skills such as the work ability of the operator, and it is possible to assign captions within the actual time of the target program.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
<Technical background of the invention>
Prior to describing the embodiments, the technical background of the present invention will be described.
[0021]
As described in the section of the prior art, in the present invention, the host for caption program production and each client are linked through a network, each client shares the production of caption program material data, and the host processes the material television program. It is a system that performs setting of shared work according to the ability and working environment of the worker, organization and preview of subtitle data produced by each client.
[0022]
For this reason, the main concept of the system can be considered as follows.
[0023]
(1) Speed up writing by distributing it to multiple workers.
[0024]
(2) Use multiple computers to speed up automatic processing.
[0025]
(3) Enables writing work by telecommuters using networks such as the Internet.
[0026]
(4) Enables smooth sharing of video, audio and project information through network interconnection.
[0027]
(5) Provide a project management application that optimizes distributed work.
[0028]
As a result, the following effects can be expected. That is, subtitle production time can be greatly shortened, and for example, subtitles can be given within the actual time of the target program by dividing / sharing. In addition, it is possible to expand the subtitle production worker layer through the division of work contents and the assignment and execution of divided work according to work ability (skill). As a result, the cost reduction effect of caption production can be expected.
[0029]
"System configuration"
Here, the goal is to set a subtitle within a real time of the target program by distributed work by a plurality of workers. The system configuration that realizes this is based on the following recognition of the current situation.
[0030]
(1) The total time required for writing program audio is assumed to be four times the program time.
[0031]
(2) Assume that the calculation time of automatic synchronization and other total processing time are four times the program time.
[0032]
As described above, assuming the writing time and automatic synchronization processing time based on the current situation, in order to complete these work within the program time, 1/8 time, that is, distributed work divided into 8 is necessary. It becomes. For this purpose, eight writing / editing terminals (client machines) are required.
[0033]
On the other hand, since previewing / correcting a subtitle program usually takes 1.5 to 2 times the actual program time, the subtitle preview / correction terminal must be able to handle the full operation of eight types of transcription / editing terminals. Two sets are required.
[0034]
Further, it is configured to include at least one host server for network configuration, sharing of program video, audio, project information, project management optimized for distributed work, system overall control, and the like. The network is transmitted by a LAN such as the Internet or an intranet.
[0035]
<Description of Embodiment>
Embodiment 1
FIG. 1 is a block diagram showing an embodiment of a distributed subtitle program production system according to the present invention.
[0036]
As shown in the figure, this distributed subtitle program production system includes a project management terminal 10, a writing / editing terminal 40 connected to the project management terminal 10 via the Internet 20 or LAN 30, a project management terminal 10, It is composed of two connected subtitle preview / correction terminals 50A and 50B.
[0037]
The project management terminal 10 includes a plurality of VTRs 12 that reproduce the program tape 11, and a material encoding machine 13 that edits data for writing each TV program data reproduced by each VTR 12 to the writing / editing terminal 20. And a project management server 14 which is a subtitle creation management server.
[0038]
As shown in FIG. 2, the project management server 14 includes a worker database 15 in which feature data relating to a writing worker is accumulated, an edit management unit 16, and a transmission / reception unit 17.
[0039]
The worker database 15 stores in advance data specifying the worker, such as the name, address (region), workable time zone, work capability, equipment performance, network environment, and the like of the worker engaged in the creation of captions. Here, in the “working ability” item, the ability of the operator to write captions is ranked and stored. In the item “equipment performance”, the performance of equipment such as a personal computer used by the worker is ranked and stored. In addition, the “network environment” item stores data such as whether the operator's network environment, for example, an environment in which a dedicated LAN can be used, an environment in which the Internet is used, or an environment in which high-speed optical cables can be used in the Internet. Has been.
[0040]
The editing management unit 16 obtains the working time and the number of workers for each worker who creates caption text based on the actual time of the program material to be captioned and the creation completion time of the caption data. Equal operation means, material dividing means for dividing the program material based on the obtained work time and the number of workers, and supplying the divided program material to each worker, while based on the supplied program material Editing means for receiving completed subtitle data and creating integrated subtitle data. The worker database 15 is referred to, the optimum worker corresponding to the skill is selected, and the working time of each worker is obtained.
[0041]
In the present embodiment, the writing / editing terminal 40 includes eight client machines 41A to 41H. Each of the client machines 41A to 41H is connected to the project management server 14 via the Internet 20 or the LAN 30, and the divided program material is supplied via the Internet 20 or the LAN 30, and the subtitle text is supplied to the program data. Timing is assigned to the created subtitle text and the completed subtitle data is transmitted to the project management server 14.
[0042]
The caption preview / correction terminals 50A and 50B include caption preview / correction terminal apparatuses 51A and 51B with client machine caption signal superimposing devices, character broadcast tuners 52A and 52B, and monitor apparatuses 53A and 53B, respectively.
[0043]
FIG. 3A shows a processing procedure in the project management server 14, and FIG. 3B shows a processing procedure in each writing / editing terminal 40.
[0044]
When the editing management unit 16 of the project management server 14 receives the request for the production of the caption program, the editing management section 16 per person who creates the caption data based on the actual time of the target program material and the creation completion time of the caption data. The work time and the number of workers are obtained, and the program material is divided based on the obtained work time and the number of workers. At that time, when considering the skill of the worker, the worker is selected with reference to the worker database (step S1). The divided program material is supplied to the writing / editing terminal 40 of each worker via the transmission / reception unit 17, the Internet 20, or the LAN 30 (step S2). When the distribution of the program material to each worker is completed, the project management server 16 monitors whether or not the completed caption material data is transmitted from each writing / editing terminal 40, and the caption data is received. Then (step S3), it transmits to the caption preview / correction terminals 50A and 50B (step S4).
[0045]
On the other hand, when the program data is distributed from the project management server 14 (step S11), each worker starts writing by using his / her client machine (step S12). When the writing work is finished and the subtitle text is created, the synchronous editing work for adding timing to the subtitle text is started (steps S13 and S14). Thus, when timing is given to the subtitle text and the subtitle data is created (step S15), it is transmitted from each client machine to the project management server 14 via the Internet 20 or the LAN 30 (step S16).
[0046]
Next, the operation of the first embodiment will be specifically described.
[0047]
In the first embodiment, it is aimed to create caption data within “real time” of a target program by “distributed work by a plurality of workers” for “a program requiring urgent action”. However, in the first embodiment, it is assumed that the worker's work ability and work environment are the same. The system configuration in this case is shown in FIG.
[0048]
As an example, in order to complete subtitle program data by writing program audio within the actual program time, executing automatic synchronization calculation, and other processes within the actual program time, as described above, 1/8 of the time, that is, the distributed work divided into eight is required. For this reason, the target program is divided into 8 sections of 7.5 minutes each. The writing of each divided program is completed in 30 minutes, four times the divided program. The automatic synchronization calculation of the transcription text of each divided program is completed in 30 minutes, which is four times the divided program time.
[0049]
Then, the subtitle program data that can be previewed in almost the real time of the program is completed by sequentially editing and synthesizing each transcription text that has been automatically line-breaked / paged and given timing.
[0050]
As shown in FIG. 6, since previewing / correcting a subtitle program usually takes 1.5 to 2 times the actual program time, subtitles are assumed assuming that the writing / editing terminal is fully operational. A minimum of two preview / modification terminals are required.
[0051]
Next, with reference to FIG. 4, how to proceed with the sharing work will be described. In the example of FIG. 4, it is assumed that three types of one-hour programs (programs A, B, and C) are shared by eight workers in parallel. In this case, the skills of the respective workers are the same, and each worker shares the one-hour program by 7.5 minutes. That is, the eight client machines 41A to 41H, which are terminals, each execute a program writing operation for 7.5 minutes. In the figure, the solid line indicates the program time, the thin broken line indicates the writing work time, the thick broken line indicates the work time for synchronous calculation, etc., and the one-dot chain line wave preview / correction time. As shown in the figure, the time required for writing is 30 minutes, and after the writing is finished, automatic synchronization calculation is performed to give each divided program a timing of 30 minutes (7.5 × 4). Etc. are executed.
[0052]
When the subtitle data of each divided program is created in one hour, which is the actual time of program A, the preview / correction operation by subtitle preview / correction terminal 50A is then performed on the subtitle data of program B. In parallel with this work, a writing work for the divided program of program B is executed. When the subtitle data of each divided program is created in one hour which is the actual time of the program B, the subtitle preview / correction terminal 50B performs a preview / correction operation on the subtitle data of the program B. In this way, the writing work up to the program C to the preview / correction work can be completed almost at the actual program time + the preview / correction time of the program C.
[0053]
<< Embodiment 2 >>
In the first embodiment, the work is divided equally and the subtitle data is created for “especially urgent programs” without considering the difference in the skill of the worker. Considering the case where there is a difference in skills, the program time to be shared is made to have a difference.
[0054]
For this reason, the work capability data, the equipment performance data, and the network environment data for each worker stored in the worker database 15 are taken into consideration, and the optimum allocation in the current situation is performed.
[0055]
FIG. 5 shows an example of the caption data production work time in which the program time to be shared in consideration of only the writing worker's writing skills is taken into consideration.
[0056]
The terminals 41A to 41F of the writing operators are assumed to be persons with standard writing skills, the terminal 41G is assumed to be a person with high writing skills, and the terminal 41H is assumed to be a person with writing skills and low skills. As shown in the figure, the operator of the terminal 41G shares the writing operation of the longest program, and the operator of the terminal 41H divides the writing operation of the shortest program, so that the synchronization calculation etc. The time when the caption data is completed and the caption data is completed is set to be almost the same time at each terminal.
[0057]
When the writing work is completed as described above and subtitle text is created, and timing is given to the subtitle text and the subtitle data is completed, the terminals 41A to 41H pass through the project management server 14. Then, it is transferred to the subtitle preview / correction terminal 50A to execute preview / correction work.
[0058]
As described above, according to the second embodiment, since the sharing amount is adjusted according to the skill of the worker, more efficient work sharing can be performed.
[0059]
<< Embodiment 3 >>
FIG. 7 shows the configuration of the third embodiment of the present invention. The third embodiment is aimed at completing subtitle data within “four times the actual time of the target program” for a “program requiring urgent” by distributed work by a plurality of workers.
[0060]
In other words, in order to write within four times the actual program time and complete each timing assignment operation, it is necessary to perform a ½ time, that is, distributed operation in which the program is divided into two. For this reason, the transcription / editing terminal corresponds to one program in two sets. Each transcription / editing terminal 40A, 40B is configured to include four client machines 41A-41D, 41E-41H. The transcription / editing terminals 40A and 40B correspond one-to-one to the caption preview / correction terminals 50A and 50B.
[0061]
In the third embodiment, first, the target program is divided into two portions of 30 minutes, and is supplied to the writing / correcting terminals 41A and 41B. The writing of each divided program is completed in 120 minutes, which is four times the divided program time. Calculation of automatic synchronization of each divided program that has been written is completed in about 120 minutes, which is four times the divided program time. Subtitle data that can be previewed in approximately four times the actual program time can be completed by sequentially synthesizing each transcription text data with automatic line feed / page break and timing. In the third embodiment, four programs can be simultaneously handled.
[0062]
<< Embodiment 4 >>
FIG. 8 shows Embodiment 4 of the present invention. The fourth embodiment is an example in which a “normal program” is written / edited, and the writing / editing terminal corresponds to one set each. As described above, 4 times the program time is required for each of the operations such as synchronous calculation for writing and timing, and subtitles are added at 8 times the actual time of the target program. . According to this system, although the work time for one program becomes longer, it is possible to simultaneously work on eight programs.
[0063]
【The invention's effect】
As described above, according to the present invention, it is possible to efficiently create subtitles by distributing and collaborating subtitle creation work while considering the work ability of the operator, and it is possible to provide subtitles within the real time of the target program It becomes.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of a distributed caption program production system according to the present invention.
FIG. 2 is a block diagram showing an embodiment of a project management server which is a subtitle creation management server according to the present invention.
FIG. 3 is a flowchart showing an example of a processing procedure of the distributed caption program production system according to the present invention.
FIG. 4 is an explanatory diagram showing a flow of processing in a case where workers are assigned work equally.
FIG. 5 is an explanatory diagram showing a flow of processing when work sharing is performed according to the skill of an operator.
FIG. 6 is a block diagram showing another embodiment of a distributed caption program production system according to the present invention.
FIG. 7 is a block diagram showing still another embodiment of a distributed caption program production system according to the present invention.
FIG. 8 is a block diagram showing still another embodiment of a distributed caption program production system according to the present invention.
[Explanation of symbols]
10 Project management terminal 11 Program tape 12 VTR
13 Material Encoding Machine 14 Project Management Server 15 Worker Database 16 Editing Management Unit 17 Transmission / Reception Unit 20 Internet 30 LAN
40, 40A, 40B Transcription / editing terminals 41A-41H Client machines 50A, 50B Subtitle preview / correction terminals 51A, 51B Subtitle preview / correction terminal devices 52A, 52B with client machine caption signal superimposing device Character broadcast tuners 53A, 53B Monitor

Claims (3)

字幕を作成する作業者の作業能力、作業者が所持する字幕作成用機材の性能、および作業者のネットワーク状況に関する情報を作業者を特定するデータとして作業者毎に保存した作業者データベースと、
この作業者データベースに保存された前記作業者を特定するデータと、字幕作成対象となる番組素材の実時間と字幕データの作成完了時間とに基づいて、字幕用テキストを作成する作業者一人当たりの作業時間と作業者数とを求める作業時間等演算手段と、
求められた作業時間、作業者数に基づいて前記番組素材を分割する素材分割手段と、
分割された番組素材を各作業者に供給する一方、供給された番組素材に基づいて完成された字幕データを受け取って統合された字幕データを作成する編集手段と、
を備えたことを特徴とする字幕作成用管理サーバ。
A worker database that stores information on the work ability of the worker who creates captions, the performance of the equipment for creating captions owned by the worker, and the network status of the worker for each worker as data for identifying the worker;
And data identifying the operator stored in the operator database, real-time and program material to be subtitling target, on the basis of the creation completion time of the caption data, the operator per person creating the subtitle text Working time and other means for obtaining the working time and the number of workers,
Material dividing means for dividing the program material based on the obtained work time and the number of workers;
Editing means for supplying the divided program material to each worker, receiving subtitle data completed based on the supplied program material, and creating integrated subtitle data;
A subtitle creation management server characterized by comprising:
請求項1に記載の字幕作成用管理サーバにおいて、
前記作業時間等演算手段は、番組音声を書起して字幕用テキストを作成するのに要する延べ時間は番組時間の4倍必要とし、作成された字幕用テキストにタイミングを付与するための自動同期の計算時間及びその他の延べ処理時間は番組時間の4倍必要とするという現状知見に基づき、これらの作業を番組時間内で完了させるために、作業者一人あたりの作業時間を求める、
ことを特徴とする字幕作成用管理サーバ。
In the subtitle creation management server according to claim 1,
The operation time calculation means requires four times as long as the program time to write the program audio and create the subtitle text, and automatically synchronizes the generated subtitle text with timing. Based on the current knowledge that the calculation time and other total processing time are required to be four times the program time, the work time per worker is obtained in order to complete these work within the program time.
A management server for creating captions.
請求項1または2に記載の字幕作成用管理サーバと、
この字幕作成用管理サーバとネットワークを介して接続され、分割された番組素材を前記ネットワークを介して供給されると共に、番組素材に対して字幕用テキストの作成および作成された字幕用テキストにタイミングを付与して、完成された字幕データを前記字幕作成用管理サーバに送信する作業者用端末と、
を備えたことを特徴とする分散型字幕番組制作システム。
A management server for creating captions according to claim 1 or 2 ,
The subtitle creation management server is connected via a network, and the divided program material is supplied via the network, and the subtitle text is created for the program material, and the generated subtitle text is timed. And a terminal for a worker that transmits the completed caption data to the caption creation management server,
Distributed subtitle program production system characterized by having
JP2003133639A 2003-05-12 2003-05-12 Subtitle creation management server and distributed caption program production system Expired - Fee Related JP4253762B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003133639A JP4253762B2 (en) 2003-05-12 2003-05-12 Subtitle creation management server and distributed caption program production system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003133639A JP4253762B2 (en) 2003-05-12 2003-05-12 Subtitle creation management server and distributed caption program production system

Publications (2)

Publication Number Publication Date
JP2004336668A JP2004336668A (en) 2004-11-25
JP4253762B2 true JP4253762B2 (en) 2009-04-15

Family

ID=33508112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003133639A Expired - Fee Related JP4253762B2 (en) 2003-05-12 2003-05-12 Subtitle creation management server and distributed caption program production system

Country Status (1)

Country Link
JP (1) JP4253762B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6285238B2 (en) * 2014-03-26 2018-02-28 Necソリューションイノベータ株式会社 Work change support server, work change support method and program, allocation time determination server, allocation time determination method and program
WO2017217612A1 (en) * 2016-06-17 2017-12-21 주식회사 사이 Method for creating and sharing subtitles of video content by using one-touch feature
JP6906801B2 (en) * 2018-09-21 2021-07-21 西都速記株式会社 Information processing system, information processing method, and information processing program
CN113329192A (en) * 2021-06-29 2021-08-31 北京烫手科技有限公司 Intelligent movie subtitle making method and system

Also Published As

Publication number Publication date
JP2004336668A (en) 2004-11-25

Similar Documents

Publication Publication Date Title
US7330875B1 (en) System and method for recording a presentation for on-demand viewing over a computer network
US20020091658A1 (en) Multimedia electronic education system and method
EP2061032A1 (en) Full news integration and automation for a real time video production system and method
GB2312081A (en) Text-based video editing system
US20060242676A1 (en) Live streaming broadcast method, live streaming broadcast device, live streaming broadcast system, program, recording medium, broadcast method, and broadcast device
JP4278189B2 (en) Digital multimedia editing and data management system
JP2007221247A (en) Image processing unit, and method of adding timecode
US20060269220A1 (en) Reproducing system, reproducing apparatus, receiving and reproducing apparatus, and reproducing method
US7831916B2 (en) Method, system, and program for creating, recording, and distributing digital stream contents
JP4253762B2 (en) Subtitle creation management server and distributed caption program production system
JP3325239B2 (en) Caption material creation system, caption material creation method and recording medium storing caption material creation program
US8307284B2 (en) Method and system for automated control of audio and video sources and a final composite output thereof through a video switcher
JP2000032403A (en) Data transmission method, data transmitter and receiver thereof
JP4129162B2 (en) Content creation demonstration system and content creation demonstration method
Wu et al. Internet MBone broadcast management system
JPH1051734A (en) Dynamic image compiling device/method
CA3079444C (en) Systems and methods for processing image data to coincide in a point of time with audio data
JPH0443779A (en) Production of editing video
JP4600891B2 (en) AV apparatus and broadcast recording method in AV apparatus
JP4172525B2 (en) Editing apparatus and editing method
JP2007317352A (en) Editing device and editing method
JP2007088915A (en) Dynamic image editor
JP2010239400A (en) Sending out server, video server, video server system, material management method and material management program
JP2001359060A (en) Data broadcast service transmitter, data broadcast service receiver, data broadcast service transmission method, data broadcast service reception method, data broadcast service production aid system, index information generator and digital broadcast reception system
JP3741215B2 (en) Movie editing method, movie editing system, information processing apparatus

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040903

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060420

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees