JP4238662B2 - Presentation support device and presentation support method - Google Patents

Presentation support device and presentation support method Download PDF

Info

Publication number
JP4238662B2
JP4238662B2 JP2003201642A JP2003201642A JP4238662B2 JP 4238662 B2 JP4238662 B2 JP 4238662B2 JP 2003201642 A JP2003201642 A JP 2003201642A JP 2003201642 A JP2003201642 A JP 2003201642A JP 4238662 B2 JP4238662 B2 JP 4238662B2
Authority
JP
Japan
Prior art keywords
document
image
document image
audience
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003201642A
Other languages
Japanese (ja)
Other versions
JP2005045434A (en
Inventor
豊 江川
理敏 鈴木
晋也 田口
英介 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2003201642A priority Critical patent/JP4238662B2/en
Publication of JP2005045434A publication Critical patent/JP2005045434A/en
Application granted granted Critical
Publication of JP4238662B2 publication Critical patent/JP4238662B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、聴衆に対して資料画像を表示出力して行うプレゼンテーションを支援する技術に関し、特に、複数の資料画像の内から所望の資料画像を容易に検索することを可能にする技術に関する。
【0002】
【従来の技術】
パーソナルコンピュータやモバイル端末などの閲覧クライアントに対して種々なコンテンツを配信するサービスが、特定領域或いは広域のサービスとして広く実施されている。
このようなコンテンツ配信を行うシステムには種々な態様があるが、ネットワーク通信技術の発達により、ビデオデータを含むコンテンツデータも配信されている。
【0003】
コンテンツ配信システムの概要は、配信サーバに種々なコンテンツデータを登録しておき、閲覧クライアントが配信サーバにアクセスして所望のコンテンツを選択して要求すると、これに応えて、配信サーバが該当するコンテンツデータを閲覧クライアントに提供すると言うものである。
【0004】
このようなシステムは、会議、講演、説明会、プレゼンテーション等といったように資料画像を聴衆に提示して行う会議、講演、説明会等(本発明では、これらをプレゼンテーションと称する)を収録したビデオデータをコンテンツとして配信するものがあり、例えば教育目的として活用される。
【0005】
【発明が解決しようとする課題】
プレゼンテーションは、プレゼンテータ又はその助手がオペレータとなって多くの資料画像を切り換えて、これら資料画像を聴衆に対して提示しながら進められる。これら資料を画像データとして用意している場合には、オペレータの手元に置かれるコンピュータ(プレゼンテーション支援装置)の画面に使用する資料画像のタイトル一覧や縮小画像一覧が表示され、オペレータがこれら一覧から所望のものを選択して資料画像をスクリーンに表示する等して聴衆に提示する。
【0006】
これら資料画像データは予め用いようとする順序で一覧表示するのが一般的であり、オペレータはプレゼンテーションの進行に従って一覧中から順次資料画像を選択して表示切換を行う。
しかしながら、プレゼンテーションは予定通りの段取りで進行しない場合もあり、このような場合には、使用する資料画像の順序も予定外となってしまう。また、一通りのプレゼンテーションが終了して、聴衆との質疑応答を行う場合には、必要な資料画像を遡って表示する必要も生ずる。すなわち、一覧の中から必要な資料画像を迅速に探し出して表示させることが求められる。
【0007】
このような必要性に対して、準備した資料画像が、数枚程度の比較的枚数が少ない場合には必要な資料画像を探し出すことは比較的容易であるが、数十枚にも及ぶ資料画像を用意して使用する場合も稀ではなく、このような多数の資料画像の内から必要なものを一覧表示から迅速に探し出すことは困難であった。特に、資料画像を縮小画像として一覧表示する場合には、単にタイトル一覧で表示する場合に較べて、各縮小画像が画面上で比較的大きな面積を占めることとなるため、全ての縮小画像を同一な画面上に一覧表示することができず(すなわち、複数ページに分割されてしまう)、このような一覧表示態様では、一覧表示を全て見るためにはオペレータが画面を捲らなければならない場合もあり、必要な資料画像を探し出す作業は極めて煩雑であった。
【0008】
本発明は、上記従来の事情に鑑みなされたもので、プレゼンテーションの場において、オペレータが必要な資料画像を迅速に探し出せ、これによってプレゼンテーションの進行を円滑化させることを目的とする。
なお、本発明の更なる目的は、以下に説明するところにより明らかである。
【0009】
【課題を解決するための手段】
本発明では、プレゼンテーション支援装置が、入力手段で複数種類の資料画像データを収めた資料ファイルを入力し、表示手段でその画面に資料ファイル中の聴衆に対して表示出力される資料画像を表示するとともに残余の資料画像をサムネイル一覧で表示し、検索手段でオペレータから入力された検索条件に合致する資料画像をサムネイル一覧から検索する処理を行い、聴衆に対して資料画像を表示出力して行うプレゼンテーションを支援する。
【0010】
このような処理を行うプレゼンテーション支援装置は、コンピュータでプレゼンテーション支援プログラムを実行することにより構成することができる。
なお、プレゼンテーション支援装置は、サムネイル画像に対するオペレータの選択入力を受け付ける操作入力手段を備え、当該サムネイル選択入力された資料画像を聴衆に対して表示出力する画像に切り換えるようにするのが好ましい。
【0011】
【発明の実施の形態】
本発明を実施例に基づいて具体的に説明する。
以下の説明では、まず、ビデオデータと少なくとも資料画像データ及び矢印等の付加画像データとを含むコンテンツをユーザに配信するシステムについて説明し、次に、このようなコンテンツを作成するシステムについて説明する。
【0012】
図1に示すように、本例のコンテンツ配信システムは、インターネットNを介して接続される配信サーバ1、閲覧クライアント2、登録クライアント3を備えて構成される。
これら配信サーバ1及び登録クライアント3はそれぞれコンピュータハードウエアによりプログラムを実行することにより所定の処理を行うように構成されており、閲覧クライアント2はユーザがコンテンツ閲覧をするためのブラウザ機能を有したパーソナルコンピュータにより構成されている。
なお、本例の登録クライアント3は、後述するように、配信サーバ1に配信用として登録するためにコンテンツの編集処理手段(編集装置)を兼ねている。
【0013】
配信サーバ1は、ビデオデータと、当該ビデオデータに対応付けた資料画像データ、当該資料画像データに対応付けた付加画像データ(矢印画像やアニメーション画像等)、コンテンツタイトル等コンテンツレコード(メタデータ)を各コンテンツ毎のデータとして記憶保持しており、閲覧クライアント2からの要求に応じて該当するコンテンツデータを配信提供する。
なお、本例のコンテンツ作成システムでは、後述するように、配信サーバ1が配信するためのコンテンツをアーカイブファイルとして作成する処理を行う。
【0014】
図2に示すように、ビデオデータ5は配信用のストリーム形式に変換された動画像データであり、資料画像データ6(A〜K)は、配信登録前の前処理によってオペレータがビデオを見ながら設定操作してビデオデータ5に対応付けた資料の画像データ、或いは、講演者がスクリーンに表示する等した資料を用いながら行ったプレゼンテーションや講義などの光景を撮影したビデオデータに対してその使用時間位置で対応付けた資料の画像データであり、静止画データ又は動画データである。
資料画像データ6は資料が用いられたビデオ中の時間位置(すなわち、使用開始タイミングと使用した時間幅)に対応付けられ、閲覧ユーザに対してビデオ画像に同期して該当する資料画像を提供するものである。
【0015】
上記のコンテンツデータはブラウザを使用する閲覧クライアント2からの要求に応答して配信クライアント1が配信処理を行い、要求元の閲覧クライアント2に提供されてその表示装置に画面表示される。
【0016】
配信サーバ1から配信されたコンテンツデータは、閲覧クライアント2で図3に示すようなコンテンツ閲覧画面として表示される。
このコンテンツ閲覧画面は、画像を表示するビデオ画面10及び再生や停止などの操作ボタンが配置されたビデオ操作部11を有したビデオプレイヤ部12と、コマ送り操作ボタンが配置された操作部13を有した画像表示部14、コンテンツデータに関するプログラム記述などを表示するノート表示画面部15を含んでいる。
したがって、閲覧ユーザがポインティング入力で操作することにより、ビデオ画面10にコンテンツのビデオ画像を再生させ、画像表示部14に当該ビデオに同期して(すなわち、後述する対応付け位置で自動切換えして)対応付けられている資料画像を表示させることができる。
【0017】
次に、コンテンツデータの配置登録について説明する。
図4に示すように、配信サーバ1には配信用として配置登録した各コンテンツのレコードを記憶管理するデータベース20と、各コンテンツの実体データを格納する複数の配置先セット記憶部21が設けられている。
データベース20は各コンテンツデータのメタデータ、配置先ファイルパス、配置先URLなどを含むコンテンツ用レコード22と共に当該コンテンツデータが配置登録されている配置先セットを特定する番号23を記憶管理しており、当該データベース20を参照することにより、配信先セットに各コンテンツを配置登録し、また、閲覧クライアント2から要求された該当するコンテンツデータを配信することができる。
【0018】
配置先セット21はそれぞれが1又は複数のコンテンツデータを格納する記憶領域であり、これら配置先セット21の集合として配信サーバ1のコンテンツデータ記憶領域が構成されている。
図示の例では、各配置先セット21には、ビデオデータを格納するビデオデータフォルダや資料画像データを格納するための画像データフォルダが設けられており、同じコンテンツのデータは同じ配置先セット21となるように、これらフォルダ内に各コンテンツの対応するデータが登録格納される。
【0019】
各配置先セット21へのコンテンツデータの配置登録は、オペレータ操作に従って登録クライアント3によって行われる。
登録クライアント(後述する、編集手段)3は、ビデオデータと、少なくともビデオデータに対応付けられている資料画像データ及び付加画像データとを含むアーカイブファイル25を作成し、当該アーカイブファイルとして纏めてコンテンツを配信サーバ1に登録する。
【0020】
このようにして配信サーバ1に登録配置されたコンテンツデータは、閲覧クライアント2からの要求に応じてデータベース20を参照することにより配信サーバ1から提供される。
すなわち、閲覧クライアント2が配信サーバ1に対してコンテンツを指定する情報を含む要求を送信すると、配信サーバ1はコンテンツレコード22を参照して当該コンテンツデータを配置した配置先セット番号を割り出し、該当するコンテンツを閲覧クライアント2へ提供する処理を行う。
【0021】
次に、上記のようなコンテンツ配信の前処理としてコンテンツアーカイブファイルを作成する処理、更にその前処理としてのコンテンツを成すビデオデータを収録する処理、更にその前処理としてのビデオ収録されるプレゼンテーションに使用する資料画像データファイルの作成及び出力処理を説明する。
なお、本発明の説明では、会議、講演、授業、説明会等といったように、資料を聴衆に提示しながら発表を行う行為を総称してプレゼンテーションと言っている。
図5には、これらの処理を行うための本例に係るシステムの全体構成を示してある。
【0022】
アーカーブファイル25に収められて配信サーバ1に登録されるコンテンツは、プレゼンテータPがプロジェクタJでスクリーンSに資料画像30を切換表示しながら行ったプレゼンテーションをビデオカメラVで収録したビデオデータ31と、これら資料画像30のデータを含んでいる。なお、本例のコンテンツには、後述するように、資料画像30に対して付加して表示する矢印やアニメーション等の付加画像データも含まれる。
このようなプレゼンテーションでは、プレゼンテータPの操作用としてプレゼンテーション支援装置40が当該プレゼンテータPの手元に設置される。
【0023】
プレゼンテーションで使用される複数の資料画像データ30は、予めファイル作成装置50によって1つの資料ファイル61に纏められてファイル保持装置60に保持されており、プレゼンテータPがプレゼンテーション支援装置40から入力する切換指示に応じて、資料ファイル61に収められている資料画像データ30を予め設定された順序に従って読み出して、ビューア70による表示制御処理を経てプロジェクタJからスクリーンSに投影表示する。
【0024】
また、収録されたビデオデータ31、当該プレゼンテーションで使用される資料画像データ30(すなわち、資料ファイル61)、当該プレゼンテーションでプレゼンテーション支援装置40から出力される切換指示信号は、対応付け装置80に逐一入力され、実際のプレゼンテーションにおける使用タイミングで資料画像データ30がビデオデータ31に対応付けされる。
この対応付けされた資料ファイル62とビデオデータ31(なお、本例では、更に付加画像データ)は、配信サーバ1に登録するコンテンツ素材としてデータ保持装置90に保持され、これらコンテンツ素材が編集装置100によって必要な編集を施されて、配信登録用のアーカイブファイル25に纏められる。
【0025】
図6には、資料画像ファイル61の作成及び資料画像30の表示に係るファイル作成装置50、ファイル保持装置60、ビューア70の構成を示してある。
ファイル作成装置50は、資料画像データを入力する入力手段51と、入力される際にオペレータにより指定された順序情報を各資料画像データに付加する順序付け手段52、入力された資料画像データを資料ファイル61に纏めるファイル化手段53、資料ファイル61をファイル保持装置60に出力する出力手段54を有している。
すなわち、ファイル作成装置50は、入力手段51が資料画像データを入力し、ファイル化手段53が入力された複数の資料画像データを資料ファイル61に纏める処理を、下記のビューア70による処理に先立って行う。
【0026】
資料画像データには、静止画像や動画像、更にはデータ形式の制限は特になく、これら種別に関わりなく複数の資料画像データをファイル作成装置50に入力して資料ファイル61とすることができる。
図7に示すように、資料ファイル61に収められる各資料画像データ30は、資料画像を成す実データに加えて、資料ID、種別情報、上記オペレータにより指定された順序情報(デフォルト)、オペレータにより付加されたタイトルや重要語等のキーワード等のデータを含んでいる。
【0027】
ここで、各資料画像に重ね表示する矢印等の付加画像データ33も資料画像データ30とともにファイル作成装置50に入力されて、資料ファイルの一部又は付属とされる。
付加画像データ33とビデオデータ30とは、後述するように、予め対応付けがなされており、この対応付けに基づいて、資料画像30の表示に伴って付加画像33が同期表示される。
【0028】
ビューア70は、ファイル保持装置60から資料ファイル61を入力する入力手段71、 プレゼンテーション支援装置40からの表示資料画像の切換指示を入力する指示入力手段72、切換指示に応じて資料ファイル61から順次読み出す資料画像データ30のデータ種別をその種別情報から判定する種別判定手段73、資料画像データをプロジェクタJが表示出力可能な統一的な形式に変換する各種のプレイヤモジュールを保持したプレイヤファイル74、資料ファイル61から読み出した資料画像データ30をそのデータ種別に対応したプレイヤモジュールを起動してプロジェクタJが表示出力可能な形式に変換する出力制御手段75、投影用に形式変換された資料画像データ30をプロジェクタJに出力する出力手段76を有している。
【0029】
このビューア70は、指示入力手段72が表示資料を切り換えるオペレータ指示を受け付け、種別判定手段73が切換指示に応じて複数種類の資料画像データ30を収めた資料ファイル61から次に読み出して表示する資料画像データの種別を判定し、出力制御手段75がデータ種別に応じて用意されたプレイヤファイル74から判定された種別に対応するプレイヤを選択起動して資料画像データ30をプロジェクタJに出力する処理を行う。
【0030】
上記の切換指示に応じた資料ファイル61からの資料画像データ30の読み出し(すなわち、スクリーンSへの資料の表示)は、各資料画像データ30に初期的に設定されている順序情報(デフォルト)に従ってなされる。したがって、プレゼンテータが切換指示をするタイミングで、順序情報(デフォルト)に従った順序で資料ファイル61内に収められた資料画像が順次切り換えられてスクリーンSに表示される。
そして、このような資料画像データ30は、そのデータ形式に関わりなく資料ファイル61に収めれば、プレゼンテーション資料として使用することができ、資料の準備作業を極めて容易に行うことができる。
【0031】
なお、ファイル作成装置50、ファイル保持装置60、ビューア70はそれぞれ別個の装置として構成しても、これら装置機能を一体化した単一の装置として構成してもよく、いずれの装置構成においても、例えば、コンピュータに上記機能を実現するプログラムを実行させることにより構成することができる。
【0032】
ここで、資料画像データ30としての動画像データを作成する方法の一例を説明する。
図8には、コンピュータを操作してその表示画面に表示される画像を例えば毎秒10こまといったように記録して、これら静止画像を連続させた動画像データを作成する装置を示してある。
本装置は、コンピュータに所定のプログラムを実行させることにより構成され、上記ファイル作成装置50、ファイル保持装置60、ビューア70と一体的な装置として構成してもよい。
【0033】
本装置は、オペレータの操作入力を受け付ける入力手段120、操作入力に応じた画像データを画像メモリ121に作成する表示制御手段122、画像メモリ121も画像データを読み出して当該画像を表示画面123に表示出力する読出手段124、画像メモリ121から読み出されて表示される画像データを所定の周期で取得して動画像データを作成する動画化手段125、作成された動画像データを資料画像として保持する資料データメモリ126を有しており、この資料データメモリ126に保持された動画像データが資料画像データとしてファイル作成装置50に入力される。
【0034】
このような動画像の資料データは、例えばパーソナルコンピュータの使用方法説明会の資料として活用することができる。
図9には、その一例として電子メールの作成から送信に係る操作方法を説明する表示画面123の画像を示してある。
【0035】
同図(a)に示すように電子メール書式が画面表示された状態から、オペレータが入力手段120から操作して、同図(b)〜(e)に順次示すように、宛先欄に宛先アドレス(xxx@xxx.co.jp)を記述し、次に、タイトル欄にタイトル(質問)を記述し、次に、本文欄に本文内容を記述し、その後に、画面上の送信ボタン127をマウスカーソル128でクリックするという一連の操作を行うと、この一連も操作画面の画像が動画化手段125により動画データ化されて、電子メールの作成から送信に係る操作方法を説明するための動画像による資料画像データ30が作成される。
したがって、動画像の資料画像を極めて容易に作成することができ、プレゼンテーションによる説明効果を高めることができる。
【0036】
図10には、プレゼンテータPが操作するプレゼンテーション支援装置40の構成を示してある。
プレゼンテーション支援装置40は、ファイル保持装置60に保持された資料ファイル61をビューア70を介して入力する資料ファイル入力手段41、資料ファイル61中の各資料画像データ30を縮小してサムネイル画像化するサムネイル化手段42、資料ファイル61中のスクリーンSで聴衆に対して表示出力される資料画像を表示する領域44と残余の資料画像をサムネイル一覧で表示する領域45とを画面上に有する表示手段43、プレゼンテータPからの操作入力を受け付ける操作入力手段46、プレゼンテータPから入力された検索条件に合致する資料画像をサムネイル一覧45から検索する検索手段47を有している。
【0037】
上記ビューア70は資料ファイル61に収められている全ての資料画像データをプロジェクタ表示可能に変換してプレゼンテーション支援装置40に提供しており、図11に示すように、表示手段43は順序情報(デフォルト)に従ってスクリーン表示される最初の資料画像を画面43の領域44に表示してプレゼンテータPに提示し、残余の資料画像をサムネイル画像として領域45に一覧表示する。
そして、画面43上にはスクリーン表示する資料画像を前へ戻すための「戻る」ボタン48aとスクリーン表示する資料画像を次の順序のものに切り換えるための「進む」ボタン48bとが設けられており、プレゼンテータPが操作入力手段46からこれらボタンを押下することにより、スクリーン表示する資料画像を順次切り換えることができる。
【0038】
なお、領域45に一覧表示される資料画像はサムネイル形式であるので、これらサムネイル画像をプレゼンテータPが操作入力手段46から選択押下することにより切換信号を発して、選択した資料画像をスクリーン表示させることもできる。
このようなプレゼンテータPによる操作により、上記の資料画像の切換指示信号がビューア70に入力されてスクリーン表示が切り換えられ、また、対応付け装置80に入力されてビデオデータ31と各資料画像データとの時間位置関係の対応付け及び各資料画像データの順序情報の更新がなされる。
【0039】
そして、画面43上には検索条件を入力するための欄49aと検索処理を実行指示するための「検索」ボタン49bとが設けられており、プレゼンテータPが操作入力手段46から欄49aに検索条件を入力しボタン49bを押下することにより、検索手段47がサムネイル一覧45の中から条件に合致する資料画像を検索し、当該資料画像のサムネイルをハイライト表示する或いは当該資料画像を領域44に表示する等する。
この検索条件には、各資料画像データに設定されている順序情報、データ種別、キーワード等を用いることができ、例えば、何番目に用いた資料画像、動画の資料画像、或るタイトルの資料画像といったように、検索手段47により資料ファイル61内から条件に合致する資料画像を検索することができる。
【0040】
このプレゼンテーション支援装置40はコンピュータに所定のプログラムを実行させることにより構成される。
このプレゼンテーション支援装置40によると、プレゼンテータPは必要に応じて切換指示を入力するだけでスクリーン表示する資料画像を任意に切り換えることができるとともに、事後における聴衆からの質問等に応じて必要な資料画像を探す際でも、検索処理によって迅速に所望の資料画像を探し出すことができる。
【0041】
図12には、ビデオカメラVで収録されたプレゼンテーションのビデオデータ31と、そこで使用された資料画像データ30とを対応付ける対応付け装置80の構成を示してある。
対応付け装置80は、収録されたビデオデータを入力するビデオ入力手段81、プレゼンテーションで使用される資料画像データ(資料ファイル61)を入力する資料ファイル入力手段82、プレゼンテーションにおいてプレゼンテータPが行った資料画像の切換指示を入力する切換指示入力手段83、ビデオデータを基準とした時間軸に対して切換指示の入力タイミングを当該切り換えられる資料画像データの表示開始タイミングとして設定する対応付け手段84、対応付け処理により更新した資料ファイル62及びビデオデータ31をデータ保持装置90に出力する出力手段85を有している。
【0042】
上記のようにプレゼンテーションで使用する複数の資料画像データは予め使用する順序情報(デフォルト)が付与されて、原則的には、当該順序情報に従った順でスクリーン表示されて使用されるが、実際のプレゼンテーションでは、上記のプレゼンテータ操作によってスクリーン表示する資料画像の順序が変更されたり、或る資料画像を繰り返しスクリーン表示したりすることがなされるため、これをコンテンツデータで再現できるようにするために、対応付け手段84は、入力された切換指示に応じて実際に使用された順序に従って各資料画像データの順序情報(デフォルト)を順序情報(リアル)更新する。
なお、プレゼンテーション支援装置40から入力される切換指示には資料IDが含まれており、対応付け手段84はどの資料画像データが何時(タイミング)切り換えられたかを把握して対応付け処理を行う。
【0043】
また、プレゼンテーションで実際に使用される前の各資料画像データは図7に示すようにビデオデータ31との時間タイミングの対応付けがなされていないが、対応付け手段84は、切換指示の入力タイミングに基づいて、各画像データに対してその使用を開始タイミング(ビデオデータの時間軸における時刻)を付加する時間位置の対応付けを行う。
ここで、本例のプレゼンテーションではスクリーンSにいずれかの資料画像が常時表示されているため、各資料画像の開始タイミングを規定するだけで、ビデオデータ31に対する各資料画像データの時間位置が特定される。なお、開始タイミングと終了タイミングとの組、或いは、開始タイミングと使用時間幅との組み、といったような形式で時間位置対応を付けるようにしてもよい。
【0044】
この対応付け装置80によると、ビデオ入力手段81が収録されたビデオデータ31を入力し、資料ファイル入力手段82がプレゼンテーションで使用される資料画像データ30を入力し、切換指示入力手段83がプレゼンテーションにおいてプレゼンテータPが行った資料画像の切換指示を入力し、対応付け手段84が、これら入力に基づいて、ビデオデータ31を基準とした時間軸に対して、切換指示の入力タイミングを当該切り換えられる資料画像データの表示開始タイミングとして設定する対応付け処理を行い、更には、入力された切換指示に応じて実際に使用された順序に従って各資料画像データの順序情報を更新する処理を行って、この対応付け及び更新処理を施した資料ファイル及びビデオデータ31をデータ保持装置90に出力する処理がなされる。
【0045】
このような対応付け装置80による処理によって、収録されたビデオデータ31とそこで使用された資料画像データとが、実際のプレゼンテーションを再現する対応関係で関連付けられ、これらがアーカイブファイル25に纏められて配信サーバ1に登録されることとなる。
したがって、配信サーバ1から配信されたコンテンツを閲覧する閲覧クライアント2では、その画面上にプレゼンテーションの光景とそこで使用された資料とが、実際のプレゼンテーションを再現した状態で表示出力される。
【0046】
なお、対応付け装置80、データ保持手段90、編集装置100はそれぞれ別個の装置として構成しても、これら装置機能を一体化した単一の装置として構成してもよく、いずれの装置構成においても、例えば、コンピュータに必要な処理機能を実現するプログラムを実行させることにより構成することができる。また、一体構成する場合は、更にプレゼンテーション支援装置40、ファイル作成装置50、ファイル保持装置60、ビューア70をも含めた構成とすることもできる。
【0047】
上記のようにしてコンテンツとしてアーカイブファイル25に纏められるビデオデータ31、資料画像データ30、付加画像データ33は、それぞれ図14(a)(b)(c)に示すような構成となる。
ビデオデータ31は、ビデオ映像を成す実データの他に、自己のビデオID、ビデオの総時間情報を含んでいる。
資料画像データ30は、資料画像を成す実データの他に、自己の資料ID、対応付けられたビデオデータのビデオID、自己の表示開始タイミング、自己のデータ形式種別、実際の使用順序である順序情報(リアル)、検索に用いられるキーワード等を含んでいる。
付加画像データ33は、矢印画像やアニメーション画像等の付加画像を成す実データの他に、自己の付加画像ID、対応付けられた資料画像データの資料ID、自己の表示開始タイミング等を含んでいる。
【0048】
図15には、ビデオデータ31、資料画像データ30、付加画像データ33の関連付け関係の一例を示してある。
ビデオデータ31は時間幅Tの連続した動画像データであり、このビデオデータ31の時間軸に対して、時刻TAを開始タイミングとした資料画像A、時刻TBを開始タイミングとした資料画像B、時刻TCを開始タイミングとした資料画像C、時刻TDを開始タイミングとした資料画像Dが対応付けられ、更に、各資料画像30に対応して、時刻Taを開始タイミングとした矢印画像a、時刻Tbを開始タイミングとしたアニメーション画像b、時刻Tcを開始タイミングとした矢印画像c、時刻Tdを開始タイミングとした矢印画像dが対応付けられている。
【0049】
なお、資料画像30は開始タイミングから次の資料画像の開始タイミングまでスクリーン表示されているため、同図では資料画像データ30を或る時間幅を持ったデータのように表現されているが、これら表示間隔を示しているだけで、動画像でない静止画像の資料画像データはそれ自体で時間幅を有しているわけではない。
また、付加画像33についても同様であり、同図では表示間隔を示しているだけで、動画像でない静止画像の付加画像データはそれ自体で時間幅を有しているわけではない。
【0050】
このような資料画像30と付加画像33との対応付け関係により、資料画像の表示態様は時間経過によって図16に示すように変化する。
すなわち、同図(a)〜(d)にそれぞれ示すように、資料画像A、B、C、Dがそれぞれ表示されている状態で、付加画像の開始タイミングとなると、矢印画像a、アニメーション画像b、矢印画像c、矢印画像dがそれぞれの資料画像の設定位置に重ね表示される。
したがって、このような資料画像と付加画像との同期表示がプレゼンテーションにおいてなされ、そして、その時間関係を保持してコンテンツの再生において再現される。
【0051】
図17には、コンテンツ用に作成されたビデオデータ31を編集するためにオペレータが操作する編集装置100の構成を示してある。
編集装置100は、データ保持装置90からコンテンツ用データ(ビデオデータ31、資料画像データ30、付加画像データ33)を入力するデータ入力手段101、ビデオデータ31中の削除部分を指定するオペレータ入力を受け付ける入力手段102、削除指定されたビデオデータ部分31aに対応付けられている資料画像データ30及び当該資料画像に対応付けられている付加画像データ33の時間位置を判定する判定手段103、削除指定されたビデオデータ部分31aを削除して当該ビデオデータ31を再結合させるとともに当該削除部分31aに対応する資料画像データ30及び付加画像データ33の対応付け時間位置を削除部分31aに対応して更新する削除結合手段104、編集処理のためのオペレータインタフェースを画面表示する表示手段105、編集処理したコンテンツ用データをアーカイブファイル25として出力する出力手段106を有している。
【0052】
表示手段105は、図18に示すように、編集対象のビデオデータ31を再生表示するためのプレイヤ110、当該ビデオデータに対応付けられた資料画像データ及び当該資料画像データに対応付けられた付加画像データとの時間位置関係を視覚的に表す編集インタフェース111を含むオペレータインタフェースを画面表示し、当該編集インタフェース111に対する操作入力手段102からのオペレータ指示に基づいてビデオデータ31中の削除部分31aの指定入力を受け付ける。
【0053】
編集インタフェース111には、ビデオデータ31の時間幅を示す時間軸112、対応付けられている資料画像の時間位置を示す資料画像マーク(或いは、サムネイル)30a、対応付けられている付加画像の時間位置を示す付加画像マーク33aが表示され、オペレータが操作入力手段102のマウスをクリック或いはドッラグ操作等して、時間軸112上の削除しようとするビデオ部分を指定入力すると、ビデオデータの削除対象部分31aが表示され、カットボタン113をオペレータが操作入力手段102からの操作で押下すると、削除結合手段104が指定されたビデオデータの対象部分の削除及び残余部分の再結合処理を行う。
このような削除指示操作は、ビデオプレイヤ100でビデオ画像を確認しながらすることができ、また、データの時間位置関係を視覚的確認しながら行うことができるので、オペレータ作業の負担が軽減される。
【0054】
削除結合手段104は、上記のようなオペレータ指示入力に応じてビデオデータ31の指定部分を削除・再結合処理するが、ビデオデータ31の削除部分31aに付加画像データ33の表示開始タイミング位置が含まれる場合には、本例では、幾つかの処理の方法が可能である。
図19(a)に示すように、資料画像データ30及び付加画像データ33が対応付けられているビデオデータ31を、ビデオ時間軸の時刻tcutから時間幅Tcutの部分を削除する場合を例にとって説明する。
【0055】
この削除部分Tcutには、付加画像データ(矢印c)の表示開始タイミング位置tcが含まれており、図19(b)に示す方法は削除再結合処理の一つの方法である。
この方法は、削除部分Tcutに対応する資料画像Cの表示時間を短縮するとともに、矢印cの付加画像を削除する方法である。すなわち、この方法によれば、ビデオデータと資料画像Cとの削除されない部分(残余の部分)の時間位置対応はそのまま保たれることとなる。
【0056】
図19(b)に示す方法は、矢印cの付加画像を削除するとともに、資料画像Cの削除部分以降の残余部分も削除して、資料画像Cに後続する資料画像Dの表示開始タイミングを削除部分に応じた先行する時間位置tcutに変更する方法である。この方法は、付加画像の表示に重きをおいた削除再結合の方法であり、資料画像C中の或る事項を矢印画像cで指示す行為が行われたビデオ画像部分を削除するのであるから、当該削除部分以降では矢印画像cもその矢印cが指示す事項を含む資料画像Cも残余のビデオ画像の内容にとってあまり意味を有しないので削除し、次の矢印画像dが現われる次の資料画像Dを先行して表示させるものである。
【0057】
一般的に、付加画像はそれを表示した時点のビデオ画像があって意味があり、付加画像を表示した以後の資料画像も付加画像があってこそ意味があるといえるので、図19(c)に示す方法は、より実際のプレゼンテーション行為に即した削除再結合処理がなされるといえる。
なお、上記のいずれの削除再結合方法もオペレータ入力によって選択して、削除結合手段104に実行させることができる。
【0058】
すなわち、編集装置100によると、ビデオデータ31と、当該ビデオデータの時間位置に対応付けられた資料画像データ30と、当該資料画像データの時間位置に対応付けられた付加画像データ33と、を含むコンテンツに対して、操作入力手段102がビデオデータ中の削除部分を指定するオペレータ入力を受け付け、資料判定手段103が削除指定されたビデオデータ部分に対応付けられている資料画像データ及び当該資料画像に対応付けられている付加画像データの時間位置を判定し、削除結合手段104が削除指定されたビデオデータ部分を削除して当該ビデオデータを再結合させるとともに当該削除部分に対応する資料画像データ及び付加画像データの対応付け時間位置を削除部分に対応して更新する処理がなされ、当該編集済みのコンテンツデータがアーカイブファイル25として出力される。
なお、編集装置100において特段の編集処理を施さなければ、データ保持装置90に保持されたコンテンツデータがアーカイブ出力手段106からアーカイブファイル25として出力される。
【0059】
【発明の効果】
以上説明したように、本発明によると、オペレータに対してプレゼンテーションのために用意された資料画像データをサムネイル一覧表示するとともに、オペレータから入力された検索条件に合致する資料画像を検索するようにしたため、プレゼンテーションにおいて必要な資料画像を迅速に探し出すことができ、プレゼンテーションの進行を円滑化させることができる。
【図面の簡単な説明】
【図1】 本発明の一実施例に係るコンテンツ配信システムを示す図である。
【図2】 本発明の一実施例に係るビデオデータと資料画像データとの関係を説明する図である。
【図3】 本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図4】 本発明の一実施例に係るアーカイブファイルの配信登録処理を説明する図である。
【図5】 本発明の一実施例に係る資料作成、プレゼンテーション支援、データ対応付け、コンテンツデータ編集に係る一連のシステムを示す図である。
【図6】 本発明の一実施例に係るファイル作成装置及びビューアの機能構成を示す図である。
【図7】 本発明の一実施例に係る資料ファイルを説明する図である。
【図8】 本発明の一実施例に係る資料作成装置の機能構成を示す図である。
【図9】 本発明の一実施例に係る動画像資料の作成処理を説明する図である。
【図10】 本発明の一実施例に係るプレゼンテーション支援装置の機能構成を示す図である。
【図11】 本発明の一実施例に係るプレゼンテーション支援装置の画面表示を示す図である。
【図12】 本発明の一実施例に係る対応付け装置の機能構成を示す図である。
【図13】 本発明の一実施例に係る資料ファイルを説明する図である。
【図14】 本発明の一実施例に係るコンテンツを構成するデータを説明する図である。
【図15】 本発明の一実施例に係るコンテンツを構成するデータの対応関係を説明する図である。
【図16】 本発明の一実施例に係る資料画像と付加画像との関係を説明する図である。
【図17】 本発明の一実施例に係る編集装置の機能構成を示す図である。
【図18】 本発明の一実施例に係る編集装置の画面表示を示す図である。
【図19】 本発明の一実施例に係る編集処理を説明する図である。
【符号の説明】
1:配信サーバ、 2:閲覧クライアント、
3:登録クライアント、 5:ビデオデータ、
6:資料画像データ、 25:アーカイブファイル、
30:資料画像データ、 31:ビデオデータ、
33:付加画像データ、 40:プレゼンテーション支援装置、
50:ファイル作成装置、 60:ファイル保持装置、
61:資料ファイル(デフォルト)、 62:資料ファイル(リアル)、
70:ビューア、 80:対応付け装置、
90:データ保持装置、 100:編集装置、
J:プロジェクタ、 P:プレゼンテータ、
S:スクリーン、 V:ビデオカメラ、
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technology for supporting a presentation by displaying and outputting document images to an audience, and more particularly to a technology that makes it possible to easily search for a desired document image from among a plurality of document images.
[0002]
[Prior art]
Services for distributing various contents to browsing clients such as personal computers and mobile terminals are widely implemented as specific area or wide area services.
There are various modes in such a content distribution system, but content data including video data is also distributed due to the development of network communication technology.
[0003]
The outline of the content distribution system is that various content data is registered in the distribution server, and when the browsing client accesses the distribution server to select and request a desired content, the distribution server responds to the content. It provides data to the browsing client.
[0004]
Such a system is a video data recording conferences, lectures, briefing sessions, etc. (in the present invention, these are called presentations) such as conferences, lectures, briefing sessions, presentations, etc. Is distributed as content, and is used for educational purposes, for example.
[0005]
[Problems to be solved by the invention]
The presentation proceeds while the presenter or his / her assistant acts as an operator to switch between many material images and present these material images to the audience. When these materials are prepared as image data, the title list and reduced image list of the document images to be used are displayed on the screen of the computer (presentation support device) placed at the operator's hand, and the operator can select from these lists. Is selected and presented to the audience by displaying a document image on the screen.
[0006]
These document image data are generally displayed in a list in the order in which they are to be used in advance, and the operator sequentially switches the display by selecting the document images from the list as the presentation progresses.
However, the presentation may not proceed as planned, and in such a case, the order of the material images to be used becomes unscheduled. In addition, when a series of presentations are completed and a question and answer session with the audience is performed, it is necessary to display necessary material images retrospectively. That is, it is required to quickly find and display a necessary material image from the list.
[0007]
In response to such a need, it is relatively easy to find a necessary material image when the number of material images prepared is relatively small, such as several sheets, but dozens of material images can be obtained. It is not uncommon to prepare and use an image, and it is difficult to quickly find a necessary one from such a large number of document images from a list display. In particular, when displaying a list of document images as reduced images, each reduced image occupies a relatively large area on the screen as compared to simply displaying a list of titles. In such a list display mode, the operator may have to turn the screen to see all the list displays. Therefore, the task of finding the necessary material images was extremely complicated.
[0008]
The present invention has been made in view of the above-described conventional circumstances, and an object of the present invention is to allow an operator to quickly find a necessary material image in a presentation, thereby facilitating the progress of the presentation.
Further objects of the present invention will be apparent from the following description.
[0009]
[Means for Solving the Problems]
In the present invention, the presentation support device inputs a material file containing a plurality of types of material image data with the input means, and displays the material image displayed and output to the audience in the material file with the display means. At the same time, the remaining document images are displayed in a thumbnail list, and the search means performs a process of searching the thumbnail list for document images that match the search conditions input by the operator, and displays the document images for the audience. To help.
[0010]
A presentation support apparatus that performs such processing can be configured by executing a presentation support program on a computer.
It is preferable that the presentation support apparatus includes an operation input unit that receives an operator's selection input for a thumbnail image, and switches the material image input by the thumbnail selection to an image to be displayed and output to the audience.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
The present invention will be specifically described based on examples.
In the following description, first, a system that distributes content including video data and at least material image data and additional image data such as arrows to users will be described, and then a system that creates such content will be described.
[0012]
As shown in FIG. 1, the content distribution system of this example includes a distribution server 1, a browsing client 2, and a registration client 3 connected via the Internet N.
Each of the distribution server 1 and the registration client 3 is configured to perform a predetermined process by executing a program by computer hardware, and the browsing client 2 is a personal computer having a browser function for allowing a user to browse content. It is composed of a computer.
As will be described later, the registration client 3 of this example also serves as content editing processing means (editing device) to register with the distribution server 1 for distribution.
[0013]
The distribution server 1 receives video data, material image data associated with the video data, additional image data associated with the material image data (arrow image, animation image, etc.), content record such as a content title (metadata). It is stored and held as data for each content, and corresponding content data is distributed and provided in response to a request from the browsing client 2.
Note that, in the content creation system of this example, as will be described later, processing for creating content to be distributed by the distribution server 1 as an archive file is performed.
[0014]
As shown in FIG. 2, the video data 5 is moving image data converted into a stream format for distribution, and the material image data 6 (A to K) is obtained by the operator watching the video by pre-processing before distribution registration. Usage time for image data of materials associated with video data 5 by setting operation or video data of scenes such as presentations and lectures given while using materials displayed on the screen by the lecturer The image data of the material associated with the position is still image data or moving image data.
The document image data 6 is associated with the time position in the video where the document is used (that is, the use start timing and the used time width), and provides the corresponding document image to the viewing user in synchronization with the video image. Is.
[0015]
In response to a request from the browsing client 2 using the browser, the distribution client 1 performs distribution processing, and is provided to the requesting browsing client 2 and displayed on the display device.
[0016]
The content data distributed from the distribution server 1 is displayed on the browsing client 2 as a content browsing screen as shown in FIG.
The content browsing screen includes a video screen 10 for displaying an image, a video player unit 12 having a video operation unit 11 on which operation buttons such as playback and stop are arranged, and an operation unit 13 on which a frame advance operation button is arranged. The image display unit 14 includes a note display screen unit 15 that displays a program description related to content data.
Therefore, when the browsing user operates by pointing input, the video image of the content is reproduced on the video screen 10, and the image display unit 14 is synchronized with the video (that is, automatically switched at a corresponding position described later). The associated document image can be displayed.
[0017]
Next, content data arrangement registration will be described.
As shown in FIG. 4, the distribution server 1 is provided with a database 20 for storing and managing records of each content arranged and registered for distribution, and a plurality of arrangement destination set storage units 21 for storing entity data of each content. Yes.
The database 20 stores and manages a content record 22 including metadata of each content data, an arrangement destination file path, an arrangement destination URL, and the like, and a number 23 for specifying an arrangement destination set in which the content data is registered. By referring to the database 20, each content can be registered and registered in the distribution destination set, and the corresponding content data requested from the browsing client 2 can be distributed.
[0018]
Each of the arrangement destination sets 21 is a storage area for storing one or a plurality of content data, and the contents data storage area of the distribution server 1 is configured as a set of these arrangement destination sets 21.
In the illustrated example, each placement destination set 21 is provided with a video data folder for storing video data and an image data folder for storing material image data, so that data of the same content is the same placement destination set 21. In addition, data corresponding to each content is registered and stored in these folders.
[0019]
The registration of content data in each placement destination set 21 is performed by the registration client 3 in accordance with an operator operation.
The registration client (which will be described later) 3 creates an archive file 25 including video data, at least document image data and additional image data associated with the video data, and collects the contents as the archive file. Register in the distribution server 1.
[0020]
The content data registered and arranged in the distribution server 1 in this way is provided from the distribution server 1 by referring to the database 20 in response to a request from the browsing client 2.
That is, when the browsing client 2 transmits a request including information for specifying content to the distribution server 1, the distribution server 1 refers to the content record 22 to determine the arrangement set number where the content data is arranged, and corresponds. A process of providing content to the browsing client 2 is performed.
[0021]
Next, the content archive file is created as a pre-processing of content distribution as described above, the video data constituting the content is recorded as the pre-processing, and the pre-processing video recording presentation is used. The creation and output processing of the material image data file to be performed will be described.
In the description of the present invention, the act of making a presentation while presenting materials to the audience, such as a conference, lecture, class, briefing session, etc. is collectively referred to as a presentation.
FIG. 5 shows the overall configuration of a system according to this example for performing these processes.
[0022]
Content stored in the arch curve file 25 and registered in the distribution server 1 includes video data 31 recorded by the video camera V, which is a presentation made by the presenter P while the document image 30 is switched and displayed on the screen S by the projector J. The data of the document image 30 is included. Note that the content of this example includes additional image data such as an arrow and an animation to be displayed in addition to the document image 30 as will be described later.
In such a presentation, the presentation support device 40 is installed at the hand of the presenter P for the operation of the presenter P.
[0023]
A plurality of document image data 30 used in the presentation is preliminarily collected into one document file 61 by the file creation device 50 and held in the file holding device 60, and a switching instruction input from the presentation support device 40 by the presenter P Accordingly, the document image data 30 stored in the document file 61 is read out in accordance with a preset order, and is projected and displayed on the screen S from the projector J through display control processing by the viewer 70.
[0024]
The recorded video data 31, the document image data 30 used in the presentation (that is, the document file 61), and the switching instruction signal output from the presentation support device 40 in the presentation are input to the association device 80 one by one. The document image data 30 is associated with the video data 31 at the timing of use in the actual presentation.
The associated document file 62 and video data 31 (additional image data in this example) are held in the data holding device 90 as content materials to be registered in the distribution server 1, and these content materials are stored in the editing device 100. Thus, necessary edits are performed and collected into an archive file 25 for distribution registration.
[0025]
FIG. 6 shows the configuration of the file creation device 50, the file holding device 60, and the viewer 70 related to the creation of the material image file 61 and the display of the material image 30.
The file creation device 50 includes an input unit 51 for inputting document image data, an ordering unit 52 for adding order information designated by the operator when the document image data is input to each document image data, and the input document image data as a document file. 61 includes file forming means 53 and output means 54 for outputting the material file 61 to the file holding device 60.
That is, in the file creation device 50, the process of collecting the plurality of document image data input by the input unit 51 into the document file 61 by the input unit 51 before the process by the viewer 70 described below is performed. Do.
[0026]
The material image data is not limited to a still image, a moving image, or a data format, and a plurality of material image data can be input to the file creation device 50 regardless of the type to form the material file 61.
As shown in FIG. 7, each material image data 30 stored in the material file 61 includes material ID, type information, order information (default) specified by the operator, and the operator in addition to the actual data forming the material image. Data such as added titles and keywords such as important words are included.
[0027]
Here, additional image data 33 such as an arrow to be superimposed on each document image is also input to the file creation device 50 together with the document image data 30 and is made a part or attachment of the document file.
As will be described later, the additional image data 33 and the video data 30 are associated in advance, and the additional image 33 is synchronously displayed with the display of the document image 30 based on this association.
[0028]
The viewer 70 sequentially reads from the document file 61 in accordance with the input unit 71 for inputting the document file 61 from the file holding device 60, the instruction input unit 72 for inputting the switching instruction of the display document image from the presentation support device 40, and the switching instruction. Type determination means 73 for determining the data type of the document image data 30 from its type information, a player file 74 holding various player modules for converting the document image data into a unified format that can be displayed and output by the projector J, and a document file The output control means 75 that activates the player module corresponding to the data type of the document image data 30 read from 61 and converts the document image data 30 into a format that can be displayed and output by the projector J. Output means 76 for outputting to J .
[0029]
In this viewer 70, the instruction input means 72 accepts an operator instruction to switch display materials, and the type determination means 73 next reads out and displays the material from the material file 61 containing a plurality of types of material image data 30 in response to the switching instruction. A process of determining the type of image data, and the output control means 75 selectively starting a player corresponding to the determined type from the player file 74 prepared according to the data type and outputting the document image data 30 to the projector J. Do.
[0030]
Reading of the document image data 30 from the document file 61 in response to the switching instruction (that is, display of the document on the screen S) is performed according to the sequence information (default) initially set for each document image data 30. Made. Therefore, the material images stored in the material file 61 are sequentially switched and displayed on the screen S in the order according to the order information (default) at the timing when the presenter gives a switching instruction.
Such document image data 30 can be used as a presentation document if it is stored in the document file 61 regardless of the data format, and the preparation of the document can be performed very easily.
[0031]
The file creation device 50, the file holding device 60, and the viewer 70 may be configured as separate devices, or may be configured as a single device that integrates these device functions. For example, it can be configured by causing a computer to execute a program that realizes the above functions.
[0032]
Here, an example of a method for creating moving image data as the material image data 30 will be described.
FIG. 8 shows an apparatus for operating a computer to record images displayed on its display screen at, for example, 10 frames per second and creating moving image data in which these still images are continuous.
This apparatus is configured by causing a computer to execute a predetermined program, and may be configured as an apparatus integrated with the file creation apparatus 50, the file holding apparatus 60, and the viewer 70.
[0033]
The apparatus includes an input unit 120 that receives an operator's operation input, a display control unit 122 that creates image data corresponding to the operation input in the image memory 121, and the image memory 121 also reads the image data and displays the image on the display screen 123. Reading means 124 for outputting, moving image means 125 for creating moving image data by acquiring image data read and displayed from the image memory 121 at a predetermined cycle, and holding the created moving image data as a material image A material data memory 126 is provided, and moving image data held in the material data memory 126 is input to the file creation device 50 as material image data.
[0034]
Such moving image material data can be used as material for a personal computer usage method briefing session, for example.
FIG. 9 shows an image of a display screen 123 for explaining an operation method related to creation and transmission of an e-mail as an example.
[0035]
As shown in FIG. 6A, the operator operates the input unit 120 from the state where the e-mail format is displayed on the screen, and the destination address is displayed in the destination column as shown in FIGS. (Xxx@xxx.co.jp), then the title (question) is described in the title field, the text content is described in the text field, and then the send button 127 on the screen is clicked with the mouse. When a series of operations of clicking with the cursor 128 is performed, the images on the operation screen are also converted into moving image data by the moving image generating means 125, and a moving image for explaining an operation method related to creation and transmission of an e-mail is used. Material image data 30 is created.
Therefore, a material image of a moving image can be created very easily, and the explanation effect by the presentation can be enhanced.
[0036]
FIG. 10 shows the configuration of the presentation support apparatus 40 operated by the presenter P.
The presentation support device 40 includes a material file input means 41 for inputting the material file 61 held in the file holding device 60 via the viewer 70, and a thumbnail for reducing each material image data 30 in the material file 61 into a thumbnail image. Display means 43 having a region 44 for displaying a document image displayed and output to the audience on the screen S in the document file 61 and a region 45 for displaying the remaining document images in a thumbnail list on the screen. An operation input unit 46 that receives an operation input from the presenter P, and a search unit 47 that searches the thumbnail list 45 for a material image that matches the search condition input from the presenter P are provided.
[0037]
The viewer 70 converts all the document image data stored in the document file 61 so that it can be displayed on the projector, and provides it to the presentation support apparatus 40. As shown in FIG. ), The first document image displayed on the screen is displayed in the region 44 of the screen 43 and presented to the presenter P, and the remaining document images are displayed in a list in the region 45 as thumbnail images.
On the screen 43, a “return” button 48a for returning the document image to be displayed on the screen and a “forward” button 48b for switching the document image to be displayed on the screen to the next order are provided. When the presenter P presses these buttons from the operation input means 46, the document images displayed on the screen can be sequentially switched.
[0038]
Since the document images displayed in a list in the area 45 are in a thumbnail format, the presenter P selects and presses these thumbnail images from the operation input means 46 to generate a switching signal to display the selected document images on the screen. You can also.
By such an operation by the presenter P, the above-described document image switching instruction signal is input to the viewer 70 to switch the screen display, and is input to the associating device 80 to input the video data 31 and each document image data. Correlation of time-position relations and order information of each material image data are updated.
[0039]
On the screen 43, a column 49a for inputting a search condition and a “search” button 49b for instructing execution of search processing are provided. The presenter P enters the search condition from the operation input means 46 into the column 49a. Is input and the button 49b is pressed, the search means 47 searches the thumbnail list 45 for a document image that meets the conditions, and highlights the thumbnail of the document image or displays the document image in the area 44. To do.
For this search condition, the order information, data type, keyword, etc. set for each material image data can be used. For example, the material image used, the material image of the moving image, the material image of a certain title As described above, the search unit 47 can search the document file 61 for a document image that matches the conditions.
[0040]
The presentation support apparatus 40 is configured by causing a computer to execute a predetermined program.
According to this presentation support device 40, the presenter P can arbitrarily switch the document image displayed on the screen by inputting a switching instruction as required, and also can provide the necessary document image according to questions from the audience after the event. Even when searching for a desired document image, it is possible to quickly find a desired document image by the search process.
[0041]
FIG. 12 shows the configuration of the associating device 80 that associates the presentation video data 31 recorded by the video camera V with the document image data 30 used there.
The associating device 80 includes a video input unit 81 for inputting recorded video data, a material file input unit 82 for inputting material image data (material file 61) used in the presentation, and a material image performed by the presenter P in the presentation. Switching instruction input means 83 for inputting a switching instruction, an association means 84 for setting the input timing of the switching instruction with respect to the time axis based on video data as the display start timing of the material image data to be switched, association processing Output means 85 for outputting the material file 62 and the video data 31 updated by the above to the data holding device 90.
[0042]
As described above, the plurality of document image data used in the presentation is given the order information (default) to be used in advance, and in principle, it is displayed and used in the order according to the order information. In this presentation, the order of document images displayed on the screen is changed by the presenter operation described above, or a certain document image is repeatedly displayed on the screen, so that this can be reproduced with content data. The association unit 84 updates the order information (default) of each document image data according to the order actually used according to the input switching instruction.
Note that the switching instruction input from the presentation support apparatus 40 includes a document ID, and the association unit 84 grasps which document image data is switched at what time (timing) and performs the association process.
[0043]
Further, as shown in FIG. 7, each document image data before being actually used in the presentation is not associated with the video data 31 in time timing. Based on this, the time position for adding the use start timing (time on the time axis of the video data) is associated with each image data.
Here, since any document image is always displayed on the screen S in the presentation of this example, the time position of each document image data with respect to the video data 31 is specified only by defining the start timing of each document image. The It should be noted that the time position correspondence may be attached in a form such as a set of start timing and end timing or a set of start timing and usage time width.
[0044]
According to the associating device 80, the video data 31 recorded by the video input means 81 is inputted, the material image input means 82 is inputted the material image data 30 used in the presentation, and the switching instruction input means 83 is inputted in the presentation. A document image switching instruction made by the presenter P is input, and the association unit 84 can switch the input timing of the switching instruction with respect to the time axis based on the video data 31 based on these inputs. The association processing is set as the data display start timing, and further, the processing is performed to update the order information of each document image data in accordance with the order actually used according to the input switching instruction. In addition, the data file and the video data 31 subjected to the update process are stored in the data holding device 90. The process of force is made.
[0045]
By such processing by the associating device 80, the recorded video data 31 and the material image data used there are associated with each other in a correspondence relationship that reproduces the actual presentation, and these are collected in the archive file 25 and distributed. It will be registered in the server 1.
Therefore, in the browsing client 2 browsing the content distributed from the distribution server 1, the scene of the presentation and the material used there are displayed and output on the screen while reproducing the actual presentation.
[0046]
Note that the associating device 80, the data holding unit 90, and the editing device 100 may be configured as separate devices, or may be configured as a single device that integrates these device functions. For example, it can be configured by causing a computer to execute a program that implements a necessary processing function. In the case of an integrated configuration, the presentation support device 40, the file creation device 50, the file holding device 60, and the viewer 70 may also be included.
[0047]
The video data 31, the material image data 30, and the additional image data 33 collected as contents in the archive file 25 as described above are configured as shown in FIGS. 14 (a), 14 (b), and 14 (c).
The video data 31 includes its own video ID and total time information of video in addition to the actual data forming the video image.
The document image data 30 includes, in addition to the actual data forming the document image, its own document ID, the video ID of the associated video data, its own display start timing, its own data format type, and the actual usage order It contains information (real), keywords used for search, and the like.
The additional image data 33 includes, in addition to actual data that forms an additional image such as an arrow image or an animation image, its own additional image ID, the material ID of the associated material image data, its own display start timing, and the like. .
[0048]
FIG. 15 shows an example of an association relationship between the video data 31, the material image data 30, and the additional image data 33.
The video data 31 is continuous moving image data having a time width T. With respect to the time axis of the video data 31, a material image A having a time TA as a start timing, a material image B having a time TB as a start timing, and a time A document image C having a start timing of TC and a document image D having a start timing of time TD are associated with each other, and an arrow image a and a time Tb having a start timing of time Ta are associated with each document image 30. An animation image b having the start timing, an arrow image c having the time Tc as the start timing, and an arrow image d having the time Td as the start timing are associated with each other.
[0049]
Since the document image 30 is displayed on the screen from the start timing to the start timing of the next document image, the document image data 30 is represented as data having a certain time width in FIG. Only the display interval is shown, and the material image data of a still image that is not a moving image does not have a time width by itself.
The same applies to the additional image 33. In the same figure, only the display interval is shown, and the additional image data of a still image that is not a moving image does not have a time width by itself.
[0050]
Due to the correspondence between the document image 30 and the additional image 33, the display mode of the document image changes as time passes as shown in FIG.
That is, as shown in FIGS. 4A to 4D, when the start timing of the additional image is reached while the document images A, B, C, and D are displayed, the arrow image a and the animation image b are displayed. , The arrow image c and the arrow image d are superimposed on the set positions of the respective document images.
Therefore, such a synchronous display of the material image and the additional image is performed in the presentation, and is reproduced in the reproduction of the content while maintaining the time relationship.
[0051]
FIG. 17 shows a configuration of an editing apparatus 100 operated by an operator to edit video data 31 created for content.
The editing apparatus 100 receives data input means 101 for inputting content data (video data 31, material image data 30, additional image data 33) from the data holding apparatus 90, and an operator input for specifying a deletion portion in the video data 31. The input unit 102, the determination unit 103 for determining the time position of the material image data 30 associated with the video data portion 31a designated for deletion and the additional image data 33 associated with the material image, the deletion designated Deletion combination that deletes the video data portion 31a and recombines the video data 31 and updates the correspondence time positions of the material image data 30 and the additional image data 33 corresponding to the deletion portion 31a corresponding to the deletion portion 31a. Means 104, operator interface for editing processing Display means 105 for displaying, and an output means 106 for outputting the data content edited treated as an archive file 25.
[0052]
As shown in FIG. 18, the display unit 105 includes a player 110 for reproducing and displaying the video data 31 to be edited, material image data associated with the video data, and an additional image associated with the material image data. An operator interface including an editing interface 111 that visually represents the temporal position relationship with the data is displayed on the screen, and a designated input of the deletion portion 31a in the video data 31 is performed based on an operator instruction from the operation input means 102 for the editing interface 111. Accept.
[0053]
The editing interface 111 includes a time axis 112 indicating the time width of the video data 31, a material image mark (or thumbnail) 30a indicating the time position of the associated material image, and the time position of the associated additional image. When the operator designates and inputs a video portion to be deleted on the time axis 112 by clicking or dragging the mouse of the operation input means 102, the deletion target portion 31a of the video data is displayed. Is displayed, and when the operator presses the cut button 113 by an operation from the operation input unit 102, the deletion / combination unit 104 deletes the target portion of the designated video data and recombines the remaining portion.
Such a deletion instruction operation can be performed while confirming a video image with the video player 100, and can be performed while visually confirming the time-position relationship of data, thereby reducing the burden of operator work. .
[0054]
The deletion / combination means 104 deletes / recombines the designated portion of the video data 31 in response to the operator instruction input as described above. The deletion portion 31a of the video data 31 includes the display start timing position of the additional image data 33. In this example, several processing methods are possible.
As shown in FIG. 19A, the video data 31 in which the document image data 30 and the additional image data 33 are associated will be described by taking as an example the case where the portion of the time width Tcut is deleted from the time tcut on the video time axis. To do.
[0055]
This deletion portion Tcut includes the display start timing position tc of the additional image data (arrow c), and the method shown in FIG. 19B is one method of the deletion recombination processing.
This method shortens the display time of the document image C corresponding to the deleted portion Tcut and deletes the additional image indicated by the arrow c. That is, according to this method, the time position correspondence of the part (remaining part) in which the video data and the material image C are not deleted is maintained as it is.
[0056]
In the method shown in FIG. 19B, the additional image indicated by the arrow c is deleted, and the remaining portion after the deleted portion of the material image C is also deleted, so that the display start timing of the material image D subsequent to the material image C is deleted. This is a method of changing to the preceding time position tcut corresponding to the part. This method is a deletion and recombination method that places emphasis on the display of the additional image, and deletes a video image portion in which an action of pointing a certain item in the material image C with the arrow image c is performed. After the deleted portion, neither the arrow image c nor the material image C including the matter indicated by the arrow c has any significance for the content of the remaining video image, so it is deleted, and the next material image in which the next arrow image d appears. D is displayed in advance.
[0057]
In general, the additional image is meaningful because there is a video image at the time when the additional image is displayed, and the material image after the additional image is displayed is meaningful only if there is the additional image. It can be said that the method shown in (2) performs deletion and recombination processing more in line with the actual presentation act.
Note that any of the above-described deletion recombination methods can be selected by an operator input and executed by the deletion combining unit 104.
[0058]
That is, according to the editing apparatus 100, the video data 31, the material image data 30 associated with the time position of the video data, and the additional image data 33 associated with the time position of the material image data are included. For the content, the operation input means 102 receives an operator input for designating a deletion portion in the video data, and the material determination means 103 applies the material image data associated with the video data portion designated for deletion and the material image. The time position of the associated additional image data is determined, and the deletion / combination means 104 deletes the video data portion designated to be deleted, recombines the video data, and the material image data corresponding to the deleted portion and the addition Processing to update the association time position of the image data corresponding to the deleted part is performed, and the edited Content data is output as an archive file 25.
If the editing device 100 does not perform special editing processing, the content data held in the data holding device 90 is output as the archive file 25 from the archive output means 106.
[0059]
【The invention's effect】
As described above, according to the present invention, the document image data prepared for presentation to the operator is displayed as a thumbnail list, and the document image that matches the search condition input by the operator is searched. Thus, it is possible to quickly find a necessary material image in the presentation and to facilitate the progress of the presentation.
[Brief description of the drawings]
FIG. 1 is a diagram showing a content distribution system according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a relationship between video data and material image data according to an embodiment of the present invention.
FIG. 3 is a diagram showing a screen display of a browsing client according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating archive file distribution registration processing according to an embodiment of the present invention.
FIG. 5 is a diagram showing a series of systems related to material creation, presentation support, data association, and content data editing according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a functional configuration of a file creation device and a viewer according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a material file according to an embodiment of the present invention.
FIG. 8 is a diagram showing a functional configuration of a material creation apparatus according to an embodiment of the present invention.
FIG. 9 is a diagram illustrating a moving image material creation process according to an embodiment of the present invention.
FIG. 10 is a diagram showing a functional configuration of a presentation support apparatus according to an embodiment of the present invention.
FIG. 11 is a diagram showing a screen display of the presentation support apparatus according to the embodiment of the present invention.
FIG. 12 is a diagram showing a functional configuration of an associating device according to an embodiment of the present invention.
FIG. 13 is a diagram illustrating a material file according to an embodiment of the present invention.
FIG. 14 is a diagram illustrating data constituting content according to an embodiment of the present invention.
FIG. 15 is a diagram illustrating a correspondence relationship of data constituting content according to an embodiment of the present invention.
FIG. 16 is a diagram illustrating a relationship between a material image and an additional image according to an embodiment of the present invention.
FIG. 17 is a diagram illustrating a functional configuration of an editing apparatus according to an embodiment of the present invention.
FIG. 18 is a diagram showing a screen display of the editing apparatus according to an embodiment of the present invention.
FIG. 19 is a diagram illustrating editing processing according to an embodiment of the present invention.
[Explanation of symbols]
1: distribution server, 2: browsing client,
3: Registration client, 5: Video data,
6: Document image data, 25: Archive file,
30: Document image data, 31: Video data,
33: Additional image data, 40: Presentation support device,
50: File creation device, 60: File holding device,
61: Document file (default), 62: Document file (real),
70: Viewer, 80: Association device,
90: Data holding device, 100: Editing device,
J: Projector, P: Presenter
S: Screen, V: Video camera,

Claims (3)

聴衆に対して資料画像を表示出力して行うプレゼンテーションを支援するための装置であって、
聴衆に対して表示出力する順序を示す順序情報が予め付された複数種類の資料画像データを収めた資料ファイルを入力する入力手段と、
資料ファイル中の資料画像データをサムネイル画像化するサムネイル化手段と、
資料ファイル中の聴衆に対して表示出力される資料画像を表示する領域と残余の資料画像をサムネイル一覧で表示する領域とを有する表示手段と、
オペレータから入力された検索条件に合致する資料画像をサムネイル一覧から検索する検索手段と、
サムネイル画像に対するオペレータの選択入力を受け付ける操作入力手段と、
選択されたサムネイル画像に対応する資料画像を、聴衆に対して表示出力する資料画像に切り換える切換手段と、
聴衆に対して表示出力する資料画像の切り換えに基づいて、当該資料画像に付された順序情報を更新する処理とプレゼンテーションが収録されたビデオデータに対して当該資料画像をその表示タイミングに応じた時間位置に対応付ける処理とを行う処理手段と、
を備えたことを特徴とするプレゼンテーション支援装置。
A device for supporting a presentation by displaying and displaying document images for an audience,
An input means for inputting a document file containing a plurality of types of document image data to which order information indicating the order of display output to the audience is attached ;
A thumbnailing means for converting the document image data in the document file into a thumbnail image;
Display means having an area for displaying a document image to be displayed and output to an audience in the document file, and an area for displaying the remaining document images in a thumbnail list;
Search means for searching the thumbnail list for document images that match the search conditions entered by the operator,
An operation input means for receiving an operator's selection input for the thumbnail image;
Switching means for switching the document image corresponding to the selected thumbnail image to a document image to be displayed and output to the audience;
Based on the switching of the document image to be displayed and output to the audience, the processing time for updating the order information attached to the document image and the time corresponding to the display timing of the document image for the video data containing the presentation Processing means for performing processing corresponding to the position;
A presentation support apparatus characterized by comprising:
聴衆に対して資料画像を表示出力して行うプレゼンテーションを支援する方法であって、
コンピュータの入力手段が、聴衆に対して表示出力する順序を示す順序情報が予め付された複数種類の資料画像データを収めた資料ファイルを入力し、
前記コンピュータの表示手段が、その画面に、資料ファイル中の聴衆に対して表示出力される資料画像を表示するとともに残余の資料画像をサムネイル一覧で表示し、
前記コンピュータの検索手段が、オペレータから入力された検索条件に合致する資料画像をサムネイル一覧から検索し、
前記コンピュータの操作入力手段が、サムネイル画像に対するオペレータの選択入力を受け付け、
前記コンピュータの切換手段が、選択されたサムネイル画像に対応する資料画像を、聴衆に対して表示出力する資料画像に切り換え、
前記コンピュータの処理手段が、聴衆に対して表示出力する資料画像の切り換えに基づいて、当該資料画像に付された順序情報を更新する処理とプレゼンテーションが収録されたビデオデータに対して当該資料画像をその表示タイミングに応じた時間位置に対応付ける処理とを行うことを特徴とするプレゼンテーション支援方法。
A method for supporting presentations by displaying and displaying document images for an audience,
The input means of the computer inputs a document file containing a plurality of types of document image data to which order information indicating the order of display output to the audience is attached in advance ,
The display means of the computer displays a document image displayed and output to the audience in the document file on the screen and displays the remaining document images in a thumbnail list,
The search means of the computer searches the thumbnail image for a document image that matches the search condition input by the operator ,
The operation input means of the computer accepts an operator's selection input for the thumbnail image,
The switching means of the computer switches the material image corresponding to the selected thumbnail image to a material image to be displayed and output to the audience,
Based on the switching of the document image to be displayed and output to the audience, the processing means of the computer updates the order information attached to the document image and the document image for the video data containing the presentation. A presentation support method characterized by performing a process of associating with a time position according to the display timing .
聴衆に対して資料画像を表示出力して行うプレゼンテーションを支援する処理をコンピュータで実現するためのプログラムであって、
聴衆に対して表示出力する順序を示す順序情報が予め付された複数種類の資料画像データを収めた資料ファイルを入力する入力機能と、
資料ファイル中の資料画像データをサムネイル画像化するサムネイル化機能と、
資料ファイル中の聴衆に対して表示出力される資料画像を表示する領域と残余の資料画像をサムネイル一覧で表示する領域とを画面表示する表示機能と、
オペレータから入力された検索条件に合致する資料画像をサムネイル一覧から検索する検索機能と、
サムネイル画像に対するオペレータの選択入力を受け付ける操作入力機能と、
選択されたサムネイル画像に対応する資料画像を、聴衆に対して表示出力する資料画像に切り換える切換機能と、
聴衆に対して表示出力する資料画像の切り換えに基づいて、当該資料画像に付された順序情報を更新する処理とプレゼンテーションが収録されたビデオデータに対して当該資料 画像をその表示タイミングに応じた時間位置に対応付ける処理とを行う処理機能と、
をコンピュータに実現することを特徴とするコンピュータプログラム。
A program for realizing a process for supporting a presentation by displaying and displaying document images for an audience with a computer,
An input function for inputting a document file containing a plurality of types of document image data to which order information indicating the order of display output to the audience is attached in advance ;
A thumbnailing function that converts the document image data in the document file into a thumbnail image,
A display function for displaying an area for displaying a document image displayed and output to the audience in the document file and an area for displaying the remaining document images in a thumbnail list;
A search function that searches the thumbnail list for document images that match the search conditions entered by the operator;
An operation input function that accepts an operator's selection input for thumbnail images;
A switching function for switching the document image corresponding to the selected thumbnail image to a document image to be displayed and output to the audience;
Based on the switching of the document image to be displayed and output to the audience, the processing time for updating the order information attached to the document image and the time corresponding to the display timing of the document image for the video data containing the presentation A processing function for performing processing corresponding to a position;
A computer program for realizing the above in a computer.
JP2003201642A 2003-07-25 2003-07-25 Presentation support device and presentation support method Expired - Fee Related JP4238662B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003201642A JP4238662B2 (en) 2003-07-25 2003-07-25 Presentation support device and presentation support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003201642A JP4238662B2 (en) 2003-07-25 2003-07-25 Presentation support device and presentation support method

Publications (2)

Publication Number Publication Date
JP2005045434A JP2005045434A (en) 2005-02-17
JP4238662B2 true JP4238662B2 (en) 2009-03-18

Family

ID=34261643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003201642A Expired - Fee Related JP4238662B2 (en) 2003-07-25 2003-07-25 Presentation support device and presentation support method

Country Status (1)

Country Link
JP (1) JP4238662B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4321607B2 (en) 2007-02-28 2009-08-26 セイコーエプソン株式会社 Image display device and display method in image display device
JP5318233B2 (en) * 2012-01-19 2013-10-16 キヤノン株式会社 Document search apparatus, document search method, program, and storage medium
JP2019046054A (en) * 2017-08-31 2019-03-22 株式会社FuraRepi Corporation Information output device, information output system, and information output program
JP7171480B2 (en) * 2019-03-20 2022-11-15 株式会社野村総合研究所 Presentation data creation support system

Also Published As

Publication number Publication date
JP2005045434A (en) 2005-02-17

Similar Documents

Publication Publication Date Title
US9235576B2 (en) Methods and systems for selection of multimedia presentations
US8139099B2 (en) Generating representative still images from a video recording
JP4288879B2 (en) Network information processing system and information processing method
KR20070090751A (en) Image displaying method and video playback apparatus
JP2001218160A (en) Digital story preparing and reproducing method and system
KR101924978B1 (en) A providing system for timeline-based social network service
JP2007036752A (en) System, method and program for reproducing contents
JP4142382B2 (en) Content creation system and content creation method
JP2001350397A (en) Method and device for presenting lecture information for remote place
JP2004112379A (en) Image retrieving system
JP4686990B2 (en) Content processing system, content processing method, and computer program
JP4238662B2 (en) Presentation support device and presentation support method
JP4129162B2 (en) Content creation demonstration system and content creation demonstration method
JP4308235B2 (en) Shared whiteboard history reproduction method, shared whiteboard system, program, and recording medium
JP4292902B2 (en) Content editing apparatus and content editing method
JP4640564B2 (en) Content distribution system
JP2004336289A (en) Shared white board history reproducing method, shared white board system, client, program and recording medium
JP4269980B2 (en) Content processing system, content processing method, and computer program
JP2005045439A (en) Apparatus and method for content forming
JP3959525B2 (en) Application server program and application server in video content browsing system
JP7215022B2 (en) Information processing device and program
JP4096670B2 (en) Image playback system
JP2001350775A (en) Method and device for presenting a plurality of information
JP2008090526A (en) Conference information storage device, system, conference information display device, and program
JP2005260512A (en) System and method for processing content, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060622

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070928

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140109

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees