JP3763300B2 - テンプレートファイル編集装置及び編集プログラム - Google Patents

テンプレートファイル編集装置及び編集プログラム Download PDF

Info

Publication number
JP3763300B2
JP3763300B2 JP2003020820A JP2003020820A JP3763300B2 JP 3763300 B2 JP3763300 B2 JP 3763300B2 JP 2003020820 A JP2003020820 A JP 2003020820A JP 2003020820 A JP2003020820 A JP 2003020820A JP 3763300 B2 JP3763300 B2 JP 3763300B2
Authority
JP
Japan
Prior art keywords
data
editing
editing operation
multimedia
content information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003020820A
Other languages
English (en)
Other versions
JP2004007407A (ja
Inventor
琢哉 藤島
拓弥 高橋
あかね 野口
敦 山浦
宏明 高橋
和紀 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2003020820A priority Critical patent/JP3763300B2/ja
Priority to KR1020030018225A priority patent/KR100561125B1/ko
Priority to EP03006599A priority patent/EP1351155A3/en
Priority to CNB031073964A priority patent/CN100461157C/zh
Priority to TW092106636A priority patent/TWI263907B/zh
Publication of JP2004007407A publication Critical patent/JP2004007407A/ja
Application granted granted Critical
Publication of JP3763300B2 publication Critical patent/JP3763300B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/186Templates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術の分野】
本発明は、画像、音声、文字列等、発音や可視表示等によって再生出力可能な多種類のメディアデータで成るマルチメディアデータを編集するテンプレートファイル編集装置及び編集プログラムに関する。
【0002】
【従来の技術】
従来、画像、音声、文字列等、発音や可視表示等によって再生出力可能な多種類のメディアデータで成るマルチメディアデータが提供され、携帯電話の着信メロディ乃至着画、電子メール等、各種場面で利用されている。
【0003】
このマルチメディアデータを作成する装置としては、例えば、サーバに用意された画像及び音声から成るメディアデータに、作成者が文字列を追加してマルチメディアデータを完成させ、これをサーバ上に蓄えて、特定のユーザに閲覧させる技術が提案されている(第1、第2の従来技術)(下記特許文献1、2)。また、携帯情報端末装置に内蔵されたカメラで撮像した画像に文字列や枠等を上書きすることで、独自のマルチメディアデータを作成し、これを他の端末装置に送信できるというサービスも知られている(第3の従来技術)。
【0004】
しかしながら、これら第1、第2、第3の従来技術では、作成されたマルチメディアデータに、それを取得したユーザにより編集等の加工がなされることを目的としておらず、例えば、ユーザは閲覧することができるのみである。
【0005】
一方、作成されたマルチメディアデータをユーザが利用する際に、ある程度の自由度を設けるようにした装置やサービスも知られている。例えば、第4の従来技術では、データ呈示の手順や態様をスクリプトとして装置に内蔵させることで、ユーザよって入力された値に応じてデータ表示の態様を変化させるようにしている。また、番組供給サイトが、性質の異なる複数種類のコンテンツと、その再生順を規定した番組ファイルとを記憶し、クライアントにコンテンツを伝送し再生させるシステムも知られている(第5の従来技術)(下記特許文献3)。この技術では、クライアントは、上記番組供給サイトから番組ファイルを取得し、番組ファイルが規定する再生順にコンテンツを順次上記番組供給サイトから取得して番組再生するようにしている。
【0006】
【特許文献1】
特開平11−203217号公報
【特許文献2】
特開2001−197553号公報
【特許文献3】
特開2001−36423号公報
【0007】
【発明が解決しようとする課題】
しかしながら、上記第4の従来技術では、ユーザは、可能な再生態様の1つを選択できるだけであり、マルチメディアデータを定着、保存、出力等のために編集することはできない。また、第5の従来技術(上記特許文献3)では、ユーザは、所望の番組ファイルを取得することで、コンテンツの再生順を選択できるだけであり、コンテンツ自体を改変、編集することはできない。そのため、第4、第5の従来技術では、ユーザは、マルチメディアデータ等を自分のアイデアによって改変することで、新たなマルチメディアデータを創作したという創作達成感が得られない。
【0008】
特に近年、各メディアデータの再生タイミングや表示位置等まで規定されたマルチメディアデータは、創作作品としての価値を持ち始めている。一方で、多様なユーザの嗜好に応えるべく、各ユーザによる創作余地をある程度残し、マルチメディアデータを一種のテンプレートとして提供して、ユーザに創作達成感を与えることができれば利用価値が一層高まることが期待される。
【0009】
ここで、マルチメディアデータを、例えば編集自由な素材集のような形態で提供し、ユーザに改変や組み合わせを任意に行わせて、新たなマルチメディアデータの作成を可能にするサービスも考えられる。しかしながら、その場合は、基幹となる部分に変更が加えられることもあり、マルチメディアデータ提供者側の創作意図の維持は保障されない。また、改変の自由度が大きすぎることで、慣れないユーザにとっては編集操作が容易でないという不都合もある。
【0010】
本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、予め規定した範囲での編集操作を許容して、テンプレートとしての創作意図を維持しつつユーザには手軽な編集操作にて編集による創作達成感を与えることができるテンプレートファイル編集装置及び編集プログラムを提供することにある。
【0011】
【課題を解決するための手段】
上記目的を達成するために本発明の請求項1のテンプレートファイル編集装置は、再生出力可能な少なくとも1種類のメディアデータと該メディアデータの再生出力タイミング及び再生出力態様をそれぞれ規定するシーケンスデータとで成るマルチメディアデータと、前記マルチメディアデータの編集の可否及び許可される編集態様をそれぞれ規定する編集操作設定データとを対応付けて構成したマルチメディアテンプレートファイルを取得するテンプレートファイル取得手段と、前記テンプレートファイル取得手段により取得されたマルチメディアテンプレートファイル内の編集操作設定データに基づいて、前記マルチメディアテンプレートファイル内のマルチメディアデータに関する編集可能な内容を示す編集可能内容情報を提示する提示手段と、前記提示手段により提示された編集可能内容情報に従って、前記マルチメディアデータに対する編集操作を受け付ける編集操作受付手段と、前記編集操作設定データにより許可される範囲内において、前記編集操作受付手段により受け付けられた編集操作に基づいて、前記マルチメディアデータを改変するデータ改変手段とを有することを特徴とする。
【0012】
この構成によれば、取得されたマルチメディアテンプレートファイル内の編集操作設定データに基づいて、前記マルチメディアテンプレートファイル内のマルチメディアデータに関する編集可能な内容を示す編集可能内容情報が提示され、提示された編集可能内容情報に従って、前記マルチメディアデータに対する編集操作が受け付けられ、前記編集操作設定データにより許可される範囲内において、前記受け付けられた編集操作に基づいて、前記マルチメディアデータが改変される。よって、例えば、基幹部分の改変を禁止すると共に、改変可能な対象や内容を明確にすることで、予め規定した範囲での編集操作を許容して、テンプレートとしての創作意図を維持しつつユーザには手軽な編集操作にて編集による創作達成感を与えることができる。
【0013】
上記目的を達成するために本発明の請求項8のテンプレートファイル編集プログラムは、再生出力可能な少なくとも1種類のメディアデータと該メディアデータの再生出力タイミング及び再生出力態様をそれぞれ規定するシーケンスデータとで成るマルチメディアデータと、前記マルチメディアデータの編集の可否及び許可される編集態様をそれぞれ規定する編集操作設定データとを対応付けて構成したマルチメディアテンプレートファイルを取得するテンプレートファイル取得ステップと、前記テンプレートファイル取得ステップにより取得されたマルチメディアテンプレートファイル内の編集操作設定データに基づいて、前記マルチメディアテンプレートファイル内のマルチメディアデータに関する編集可能な内容を示す編集可能内容情報を提示する提示ステップと、前記提示ステップにより提示された編集可能内容情報に従って、前記マルチメディアデータに対する編集操作を受け付ける編集操作受付ステップと、前記編集操作設定データにより許可される範囲内において、前記編集操作受付ステップにより受け付けられた編集操作に基づいて、前記マルチメディアデータを改変するデータ改変ステップとをコンピュータに実行させることを特徴とする。
【0014】
この構成によれば、請求項1と同様の作用効果を奏する。
【0015】
なお、請求項8記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体は、本発明を構成する。
【0016】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【0017】
図1は、本発明の一実施の形態に係るテンプレートファイル配信システムの全体構成を示すブロック図である。本システムは、テンプレート作成装置10及び通信端末装置20(テンプレートファイル編集装置)が、インターネット等の通信回線40を介して配信サーバ50にデータ通信可能に接続されて構成される。なお、テンプレート作成装置10、通信端末装置20は、同様の構成のものが通信回線40に複数接続されていてもよい。配信サーバ50は、不図示の通信インターフェイスによって、通信回線40に接続されている。
【0018】
図2は、テンプレート作成装置10の内部構成を示すブロック図である。テンプレート作成装置10は、既成のマルチメディアデータから、後述するマルチメディアテンプレートファイル(以下、「MMTファイル」と称する)を生成し、出力する機能を有する装置である。ここで、マルチメディアデータは、画像、楽音、文字列等の各種種類のメディアデータが混合されたデータであり、これらのメディアデータと時間空間配置データ(シーケンスデータ)とで構成されている。時間空間配置データは、各メディアデータの再生出力タイミング及び再生出力態様、すなわち、いつ再生し、どの位置に表示するか等の時間的空間的な配置を規定するデータである。
【0019】
なお、「再生出力タイミング」では再生開始時期が定まるが、再生終了時期も定まるようにしてもよい。また、「再生出力態様」は、メディアデータの種類に応じて規定され、例えば、メディアデータが楽音データ(MIDIデータ、波形データを問わない)である場合は、発音音量、音響効果の付与等が要素となり、メディアデータが画像、文字列等の可視用データである場合は、それらの画面上の表示位置、表示の大きさ、表示色等が要素となり、メディアデータが後述する振動子32を振動させるための信号である場合は、振動子32の振動の大きさや態様等が要素となり、メディアデータが後述する発光素子33を発光させるための信号であれば、発光素子33の明るさ、色、発光態様等が要素となる。なお、メディアデータは、振動子用や発光素子用の信号を含め、これら例示したものに限定されるものではない。
【0020】
テンプレート作成装置10は、読込部11に、一時記憶部12及び編集操作設定データ組込部13を介してマルチメディアテンプレートファイル出力部14が直列に接続されて構成される。また、一時記憶部12には表示部15が接続され、さらに操作入力部16が編集操作設定データ作成部17を介して編集操作設定データ組込部13に接続されている。
【0021】
読込部11は、不図示の記憶装置または通信インターフェイスで構成され、記憶媒体から、または通信により、マルチメディアデータを読み込む。一時記憶部12は、RAM等で構成され、読み込まれたマルチメディアデータを一時的に記憶する。表示部15はLCD等で構成され、各種情報を表示し、例えば、一時記憶部12に記憶されたマルチメディアデータの内容を表示する。操作入力部16はキーボード等で構成され、本テンプレート作成装置10を用いてMMTファイルの作成を行うオペレータ(以下、「クリエータ」と称する)が指示や設定等の入力操作を行うために用いられる。
【0022】
編集操作設定データ作成部17は、後述する編集操作設定データを作成し、編集操作設定データ組込部13は、作成された編集操作設定データを上記読み込まれたマルチメディアデータに組み込むことで、MMTファイルを生成する。マルチメディアテンプレートファイル出力部14は、不図示の通信インターフェイスまたは記憶装置を含み、生成されたMMTファイルを、記憶装置に記憶または外部に出力し、例えば、通信回線40を介して配信サーバ50に送信する。なお、テンプレート作成装置10の全体の制御は、不図示のCPUが行う。また、CPUが実行する制御プログラムは、不図示のROMまたはハードディスク等に格納されている。
【0023】
図3は、通信端末装置20の内部構成を示すブロック図である。通信端末装置20は、例えば、携帯電話として構成され、配信サーバ50から配信されたMMTファイルを編集する機能を有する。
【0024】
通信端末装置20は、制御部21(データ改変手段)に、通信インターフェイス(I/F)22(テンプレートファイル取得手段)、内部記憶装置23、操作部24(編集操作受付手段の一部)、一時記憶部25、再生制御部26、局所通信部27及び外部記憶装置28が、バス29で接続されて構成される。また、再生制御部26には、マルチメディアデータを再生出力するためのデバイス群である画像表示部30(提示手段、編集操作受付手段の一部)、音声出力器31、振動子32及び発光素子33が接続されている。画像表示部30はLCD等で構成され、音声出力器31は、音源回路及びサウンドシステム等で構成される。
【0025】
制御部21は、CPUのほか、ワークメモリとしてのRAM、及びCPUが実行する制御プログラムを格納するROM等で構成される(いずれも図示せず)。通信I/F22は、通信回線40を介して本通信端末装置20を配信サーバ50に接続する。内部記憶装置23は、フラッシュメモリ等で構成され、取得した未編集のMMTファイル36、編集済みのMMTファイル38、素材としての各種メディアデータ37等、各種データを保存する。操作部24は、キーやタッチパネル等で構成され、MMTファイルの編集者である本通信端末装置20のオペレータ(以下、「ユーザ」と称する)による入力操作を受け付ける。一時記憶部25は、RAM等で構成され、取得した未編集のMMTファイル35、編集に用いる各種メディアデータ39等、各種データを一時的に記憶する。
【0026】
なお、MMTファイルは、例えば、配信サーバ50から通信回線40を介して通信I/F22により受信することで取得され、まずは未編集のMMTファイル36として内部記憶装置23に記憶される。あるいは、局所通信部27や外部記憶装置28から読み込むことで取得してもよい。また、一時記憶部25内のMMTファイル35は、通常は、内部記憶装置23に記憶されているMMTファイル36を編集のために読み込んだものが該当するが、通信I/F22、局所通信部27、外部記憶装置28から直接読み込んだものであってもよい。ただし、これらMMTファイル35、36の取得のルートは限定されない。
【0027】
なお、メディアデータ37は、通信I/F22を通じて配信サーバ50から素材として受信したり、ユーザがカメラ撮像した画像を局所通信部27や外部記憶装置28から読み込んだりすることで得られる。また、メディアデータ39は、通常は、MMTファイルの編集時に内部記憶装置23からメディアデータ37を読み出したものが該当する。ただし、これらメディアデータ37、39の取得のルートは限定されない。
【0028】
再生制御部26は、メディアデータに基づいて、画像表示部30、音声出力器31、振動子32及び発光素子33を制御する。例えば、楽音データに、必要に応じて各種効果を付与し、音響に変換して音声出力器31から発音させる。あるいは、画像、文字列を画像表示部30の適切な位置に表示させたり、振動子32を振動させたり、発光素子33を発光させたりする。局所通信部27は、USB(ユニバーサル・シリアル・バス)、IEEE1394(アイトリプルイー1394)、LAN、Bluetooth(登録商標)等の近距離データ通信を行う手段である。外部記憶装置28は、メモリカード、フロッピ(登録商標)ディスクやCD−R等の可搬記憶媒体34に各種データを記憶させることができる。
【0029】
図4は、MMTファイルの構成を示す概念図である。同図(a)はMMTファイルのデータ構成を示し、同図(b)は、編集操作設定データで規定されるMMTファイル中の各メディアデータの時間的空間的配置状態を視覚的に示す。特に、各時間空間配置データ#は、再生出力タイミング順に時系列的に示されている。
【0030】
同図(a)に示すように、MMTファイルは、時間空間配置データ及びメディアデータから成るマルチメディアデータに、編集操作設定データが対応して付加され(組み込まれ)構成される。ここで、編集操作設定データは、対応するマルチメディアデータの事後的な編集の可否、及び許可される編集態様をそれぞれ規定するものである。MMTファイルを編集するユーザからみれば、編集操作設定データは、可変対象のメディアデータとその可変態様とを規定するものともいえる。具体的には、編集操作設定データは、次の内容例(a)〜(d)のような内容を規定する。
【0031】
内容例(a)時間空間配置データ#1で示す再生出力タイミングで再生出力可能なメディアデータは、画像aまたは画像bであり、これらのうちいずれかを任意に選択可能である。
【0032】
内容例(b)時間空間配置データ#2で示す再生出力タイミングで再生出力可能なメディアデータは、画像bであるが、画像bを実際に表示するか否かは任意に選択可能である。
【0033】
内容例(c)時間空間配置データ#3で示す再生出力タイミングで再生出力可能なメディアデータは、現在未規定(あるいは何らかのメディアデータが規定)であるが、再生出力されるべきメディアデータとして、ユーザが事後的に取得した任意の代替メディアデータを適用(あるいは規定済みのメディアデータを代替メディアデータに置換)してもよい。
【0034】
内容例(d)時間空間配置データ#4で示す再生出力タイミングで再生出力可能なメディアデータは、文字列aであるが、この文字列aの表示タイミング及び表示位置の少なくとも一方を所定の範囲内で変更してもよい。
【0035】
なお、時間空間配置データ#5、#6は、それぞれ波形a、波形bを規定するが、これらについては、編集操作設定データによって可変対象と規定されておらず、従って、ユーザが事後的に改変することはできない。このような改変が禁止されたメディアデータは、MMTファイルのクリエータにとっては、自己の創作意図として残しておきたい基幹部分に適用することが可能であり、これにより、例えば、テンプレートとしての創作意図の維持が可能となる。
【0036】
なお、これらは例示であり、マルチメディアデータに対してユーザが行い得るあらゆる編集操作を編集操作設定データとして規定することができる。
【0037】
図5は、テンプレート作成装置10で実行されるMMTファイル生成処理のフローチャートを示す図である。
【0038】
まず、読込部11によりマルチメディアデータが読み込まれ(ステップS501)、読み込まれたマルチメディアデータが一時記憶部12に記憶される(ステップS502)。次に、一時記憶部12に記憶されたマルチメディアデータが、クリエータにわかりやすい形に整形されて、表示部15に表示される。例えば、図4(b)に示すMMTファイル中のマルチメディアデータ部分のように、どのメディアデータがどのタイミングで再生出力されるか等が視覚的にわかるように表示される。
【0039】
クリエータは、表示されたマルチメディアデータを見て、操作入力部16にて、どのメディアデータについてどのような編集を許可するのかに関する指示を入力する。この指示入力に従って、編集操作設定データ作成部17により、上記(a)〜(d)に例示したような内容の編集操作設定データが作成される(ステップS504)。次に、編集操作設定データ組込部13により、上記作成された編集操作設定データが、上記読み込まれ記憶されたマルチメディアデータに組み込まれることで、MMTファイルが生成される(ステップS505)。そして、生成されたMMTファイルが、マルチメディアテンプレートファイル出力部14によって出力される(ステップS506)。本実施の形態では、通信回線40を介して配信サーバ50に送信される。その後、本処理を終了する。
【0040】
図6は、通信端末装置20で実行されるMMTファイル編集処理のフローチャートを示す図である。
【0041】
まず、MMTファイルを読み出す(ステップS601)。すなわち、事前に取得され内部記憶装置23に記憶されている未編集のMMTファイル36を読み出す。次に、上記読み出したMMTファイル36を、MMTファイル35として一時記憶部25に記憶させる(ステップS602)。なお、上述したように、MMTファイル35中には、マルチメディアデータと編集操作設定データとが含まれており、これらが対応関係を保ちながら記憶される。
【0042】
次に、編集対象となっているMMTファイルについてユーザが編集可能な内容を示す情報(以下、「編集可能内容情報」と称する)を、上記記憶された編集操作設定データに基づいて画像表示部30に表示させる(ステップS603)。例えば、「行える編集操作は次の通りです」とのメッセージに続けて、上記内容例(a)〜(d)に対応し、次のようなメッセージ(A)〜(D)が列挙される。なお、ここでは、各時間空間配置データ#nで規定される再生出力タイミングを「タイミング#n」と表す。
【0043】
(A)「タイミング#1」で再生出力可能なメディアデータとして、画像aまたは画像bのいずれかが選択できます。いずれを選択しますか?」
(B)「タイミング#2」で画像bを表示する/しないのいずれかを選択できます。いずれを選択しますか?」
(C)「タイミング#3」では任意の代替メディアデータを再生出力するように設定できます。あるいは、現在規定されているメディアデータに代えて、任意の代替メディアデータを再生出力するように設定できます。代替メディアデータを設定しますか?なお、設定可能な代替メディアデータは、「xxx」、「yyy」、「zzz」です。
【0044】
(D)「タイミング#4」で表示される文字列aについては、表示タイミング及び表示位置を変更できます。表示タイミングは早くまたは遅くできます。表示位置は、上下左右、右上、右下、左上、左下のいずれかの方向へ移動できます。変更しますか?
なお、編集可能内容情報はユーザにわかるように提示されればよく、上記のような例示の態様に限られない。また、「xxx」等のメディアデータは、例えば、一時記憶部25内に記憶されているメディアデータ39等である。また、上記メッセージ(D)に対しては、ユーザは、表示タイミング及び表示位置の変更量の値を入力する。なお、編集操作に関する指示は、操作部24を用いて入力可能である。
【0045】
次に、ユーザからの編集操作の入力を待ち、入力があったか否かを判別し(ステップS604)、入力が無かった場合はステップS606に進む一方、入力があった場合は、それに従って、MMTファイル内のマルチメディアデータを改変して(ステップS605)、前記ステップS606に進む。例えば、メッセージ(A)に対して、ユーザが画像aを選択すると、「タイミング#1」では画像aのみが表示されるように改変される。マルチメディアデータの改変は、時間空間配置データ#1を改変することで行うことができ、表示対象外となった画像bをマルチメディアデータから削除する処理を行う必要はない。特に、アンドゥ処理を設ける場合や、その後に他のユーザによる復元やさらなる編集の余地を残す場合に対応するためにも、メディアデータ自体は残しておくのが望ましい。
【0046】
同様に、メッセージ(B)に対して、例えば、ユーザが「表示しない」を選択すると、「タイミング#2」では画像bが表示されないように改変される。また、メッセージ(C)に対して、例えば、ユーザが「xxx」を代替メディアデータとして設定することを指示すると、「タイミング#3」では「xxx」が再生出力されるように改変される。また、メッセージ(D)に対して、例えば、ユーザが文字列aの表示タイミングを指定時間だけ早く、そして表示位置を指定量だけ右上に移動することを指示すると、「タイミング#4」で文字列aが、当初の設定よりも指定時間だけ早く指定量だけ右上の位置に表示されるように改変される。
【0047】
ステップS606では、ユーザからプレビューの指示がされたか否かを判別する。その判別の結果、プレビューの指示がされない場合は、ステップS608に進む一方、プレビューの指示がされた場合は、プレビュー処理を行って(ステップS607)、前記ステップS608に進む。ここでいうプレビュー処理は、編集途中のマルチメディアデータを再生出力することであり、各メディアデータに従って、再生制御部26による制御によって、画像表示部30、音声出力器31、振動子32及び発光素子33のうち該当する要素が動作する。これにより、ユーザは、編集状況を随時確認し、さらなる改変を行うかどうかを判断することができる。
【0048】
ステップS608では、編集処理を終了する指示がなされたか否かを判別し、なされない場合は前記ステップS603に戻る。なお、一旦改変がなされたマルチメディアデータであっても、編集操作設定データが許容する範囲であれば、同じ箇所について何回でも改変が可能であり、元に戻すことも可能である。従って、前記ステップS603では、編集可能内容情報に加えて、現在の選択状況をもわかるように提示するのが望ましい。
【0049】
一方、編集処理を終了する指示がなされた場合は、改変された編集済みのMMTファイルの出力指定を受け付ける(ステップS609)。この出力指定としては、例えば、通信I/F22または局所通信部27を通じた外部装置への送信、内部記憶装置23への編集済みMMTファイル38としての記憶、外部記憶装置28を介した可搬記憶媒体34への記憶が選択可能である。次に、出力指定に従って、編集済みのMMTファイルを出力して(ステップS610)、本処理を終了する。
【0050】
ここで、図6のMMTファイル編集処理のより詳細な具体例を、編集画面例と併せて説明する。
【0051】
図7(a)は図3の操作部24の詳細な構成を示す図、図7(b)は画像表示部30の表示画面例を示す図である。
【0052】
操作部24には、同図(a)に示すように、機能ボタン61〜63、カーソルキー64〜67、発呼ボタン68、終話ボタン69及びテンキー70等が備えられる。機能ボタン63は例えば決定キーとして利用される。カーソルキー64〜67は、テキストの入力画面等においてカーソル移動に利用され、カーソルキー64、67は、メニュー選択におけるフォーカス移動にも利用される。カーソルキー65、66にはまた、画像表示部30に表示される編集画面等の表示画面に応じた機能(ヘルプやプレビュー等)を割り当てることができる。機能ボタン61、62にも、画像表示部30に表示される画面に応じた機能(完了や戻る等)を割り当てることができる。テンキー70は、文字入力等にも用いることができる。
【0053】
MMTファイル編集処理においては、画像表示部30には、例えば、同図(b)に示すような編集画面が表示される。表示領域71には、画面表題が表示され、表示領域72には、上記編集可能内容情報をはじめとする各種情報、選択項目、入力要素等が、メニュー、アイコン、ボタン、テキストボックス等の態様で表示される。表示領域73、74、75、76にはそれぞれ、例えば、機能ボタン61、62、カーソルキー65、66に割り当てられた機能の対応表示がなされる。なお、表示領域72や表示領域73〜76には、ショートカットキーや割り当てられているキーに対応するアイコン等の情報を表示するようにしてもよい。
【0054】
図8(a)は、編集処理前のMMTファイル及びユーザライブラリの各データ構成の一部を例示する図である。図8(b)は、編集操作設定データにより規定されるマルチメディアデータの編集可能な内容を示す概念図である。
【0055】
図8(a)は、図4に対応しているが、MMTファイル中の編集操作設定データの図示は省略されている。図4と同様に、マルチメディアデータMMD中の各メディアデータMDの時間的空間的配置状態が視覚的に示されている。時間空間配置データLODは、対応するメディアデータMDの種類(楽音、テキスト、画像)に応じて、それぞれ異なるデータトラックTr1、Tr2、Tr3に再生出力タイミング順に時系列的に示されている。時間空間配置データLODは、対応するメディアデータMDの種類である楽音、テキスト、画像に応じて、頭文字「S」、「T」、「I」を付して、S1、T1、I1等のように表記されている。なお、図8(a)に示すように、各データトラックTr内において、「S1、T1、I5」については、太い実線で囲み、編集不可の時間空間配置データLODであることを示してある。
【0056】
また、ユーザライブラリULには、例えば、図3の内部記憶装置23内の各種メディアデータ37、39が相当する。時間空間配置データLODと同様に、メディアデータMDは、それらの種類に応じて、「ss1」、「is1」、「ts1」等、ユーザライブラリULは、「su1」、「iu1」等のように表記されている。
【0057】
図8(b)に示す概念図では、時間空間配置データLOD(S1、S2等)毎に、編集操作設定データで規定される編集可否及び編集可能な内容が示される。ここでは、上記内容例(a)、(c)に相当する内容が例示されており、各時間空間配置データLODに対応し、その再生出力タイミングで再生出力可能なメディアデータとして選択可能なもの(以下、「可変対象メディアデータMDa」と称する)が示されている。
【0058】
また、各時間空間配置データLODには、互いに異なる番号Enが対応付けられている。番号Enは、例えば、MMTファイルの作成時において、楽音、テキスト、画像の順に、且つ時系列的に連番として付される。
【0059】
編集可否または編集可能な内容をみてみると、例えば、同図(b)に示す番号E1の時間空間配置データLOD(S1)については、その再生出力タイミングで再生出力可能なメディアデータがss1で固定であり、変更できず、編集不可である。番号E2の時間空間配置データLOD(S2)については、その再生出力タイミングで再生出力可能なメディアデータとしてss2、ss3、ss4のうちいずれかを任意に選択可能である。
【0060】
番号E5の時間空間配置データLOD(T2)については、その再生出力タイミングで再生出力可能なメディアデータとして「*」が表記されており、この場合は、ワイルドカードのように、再生出力可能なメディアデータを、メディアデータMD及びユーザライブラリUL内でユーザが任意に選択可能である。ここでは、時間空間配置データLOD(T2)に対応するメディアデータMDの種類であるテキストデータ、例えば、テキストデータts1〜ts3(図8(a)参照)の中で選択可能である。なお、可変対象メディアデータMDaは、メディアデータMD及びユーザライブラリUL内に限定することなく、リアルタイムで入力される、テンキー70等を用いた文字入力によるテキストデータや、通信端末装置20に接続されたマイク、カメラ等から入力される楽音、画像データ(キャプチャしたデータでもよい)を、選択可能なメディアデータとして含めるようにしてもよい。
【0061】
このように、図8(b)の例では、編集可能な時間空間配置データLODは、番号E2、E3、E5〜E10に対応するものであり、番号E1、E4、E11に対応するものは編集不可となっている。
【0062】
図9、図10は、MMTファイル編集処理の詳細な具体例のフローチャートを示す図である。本処理におけるステップS901〜S904は、図6のステップS601、S602に相当し、ステップS905〜S908は、図6のステップS603〜S608に相当し、ステップS909〜S911は、図6のステップS609、S610に相当する。また、編集するMMTファイルとしては、図8に示すものを例にとって説明する。
【0063】
本処理では、編集可能内容情報が、図7(b)に示す態様で画像表示部30に設定、選択、乃至編集画面として表示され、操作に応じて遷移する。従って、フローチャート中において模式的な表示画面を用いる。なお、編集画面等を表示するための情報は、一時記憶部25に記憶されている。また、後述する「戻る」や「ジャンプ」等によって各画面から直前の画面や他の画面に遷移できるようにするために、設定処理済み画面の情報についても、消去することなくデータ、変数等と共に一時記憶部25に保持される。
【0064】
まず、起動画面を表示させ(ステップS901)、編集対象とするMMTファイルを選択するためのテンプレート選択画面を表示させる(ステップS902)。ユーザは、ここで、所望のMMTファイルを選択し、決定キーとして機能する機能ボタン63を押下する。すると、前記ステップS601と同様に、未編集のMMTファイル36が内部記憶装置23から読み出され、MMTファイル35として一時記憶部25に記憶される。
【0065】
ここで読み込みエラーが発生した場合は、読み込みエラー画面を表示させ(ステップS903)、前記ステップS902に戻る。この読み込みエラー画面では、例えば、エラー内容を知らせるためのダイアログが表示され、機能ボタン63の押下により直前の画面(ステップS902)あるいは所定の画面に移行する。あるいは、所定時間経過後に読み込みが再試行されるようにしてもよい。なお、エラー画面の適用はこのステップに限定されず、他の設定、選択、編集画面すべてにおいて適用可能である。また、エラーの場合だけでなく、成功の場合も、その旨を知らせるためのダイアログが表示されるようにしてもよい。
【0066】
前記ステップS902の画面においては、上記の他、「チェック」、「ヘルプ」、「終了」が選択可能である。「終了」が選択された場合は、本処理を終了する。「チェック」が選択された場合は、図10(a)に示すステップS1001に進んで、プレビュー再生を行う。すなわち、現在選択状態にあるMMTファイルを未編集のままの状態で楽音を含め再生し、プレビュー楽音再生やプレビュー画面の表示を行う。そして、再生出力が完了するか、「戻る」を選択することで、元の画面(ステップS902)に戻る。
【0067】
前記ステップS902の画面において「ヘルプ」が選択された場合は、図10(b)に示すステップS1002に進んで、ヘルプ画面を表示させる。すなわち、元の画面(ステップS902)に対応する設定方法等の補助説明(ヘルプ内容)を表示させる。「戻る」を選択することで、元の画面に戻る。なお、ヘルプ内容は予め内部記憶装置23に記憶されている。
【0068】
なお、図示はしないが、本処理においては、例えば、ジャンプ機能が所定のキー(「ジャンプキー」と称する)に割り当てられており、任意の画面において上記ジャンプキーが押下されると、図10(c)に示すステップS1003に進んで、ジャンプ先選択画面が表示される。そして、このジャンプ先選択画面で、ジャンプ先を選択して機能ボタン63を押下して決定することで、任意(一旦処理した画面だけでなく未処理の画面も含む)の画面に移行することができる。また、「戻る」を選択することで、元の画面に戻る。なお、以降の画面においても、「チェック」、「ヘルプ」、「戻る」が表示されている場合は、その操作や選択された場合の動作は前記ステップS902の画面の場合と同様である。
【0069】
図9に戻り、前記ステップS902で選択されたMMTファイルが適切に読み込まれると、ステップS904に進んで、MMTファイルの説明画面を表示させる。この画面では、選択されたMMTファイルの名称、付随するコメント、「次へ」の表示のほか、MMTファイルに含まれる時間空間配置データLODの個数、種類、再生に要する時間、編集前のデータサイズ、カテゴリ(例えば、「お祝い」や「一般」等)、各MMTファイルの編集可否等の情報が表示される。なお、カテゴリ選択を容易にするために、上記各種情報に基づいてソート機能を割り当てた所定のキーの操作によりカテゴリがソートされるようにしてもよい。
【0070】
この画面で、「戻る」が選択された場合は、直前の画面である前記ステップS902に戻る。なお、以降の画面においても、「戻る」が表示されている場合は、それを選択することで、前記ステップS904の画面の場合と同様に、直前の画面に戻ることができる。一方、「次へ」が選択、決定された場合は、後述する編集処理を実行する(ステップS905)。詳細は後述するように、この編集処理では、例えば後述する図11の時系列編集処理により、ユーザからの編集操作を受け付け、それに従って、MMTファイル内のマルチメディアデータを改変する。この編集処理から前記ステップS904に戻ることも可能であり、編集処理が完了すれば、ステップS906に進む。
【0071】
ステップS906では、コンテンツ情報入力画面、すなわち、上記編集処理で編集された後の編集済みMMTファイル38の作成者、作成日等を入力するための画面を表示させる。この画面では、「次へ」、「保存」等も表示される。この画面にて、「次へ」が選択、決定された場合は、名刺情報添付設定画面を表示させる(ステップS907)。ユーザはこの画面にて、「する」または「しない」のいずれかを選択、決定することで、編集済みMMTファイル38に名刺情報を添付するか否かを設定することができる。ここで、「名刺情報」とは、例えば、ユーザの氏名、所属先、住所、電話番号、電子メールアドレス、ホームページのURL等といったいわゆる名刺に記載されるような情報をフィールドに含むひとかたまりの情報であり、例えば、vCard(Electronic Business Cards:電子名刺)(登録商標)形式のデータである。
【0072】
そして、「する」が選択、決定された場合は、名刺情報添付処理を実行して(ステップS908)、ステップS909に進む一方、「しない」が選択、決定された場合は、名刺情報添付処理を実行することなく前記ステップS909に進む。また、前記ステップS906の画面で、「保存」が選択された場合は、名刺情報添付設定画面を表示させることなく、直ちに前記ステップS909に進む。
【0073】
ステップS909では、MMTファイルの保存画面を表示させる。ここでは、編集済みMMTファイル38をライブラリに保存するか否かを設定することができる。そして、「する」が選択、決定された場合は、ステップS910に進んで、ライブラリ、例えば内部記憶装置23や可搬記憶媒体34の所定のファイルフォルダに、編集済みMMTファイル38を記憶させる。一方、「しない」が選択、決定された場合は、ステップS911に進む。また、ステップS910の処理後も前記ステップS911に進む。
【0074】
ステップS911では、他の処理を実行する。例えば、図6のステップS610と同様に、通信I/F22または局所通信部27を通じた外部装置への送信(電子メール等として送信)を実行して、前記ステップS902に戻る。
【0075】
図9のステップS905の編集処理は、編集可能内容情報を提示して編集操作を受け付け、編集操作設定データにより許可される範囲内において、上記受け付けられた編集操作に基づいて、マルチメディアデータを改変するものであり、それには、各種態様が考えられるが、本実施の形態では、「時系列編集処理」、「番号順編集処理」、「リスト表示選択編集処理」、「再生並行編集処理」という4つの編集処理の態様を以下に例示する。なお、これらの編集処理の態様のうち、どれを適用するかは、ユーザの任意で選択可能であり、そのための機能を割り当てた所定のキー(例えば入力文字種の種類を指定する不図示の文字ボタン)を操作することで態様を選択することができる。また、編集処理の態様は任意の画面において切り替え可能に構成してもよく、その場合の画面表示については、変更後の態様にて、変更時に処理途中であった画面から開始されるようにしてもよいし、最初の画面から開始されるようにしてもよい。なお、編集処理の態様は上記例示した4つに限定されるものではない。
【0076】
〈時系列編集処理〉
図11は、時系列編集処理のフローチャートを示す図である。本時系列編集処理では、編集可能内容情報として、編集可能な時間空間配置データLODの編集画面が、編集操作設定データで規定される再生出力タイミングの早い順に(時系列的に)表示される。具体的には、図8の例では、番号Enでいえば、番号E7、E2、E8、E3、E9、E5、E10、E6の順に編集画面が表示される。各編集画面には、各時間空間配置データLODに対応する可変対象メディアデータMDaの選択受け付け画面が含められ、1画面で1つの時間空間配置データLODについて改変できる。
【0077】
図12(a)は、編集処理後のMMTファイル及びユーザライブラリの各データ構成の一部を例示する図である。図12(b)は、編集操作設定データにより規定される編集処理後のマルチメディアデータの編集可能な内容を示す概念図である。図12は、図8に対応している。
【0078】
図11の時系列編集処理において、各編集画面において表示される「ヘルプ」については、図9の場合と操作、動作が同様である。「戻る」が選択されると、時系列的に直前の編集画面に戻る。また、「チェック」については、現在選択、設定状態、あるいは入力状態となっているメディアデータがプレビューとして再生出力される。また、「完了」が選択された場合は、後続の編集画面を経ることなく本処理を終了する。また、各種項目が選択、設定、入力された後に、決定キーとして機能する機能ボタン63が押下されると、時系列的に直後の編集画面に移る。
【0079】
まず、ステップS1101では、編集可能で再生出力タイミングが最も早い、番号E7の時間空間配置データLOD(I1)の編集画面が表示され、それに対応する可変対象メディアデータMDaとして、選択可能な画像データis1、is2の選択項目が表示される。そして、可変対象メディアデータMDaが選択され、機能ボタン63が押下され決定されると、次のステップS1102に移行する。
【0080】
例えば、画像データis2が選択、決定された場合は、図12(b)に示すように、番号E7の時間空間配置データLOD(I1)に対応して、画像データis2が再生出力対象になる。なお、実線で囲まれているメディアデータが、編集の結果、再生出力対象とされたメディアデータである。また、画像データis1は選択されず、当該MMTファイルでは再生出力に用いられなくなったので、図12(a)では、点線で囲んで示してある。ただし、これは概念を示したものであり、上述したように、用いられなくなった画像データis1等のメディアデータをメディアデータMD内やユーザライブラリUL内から実際に削除する必要はない。なお、個別に削除するか否かを問い合わせる画面を表示させて、実際に削除処理を行えるようにしてもよいし、MMTファイルの保存や送信時に、用いられなくなったメディアデータの削除を行うように構成してもよい。
【0081】
なお、編集画面において、可変対象メディアデータMDaの表示態様としては、選択可能なメディアデータのみを表示する代わりに、選択不可のメディアデータの表示態様を異ならせて、選択できないようにする態様でもよい。以降の編集画面においても同様である。
【0082】
図11に戻り、編集可能で再生出力タイミングが次に早い時間空間配置データLODは、LOD(S2)とLOD(I2)であり(図8(a)参照)、これらの再生出力タイミングは同一である。本実施の形態では、同一再生出力タイミングの時間空間配置データLOD同士が重複する場合は、例えば、楽音、テキスト、画像の順に優先順位が決定されるようにしている。従って、ステップS1102では、楽音データに係る番号E2の時間空間配置データLOD(S2)の編集画面が表示され、それに対応する可変対象メディアデータMDaとして、選択可能な画像データss2、ss3、ss4の選択項目が表示される。なお、優先順位の設定は上記例に限定されるものでなく、例えば、同一再生出力タイミング同士では番号Enの若い順に決定してもよい。ステップS1102での編集画面表示及び編集操作の受け付けは、前記ステップS1101と同様で、ステップS1103や、ステップS1108においても同様である。
【0083】
ステップS1104では、番号E3の時間空間配置データLOD(S3)の編集画面が表示される。ここでは、対応する可変対象メディアデータMDaとして、「*」が設定されているので(図8(b)参照)、メディアデータMD内及びユーザライブラリUL内にある楽音データのすべての選択項目が表示される。そして、例えば、ユーザライブラリUL内の楽音データsu2が選択されると、楽音データsu2が楽音データss5としてメディアデータMD内に新たに追加されると共に(図12(a)参照)、楽音データss5が、時間空間配置データLOD(S3)に対応する再生出力対象とされる(図12(b)参照)。
【0084】
ステップS1105、S1107での編集画面表示及び編集操作の受け付けは、前記ステップS1104と同様である。また、ステップS1106では、番号E5の時間空間配置データLOD(T2)の編集画面が表示される。ここでは、対応する可変対象メディアデータMDaとして、「*」が設定されているので(図8(b)参照)、通常は、メディアデータMD内及びユーザライブラリUL内にあるテキストデータのすべての選択項目が表示される。しかし、本実施の形態では、不図示の切り替えキーにより、前述したような、テンキー70等で入力したテキストデータを採用するリアルタイム入力モードをユーザの任意で選択可能になっており、このステップS1106では、リアルタイム入力モードを採用した場合を例示する。
【0085】
例えば、ステップS1106の編集画面中に、メッセージ入力を受け付けるための入力領域77を表示させる。ユーザは、テンキー70等で文字入力を行い、「お元気ですか?」等のメッセージを入力することができる。このようにして新たに入力されたテキストデータ(ts4)は、メディアデータMD内に追加されると共に(図12(a)参照)、番号E5の時間空間配置データLOD(T2)に対応する再生出力対象とされる(図12(b)参照)。なお、図12(b)において、「input」は、ユーザにより入力されたデータであることを示す。
【0086】
ステップS1108で、項目選択後に機能ボタン63で決定されるか、または「完了」が選択されると、本処理を終了する。
【0087】
本時系列編集処理によれば、編集可能な時間空間配置データLODの編集画面が再生出力タイミング順に表示され、逐一編集していく方式をとるので、慣れないユーザにとっても編集操作が容易であり、漏れのない編集を行うことができる。
【0088】
なお、図11の各編集画面においては、選択項目がユーザにわかれば、メディアデータの名称に限らず、対応するアイコン等を表示してもよい。また、上記内容例(b)、(d)のような内容に適用する場合、例えば、上記内容例(b)については、対応する再生出力可能なメディアデータについて、「表示する/しない」のいずれかを選択させるように表示すればよく、上記内容例(d)については、表示タイミング及び表示位置の変更量の値を入力させるように表示すればよい。
【0089】
なお、再生出力対象として選択可能なメディアデータの候補が挙げられる場合、デフォルトのメディアデータを予め設定しておき、選択操作が行われなかった場合には、そのデフォルトのメディアデータを再生出力対象とするようにしてもよい。例えば、番号E2の時間空間配置データLOD(S2)では、対応する可変対象メディアデータMDaとして、楽音データss2、ss3、ss4が候補となるが、楽音データss2をデフォルトとして設定しておけば、ユーザによる選択操作がなされなかった場合は、楽音データss2が選択状態となって、再生出力対象とされる。
【0090】
なお、上記編集操作においては、複数の可変対象メディアデータMDaの中から再生出力対象を単に選択させるだけでなく、選択されたメディアデータにさらなる加工・編集を施せるように構成してもよい。例えば、テキストデータについては、テキストの編集、表示効果の編集、画像データについては、画像の編集、拡大、縮小、切り出し、画像効果・表示効果の編集、楽音データについては、切り出し、BGMメロディの編集、再生効果の編集等が考えられる。この場合は、選択後の加工・編集を許容するか否か、及び加工・編集の許容範囲等についても、編集操作設定データで規定しておくようにすればよい。
【0091】
〈番号順編集処理〉
図13は、番号順編集処理のフローチャートを示す図である。本番号順編集処理では、編集可能内容情報として、編集可能な時間空間配置データLODの編集画面が、番号Enの若い順に表示される。具体的には、図8の例では、図13のステップS1301〜S1308に示すように、番号E2、E3、E5、E6、E7、E8、E9、E10の順に編集画面が表示される。各編集画面の表示態様、編集操作の受け付け態様は、図11の時系列編集処理の場合と全く同様である。また、機能ボタン63で直後の編集画面に移ったり、「戻る」の押下で直前の編集画面に戻ったりする動作等も同様で、「チェック」、「完了」、「ヘルプ」の機能も同様である。
【0092】
本番号順編集処理によれば、容易な編集操作にて漏れのない編集を行うことに関し、時系列編集処理と同様の効果を奏することができる。
【0093】
〈リスト表示選択編集処理〉
図14は、リスト表示選択編集処理のフローチャートを示す図である。本リスト表示選択編集処理では、まず、ステップS1401で、コンテンツ編集画面、すなわち、編集可能な時間空間配置データLODの番号Enの一覧をリスト表示させる。そして、この一覧の中から、編集する要素、すなわち、編集対象とする時間空間配置データLODの選択を番号Enで受け付ける。なお、ここでは、編集可能な時間空間配置データLODを、番号Enを用いて規定し、すなわち番号Enを表示し選択させるが、番号Enの代わりに、再生出力タイミング等の時間情報や、何らかの対応表示を表示させ、選択させるようにしてもよい。
【0094】
ステップS1401のリスト表示画面において表示される「ヘルプ」については、図11の場合と操作、動作が同様である。「戻る」が選択されると、元の画面、ここでは図9のステップS904の画面に戻る。また、「チェック」については、現在選択、設定状態となっている番号Enの時間空間配置データLODがプレビューとして再生出力される。また、「完了」が選択された場合は本処理を終了する。
【0095】
ユーザにより所望の番号Enが選択され、機能ボタン63で決定されると、ステップS1402に進み、選択された番号Enの時間空間配置データLODの編集画面を表示させる。編集画面の表示態様、編集操作の受け付け態様は、図11の時系列編集処理における各編集画面の場合と基本的に同様であるが、この編集画面においてメディアデータが選択され、機能ボタン63で決定されたときは、前記ステップS1401のリスト表示画面に戻る点が異なる。また、ステップS1402の編集画面において本処理を終了するには、「完了」ボタンを用いる。
【0096】
本リスト表示選択編集処理によれば、編集したい時間空間配置データLODを指定して個々に編集操作を行うので、ユーザの意思に従って、より迅速な編集を行える。
【0097】
〈再生並行編集処理〉
図15は、再生並行編集処理のフローチャートを示す図である。本再生並行編集処理では、MMTファイルを再生しながら、編集可能な時間空間配置データLODの再生出力タイミングがきたら再生を一時停止し、編集完了後に再生を再開する。
【0098】
まず、ステップS1501では、時間空間配置データLODで規定される再生出力タイミングに応じて、対応する各データ、すなわち、対応して再生出力対象となっているメディアデータをMMTファイルから読み出してメディアデータの再生(プレビュー再生)を開始する。ここで、図8(a)に示すマルチメディアデータMMDでいえば、各データトラックTrの左端から右方に向かって時間が進行するので、不図示の読み出しポインタが左から右方に移動して、読み出しポインタが到達した時間空間配置データLODに対応して再生出力対象となっているメディアデータが読み出され、再生出力されることになる。
【0099】
次に、今回の(現読み出しポインタが示す)時間空間配置データLODが編集可能であるか否かを判別し(ステップS1502)、編集可能でない場合は、再生続行、すなわち、対応して再生出力対象となっているメディアデータを読み出して再生出力する処理を継続して(ステップS1503)、ステップS1507に進む。一方、今回の時間空間配置データLODが編集可能である場合は、再生を一時停止させる(ステップS1504)。なお、今回、時間空間配置データLODが複数存在する場合(例えば、図8(a)の「S1」と「I1」)、そのうち1つでも編集可能であれば(「I1」が編集可能)、ステップS1504に進む。
【0100】
なお、前記ステップS1504において、楽音データが再生中であった場合にその楽音データの再生を一時停止することになったときは、その楽音データの音声出力レベルを緩やかに減衰させることで、ノイズを減少させることが望ましい。例えば、図8(a)の「S2」の再生途中で「T3」の先頭に読み出しポインタが到達したときは、「S2」の音声出力レベルを緩やかに減衰させることで一時停止させる。
【0101】
次に、ステップS1505では、今回の編集可能な時間空間配置データLODに対応する編集画面を表示させると共に、編集操作を受け付ける。ここでは、例えば、図11の各ステップと同様の編集画面を表示させ、編集操作を受け付ける。そして、編集が完了すると、ステップS1506に進んで、一時停止されていたメディアデータから再生を再開する。
【0102】
なお、前記ステップS1505では、今回、編集可能な時間空間配置データLODと編集不可の時間空間配置データLODが混在している場合(例えば、図8(a)の「S1」と「I1」)や、編集可能な時間空間配置データLODが複数存在する場合(例えば、図8(a)の「S2」と「I2」)は、編集可能な時間空間配置データLODのすべてについての編集処理が完了してから、前記ステップS1506に進むようにする。
【0103】
次に、ステップS1507では、本MMTファイルのメディアデータの再生が完了したか否かを判別し、再生が完了していない場合は前記ステップS1501に戻る一方、再生が完了した場合は、本処理を終了する。
【0104】
なお、楽音データの再生一時停止時のノイズ減少という観点からは、他の制御処理の態様も考えられる。すなわち、前記ステップS1502において、今回の時間空間配置データLODが編集可能である場合において、その時点で、ある楽音データが再生中であった場合は、前記ステップS1504では、その楽音データの再生を一時停止するのではなく、読み出しポインタを一時停止させ、その楽音データに限ってデータ読み出しを最後まで継続して再生を完了してしまう、というように処理してもよい。
【0105】
本再生並行編集処理によれば、プレビュー再生しながら、編集可能な時間空間配置データLODの再生出力タイミングがきたら再生を一時停止し、編集完了後に再生を再開するので、編集後の状態をプレビューにより直ちに確認でき、使い勝手が向上する。
【0106】
なお、上記「時系列編集処理」、「番号順編集処理」、「リスト表示選択編集処理」、「再生並行編集処理」において、プレビュー再生を行う場合に、時間空間配置データLODに対応する再生出力対象のメディアデータが未選択である場合は、選択項目範囲内または範囲外のデフォルトのデータをプレビュー再生用に適用してもよい。あるいは、楽音データの場合は、無音のままとし、画面表示に「サウンド未設定」等のメッセージを表示させ、また、画像やテキストデータの場合は、「未設定」等のメッセージを表示させるようにしてもよい。また、プレビュー再生の際には、再生しているメディアデータに対応する番号Enやメディアデータの名称等、再生しているメディアデータを特定する情報を重畳して表示させるようにしてもよい。
【0107】
なお、上記4つの編集処理で表示される編集画面等においても、上記ジャンプ機能を所定のジャンプキーに割り当て、提示変更手段として用いて、任意の他の画面に速やかに移行できるようにしてもよい。
【0108】
なお、本実施の形態では、編集済みのMMTファイル自体(編集操作設定データが付随している)を出力するようにし、他のユーザ(例えば、他の通信端末装置20のオペレータ)が、編集操作設定データで許容される範囲内で同様の編集操作を行えるようにしたが、編集済みのMMTファイル中の編集操作設定データを除いた編集済みのマルチメディアデータのみを出力し、他のユーザには再編集ができないようにしてもよい。また、これらいずれの出力態様を採用するかは、ユーザが任意に決定できるようにしてもよいが、通信端末装置20がMMTファイルを取得した時点でそのMMTファイルに含まれる所定の出力設定情報(クリエータによって挿入される)によって自動的に決定されるようにしてもよい。また、上記所定の出力設定情報で、編集後のマルチメディアデータ乃至MMTファイルの出力先を、内部記憶のみ許容し外部転送は禁止、等のように規定できるように構成し、それによって、図6のステップS609における出力指定の範囲や図9のステップS911における送信先の範囲が限定されるようにしてもよい。
【0109】
本実施の形態によれば、既成のマルチメディアデータに事後的な編集の可否、及び許可される編集態様を規定する編集操作設定データを対応させて付加したMMTファイルを生成すると共に、それを、通信端末装置20が編集操作設定データにより許容される範囲内で改変可能にした。これにより、例えば、クリエータの創作意図にかかわる基幹部分については改変を禁止することで、創作意図や創作作品としての価値の維持が保障される一方、基幹部分以外で、ユーザは、マルチメディアデータを自分のアイデアによって改変することで、新たなマルチメディアデータを創作したという創作達成感が得られる。また、MMTファイルがある程度完成した一種のテンプレートとして提供され、しかも編集操作設定データによって、可能な編集操作が明確にされて、編集時にそれが提示されるので、改変の自由度が大きすぎることがなく、慣れないユーザにとっても編集操作が容易であり、マルチメディアデータの利用価値が一層高まることが期待される。特に、編集可能内容情報として、時系列編集処理等により編集画面を表示させて、編集操作を逐一受け付けるようにしたので、ユーザにとっては、編集操作が容易である。よって、テンプレートとしての創作意図を維持しつつユーザには手軽な編集操作にて編集による創作達成感を与えることができる。
【0110】
また、編集処理の態様を複数設け、ユーザの任意で好みの態様での編集作業を可能にしたので、広いユーザになじみやすく、使い勝手がよい。
【0111】
なお、通信端末装置20は通信機能を有し、MMTファイルを配信サーバ50から取得できるものとしたが、これに限るものでなく、編集機能を有すれば、通信機能は必ずしも有しなくてもよく、何らかの手段によりMMTファイルを取得できればよい。
【0112】
なお、テンプレート作成装置10のMMTファイル生成機能を通信端末装置20に具備させるように構成してもよい。その場合は、生成したMMTファイル内の編集操作設定データも編集可能に構成し、編集操作設定データに改変を加えて、それを再度、元のMMTファイルに埋め込むことで、新たなMMTファイルを生成し、出力するようにしてもよい。
【0113】
なお、本発明を達成するためのソフトウェアによって表される制御プログラム(本実施の形態では、図5の処理用のMMTファイル生成処理プログラム、図6または図9の処理用のMMTファイル編集処理プログラム)を記憶した記憶媒体を、本システム(テンプレート作成装置10、通信端末装置20)にそれぞれ読み出すことによって同様の効果を奏するようにしてもよく、その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、プログラムコードを電送媒体(通信I/F等)を介して供給してもよく、その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ROMのほか、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、CD−ROM、CD−R/RW、磁気テープ、不揮発性のメモリカード等を用いることができる。
【0114】
なお、本実施の形態では、図6(または図9)のMMTファイル編集処理は通信端末装置20で行われるものとしたが、同様のMMTファイル編集処理を、通信端末装置20からの指示に基づき配信サーバ50が行うようにしてもよい。そのためには、MMTファイル編集処理プログラムを通信または記憶媒体を通じて配信サーバ50に格納しておき、配信サーバ50が通信端末装置20からのコマンドを受けて処理を進めるように構成すればよい。例えば、図6のステップS604、S606、S608、S609に相当する処理については、通信端末装置20に対して入力指示を促し、入力されたコマンドを送信させるように制御すればよい。そして、処理結果である編集済みのMMTファイルを通信端末装置20に送信するようにすればよい。なお、通信端末装置20では、編集途中のプレビューも可能である。
【0115】
なお、同様に、配信サーバ50が、テンプレート作成装置10のMMTファイル生成機能を具備するように構成してもよい。その場合は、MMTファイル生成処理プログラムを通信または記憶媒体を通じて配信サーバ50に格納して実行されるようにすればよい。
【0116】
なお、テンプレート作成装置10、通信端末装置20は、いずれも通信回線40を介して種々のデータをやりとりするものとして説明したが、これらによるデータの交換は、フラッシュメモリや磁気記録媒体等の記憶媒体との間で行ってもよい。
【0117】
【発明の効果】
以上説明したように、本発明によれば、予め規定した範囲での編集操作を許容して、テンプレートとしての創作意図を維持しつつユーザには手軽な編集操作にて編集による創作達成感を与えることができる。
【図面の簡単な説明】
【図1】 本発明の一実施の形態に係るテンプレートファイル配信システムの全体構成を示すブロック図である。
【図2】 テンプレート作成装置の内部構成を示すブロック図である。
【図3】 通信端末装置の内部構成を示すブロック図である。
【図4】 MMTファイルの構成を示す概念図である。
【図5】 テンプレート作成装置で実行されるMMTファイル生成処理のフローチャートを示す図である。
【図6】 通信端末装置で実行されるMMTファイル編集処理のフローチャートを示す図である。
【図7】 操作部の詳細な構成を示す図(図(a))及び画像表示部の表示画面例を示す図(図(b))である。
【図8】 編集処理前のMMTファイル及びユーザライブラリの各データ構成の一部を例示する図(図(a))、及び編集操作設定データにより規定されるマルチメディアデータの編集可能な内容を示す概念図(図(b))である。
【図9】 MMTファイル編集処理の詳細な具体例のフローチャートの一部を示す図である。
【図10】 図9と共にMMTファイル編集処理の詳細な具体例のフローチャートの一部を示す図である。
【図11】 時系列編集処理のフローチャートを示す図である。
【図12】 編集処理後のMMTファイル及びユーザライブラリの各データ構成の一部を例示する図(図(a))、及び編集操作設定データにより規定される編集処理後のマルチメディアデータの編集可能な内容を示す概念図(図(b))である。
【図13】 番号順編集処理のフローチャートを示す図である。
【図14】 リスト表示選択編集処理のフローチャートを示す図である。
【図15】 再生並行編集処理のフローチャートを示す図である。
【符号の説明】
10 テンプレート作成装置、 11 読込部、 13 編集操作設定データ組込部、 17 編集操作設定データ作成部、 20 通信端末装置(テンプレートファイル編集装置)、 21 制御部(データ改変手段)、 22 通信I/F(テンプレートファイル取得手段)、 23 内部記憶装置、 24 操作部(編集操作受付手段の一部)、 25 一時記憶部、 26 再生制御部(再生出力手段)、 27 局所通信部、 28 外部記憶装置、 30 画像表示部(提示手段、編集操作受付手段の一部)、 40 通信回線、 50 配信サーバ、62 機能ボタン(提示変更手段の一部)

Claims (8)

  1. 再生出力可能な少なくとも1種類のメディアデータと該メディアデータの再生出力タイミング及び再生出力態様をそれぞれ規定するシーケンスデータとで成るマルチメディアデータと、前記マルチメディアデータの編集の可否及び許可される編集態様をそれぞれ規定する編集操作設定データとを対応付けて構成したマルチメディアテンプレートファイルを取得するテンプレートファイル取得手段と、
    前記テンプレートファイル取得手段により取得されたマルチメディアテンプレートファイル内の編集操作設定データに基づいて、前記マルチメディアテンプレートファイル内のマルチメディアデータに関する編集可能な内容を示す編集可能内容情報を提示する提示手段と、
    前記提示手段により提示された編集可能内容情報に従って、前記マルチメディアデータに対する編集操作を受け付ける編集操作受付手段と、
    前記編集操作設定データにより許可される範囲内において、前記編集操作受付手段により受け付けられた編集操作に基づいて、前記マルチメディアデータを改変するデータ改変手段とを有することを特徴とするテンプレートファイル編集装置。
  2. 前記提示手段は、前記シーケンスデータで規定される再生出力タイミングに基づいて前記編集可能内容情報を順次提示し、前記編集操作受付手段は、前記提示手段により提示された編集可能内容情報の順に前記編集操作を受け付けることを特徴とする請求項1記載のテンプレートファイル編集装置。
  3. 前記シーケンスデータには、順番を規定する番号情報が対応付けられており、前記提示手段は、前記シーケンスデータに対応付けられている番号情報で規定される順番で前記編集可能内容情報を順次提示し、前記編集操作受付手段は、前記提示手段により提示された編集可能内容情報の順に前記編集操作を受け付けることを特徴とする請求項1記載のテンプレートファイル編集装置。
  4. 前記提示手段は、前記編集可能内容情報に対応する一覧をリスト表示し、該リスト表示された一覧を用いて編集対象の編集可能内容情報を受け付けると共に該受け付けた編集対象の編集可能内容情報を表示し、前記編集操作受付手段は、前記表示された編集対象の編集可能内容情報に従って前記編集操作を受け付けることを特徴とする請求項1記載のテンプレートファイル編集装置。
  5. 前記提示手段により前記編集可能内容情報が提示されるのに際し、前記マルチメディアテンプレートファイル内のメディアデータを、前記シーケンスデータで規定される再生出力タイミングで再生出力する再生出力手段をさらに有し、編集が許可されているメディアデータの再生出力タイミングが到来したとき、前記提示手段は前記編集が許可されているメディアデータに関する編集可能内容情報を提示すると共に前記再生出力手段は前記メディアデータの再生出力を一時停止し、さらに、前記編集操作受付手段は、前記提示手段により提示された編集可能内容情報の順に前記編集操作を受け付け、前記データ改変手段は、前記編集操作受付手段により受け付けられた編集操作の順に前記マルチメディアデータの改変を実行し、前記再生出力手段は、前記データ改変手段により改変が実行された後に、前記一時停止したメディアデータの再生出力を再開することを特徴とする請求項1記載のテンプレートファイル編集装置。
  6. 前記提示手段により複数の編集可能内容情報が異なるタイミングで提示される場合に、提示内容を、現在提示されている編集可能内容情報から他の編集可能内容情報へとユーザの指示に基づき変更する提示変更手段を有することを特徴とする請求項1〜5のいずれか1項に記載のテンプレートファイル編集装置。
  7. 前記提示手段による編集可能内容情報の提示の態様は、予め設定された複数の態様の中から選択可能であることを特徴とする請求項1〜6のいずれか1項に記載のテンプレートファイル編集装置。
  8. 再生出力可能な少なくとも1種類のメディアデータと該メディアデータの再生出力タイミング及び再生出力態様をそれぞれ規定するシーケンスデータとで成るマルチメディアデータと、前記マルチメディアデータの編集の可否及び許可される編集態様をそれぞれ規定する編集操作設定データとを対応付けて構成したマルチメディアテンプレートファイルを取得するテンプレートファイル取得ステップと、
    前記テンプレートファイル取得ステップにより取得されたマルチメディアテンプレートファイル内の編集操作設定データに基づいて、前記マルチメディアテンプレートファイル内のマルチメディアデータに関する編集可能な内容を示す編集可能内容情報を提示する提示ステップと、
    前記提示ステップにより提示された編集可能内容情報に従って、前記マルチメディアデータに対する編集操作を受け付ける編集操作受付ステップと、
    前記編集操作設定データにより許可される範囲内において、前記編集操作受付ステップにより受け付けられた編集操作に基づいて、前記マルチメディアデータを改変するデータ改変ステップとをコンピュータに実行させることを特徴とするテンプレートファイル編集プログラム。
JP2003020820A 2002-03-25 2003-01-29 テンプレートファイル編集装置及び編集プログラム Expired - Fee Related JP3763300B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2003020820A JP3763300B2 (ja) 2002-03-25 2003-01-29 テンプレートファイル編集装置及び編集プログラム
KR1020030018225A KR100561125B1 (ko) 2002-03-25 2003-03-24 멀티미디어 템플릿 파일을 기억한 기억 매체, 템플릿 파일 작성 장치, 템플릿 파일 편집 장치, 템플릿 파일 배신 서버, 템플릿 파일 배신 시스템, 템플릿 파일 작성 프로그램을 기억한 기억 매체 및 템플릿 파일 편집 프로그램을 기억한 기억 매체
EP03006599A EP1351155A3 (en) 2002-03-25 2003-03-24 Multi-media template file distribution and editing system
CNB031073964A CN100461157C (zh) 2002-03-25 2003-03-25 多媒体模板文件创建装置、编辑装置及相关方法
TW092106636A TWI263907B (en) 2002-03-25 2003-03-25 Storage medium storing multi-media template file, template file creating program, or template file editing program, template file creating apparatus, template file editing apparatus, template file distributing server and template file distributing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002082831 2002-03-25
JP2003020820A JP3763300B2 (ja) 2002-03-25 2003-01-29 テンプレートファイル編集装置及び編集プログラム

Publications (2)

Publication Number Publication Date
JP2004007407A JP2004007407A (ja) 2004-01-08
JP3763300B2 true JP3763300B2 (ja) 2006-04-05

Family

ID=28043824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003020820A Expired - Fee Related JP3763300B2 (ja) 2002-03-25 2003-01-29 テンプレートファイル編集装置及び編集プログラム

Country Status (5)

Country Link
EP (1) EP1351155A3 (ja)
JP (1) JP3763300B2 (ja)
KR (1) KR100561125B1 (ja)
CN (1) CN100461157C (ja)
TW (1) TWI263907B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3927962B2 (ja) * 2003-10-31 2007-06-13 シャープ株式会社 データ処理装置およびデータ処理プログラム
EP1717721A1 (en) * 2004-02-05 2006-11-02 Matsushita Electric Industrial Co., Ltd. Content creation device and content creation method
JP4626179B2 (ja) * 2004-04-30 2011-02-02 ヤマハ株式会社 データ供給装置
KR100608824B1 (ko) * 2004-07-23 2006-08-08 엘지전자 주식회사 이동통신 단말기의 멀티미디어 메시지 작성 방법
JP4513644B2 (ja) * 2005-05-13 2010-07-28 ヤマハ株式会社 コンテンツ配信サーバ
JP4514671B2 (ja) * 2005-08-03 2010-07-28 シャープ株式会社 コンテンツ編集装置、コンピュータ読み取り可能なプログラム及びそれを記録した記録媒体
KR100819829B1 (ko) * 2006-05-24 2008-04-07 주식회사 퓨전소프트 이동통신단말기와 서버시스템에서 데이터베이스의 동적관리 및 공유 방법
WO2010126224A2 (ko) * 2009-04-28 2010-11-04 Park Sung-Jun 동영상 메시지 서비스 제공 방법
KR100922438B1 (ko) * 2009-04-28 2009-10-16 박성준 동영상 메시지 서비스 제공 방법
JP5493972B2 (ja) * 2010-02-17 2014-05-14 日本電気株式会社 データ変換装置、データ変換方法およびプログラム
CN107529073B (zh) * 2011-10-13 2020-09-11 三星电子株式会社 从内容提供装置接收与内容包消费有关的信令信息的装置
US9277198B2 (en) * 2012-01-31 2016-03-01 Newblue, Inc. Systems and methods for media personalization using templates
JP6145715B2 (ja) * 2013-09-18 2017-06-14 パナソニックIpマネジメント株式会社 サイネージデータ入力装置、サーバ及びサイネージデータ入力プログラム
CN109003633B (zh) * 2018-07-27 2020-12-29 北京微播视界科技有限公司 音频处理方法、装置和电子设备
CN111243632B (zh) * 2020-01-02 2022-06-24 北京达佳互联信息技术有限公司 多媒体资源的生成方法、装置、设备及存储介质
CN111309228A (zh) * 2020-02-12 2020-06-19 北京字节跳动网络技术有限公司 多媒体处理方法、装置及电子设备
CN112073649B (zh) * 2020-09-04 2022-12-13 北京字节跳动网络技术有限公司 多媒体数据的处理方法、生成方法及相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996027155A2 (en) * 1995-02-13 1996-09-06 Electronic Publishing Resources, Inc. Systems and methods for secure transaction management and electronic rights protection

Also Published As

Publication number Publication date
TWI263907B (en) 2006-10-11
EP1351155A2 (en) 2003-10-08
CN100461157C (zh) 2009-02-11
TW200400439A (en) 2004-01-01
KR20030079691A (ko) 2003-10-10
JP2004007407A (ja) 2004-01-08
CN1447333A (zh) 2003-10-08
KR100561125B1 (ko) 2006-03-15
EP1351155A3 (en) 2005-12-07

Similar Documents

Publication Publication Date Title
JP3763300B2 (ja) テンプレートファイル編集装置及び編集プログラム
US9183887B2 (en) Interactive multimedia apparatus
JP3987025B2 (ja) マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
JP4684626B2 (ja) 情報表示装置および情報表示方法、情報表示プログラム、記録媒体
KR20070102346A (ko) 디바이스의 XHTML-Print 데이터 생성 방법 및장치
JP4369494B2 (ja) マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
JP4369434B2 (ja) マルチメディアデータ処理装置、マルチメディアデータ処理プログラム、およびマルチメディアコンテンツデータのデータ構造
JP4340809B2 (ja) 移動体通信端末、および、プログラム
JP3092496B2 (ja) シナリオ編集装置
KR20090001592A (ko) 이동통신 단말기의 사용자 데이터를 이용한 영상 제작시스템, 장치 및 방법
JP4129162B2 (ja) コンテンツ作成実演システム及びコンテンツ作成実演方法
JP4954247B2 (ja) マルチメディアデータ処理装置およびマルチメディアコンテンツデータのデータ構造
JP3987096B2 (ja) マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
EP1436802B1 (en) Midi composer
JP2010191634A (ja) 動画作成プログラム、動画作成サービス提供システム、及び動画再生プログラム
JP2008083628A (ja) 音響信号処理装置及びプログラム
TWI246006B (en) Communication terminal device
JP2003099045A (ja) 自動作曲プログラム
JPH08272989A (ja) 映像使用による資料作成支援システム
JP6196129B2 (ja) 通信装置、制御装置、制御方法、及び制御プログラム
JPH09114632A (ja) 情報編集装置および情報再生装置
JP2007334263A (ja) カラオケデータ再生装置及びプログラム
JP2013171517A (ja) 情報処理装置、その制御方法およびプログラム
JPH0944499A (ja) マルチメディア文書構造編集装置
JP2003281461A (ja) 記憶媒体、並びにテンプレートファイル作成装置、編集装置、配信サーバ、配信システム、作成プログラム及び編集プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3763300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100127

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110127

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120127

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130127

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140127

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees