JP4665330B2 - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

情報処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4665330B2
JP4665330B2 JP2001100662A JP2001100662A JP4665330B2 JP 4665330 B2 JP4665330 B2 JP 4665330B2 JP 2001100662 A JP2001100662 A JP 2001100662A JP 2001100662 A JP2001100662 A JP 2001100662A JP 4665330 B2 JP4665330 B2 JP 4665330B2
Authority
JP
Japan
Prior art keywords
content
module
transmission condition
processing
digital video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001100662A
Other languages
English (en)
Other versions
JP2002300566A (ja
Inventor
純司 大井
圭吾 井原
幸郎 吉峯
孝則 西村
純子 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001100662A priority Critical patent/JP4665330B2/ja
Publication of JP2002300566A publication Critical patent/JP2002300566A/ja
Application granted granted Critical
Publication of JP4665330B2 publication Critical patent/JP4665330B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、処理を容易に切り替えることができるようにした、情報処理装置および方法、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
図1は、予めなされた予約に基づいてパーソナルコンピュータ3から提供されたコンテンツを、インターネット1を介してパーソナルコンピュータ4―1乃至4−3にリアルタイムで配信するライブ配信システムの構成例を示している。
【0003】
インターネット1には、電話網2および図示せぬインターネットサービスプロバイダを介してパーソナルコンピュータ3が接続され、また電話網や専用回線(共に図示せず)を介して複数(図1の例では、3個)のパーソナルコンピュータ4−1乃至4−3(以下、個々に区別する必要がない場合、単に、パーソナルコンピュータ4と称する)が接続されている。
【0004】
インターネット1にはさらに、ストリーミングサーバ5およびライブキャスティングサーバ6がそれぞれ接続されている。
【0005】
ストリーミングサーバ5およびライブキャスティングサーバ6は、専用線7にそれぞれ接続されている。
【0006】
サーバ接続専用ネットワーク8には、電話網2とストリーミングサーバ5が接続されている。すなわち、パーソナルコンピュータ3とストリーミングサーバ5は、電話網2およびサーバ接続専用ネットワーク8を介して接続される。
【0007】
パーソナルコンピュータ3の本体には、デジタルビデオカメラ11が取り付けられている。パーソナルコンピュータ3は、IEEE1394ポートおよびUSBポートを有しているので、IEEE1394ポートにデジタルビデオカメラ12を、そしてUSBポートにUSBカメラ13を接続することができる。
【0008】
パーソナルコンピュータ3は、希望する配信時間帯および配信先等を含む所定の情報を、インターネット1を介してライブキャスティングサーバ6に送信し、ライブ配信の予約を行う。ライブキャスティングサーバ6は、パーソナルコンピュータ3からの情報に基づいて配信予約を設定する。
【0009】
予約が設定されると、パーソナルコンピュータ3は、その予約に基づいてライブ配信したいコンテンツを、電話網2およびサーバ接続専用ネットワーク8を介してストリーミングサーバ5に送信する。
【0010】
具体的には、パーソナルコンピュータ3は、自分自身にコンテンツデータ(ビデオデータや音声データ)を供給する撮像装置(デジタルビデオカメラ11、デジタルビデオカメラ12、またはUSBカメラ13)を適宜検出し、検出した撮像装置から供給されるコンテンツデータを入力する。
【0011】
撮像装置から入力されるコンテンツデータの、例えばデータフォーマットは、撮像装置の種類によって異なるので、パーソナルコンピュータ3は、検出した撮像装置に応じて入力したコンテンツデータを処理し、その結果得られたデータを、ライブ配信の予約に基づいてストリーミングサーバ5に送信する。
【0012】
パーソナルコンピュータ3はまた、ストリーミングサーバ5にデータを供給するとき、データを、例えば、内蔵するHDDに記録することができる。
【0013】
パーソナルコンピュータ4−1乃至4−3は、パーソナルコンピュータ3が行った予約に基づいて、ストリーミングサーバ5から、パーソナルピュータ3が提供するコンテンツのライブ配信を受け、それを再生する。
【0014】
【発明が解決しようとする課題】
ところで、例えば、パーソナルコンピュータ3は、上述したように、検出した撮像装置から供給されるコンテンツデータを、撮像装置の種類に応じて処理する。パーソナルコンピュータ3はまた、その処理の結果得られたデータを、HDDに記憶させながら、ストリーミングサーバ5に送信したり、HDDに記憶させることなく、ストリーミングサーバ5に送信する。すなわち、パーソナルコンピュータ3は、複数の処理を適宜切り替えて実行する。
【0015】
しかしながら、従来において、実行する処理を切り替える際に、次に実行する処理の内容と、その処理を実現するために必要なモジュールの識別情報を所得し、その識別情報により識別されるモジュールを実体化し、実体化されたモジュールに、処理内容を通知するようにして、処理を切り替えることは開発されていなかった。
【0016】
本発明はこのような状況に鑑みてなされたものであり、例えば、パーソナルコンピュータ3が、次に実行する処理を実現するために必要なモジュールを実体化するようにして、処理を切り替えることができるようにするものである。
【0017】
【課題を解決するための手段】
本発明の情報処理装置は、ユーザにより設定される送信条件であって、デジタルビデオカメラから供給されるコンテンツに対して施されるエフェクト処理、およびコンテンツの保存に関する処理の内容を送信条件として取得する取得手段と、送信条件により指定された処理を情報処理装置によって実行するために必要なモジュールの識別情報を含む指示情報を生成する生成手段と、指示情報に含まれる識別情報により識別されるモジュールを、送信条件により指定された処理を実行するように接続することで、モジュールを実体化する実体化手段と、実体化されたモジュールに、送信条件により指定された処理の内容を通知する通知手段と、実体化されたモジュールの処理を経たコンテンツを、ストリーミングサーバに送信する送信手段とを備えることを特徴とする。
【0018】
本発明の情報処理方法は、ユーザにより設定される送信条件であって、デジタルビデオカメラから供給されるコンテンツに対して施されるエフェクト処理、およびコンテンツの保存に関する処理の内容を送信条件として取得する取得ステップと、送信条件により指定された処理を情報処理装置によって実行するために必要なモジュールの識別情報を含む指示情報を生成する生成ステップと、指示情報に含まれる識別情報により識別されるモジュールを、送信条件により指定された処理を実行するように接続することで、モジュールを実体化する実体化ステップと、実体化されたモジュールに、送信条件により指定された処理の内容を通知する通知ステップと、実体化されたモジュールの処理を経たコンテンツを、ストリーミングサーバに送信する送信ステップとを含むことを特徴とする。
【0019】
本発明の記録媒体のプログラムは、ユーザにより設定される送信条件であって、デジタルビデオカメラから供給されるコンテンツに対して施されるエフェクト処理、およびコンテンツの保存に関する処理の内容を送信条件として取得する取得ステップと、送信条件により指定された処理を情報処理装置によって実行するために必要なモジュールの識別情報を含む指示情報を生成する生成ステップと、指示情報に含まれる識別情報により識別されるモジュールを、送信条件により指定された処理を実行するように接続することで、モジュールを実体化する実体化ステップと、実体化されたモジュールに、送信条件により指定された処理の内容を通知する通知ステップと、実体化されたモジュールの処理を経たコンテンツを、ストリーミングサーバに送信する送信ステップとを含むことを特徴とする。
【0020】
本発明のプログラムは、ユーザにより設定される送信条件であって、デジタルビデオカメラから供給されるコンテンツに対して施されるエフェクト処理、およびコンテンツの保存に関する処理の内容を送信条件として取得する取得ステップと、送信条件により指定された処理を情報処理装置によって実行するために必要なモジュールの識別情報を含む指示情報を生成する生成ステップと、指示情報に含まれる識別情報により識別されるモジュールを、送信条件により指定された処理を実行するように接続することで、モジュールを実体化する実体化ステップと、実体化されたモジュールに、送信条件により指定された処理の内容を通知する通知ステップと、実体化されたモジュールの処理を経たコンテンツを、ストリーミングサーバに送信する送信ステップとを含む処理をコンピュータに実行させることを特徴とする。
【0021】
本発明の情報処理装置および方法、並びにプログラムにおいては、ユーザにより設定される送信条件であって、デジタルビデオカメラから供給されるコンテンツに対して施されるエフェクト処理、およびコンテンツの保存に関する処理の内容が送信条件として取得され、送信条件により指定された処理を情報処理装置によって実行するために必要なモジュールの識別情報を含む指示情報が生成され指示情報に含まれる識別情報により識別されるモジュールを、送信条件により指定された処理を実行するように接続することで、モジュールが実体化され、実体化されたモジュールに、送信条件により指定された処理の内容が通知され、実体化されたモジュールの処理を経たコンテンツが、ストリーミングサーバに送信される
【0022】
【発明の実施の形態】
図2は、本発明を適用したライブ配信システムの構成例を示している。このシステムには、図1のパーソナルコンピュータ3に代えて、パーソナルコンピュータ21が利用され、そのパーソナルコンピュータ21の本体には、デジタルビデオカメラ36が取り付けられている。他の装置は、図1における場合と同様であるので、その説明は適宜省略する。
【0023】
パーソナルコンピュータ21は、ユーザによるパーソナルコンピュータ21に対する操作により設定された、コンテンツデータをストリーミングサーバ5に送信する際の送信条件(例えば、HDD67に記憶させながら、送信するなど)から、送信条件に対応する処理内容と、その処理内容を実現するために必要なモジュールの識別情報を取得する。パーソナルコンピュータ21は、その識別情報により識別されるモジュールを実体化し、それに処理内容を通知することで、各モジュールに、通知した処理内容に対応する処理を実行させる。
【0024】
すなわち、新たな送信条件が設定されれば、その送信条件に応じたモジュールが新たに実体化され、パーソナルコンピュータ21における処理が切り替えられる。
【0025】
図3(A)乃至(D)は、パーソナルコンピュータ21の外観の構成例を示している。
【0026】
パーソナルコンピュータ21は、基本的に、キーボード31が上面に配置されたキーボード側筐体部32と、キーボード側筐体部32と、ヒンジ部33を介して回動自在に連結された、液晶画面34が配置された表示側筐体部35、およびキーボード側筐体部32の側面に取り付けられたデジタルビデオカメラ36から構成されている。図3(A)は、表示側筐体部35をキーボード側筐体部32に対して開いた状態を示す外観斜視図であり、図3(B)は、表示側筐体部35の背面と、キーボード側筐体部32の背面が対面するように、表示側筐体部35が開かれた状態を示す外観斜視図であり、図3(C)は、デジタルビデオカメラ36が図3(B)における場合と異なる方向を向いている状態を示す外観斜視図であり、そして図3(D)は、液晶画面34が、図3(A)における場合と反対方向を向いている状態を示す外観斜視図である。
【0027】
キーボード側筐体部32の側面にはさらに、複数(図3の例の場合、4つ)の操作ボタン37を配置したボタン筐体部38が取り付けられている。ボタン筐体部38は、キーボード側筐体部32の側端面に固定されて取り付けられている。なお、デジタルビデオカメラ36は、キーボード側筐体部32の側端面の一点で回転自在に支持されており、これにより、図3(A)中矢印Bで示す方向に回転自在になされている。
【0028】
表示側筐体部35は、キーボード側筐体部32に対して、図3(A)中、矢印Aで示す方向に相対回転することが可能になされている。また、表示側筐体部35の一端には、回転式の操作ダイヤル39が設けられている。この操作ダイヤル39に対しては、回転操作だけでなく、押圧操作を行うことが可能となっている。
【0029】
このような構造の下、パーソナルコンピュータ21は、図3(A)に示す一般的なノート型パーソナルコンピュータと類似した形態の他、図3(B)乃至(D)に示すような形態で使用することができる。
【0030】
またキーボード側筐体部32の側面には、図4に示すように、モデム40、IEEE1394ポート41、およびUSBポート42が取り付けられている。
【0031】
図5は、パーソナルコンピュータ21の内部の構成例を示している。
【0032】
中央処理装置(CPU(Central Processing Unit))51は、例えば、インテル(Intel)社製のペンティアム(Pentium:商標)プロセッサ等で構成され、ホストバス52に接続されている。ホストバス52には、さらに、ブリッジ53(いわゆる、ノースブリッジ)が接続されており、ブリッジ53は、AGP(Accelerated Graphics Port)50を有しているとともに、PCI(Peripheral Component Interconnect/Interface)バス56に接続されている。
【0033】
ブリッジ53は、例えば、インテル社製のAGP Host Bridge Controllerである400BXなどで構成されており、CPU51およびRAM(Random-Access Memory)54(いわゆる、メインメモリ)等を制御する。さらに、ブリッジ53は、AGP50を介して、ビデオコントローラ57を制御する。なお、このブリッジ53とブリッジ(いわゆる、サウスブリッジ(PCI-ISA Bridge))58とで、いわゆるチップセットが構成されている。
【0034】
ブリッジ53は、さらに、キャッシュメモリ55とも接続されている。キャッシュメモリ55は、SRAM(Static RAM)などのRAM54に比較して、より高速な書き込みまたは読み出しの動作を実行できるメモリで構成され、CPU51が使用するプログラムまたはデータをキャッシュする(一時的に記憶する)。
【0035】
なお、CPU51は、その内部に1次的な、キャッシュメモリ55に比較して、より高速に動作でき、CPU51自身が制御するキャッシュを有する。
【0036】
RAM54は、例えば、DRAM(Dynamic RAM)で構成され、CPU51が実行するプログラム、またはCPU51の動作に必要なデータを記憶する。
【0037】
ビデオコントローラ57は、AGP50を介してブリッジ53に接続されており、AGP50およびブリッジ53を介してCPU51から供給されるデータ(イメージデータまたはテキストデータなど)を受信して、受信したデータに対応するイメージデータを生成し、生成したイメージデータを、または受信したデータをそのまま、内蔵するビデオメモリに記憶する。ビデオコントローラ57は、表示側筐体部35の液晶画面34に、ビデオメモリに記憶されているイメージデータに対応する画像を表示させる。
【0038】
また、ビデオコントローラ57は、デジタルビデオカメラ36から供給されたビデオデータをPCIバス56を介して、RAM54に供給する。
【0039】
PCIバス56には、サウンドコントローラ64が接続されている。サウンドコントローラ64は、取り込まれた音声に対応するデータを生成して、RAM54に出力する。またサウンドコントローラ64は、スピーカ(図示さず)を駆動して、スピーカに音声を出力させる。
【0040】
また、PCIバス56にはモデム40が接続されている。モデム40は、電話網2に接続されており、電話網2、インターネット1、またはサーバ接続専用ネットワーク8を介する通信処理を実行する。
【0041】
PCカードスロットインターフェース111は、PCIバス56に接続され、スロット(図示せず)に装着されたインターフェースカード112から供給されたデータを、CPU51またはRAM54に供給するとともに、CPU51から供給されたデータをインターフェースカード112に出力する。
【0042】
ドライブ113は、PCカードスロットインターフェース111およびインターフェースカード112を介して、PCIバス56に接続されている。ドライブ113は、装着されている磁気ディスク121、光ディスク122、光磁気ディスク123、または半導体メモリ124に記録されているデータを読み出し、読み出したデータを、インターフェースカード112、PCカードスロットインターフェース111、およびPCIバス56を介して、RAM54に供給する。
【0043】
また、PCIバス56にはブリッジ58(いわゆる、サウスブリッジ)も接続されている。ブリッジ58は、例えば、インテル社製のPIIX4Eなどで構成されており、IDE(Integrated Drive Electronics)コントローラ/コンフィギュレーションレジスタ59、IDEインタフェース61、およびUSBインタフェース68等を内蔵している。ブリッジ58は、IDEバス62に接続されるデバイス、またはISA/EIO(Industry Standard Architecture / Extended Input Output)バス63若しくはI/Oインターフェース69を介して接続されるデバイスの制御等、各種のI/O(Input / Output)を制御する。
【0044】
IDEコントローラ/コンフィギュレーションレジスタ59は、いわゆるプライマリIDEコントローラとセカンダリIDEコントローラとの2つのIDEコントローラ、およびコンフィギュレーションレジスタ(configuration register)等から構成されている(いずれも図示せず)。
【0045】
プライマリIDEコントローラには、IDEバス62を介して、HDD67が接続されている。また、セカンダリIDEコントローラには、他のIDEバスに、図示しないCD−ROMドライブまたはHDDなどの、いわゆるIDEデバイスが装着されたとき、その装着されたIDEデバイスが電気的に接続される。
【0046】
HDD67は、配信プログラムP1およびキャプチャプログラムP2などのアプリケーションプログラムを記憶しているとともに、動画像データや各種制御データを記憶する。
【0047】
ISA/EIOバス63には、さらに、I/Oインターフェース69が接続されている。このI/Oインターフェース69は、エンベディットコントローラから構成され、その内部において、ROM70、RAM71、およびCPU72が相互に接続されている。
【0048】
ROM70は、IEEE1394インターフェースプログラム70A、キー入力監視プログラム70B、およびウェイクアッププログラム70C等を予め記憶している。
【0049】
IEEE1394インターフェースプログラム70Aは、IEEE1394ポート41を介して、IEEE1394の規格に準拠するデータ(パケットに格納されているデータ)を送受信する。
【0050】
キー入力監視プログラム70Bは、キーボード31や操作ボタン37等からの入力を監視するプログラムである。
【0051】
ウェイクアッププログラム70Cは、ブリッジ58のタイマ回路60から供給される現在時刻を示すデータに基づいて、予め設定された時刻になったかどうかをチェックして、設定された時刻になったとき、所定の処理(またはプログラム)等を起動するために、パーソナルコンピュータ21を構成する各チップの電源を管理するプログラムである。
【0052】
ROM70にはさらに、BIOS(Basic Input/Output System(基本入出力システム))70Dが書き込まれている。BIOS70Dは、OSまたはアプリケーションプログラムと周辺機器(キーボード31、またはHDD67等)との間でのデータの受け渡し(入出力)を制御する。
【0053】
RAM71は、IEEE1394I/Fレジスタ、キー入力ステイタス、若しくは設定時刻用の各レジスタ等を有している。
【0054】
また、このI/Oインターフェース69には、図示せぬコネクタを介して、キーボード31、操作ボタン37、操作ダイヤル39、およびIEEE1394ポート41等が接続され、キーボード31等に対する操作に対応した信号をISA/EIOバス63に出力する。また、I/Oインターフェース69は、IEEE1394ポート41を介して接続されている機器とのデータの送受信を制御する。さらに、I/Oインターフェース69には、電源制御回路73が接続されている。
【0055】
電源制御回路73は、内蔵バッテリ74またはAC電源に接続されており、各ブロックに、必要な電源を供給するとともに、内蔵バッテリ74または周辺装置のセカンドバッテリの充電のための制御を行う。
【0056】
図6は、デジタルビデオカメラ12の構成例を示している。
【0057】
CPU201は、ROM202に記憶されている、例えば、画像処理プログラムに従って画像処理を実行する。RAM203には、CPU201が画像処理を実行する上において必要なデータなどが適宜記憶される。CPU201乃至RAM203は、バス204を介して互いに接続されている。
【0058】
撮像部206は、外部の風景を撮像し、その結果得られた画像データを、CPU201に供給する。
【0059】
操作部207は、CPU201に所定の指令を入力するとき、ユーザにより適宜操作される。表示部208は、例えば、液晶ディスプレイ等により構成され、各種メニューや撮像された画像が表示される。ドライブ209は、装着されたデジタルビデオテープ210に記憶されているデータを、CPU201に供給したり、CPU201から供給された画像データを、デジタルビデオテープ210に出力して記憶させる。
【0060】
通信部211は、IEEE1394ポート(図示せず)等から構成されており、IEEE1394コードを介してパーソナルコンピュータ21と通信する。インタフェース205は、撮像部206乃至通信部211とCPU201との間に配置され、インタフェース処理を実行する。
【0061】
次に、ライブ配信を行う場合の、ライブ配信システムにおける処理手順を、図7のフローチャートを参照して説明する。
【0062】
ステップS1において、パーソナルコンピュータ21は、希望する配信時間帯および配信先等を含む所定の情報を、電話網2およびインターネット1を介してライブキャスティングサーバ6に送信し、ライブ配信の予約を行う。なお、ステップS1以降におけるパーソナルコンピュータ21の処理は、CPU51が実行する配信プログラムP1およびキャプチャプログラムP2により行われる。
【0063】
ステップS2において、パーソナルコンピュータ21は、ライブキャスティングサーバ6に対して、ステップS1で行った予約のリコンファームを行う。本システムでは、予約履行時刻(ライブ配信開始時刻)の、例えば、6時間前までに、予約のリコンファームを行う必要がある。リコンファームがなされると、ステップS1で行った予約の設定がなされるが、リコンファームされなかった場合、その予約は、強制的に取り消される。
【0064】
ステップS3において、パーソナルコンピュータ21は、ライブ配信開始時刻の所定時間(例えば、5分)前に、コンテンツの、ストリーミングサーバ5に対する送信を開始する。なお、ここでの処理の詳細は後述する。
【0065】
次に、ステップS4において、ストリーミングサーバ5は、パーソナルコンピュータ21が供給する(提供する)コンテンツを、パーソナルコンピュータ4にストリーム配信する。
【0066】
以上のような手順に従って、パーソナルコンピュータ21が提供したコンテンツが、パーソナルコンピュータ4にライブ配信される。
【0067】
次に、図7のステップS3の処理の詳細を、図8のフローチャートを参照して説明する。なお、図8のフローチャートにおいて、ステップS11乃至ステップS15の処理は、配信プログラムP1により行われ、ステップS21乃至ステップS30の処理は、キャプチャプログラムP2により行われる。
【0068】
ステップS11において、パーソナルコンピュータ21のCPU51(配信プログラムP1)は、コンテンツ送信の指示があるまで待機し、その指示があったとき、ステップS12に進む。例えば、この例の場合、ライブ配信開始時刻の5分前になったとき、ステップS12に進む。
【0069】
ステップS12において、配信プログラムP1は、予め設定された、コンテンツデータの送信条件を取得する。
【0070】
コンテンツデータの送信条件は、例えば、以下に説明する、ユーザによるパーソナルコンピュータ21に対する操作により設定される。
【0071】
ユーザは、所定の操作ボタン37を操作する。これにより、図9に示すようなライブ配信用の画面が、液晶画面34に表示される。
【0072】
この画面のエフェクト表示欄のA列およびB列には、それぞれ、エフェクト名が縦方向に並んで表示されている。この例の場合、A列には、図10に示すように、上から順番に「ハート絵柄表示」、「なし」、「拍手音」、および「アヒルの鳴き声」といったエフェクト名が表示されている。またB列には、図10に示すように、上から順番に「BGM1」、「白黒画像」、「タイトルインポーズ」、および「BGM2」といったエフェクト名が表示されている。
【0073】
ユーザは、キーボード31や操作ダイヤル39等を操作して、A列およびB列に表示されているエフェクト名から所望のエフェクト名をフォーカスF(図10中、太枠)内に表示させるようにして選択する。ユーザは、ここで選択したエフェクトを、配信されるコンテンツに付与することができる。
【0074】
例えば、図10の例のように、「拍手音」および「タイトルインポーズ」のエフェクト名を選択することで、コンテンツが再生されるとき、拍手音を出力させ、またコンテンツのタイトルをスーパーインポーズさせることができる。
【0075】
なおこのようにして選択されたA列のエフェクト名は、図9中、”ボタンA”の表示の下側の枠に、そして選択されたB列のエフェクト名は、”ボタンB”の表示の下側の枠に、それぞれ表示される。
【0076】
”プリセット”の表示の下側の枠には、継続的に付与されるエフェクトの名前が表示される。ここでのエフェクトとしては、配信される動画像データ中に日時の表示がスーパーインポーズされるエフェクト(名前が「日付」のエフェクト)などがある。
【0077】
ここでユーザにより選択されたエフェクト名は、送信条件として取得される。
【0078】
また、ユーザは、図9の画面上に、キーボード31や操作ダイヤル39等を操作して、図11に示すようなポップアップメニューを表示させ、その中の「設定」を選択することができる。これにより、液晶画面34には、図12に示すような、「ライブ配信回線」、「ライブ配信速度」、「接続設定」および「ライブ配信全般」のページを選択することができる画面が表示される。
【0079】
図12には、「ライブ配信全般」のページの表示例が示されている。このページには、ボックスAおよびボックスB等が表示される。
【0080】
例えば、ボックスAが選択されると、コンテンツデータは、ストリーミングサーバ5に送信される際、ローカルに保存される(例えば、HDD67に保存される)。入力欄にはコンテンツデータを保存するファイルが指定される。またボックスBが選択されると、一時的に、配信画像にビットマップが表示される。
【0081】
ユーザは、ボックスAやボックスBを選択することができる。ここでユーザにより選択されたボックスに対応する処理(例えば、コンテンツデータを、ストリーミングサーバ5に送信する際、HDD67に保存する処理)が、送信条件として取得される。
【0082】
また、例えば、ユーザのパーソナルコンピュータ21に対する所定の操作に対応する、コンテンツ送信の終了処理も、送信条件として取得される。
【0083】
次に、図8に戻り、ステップS13において、配信プログラムP1は、ステップS12で取得した送信条件に対応した指示情報を生成し、キャプチャプログラムP2に供給する。
【0084】
指示情報は、送信条件の内容(例えば、コンテンツに付与されるエフェクトの種類、コンテンツを送信する際にHDD67に保存する旨を表す情報等)、および送信条件の内容を実現するために必要なモジュールのGUID(Global Unique ID)から構成されている。
【0085】
ステップS21において、キャプチャプログラムP2は、配置プログラムP1から送信された指示情報が受信されたか否かを判定し、受信されたと判定した場合、ステップS22に進む。
【0086】
ステップS22において、キャプチャプログラムP2は、パーソナルコンピュータ21にコンテンツデータが入力されているか否かを判定し、入力されていると判定した場合、ステップS23に進み、入力されていないと判定した場合、ステップS21に戻る。
【0087】
ステップS23において、キャプチャプログラムP2は、ライブ配信されるコンテンツを供給するカメラ(以下、対応カメラと称する)を検出する。
【0088】
デジタルビデオカメラ12、USBカメラ13、またはデジタルビデオカメラ36のいずれか1つからコンテンツデータが入力されている場合、コンテンツデータを入力するそのカメラが対応カメラとして検出される。
【0089】
また、デジタルビデオカメラ12またはUSBカメラ13からコンテンツデータが入力されている場合、デジタルビデオカメラ36からコンテンツデータが入力されていても、デジタルビデオカメラ12またはUSBカメラ13が、対応カメラとして優先的に検出される。またデジタルビデオカメラ12およびUSBカメラ13の両方からコンテンツデータが入力されている場合、それらのカメラのうち時間的に後にパーソナルコンピュータ21に接続されたカメラが、対応カメラとして検出される。
【0090】
また、デジタルビデオカメラ12は、現在撮影している映像を、パーソナルコンピュータ21に供給することもできるし、デジタルビデオテープ210(図6)に記録されている画像データをパーソナルコンピュータ21に供給することもできる。
【0091】
ステップS24において、キャプチャプログラムP2は、ステップS23で検出した対応カメラに対応して、ステップS21で受信された指示情報に示されるGUIDのモジュールを実体化するとともに、送信条件の内容を対応するモジュールに通知する。
【0092】
例えば、ステップS12で、コンテンツデータに、「ハート絵柄表示」のエフェクト、「タイトルインポーズ」のエフェクト、および「日付」のエフェクトを付与すること、並びにコンテンツを送信する際にHDD67に保存することが、送信条件として取得された場合、キャプチャプログラムP2は、そのとき配信プログラムP1から供給されてきた指示情報(ステップS13)に基づいて、図13に示すように配置されたモジュールを生成(実体化)する。なお、このとき対応カメラは、デジタルビデオカメラ12であるとする。
【0093】
入力モジュール301は、デジタルビデオカメラ12から、IEEE1394の規格に準拠したコンテンツデータを入力するとともに、それをエフェクトモジュール302が解読可能なデータに変換し、エフェクトモジュール302に出力する。
【0094】
エフェクトモジュール302は、入力モジュール301からのコンテンツデータのビデオデータに、「ハート絵柄表示」のエフェクト、「タイトルインポーズ」のエフェクト、および「日付」のエフェクトなどを付与し、分配モジュール303に出力する。
【0095】
エフェクトモジュール302はまた、入力モジュール301からのコンテンツデータのオーディオデータに、所定の効果音を付与し、入力音と出力音のハウリングを防止するために、そのままエンコードモジュール305に出力する。
【0096】
分配モジュール303は、エフェクトモジュール302から入力されたビデオデータを、ビデオプレビューモジュール304とエンコードモジュール305に分配して出力する。
【0097】
ビデオプレビューモジュール304は、プレビュー画像を生成する。
【0098】
エンコードモジュール305は、エフェクトモジュール302からのオーディオデータおよび分配モジュール303からのビデオデータをエンコードし、その結果得られたデータを、記憶モジュール306と通信モジュール307のそれぞれに出力する。
【0099】
記憶モジュール306は、エンコードモジュール305からのデータを、HDD67に出力し記憶させる。通信モジュール307は、電話網2およびサーバ接続専用ネットワーク8を介して、エンコードモジュール305からのデータを、ストリーミングサーバ5に送信する。
【0100】
なお、図13の例では、対応カメラがデジタルビデオカメラ12であるので、デジタルビデオカメラ12からのデータを処理することができる入力モジュール301が実体化されているが、対応カメラがUSBカメラ13またはデジタルビデオカメラ36である場合、それからのデータを処理することができる他の入力モジュールが実体化される。
【0101】
対応カメラがデジタルビデオカメラ36である場合、デジタルビデオカメラ36から入力されるYUY2のデータを処理することができる入力モジュールが実体化される。
【0102】
対応カメラがUSBカメラ13である場合、USBカメラ13から入力されるデータを処理することができる入力モジュールが実体化される。またこの場合、その入力モジュールからのデータを、分配モジュール303だけに出力するエフェクトモジュールが実体化される。
【0103】
また、図13の例では、「ハート絵柄表示」のエフェクト、「タイトルインポーズ」のエフェクト、および「日付」のエフェクトを付与することができるエフェクトモジュール302が実体化されているが、コンテンツに付与するエフェクトの種類が変われば、それに対応したエフェクトモジュールが実体化される。
【0104】
また、図13の例では、コンテンツをローカルに保存するので、記憶モジュール306が実体化されているが、コンテンツをローカルに保存しない場合、記憶モジュール306は実体化されない。
【0105】
なお、先に行われたステップS24の処理により必要なモジュールがすでに実体化されている場合、そのモジュールの実体化はあらためては行われず、このとき送信条件の内容がすでに実体化されているモジュールに供給される。
【0106】
次に、ステップS25において、キャプチャプログラムP2は、対応カメラからのコンテンツデータの入力状態を確認し、コンテンツデータが入力されているか否かを判定する。ステップS25で、コンテンツデータが入力されていない(入力が停止している)と判定された場合、ステップS26に進む。
【0107】
ステップS26において、キャプチャプログラムP2は、コンテンツデータの入力が停止してから所定の時間経過したか否かを判定し、所定の時間経過していないと判定した場合、ステップS25に戻り、それ以降の処理を実行する。
【0108】
ステップS26で、所定の時間が経過したと判定された場合、ステップS27に進み、キャプチャプログラムP2は、対応カメラ以外のカメラからコンテンツデータが入力されているか否かを判定し、入力されていると判定した場合、ステップS28に進む。
【0109】
ステップS28において、キャプチャプログラムP2は、現在実体化されている全てのモジュールを消去し(初期化し)、ステップS23に戻り、それ以降の処理を実行する。
【0110】
このように対応カメラからのコンテンツデータの入力が停止しても、モジュールは、入力停止から所定の時間経過するまで初期化されない。すなわち、所定の時間内に対応カメラからのコンテンツデータの入力が再開されれば、そのモジュールにより処理が継続される。
【0111】
これにより、例えば、対応カメラがデジタルビデオカメラ12である場合において、その出力を、現在撮影されている映像からデジタルビデオテープ210に記録されている映像に切り換えるために、デジタルビデオカメラ12からのコンテンツデータの入力が一時的に停止しても、モジュールは初期化されないので、新たに入力されるデジタルビデオテープ210に記録されている映像データを迅速に処理して、ストリーミングサーバ5に送信することができる。
【0112】
ステップS27で、対応カメラ以外のカメラからもコンテンツデータが入力されていないと判定された場合、ステップS29に進み、キャプチャプログラムP2は、自分自身の動作を終了するための処理を開始し、ステップS30に進み、その処理が完了したとき、その旨を、配信プログラムP1に通知する。その後、処理は終了する。
【0113】
ステップS21で、指示情報が受信されていないと判定されたとき、ステップS25に進む。またステップS25で対応カメラから、コンテンツが入力されていると判定された場合、ステップS21に戻る。
【0114】
一方、配信プログラムP1は、ステップS13で、指示情報を生成し、それをキャプチャプログラムP2に供給した後、ステップS14に進み、送信条件が変更されたか否かを判定し、変更されたと判定した場合、ステップS12に戻り、それ以降の処理を実行する。
【0115】
ステップS14で送信条件が変更されていないと判定されたとき、ステップS15に進み、配信プログラムP1は、キャプチャプログラムP2からキャプチャプログラムP2の動作終了が完了した旨が通知されたか否かを判定し、通知されていないと判定した場合、ステップS14に戻り、通知されたと判定した場合、自分自身の動作を終了する。
【0116】
なお、以上においては、パーソナルコンピュータが、コンテンツの提供側および視聴側の端末である場合を例として説明したが、図14に示すように、携帯電話機500を利用することもできる。
【0117】
携帯電話機500は、中央にヒンジ部501を境に表示部502および本体503とに分けられており、ヒンジ部501を介して折り畳み可能に形成されている。
【0118】
表示部502には、上端左部に送受信アンテナ504が引き出しおよび収納可能な状態に取り付けられており、アンテナ504を介して基地局(図示せず)との間で電波を送受信するようになされている。
【0119】
また表示部502には、上端中央部にほぼ180度の角度範囲で回転自在なカメラ部505が設けられており、カメラ部505のCCDカメラ506により所望の撮像対象を撮像し得るようになされている。
【0120】
表示部502には、その表面に液晶ディスプレイ508が設けられており、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号および発信履歴等の他、電子メールの内容、簡易ホームページ、カメラ部505のCCDカメラ506で撮像した画像を表示し得るようになされている。
【0121】
一方、本体503には、その上面に「0」乃至「9」の数字キー、発呼キー、リダイヤルキー、終話および電源キー、クリアキー及び電子メールキー等の操作キー509が設けられており、操作キー509を用いて各種指示を入力し得るようになされている。
【0122】
また本体503には、操作キー509の下部にメモリボタン510やマイクロフォン511が設けられており、メモリボタン510によって電話中の間の音声を録音し得るとともに、マイクロフォン511によって通話時のユーザの音声を集音するようになされている。
【0123】
さらに本体503には、操作キー509の上部に回転自在なジョグダイヤル512が本体503の表面からわずかに突出した状態で設けられており、ジョグダイヤル512に対する回動操作に応じて液晶ディスプレイ508に表示されているリストや電子メールのスクロール動作、簡易ホームページの捲き動作及び画像の送り動作等を実行するようになされている。
【0124】
本体503には、その左側面上部に抜差自在なメモリスティック(商標)513を装着するためのメモリスティックロット514が設けられており、メモリボタン510が押下されるとメモリスティック513に通話中の相手の音声を録音したり、ユーザの操作に応じて電子メール、簡易ホームページ、CCDカメラ506で撮影した画像を記録することができる。
【0125】
また本体503には、IEEE1394ポート515およびUSBポート516が設けられている。すなわち、携帯電話機500には、デジタルビデオカメラ12およびUSBカメラ13を接続することができる。
【0126】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【0127】
この記録媒体は、例えば、図5に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク121(フロッピディスクを含む)、光ディスク122(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク123(MD(Mini-Disk)を含む)、若しくは半導体メモリ124などによりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているハードディスク67などで構成される。
【0128】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0129】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0130】
【発明の効果】
本発明の情報処理装置および方法、並びにプログラムによれば、ユーザにより設定される送信条件であって、デジタルビデオカメラから供給されるコンテンツに対して施されるエフェクト処理、およびコンテンツの保存に関する処理の内容が送信条件として取得され、送信条件により指定された処理を情報処理装置によって実行するために必要なモジュールの識別情報を含む指示情報が生成され指示情報に含まれる識別情報により識別されるモジュールを、送信条件により指定された処理を実行するように接続することで、モジュールが実体化され、実体化されたモジュールに、送信条件により指定された処理の内容が通知され、実体化されたモジュールの処理を経たコンテンツが、ストリーミングサーバに送信されるようにしたので、処理を容易に切り替えることができる。
【図面の簡単な説明】
【図1】従来のライブ配信システムの構成例を示す図である。
【図2】本発明を適用したライブ配信システムの構成例を示す図である。
【図3】図2のパーソナルコンピュータ21の外観の構成例を示す図である。
【図4】 図2のパーソナルコンピュータ21の外観の構成例を示す他の図である。
【図5】図2のパーソナルコンピュータ21の内部の構成例を示すブロック図である。
【図6】図2のデジタルビデオカメラ12の内部の構成例を示すブロック図である。
【図7】ライブ配信システムの処理手順を説明するフローチャートである。
【図8】図7のステップS3の処理の詳細を説明するフローチャートである。
【図9】パーソナルコンピュータ21の液晶画面34の表示例を示す図である。
【図10】パーソナルコンピュータ21の液晶画面34の他の表示例を示す図である。
【図11】パーソナルコンピュータ21の液晶画面34の他の表示例を示す図である。
【図12】パーソナルコンピュータ21の液晶画面34の他の表示例を示す図である。
【図13】図8のステップS24の処理を説明する図である。
【図14】携帯電話機500の外観の構成例を示す図である。
【符号の説明】
1 インターネット, 2 電話網, 4 パーソナルコンピュータ, 5 ストリーミングサーバ, 6 ライブキャスティングサーバ, 7 専用線, 8 サーバ接続専用ネットワーク, 12 デジタルビデオカメラ, 13 USBカメラ, 21 パーソナルコンピュータ, 36 デジタルビデオカメラ, 51 CPU, 67 HDD

Claims (4)

  1. コンテンツをストリーミング配信するストリーミングサーバに、デジタルビデオカメラから供給されるコンテンツを送信する情報処理装置において、
    ユーザにより設定される送信条件であって、デジタルビデオカメラから供給されるコンテンツに対して施されるエフェクト処理、および前記コンテンツの保存に関する処理の内容を送信条件として取得する取得手段と、
    前記送信条件により指定された処理を前記情報処理装置によって実行するために必要なモジュールの識別情報を含む指示情報を生成する生成手段と、
    前記指示情報に含まれる前記識別情報により識別される前記モジュールを、前記送信条件により指定された処理を実行するように接続することで、前記モジュールを実体化する実体化手段と、
    前記実体化された前記モジュールに、前記送信条件により指定された前記処理の内容を通知する通知手段と、
    前記実体化されたモジュールの処理を経た前記コンテンツを、前記ストリーミングサーバに送信する送信手段と
    を備えることを特徴とする情報処理装置。
  2. コンテンツをストリーミング配信するストリーミングサーバに、デジタルビデオカメラから供給されるコンテンツを送信する情報処理装置の情報処理方法において、
    ユーザにより設定される送信条件であって、デジタルビデオカメラから供給されるコンテンツに対して施されるエフェクト処理、および前記コンテンツの保存に関する処理の内容を送信条件として取得する取得ステップと、
    前記送信条件により指定された処理を前記情報処理装置によって実行するために必要なモジュールの識別情報を含む指示情報を生成する生成ステップと、
    前記指示情報に含まれる前記識別情報により識別される前記モジュールを、前記送信条件により指定された処理を実行するように接続することで、前記モジュールを実体化する実体化ステップと、
    前記実体化された前記モジュールに、前記送信条件により指定された前記処理の内容を通知する通知ステップと、
    前記実体化されたモジュールの処理を経た前記コンテンツを、前記ストリーミングサーバに送信する送信ステップと
    を含むことを特徴とする情報処理方法。
  3. コンテンツをストリーミング配信するストリーミングサーバに、デジタルビデオカメラから供給されるコンテンツを送信する情報処理装置のプログラムにおいて、
    ユーザにより設定される送信条件であって、デジタルビデオカメラから供給されるコンテンツに対して施されるエフェクト処理、および前記コンテンツの保存に関する処理の内容を送信条件として取得する取得ステップと、
    前記送信条件により指定された処理を前記情報処理装置によって実行するために必要なモジュールの識別情報を含む指示情報を生成する生成ステップと、
    前記指示情報に含まれる前記識別情報により識別される前記モジュールを、前記送信条件により指定された処理を実行するように接続することで、前記モジュールを実体化する実体化ステップと、
    前記実体化された前記モジュールに、前記送信条件により指定された前記処理の内容を通知する通知ステップと、
    前記実体化されたモジュールの処理を経た前記コンテンツを、前記ストリーミングサーバに送信する送信ステップと
    を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
  4. コンテンツをストリーミング配信するストリーミングサーバに、デジタルビデオカメラから供給されるコンテンツを送信する情報処理装置のプログラムにおいて、
    ユーザにより設定される送信条件であって、デジタルビデオカメラから供給されるコンテンツに対して施されるエフェクト処理、および前記コンテンツの保存に関する処理の内容を送信条件として取得する取得ステップと、
    前記送信条件により指定された処理を前記情報処理装置によって実行するために必要なモジュールの識別情報を含む指示情報を生成する生成ステップと、
    前記指示情報に含まれる前記識別情報により識別される前記モジュールを、前記送信条件により指定された処理を実行するように接続することで、前記モジュールを実体化する実体化ステップと、
    前記実体化された前記モジュールに、前記送信条件により指定された前記処理の内容を通知する通知ステップと、
    前記実体化されたモジュールの処理を経た前記コンテンツを、前記ストリーミングサーバに送信する送信ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。
JP2001100662A 2001-03-30 2001-03-30 情報処理装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4665330B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001100662A JP4665330B2 (ja) 2001-03-30 2001-03-30 情報処理装置および方法、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001100662A JP4665330B2 (ja) 2001-03-30 2001-03-30 情報処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2002300566A JP2002300566A (ja) 2002-10-11
JP4665330B2 true JP4665330B2 (ja) 2011-04-06

Family

ID=18954086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001100662A Expired - Fee Related JP4665330B2 (ja) 2001-03-30 2001-03-30 情報処理装置および方法、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4665330B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4725390B2 (ja) * 2006-03-29 2011-07-13 日本ビクター株式会社 コンテンツ再生装置、コンテンツ再生方法、およびコンテンツ再生用プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0888836A (ja) * 1994-09-20 1996-04-02 Toshiba Corp テレビジョン受信機
JPH10150631A (ja) * 1996-09-20 1998-06-02 Sony Corp 画像処理方法および装置
JPH11232309A (ja) * 1998-02-10 1999-08-27 Fuji Xerox Co Ltd 情報処理システム
JPH11313287A (ja) * 1998-04-28 1999-11-09 Brother Ind Ltd 動画データ圧縮装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0888836A (ja) * 1994-09-20 1996-04-02 Toshiba Corp テレビジョン受信機
JPH10150631A (ja) * 1996-09-20 1998-06-02 Sony Corp 画像処理方法および装置
JPH11232309A (ja) * 1998-02-10 1999-08-27 Fuji Xerox Co Ltd 情報処理システム
JPH11313287A (ja) * 1998-04-28 1999-11-09 Brother Ind Ltd 動画データ圧縮装置

Also Published As

Publication number Publication date
JP2002300566A (ja) 2002-10-11

Similar Documents

Publication Publication Date Title
US7817863B2 (en) Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system
JP2004240878A (ja) 携帯型電子機器、表示方向切り替え方法およびプログラム
JP4137034B2 (ja) 携帯型情報処理装置、スライド表示起動方法およびスライド表示起動プログラム
JP2004064526A (ja) 情報処理端末及びガイダンス表示プログラム
RU2426279C2 (ru) Способ персонализации работы портативного устройства связи и соответствующее ему портативное устройство связи
JP2002359694A (ja) 携帯電話機及びそれを用いたデータ記憶システム
JP4403931B2 (ja) 電子機器、表示方法および表示プログラム
JP4665330B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP3359526B2 (ja) デジタル電子カメラ
JP2008147950A (ja) 情報処理装置
JP4869574B2 (ja) 携帯型情報処理装置、情報提示方法および情報提示プログラム
JP4022806B2 (ja) 表示装置および表示方法、並びにプログラムおよび記録媒体
JP2002271768A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2008065699A (ja) 情報処理装置
JP2001339123A (ja) フレキシブル基板、および情報処理装置
JP2005142626A (ja) 電子機器、情報処理方法、および記録媒体
JP2002271766A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2002297798A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2002271765A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
Godwin-Jones Mobile computing and language learning
KR100772579B1 (ko) 휴대 단말기의 인터페이스 제공 방법 및 장치
JP2007116524A (ja) 通信装置及び該通信装置における放送内容記憶方法
JP4826016B2 (ja) 情報処理装置、情報処理方法、およびプログラム格納媒体
JP4051935B2 (ja) 情報収集システム、情報収集方法および情報収集プログラム
JP2003178061A (ja) 情報処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees