JP4717361B2 - マルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システム - Google Patents
マルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システム Download PDFInfo
- Publication number
- JP4717361B2 JP4717361B2 JP2004052932A JP2004052932A JP4717361B2 JP 4717361 B2 JP4717361 B2 JP 4717361B2 JP 2004052932 A JP2004052932 A JP 2004052932A JP 2004052932 A JP2004052932 A JP 2004052932A JP 4717361 B2 JP4717361 B2 JP 4717361B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- multimedia content
- user
- terminal
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、マルチメディアコンテンツを情報端末に配信する際に、コンテンツ素材の表示形式を配信先の情報端末に最適な形に変換しコンテンツを構築するアダプテーション技術に関し、特に、サービスマンや営業マンが訪問先などで必要な情報に容易にアクセスできてコンテンツを携帯型の情報端末で視聴可能なコンテンツを構築するアダプテーション技術に関する。
近年、ブロードバンドの普及や携帯型の情報端末を始めとする情報端末の高機能化および高性能化により、さまざまなデバイスでマルチメディアコンテンツを受信する環境が整ってきており、それに伴ってマルチメディアコンテンツを受信する需要が高まってきている。マルチメディアコンテンツを携帯型の情報端末上で受信し表示する際に問題になるのは、携帯型の情報端末においては、１．携帯型の情報端末の表示領域が狭い、２．携帯型の情報端末の操作性が悪いという、携帯性が高いが故の短所である。
コンテンツを生成するにしても、予め携帯型の情報端末を対象として生成されているならば、上記の短所を考慮して生成したコンテンツとなっているはずであるが、実際にはコンテンツ素材だけが最初に作成されていて、状況に応じてＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｏｒ）や携帯電話などでコンテンツを視聴する場合が多く、上記の短所を動的に克服する何らかの新しい方式が必要となってくる。特にオフィス業務などでは、情報の共有化が必須のものとして求められており、様々な種類の端末を利用して、時間および場所を問わず情報を取得するニーズがある。
このようなニーズに対応するために、例えば、送信対象の機器に応じて送信するメールのフォーマットを変化させながら送信する技術が公開されている（特許文献１）。
しかしながら、この技術ではメールを送信する際に送信対象の機器に応じたメールのフォーマットを変化させて送信するだけであった。即ち、多種多様な一般的なマルチメディアコンテンツを、同様に多種多様な情報端末に対して動的に好適な形式に変化させて送信することはできなかった。
そのため、既に蓄積されているコンテンツ素材を利用して、視聴者であるコンテンツの受信者が視聴する装置に応じて見やすい形態に動的に再構成して提供する必要があった。特に、携帯型の情報端末を利用してコンテンツを視聴する際には、表示画面が狭く情報処理能力も低いため、視聴者が必要とする情報をコンテンツ素材から的確に検索し、上記の短所を克服できるようにコンテンツ素材を再構築し、利用者に見やすい形状で表示できる機能が必要となっていた。
本発明は上記の問題に鑑みてなされ、その目的はマルチメディアコンテンツを携帯型の情報端末に適した形で生成するマルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システムを提供することである。
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、ネットワークで接続する情報端末の属性情報および前記情報端末のユーザに関する属性情報を蓄積するユーザデータベース端末を検索し、映像、音声、およびテキスト情報を含むマルチメディアコンテンツを蓄積する素材データベース端末から、前記情報端末に対応する表示形式でマルチメディアコンテンツを生成するマルチメディアコンテンツ生成装置であって、前記情報端末から前記ネットワークを介して情報を受信せずに、定期的に前記ユーザデータベース端末を監視して、前記情報端末のユーザに関する属性情報に基づいてコンテンツ生成トリガを発行するとともに、前記情報端末のユーザに関する属性情報を取得するユーザ情報検索手段と、前記ユーザ情報検索手段が前記コンテンツ生成トリガを発行したときに、前記素材データベース端末に蓄積されたマルチメディアコンテンツを、前記ユーザ情報検索手段によって取得された前記情報端末のユーザに関する属性情報に基づいて検索する素材検索手段と、前記情報端末向けにマルチメディアコンテンツを生成するための各種のルールの設定を受け付けるルール設定手段と、前記ルール設定手段によって受け付けられたルールを解析するルール解析手段と、前記素材検索手段によって検索されたマルチメディアコンテンツを、前記ルール解析手段によって解析されたルールに基づいて再構築する再構築手段と、前記再構築手段によって再構築されたマルチメディアコンテンツに対して、前記情報端末で表示するレイアウトを定めてコンテンツを生成するレイアウト手段と、を備えることを特徴とする。
この請求項１にかかる発明によれば、ユーザ情報検索手段が情報端末からネットワークを介して情報を受信せずに、定期的にユーザデータベース端末を監視して、情報端末のユーザに関する属性情報に基づいてコンテンツ生成トリガを発行するとともに、情報端末のユーザに関する属性情報を取得し、ユーザ情報検索手段がコンテンツ生成トリガを発行したときに、素材検索手段が素材データベース端末に蓄積されたマルチメディアコンテンツを、ユーザ情報検索手段によって取得された情報端末のユーザに関する属性情報に基づいて検索し、ルール設定手段が情報端末向けにマルチメディアコンテンツを生成するための各種のルールの設定を受け付け、ルール解析手段が受け付けられたルールを解析し、再構築手段が検索されたマルチメディアコンテンツを、解析されたルールに基づいて再構築し、レイアウト手段が再構築されたマルチメディアコンテンツに対して、情報端末で表示するレイアウトを定めてコンテンツを生成する。この構成によって、情報端末やユーザの属性情報に基づいて自動的にマルチメディアコンテンツを検索し、検索したマルチメディアコンテンツを解析し、再構築し、レイアウト処理を施すので、情報端末のユーザは何ら操作をすることなく、ユーザに適したマルチメディアコンテンツをユーザにとって見やすく表示することが可能となる。
また、請求項２にかかる発明は、請求項１に記載のマルチメディアコンテンツ生成装置において、前記情報端末のユーザに関する属性情報が、前記ユーザのプロファイルおよびスケジュールを含むことを特徴とする。
この請求項２にかかる発明によれば、ユーザ情報検索手段がユーザのプロファイルおよびスケジュールを含む属性情報に基づいてコンテンツ生成トリガを発行し、素材検索手段が素材データベース端末に蓄積されたマルチメディアコンテンツを、ユーザのプロファイルおよびスケジュールを含む属性情報に基づいて検索する。この構成によって、ユーザのプロファイルやスケジュールに応じて必要と想定されるときに、必要と想定されるマルチメディアコンテンツが検索されるので、各種の情報端末の仕様に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを、ユーザのプロファイルおよびスケジュールに応じて適切に生成することができる。
また、請求項３にかかる発明は、請求項１または２に記載のマルチメディアコンテンツ生成装置において、前記素材検索手段は、前記素材データベース端末に蓄積されたコンテンツに付加されたキーワード、識別記号、作成日時、作成場所、作成者、重要度情報のうち１つ以上の情報を含むメタデータに基づいて、前記素材データベース端末を検索するものであることを特徴とする。
この請求項３にかかる発明によれば、素材検索手段は、素材データベース端末に蓄積されたコンテンツに付加されたキーワード、識別記号、作成日時、作成場所、作成者、重要度情報のうち１つ以上の情報を含むメタデータに基づいて、素材データベース端末を検索する。この構成によって、より詳細な検索によるマルチメディアコンテンツを、各種の情報端末の仕様に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、請求項４にかかる発明は、請求項１〜３のいずれか１つに記載のマルチメディアコンテンツ生成装置において、前記情報端末のユーザに関する情報は、前記情報端末から前記ユーザデータベース端末に設定されることを特徴とする。
この請求項４にかかる発明によれば、情報端末からユーザデータベース端末に設定された情報端末のユーザに関する属性情報に基づいて、ユーザ情報検索手段がコンテンツ生成トリガを発行し、素材検索手段が素材データベース端末に蓄積されたマルチメディアコンテンツを検索する。この構成によって、情報端末から設定されたユーザに関する属性情報に基づいて自動的にユーザのニーズに応じたマルチメディアコンテンツが検索されるので、各種の情報端末の仕様に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを、情報端末から設定されたユーザに関する属性情報に応じて適切に生成することができる。
また、請求項５にかかる発明は、請求項１〜４のいずれか１つに記載のマルチメディアコンテンツ生成装置において、前記再構築手段は、前記素材検索手段が検索したコンテンツを、前記コンテンツの所定の情報量およびメディア変換方式に基づいて再構築するものであることを特徴とする。
この請求項５にかかる発明によれば、再構築手段は、素材検索手段が検索したコンテンツを、コンテンツの所定の情報量およびメディア変換方式に基づいて再構築する。この構成によって、マルチメディアコンテンツの情報量と変換方式を考慮に入れてマルチメディアコンテンツを生成するので、各種の情報端末の仕様により詳細に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、請求項６にかかる発明は、請求項１〜５のいずれか１つに記載のマルチメディアコンテンツ生成装置において、前記再構築手段は、前記ルール解析手段が解析したルールに基づいて、前記情報端末に対応して、生成するコンテンツの情報量の制限、映像の一部のカット、音声情報のみを残した映像フレームのカット、静止画のサイズの変更、および色情報量の削減の処理の少なくともいずれかの処理を施すことを特徴とする。
この請求項６にかかる発明によれば、再構築手段は、ルール解析手段が解析したルールに基づいて、情報端末に対応して、生成するコンテンツの情報量の制限、映像の一部のカット、音声情報のみを残した映像フレームのカット、静止画のサイズの変更、および色情報量の削減の処理の少なくともいずれかの処理を施す。この構成によって、各種の情報端末の仕様により詳細に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、請求項７にかかる発明は、請求項１〜６のいずれか１つに記載のマルチメディアコンテンツ生成装置において、前記再構築手段は、前記コンテンツの画像情報を文字認識しテキスト情報に変換する処理を施すものであることを特徴とする。
この請求項７にかかる発明によれば、再構築手段は、コンテンツの画像情報を文字認識しテキスト情報に変換する処理を施す。この構成によって、画像情報をテキスト情報に変換するのでデータ量を抑えてマルチメディアコンテンツを生成するので、送信効率を高め、各種の情報端末の仕様により詳細に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、請求項８にかかる発明は、請求項１〜７のいずれか１つに記載のマルチメディアコンテンツ生成装置において、前記再構築手段は、前記コンテンツの画像情報を、前記情報端末での画面表示において分割して表示するように前記コンテンツを再構築するものであることを特徴とする。
この請求項８にかかる発明によれば、再構築手段は、コンテンツの画像情報を、情報端末での画面表示において分割して表示するようにコンテンツを再構築する。この構成によって、各種の情報端末の仕様により詳細に対応し、マルチメディアコンテンツを情報端末において分割表示させるので、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、請求項９にかかる発明は、ネットワークで接続する情報端末の属性情報および前記情報端末のユーザに関する属性情報を蓄積するユーザデータベース端末を検索し、映像、音声、およびテキスト情報を含むマルチメディアコンテンツを蓄積する素材データベース端末から、前記情報端末に対応する表示形式でマルチメディアコンテンツを生成するマルチメディアコンテンツ生成方法において、前記情報端末から前記ネットワークを介して情報を受信せずに、定期的に前記ユーザデータベース端末を監視して、前記情報端末のユーザに関する属性情報に基づいてコンテンツ生成トリガを発行するとともに、前記情報端末のユーザに関する属性情報を取得するユーザ情報検索工程と、前記ユーザ情報検索工程において前記コンテンツ生成トリガが発行されたときに、前記素材データベース端末に蓄積されたマルチメディアコンテンツを、前記ユーザ情報検索工程において取得された前記情報端末のユーザに関する属性情報に基づいて検索する素材検索工程と、前記情報端末向けにマルチメディアコンテンツを生成するための各種のルールの設定を受け付けるルール設定工程と、前記ルール設定工程において受け付けられたルールを解析するルール解析工程と、前記素材検索工程において検索されたマルチメディアコンテンツを、前記ルール解析工程において解析されたルールに基づいて再構築する再構築工程と、前記再構築工程において再構築されたマルチメディアコンテンツに対して、前記情報端末で表示するレイアウトを定めてコンテンツを生成するレイアウト工程と、を含むことを特徴とする。
この請求項９にかかる発明によれば、ユーザ情報検索工程において情報端末からネットワークを介して情報を受信せずに、定期的にユーザデータベース端末を監視して、情報端末のユーザに関する属性情報に基づいてコンテンツ生成トリガを発行するとともに、情報端末のユーザに関する属性情報を取得し、ユーザ情報検索工程においてコンテンツ生成トリガが発行されたときに、素材検索工程において素材データベース端末に蓄積されたマルチメディアコンテンツを、ユーザ情報検索工程において取得された情報端末のユーザに関する属性情報に基づいて検索し、ルール設定工程において情報端末向けにマルチメディアコンテンツを生成するための各種のルールの設定を受け付け、ルール解析工程において受け付けられたルールを解析し、再構築工程において検索されたマルチメディアコンテンツを解析されたルールに基づいて再構築し、レイアウト工程において再構築されたマルチメディアコンテンツに対して、情報端末で表示するレイアウトを定めてコンテンツを生成する。この構成によって、情報端末やユーザの属性情報に基づいて自動的にマルチメディアコンテンツを検索し、検索したマルチメディアコンテンツを解析し、再構築し、レイアウト処理を施すので、情報端末のユーザは何ら操作をすることなく、ユーザに適したマルチメディアコンテンツをユーザにとって見やすく表示することが可能となる。
また、請求項１０にかかる発明は、請求項９に記載のマルチメディアコンテンツ生成方法において、前記素材検索工程は、前記素材データベース端末に蓄積されたコンテンツに付加されたキーワード、識別記号、作成日時、作成場所、作成者、重要度情報のうち１つ以上の情報を含むメタデータに基づいて、前記素材データベース端末を検索するものであることを特徴とする。
この請求項１０にかかる発明によれば、素材検索工程は、素材データベース端末に蓄積されたコンテンツに付加されたキーワード、識別記号、作成日時、作成場所、作成者、重要度情報のうち１つ以上の情報を含むメタデータに基づいて、素材データベース端末を検索する。この構成によって、より詳細な検索によるマルチメディアコンテンツを、各種の情報端末の仕様に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、請求項１１にかかる発明は、請求項９または１０に記載のマルチメディアコンテンツ生成方法において、前記情報端末のユーザに関する属性情報は、前記ユーザのプロファイルおよびスケジュールを含むことを特徴とする。
この請求項１１にかかる発明によれば、ユーザ情報検索工程においてユーザのプロファイルおよびスケジュールを含む属性情報に基づいてコンテンツ生成トリガが発行され、素材検索工程において素材データベース端末に蓄積されたマルチメディアコンテンツが、ユーザのプロファイルおよびスケジュールを含む属性情報に基づいて検索される。この構成によって、ユーザのプロファイルやスケジュールに応じて必要と想定されるときに、必要と想定されるマルチメディアコンテンツが検索されるので、各種の情報端末の仕様に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを、ユーザのプロファイルおよびスケジュールに応じて適切に生成することができる。
また、請求項１２にかかる発明は、請求項９〜１１のいずれか１つに記載のマルチメディアコンテンツ生成方法において、前記再構築工程は、前記ルール解析工程において解析したルールに基づいて、前記情報端末に対応して、生成するコンテンツの情報量の制限、映像の一部のカット、音声情報のみを残した映像フレームのカット、静止画のサイズの変更、および色情報量の削減の処理の少なくともいずれかの処理を施すものであることを特徴とする。
この請求項１２にかかる発明によれば、再構築工程は、ルール解析工程において解析したルールに基づいて、情報端末に対応して、生成するコンテンツの情報量の制限、映像の一部のカット、音声情報のみを残した映像フレームのカット、静止画のサイズの変更、および色情報量の削減の処理の少なくともいずれかの処理を施す。この構成によって、各種の情報端末の仕様により詳細に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、請求項１３にかかる発明は、請求項９〜１２のいずれか１つに記載のマルチメディアコンテンツ生成方法において、前記再構築工程は、前記コンテンツの画像情報を文字認識しテキスト情報に変換する処理を施すものであることを特徴とする。
この請求項１３にかかる発明によれば、再構築工程は、コンテンツの画像情報を文字認識しテキスト情報に変換する処理を施す。この構成によって、画像情報をテキスト情報に変換しデータ量を抑えてマルチメディアコンテンツを生成するので、送信効率を高め、各種の情報端末の仕様により詳細に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、請求項１４にかかる発明は、請求項９〜１３のいずれか１つに記載のマルチメディアコンテンツ生成方法において、前記再構築工程は、前記コンテンツの画像情報を、前記情報端末での画面表示において分割して表示するように前記コンテンツを再構築するものであることを特徴とする。
この請求項１４にかかる発明によれば、再構築工程は、コンテンツの画像情報を、情報端末での画面表示において分割して表示するようにコンテンツを再構築する。この構成によって、各種の情報端末の仕様により詳細に対応し、マルチメディアコンテンツを情報端末において分割表示させるので、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、請求項１５にかかる発明は、プログラムであって、請求項９〜１４のいずれか１つに記載の方法をコンピュータに実行させることを特徴とする。
この請求項１５にかかる発明によれば、請求項９〜１４のいずれか１つに記載の方法をコンピュータに実行させることができる。
また、請求項１６にかかる発明は、ネットワークで接続し、情報端末に対応する表示形式でマルチメディアコンテンツを生成するマルチメディアコンテンツ生成システムであって、前記情報端末の属性情報および前記情報端末のユーザに関する属性情報を蓄積するユーザデータベース装置と、映像、音声、およびテキスト情報を含むマルチメディアコンテンツを蓄積する素材データベース装置と、前記情報端末から前記ネットワークを介して情報を受信せずに、定期的に前記ユーザデータベース装置を監視して、前記情報端末のユーザに関する属性情報に基づいてコンテンツ生成トリガを発行するとともに、前記情報端末のユーザに関する属性情報を取得するユーザ情報検索装置と、前記ユーザ情報検索装置が前記コンテンツ生成トリガを発行したときに、前記素材データベース装置に蓄積されたマルチメディアコンテンツを、前記ユーザ情報検索装置によって取得された前記情報端末のユーザに関する属性情報に基づいて検索する素材検索装置と、前記情報端末向けにマルチメディアコンテンツを生成するための各種のルールの設定を受け付けるルール設定装置と、前記ルール設定装置によって受け付けられたルールを解析するルール解析装置と、前記素材検索装置によって検索されたマルチメディアコンテンツを、前記ルール解析装置によって解析されたルールに基づいて再構築する再構築装置と、前記再構築装置によって再構築されたマルチメディアコンテンツに対して、前記情報端末で表示するレイアウトを定めてコンテンツを生成するレイアウト装置と、を備えることを特徴とする。
この請求項１６にかかる発明によれば、ネットワークで接続し、情報端末に対応する表示形式でマルチメディアコンテンツを生成するマルチメディアコンテンツ生成システムであって、情報端末の属性情報および情報端末のユーザに関する属性情報を蓄積するユーザデータベース装置と、映像、音声、およびテキスト情報を含むマルチメディアコンテンツを蓄積する素材データベース装置と、情報端末からネットワークを介して情報を受信せずに、定期的にユーザデータベース装置を監視して、情報端末のユーザに関する属性情報に基づいてコンテンツ生成トリガを発行するとともに、情報端末のユーザに関する属性情報を取得するユーザ情報検索装置と、ユーザ情報検索装置がコンテンツ生成トリガを発行したときに、素材データベース装置に蓄積されたマルチメディアコンテンツを、ユーザ情報検索装置によって取得された情報端末のユーザに関する属性情報に基づいて検索する素材検索装置と、情報端末向けにマルチメディアコンテンツを生成するための各種のルールの設定を受け付けるルール設定装置と、ルール設定装置によって受け付けられたルールを解析するルール解析装置と、素材検索装置によって検索されたマルチメディアコンテンツを、ルール解析装置によって解析されたルールに基づいて再構築する再構築装置と、再構築装置によって再構築されたマルチメディアコンテンツに対して、情報端末で表示するレイアウトを定めてコンテンツを生成するレイアウト装置と、を備える。この構成によって、情報端末やユーザの属性情報に基づいて自動的にマルチメディアコンテンツを検索し、検索したマルチメディアコンテンツを解析し、再構築し、レイアウト処理を施すので、情報端末のユーザは何ら操作をすることなく、ユーザに適したマルチメディアコンテンツをユーザにとって見やすく表示することが可能となる。
本発明（請求項１）にかかるマルチメディアコンテンツ生成装置は、情報端末やユーザの属性情報に基づいて自動的にマルチメディアコンテンツを検索し、検索したマルチメディアコンテンツを解析し、再構築し、レイアウト処理を施すので、情報端末のユーザは何ら操作をすることなく、ユーザに適したマルチメディアコンテンツをユーザにとって見やすく表示することが可能となる。
また、本発明（請求項２）にかかるマルチメディアコンテンツ生成装置は、ユーザのプロファイルやスケジュールに応じて必要と想定されるときに、必要と想定されるマルチメディアコンテンツが検索されるので、各種の情報端末の仕様に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを、ユーザのプロファイルおよびスケジュールに応じて適切に生成することができる。
また、本発明（請求項３）にかかるマルチメディアコンテンツ生成装置は、より詳細な検索によるマルチメディアコンテンツを、各種の情報端末の仕様に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、本発明（請求項４）にかかるマルチメディアコンテンツ生成装置は、情報端末から設定されたユーザに関する属性情報に基づいて自動的にユーザのニーズに応じたマルチメディアコンテンツが検索されるので、各種の情報端末の仕様に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを、情報端末から設定されたユーザに関する属性情報に応じて適切に生成することができる。
また、本発明（請求項５）にかかるマルチメディアコンテンツ生成装置は、マルチメディアコンテンツの情報量と変換方式を考慮に入れてマルチメディアコンテンツを生成するので、各種の情報端末の仕様により詳細に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、本発明（請求項６）にかかるマルチメディアコンテンツ生成装置は、各種の情報端末の仕様により詳細に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、本発明（請求項７）にかかるマルチメディアコンテンツ生成装置は、画像情報をテキスト情報に変換するのでデータ量を抑えてマルチメディアコンテンツを生成するので、送信効率を高め、各種の情報端末の仕様により詳細に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、本発明（請求項８）にかかるマルチメディアコンテンツ生成装置は、各種の情報端末の仕様により詳細に対応し、マルチメディアコンテンツを情報端末において分割表示させるので、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、本発明（請求項９）にかかるマルチメディアコンテンツ生成方法は、情報端末やユーザの属性情報に基づいて自動的にマルチメディアコンテンツを検索し、検索したマルチメディアコンテンツを解析し、再構築し、レイアウト処理を施すので、情報端末のユーザは何ら操作をすることなく、ユーザに適したマルチメディアコンテンツをユーザにとって見やすく表示することが可能となる。
また、本発明（請求項１０）にかかるマルチメディアコンテンツ生成方法は、より詳細な検索によるマルチメディアコンテンツを、各種の情報端末の仕様に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、本発明（請求項１１）にかかるマルチメディアコンテンツ生成方法は、ユーザのプロファイルやスケジュールに応じて必要と想定されるときに、必要と想定されるマルチメディアコンテンツが検索されるので、各種の情報端末の仕様に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを、ユーザのプロファイルおよびスケジュールに応じて適切に生成することができる。
また、本発明（請求項１２）にかかるマルチメディアコンテンツ生成方法は、各種の情報端末の仕様により詳細に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、本発明（請求項１３）にかかるマルチメディアコンテンツ生成方法は、画像情報をテキスト情報に変換しデータ量を抑えてマルチメディアコンテンツを生成するので、送信効率を高め、各種の情報端末の仕様により詳細に対応し、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、本発明（請求項１４）にかかるマルチメディアコンテンツ生成方法は、各種の情報端末の仕様により詳細に対応し、マルチメディアコンテンツを情報端末において分割表示させるので、見やすいなどのニーズに応じた表示が可能なマルチメディアコンテンツを生成することができる。
また、本発明（請求項１５）にかかるプログラムは、請求項９〜１４のいずれか１つに記載の方法をコンピュータに実行させることができる。
また、本発明（請求項１６）にかかるマルチメディアコンテンツ生成システムは、情報端末やユーザの属性情報に基づいて自動的にマルチメディアコンテンツを検索し、検索したマルチメディアコンテンツを解析し、再構築し、レイアウト処理を施すので、ユーザに適したマルチメディアコンテンツをユーザにとって見やすく表示することが可能となる。
以下に添付図面を参照して、この発明にかかるマルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システムの最良な実施の形態を詳細に説明する。
（実施の形態によるマルチメディアコンテンツ生成装置）
（１．マルチメディアコンテンツ生成装置の構成）
図１は、情報端末向けのマルチメディアコンテンツ生成システムの一例を説明する図である。マルチメディアコンテンツ生成システムは、マルチメディアコンテンツ生成装置１に対して、素材ＤＢ（Ｄａｔａ Ｂａｓｅ＝データベース）端末２と、ユーザＤＢ端末３と、ルール設定端末４と、各種の携帯型の情報端末である例えば携帯電話５および６と、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｉｓｔａｎｃｅ＝携帯情報端末）とを備え、それぞれは通信衛星８を有する携帯電話網およびインターネットなどのネットワーク９で接続されて成る。ここで図示された各端末は、任意の複数個が接続する構成とし得る。
（１．マルチメディアコンテンツ生成装置の構成）
図１は、情報端末向けのマルチメディアコンテンツ生成システムの一例を説明する図である。マルチメディアコンテンツ生成システムは、マルチメディアコンテンツ生成装置１に対して、素材ＤＢ（Ｄａｔａ Ｂａｓｅ＝データベース）端末２と、ユーザＤＢ端末３と、ルール設定端末４と、各種の携帯型の情報端末である例えば携帯電話５および６と、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｉｓｔａｎｃｅ＝携帯情報端末）とを備え、それぞれは通信衛星８を有する携帯電話網およびインターネットなどのネットワーク９で接続されて成る。ここで図示された各端末は、任意の複数個が接続する構成とし得る。
素材ＤＢ端末２には、マルチメディアコンテンツの素材が送信されてデータベース化されている。素材ＤＢ端末２はまた、デジタル放送によって配信されるマルチメディアコンテンツを蓄積する。マルチメディアコンテンツ生成装置１は、素材ＤＢ端末２を参照する。
ユーザＤＢ端末３は、利用者の各種属性情報を蓄積する。ここで蓄積される情報としては、利用者のプロファイルやスケジュールなどを含む。これらの属性情報は、例えば利用者の携帯電話５から設定可能である。
図２は、実施の形態によるマルチメディアコンテンツ生成装置の機能的ブロック図である。マルチメディアコンテンツ生成装置１は、ネットワーク端子１１ａおよび１１ｂ、ルール設定端末によって受け付けられた設定情報を受信しコンテンツの生成ルールを設定するルール設定部１２、コンテンツの素材を素材ＤＢ端末２に検索する素材検索部１３、ユーザの情報をユーザＤＢ端末３に検索するユーザ情報検索部１４、コンテンツ生成に関してルール設定部によって設定されたルールを解析するルール解析部１５、解析されたルールに基づいてコンテンツを再構築する再構築部１６、および再構築されたコンテンツを各情報端末５〜７の表示に好適な形にレイアウトするレイアウト部１７を備える。
ルール設定端末４はネットワークを介してマルチメディアコンテンツ生成装置１に接続し、情報端末向けにマルチメディアコンテンツを生成するにあたっての各種ルールを設定する入力を受け付ける。ここで設定されるルールは、例えば携帯電話に対しては、携帯電話コンテンツ生成ルールを定義して設定する。
一般に、携帯型の情報端末（以下、携帯端末と称する）向けのマルチメディアコンテンツ配信には、大きく分けて
（１）利用者からのリクエストによるもの、
（２）利用者の属性などに基づいて自動的に配信されるもの（プッシュ型配信）、
の２種類がある。
（１）利用者からのリクエストによるもの、
（２）利用者の属性などに基づいて自動的に配信されるもの（プッシュ型配信）、
の２種類がある。
（１．１．利用者からのリクエストによる配信）
利用者は、どのような情報が欲しいかのリクエストを、所有する携帯電話５からマルチメディアコンテンツ生成装置１に送信する。マルチメディアコンテンツ生成装置１では、利用者のリクエストに基づいて素材検索部１３が素材ＤＢ端末２に蓄積されているコンテンツ素材を検索する。その際、ユーザ情報検索部１４はユーザＤＢ端末３におけるユーザＤＢを参照して、必要に応じて素材検索部１３が行う素材ＤＢの検索条件を変更する。検索結果として得られた素材ＤＢを基に、ルール解析部１５はルール設定部１２によって設定されたルールを解析し、再構築部１６は解析されたルールに基づいてリクエストのあった携帯端末５向けにマルチメディアコンテンツを再構築し、レイアウト部１７は実際に携帯へ表示するためのコンテンツのレイアウトを決定し、ネットワーク端子１１ｂを介して配信する。
利用者は、どのような情報が欲しいかのリクエストを、所有する携帯電話５からマルチメディアコンテンツ生成装置１に送信する。マルチメディアコンテンツ生成装置１では、利用者のリクエストに基づいて素材検索部１３が素材ＤＢ端末２に蓄積されているコンテンツ素材を検索する。その際、ユーザ情報検索部１４はユーザＤＢ端末３におけるユーザＤＢを参照して、必要に応じて素材検索部１３が行う素材ＤＢの検索条件を変更する。検索結果として得られた素材ＤＢを基に、ルール解析部１５はルール設定部１２によって設定されたルールを解析し、再構築部１６は解析されたルールに基づいてリクエストのあった携帯端末５向けにマルチメディアコンテンツを再構築し、レイアウト部１７は実際に携帯へ表示するためのコンテンツのレイアウトを決定し、ネットワーク端子１１ｂを介して配信する。
（１．２．利用者の属性などに基づく自動的な配信）
マルチメディアコンテンツ生成装置１のユーザ情報検索部１４は定期的に、あるいは何らかのトリガを受けて、ユーザＤＢ端末３に備えられたユーザＤＢを監視する。ユーザＤＢを監視していることにより、マルチメディアコンテンツを生成配信すべきであると、ユーザ情報検索部１４が判定あるいは検出した場合、素材検索部１３は、素材ＤＢ端末２に備えられた素材ＤＢに対して配信に必要な素材の検索を行う。その際、ユーザ情報検索部１４はユーザＤＢ端末３に備えられて定義されているユーザＤＢの情報を参照して、素材検索部１３は必要に応じて素材ＤＢの検索条件を変更して検索する。検索結果として得られた素材ＤＢを基に携帯端末向けにマルチメディアコンテンツを再構築して、実際に携帯へ表示するためのコンテンツを配信するのは上記（１．１）の場合と同様である。
マルチメディアコンテンツ生成装置１のユーザ情報検索部１４は定期的に、あるいは何らかのトリガを受けて、ユーザＤＢ端末３に備えられたユーザＤＢを監視する。ユーザＤＢを監視していることにより、マルチメディアコンテンツを生成配信すべきであると、ユーザ情報検索部１４が判定あるいは検出した場合、素材検索部１３は、素材ＤＢ端末２に備えられた素材ＤＢに対して配信に必要な素材の検索を行う。その際、ユーザ情報検索部１４はユーザＤＢ端末３に備えられて定義されているユーザＤＢの情報を参照して、素材検索部１３は必要に応じて素材ＤＢの検索条件を変更して検索する。検索結果として得られた素材ＤＢを基に携帯端末向けにマルチメディアコンテンツを再構築して、実際に携帯へ表示するためのコンテンツを配信するのは上記（１．１）の場合と同様である。
（２．マルチメディアコンテンツ生成装置の動作）
図２を参照しながら、さらに詳細にマルチメディアコンテンツ生成装置の動作について説明する。
図２を参照しながら、さらに詳細にマルチメディアコンテンツ生成装置の動作について説明する。
ネットワーク端子１１ａおよび１１ｂは、インターネットへの接続のための端子であって、例えば１００Ｍ ｅｔｈｅｒ等を使用する。
コンテンツ生成ルール設定部１２は、コンテンツの生成ルールを設定するルール設定端末４を通して、コンテンツ生成のためのルール（メソッド）の設定要求を受け付け、ルール（メソッド）記述として蓄積する。
コンテンツのデータサイズとしては、携帯電話上で表現できるコンテンツの総量とするが、携帯電話の性能によって異なるので、デフォルトとして設定し、端末ごとに定義可能とする。例えば、以下のような記述によって定義する。
If (terminal == A5502K)
DataSize = 3MB
（A5502K端末のデータサイズの場合）
Else if (terminal = WIN11H)
DataSize = 6MB
（WIN11H端末のデータサイズの場合）
Else
DataSize = 1.5MB
（デフォルトのデータサイズ）
DataSize = 3MB
（A5502K端末のデータサイズの場合）
Else if (terminal = WIN11H)
DataSize = 6MB
（WIN11H端末のデータサイズの場合）
Else
DataSize = 1.5MB
（デフォルトのデータサイズ）
テキスト変換ルールでは、フォントサイズの最小及び最大を設定し、文書におけるフォントサイズの比率を変えずに、最小と最大の間でフォントサイズを自動的に制御し、あるいは、テキストの総量を制御し、自動的にページスクロールや改ページ制御などを設定する。またテキストを音声読み上げ処理により音声情報に変換するルールを記述する。
例えば、フォントサイズ正規化ルールとしては、
if (MaxFontSizeofPage > MaxFontSize || MinFontSizeofPage < MinFontSize)
Fontsize = normalizeFont(FontSize, MaxFontSizeofPage,
MinFontSizeofPage, MaxFontSize, MinFontSize)
で定義し、ページ内の最大最小のフォントサイズと、設定された最大最小のフォントサイズから、与えられたフォントサイズを正規化する関数を用いる。
if (MaxFontSizeofPage > MaxFontSize || MinFontSizeofPage < MinFontSize)
Fontsize = normalizeFont(FontSize, MaxFontSizeofPage,
MinFontSizeofPage, MaxFontSize, MinFontSize)
で定義し、ページ内の最大最小のフォントサイズと、設定された最大最小のフォントサイズから、与えられたフォントサイズを正規化する関数を用いる。
改ページ設定ルールとしては、例えば
if (TextSize > MaxTextSize) [
TextSize -= MaxTextSize
NewPage();
]
で定義する。
if (TextSize > MaxTextSize) [
TextSize -= MaxTextSize
NewPage();
]
で定義する。
音声読み上げルールについては、
If (NoSound)
GenerateVoice(Text)
で定義する。
If (NoSound)
GenerateVoice(Text)
で定義する。
静止画変換ルールは、静止画の種類によってメディア変換処理を行う設定とする。例えばテキストが表示されている静止画の場合、文字認識処理によって文字列に変換したり、図の画像の場合は、静止画を分割して表示するなどの制御を設定する。
静止画変換ルールとして例えば、
if (ImateType == INCLUDETEXT)
GenerateText(Image);
で定義する。これにより、文字列が記述されているイメージを文字認識して、文字列に変換させる。
if (ImateType == INCLUDETEXT)
GenerateText(Image);
で定義する。これにより、文字列が記述されているイメージを文字認識して、文字列に変換させる。
動画変換ルールとして、動画の長さと端末のデータサイズに基づいて、動画を分割し、あるいは動画の一部をカットする制御を設定する。また、動画の中の音声のみを切り出す制御も設定できる。
例えば、動画の一部切り出しルールとしては、
if (MovieSize > MaxMovieSize || MovieSize > DataSize)
extractMovie(Movie, ParameterType, ParameterThreshold)
で定義し、動画サイズが想定した最大サイズよりも大きい、あるいは端末のデータサイズよりも大きい場合、動画を抽出する。その際、特徴量のタイプと閾値を与えて、その閾値よりも大きいフレームだけを抜き出す関数とし得る。
if (MovieSize > MaxMovieSize || MovieSize > DataSize)
extractMovie(Movie, ParameterType, ParameterThreshold)
で定義し、動画サイズが想定した最大サイズよりも大きい、あるいは端末のデータサイズよりも大きい場合、動画を抽出する。その際、特徴量のタイプと閾値を与えて、その閾値よりも大きいフレームだけを抜き出す関数とし得る。
音声変換ルールとしては、音声認識により音声全体またはその一部を文字列に変換し、あるいは複数の話者による音声が認識される場合など、音声の状況に応じて、音量を変える制御を設定する。
音声変換ルールとしては、
if (NoText)
GenerateText(Sound);
で定義する。
if (NoText)
GenerateText(Sound);
で定義する。
ここで、素材検索部１３は、利用者のリクエストや利用者の属性情報に応じて、素材ＤＢを検索する。利用者の属性情報に基づく検索は、ユーザ情報検索部１４の発行するトリガにより行う。
ユーザ情報検索部１４は、利用者の属性情報をユーザＤＢ端末３から検索する。また、ユーザ情報検索部１４は、利用者のリクエストに応じて、利用者の属性を取得するために検索を実行する。また、定期的にユーザＤＢ端末３を監視し、利用者の属性に基づく情報配信のトリガを発行する。
ルール解析部１５は、素材検索部１３によって検索された素材と、ルール設定部１２によって生成されたルールを解析し、素材に適応すべきルールを選択する。
再構築部１６は、素材検索部１３により検索された素材と、ルール解析部１５により選択されたルールに基づいて、コンテンツを再構築する。
レイアウト部１７は、再構築部が再構築したマルチメディアコンテンツを実際に携帯端末に表示するコンテンツに変換する処理を施す。ここで、再構築されたコンテンツに依存する表示画面上のボタンなども生成する。情報端末やキャリアの種類によってもコンテンツの形式が異なるので、レイアウト部１７はその差を吸収し得る処理を施す。
（２．１．マルチメディアコンテンツの例）
図３は、携帯電話の表示画面における表示の一例を説明する図である。ここでは、講演者がプレゼンテーションを行っている映像、およびプレゼンテーションの資料などを含むコンテンツを、４つの表示形態（画面３１、３２、３３、および３４）によって表示する。ここでは、説明者の映像は動画として表示され、文字情報は静止画として表示される。
図３は、携帯電話の表示画面における表示の一例を説明する図である。ここでは、講演者がプレゼンテーションを行っている映像、およびプレゼンテーションの資料などを含むコンテンツを、４つの表示形態（画面３１、３２、３３、および３４）によって表示する。ここでは、説明者の映像は動画として表示され、文字情報は静止画として表示される。
画面３１は、静止画の詳細を表示するために、レイアウト部１７が静止画を分割するよう表示コンテンツが再構築されレイアウト処理を施されている。レイアウト部１７の処理によって、分割された静止画のそれぞれの分割領域にアクセスするためのインタフェース（ＩＦ）が画面右上に表示されている。
画面３２は、静止画の大きさを中程度にし、静止画の雰囲気をつかみつつ動画を視聴できるようにコンテンツが再構築されている。画面３１と同様に、分割された静止画の分割領域にアクセスするためのＩＦが画面右上に表示されている。
画面３３は、静止画全体を一覧できるようにしながら動画部分を視聴するようにコンテンツが再構築されレイアウト処理を施されている。
画面３４は、静止画に表示されている文字列を文字列認識やメタデータなどを利用して解析し、テキストデータとしての文字列で表示するようにコンテンツを再構築しレイアウト処理を施した例である。
この携帯電話では、画面３１から画面３４へのコンテンツ表示を利用者のリクエストによって可能なように画面右上にＩＦを用意している。
また、コンテンツの内容などに応じて、映像部分の大きさを拡大および縮小処理を施したレイアウトも可能である。映像部分の大きさの制御は、再構築部１６によって行うが、最終的な微調整はレイアウト部１７において行う構成とする。
（２．２．マルチメディアコンテンツの他の例）
図４は、携帯電話の表示画面における表示の他の一例を説明する図である。図３と同様に説明者がプレゼンテーションを行っている映像と静止画とが、画面４６、４７、および４８に表示されている。配信される時系列的なビデオデータ４０であるコンテンツデータは、時系列的に分割される。時系列的に分割されたデータは、分割データ４１、４２、および４３である。ここでは、コンテンツのデータを時間で分割し、時間で分割された各分割コンテンツごとにマルチメディアコンテンツを再構築する。画面４６、４７、および４８は、コンテンツデータの時系列的分割データ４１、４２、および４３に対応する画面である。
図４は、携帯電話の表示画面における表示の他の一例を説明する図である。図３と同様に説明者がプレゼンテーションを行っている映像と静止画とが、画面４６、４７、および４８に表示されている。配信される時系列的なビデオデータ４０であるコンテンツデータは、時系列的に分割される。時系列的に分割されたデータは、分割データ４１、４２、および４３である。ここでは、コンテンツのデータを時間で分割し、時間で分割された各分割コンテンツごとにマルチメディアコンテンツを再構築する。画面４６、４７、および４８は、コンテンツデータの時系列的分割データ４１、４２、および４３に対応する画面である。
各コンテンツに対応する表示画面（４６〜４８）には、次の（前の）コンテンツへシーンチェンジを要求するボタンを設定しておき、該ボタンをクリックすることで次の（前の）コンテンツにシーンチェンジする。これにより大容量のコンテンツを携帯で表示することが可能である。このような制御も再構築部１６により実施される。ここで、各分割されたデータ４１〜４３において対応する表示４６〜４８の映像は所定の枚数の静止画で置き換えることもできる。
（３．マルチメディアコンテンツ生成システム）
図５は、マルチメディアコンテンツ生成システムの他の一例を説明する図である。マルチメディアコンテンツ生成装置は、マルチメディアコンテンツ生成装置内の幾つかの機能をネットワーク接続してより分散化することによって、ネットワーク接続されたマルチメディアコンテンツ生成システムとして構成できる。図５は、図２に示したマルチメディアコンテンツ生成装置におけるよりも、マルチメディアコンテンツ生成装置内の機能をより分散化して構成したシステムである。異なった符号は、図１および２の場合と異なって分散化された機能を表す。ここでは、図１および２における構成と異なった構成についてのみ説明する。
図５は、マルチメディアコンテンツ生成システムの他の一例を説明する図である。マルチメディアコンテンツ生成装置は、マルチメディアコンテンツ生成装置内の幾つかの機能をネットワーク接続してより分散化することによって、ネットワーク接続されたマルチメディアコンテンツ生成システムとして構成できる。図５は、図２に示したマルチメディアコンテンツ生成装置におけるよりも、マルチメディアコンテンツ生成装置内の機能をより分散化して構成したシステムである。異なった符号は、図１および２の場合と異なって分散化された機能を表す。ここでは、図１および２における構成と異なった構成についてのみ説明する。
マルチメディアコンテンツ生成システムは、各々ネットワーク接続されたルール設定端末４ａ、４ｂおよび４ｃ、素材検索サーバ１３ａ、ルール解析サーバ１５ａ、コンテンツ生成ルールＤＢ１５ｂ、再構築サーバ１６ａ、レイアウトサーバ１７ａ、認証サーバ５２、Ｗｅｂサーバ５３、および動画配信サーバ５４を備える。ここで、素材検索サーバ１３ａ、ルール解析サーバ１５ａおよびコンテンツ生成ルールＤＢ１５ｂ、再構築サーバ１６ａ、およびレイアウトサーバ１７ａは、それぞれマルチメディアコンテンツ生成装置１における素材検索部１３、ルール解析部１５、再構築部１６、およびレイアウト部１７に対応する機能を実行する。認証サーバ５２、Ｗｅｂサーバ５３および動画配信サーバ５４はそれぞれユーザ情報検索部、ネットワーク端子１１ａおよびネットワーク端子１１ｂを含む送受信機能に対応する。こうして、マルチメディアコンテンツ生成装置の各機能が、ネットワーク接続された複数のサーバによって実現される。
このようなネットワーク構成によって、各機能を分散して構成することができ、情報処理量の向上をもたらすなど、機能をネットワーク分散することによる利点を享受できる。
（４．実施の形態によるマルチメディアコンテンツ生成手順）
図６は、実施の形態によるマルチメディアコンテンツ生成手順を説明するフローチャートである。ここでは、図２に示したマルチメディアコンテンツ生成装置１に送受信のためのＷｅｂサーバがネットワーク接続しているものとして、マルチメディアコンテンツ生成手順を説明する。また、ここではユーザ端末からのコンテンツ要求を受け付けて、コンテンツを再構成して送信する場合についての手順である。
図６は、実施の形態によるマルチメディアコンテンツ生成手順を説明するフローチャートである。ここでは、図２に示したマルチメディアコンテンツ生成装置１に送受信のためのＷｅｂサーバがネットワーク接続しているものとして、マルチメディアコンテンツ生成手順を説明する。また、ここではユーザ端末からのコンテンツ要求を受け付けて、コンテンツを再構成して送信する場合についての手順である。
Ｗｅｂサーバは、ユーザ端末からのコンテンツ要求を受け付けたか否かを検出する状態にあり（ステップＳ１０１）、コンテンツ要求を受け付けた場合（ステップＳ１０１のＹｅｓ）、Ｗｅｂサーバは、マルチメディアコンテンツ生成装置にコンテンツ要求信号を送信する（ステップＳ１０２）。
マルチメディアコンテンツ生成装置のユーザ情報検索部１４は、Ｗｅｂサーバからコンテンツ要求信号を受信待機状態にあり（ステップＳ１０３）、受信した場合、ユーザ情報検索部１４はユーザが正当なユーザであるか否かを判定する（ステップＳ１０４）。ユーザが正当であると判定された場合のみ（ステップＳ１０４のＹｅｓ）、素材検索部１３は、素材コンテンツを素材ＤＢ端末２にアクセスして検索する（ステップＳ１０５）。
素材検索部１３は、表示すべきコンテンツが無いと判定した場合、表示コンテンツがないことをＷｅｂサーバに提示し（ステップＳ１０６のＮｏ）、Ｗｅｂサーバは表示コンテンツがないことをＷｅｂサーバに提示する（ステップＳ１０７）。Ｗｅｂサーバはマルチメディアコンテンツ生成装置からコンテンツがないとの提示を検出動作にあり（ステップＳ１０８）、検出した場合（ステップＳ１０８のＹｅｓ）、そのまま終了する。
素材検索部１３は、表示すべきコンテンツがあると判定した場合（ステップＳ１０６のＹｅｓ）、ルール解析部１５は、ルール設定端末部１２によって設定されたルールを解析して、検索されたコンテンツの素材に適用すべきルールを選択し（ステップＳ１０９）、再構築部１６は、ユーザ情報、素材コンテンツ、および選択されたルールに従ってコンテンツを再構築する（ステップＳ１１０）。レイアウト部１７は、再構築されたコンテンツに対して、端末情報に従ってレイアウト処理を施し、Ｗｅｂサーバに送信する（ステップＳ１１１）。受信したＷｅｂサーバは、表示コンテンツをユーザ端末に送信する（ステップＳ１１２）。
図７は、実施の形態による他のマルチメディアコンテンツ生成手順を説明するフローチャートである。ここでは、図２に示したマルチメディアコンテンツ生成装置１に送受信のためのＷｅｂサーバがネットワーク接続しているものとして、マルチメディアコンテンツ生成手順を説明する。また、ここではユーザ端末からのコンテンツ要求が無くても、ユーザからあるいはルール設定端末４による設定によってコンテンツを再構成して送信する場合についての手順である。
マルチメディアコンテンツ生成装置１において、ユーザ情報検索部１４は、ユーザ情報ＤＢ端末３のコンテンツ生成トリガを検索状態（ステップＳ２０１）にあり、トリガを検出した場合（ステップＳ２０１のＹｅｓ）、素材検索部１３は、素材ＤＢ端末２にアクセスしてコンテンツを検索する（ステップＳ２０２）。素材検索部１３は、検索した結果、表示コンテンツがあったか否かを判定し（ステップＳ２０３）、あった場合（ステップＳ２０３のＹｅｓ）、ステップＳ２０４に移行する。
ステップＳ２０４から２０７までは図６のフローチャートにおけるステップＳ１０９から１１２までと同様であるので説明を省略する。
（５．効果）
ユーザ情報検索部１４のユーザＤＢ端末３への検索、素材検索部１３の素材ＤＢ端末２への検索、およびルール設定部１２がルール設定端末４から受け付けたルールに対するルール解釈部による解釈に基づいて、再構築部１６が検索されたコンテンツを再構築し、レイアウト部１７が送信すべき携帯電話に好適な表示形態にレイアウトを含む変換を施してマルチメディアコンテンツファイルを生成するので、携帯端末など表示画面の小さな情報端末でも携帯端末の仕様およびユーザのニーズに合わせて見やすく画面表示できるマルチメディアコンテンツを生成する。
ユーザ情報検索部１４のユーザＤＢ端末３への検索、素材検索部１３の素材ＤＢ端末２への検索、およびルール設定部１２がルール設定端末４から受け付けたルールに対するルール解釈部による解釈に基づいて、再構築部１６が検索されたコンテンツを再構築し、レイアウト部１７が送信すべき携帯電話に好適な表示形態にレイアウトを含む変換を施してマルチメディアコンテンツファイルを生成するので、携帯端末など表示画面の小さな情報端末でも携帯端末の仕様およびユーザのニーズに合わせて見やすく画面表示できるマルチメディアコンテンツを生成する。
（６．ハードウェア構成および記録媒体）
図８は、実施の形態によるマルチメディアコンテンツ生成装置のハードウェア構成例を示す図である。上述したマルチメディアコンテンツ生成装置は、あらかじめ用意されたプログラムをパーソナルコンピュータ、ワークステーション、あるいはマイクロコンピュータなどのコンピュータシステムで実行することによって実現できる。コンピュータ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０７を介してＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０４、グラフィック処理装置１０５、入力インターフェイス１０６、および通信装置１０８が接続されている。ＲＯＭ１０２、およびＲＡＭ１０３には、ＣＰＵ１０１に実行させるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のプログラムやアプリケーションプログラムの少なくとも一部が格納される。またＲＡＭ１０３には、ＣＰＵ１０１による処理に必要な各種データが格納される。ＨＤＤ１０４には、ＯＳ、各種ドライバプログラム、アプリケーションプログラム、検出されたデータなどが格納される。
図８は、実施の形態によるマルチメディアコンテンツ生成装置のハードウェア構成例を示す図である。上述したマルチメディアコンテンツ生成装置は、あらかじめ用意されたプログラムをパーソナルコンピュータ、ワークステーション、あるいはマイクロコンピュータなどのコンピュータシステムで実行することによって実現できる。コンピュータ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０７を介してＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０４、グラフィック処理装置１０５、入力インターフェイス１０６、および通信装置１０８が接続されている。ＲＯＭ１０２、およびＲＡＭ１０３には、ＣＰＵ１０１に実行させるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のプログラムやアプリケーションプログラムの少なくとも一部が格納される。またＲＡＭ１０３には、ＣＰＵ１０１による処理に必要な各種データが格納される。ＨＤＤ１０４には、ＯＳ、各種ドライバプログラム、アプリケーションプログラム、検出されたデータなどが格納される。
グラフィック処理装置１０５には、モニター１１１が接続されている。グラフィック処理装置１０５は、ＣＰＵ１０１からの命令に従って、画像をモニター１１１の画面に表示させる。入力インターフェイス１０６には、キーボード１１２とマウス１１３とが接続されている。入力インターフェイス１０６は、キーボード１１２やマウス１１３から送られてくる信号を、バス１０７を介してＣＰＵ１０１に送信する。
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。本実施の形態をコンピュータ１００上で実現するには、コンピュータ１００にドライバプログラムを実装する。
尚、本実施の形態のマルチメディアコンテンツ生成装置で実行されるマルチメディアコンテンツ生成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態のマルチメディアコンテンツ生成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供および配布するように構成しても良い。
以上のように、本発明にかかるマルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システムは、マルチメディアファイル生成技術に有用であり、特に、情報端末へ送信するマルチメディアファイルを該情報端末の表示に好適な形式のマルチメディアコンテンツファイルとして生成するマルチメディアコンテンツ生成技術に適している。
１ マルチメディアコンテンツ生成装置
２ 素材ＤＢ端末
３ ユーザＤＢ端末
４ ルール設定端末
５、６ 携帯電話
７ 携帯情報端末
８ 通信衛星
９ インターネット
１１ａ、１１ｂ ネットワーク端子
１２ ルール設定部
１３ 素材検索部
１４ ユーザ情報検索部
１５ ルール解析部
１６ 再構築部
１７ レイアウト部
２ 素材ＤＢ端末
３ ユーザＤＢ端末
４ ルール設定端末
５、６ 携帯電話
７ 携帯情報端末
８ 通信衛星
９ インターネット
１１ａ、１１ｂ ネットワーク端子
１２ ルール設定部
１３ 素材検索部
１４ ユーザ情報検索部
１５ ルール解析部
１６ 再構築部
１７ レイアウト部
Claims (16)
- ネットワークで接続する情報端末の属性情報および前記情報端末のユーザに関する属性情報を蓄積するユーザデータベース端末を検索し、映像、音声、およびテキスト情報を含むマルチメディアコンテンツを蓄積する素材データベース端末から、前記情報端末に対応する表示形式でマルチメディアコンテンツを生成するマルチメディアコンテンツ生成装置であって、
前記情報端末から前記ネットワークを介して情報を受信せずに、定期的に前記ユーザデータベース端末を監視して、前記情報端末のユーザに関する属性情報に基づいてコンテンツ生成トリガを発行するとともに、前記情報端末のユーザに関する属性情報を取得するユーザ情報検索手段と、
前記ユーザ情報検索手段が前記コンテンツ生成トリガを発行したときに、前記素材データベース端末に蓄積されたマルチメディアコンテンツを、前記ユーザ情報検索手段によって取得された前記情報端末のユーザに関する属性情報に基づいて検索する素材検索手段と、
前記情報端末向けにマルチメディアコンテンツを生成するための各種のルールの設定を受け付けるルール設定手段と、
前記ルール設定手段によって受け付けられたルールを解析するルール解析手段と、
前記素材検索手段によって検索されたマルチメディアコンテンツを、前記ルール解析手段によって解析されたルールに基づいて再構築する再構築手段と、
前記再構築手段によって再構築されたマルチメディアコンテンツに対して、前記情報端末で表示するレイアウトを定めてコンテンツを生成するレイアウト手段と、
を備えることを特徴とするマルチメディアコンテンツ生成装置。 - 前記情報端末のユーザに関する属性情報は、前記ユーザのプロファイルおよびスケジュールを含むことを特徴とする請求項１に記載のマルチメディアコンテンツ生成装置。
- 前記素材検索手段は、前記素材データベース端末に蓄積されたコンテンツに付加されたキーワード、識別記号、作成日時、作成場所、作成者、重要度情報のうち１つ以上の情報を含むメタデータに基づいて、前記素材データベース端末を検索するものであることを特徴とする請求項１または２に記載のマルチメディアコンテンツ生成装置。
- 前記情報端末のユーザに関する情報は、前記情報端末から前記ユーザデータベース端末に設定されることを特徴とする請求項１〜３のいずれか１つに記載のマルチメディアコンテンツ生成装置。
- 前記再構築手段は、前記素材検索手段が検索したコンテンツを、前記コンテンツの所定の情報量およびメディア変換方式に基づいて再構築するものであることを特徴とする請求項１〜４のいずれか１つに記載のマルチメディアコンテンツ生成装置。
- 前記再構築手段は、前記ルール解析手段が解析したルールに基づいて、前記情報端末に対応して、生成するコンテンツの情報量の制限、映像の一部のカット、音声情報のみを残した映像フレームのカット、静止画のサイズの変更、および色情報量の削減の処理の少なくともいずれかの処理を施すことを特徴とする請求項１〜５のいずれか１つに記載のマルチメディアコンテンツ生成装置。
- 前記再構築手段は、前記コンテンツの画像情報を文字認識しテキスト情報に変換する処理を施すものであることを特徴とする請求項１〜６のいずれか１つに記載のマルチメディアコンテンツ生成装置。
- 前記再構築手段は、前記コンテンツの画像情報を、前記情報端末での画面表示において分割して表示するように前記コンテンツを再構築するものであることを特徴とする請求項１〜７のいずれか１つに記載のマルチメディアコンテンツ生成装置。
- ネットワークで接続する情報端末の属性情報および前記情報端末のユーザに関する属性情報を蓄積するユーザデータベース端末を検索し、映像、音声、およびテキスト情報を含むマルチメディアコンテンツを蓄積する素材データベース端末から、前記情報端末に対応する表示形式でマルチメディアコンテンツを生成するマルチメディアコンテンツ生成方法において、
前記情報端末から前記ネットワークを介して情報を受信せずに、定期的に前記ユーザデータベース端末を監視して、前記情報端末のユーザに関する属性情報に基づいてコンテンツ生成トリガを発行するとともに、前記情報端末のユーザに関する属性情報を取得するユーザ情報検索工程と、
前記ユーザ情報検索工程において前記コンテンツ生成トリガが発行されたときに、前記素材データベース端末に蓄積されたマルチメディアコンテンツを、前記ユーザ情報検索工程において取得された前記情報端末のユーザに関する属性情報に基づいて検索する素材検索工程と、
前記情報端末向けにマルチメディアコンテンツを生成するための各種のルールの設定を受け付けるルール設定工程と、
前記ルール設定工程において受け付けられたルールを解析するルール解析工程と、
前記素材検索工程において検索されたマルチメディアコンテンツを、前記ルール解析工程において解析されたルールに基づいて再構築する再構築工程と、
前記再構築工程において再構築されたマルチメディアコンテンツに対して、前記情報端末で表示するレイアウトを定めてコンテンツを生成するレイアウト工程と、
を含むことを特徴とするマルチメディアコンテンツ生成方法。 - 前記素材検索工程は、前記素材データベース端末に蓄積されたコンテンツに付加されたキーワード、識別記号、作成日時、作成場所、作成者、重要度情報のうち１つ以上の情報を含むメタデータに基づいて、前記素材データベース端末を検索するものであることを特徴とする請求項９に記載のマルチメディアコンテンツ生成方法。
- 前記情報端末のユーザに関する属性情報は、前記ユーザのプロファイルおよびスケジュールを含むことを特徴とする請求項９または１０に記載のマルチメディアコンテンツ生成方法。
- 前記再構築工程は、前記ルール解析工程において解析したルールに基づいて、前記情報端末に対応して、生成するコンテンツの情報量の制限、映像の一部のカット、音声情報のみを残した映像フレームのカット、静止画のサイズの変更、および色情報量の削減の処理の少なくともいずれかの処理を施すものであることを特徴とする請求項９〜１１のいずれか１つに記載のマルチメディアコンテンツ生成方法。
- 前記再構築工程は、前記コンテンツの画像情報を文字認識しテキスト情報に変換する処理を施すものであることを特徴とする請求項９〜１２のいずれか１つに記載のマルチメディアコンテンツ生成方法。
- 前記再構築工程は、前記コンテンツの画像情報を、前記情報端末での画面表示において分割して表示するように前記コンテンツを再構築するものであることを特徴とする請求項９〜１３のいずれか１つに記載のマルチメディアコンテンツ生成方法。
- 請求項９〜１４のいずれか１つに記載の方法をコンピュータに実行させることを特徴とするプログラム。
- ネットワークで接続し、情報端末に対応する表示形式でマルチメディアコンテンツを生成するマルチメディアコンテンツ生成システムであって、
前記情報端末の属性情報および前記情報端末のユーザに関する属性情報を蓄積するユーザデータベース装置と、
映像、音声、およびテキスト情報を含むマルチメディアコンテンツを蓄積する素材データベース装置と、
前記情報端末から前記ネットワークを介して情報を受信せずに、定期的に前記ユーザデータベース装置を監視して、前記情報端末のユーザに関する属性情報に基づいてコンテンツ生成トリガを発行するとともに、前記情報端末のユーザに関する属性情報を取得するユーザ情報検索装置と、
前記ユーザ情報検索装置が前記コンテンツ生成トリガを発行したときに、前記素材データベース装置に蓄積されたマルチメディアコンテンツを、前記ユーザ情報検索装置によって取得された前記情報端末のユーザに関する属性情報に基づいて検索する素材検索装置と、
前記情報端末向けにマルチメディアコンテンツを生成するための各種のルールの設定を受け付けるルール設定装置と、
前記ルール設定装置によって受け付けられたルールを解析するルール解析装置と、
前記素材検索装置によって検索されたマルチメディアコンテンツを、前記ルール解析装置によって解析されたルールに基づいて再構築する再構築装置と、
前記再構築装置によって再構築されたマルチメディアコンテンツに対して、前記情報端末で表示するレイアウトを定めてコンテンツを生成するレイアウト装置と、
を備えることを特徴とするマルチメディアコンテンツ生成システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004052932A JP4717361B2 (ja) | 2004-02-27 | 2004-02-27 | マルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004052932A JP4717361B2 (ja) | 2004-02-27 | 2004-02-27 | マルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005242756A JP2005242756A (ja) | 2005-09-08 |
| JP4717361B2 true JP4717361B2 (ja) | 2011-07-06 |
Family
ID=35024417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004052932A Expired - Fee Related JP4717361B2 (ja) | 2004-02-27 | 2004-02-27 | マルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4717361B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005292691A (ja) * | 2004-04-05 | 2005-10-20 | Matsushita Electric Ind Co Ltd | 動画像表示装置および動画像表示方法 |
| JP2007316738A (ja) * | 2006-05-23 | 2007-12-06 | Murata Mach Ltd | 文書管理システム |
| JP2009164665A (ja) * | 2007-12-28 | 2009-07-23 | Mitsubishi Electric Corp | 通信システム及び通信アダプタ |
| JP4492718B2 (ja) * | 2008-03-05 | 2010-06-30 | カシオ計算機株式会社 | 情報出力装置および情報出力処理プログラム |
| JP5862586B2 (ja) | 2013-03-22 | 2016-02-16 | カシオ計算機株式会社 | コンテンツ配信システム及びコンテンツ配信方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001195335A (ja) * | 2000-01-14 | 2001-07-19 | Toppan Printing Co Ltd | コンテンツデータ流通方法およびコンテンツデータ流通システムならびにそのプログラムを記録した記録媒体 |
| JP2002189675A (ja) * | 2000-08-25 | 2002-07-05 | Ntt Docomo Inc | 情報配信システムおよび情報配信方法 |
| JP2002073402A (ja) * | 2000-09-01 | 2002-03-12 | Matsushita Electric Ind Co Ltd | オーサリング装置 |
| JP2002278873A (ja) * | 2001-03-19 | 2002-09-27 | Nec Corp | データ放送におけるコンテンツ提供システム |
| JP2002342218A (ja) * | 2001-05-16 | 2002-11-29 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ提供方法及びシステム |
| JP4084049B2 (ja) * | 2002-01-29 | 2008-04-30 | 株式会社富士通ソーシアルサイエンスラボラトリ | コンテンツデータ抽出・構造変換処理プログラム、コンテンツデータ抽出・構造変換処理プログラム記録媒体、およびコンテンツ再構築処理システム |
| JP4352653B2 (ja) * | 2002-04-12 | 2009-10-28 | 三菱電機株式会社 | 映像コンテンツ管理運用システム |
| JP4518807B2 (ja) * | 2004-02-02 | 2010-08-04 | 大日本印刷株式会社 | 情報提示装置及び情報提示方法等 |
-
2004
- 2004-02-27 JP JP2004052932A patent/JP4717361B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005242756A (ja) | 2005-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6978475B1 (en) | Method and apparatus for internet TV | |
| US8621045B2 (en) | Portable communication interface for accessing media content | |
| JP5429881B2 (ja) | 制御装置を使用する、簡略化されたメディア・サービスの検索 | |
| KR101460613B1 (ko) | 로컬 네트워크내의 장치의 사용자에게 적절한 정보를제공하는 방법 및 시스템 | |
| JP2019091428A (ja) | ニュース推薦方法及び装置 | |
| US7409382B2 (en) | Information processing system, terminal device, method and medium | |
| US20040017513A1 (en) | Electronic equipment, server, and presentation method of layout script text | |
| JP2008003968A (ja) | 情報処理システム、情報処理方法及びプログラム | |
| JP2001154903A (ja) | 無線ネットワーク通信システム | |
| JP2002269145A (ja) | 情報処理装置、端末装置、方法、媒体、およびプログラム | |
| WO2002059734A1 (en) | Interactive marking and recall of a document | |
| KR101245665B1 (ko) | 통합 멀티미디어 컨텐츠를 제공하는 검색 시스템 및 검색 방법 | |
| US20050138546A1 (en) | Personalized web page on a home network for viewing on a television | |
| US20140280788A1 (en) | Method and apparatus for converting content | |
| JP4717361B2 (ja) | マルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システム | |
| KR20120047625A (ko) | 홈 네트워크 시스템에서 어플리케이션 서비스 방법 및 어플리케이션 공유 방법 | |
| KR101097372B1 (ko) | 홈 네트워크 시스템에서 어플리케이션 서비스 방법 및 서버 | |
| JP5624056B2 (ja) | クエリを生成する方法、装置及びコンピュータプログラム | |
| JP4518807B2 (ja) | 情報提示装置及び情報提示方法等 | |
| KR101236481B1 (ko) | 홈 네트워크 시스템에서 컨텐츠 공유 방법 | |
| KR101158019B1 (ko) | 홈 네트워크 시스템에서 어플리케이션 서비스 방법, 어플리케이션 공유 방법및 어플리케이션 서비스 장치 | |
| JP2009110291A (ja) | 情報提供サーバおよび情報提供方法 | |
| CN118069779A (zh) | 一种信息检索方法、装置及计算机可读存储介质 | |
| KR101847643B1 (ko) | 스케일러블 어플리케이션 서비스를 위한 파싱 장치 및 방법 | |
| Kohl et al. | CONTEXT BASED MOBILE INTERFACES |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061207 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061207 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110330 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |