JP5199400B2 - モバイル端末でリッチビデオを実施するための方法 - Google Patents
モバイル端末でリッチビデオを実施するための方法 Download PDFInfo
- Publication number
- JP5199400B2 JP5199400B2 JP2010550216A JP2010550216A JP5199400B2 JP 5199400 B2 JP5199400 B2 JP 5199400B2 JP 2010550216 A JP2010550216 A JP 2010550216A JP 2010550216 A JP2010550216 A JP 2010550216A JP 5199400 B2 JP5199400 B2 JP 5199400B2
- Authority
- JP
- Japan
- Prior art keywords
- communication system
- video
- media
- terminal
- enhanced video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 230000003190 augmentative effect Effects 0.000 claims description 22
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims 1
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
- H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
- H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Closed-Circuit Television Systems (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、電気通信の分野を扱い、さらに詳細には、モバイル端末でのエンハンスドビデオの表示に関する分野を扱う。
第２世代（２Ｇ）モバイルネットワークはデジタル技術を無線通信に導入したが、特にＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）によって実施された第３世代（３Ｇ）は、特にエアインターフェイスを介してビットレートが増大したおかげで（最大２Ｍビット／秒）、固定回線ネットワーク向けに確保されていたモバイルネットワーク通信サービスに組み入れることにより固定回線ネットワークとモバイルネットワークの収束を確実なものにする。サポート対象のサービスは特に、（ボイスに加えて）オーディオ、ビデオ、テキスト、およびグラフィックス、つまりマルチメディア・アプリケーションの必須要素を含む。同時に、モバイル端末はその能力を増強させてきたが、（端末で稼働する）永続的アプリケーションだけにとどまらず、（ビデオ・アプリケーションの表示のような再生操作だけを端末が実行するので、リモートサーバ上で稼働する）非永続的アプリケーションも実施することができるようになって、今や標準コンピュータのような役割を果たしている（Ｐｕｊｏｌｌｅ、Ｌｅｓ Ｒｅｓｅａｕｘ、２００８年版、第４３章、１００４〜１０１２頁を参照）。
無線波通信における端末の能力およびビットレートが一体化して増大したことにより、３Ｇ端末でマルチメディア・アプリケーションを稼働することができるようになったが、マルチメディア・アプリケーションは当初、モバイルネットワークで遭遇した従来の問題（ネットワークアクセス可能性、ハンドオーバー、データ伝送時間）が発生しない固定回線ネットワーク向けに設計されたものであった。同様のことは、仮想要素が現実から描き出されたシーンに重ね合わせて表示される技法である拡張現実にも当てはまる。拡張現実のアプリケーションの１つはエンハンスドビデオであるが、これは撮影されたシーンがリアルタイムで、マルチメディア・データベースから引き出されたテキストまたはイメージなどのビジュアル要素で機能強化されるものである（たとえば、欧州特許出願第１，５２７，５９９号を参照）。この技法は近年、カメラが装備されたモバイル端末において見られるようになった（たとえば、欧州特許出願第１，８１４，１０１号、または米国特許出願公開第２００７／００２４５２７号を参照）。
しかし、提案されたソリューションは、全体としては不十分であったことが判明した。それらの多くは、依然として理論上のものであり、ユーザに真の対話性を提供することはない単純なビジュアル要素に限定される（前述の文献を参照）。
実際に、欧州特許出願第１，８１４，１０１号および米国特許出願公開第２００７／００２４５２７号において説明されるシステムは、リアルタイムで、つまりユーザに実質的に検出されない時間内で、拡張現実を組み入れるようにすることはできない。
Ｐｕｊｏｌｌｅ、Ｌｅｓ Ｒｅｓｅａｕｘ、２００８年版、第４３章、１００４〜１０１２頁
本発明は特に、モバイルネットワーク内で実際に実現することができ、ユーザに正真正銘のリアルタイム対話性をもたらすエンハンスドビデオ・ソリューションをモバイル端末に提供することにより、これらの欠点に対処することを目的とする。
加えて、本発明は、最も標準的なモバイル端末に合わせて適合できることを目的とする。
最後に、本発明は、拡張現実イメージと対話する手段をユーザにもたらすことを目的とする。
そのために、本発明は、最初に、実際に撮影されたシーンであってそのシーンと結び付けられた追加のビジュアル要素が内部に組み込まれるシーンを備えるエンハンスドビデオの、カメラが装備された通信モバイル端末上での表示を備える通信方法を提案し、その方法は、
− 前記モバイル端末とリモート通信システムとの間のメディアセッションを確立する操作と、
− 端末が、カメラを利用して、前記実際に撮影されたシーンを備える非エンハンスドビデオを撮影する操作と、
− 非エンハンスドビデオを、リアルタイムで、モバイル端末により通信システムに送信する操作と、
− 通信システムが非エンハンスドビデオを受信する操作と、
− 通信システム内で、撮影されたシーンをリアルタイム分析する操作と、
− 通信システムのデータベース内で、撮影されたシーンに関連する１つまたは複数の追加のメディアオブジェクトを選択する操作と、
− 端末からアクティブ化されうる少なくとも１つの対話式機能を、前記追加のメディアオブジェクトの中からの少なくとも１つのオブジェクトと関連付ける操作と、
− エンハンスドビデオを形成するために、それにより選択されたオブジェクトまたは追加のメディアオブジェクトを非エンハンスドビデオに追加する操作と、
− 通信システムが、リアルタイムで、エンハンスドビデオをモバイル端末に送信する操作と、
− モバイル端末が、リアルタイムで、エンハンスドビデオを再生する操作と、
− モバイル端末が、対話式機能が関連付けられている追加のメディアオブジェクトを通じて前記端末から作成された任意のコマンドを、リアルタイムで通信システムに送信する操作と、
− 通信システムが前記コマンド操作を受信する操作と、
− 通信システムがコマンドを分析する操作と、
− 通信システム内の少なくとも１つのメディアオブジェクトの明白な特性を、受信したコマンドに従って（たとえば、あらかじめ確立されたシナリオに従って）更新する操作と、
− 通信システムが、少なくとも１つの更新済みメディアオブジェクトを、リアルタイムで端末に送信する操作と、
− 更新済みメディアオブジェクトが、リアルタイムで、端末によって再生される操作と、
− 更新済みメディアオブジェクトが、リアルタイムで、端末によって表示される操作とを備える。
− 前記モバイル端末とリモート通信システムとの間のメディアセッションを確立する操作と、
− 端末が、カメラを利用して、前記実際に撮影されたシーンを備える非エンハンスドビデオを撮影する操作と、
− 非エンハンスドビデオを、リアルタイムで、モバイル端末により通信システムに送信する操作と、
− 通信システムが非エンハンスドビデオを受信する操作と、
− 通信システム内で、撮影されたシーンをリアルタイム分析する操作と、
− 通信システムのデータベース内で、撮影されたシーンに関連する１つまたは複数の追加のメディアオブジェクトを選択する操作と、
− 端末からアクティブ化されうる少なくとも１つの対話式機能を、前記追加のメディアオブジェクトの中からの少なくとも１つのオブジェクトと関連付ける操作と、
− エンハンスドビデオを形成するために、それにより選択されたオブジェクトまたは追加のメディアオブジェクトを非エンハンスドビデオに追加する操作と、
− 通信システムが、リアルタイムで、エンハンスドビデオをモバイル端末に送信する操作と、
− モバイル端末が、リアルタイムで、エンハンスドビデオを再生する操作と、
− モバイル端末が、対話式機能が関連付けられている追加のメディアオブジェクトを通じて前記端末から作成された任意のコマンドを、リアルタイムで通信システムに送信する操作と、
− 通信システムが前記コマンド操作を受信する操作と、
− 通信システムがコマンドを分析する操作と、
− 通信システム内の少なくとも１つのメディアオブジェクトの明白な特性を、受信したコマンドに従って（たとえば、あらかじめ確立されたシナリオに従って）更新する操作と、
− 通信システムが、少なくとも１つの更新済みメディアオブジェクトを、リアルタイムで端末に送信する操作と、
− 更新済みメディアオブジェクトが、リアルタイムで、端末によって再生される操作と、
− 更新済みメディアオブジェクトが、リアルタイムで、端末によって表示される操作とを備える。
通信システムにより機能強化されたビデオを受信する操作と撮影されたシーンを分析する操作との間に、ビデオを復号化する操作が提供されてもよく、分析は非圧縮のビデオ形式から実行される。
このコマンド操作は、たとえば、端末のキーボードを利用してアクティブ化される。
第２に、本発明は、
− モバイル端末とのメディアセッションを確立することができるメディアサーバと、
− メディアサーバに接続され、エンハンスドビデオ・アプリケーションが実施されるビデオ・アプリケーション・サーバと、
− ビデオ・アプリケーション・サーバに接続され、ビデオ・アプリケーション・サーバからのコマンドに応じて、メディアサーバを介してモバイル端末から受信した非エンハンスドビデオ内のイメージを分析するか、または追加のメディアオブジェクトと関連付けられているコマンド分析を実行するようにプログラムされた拡張現実サーバと、
− 拡張現実サーバに接続されたメディアオブジェクト・データベースとを備える通信システムを提案する。
− モバイル端末とのメディアセッションを確立することができるメディアサーバと、
− メディアサーバに接続され、エンハンスドビデオ・アプリケーションが実施されるビデオ・アプリケーション・サーバと、
− ビデオ・アプリケーション・サーバに接続され、ビデオ・アプリケーション・サーバからのコマンドに応じて、メディアサーバを介してモバイル端末から受信した非エンハンスドビデオ内のイメージを分析するか、または追加のメディアオブジェクトと関連付けられているコマンド分析を実行するようにプログラムされた拡張現実サーバと、
− 拡張現実サーバに接続されたメディアオブジェクト・データベースとを備える通信システムを提案する。
このシステムはさらに、拡張現実サーバおよびメディアサーバに接続され、メディアサーバを介してモバイル端末から受信した非エンハンスドビデオを圧縮解除するか、または逆に、メディアサーバを介して端末に送信するためにエンハンスドビデオを圧縮するように構成された符号器／復号器を備えることができる。
本発明のその他の目的および利点は、本発明によるネットワーク・アーキテクチャおよび通信方法を説明する添付の図面を参照して以下の説明を検討すれば明らかとなろう。
示されるネットワーク・アーキテクチャ１は、エアインターフェイスを介して、端末２とのメディアセッションの確立を保証するメディアサーバ４を備える通信システム３に接続されたモバイル端末２（携帯電話、通信中のＰＤＡ、またはスマートフォン）と、メディアサーバ４に接続され、エンハンスドビデオ・アプリケーションが実施されるビデオ・アプリケーション・サーバ５と、ビデオ・アプリケーション・サーバ５に接続された拡張６現実サーバと、拡張現実サーバ６に接続または組み入れられたマルチメディア・オブジェクトが保存されるデータベース７とを備える。
「サーバ」という用語は、本明細書において、機能を組み込むことができる任意の情報システム、または方法を実施することができる任意のコンピュータプログラムを示す。
１つの実施形態によれば、システム３はさらに、拡張現実サーバ６およびメディアサーバ４に接続された符号器／復号器８を備える。
メディアサーバ４およびモバイル端末２は、特にオーディオ／ビデオデータの交換を可能にする、（たとえば、ＲＴＰまたはＨ３２４ｍプロトコルに従って）メディアセッションを相互の間に確立するように構成される。
モバイル端末２には、カメラが装備され、カメラの前の端末の環境内で生じている実際のシーンで構成される簡単な（つまり非エンハンスド）ビデオを生成することができるようになっている。端末にはさらに、ビデオを表示できるようにする画面９、ユーザがコマンドを入力できるようにするキーボード１０、音声の再生が離れたところで（つまり端末２が腕を伸ばした距離で保持される場合に）聞き取れるようにするスピーカ、または控えめに聞くためのイヤホンも装備される。
使用されるデータ転送プロトコルは、好ましくは、ユーザの観点から、ビデオが端末２から生成されてエンハンスドビデオで表示されるまでの時間だけではなく、対話の応答時間も最小限にするために、最大のデータ伝送速度を得るように選択される。ビデオの取得またはサーバによるイメージの処理が圧縮できない処理時間を伴う程度まで、プロトコルは、データを受信、処理、および送信するために要する合計時間がユーザに検知できないように十分に高速であることが重要である。
次いで、端末２で生成されたビデオのリアルタイム機能強化は、以下のように実行される。
メディアセッションは、最初に、端末２と通信システム３との間、さらに詳細には端末２（自発的に）とメディアサーバ４との間のリアルタイムプロトコル（たとえば、ＲＴＰまたはＨ３２４ｍ）に従って確立される（１０１）。このセッションは、本来双方向であり、リアルタイムのオーディオおよびビデオデータの伝送を含み、いずれも端末２によって、発信データが（エアインターフェイスに入るとき）符号化され、着信データが（エアインターフェイスを出るとき）復号化される。
次いで、メディアサーバ（４）は直ちに、エンハンスドビデオ・アプリケーションの開始を指示するために、このメディアセッションが開くことをビデオ・アプリケーション・サーバ５に信号で通知する（１０２）。
端末２とメディアサーバ４との間に確立されたメディアセッション中に、カメラの前で生じている実際に撮影されたシーンを備える非エンハンスドビデオは端末２から生成される。
このビデオは、リアルタイムで、端末２によってメディアサーバ３に送信される（１０３）。さらに詳細には、シーンが撮影されている間、ビデオフィードは、端末２によって、適切なビデオ圧縮規格に従って（つまり、実際には、望ましい圧縮レベルに適合されるので、比較的低い圧縮レベルの場合、端末はＨ．２６３規格を使用し、より高い圧縮レベルの場合、端末２はＭＰＥＧ−４規格を採用し、非常に高い圧縮レベルの場合、Ｈ．２６４規格を採用してもよい）符号化され、ＲＰＴパケットによってメディアサーバ４に送信される。したがって、セッションの確立に基づいてモバイルにより常に撮影されるフローは、通信３システムに継続的に送信される。
メディアセッションが確立されると、またはアプリケーション・サーバ５からの要求に応じて、メディアサーバ４は、ビデオの第１のＲＴＰパケットの受信をエンハンスドビデオ・アプリケーション・サーバ５に即時に信号で通知するが、次いでそのエンハンスドビデオ・アプリケーションは、以下に説明する操作を予想して拡張現実サーバ６を構成する（１０４）。
非エンハンスドビデオはメディアサーバ４によってＲＴＰパケットで符号器／復号器８に送信される（１０５）が、これはＲＴＰパケットを圧縮して、非圧縮の形式で拡張現実サーバ６にリアルタイムで送信する（１０６）。使用される非圧縮の形式は、たとえば、ＩＥＴＦのＲＦＣ４１７５規格に対応し、ＲＧＢ（赤／緑／青）またはＹＵＶ（別称ＹＣｒＣｂ）のカラー定義を使用する。
次いで、拡張現実サーバ６は、リアルタイムで、ビデオに含まれる撮影済みシーンを分析する（１０７）。たとえば、ビデオはイメージごとに分解され、次いで各イメージは、Ｈａｒｒｉｓコーナー検出器技法のようなイメージ認識技法を使用して、データベース７からのイメージと比較される。したがって、分析されたイメージは、以前データベース７内に保存されたイメージと１対１で照合され、イメージのコンテンツに関連する（ゆえに、撮影済みのシーンに関連する）少なくとも１つのメディアオブジェクトと関連付けられる。
オーディオオブジェクト、ビデオオブジェクト、テキスト、またはイメージ（たとえば、３Ｄ仮想現実イメージ）であってもよいこのメディアオブジェクト、またはこれらのリソースの組み合わせを使用するオブジェクト（たとえば、オーディオ／ビデオオブジェクト）は、あらかじめ定められたシナリオ、つまりその選択の起点における非エンハンスドビデオのイメージとの相関の規則と関連付けられている。たとえば、車両のイメージがメディアオブジェクトとしてデータベース内で車両の座席の仮想３次元ビデオと関連付けられている場合、シナリオは、そのビューを車両の広告写真の上に重ね合わせること、およびビデオの撮影中に端末の方向に応じてリアルタイムで空間内でビューを回転できるようにすることで構成されてもよい。そのために、次いで、カメラおよび分析されたイメージの相対的位置の拡張現実サーバ６によるリアルタイム・トラッキングにより、カメラの方向と同期する仮想ビューの空間内の回転が可能になる。
端末２にはまた、測定結果がビデオデータと一緒にリアルタイムでＲＴＰフローに含まれる加速度計が装備されてもよい。
次いで、それにより選択されたメディアオブジェクトは、拡張現実サーバ６によって、リアルタイムで、非エンハンスドビデオに追加されて（１０７’）、非圧縮形式でエンハンスドビデオを形成する。
非圧縮形式のエンハンスドビデオフィードは、拡張現実サーバ６によってリアルタイムで符号器／復号器８に送信される（１０８）が、これは以前使用された交換形式（Ｈ．２６３、ＭＰＥＧ−４、Ｈ．２６４）でエンハンスドビデオフィードを圧縮し、次いでメディアサーバ４に同様にリアルタイムで送信する（１０９）。次いで、このメディアサーバは、エンハンスドビデオをリアルタイムで端末２に中継する（１１０）が、端末２はリアルタイムの圧縮解除および再生をローカルに保証する。
ユーザの視点からは、撮影済みビデオの機能強化はリアルタイムで行われる、つまり知覚できるほどの遅延を生じることなく、またはミリ秒単位の時間内で行われる。先に説明したアーキテクチャによって許容される情報処理の速度により、エンハンスドビデオの追加のメディアオブジェクトを端末２の移動への基本的適合の範囲を超える対話式機能と関連付けることが可能であり、これは現実または仮想のいずれでもよいキーボード１０のキーを利用するなど、ユーザによるボイスまたは手動コマンドでアクティブ化されてもよい。各対話式コマンドは端末２によってメディアサーバ４に送信される（１１１）が、次いでこれはそのエンハンスドビデオ・アプリケーションを介して、コマンドをビデオ・アプリケーション・サーバ５に中継し（１１２）、次いでそのエンハンスドビデオ・アプリケーションを介して、あらかじめ確立されたシナリオに応じて拡張現実サーバ６内のメディアオブジェクトの明白な特性への更新を指示する（１１３）。
これにより、ユーザは追加のオブジェクトに直接従って動作して、カラー、テクスチャ、位置などの、その特性を変更するか、または広告メッセージの再生、ハイパーリンクのアクティブ化などの、オブジェクト自身によって提供された機能を使用することができる。たとえば、ユーザは、車両を撮影して、車両の３次元ビューを受信することができるが、このビューは、価格、販売業者の連絡先、納期、商用Ｗｅｂサイトへのリンクなどの対話式であってもよい商用情報に場合によっては関連付けられて、ユーザは要望どおりに（回転、ドアを開く、座席を調べる、カラーを変更するなど）操作することができる。
１つの特定の実施形態において、上記で説明した機能の一部は、データ転送時間に起因する遅延を減少する方法で、モバイル端末２に組み込まれる。したがって、モバイル端末２は、たとえば、通信システム３にすでに圧縮されているビデオフローを送信することで、場合によってはさらに迅速になるように、符号化／復号化を組み入れることができる。
したがって、先に説明したソリューションは、日常生活において使用できる拡張現実の効果的なアプリケーションを提案するが、これは特定の追加機能を実施することなく第３世代のモバイル端末に実施されてもよく、処理の大部分はリモート通信システム内で実行され、リモート通信システムの構成がビデオ機能強化操作をリアルタイムで実行できるようにする。
このソリューションはまた、エンハンスドビデオに基づいて、電子商取引ポータルへのアクセスを可能にする。
この方法は、モバイル端末を対象とする広告コンテンツを配信する場合に特に適用することができる。実際に、モバイル端末２によって撮影されたシーンの分析に従って、追加で撮影済みシーンと結び付けられたメディアオブジェクトが広告関連であってもよい。
非限定的な例として、モバイル端末２によって撮影されたシーンが印刷された映画のポスターである場合、対応する追加のメディアオブジェクトは、その映画の広告ビデオシーケンスであってもよく、そこには撮影されたシーンが含まれていても、含まれていなくてもよい。その映画の上映日を検索すること、予約すること、および／またはその映画に関する追加情報を要求することは、広告メディアコンテンツと関連付けることができ、モバイル端末２からアクティブ化することができる対話式機能の例である。
第２の例として、モバイル端末２によって撮影された実際のシーンに自動車が含まれる場合、新車、付属品、および／または自動車部品もしくはサービスの広告コンテンツのようないくつかの追加の広告メディアオブジェクトが考え出されてもよい。
このコンテキストの中で、追加の広告メディアオブジェクトと関連付けられている対話式機能は、文化、情報、および／または商業を目的とするものであってもよい。
ビデオ機能強化操作が通信システム３によって実行される限りにおいて、このシステムはまた、これらの操作に関する情報を収集する役割を果たすこともできる。たとえば、この情報は、以下の事項を備えることができる。
− モバイル端末２と所与のエンハンスドビデオを処理する通信システム３との間の通信セッションの平均継続期間
− 所与のエンハンスドビデオに関する通信セッションの単位時間あたりの数
− 所与のエンハンスドビデオに関する通信セッションの地域別の数
− 当初対象とする母集団に属しているユーザですでに確立されている通信セッションの数
− モバイル端末３のユーザに関する情報（電話番号、性別、年齢、姓、名など）
− モバイル端末２と所与のエンハンスドビデオを処理する通信システム３との間の通信セッションの平均継続期間
− 所与のエンハンスドビデオに関する通信セッションの単位時間あたりの数
− 所与のエンハンスドビデオに関する通信セッションの地域別の数
− 当初対象とする母集団に属しているユーザですでに確立されている通信セッションの数
− モバイル端末３のユーザに関する情報（電話番号、性別、年齢、姓、名など）
この情報により、商業目的の追加のメディアオブジェクトの所有者に非常に有益な統計データを提供することができるようになる。
Claims (6)
- 実際に撮影されたシーンであって前記シーンと結び付けられた追加のビジュアル要素が内部に組み込まれるシーンを備えるエンハンスドビデオの、カメラが装備された通信モバイル端末（２）上での表示を備える通信方法であって、
前記モバイル端末（２）とリモート通信システム（３）との間のメディアセッションを確立する操作と、
前記端末が、カメラを利用して、前記実際に撮影されたシーンを備える非エンハンスドビデオを撮影する操作と、
前記非エンハンスドビデオを、リアルタイムで、前記モバイル端末（２）により前記通信システム（３）に送信する操作と、
前記通信システムが前記非エンハンスドビデオを受信する操作と、
前記通信システム（３）内で、前記撮影されたシーンをリアルタイム分析する操作と、
前記通信システム（３）のデータベース内で、前記撮影されたシーンに関連する１つまたは複数の追加のメディアオブジェクトを選択する操作と、
前記端末からアクティブ化されうる少なくとも１つの対話式機能を、前記追加のメディアオブジェクトの中からの少なくとも１つのオブジェクトと関連付ける操作と、
エンハンスドビデオを形成するために、それにより選択された前記オブジェクトまたは追加のメディアオブジェクトを前記非エンハンスドビデオに追加する操作と、
前記通信システム（３）が、リアルタイムで、前記エンハンスドビデオを前記モバイル端末（２）に送信する操作と、
前記通信システム（３）が前記コマンド操作を受信する操作と、
前記通信システム（３）が前記コマンドを分析する操作と、
前記通信システム（３）内の少なくとも１つのメディアオブジェクトの明白な特性を、受信した前記コマンドに従って（たとえば、あらかじめ確立されたシナリオに従って）更新する操作と、
前記通信システム（３）が、少なくとも１つの更新済みメディアオブジェクトを、リアルタイムで前記端末（２）に送信する操作と、
前記更新済みメディアオブジェクトが、リアルタイムで、前記端末（２）によって再生される操作と、
前記更新済みメディアオブジェクトが、リアルタイムで、前記端末（２）によって表示される操作とを備える、方法。 - 前記通信システム（３）により機能強化された前記ビデオを受信する前記操作と前記撮影されたシーンを分析する操作との間に、ビデオを復号化する操作を備え、分析は非圧縮のビデオ形式から実行される請求項１に記載の方法。
- 前記メディアオブジェクトによって提供された対話の、前記端末（２）から実行されるコマンド操作と、あらかじめ確立されたシナリオに応じて前記通信システム（３）によって実行される前記メディアオブジェクトの明白な特性を更新する操作とを備える請求項１または２に記載の方法。
- 前記コマンド操作は、前記端末（２）のキーボード（１０）を利用してアクティブ化される請求項１乃至３のいずれか１項に記載の方法。
- 通信システム（３）であって、
実際のシーンを撮影するカメラを備えるモバイル端末（２）とのメディアセッションを確立することができるメディアサーバ（４）と、
前記メディアサーバ（４）に接続され、エンハンスドビデオ・アプリケーションが実施されるビデオ・アプリケーション・サーバ（５）と、
前記ビデオ・アプリケーション・サーバ（５）に接続された拡張現実サーバ（６）と、
前記拡張現実サーバ（６）に接続されたメディアオブジェクト・データベース（７）とを備え、
前記拡張現実サーバ（６）は、前記ビデオ・アプリケーション・サーバ（６）からのコマンドに応じて、
前記メディアサーバ（４）を介して前記モバイル端末（２）から受信した非エンハンスドビデオ内のイメージ分析または追加のメディアオブジェクトと関連付けられているコマンド分析を実行し、
前記データベース（７）内で、前記撮影されたシーンに関連する１つまたは複数の追加のメディアオブジェクトを選択し、
前記端末からアクティブ化されうる少なくとも１つの対話式機能を、前記追加のメディアオブジェクトの中からの少なくとも１つのオブジェクトと関連付け、
エンハンスドビデオを形成するために、それにより選択された前記オブジェクトまたは追加のメディアオブジェクトを前記非エンハンスドビデオに追加し、
リアルタイムで、前記エンハンスドビデオを前記モバイル端末（２）に送信し、
前記モバイル端末（２）からのコマンドの受信に応動して、前記少なくとも１つのメディアオブジェクトの明白な特性を、受信した前記コマンドに従って（たとえば、あらかじめ確立されたシナリオに従って）更新し、
少なくとも１つの更新済みメディアオブジェクトを、リアルタイムで前記端末（２）に送信する、
ようにプログラムされる、通信システム（３）。 - 前記メディアサーバ（４）を介して前記モバイル端末（２）から受信した非エンハンスドビデオを圧縮解除するか、または逆に、前記メディアサーバ（４）を介して前記端末（２）に送信するためにエンハンスドビデオを圧縮するように構成された、前記拡張現実サーバ（６）および前記メディアサーバ（４）に接続された符号器／復号器（８）をさらに備える請求項５に記載の通信システム（３）。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0801430A FR2928805B1 (fr) | 2008-03-14 | 2008-03-14 | Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles. |
| FR0801430 | 2008-03-14 | ||
| PCT/EP2009/053021 WO2009112585A1 (fr) | 2008-03-14 | 2009-03-13 | Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011519193A JP2011519193A (ja) | 2011-06-30 |
| JP5199400B2 true JP5199400B2 (ja) | 2013-05-15 |
Family
ID=39612570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010550216A Active JP5199400B2 (ja) | 2008-03-14 | 2009-03-13 | モバイル端末でリッチビデオを実施するための方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20110096844A1 (ja) |
| EP (1) | EP2255527B1 (ja) |
| JP (1) | JP5199400B2 (ja) |
| KR (1) | KR101167432B1 (ja) |
| CN (1) | CN101971618B (ja) |
| AT (1) | ATE536039T1 (ja) |
| FR (1) | FR2928805B1 (ja) |
| WO (1) | WO2009112585A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7313801B2 (ja) | 2018-05-24 | 2023-07-25 | キヤノン株式会社 | 制御装置、制御方法およびプログラム |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8817045B2 (en) | 2000-11-06 | 2014-08-26 | Nant Holdings Ip, Llc | Interactivity via mobile image recognition |
| EP2764899A3 (en) | 2005-08-29 | 2014-12-10 | Nant Holdings IP, LLC | Interactivity via mobile image recognition |
| EP2359915B1 (en) | 2009-12-31 | 2017-04-19 | Sony Computer Entertainment Europe Limited | Media viewing |
| US8666978B2 (en) | 2010-09-16 | 2014-03-04 | Alcatel Lucent | Method and apparatus for managing content tagging and tagged content |
| US8533192B2 (en) | 2010-09-16 | 2013-09-10 | Alcatel Lucent | Content capture device and methods for automatically tagging content |
| US8655881B2 (en) | 2010-09-16 | 2014-02-18 | Alcatel Lucent | Method and apparatus for automatically tagging content |
| KR101690955B1 (ko) * | 2010-10-04 | 2016-12-29 | 삼성전자주식회사 | 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치 |
| US9111326B1 (en) | 2010-12-21 | 2015-08-18 | Rawles Llc | Designation of zones of interest within an augmented reality environment |
| US8905551B1 (en) | 2010-12-23 | 2014-12-09 | Rawles Llc | Unpowered augmented reality projection accessory display device |
| US8845110B1 (en) | 2010-12-23 | 2014-09-30 | Rawles Llc | Powered augmented reality projection accessory display device |
| US9134593B1 (en) | 2010-12-23 | 2015-09-15 | Amazon Technologies, Inc. | Generation and modulation of non-visible structured light for augmented reality projection system |
| US8845107B1 (en) | 2010-12-23 | 2014-09-30 | Rawles Llc | Characterization of a scene with structured light |
| US9721386B1 (en) | 2010-12-27 | 2017-08-01 | Amazon Technologies, Inc. | Integrated augmented reality environment |
| US9607315B1 (en) * | 2010-12-30 | 2017-03-28 | Amazon Technologies, Inc. | Complementing operation of display devices in an augmented reality environment |
| US9508194B1 (en) | 2010-12-30 | 2016-11-29 | Amazon Technologies, Inc. | Utilizing content output devices in an augmented reality environment |
| CN102843347B (zh) * | 2011-06-24 | 2017-10-31 | 中兴通讯股份有限公司 | 实现移动增强现实业务的系统及方法、终端及服务器 |
| US9118782B1 (en) | 2011-09-19 | 2015-08-25 | Amazon Technologies, Inc. | Optical interference mitigation |
| JP5927822B2 (ja) * | 2011-09-21 | 2016-06-01 | カシオ計算機株式会社 | 画像通信システム |
| CN102346660A (zh) * | 2011-10-13 | 2012-02-08 | 苏州梦想人软件科技有限公司 | 一种混合现实与虚拟物体的系统及方法 |
| US9235819B2 (en) * | 2011-11-04 | 2016-01-12 | Canon Kabushiki Kaisha | Printing system, image forming apparatus, and method |
| US9456244B2 (en) | 2012-06-25 | 2016-09-27 | Intel Corporation | Facilitation of concurrent consumption of media content by multiple users using superimposed animation |
| CN102739872A (zh) * | 2012-07-13 | 2012-10-17 | 苏州梦想人软件科技有限公司 | 移动终端及应用于移动终端的增强现实方法 |
| US9454220B2 (en) * | 2014-01-23 | 2016-09-27 | Derek A. Devries | Method and system of augmented-reality simulations |
| CN104679973A (zh) * | 2013-12-03 | 2015-06-03 | 深圳市艾酷通信软件有限公司 | 一种用于移动终端上的文件系统及其实现方法 |
| CN104361075A (zh) * | 2014-11-12 | 2015-02-18 | 深圳市幻实科技有限公司 | 一种图像网址系统及实现方法 |
| CN106254848B (zh) * | 2016-07-29 | 2019-06-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于增强现实的学习方法及终端 |
| CN107894879A (zh) * | 2017-11-16 | 2018-04-10 | 中国人民解放军信息工程大学 | 基于可见光隐式成像通信的增强现实方法、系统和终端 |
| CN108769721A (zh) * | 2018-05-23 | 2018-11-06 | 福建掌搜科技有限公司 | 一种直播场景智能切换系统及其方法 |
| CN112131895B (zh) * | 2019-06-24 | 2024-06-18 | 北京京东振世信息技术有限公司 | 信息传输方法、装置、电子设备和存储介质 |
| CN112788274A (zh) * | 2019-11-08 | 2021-05-11 | 华为技术有限公司 | 一种基于增强现实的通信方法及装置 |
| CN112887258B (zh) * | 2019-11-29 | 2022-12-27 | 华为技术有限公司 | 一种基于增强现实的通信方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7126558B1 (en) * | 2001-10-19 | 2006-10-24 | Accenture Global Services Gmbh | Industrial augmented reality |
| FR2842977A1 (fr) * | 2002-07-24 | 2004-01-30 | Total Immersion | Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video |
| KR100593399B1 (ko) * | 2003-12-08 | 2006-06-28 | 한국전자통신연구원 | 증강현실을 이용한 부품 정비시스템 및 방법 |
| CN101080762A (zh) * | 2004-11-19 | 2007-11-28 | Daem交互有限公司 | 具有图像获取功能、应用于扩充现实性资源的个人装置和方法 |
| US20100309226A1 (en) * | 2007-05-08 | 2010-12-09 | Eidgenossische Technische Hochschule Zurich | Method and system for image-based information retrieval |
| EP2009868B1 (en) * | 2007-06-29 | 2016-09-07 | Alcatel Lucent | Method and system for improving the appearance of a person on the RTP stream coming from a media terminal |
-
2008
- 2008-03-14 FR FR0801430A patent/FR2928805B1/fr not_active Expired - Fee Related
-
2009
- 2009-03-13 JP JP2010550216A patent/JP5199400B2/ja active Active
- 2009-03-13 AT AT09721061T patent/ATE536039T1/de active
- 2009-03-13 US US12/736,083 patent/US20110096844A1/en not_active Abandoned
- 2009-03-13 CN CN200980108813XA patent/CN101971618B/zh active Active
- 2009-03-13 KR KR1020107022906A patent/KR101167432B1/ko active IP Right Grant
- 2009-03-13 WO PCT/EP2009/053021 patent/WO2009112585A1/fr active Application Filing
- 2009-03-13 EP EP09721061A patent/EP2255527B1/fr active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7313801B2 (ja) | 2018-05-24 | 2023-07-25 | キヤノン株式会社 | 制御装置、制御方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011519193A (ja) | 2011-06-30 |
| KR101167432B1 (ko) | 2012-07-19 |
| US20110096844A1 (en) | 2011-04-28 |
| FR2928805A1 (fr) | 2009-09-18 |
| EP2255527B1 (fr) | 2011-11-30 |
| CN101971618A (zh) | 2011-02-09 |
| FR2928805B1 (fr) | 2012-06-01 |
| ATE536039T1 (de) | 2011-12-15 |
| CN101971618B (zh) | 2013-11-20 |
| EP2255527A1 (fr) | 2010-12-01 |
| WO2009112585A1 (fr) | 2009-09-17 |
| KR20110005696A (ko) | 2011-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5199400B2 (ja) | モバイル端末でリッチビデオを実施するための方法 | |
| CN105025327B (zh) | 一种移动终端现场直播的方法及系统 | |
| US10244291B2 (en) | Authoring system for IPTV network | |
| US7720035B2 (en) | System for mediating convergence services of communication and broadcasting using non-communicative appliance | |
| JP5576667B2 (ja) | 情報送出表示システム | |
| US20070028279A1 (en) | System for personal video broadcasting and service method using internet | |
| US6661448B2 (en) | Method and system for providing and transmitting alternative video data during interruptions in video transmissions | |
| CN113141523B (zh) | 资源传输方法、装置、终端及存储介质 | |
| Krikke | Streaming video transforms the media industry | |
| CN102326356A (zh) | 视频共享 | |
| CN113141524B (zh) | 资源传输方法、装置、终端及存储介质 | |
| CN102387187A (zh) | 服务器、客户端及利用其远程播放视频文件的方法和系统 | |
| CN105898620A (zh) | 多媒体实时直播的方法和装置 | |
| CN102770827A (zh) | 用于在终端的屏幕上显示多媒体内容的方法 | |
| CN112203126B (zh) | 投屏方法、投屏装置及存储介质 | |
| KR20160015123A (ko) | 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20000054715A (ko) | 인터넷상의 동영상컨텐츠 서비스시스템과 그 방법, 및동영상파일의 생성 및 전송방법과 그 기록매체 | |
| WO2004081798A1 (ja) | 送信装置および送信方法 | |
| US20080088693A1 (en) | Content transmission method and apparatus using video call | |
| JP2006004190A (ja) | 携帯電話向けチャットサービスシステム | |
| JP2002108758A (ja) | インターネットサービスサーバ、データ提供方法、動映像広告方法、及びその記録媒体 | |
| US20080163314A1 (en) | Advanced information display method | |
| KR101122421B1 (ko) | 화상 대화에 따른 실시간 다자 화상 데이터 저장 시스템 및 방법 | |
| KR20040063425A (ko) | 멀티미디어 광고 서비스 시스템 | |
| KR20010107100A (ko) | 화상 통신시 배경 화면 서비스 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120802 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120926 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121102 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130207 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5199400 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |