JP4789604B2 - コンテンツ切替判定システム及び切替指示端末、並びに、コンテンツ切替判定方法 - Google Patents

コンテンツ切替判定システム及び切替指示端末、並びに、コンテンツ切替判定方法 Download PDF

Info

Publication number
JP4789604B2
JP4789604B2 JP2005349220A JP2005349220A JP4789604B2 JP 4789604 B2 JP4789604 B2 JP 4789604B2 JP 2005349220 A JP2005349220 A JP 2005349220A JP 2005349220 A JP2005349220 A JP 2005349220A JP 4789604 B2 JP4789604 B2 JP 4789604B2
Authority
JP
Japan
Prior art keywords
terminal
switching
content
information
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005349220A
Other languages
English (en)
Other versions
JP2007158591A (ja
Inventor
靖夫 菅原
亨 菅山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2005349220A priority Critical patent/JP4789604B2/ja
Publication of JP2007158591A publication Critical patent/JP2007158591A/ja
Application granted granted Critical
Publication of JP4789604B2 publication Critical patent/JP4789604B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ある端末でネットワークからのコンテンツを再生中に、他の端末にコンテンツの再生を切替える際に、コンテンツ切替の可否を判定するコンテンツ切替判定システム及び切替指示を行う端末、並びに、コンテンツ切替判定方法に関する。
インターネットの急速な普及とブロードバンド化が進み、家庭内と外とを結ぶネットワーク環境が整備される一方で、家庭内のネットワーク化も進んでいる。家庭内の機器も、UPnP ( Universal Plug and Play:家庭内のパソコンや周辺機器、AV機器、電話、家電製品などの機器をネットワークを通じて接続し、相互に機能を提供しあうための技術仕様 )の規格の出現等により徐々にネットワーク対応となってきており、既にネットワーク対応のテレビ等も発売されている。
一方、無線通信技術の進歩により携帯型通信端末で動画や音楽を視聴することが可能となってきている。このような状況下で、それまで携帯型通信端末で視聴していた動画を家庭内のテレビに出力先を切替えて(端末切替)見るといったニーズが高まりつつある。この分野の研究や技術開発については、利用者が意識することなく各所に遍在したコンピューティング資源やネットワーク資源を利用することができるユビキタスコンピューティングの分野で行われている。
このようなユビキタスコンピューティング環境で利用できる技術として、例えば、非特許文献1に記載の技術が挙げられる。この技術の目的は、端末切替時に、ビデオやオーディオといったストリーミングアプリケーションを継続できるようにすることであり、切替時のメディア転送の途切れを削減する技術として、代替サービスの発見及び予約方式と、それらの方式を実現するミドルウェアを提案している。
この技術では、バックグランドでの周期的なデバイス発見や、ユーザからの切替え指示以前に先行的に接続を行う先行接続、デバイス接続完了後のメディア転送先の切替え(スムーズハンドオフ)により、ユーザの体感的な接続時間の短縮を実現している。また、端末切替時のデータの切替え手法として、ミドルウェアにおいて通信途中でのデータの出力先の変更を行っている。
ネットワーク上に参加している端末を自動的に発見する規格として、前述の「UPnP」があるが、一般に、UPnP対応機器は、コントロールポイント又はデバイスとして、以下の6つの機能を備えている。
第1の過程:アドレッシング(Addressing)
第2の過程:ディスカバリ(Discovery)
第3の過程:ディスクリプション(Description)
第4の過程:コントロール(Control)
第5の過程:イベンティング(Eventing)
第6の過程:プレゼンテーション(Presentation)
第1の過程は、各UPnP対応機器がネットワーク上でアドレスを取得する過程であり、DHCP(Dynamic Host Configuration Protocol :各クライアントに、起動時に動的にIPアドレスを割り当て、終了時にIPアドレスを回収するためのプロトコル)やAutoIPを使用する。
第2の過程は、UPnP対応デバイス(以後、デバイスという)がネットワーク上に参加した際に、SSDP( Simple Service Discover Protocol :全機器に対してサービス提供可能かどうかを確かめ、プロトコルやAPI情報を交換するプロトコル)を利用して、他の機器に対してマルチキャストすることで、自分の存在を通知する。このパケットを受信した他のUPnP対応機器は、ネットワーク上に新たな機器が参加したことを知る。
逆に、UPnP対応コントロールポイント(以後、コントロールポイントという)からもデバイスを発見することができる。コントロールポイントは、SSDPを利用してネットワーク上にマルチキャストパケットを流す。これを受け取った各UPnP対応機器が、パケットの送り主であるコントロールポイントに対してユニキャストで応答することで、コントロールポイントはデバイスを発見することができる。
第3の過程は、コントロールポイントが各UPnP対応機器の詳細な情報を取得する過程である。各UPnP対応機器は、機器ごとにデバイス情報(装置名称・種類・サービス等の一覧が記述されていて、デバイスディスクリプションとも言う)及びサービス情報(制御内容が記述されていて、サービスディスクリプションとも言う)を、XML( eXtensible Markup Language :文書やデータの意味や構造を記述するためのマークアップ言語の一つ)形式で保有している。
そして、第2の過程において、コントロールポイントが各UPnP対応機器から受け取ったSSDPパケットの中には、デバイスディスクリプションURLが記述されているので、そのURL( Uniform Resource Locator :インターネット上に存在する文書や画像などの情報資源の場所を指し示す記述方式)にアクセスすることで、各UPnP対応機器のデバイス情報を取得することができる。コントロールポイントが取得したデバイスディスクリプションの中に、サービスディスクリプションURLが含まれており、そのURLにアクセスすることでサービス情報も取得することができる。なお、デバイスディスクリプションには、後に第6の過程で登場するプレゼンテーションURLも含まれる。
第4の過程は、コントロールポイントが第3の過程で詳細情報を取得した各UPnP対応機器を操作・制御する過程である。この過程では、SOAP( Simple Object Access Protocol :他のコンピュータにあるデータやサービスを呼び出すためのプロトコル)を用いる。コントロールポイントは、第3の過程で取得したサービスディスクリプションを取得し、UPnP対応機器で利用可能なアクションを確認する。コントロールポイントは、アクションを実行しUPnP対応機器から返答を受け取ることで、各機器を操作・制御する。
第5の過程は、コントロールポイントが各デバイスに対して状態変更時には通知してもらうために、予め申し込み(Subscription)をしておくことで、状態を監視する過程である。この過程では、GENA(General Event Notification Architecture :状態の変化を通知するプロトコル)を用いる。
第6の過程では、ユーザインタフェース(User Interface)を用いた制御手段をユーザに提供する。上述のとおり、第3の過程で取得したデバイスディスクリプションドキュメント中には、プレゼンテーションURLが含まれており、ここにアクセスすることで、UPnP対応機器の制御ページに飛ぶことができ、ユーザはWEBベースでUPnP機器を制御することができる。
また、UPnPの中でも特にAV機器に焦点をあてた「UPnP AV」という規格もある。この「UPnP AV」では、例えば、図1に示すように、コントロールポイントとデバイスとの間で制御情報をやりとりし、デバイス間で直接コンテンツのやり取りを行う。つまり、コントロールポイントがデバイス1(サーバ)からデバイス2(レンダラー)へとコンテンツを転送する指示を出すと、コンテンツはデバイス1からデバイス2へ直接(コントロールポイントを経由せずに)転送される。
なお、上記説明では、コントロールポイントとデバイスを別々に記述したが、慣用表現に従ったためである。しかし、コントロールポイント、サーバ、レンダラーは、あくまでも機能を表している。したがって、コントロールポイント、サーバ、レンダラーを全て1つの端末(デバイス)に搭載することも可能であるし、コントロールポイント、サーバ、レンダラーをそれぞれ別々の端末(デバイス)に搭載することも可能である。
「シームレスサービス実現のためのモバイルマルチメディアミドルウェア」,情報処理学会研究報告,情報処理学会,2001年,2001−MBL−18,p.261−268
上記した「UPnP」や「UPnP AV」の機能を利用すれば、ある端末(切替元端末)から他の端末(切替先候補端末)へコンテンツを切替することはできる。しかしながら、「UPnP」や「UPnP AV」の枠組みにおいては、切替指示端末利用者が、「切替先候補端末における再生可否情報を事前に把握する方法」及び「切替先候補端末が再生可能な場合は、どのような状態で再生されるか」という情報について知る術が無く、切替後の様子を容易に想像することができないという問題があった。
本発明は、上述した実情に鑑みてなされたもので、切替元端末で再生中のコンテンツを切替先候補端末に切替える前に、切替の指示を行う切替指示端末の出力部上に、「切替先候補端末におけるコンテンツ再生可否情報」及び「切替先候補端末における再生品質状況」を表示できるようにして、端末切替による再生の可否を事前に把握し判定することを目的とする。
本発明によるコンテンツ切替判定システムは、切替元端末と切替先候補端末と切替指示端末とを備え、切替元端末がサーバから取得し再生しているコンテンツを、切替指示端末により切替先候補端末の少なくとも1つに切替えて再生するためのコンテンツ切替の可否を判定するコンテンツ切替判定システムである。
切替指示端末は、切替元端末及び切替先候補端末のコンテンツ再生に関する再生端末情報を取得する再生端末情報取得手段と、切替元端末で再生中のコンテンツに関する再生コンテンツ情報を取得する再生コンテンツ情報取得手段と、切替元端末で再生中のコンテンツが切替先候補端末で再生可能か否かのコンテンツ再生可否情報を事前に取得するコンテンツ再生可否情報取得手段と、を有し、切替元端末の再生端末情報と再生コンテンツ情報、並びに、切替先候補端末の再生端末情報とコンテンツ再生可否情報を取得して、これらの情報を切替指示端末のデータベース部に保有する。これらの再生端末情報、再生コンテンツ情報、コンテンツ再生可否情報を切替指示端末の出力部上に表示すると共に、切替元端末でのコンテンツ再生の状況と切替先候補端末でコンテンツ再生の状況を比較判定して再生品質を表示する。そして、この表示結果により、コンテンツ再生が切替元端末から切替先候補端末に切替えられる。
本発明によれば、切替元端末で再生中のコンテンツを切替先候補端末での再生に切替える前に、切替指示端末利用者は、切替先候補端末におけるコンテンツ再生可否情報を取得して予めコンテンツの切替が可能であるか否かを知ることができる。また、コンテンツの切替が可能である場合、その切替元端末で再生したときの品質と、切替先候補端末に切替えて再生したときの品質が良くなるのか悪くなるのかについても把握することができる。
図により本発明の実施の形態を説明する。図2は本発明で想定するコンテンツ切替の概略を説明する図、図3は切替指示端末の概略を説明する図、図4は切替元端末の概略を説明する図、図5は切替先候補端末の概略を説明する図である。図中、11はコンテンツサーバ、12は切替指示端末(コントロールポイント)、13は切替元端末(レンダラー)、14は切替先候補端末(レンダラー)、15はデータベース部、16は比較判定部、17は出力部、18は入力部、19aは再生端末情報取得手段、19bは再生コンテンツ情報取得手段、19cはコンテンツ再生可否情報取得手段、20,23はデータベース部、24は再生可否判定部、21,25は出力部、22,26は応答手段を示す。
本発明におけるコンテンツ切替のシステムは、図1で示したデバイス1をコンテンツサーバ11とし、デバイス2を切替先端末13及び切替先候補端末14とし、コントロールポイントを切替指示端末12として置き換え、図2に示すようなシステムとして想定することができる。そして、ネットワーク等に接続されているコンテンツサーバ11から、切替元端末13がコンテンツを取得して再生中の際に、コントロールポイントとしての機能する切替指示端末12の指示により、コンテンツの取得を切替先候補端末14側に切替えて切替先候補端末14で再生するようにする。なお、切替元端末13及び切替先候補端末14は、レンダラー機能を備えているものとする。また、切替先候補端末14は、図では1つのみを示してあるが、TV、携帯電話、携帯情報端末、コンポ等が複数あるものとする。
本発明の主眼は、上記のコンテンツ切替の可否を事前に判断できるようにすることにある。このため、切替指示端末12は、切替元端末13のコンテンツ再生に関する情報(以下、「再生端末情報」という)と、現在再生中のコンテンツの情報(これらを「再生コンテンツ情報」という)を取得する。また、切替先候補端末14の上記「再生端末情報」と、切替元端末13で再生しているコンテンツが切替先候補端末14において再生可能か否かの情報(以下、「コンテンツ再生可否情報」という)を取得する。これら切替元端末13及び切替先候補端末14から取得した情報は、切替指示端末12のデータベース部15に書込み保有する。
図3は、切替指示端末12の構成例を示し、上記のデータベース部15、切替元端末13でのコンテンツ再生の状況と切替先候補端末14でのコンテンツ再生の状況を比較し再生品質を判定する比較判定部16を備える。また、切替元端末13及び切替先候補端末14から取得した各種情報や、前記の比較判定部16の判定結果を表示する出力部17、判定結果に基づいてコンテンツ切替を実行する入力部18を備えている。
また、切替指示端末12は、切替元端末13及び切替先候補端末14の「再生端末情報」を取得するための再生端末情報取得手段19aを有している。「再生端末情報」としては、例えば、端末名、制作会社と言った端末固有の情報に加え、サポートするコーデック、物理伝送速度、解像度、再生可能なファイル形式、再生可能なスピーカ数、ネットワークインタフェースから取得したネットワーク情報(光接続、有線LAN、無線LANなどの通信媒体の種別)や電波状態などの能力情報がある。
また、切替指示端末12は、切替元端末13の「再生コンテンツ情報」を取得するための再生コンテンツ情報取得手段19bを有している。「再生コンテンツ情報」としては、例えば、コンテンツ(映像及び音声)の所在URL、コンテンツ(映像及び音声)の再生位置、コンテンツのビットレート(映像のビットレート、音声のビットレート、映像・音声のビットレートの合計値)、コンテンツ(映像)の画像サイズ、コンテンツ(映像)のフレームレート、コンテンツ(音声)のチャネル数、コンテンツ(音声)の周波数、コンテンツ(映像及び音声)のファイル形式などがある。
さらに、切替指示端末12は、切替先候補端末14からの「コンテンツ再生可否情報」を、事前に取得するコンテンツ再生可否情報取得手段19cを備えている。コンテンツ再生可否は、切替指示端末12が切替元端末13から取得した「再生コンテンツ情報」の一部を再生情報として切替先候補端末14に送り、切替先候補端末14ではこの情報をもとにコンテンツを再生可能か否かを判定して、切替指示端末12に応答する。
図4は、切替元端末13の構成例を示し、自端末の「再生端末情報」や「再生コンテンツ情報」を保持するデータベース部20と、再生コンテンツを出力する出力部21を備えている。また、切替元端末13は、この他に切替指示端末12からの「再生端末情報」及び「再生コンテンツ情報」の要求に基づいて、これらの情報を切替指示端末12に応答する応答手段22を備えている。
図5は、切替先候補端末14の構成例を示し、切替元端末13と同様に自端末の「再生端末情報」を保持するデータベース部23、及び再生コンテンツを出力する出力部25を備えている。切替先候補端末14では、これに加えて切替指示端末12からの要求により、切替元端末13で再生中のコンテンツが、自端末で再生が可能か否かを判定する再生可否判定部24を備えている。さらに、切替先候補端末14は、この他に切替指示端末12からの「再生端末情報」及び「コンテンツ再生可否情報」の要求に基づいて、これらの情報を切替指示端末12に応答する応答手段26を備えている。
上述したシステムの実施の手順を示すと、大きく分けて以下の7つのフェーズに分けることができる。
1.端末情報取得フェーズ{下記(1)〜(3)の過程}
2.切替意思表示フェーズ{下記(4)の過程}
3.コンテンツ再生情報取得フェーズ{下記(5)〜(7)の過程}
4.再生可否判定フェーズ{下記(8)〜(12)の過程}
5.品質判定フェーズ{下記(13)〜(14)の過程}
6.状態表示フェーズ{下記(16)の過程}
7.切替実行フェーズ{下記(17)の過程}
「1.端末情報取得フェーズ」は、
「(1)切替指示端末12はコントロールポイントとして、全てのUPnP対応機器に対して「再生端末情報」の通知要求を行う。
(2)各UPnP対応機器は、コントロールポイントである切替指示端末12に対して、自端末のデータベース部に保有する「再生端末情報」を応答する。
(3)切替指示端末12は、各UPnP対応機器の「再生端末情報」(切替元端末13の「再生端末情報」及び切替先候補端末14の「再生端末情報」)をデータベース部15に書き込む。」という過程を有する。
「2.切替意思表示フェーズ」は、
「(4)ユーザは、切替指示端末12のコントロールポイントとしての立場を利用して、「コンテンツを別端末に切替えたい」という指示を出す。この際、切替指示端末12の入力部18にある操作ボタンを押す行為、あるいは、切替指示端末12の出力部17上に表示されたアイコンをクリックする行為などを利用する。」という過程を有する。
「3.コンテンツ再生情報取得フェーズ」は、
「(5)切替指示端末12は、切替元端末13に対して、切替元端末13で再生しているコンテンツに関する「再生コンテンツ情報」の通知要求を行う。
(6)切替元端末13は、切替指示端末12に対して、「再生コンテンツ情報」を応答手段22により応答する。
(7)切替指示端末12は、「再生コンテンツ情報」をデータベース部15に書き込む。」という過程を有する。
「4.再生可否判定フェーズ」は、
「(8)切替指示端末12は、切替先候補端末14の1つ(順不同)に対して、コンテンツ再生可否の判定要求を行う。ここで、コンテンツ再生可否の判定要求には、切替元端末13から取得している「再生コンテンツ情報」の一部で、切替先候補端末14がコンテンツを再生するために必要な情報、例えば、コンテンツの所在URL及びコンテンツの再生位置等(再生情報)が含まれているものとする。
(9)切替指示端末12からコンテンツ再生可否の判定要求を受信した切替先候補端末14は、コンテンツ再生可否の判定要求に含まれる再生情報を自端末のデータベース部23に書き込む。
(10)切替先候補端末14は、データベース部23に保持している再生情報を利用して、コンテンツサーバ11にコンテンツを取得しに行き、自端末の「再生端末情報」を基に、再生可否判定部24でコンテンツ再生可否の判定を行う。
(11)切替先候補端末14は、コンテンツ再生可否の判定結果をコンテンツ再生可否情報として、応答手段26により切替指示端末12に応答する。
(12)切替先候補端末14からコンテンツ再生可否の判定結果を受信した切替指示端末12は、切替先候補端末14のコンテンツ再生可否情報に含まれる判定結果をデータベース部15に書き込む。」という過程を有する。
「5.品質判定フェーズ」は、
「(13)切替指示端末12は、データベース部15に保持している切替先候補端末14の「再生端末情報」及び「コンテンツ再生可否情報」、切替元端末13の「再生端末情報」及び「再生コンテンツ情報」という4つの情報を基に、切替元端末13でのコンテンツ再生と切替先候補端末14でのコンテンツ再生の比較判定を行う。
(14)切替指示端末12は、切替元端末13でのコンテンツ再生と切替先候補端末14でのコンテンツ再生の比較判定の判定結果をデータベース部15に書き込む。」という過程を有する。
(15)上記(8)〜(14)の過程を、切替先候補端末数分だけ繰り返す。なお、(8)〜(14)の過程は、同時並行で処理してもよい。
「6.状態表示フェーズ」は、
「(16)切替指示端末12は、データベース部15に保持している切替元端末13と切替先候補端末14との「コンテンツ再生の比較判定結果」、切替先候補端末14の「再生端末情報」と「コンテンツ再生可否情報」、切替元端末13の「再生端末情報」と「再生コンテンツ情報」といった情報を出力部17上に表示する。」という過程を有する。
「7.切替実行フェーズ」は、
「(17)切替指示端末12の出力部17上に表示された情報をもとに、ユーザは入力部18を操作してコンテンツの再生端末の切替を行う。このとき、ユーザが利用する手段として、操作ボタンを押すなどのGUI(グラフィカルユーザインタフェース)を利用しても良いし、コマンドラインから文字を打つなどのCUI(キャラクタユーザインタフェース)を利用しても良い。」という過程を有する。
上記の各手順を実現するため、「UPnP」に新しいサービスタイプ(urn:schamas−upnp−org:service:DeviceHandover:1)で定義されたサービスを用いることができる。この新たに定義されたサービスは、デバイスハンドオーバー(DeviceHandover)に関するもので、そのデバイスディスクリプションの例を図6に示す。この図6の斜体の文字部分が新たに定義されたサービスに関連する部分である。
切替指示端末12のコントロールポイントは、デバイスディスクリプションにデバイスハンドオーバーサービスの記述が含まれるか否かを判定することで、切替元端末13及び切替先候補端末14が拡張方式に対応しているか否かを判定することができる。新しいサービスタイプのデバイスハンドオーバーは、図7に示す状態変数群を有し、図8に示すアクションを有している。図示する例では、動画と音楽を前提としているが、本発明においては動画や音楽に限定されるものではない。
次に、図8に例示したデバイスハンドオーバーサービスに含まれる各アクションについての概略を解説する。
ゲットデバイスプロパティ(GetDeviceProperties)アクションは、「再生端末情報」を取得するためのアクションである。切替指示端末12(コントロールポイント)が、対象となる端末(切替元端末及び切替先候補端末)に対してこのアクションを実行した場合、対象となる端末は、自端末の「再生端末情報」を切替指示端末12に応答する。このときの応答メッセージに含まれる情報(Argument)の例を図9に示す。
ゲットプレイングコンテンツ(GetPlayingContents)は、切替指示端末12が切替元端末13より、「再生コンテンツ情報」を得るためのアクションである。切替指示端末12がアクションの対象となる切替元端末に対してこのアクションを実行すると、「再生コンテンツ情報」を対象の端末より応答する。この応答メッセージに含まれる情報(Argument)の例を図10に示す。
ゲットハンドオーバポシビリティ(GetHandoverPossibility)は、切替指示端末12が切替先候補端末14に対して、コンテンツ再生可否情報を取得するためのアクションであり、同時に切替元端末13で再生中のコンテンツが再生可能か否かを判定させるきっかけを与えるアクションでもある。切替指示端末12がアクションの対象となる切替先候補端末14に対してこのアクションを実行すると、コンテンツ再生可否情報を対象の端末より応答する。切替指示端末12がゲットハンドオーバポシビリティアクションを実行する際に付加する情報(Argument)の例を図11(A)に示し、対象の切替先候補端末14からの応答メッセージに含まれる情報(Argument)の例を図11(B)に示す。
次に、前述した実施手順の各フェーズについて説明する。なお、説明には、図1〜5で用いた符号をそのまま引用する。
1.端末情報取得フェーズ
切替指示端末(コントロールポイント)12が各端末から「再生端末情報」を取得するまでの過程である。UPnPでは、切替指示端末12はSSDPを用い、定期的に各端末(切替元端末13及び切替先候補端末14)を検知するパケットを送信したり、各端末からのメッセージを受信したりして各端末を検出している。切替指示端末12は、端末を検出すると検出した端末が自装置(切替指示端末12)のデータベース部15に登録されているか否かを判定する。新たに検出した端末が、自装置のデータベース部15に登録されていない場合、切替指示端末12は、検出した端末よりデバイスディスクリプションを入手し、データベース部15に書き込む。
切替指示端末12は、入手したデバイスディスクリプションの内容を確認し、デバイスハンドオーバーサービスが含まれているか否かを判定する。そのサービスが含まれている場合、切替指示端末12は、端末からデバイスハンドオーバーサービスのサービスディスクリプションを取得する。次に、切替指示端末12は、サービスディスクリプションをもとに端末に対して、ゲットデバイスプロパティアクションが実行できるか否かを判定し、実行可能であれば端末より「再生端末情報」を得るために、上述したゲットデバイスプロパティアクションを実行する。
このアクションを受信した端末は、自端末のデータベースより情報を取り出し、取り出した「再生端末情報」を応答メッセージに含め切替指示端末12へ送信する。端末よりゲットデバイスプロパティアクションへの応答メッセージを受信した切替指示端末12は、応答メッセージに含まれる内容をデータベース部15に書き込む。以上により、アクションを実行した端末から「再生端末情報」を取得する。
2.切替意思表示フェーズ
ユーザは、再生中のコンテンツを別の端末に切替える指示を、切替指示端末12の操作ボタンを押す行為、あるいは、切替指示端末12の出力部17上に表示されたアイコンを押す行為などで行う。図12は、GUIを利用した例であり、コントロールポイントとしての切替指示端末であると同時に切替元端末である例を示し、出力部17と入力部18を有している。図12では、切替指示端末12上の出力部17にコンテンツが再生されている場面を示している。ユーザが現在再生されているコンテンツを別の端末で再生させようとする場合、入力部18の端末切替開始の「Touch」のアイコンを押し、端末の切替え指示を行う。
3.コンテンツ再生情報取得フェーズ
コンテンツ再生情報取得フェーズは、ユーザが現在再生中のコンテンツを他の端末に切替える操作を行った際に開始される。コンテンツ再生情報取得フェーズが開始されると、切替指示端末12は、コンテンツを再生している切替元端末13に対して、ゲットプレイングコンテンツアクションを実行する。このアクションを受信した切替元端末13は、「再生コンテンツ情報」をデータベース部20より取り出し、取り出した「再生コンテンツ情報」を応答メッセージに含めて切替指示端末12に対して送信する。ゲットプレイングコンテンツアクションに対する応答メッセージを受信した切替指示端末12は、受信した応答メッセージの内容(「再生コンテンツ情報」を含む)を、データベース部15に書き込む。
4.再生可否判定フェーズ
切替指示端末12は、端末情報取得フェーズで情報を取得した全ての端末(切替先候補端末)に対して、コンテンツ再生情報取得フェーズで取得した「再生コンテンツ情報」の一部を、再生情報としてメッセージに追加してゲットハンドオーバポシビリティアクションを実行する。切替先候補端末14が複数存在する場合には、すべての切替先候補端末14に対して同様にゲットハンドオーバポシビリティアクションを実行する。
このアクションを受信した切替先候補端末14は、受信したメッセージに含まれる再生情報を取り出す。取り出した再生情報をもとに、コンテンツを提供するサーバへ接続が可能であるか、コンテンツにアクセスする権限があるか、対応するコーデックを有しているか、ネットワークの帯域は十分か、又は実際に再生情報を利用してコンテンツに接続し再生する等の手法で、再生可能か否かを判定する。
判定結果、コンテンツの再生が可能な場合、ハンドオーバポシビリティ(Handover Possibility)の値を真としたメッセージと、再生可能なコンテンツの再生コンテンツ情報を含む再生可否情報を応答メッセージに追加して送信する。ゲットハンドオーバポシビリティアクションに対する応答メッセージを受信した切替指示端末12は、受信したコンテンツ再生可否情報をデータベース部15に書き込む。
5.品質判定フェーズ
切替指示端末12は、データベース部15に保持している切替先候補端末14の「再生端末情報」と「コンテンツ再生可否情報」、切替元端末13の「再生端末情報」「再生コンテンツ情報」という4つの情報をもとに、切替元端末13と切替先候補端末14とのコンテンツ再生に関する比較判定を行う。この判定は、切替先候補端末14における再生が可能である場合にのみ行われ、「映像判定手段」と「音声判定手段」に分けた後、それぞれにおいて、
・切替先候補端末14における再生が、切替元端末13に比べて良くなる(高画質、チャネル数:増)
・切替先候補端末14における再生が、切替元端末13と比べて同等である(同画質、チャネル数:同)
・切替先候補端末14における再生が、切替元端末13に比べて悪くなる(低画質、チャネル数:減)
という3段階で判定する。
以下に、コンテンツの映像に関しての判定を、図13の判定フローにより説明する。映像判定の一例として、以下の4種類のパラメータを利用する。
・切替先候補端末14の物理伝送速度 :v1
・コンテンツの合計ビットレート :v2
・切替先候補端末14の最大解像度 :a1×b1
・コンテンツの画像サイズ :a2×b2
ここで、a1、a2はそれぞれ縦方向の画素数、b1、b2はそれぞれ横方向の画素数を表す。さらに、新たなパラメータとしてk1、k2を導入し、それぞれ以下のように定義する。
k1=v1−v2
k2=(a1×b1)−(a2×b2)
ここで、k1はコンテンツに対する切替先候補端末14の物理伝送速度を表し、この値が大きいほど、切替先候補端末14は、物理伝送速度面の点で、よりスムーズにデータを流す能力があることを示す。また、k2はコンテンツに対する切替先候補端末14の解像度を表し、この値が大きいほど、切替先候補端末14は、より高画質なコンテンツを再生する能力があることを示す。
先ず、図13のS101で、k1<0かk2<0かの判定を行う。ここでは、k1及びk2のどちらか1つが負である場合は、S103で切替元端末13における再生よりも低画質な再生で可能という判定を下し、判定を終了する。次に、S101で、k1及びk2のどちらも負にならない場合は、S102のk1=0かk2=0か判定が行われ、k1及びk2のどちらか1つが0である場合は、S104で切替元端末13における再生と同等の画質のコンテンツが再生可能という判定を下し、判定を終了する。最後に、上記S101及びS102の判定において、双方ともNoであった場合は、S105で切替元端末13における再生よりも高画質なコンテンツの再生が可能という判定を下し、判定を終了する。なお、S101とS102の判定の順序は問わない。
図14は、コンテンツの音声に関しての判定フローを示し、音声判定の一例として、以下の4種類のパラメータを利用する。
・切替先候補端末14の物理伝送速度 :v1
・コンテンツの合計ビットレート :v2
・切替先候補端末14のスピーカ数(チャネル数):c1
・コンテンツのチャネル数 :c2
ここで、パラメータk1は上記映像判定手段におけるパラメータと同じであり、さらに、新たなパラメータとしてk3を導入し、以下のように定義する。
k3=c1−c2
また、k3はコンテンツに対する切替先候補端末14のチャネル数を表し、この値が大きいほど、切替先候補端末14は、より多くのスピーカからコンテンツを再生する能力があることを示す。
先ず、図14のS201でk1<0かk3<0かの判定を行う。ここでは、k1及びk3のどちらか1つが負である場合は、S203で切替元端末13における再生よりもチャネル数が減少するという判定を下し、判定を終了する。次に、S201でk1及びk3のどちらも負にならない場合は、S202のk1=0かk3=0かの判定が行われ、k1及びk3のどちらか1つが0である場合は、S204で切替元端末13での再生と同チャネル数の再生となるという判定を下し、判定を終了する。最後に、上記S201及びS202の判定において、双方ともNoであった場合は、S205で切替元端末13における出力よりもチャネル数が増加するという判定を下し、判定を終了する。なお、S201とS202の判定の順序は問わない。
また、上記映像判定及び音声再生判定では、一例として条件部分に差分を利用したが、これ以外にも、割り算を利用する判定方法、対数を利用する判定方法などがある。
割り算を利用する方法では、k1〜k3の各パラメータを以下のように定義する。
k1=v1/v2
k2=(a1×b1)/(a2×b2)
k3=c1/c2
この際、判定条件で利用する閾値を1とすれば、判定部の流れは変わらない。
また、対数を利用する方法では、k1〜k3の各パラメータを以下のように定義する。
k1=log(v1/v2)
k2=log((a1×b1)/(a2×b2))
k3=log(c1/c2)
この際、判定条件で利用する閾値を0とすれば、判定部の流れは変わらない。なお、上述した品質判定フェーズにおける映像判定及び音声判定では、最終的に切替元端末13と比較して、より良い再生が可能となるかが重要であり、上記の判定手段に限るものではない。
6.状態表示フェーズ
図15は、切替指示端末12の出力部17上の表示手段のイメージを示す図である。この表示手段で表示する内容には、例えば、切替先候補端末種別表示31(例えば、TV、携帯電話、PDA、コンポなど)、切替先候補端末14による「コンテンツ再生可否情報」の結果を示す切替可否表示32、図13及び図14の判定フローで判定した判定結果を示す再生品質表示(画像、音声)33、切替の実行を決定する入力部18として切替ボタン表示34をあげることができる。
また、この出力部17には、切替元端末13の「再生端末情報」及び「再生コンテンツ情報」、並びに、切替先候補端末14の「再生端末情報」及び「コンテンツ再生可否情報」の通知要求を行ったとき、これらの情報を要求中であることを表示することができる。また、要求により、切替元端末13の「再生端末情報」及び「再生コンテンツ情報」、並びに、切替先候補端末14の「再生端末情報」及び「コンテンツ再生可否情報」の応答があったとき、これらの情報を受信中であることを表示することができる。
また、この出力部17には、切替元端末13の「再生端末情報」及び「再生コンテンツ情報」、切替先候補端末14の「再生端末情報」及び「コンテンツ再生可否情報」をそれぞれ表示させることができる。図16は、切替元端末13から取得した「再生コンテンツ情報」の一例を示し、例えば、映像(ビットレート、フレームレート、コンテンツの画角、エンコーダなど)、音声(ビットレート、サンプリング周波数、チャネル数、エンコーダなど)を表示することができる。
図17(A)は、切替元端末13から取得した「再生端末情報」の一例を示し、端末名、対応コーデック、解像度、ネットワーク情報、電波状態などを表示することができる。同じく図17(B)は、切替先候補端末14から取得した「再生端末情報」の一例を示し、端末名、対応コーデック、解像度、ネットワーク情報などを表示することができる。図18は切替先候補端末14から取得した「コンテンツ再生可否情報」の一例を示し、文字、記号、絵文字、数字、色を用いて、再生可能であるかの可否を表示することができる。
図19は、図15の再生品質の表示例を示し、図18と同様に、文字、記号、絵文字、数字、色の他、絵図を用いて判定内容を表示することができる。図20は、切替元端末13、切替先候補端末14をアイコン化しておき、切替指示端末12上に表示するようにした例である。切替指示端末12上に、各端末の情報を表示しようとするときに、対象とする端末のアイコンをクリックすることにより、図16〜図17(B)で示すようなその端末からの詳細情報を表示するようにしてもよい。
また、切替指示端末12上には、これら全ての情報を表示しても良いし、一部のみを表示しても良い。この場合、表示位置は順不同で良い。また、コンテンツの切替が不可能な切替先候補端末14に関しては、情報を表示しなくても良い。また、図15に示している切替先候補端末14からの再生可否情報には、図18に示すように、文字・記号・絵文字・数字・色などによって表示し、再生品質情報も、図19に示すように、文字・記号・絵文字・数字・色・絵図などによって表示しても良い。
また、切替先候補端末14にコンテンツを切替える際に、トランスコードを行う必要があるため少々時間がかかります、といった付加的な情報を出力部上に表示しても良い。また、切替指示端末12は、全ての切替先候補端末14から「コンテンツ再生可否情報」を受信した後、まとめて比較判定を行い、全ての判定が終わった時点で出力部17上に表示しても良い。また、比較判定を行う際は、全ての切替先候補端末14からの「コンテンツ再生可否情報」を待たずに、順次判定しても良い。また、出力部17上に表示する際は、判定が終わった順に表示しても良い。なお、上記の状態表示フェーズでは、切替元端末13と切替先候補端末14と比較して、より良い再生が可能となるかが重要であり、上記の判定のみに限るものではない。
7.切替実行フェーズ
ユーザは、状態表示フェーズで表示された切替先候補端末14の中から、実際に切替を希望する端末をGUI等で選択し切替え指示を行う。例えば、図15では、ユーザは切替指示端末12の出力部17に示される切替可否表示32及び再生品質表示33を基に切替先候補端末14のなかから端末を選択し、入力部18の切替ボタン表示34を押す指示を行う。切替の指示を受けた切替指示端末12は、切替元端末13で再生中のコンテンツを停止し、選択された切替先候補端末14でコンテンツの再生を開始する。
上述の説明では、「UPnP」を利用する場合を一例として取り上げたが、切替元端末(例えば、デバイス1)13と切替先候補端末(例えば、デバイス2)14、及び切替指示端末(例えば、デバイス3でコントロールポイント、)12がそれぞれ同じ方式を利用しており、互いに詳細情報を取得できるのであれば、「UPnP」以外の方式(例えば、Rendezvous、Jini、Haviなど)を利用していても同様な効果を得ることができる。
「UPnP AV」における制御情報とコンテンツの流れを示す図である。 本発明で想定するコンテンツ切替の概略を説明する図である。 切替指示端末の概略を説明する図である。 切替元端末の概略を説明する図である。 切替先候補端末の概略を説明する図である。 新しいサービスタイプを含むデバイスディスクリプションの例を示す図である。 デバイスハンドオーバーサービスの状態変数を示す図である。 アクション一覧を示す図である。 アクション「ゲットデバイスプロパティ」の情報(Argument)を示す図である。 アクション「ゲットプレイングコンテンツ」の情報(Argument)を示す図である。 アクション「ゲットハンドオーバポシビリティ」の情報(Argument)を示す図である。 切替指示端末の入出力部の一例を示す図である。 切替指示端末の判定部における判定フロー(映像)を示す図である。 切替指示端末の判定部における判定フロー(音声)を示す図である。 切替先候補端末の出力部に「切替可否」情報及び「再生品質」情報、並びに「切替」入力の表示例を示す図である。 「再生コンテンツ情報」の表示例を示す図である。 切替元端末及び切替先候補端末の「再生端末情報」の表示例を示す図である。 再生可否の表示例を示す図である。 再生品質の表示例を示す図である。 アイコンを利用した表示例を示す図である。
符号の説明
11…コンテンツサーバ、12…切替指示端末(コントロールポイント)、13…切替元端末(レンダラー)、14…切替先候補端末(レンダラー)、15…データベース部、16…比較判定部、17…出力部、18…入力部、19a…再生端末情報取得手段、19b…再生コンテンツ情報取得手段、19c…コンテンツ再生可否情報取得手段、20,23…データベース部、24…再生可否判定部、21,25…出力部、22,26…応答手段、31…切替先候補端末種別表示、32…切替可否表示、33…再生品質表示(映像、音声)、34…切替ボタン表示。

Claims (7)

  1. 切替元端末と切替先候補端末と切替指示端末とを備え、前記切替元端末がサーバから取得し再生しているコンテンツを、前記切替指示端末により前記切替先候補端末の少なくとも1つに切替えて再生するためのコンテンツ切替の可否を判定するコンテンツ切替判定システムであって、
    前記切替指示端末は、前記切替元端末及び切替先候補端末のコンテンツ再生に関するコーデック、物理伝送速度、解像度、ファイル形式、スピーカ数、ネットワークインタフェースから取得したネットワーク情報、電波状態のうちの少なくとも1つの再生端末情報を取得する再生端末情報取得手段と、
    前記切替元端末の再生中のコンテンツに関するコンテンツの所在URL、再生位置、ビットレート、画像サイズ、フレームレート、チャネル数、周波数、ファイル形式の少なくとも1つの再生コンテンツ情報を取得する再生コンテンツ情報取得手段と、
    前記切替元端末で再生中のコンテンツが前記切替先候補端末で再生可能か否かのコンテンツ再生可否情報を事前に取得するコンテンツ再生可否情報取得手段と、
    前記切替元端末の再生端末情報と再生コンテンツ情報、並びに、前記切替先候補端末の再生端末情報とコンテンツ再生可否情報を取得して、これらの情報を前記切替指示端末に保有するデータベース部と、を備え、
    前記再生端末情報、前記再生コンテンツ情報、前記コンテンツ再生可否情報を前記切替指示端末上に表示する出力部、前記切替元端末でのコンテンツ再生の状況と前記切替先候補端末でコンテンツ再生の状況を比較し再生品質を判定する比較判定部、前記比較判定部の判定結果を前記出力部で表示し、この結果によりコンテンツ再生を前記切替元端末から前記切替先候補端末へ切替える入力部を備えることを特徴とするコンテンツ切替判定システム。
  2. 前記切替元端末は、前記切替指示端末からの要求により、前記再生端末情報、前記再生コンテンツ情報を前記切替指示端末に応答する応答手段を備えていることを特徴とする請求項1に記載のコンテンツ切替判定システム。
  3. 前記切替先候補端末は、前記切替元端末で再生中のコンテンツの再生可否を判定する再生可否判定部と、前記切替指示端末からの要求により、前記再生端末情報、前記コンテンツ再生可否情報を前記切替指示端末に応答する応答手段と、を備えていることを特徴とする請求項1に記載のコンテンツ切替判定システム。
  4. 特許請求の範囲1〜3のいずれか1項に記載のコンテンツ切替判定システムに用いる切替指示端末であって、端末の出力部に、前記切替先候補端末から取得した前記コンテンツ再生可否情報と前記切替指示端末自身により判定した再生品質判定結果を表示する表示手段を備えていることを特徴とする切替指示端末。
  5. 前記表示手段に、前記切替元端末の再生端末情報、再生コンテンツ情報、並びに、前記切替先候補端末の再生端末情報、コンテンツ再生可否情報の要求を行ったときは、これらの情報を要求中であることを表示し、前記切替元端末からの前記再生端末情報、前記再生コンテンツ情報、並びに、前記切替先候補端末からの前記再生端末情報、前記再生可否情報の応答があるときは、これらの情報を受信中であることを表示することを特徴とする請求項4に記載の切替指示端末。
  6. 前記表示手段に、前記切替元端末から取得した前記再生端末情報、前記再生コンテンツ情報、並びに、前記切替先候補端末から取得した前記再生端末情報、前記コンテンツ再生可否情報の少なくとも1つを表示することを特徴とする請求項5に記載の切替指示端末。
  7. 切替元端末と切替先候補端末と切替指示端末とを備え、前記切替元端末がサーバから取得し再生しているコンテンツを、前記切替指示端末により前記切替先候補端末の少なくとも1つに切替えて再生するためのコンテンツ切替の可否を判定するコンテンツ切替判定方法であって、
    前記切替指示端末は、前記切替元端末のコンテンツ再生に関するコーデック、物理伝送速度、解像度、ファイル形式、スピーカ数、ネットワークインタフェースから取得したネットワーク情報、電波状態のうちの少なくとも1つの再生端末情報と再生中のコンテンツに関する再生コンテンツ情報、並びに、前記切替先候補端末のコンテンツ再生に関する再生端末情報と前記切替元端末で再生中のコンテンツが前記切替先候補端末で再生可能か否かのコンテンツ再生可否情報を取得して、これらの情報を前記切替指示端末のデータベース部に保有し、
    前記再生端末情報、前記再生コンテンツ情報、前記コンテンツ再生可否情報を前記切替指示端末上に表示すると共に、前記切替元端末でのコンテンツ再生の状況と前記切替先候補端末でコンテンツ再生の状況を比較する再生品質を表示し、この結果によりコンテンツ再生を切替元端末から切替先候補端末への切替可否を判定することを特徴とするコンテンツ切替判定方法。
JP2005349220A 2005-12-02 2005-12-02 コンテンツ切替判定システム及び切替指示端末、並びに、コンテンツ切替判定方法 Expired - Fee Related JP4789604B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005349220A JP4789604B2 (ja) 2005-12-02 2005-12-02 コンテンツ切替判定システム及び切替指示端末、並びに、コンテンツ切替判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005349220A JP4789604B2 (ja) 2005-12-02 2005-12-02 コンテンツ切替判定システム及び切替指示端末、並びに、コンテンツ切替判定方法

Publications (2)

Publication Number Publication Date
JP2007158591A JP2007158591A (ja) 2007-06-21
JP4789604B2 true JP4789604B2 (ja) 2011-10-12

Family

ID=38242394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005349220A Expired - Fee Related JP4789604B2 (ja) 2005-12-02 2005-12-02 コンテンツ切替判定システム及び切替指示端末、並びに、コンテンツ切替判定方法

Country Status (1)

Country Link
JP (1) JP4789604B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5167796B2 (ja) * 2007-12-13 2013-03-21 日本電気株式会社 コンテンツ再生制御システム
JP5445017B2 (ja) 2009-10-16 2014-03-19 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5085680B2 (ja) * 2010-03-26 2012-11-28 株式会社東芝 コンテンツ再生装置およびコンテンツ再生方法
JP5579239B2 (ja) * 2012-10-09 2014-08-27 株式会社東芝 コンテンツ処理装置
JP6133802B2 (ja) * 2014-02-06 2017-05-24 日本電信電話株式会社 コンテンツ出力のためのデバイス情報処理装置、コンテンツ出力のためのデバイス情報処理方法、およびコンテンツ出力のためのデバイス情報処理プログラム
US20150245163A1 (en) * 2014-02-25 2015-08-27 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using wi-fi or bluetooth signal strength
JP6328489B2 (ja) * 2014-05-22 2018-05-23 アルパイン株式会社 ステーション情報に基づく音楽再生システム、音楽再生装置およびステーション情報の引き継ぎ方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336310A (ja) * 2003-05-06 2004-11-25 Nippon Telegr & Teleph Corp <Ntt> 視聴継続方法、視聴継続システム、視聴継続制御装置及び端末装置
KR101015811B1 (ko) * 2003-09-23 2011-02-22 엘지전자 주식회사 UPnP 기반의 미디어 콘텐츠 재생을 제어하는 전자기기 및 그 방법
JP4059214B2 (ja) * 2004-03-04 2008-03-12 ソニー株式会社 情報再生システムの制御方法、情報再生システム、情報提供装置、および情報提供プログラム
JP4693485B2 (ja) * 2005-05-10 2011-06-01 シャープ株式会社 ユーザインターフェース制御装置

Also Published As

Publication number Publication date
JP2007158591A (ja) 2007-06-21

Similar Documents

Publication Publication Date Title
US11962840B2 (en) Services over wireless communication with high flexibility and efficiency
TWI669957B (zh) Media projection method, media projection device, control terminal, and cloud server
US9826281B2 (en) Media processing method, device, and system using media receiving clients
US9178712B2 (en) Remote audio
KR102050984B1 (ko) 와이-파이 디스플레이 네트워크에서 와이-파이 디스플레이 세션을 제공하는 방법 및 장치, 그리고 그에 따른 시스템
US7996538B2 (en) Information processing apparatus and content information processing method for transmitting content and event information to a client
JP4789604B2 (ja) コンテンツ切替判定システム及び切替指示端末、並びに、コンテンツ切替判定方法
EP2933982B1 (en) Media stream transfer method and user equipment
WO2009090707A1 (ja) 通信端末装置及び通信機器接続制御方法
CN105323628B (zh) 基于dlna跨屏播放的方法及系统、浏览器端装置和播放装置
KR20120007433A (ko) 컴퓨터 장치 간의 고화질 비디오 텔레포니를 설정하는 장치 및 방법
CN106303678A (zh) 网络系统、内容再现接管方法和程序
WO2015087508A1 (ja) 通信方法、通信システムおよび通信装置
EP2680498B1 (en) Method, apparatus and system for implementing service control of home network device
WO2017092323A1 (zh) 一种主控设备、播放设备,及其数据传输方法
KR100739794B1 (ko) UPnP 네트워크에서 방송 컨텐츠를 제공하는 방법 및장치
JP2010056966A (ja) 画像コンテンツ送信サーバ、画像表示装置、画像コンテンツ送信方法、及び、画像表示方法
CN112187486A (zh) 智能设备之间的交互方法及智能设备
KR101329668B1 (ko) 푸쉬 서버를 이용한 콘텐츠 공유 시스템 및 방법
JP5224387B2 (ja) コンテンツ共有システム、コンテンツ制御装置、コンテンツ共有方法及びコンテンツ共有プログラム
US20130060910A1 (en) Content reproducing apparatus, content reproducing system, and control method thereof
WO2022242328A1 (zh) 一种分屏播放方法及显示设备
JP4695044B2 (ja) 情報処理装置、コンテンツ視聴予約装置、コンテンツ視聴予約システムおよびコンテンツ視聴予約方法
KR20120128798A (ko) 다중방송 장치 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4789604

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees