JP5567643B2 - コンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法 - Google Patents

コンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法 Download PDF

Info

Publication number
JP5567643B2
JP5567643B2 JP2012247551A JP2012247551A JP5567643B2 JP 5567643 B2 JP5567643 B2 JP 5567643B2 JP 2012247551 A JP2012247551 A JP 2012247551A JP 2012247551 A JP2012247551 A JP 2012247551A JP 5567643 B2 JP5567643 B2 JP 5567643B2
Authority
JP
Japan
Prior art keywords
content
page
video stream
image data
distribution server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012247551A
Other languages
English (en)
Other versions
JP2014096047A (ja
Inventor
珠紅 中澤
顕一 寺川
和幸 高屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
Original Assignee
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp filed Critical NTT Communications Corp
Priority to JP2012247551A priority Critical patent/JP5567643B2/ja
Publication of JP2014096047A publication Critical patent/JP2014096047A/ja
Application granted granted Critical
Publication of JP5567643B2 publication Critical patent/JP5567643B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、電子書籍に関するコンテンツを提供するコンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法に関する。
近年、通信ネットワークおよび情報機器の発達に伴い、コンテンツをサーバからダウンロードし、端末でそのコンテンツを再生する技術が知られている。例えば、電子書籍の朗読に関し、電子書籍の画像データを端末にダウンロードしつつ、この画像データに対応する音声データを端末にダウンロードして、電子書籍の読み聞かせを実現する方法もある。
また、近年、インターネットを用いてテレビ映像を配信する技術も知られている(例えば、非特許文献1参照。)。このようなインターネットを用いた映像の配信技術は、家庭内に設置したコンテンツ提供装置(セットトップボックス)およびテレビを用いる。セットトップボックスは、映像コーデックを内蔵する。映像コーデックは、コンテンツ配信サーバからインターネットを介して配信される映像ストリーミングを、映像データにデコードし、逐次テレビに出力する。
NTTぷらら、"ひかりTV"、[online]、[平成24年10月31日検索]、インターネット<http://www.hikaritv.net/>
上記非特許文献1に記載したようなコンテンツ配信サーバによって、電子書籍の読み聞かせを実現する場合、従来のセットトップボックスでは対応できない場合がある。具体的には、本の読み聞かせ機能を実現するために、セットトップボックスが、音声データを蓄積可能な充分なメモリ容量を持つ記憶装置を備える必要がある。また読み聞かせのため、セットトップボックスが、音声ストリームをデコード可能な音声コーデックを備える必要がある。従って、既に普及しているセットトップボックスなどの変換装置を用いて電子書籍の読み聞かせのコンテンツ機能を実現することが困難であった。また、新たなセットトップボックスは、映像ストリームと音声ストリームの両方のコーデックを備える必要があり、従来のものと比べて高価になってしまう問題がある。
従って本発明の目的は、容易に電子書籍に関するコンテンツを実現することのできるコンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法を提供することである。
上記課題を解決するために、本発明の第1の特徴は、複数のページを有する電子書籍に関する映像ストリームと当該電子書籍のページに対応する画像データを配信するコンテンツ配信サーバに接続し、電子書籍に関するコンテンツを提供するコンテンツ提供装置に関する。即ち本発明の第1の特徴に係るコンテンツ提供装置は、提供対象の電子書籍の有するページ識別子と、当該ページに対応する映像ストリームの位置を特定するため情報と、を対応づけた書籍設定データを記憶する記憶装置と、コンテンツ配信サーバから、提供対象ページに対応する画像データを取得して出力するとともに、書籍設定データに基づいて、コンテンツ配信サーバから当該提供対象ページに対応する映像ストリームを逐次取得して、映像ストリームをデコードして得られる音声データを逐次出力するコンテンツ制御手段を備える。
提供対象ページに対応する音声データを出力すると、コンテンツ制御手段は、コンテンツ配信サーバに、映像ストリームの配信の一時停止リクエストを送信することが好ましい。
ページへの変更リクエストが入力されると、コンテンツ制御手段は、コンテンツ配信サーバに、映像ストリームの配信の一時停止リクエストを送信するとともに、コンテンツ配信サーバから、別ページの画像データを取得して出力し、書籍設定データに基づいて、コンテンツ配信サーバから当該別ページに対応する映像ストリームを逐次取得して、映像ストリームをデコードして得られる音声データを逐次出力することが好ましい。
コンテンツ制御手段は、コンテンツ配信サーバから、提供対象ページに対応する画像データを含む書籍画像データを受信して、記憶装置に記憶することが好ましい。
本発明の第2の特徴は、複数のページを有する電子書籍に関する映像ストリームと当該電子書籍のページに対応する画像データを配信するコンテンツ配信サーバに接続し、電子書籍に関するコンテンツを提供するコンピュータに用いるコンテンツ提供プログラムに関する。本発明の第2の特徴に係るコンテンツ提供プログラムは、コンピュータを、コンテンツ配信サーバから、提供対象ページに対応する画像データを取得して出力するとともに、提供対象の電子書籍の有するページ識別子と、当該ページに対応する映像ストリームの位置を特定するための情報と、を対応づけた書籍設定データに基づいて、コンテンツ配信サーバから当該提供対象ページの時間情報に対応する映像ストリームを逐次取得して、映像ストリームをデコードして得られる音声データを逐次出力するコンテンツ制御手段として機能させる。
提供対象ページに対応する音声データを出力すると、コンテンツ制御手段は、コンテンツ配信サーバに、映像ストリームの配信の一時停止リクエストを送信することが好ましい。
ページへの変更リクエストが入力されると、コンテンツ制御手段は、コンテンツ配信サーバに、映像ストリームの配信の一時停止リクエストを送信するとともに、コンテンツ配信サーバから、別ページの画像データを取得して出力し、書籍設定データに基づいて、コンテンツ配信サーバから当該別ページに対応する映像ストリームを逐次取得して、映像ストリームをデコードして得られる音声データを逐次出力することが好ましい。
コンテンツ制御手段は、コンテンツ配信サーバから、提供対象ページに対応する画像データを含む書籍画像データを受信することが好ましい。
本発明の第3の特徴は、複数のページを有する電子書籍に関する映像ストリームと当該電子書籍のページに対応する画像データを配信するコンテンツ配信サーバに接続し、電子書籍に関するコンテンツを提供するコンテンツ提供方法に関する。即ち本発明の第3の特徴に係るコンテンツ提供方法は、コンテンツ提供装置が、コンテンツ配信サーバから、提供対象ページに対応する画像データを取得して出力するステップと、コンテンツ提供装置が、提供対象の電子書籍の有するページ識別子と、当該ページに対応する映像ストリームの位置を特定するための情報と、を対応づけた書籍設定データに基づいて、コンテンツ配信サーバから当該提供対象ページに対応する映像ストリームを逐次取得するステップと、コンテンツ提供装置が、映像ストリームをデコードして得られる音声データを逐次出力するステップを備える。
提供対象ページに対応する音声データを出力すると、コンテンツ提供装置が、コンテンツ配信サーバに、映像ストリームの配信の一時停止リクエストを送信するステップをさらに備えることが好ましい。
ページへの変更リクエストが入力されると、コンテンツ提供装置が、コンテンツ配信サーバに、映像ストリームの配信の一時停止リクエストを送信するステップと、コンテンツ提供装置が、コンテンツ配信サーバから、別ページの画像データを取得して出力するステップと、コンテンツ提供装置が、書籍設定データに基づいて、コンテンツ配信サーバから当該別ページに対応する映像ストリームを逐次取得して、映像ストリームをデコードして得られる音声データを逐次出力するステップをさらに備えることが好ましい。
コンテンツ提供装置が、コンテンツ配信サーバから、提供対象ページに対応する画像データを含む書籍画像データを受信するステップをさらに備えることが好ましい。
本発明によれば、容易に電子書籍に関するコンテンツを実現することのできるコンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法を提供することができる。
本発明の実施の形態に係るコンテンツ提供システムのシステム構成と、コンテンツ提供装置の機能ブロックを説明する図である。 本発明の実施の形態に係る映像ストリームを説明する図である。 本発明の実施の形態に係る書籍設定データのデータ構造とデータの一例を説明する図である。 本発明の実施の形態に係る書籍画像データのデータ構造の一例を説明する図である。 本発明の実施の形態に係るコンテンツ提供システムにおける処理を説明するシーケンス図である。 本発明の実施の形態に係るコンテンツ提供装置が表示するコンテンツ選択画面の一例である。 本発明の実施の形態に係るコンテンツ提供装置が表示する再生モード選択画面の一例である。
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。
(実施の形態)
本発明の実施の形態において、「映像ストリーム」とは、コンテンツ配信サーバ20が映像コンテンツデータを逐次送信しつつ、コンテンツ再生システム10でコンテンツを逐次受信するとともに逐次再生することが可能なデータである。本発明の実施の形態において、映像ストリームは、映像コーデックによって映像データにデコードされる。本発明の実施の形態において「映像データ」は、表示装置に出力するための動画データと、スピーカーに出力するための音声データを含む。この映像データは、例えば、MPEG4形式のデータである。
本発明の実施の形態に係るコンテンツ提供システム50は、電子書籍の各ページの画像データを表示するとともに、この画像データに対応する音声データを同期して出力することにより、電子書籍の読み上げ機能を実現する。この画像データは例えば、JPEG形式のデータである。電子書籍が絵本の場合、画像データは、各ページの画像である。音声データは、各ページに記載される文章を読み上げたデータや、背景音などを含む。
(コンテンツ提供システム)
本発明の実施の形態に係るコンテンツ提供システム50は、家庭内や事業所内に設置されるコンテンツ再生システム10a、10b、10c…と、これらのコンテンツ再生システム10a、10b、10c…にコンテンツを提供するコンテンツ配信サーバ20を備える。コンテンツ再生システム10a、10b、10c…は、インターネットなどの通信ネットワーク30により相互に通信可能に接続されている。コンテンツ再生システム10a、10b、10c…を特に区別しない場合、単にコンテンツ再生システム10と称する場合がある。
コンテンツ配信サーバ20は、複数のページを有する電子書籍に関する映像ストリームと画像データを配信する。コンテンツ配信サーバ20は、所定の電子書籍について、この電子書籍を構成する各ページの画像データ、この電子書籍の読み聞かせに係る音声データを含む映像データ、各ページと映像データを特定する情報とを対応づけた書籍設定データとを対応づけて保持する。
コンテンツ配信サーバ20は、コンテンツ再生システム10から提供対象の電子書籍の情報が入力されると、この電子書籍に関する画像データおよび書籍設定データをコンテンツ再生システム10に提供する。さらにコンテンツ配信サーバ20は、提供対象の電子書籍に対応する映像データを、ストリーミング形式でコンテンツ再生システム10に配信する。
コンテンツ再生システム10は、コンテンツ提供装置1、入力装置2および出力装置3を備える。図1に示す例は、コンテンツ提供装置1、入力装置2および出力装置3を、それぞれ個別の筐体で実現される場合を説明するが、これらを備える一つの装置によって実現されても良い。
入力装置2は、コンテンツ提供装置1に、提供対象のコンテンツの情報を入力したり、提供対象のコンテンツの再生やページの遷移などの指示を入力するための装置である。入力装置2は、ページの遷移に関するボタン、画像データの拡大または縮小などのボタン、表示画像を上下左右に移動させるためのボタンなどを備える。入力装置2は、無線または有線により、コンテンツ提供装置1に接続する。
入力装置2は、後述するコンテンツ提供装置1に指示や情報を入力可能であればどのようなものでも良い。例えば、コンテンツ提供装置1に付属したリモコンであっても良い。また、スマートフォンのような情報端末によって、入力装置2を実現しても良い。例えば、情報端末にコンテンツ提供装置1に関する指示を入力し、通信ネットワーク30を介して、コンテンツ提供装置1に入力しても良い。
出力装置3は、コンテンツ提供装置1が提供するコンテンツを、ユーザに出力する装置である。出力装置3は、例えばテレビであって、画像を表示するための表示装置と、音声を出力するためのスピーカーなどを備える。本発明の実施の形態において出力装置3は特に、コンテンツ提供装置1の制御により、電子書籍の各ページの画像データと、この各画像データに対応する音声データを、同期して再生することにより、電子書籍の読み聞かせを実現する。
本発明の実施の形態においてコンテンツ提供装置1は、いわゆるセットトップボックスである。コンテンツ提供装置1は、コンテンツ配信サーバ20に接続し、入力装置2から入力されるユーザの指示に基づいて、電子書籍に関するコンテンツを提供する。
本発明の実施の形態においてコンテンツ提供装置1は、コンテンツ配信サーバ20から、画像データを取得するとともに、映像ストリームを逐次取得する。コンテンツ提供装置1は、映像ストリームを映像コーデックにデコードさせ、映像データを取得する。コンテンツ提供装置1は、コンテンツ配信サーバ20から取得した画像データと、映像コーデックによってデコードされた映像データのうち音声データとを同期して、出力装置3に出力する。
本発明の実施の形態において、コンテンツ配信サーバ20が配信する映像ストリームは、例えば図2のようなデータである。図2に示す映像ストリームは、第1ページから第20ページを含む電子書籍に対応する。映像ストリームは、電子書籍の各ページに対応する音声データを含む。映像ストリームのうち、無音の動画データ部分には、ダミーのデータが設定されても良い。
本発明の実施の形態において、コンテンツ提供装置1は、例えば電子書籍の第3ページの画像データを出力すると、第3ページに対応する映像ストリームの時間を指定して、コンテンツ配信サーバ20から映像ストリームを受信する。さらにコンテンツ提供装置1は、この映像ストリームをデコードして得られる映像データのうち、音声データのみを再生する。第3ページの映像ストリームに対応する音声データの出力が完了すると、具体的には、一時停止ポイントPまで音声データの再生が終了すると、コンテンツ提供装置1は、映像ストリームの配信を一時停止するリクエストをコンテンツ配信サーバ20に送信する。
この一時停止ポイントPは、表示した画像データに対応する音声データを全て再生し終わったタイミングで設定される。電子書籍が絵本の場合、絵本の1ページの画像データを表示し、このページに記載された文章を音声データで再生した時点で、コンテンツ提供装置1は、映像ストリームの配信を一時停止する。
その後、ユーザによって指定されたページを再生する。例えばユーザが、前画面を再生する指示を入力すると、コンテンツ提供装置1は、電子書籍の第2ページの画像データを出力する。さらにコンテンツ提供装置1は、第2ページに対応する映像ストリームの時間を指定して、コンテンツ配信サーバ20から映像ストリームを受信する。さらにコンテンツ提供装置1は、この映像ストリームをデコードして得られる映像データのうち、音声データのみを再生する。第2ページの映像ストリームに対応する音声データの出力が完了すると、コンテンツ提供装置1は、映像ストリームの配信を一時停止するリクエストをコンテンツ配信サーバ20に送信する。
本発明の実施の形態において、一つのページのコンテンツを出力した後、ユーザは、同画面、前画面および次画面のうち、いずれかを入力する場合を想定する。第3ページのコンテンツを再生した後、ユーザが「同画面」の再生を指定すると、コンテンツ提供装置1は、第3ページのコンテンツを再生する。ユーザが「前画面」の再生を指定すると、コンテンツ提供装置1は、第2ページのコンテンツを再生する。ユーザが「次画面」の再生を指定すると、コンテンツ提供装置1は、第4ページのコンテンツを再生する。
(コンテンツ提供装置)
図1を参照してコンテンツ提供装置1を説明する。図1に示す例においてコンテンツ提供装置1は、いわゆるセットトップボックスにより実現する場合を説明するが、これに限られない。例えば、コンテンツ提供装置1は、いわゆるパーソナルコンピュータやスマートフォンなどの情報処理装置であっても良く、コンテンツ配信サーバ20に接続することができ、コンテンツ提供プログラムを実行可能であれば、どのようなものでも良い。
コンテンツ提供装置1は、コントローラ100、映像コーデック120、記憶装置130、通信ポート140、入力インタフェース150および出力インタフェース160を備える。
通信ポート140は、通信ネットワーク30を介してコンテンツ配信サーバ20と通信するためのインタフェースである。通信ポート140は、コントローラ100からの指示をコンテンツ配信サーバ20に送信したり、コンテンツ配信サーバ20から送信されたデータをコントローラ100に入力したりする。
入力インタフェース150は、入力装置2からの指示を受信し、コントローラに入力するインタフェースである。入力装置2がスマートフォンなどの情報端末で、通信ネットワーク30を介してユーザの指示が入力される場合、通信ポート140が入力インタフェース150の役割を担う。
出力インタフェース160は、コントローラ100からの指示に従って、出力装置3にコンテンツを提供するためのインタフェースである。
映像コーデック120は、コントローラ100がコンテンツ配信サーバ20から取得した映像ストリームに関するパケットを逐次デコードして、映像データとして逐次コントローラ100に入力する。映像コーデック120は、例えば、MPEG4などの形式でデコード可能な回路またはプログラムである。映像コーデック120は、映像ストリームを逐次デコード可能であれば、どのような形式で実現されても良い。
記憶装置130は、コントローラが読み書きするデータを記憶する。記憶装置130は、コントローラが実行するコンテンツ提供プログラムを記憶するとともに、書籍設定データ131および書籍画像データ132を記憶する。本発明の実施の形態においてコンテンツ提供装置1は、映像ストリームのうち音声ストリーミング形式で音声データを出力装置3に逐次出力するため、映像データや音声データを蓄積するための容量を備えていなくても良い。
書籍設定データ131は、提供対象の電子書籍の有するページ識別子と、当該ページに対応する映像ストリームの位置を特定するための情報と、を対応づけたデータである。ページ識別子は、例えばページ番号である。ページに対応する映像ストリームの位置を特定するための情報は、そのページに対応する映像ストリームの時間情報や、フレームの番号などである。
例えば、電子書籍一つに対して、一つの書籍設定データ131が用意される。記憶装置130には、少なくとも、コンテンツ提供装置1が提供するコンテンツに関する電子書籍の書籍設定データ131が記憶される。この映像ストリームの時間情報は、各ページに対応する映像ストリームの開始時間と終了時間である。
書籍設定データ131は、例えば図3に示すように、電子書籍のページ番号をキーに、このページに対応する映像ストリームの時間を対応づけたデータである。図3に示す例ではコンテンツ提供装置1が提供するコンテンツは、第1ページから第20ページの合計20ページで構成されることを示す。また、第1ページに対応する映像ストリームは、「10秒05から32秒05」で、第2ページに対応する映像ストリームは、「33秒80から54秒07」であることを示す。なお、図3に示す例で、第3ページから第20ページに対応する映像ストリームの時間は省略する。
記憶装置130は、少なくとも読み聞かせ機能を提供している電子書籍の書籍設定データ131を保持していれば良い。記憶装置130は、現在読み聞かせ機能を提供している電子書籍以外の電子書籍についても、書籍設定データを保持していても良い。
書籍画像データ132は、提供対象の電子書籍の画像データである。書籍画像データ132は、画像データの取得方式に従って、いくつかの画像データを含む場合がある。図4(a)ないし(c)は、提供対象の電子書籍の第3ページを提供している際の書籍画像データ132を説明する図であって、それぞれ画像データの取得方式が異なる。
図4(a)は、現在出力装置3に表示している画像データを保持し、新たなページを表示する度にコンテンツ配信サーバ20から画像データを取得する場合を示す。書籍画像データ132は、図4(a)に示すように、現在再生中の第3ページに関する画像データI3を含む。この場合、画像データの保持のための記憶装置130の容量を抑制することができる。
ここで、ユーザが他の画面を表示するリクエストを入力した場合、コンテンツ提供装置1は、第3ページに関する画像データI3を書籍画像データ132から削除し、ユーザが指定したページに関する画像データをコンテンツ配信サーバ20から取得して、書籍画像データ132に記憶するとともに、取得した画像データを出力装置3に出力する。
図4(b)は、現在出力装置3に表示している画像データと、この次のページの画像データを保持し、新たなページを表示する度にコンテンツ配信サーバ20から差分の画像データを取得する場合を示す。書籍画像データ132は、図4(b)に示すように、現在再生中の第3ページに関する画像データI3と、次に再生が期待される第4ページに関する画像データI4を含む。
ここで、ユーザが次画面を表示するリクエストを入力した場合、コンテンツ提供装置1は、第3ページに関する画像データI3を書籍画像データ132から削除し、第4ページに関する画像データI4を出力装置3に出力する。さらにコンテンツ提供装置1は、この次の第5ページに関する画像データI5をコンテンツ配信サーバ20から取得して、書籍画像データ132に記憶する。
一方ユーザが前画面を表示するリクエストを入力した場合、コンテンツ提供装置1は、第4ページに関する画像データI4を書籍画像データ132から削除する。コンテンツ提供装置1は、第2ページに関する画像データI4をコンテンツ配信サーバ20から取得して書籍画像データ132に記憶するとともに出力装置3に出力する。
このように、図4(b)に示す例において書籍画像データ132は、現在表示中のページと、その次のページの画像データを保持する。この場合、画像データの保持のための記憶装置130の容量を抑制するとともに、画像データの取得に係るタイムラグを抑制することができる。
図4(c)に示す例は、ユーザが提供対象の電子書籍を指定した際、コンテンツ提供装置1が、コンテンツ配信サーバ20から、この提供対象の電子書籍の各ページの画像データを取得する場合を示す。提供対象の電子書籍が、第1ページから第20ページまでを有する場合、書籍画像データ132は、これらに対応する画像データI1、I2、…I20を含む。この場合、画像データの取得に係るタイムラグを抑制することができる。
なお、図4に示す例は一例であって、これに限られるものではない。例えば図4(b)に示す例で、記憶装置130が現在表示中のページの画像データと、その次のページの画像データの2つの画像データを保持する場合を説明したが、現在表示中の前後のページを含む3つの画像データを保持しても良いし、それ以上の画像データを保持しても良い。
コントローラ100は、コンテンツ提供プログラムに従って動作する処理制御装置である。コントローラ100は、ユーザによる入力装置2の操作に基づいて、コンテンツ配信サーバ20から受信したコンテンツを、出力装置3に出力する。本発明の実施の形態に係るコントローラ100は特に、電子書籍の読み聞かせ機能を制御するためのコンテンツ制御手段110を備える。
コンテンツ制御手段110は、画像制御手段111と音声制御手段112とを備える。画像制御手段111は、コンテンツ制御手段110の指定するタイミングで、記憶装置130に記憶された所定のページの画像データを、出力装置3の表示装置に出力する。音声制御手段112は、コンテンツ制御手段110の指定するタイミングで、映像コーデック120から出力される所定のページの音声データを、出力装置3のスピーカーに逐次出力する。
コンテンツ制御手段110は、ユーザの操作に従って、電子書籍の読み聞かせ機能を実現する。入力装置2から、読み聞かせを希望する電子書籍の識別子(書籍ID)が入力されると、コンテンツ制御手段110は、コンテンツ配信サーバ20にこの書籍IDを入力し、この書籍IDに対応する書籍設定データ131を受信して記憶装置130に記憶する。
次に、コンテンツ制御手段110は、コンテンツ配信サーバ20から、提供対象ページに対応する画像データを受信して、記憶装置130に記憶する。コンテンツ制御手段110は、ユーザが指定した書籍IDに対応する画像データを、コンテンツ配信サーバ20から受信し、記憶装置130に記憶する。ここで、提供対象ページとは、出力装置3に出力する電子書籍のページである。
コンテンツ制御手段110は、電子書籍の提供対象ページに対応する画像データを、出力装置3に出力する。コンテンツ制御手段110は、書籍設定データ131に基づいて、コンテンツ配信サーバ20から当該提供対象ページに対応する映像ストリームを逐次取得して、映像ストリームに対応する映像データのうち音声データを出力装置3に逐次出力する。コンテンツ制御手段110は、コンテンツ配信サーバ20から取得した映像ストリームを、映像コーデック120に逐次入力し、映像コーデック120が出力した映像データのうち音声データを、出力装置3に逐次出力する。ここで提供対象ページに対応する音声データを出力すると、コンテンツ制御手段110は、コンテンツ配信サーバ20に、映像ストリームの配信の一時停止リクエストを送信する。
例えば、図3に示す書籍設定データ131の第1ページについて読み聞かせ機能を実現する場合、コンテンツ制御手段110は、記憶装置130の書籍画像データ132から第1ページの画像データを読み出し、出力装置3に出力する。ここで、記憶装置130が第1ページの画像データを記憶していない場合、コンテンツ制御手段110は、コンテンツ配信サーバ20から第1ページの画像データを取得して出力する。さらにコンテンツ制御手段110は、コンテンツ配信サーバ20から第1ページに対応する映像ストリームを受信し、映像コーデック120が出力した映像データのうち音声データを抽出して、出力装置3に出力する。映像データのうち、無音の動画データは、以降の処理で用いないので破棄しても良い。
コンテンツ制御手段110は、第1ページに対応する時間、具体的には図3に示すように「10秒05から32秒05」の映像ストリームについて、音声データを出力すると、コンテンツ配信サーバ20に、映像ストリームの一時停止を要求する。
このとき一時停止するタイミングを決定する方法はいくつか考えられる。例えば、コンテンツ制御手段110は、コンテンツ配信サーバ20から取得した映像ストリームの時間情報を監視し、第1ページの終了時間「32秒05」となったタイミングで、コンテンツ配信サーバ20に、映像ストリームの一時停止を要求する方法がある。また、コンテンツ制御手段110は、第1ページの音声データの出力を開始してからタイマーをはり、第1ページに対応するストリームの時間が経過した後に、コンテンツ配信サーバ20に、映像ストリームの一時停止を要求する方法もある。図3に示す例では、第1ページに対応するストリームの時間は22秒なので、22秒経過後に、コンテンツ配信サーバ20に、映像ストリームの一時停止を要求する。
また、各ページに対応する映像ストリームを時間情報以外の情報で特定する場合も考えられる。例えば、映像ストリームのフレーム番号で各ページに対応する映像ストリームを特定する場合、所定のページの終わりのフレーム番号までの映像ストリームを受信すると、コンテンツ配信サーバ20に、映像ストリームの一時停止を要求しても良い。
また、入力装置2から、別ページへの変更リクエストが入力されると、コンテンツ制御手段110は、コンテンツ配信サーバ20に、映像ストリームの配信の一時停止リクエストを送信する。コンテンツ制御手段110は、別ページの画像データを、出力装置3に出力する。コンテンツ制御手段110は、書籍設定データ131に基づいて、コンテンツ配信サーバ20から当該別ページに対応する映像ストリームを逐次取得して映像コーデック120に逐次入力する。コンテンツ制御手段110は、映像コーデック120が出力した映像データのうち音声データを、出力装置3に逐次出力する。
コンテンツ制御手段110は、ユーザの操作によって新たに読み聞かせを提供するページを変更する場合も同様に、画像データと、この画像データに対応する音声データとを同期して出力装置3に出力する。ここで、別ページとは、ユーザの操作によって新たに読み聞かせを提供するページである。ユーザは、次に読み聞かせ機能の提供を享受するページとして、同じページ、前ページおよび後ページなどを指定しても良い。ここで同じページを指定した場合、ユーザは、現在読み聞かせを提供するページの音声データを先頭から再度視聴することができる。
またコンテンツ制御手段110は、入力装置2から入力された指示に従って処理する。例えば、画像データを拡大する指示が入力されると、コンテンツ制御手段110は、コンテンツ配信サーバ20から、解像度の高い画像データを取得して出力装置3に出力する。解像度の高い画像データを取得するまでの間、コンテンツ制御手段110は、現在表示中の解像度の低い画像データを拡大して出力装置3に出力しても良い。また、コンテンツ制御手段110は、入力装置2から、画像を上下左右に移動させる指示を受信すると、その指示に従って表示領域を変更して、画像データを出力装置3に出力する。
(コンテンツ提供方法)
図5を参照して、本発明の実施の形態に係るコンテンツ提供方法を説明する。図5に示す例では、第1ページを表示した後、第2ページを表示する場合を説明する。また図4(a)で示したように、コンテンツ提供装置1の記憶装置130が1ページの画像データを記憶する場合を説明する。
まずコンテンツ提供装置1は、ステップS1において、ユーザの操作によって、入力装置2から読み聞かせ機能を開始する開始リクエストと、読み聞かせ機能を実現する電子書籍の書籍IDとを受信する。ここでコンテンツ提供装置1は、図6に示すようなコンテンツ選択画面P1を、出力装置3に表示する。コンテンツ選択画面P1は、コンテンツ提供装置1が読み聞かせ機能を提供可能な電子書籍を選択可能な、コンテンツ選択部B1を備える。ユーザが入力装置2を介していずれかのコンテンツ選択部B1を選択することにより、選択された電子書籍の書籍IDと、この電子書籍について読み聞かせを開始するリクエストとを、コンテンツ提供装置1に送信する。
ステップS2においてコンテンツ提供装置1は、入力装置2から開始リクエストを受信すると、コンテンツ配信サーバ20に、書籍IDとともに、読み聞かせ機能の開始リクエストを送信する。ステップS3においてコンテンツ配信サーバ20は、ステップS2で受信した書籍IDに対応する書籍設定データ131を、コンテンツ提供装置1に送信する。コンテンツ提供装置1は、受信した書籍設定データ131を記憶装置130に記憶する。
ステップS4においてコンテンツ提供装置1は、出力装置3に出力する画像データを取得するために、書籍IDと、取得する画像データのページIDとを指定して、コンテンツ配信サーバ20に画像データリクエストを送信する。コンテンツ提供装置1が1ページずつ画像データを保持するので、コンテンツ提供装置1は、ページIDに「第1ページ」と指定する。予め全ての画像データを保持する場合、コンテンツ提供装置1は、全ての画像データを取得するリクエストをコンテンツ配信サーバ20に送信する。ステップS5においてコンテンツ配信サーバ20は、ステップS4で指定された書籍IDおよびページIDに対応する画像データを、コンテンツ提供装置1に送信する。コンテンツ提供装置1は、受信した画像データを記憶装置130に記憶する。
ステップS6においてコンテンツ提供装置1は、出力装置3に画像データを表示させる。ここでは、第1ページの画像データを表示させるので、記憶装置130から第1ページの画像データI1を取得し、出力装置3に出力する。出力装置3は、第1ページの画像データI1を表示して、ユーザに認識させる。
ここでコンテンツ提供装置1は、出力装置3に図7に示す再生モード選択画面P2を表示する。再生モード選択画面P2は、読み聞かせ開始ボタンB2を備える。ユーザが入力装置2からこの読み聞かせ開始ボタンB2を選択する指示を入力すると、コンテンツ提供装置1は、提供対象の書籍IDについて、第1ページを読み聞かせするためにステップS7に進む。
ステップS7においてコンテンツ提供装置1は、提供対象の書籍IDと、提供対象ページに対応する映像ストリームの時間を指定して、コンテンツ配信サーバ20に映像ストリームの再生リクエストを送信する。第1ページの画像データに対応する音声データを取得するため、コンテンツ提供装置1は、図3に指定する書籍設定データ131を参照して、第1ページの開始時間「10秒05」から映像ストリームを配信するリクエストする。これに対しステップS8においてコンテンツ配信サーバ20は、ステップS7で指定された書籍IDおよび時間の映像ストリームを、コンテンツ提供装置1に送信する。
ステップS9においてコンテンツ提供装置1は、コンテンツ配信サーバ20から映像ストリームのパケットを受信すると、映像コーデック120にデコードさせる。コンテンツ提供装置1は、映像コーデック120が出力した映像データのうち、音声データを出力装置3に出力して、出力装置3に音声データを再生させる。
コンテンツ配信サーバ20は、ストリーミング形式でコンテンツを提供するため、ステップS8ないしステップS10の処理は、ステップS11に示すように、この第1ページの再生が終了したり、入力装置2から表示ページの切替の指示が入力されるまで、逐次実行される。この第1ページの再生が終了したり、入力装置2から表示ページの切替の指示が入力されると、ステップS12に進む。
ステップS12においてコンテンツ提供装置1は、コンテンツ配信サーバ20に、ステップS8で開始した映像ストリームの配信を一時停止するようリクエストする。これに対しコンテンツ配信サーバ20は、映像ストリームの配信を一時停止する。ここでコンテンツ配信サーバ20は、この映像ストリームの配信をいつでも開始可能な状態で、コンテンツ提供装置1とのセッションなどを維持したまま、ストリーミングの配信のみを停止することが好ましい。従って、一時停止のリクエストを受信すると、コンテンツ配信サーバ20は、既に配信した映像ストリームの情報を保持しつつ、次の指示を待機する。
その後ステップS13においてコンテンツ提供装置1は、コンテンツ配信サーバ20に、新たな画像データをリクエストする。ここでコンテンツ提供装置1は、次に表示する画像データのページIDを指定する。第1ページの画像データを表示した後、ユーザが「次画面」を指示すると、コンテンツ提供装置1は、書籍IDと、ページIDとして「第2ページ」を指定してコンテンツ配信サーバ20に画像データリクエストを送信する。ステップS14においてコンテンツ提供装置1は、コンテンツ配信サーバ20から、第2ページの画像データを受信し、記憶装置130に記憶する。
ステップS15においてコンテンツ提供装置1は、出力装置3に画像データを表示させる。ここでは、第2ページの画像データを表示させるので、記憶装置130から第2ページの画像データI2を取得し、出力装置3に出力する。出力装置3は、第2ページの画像データI2を表示して、ユーザに認識させる。
ステップS16においてコンテンツ提供装置1は、提供対象の書籍IDと、提供対象ページに対応する映像ストリームの時間を指定して、コンテンツ配信サーバ20に映像ストリームの再生リクエストを送信する。第2ページの画像データに対応する音声データを取得するため、コンテンツ提供装置1は、図3に指定する書籍設定データ131を参照して、第2ページの開始時間「33秒80」から映像ストリームを配信するリクエストする。これに対しステップS17においてコンテンツ配信サーバ20は、ステップS16で指定された書籍IDおよび時間の映像ストリームを、コンテンツ提供装置1に送信する。
ステップS17ないしステップS19において、ステップS8ないしステップS10を参照して説明した様に、映像ストリームのデコードと、音声データの再生とを繰り返す。
ステップS20において終了ボタンが押下されるなどの操作が入力装置2から入力されると、コンテンツ提供装置1は、ステップS21において、コンテンツ配信サーバ20に映像ストリームの配信を停止するリクエストを送信する。この映像ストリームの配信の停止は、ステップS12で送信した一時停止とは異なり、コンテンツ配信サーバ20は、コンテンツ提供装置1とのセッションを解放する。
一方、終了の指示が入力されない場合、ステップS11に戻り、コンテンツ提供装置1は、第2ページの音声ストリームの再生の終了か、新たなページ切替の操作の入力を待機する。
本発明の実施の形態に係るコンテンツ提供装置1は、電子書籍の各ページの画像データを出力するとともに、コンテンツ配信サーバ20から取得した映像ストリームのうち、音声データ部分を使って、読み聞かせ機能を実現する。これにより、比較的容量の大きい音声データをコンテンツ提供装置1内に蓄積する必要がないので、コンテンツ提供装置1の記憶装置130の容量を押さえ、さらにコストを抑制することができる。
また本発明の実施の形態において、従来のセットトップボックスが備える映像コーデックを用いて読み聞かせ機能を実現するので、音声コーデックなどの新たな部品を導入する必要がない。従って、従来のセットトップボックスを設置したコンテンツ再生システム10においても、プログラムの改変により読み聞かせ機能を実現することができる。また、従来の映像コーデックを活用することにより、新たに音声コーデックを導入しライセンスを受けることなく、読み聞かせ機能を実現することができる。
また、映像ストリームの配信にあたり、所定のページの音声データを読み上げた後、コンテンツ提供装置1は、コンテンツ配信サーバ20に一時停止リクエストを送信する。これにより、次にユーザがページを指定した際にも、音声再生までの反応時間を短縮することができる。
(その他の実施の形態)
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。
例えば、本発明の実施の形態に記載したコンテンツ提供装置1は、図1に示すように一つのハードウェア上に構成されても良いし、その機能や処理数に応じて複数のハードウェア上に構成されても良い。また、既存のコンピュータやテレビ上に実現されても良い。
また、上記の実施の形態においては、ユーザの操作によって読み聞かせ機能を提供するページを指定する場合を説明したが、これに限られない。例えば、コンテンツ提供装置1は、映像ストリームに基づいて音声データを逐次再生し、ページを切り替えるタイミングで、新たな提供対象ページに対応する画像データを、出力装置3に出力しても良い。
さらに、上記の実施の形態においては、映像ストリームと画像データを個別に設定する場合を説明したが、これに限られない。例えば、コンテンツ配信サーバ20は、各ページの画像データを映像ストリームに含ませてコンテンツ提供装置1に配信しても良い。このときコンテンツ提供装置1は、映像ストリームから各ページの画像データを取得して、表示装置3に出力しても良い。
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
1 コンテンツ提供装置
2 入力装置
3 出力装置
10 コンテンツ再生システム
20 コンテンツ配信サーバ
30 通信ネットワーク
50 コンテンツ提供システム
100 コントローラ
110 コンテンツ制御手段
111 画像制御手段
120 映像コーデック
130 記憶装置
131 書籍設定データ
132 書籍画像データ
140 通信ポート
150 入力インタフェース
160 出力インタフェース

Claims (12)

  1. 複数のページを有する電子書籍に関する映像ストリームと当該電子書籍のページに対応する画像データを配信するコンテンツ配信サーバに接続し、前記電子書籍に関するコンテンツを提供するコンテンツ提供装置であって、
    提供対象の電子書籍の有するページ識別子と、当該ページに対応する映像ストリームの位置を特定するための情報と、を対応づけた書籍設定データを記憶する記憶装置と、
    コンテンツ配信サーバから、提供対象ページに対応する画像データを取得して出力するとともに、
    前記書籍設定データに基づいて、前記コンテンツ配信サーバから当該提供対象ページに対応する映像ストリームを逐次取得して、前記映像ストリームをデコードして得られる音声データを逐次出力するコンテンツ制御手段
    を備えることを特徴とするコンテンツ提供装置。
  2. 前記提供対象ページに対応する音声データを出力すると、
    前記コンテンツ制御手段は、
    前記コンテンツ配信サーバに、前記映像ストリームの配信の一時停止リクエストを送信する
    ことを特徴とする請求項1に記載のコンテンツ提供装置。
  3. ページへの変更リクエストが入力されると、
    前記コンテンツ制御手段は、
    前記コンテンツ配信サーバに、前記映像ストリームの配信の一時停止リクエストを送信するとともに、
    前記コンテンツ配信サーバから、前記別ページの画像データを取得して出力し、
    前記書籍設定データに基づいて、前記コンテンツ配信サーバから当該別ページに対応する映像ストリームを逐次取得して、前記映像ストリームをデコードして得られる音声データを逐次出力する
    ことを特徴とする請求項1または2に記載のコンテンツ提供装置。
  4. 前記コンテンツ制御手段は、
    前記コンテンツ配信サーバから、前記提供対象ページに対応する画像データを含む書籍画像データを受信して、前記記憶装置に記憶する
    ことを特徴とする請求項1ないし3のいずれか1項に記載のコンテンツ提供装置。
  5. 複数のページを有する電子書籍に関する映像ストリームと当該電子書籍のページに対応する画像データを配信するコンテンツ配信サーバに接続し、前記電子書籍に関するコンテンツを提供するコンピュータに用いるコンテンツ提供プログラムであって、
    コンピュータを、
    コンテンツ配信サーバから、提供対象ページに対応する画像データを取得して出力するとともに、
    提供対象の電子書籍の有するページ識別子と、当該ページに対応する映像ストリームの位置を特定するための情報と、を対応づけた書籍設定データに基づいて、コンテンツ配信サーバから当該提供対象ページに対応する映像ストリームを逐次取得して、前記映像ストリームをデコードして得られる音声データを逐次出力するコンテンツ制御手段
    として機能させるためのコンテンツ提供プログラム。
  6. 前記提供対象ページに対応する音声データを出力すると、
    前記コンテンツ制御手段は、
    前記コンテンツ配信サーバに、前記映像ストリームの配信の一時停止リクエストを送信する
    ことを特徴とする請求項5に記載のコンテンツ提供プログラム。
  7. ページへの変更リクエストが入力されると、
    前記コンテンツ制御手段は、
    前記コンテンツ配信サーバに、前記映像ストリームの配信の一時停止リクエストを送信するとともに、
    前記コンテンツ配信サーバから、前記別ページの画像データを取得して出力し、
    前記書籍設定データに基づいて、前記コンテンツ配信サーバから当該別ページに対応する映像ストリームを逐次取得して、前記映像ストリームをデコードして得られる音声データを逐次出力する
    ことを特徴とする請求項5または6に記載のコンテンツ提供プログラム。
  8. 前記コンテンツ制御手段は、
    前記コンテンツ配信サーバから、前記提供対象ページに対応する画像データを含む書籍画像データを受信する
    ことを特徴とする請求項5ないし7のいずれか1項に記載のコンテンツ提供プログラム。
  9. 複数のページを有する電子書籍に関する映像ストリームと当該電子書籍のページに対応する画像データを配信するコンテンツ配信サーバに接続し、前記電子書籍に関するコンテンツを提供するコンテンツ提供方法であって、
    コンテンツ提供装置が、コンテンツ配信サーバから、提供対象ページに対応する画像データを取得して出力するステップと、
    前記コンテンツ提供装置が、提供対象の電子書籍の有するページ識別子と、当該ページに対応する映像ストリームの位置を特定するための情報と、を対応づけた書籍設定データに基づいて、前記コンテンツ配信サーバから当該提供対象ページに対応する映像ストリームを逐次取得するステップと、
    前記コンテンツ提供装置が、前記映像ストリームをデコードして得られる音声データを逐次出力するステップ
    を備えることを特徴とするコンテンツ提供方法。
  10. 前記提供対象ページに対応する音声データを出力すると、
    前記コンテンツ提供装置が、前記コンテンツ配信サーバに、前記映像ストリームの配信の一時停止リクエストを送信するステップをさらに備える
    ことを特徴とする請求項9に記載のコンテンツ提供方法。
  11. ページへの変更リクエストが入力されると、
    前記コンテンツ提供装置が、前記コンテンツ配信サーバに、前記映像ストリームの配信の一時停止リクエストを送信するステップと、
    前記コンテンツ提供装置が、前記コンテンツ配信サーバから、前記別ページの画像データを取得して出力するステップと、
    前記コンテンツ提供装置が、前記書籍設定データに基づいて、前記コンテンツ配信サーバから当該別ページに対応する映像ストリームを逐次取得して、前記映像ストリームをデコードして得られる音声データを逐次出力するステップをさらに備える
    ことを特徴とする請求項9または10に記載のコンテンツ提供方法。
  12. 前記コンテンツ提供装置が、前記コンテンツ配信サーバから、前記提供対象ページに対応する画像データを含む書籍画像データを受信するステップをさらに備える
    ことを特徴とする請求項9ないし11のいずれか1項に記載のコンテンツ提供方法。
JP2012247551A 2012-11-09 2012-11-09 コンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法 Active JP5567643B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012247551A JP5567643B2 (ja) 2012-11-09 2012-11-09 コンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012247551A JP5567643B2 (ja) 2012-11-09 2012-11-09 コンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法

Publications (2)

Publication Number Publication Date
JP2014096047A JP2014096047A (ja) 2014-05-22
JP5567643B2 true JP5567643B2 (ja) 2014-08-06

Family

ID=50939067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012247551A Active JP5567643B2 (ja) 2012-11-09 2012-11-09 コンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法

Country Status (1)

Country Link
JP (1) JP5567643B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017109993A1 (ja) * 2015-12-25 2017-06-29 株式会社ハイスピードボーイズ コンテンツ配信システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4729171B2 (ja) * 2000-12-28 2011-07-20 インテレクチュアル ベンチャーズ ホールディング 56 エルエルシー 電子書籍装置および音声再生システム
JP4104847B2 (ja) * 2001-11-14 2008-06-18 シャープ株式会社 情報蓄積機器装置、およびデジタルチャンネル情報配信システム
JP2004140584A (ja) * 2002-10-17 2004-05-13 Toshiba Corp コンテンツ配信・再生システム、広告コンテンツ挿入方法及びクライアント端末
JP2004194002A (ja) * 2002-12-11 2004-07-08 Nippon Telegr & Teleph Corp <Ntt> ディジタルデータ配信システム及び方法
JPWO2012005309A1 (ja) * 2010-07-07 2013-09-05 株式会社Drmホールディングス コンテンツ配信システム、コンテンツ配信装置、及びコンテンツ操作プログラム
JP5634853B2 (ja) * 2010-12-22 2014-12-03 富士フイルム株式会社 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、ならびに電子コミックの表示方法

Also Published As

Publication number Publication date
JP2014096047A (ja) 2014-05-22

Similar Documents

Publication Publication Date Title
US11019124B2 (en) Screen mirroring method and apparatus thereof
JP6172610B2 (ja) テレビ会議用システム
CN102510541A (zh) 多屏互动的音视频内容切换方法及媒体播放器
JP2014511621A (ja) 表示切換えのための方法および装置
WO2014079239A1 (zh) 实时视频通讯回放数据流的获取方法、装置及系统
JP2007306570A (ja) 一時停止点を使用するデータリソースのアクセス
JP6131053B2 (ja) 情報再生端末
JP4897404B2 (ja) 映像表示システム、映像表示装置、その制御方法及びプログラム
JP5567643B2 (ja) コンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法
JP2009130866A (ja) メディア再生システム及び方法
JP7438486B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20120091785A (ko) 기기 간의 컨텐츠 공유 방법 및 장치
CN103188210A (zh) 在大屏幕客户端上播放移动终端的媒体内容的方法及终端
JP2012222399A (ja) 映像再生システム、映像再生方法、映像再生装置及びプログラム
CN103297406A (zh) 一种手持设备扩展屏幕的方法
JP2009177720A (ja) 表示制御装置、表示制御方法、およびプログラム
JP7153143B2 (ja) 映像提供システムおよびプログラム
JP2008135985A (ja) コンテンツ再生機器、コンテンツ再生制御装置、コンテンツ再生方法
JP2017005376A (ja) 再生装置および再生方法
JP5581437B1 (ja) 映像提供システムおよびプロラム
JP6324829B2 (ja) 映像提供システムおよびプロラム
JP2006279294A (ja) コンテンツ再生システム、コンテンツ再生方法、およびコンピュータプログラム
JP5896221B2 (ja) 情報処理方法、情報処理装置、および情報処理システム
JP2018148294A (ja) 制御装置
JP2011188170A (ja) 音声データ受信装置および音声データ受信方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140619

R150 Certificate of patent or registration of utility model

Ref document number: 5567643

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250