JP6040191B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP6040191B2
JP6040191B2 JP2014056552A JP2014056552A JP6040191B2 JP 6040191 B2 JP6040191 B2 JP 6040191B2 JP 2014056552 A JP2014056552 A JP 2014056552A JP 2014056552 A JP2014056552 A JP 2014056552A JP 6040191 B2 JP6040191 B2 JP 6040191B2
Authority
JP
Japan
Prior art keywords
image
electronic book
book data
user
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014056552A
Other languages
English (en)
Other versions
JP2015179404A (ja
Inventor
友香 葛城
友香 葛城
鉄弥 大橋
鉄弥 大橋
高光 入山
高光 入山
浩史 宇野
浩史 宇野
達哉 中出
達哉 中出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2014056552A priority Critical patent/JP6040191B2/ja
Publication of JP2015179404A publication Critical patent/JP2015179404A/ja
Application granted granted Critical
Publication of JP6040191B2 publication Critical patent/JP6040191B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理装置及びプログラムに関する。
従来、テキストや画像を含む表示内容を、画面上で書籍のページのように取り扱うことが可能な電子書籍データが知られている。かかる電子書籍データは、電子書籍データを閲覧するための端末装置により閲覧することができる。インターネット上には多くのオンライン書店が開設されており、ユーザは、端末装置を用いてオンライン書店を選択し、所望する電子書籍を有償又は無償でダウンロードする権利を取得する。そして、ユーザは、このダウンロード権利が有効な期間内で、端末装置を用いて電子書籍データを随時ダウンロードすることができる。
また、上記の電子書籍データを作成し、配信するための情報処理システムが開示されている(例えば、特許文献1)。上記の情報処理システムにより作成された電子書籍データは、オンライン書店の配信サーバによりネットワーク上に公開され、端末装置から行われる電子書籍データの取得要求に応じて配信される。
特開2007−156783号公報
しかしながら、上記従来の技術では、配信サーバにより配信される電子書籍データは、予め配信者により所定の内容に定められたものであり、その内容、特に、電子書籍データの各ページ内の画像を、ユーザ好みに自由に編集することはできなかった。従って、電子書籍データの購読者からすれば、なかなか感情移入することが難しく、興味を引きにくいという問題がある。
本発明は、電子書籍データの画像を編集可能にして、ユーザの興味を引き付けることが可能な情報処理装置及びプログラムを提供することを目的とする。
請求項1に記載の発明は、上記目的を達成するためになされたものであり、
情報処理装置において、
モデル画像を含む電子書籍データを記憶する記憶手段と、
ユーザ画像を取得する画像取得手段と、
前記画像取得手段により取得されたユーザ画像と、前記電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段と、
を備え
前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
前記画像編集手段は、前記ユーザ画像の位置情報と、前記電子書籍データ内のモデル画像の位置情報とに基づいて、同一の場所であると判定した場合に、当該同一の場所で撮像されたテンプレート画像を取得し、前記テンプレート画像の背景画像として選択された画像に、前記ユーザ画像を合成することを特徴とする。
請求項2に記載の発明は、上記目的を達成するためになされたものであり、
情報処理装置において、
モデル画像を含む電子書籍データを記憶する記憶手段と、
ユーザ画像を取得する画像取得手段と、
前記画像取得手段により取得されたユーザ画像と、前記電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段と、
を備え、
前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
前記画像編集手段は、前記ユーザ画像の位置情報と、前記電子書籍データ内のモデル画像の位置情報とに基づいて、前記電子書籍データに同一の場所の画像が存在しないと判定した場合に、前記ユーザ画像を前記電子書籍データに追加することを特徴とする。
請求項3に記載の発明は、上記目的を達成するためになされたものであり、
情報処理装置において、
モデル画像を含む電子書籍データを記憶する記憶手段と、
ユーザ画像を取得する画像取得手段と、
前記画像取得手段により取得されたユーザ画像と、前記電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段と、
を備え、
前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
前記画像編集手段は、前記ユーザ画像に含まれる位置情報に基づいて、前記電子書籍データ内のモデル画像を選択して、画像を編集し、
前記電子書籍データは、店舗情報を含み、
前記ユーザ画像に含まれる位置情報に基づいて、前記店舗情報に含まれる店舗を訪問したと判定した場合に、当該店舗を訪問したことを示す訪問結果に基づいて、当該訪問された店舗に広告費を請求する広告費請求手段を更に備えることを特徴とする。
請求項に記載の発明は、請求項1〜のいずれか一項に記載の情報処理装置において、
前記ユーザ画像は、時間情報を含み、
前記画像編集手段は、前記置き換えた後の電子書籍データの各ページを、当該ページ内の画像の時間順に並び替えることを特徴とする。
請求項に記載の発明は、請求項1〜のいずれか一項に記載の情報処理装置において、
前記画像取得手段によるユーザ画像の取得が終了したことを検知すると、前記画像編集手段により編集された前記電子書籍データを他の端末に配布する配布手段を更に備えることを特徴とする。
請求項に記載の発明は、
コンピュータを、
ユーザ画像を取得する画像取得手段、
前記画像取得手段により取得されたユーザ画像と、記憶手段に記憶された電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段、
として機能させ
前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
前記画像編集手段は、前記ユーザ画像の位置情報と、前記電子書籍データ内のモデル画像の位置情報とに基づいて、同一の場所であると判定した場合に、当該同一の場所で撮像されたテンプレート画像を取得し、前記テンプレート画像の背景画像として選択された画像に、前記ユーザ画像を合成することを特徴とするプログラムである。
請求項7に記載の発明は、
コンピュータを、
ユーザ画像を取得する画像取得手段、
前記画像取得手段により取得されたユーザ画像と、記憶手段に記憶された電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段、
として機能させ、
前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
前記画像編集手段は、前記ユーザ画像の位置情報と、前記電子書籍データ内のモデル画像の位置情報とに基づいて、前記電子書籍データに同一の場所の画像が存在しないと判定した場合に、前記ユーザ画像を前記電子書籍データに追加することを特徴とするプログラムである。
請求項8に記載の発明は、
コンピュータを、
ユーザ画像を取得する画像取得手段、
前記画像取得手段により取得されたユーザ画像と、記憶手段に記憶された電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段、
として機能させ、
前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
前記画像編集手段は、前記ユーザ画像に含まれる位置情報に基づいて、前記電子書籍データ内のモデル画像を選択して、画像を編集し、
前記電子書籍データは、店舗情報を含み、
前記ユーザ画像に含まれる位置情報に基づいて、前記店舗情報に含まれる店舗を訪問したと判定した場合に、当該店舗を訪問したことを示す訪問結果に基づいて、当該訪問された店舗に広告費を請求する広告費請求手段として更に機能させるためのプログラムである。
本発明によれば、電子書籍データの画像を編集可能にして、ユーザの興味を引き付けることができる。
本実施形態に係る情報処理システムの概略構成を示す接続図である。 本実施形態に係るサーバ装置の主制御構成を示すブロック図である。 本実施形態に係る携帯端末の主制御構成を示すブロック図である。 本実施形態に係る携帯端末及びサーバ装置の動作の一例を示すフローチャートである。 電子書籍データのページ内でモデルが写っている画像の一例を示す図である。 図5の状態からモデルの画像をユーザ画像に置き換えた画像の一例を示す図である。 図5と同一の場所でユーザが実際に撮像した画像の一例を示す図である。 図5と同一の場所で撮像されたテンプレート画像の一例を示す図である。 ユーザが実際に撮像した画像とテンプレート画像とを合成した画像の一例を示す図である。 変形例1に係る携帯端末及びサーバ装置の動作の一例を示すフローチャートである。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
[1.構成の説明]
以下、図面を参照しながら、この発明の一実施形態について詳しく説明する。
[1−1.システム構成の説明]
まず、本実施形態に係る情報処理システム100の構成について説明する。
情報処理システム100は、図1に示すように、サーバ装置1と、複数の基地局2と、複数の携帯端末3と、を備えて構成されている。この情報処理システム100において、サーバ装置1と基地局2とは、通信ネットワークNにより互いに通信可能に接続されている。通信ネットワークNは、具体的には、インターネットや電気通信事業者等の電話回線網や携帯電話通信網等である。
サーバ装置1は、例えば、PC、WS(Work Station)等の情報機器であり、携帯端末3からのアクセスに応じて、所定の動作を行う。具体的には、サーバ装置1は、携帯端末3から所望の電子書籍データのダウンロード要求がなされると、指定された電子書籍データを携帯端末3に配信する配信サーバである。
基地局2は、携帯電話通信網などにおける無線基地局であり、携帯端末3と通信ネットワークNとの間のデータ通信を中継する。このため、情報処理システム100では、サーバ装置1と携帯端末3とが、互いに通信可能に接続されている。
携帯端末3は、スマートフォンやタブレットなどのスマートデバイス、携帯電話機、電子書籍データを閲覧するための専用端末(電子書籍ビューア)等の各ユーザが所持して使用する携帯型端末機器である。また、携帯端末3は、通信ネットワークN(具体的には、携帯端末3の通信回線や無線LAN(Local Area Network)等)を用いて、サーバ装置1との間で相互に通信を行う。
[1−2.サーバ装置の構成の説明]
次に、サーバ装置1の構成について説明する。
サーバ装置1は、図2に示すように、制御部11と、操作部12と、表示部13と、記憶部14と、通信部15と、を備えて構成されている。
制御部11は、サーバ装置1の動作を中央制御する。具体的には、制御部11は、CPU、ROM、RAMなどを備えて構成され、RAMの作業領域に展開されたROMや記憶部14に記憶されたプログラムデータとCPUとの協働により、サーバ装置1の各部を統括制御する。
操作部12は、例えば、文字入力キー、数字入力キー、その他各種機能に対応付けられたキーなどを有するキーボード、マウス等のポインティングデバイスなどを備え、ユーザからの操作入力を受け付けて、操作入力に応じた操作信号を制御部11へと出力する。
表示部13は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのディスプレイを備え、制御部11から出力された表示制御信号に基づいた画像を表示画面に表示する。
記憶部(記憶手段)14は、例えば、HDD(Hard disk drive)、半導体メモリなどにより構成さ
れ、プログラムデータや各種設定データ等のデータを制御部11から読み書き可能に記憶する。また、記憶部14は、サーバ装置1が配信権限を有する電子書籍データ等を記憶する。電子書籍データには、サーバ装置1の運営会社と提携する店舗の情報(提携店舗情報)が含まれる。提携店舗情報には、例えば、提携店舗の店舗名や提携店舗の位置情報等が含まれる。
通信部15は、通信用IC(Integrated Circuit)及び通信コネクタなどを有する通信インターフェイスであり、制御部11の制御の下、所定の通信プロトコルを用いて通信ネットワークNを介したデータ通信を行う。例えば、通信部15は、記憶部14に記憶された電子書籍データ及び提携店舗情報を携帯端末3に配信する。また、通信部15は、画像取得手段として、携帯端末3から送信されたユーザ画像を受信する。さらに、通信部15は、提携店舗情報に含まれる提携店舗を訪問したことを示す訪問結果を受信する。
[1−3.携帯端末の構成の説明]
次に、携帯端末3の構成について説明する。なお、以下の説明においては、携帯端末3としてスマートデバイスなどのタッチパネルを搭載した端末機器を例示して説明するが、携帯端末3はこれに限定されるものではなく、フィーチャーフォンやノート型パソコン、携帯ゲーム機、ナビゲーション機器などであってもよい。
携帯端末3は、図3に示すように、制御部31と、操作部32と、表示部33と、記憶部34と、現在位置取得部35と、通信部36と、撮像部37と、を備えて構成されている。
制御部31は、携帯端末3の動作を中央制御する。具体的には、制御部31は、CPU、ROM、RAMなどを備えて構成され、RAMの作業領域に展開されたROMや記憶部34に記憶されたプログラムデータとCPUとの協働により、携帯端末3の各部を統括制御する。
操作部32は、例えば、ホームボタンからなるキー入力部321と、表示部33と一体的に形成されたタッチパネル322と、を備えており、ユーザからの操作入力を受け付けて、操作入力に応じた操作信号を制御部31へと出力する。
表示部33は、例えば、LCD、有機EL(Electro Luminescence)素子を用いたFPD(Flat Panel Display)などのディスプレイを備え、制御部31から出力された表示制御信号に基づいた画像を表示画面に表示する。また、表示部33には、撮像部37が起動された際に、被写体となる画像が表示される。
記憶部34は、例えば、HDD、半導体メモリなどにより構成され、プログラムデータや各種設定データ等のデータを制御部31から読み書き可能に記憶する。
記憶部34には、サーバ装置1から配信された電子書籍データ及び当該電子書籍データと関連する提携店舗情報、撮像部37により撮像されたユーザの画像データ等が記憶される。なお、ユーザの画像データには、当該ユーザの画像データが撮像された場所を示す位置情報と、当該ユーザの画像データが撮像された時間と、が含まれている。
現在位置取得部35は、GPSモジュール、自律航法ユニット等を備えて構成されている。GPSモジュールは、GPSアンテナ等を備えて構成される。このGPSアンテナは、地球低軌道に打ち上げられた複数のGPS衛星から送信されるGPS信号を受信する。GPSアンテナは、少なくとも3個のGPS衛星から送信されるGPS信号を受信し、受信したGPS信号に基づいて携帯端末3の絶対的な現在位置(緯度、経度)を検出し、検出した位置情報を基準位置情報として制御部31に出力する。
通信部36は、アンテナや通信回路を備え、制御部31による制御の下で外部機器との間の無線通信を行う。具体的には、通信部36は、基地局2で中継されることで、通信ネットワークNを介してデータ通信を行う。例えば、通信部36は、サーバ装置1から配信された電子書籍データ及び当該電子書籍データと関連する提携店舗情報を受信する。また、通信部36は、撮像部37により撮像されたユーザ画像をサーバ装置1に送信する。
撮像部(撮像手段)37は、ユーザ操作に従って被写体を撮像して画像データを生成する。撮像部37により、例えば、ユーザ自身の顔や全身が撮像されたユーザ画像データ、ユーザにより旅行先で撮像された撮像画像データなどが生成される。撮像部37により生成された画像データは、記憶部34に記憶される。
[2.動作の説明]
次に、本実施形態に係る情報処理システム100における携帯端末3及びサーバ装置1の具体的な動作について、図4のフローチャートを参照して説明する。
まず、ユーザは、電子書籍データの閲覧に際し、携帯端末3を用いて所定のユーザ登録を行うことで、電子書籍データをダウンロードする権利を取得する。なお、ユーザ登録は、有償であっても無償であってもよい。そして、ユーザは、携帯端末3を用いてサーバ装置1から電子書籍データをダウンロードする。本実施形態では、ダウンロードされる電子書籍データは、例えば、京都旅行をガイドする内容のものであり、京都の主要な観光スポット毎にページが構成されている。電子書籍データの各ページは、観光スポットの画像や当該観光スポットを説明するテキストにより構成され、配信先により一の旅行プランとして予めおすすめのルート順に配置されている。また、ダウンロードされた電子書籍データには、当該電子書籍データと関連する提携店舗情報が含まれている。ダウンロードされた電子書籍データは、記憶部34に記憶される。
そして、ユーザが、携帯端末3の操作部32に対して所定の操作を行うことで、電子書籍データを表示部33に表示させる処理が実行される。所定の操作としては、例えば、専用のアイコンを表示部33に表示し、当該アイコンをユーザがタッチすること等が挙げられる。
携帯端末3の制御部31は、ユーザにより電子書籍データを表示部33に表示させるための所定の操作が行われたことを検出すると、記憶部34に記憶されているユーザ画像を、サーバ装置1に送信する(ステップS101)。具体的には、制御部31は、ユーザを被写体として撮像部37により撮像されたユーザ画像を記憶部34から読み出して、通信部36を介してサーバ装置1に送信する。ユーザ画像は、顔画像であってもよいし、全身画像であってもよい。
次に、サーバ装置1の制御部11は、携帯端末3によりダウンロードされた電子書籍データを記憶部14から読み出して、当該された電子書籍データの各ページ内のモデル画像を、ユーザ画像に置き換える(ステップS201)。具体的には、制御部11は、画像編集手段として、通信部15により取得されたユーザ画像と、電子書籍データ内のモデル画像とを照合して、照合したモデル画像をユーザ画像に置き換える。ユーザ画像と電子書籍データ内のモデル画像とはそれぞれ撮像された場所を示す位置情報を含んでいる。照合方法としては、例えば、顔認識や位置情報の照合等があげられる。例えば、制御部11は、図5及び図6に示すように、電子書籍データの金閣寺を特集するページの画像G1内で金閣寺を背景として写っているモデルの画像M1を、ステップS101で携帯端末3から送信されたユーザ画像U1に置き換える。ユーザ画像が顔画像の場合は、顔の部分のみを置き換え、全身画像の場合は、全身を置き換える。なお、図5及び図6に示す例では、ユーザ画像が顔画像の場合を例示しており、顔の部分のみを置き換えている。また、電子書籍データの他のページのモデル画像も同様にユーザ画像U1に置き換える。
次に、制御部11は、ステップS201でユーザ画像U1に置換した電子書籍データを、通信部15を介して携帯端末3に送信する(ステップS202)。
次に、携帯端末3の制御部31は、ステップS202でサーバ装置1から送信された電子書籍データを、表示部33に表示させる(ステップS102)。これにより、ユーザは、旅行前に旅行に行った気分を想像することができるので、感情移入し易く、旅行に対する興味を引き付けることができる。
次に、携帯端末3の制御部31は、旅行先において撮像された画像と、当該撮像画像が撮像された時間と、当該撮像画像が撮像された場所の位置情報とを、サーバ装置1に送信する(ステップS103)。具体的には、制御部31は、旅行先において撮像部37により撮像された画像と、当該撮像画像が撮像された際に携帯端末3が内蔵する時計(図示省略)を参照して取得された撮像時間と、当該撮像画像が撮像された際に現在位置取得部35により取得された撮像場所の位置情報とを、通信部36を介してサーバ装置1に送信する。ステップS103でサーバ装置1に送信される撮像画像は、一枚であってもよいし、複数枚であってもよい。なお、図7は、ユーザU2が旅行先である金閣寺においてユーザU2自身を撮像部37により実際に撮像した画像G3を示す図である。
次に、サーバ装置1の制御部11は、ステップS103で携帯端末3から送信された撮像画像と撮像場所の位置情報とに基づいて、当該撮像画像が電子書籍データのページの画像と同一の場所で撮像されたものであるか否かを判定する(ステップS203)。ここで、同一の場所とは、全く同一の場所である場合に限られず、ページの画像内の最も特徴的な画像(例えば、図5における金閣寺)を撮像可能な場所をも含むものとする。
同一の場所で撮像されたものであると判定した場合(ステップS203:YES)は、当該撮像場所で撮像された画像の背景部分のテンプレート画像(図8参照)を、通信部15を介して携帯端末3に送信する(ステップS204)。例えば、図8(A)は、「晴れの日の日中」に撮像した金閣寺のテンプレート画像T1であり、図8(B)は、「晴れの日の夜間」に撮像した金閣寺のテンプレート画像T2である。上記のように、本実施形態では、同一の場所で撮像された場合にのみテンプレート画像T1、T2が送信されるので、実際に現地に旅行したユーザのみがこれらのテンプレート画像T1、T2を受信することができる。
一方、同一の場所で撮像されたものでない、即ち、異なる場所で撮像されたものであると判定した場合(ステップS203:NO)は、当該撮像画像のページを電子書籍データに追加する(ステップS206)。
次に、携帯端末3の制御部31は、上記撮像場所の画像としていずれの画像が選択されたかを示す情報(選択結果)を、サーバ装置1に送信する(ステップS104)。具体的には、制御部31は、旅行先での撮像画像G3(図7参照)とステップS204でサーバ装置1から送信されたテンプレート画像T1、T2(図8参照)とのうち、上記撮像場所の画像としてユーザによりいずれの画像が選択されたかを示す情報を、通信部36を介してサーバ装置1に送信する。なお、上記撮像場所の画像として、図5に示した画像G1や図6に示した画像G2を選択することも可能である。
次に、サーバ装置1の制御部11は、ステップS104で携帯端末3から送信された選択結果に基づいて、電子書籍データの上記撮像場所のページを更新する(ステップS205)。即ち、制御部11は、ステップS203〜ステップS205の処理により、ユーザ画像の位置情報と、電子書籍データ内のモデル画像の位置情報とに基づいて、同一の場所であると判定した場合に、当該同一の場所で撮像されたテンプレート画像を記憶部14から取得し、携帯端末3においてテンプレート画像の背景画像として選択された画像に、ユーザ画像を合成する。図9は、ステップS104でテンプレート画像T1が選択された場合に、撮像画像G3の背景をテンプレート画像T1に置き換えた画像G4を示す図である。なお、電子書籍データの上記撮像場所のページの画像G4において、実際に撮像された画像G3内のユーザ画像U2の代わりに、画像G1内のモデル画像M1や画像G2内のユーザ画像U1を選択可能としてもよい。
ここで、ユーザが旅行先において、電子書籍データの配信先と提携している店舗を訪問した場合について説明する。
携帯端末3の制御部31は、ユーザが旅行先の提携店舗を訪問したか否かを判定する(ステップS105)。具体的には、制御部31は、現在位置取得部35により取得された位置情報が、記憶部34に記憶されている提携店舗情報に含まれる提携店舗の位置情報と一致するか否かを判定し、一致していると判定した場合に、提携店舗を訪問したと判定する。
提携店舗を訪問したと判定した場合(ステップS105:YES)は、提携店舗を訪問したことを示す情報(訪問結果)を、通信部36を介してサーバ装置1に送信する(ステップS106)。
一方、提携店舗を訪問していないと判定した場合(ステップS105:NO)は、ステップS107へと移行する。
次に、サーバ装置1の制御部11は、ステップS106で携帯端末3から送信された訪問結果に基づいて、ユーザが訪問した提携店舗に対して広告費を請求する(ステップS207)。なお、ステップS105において、提携店舗を訪問していないと判定した場合(ステップS105:NO)は、当該ステップS207の処理をスキップする。
即ち、制御部11は、ユーザ画像に含まれる位置情報に基づいて、店舗情報(提携店舗情報)に含まれる店舗を訪問したと判定した場合に、当該店舗を訪問したことを示す訪問結果に基づいて、当該訪問された店舗に広告費を請求する広告費請求手段として機能する。
次に、サーバ装置1の制御部11は、電子書籍データのページを、当該ページ内の画像が撮像された時間順に並び替える(ステップS208)。具体的には、制御部11は、電子書籍データの各ページ(例えば、ステップS205で更新されたページやステップS206で追加されたページ、未更新のページなど)を、ステップS103で携帯端末3から送信された撮像時間に基づいて、当該ページ内の画像が撮像された時間順に並び替える。
そして、サーバ装置1の制御部11は、ステップS208でページを撮像時間順に並び替えて編集を完了した電子書籍データを、通信部15を介して携帯端末3に配信する(ステップS209)。即ち、制御部11は、配布手段として、通信部15によるユーザ画像の取得が終了したことを検知すると、画像編集手段により編集された電子書籍データを他の端末(携帯端末3)に配布する。なお、ユーザ登録時に電子書籍データを無償でダウンロードする権利を与えている場合は、ステップS209での配信時に、ユーザに対して課金するようにしてもよい。これにより、電子書籍の配布を促進すると共に、ユーザ画像による編集の代償として作成コストを得ることができる。また、ステップS207で提携店舗から広告費を請求できることに鑑みて、ステップS209での配信についても無償とするようにしてもよい。
次に、携帯端末3の制御部31は、ステップS209でサーバ装置1から配信された編集後の電子書籍データを、表示部33に表示させる(ステップS107)。
なお、サーバ装置1の制御部11は、携帯端末3から編集後の電子書籍データのフィードバックを受けることで、当該フィードバックされた電子書籍データを、次回以降の電子書籍データのテンプレートとして利用することができる。この場合、電子書籍データの各ページ内のユーザ画像を、モデル画像に置き換えて利用するとよい。
[3.効果]
以上のように、本実施形態に係る情報処理装置としてのサーバ装置1は、モデル画像を含む電子書籍データを記憶する記憶手段(記憶部14)と、ユーザ画像を取得する画像取得手段(通信部15)と、画像取得手段により取得されたユーザ画像と、電子書籍データ内のモデル画像とを照合して、照合したモデル画像をユーザ画像に置き換える画像編集手段(制御部11)と、を備える。
従って、本実施形態に係るサーバ装置1によれば、電子書籍データの画像がユーザ画像によって編集されるので、ユーザの興味を引き付け、電子書籍データの購入のモチベーションを向上させることができる。
また、本実施形態に係るサーバ装置1において、ユーザ画像と、電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、画像編集手段は、ユーザ画像に含まれる位置情報に基づいて、電子書籍データ内のモデル画像を選択して、画像を編集する。
具体的には、本実施形態に係るサーバ装置1の画像編集手段は、ユーザ画像の位置情報と、電子書籍データ内のモデル画像の位置情報とに基づいて、同一の場所であると判定した場合に、当該同一の場所で撮像されたテンプレート画像を取得し、テンプレート画像の背景画像として選択された画像に、ユーザ画像を合成する。
従って、本実施形態に係るサーバ装置1によれば、例えば、ユーザが旅行先で実際に撮像した画像が、その撮影した位置に対応した電子書籍に合成される。また、撮影した場所でのいくつかのパターンで編集されるので、ユーザの位置に応じて更新された電子書籍データを楽しむことができる。
また、本実施形態に係るサーバ装置1の画像編集手段は、ユーザ画像の位置情報と、電子書籍データ内のモデル画像の位置情報とに基づいて、電子書籍データに同一の場所の画像が存在しないと判定した場合に、ユーザ画像を電子書籍データに追加する。
従って、本実施形態に係るサーバ装置1によれば、例えば、場所ベースで編集された電子書籍に対してユーザの位置に応じた固有の画像が追加されていくので、ユーザが訪れた場所に応じて電子書籍がカスタマイズされ、ユーザの個性を反映した電子書籍データを楽しむことができる。
また、本実施形態に係るサーバ装置1において、ユーザ画像は、時間情報を含み、画像編集手段は、置き換えた後の電子書籍データの各ページを、当該ページ内の画像の時間順に並び替える。
従って、本実施形態に係るサーバ装置1によれば、例えば、旅行行程のようにユーザが訪れた時系列で自動的に電子書籍が編集されるので、旅行プラン等を提案する電子書籍を作成することができる。
また、本実施形態に係るサーバ装置1は、画像取得手段によるユーザ画像の取得が終了したことを検知すると、画像編集手段により編集された電子書籍データを他の端末に配布する配布手段(制御部11)を更に備える。
従って、本実施形態に係るサーバ装置1によれば、編集後の電子書籍データを当事者のみならず、他の携帯端末3にも配布することができるので、複数のユーザに旅行プラン等を提案することができる。
また、本実施形態に係るサーバ装置1において、電子書籍データは、店舗情報を含み、ユーザ画像に含まれる位置情報に基づいて、店舗情報に含まれる店舗を訪問したと判定した場合に、当該店舗を訪問したことを示す訪問結果に基づいて、当該訪問された店舗に広告費を請求する広告費請求手段(制御部11)を更に備える。
従って、本実施形態に係るサーバ装置1によれば、ユーザが訪問した店舗に対して広告費を請求することができるので、電子書籍による店舗の広告効果を得られると共に、電子書籍の作成コストを得ることができる。
以上、本発明に係る実施形態に基づいて具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
[4.その他の変形例]
(変形例1)
例えば、上記実施形態では、複数の端末装置3と、複数の携帯端末3と通信ネットワークNを介して接続され、電子書籍データを配信するサーバ装置1と、を備える情報処理システム100を例示し、サーバ装置1を本発明の情報処理装置として説明したが、携帯端末3を本発明の情報処理装置とすることも可能である。
変形例1に係る情報処理システム100における携帯端末3及びサーバ装置1の具体的な動作について、図10のフローチャートを参照して説明する。
携帯端末3の制御部31は、ユーザにより電子書籍データを表示部33に表示させるための所定の操作が行われたことを検出すると、ダウンロードして記憶手段としての記憶部34に記憶されている電子書籍データの各ページ内のモデル画像を、画像取得手段としての撮像部37により取得され記憶部34に記憶されているユーザ画像に置き換える(ステップS301)。具体的には、制御部31は、画像編集手段として、撮像部37により取得されたユーザ画像と、電子書籍データ内のモデル画像とを照合して、照合したモデル画像をユーザ画像に置き換える。照合方法としては、例えば、顔認識や位置情報の照合等があげられる。例えば、制御部31は、図5及び図6に示すように、電子書籍データの金閣寺を特集するページの画像G1内で金閣寺を背景として写っているモデルの画像M1を、記憶部34に記憶されているユーザ画像U1に置き換える。
次に、携帯端末3の制御部31は、ステップS301でユーザ画像U1に置換した電子書籍データを、表示部33に表示させる(ステップS302)。
次に、携帯端末3の制御部31は、旅行先において撮像された画像(図7参照)と、当該撮像画像が撮像された場所の位置情報と、に基づいて、当該撮像画像が電子書籍データのページの画像と同一の場所で撮像されたものであるか否かを判定する(ステップS303)。
同一の場所で撮像されたものであると判定した場合(ステップS303:YES)は、当該撮像場所で撮像された画像の背景部分のテンプレート画像(図8参照)の送信要求を、通信部36を介してサーバ装置1に送信する(ステップS304)。
一方、同一の場所で撮像されたものでない、即ち、異なる場所で撮像されたものであると判定した場合(ステップS303:NO)は、当該撮像画像のページを電子書籍データに追加する(ステップS306)。
次に、サーバ装置1の制御部11は、上記の撮像場所で撮像された画像の背景部分のテンプレート画像を、通信部15を介して携帯端末3に送信する(ステップS401)。
次に、携帯端末3の制御部31は、上記撮像場所の画像としていずれの画像が選択されたかを示す情報(選択結果)に基づいて、電子書籍データの上記撮像場所のページを更新する(ステップS305)。
携帯端末3のステップS307及びステップS308の処理は、図4のステップS105及びステップS106の処理と同様であるので、説明を省略する。
また、サーバ装置1のステップS402の処理は、図4のステップS207の処理と同様であるので、説明を省略する。
次に、携帯端末3の制御部31は、電子書籍データのページを、当該ページ内の画像が撮像された時間順に並び替える(ステップS309)。具体的には、制御部11は、電子書籍データのページ(例えば、ステップS305で更新されたページやステップS306で追加されたページ、未更新のページなど)を、当該ページ内の画像が撮像された時間順に並び替える。
そして、携帯端末3の制御部31は、ステップS309でページを撮像時間順に並び替えて編集を完了した電子書籍データを、表示部33に表示させる(ステップS310)。
なお、編集を完了した電子書籍データを、サーバ装置1や他の携帯端末3に配布するようにしてもよい。この場合、制御部31は、撮像部37によるユーザ画像の取得が終了したことを検知すると、画像編集手段により編集された電子書籍データを他の端末(サーバ装置1や他の携帯端末3)に配布する配布手段として機能する。
また、変形例1では、ステップS402の処理をサーバ装置1により行うようにしているが、これに限定されるものではなく、携帯端末3により行うようにしてもよい。これは、携帯端末3が他の携帯端末3に対して、電子書籍データを配布する機能を有する場合に特に有効である。具体的には、携帯端末3の制御部31は、図10のステップS307の処理で提携店舗を訪問したと判定した場合(ステップS105:YES)に、ステップS206の処理は行わずに、提携店舗を訪問したことを示す情報(訪問結果)に基づいて、ユーザが訪問した提携店舗に対して広告費を請求する。この場合、制御部31は、本発明の広告費請求手段として機能する。
以上のように、変形例1に係る情報処理装置としての携帯端末3は、モデル画像を含む電子書籍データを記憶する記憶手段(記憶部34)と、ユーザ画像を取得する画像取得手段(撮像部37)と、画像取得手段により取得されたユーザ画像と、電子書籍データ内のモデル画像とを照合して、照合したモデル画像をユーザ画像に置き換える画像編集手段(制御部31)と、を備える。
従って、本実施形態に係る携帯端末3によれば、電子書籍データの画像がユーザ画像によって編集されるので、ユーザの興味を引き付け、電子書籍データの購入のモチベーションを向上させることができる。
また、変形例1に係る携帯端末3において、ユーザ画像と、電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、画像編集手段は、ユーザ画像に含まれる位置情報に基づいて、電子書籍データ内のモデル画像を選択して、画像を編集する。
具体的には、変形例1に係る携帯端末3の画像編集手段は、ユーザ画像の位置情報と、電子書籍データ内のモデル画像の位置情報とに基づいて、同一の場所であると判定した場合に、当該同一の場所で撮像されたテンプレート画像を取得し、テンプレート画像の背景画像として選択された画像に、ユーザ画像を合成する。
従って、変形例1に係る携帯端末3によれば、例えば、ユーザが旅行先で実際に撮像した画像が、その撮影した位置に対応した電子書籍に合成される。また、撮影した場所でのいくつかのパターンで編集されるので、ユーザの位置に応じて更新された電子書籍データを楽しむことができる。
また、変形例1に係る携帯端末3の画像編集手段は、ユーザ画像の位置情報と、電子書籍データ内のモデル画像の位置情報とに基づいて、電子書籍データに同一の場所の画像が存在しないと判定した場合に、ユーザ画像を電子書籍データに追加する。
従って、変形例1に係る携帯端末3によれば、例えば、場所ベースで編集された電子書籍に対してユーザの位置に応じた固有の画像が追加されていくので、ユーザが訪れた場所に応じて電子書籍がカスタマイズされ、ユーザの個性を反映した電子書籍データを楽しむことができる。
また、変形例1に係る携帯端末3において、ユーザ画像は、時間情報を含み、画像編集手段は、置き換えた後の電子書籍データの各ページを、当該ページ内の画像の時間順に並び替える。
従って、変形例1に係る携帯端末3によれば、例えば、旅行行程のようにユーザが訪れた時系列で自動的に電子書籍が編集されるので、旅行プラン等を提案する電子書籍を作成することができる。
また、変形例1に係る携帯端末3は、画像取得手段によるユーザ画像の取得が終了したことを検知すると、画像編集手段により編集された電子書籍データを他の端末に配布する配布手段(制御部31)を更に備える。
従って、変形例1に係る携帯端末3によれば、編集後の電子書籍データを当事者のみならず、他の携帯端末3にも配布することができるので、複数のユーザに旅行プラン等を提案することができる。
また、変形例1に係る携帯端末3において、電子書籍データは、店舗情報を含み、ユーザ画像に含まれる位置情報に基づいて、店舗情報に含まれる店舗を訪問したと判定した場合に、当該店舗を訪問したことを示す訪問結果に基づいて、当該訪問された店舗に広告費を請求する広告費請求手段(制御部31)を更に備える。
従って、変形例1に係る携帯端末3によれば、ユーザが訪問した店舗に対して広告費を請求することができるので、電子書籍による店舗の広告効果を得られると共に、電子書籍の作成コストを得ることができる。
(その他の変形例)
また、上記実施形態では、図4のステップS201で、電子書籍データの各ページ内のモデル画像を、携帯端末3から送信されたユーザ画像に置き換えるようにしているが、これに限定されるものではない。例えば、従前のモデル画像のページとユーザ画像に置き換えたページとを、従前のモデル画像のページが上面(表示部33に表示される面)となるように2枚重ねて配置するようにし、ユーザが表示部33上でページをめくる動作を行った場合に、上面に配置された従前のモデル画像のページがめくられて、下面に配置されたユーザ画像のページが表示されるようにしてもよい。
また、ステップS209でサーバ装置1から配信された編集後の電子書籍データを、SNSで利用可能にしてもよい。この場合、電子書籍データの各ページの画像をそのまま表示させるようにしてもよいし、加工して表示させるようにしてもよい。
また、上記実施形態では、ステップS208で、電子書籍データのページを、当該ページ内の画像が撮像された時間順に並び替えるようにしているが、これに限定されるものではない。例えば、ランダムに並び替えるようにしてもよいし、画像内の観光スポットの名前の五十音順に並び替えるようにしてもよい
また、上記実施形態では、旅行ガイドのモデルの画像をユーザ画像に置き換えるようにしているが、これに限定されるものではない。例えば、ファッション雑誌のモデルの画像や漫画のキャラクターの画像等を、ユーザ画像に置き換えるようにしてもよい。
また、本出願に示す各態様は、プログラムとしても把握することができる。また、処理やステップの順序は、本出願に直接明記のものに限定されず、順序を変更したり、一部の処理をまとめて若しくは随時一部分ずつ実行するよう変更したりすることができる。
その他、サーバ装置及び携帯端末を構成する各装置の細部構成及び各装置の細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
100 情報処理システム
1 サーバ装置(情報処理装置)
11 制御部(画像編集手段、配布手段、広告費請求手段)
12 操作部
13 表示部
14 記憶部(記憶手段)
15 通信部(画像取得手段)
2 基地局
3 携帯端末(情報処理装置)
31 制御部(画像編集手段、配布手段、広告費請求手段)
32 操作部
33 表示部
34 記憶部(記憶手段)
35 現在位置取得部
36 通信部
37 撮像部(画像取得手段)

Claims (8)

  1. モデル画像を含む電子書籍データを記憶する記憶手段と、
    ユーザ画像を取得する画像取得手段と、
    前記画像取得手段により取得されたユーザ画像と、前記電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段と、
    を備え
    前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
    前記画像編集手段は、前記ユーザ画像の位置情報と、前記電子書籍データ内のモデル画像の位置情報とに基づいて、同一の場所であると判定した場合に、当該同一の場所で撮像されたテンプレート画像を取得し、前記テンプレート画像の背景画像として選択された画像に、前記ユーザ画像を合成することを特徴とする情報処理装置。
  2. モデル画像を含む電子書籍データを記憶する記憶手段と、
    ユーザ画像を取得する画像取得手段と、
    前記画像取得手段により取得されたユーザ画像と、前記電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段と、
    を備え、
    前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
    前記画像編集手段は、前記ユーザ画像の位置情報と、前記電子書籍データ内のモデル画像の位置情報とに基づいて、前記電子書籍データに同一の場所の画像が存在しないと判定した場合に、前記ユーザ画像を前記電子書籍データに追加することを特徴とする情報処理装置。
  3. モデル画像を含む電子書籍データを記憶する記憶手段と、
    ユーザ画像を取得する画像取得手段と、
    前記画像取得手段により取得されたユーザ画像と、前記電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段と、
    を備え、
    前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
    前記画像編集手段は、前記ユーザ画像に含まれる位置情報に基づいて、前記電子書籍データ内のモデル画像を選択して、画像を編集し、
    前記電子書籍データは、店舗情報を含み、
    前記ユーザ画像に含まれる位置情報に基づいて、前記店舗情報に含まれる店舗を訪問したと判定した場合に、当該店舗を訪問したことを示す訪問結果に基づいて、当該訪問された店舗に広告費を請求する広告費請求手段を更に備えることを特徴とする情報処理装置。
  4. 前記ユーザ画像は、時間情報を含み、
    前記画像編集手段は、前記置き換えた後の電子書籍データの各ページを、当該ページ内の画像の時間順に並び替えることを特徴とする請求項1〜のいずれか一項に記載の情報処理装置。
  5. 前記画像取得手段によるユーザ画像の取得が終了したことを検知すると、前記画像編集手段により編集された前記電子書籍データを他の端末に配布する配布手段を更に備えることを特徴とする請求項1〜のいずれか一項に記載の情報処理装置。
  6. コンピュータを、
    ユーザ画像を取得する画像取得手段、
    前記画像取得手段により取得されたユーザ画像と、記憶手段に記憶された電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段、
    として機能させ
    前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
    前記画像編集手段は、前記ユーザ画像の位置情報と、前記電子書籍データ内のモデル画像の位置情報とに基づいて、同一の場所であると判定した場合に、当該同一の場所で撮像されたテンプレート画像を取得し、前記テンプレート画像の背景画像として選択された画像に、前記ユーザ画像を合成することを特徴とするプログラム。
  7. コンピュータを、
    ユーザ画像を取得する画像取得手段、
    前記画像取得手段により取得されたユーザ画像と、記憶手段に記憶された電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段、
    として機能させ、
    前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
    前記画像編集手段は、前記ユーザ画像の位置情報と、前記電子書籍データ内のモデル画像の位置情報とに基づいて、前記電子書籍データに同一の場所の画像が存在しないと判定した場合に、前記ユーザ画像を前記電子書籍データに追加することを特徴とするプログラム。
  8. コンピュータを、
    ユーザ画像を取得する画像取得手段、
    前記画像取得手段により取得されたユーザ画像と、記憶手段に記憶された電子書籍データ内のモデル画像とを照合して、照合したモデル画像を前記ユーザ画像に置き換える画像編集手段、
    として機能させ、
    前記ユーザ画像と、前記電子書籍データ内のモデル画像とはそれぞれ位置情報を含み、
    前記画像編集手段は、前記ユーザ画像に含まれる位置情報に基づいて、前記電子書籍データ内のモデル画像を選択して、画像を編集し、
    前記電子書籍データは、店舗情報を含み、
    前記ユーザ画像に含まれる位置情報に基づいて、前記店舗情報に含まれる店舗を訪問したと判定した場合に、当該店舗を訪問したことを示す訪問結果に基づいて、当該訪問された店舗に広告費を請求する広告費請求手段として更に機能させるためのプログラム。
JP2014056552A 2014-03-19 2014-03-19 情報処理装置及びプログラム Active JP6040191B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014056552A JP6040191B2 (ja) 2014-03-19 2014-03-19 情報処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014056552A JP6040191B2 (ja) 2014-03-19 2014-03-19 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2015179404A JP2015179404A (ja) 2015-10-08
JP6040191B2 true JP6040191B2 (ja) 2016-12-07

Family

ID=54263399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014056552A Active JP6040191B2 (ja) 2014-03-19 2014-03-19 情報処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6040191B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3675015A4 (en) 2017-08-24 2021-01-13 GungHo Online Entertainment, Inc. TERMINAL DEVICE, PROGRAM AND PROCEDURE

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3808662B2 (ja) * 1998-05-20 2006-08-16 富士写真フイルム株式会社 画像再生方法および装置
JP4261266B2 (ja) * 2003-06-30 2009-04-30 コアカラーズ株式会社 ユーザ固有データ作成サーバおよび作成プログラム
JP2008160295A (ja) * 2006-12-21 2008-07-10 Sanyo Electric Co Ltd テレビ電話システム及びテレビ電話装置
JP5043746B2 (ja) * 2007-07-31 2012-10-10 オリンパスイメージング株式会社 画像再生装置、画像再生方法および画像再生用プログラム

Also Published As

Publication number Publication date
JP2015179404A (ja) 2015-10-08

Similar Documents

Publication Publication Date Title
US10452914B2 (en) Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US7130742B2 (en) Electronic guide system, contents server for electronic guide system, portable electronic guide device, and information processing method for electronic guide system
JP5984685B2 (ja) 表示システム、サーバ、端末装置、表示方法およびプログラム
CN104885044B (zh) 便携信息终端
JP6045354B2 (ja) 案内システム、サーバ、端末装置、案内方法およびプログラム
JP2004070598A (ja) ガイドシステム、コンテンツサーバ、携帯装置、情報処理方法、情報処理プログラム、及び記憶媒体
CN101965500A (zh) 用于呈现位置信息的图形用户界面
CN104102388A (zh) 电子设备中的触觉反馈
CN103177178A (zh) 信息处理系统、便携式信息终端、服务器以及信息处理方法
JP2005265688A (ja) 移動体ナビゲーション装置、ならびに、移動体ナビゲーション装置における目的地の検索方法および検索プログラム
JP2009176032A (ja) 情報処理装置および方法、並びにプログラム
JP5339159B2 (ja) 情報管理システム
CN105917329A (zh) 信息显示装置和信息显示程序
KR100672390B1 (ko) 약도 작성 기능을 갖는 이동통신 단말기 및 이를 이용한약도 작성 방법
JP6040191B2 (ja) 情報処理装置及びプログラム
JP6041678B2 (ja) 投稿情報の表示システム、表示方法、端末装置及びプログラム
KR101582644B1 (ko) 여행 일지 생성 시스템 및 그 여행 일지 생성 방법
KR20140060628A (ko) 여행 일지를 생성하는 휴대용 기기
CN103092961A (zh) 数字地图系统中用户标注服务设施位置的方法和装置
JP2010078484A (ja) 訪問候補地提示装置、訪問候補地提示装置方法、およびコンピュータプログラム
JP5921972B2 (ja) 経路案内装置、経路案内方法およびコンピュータプログラム
JP6012988B2 (ja) 通信機器、サーバ装置、通信システム、データ送信方法、データ送受信方法、およびプログラム
TW200844400A (en) System of web map information platform
JP2014219886A (ja) 端末装置、投稿情報送信方法、投稿情報送信プログラムおよび投稿情報表示システム
JP2010277326A (ja) 端末装置、端末装置用プログラム、情報配信装置及び画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161107

R150 Certificate of patent or registration of utility model

Ref document number: 6040191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350