JP6589038B1 - ウェアラブル端末、情報処理端末、プログラム及び商品情報表示方法 - Google Patents

Abstract

【課題】ユーザが視認した商品に関する情報を使用した取引を実行できるウェアラブル端末を提供する。【解決手段】ウェアラブル端末１３０は、撮像部１４１と、撮像部１４１により撮像された画像内で、ユーザによる商品を特定するための第１ジェスチャを認識する認識部１４２と、認識部１４２により第１ジェスチャが認識された場合、第１ジェスチャが認識された画像を用いて特定された商品の商品情報を取得する取得部１４３と、ユーザに視認可能に商品情報を出力制御する出力制御部１４４と、商品について、電子商取引に関する所定の処理を行う処理部１４６と、を備える。【選択図】図６

Description

本発明は、ウェアラブル端末、情報処理端末、プログラム及び商品情報表示方法に関する。

従来から、ユーザの頭部に装着して使用するメガネ型のウェアラブル端末が存在する。メガネ型のウェアラブル端末は、レンズに相当する部分が情報を表示するディスプレイとなっており、ユーザはディスプレイ越しに現実の景観を視認しつつ、ディスプレイに表示された情報を確認することができる。

例えば、特許文献１には、ウェアラブル端末を装着したユーザが駅名の記載された路線図を視認した状態で、出発地と到着地とを指で指し示すと、出発地から目的地までの経路探索を行えることが開示されている。

特開２０１８−２２４５３号公報

しかしながら、特許文献１に記載のウェアラブル端末のディスプレイに情報を表示するためには、ユーザが指し示す物体に文字等のテキストが含まれている必要がある。そのため、例えば、ウェアラブル端末を装着したユーザが、テキストが含まれない又は認識できないような商品に対してジェスチャを行っても、商品に関する情報は得られない。そのため、ユーザは、視認した商品に関する情報を使用して各種取引を実行することができなかった。

そこで、本発明は、ユーザが視認した商品に関する情報を使用した取引を実行できるウェアラブル端末を提供することを目的とする。

本発明の一態様に係るウェアラブル端末は、撮像部と、撮像部により撮像された画像内で、ユーザによる商品を特定するための第１ジェスチャを認識する認識部と、認識部により第１ジェスチャが認識された場合、第１ジェスチャが認識された画像を用いて特定された商品の商品情報を取得する取得部と、ユーザに視認可能に商品情報を出力制御する出力制御部と、商品ついて、電子商取引に関する所定の処理を行う処理部と、を備える。

この態様によれば、ユーザは、テキストが含まれない商品であっても、商品を特定するためのジェスチャを行うだけで直感的に商品情報を取得することができる。また、取得した商品情報を用いて電子商取引に関する処理が自動で実行されるため、ユーザの作業負担が軽減する。

本発明によれば、ユーザが視認した商品に関する情報を使用した取引を実行できるウェアラブル端末を提供することができる。

本発明の実施形態に係る通信システムを示す図である。 サーバのハードウェア構成の一例を示す図である。 端末のハードウェア構成の一例を示す図である。 ウェアラブル端末のハードウェア構成の一例を示す図である。 ウェアラブル端末の外観の一例を示す図である。 ウェアラブル端末の機能ブロック構成の一例を示す図である。 サーバの機能ブロック構成の一例を示す図である。 通信システムによる処理の一例を示すシーケンス図である。 ウェアラブル端末の出力制御部による商品情報の出力の一例を示す図である。 ウェアラブル端末による商品の出品処理の一例を示すフローチャートである。 商品の出品処理の際の出力制御部による出力の一例を示す図である。 ウェアラブル端末による商品の購入処理の一例を示すフローチャートである。 商品の購入処理の際の出力制御部による出力の一例を示す図である。 ウェアラブル端末による商品のお気に入りリストへの登録処理の一例を示すフローチャートである。 お気に入りリストへの登録処理の際の出力制御部による出力の一例を示す図である。 ウェアラブル端末による商品の３Ｄモデルの回転表示処理の一例を示すフローチャートである。 回転表示処理の際の出力制御部による出力の一例を示す図である。

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

図１は、本実施形態に係る通信システム１を示す図である。通信システム１は、ユーザが行ったジェスチャに基づいて特定した商品の商品情報をユーザが装着するウェアラブル端末１３０に表示するシステムである。また、通信システム１は、ジェスチャで特定された商品について電子商取引に関する所定の処理を実行可能である。例えば、通信システム１は、ユーザが指で指示した商品の商品情報をウェアラブル端末１３０が備えるディスプレイに表示した後、当該商品を電子商取引プラットフォームへ出品する出品処理等を実行する。

ここで、商品情報とは、商品に関する各種情報である。商品情報は、例えば、商品の名称、価格、型番、色、状態、製造メーカ又は電子商取引プラットフォームにおける商品に対する評価情報、後述するお気に入り登録をしたか否かの情報等を含んでいてもよい。なお、商品は、無生物に限らずペット等の生物であってもよい。また、商品は、建造物等の不動産であってもよい。

通信システム１は、サーバ１１０、端末１２０及びウェアラブル端末１３０を備える。サーバ１１０、端末１２０及びウェアラブル端末１３０は、インターネットや無線ＬＡＮ、Bluetooth（登録商標）、有線通信等の通信ネットワークＮを介して互いに通信可能に接続される。なお、通信システム１が備えるサーバ１１０、端末１２０及びウェアラブル端末１３０の数は一つに限られず、複数備えてもよい。また、サーバ１１０は、１つの機器から構成されてもよいし、複数の機器から構成されてもよいし、クラウド上で実現されるサーバであってもよい。

端末１２０は、例えば、スマートフォン、タブレット端末、携帯電話機、パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ:Personal Digital Assistant）、家庭用ゲーム機器等であってもよい。

ウェアラブル端末１３０は、ユーザが装着する電子デバイスである。ウェアラブル端末１３０は、例えば、メガネ型端末（スマートグラス）、コンタクトレンズ型端末（スマートコンタクトレンズ）、拡張現実（ＡＲ: Augmented Reality）技術を用いたヘッドマウントディスプレイ、義眼等であってもよい。本実施形態においては、ウェアラブル端末１３０がメガネ型端末（スマートグラス）である場合を例に説明する。

図２は、サーバ１１０のハードウェア構成の一例を示す図である。サーバ１１０は、ＣＰＵ（Central Processing Unit）１１１、記憶装置１１２及び通信ＩＦ（Interface）１１３を有する。これらの各構成は、相互にデータ送受信可能に接続される。

ＣＰＵ１１１は、記憶装置１１２に記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１１１は、通信ＩＦ１１３からデータを受け取り、データの演算結果を出力デバイスに出力したり、記憶装置１１２に記憶したりしてもよい。

記憶装置１１２は、各種情報を記憶するデバイスである。記憶装置１１２は、データの書き換えが可能な揮発性の記憶媒体やデータの読み出しのみが可能な不揮発性の記憶媒体であってもよい。

通信ＩＦ１１３は、サーバ１１０を通信ネットワークＮに接続するデバイスである。通信ＩＦ１１３は、サーバ１１０の外部に設けられてもよい。その場合、通信ＩＦ１１３は、例えばＵＳＢ(Universal Serial Bus)等のインタフェースを介してサーバ１１０に接続される。

図３は、端末１２０のハードウェア構成の一例を示す図である。端末１２０は、ＣＰＵ１２１、記憶装置１２２、通信ＩＦ１２３、入力デバイス１２４、出力デバイス１２５及び撮像部１２６を有する。これらの各構成は、相互にデータ送受信可能に接続される。図３に示すＣＰＵ１２１、記憶装置１２２及び通信ＩＦ１２３は、図２に示すサーバ１１０が備えるＣＰＵ１１１、記憶装置１１２及び通信ＩＦ１１３と同様の構成を有するため説明を省略する。

入力デバイス１２４は、ユーザから情報の入力を受け付けるためのデバイスである。入力デバイス１２４は、例えばタッチパネル、ボタン、キーボード、マウス及びマイク等であってもよい。

出力デバイス１２５は、情報を出力するためのデバイスである。例えば、出力デバイス１２５は、液晶ディスプレイ、有機ＥＬ(Electronic Luminescent)ディスプレイ、スピーカ及び物体表面や空間、網膜上に情報を投影するプロジェクタ等であってもよい。

撮像部１２６は、画像（静止画像及び動画像を含む）を撮像するためのデバイスである。例えば、撮像部１２６は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、レンズ等の撮像素子を含んでいてもよい。

図４は、ウェアラブル端末１３０のハードウェア構成の一例を示す図である。ウェアラブル端末１３０は、ＣＰＵ１３１、記憶装置１３２、通信ＩＦ１３３、出力デバイス１３４及び撮像部１３５を有する。これらの各構成は、相互にデータ送受信可能に接続される。ウェアラブル端末１３０が備えるＣＰＵ１３１、記憶装置１３２、通信ＩＦ１３３、出力デバイス１３４及び撮像部１３５は、図３に示す端末１２０が備えるＣＰＵ１２１、記憶装置１２２、通信ＩＦ１２３、出力デバイス１２５及び撮像部１２６と同様の構成を有するため説明を省略する。

図５は、ウェアラブル端末１３０の外観の一例を示す図である。ウェアラブル端末１３０は、撮像部１３５、ディスプレイ１３６、フレーム１３７、ヒンジ部１３８及びテンプル１３９を備える。

上述したように、撮像部１３５は、画像を撮像するためのデバイスである。撮像部１３５は、図示しないＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、レンズ等の撮像素子等を含んでいてもよい。

ディスプレイ１３６は、後述する出力制御部１４４の制御に基づいて、商品情報等の各種情報を表示する出力デバイスである。ディスプレイ１３６は、ウェアラブル端末１３０を装着したユーザが現実空間の景観を視認可能なように可視光を透過させる部材で形成されていてもよい。例えば、ディスプレイ１３６は、透明基板を用いた液晶ディスプレイや有機ＥＬディスプレイであってもよい。

フレーム１３７は、ディスプレイ１３６の外周を囲むように設けられ、ディスプレイ１３６を衝撃等から保護する。フレーム１３７は、ディスプレイ１３６の外周全域にわたって設けられていてもよいし、一部に設けられていてもよい。フレーム１３７は、例えば、金属や樹脂等で形成されていてもよい。

ヒンジ部１３８は、テンプル１３９をフレーム１３７に対して回動可能に接続する。テンプル１３９は、フレーム１３７の両端から延在する蔓であり、例えば、金属や樹脂等で形成されていてもよい。ウェアラブル端末１３０は、フレーム１３７から離間するように開かれたテンプル１３９がユーザのこめかみ付近に位置するように装着される。

テンプル１３９は、一部が窪んだ係止部１３９ａを有している。係止部１３９ａは、ウェアラブル端末１３０が装着された状態でユーザの耳に係るように位置し、ウェアラブル端末１３０がユーザの頭部から脱落することを防止する。

図６は、ウェアラブル端末１３０の機能ブロック構成の一例を示す図である。ウェアラブル端末１３０は、通信部１４０、撮像部１４１、認識部１４２、取得部１４３、出力制御部１４４、記憶部１４５及び処理部１４６を備える。通信部１４０、撮像部１４１、認識部１４２、取得部１４３、出力制御部１４４、記憶部１４５及び処理部１４６は、ウェアラブル端末１３０のＣＰＵ１３１が、記憶装置１３２に記憶されたプログラムを実行することにより実現することができる。当該プログラムは、サーバ１１０からダウンロードされてウェアラブル端末１３０にインストール可能なプログラム（アプリケーション）であってもよい。

通信部１４０は、通信ネットワークＮを介してサーバ１１０又は端末１２０と情報の送受信を行う。例えば、通信部１４０は、撮像部１４１が撮像した画像をサーバ１１０に送信してもよいし、サーバ１１０から商品情報を受信してもよい。

撮像部１４１は、画像の撮像を行う。撮像部１４１は、図５に示す撮像部１３５に相当する。撮像部１４１により撮像された画像は、認識部１４２や記憶部１４５に出力されてもよい。また、ウェアラブル端末１３０が深度センサを備える場合、当該深度センサがユーザの所定の動きを検知した場合に、撮像部１４１は撮像を開始してもよい。また、例えば、ウェアラブル端末１３０が神経信号を取得するセンサを備える場合、当該神経信号センサがユーザの所定の動き（例えば、所定の角度での指差しジェスチャを所定の時間以上維持したこと等）を検知した場合に、撮像部１４１は撮像を開始してもよい。

認識部１４２は、撮像部１４１により撮像された画像内で、ユーザによるジェスチャを認識する。ここで、ジェスチャとは、ユーザによる動作であり、例えば、商品を指で指し示す動作や商品を指で囲む動作等であってもよい。また、ユーザによるジェスチャは必ずしも指で行われなくともよい。例えば、ジェスチャは、ユーザの腕や脚といった他の部位、又は、指示棒等の物体を用いて行われてもよい。なお、本実施形態においては、ユーザの指を用いてジェスチャが行われる場合を例に説明する。

認識部１４２は、ジェスチャに用いる物体（本実施形態においては、ユーザの指）の特徴に基づいて画像内での指の位置や指の形状を特定し、ユーザが行ったジェスチャを認識してもよい。例えば、認識部１４２は、パターンマッチングを用いて撮像された画像からユーザの指等を特定しジェスチャを認識してもよい。このとき、指の形状や色彩等を記憶部１４５に特定パターンとして予め記憶しておき、認識部１４２は撮像された画像から当該特定パターンと一致するパターンを特定することにより、画像内での指の位置や形状を取得してもよい。なお、認識部１４２は３Ｄ空間データを用いて物体を認識してもよい。

また、認識部１４２は、複数の種類のジェスチャを区別して認識してもよい。このとき、ジェスチャの種類に対して予め所定の処理が対応付けられており、認識部１４２がジェスチャを認識すると、ジェスチャの種類に応じた所定の処理が実行されてもよい。例えば、認識部１４２が特定のジェスチャを認識した場合にディスプレイ１３６に商品情報が表示されてもよいし、認識部１４２が他のジェスチャを認識したことをトリガとして後述する処理部１４６が商品を電子商取引プラットフォームへ出品する出品処理を実行してもよい。

取得部１４３は、認識部１４２により第１ジェスチャが認識された場合に、商品の商品情報を取得するための処理を実行する。ここで、第１ジェスチャとは、ユーザによる商品を特定するための動作であり、本実施形態においては、図９（ｂ）に示すようなユーザが商品を指し示す動作であるとする。

例えば、取得部１４３は、認識部１４２により第１ジェスチャが認識されると、撮像された画像と画像内における指の位置情報とを、通信部１４０を介してサーバ１１０に送信する。サーバ１１０の特定部１１６は、画像と指の位置情報に基づいてユーザが指し示す商品を特定する。その後、サーバ１１０の取得部１１７は、特定した商品の商品情報を記憶部１１８から取得する。取得された商品情報は、サーバ１１０の通信部１１５からウェアラブル端末１３０に送信される。なお、通信部１４０は、第１ジェスチャが認識された画像をサーバ１１０に送信し、サーバ１１０の特定部１１６が、受信された画像内の指の位置を特定するようにしてもよい。

なお、取得部１４３は、サーバ１１０を介さずに商品情報の取得を行ってもよい。例えば、記憶部１４５に商品の形状や色彩といった商品の特徴及び商品情報が記憶されているとする。このとき、取得部１４３は商品の特徴に基づいて、画像から商品を特定する。その後、取得部１４３は、特定した商品に対応する商品情報を、記憶部１４５に記憶された商品情報から取得してもよい。取得部１４３による商品の特定処理は、図７を用いて後述するサーバ１１０の特定部１１６によって実行される特定処理と同様の処理を実行してもよい。

出力制御部１４４は、出力デバイス１３４を制御し各種情報を出力する。本実施形態においては、出力制御部１４４は、取得部１４３が取得した商品情報をディスプレイ１３６に表示する制御を行う。出力制御部１４４は、ジェスチャに用いるユーザの指が撮像部１４１の撮像した画像に含まれる場合や、画像の所定領域（例えば、画像の略中央領域）に指が位置する場合に限り商品情報を表示する制御を行い、指が画像内に含まれていない場合や所定領域内に位置していない場合には、商品情報を非表示にする制御を実行してもよい。そうすることで、ユーザは商品情報の表示と非表示との切り替えを容易に行うことができる。

記憶部１４５は、各種情報を記憶する。例えば、記憶部１４５は、ジェスチャに使用するユーザの指の特徴を記憶していてもよい。また、記憶部１４５は、商品情報等やユーザ情報を記憶していてもよい。ここで、ユーザ情報とは、通信システム１を利用するユーザに関する情報であり、例えば、ユーザ識別子、ユーザの氏名、性別、住所、ユーザが過去に行った電子商取引に関する情報等が含まれていてもよい。

処理部１４６は、画像内の商品（例えばジェスチャにより特定された商品）について電子商取引に関する処理を実行する。例えば、処理部１４６は、ユーザが指示する商品を電子商取引プラットフォームへ出品する出品処理を実行してもよい。このとき、処理部１４６は、取得部１４３が取得した商品情報等を用いて出品処理を実行してもよい。具体的には、商品情報に基づいて、電子商取引プラットフォームへ商品を出品する際の商品説明文を生成してもよい。

また、処理部１４６は、撮像部１４１が撮像した商品の画像を電子商取引プラットフォームへ商品を出品する際の画像に用いてもよい。このとき、処理部１４６は、撮像部１４１が撮像した複数の画像から電子商取引プラットフォームへの出品に適した画像（商品全体が含まれている画像等）をピックアップして出品処理に用いてもよい。また、処理部１４６は、画像に加工（トリミングや明るさの変更等）を施した後、当該画像を出品処理に用いてもよい。また、処理部１４６は、認識部１４２がユーザによる第２ジェスチャを認識したことをトリガとして出品処理を実行してもよい。第２ジェスチャの内容及び第２ジェスチャをトリガとした出品処理については、図１０及び図１１を用いて後述する。

処理部１４６は、ユーザが指示する商品を電子商取引プラットフォームにおいて購入する購入処理を実行してもよい。このとき、処理部１４６は、取得部１４３が取得した商品情報や記憶部１４５に記憶されたユーザ情報に基づいて購入処理を実行してもよい。例えば、処理部１４６は、購入処理において、記憶部１４５に記憶されたユーザの住所情報に基づいて商品の配送先を決定してもよい。また、処理部１４６は、認識部１４２がユーザによる第３ジェスチャを認識したことをトリガとして購入処理を実行してもよい。第３ジェスチャの内容及び第３ジェスチャをトリガとした購入処理については、図１２及び図１３を用いて後述する。

さらに、処理部１４６は、認識部１４２が第４ジェスチャを認識した場合に、商品を所定のリストへ登録する処理を実行してもよい。所定のリストとは、例えば、ユーザが選択した商品をまとめたリストであってもよい。本実施形態においては、所定のリストをお気に入りリストと称することとする。例えば、ユーザは購入を検討している商品等をお気に入りリストに登録することで、再度商品の情報を閲覧したい場合に、リストから容易に商品情報を呼び出すことができる。なお、リストに登録可能な商品は、必ずしも購入を検討している商品に限らずユーザは任意の商品をリストに登録することができる。お気に入りリストは、記憶部１４５に記憶されていてもよい。

図７は、サーバ１１０の機能ブロック構成の一例を示す図である。サーバ１１０は、通信部１１５、特定部１１６、取得部１１７及び記憶部１１８を備える。通信部１１５、特定部１１６、取得部１１７及び記憶部１１８は、サーバ１１０のＣＰＵ１１１が、記憶装置１１２に記憶されたプログラムを実行することにより実現することができる。

通信部１１５は、通信ネットワークＮを介して端末１２０又はウェアラブル端末１３０と情報の送受信を行う。例えば、通信部１１５は、ウェアラブル端末１３０が撮像した画像を受信してもよい。また、通信部１１５は、ウェアラブル端末１３０へ商品情報を送信してもよい。

特定部１１６は、ウェアラブル端末１３０から受信した画像から商品を特定する。例えば、特定部１１６は、パターンマッチングを用いて撮像された画像から商品の特定を行ってもよい。このとき、商品の形状や色彩等を記憶部１１８に特定パターンとして予め記憶しておき、特定部１１６は、撮像された画像から特定パターンと一致するパターンを特定することにより、画像に含まれる商品を特定してもよい。

なお、商品の特定は、上述した方法に限られない。例えば、サイズや向きが異なる商品の画像を教師データとして学習させた学習済みモデルを用意し、特定部１１６は、入力された画像に対し、当該学習済みモデルを用いて商品の特定を行ってもよい。学習済みモデルは、サーバ１１０が備えていてもよいし、ウェアラブル端末１３０又は端末１２０が備えていてもよい。

なお、画像内に複数の商品が存在する場合、特定部１１６は、ジェスチャに用いられる物体の端部（本実施形態においては、指の先端）に最も位置が近い商品をユーザが指示する商品として特定してもよい。

取得部１１７は、特定部１１６が特定した商品に関する商品情報を記憶部１１８に記憶された商品情報のうちから取得する。

記憶部１１８は、各種情報を記憶する。例えば、記憶部１１８は、商品情報やユーザ情報等を記憶してもよい。また、記憶部１１８は、特定部１１６が商品を特定するための商品の特徴やウェアラブル端末１３０から受信した画像を記憶してもよい。

図８は、通信システム１による処理の一例を示すシーケンス図である。図８を用いてユーザが指し示した商品の商品情報をウェアラブル端末１３０のディスプレイ１３６に表示する処理を説明する。

まず、ウェアラブル端末１３０の撮像部１４１は、撮像を行う（ステップＳ１００）。

その後、ウェアラブル端末１３０の認識部１４２は、撮像部１４１が撮像した画像内で、ユーザによる第１ジェスチャを認識する（ステップＳ１０１）。このとき、認識部１４２は、記憶部１４５に記憶されたユーザの指の特徴等に基づいて画像内での指の位置や形状を特定し、第１ジェスチャの認識を行ってもよい。

その後、ウェアラブル端末１３０の通信部１４０は、撮像部１４１が撮像した画像と認識部１４２が取得した指の位置情報とをサーバ１１０に送信する（ステップＳ１０２）。

サーバ１１０の通信部１１５がウェアラブル端末１３０から画像と指の位置情報とを受信すると、サーバ１１０の特定部１１６は商品の特定を行う（ステップＳ１０３）。このとき、特定部１１６は、記憶部１１８に記憶された商品の特徴等に基づいて画像に含まれる商品の特定を行ってもよい。また、画像内に商品が複数存在する場合、特定部１１６は、指に最も位置が近い商品を指の位置情報に基づいて特定し、ユーザが指示する商品としてもよい。

次に、サーバ１１０の取得部１１７は、特定部１１６が特定した商品の商品情報を記憶部１１８から取得する（ステップＳ１０４）。

その後、サーバ１１０の通信部１１５は、取得部１１７が取得した商品情報をウェアラブル端末１３０に送信する（ステップＳ１０５）。

ウェアラブル端末１３０の通信部１４０がサーバ１１０から商品情報を受信すると、ウェアラブル端末１３０の出力制御部１４４は、商品情報をディスプレイ１３６に表示する（ステップＳ１０６）。ここで、図９を用いて商品情報の出力態様について説明する。

図９は、商品情報がテキストＩとしてウェアラブル端末１３０のディスプレイ１３６に表示される様子を示す図である。図９は、ウェアラブル端末１３０を装着したユーザによって視認される映像を示している。図９（ａ）は、ディスプレイ１３６にテキストＩが表示されていない状態の図であり、図９（ｂ）は、ディスプレイ１３６にテキストＩが表示されている状態の図である。

上述したように、ディスプレイ１３６は、可視光を透過する部材で形成されている。そのため、図９（ａ）に示すように、ユーザはディスプレイ１３６を介して椅子Ｃを視認することができる。この状態で、ユーザが第１ジェスチャ（本実施形態においては、椅子Ｃを指し示す動作）を行うと、図９（ｂ）に示すように、ディスプレイ１３６に椅子Ｃの商品情報がテキストＩとして表示される。本実施形態においては、商品の名称、メーカ及び商品価格が、それぞれ「アームチェア」、「Ａ社の商品です。」及び「１９,０００円」といった文章で表示されている。商品価格は、電子商取引プラットフォームにおける商品の平均価格や最高価格又は最低価格であってもよい。なお、テキストＩとしてディスプレイ１３６に表示される商品情報はこれらに限られない。例えば、商品のタイトル（名称）や型番、色、サイズ、状態等の情報が表示されてもよい。また、電子商取引プラットフォームにおいて評価が高いユーザが出品している商品の商品説明文に基づいて、ディスプレイ１３６にテキストＩが表示されてもよい。例えば、評価が高いユーザが出品している商品の商品説明文が簡潔な文章で記載されている場合には、テキストＩはディスプレイ１３６に簡潔な文章で表示されてもよい。

また、出力制御部１４４は、図９（ｂ）に示す位置に限らず、例えば、椅子Ｃと重畳する位置にテキストＩを表示してもよい。また、出力制御部１４４は、テキストＩを特定の位置に固定して表示しなくてもよく、例えば、ユーザが視認する向きが変化した場合、テキストＩを椅子Ｃに追従するように移動させつつ表示してもよい。さらに、出力制御部１４４は、ディスプレイ１３６の少なくとも一部の領域にフィルタをかけ、当該フィルタと重畳するようにテキストＩを表示してもよい。例えば、出力制御部１４４は、ディスプレイ１３６の一部に白色のフィルタをかけ、当該フィルタと重畳するようにテキストＩを黒色文字で表示してもよい。このように文字と背景とのコントラストを調整することにより、ユーザはテキストＩを視認しやすくなる。

また、ウェアラブル端末１３０がプロジェクタを備える場合、出力制御部１４４は、プロジェクタを用いて物体の表面又は空間上にテキストＩを投影してもよい。また、ウェアラブル端末１３０がスピーカを備える場合、出力制御部１４４は、商品情報を音声情報に変換した後、スピーカを用いて音声出力してもよい。

図８に戻り説明を続ける。出力制御部１４４によりディスプレイ１３６に商品情報がテキストＩとして表示された後（ステップＳ１０６）、処理部１４６は、商品について電子商取引に関する処理を実行する（ステップＳ１０７）。例えば、処理部１４６は、電子商取引プラットフォームにおいて商品を出品する出品処理や、商品を購入する購入処理を実行してもよい。

本実施形態に係るウェアラブル端末１３０によれば、ユーザは、テキストが含まれない商品等であっても、商品を特定するための第１ジェスチャを行うだけで直感的に商品情報を取得することができる。また、処理部１４６により商品情報を用いた電子商取引に関する処理が自動で実行される。

図８を用いて上述したサーバ１１０が実行する各種処理の少なくとも一部は、ウェアラブル端末１３０が実行してもよい。例えば、ウェアラブル端末１３０は、サーバ１１０に画像を送信することなく、画像に含まれる商品の特定を行い、記憶部１４５に記憶された商品情報に基づいてディスプレイ１３６に商品情報を表示してもよい。

また、上述したウェアラブル端末１３０による処理は、端末１２０が実行してもよい。例えば、端末１２０は、搭載された撮像部１２６が撮像した画像から商品を特定し、当該商品の商品情報をディスプレイ等の出力デバイス１２５に表示してもよい。

次に、ウェアラブル端末１３０によって実行される商品の出品処理について図１０及び図１１を用いて説明する。図１０は、ウェアラブル端末１３０による商品の出品処理の一例を示すフローチャートである。図１１は、ユーザによる第２ジェスチャ及び出力制御部１４４による出力の一例を示す図である。本実施形態においては、ユーザによって第２ジェスチャが行われたことをトリガとして商品の出品処理が実行される場合を例に説明する。

まず、図１１（ａ）に示すように、ユーザによって第１ジェスチャ（椅子Ｃを指し示すジェスチャ）が行われると、ディスプレイ１３６に椅子Ｃの商品情報がテキストＩとして表示される（ステップＳ１１０）。なお、商品情報を表示するまでの処理は、図８を用いて説明したステップＳ１００〜ステップＳ１０６までの処理と同様であるため説明を省略する。本実施形態においては、図１１（ａ）に示すように、椅子Ｃの商品名、メーカ及び商品価格が表示される。

次に、認識部１４２は、撮像部１４１により撮像された画像内で、ユーザによる第２ジェスチャを認識したか否かを判定する（ステップＳ１１１）。ここで、第２ジェスチャとは、処理部１４６による出品処理を開始するためのトリガとなるジェスチャである。本実施形態において、第２ジェスチャは、図１１（ｂ）及び（ｃ）に示すように、椅子Ｃを指示している指を椅子Ｃから離すようにスライドした後、クリックするジェスチャである。なお、第２ジェスチャの内容はこれに限られず、ユーザが任意に設定可能であってもよい。

認識部１４２がユーザによる第２ジェスチャを認識した場合（ステップＳ１１１：Ｙｅｓ）、出力制御部１４４は、確認ダイアログＤをディスプレイ１３６に表示する（ステップＳ１１２）。認識部１４２がユーザによる第２ジェスチャを認識しない場合（ステップＳ１１１：Ｎｏ）、認識部１４２は判定処理を再度実行する（ステップＳ１１１）。ここで、確認ダイアログＤとは、処理部１４６による処理を実行するか否かの確認をユーザに対して行うための表示である。本実施形態においては、図１１（ｄ）に示すように、「１９,０００円で出品しますか？」という出品価格を含む文章がディスプレイ１３６に表示される。ここで、出品価格とは、商品（本実施形態においては椅子Ｃ）を電子商取引プラットフォームに出品する際に商品に設定される価格である。

出品価格は、テキストＩに含まれる商品価格と同額であってもよいし、異なっていてもよい。また、処理部１４６は、撮像された画像に基づいて椅子Ｃの商品状態（傷や汚れ具合等）を判断し、判断結果に基づいて出品価格を算出してもよい。このとき、撮像角度の異なる商品画像が多いほど、処理部１４６が出品価格の算出をより適切に行うことができる。そのため、ユーザは商品を様々な角度から視認し、撮像部１４１が多くの角度から商品の画像を撮像することが好ましい。なお、出品価格は、ユーザによって任意の価格に変更可能であってもよい。

その後、認識部１４２は、ユーザによる承認ジェスチャを認識する（ステップＳ１１３）。ここで、承認ジェスチャとは、確認ダイアログＤに対するユーザの回答であり、処理部１４６による処理を承認するジェスチャである。本実施形態において、承認ジェスチャは、図１１（ｄ）に示すように、親指を立てるジェスチャである。なお、承認ジェスチャの内容はこれに限られず、ユーザが任意に設定可能であってもよい。

認識部１４２が承認ジェスチャを認識すると、処理部１４６は、商品を電子商取引プラットフォームへ出品する（ステップＳ１１４）。このとき、処理部１４６は、商品情報や記憶部１４５に記憶されているユーザ情報に基づいて出品を行ってもよい。以上で、ウェアラブル端末１３０による処理は終了する。なお、確認ダイアログＤの表示処理（ステップＳ１１２）及び承認ジェスチャの認識処理（ステップＳ１１３）は省略可能であり、これらの処理を経ずに処理部１４６は商品を出品してもよい。

次に、ウェアラブル端末１３０によって実行される商品の購入処理について図１２及び図１３を用いて説明する。図１２は、ウェアラブル端末１３０による商品の購入処理の一例を示すフローチャートである。図１３は、ユーザによる第３ジェスチャ及び出力制御部１４４による出力の一例を示す図である。本実施形態においては、ユーザによって第３ジェスチャが行われたことをトリガとして商品の購入処理が実行される場合を例に説明する。

まず、図１３（ａ）に示すように、ユーザによって第１ジェスチャ（椅子Ｃを指し示すジェスチャ）が行われると、ディスプレイ１３６に椅子Ｃの商品情報がテキストＩとして表示される（ステップＳ１２０）。なお、商品情報を表示するまでの処理は、図８を用いて説明したステップＳ１００〜ステップＳ１０６までの処理と同様であるため説明を省略する。本実施形態においては、図１３（ａ）に示すように、椅子Ｃの商品名、メーカ及び商品価格が表示される。

次に、認識部１４２は、ユーザによる第３ジェスチャを認識したか否かを判定する（ステップＳ１２１）。ここで、第３ジェスチャとは、処理部１４６による購入処理を開始するためのトリガとなるジェスチャである。本実施形態において、第３ジェスチャは、図１３（ｂ）及び（ｃ）に示すように、手を広げた後、椅子Ｃを手で掴むジェスチャである。なお、第３ジェスチャの内容はこれに限られず、ユーザが任意に設定可能であってもよい。

認識部１４２がユーザによる第３ジェスチャを認識した場合（ステップＳ１２１：Ｙｅｓ）、出力制御部１４４は、確認ダイアログＤをディスプレイ１３６に表示する（ステップＳ１２２）。認識部１４２がユーザによる第３ジェスチャを認識しない場合（ステップＳ１２１：Ｎｏ）、認識部１４２は判定処理を再度実行する（ステップＳ１２１）。本実施形態においては、図１３（ｄ）に示すように、「１９,０００円で購入しますか？」という購入価格を含む文章が確認ダイアログとしてディスプレイ１３６に表示される。ここで、購入価格とは、商品（本実施形態においては椅子Ｃ）を購入するための対価額である。購入価格は、例えば、電子商取引プラットフォームにおける椅子Ｃの価格であってもよい。

その後、認識部１４２は、ユーザによる承認ジェスチャを認識する（ステップＳ１２３）。本実施形態において、承認ジェスチャは、図１３（ｄ）に示すように、親指を立てるジェスチャである。なお、承認ジェスチャの内容はこれに限られず、ユーザが任意に設定可能であってもよい。

認識部１４２が承認ジェスチャを認識すると、処理部１４６は、電子商取引プラットフォームにおいて商品を購入する（ステップＳ１１４）。このとき、処理部１４６は、記憶部１４５に記憶されているユーザ情報等に基づいて商品の購入処理を行ってもよい。例えば、処理部１４６は、商品の配送先をユーザの住所情報に基づいて設定してもよい。以上で、ウェアラブル端末１３０による処理は終了する。なお、確認ダイアログＤの表示処理（ステップＳ１２２）及び承認ジェスチャの認識処理（ステップＳ１２３）は省略可能であり、これらの処理を経ずに処理部１４６は商品の購入を行ってもよい。

本実施形態に係るウェアラブル端末１３０によれば、商品情報が表示されるのみならず、商品について電子商取引に関する処理（出品処理や購入処理等）が自動で実行される。そのため、電子商取引に関する処理におけるユーザの作業負担が軽減される。

次に、ウェアラブル端末１３０によって実行されるお気に入りリストへの商品の登録処理について図１４及び図１５を用いて説明する。図１４は、ウェアラブル端末１３０によるお気に入りリストへの商品の登録処理の一例を示すフローチャートである。図１５は、ユーザによる第４ジェスチャ及び出力制御部１４４による出力の一例を示す図である。

まず、図１５（ａ）に示すように、ユーザによって第１ジェスチャ（椅子Ｃを指し示すジェスチャ）が行われると、ディスプレイ１３６に椅子Ｃの商品情報がテキストＩとして表示される（ステップＳ１３０）。なお、商品情報を表示するまでの処理は、図８を用いて説明したステップＳ１００〜ステップＳ１０６までの処理と同様であるため説明を省略する。本実施形態においては、図１５（ａ）に示すように、椅子Ｃの商品名、メーカ、商品価格が表示される。

次に、認識部１４２は、ユーザによる第４ジェスチャを認識したか否かを判定する（ステップＳ１３１）。ここで、第４ジェスチャとは、処理部１４６による登録処理を開始するためのトリガとなるジェスチャである。本実施形態において、第４ジェスチャは、図１５（ｂ）に示すように、テキストＩが表示された状態で親指を立てるジェスチャである。なお、第４ジェスチャの内容はこれに限られず、ユーザが任意に設定可能であってもよい。例えば親指でお気に入り登録したい商品を指差すジェスチャでもよい。

認識部１４２がユーザによる第４ジェスチャを認識した場合（ステップＳ１３１：Ｙｅｓ）、処理部１４６は、商品をお気に入りリストに登録する登録処理を実行する（ステップＳ１３２）。具体的には、処理部１４６は、記憶部１４５に記憶されたお気に入りリストに椅子Ｃの商品情報を追加する処理を実行する。

認識部１４２がユーザによる第４ジェスチャを認識しない場合（ステップＳ１３１：Ｎｏ）、認識部１４２は判定処理を再度実行する（ステップＳ１３１）。

その後、出力制御部１４４は、登録処理が完了したことを示す表示をディスプレイ１３６に行う（ステップＳ１３３）。本実施形態においては、図１５（ａ）に示すようにハートマークがテキストＩと共に表示されており、椅子Ｃがお気に入りリストに登録されると図１５（ｂ）に示すようにハートマークが黒く塗りつぶされた表示に変更される。また、図１５（ｂ）に示すように「お気に入りリストに登録しました。」という文章がディスプレイ１３６に表示される。以上で、ウェアラブル端末１３０による処理は終了する。

＜その他の実施形態＞
図１６及び図１７を参照して本発明のその他の実施形態を説明する。本実施形態では、サーバ１１０は記憶部１１８において、商品情報に商品の３Ｄモデルを含めて記憶している。この場合、ウェラブル端末１３０は商品情報をディスプレイ１３６に表示する際に、商品画像と重畳させて３Ｄモデルを表示させることが好ましい。

図１６は、ウェアラブル端末１３０による商品の３Ｄモデルの回転処理の一例を示すフローチャートである。図１７は、ユーザによる第５ジェスチャ及び出力制御部１４４による出力の一例を示す図である。なお、図１７においては説明のため、椅子Ｃを破線で、３ＤモデルＭを実線で示している。

図１７（ａ）に示すように、ユーザによって第１ジェスチャ（椅子Ｃを指し示すジェスチャ）が行われると、ディスプレイ１３６に椅子Ｃの商品情報（テキストＩ及び商品の３ＤモデルＭ）が表示される（ステップＳ１４０）。なお、商品情報（テキストＩ及び３ＤモデルＭ）を表示するまでの処理は、図８を用いて説明したステップＳ１００〜ステップＳ１０６までの処理と同様であるため説明を省略する。また、本実施形態では、テキストＩは必ずしも表示されなくてもよい。

次に、認識部１４２は、ユーザによる第５ジェスチャを認識したか否かを判定する（ステップＳ１４１）。ここで、第５ジェスチャとは、処理部１４６による３ＤモデルＭの表示回転処理を開始するためのトリガとなるジェスチャである。本実施形態において、第５ジェスチャは、図１７（ｂ）に示すように、３ＤモデルＭが椅子Ｃに重畳表示された状態で３ＤモデルＭを２本の指で指し、回転させたい方向に２本の指先を動かすジェスチャである。例えば回転速度に応じて回転させる角度が決定されてもよい。また、第５ジェスチャはフリック入力でもよいし、スワイプ入力でもよいし、指を指し示すだけでもよい。なお、第５ジェスチャの内容はこれに限らず、ユーザが任意に設定可能であってもよい。

認識部１４２がユーザによる第５ジェスチャを認識した場合（ステップＳ１４１：Ｙｅｓ）、処理部１４６は、３ＤモデルＭをユーザに指定された方向・角度に回転させる表示回転処理を実行する（ステップＳ１４２）。

認識部１４２がユーザによる第５ジェスチャを認識しない場合（ステップＳ１４１：Ｎｏ）、認識部１４２は判定処理を再度実行する（ステップＳ１４１）。以上で、ウェアラブル端末１３０による処理は終了する。

なお、回転表示処理は上述の例に限定されず、例えばステップＳ１４０では商品情報のうちテキストIのみを表示させ、２本の指で椅子Ｃが指し示された場合に３ＤモデルＭを表示させてもよい。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。上述した実施形態において、商品の出品処理の場合、必ずしも商品情報を出力しなくてもよい。例えば、第１ジェスチャの認識により、画像内の商品が特定され、第２ジェスチャの認識により、特定された商品が電子商取引プラットフォームに出品されるようにしてもよい。

また例えば、第１ジェスチャの認識により、画像内の商品が特定され、商品情報が表示された際に、ジェスチャを認識する代わりに、音声を認識することによって、処理部１４６が出品や購入、承認、お気に入り登録、回転表示等の処理を行う構成でもよい。この場合、第２乃至第４ジェスチャ、及び承認ジェスチャは以下のような音声に代替されてよい。
・第２ジェスチャ: Sell、売る、売ります、出品するよ
・第３ジェスチャ: Buy、買う、買います、これを買うよ
・第４ジェスチャ: Favorite、 お気に入りに登録、これいいね
・承認ジェスチャ: Yes、 No、 はい、いいえ

１…通信システム、１１０…サーバ、１１１…ＣＰＵ、１１２…記憶装置、１１３…通信ＩＦ、１１５…通信部、１１６…特定部、１１７…取得部、１１８…記憶部、１２０…端末、１２１…ＣＰＵ、１２２…記憶装置、１２３…通信ＩＦ、１２４…入力デバイス、１２５…出力デバイス、１２６…撮像部、１３０…ウェアラブル端末、１３１…ＣＰＵ、１３２…記憶装置、１３３…通信ＩＦ、１３４…出力デバイス、１３５…撮像部、１３６…ディスプレイ、１３７…フレーム、１３８…ヒンジ部、１３９…テンプル、１３９ａ…係止部、１４０…通信部、１４１…撮像部、１４２…認識部、１４３…取得部、１４４…出力制御部、１４５…記憶部、１４６…処理部

Claims (11)

1. 撮像部と、
   前記撮像部により撮像された画像内で、ユーザによる商品を特定するための第１ジェスチャを認識する認識部と、
   前記認識部により前記第１ジェスチャが認識された場合、前記第１ジェスチャが認識された画像を用いて特定された前記商品の商品情報を取得する取得部と、
   前記ユーザに視認可能に前記商品情報を出力制御する出力制御部と、
   前記商品について、電子商取引に関する所定の処理に含まれる、電子商取引プラットフォームにおいて前記商品を出品する出品処理を行う処理部と、を備えるウェアラブル端末。
2. 前記処理部は、前記認識部が前記ユーザによる第２ジェスチャを認識した場合に、前記出品処理を実行する、
   請求項１に記載のウェアラブル端末。
3. 前記所定の処理は、電子商取引プラットフォームにおいて前記商品を購入する購入処理を含む、
   請求項１に記載のウェアラブル端末。
4. 前記処理部は、前記認識部が前記ユーザによる第３ジェスチャを認識した場合に、前記購入処理を実行する、
   請求項３に記載のウェアラブル端末。
5. 前記処理部は、前記認識部が前記ユーザによる第４ジェスチャを認識した場合に、前記商品を所定のリストへ登録する処理を実行する、
   請求項１から４のいずれか一項に記載のウェアラブル端末。
6. 前記取得部は、前記第１ジェスチャに用いられた物体の端部に最も近い商品の商品情報を取得する、
   請求項１から５のいずれか一項に記載のウェアラブル端末。
7. 前記物体は、前記ユーザの指である、
   請求項６に記載のウェアラブル端末。
8. 前記出力制御部は、前記撮像部により撮像された画像の所定領域内に前記物体が位置しなくなった場合に、前記商品情報を出力しない制御を実行する、
   請求項６又は７に記載のウェアラブル端末。
9. 撮像部と、
   前記撮像部により撮像された画像内で、ユーザによる商品を特定するための第１ジェスチャを認識する認識部と、
   前記認識部により前記第１ジェスチャが認識された場合、前記第１ジェスチャが認識された画像を用いて特定された前記商品の商品情報を取得する取得部と、
   前記ユーザに視認可能に前記商品情報を出力制御する出力制御部と、
   前記商品について、電子商取引に関する所定の処理に含まれる、電子商取引プラットフォームにおいて前記商品を出品する出品処理を実行する処理部と、を備える情報処理端末。
10. 情報処理装置に、
    撮像するステップと、
    撮像した画像内で、ユーザによる商品を特定するための第１ジェスチャを認識するステップと、
    前記第１ジェスチャが認識された場合、前記第１ジェスチャが認識された画像を用いて特定された前記商品の商品情報を取得するステップと、
    前記ユーザに視認可能に前記商品情報を出力制御するステップと、
    前記商品について、電子商取引に関する所定の処理に含まれる、電子商取引プラットフォームにおいて前記商品を出品する出品処理を行うステップと、を実行させるプログラム。
11. 情報処理装置が、
    撮像するステップと、
    撮像した画像内で、ユーザによる商品を特定するための第１ジェスチャを認識するステップと、
    前記第１ジェスチャが認識された場合、前記第１ジェスチャが認識された画像を用いて特定された前記商品の商品情報を取得するステップと、
    前記ユーザに視認可能に前記商品情報を出力制御するステップと、
    前記商品について、電子商取引に関する所定の処理に含まれる、電子商取引プラットフォームにおいて前記商品を出品する出品処理を行うステップと、を実行する商品情報表示方法。

Images