JP6670549B2 - 取引支援システム及び取引支援方法 - Google Patents

Description

本発明は、取引支援システム並びに取引支援方法に係り、特に、第一当事者が取り扱う取引対象品に関する取引を、第一当事者及び当該第一当事者とは異なる場所に居る第二当事者が行う際に利用される取引支援システム、並びに取引支援方法に関する。

情報通信技術を利用した取引（商取引）は既に数多く知られている。一例を挙げると、店舗等の空間内に配置された取引対象品をカメラで撮像し、その実映像（リアル映像）をスクリーンや端末のディスプレイに表示し、これを顧客が見ながら上記取引対象品に関する取引を行う技術が知られている（例えば、特許文献１〜３参照）。このような技術を利用すれば、顧客は、実際に店舗等の取引場所に居なくとも、その場所に居るときと同様の雰囲気（臨場感）の中で取引を行うことが可能である。

特開２００３−３３１１５２号公報 特開２００８−３７５５号公報 特開２０１０−１９８１６８号公報

ところで、上記の技術を利用した取引において、顧客は、スクリーン等に表示された映像を通じて取引場所に配置された取引対象品を見ることになる。この際、顧客は、自分が希望する取引対象品についてより詳細な情報を入手したりすることを目的として、上記の映像に映し出されている取引対象品の中から一つの品（被選択品）を選択する。例えば、顧客は、スクリーン等において表示された映像に対して上記の被選択品を選択するための選択動作を行う。このときの選択結果については、顧客及び店員の双方にとって重要な情報となる。

具体的に説明すると、顧客の立場では、自分が希望する取引対象品が正しく被選択品として選択されているかどうかを確認するときに上記の選択結果が必要となる。一方、店員の立場では、顧客を接客しているとき、その顧客がどの取引対象品を被選択品として選択したのかを把握する上で上記の選択結果が必要となる。以上のように被選択品の選択結果については、顧客及び店員（換言すると、取引の両当事者）に適切に知らせる必要がある。

そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、店舗等の実映像を表示器に表示しながら行われる取引において、当該実映像に映し出される取引対象品の中から被選択品を選択したときの選択結果を取引の両当事者に適切に知らせることが可能な取引支援システムを提供することである。
同様に、本発明の他の目的は、コンピュータを利用した取引支援方法として、被選択品の選択結果を取引の両当事者に適切に知らせることが可能な取引支援方法を提供することである。

前記課題は、本発明の取引支援システムによれば、第一当事者が取り扱う取引対象品に関する取引を、前記第一当事者及び該第一当事者とは異なる場所に居る第二当事者が行う際に利用される取引支援システムであって、（Ａ）前記取引対象品が複数配置された空間の映像を撮像する第一撮像装置と、（Ｂ）前記第二当事者の前方に位置する表示器に、前記第一撮像装置が撮像した前記空間の映像を表示させる映像表示部と、（Ｃ）前記表示器に表示された前記空間の映像中に映し出された前記取引対象品の中から被選択品を選択するために前記第二当事者が選択動作を行うと、前記第二当事者の身体中、前記選択動作において動かされた部位の到達位置を特定する到達位置特定部と、（Ｄ）前記表示器に表示された前記空間の映像に対する前記到達位置の位置関係に基づいて前記被選択品を特定する被選択品特定部と、（Ｅ）該被選択品特定部による前記被選択品の特定結果に対応した画像を前記表示器に表示させる画像表示部と、（Ｆ）前記第二当事者が居る空間の映像を撮像する第二撮像装置と、（Ｇ）前記第一当事者の前方に位置し、前記第二撮像装置が撮像した前記第二当事者が居る空間の映像を表示する他の表示器と、（Ｈ）前記被選択品特定部による前記被選択品の特定結果を前記第一当事者に報知する報知部と、を有し、（Ｉ）前記第二当事者の顔の位置、前記第二当事者の顔の向き及び前記第二当事者の視線のうち、少なくとも一つの変化を検知する検知部を有し、（Ｊ）該検知部が前記変化を検知すると、前記変化の向き及び変位量を特定し、前記映像表示部により、変化前に前記表示器に表示されていた、前記取引対象品が複数配置された前記空間の映像から、前記変化の向きに合わせて、特定された前記変位量の分だけずれた、前記取引対象品が複数配置された前記空間の映像を前記表示器に表示させることにより解決される。

以上のように構成された本発明の取引支援システムでは、取引対象品が複数配置された空間の映像が表示器に表示されているとき、取引の当事者（第二当事者）が映像中に映し出された取引対象品の中から被選択品を選択する選択動作を行う。その後、第二当事者の身体中、選択動作において動かされた部位の到達位置を特定した上で、上記映像に対する到達位置の位置関係に基づいて被選択品を特定する。そして、被選択品の特定結果に対応した画像を、第二当事者が見ている表示器に表示すると共に、被選択品の特定結果を相手方の当事者（第一当事者）に報知する。これにより、第二当事者が被選択品を選択したときの選択結果を、第一当事者及び第二当事者の双方に適切に知らせることが可能となる。

上記の構成では、表示器に表示される映像、すなわち、第二当事者が見ている映像及び当該映像に映し出される取引対象品が、第二当事者の顔の位置、顔の向き及び視線のうちの少なくとも一つの変化に連動して切り替わる。このように表示映像が切り替わってしまう状況では、被選択品の選択結果が第一当事者にとってより分かり難くなってしまうため、選択結果を適切に知らせるという本発明の効果がより有効に発揮されることになる。

また、本発明の取引支援システムに関してより好適な構成を述べると、前記映像表示部は、前記第一撮像装置が撮像した前記空間の映像中、一部分の部分映像を前記表示器に表示させ、前記空間における複数の前記取引対象品の各々の配置位置について前記空間の映像上での座標が設定されており、前記被選択品特定部は、前記選択動作において前記部位が前記到達位置に至った時点で前記表示器に表示されている前記部分映像に対する前記到達位置の位置関係に基づいて、前記空間の映像上での前記到達位置の座標を特定し、特定した前記到達位置の座標が前記部分映像中に映し出された前記取引対象品のうち、一つの取引対象品に対して設定された範囲内にあるとき、前記一つの取引対象品を前記被選択品として特定するとよい。
上記の構成では、選択動作において動かされた第二当事者の身体部位の到達位置について、撮像装置が撮像した空間の映像上での座標を割り出す。そして、割り出した座標と、各取引対象品に対して設定された範囲との関係に基づいて被選択品を特定する。これにより、第二当事者が選択した被選択品を的確に特定することが可能となる。

また、本発明の取引支援システムに関して更に好適な構成を述べると、前記表示器の前に立っている前記第二当事者の身体各部について、基準位置からの奥行距離を計測するためのセンサを有し、前記到達位置特定部は、前記センサの計測結果に基づき、前記部位としての前記第二当事者の手の前記到達位置を特定するとよい。
上記の構成では、第二当事者の身体各部について基準位置から奥行距離を計測し、その計測結果に基づいて、選択動作における第二当事者の手の到達位置を特定する。これにより、到達位置をより正確に特定することが可能となる。

また、本発明の取引支援システムに関して一層好適な構成を述べると、前記第二当事者が前記被選択品の代金を支払うための処理を行う決済処理部を有し、該決済処理部は、前記第二当事者による前記代金の支払いに必要な入力情報の入力操作を、前記表示器を通じて受け付けた後、入力された前記入力情報を前記第一当事者に通知するための通知データを生成するとよい。
上記の構成では、第二当事者が被選択品の代金を支払う際に所定の入力情報を入力すると、その入力操作が表示器を通じて受け付けられ、入力情報が第一当事者に通知されるようになる。このように上記の構成では、第一当事者が行っていた代金支払い用の作業を支払者である第二当事者が行うため、入力情報に関する秘匿性の確保等、セキュリティの観点からは好ましい構成と言える。また、第二当事者は、自分の前に在る表示器を通じて代金支払い用の入力操作を行うため、当該入力操作をより簡便に行うことが可能となる。

また、本発明の取引支援システムに関して一段と好適な構成を述べると、前記空間における複数の前記取引対象品の各々について、当該各々の説明画像を記憶している説明画像記憶部を有し、前記画像表示部は、前記被選択品特定部による前記被選択品の特定結果に対応した前記画像として、前記被選択品の前記説明画像を前記表示器に表示させ、前記報知部は、前記被選択品特定部による前記被選択品の特定結果として、前記被選択品の前記説明画像を、前記第一当事者の前方に位置する前記他の表示器に表示させるとよい。
上記の構成では、被選択品の特定結果に対応した画像として、当該被選択品の説明画像が表示器に表示される。すなわち、第二当事者は、被選択品を選択すると、その結果として当該被選択品の説明画像を見ることになる。これにより、第二当事者は、映像に映し出された取引対象品の中から被選択品を選ぶことにより、その詳細情報を確認することが可能となる。また、被選択品が選択されたとき、当該被選択品の説明画像が第一当事者側の表示器にも表示されるようになる。これにより、第一当事者は、第二当事者がどの取引対象品を被選択品として選択したのかを容易に気付き、また、第二当事者に対して被選択品に関する補足説明をすることも可能となる。

また、本発明の取引支援システムに関して殊更好適な構成を述べると、前記第一当事者により利用される第一通信ユニット、及び、前記第二当事者により利用される第二通信ユニットによって前記取引支援システムが構成され、前記第一通信ユニット及び前記第二通信ユニットは、互いに通信可能な状態で接続されたサーバコンピュータを有し、前記第一通信ユニットが有する前記サーバコンピュータは、前記被選択品特定部及び前記報知部として機能し、前記第二通信ユニットが有する前記サーバコンピュータは、前記映像表示部、前記到達位置特定部及び前記画像表示部として機能するとよい。
上記の構成では、第一当事者により利用される第一通信ユニットが有するサーバコンピュータと、第二当事者により利用される第二通信ユニットが有するサーバコンピュータとが、各自が担う機能を発揮することにより、本発明の効果が実現されることとなる。

また、前述した課題は、本発明の取引支援方法によれば、第一当事者が取り扱う取引対象品に関する取引を、前記第一当事者及び該第一当事者とは異なる場所に居る第二当事者が行う際に利用される取引支援方法であって、（Ａ）第一撮像装置が、前記取引対象品が複数配置された空間の映像を撮像する工程と、（Ｂ）コンピュータが、前記第二当事者の前方に位置する表示器に、前記第一撮像装置が撮像した前記空間の映像を表示させる工程と、（Ｃ）前記表示器に表示された前記空間の映像中に映し出された前記取引対象品の中から被選択品を選択するために前記第二当事者が選択動作を行うと、コンピュータが、前記第二当事者の身体中、前記選択動作において動かされた部位の到達位置を特定する工程と、（Ｄ）コンピュータが、前記表示器に表示された前記空間の映像に対する前記到達位置の位置関係に基づいて前記被選択品を特定する工程と、（Ｅ）コンピュータが、前記被選択品の特定結果に対応した画像を前記表示器に表示させる工程と、（Ｆ）第二撮像装置が、前記第二当事者が居る空間の映像を撮像する工程と、（Ｇ）コンピュータが、前記第二撮像装置が撮像した前記第二当事者が居る空間の映像を、前記第一当事者の前方に位置する他の表示器に表示させる工程と、（Ｈ）コンピュータが、前記被選択品の特定結果を前記第一当事者に報知する工程と、を有し、前記第一撮像装置が撮像した前記空間の映像を表示させる工程において、（Ｉ）コンピュータが、前記第二当事者の顔の位置、前記第二当事者の顔の向き及び前記第二当事者の視線のうち、少なくとも一つの変化を検知する工程と、（Ｊ）コンピュータが、前記変化を検知すると、前記変化の向き及び変位量を特定し、変化前に前記表示器に表示されていた、前記取引対象品が複数配置された前記空間の映像から、前記変化の向きに合わせて、特定された前記変位量の分だけずれた、前記取引対象品が複数配置された前記空間の映像を前記表示器に表示させる工程とを、有することにより解決される。
上記の方法によれば、第二当事者が表示器の表示映像に映し出された取引対象品の中から被選択品を選択したとき、その選択結果を第一当事者及び第二当事者の双方に適切に知らせることが可能となる。

本発明によれば、店舗等の実映像を表示器に表示しながら行われる取引において、当該実映像に映し出される取引対象品の中から被選択品を選択したときの選択結果を取引の両当事者に適切に知らせることが可能となる。これにより、互いに離れた場所に居る当事者同士が情報通信技術を利用して取引対象品の取引を行うケースにおいて、当該取引の円滑化が図られるようになる。この結果、実際の店舗とは異なる場所に上記の表示器を置いて当該表示器に店舗内の映像を表示させるという商業形態を出店時に採用することが可能となる。

取引時の様子を一方の当事者側から見たときの図である。 取引時の様子を他方の当事者側から見たときの図である。 ミラー型の表示器を示す正面図である。 本発明の一実施形態に係る取引支援システムの構成を示すブロック図である。 深度データ及び深度データから得られる骨格モデルを示す図である。 図５の（Ａ）は、カメラの撮像範囲を示す図であり、図５の（Ｂ）は、カメラの撮像映像のうち、表示される部分映像に関する説明図である。 映像表示処理の流れを示す図である。 図７は、第二当事者の顔の位置の変化に連動して部分映像が切り替わっている状況の説明図であり、（Ａ）が切り替わり前の映像を、（Ｂ）が切り替わり後の映像を示している。 選択動作における第二当事者の手の到達位置を特定する手順を説明するための図である。 決済処理時に表示される入力画面の一例を示す図である。 図１０の（Ａ）及び（Ｂ）は、被選択品を特定する手順を説明するための図である。 取引対象品の説明画像を表示した画面例を示す図である。 本発明の一実施形態に係る取引支援システムを利用した商品購入の流れを示す図である（その１）。 本発明の一実施形態に係る取引支援システムを利用した商品購入の流れを示す図である（その２）。

以下、本発明の一実施形態（以下、本実施形態）について説明する。なお、以下に説明する実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。

＜＜本実施形態に係る取引支援システムの用途＞＞
先ず、本実施形態に係る取引支援システム（以下、本システムＳ）について、その用途を概説する。本システムＳは、第一当事者が取り扱う取引対象品に関する取引を、第一当事者及び第一当事者とは異なる場所に居る第二当事者が行う際に利用される情報通信システムである。ここで、「取引」とは、商品の売買の他、物々交換の取引や金銭のやり取りを伴わない物品の譲渡取引が含まれる。また、「取引対象品」とは、商品等の有形物品であり、例えば衣服、服飾品、宝飾品あるいは装身具等が挙げられる。

以下では、衣服の売買に本システムＳを利用するケース（以下、本ケース）を例に挙げて説明する。かかるケースにおいて、衣服を販売する店員Ｐが第一当事者に相当し、顧客Ｃが第二当事者に相当する。なお、本システムＳが利用可能なケースは、上記のケースに限定されるものではなく、物品が介在する（取り扱われる）取引全般において利用可能である。

本ケースにおいて、店員Ｐは、店舗にて商材である衣服を販売する。ここで、店舗とは、取引対象品が複数陳列（配置）された空間に相当し、以下、実店舗Ｒと呼ぶ。一方で、店員Ｐは、実店舗Ｒとは異なる場所にて営業を行い、当該場所に来た顧客Ｃに衣服を販売する。具体的に説明すると、図１Ａに示すように、実店舗Ｒとは異なる場所（以下、仮店舗Ｑ）にはミラー型の表示器１０が設置されている。この表示器１０には、実店舗Ｒの映像、厳密にはリアルタイムで撮像された映像（以下、リアルタイム映像）が表示される。仮店舗Ｑに来た顧客Ｃは、表示器１０に表示されたリアルタイム映像を見ることにより、実店舗Ｒ内で売られている衣服を視認することができる。また、顧客Ｃは、本システムＳを通じて、リアルタイム映像に映し出された衣服から購入対象品（被選択品に相当）を選択し、当該衣服を購入することが可能である。なお、図１Ａは、店員Ｐと顧客Ｃとの間で行われている取引の様子を示す図であり、顧客Ｃ側から見たときの図となっている。

一方、図１Ｂに示すように、実店舗Ｒにもミラー型の表示器１０が設置されている。この表示器１０には、仮店舗Ｑのリアルタイム映像として、仮店舗Ｑにおいて表示器１０の前に立っている顧客Ｃの映像が表示される。実店舗Ｒの店員Ｐは、本システムＳを利用することで、表示器１０に映し出された顧客Ｃと対話し、商材である衣服の説明をするなどの接客を行うことが可能となる。なお、図１Ｂは、図１Ａと対応した図であり、店員Ｐと顧客Ｃとの間で行われている取引の様子を店員Ｐ側から見たときの図となっている。

ちなみに、実店舗Ｒ及び仮店舗Ｑに設置されているミラー型の表示器１０は、人物の全身映像を等身大で表示するのに適した形状及びサイズとなっている。より具体的に説明すると、表示器１０は、一般的な姿見と同様の形状・サイズとなっている。

また、仮店舗Ｑに設置された表示器１０には、通常、図２に示すように実店舗Ｒ内の空間、及び、同空間内に配置されている衣服を含むリアルタイム映像が表示される。図２は、仮店舗Ｑに設置されている表示器１０を示す正面図である。さらに、実店舗Ｒに設置された表示器１０の前に店員Ｐが立つと、仮店舗Ｑに設置された表示器１０に店員Ｐの映像が表示されるようになる。

なお、本ケースでは、仮店舗Ｑに設置された表示器１０に表示される映像が常時、実店舗Ｒのリアルタイム映像であることとしている。ただし、これに限定されるものではなく、仮店舗Ｑに設置された表示器１０の前に顧客Ｃが立っている間にのみリアルタイム映像を表示し、それ以外の期間には過去に撮像した映像又は静止画を表示してもよい。

以上のように本システムＳを利用することで、顧客Ｃは、実店舗Ｒに行かなくとも、実店舗Ｒに居るときと同じ雰囲気の中でショッピングをすることができる。すなわち、顧客Ｃは、仮店舗Ｑに設置された表示器１０に表示された映像を通じて実店舗Ｒ内に陳列された衣服を見ることができる。そして、顧客Ｃは、映像に映し出された衣服の中から購入対象の衣服を選択し、その後に所定の手続を行うことで当該衣服を購入する。

一方、店員Ｐは、実店舗Ｒとは異なる場所に居る者に対して、実店舗Ｒ内の商材を販売することが可能となる。このような利点を生かすことで、例えば、経済的理由等により実際の店舗を建設することが難しい地区や実店舗Ｒから離れた遠隔地にも仮店舗Ｑを出店することが可能となる。また、仮店舗Ｑを出店するために必要なスペースは、上述したミラー型の表示器１０を設置する程度のスペースで足りるため、出店コストを抑えることが可能である。

なお、仮店舗Ｑのエリアについては、特に限定されるものではないが、一例を挙げると、地域サロン等の集会所、空き店舗、高齢者が居住する介護施設、病院等の医療施設若しくは顧客Ｃの自宅等が考えられる。

また、本ケースでは、店舗（実店舗Ｒ）内で販売されている商材を取引対象品としているが、これに限定されるものではなく、バックヤードや倉庫に保管されている商材（在庫）を取引対象品としてもよい。すなわち、仮店舗Ｑに設置された表示器１０には、バックヤードや倉庫の映像を表示することとしてもよい。

＜＜本実施形態に係る取引支援システムの構成について＞＞
次に、本システムＳについて、その具体的構成を説明する。本システムＳは、実店舗Ｒ及び仮店舗Ｑの双方に用意された情報通信用のユニット（以下、通信ユニット）によって構成されている。具体的に説明すると、実店舗Ｒにおいて店員Ｐにより利用される第一通信ユニットと、仮店舗Ｑにおいて顧客Ｃにより利用される第二通信ユニットによって本システムＳが構成されている。以下、第一通信ユニット及び第二通信ユニットのそれぞれの構成について説明する。なお、以下では、第一通信ユニットを店員側ユニット１００Ａ、第二通信ユニットを顧客側ユニット１００Ｂと呼ぶこととする。

店員側ユニット１００Ａ及び顧客側ユニット１００Ｂは、略同様のメカ構成となっており、具体的に説明すると、図３に示すように、いずれのユニットにもサーバコンピュータ１とカメラ２と深度センサ３とマイク４とスピーカ５と表示器１０とが搭載されている。図３は、本システムＳのメカ構成を示すブロック図である。

サーバコンピュータ１は、本システムＳの中枢をなす装置であり、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、通信用インタフェース及びハードディスクドライブ等を有するコンピュータである。また、サーバコンピュータ１には、取引支援プログラムがインストールされている。この取引支援プログラムがＣＰＵに実行されることで、サーバコンピュータ１は、後述するサーバコンピュータ１としての機能を発揮するようになる。また、サーバコンピュータ１同士は、ネットワーク６を介して通信可能な状態で接続されており、サーバコンピュータ１間でデータの送受信を行う。

カメラ２は、撮像範囲（画角）内にある被写体の映像を撮像する撮像装置であり、本ケースでは公知のネットワークカメラによって構成されている。カメラ２が撮像した映像、すなわち撮像映像は、データ化された上で相手側のサーバコンピュータ１に向けて送信される。具体的に説明すると、実店舗Ｒ内に設置されたカメラ２は、実店舗Ｒの内部空間を撮像し、その撮像映像のデータは、顧客側ユニット１００Ｂのサーバコンピュータ１に向けて送信される。他方、仮店舗Ｑ内に設置されたカメラ２は、仮店舗Ｑの内部空間を撮像し、その撮像映像のデータは、店員側ユニット１００Ａのサーバコンピュータ１に向けて送信される。なお、「映像」とは、連続した複数のフレーム画像の集合体によって構成されるものである。

深度センサ３は、所謂デプスセンサであり、赤外線方式にて計測対象物の深度を計測するセンサである。具体的に説明すると、深度センサ３は、計測対象物に向けて赤外線を照射し、その反射光を受光することにより深度を計測する。ここで、「深度」とは、基準位置から計測対象物までの奥行距離のことである。ちなみに、本ケースでは、表示器１０の映像表示面（前面）の位置が基準位置として設定されている。ただし、これに限定されるものではなく、基準位置については任意の位置に設定することが可能である。

なお、本ケースでは深度の計測結果を、カメラ２の撮像映像を所定数の画素に分割した際の当該画素毎に得る。そして、画素毎に得た深度の計測結果を映像単位でまとめることで深度データが得られるようになる。この深度データは、カメラ２の撮像映像（厳密には、フレーム画像）について画素別に深度の計測結果を示すデータであり、特に本ケースでは、深度の計測結果に応じて各画素の色・濃淡を設定して得られるビットマップデータとなっている。

以上の深度センサ３が実店舗Ｒ及び仮店舗Ｑの双方に設置されている。これにより、仮店舗Ｑにおいて顧客Ｃが表示器１０の前に立つと、顧客Ｃの身体各部について深度が計測されるようになる。この結果、顧客Ｃの身体各部の深度の計測結果を示す深度データが得られるようになる。かかる深度データについて説明すると、図４に示すように、背景映像に属する画素（図中、黒塗りの画素）と、顧客Ｃの人物映像に属する画素（図中、白塗りの画素）とでは明らかに深度の計測結果が異なってくる。このような性質を利用すれば、深度データを構成する画素のうち、顧客Ｃの人物映像に属する画素を抽出することが可能となる。また、本ケースでは、抽出した人物映像に属する画素から顧客Ｃの骨格モデルを特定することになっている。骨格モデルとは、図４に示すように、顧客Ｃの骨格（具体的には頭部、肩、肘、手、脚、胸椎、腹、腰、股関節、膝、足首、足）に関する位置情報を簡易的にモデル化したものである。なお、図４は、深度データ及び骨格モデルを説明するための概念図である。

ちなみに、深度データから顧客Ｃの骨格モデルを特定する処理については、顧客側ユニット１００Ｂのサーバコンピュータ１が公知の方法（例えば、特開２０１４−１５５６９３号公報や特開２０１３−１１６３１１号公報に記載の方法）を適用して行うことになっている。

マイク４は、音声を集音する装置である。また、マイク４が集音した音声は、データ化された上で相手側のサーバコンピュータ１に向けて送信されることになっている。具体的に説明すると、実店舗Ｒ内に設置されたマイク４は、実店舗Ｒ内で発生した音声、例えば店員Ｐの声を集音し、その音声データは、顧客側ユニット１００Ｂのサーバコンピュータ１に向けて送信される。他方、仮店舗Ｑ内に設置されたマイク４は、仮店舗Ｑ内で発生した音声、例えば顧客Ｃの声を集音し、その音声データは、店員側ユニット１００Ａのサーバコンピュータ１に向けて送信される。

スピーカ５は、サーバコンピュータ１が受信した音声データを展開することで再生される音声（再生音）を発する装置である。具体的に説明すると、顧客側ユニット１００Ｂのサーバコンピュータ１は、店員側ユニット１００Ａのサーバコンピュータ１から音声データを受信すると、当該音声データを展開し、実店舗Ｒにて集音された音声をスピーカ５によって再生させる。他方、店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１から音声データを受信すると、当該音声データを展開し、仮店舗Ｑにて集音された音声をスピーカ５によって再生させる。

表示器１０は、サーバコンピュータ１が受信した映像データを展開することで再生される映像を表示する装置であり、前述したように、ミラー型のディスプレイ（例えば、国際公開第２００９／１２２７１６号に記載された姿見兼用ディスプレイ）によって構成されている。なお、顧客側ユニット１００Ｂが有する表示器１０は、「本発明の表示器」に相当し、店員側ユニット１００Ａのカメラ２が撮像した実店舗Ｒ内の映像を表示する。具体的に説明すると、顧客側ユニット１００Ｂのサーバコンピュータ１は、店員側ユニット１００Ａのサーバコンピュータ１から映像データを受信すると、当該映像データを展開し、店員側ユニット１００Ａのカメラ２が撮像した実店舗Ｒの映像を、仮店舗Ｑに設置された表示器１０に再生させる。このように顧客側ユニット１００Ｂのサーバコンピュータ１は、店員側ユニット１００Ａのカメラ２が撮像した実店舗Ｒの映像を、仮店舗Ｑ内の表示器１０（換言すると、顧客Ｃの前方に位置する表示器１０）に表示させる映像表示部として機能する。

他方、店員側ユニット１００Ａが有する表示器１０は、「本発明の他の表示器」に相当し、顧客側ユニット１００Ｂのカメラ２が撮像した仮店舗Ｑ内の映像を表示する。具体的に説明すると、店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１から映像データを受信すると、当該映像データを展開し、顧客側ユニット１００Ｂのカメラ２が撮像した仮店舗Ｑの映像を、実店舗Ｒに設置された表示器１０に再生させる。

ところで、本システムＳで用いられる表示器１０、特に、仮店舗Ｑに設置された表示器１０は、十分な高さを有する。このため、実店舗Ｒにおいてカメラ２がその前方に立っている店員Ｐを撮像した場合、仮店舗Ｑに設置された表示器１０に表示される映像において、店員Ｐの全身映像を等身大のサイズにて表示することが可能である。

一方、仮店舗Ｑに設置された表示器１０は、その設置スペースを抑える目的から、比較的幅狭な構造となっている。このため、本ケースにおいて、顧客側ユニット１００Ｂのサーバコンピュータ１は、店員側ユニット１００Ａのカメラ２が撮像した実店舗Ｒの映像のうち、所定範囲の部分映像のみを上記の表示器１０に表示させることになっている。かかる内容について図５の（Ａ）及び（Ｂ）を参照しながら詳しく説明する。図５の（Ａ）は、顧客側ユニット１００Ｂのカメラ２の撮像範囲を示す図である。図５の（Ｂ）は、当該カメラ２の撮像映像のうち、仮店舗Ｑに設置された表示器１０に表示される部分映像に関する説明図である。

店員側ユニット１００Ａのカメラ２は、図５の（Ａ）に示すように、実店舗Ｒの内空間のうち、当該カメラ２の画角内に位置する領域（図中、ハッチングが施された領域）の映像を撮像する。このときの撮像範囲には、実店舗Ｒにおいて衣服が陳列されているスペースが含まれている。

一方、仮店舗Ｑに設置された表示器１０に表示可能な映像のサイズについて言及すると、その高さ（上下長さ）は、図５の（Ｂ）に示すように、カメラ２の撮像映像の高さと略同じである。その一方で、表示器１０に表示可能な映像の横幅は、同図に示すように、カメラ２の撮像映像に対して幾分短くなっている。このため、顧客側ユニット１００Ｂのサーバコンピュータ１は、カメラ２の撮像映像の横幅よりも幾分短くなった部分映像を、表示器１０に表示させることになる。

以上のように本ケースでは、カメラ２の撮像映像を表示器１０に表示させる際、撮像映像の全体を一度に表示させることができない。このため、本ケースでは、表示器１０に表示させる部分映像を、当該表示器１０の前に立っている顧客Ｃの顔の位置に応じて切り替えることとしている。かかる内容を含め、以下、顧客側ユニット１００Ｂのサーバコンピュータ１が表示器１０に部分映像を表示させる処理（以下、映像表示処理）について、図６と図７の（Ａ）及び（Ｂ）とを参照しながら説明する。図６は、映像表示処理の流れを示す図である。図７の（Ａ）及び（Ｂ）は、顧客Ｃの顔の位置の変化に連動して部分映像が切り替わっている状況の説明図であり、同図の（Ａ）が切り替わり前の部分映像を、（Ｂ）が切り替わり後の部分映像をそれぞれ示している。また、図７の（Ａ）及び（Ｂ）には、それぞれ、顧客Ｃの顔の位置を破線にて示している。

なお、以下の説明において、表示器１０を正面視している顧客Ｃから見て右向きを「第一向き」と呼ぶこととし、左向きを「第二向き」と呼ぶこととする。ちなみに、これら２つの向きとカメラ２の撮像映像との対応関係については、図５の（Ｂ）に図示した通りである。

顧客側ユニット１００Ｂのサーバコンピュータ１は、図６に図示の流れに沿って映像表示処理を実施する。具体的に説明すると、顧客側ユニット１００Ｂのサーバコンピュータ１は、通常、店員側ユニット１００Ａのカメラ２の撮像映像のうち、予め決められた範囲の映像であるデフォルトの部分映像を表示器１０に表示させる（Ｓ００１）。また、デフォルトの部分映像が表示されている表示器１０の前方に顧客Ｃが立っている場合、上記のサーバコンピュータ１は、深度センサ３の計測結果から深度データを取得し、更に深度データから顧客Ｃの骨格モデルを特定する。これにより、上記のサーバコンピュータ１は、表示器１０の前方に立っている顧客Ｃの顔の位置を特定するようになる。

そして、表示器１０の前方に立っている顧客Ｃが顔を横方向（左右方向）に動かすと、顧客側ユニット１００Ｂのサーバコンピュータ１は、その前後で骨格モデルを特定し、両骨格モデルを対比することで顧客Ｃの顔の位置変化を検知する（Ｓ００２）。このように、顧客側ユニット１００Ｂのサーバコンピュータ１は、顧客Ｃの顔の位置が移動したときに当該顔の位置変化を検知する検知部として機能する。

また、顧客側ユニット１００Ｂのサーバコンピュータ１は、顔の位置変化を検知すると、顔の位置が変化した際の向き及びその変位量を更に特定する（Ｓ００３）。なお、顔の位置が変化した際の向き及び変位量についても、変化前後の骨格モデルを対比することで特定される。

その後、顧客側ユニット１００Ｂのサーバコンピュータ１は、特定した変化の向き及び変位量に応じて、表示器１０に表示させる部分映像を切り替える（Ｓ００４）。具体的に説明すると、顧客Ｃの顔の位置が第一向きに変位した場合、上記のサーバコンピュータ１は、変化前に表示されていた部分映像から第二向きに特定した変位量の分だけずれた部分映像を表示器１０に表示させるようになる（Ｓ００５）。反対に、顧客Ｃの顔の位置が第二向きに変位した場合、上記のサーバコンピュータ１は、変化前に表示されていた部分映像から第一向きに特定した変位量の分だけずれた部分映像を表示器１０に表示させるようになる（Ｓ００６）。

以上により、顧客Ｃは、表示器１０に表示されている映像（部分映像）を見ているときに顔を横移動させることで、移動後の顔の位置に応じた部分映像を見ることが可能となる。これにより、比較的幅狭な表示器１０であっても、店員側ユニット１００Ａのカメラ２が撮像した映像、すなわち、実店舗Ｒの撮像映像の全体を見回すことが可能となる。分かり易く説明すると、図７の（Ａ）及び（Ｂ）に示すように、顧客Ｃの顔の位置が変化する前の段階では表示されていなかった範囲の部分映像を、顔の位置を変化させることで見ること（すなわち、覗き込み）が可能となる。

表示器１０に表示される部分映像が切り替えられた後、顧客側ユニット１００Ｂのサーバコンピュータ１は、店員側ユニット１００Ａのカメラ２の撮像映像のうち、どの範囲の映像が現在表示されているのかを示す情報（表示範囲特定情報）を店員側ユニット１００Ａのサーバコンピュータ１に対して通知する（Ｓ００７）。そして、表示器１０の前で顧客Ｃが顔を動かすと、その度に上述した映像切り替えに係る一連の工程（厳密にはステップＳ００３〜ステップＳ００７）が繰り返されることになっている。

なお、本ケースでは、表示器１０の前方に立っている顧客Ｃが顔を動かした際、顧客側ユニット１００Ｂのサーバコンピュータ１が顔の位置の変化を検知し、その変化に応じて、表示器１０に表示させる部分映像を切り替えることとした。ただし、検知対象については顔の位置の変化に限定されるものではなく、顔の位置以外の内容、例えば、顧客Ｃの顔の向きや顧客Ｃの視線の変化を検知してもよい。すなわち、部分映像を切り替える際の契機として、顧客Ｃの顔の位置、顔の向き及び視線のうち、少なくとも一つの変化を検知すればよい。

ちなみに、本ケースでは、横幅が比較的短い表示器１０を用いる構成であるため、顧客Ｃの顔の位置の変化に連動させて表示器１０に表示させる部分映像を切り替えることとしている。一方で、表示器１０の横幅が十分に長い（店員側ユニット１００Ａのカメラ２の撮像映像が収まる程度の長さとなっている）場合には、部分映像の切り替えを行わなくてもよい。

以上のように、顧客側ユニット１００Ｂのサーバコンピュータ１は、映像表示処理において顧客Ｃの顔位置の変化に連動させて表示器１０の表示映像（部分映像）を切り替える機能を有する。かかる機能に加えて、上記のサーバコンピュータ１には更に下記２つの機能が備わっている。
（１）選択位置特定機能
（２）決済処理機能

選択位置特定機能について説明すると、顧客Ｃが行う選択動作において、その際の選択位置を特定する機能である。ここで、「選択動作」とは、表示器１０に表示された部分映像中に映し出された衣服の中から希望の衣服（被選択品）を選択する動作のことであり、具体的には、顧客Ｃが被選択品の映像に向かって手を動かす動作である。なお、選択動作において顧客Ｃの手は、最終的に被選択品の映像の直ぐ手前位置に到達し、かかる到達位置が「選択位置」に該当する。なお、選択動作の具体的内容については、上記の内容に限定されず、被選択品を選択するために身体の一部分を動かす(変位させる)動作であればよい。

以下、選択位置を特定する際の具体的な手順について図８を参照しながら説明する。図８は、選択位置を特定する際の手順について説明図である。具体的には、図８中の左側には、選択動作を開始した時点の顧客Ｃの骨格モデルを示し、右側には、選択動作終了直後の骨格モデルを示している。なお、同図では選択位置をバツ印にて表記している。また、選択位置について、表示器１０に表示された部分映像との位置関係を明確にするため、図８には、上記の部分映像の表示範囲を破線にて示している。

顧客側ユニット１００Ｂのサーバコンピュータ１は、顧客Ｃが表示器１０の前方に立っている間に深度センサ３が計測した深度の計測結果から深度データを取得し、更に深度データから顧客Ｃの骨格モデルを特定する。また、上記のサーバコンピュータ１は、骨格モデルが特定されることで顧客Ｃの手の位置を割り出す。そして、顧客Ｃが表示器１０の前方位置で選択動作を行うと、その間、顧客側ユニット１００Ｂのサーバコンピュータ１は、顧客Ｃの骨格モデルを逐次特定し、それぞれの骨格モデルから手の位置（厳密には、手の移動軌跡）を割り出す。この結果、上記のサーバコンピュータ１は、図８に示すように選択動作における最終的な手の到達位置、すなわち、選択位置を特定する。このように本ケースにおいて上記のサーバコンピュータ１は、選択動作における手の到達位置としての選択位置を特定する到達位置特定部として機能する。

選択位置の特定後、顧客側ユニット１００Ｂのサーバコンピュータ１は、選択動作終了時点（換言すると、顧客Ｃの手が選択位置に至った時点）で表示器１０に表示されている部分映像に対する上記選択位置の位置関係を特定する。これにより、上記のサーバコンピュータ１は、特定した位置関係を示す情報としての位置関係情報を取得する。この位置関係情報は、選択動作終了時点で表示器１０に表示されている部分映像において選択位置がどこに位置するのかを示す情報である。なお、位置関係情報は、顧客側ユニット１００Ｂのサーバコンピュータ１から店員側ユニット１００Ａのサーバコンピュータ１に向けて配信されることになっている。

次に、決済処理機能について説明すると、顧客Ｃが選択動作において選択した衣服（被選択品）を購入する際に当該衣服の代金に関する決済処理を行う機能である。つまり、決済処理とは、顧客Ｃが被選択品の代金を支払うために顧客側ユニット１００Ｂのサーバコンピュータ１により行われるデータ処理である。換言すると、本ケースにおいて上記のサーバコンピュータ１は、決済処理部として機能することになる。

決済処理について詳しく説明すると、顧客Ｃが選択動作を行った後に所定の購入決定動作を行うと、これをトリガーとして決済処理が開始される。決済処理が開始されると、顧客側ユニット１００Ｂのサーバコンピュータ１は、図９に図示の入力画面を、仮店舗Ｑに設置されている表示器１０にポップアップ形式で表示させる。図９は、決済処理時に表示される入力画面の一例を示す図である。顧客Ｃは、表示された入力画面を見ながら代金支払いに必要な入力情報（例えば、クレジットカードの番号）の入力操作を行う。一方、上記のサーバコンピュータ１は、入力画面が表示された表示器１０を通じて顧客Ｃの入力操作を受け付ける。具体的に説明すると、上記のサーバコンピュータ１は、入力画面における各入力ボタンの位置を把握している一方で、入力操作を行っているときの顧客Ｃの骨格モデルを特定し、入力操作時における手の位置を割り出す。そして、入力画面においてどの入力ボタンがどの順番で押されたのかを割り出すことで、入力情報の内容が特定されるようになる。

また、顧客側ユニット１００Ｂのサーバコンピュータ１は、入力操作を受け付けた後、入力された入力情報を店員Ｐに通知するための通知データを生成し、当該通知データを店員側ユニット１００Ａのサーバコンピュータ１に向けて送信する。このように本ケースでは、今まで店員Ｐが行っていた代金支払い用の作業を支払者である顧客Ｃが行うことになる。このような構成は、入力情報に関する秘匿性（例えば、スキミング等の悪質な行為によって盗取されるのを防ぐこと）を確保する等のメリットが有り、セキュリティの観点からは好ましい構成と言える。また、顧客Ｃは、自分の前に在る表示器１０を通じて代金支払い用の入力操作を行うため、当該入力操作をより簡便に行うことが可能となる。

なお、本ケースでは、表示器１０に表示された入力画面にてクレジットカードの番号等を入力することとしたが、入力操作としては上記の内容以外にも考えられる。例えば、クレジットカードを表示器１０の映像表示面に向けてかざす操作を入力操作としてもよい。あるいは、顧客Ｃが携帯する端末（携帯電話やスマートフォン等）にて代金支払い用アプリを起動させ、当該アプリの実行結果として端末画面に表示される代金支払い用の画像情報（例えば、２次元バーコード）を表示器１０の映像表示面に向けてかざす操作を入力操作としてもよい。以上のケースでは、映像表示面にかざされたクレジットカードや代金支払い用の画像情報を顧客側ユニット１００Ｂのカメラ２が撮像し、その映像データが上記の通知データとして店員側ユニット１００Ａのサーバコンピュータ１に向けて送信されることになる。

以上までに説明してきた機能が顧客側ユニット１００Ｂのサーバコンピュータ１に備わっている。これに対して、店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１とは異なる機能として下記４つの機能を備えている。以下、それぞれの機能について説明する。
（３）被選択品特定機能
（４）説明画像配信機能
（５）報知機能
（６）決済受付機能

被選択品特定機能について説明すると、顧客Ｃが行った選択動作における選択位置が顧客側ユニット１００Ｂのサーバコンピュータ１によって特定されたときに、選択位置の特定結果から顧客Ｃが選択した衣服（被選択品）を特定する機能である。つまり、本ケースにおいて店員側ユニット１００Ａのサーバコンピュータ１は、被選択品を特定する被選択品特定部として機能することになる。

以下、被選択品を特定する際の具体的な手順について図１０の（Ａ）及び（Ｂ）を参照しながら説明する。図１０の（Ａ）及び（Ｂ）は、被選択品を特定する手順を説明するための図である。同図の（Ａ）は、店員側ユニット１００Ａのカメラ２の撮像映像中の各箇所の座標を示す図である。また、同図の（Ｂ）は、店員側ユニット１００Ａのカメラ２の撮像映像、仮店舗Ｑに設置された表示器１０に表示された部分映像の表示範囲、及び、特定された選択位置の位置関係を示す図である。なお、図１０の（Ｂ）には、選択動作終了時点の顧客Ｃの姿及び立ち位置を明らかにするために、顧客Ｃ（厳密には顧客Ｃの輪郭）を破線にて示している。

店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１から位置関係情報を取得する。位置関係情報は、前述したように、選択動作終了時点で表示器１０に表示されている部分映像に対する選択位置の位置関係を示す情報である。そして、店員側ユニット１００Ａのサーバコンピュータ１は、位置関係情報に基づいて被選択品を特定する。

より具体的に説明すると、店員側ユニット１００Ａのサーバコンピュータ１は、店員側ユニット１００Ａのカメラ２の撮像映像に対して座標軸を設定し、当該撮像映像の各箇所の座標を記憶している。図１０の（Ａ）に図示した例では、撮像映像中、左下の頂角に位置する箇所の座標が原点（０，０）に設定されており、右上の頂角に位置する箇所の座標が（Ｘｒ，Ｙｒ）に設定されている。

また、同様に、実店舗Ｒにおいて陳列されている複数の衣服の各々の配置位置についても、上記撮像映像上での座標が設定されている。図１０の（Ａ）に図示した例では、各衣服の配置位置についての撮像映像上の座標が（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）、（Ｘ５，Ｙ５）、（Ｘ６，Ｙ６）に設定されている。

一方で、店員側ユニット１００Ａのサーバコンピュータ１は、店員側ユニット１００Ａのカメラ２の撮像映像のうち、どの範囲の映像（部分映像）が仮店舗Ｑに設置されている表示器１０に表示されているかを常時把握している。具体的に説明すると、通常時であれば、店員側ユニット１００Ａのカメラ２の撮像映像のうち、予め決められた範囲の部分映像（すなわち、デフォルトの部分映像）が仮店舗Ｑの表示器１０に表示されている。一方、表示器１０の前に立っている顧客Ｃが顔を動かして表示映像が切り替わった場合、店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１から表示範囲特定情報を取得する。これにより、店員側ユニット１００Ａのサーバコンピュータ１は、店員側ユニット１００Ａのカメラ２の撮像映像のうち、どの範囲の部分映像が切り替わり後の表示映像として仮店舗Ｑの表示器１０に表示されているのかを把握するようになる。

その上で顧客側ユニット１００Ｂのサーバコンピュータ１から位置関係情報を取得することにより、店員側ユニット１００Ａのサーバコンピュータ１は、選択位置について、店員側ユニット１００Ａのカメラ２の撮像映像上での座標を特定する。つまり、店員側ユニット１００Ａのサーバコンピュータ１は、仮店舗Ｑの表示器１０に表示されている部分映像について、店員側ユニット１００Ａのカメラ２の撮像映像における表示範囲を特定しつつ、当該部分映像に対する選択位置の位置関係を特定する。これにより、図１０の（Ｂ）に示すように、店員側ユニット１００Ａのカメラ２の撮像映像に対する選択位置の相対位置関係、すなわち、当該撮像映像上での選択位置の座標が特定されるようになる。

さらに、店員側ユニット１００Ａのサーバコンピュータ１は、特定した選択位置の座標が仮店舗Ｑの表示器１０に表示された部分映像中に映し出された衣服のうち、いずれか一つの衣服の設定範囲にあるかどうかを判定する。ここで、衣服の設定範囲とは、店員側ユニット１００Ａのカメラ２の撮像映像において当該衣服の座標を中心として一定の広がりを有するように設定された範囲である。そして、特定した選択位置の座標がいずれか一つの衣服の設定範囲にある場合、上記のサーバコンピュータ１は、その衣服を被選択品として特定する。一例を挙げて説明すると、選択位置の座標が座標（Ｘ５，Ｙ５）と一致又は近似している場合、上記のサーバコンピュータ１は、座標（Ｘ５，Ｙ５）に相当する位置に配置された衣服を被選択品として特定するようになる。

次に、説明画像配信機能について説明すると、被選択品が特定された後に当該被選択品の説明画像を顧客側ユニット１００Ｂのサーバコンピュータ１に向けて配信する機能である。ここで、説明画像について図１１を参照しながら説明すると、実店舗Ｒで販売されている衣服について、当該衣服を正面から撮影したときの写真画像と、製造メーカ、サイズ、値段、色及び店員Ｐからのセールスポイント等の文字画像と、を収録した画像となっている。図１１は、実店舗Ｒで販売されている衣服の説明画像を表示した画面例を示す図である。なお、図１１に図示した説明画像に限定されるものではなく、上記以外の項目（例えば、売行やカラーバリエーションの有無等）が集録されている説明画像であってもよい。また、説明画像は、静止画像であっても動画であってもよい。

店員側ユニット１００Ａのサーバコンピュータ１は、実店舗Ｒで販売されている衣服毎（厳密には、衣服の種類毎）に上記の説明画像を記憶している。つまり、本ケースにおいて店員側ユニット１００Ａのサーバコンピュータ１は、実店舗Ｒで販売されている複数の衣服の各々について、当該各々の説明画像を記憶している説明画像記憶部として機能していることになる。そして、店員側ユニット１００Ａのサーバコンピュータ１は、被選択品の特定後に当該被選択品の説明画像を読み出し、顧客側ユニット１００Ｂのサーバコンピュータ１に向けて配信する。なお、本ケースでは、店員側ユニット１００Ａのサーバコンピュータ１（より具体的にはコンピュータ内のメモリやハードディスクドライブ等の記憶装置）に説明画像を記憶しているが、これに限定されるものではない。説明画像が記憶される装置については、店員側ユニット１００Ａのサーバコンピュータ１以外の装置、例えば、当該サーバコンピュータ１と通信可能な状態で接続された外部の装置であってもよい。

一方、顧客側ユニット１００Ｂのサーバコンピュータ１は、被選択品の説明画像を取得すると、当該説明画像を仮店舗Ｑに設置された表示器１０にポップアップ形式で表示させる。つまり、本ケースでは、顧客Ｃが表示器１０に表示された映像（部分映像）中に映し出された衣服の中から一つの衣服を被選択品として選択すると、店員側ユニット１００Ａのサーバコンピュータ１が当該被選択品を特定し、その特定結果に対応した画像として被選択品の説明画像を配信する。そして、顧客側ユニット１００Ｂのサーバコンピュータ１は、店員側ユニット１００Ａのサーバコンピュータ１から取得した被選択品の説明画像を仮店舗Ｑの表示器１０に表示させる。かかる意味で、顧客側ユニット１００Ｂのサーバコンピュータ１は、被選択品の特定結果に対応した画像を表示器１０に表示させる画像表示部として機能することになる。

以上のような構成により、顧客Ｃは、表示器１０に表示された部分映像中に映し出された衣服の中から被選択品を選択した際の選択結果を、表示器１０に表示された説明画像を見ることで確認するようになる。また、顧客Ｃは、上記の説明画像を見ることで、自己が選択した衣服の詳細情報を確認することが可能となる。

なお、本ケースの説明画像について付言しておくと、図１１に示すように、説明画像の下部には２種類のボタンが設けられている。一方のボタン（「購入」と表記されたボタン）は、被選択品の購入を決定するためのボタンである。表示器１０の前に立つ顧客Ｃがこの購入決定ボタンに手を合わせる動作を行うと、顧客側ユニット１００Ｂのサーバコンピュータ１が前述した決済処理を開始するようになる。

もう一方のボタン（「呼出し」と表記されたボタン）は、店員Ｐを呼び出すためのボタンである。表示器１０の前に立つ顧客Ｃがこの呼出しボタンに手を合わせる動作を行うと、顧客側ユニット１００Ｂのサーバコンピュータ１が呼出しデータを生成して店員側ユニット１００Ａのサーバコンピュータ１に向けて送信する。店員側ユニット１００Ａのサーバコンピュータ１は、呼出しデータを受信すると、スピーカ５に所定の呼出し音を再生させる処理を実施する。店員Ｐは、実店舗Ｒ内で上記の呼出し音を聞くと、実店舗Ｒに設置された表示器１０の前に移動するようになる。その後、顧客Ｃは、本システムＳを利用した遠隔対話技術により、仮店舗Ｑの表示器１０に映し出された店員Ｐを見ながら店員Ｐと対話し、自分が選んだ衣服（被選択品）の補足説明を受けられるようになる。

次に、報知機能について説明すると、被選択品の特定結果を店員Ｐにも報知する機能である。つまり、本ケースにおいて店員側ユニット１００Ａのサーバコンピュータ１は、被選択品の特定結果を店員Ｐに報知する報知部として機能することになっている。具体的に説明すると、店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１に向けて被選択品の説明画像を配信すると、同じ説明画像を実店舗Ｒに設置された表示器１０に表示させる。これにより、店員Ｐは、表示器１０に表示された被選択品の説明画像を見て、実店舗Ｒ内で陳列されている衣服のうち、顧客Ｃが選んだ衣服を容易に識別することが可能となる。

より詳しく説明すると、店員Ｐは、本システムＳを利用した遠隔対話技術により、表示器１０に表示された顧客Ｃの全身映像を見ながら顧客Ｃと話せる。これにより、店員Ｐは、顧客Ｃとあたかも対面しているかのような雰囲気の中で接客を行うことが可能となる。しかしながら、顧客Ｃが希望の衣服を選択した際、顧客Ｃの全身映像（例えば、顧客Ｃの目線）だけでは選択された衣服（被選択品）を特定することが困難である。特に、本ケースのように顧客Ｃの顔の位置が変化した際に、これに連動して仮店舗Ｑの表示器１０に表示される映像が切り替わるような状況では、被選択品の特定が一層困難となる。

これに対して、本ケースでは、顧客Ｃが希望の衣服を選択した際の選択結果（換言すると、被選択品の特定結果）が、実店舗Ｒに設置された表示器１０を通じて店員Ｐに報知されることになっている。これにより、店員Ｐは、顧客Ｃが選んだ衣服（被選択品）を容易に識別することが可能となり、表示器１０に表示される映像が切り替わった場合であっても、適切に被選択品を識別するようになる。さらに、本ケースのように被選択品の特定結果として当該被選択品の説明画像を表示器１０に表示させることで、店員Ｐは、顧客Ｃが選んだ衣服をより容易に気付き、また、顧客Ｃに対して当該衣服に関する補足説明をすることも可能となる。

なお、被選択品の特定結果を店員Ｐに報知する方法については、当該被選択品の説明画像を表示器１０に表示させる方法に限定されず、他の方法を採用してもよく、例えば、音声にて報知してもよく、あるいは、上記の説明画像以外の画像（具体的には、被選択品を示すメッセージ）にて報知してもよい。

次に、決済受付機能について説明すると、顧客側ユニット１００Ｂのサーバコンピュータ１が行った決済処理を受け付ける機能である。具体的に説明すると、顧客側ユニット１００Ｂのサーバコンピュータ１は、決済処理を実施する中で通知データを生成し、かかるデータを店員側ユニット１００Ａのサーバコンピュータ１に向けて送信する。この通知データは、前述したように、顧客Ｃが入力した代金支払い用の情報を店員Ｐに通知するためのデータである。そして、店員側ユニット１００Ａのサーバコンピュータ１は、通知データを受信すると同データを解析し、顧客Ｃが入力した代金支払い用の情報を特定する。その後、店員側ユニット１００Ａのサーバコンピュータ１は、特定した情報に基づいて以降の処理（具体的には、代金引き落とし用のデータ処理）を実施する。

＜＜本システムを利用した商品購入の流れについて＞＞
次に、仮店舗Ｑに居る顧客Ｃが本システムＳを利用して実店舗Ｒ内に陳列された衣服を購入する手続の具体的な流れ(以下、購入手続きフロー)について、図１２及び１３を参照しながら説明する。図１２及び１３は、購入手続きフローの流れを示す図である。

ところで、以下に説明する購入手続きフローでは、本発明の取引支援方法が採用されている。すなわち、本発明の取引支援方法は、本システムＳの各機器、特に店員側ユニット１００Ａ及び顧客側ユニット１００Ｂの各々のサーバコンピュータ１（コンピュータに相当）が各自の機能を発揮することで実現される。

購入手続きフローは、顧客Ｃが仮店舗Ｑへ行き、当該仮店舗Ｑにおいて表示器１０の前に立った時点からスタートする。購入手続きフローでは、先ず、顧客側ユニット１００Ｂのサーバコンピュータ１が映像表示処理及び音声再生処理を実施する（Ｓ０２１）。具体的に説明すると、店員側ユニット１００Ａのカメラ２が実店舗Ｒの映像を撮像し、店員側ユニット１００Ａのマイク４が実店舗Ｒ内での音声を集音する。その一方で、顧客側ユニット１００Ｂのサーバコンピュータ１は、店員側ユニット１００Ａのカメラ２の撮像映像のうち、一部の部分映像を表示器１０に表示させ、実店舗Ｒでの音声をスピーカ５に再生させる。なお、映像表示処理及び音声再生処理については常時行われることとしてもよく、あるいは、顧客Ｃが仮店舗Ｑの所定位置（例えば、表示器１０の前方位置）に移動したときに、これを契機として開始されてもよい。

その後、表示器１０の前に立つ顧客Ｃが選択動作を行うと（Ｓ０２２）、顧客側ユニット１００Ｂのサーバコンピュータ１が、選択動作において顧客Ｃの手が最終的に到達した位置、すなわち選択位置を特定する処理を実施する（Ｓ０２３）。具体的に説明すると、上記のサーバコンピュータ１は、選択動作中、深度センサ３の計測結果から顧客Ｃの骨格モデルを逐次特定し、それぞれの骨格モデルから手の位置（厳密には、手の移動軌跡）を割り出すことで選択位置を特定する。また、選択位置の特定後、上記のサーバコンピュータ１は、選択動作終了時点で表示器１０に表示されている部分映像に対する選択位置の位置関係を特定し、その特定結果を示す位置関係情報を取得する。そして、上記のサーバコンピュータ１は、取得した位置関係情報を店員側ユニット１００Ａのサーバコンピュータ１に向けて配信する（Ｓ０２４）。

店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１から位置関係情報を取得すると（Ｓ０２５）、位置関係情報に基づいて、店員側ユニット１００Ａのカメラ２の撮像映像上での選択位置の座標を特定する（Ｓ０２６）。さらに、店員側ユニット１００Ａのサーバコンピュータ１は、仮店舗Ｑの表示器１０に表示された部分映像中に映し出された衣服のうち、いずれかの衣服の設定範囲内に特定した選択位置の座標があるかどうかを判定する（Ｓ０２７）。

そして、ある衣服の設定範囲内に選択位置の座標がある場合、店員側ユニット１００Ａのサーバコンピュータ１は、当該ある衣服を被選択品として特定する（Ｓ０２８）。その後、店員側ユニット１００Ａのサーバコンピュータ１は、その内部に記憶された衣服別の説明画像の中から、前ステップＳ０２８にて特定した被選択品の説明画像を抽出し（Ｓ０２９）、当該説明画像を顧客側ユニット１００Ｂのサーバコンピュータ１に配信する（Ｓ０３０）。

顧客側ユニット１００Ｂのサーバコンピュータ１は、配信された被選択品の説明画像を取得すると（Ｓ０３１）、仮店舗Ｑの表示器１０に当該説明画像をポップアップ形式にて表示させる（Ｓ０３２）。これにより、表示器１０の前に立っている顧客Ｃは、表示器１０に表示された被選択品の説明画像を見ることで、自分が購入対象として選択した衣服を確認すると共に、当該衣服の詳細情報を知得するようになる。なお、顧客Ｃは、説明画像の下部に設けられた呼出しボタンに手を合わせる動作を行うことで店員Ｐを呼び出し、実店舗Ｒに設置された表示器１０の前に店員Ｐを立たせることで、仮店舗Ｑの表示器１０に店員Ｐの人物映像を表示させることが可能である。これにより、顧客Ｃは、表示器１０に映し出された店員Ｐを見ながら店員Ｐと対話し、自分が選んだ衣服について補足説明を受けられるようになる。

一方、店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１に向けて配信した被選択品の説明画像と同じ説明画像を、実店舗Ｒに設置された表示器１０に表示させる（Ｓ０３３）。これにより、被選択品の特定結果が店員Ｐに報知され、店員Ｐは、表示器１０に表示された被選択品の説明画像を見ることで、顧客Ｃが選んだ衣服を容易に識別するようになる。

その後、顧客Ｃが説明画像の下部に設けられた購入決定ボタンに手を合わせる動作、すなわち購入決定動作を行うと（Ｓ０３４）、顧客側ユニット１００Ｂのサーバコンピュータ１が決済処理を実施するようになる（Ｓ０３５）。決済処理において上記のサーバコンピュータ１は、仮店舗Ｑの表示器１０に入力画面をポップアップ形式にて表示させ、かかる入力画面を通じて、顧客Ｃが行う所定の入力情報（例えば、クレジットカードの番号）の入力操作を受け付ける。

入力操作の終了後、顧客側ユニット１００Ｂのサーバコンピュータ１は、入力された入力情報を店員Ｐに通知するための通知データを生成し、当該通知データを店員側ユニット１００Ａのサーバコンピュータ１に向けて送信する（Ｓ０３６）。一方、店員側ユニット１００Ａのサーバコンピュータ１は、通知データを受信すると（Ｓ０３７）、当該通知データから入力情報を特定し、その上で決済受付処理を実施する（Ｓ０３８）。そして、決済受付処理が完了した時点で購入手続きフローが終了する。

１ サーバコンピュータ
２ カメラ（撮像装置）
３ 深度センサ（センサ）
４ マイク
５ スピーカ
６ ネットワーク
１０ 表示器（表示器、他の表示器）
１００Ａ 店員側ユニット（第一通信ユニット）
１００Ｂ 顧客側ユニット（第二通信ユニット）
Ｃ 顧客（第二当事者）
Ｐ 店員（第一当事者）
Ｑ 仮店舗
Ｒ 実店舗（空間）
Ｓ 本システム（取引支援システム）

Claims (8)

1. 第一当事者が取り扱う取引対象品に関する取引を、前記第一当事者及び該第一当事者とは異なる場所に居る第二当事者が行う際に利用される取引支援システムであって、
   前記取引対象品が複数配置された空間の映像を撮像する第一撮像装置と、
   前記第二当事者の前方に位置する表示器に、前記第一撮像装置が撮像した前記空間の映像を表示させる映像表示部と、
   前記表示器に表示された前記空間の映像中に映し出された前記取引対象品の中から被選択品を選択するために前記第二当事者が選択動作を行うと、前記第二当事者の身体中、前記選択動作において動かされた部位の到達位置を特定する到達位置特定部と、
   前記表示器に表示された前記空間の映像に対する前記到達位置の位置関係に基づいて前記被選択品を特定する被選択品特定部と、
   該被選択品特定部による前記被選択品の特定結果に対応した画像を前記表示器に表示させる画像表示部と、
   前記第二当事者が居る空間の映像を撮像する第二撮像装置と、
   前記第一当事者の前方に位置し、前記第二撮像装置が撮像した前記第二当事者が居る空間の映像を表示する他の表示器と、
   前記被選択品特定部による前記被選択品の特定結果を前記第一当事者に報知する報知部と、を有し、
   前記第二当事者の顔の位置、前記第二当事者の顔の向き及び前記第二当事者の視線のうち、少なくとも一つの変化を検知する検知部を有し、
   該検知部が前記変化を検知すると、前記変化の向き及び変位量を特定し、前記映像表示部により、変化前に前記表示器に表示されていた、前記取引対象品が複数配置された前記空間の映像から、前記変化の向きに合わせて、特定された前記変位量の分だけずれた、前記取引対象品が複数配置された前記空間の映像を前記表示器に表示させることを特徴とする取引支援システム。
2. 前記表示器の前に立っている前記第二当事者の身体各部について、基準位置からの奥行距離を計測するためのセンサを有し、
   前記検知部が前記第二当事者の顔の位置の変化を検知した場合、前記第二当事者の顔の位置の前記変化の向き及び変位量の特定は、前記第二撮像装置が撮像した前記第二当事者が居る空間の映像と前記センサの計測結果とに基づく前記第二当事者の骨格モデルを、変化前後で対比することにより行われることを特徴とする請求項１に記載の取引支援システム。
3. 前記映像表示部は、前記第一撮像装置が撮像した前記空間の映像中、一部分の部分映像を前記表示器に表示させ、
   前記空間における複数の前記取引対象品の各々の配置位置について前記空間の映像上での座標が設定されており、
   前記被選択品特定部は、前記選択動作において前記部位が前記到達位置に至った時点で前記表示器に表示されている前記部分映像に対する前記到達位置の位置関係に基づいて、前記空間の映像上での前記到達位置の座標を特定し、特定した前記到達位置の座標が前記部分映像中に映し出された前記取引対象品のうち、一つの取引対象品に対して設定された範囲内にあるとき、前記一つの取引対象品を前記被選択品として特定することを特徴とする請求項１又は２に記載の取引支援システム。
4. 前記表示器の前に立っている前記第二当事者の身体各部について、基準位置からの奥行距離を計測するためのセンサを有し、
   前記到達位置特定部は、前記センサの計測結果に基づき、前記部位としての前記第二当事者の手の前記到達位置を特定することを特徴とする請求項１に記載の取引支援システム。
5. 前記第二当事者が前記被選択品の代金を支払うための処理を行う決済処理部を有し、
   該決済処理部は、前記第二当事者による前記代金の支払いに必要な入力情報の入力操作を、前記表示器を通じて受け付けた後、入力された前記入力情報を前記第一当事者に通知するための通知データを生成することを特徴とする請求項１乃至４のいずれか一項に記載の取引支援システム。
6. 前記空間における複数の前記取引対象品の各々について、当該各々の説明画像を記憶している説明画像記憶部を有し、
   前記画像表示部は、前記被選択品特定部による前記被選択品の特定結果に対応した前記画像として、前記被選択品の前記説明画像を前記表示器に表示させ、
   前記報知部は、前記被選択品特定部による前記被選択品の特定結果として、前記被選択品の前記説明画像を、前記第一当事者の前方に位置する前記他の表示器に表示させることを特徴とする請求項１乃至５のいずれか一項に記載の取引支援システム。
7. 前記第一当事者により利用される第一通信ユニット、及び、前記第二当事者により利用される第二通信ユニットによって前記取引支援システムが構成され、
   前記第一通信ユニット及び前記第二通信ユニットは、互いに通信可能な状態で接続されたサーバコンピュータを有し、
   前記第一通信ユニットが有する前記サーバコンピュータは、前記被選択品特定部及び前記報知部として機能し、
   前記第二通信ユニットが有する前記サーバコンピュータは、前記映像表示部、前記到達位置特定部及び前記画像表示部として機能することを特徴とする請求項１乃至６のいずれか一項に記載の取引支援システム。
8. 第一当事者が取り扱う取引対象品に関する取引を、前記第一当事者及び該第一当事者とは異なる場所に居る第二当事者が行う際に利用される取引支援方法であって、
   第一撮像装置が、前記取引対象品が複数配置された空間の映像を撮像する工程と、
   コンピュータが、前記第二当事者の前方に位置する表示器に、前記第一撮像装置が撮像した前記空間の映像を表示させる工程と、
   前記表示器に表示された前記空間の映像中に映し出された前記取引対象品の中から被選択品を選択するために前記第二当事者が選択動作を行うと、コンピュータが、前記第二当事者の身体中、前記選択動作において動かされた部位の到達位置を特定する工程と、
   コンピュータが、前記表示器に表示された前記空間の映像に対する前記到達位置の位置関係に基づいて前記被選択品を特定する工程と、
   コンピュータが、前記被選択品の特定結果に対応した画像を前記表示器に表示させる工程と、
   第二撮像装置が、前記第二当事者が居る空間の映像を撮像する工程と、
   コンピュータが、前記第二撮像装置が撮像した前記第二当事者が居る空間の映像を、前記第一当事者の前方に位置する他の表示器に表示させる工程と、
   コンピュータが、前記被選択品の特定結果を前記第一当事者に報知する工程と、を有し、
   前記第一撮像装置が撮像した前記空間の映像を表示させる工程において、
   コンピュータが、前記第二当事者の顔の位置、前記第二当事者の顔の向き及び前記第二当事者の視線のうち、少なくとも一つの変化を検知する工程と、
   コンピュータが、前記変化を検知すると、前記変化の向き及び変位量を特定し、変化前に前記表示器に表示されていた、前記取引対象品が複数配置された前記空間の映像から、前記変化の向きに合わせて、特定された前記変位量の分だけずれた、前記取引対象品が複数配置された前記空間の映像を前記表示器に表示させる工程とを、有することを特徴とする取引支援方法。

Images