JP7464027B2 - 情報処理装置、プログラム、情報処理システム、利用者端末、及び情報処理方法 - Google Patents

情報処理装置、プログラム、情報処理システム、利用者端末、及び情報処理方法 Download PDF

Info

Publication number
JP7464027B2
JP7464027B2 JP2021151223A JP2021151223A JP7464027B2 JP 7464027 B2 JP7464027 B2 JP 7464027B2 JP 2021151223 A JP2021151223 A JP 2021151223A JP 2021151223 A JP2021151223 A JP 2021151223A JP 7464027 B2 JP7464027 B2 JP 7464027B2
Authority
JP
Japan
Prior art keywords
user
camera
user terminal
captured image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021151223A
Other languages
English (en)
Other versions
JP2023043537A (ja
Inventor
英敏 菊地
圭子 土屋
麻美 外丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2021151223A priority Critical patent/JP7464027B2/ja
Priority to US17/931,599 priority patent/US20230079461A1/en
Publication of JP2023043537A publication Critical patent/JP2023043537A/ja
Application granted granted Critical
Publication of JP7464027B2 publication Critical patent/JP7464027B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Description

本発明は、情報処理装置、プログラム、情報処理システム、利用者端末、及び情報処理方法に関する。
スマートフォン端末のモバイルアプリケーションからの要求に応じ、スマートフォン端末に向けて、商品をライブ映像で紹介したものに対し、商品ごとにテキストによるコメントを投稿または取引を実現する販売支援システムは従来から知られている(例えば特許文献1参照)。
しかしながら、従来技術は、売場の雰囲気などの周囲の状況や、売場に並べられた商品等を確認しつつ、必要に応じて質感や鮮度などの商品の細部も確認できるものではない。本開示は、利用者間でのコミュニケーションをより臨場感のあるものとすること、を課題とする。
本発明の一実施形態は、購入者である第1の利用者が操作する第1の利用者端末及び販売者である第2の利用者が操作する第2の利用者端末と通信可能な情報処理装置であって、売場に設置された第1のカメラの第1の撮影画像であって、前記第1の利用者が選択した撮影方向の前記第1の撮影画像、及び第2の利用者によって利用される第2のカメラの第2の撮影画像、を前記第1の利用者端末に表示させるための配信データを生成する配信データ生成手段と、生成した前記配信データを前記第1の利用者端末に送信する通信手段と、前記第1の利用者端末を操作する前記第1の利用者及び前記第2の利用者端末を操作する前記第2の利用者に双方向のコミュニケーション機能を提供するコミュニケーション機能提供手段と、を有し、前記配信データ生成手段は、前記第1のカメラにより撮影された前記第1の撮影画像の第1の表示領域と、前記第2の利用者が装着する前記第2のカメラ又は前記第2の利用者が操作する前記第2の利用者端末の前記第2のカメラにより撮影された前記第2の撮影画像の第2の表示領域と、を含む表示画面の配信データを生成し、さらに、前記第1の利用者からの入力操作に基づき、前記第1の撮影画像を表示している前記表示画面に前記第2の撮影画像を追加する
ことを特徴とする、情報処理装置である。
本発明の一実施形態によれば、利用者間でのコミュニケーションをより臨場感のあるものとすることができる。
本実施形態に係る情報処理システムの一例の構成図である。 本実施形態に係るコンピュータの一例のハードウェア構成図である。 本実施形態に係るスマートフォンの一例のハードウェア構成図である。 本実施形態に係る情報処理システムの一例の機能構成図である。 配信設定情報の一例の構成図である。 本実施形態に係る表示画面の第1及び第2の表示領域の一例について説明する図である。 本実施形態に係る情報処理システムの利用シーンの一例について説明する図である。 本実施形態に係る情報処理システムの他の売場での利用シーンの一例について説明する図である。 本実施形態に係る情報処理システムにおける業者間取引での他の利用シーンの一例について説明する図である。 本実施形態に係る情報処理システムの処理の一例のフローチャートである。
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、本実施形態では、第1のユーザが商品の購入者または購入予定者など、第2のユーザが商品の販売者である例を説明するが、この例に限定されない。例えば第1のユーザは商品の購入が必須でない。第1のユーザは第2のユーザがウエアラブルカメラ又はスマートフォン内蔵カメラなどで撮影した第2の撮影画像を第1のユーザ端末に表示しながら第2のユーザとコミュニケーションを行うユーザであればよい。
[第1の実施形態]
<システム構成>
図1は本実施形態に係る情報処理システムの一例の構成図である。図1に示す情報処理システム1は、第1のユーザ端末10、第2のユーザ端末12、情報処理装置14、第1のカメラ16、第2のカメラ18、データ記憶システム20、及び決済システム22を有し、ネットワーク28を介して通信を行う。また、第2のユーザ端末12、第1のカメラ16、及び第2のカメラ18は、配信システム24を構成する。ネットワーク28は、インターネットやLAN(Local Area Network)等である。
第1のユーザ端末(情報処理システム1を利用する第1の利用者端末)10は商品の購入者または購入予定者など(以下、単に「購入者等」という。)が操作する情報処理端末である。第1のユーザ端末10は、例えばPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、又はPDA(Personal Digital Assistant)等である。
第2のユーザ端末(情報処理システム1を利用する第2の利用者端末)12は、例えば売場担当者等の商品の販売者が操作する情報処理端末である。第2のユーザ端末12は、例えばPC、携帯電話、スマートフォン、タブレット端末、ゲーム機、又はPDA等である。
情報処理装置14は、本実施形態に係るサービスを提供する情報提供システムの一例である。情報処理装置14は、例えばPC、ワークステーションである。情報処理装置14はサーバ装置、ASP(Application Service Provider)、あるいはクラウドコンピューティングにより実現してもよい。
第1のカメラ16は、商品の売場等に設置される。第1のカメラ16は撮影画像として周囲の360度画像を撮影し、商品の売場のライブ動画として第1のユーザ端末10に配信する。第1のカメラ16は、例えば近年、提供されている一度の撮影で360°の全天球パノラマ画像を得るデジタルカメラなどを利用できる。なお、第1のカメラ16は360度画像を撮影する撮影装置に限定されるものではなく、例えば第1のユーザ端末10から撮影方向を左右方向に振るパン操作及び上下方向に振るチルト操作が可能な撮影装置であってもよい。
第2のカメラ18は、販売者が装着するウエアラブルカメラ、又は販売者が操作する第2のユーザ端末12の内蔵カメラなどである。ウエアラブルカメラは、販売者が頭又は肩などに装着し、ハンズフリーで販売者が見ている方向の画像(目線画像)を撮影するカメラである。また、第2のカメラ18はスマートフォンやスマートグラス等の各種スマートデバイスの内蔵カメラを用いてもよい。第2のカメラ18は直接又は第2のユーザ端末12を介して通信を行う。第2のカメラ18は撮影画像として販売者の目線画像などを撮影し、商品のライブ動画として第1のユーザ端末10に配信する。
第1のユーザ端末10及び第2のユーザ端末12は、通話機能、音声データによるパケット通信、WebRTC(Web Real-Time Communication)などを利用して音声による双方向のコミュニケーション機能、又はチャット機能等を利用して文字(テキスト)による双方向のコミュニケーション機能を、購入者等及び販売者に提供する。
データ記憶システム20は、第1のカメラ16による撮影画像、第2のカメラ18による撮影画像、及びコミュニケーション機能により購入者等と販売者との間でやり取りされた情報などを記憶する。決済システム22は、商品の決済機能を提供する。
第1のユーザ端末10は第1のカメラ16から配信された撮影画像を表示する。例えば第1のユーザ端末10は、例えば、前述のとおり、360°の全天球パノラマ画像を得るデジタルカメラなどによる撮影画像を用いて、売場の360度画像から購入者等の操作により選択された撮影方向の撮影画像を表示する。購入者等は第1のユーザ端末10に表示された撮影画像により、例えばデパートなどの店舗の売場に並べられた商品を確認できる。
気になる商品があれば、購入者等は第1のユーザ端末10から販売者が操作する第2のユーザ端末12を呼び出し、販売者との双方向コミュニケーションを開始する。第1のユーザ端末10は第2のカメラ18から配信された販売者の目線画像等による商品の撮影画像を表示する。購入者等は第1のユーザ端末10に表示される商品の撮影画像を見ながら、販売者から商品の説明を受け、商品の購入を検討できる。
例えばデパートなどの店舗の売場に実際に行って商品を購入する場合、購入者等は売場に並べられた商品を見ながら移動し、気になった商品があれば近付いて確認したり、販売者に商品の説明を聞いたりする。本実施形態によれば、購入者等は第1のカメラ16の撮影画像により売場に並べられた商品を確認し、気になった商品を見つけたあとで販売者との双方向のコミュニケーションを開始できる。また、本実施形態によれば、購入者等は販売者との双方向のコミュニケーションを開始したあと、第2のカメラ18による商品の撮影画像を見ながら販売者から商品の説明を受け、商品の購入を検討できる。
図1に示す情報処理システム1の構成は一例である。例えば情報処理装置14の機能の少なくとも一部は、第1のユーザ端末10に設けるようにしてもよい。第1のユーザ端末10及び第2のユーザ端末12の機能の少なくとも一部は、情報処理装置14に設けるようにしてもよい。データ記憶システム20及び決済システム22の機能の少なくとも一部は情報処理装置14に設けるようにしてもよい。データ記憶システム20の構成は省略されてもよい。
<ハードウェア構成>
《コンピュータ》
図1の情報処理装置14、データ記憶システム20、及び決済システム22は、例えば図2に示すようなハードウェア構成のコンピュータ500により実現される。また、図1の第1のユーザ端末10及び第2のユーザ端末12は、PCの場合、例えば図2に示すようなハードウェア構成のコンピュータ500により実現される。図2は本実施形態に係るコンピュータの一例のハードウェア構成図である。
コンピュータ500は、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503、HD504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、データバス510、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk Rewritable)ドライブ514、メディアI/F516を備えている。
これらのうち、CPU501は、プログラムに従ってコンピュータ500全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。
ディスプレイ506は、カーソル、メニュー、ウインドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ等である。ネットワークI/F509はネットワーク28を利用してデータ通信をするためのインタフェースである。データバス510は、CPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
キーボード511は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ514は、着脱可能な記録媒体の一例としてのDVD-RW513に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RWに限らず、DVD-R等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。
なお、図2に示したハードウェア構成は一例であり、図2に示した構成要素を全て含む必要はなく、または、図2に示した構成要素以外を含むものであってもよい。
《スマートフォン》
図1の第1のユーザ端末10及び第2のユーザ端末12は、例えば図3に示したハードウェア構成のスマートフォン700により実現される。図3は本実施形態に係るスマートフォンの一例のハードウェア構成図である。図3に示されているように、スマートフォン700は、CPU701、ROM702、RAM703、EEPROM704、CMOSセンサ705、撮像素子I/F706、加速度・方位センサ707、メディアI/F709、及びGPS受信部711を備えている。
CPU701は、スマートフォン700全体の動作を制御する。ROM702は、CPU701やIPL等のCPU701の駆動に用いられるプログラムを記憶する。RAM703は、CPU701のワークエリアとして使用される。EEPROM704は、CPU701の制御にしたがって、スマートフォン700用プログラム等の各種データの読み出し又は書き込みを行う。
CMOSセンサ705は、CPU701の制御に従って被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサ705ではなく、CCDセンサ等の撮像手段であってもよい。撮像素子I/F706は、CMOSセンサ705の駆動を制御する回路である。加速度・方位センサ707は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。
メディアI/F709は、フラッシュメモリ等の記録メディア708に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部711は、GPS衛星からGPS信号を受信する。
また、スマートフォン700は、遠距離通信回路712、CMOSセンサ713、撮像素子I/F714、マイク715、スピーカ716、音入出力I/F717、ディスプレイ718、外部機器接続I/F719、近距離通信回路720、近距離通信回路720のアンテナ720a、及びタッチパネル721を備えている。
遠距離通信回路712は、ネットワーク28を介して他の機器と通信する回路である。CMOSセンサ713は、CPU701の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F714は、CMOSセンサ713の駆動を制御する回路である。マイク715は、音を電気信号に変える内蔵型の回路である。スピーカ716は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。
音入出力I/F717は、CPU701の制御に従ってマイク715及びスピーカ716との間で音信号の入出力を処理する回路である。ディスプレイ718は被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)などの表示部の一種である。外部機器接続I/F719は各種の外部機器を接続するインタフェースである。近距離通信回路720はNFCやBluetooth等の通信回路である。タッチパネル721は、ユーザがディスプレイ718を押下することで、スマートフォン700を操作する入力部の一種である。
また、スマートフォン700は、バスライン710を備えている。バスライン710は図3に示されているCPU701等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
<機能構成>
本実施形態に係る情報処理システム1は例えば図4に示すような機能構成により実現される。図4は本実施形態に係る情報処理システムの一例の機能構成図である。なお、図4の機能構成図は本実施形態の説明に不要な構成について適宜省略している。第1のユーザ端末10、第2のユーザ端末12、情報処理装置14、第1のカメラ16、第2のカメラ18、データ記憶システム20、及び決済システム22は、OS及びアプリケーション等のプログラムを実行することにより、例えば図4の機能構成を実現する。
第1のカメラ16は撮影部70及び通信部72を有する。撮影部70は周囲の360度画像を撮影する。通信部72は撮影部70が撮影した撮影画像を情報処理装置14に送信する。なお、通信部72は例えば登録済みのURL(配信設定で定義されたURL)に撮影画像を送信することで、情報処理装置14に撮影画像を送信する。
第2のカメラ18は撮影部80及び通信部82を有する。撮影部80は第2のカメラ18の撮影方向の撮影画像を撮影する。通信部82は撮影部80が撮影した撮影画像を情報処理装置14に送信する。なお、通信部82は例えば登録済みのURLに撮影画像を送信することで、情報処理装置14に撮影画像を送信する。第2のカメラ18は第2のユーザ端末12を介して撮影画像を情報処理装置14に送信してもよい。また、第2のカメラ18は第2のユーザ端末12に内蔵されていてもよい。
また、情報処理装置14は、配信管理部50、配信データ生成部52、通信部54、コミュニケーション機能提供部56、購入処理部58、記憶制御部60、配信設定情報記憶部62、スクリプト管理情報記憶部64、及びデータ記憶部66を有する。
配信管理部50は、第1のカメラ16及び第2のカメラ18から受信した撮影画像の第1のユーザ端末10への配信に関する処理を行う。配信データ生成部52は第1のカメラ16の撮影画像及び第2のカメラ18の撮影画像を第1のユーザ端末10に表示させるための表示画面の配信データ(画像データ)を生成する。
例えば配信データ生成部52は、購入者等が販売者を呼び出す操作などの購入者等による入力操作に基づき、第1のカメラ16の撮影画像を表示している表示画面に第2のカメラ18の撮影画像を追加するように配信データを生成する。また、配信データ生成部52は購入者等が販売者を呼び出す操作などの購入者等による入力操作に基づき、第1のカメラ16の撮影画像を表示している表示画面を第2のカメラ18の撮影画像を表示している表示画面に切り替えるように配信データを生成してもよい。配信データ生成部52は生成した配信データを、通信部54を介して第1のユーザ端末10に送信する。
通信部54は、第1のユーザ端末10、第2のユーザ端末12、第1のカメラ16、第2のカメラ18、データ記憶システム20、及び決済システム22と通信を行う。コミュニケーション機能提供部56は、第1のユーザ端末10を利用する購入者等及び第2のユーザ端末12を利用する販売者に、通話機能を利用した音声によるコミュニケーション機能又はチャット機能を利用した文字によるコミュニケーション機能を、提供する。
購入処理部58は、購入者等が操作する第1のユーザ端末10から、第2のカメラ18の撮影画像に写っている商品の購入指示を受け付け、購入指示に応じた商品の購入処理を実行する。記憶制御部60は、第1のカメラ16による撮影画像、第2のカメラ18による撮影画像、及びコミュニケーション機能により購入者等と販売者との間でやり取りされた情報の少なくとも一つをデータ記憶部66又はデータ記憶システム20に記憶させる。
データ記憶部66又はデータ記憶システム20に記憶した第1のカメラ16による撮影画像、第2のカメラ18による撮影画像、及びコミュニケーション機能により購入者等と販売者との間でやり取りされた情報は、ビックデータとして利用してもよい。データ記憶部66又はデータ記憶システム20に記憶した第1のカメラ16による撮影画像、第2のカメラ18による撮影画像、及びコミュニケーション機能により購入者等と販売者との間でやり取りされた情報は、例えば販売者に対する研修やデータ二次的活用などに活用できる。
配信設定情報記憶部62は後述の配信設定情報を記憶する。スクリプト管理情報記憶部64はスクリプトを管理する。スクリプトは、360度画像を表示するアプリケーションが搭載されていない第1のユーザ端末10において、360度画像を表示するためのプログラムである。データ記憶部66は第1のカメラ16による撮影画像、第2のカメラ18による撮影画像、及びコミュニケーション機能により購入者等と販売者との間でやり取りされた情報の少なくとも一つを記憶する。
第1のユーザ端末10は、表示制御部30、第1のコミュニケーション実行部32、購入受付部34、及び通信部36を有する。表示制御部30は情報処理装置14から受信した表示画面の配信データに基づき、第1のカメラ16の撮影画像及び第2のカメラ18の撮影画像を含む表示画面を表示する。
第1のコミュニケーション実行部32は、第1のユーザ端末10を操作する購入者等に第2のユーザ端末12を操作する販売者との双方向のコミュニケーションを行わせるための処理を実行する。購入受付部34は購入者等から第2のカメラ18の撮影画像に写っている商品の購入指示を受け付ける。通信部36は情報処理装置14と通信を行う。
第2のユーザ端末12は、第2のコミュニケーション実行部40及び通信部42を有する。第2のコミュニケーション実行部40は、第2のユーザ端末12を操作する販売者に第1のユーザ端末10を操作する購入者等との双方向のコミュニケーションを行わせるための処理を実行する。通信部42は情報処理装置14と通信を行う。
データ記憶システム20は、記憶制御部90、通信部92、及びデータ記憶部94を有する。記憶制御部90は、情報処理装置14から受信する第1のカメラ16による撮影画像、第2のカメラ18による撮影画像、及びコミュニケーション機能により購入者等と販売者との間でやり取りされた情報などの記憶を制御する。通信部92は情報処理装置14と通信を行う。データ記憶部94は第1のカメラ16による撮影画像、第2のカメラ18による撮影画像、及びコミュニケーション機能により購入者等と販売者との間でやり取りされた情報の少なくとも一つを記憶する。
決済システム22は、決済処理部100、通信部102、及び決済情報記憶部104を有する。決済処理部100は第1のユーザ端末10を操作する購入者等からの商品の購入指示に応じた決済処理を実行する。通信部102は情報処理装置14と通信を行う。決済情報記憶部104は、実行した決済処理に関する決済情報を記憶する。
なお、図4の機能構成は一例であって、情報処理装置14の機能の一部を第1のユーザ端末10に設けるようにしてもよい。例えば情報処理装置14の配信データ生成部52は第1のユーザ端末10に設けるようにしてもよい。情報処理装置14の機能構成は複数のサーバ装置で実現するようにしてもよい。
360度画像を表示するアプリケーションが搭載されている第1のユーザ端末10はスクリプトを使用しなくとも360度画像を表示できる。そこで、情報処理装置14は360度画像を表示するアプリケーションが搭載されていない第1のユーザ端末10が無ければスクリプト管理情報記憶部64を省略できる。
図4に示した情報処理装置14の配信設定情報記憶部62は、例えば図5に示すような配信設定情報を記憶する。図5は配信設定情報の一例の構成図である。図5の配信設定情報は第1のカメラ16の撮影画像を送信するURLを設定する構成となっている。
図5(A)は、フロア、売場種別、販売コーナ、デバイスID、及びルームURLを項目として有する。フロアは商品の売場をグループ化する情報の一例であり、例えば地下1回(B1)や1階などの階層を表している。売場種別は商品の売場の種別を表す情報の一例であって、例えばレストラン、特選コスメ、又は食品などの売場の種別を表している。売場コーナは売場を表す情報の一例であって、例えば特選コスメをブランドごとに分けた売場や、食品を食材ごとに分けた売場である。デバイスIDは売場に設置された第1のカメラ16を識別する情報の一例である。ルームURLは撮影画像を送信する登録済みのURLの一例である。
図5(B)は、棚画像ID、デバイスID、及びルームURLを項目として有する。棚画像IDは、商品の売場を表す情報の一例であって、商品を陳列する棚ごとに分けた売場である。ルームURLは撮影画像を送信する登録済みのURLの一例である。
図5の配信設定情報によれば、商品の売場を指定することで、その売場の第1のカメラ16の撮影画像を送信するURLの一例であるルームURLを特定できる。
<第1及び第2の表示領域>
図6は、本実施形態に係る表示画面の第1及び第2の表示領域の一例について説明する図である。第1の表示領域は、第1のカメラ16の撮影画像を表示する表示領域の一例である。また、第2の表示領域は、第2のカメラ18の撮影画像を表示する表示領域の一例である。第1のユーザ端末10に表示する表示画面には、図6(A)又は図6(B)に示すように第1の表示領域及び第2の表示領域が並んで表示される。
図6(A)は第1の表示領域及び第2の表示領域を縦に並べた表示例である。第1の表示領域及び第2の表示領域の上下位置は逆でもよい。また、図6(B)は第1の表示領域及び第2の表示領域を横に並べた表示例である。第1の表示領域及び第2の表示領域の左右位置は逆でもよい。
なお、図6では第1の表示領域及び第2の表示領域が長方形型の例を示したが、他の形状であってもよい。また、図6では第1の表示領域及び第2の表示領域が同じ大きさの例を示したが、異なる大きさであってもよい。また、図6では第1の表示領域及び第2の表示領域が並んで表示される例を示したが、最初に第1の表示領域に第1のカメラ16の撮影画像が表示され、後から第2の表示領域に第2のカメラ18の撮影画像が表示されてもよい。さらに、図6では第1の表示領域及び第2の表示領域が並んで表示される例を示したが、第1のカメラ16の撮影画像が表示されている第1の表示領域が第2のカメラ18の撮影画像が表示されている第2の表示領域に切り替わってもよい。
<処理>
本実施形態に係る情報処理システム1の処理手順について説明する。図7は本実施形態に係る情報処理システムの利用シーンの一例について説明する図である。図7は第1のユーザ端末10に表示される表示画面の遷移例を示している。
表示画面1000は、情報処理装置14が提供するサービスに第1のユーザ端末10からログインする画面イメージである。なお、表示画面1000はサービスが会員向けの例である。サービスが会員向けでなく、誰でも利用できるサービスであれば、表示画面1000は省略されてもよい。
表示画面1020及び1040は第1のユーザ端末10を操作する購入者等が商品の売場を選択する画面イメージ図である。図7の例では、第1のユーザ端末10を操作する購入者等が表示画面1020で「1F 特選フロア」を選択することで、特選コスメをブランドごとに分けた売場の表示画面1040が表示されている。
第1のユーザ端末10を操作する購入者等は、表示画面1040から第1のカメラ16の撮影画像を見たい売場を、例えばクリックなどの操作により選択する。表示画面1040から売場が選択されると、第1のユーザ端末10は購入者等により選択された売場に設置された第1のカメラ16の撮影画像を情報処理装置14から受信し、第1の表示領域に第1のカメラ16の撮影画像が表示された表示画面1060を表示する。第1のユーザ端末10を操作する購入者等は、例えば表示画面1060において第1のカメラ16の撮影画像の撮影方向を選択できる。なお、360度画像から購入者等が選択した撮影方向の部分画像を表示する処理は、前述のような360°の全天球パノラマ画像を得るデジタルカメラなどによる撮影画像(メルカトル画像)から全天球パノラマ画像を作成する既知の技術を用いることができる。
第1のユーザ端末10を操作する購入者等は、表示画面1060に表示された第1のカメラ16の撮影画像により、売場の雰囲気や売場に並べられた商品等を確認できる。例えば気になる商品があり、販売者からの説明を受けたい場合、第1のユーザ端末10を操作する購入者等は、販売者が操作する第2のユーザ端末12を呼び出す。表示画面1060から販売者が操作する第2のユーザ端末12を呼び出す方法は様々考えられるが、例えば呼出ボタンなどを表示画面1060に設けて購入者等に操作させてもよいし、音声認識や文字認識により購入者等からの呼び出しを認識してもよい。
表示画面1080は第1のユーザ端末10を操作する購入者等が第2のユーザ端末12を操作する販売者を呼び出し、購入者等と販売者とがコミュニケーションを開始したあとの画面イメージ図である。第1のユーザ端末10は、コミュニケーションを開始した販売者の目線画像等の撮影画像を第2のカメラ18から受信し、第2の表示領域に第2のカメラ18の撮影画像が表示された表示画面1080を表示する。第2のカメラ18は販売者と対応付けられていてもよいし、第2のユーザ端末12と対応付けられていてもよい。
購入者等は、販売者との双方向のコミュニケーションを開始したあと、表示画面1080に含まれる第2のカメラ18による商品の撮影画像を見ながら、商品の説明を販売者から受けることができる。購入したい商品が見つかれば、第1のユーザ端末10を操作する購入者等は、表示画面1100を表示させる操作を行い、表示画面1100から商品の購入指示の操作を行う。表示画面1100は、購入者等から第2のカメラ18の撮影画像に写っている商品の購入指示を受け付ける画面イメージである。表示画面1100から商品の購入指示を受け付けると、第1のユーザ端末10は情報処理装置14を介して購入者等からの商品の購入指示に応じた決済処理を実行する。図7は商品がコスメの例であったが、例えば図8に示すような食品であってもよい。また、商品の購入については、商品購入用のECサイトが存在する場合には、ECサイトへのURLを埋め込んだ遷移ボタンなどを第1のユーザ端末10に表示することにより、第1のユーザ端末10からアクセスしてECサイトから購入できるようにしてもよい。
図8は本実施形態に係る情報処理システムの他の売り場での利用シーンの一例について説明する図である。本実施形態は、食品売場など他の売場での一例であり、図8は図7と同様、第1のユーザ端末10に表示される表示画面の遷移例を示している。
表示画面1200は、情報処理装置14が提供するサービスに第1のユーザ端末10からログインする画面イメージである。なお、表示画面1200はサービスが会員向けの例である。サービスが会員向けでなく、誰でも利用できるサービスであれば、表示画面1200は省略されてもよい。
表示画面1220及び1240は第1のユーザ端末10を操作する購入者等が商品の売場を選択する画面イメージ図である。図8の例では、第1のユーザ端末10を操作する購入者等が表示画面1220で「B1 食品」を選択することで、食品を食材ごとに分けた売場の表示画面1240が表示されている。なお、表示画面1040では、タイムセール中の売場など、購入者等に注目してほしい売場を分かりやすく表示してもよい。
第1のユーザ端末10を操作する購入者等は、表示画面1240から第1のカメラ16の撮影画像を見たい売場を、例えばクリックなどの操作により選択する。表示画面1240から例えば売場「鮮魚」が選択されると、第1のユーザ端末10は購入者等により選択された売場に設置された第1のカメラ16の撮影画像を情報処理装置14から受信し、第1の表示領域に第1のカメラ16の撮影画像が表示された表示画面1260を表示する。第1のユーザ端末10を操作する購入者等は、例えば表示画面1260において第1のカメラ16の撮影画像の撮影方向を選択できる。
第1のユーザ端末10を操作する購入者等は、表示画面1260に表示された第1のカメラ16の撮影画像により、売場の雰囲気や売場に並べられた商品等を確認できる。例えば気になる商品があり、販売者からの説明を受けたければ、第1のユーザ端末10を操作する購入者等は、販売者が操作する第2のユーザ端末12を呼び出す。
表示画面1280は第1のユーザ端末10を操作する購入者等が第2のユーザ端末12を操作する販売者を呼び出し、購入者等と販売者とがコミュニケーションを開始したあとの画面イメージ図である。第1のユーザ端末10は、コミュニケーションを開始した販売者の目線画像等の撮影画像を第2のカメラ18から受信し、第2の表示領域に第2のカメラ18の撮影画像が表示された表示画面1280を表示する。
購入者等は、販売者との双方向のコミュニケーションを開始したあと、表示画面1280に含まれる第2のカメラ18による商品の撮影画像を見ながら、商品の説明を販売者から受けることができる。購入したい商品が見つかれば、第1のユーザ端末10を操作する購入者等は、表示画面1300を表示させる操作を行い、表示画面1300から商品の購入指示の操作を行う。表示画面1300は、購入者等から第2のカメラ18の撮影画像に写っている商品の購入指示を受け付ける画面イメージである。なお、表示画面1300は商品の価格が「¥4,980」から「¥2,580」に変更されている。例えば商品の価格は経過時間と値引率とを対応付けた情報に基づき、自動で変更して表示画面1300に表示してもよいし、販売者が手動で変更してもよい。また、本実施例では表示画面1300に商品の価格を表示する例を示したが、第2のカメラ18の撮影画像から読み取った商品情報(バーコードや商品画像等の読み取り)に基づき表示画面1280の各商品に重畳的に商品の価格を表示して、購入者等からの商品の購入指示を受け付けるようにしてもよい。
表示画面1300から商品の購入指示を受け付けると、第1のユーザ端末10は情報処理装置14を介して購入者等からの商品の購入指示に応じた決済処理を実行する。図7及び図8はB2C(企業と一般消費者との取引)の例であったが、例えば図9に示すようにB2B(企業と企業との取引)であってもよい。
図9は本実施形態に係る情報処理システムにおける業者間取引での他の利用シーンの一例について説明する図である。本実施形態では、鮮魚・青果卸売市場や直売所における仕入業者等の買い手(バイヤー)が第1のユーザ端末10を操作する購入者等となる。また、本実施形態では、仲卸業者や卸業者等の売り手(サプライヤー)が第2のユーザ端末12を操作する販売者となる。ここでは鮮魚・青果卸売市場や直売所における仕入業者等の買い手(以下、単に「購入者等」という。)と、仲卸業者や卸業者等の売り手(以下、単に「販売者」という。)との間でも適用できる例を説明する。図9は図7等と同様、第1のユーザ端末10に表示される表示画面の遷移例を示している。
表示画面1400は、情報処理装置14が提供するサービスに第1のユーザ端末10からログインする画面イメージである。なお、表示画面1400はサービスが会員向けの例である。サービスが会員向けでなく、誰でも利用できるサービスであれば、表示画面1400は省略されてもよい。
表示画面1420は第1のユーザ端末10を操作する購入者等が商品の売場(鮮魚・青果卸売市場や直売所など)を選択する画面イメージ図である。図8の例では、第1のユーザ端末10を操作する購入者等が表示画面1420から商品の売場を選択する。図8は売場が鮮魚・青果中央卸売市場や直売所の棚の例である。表示画面1420で商品を見たい棚又は島を購入者等が選択することで、第1のユーザ端末10は売場の表示画面1440を表示する。なお、表示画面1440では、食品ロス対策から、購入者等に注目してほしい売場を分かりやすく表示(赤枠を重畳的に表示するなど)してもよい。また、表示画面1440は、食品ロス対策から、陳列から所定の時間が経過した商品の売場を表示可能としてもよい。
第1のユーザ端末10を操作する購入者等は、表示画面1420から第1のカメラ16の撮影画像を見たい売場を、例えばクリックなどの操作により選択する。第1のユーザ端末10は購入者等により選択された売場に設置された第1のカメラ16の撮影画像を情報処理装置14から受信し、第1の表示領域に第1のカメラ16の撮影画像が表示された表示画面1440を表示する。第1のユーザ端末10を操作する購入者等は、例えば表示画面1440において第1のカメラ16の撮影画像の撮影方向を選択できる。
第1のユーザ端末10を操作する購入者等は、表示画面1440に表示された第1のカメラ16の撮影画像により、売場の雰囲気や売場に並べられた商品等を確認できる。例えば気になる商品があり、販売者からの説明を受けたければ、第1のユーザ端末10を操作する購入者等は、販売者が操作する第2のユーザ端末12を呼び出す。
表示画面1460は第1のユーザ端末10を操作する購入者等が第2のユーザ端末12を操作する販売者を呼び出し、購入者等と販売者とがコミュニケーションを開始したあとの画面イメージ図である。第1のユーザ端末10は、コミュニケーションを開始した販売者の目線画像等の撮影画像を第2のカメラ18から受信し、第2の表示領域に第2のカメラ18の撮影画像が表示された表示画面1460を表示する。
購入者等は、販売者との双方向のコミュニケーションを開始したあと、表示画面1460に含まれる第2のカメラ18による商品の撮影画像を見ながら、商品の説明を販売者から受けることができる。購入したい商品が見つかれば、第1のユーザ端末10を操作する購入者等は、表示画面1480を表示させる操作を行い、表示画面1480から商品の購入指示の操作を行う。表示画面1480は、購入者等から第2のカメラ18の撮影画像に写っている商品の購入指示を受け付ける画面イメージである。なお、表示画面1480は商品の価格が「¥4,980」から「¥2,580」に変更されている。表示画面1480から商品の購入指示を受け付けると、第1のユーザ端末10は情報処理装置14を介して購入者等からの商品の購入指示に応じた決済処理を実行する。なお、業者間取引の他の例として、さまざまな地域(地元)の商店・組合などの業者買付けといった地域振興に適用してもよい。
ここでは、図7に示した利用シーンを例として、情報処理システム1の情報処理装置14が実行する処理を説明する。図10は本実施形態に係る情報処理システムの処理の一例のフローチャートである。
ステップS10において、情報処理装置14は第1のユーザ端末10からログインを受け付ける。ログインが成功した場合、情報処理装置14はステップS12以降の処理を実行する。また、ログインが失敗した場合、情報処理装置14はステップS12以降の処理を実行しない。ここでは、ログインが成功したものとして説明を続ける。なお、情報処理システム1をログインなく利用できるようにすることもできる。その場合、ステップS10の処理は省略し、第1のユーザ端末10をゲストとして利用を許可する。ゲストとして利用を許可した購入者等に対して、情報処理システム1は以下のいずれかのステップでログインを要求してステップS10の処理を実行してもよいし(例えば、ステップ30における購入指示など)、会員登録を促してから実行するように構成することもできる。
ステップS12において、情報処理装置14の配信管理部50は第1のユーザ端末10を操作する購入者等から商品の売場の選択を受け付ける。ステップS14において、配信管理部50は例えば図5の配信設定情報を参照し、選択された売場に対応するルームURLに接続する。
ステップS16において、配信データ生成部52は第1のカメラ16から受信した撮影画像を取得する。ステップS18において、配信データ生成部52は第1のカメラ16の撮影画像を第1の表示領域に表示する表示画面の配信データを生成する。配信管理部50は生成した表示画面の配信データを第1のユーザ端末10に送信し、第1の表示領域に第1のカメラ16の撮影画像が表示された例えば図7の表示画面1060を、第1のユーザ端末10に表示させる。
例えば図7の表示画面1060において、第1のユーザ端末10を操作する購入者等は表示画面1060の第1の表示領域に表示される第1のカメラ16の撮影画像の撮影方向を選択しながら、売場の雰囲気や売場に並べられた商品等を確認する。例えば気になる商品があり、販売者からの説明を受けたければ、第1のユーザ端末10を操作する購入者等は販売者が操作する第2のユーザ端末12を呼び出す。
ステップS20において、配信管理部50は第1のユーザ端末10を操作する購入者等が第2のユーザ端末12を操作する販売者を呼び出す入力操作を、第1のユーザ端末10から受け付けるまで待機する。購入者等が販売者を呼び出す入力操作を第1のユーザ端末10から受け付けると、ステップS22の処理に進み、配信管理部50は購入者等から呼び出された販売者の第2のカメラ18に接続する。
ステップS24において、配信データ生成部52は第2のカメラ18から受信した撮影画像を取得する。ステップS26において、配信データ生成部52は第2のカメラ18の撮影画像を第2の表示領域に表示する表示画面の配信データを生成する。配信管理部50は生成した表示画面の配信データを第1のユーザ端末10に送信し、第1の表示領域に第1のカメラ16の撮影画像が表示され、第2の表示領域に第2のカメラ18の撮影画像が表示された、例えば図7の表示画面1080を、第1のユーザ端末10に表示させる。
ステップS28において、コミュニケーション機能提供部56は第1のユーザ端末10を利用する購入者等及び第2のユーザ端末12を利用する販売者に、通話機能を利用した音声によるコミュニケーション機能又はチャット機能を利用した文字によるコミュニケーション機能を、提供する。
例えば図7の表示画面1080において、第1のユーザ端末10を操作する購入者等は販売者との双方向のコミュニケーションを開始したあと、表示画面1080に含まれる第2のカメラ18による商品の撮影画像(販売者の目線画像等)を見ながら、商品の説明を販売者から受けることができる。このように、本実施形態によれば、購入者等は売場の雰囲気などの周囲の状況や、売場に並べられた商品等を確認しつつ、必要に応じて商品の質感や鮮度などの商品の細部なども確認できる。さらに、本実施形態によれば、購入者等は例えば商品の撮影映像を見ながら、臨場感のある商品の説明を販売者から受けることができる。購入したい商品が見つかれば、第1のユーザ端末10を操作する購入者等は、例えば表示画面1100を表示させる操作を行い、表示画面1100から商品の購入指示の操作を行う。
ステップS30において、情報処理装置14の購入処理部58は第1のユーザ端末10からの購入指示を受け付けたか否かを判定する。購入処理部58は第1のユーザ端末10からの購入指示を受け付けると、ステップS32の処理に進み、決済システム22と連携して、購入指示に応じた商品の決済処理を行う。購入処理部58は第1のユーザ端末10からの購入指示を受け付けていなければ、ステップS32の決済処理をスキップする。
ステップS34において、配信管理部50は第1のユーザ端末10を操作する購入者等による終了操作を、第1のユーザ端末10から受け付けたか否かを判定する。終了操作を受け付けていなければ、配信管理部50はステップS28に戻り、ステップS28~S34の処理を繰り返す。終了操作を受け付けると、配信管理部50は図10のフローチャートの処理を終了する。
[他の実施形態]
本実施形態では、第1のカメラ16を売場に設置する例を示したが、第1のカメラ16が移動するようにしてもよい。例えば第1のカメラ16は売場の従業員が持ち歩いてもよいし、売場を巡回する従業員に装着してもよいし、売場を巡回する自走式ロボットなどに装着してもよい。
また、本実施形態では第1のユーザ端末10を操作する購入者等が売場を選択して第1のカメラ16の撮影画像を表示画面の第1の表示領域に表示させていたが、この例に限定されない。例えば第1のカメラ16の位置から所定範囲の領域座標を管理し、第2のユーザ端末12の位置が第1のカメラ16の領域座標内に入ると、第1のカメラ16の撮影画像の第1の表示領域への表示を開始してもよい。第2のカメラ18の撮影画像は、第1のカメラ16の撮影画像と同時に表示を開始してもよいし、第1のカメラ16の撮影画像が表示される前から表示を開始してもよい。
例えば購入者等のログインにより販売者と対応付けることで、情報処理システム1は移動する販売者の第2のカメラ18が第1のカメラ16の領域座標内に入った場合に、購入者等の第1のユーザ端末10に、第1のカメラ16の撮影画像及び第2のカメラ18の撮影画像を含む表示画面を表示できる。なお、屋内センサとしてのBeacon、RFID(Radio Frequency Identification)やブルートゥース(登録商標)のような近距離無線通信などを利用して第1のカメラ16及び第2のカメラ18等の各デバイスの位置情報を取得することによる実現も可能である。
以上、本実施形態によれば、第1のユーザの一例である購入者等と第2のユーザの一例である販売者とがコミュニケーションを取りながら、販売者による(販売者が向く/向ける方向などにより撮影方向を決めている)第2のカメラ18の撮影画像を購入者等は確認できるため、購入者等から販売者に要望を伝えることにより、購入者等が希望するように販売者の目線で第2のカメラ18の撮影画像を表示しやすい。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
実施例に記載された装置群は本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。本実施形態によって本発明が限定されるものではなく、本実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、及び、いわゆる均等の範囲のものが含まれる。さらに、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
1 情報処理システム
10 第1のユーザ端末
12 第2のユーザ端末
14 情報処理装置
16 第1のカメラ
18 第2のカメラ
20 データ記憶システム
22 決済システム
28 ネットワーク
50 配信管理部
52 配信データ生成部
54 通信部
56 コミュニケーション機能提供部
58 購入処理部
60 記憶制御部
62 配信設定情報記憶部
64 スクリプト管理情報記憶部
66 データ記憶部
1060、1080 表示画面
特開2019-197427号公報

Claims (23)

  1. 購入者である第1の利用者が操作する第1の利用者端末及び販売者である第2の利用者が操作する第2の利用者端末と通信可能な情報処理装置であって、
    売場に設置された第1のカメラの第1の撮影画像であって、前記第1の利用者が選択した撮影方向の前記第1の撮影画像、及び第2の利用者によって利用される第2のカメラの第2の撮影画像、を前記第1の利用者端末に表示させるための配信データを生成する配信データ生成手段と、
    生成した前記配信データを前記第1の利用者端末に送信する通信手段と、
    前記第1の利用者端末を操作する前記第1の利用者及び前記第2の利用者端末を操作する前記第2の利用者に双方向のコミュニケーション機能を提供するコミュニケーション機能提供手段と、
    を有し、
    前記配信データ生成手段は、前記第1のカメラにより撮影された前記第1の撮影画像の第1の表示領域と、前記第2の利用者が装着する前記第2のカメラ又は前記第2の利用者が操作する前記第2の利用者端末の前記第2のカメラにより撮影された前記第2の撮影画像の第2の表示領域と、を含む表示画面の配信データを生成し、さらに、前記第1の利用者からの入力操作に基づき、前記第1の撮影画像を表示している前記表示画面に前記第2の撮影画像を追加する
    ことを特徴とする、情報処理装置。
  2. 前記第1のカメラが設置されている複数の前記売場の中から前記第1の利用者による該売場の選択、を受け付ける配信管理部を有し、
    前記配信データ生成手段は、前記第1の利用者によって選択された該売場に設置されている該第1のカメラの該第1の撮影画像の前記第1の表示領域、を含む表示画面の配信データを生成することを特徴とする、
    請求項1に記載の情報処理装置。
  3. 前記コミュニケーション機能提供手段は、音声又は文字による前記第1の利用者及び前記第2の利用者の双方向のコミュニケーション機能を提供する
    請求項1又は2記載の情報処理装置。
  4. 前記第1のカメラは、周囲を360度画像として撮影可能であり、
    前記配信データ生成手段は、前記360度画像から前記第1の利用者が選択した撮影方向の前記第1の撮影画像を生成する
    請求項1乃至の何れか一項記載の情報処理装置。
  5. 前記第2の撮影画像に含まれる被写体に関する購入指示を、前記第1の利用者端末から受け付け、前記購入指示に応じた購入処理を実行する購入処理手段、
    を更に有する請求項1乃至の何れか一項記載の情報処理装置。
  6. 前記第1の利用者は、前記第2の撮影画像に含まれる被写体に関する購入を行う購入者または購入予定者であり、
    前記第2の利用者は、前記被写体に関する販売を行う販売者である
    請求項1乃至の何れか一項に記載の情報処理装置。
  7. 前記第1のカメラの前記第1の撮影画像、前記第2のカメラの前記第2の撮影画像、及び前記コミュニケーション機能により発生した前記第1の利用者と前記第2の利用者との間の情報、の少なくとも一つを記憶部に記憶させる記憶制御部、
    を更に有する請求項1乃至の何れか一項に記載の情報処理装置。
  8. 前記第1のカメラと、前記第2のカメラとは、異なることを特徴とする
    請求項1乃至7の何れか一項に記載の情報処理装置。
  9. 前記第2のカメラは、前記第2の利用者端末に内蔵されたカメラであることを特徴とする
    請求項1乃至8の何れか一項に記載の情報処理装置。
  10. 前記第2の撮影画像は、前記第2の利用者の目線画像である
    請求項1乃至の何れか一項に記載の情報処理装置。
  11. 購入者である第1の利用者が操作する第1の利用者端末及び販売者である第2の利用者が操作する第2の利用者端末と通信可能な情報処理装置を、
    売場に設置された第1のカメラの第1の撮影画像であって、前記第1の利用者が選択した撮影方向の前記第1の撮影画像、及び第2の利用者によって利用される第2のカメラの第2の撮影画像、を前記第1の利用者端末に表示させるための配信データを生成する配信データ生成手段、
    生成した前記配信データを前記第1の利用者端末に送信する通信手段、
    前記第1の利用者端末を操作する前記第1の利用者及び前記第2の利用者端末を操作する前記第2の利用者に双方向のコミュニケーション機能を提供するコミュニケーション機能提供手段、
    として機能させ
    前記配信データ生成手段は、前記第1のカメラにより撮影された前記第1の撮影画像の第1の表示領域と、前記第2の利用者が装着する前記第2のカメラ又は前記第2の利用者が操作する前記第2の利用者端末の前記第2のカメラにより撮影された前記第2の撮影画像の第2の表示領域と、を含む表示画面の配信データを生成し、さらに、前記第1の利用者からの入力操作に基づき、前記第1の撮影画像を表示している前記表示画面に前記第2の撮影画像を追加する
    ことを特徴とする、プログラム。
  12. 購入者である第1の利用者が操作する第1の利用者端末と、販売者である第2の利用者が操作する第2の利用者端末と、情報処理装置と、が通信可能な情報処理システムであって、
    前記情報処理装置は、
    売場に設置された第1のカメラの第1の撮影画像であって、前記第1の利用者が選択した撮影方向の前記第1の撮影画像、及び第2の利用者によって利用される第2のカメラの第2の撮影画像、を前記第1の利用者端末に表示させるための配信データを生成する配信データ生成手段と、
    生成した前記配信データを前記第1の利用者端末に送信する通信手段と、
    前記第1の利用者端末を操作する前記第1の利用者及び前記第2の利用者端末を操作する前記第2の利用者に双方向のコミュニケーション機能を提供するコミュニケーション機能提供手段と、
    を有し、
    前記配信データ生成手段は、前記第1のカメラにより撮影された前記第1の撮影画像の第1の表示領域と、前記第2の利用者が装着する前記第2のカメラ又は前記第2の利用者が操作する前記第2の利用者端末の前記第2のカメラにより撮影された前記第2の撮影画像の第2の表示領域と、を含む表示画面の配信データを生成し、さらに、前記第1の利用者からの入力操作に基づき、前記第1の撮影画像を表示している前記表示画面に前記第2の撮影画像を追加し、
    前記第1の利用者端末は、
    受信した前記配信データに基づき、前記第1の撮影画像及び前記第2の撮影画像を表示する表示制御手段と、
    前記第1の利用者に前記第2の利用者との双方向のコミュニケーションを実行させる第1のコミュニケーション実行手段と、
    を有し、
    前記第2の利用者端末は、
    前記第2の利用者に前記第1の利用者との双方向のコミュニケーションを実行させる第2のコミュニケーション実行手段、
    を有する
    情報処理システム。
  13. 購入者である第1の利用者が操作する第1の利用者端末であって、
    売場に設置された第1のカメラの第1の撮影画像であって、前記第1の利用者が選択した撮影方向の前記第1の撮影画像、及び販売者である第2の利用者によって利用される第2のカメラの第2の撮影画像、を表示する表示制御手段と、
    前記第1の利用者端末を操作する前記第1の利用者に第2の利用者端末を操作する前記第2の利用者との双方向のコミュニケーションを実行させる第1のコミュニケーション実行手段と、
    を有し、
    前記表示制御手段は、
    前記第1のカメラにより撮影された前記第1の撮影画像の第1の表示領域と、前記第2の利用者が装着する前記第2のカメラ又は前記第2の利用者が操作する前記第2の利用者端末の前記第2のカメラにより撮影された前記第2の撮影画像の第2の表示領域と、を含む表示画面の配信データを受信し、さらに、前記第1の利用者からの入力操作に基づき、前記第1の撮影画像を表示している前記表示画面に前記第2の撮影画像を追加する
    ことを特徴とする、第1の利用者端末。
  14. 購入者である第1の利用者が操作する第1の利用者端末と、販売者である第2の利用者が操作する第2の利用者端末と、情報処理装置と、が通信可能な情報処理システムが実行する情報処理方法であって、
    前記情報処理装置は、
    売場に設置された第1のカメラの第1の撮影画像であって、前記第1の利用者が選択した撮影方向の前記第1の撮影画像、及び第2の利用者によって利用される第2のカメラの第2の撮影画像、を前記第1の利用者端末に表示させるための配信データを生成する配信データ生成ステップと、
    生成した前記配信データを前記第1の利用者端末に送信する通信ステップと、
    前記第1の利用者端末を操作する前記第1の利用者及び前記第2の利用者端末を操作する前記第2の利用者に双方向のコミュニケーション機能を提供するコミュニケーション機能提供ステップと、
    を実行し、
    前記配信データ生成ステップは、前記第1のカメラにより撮影された前記第1の撮影画像の第1の表示領域と、前記第2の利用者が装着する前記第2のカメラ又は前記第2の利用者が操作する前記第2の利用者端末の前記第2のカメラにより撮影された前記第2の撮影画像の第2の表示領域と、を含む表示画面の配信データを生成し、さらに、前記第1の利用者からの入力操作に基づき、前記第1の撮影画像を表示している前記表示画面に前記第2の撮影画像を追加し、
    前記第1の利用者端末は、
    受信した前記配信データに基づき、前記第1の撮影画像及び前記第2の撮影画像を表示する表示制御ステップと、
    前記第1の利用者に前記第2の利用者との双方向のコミュニケーションを実行させる第1のコミュニケーション実行ステップと、
    を実行し、
    前記第2の利用者端末は、
    前記第2の利用者に前記第1の利用者との双方向のコミュニケーションを実行させる第2のコミュニケーション実行ステップ、
    を実行する
    情報処理方法。
  15. 前記第1のカメラが設置されている複数の前記売場の中から前記第1の利用者による該売場の選択、を受け付ける配信管理ステップを有し、
    前記配信データ生成ステップは、前記第1の利用者によって選択された該売場に設置されている該第1のカメラの該第1の撮影画像の前記第1の表示領域、を含む表示画面の配信データを生成することを特徴とする、
    請求項14に記載の情報処理方法。
  16. 前記コミュニケーション機能提供ステップは、音声又は文字による前記第1の利用者及び前記第2の利用者の双方向のコミュニケーション機能を提供する
    請求項14又は15記載の情報処理方法。
  17. 前記第1のカメラは、周囲を360度画像として撮影可能であり、
    前記配信データ生成ステップは、前記360度画像から前記第1の利用者が選択した撮影方向の前記第1の撮影画像を生成する
    請求項14乃至16の何れか一項記載の情報処理方法。
  18. 前記第2の撮影画像に含まれる被写体に関する購入指示を、前記第1の利用者端末から受け付け、前記購入指示に応じた購入処理を実行する購入処理ステップ、
    を更に有する請求項14乃至17の何れか一項記載の情報処理方法。
  19. 前記第1の利用者は、前記第2の撮影画像に含まれる被写体に関する購入を行う購入者または購入予定者であり、
    前記第2の利用者は、前記被写体に関する販売を行う販売者である
    請求項14乃至18の何れか一項に記載の情報処理方法。
  20. 前記第1のカメラの前記第1の撮影画像、前記第2のカメラの前記第2の撮影画像、及び前記コミュニケーション機能により発生した前記第1の利用者と前記第2の利用者との間の情報、の少なくとも一つを記憶部に記憶させる記憶制御ステップ、
    を更に有する請求項14乃至19の何れか一項に記載の情報処理方法。
  21. 前記第1のカメラと、前記第2のカメラとは、異なることを特徴とする
    請求項14乃至20の何れか一項に記載の情報処理方法。
  22. 前記第2のカメラは、前記第2の利用者端末に内蔵されたカメラであることを特徴とする
    請求項14乃至21の何れか一項に記載の情報処理方法。
  23. 前記第2の撮影画像は、前記第2の利用者の目線画像である
    請求項14乃至22の何れか一項に記載の情報処理方法。
JP2021151223A 2021-09-16 2021-09-16 情報処理装置、プログラム、情報処理システム、利用者端末、及び情報処理方法 Active JP7464027B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021151223A JP7464027B2 (ja) 2021-09-16 2021-09-16 情報処理装置、プログラム、情報処理システム、利用者端末、及び情報処理方法
US17/931,599 US20230079461A1 (en) 2021-09-16 2022-09-13 Information processing apparatus, information processing system, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021151223A JP7464027B2 (ja) 2021-09-16 2021-09-16 情報処理装置、プログラム、情報処理システム、利用者端末、及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2023043537A JP2023043537A (ja) 2023-03-29
JP7464027B2 true JP7464027B2 (ja) 2024-04-09

Family

ID=85480070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021151223A Active JP7464027B2 (ja) 2021-09-16 2021-09-16 情報処理装置、プログラム、情報処理システム、利用者端末、及び情報処理方法

Country Status (2)

Country Link
US (1) US20230079461A1 (ja)
JP (1) JP7464027B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003331152A (ja) 2002-05-15 2003-11-21 Nippon Telegr & Teleph Corp <Ntt> Ecショッピング支援システム
JP2010198168A (ja) 2009-02-24 2010-09-09 G-Maga:Kk 接続管理システム、管理サーバ、顧客端末、接続管理方法、およびプログラム
JP2012216116A (ja) 2011-04-01 2012-11-08 Seiko Epson Corp 販売支援装置、販売支援装置システム、販売支援装置の制御方法、およびプログラム
JP2016066141A (ja) 2014-09-24 2016-04-28 株式会社そごう・西武 買物相談システム
WO2021140699A1 (ja) 2020-02-13 2021-07-15 株式会社白紙とロック 配信システム、ライブ配信装置、ライブ配信方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003331152A (ja) 2002-05-15 2003-11-21 Nippon Telegr & Teleph Corp <Ntt> Ecショッピング支援システム
JP2010198168A (ja) 2009-02-24 2010-09-09 G-Maga:Kk 接続管理システム、管理サーバ、顧客端末、接続管理方法、およびプログラム
JP2012216116A (ja) 2011-04-01 2012-11-08 Seiko Epson Corp 販売支援装置、販売支援装置システム、販売支援装置の制御方法、およびプログラム
JP2016066141A (ja) 2014-09-24 2016-04-28 株式会社そごう・西武 買物相談システム
WO2021140699A1 (ja) 2020-02-13 2021-07-15 株式会社白紙とロック 配信システム、ライブ配信装置、ライブ配信方法及びプログラム

Also Published As

Publication number Publication date
US20230079461A1 (en) 2023-03-16
JP2023043537A (ja) 2023-03-29

Similar Documents

Publication Publication Date Title
US9940751B1 (en) Measuring physical objects and presenting virtual articles
KR101894022B1 (ko) Vr 공간을 제공하는 디바이스를 이용한 결제 방법 및 그 디바이스
US20190012717A1 (en) Appratus and method of providing online sales information of offline product in augmented reality
TW201941135A (zh) 自助購物風險控制方法及系統
US10360572B2 (en) Image processing system, method and computer program product for evaluating level of interest based on direction of human action
US20220129976A1 (en) Information providing apparatus, information providing system, and information providing method
KR101756840B1 (ko) 촬영 이미지를 이용한 의사 전달 방법 및 장치
JP6120467B1 (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
KR101724999B1 (ko) 가상 쇼핑 방문자 단말기와 가상 쇼핑 서버를 포함하는 가상 쇼핑 시스템
CN109360275B (zh) 一种物品的展示方法、移动终端及存储介质
US20190333174A1 (en) System for providing removals simulation using virtual reality and augmented reality and brokering real estate therethrough
JP7415390B2 (ja) 購入商品管理システム、ユーザ端末、サーバ、購入商品管理方法、及びプログラム
US11095803B2 (en) Camera linked with POS apparatus and surveillance method using the same
KR20180029690A (ko) 매물에 관한 가상현실영상 제공방법 및 제공서버, 매물에 관한 가상현실영상 제작방법 및 제작서버
CN113891166A (zh) 数据处理方法、装置、计算机设备及介质
JP7464027B2 (ja) 情報処理装置、プログラム、情報処理システム、利用者端末、及び情報処理方法
JP6510116B2 (ja) 仮想オブジェクトの表示システムを用いた顧客把握システム、顧客把握システムプログラム及び顧客把握方法
JP7124281B2 (ja) プログラム、情報処理装置、画像処理システム
JP2010198168A (ja) 接続管理システム、管理サーバ、顧客端末、接続管理方法、およびプログラム
JP2003168021A (ja) 画像伝送システム、通信制御装置及び通信制御方法
WO2018033954A1 (ja) ショッピング支援システム及びショッピング支援方法
CN113674397A (zh) 一种数据处理方法及装置
KR101339088B1 (ko) 영상주문시스템
TWI700588B (zh) 顯示控制系統、終端裝置、電腦程式、控制裝置、以及顯示控制方法
JP2005346153A (ja) 商品購入システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R150 Certificate of patent or registration of utility model

Ref document number: 7464027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150