JP6959422B1 - 送信プログラム、端末装置および送信方法 - Google Patents

送信プログラム、端末装置および送信方法 Download PDF

Info

Publication number
JP6959422B1
JP6959422B1 JP2020177163A JP2020177163A JP6959422B1 JP 6959422 B1 JP6959422 B1 JP 6959422B1 JP 2020177163 A JP2020177163 A JP 2020177163A JP 2020177163 A JP2020177163 A JP 2020177163A JP 6959422 B1 JP6959422 B1 JP 6959422B1
Authority
JP
Japan
Prior art keywords
image
terminal device
shooting
target
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020177163A
Other languages
English (en)
Other versions
JP2022068471A (ja
Inventor
紗記子 西
鈴木 健司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2020177163A priority Critical patent/JP6959422B1/ja
Priority to JP2021165693A priority patent/JP2022068843A/ja
Application granted granted Critical
Publication of JP6959422B1 publication Critical patent/JP6959422B1/ja
Publication of JP2022068471A publication Critical patent/JP2022068471A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】多視点画像を用いたサービスの提供を促進する。【解決手段】本願に係る送信プログラムは、取引対象を異なる視点で撮像した多視点画像を取得する取得手順と、前記取引対象の情報を配信するサービスを提供するサービス提供装置に、前記取引対象に関連する対象関連情報とともに、前記多視点画像を送信する送信手順と、を端末装置に実行させる。【選択図】図1

Description

本発明は、送信プログラム、端末装置および送信方法に関する。
従来、被写体(撮影対象)を異なる視点で撮像した複数の画像である多視点画像(自由視点画像)を生成する技術が提供されている(例えば特許文献1参照)。
特開2016−119513号公報
しかしながら、上述した従来技術では、多視点画像を用いたサービスの提供を促進しているとは言えない場合がある。例えば、上述した従来技術では、ユーザに多視点画像を活用させているものの、多視点画像を用いたサービスの提供の点については考慮されていない。
本願は、上記に鑑みてなされたものであって、多視点画像を用いたサービスの提供を促進することを目的とする。
本願に係る送信プログラムは、取引対象を異なる視点で撮像した多視点画像を取得する取得手順と、前記取引対象の情報を配信するサービスを提供するサービス提供装置に、前記取引対象に関連する対象関連情報とともに、前記多視点画像を送信する送信手順と、を端末装置に実行させる。
実施形態の一態様によれば、多視点画像を用いたサービスの提供を促進することができる。
図1は、実施形態に係る情報処理システムによる処理の一例を示す図である。 図2は、実施形態に係る端末装置を用いた撮影の一例を示す図である。 図3は、実施形態に係る注視点の一例を示す図である。 図4は、実施形態に係る多視点画像を生成するための撮影の一例を示す図である。 図5は、実施形態に係る撮影時における表示の一例を示す図である。 図6は、実施形態に係る3Dモデルの配置の一例を示す図である。 図7は、実施形態に係る3Dモデルの表示の一例を示す図である。 図8は、実施形態に係る端末装置が有する機能構成の一例を説明する図である。 図9は、実施形態に係る第1アプリケーションが実現する機能構成の一例を示す図である。 図10は、実施形態に係る第2アプリケーションが実現する機能構成の一例を示す図である。 図11は、実施形態に係る取引対象情報記憶部の一例を示す図である。 図12は、実施形態に係るサービス提供装置の構成例を示す図である。 図13は、実施形態に係る送信処理の流れの一例を示すフローチャートである。 図14は、実施形態に係る情報処理の流れの一例を示すフローチャートである。 図15は、実施形態に係る情報処理システムによる処理の一例を示す図である。 図16は、実施形態に係る取引対象の一覧表示の一例を示す図である。 図17は、実施形態に係る多視点画像を含む画像群の表示の一例を示す図である。 図18は、実施形態に係る表示処理の流れの一例を示すフローチャートである。 図19は、ハードウェア構成の一例を示す図である。
以下に、本願に係る送信プログラム、端末装置および送信方法を実施するための形態(以下、「実施形態」と記載する。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る送信プログラム、端末装置および送信方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。
[実施形態]
〔1.情報処理〕
以下、図1を用いて、実施形態に係る情報処理の一例について説明する。図1は、実施形態に係る情報処理システムによる処理の一例を示す図である。情報処理システム1では、端末装置10により被写体(以下「撮影対象」ともいう)を異なる視点で撮像した複数の画像である多視点画像(自由視点画像)を撮影したり、端末装置10により多視点画像を表示したりする。以下では、情報処理システム1が提供する電子商取引サービスにおいて取引される取引対象を撮影対象の一例として説明する。なお、ここでいう取引対象とは、商品又はサービス(役務)の利用等である。なお、取引対象は、情報処理システム1において取引される対象であればどのようなものであってもよい。
〔1−1.情報処理システムの構成〕
まず、情報処理システム1の構成について説明する。図1に示すように、情報処理システム1は、端末装置10と、サービス提供装置100とが含まれる。端末装置10と、サービス提供装置100とは所定の通信網(図8のネットワークN等)を介して、有線または無線により通信可能に接続される。なお、図1に示した情報処理システム1には、複数台の端末装置10や、複数台のサービス提供装置100が含まれてもよい。
サービス提供装置100は、端末装置10により撮影された画像に基づく情報の入稿を受け付けるサーバ装置(情報処理装置)である。例えば、サービス提供装置100は、端末装置10により撮影された多視点画像の入稿を受け付ける。サービス提供装置100は、情報を配信するサービスを提供する。例えば、サービス提供装置100は、取引対象の情報を配信するサービスを提供する。例えば、サービス提供装置100は、取引対象の出品等、取引対象の売買に関するサービスを提供する。
例えば、サービス提供装置100は、端末装置10を利用するユーザに電子商取引サービスを提供する情報処理装置である。サービス提供装置100は、端末装置10に電子商取引サービスに関する各種情報を配信(提供)する。以下の例では、サービス提供装置100が電子商取引サービスの一例であるオークションサービスを提供する場合を示す。例えば、サービス提供装置100は、取引対象の出品サービスを提供し、ユーザ(出品者)からの取引対象の出品を受け付ける。また、サービス提供装置100は、出品された取引対象に対するユーザの入札を受け付ける。なお、サービス提供装置100は、オークションサービスに限らず、ショッピングサービス、フリーマーケットサービス等、取引対象を取引するための様々なサービスを提供してもよい。
また、サービス提供装置100が提供するオークションサービス等の電子商取引サービスは、多視点画像の登録や配信を行う点以外は通常の電子商取引サービスと同様であるため、電子商取引サービスに関する点については適宜説明を省略する。なお、サービス提供装置100が提供するサービスは、電子商取引サービスに限らず、例えばナビゲーションサービス、電子決済サービス、検索サービス、ニュース配信サービス、天気予報サービス、ファイナンスサービス、路線検索サービス、地図提供サービス、旅行サービス、飲食店紹介サービス、施設予約サービス、SNS(Social Networking Service)サービス、ウェブブログサービス等、様々な情報を配信するサービスであってもよい。
端末装置10は、ユーザによって利用されるデバイス(コンピュータ)である。図1の例では、端末装置10は、ユーザU1により利用されるスマートフォンである場合を示す。端末装置10は、ユーザによる操作を受け付ける。端末装置10は、画像を撮像する画像センサ(以下「カメラ」ともいう)を有する。例えば、端末装置10は、画像センサとして機能するアウトカメラであるカメラ70を有する。端末装置10は、カメラ70により画像を撮影する。なお、端末装置10は、スマートフォンに限らず、以下に示す処理に適用可能であれば、タブレット型端末や、携帯電話機、PDA(Personal Digital Assistant)、ノート型PC(Personal Computer)等の様々な種別の端末装置であってもよい。以下の説明では、端末装置10をユーザと同一視する場合がある。すなわち、以下では、必要に応じて、端末装置10をユーザ、ユーザを端末装置10と読み替えることもできる。
〔1−2.情報処理の一例〕
ここから、図1を示す処理について説明する。例えば、端末装置10は、取引対象に関する情報をサービス提供装置100へ送信するためのアプリケーション(例えば第1アプリケーション81等)を起動し、以下の処理を実行する。まず、端末装置10は、画像RP1、RP1、RP1、RP1、RP1、RP1、RP1、RP1、RP1の順で時系列に沿う9個の画像により多視点画像FV1を取得する(ステップS11)。図1の例では、端末装置10は、取引対象であるスニーカ(以下「靴A」とする)を9個の異なる視点で撮像した多視点画像FV1を取得する。なお、図1では、多視点画像FV1を構成する画像RP1〜RP1の9個の画像うち、最初の画像である画像RP1、中間の画像であるRP1、最後の画像であるRP1の3つの画像のみを図示する。多視点画像FV1は、左前のつま先から左側面を経由し左後ろのかかとへと撮影した多視点画像である。
図1の例では、端末装置10は、取引対象である靴A(撮影対象SB1)を撮影し、多視点画像FV1を生成するが、この点については後述する。端末装置10は、靴Aを撮影し多視点画像FV1を生成することにより、多視点画像FV1を取得する。
そして、端末装置10は、靴Aを撮影した多視点画像FV1を靴Aに関連する情報(以下「対象関連情報」ともいう)とともにサービス提供装置100へ送信する(ステップS12)。図1の例では、端末装置10は、靴Aをオークションに出品するための出品情報を対象関連情報INF1として、靴Aを撮影した多視点画像FV1とともにサービス提供装置100へ送信する。例えば、対象関連情報INF1には、靴Aの内容を説明する文字情報が含まれる。また、対象関連情報INF1には、靴Aの開始価格、最低落札価格、入札期間等のオークションに関する情報が含まれる。
端末装置10から靴Aの多視点画像FV1と靴Aの対象関連情報INF1とを受信したサービス提供装置100は、多視点画像FV1と対象関連情報INF1とを靴Aに対応付けて登録する(ステップS13)。図1の例では、サービス提供装置100は、靴Aをオークションへの出品物として追加し、靴Aに多視点画像FV1と対象関連情報INF1とを対応付けて管理する。
端末装置10が取引対象に関連する対象関連情報とともに、その取引対象の多視点画像をサービス提供装置100に送信することにより、サービス提供装置100は、端末装置10から取引対象の出品を登録し次第、その取引対象の多視点画像を配信することができる。したがって、端末装置10は、多視点画像を用いたサービスの提供を促進することができる。これにより、情報処理システム1は、オークションやフリマ等における取引対象の画像として、多視点画像を表示することができる。
〔1−3.撮影対象の撮影〕
ここから、多視点画像FV1を生成するためにユーザが撮影を行う場合について説明する。まず、図2を用いてユーザによる撮影について説明する。図2は、実施形態に係る端末装置を用いた撮影の一例を示す図である。なお、以下の説明では、ユーザU1により靴Aを撮影対象SB1として撮影する場合を一例として説明する。
図2に示すようにユーザU1は、端末装置10に設けられたカメラ70を撮影対象SB1へ向けて撮影対象SB1の撮影を行う。図2では、端末装置10は、撮影対象SB1の左側部側の視点位置(「視点VP」とする)からカメラ70の視線(「視線VL」とする)を撮影対象SB1に向けて撮影対象SB1を撮影する。
また、端末装置10は、カメラ70による撮影を基に注視点の決定を行う。端末装置10は、視点VPからの視線VLに基づいて注視点を決定する。端末装置10は、2つの視点から視線の情報に基づいて注視点を決定する。この点について、図3を用いて説明する。図3は、実施形態に係る注視点の一例を示す図である。
なお、図3では、撮影位置の違いに応じて、ユーザU1が利用する端末装置10を「端末装置10」、「端末装置10」と記載するが、特に区別せずに説明する場合は、端末装置10と記載する。同様に、撮影位置の違いに応じて、カメラ70を「カメラ70」、「カメラ70」と記載するが、特に区別せずに説明する場合は、カメラ70と記載する。
図3では、ユーザU1は、第1位置から端末装置10のカメラ70を撮影対象SB1へ向けて撮影対象SB1の撮影を行う。これにより、端末装置10は、撮影対象SB1の左斜め前側の視点VPからカメラ70の視線VLを撮影対象SB1に向けて撮影対象SB1を撮影する。
また、ユーザU1は、第2位置から端末装置10のカメラ70を撮影対象SB1へ向けて撮影対象SB1の撮影を行う。これにより、端末装置10は、撮影対象SB1の左側部側の視点VPからカメラ70の視線VLを撮影対象SB1に向けて撮影対象SB1を撮影する。
端末装置10は、第1位置及び第2位置の2つの視点からの撮影により取得した情報を用いて、注視点を決定する。端末装置10は、第1位置及び第2位置の2つの視点からの撮影により取得した情報を用いて、注視点の3次元位置(以下単に「位置」ともいう)を算出する。端末装置10は、2つの視点からの撮影により取得した情報を用いて、撮影対象SB1とカメラ70との間の距離を推定する。端末装置10は、視点VPからの視線VL、及び視点VPからの視線VLに基づいて注視点を決定する。
例えば、端末装置10は、視線VLと視線VLとが交差する位置(3次元点)を注視点GP1に決定する。このように、端末装置10は、視線VLと視線VLとに基づいて注視点GP1に算出する。なお、上記は一例に過ぎず、端末装置10は、例えば視線VLと視線VLとが交差しない場合、視線VLと視線VLとが近接する位置を注視点GP1に決定してもよい。例えば、図3では説明のために、平面視した場合を示すが、3次元空間では、視線VLと視線VLとが高さ方向でずれており交差しない場合、視線VLと視線VLとにおいて最も近接する位置の中間点を注視点GP1に決定してもよい。このように、端末装置10は、注視点が決定できればどのような方法により注視点を決定してもよい。
また、注視点の決定は、上記ように2つの視点からの撮影により注視点を決定する場合に限らない。例えば、端末装置10は、撮像対象の識別、奥行きの識別等の技術を適宜用いて自動的に設定してもよい。また、端末装置10は、例えば1つの視点からの撮影により注視点を決定してもよい。例えば、端末装置10は、撮影対象の接地面を認識して、注視点(の位置)を決定(算出)してもよい。例えば、端末装置10は、外部装置が提供する注視点決定ロジックを用いて注視点を決定してもよい。視線VLはカメラ70の光軸に沿う直線であってもよい。
端末装置10は、注視点GP1に基づいて、多視点画像に関する撮影を行うための複数の位置(視点)を決定する。この点について図4を用いて説明する。図4は、実施形態に係る多視点画像を生成するための撮影の一例を示す図である。
例えば、端末装置10は、設定された撮影する範囲や撮影を行う位置の数に基づいて、視点VP〜VPを決定(算出)する。例えば、端末装置10は、推定した撮影対象SB1とカメラ70との間の距離の情報を用いて、9個の視点VP〜VPを算出する。図4の例では、端末装置10は、設定された撮影する範囲(120°)や撮影を行う位置の数(9個)に基づいて、視点VP〜VPを決定する。例えば、端末装置10は、視点VPを中心として、15°間隔で配置され、各視線VL〜VLが注視点GP1を通過する9個の視点VP〜VPを決定する。端末装置10は、既存の3次元空間情報処理技術や画像処理技術を適宜用いて、上述した注視点及び視点の決定等の処理を行う。
なお、上記は一例に過ぎず、端末装置10は、注視点GP1に基づいて、設定された撮影する範囲と撮影を行う位置の数とを満たす位置(視点)が決定できれば、どのような方法により位置(視点)を決定してもよい。また、図4に示す撮影する範囲(120°)や撮影を行う位置の数(9個)は一例に過ぎず、撮影する範囲(角度)や撮影を行う位置の数(カット数)は任意の設定が可能である。例えば、撮影する範囲が90°であり、撮影を行う位置の数が5個であってもよい。また、各視点VP〜VPの位置は、撮影開始する前の注視点GP1と端末装置10との位置関係の変更に応じて変更されてもよい。また、端末装置10は、視差角度等のパラメータも設定で切り替え可能であってもよい。
ここで、上述した注視点GP1の決定や撮影を行う位置(視点)に関する端末装置10の表示について、図5を用いて説明する。図5は、実施形態に係る撮影時における表示の一例を示す図である。図5に示す表示画面DP1〜DP5は、端末装置10の画面(出力部50)の表示を示す。なお、図1〜図4で説明した点については適宜説明を省略する。
まず、表示画面DP1は図3での第1視点からの撮影を行う場合を示す。ユーザU1は表示画面DP1に示すように、撮影対象SB1の左斜め前側の視点VPから、端末装置10のカメラ70を撮影対象SB1に向け、表示画面DP1中の撮影対象SB1の中心をタップすることにより撮影対象SB1を撮影する。例えば、端末装置10は、ユーザU1がタップした位置とカメラ70(視点VP)とを通る直線を視線VLとして算出する。表示画面DP1に示すように、「商品の中心をタップしてください」を表示することで、多視点画像を生成するために適切な画像を撮影することができる。
また、表示画面DP2は図3での第2視点からの撮影を行う場合を示す。ユーザU1は表示画面DP2に示すように、撮影対象SB1の左斜め前側の視点VPから、端末装置10のカメラ70を撮影対象SB1に向け、表示画面DP2中の撮影対象SB1の中心をタップすることにより撮影対象SB1を撮影する。例えば、端末装置10は、ユーザU1がタップした位置とカメラ70(視点VP)とを通る直線を視線VLとして算出する。このように、ユーザU1は、第1位置から撮影対象SB1を撮影し、違う位置である第2位置から撮影対象SB1を撮影する。これにより、端末装置10は、第1位置及び第2位置の2つの視点からの撮影により取得した情報を用いて、注視点GP1を決定し、距離に応じたガイド表示を行う。例えば、端末装置10は、画像から奥行きを推定し、タップ位置の差から3次元的な注視点GP1を決定する。
そして、端末装置10は、表示画面DP3に示すように、撮影する角度を指定するためのピンMK1と、透過性を有する撮影位置ガイドGD1を重畳表示する。例えば、端末装置10は、既存のAR(Augmented Reality)技術や画像処理技術を適宜用いて、撮影位置ガイドGD1等のオブジェクト(仮想オブジェクト)を、カメラ70の撮影領域の表示に重畳させて表示する。撮影位置ガイドGD1は、注視点GP1を中心として、図4で示した視点VP〜VPの各々が対応する9個の〇が円弧上に配置された扇状のガイドである。ユーザU1は、所望の位置に端末装置10を配置し、ピンMK1をタップして撮影する角度を指定する。
表示画面DP4は撮影する角度が指定され、ピンMK1の表示がピンMK2に変更された場合を示す。図3での第2視点からの撮影を行う場合を示す。端末装置10は、撮影する角度が指定により、表示画面DP4に示すように、撮影位置ガイドGD2の向きを固定して表示する。
その後、端末装置10は、表示画面DP5に示すように、視点VP〜VPの各々に対応する位置ごとの撮影を開始する。ユーザU1は、各視点(位置)に端末装置10を配置して、視点(位置)ごとに撮影を行う。このように、端末装置10は、注視点の基準点を指定する前は、端末装置10の移動に応じて撮影位置ガイドGD1の向きも変動させ、指定後は、撮影位置ガイドGD2の向きを固定する。そして、端末装置10は、対応する視点で撮影が完了すると、白〇が黄色になる。カメラボタンの下の表示も変化させる。
図5の例では、端末装置10は、撮影領域の中心部を示すオブジェクトOB1を表示する。また、端末装置10は、撮影の開始に応じて、ボタンBT1の表示をボタンBT2に変更する。図5の例では、端末装置10は、複数の位置のうち、撮影が完了した撮影完了位置と、撮影が未完了である撮影未完了位置とを識別可能に表示するゲージGG1を表示する。図5の例では、撮影対象SB1のかかと側の3つの位置(視点VP〜VPに対応)での撮影が完了していることを示す。また、端末装置10は、撮影位置ガイドGD3中の撮影対象SB1のかかと側の3つの位置(視点VP〜VPに対応)に対応する「〇」の色を他の「〇」の色を異なる色に変更する。なお、端末装置10は、撮影の開始に応じて、撮影位置ガイドGD3の透過度を撮影位置ガイドGD2よりも高くしてもよい。端末装置10は、既存の3次元空間情報処理技術や画像処理技術を適宜用いて、上述したガイドの表示等の処理を行う。
〔1−4.画像の編集〕
撮影した画像については任意の編集が可能である。端末装置10は、撮影画像のうちクロップする範囲の指定を受け付け、指定された範囲のみの画像を生成してもよい。これにより、ユーザU1は、撮影後にクロップ範囲(商品が含まれている範囲、注視点の範囲)を抽出することができ、スムーズな多視点画像を作成できる。
なお、端末装置10は、撮影した各多視点画像を一列に並べ、カルーセル方式で結果を表示してもよい。端末装置10は、画面の下に表示されたバーを操作することで、画像の表示を切り替えて表示し、多視点画像を回転させてもよい。また、端末装置10は、画像ごとに編集を受け付けてもよい。端末装置10は、編集された画像を他の画像と区別可能に表示する。例えば、端末装置10は、編集された画像に白丸のアイコン等の任意のマークを付して表示することにより、他の画像と区別可能に表示する。
また、端末装置10は、色等を手動もしくは自動で補正可能であってもよい。端末装置10は、1枚ごとに画像の補正を受け付けてもよいし、全画像を対象とする補正を受け付けてもよい。これにより、例えば撮影時に逆光等により色味等が変わる場合であっても、適切に画像を補正し、多視点画像を生成することができる。また、端末装置10は、平均化技術を用いて、自動的に画像の補正を行ってもよい。また、端末装置10は、拡大縮小を手動もしくは自動で提供してもよい。
〔1−5.多視点画像の生成〕
上述した処理により、端末装置10は、撮影画像である画像P1、画像P1、画像P1、画像P1、画像P1、画像P1、画像P1、画像P1、及び画像P1の9個の撮影画像を撮影する。端末装置10は、視点VPに対応する位置において、画像P1を撮影する。端末装置10は、視点VPに対応する位置において、画像P1を撮影する。同様に、端末装置10は、視点VP〜VPの各々対応する位置において、画像P1〜P1を撮影する。
これにより、端末装置10は、自由視点画像(多視点画像)を生成するための基となる画像P1〜P1を取得する。そして、端末装置10は、取得した画像P1〜P1に基づいて、多視点画像を生成する。具体的には、端末装置10は、取得した9個の画像P1〜P1に関して所定の校正(カメラキャリブレーション)を行うことにより、多視点画像を構成するための画像に変換するための適切なパラメータ(例えば、射影変換行列)を取得する。そして、端末装置10は、取得されたパラメータを用いて画像データ(画像P1〜P1)を射影変換する。そして、端末装置10は、射影変換された画像(画像RP1〜RP1)を連結することにより、複数の画像(画像RP1〜RP1)について滑らかに表示を遷移させることのできる自由視点画像(多視点画像)を生成するが、自由視点画像(多視点画像)の生成の点については、特許文献1と同様であるため詳細な説明は省略する。このように、端末装置10は、ユーザU1に撮影を行わせた後、視点を制御可能な自由視点画像(多視点画像)を生成する。
〔1−6.撮影の容易化〕
上述のような撮影により、自由視点画像(多視点画像)を生成することができるが、撮影するのは、手間がかかる。例えば、複数の画像を等間隔で撮影すること難しく、自由視点画像(多視点画像)を生成するための画像の撮影を容易にすることが望まれている。そこで、端末装置10は、以下のような撮影をガイドするためのモデルを提供する。この点について図6及び図7を用いて説明する。図6は、実施形態に係る3Dモデルの配置の一例を示す図である。図7は、実施形態に係る3Dモデルの表示の一例を示す図である。なお、図1〜図5と同様の点については適宜説明を省略する。
図6に示すように、端末装置10は、撮影位置と撮影方向とを示す3Dモデル(3次元モデル)であるモデルMDを表示する。例えば、端末装置10は、既存のAR技術や画像処理技術を適宜用いて、モデルMD等のオブジェクト(仮想オブジェクト)を、カメラ70の撮影領域の表示に重畳させて表示する。詳細は後述するが、端末装置10は、撮影対象SB1とカメラ70との間に配置されるモデルMDを表示する。例えば、端末装置10は、注視点に対する角度と距離とが、所定の条件を満たすように配置したモデルMDを表示する。
図7は、端末装置10におけるモデルMDの表示例を示す。なお、モデルMDの表示態様は、図7に示す態様に限らず、ユーザに所定の視点での撮影位置及び撮影方向を認識させることができれば、どのような表示態様であってもよい。図7の例では、端末装置10に「1/13」と表示されており、13個の視点のうち、1個の視点での撮影が完了し、残り12個の視点での撮影が未完了であることを示す。
図7では、端末装置10に表示された撮影位置ガイドGDの円弧上の丸(図7には5個を図示)のうち、右端の丸(〇)に対応する視点での撮影が完了しているものとする。端末装置10は、撮影が未完了である12個の視点のうち、右端から2つ目の丸(〇)に対応する視点での撮影位置及び撮影方向を示すモデルMD(図7中の黒枠)を表示する。例えば、端末装置10は、注視点GP1に応じたガイド用のアイコンである撮影位置ガイドGDと重ね合わせるように、モデルMDを表示する。なお、図7に示す表示は一例に過ぎず、端末装置10は、既存の3次元空間情報処理技術や画像処理技術を適宜用いて、上述したモデルMDの表示等の処理を行う。
ユーザU1は、オブジェクトOB(図7中の白抜きの枠)をモデルMDに合わせることにより、撮影位置ガイドGDの右端の〇に対応する視点での撮影を行う。例えば、端末装置10は、オブジェクトOBとモデルMDとの重なりに応じて撮影を行う。端末装置10は、オブジェクトOBとモデルMDとが重なる範囲が所定の閾値以上である場合、条件を満たすと判定して、撮影を実行する。例えば、端末装置10は、指定された時間等の所定時間内に、オブジェクトOB等の2DガイドとモデルMD等の3Dモデルがある閾値以上で重畳していた場合に撮影を行う。これにより、端末装置10は、撮影時の手振れを抑制することができる。なお、端末装置10は、オブジェクトOB等の2DガイドとモデルMD等の3Dモデルとが重なっていない範囲を判定に用いる場合、オブジェクトOB等の2DガイドとモデルMD等の3Dモデルがある閾値以下で重畳していた場合に撮影を行ってもよい。例えば、端末装置10は、モデルMD等の3Dモデルのうち、オブジェクトOB等の2Dガイドと重なっていない範囲が閾値以下である場合に撮影を行ってもよい。このように、閾値は判定に用いる情報に応じて適宜設定されてもよい。例えば、端末装置10は、オブジェクトOBとモデルMDとが一致すると、表示したり、バイブレーションで通知したりしてもよい。なお、端末装置10は、モデルMDを表示する位置にある程度遊び(誤差)を持たせてもよく、緩い閾値を用いてもよい。そして、端末装置10は、(自動で)撮影した後、撮影した画像を補正する。例えば、端末装置10は、モデルMDの表示の遊び(誤差)に応じて、撮影した画像を補正する。
上述のように、端末装置10は、オブジェクトOB等の2DガイドとモデルMD等の3Dモデルの重なりに応じて撮影を行うことにより、撮影時の手振れを抑制することができる。また、端末装置10は、上述したモデルのようなガイドを表示することで、自由視点画像(多視点画像)を生成するための画像の撮影を容易にすることができる。このように、端末装置10は、空間に浮かせたAR(拡張現実)の態様でガイドであるモデルMDを表示する。これにより、端末装置10は、ユーザU1に撮影位置や距離等を認識させるようにモデルMDを表示させることで、ユーザU1の手振れも抑制することができる。
〔1−7.撮影対象について〕
図1の例では、取引対象である靴Aを撮影対象とする場合を示したが、撮影対象となる被写体は、取引対象に限らず、例えば人や風景等であってもよい。
〔1−8.生成対象について〕
上述した例では、多視点画像を生成する場合を示したが、生成する対象は多視点画像に限らず、端末装置10は、撮影対象の3次元モデル(3Dモデル)を生成してもよい。例えば、端末装置10は、撮影画像を基に、撮影対象SB1である靴Aの3次元モデル(3Dモデル)を生成してもよい。
〔2.機能構成の一例〕
以下、上記した各処理を実行するため、端末装置10およびサービス提供装置100が有する機能構成の一例について説明する。
〔2−1.端末装置が有する機能構成の一例〕
まず、図8を用いて、端末装置10が有する機能構成の一例について説明する。図8は、実施形態に係る端末装置が有する機能構成の一例を説明する図である。図8に示すように、端末装置10は、通信部20、記憶部30、入力部40、出力部50、物理センサ60、カメラ70、および制御部80を有する。
(通信部20)
通信部20は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部20は、ネットワークNと有線または無線で接続され、サービス提供装置100との間で情報の送受信を行う。なお、通信部20は、各種のコンテンツを配信する配信サーバと通信可能であってもよい。
(記憶部30)
記憶部30は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部30は、取引対象情報記憶部31を有する。なお、記憶部30は、取引対象情報記憶部31に限らず、様々な情報を記憶する。記憶部30は、撮影位置ガイドや3Dモデル(モデルMD)等を表示するために用いる情報を記憶する。記憶部30は、第2アプリケーションで表示する取引対象に関する各種情報を記憶する。例えば、記憶部30は、サービス提供装置100から提供される取引対象の情報を記憶する。
(取引対象情報記憶部31)
取引対象情報記憶部31は、取引対象に関する情報を記憶する。図11は、実施形態に係る取引対象情報記憶部の一例を示す図である。図11に示した例では、取引対象情報記憶部31は、「取引対象ID」、「取引対象」、「対象関連情報」、「多視点画像ID」、「多視点画像情報」といった項目を有する。
「取引対象ID」は、取引対象を識別する識別情報を示す。「取引対象」は、取引対象を名称等、例えば商品名やサービス名(役務名)を特定するための情報を示す。なお、取引対象情報記憶部31は、取引対象IDに対応付けて、その取引対象のカテゴリを示す情報を記憶してもよい。例えば、取引対象情報記憶部31は、「靴」や「ヘアカット」等、商品やサービス等の取引対象のカテゴリを示す情報を記憶してもよい。
「対象関連情報」は、「取引対象ID」に対応付けられた取引対象の説明に関する情報である。例えば、対象関連情報には、取引対象を出品する場合、取引対象を出品するために必要な各種の情報(出品情報)が含まれる。対象関連情報には、例えば、取引対象の内容を説明する文字情報、価格、送料、在庫数等、取引対象に関連する各種の情報が含まれる。なお、名称や対象関連情報等の情報は、ユーザが入力してもよいし、端末装置10が外部装置から取得してもよい。
「多視点画像ID」は、対応する取引対象を撮影対象(被写体)として撮影した多視点画像(自由視点画像)の識別情報を示す。「多視点画像情報」は、「撮影画像データ」、「校正データ」、「変換後画像データ」といった項目を有し、多視点画像に関連する情報が記憶される。
「撮影画像データ」は、多視点画像の生成元となった画像データを示す。例えば「撮影画像データ」は、ユーザが第1アプリケーションによるガイドに従って、端末装置10により撮影した複数の画像データが記憶される。多視点画像は複数の画像データから生成されるため、撮影画像データは、一つの多視点画像に対して複数記憶される。
「校正データ」は、多視点画像を生成するための所定の校正データ(カメラキャリブレーション)を示す。図11では、校正データを「R1」のような概念で示す。校正データには、端末装置10が多視点画像を構成する画像を取得するために、撮影画像データを適切に射影変換するための種々のデータが含まれる。例えば、校正データには、画像を撮影した端末装置10のカメラ70(撮像装置)のカメラパラメータが含まれる。例えば、校正データには、カメラ70の焦点距離や、カメラ70によって生成される画像のアスペクト比及びスキュー等、多視点画像の生成に必要な各種のカメラパラメータが含まれる。
「変換後画像データ」は、多視点画像を構成する画像データを示す。変換後画像データは、例えば、撮影画像データに対して所定の校正を行い、射影変換された後の画像データを示す。
図11では、取引対象ID「SB1」で識別される取引対象(取引対象SB1)は、靴Aであることを示す。取引対象SB1の対象関連情報は、対象関連情報INF1であることを示す。例えば、対象関連情報INF1には、靴Aである取引対象SB1の内容を説明する文字情報、価格、送料、在庫数等、取引対象SB1に関連する各種の情報が含まれる。
また、取引対象SB1である靴Aの多視点画像は、多視点画像ID「FV1」で識別される多視点画像(多視点画像FV1)であることを示す。
多視点画像FV1は、撮影画像データが「P1」〜「P1」の9個の画像であることを示す。多視点画像FV1を生成するために、撮影画像である画像P1、画像P1、画像P1、画像P1、画像P1、画像P1、画像P1、画像P1、及び画像P1の9個の撮影画像が用いられることを示す。
また、多視点画像FV1において、画像P1〜画像P1の9個の画像の各々の校正データは「R1」〜「R1」であることを示す。例えば、画像P1の校正データは校正データR1であることを示す。
多視点画像FV1は、変換後画像データが「RP1」〜「RP1」の9個の画像であることを示す。例えば、変換後画像である画像RP1は、画像P1を校正データR1により変換された画像であることを示す。多視点画像FV1は、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1、及び画像RP1の9個の変換後画像により構成されることを示す。
すなわち、多視点画像FV1は、画像RP1、RP1、RP1、RP1、RP1、RP1、RP1、RP1、RP1の順で時系列に沿う9個の画像により構成されることを示す。例えば、多視点画像FV1においては、画像RP1、RP1、RP1、RP1、RP1、RP1、RP1、RP1、RP1の順で1〜9の番号が付される。例えば、多視点画像FV1は、JPEG(Joint Photographic Experts Group)等の形式の9個の画像RP1〜RP1により構成される。なお、多視点画像FV1は、画像RP1〜RP1による自由視点画像(多視点画像数)を提供可能であれば、APNG(Animated Portable Network Graphics)等の形式であってもよい。
なお、取引対象情報記憶部31は、上記に限らず、目的に応じて種々の情報を記憶してもよい。取引対象情報記憶部31は、多視点画像の初期表示に対応する画像(初期表示画像)を記憶してもよい。例えば、取引対象情報記憶部31は、多視点画像FV1の初期表示画像として、画像RP1を記憶する。
また、取引対象情報記憶部31は、各多視点画像の生成に用いる各種情報を対応する多視点画像IDに対応付けて記憶してもよい。例えば、取引対象情報記憶部31は、多視点画像IDに対応付けて、その多視点画像を生成する際に用いた注視点に関する情報を記憶する。例えば、取引対象情報記憶部31は、多視点画像FV1に対応付けて注視点GP1を示す情報を記憶する。
また、例えば、取引対象情報記憶部31は、多視点画像IDに対応付けて、その多視点画像を撮影するための複数の位置を示す情報を記憶する。例えば、取引対象情報記憶部31は、多視点画像FV1に対応付けて視点VP1〜VP9の各々の位置を示す情報を記憶する。
(入力部40)
入力部40は、利用者から各種操作を受け付ける入力装置である。入力部40は、タッチパネル機能により表示面を介してユーザからの各種操作を受け付ける。例えば、入力部40は、タッチパネルの機能によりユーザの操作を受け付ける受付部として機能する。また、入力部40は、端末装置10に設けられたボタンや、端末装置10に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
例えば、入力部40は、端末装置10の画面(出力部50)を介してユーザの指定操作等の操作を受け付ける。なお、入力部40によるユーザの操作の検知方式には、タブレット端末では主に静電容量方式が採用されるが、他の検知方式である抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式など、ユーザの操作を検知できタッチパネルの機能が実現できればどのような方式を採用してもよい。
(出力部50)
出力部50は、各種情報を表示するための表示装置であり、すなわち、画面である。例えば、出力部50は、液晶ディスプレイ等によって実現される。なお、端末装置10にタッチパネルが採用される場合には、入力部40と出力部50とは一体化される。出力部50を画面と記載する場合がある。
(物理センサ60)
物理センサ60は、端末装置10の物理的な状態を検知するセンサである。例えば、物理センサ60は、端末装置10の3軸方向の傾きを測定するジャイロセンサである。なお、物理センサ60は、ジャイロセンサに限定されるものではなく、例えば、加速度センサ、温度センサ、音量センサ、明度センサ等、任意のセンサが適用可能である。
(カメラ70)
カメラ70は、画像(動画或いは静止画)を撮像するための撮像装置である。カメラ70は、例えば、CCD(Charged-coupled devices)センサやCMOS(Complementary metal-oxide-semiconductor)センサ等の撮像素子により構成される。なお、カメラ70は、端末装置10の背面側(画面が設置された面の反対側の面)に設置されるメインカメラと、端末装置10の背面側(画面が設置された面)に設置されるサブカメラとにより構成されていてもよい。
(制御部80)
制御部80は、例えば、コントローラ(controller)であり、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、端末装置10内部の記憶装置に記憶されている各種プログラム(送信プログラム、提供プログラム、表示プログラム等の一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部80は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図8に示す例では、制御部80は、第1アプリケーション81や第2アプリケーション82を実行することで、上述した第1表示処理や第2表示処理を実現するための機能構成を有することとなる。なお、制御部80は、例えば、端末装置10のOS(Operating System)となるアプリケーションや、各種操作の受付を実現するためのアプリケーション等、任意のアプリケーションを他にも実行していてよい。また、第1アプリケーション81と第2アプリケーション82とは一体であり、1つのアプリケーションであってもよい。例えば、第1アプリケーション81及び第2アプリケーション82は、オークションアプリ等の電子商取引の利用に用いられるアプリケーションに組込まれたアプリケーションであってもよい。
(第1アプリケーション81)
第1アプリケーション81は、上述した送信処理や情報処理を端末装置10に実行させる。第1アプリケーション81は、多視点画像の生成や送信に用いられるアプリケーションである。例えば、図9は、実施形態に係る第1アプリケーションが実現する機能構成の一例を示す図である。図9に示すように、第1アプリケーション81は、第1取得部811、第1表示部812、判定部813、撮影部814、生成部815および、送信部816を実現する。
第1取得部811は、記憶部30から各種情報を取得する。第1取得部811は、取引対象情報記憶部31から各種情報を取得する。第1取得部811は、サービス提供装置100等の外部装置から各種情報を受信する。第1取得部811は、撮影対象に関する撮影対象情報を取得する。
第1取得部811は、取引対象を異なる視点で撮像した多視点画像を取得する。第1取得部811は、出品物である取引対象を異なる視点で撮像した多視点画像を取得する。第1取得部811は、取引対象情報記憶部31から多視点画像を取得する。第1取得部811は、自由視点画像(多視点画像)を生成するための基となる画像P1〜P1を取得する。
第1表示部812は、出力部50(液晶ディスプレイ等)により各種情報を表示する。第1表示部812は、出力部50に各種情報を表示する。第1表示部812は、出力部50を制御し、情報を表示する処理を実行する。
第1表示部812は、撮影対象の多視点画像に関する撮影を行うための撮影位置と撮影方向とを示す3Dモデルを提供する提供部として機能する。なお、3Dモデルの提供が他の装置への送信である場合、送信部816が提供部として機能してもよい。
第1表示部812は、多視点画像に関する撮影を行うためのガイドを表示する。第1表示部812は、撮影位置と撮影方向とを示す3Dモデルを含むガイドを表示する。第1表示部812は、3Dモデルを端末装置10の画面に表示する。第1表示部812は、撮影対象を含む撮影領域を表示する端末装置の画面に3Dモデルを重畳表示する。第1表示部812は、取引対象を含む撮影領域を表示する端末装置の画面に3Dモデルを重畳表示する。
第1表示部812は、撮影領域の中心部を示すオブジェクトを表示する。第1表示部812は、撮影対象を撮影する視点と撮影対象における注視点との間に配置される3Dモデルを表示する。第1表示部812は、視点からの視線に基づいて決定される注視点と、端末装置との間に配置される3Dモデルを表示する。第1表示部812は、第1視点からの第1視線、及び第2視点からの第2視線に基づいて決定される注視点と、端末装置との間に配置される3Dモデルを表示する。
第1表示部812は、取引対象における注視点に基づいて多視点画像を撮影するための複数の位置を示す撮影位置ガイドを表示する。第1表示部812は、注視点を中心とする扇の形状である撮影位置ガイドを表示する。第1表示部812は、複数の位置の各々が扇の円弧上に配置される撮影位置ガイドを表示する。第1表示部812は、複数の位置のうち一端側の第1位置と注視点とを結ぶ第1半径と、複数の位置のうち他端側の第2位置と注視点とを結ぶ第2半径と、がなす角を中心とする扇の形状である撮影位置ガイドを表示する。例えば、第1表示部812は、注視点GP1を中心として下方向に円弧を向けて撮影位置ガイドGD1を表示する。
第1表示部812は、取引対象を含む撮影領域を表示する端末装置の画面に、透過性を有する撮影位置ガイドを重畳表示する。第1表示部812は、複数の位置のうち、撮影が完了した撮影完了位置と、撮影が未完了である撮影未完了位置とを識別可能に表示する。
第1表示部812は、上述した表示に必要な各種の演算処理等を行う。例えば、第1表示部812は、注視点を決定する。第1表示部812は、各種情報を用いて、注視点を算出する。第1表示部812は、視点からの視線に基づいて注視点を決定する。
第1表示部812は、複数の視点から視線の情報に基づいて注視点を決定する。第1表示部812は、2つの視点から視線の情報に基づいて注視点を決定する。例えば、第1表示部812は、第1視点からの第1視線、及び第2視点からの第2視線に基づいて注視点を決定する。
なお、第1表示部812は、上記に限らず、様々な情報を用いて注視点を算出してもよい。例えば、第1表示部812は、1つの視点から視線の情報と平面の情報とに基づいて注視点を決定してもよい。第1表示部812は、1つの視点から視線の情報と、取引対象等の撮影対象が載置された面の情報とに基づいて注視点を決定してもよい。
第1表示部812は、注視点GP1に基づいて、多視点画像に関する撮影を行うための複数の位置(視点)を決定する。第1表示部812は、設定された撮影する範囲や撮影を行う位置の数に基づいて、視点VP〜VPを決定(算出)する。第1表示部812は、設定された撮影する範囲(120°)や撮影を行う位置の数(9個)に基づいて、視点VP〜VPを決定する。
例えば、第1表示部812は、推定した撮影対象SB1とカメラ70との間の距離の情報を用いて、9個の視点VP〜VPを算出する。第1表示部812は、注視点GP1とカメラ70との間の距離(「距離Db」とする)を、注視点GP1と視点VP〜VPとの間の距離とする。第1表示部812は、注視点GP1から距離Dbの位置に視点VP〜VPを配置する。なお、上記は一例に過ぎず、注視点GP1と視点VP〜VPとの間の距離は種々の情報を用いて適宜決定されてもよい。例えば、第1表示部812は、注視点GP1とカメラ70との間の距離を用いて、注視点GP1と視点VP〜VPとの間の距離を決定してもよい。
また、例えば、第1表示部812は、視点VPの位置を視点VPの位置に決定する。第1表示部812は、視点VPを中心として、所定の平面に沿って15°間隔で配置され、各視線VL〜VLが注視点GP1を通過する9個の視点VP〜VPを決定する。
例えば、第1表示部812は、カメラ70の姿勢に対応する平面上に、視点VPを中心として15°間隔で9個の視点VP〜VPを配置してもよい。例えば、第1表示部812は、視点VPを通り高さ方向に交差する(地平面に沿う)平面上に、視点VPを中心として15°間隔で9個の視点VP〜VPを配置してもよい。なお、上記は一例に過ぎず、9個の視点VP〜VPの配置は種々の情報を用いて適宜決定されてもよい。例えば、第1表示部812は、視点VPと視点VPとを通る平面上に9個の視点VP〜VPを配置してもよい。
第1表示部812は、注視点GP1の位置及び9個の視点VP〜VPの位置の情報を用いて、注視点GP1を中心として、視点VPを円弧の中央とする扇状の撮影位置ガイドGD1を表示する。第1表示部812は、注視点GP1を中心として、注視点GP1と視点VPとを結ぶ線分と、注視点GP1と視点VPとを結ぶ線分とを半径とする扇状の撮影位置ガイドGD1を表示する。
第1表示部812は、撮影位置と撮影方向とを示す3DモデルであるモデルMDを表示する。第1表示部812は、注視点GP1とカメラ70との間に配置され、9個の視点VP〜VPのうちいずれかの視点での撮影位置と撮影方向とを示すモデルMDを表示する。
第1表示部812は、9個の視点VP〜VPのうち撮影が未完了である視点での撮影位置と撮影方向とを示すモデルMDを表示する。第1表示部812は、9個の視点VP〜VPの各々が撮影完了であるか否かの情報を管理し、撮影が未完了の視点での撮影位置と撮影方向とを示すモデルMDを表示する。
図4を例に説明すると、第1表示部812は、例えば、撮影が未完了である視点VPでの撮影位置と撮影方向とを示すモデルMDを表示する。第1表示部812は、注視点GP1と視点VPとの間の位置にモデルMDを配置する。
第1表示部812は、視点VPでの撮影が完了した場合、視点VP以外の撮影が未完了の視点での撮影位置と撮影方向とを示すように、モデルMDの表示を変更する。例えば、第1表示部812は、視点VPでの撮影が完了した場合、視点VPに隣接する視点であって、撮影が未完了の視点VPでの撮影位置と撮影方向とを示すように、モデルMDの表示を変更する。この場合、第1表示部812は、視点VPでの撮影位置と撮影方向とを示すモデルMDを表示する。第1表示部812は、注視点GP1と視点VPとの間の位置にモデルMDを配置する。
また、第1表示部812は、視点VPでの撮影が完了した場合、視点VP以外の撮影が未完了の視点での撮影位置と撮影方向とを示すように、モデルMDの表示を変更する。例えば、第1表示部812は、視点VPでの撮影が完了した場合、視点VPに隣接する視点であって、撮影が未完了の視点VPでの撮影位置と撮影方向とを示すように、モデルMDの表示を変更する。この場合、第1表示部812は、視点VPでの撮影位置と撮影方向とを示すモデルMDを表示する。第1表示部812は、注視点GP1と視点VPとの間の位置にモデルMDを配置する。第1表示部812は、9個の視点VP〜VPの全てが撮影完了になるまで、影が未完了の視点での撮影位置と撮影方向とを示すようにモデルMDを表示する。
なお、上記は一例に過ぎず、第1表示部812は、所望の態様により、撮影位置と撮影方向とを示すモデルMDを表示してもよい。
判定部813は、各種の判定処理を行う。判定部813は、撮影を行うか否かの判定を行う。判定部813は、各対象物の位置を示す情報を用いて、撮影を行うか否かの判定を行う。判定部813は、撮影を行うか否かの判定用の閾値を用いて、撮影を行うか否かの判定を行う。
判定部813は、端末装置10の撮影領域の中心部と、3Dモデルとの重なりを判定する。判定部813は、オブジェクトが示す中心部と3Dモデルとの重なりを判定する。判定部813は、中心部と3Dモデルとが重なる範囲が所定の閾値以上である場合、所定の条件を満たすと判定する。例えば、判定部813は、バックプロジェクション等の画像処理の技術を用いて、判定を行う。例えば、判定部813は、バックプロジェクションの技術を用いて、3Dモデルがどこにあるかを特定し、オブジェクトが示す中心部と3Dモデルとの重なりを判定する。
撮影部814は、カメラ70を制御し、画像を撮影する処理を実行する。撮影部814は、判定部813により中心部と3Dモデルとの重なりが所定の条件を満たすと判定した場合、撮影を行う。例えば、撮影部814は、指定された時間等の所定時間内に、オブジェクトOB等の2DガイドとモデルMD等の3Dモデルがある閾値以上で重畳していた場合に撮影を行う。また、撮影部814は、オブジェクトOB等の2DガイドとモデルMD等の3Dモデルとが重なっていない範囲を判定に用いる場合、オブジェクトOB等の2DガイドとモデルMD等の3Dモデルがある閾値以下で重畳していた場合にのみ撮影を行ってもよい。
生成部815は、自由視点画像(多視点画像)を生成する。生成部815は、撮影画像(元画像データ)に所定の変換処理を行うことにより、自由視点画像(多視点画像)を生成する。生成部815は、多視点から撮像された複数の画像を、3次元位置のある一点で各撮像装置(カメラ)の光軸が重なった状態で撮影されたかのような画像である自由視点画像(多視点画像)へ変換するため、射影変換行列を導出する。この場合、生成部815は、各画像を撮像する撮像装置のパラメータとして、カメラ70の位置姿勢を含むカメラパラメータを参照する。
生成部815は、第1取得部811により取得された画像P1〜P1に基づいて、自由視点画像(多視点画像)を生成する。生成部815は、9個の画像P1〜P1に関して所定の校正(カメラキャリブレーション)を行うことにより、多視点画像を構成するための画像に変換するための適切なパラメータ(例えば、射影変換行列)を生成する。例えば、生成部815は、カメラ70のパラメータ(カメラパラメータ)を用いて画像P1〜P1を射影変換する。例えば、生成部815は、校正データR1〜R1を用いて、画像P1〜P1を射影変換する。そして、生成部815は、射影変換された画像RP1〜RP1を連結することにより、複数の画像RP1〜RP1について滑らかに表示を遷移させることのできる自由視点画像(多視点画像)を生成する。
なお、端末装置10は、外部装置により生成された自由視点画像(多視点画像)を取得してもよい。例えば、端末装置10は、自由視点画像(多視点画像)を生成する外部装置(生成装置)に、画像P1〜P1及び校正データR1〜R1を送信部816により送信し、生成装置により生成された画像RP1〜RP1を第1取得部811により受信してもよい。この場合、第1アプリケーション81には、生成部815は含まれなくてもよい。
送信部816は、サービス提供装置100等の外部装置に各種情報を送信する。送信部816は、取引対象の情報を配信するサービスを提供するサービス提供装置100に、取引対象に関連する対象関連情報とともに、多視点画像を送信する。送信部816は、取引対象の売買に関するサービスを提供するサービス提供装置に、取引対象の対象関連情報とともに、多視点画像を送信する。
送信部816は、取引対象の出品に関するサービスを提供するサービス提供装置に、取引対象の対象関連情報とともに、多視点画像を送信する。送信部816は、取引対象の出品に関するサービスを提供するサービス提供装置に、取引対象の対象関連情報とともに、多視点画像を送信する。送信部816は、取引対象の出品サービスを提供するサービス提供装置に、出品物である取引対象の出品情報である対象関連情報とともに、多視点画像を送信する。例えば、送信部816が提供部として機能する場合、送信部816は、3Dモデルをサービス提供装置100等の外部装置へ送信する。
(第2アプリケーション82)
第2アプリケーション82は、上述した表示処理を端末装置10に実行させる。第2アプリケーション82は、多視点画像等のコンテンツの表示に用いられるアプリケーションである。例えば、図10は、実施形態に係る第2アプリケーションが実現する機能構成の一例を示す図である。図10に示すように、第2アプリケーション82は、第2取得部821、第2表示部822、および受付部823を実現する。
第2取得部821は、記憶部30から各種情報を取得する。第2取得部821は、取引対象情報記憶部31から各種情報を取得する。第2取得部821は、サービス提供装置100等の外部装置から各種情報を受信する。第2取得部821は、サービス提供装置100から提供(配信)される情報を受信する。例えば、第2取得部821は、多視点画像を含む画像群を取引対象の情報として受信する。
第2取得部821は、サービス提供装置100から提供される取引対象の情報を受信し、記憶部30に格納する。なお、第2アプリケーション82は、取引対象の情報を記憶部30に記憶しない場合、第2アプリケーション82内で取引対象の情報を参照可能に管理してもよい。
第2取得部821は、撮影対象を異なる視点で撮像した多視点画像である第1画像と、第1画像とは異なる第2画像とを含む画像群を取得する。第2取得部821は、記憶部30から画像群を取得する。
第2表示部822は、出力部50(液晶ディスプレイ等)により各種情報を表示する。第2表示部822は、出力部50に各種情報を表示する。第2表示部822は、出力部50を制御し、情報を表示する処理を実行する。
第2表示部822は、後述する表示に必要な各種の演算処理等を行う。第2表示部822は、端末装置10を利用するユーザによる端末装置10の画面における画像群の表示を切り替える操作に応じて、第1画像に含まれる画像を切り替えて端末装置10の画面に表示する。第2表示部822は、画像群中の画像ごとに表示される第1表示態様での表示時の操作に応じて、第1画像に含まれる画像を切り替えて端末装置10の画面に表示する。
第2表示部822は、操作に応じて、第1画像に含まれる各画像の順序に沿って表示する。第2表示部822は、操作に応じて、第1画像が撮影された時系列に沿って画像ごとに表示する。第2表示部822は、第1画像と第2画像とを並べて一覧表示する第2表示態様で画像群を表示し、第2表示態様で表示された一の画像が指定された場合、第2表示態様から、一の画像を表示する第1表示態様に切り替える。
第2表示部822は、第2表示態様において、第1画像のうち所定の画像を、第1画像を示す画像として表示する。第2表示部822は、第2表示態様において、第1画像のうち順序が最初の画像を表示する。
第2表示部822は、受付部823により受け付けたユーザの操作に応じて、第1画像に含まれる画像を切り替えて表示する。第2表示部822は、接触位置の移動に応じて、第1画像に含まれる画像を切り替えて端末装置10の画面に表示する。第2表示部822は、接触位置の所定の方向への移動に応じて、第1画像が撮影された時系列に沿って画像ごとに表示する。
第2表示部822は、第1画像のうち順序が最後の画像の表示時において、接触位置の所定の方向への移動に応じて、第1画像の次の順序の第2画像を表示する。第2表示部822は、接触位置の所定の方向とは逆方向への移動に応じて、第1画像が撮影された時系列とは逆順に画像ごとに表示する。第2表示部822は、第1画像のうち順序が最初の画像の表示時において、接触位置の逆方向への移動に応じて、第1画像の前の順序の第2画像を表示する。
第2表示部822は、靴Aの多視点画像FV1と、他の靴の画像IM1〜IM2、IM4〜IM6等を含む画像群IGPを表示する。第2表示部822は、他の靴の画像IM1〜IM2、靴Aの多視点画像FV1が最上段に配置され、他の靴の画像IM4〜IM6が2段目に配置され、靴の画像を一覧表示するコンテンツCT1を表示する。
第2表示部822は、ユーザU1の操作に応じて、画像の一覧表示の態様(第2表示態様)から画像ごとの表示の態様(第1表示態様)に表示を変更する。第2表示部822は、他の靴の画像IM1のみを表示した状態において、ユーザU1による順方向へのスワイプ操作に応じて、他の靴の画像IM1のみを表示した状態から、他の靴の画像IM2のみを表示した状態に表示を切り替える。第2表示部822は、他の靴の画像IM2のみを表示した状態において、ユーザU1による逆方向へのスワイプ操作に応じて、他の靴の画像IM2のみを表示した状態から、他の靴の画像IM1のみを表示した状態に表示を切り替える。
第2表示部822は、他の靴の画像IM2のみを表示した状態において、ユーザU1による順方向へのスワイプ操作に応じて、他の靴の画像IM2のみを表示した状態から、靴Aの多視点画像FV1のみを表示した状態に表示を切り替える。第2表示部822は、ユーザU1による順方向へのスワイプ操作に応じて、他の靴の画像IM2のみを表示した状態から、靴Aの多視点画像FV1のうち、最初の画像RP1を表示した状態に表示を切り替える。
第2表示部822は、ユーザU1の順方向へのスワイプ操作の移動に応じて、多視点画像FV1の表示を画像RP1から、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1の順で時系列に沿って表示する。
第2表示部822は、最後の画像RP1を表示した状態におけるユーザU1の順方向へのスワイプ操作の移動に応じて、多視点画像FV1の次の画像IM4を表示する。第2表示部822は、ユーザU1による順方向へのスワイプ操作に応じて、靴Aの多視点画像FV1のみを表示した状態から、他の靴の画像IM4のみを表示した状態に表示を切り替える。
受付部823は、ユーザの操作を受け付ける。受付部823は、入力部40を介してユーザの操作を受け付ける。例えば、受付部823は、端末装置10の画面(出力部50)へのユーザの接触をユーザの操作として受け付ける。受付部823は、ユーザによるスワイプ操作を受け付ける。また、受付部823は、フリック、タップ、ダブルタップ、ロングタップ、ピンチイン、ピンチアウト等の様々な操作を受け付ける。
受付部823は、第1表示態様において、ユーザによる操作を受け付ける。受付部823は、ユーザが端末装置10の画面に接触した状態において、接触位置を所定の方向に移動させる操作を受け付ける。受付部823は、ユーザが端末装置10の画面に接触した状態において、接触位置を所定の方向とは逆方向に移動させる操作を受け付ける。
受付部823は、ユーザの操作に応じて、ユーザによる情報の要求を受け付ける。受付部823は、受け付けた情報の要求をサービス提供装置100に、通信部20を介して送信する。受付部823は、ユーザによるカテゴリ「靴」の取引情報の要求を受け付け、カテゴリ「靴」の取引情報の要求をサービス提供装置100に送信する。
なお、上述した制御部80による各処理は、第1アプリケーション81や第2アプリケーション82等の専用アプリケーションを用いる場合に限らず、例えば、JavaScript(登録商標)やHTML(HyperText Markup Language)等を用いて実現されてもよい。
〔2−2.サービス提供装置が有する機能構成の一例〕
続いて、図12を用いて、サービス提供装置100が有する機能構成の一例について説明する。図12は、実施形態に係るサービス提供装置の構成例を示す図である。図12に示すように、サービス提供装置100は、通信部110、記憶部120、および制御部130を有する。なお、サービス提供装置100は、サービス提供装置100の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための出力部(例えば、液晶ディスプレイ等)を有してもよい。
(通信部110)
通信部110は、例えば、NIC等によって実現される。そして、通信部110は、ネットワークNと有線または無線で接続され、端末装置10との間で情報の送受信を行う。
(記憶部120)
記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、サービス提供に必要な各種情報を記憶する。例えば、記憶部120は、オークションサービスを提供するために必要な各種情報を記憶する。
記憶部120は、取引対象に関する各種情報を記憶する。記憶部120は、サービス提供において情報提供される取引対象に関する各種情報を記憶する。例えば、記憶部120は、取引対象の多視点画像や対象関連情報を、その取引対象を提供する提供元を特定する識別情報と対応づけて記憶する。
(制御部130)
制御部130は、例えば、コントローラであり、CPUやMPU等によって、サービス提供装置100内部の記憶装置に記憶されている各種プログラム(通知プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
図12に示すように、制御部130は、受信部131と、処理部132と、配信部133とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
(受信部131)
受信部131は、種々の情報を受信する。受信部131は、端末装置10等の外部装置から各種情報を受信する。受信部131は、端末装置10から多視点画像を受信する。受信部131は、端末装置10から多視点画像を受信する。
受信部131は、端末装置10から取引対象の出品を受け付ける。受信部131は、取引対象に関連する対象関連情報とともに、取引対象の多視点画像を受信する。受信部131は、出品物である取引対象の出品情報である対象関連情報とともに、多視点画像を受信する。例えば、受信部131は、撮影対象の多視点画像に関する撮影を行うための撮影位置と撮影方向とを示す3Dモデルを受信する。
受信部131は、端末装置10から情報の要求を受信する。受信部131は、取引対象のカテゴリを示す情報を情報の要求として受信する。受信部131は、端末装置10から出品された取引対象に対する入札を受け付ける。
(処理部132)
処理部132は、サービス提供に関する各種処理を実行する。処理部132は、受信部131により受信された情報を記憶部120に登録する。処理部132は、取引対象に関する各種情報を記憶部120に登録する。
処理部132は、各種情報を選択する。処理部132は、記憶部120に記憶された各種情報に基づいて、種々の情報を選択する。また、処理部132は、記憶部120から情報を選択する。処理部132は、記憶部120に登録された取引対象のうち、ユーザの要求に対応する取引対象の情報を選択する。処理部132は、記憶部120に登録された取引対象のうち、ユーザが要求するカテゴリに対応する取引対象の情報を選択する。
(配信部133)
配信部133は、各種情報を配信する。配信部133は、端末装置10に各種情報を送信する。配信部133は、端末装置10に要求された取引対象の情報を配信する。配信部133は、処理部132により選択された取引対象の情報を端末装置10に送信する。配信部133は、多視点画像を含む取引対象の情報を端末装置10に送信する。配信部133は、多視点画像を含む画像群を端末装置10に送信する。
〔3.情報処理のフロー〕
次に、図13を用いて、実施形態に係る送信処理の手順の一例について説明する。図13は、実施形態に係る送信処理の流れの一例を示すフローチャートである。例えば、端末装置10は、取引対象を異なる視点で撮像した多視点画像を取得する(ステップS101)。そして、端末装置10は、取引対象の情報を配信するサービスを提供するサービス提供装置100に、取引対象に関連する対象関連情報とともに、多視点画像を送信する(ステップS102)。
次に、図14を用いて、実施形態に係る情報処理の手順の一例について説明する。図14は、実施形態に係る情報処理の流れの一例を示すフローチャートである。例えば、端末装置10は、撮影対象に関する撮影対象情報を取得する(ステップS201)。そして、端末装置10は、撮影対象の多視点画像を撮影するための撮影位置と撮影方向とを示すモデルを提供する(ステップS202)。例えば、端末装置10は、撮影対象の多視点画像を撮影するための撮影位置と撮影方向とを示す3Dモデルを提供する。
〔4.表示処理の一例〕
上述した処理で生成された自由視点画像(多視点画像)は、情報配信に利用されてもよく、配信された多視点画像は配信先の端末装置10において表示される。この点について、図15〜図17を用いて説明する。
まず、図15を用いて配信処理の流れについて説明する。図15は、実施形態に係る情報処理システムによる処理の一例を示す図である。なお、図1等と同様の点については適宜説明を省略する。例えば、端末装置10は、取引対象に関する情報を表示するためのアプリケーション(例えば第2アプリケーション82等)を起動し、以下の処理を実行する。まず、端末装置10は、サービス提供装置100に取引対象に関する情報を要求する(ステップS21)。図15の例では、端末装置10は、カテゴリ「靴」に対応する取引対象に関する情報の要求を送信する。
そして、端末装置10から要求を受信したサービス提供装置100は、記憶部120(図12参照)に情報が記憶された取引対象のうち、カテゴリ「靴」に対応する取引対象に関する情報を選択する(ステップS22)。
そして、サービス提供装置100は、選択したカテゴリ「靴」に対応する取引対象に関する情報を端末装置10へ配信する(ステップS23)。図15の例では、サービス提供装置100は、靴Aの多視点画像FV1等を含む靴に関する画像群(以下「画像群IGP」とする)を端末装置10へ配信する。例えば、サービス提供装置100は、靴Aの多視点画像FV1と、他の靴の画像IM1〜IM2、IM4〜IM6等を含む画像群IGPを配信する。例えば、画像群IGPにおいては、他の靴の画像IM1〜IM2、多視点画像FV1、他の靴の画像IM4〜IM6の順序が付されているものとする。
そして、画像群IGPを受信した端末装置10は、画像群IGPに関する情報を表示する(ステップS24)。例えば、端末装置10は、図16に示すように画像群IGPに含まれる各画像を一覧表示する。図16は、実施形態に係る取引対象の一覧表示の一例を示す図である。端末装置10は、他の靴の画像IM1〜IM2、靴Aの多視点画像FV1が最上段に配置され、他の靴の画像IM4〜IM6が2段目に配置され、靴の画像を一覧表示するコンテンツCT1を表示する。コンテンツCT1は、画像群IGPを受信した端末装置10が画像群IGPを基に生成してもよいし、サービス提供装置100が生成し配信してもよい。なお、一覧表示において、多視点画像は通常の画像とは識別可能に表示されてもよい。例えば、端末装置10は、多視点画像FV1に多視点画像であることを示すアイコンなどを付して、多視点画像FV1が他の画像IM1〜IM2、IM4〜IM6とは異なり多視点画像であることを示してもよい。
そして、端末装置10は、ユーザU1の操作に応じて、画像の一覧表示の態様(第2表示態様)から画像ごとの表示の態様(第1表示態様)に表示を変更する。例えば、ユーザU1は、他の靴の画像IM1を指定した場合、他の靴の画像IM1のみを表示する第1表示態様に表示を変更する。以下、第1表示態様における表示の切り替えについて、図17を用いて説明する。図17は、実施形態に係る多視点画像を含む画像群の表示の一例を示す図である。図17では、端末装置10の表示内容の変更に応じて、端末装置10を端末装置10−1〜10−6として区別可能に示すが、特に区別なく説明する場合には、端末装置10と記載する。
図17において、端末装置10−1は、他の靴の画像IM1のみを表示した状態を示す。なお、端末装置10は、ユーザが端末装置10の画面に接触した指を右から左(順方向)へ移動させる操作(スワイプ操作)に応じて、画像群を順番に沿って表示する。例えば、端末装置10は、他の靴の画像IM1のみを表示した状態において、ユーザU1による順方向へのスワイプ操作に応じて、他の靴の画像IM1のみを表示した端末装置10−1から、他の靴の画像IM2のみを表示した端末装置10−2に表示を切り替える。すなわち、端末装置10は、ユーザU1による順方向へのスワイプ操作に応じて、次の画像を表示する。
なお、端末装置10は、ユーザが端末装置10の画面に接触した指を左から右(逆方向)へ移動させる操作(スワイプ操作)に応じて、画像群を逆順に表示する。例えば、端末装置10は、他の靴の画像IM2のみを表示した状態において、ユーザU1による逆方向へのスワイプ操作に応じて、他の靴の画像IM2のみを表示した端末装置10−2から、他の靴の画像IM1のみを表示した端末装置10−1に表示を切り替える。すなわち、端末装置10は、ユーザU1による逆方向へのスワイプ操作に応じて、前の画像を表示する。
図17において、端末装置10−2は、他の靴の画像IM2のみを表示した状態を示す。例えば、端末装置10は、他の靴の画像IM2のみを表示した状態において、ユーザU1による順方向へのスワイプ操作に応じて、他の靴の画像IM2のみを表示した端末装置10−2から、靴Aの多視点画像FV1のみを表示した端末装置10−3に表示を切り替える。具体的には、端末装置10は、他の靴の画像IM2のみを表示した状態において、ユーザU1による順方向へのスワイプ操作に応じて、他の靴の画像IM2のみを表示した端末装置10−2から、靴Aの多視点画像FV1のうち、最初の画像RP1を表示した端末装置10−3に表示を切り替える。
そして、端末装置10は、ユーザU1の順方向へのスワイプ操作の移動に応じて、多視点画像FV1の表示を画像RP1から、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1の順で時系列に沿って表示する。図17において、端末装置10−4は、多視点画像FV1のうち、画像RP1を表示した状態を示し、端末装置10−5は、多視点画像FV1のうち、最後の画像RP1を表示した状態を示す。なお、図17では、説明のための、多視点画像FV1のうち、最初の画像である画像RP1、中間の画像であるRP1、最後の画像であるRP1の3つの画像のみが表示された状態を図示するが、他の画像RP1、画像RP1、画像RP1、画像RP1、画像RP1、画像RP1についてもユーザU1の順方向へのスワイプ操作の移動に応じて、順番に沿って表示される。
また、端末装置10は、最後の画像RP1を表示した端末装置10−6の状態におけるユーザU1の順方向へのスワイプ操作の移動に応じて、多視点画像FV1の次の画像IM4を表示する。具体的には、端末装置10は、靴Aの多視点画像FV1のうち、最初の画像RP1を表示した端末装置10−5の状態において、ユーザU1による順方向へのスワイプ操作に応じて、靴Aの多視点画像FV1のみを表示した端末装置10−5から、他の靴の画像IM4のみを表示した端末装置10−6に表示を切り替える。端末装置10は、既存の画像処理技術を適宜用いて、上述した多視点画像を含む画像群の切替え表示等の処理を行う。
上述のように、端末装置10は、画像群の表示を切り替える操作(スワイプ操作)に応じて、多視点画像に含まれる画像を切り替えて表示することにより、多視点画像を含む画像群の表示の切替え操作を容易にすることができる。
このように、端末装置10は、第1表示態様において画像群の画像をカルーセル表示する。端末装置10は、ユーザによるスワイプ操作やスライド操作等に応じて、多視点画像について違う視点からの画像を表示する。なお、端末装置10は、表示中の画像が多視点画像ではない場合、通常の画像切り替えを行う。
例えば、端末装置10は、第2表示態様において多視点画像のうち最初の画像のサムネイル、または、多視点画像のうち最後の画像のサムネイルだけを一覧表示する。そして、端末装置10は、画面全体にサムネイルが表示された場合(第1表示態様等)、画像群の表示を切り替える操作で多視点画像を切り替え表示する。また、端末装置10は、シームレスに同じ操作で別の画像を表示する。例えば、端末装置10は、多視点画像のうち最後の画像と最後の画像をカルーセル表示し、その切り替えの間、多視点画像の他の画像を順次表示する。この結果、端末装置10は、カルーセルを切り替える操作を何度も行わずとも、シームレスに表示が可能となる。したがって、端末装置10は、カルーセルの形式で画像を表示する様々なサービスにおいて、多視点画像を他の画像と同様の操作により、シームレスに表示が可能となる。
〔4−1.他の表示例〕
なお、上述した表示は一例に過ぎず、端末装置10が画像群の表示を切り替える操作に応じて、多視点画像に含まれる画像を切り替えて表示可能であれば、その他の表示態様はどのような表示態様であってもよい。
端末装置10は、多視点画像をオーバレイさせて表示してもよい。例えば、端末装置10は、多視点画像のうち最初と最後の画像以外の画像をオーバレイさせて表示してもよい。また、端末装置10は、多視点画像を表示時においては、多視点画像に含まれる画像の切り替え表示をキャンセルし、前後の画像の表示に遷移するボタン等を表示してもよい。端末装置10は、多視点画像を表示時においては、左右両端に矢印マークを配置して、左側の矢印マークが選択された場合は、多視点画像の次の画像を表示し、右側の矢印マークが選択された場合は、多視点画像の前の画像を表示してもよい。なお、操作は逆の設定であってもよく、端末装置10は、左側の矢印マークが選択された場合は、多視点画像の前の画像を表示し、右側の矢印マークが選択された場合は、多視点画像の次の画像を表示してもよい。
また、端末装置10は、多視点画像のうち、最初の画像(のサムネイル)と最後の画像(のサムネイル)とを表示し、ユーザが選択した画像から他方の画像へと順に表示を切り替えて多視点画像を表示してもよい。この場合、端末装置10は、画面のうち一部(例えば下側)に配置された一覧表示領域に、多視点画像のうち、最初の画像(のサムネイル)と最後の画像(のサムネイル)とを表示する。そして、端末装置10は、一覧表示領域に表示された最初の画像(のサムネイル)と最後の画像(のサムネイル)とのうち、ユーザがいずれかの画像を選択した場合、画面のうち一部(例えば上側)に配置された選択対象表示領域に、ユーザが選択した画像から他方の画像へと順に表示を切り替えて多視点画像を表示してもよい。端末装置10は、最初の画像をユーザが選択した場合、選択対象表示領域において、最初の画像から最後の画像まで多視点画像を時系列に沿って順に表示してもよい。端末装置10は、最後の画像をユーザが選択した場合、選択対象表示領域において、最後の画像から最初の画像まで多視点画像を時系列の逆順に表示してもよい。
端末装置10は、一覧表示領域に最初の画像と最後の画像を表示し、選択対象表示領域の表示状態と一覧表示領域に対するユーザの指定に応じて、選択対象表示領域における多視点画像の表示を切り替えてもよい。例えば、端末装置10は、選択対象表示領域に最初の画像を表示時に、一覧表示領域中の最後の画像をユーザが選択した場合、選択対象表示領域において、最初の画像から最後の画像まで多視点画像を時系列に沿って順に表示してもよい。また、端末装置10は、選択対象表示領域に最後の画像を表示時に、一覧表示領域中の最初の画像をユーザが選択した場合、選択対象表示領域において、最後の画像から最初の画像まで多視点画像を時系列の逆順に表示してもよい。
〔4−2.情報処理のフロー〕
次に、図18を用いて、実施形態に係る表示処理の手順の一例について説明する。図18は、実施形態に係る表示処理の流れの一例を示すフローチャートである。例えば、端末装置10は、撮影対象を異なる視点で撮像した多視点画像である第1画像と、第1画像とは異なる第2画像とを含む画像群を取得する(ステップS301)。そして、端末装置10は、端末装置10を利用するユーザによる端末装置の画面における画像群の表示を切り替える操作に応じて、第1画像に含まれる画像を切り替えて端末装置の画面に表示する(ステップS302)。
〔5.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
〔6.プログラム〕
また、上述した実施形態に係る端末装置10やサービス提供装置100は、例えば図19に示すような構成のコンピュータ1000によって実現される。図19は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。
出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。
ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
例えば、コンピュータ1000が端末装置10として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部80の機能を実現する。
〔7.効果〕
上述してきたように、実施形態に係る端末装置(実施形態では端末装置10)は、取得部(実施形態では第1取得部811)と、送信部(実施形態では送信部816)と有する。第1取得部811は、取引対象を異なる視点で撮像した多視点画像を取得する。送信部816は、取引対象の情報を配信するサービスを提供するサービス提供装置(実施形態ではサービス提供装置100)に、取引対象に関連する対象関連情報とともに、多視点画像を送信する。
このように、実施形態に係る端末装置10は、取引対象の多視点画像をその取引対象に関連する情報とともに、取引対象の情報を配信するサービスを提供するサービス提供装置へ送信する。これにより、端末装置10は、サービス提供装置による多視点画像を含む情報の配信を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10において、送信部816は、取引対象の売買に関するサービスを提供するサービス提供装置に、取引対象の対象関連情報とともに、多視点画像を送信する。これにより、端末装置10は、取引対象の売買に関するサービスを提供するサービス提供装置による多視点画像を含む情報の配信を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10において、送信部816は、取引対象の出品に関するサービスを提供するサービス提供装置に、取引対象の対象関連情報とともに、多視点画像を送信する。これにより、端末装置10は、例えばオークション等の取引対象の出品に関するサービスを提供するサービス提供装置による多視点画像を含む情報の配信を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10において、送信部816は、取引対象の出品に関するサービスを提供するサービス提供装置に、取引対象の対象関連情報とともに、多視点画像を送信する。これにより、端末装置10は、例えばオークション等の取引対象の出品に関するサービスを提供するサービス提供装置による多視点画像を含む情報の配信を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10において、第1取得部811は、出品物である取引対象を異なる視点で撮像した多視点画像を取得する。送信部816は、取引対象の出品サービスを提供するサービス提供装置に、出品物である取引対象の出品情報である対象関連情報とともに、多視点画像を送信する。これにより、端末装置10は、例えばオークション等においてユーザの出品を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10は、表示部(実施形態では第1表示部812)を有する。第1表示部812は、多視点画像に関する撮影を行うためのガイドを表示する。これにより、端末装置10は、ユーザによる多視点画像に関する撮影を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10において、第1表示部812は、撮影位置と撮影方向とを示す3Dモデルを含むガイドを表示する。これにより、端末装置10は、ユーザが撮影位置と撮影方向とを認識でき、ユーザによる多視点画像に関する撮影を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10において、第1表示部812は、取引対象を含む撮影領域を表示する端末装置10の画面(実施形態では出力部50)に3Dモデルを重畳表示する。これにより、端末装置10は、撮影領域にガイドを重畳表示することで、ユーザによる多視点画像に関する撮影を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10において、第1表示部812は、取引対象における注視点に基づいて多視点画像を撮影するための複数の位置を示す撮影位置ガイドを表示する。これにより、端末装置10は、多視点画像を撮影するための複数の位置を示す撮影位置ガイドを表示することで、ユーザによる多視点画像に関する撮影を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10において、第1表示部812は、注視点を中心とする扇の形状である撮影位置ガイドを表示する。これにより、端末装置10は、扇の形状である撮影位置ガイドを表示することで、ユーザによる多視点画像に関する撮影を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10において、第1表示部812は、複数の位置の各々が扇の円弧上に配置される撮影位置ガイドを表示する。これにより、端末装置10は、複数の位置の各々が扇の円弧上に配置して表示することで、ユーザによる多視点画像に関する撮影を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10において、第1表示部812は、取引対象を含む撮影領域を表示する端末装置10の画面に、透過性を有する撮影位置ガイドを重畳表示する。これにより、端末装置10は、ユーザによる多視点画像に関する撮影を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
また、実施形態に係る端末装置10において、第1表示部812は、複数の位置のうち、撮影が完了した撮影完了位置と、撮影が未完了である撮影未完了位置とを識別可能に表示する。これにより、端末装置10は、ユーザが各位置での撮影が完了したか否かを認識することができ、ユーザによる多視点画像に関する撮影を容易にすることができるため、多視点画像を用いたサービスの提供を促進することができる。
以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、受付部は、受付手段や受付回路に読み替えることができる。
1 情報処理システム
10 端末装置
20 通信部
30 記憶部
31 取引対象情報記憶部
40 入力部
50 出力部
60 物理センサ
70 カメラ
80 制御部
81 第1アプリケーション
811 第1取得部
812 第1表示部(提供部)
813 判定部
814 撮影部
815 生成部
816 送信部
82 第2アプリケーション
821 第2取得部
822 第2表示部
823 受付部
100 サービス提供装置
110 通信部
120 記憶部
130 制御部
131 受信部
132 処理部
133 配信部

Claims (14)

  1. 取引対象を異なる視点で撮像した多視点画像を取得する取得手順と、
    前記取引対象の情報を配信するサービスを提供するサービス提供装置に、前記取引対象に関連する対象関連情報とともに、前記多視点画像を送信する送信手順と、
    前記多視点画像に関する撮影を行うためのガイドを表示する表示手順と、
    を端末装置に実行させ
    前記表示手順は、
    撮影位置と撮影方向とを示す3Dモデルを含む前記ガイドを表示す
    ことを特徴とする送信プログラム。
  2. 取引対象を異なる視点で撮像した多視点画像を取得する取得手順と、
    前記取引対象の情報を配信するサービスを提供するサービス提供装置に、前記取引対象に関連する対象関連情報とともに、前記多視点画像を送信する送信手順と、
    前記多視点画像に関する撮影を行うためのガイドを表示する表示手順と、
    を端末装置に実行させ、
    前記表示手順は、
    前記取引対象における注視点に基づいて前記多視点画像を撮影するための複数の位置を示す撮影位置ガイドを表示する
    ことを特徴とする送信プログラム。
  3. 前記表示手順は、
    前記注視点を中心とする扇の形状である前記撮影位置ガイドを表示する
    ことを特徴とする請求項に記載の送信プログラム。
  4. 前記表示手順は、
    前記複数の位置の各々が前記扇の円弧上に配置される前記撮影位置ガイドを表示する
    ことを特徴とする請求項に記載の送信プログラム。
  5. 前記表示手順は、
    前記取引対象を含む撮影領域を表示する前記端末装置の画面に、透過性を有する前記撮影位置ガイドを重畳表示する
    ことを特徴とする請求項のうちいずれか1つに記載の送信プログラム。
  6. 前記表示手順は、
    前記複数の位置のうち、撮影が完了した撮影完了位置と、撮影が未完了である撮影未完了位置とを識別可能に表示する
    ことを特徴とする請求項のうちいずれか1つに記載の送信プログラム。
  7. 前記表示手順は、
    前記取引対象を含む撮影領域を表示する前記端末装置の画面に前記3Dモデルを重畳表示する
    ことを特徴とする請求項に記載の送信プログラム。
  8. 前記送信手順は、
    前記取引対象の売買に関するサービスを提供する前記サービス提供装置に、前記取引対象の前記対象関連情報とともに、前記多視点画像を送信する
    ことを特徴とする請求項1〜7のうちいずれか1つに記載の送信プログラム。
  9. 前記送信手順は、
    前記取引対象の出品に関するサービスを提供する前記サービス提供装置に、前記取引対象の前記対象関連情報とともに、前記多視点画像を送信する
    ことを特徴とする請求項1〜8のうちいずれか1つに記載の送信プログラム。
  10. 前記取得手順は、
    出品物である前記取引対象を異なる視点で撮像した前記多視点画像を取得し、
    前記送信手順は、
    前記取引対象の出品サービスを提供する前記サービス提供装置に、出品物である前記取引対象の出品情報である前記対象関連情報とともに、前記多視点画像を送信する
    ことを特徴とする請求項に記載の送信プログラム。
  11. 取引対象を異なる視点で撮像した多視点画像を取得する取得部と、
    前記取引対象の情報を配信するサービスを提供するサービス提供装置に、前記取引対象に関連する対象関連情報とともに、前記多視点画像を送信する送信部と、
    前記多視点画像に関する撮影を行うためのガイドを表示する表示部と、
    を有し、
    前記表示部は、
    撮影位置と撮影方向とを示す3Dモデルを含む前記ガイドを表示する
    ことを特徴とする端末装置。
  12. 取引対象を異なる視点で撮像した多視点画像を取得する取得工程と、
    前記取引対象の情報を配信するサービスを提供するサービス提供装置に、前記取引対象に関連する対象関連情報とともに、前記多視点画像を送信する送信工程と、
    前記多視点画像に関する撮影を行うためのガイドを表示する表示工程と、
    み、
    前記表示工程は、
    撮影位置と撮影方向とを示す3Dモデルを含む前記ガイドを表示する
    ことを特徴とする送信方法。
  13. 取引対象を異なる視点で撮像した多視点画像を取得する取得部と、
    前記取引対象の情報を配信するサービスを提供するサービス提供装置に、前記取引対象に関連する対象関連情報とともに、前記多視点画像を送信する送信部と、
    前記多視点画像に関する撮影を行うためのガイドを表示する表示部と、
    を有し、
    前記表示部は、
    前記取引対象における注視点に基づいて前記多視点画像を撮影するための複数の位置を示す撮影位置ガイドを表示する
    ことを特徴とする端末装置。
  14. 取引対象を異なる視点で撮像した多視点画像を取得する取得工程と、
    前記取引対象の情報を配信するサービスを提供するサービス提供装置に、前記取引対象に関連する対象関連情報とともに、前記多視点画像を送信する送信工程と、
    前記多視点画像に関する撮影を行うためのガイドを表示する表示工程と、
    含み、
    前記表示工程は、
    前記取引対象における注視点に基づいて前記多視点画像を撮影するための複数の位置を示す撮影位置ガイドを表示する
    ことを特徴とする送信方法。
JP2020177163A 2020-10-22 2020-10-22 送信プログラム、端末装置および送信方法 Active JP6959422B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020177163A JP6959422B1 (ja) 2020-10-22 2020-10-22 送信プログラム、端末装置および送信方法
JP2021165693A JP2022068843A (ja) 2020-10-22 2021-10-07 送信プログラム、端末装置および送信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020177163A JP6959422B1 (ja) 2020-10-22 2020-10-22 送信プログラム、端末装置および送信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021165693A Division JP2022068843A (ja) 2020-10-22 2021-10-07 送信プログラム、端末装置および送信方法

Publications (2)

Publication Number Publication Date
JP6959422B1 true JP6959422B1 (ja) 2021-11-02
JP2022068471A JP2022068471A (ja) 2022-05-10

Family

ID=78282119

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020177163A Active JP6959422B1 (ja) 2020-10-22 2020-10-22 送信プログラム、端末装置および送信方法
JP2021165693A Pending JP2022068843A (ja) 2020-10-22 2021-10-07 送信プログラム、端末装置および送信方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021165693A Pending JP2022068843A (ja) 2020-10-22 2021-10-07 送信プログラム、端末装置および送信方法

Country Status (1)

Country Link
JP (2) JP6959422B1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157385A1 (ja) * 2015-03-30 2016-10-06 楽天株式会社 表示制御システム、表示制御装置、表示制御方法、及びプログラム
JP2017139759A (ja) * 2016-02-02 2017-08-10 株式会社モルフォ 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮影補助機材
WO2018030206A1 (ja) * 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラワーク生成方法及び映像処理装置
JP2020043534A (ja) * 2018-09-13 2020-03-19 Zホールディングス株式会社 情報表示プログラム、情報表示装置、情報表示方法および配信装置
JP2020091745A (ja) * 2018-12-06 2020-06-11 凸版印刷株式会社 画像撮像支援装置及び画像撮像支援方法
JP2020119335A (ja) * 2019-01-24 2020-08-06 株式会社バンダイナムコエンターテインメント プログラム、カメラワークデータ生成方法および電子機器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157385A1 (ja) * 2015-03-30 2016-10-06 楽天株式会社 表示制御システム、表示制御装置、表示制御方法、及びプログラム
JP2017139759A (ja) * 2016-02-02 2017-08-10 株式会社モルフォ 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮影補助機材
WO2018030206A1 (ja) * 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラワーク生成方法及び映像処理装置
JP2020043534A (ja) * 2018-09-13 2020-03-19 Zホールディングス株式会社 情報表示プログラム、情報表示装置、情報表示方法および配信装置
JP2020091745A (ja) * 2018-12-06 2020-06-11 凸版印刷株式会社 画像撮像支援装置及び画像撮像支援方法
JP2020119335A (ja) * 2019-01-24 2020-08-06 株式会社バンダイナムコエンターテインメント プログラム、カメラワークデータ生成方法および電子機器

Also Published As

Publication number Publication date
JP2022068471A (ja) 2022-05-10
JP2022068843A (ja) 2022-05-10

Similar Documents

Publication Publication Date Title
US20210073899A1 (en) Augmented Reality System and Method for Visualizing an Item
US10755485B2 (en) Augmented reality product preview
US10771704B2 (en) Method of displaying wide-angle image, image display system, and information processing apparatus
US20180336734A1 (en) Augmented Reality System, Method, and Apparatus for Displaying an Item Image in a Contextual Environment
JP6784168B2 (ja) 情報処理装置、プログラム、閲覧システム
CN103797812A (zh) 带评论运动图像生成装置及带评论运动图像生成方法
JP6277329B2 (ja) 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
CN107045431A (zh) 处于数字协作环境中的工作空间资产的本地缩放
JP6959422B1 (ja) 送信プログラム、端末装置および送信方法
JP2014228916A (ja) 体験型電子商取引サイトシステム
JP6942872B1 (ja) 表示プログラム、端末装置および表示方法
JP6974573B1 (ja) 情報処理プログラム、端末装置および情報処理方法
JP2014211908A (ja) 電子ショッピングシステム
EP3177005B1 (en) Display control system, display control device, display control method, and program
JP6844420B2 (ja) 閲覧システム、プログラム
US11847297B2 (en) Method of providing real-time VR service through avatar
US10991342B2 (en) Terminal apparatus, system, and method of displaying image
JP2021056852A (ja) プログラム、情報処理装置、表示方法
JP2018160227A (ja) 閲覧システム、プログラム
JP6051835B2 (ja) 映像出力装置、映像出力方法、及びプログラム
JP6831027B1 (ja) 配信システム、動画生成装置、および動画生成方法
JP2020013552A (ja) 端末装置、閲覧システム、表示方法、及びプログラム
JP2020009016A (ja) 端末装置、閲覧システム、表示方法、及びプログラム
JP2020095645A (ja) 表示プログラム、表示装置および表示方法
JP2020095602A (ja) 表示プログラム、表示装置および表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210219

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210219

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211007

R150 Certificate of patent or registration of utility model

Ref document number: 6959422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350