JP7363271B2 - Display device, display method, and display program - Google Patents
Display device, display method, and display program Download PDFInfo
- Publication number
- JP7363271B2 JP7363271B2 JP2019174271A JP2019174271A JP7363271B2 JP 7363271 B2 JP7363271 B2 JP 7363271B2 JP 2019174271 A JP2019174271 A JP 2019174271A JP 2019174271 A JP2019174271 A JP 2019174271A JP 7363271 B2 JP7363271 B2 JP 7363271B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- main body
- unit
- preference
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、表示装置、表示方法、及び表示プログラムに関する。 The present invention relates to a display device, a display method, and a display program.
配信者側の配信装置と受信者側の受信装置との間を通信可能な状態とすることにより、遠隔地の受信者に対して臨場感を感じられるように映像を配信する情報配信システムが知られている(例えば、特許文献1参照)。このような情報配信システムでは、配信者が配信装置として、例えばヘッドマウントディスプレイ(以下、HMDと表記する)、スマートフォン等の表示部を有する表示装置を装着又は保持した状態で、遠隔地の受信者に対してショッピングを代行することが可能である。 An information distribution system is known that enables communication between the distribution device on the distributor's side and the receiving device on the receiver's side, thereby distributing video so that the recipient in a remote location can feel a sense of realism. (For example, see Patent Document 1). In such an information distribution system, a distributor wears or holds a display device having a display unit, such as a head-mounted display (hereinafter referred to as HMD) or a smartphone, as a distribution device, and sends the message to a recipient in a remote location. It is possible to do shopping on your behalf.
上記の技術では、ショッピングの代行者である表示装置の使用者(配信者)が、依頼者(受信者)の好みに応じた商品の映像を受信者に提供する等、受信者の意に沿うように行動することが求められる。そのため、使用者は依頼者と頻繁にコミュニケーションをとる必要が生じ、負担が大きくなる場合がある。 In the above technology, the display device user (distributor) who is a shopping agent provides the recipient with images of products according to the requester's (receiver's) preferences, etc. You are required to act as such. Therefore, the user is required to communicate frequently with the client, which may place a heavy burden on the user.
本発明は、上記に鑑みてなされたものであり、使用者の負担を低減することが可能な表示装置、表示方法、及び表示プログラムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a display device, a display method, and a display program that can reduce the burden on the user.
本発明に係る表示装置は、表示部を有する本体部と、前記表示部に表示する映像を取得する映像取得部と、取得した前記映像から所定のオブジェクトを抽出する映像解析部と、オブジェクトの要素についての嗜好を示す要素データを記憶する嗜好記憶部と、前記嗜好記憶部に記憶された前記要素データと、前記映像解析部が抽出した所定のオブジェクトとの一致度合いを示す嗜好一致度を求める演算部と、前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示する表示制御部とを備え、前記本体部の周囲の環境についての環境情報を検出する環境情報処理部を更に備え、前記表示制御部は、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、前記表示制御部は、前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数を多くする。 A display device according to the present invention includes a main body having a display section, a video acquisition section that acquires a video to be displayed on the display section, a video analysis section that extracts a predetermined object from the acquired video, and elements of the object. a preference storage unit that stores element data indicating preferences for; and a calculation for determining a degree of preference matching that indicates the degree of agreement between the element data stored in the preference storage unit and a predetermined object extracted by the video analysis unit. and a display control unit that displays the extracted predetermined objects side by side on the display unit based on the preference matching degree , and detects environmental information about the environment around the main body unit. The display control unit further includes a display control unit that sets a display mode of the display unit based on the preference matching degree and the environmental information, and the environmental information determines whether the main unit is located indoors. The display control section increases the number of predetermined objects to be displayed side by side on the display section when the main body section is located indoors, compared to when the main body section is not located indoors.
本発明に係る表示方法は、本体部に設けられる表示部に表示する映像を取得することと、取得した前記映像から所定のオブジェクトを抽出することと、オブジェクトの要素についての嗜好を示す要素データと、前記抽出されたオブジェクトとの一致度合いを示す嗜好一致度を求めることと、前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示することとを含み、前記本体部の周囲の環境についての環境情報を検出することを更に含み、前記抽出した所定のオブジェクトを前記表示部に並べて表示する際に、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数が多くなるように前記表示部の表示態様を設定する。 A display method according to the present invention includes acquiring an image to be displayed on a display section provided in a main body, extracting a predetermined object from the acquired image, and extracting element data indicating preferences regarding elements of the object. , determining a preference matching degree indicating a degree of matching with the extracted object, and displaying the extracted predetermined objects side by side on the display unit based on the preference matching degree , further comprising detecting environmental information about the environment around the main body, when displaying the extracted predetermined objects side by side on the display section, the display section The environment information includes information as to whether or not the main body is located indoors, and when the main body is located indoors, the display mode is Then, the display mode of the display unit is set so that the number of predetermined objects to be displayed side by side on the display unit increases.
本発明に係る表示プログラムは、本体部に設けられる表示部に表示する映像を取得する処理と、取得した前記映像から所定のオブジェクトを抽出する処理と、オブジェクトの要素についての嗜好を示す要素データと、前記抽出されたオブジェクトとの一致度合いを示す嗜好一致度を求める処理と、前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示する処理とをコンピュータに実行させ、前記本体部の周囲の環境についての環境情報を検出する処理を更にコンピュータに実行させ、前記抽出した所定のオブジェクトを前記表示部に並べて表示する処理では、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数が多くなるように前記表示部の表示態様を設定する。 A display program according to the present invention includes a process of acquiring an image to be displayed on a display section provided in a main body, a process of extracting a predetermined object from the acquired image, and element data indicating preferences regarding elements of the object. , causing a computer to execute a process of determining a preference match degree indicating a degree of match with the extracted object; and a process of arranging and displaying the extracted predetermined objects on the display unit based on the preference match degree. , further causes the computer to perform a process of detecting environmental information about the environment surrounding the main body, and in the process of displaying the extracted predetermined objects side by side on the display unit, the preference matching degree and the environmental information are the environment information includes information regarding whether the main body is located indoors; The display mode of the display section is set so that the number of predetermined objects displayed side by side on the display section is greater than when the predetermined objects are not located.
本発明によれば、配信者の負担を低減することが可能となる。 According to the present invention, it is possible to reduce the burden on the distributor.
以下、本発明に係る表示装置、表示方法、及び表示プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 Embodiments of a display device, a display method, and a display program according to the present invention will be described below based on the drawings. Note that the present invention is not limited to this embodiment. Furthermore, the constituent elements in the embodiments described below include those that can be easily replaced by those skilled in the art, or those that are substantially the same.
図1は、本実施形態に係る表示装置100の一例を示す図である。図1に示すように、表示装置100は、本体部10と、撮影部20と、制御装置30とを有する。本体部10は、使用者が頭部に装着可能な装着機構を有する。本体部10は、表示部11を有する。表示部11は、映像等の情報を表示可能である。本実施形態では、表示装置100の一例として、ヘッドマウントディスプレイ(HMD)装置が用いられる構成を説明する。この場合、表示部11は、いわゆるVR(Virtual Reality)デバイス、AR(Augmented Reality)グラス等のヘッドマウントディスプレイであり、使用者が頭部に装着した状態で使用者の両眼を覆う位置に配置される。
FIG. 1 is a diagram showing an example of a
撮影部20は、本体部10に装着される。撮影部20としては、例えばカメラ等が用いられる。撮影部20は、使用者が本体部10を頭部に装着した状態において、使用者目線での映像を撮影することが可能である。撮影部20は、撮影した映像を制御装置30に送信する。
The photographing
制御装置30は、CPU(Central Processing Unit)等の処理装置と、RAM(Random Access Memory)又はROM(Read Only Memory)等の記憶装置を有する。制御装置30は、映像取得部31、映像解析部32、演算部33、環境情報検出部34、表示制御部35、記憶部36、通信部37を有する。
The
映像取得部31は、撮影部20で撮影された映像を取得する。映像解析部32は、取得した映像から所定のオブジェクトを抽出する。所定のオブジェクトとしては、例えば所定の店舗で販売される商品等が挙げられる。映像解析部32は、取得した映像について画像処理等を行うことにより、映像にオブジェクトが映っている場合、当該オブジェクトを抽出することが可能である。なお、後述の記憶部36には、映像解析部32が画像処理において各種判定を行うためのデータ等が記憶される。
The video acquisition section 31 acquires the video photographed by the photographing
オブジェクトは、1つ又は複数の要素を含む。例えば、オブジェクトが衣服である場合を例に挙げて説明する。衣服は、ジャンル(ポロシャツ、Tシャツ、Yシャツ、ズボン、等)、形状(全体の輪郭、各部:襟、袖、ボタン、ポケット等の形状)、寸法(全体の寸法、各部:襟、袖等の寸法)、色彩又は模様、素材等の各種要素を有する。 An object includes one or more elements. For example, a case will be explained in which the object is clothing. Clothes include genre (polo shirts, T-shirts, Y-shirts, pants, etc.), shape (overall outline, shape of each part: collar, sleeves, buttons, pockets, etc.), and dimensions (overall dimensions, each part: collar, sleeves, etc.) dimensions), color or pattern, material, etc.
衣服を購入する場合、人によって又は購入時期等によって、オブジェクトの要素についての嗜好が異なる。例えば、衣服の種類については、ポロシャツを好む人と、Tシャツを好む人とが存在する。また、夏季には夏物の衣服が好まれやすく、冬季には冬物の衣服が好まれやすい。本実施形態では、このようなオブジェクトの要素についての購入者(例えば、受信者)の嗜好(好み)を示す要素データが嗜好データとして記憶部36の嗜好記憶部36aに記憶される。また、嗜好データとしては、オブジェクトの要素とは別個に設定されるものであってもよい。例えば、購入者の前回の購入履歴に基づいて嗜好データが設定されてもよい。また、購入者のスマートフォン等から情報を取得することで、例えばインターネットの閲覧履歴又は検索履歴等に基づいて嗜好データを設定することもできる。
When purchasing clothing, preferences regarding the elements of the object vary depending on the person or the time of purchase. For example, regarding types of clothing, there are people who prefer polo shirts and people who prefer T-shirts. Additionally, people tend to prefer summer clothes during the summer, and winter clothes tend to prefer the winter clothes. In this embodiment, element data indicating the preferences (preferences) of the purchaser (for example, the recipient) regarding the elements of such an object is stored in the
演算部33は、嗜好記憶部36aに記憶された嗜好データに基づいて、映像解析部32が抽出したオブジェクトの嗜好一致度を求める。嗜好一致度は、抽出されたオブジェクトと、嗜好データに示される嗜好との嗜好一致度を示す値である。演算部33は、嗜好一致度を求める場合、抽出されたオブジェクトの要素と、記憶部36の嗜好記憶部36aに記憶されるオブジェクトの要素についての要素データとの間の類似度に基づいてスコアを算出し、スコアの合計に基づいて嗜好一致度を求める。例えば、スコアが高いほど、嗜好一致度が高くなる。また、スコアが低いほど、嗜好一致度が低くなる。また、例えばオブジェクトが衣服である場合、形状又は色等の要素は、オブジェクトを選択するにあたり重要な要素であり、大きな影響力を持つ。このため、形状又は色等の要素の類似度については、他の要素に比べて重み付けをしてスコアを算出することができる。また、演算部33は、スコアが所定の閾値よりも高いか低いかの2段階で嗜好一致度を算出してもよい。
The calculation unit 33 calculates the preference matching degree of the object extracted by the video analysis unit 32 based on the preference data stored in the
環境情報検出部34は、本体部10の周囲の環境についての環境情報を検出する。環境情報検出部34は、検出した環境情報を記憶部36の環境情報記憶部36bに記憶させる。環境情報としては、例えば本体部10を装着する使用者の状態(移動中、移動停止中、会話中等)、本体部10に装着される撮影部20の状態(カメラの画角等)、本体部10が位置する場所(屋内、屋外、店内、店外等)、本体部10が店内に位置する場合の店内の状況(商品との距離、商品の価格、商品の在庫等)、天候(天気、気温、湿度等)等が挙げられる。なお、環境情報検出部34の具体的な構成について説明する。環境情報検出部34は、GPSセンサを含み、位置情報を検出することで、使用者の状態(移動中、移動停止中など)を示す環境情報を検出する。また、環境情報検出部34は、記憶部36に記憶されたカメラの画角等の設定を読み出すことで、撮影部20の状態(カメラの画角等)を示す環境情報を検出する。また、環境情報検出部34は、記憶部36に記憶された地図情報を読出し、位置情報と地図情報とを対比することで本体部10が位置する場所(屋内、屋外、店内、店外等)を検出する。もしくは、環境情報検出部34は、Wi-Fi(登録商標)やBluetooth(登録商標)による電波を受信可能なアンテナモジュールを含み、店舗などに設置された無線送信機からの電波を受信した場合には、本体部10が位置する場所(屋内、店内等)を検出する。もしくは、環境情報検出部34は、映像取得部31から撮影された映像を取得し、その映像から店舗を示すQRコード(登録商標)が解析された場合には、本体部10が位置する場所(屋内、店内等)を検出する。さらに、環境情報検出部34は、インターネットに接続可能なアンテナモジュールを含み、特定のサーバからインターネットを介して店内の状況(商品との距離、商品の価格、商品の在庫等)、天候(天気、気温、湿度等)等を示す環境情報を検出する。環境情報検出部34は、上述の構成の全てを含んでもよく、一部だけを含んでもよい。
The environmental
表示制御部35は、表示部11の表示動作を制御する。表示制御部35は、映像取得部31により取得された映像を表示部11に表示させる。また、表示制御部35は、演算部33で算出される嗜好一致度に基づいて、オブジェクトの映像を所定の表示態様で表示部11に表示する。所定の表示態様としては、他の領域に対して強調して表示する強調表示等が挙げられる。例えば、オブジェクトの輪郭を強調する表示態様、オブジェクトに対してバウンディングボックスを表示する表示態様、オブジェクトを拡大して表示する表示態様、オブジェクトに対するエフェクト(きらきら、オーラ等)を表示する表示態様、オブジェクト以外の領域の視認性を低下させる表示態様、等が挙げられる。
The display control unit 35 controls the display operation of the
記憶部36は、各種情報を記憶する。記憶部36は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部36として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部36は、制御装置30から独立して設けられてもよい。記憶部36は、上記のように嗜好記憶部36a及び環境情報記憶部36bを有する。
The storage unit 36 stores various information. The storage unit 36 includes storage such as a hard disk drive, solid state drive, etc., for example. Note that as the storage unit 36, an external storage medium such as a removable disk may be used. The storage unit 36 may be provided independently from the
嗜好記憶部36aは、オブジェクトの要素についての嗜好データを記憶する。図2は、嗜好記憶部36aに記憶される嗜好データの一例を示す図である。図2に示すように、嗜好記憶部36aには、オブジェクトの要素(ジャンル、形状、色等)と、ヨウ素の具体的種類と、当該具体的種類についての係数とが対応付けて記憶される。係数は、嗜好一致度を求める場合に、スコアを算出する際の重み付けの値である。係数は、対象者の嗜好に応じて対象者毎に値が設定される。
The
環境情報記憶部36bは、環境情報検出部34によって検出された環境情報を記憶する。図3は、環境情報記憶部36bに記憶される環境情報の一例を示す図である。図3に示すように、環境情報記憶部36bは、検出された環境情報の具体的種類と、当該種類についての環境情報とが対応付けて記憶される。
The environmental
また、記憶部36は、本体部10に設けられる表示部11に表示する映像を取得する処理と、取得した映像から所定のオブジェクトを抽出する処理と、所定のオブジェクトに対する好みを示す嗜好データと、抽出されたオブジェクトとの一致度合いを示す嗜好一致度を求める処理と、嗜好一致度に基づいて、所定のオブジェクトを所定の表示態様により表示部11に表示する処理とをコンピュータに実行させる表示プログラムを記憶する。
The storage unit 36 also performs a process of acquiring a video to be displayed on the
通信部37は、不図示のネットワークを介して情報の通信が可能である。通信部37は、有線及び無線のいずれの通信を行うものであってもよい。通信部37は、例えば情報として、映像取得部31により取得された映像、表示制御部35により所定の表示態様で表示されるオブジェクトの映像等を送信することができる。 The communication unit 37 is capable of communicating information via a network (not shown). The communication unit 37 may perform either wired or wireless communication. The communication unit 37 can transmit, for example, the image acquired by the image acquisition unit 31, the image of an object displayed in a predetermined display mode by the display control unit 35, etc. as information.
本実施形態では、遠隔地にいる受信者(依頼者)の依頼により、使用者が実際の店舗において衣服(オブジェクト)のショッピングを代行する場合を例に挙げて説明する。受信者側には、表示装置100の通信部37から送信される情報を受信可能な受信装置200が設けられる。受信装置200は、不図示の表示部を有する。受信装置200は、通信部37から送信される映像が表示部201に表示されるようになっている。受信者は、受信装置200の表示部201を見ることにより、使用者と同様に、表示装置100の表示部11に表示される映像、つまり、撮影部20により取得される映像及び所定の表示態様で表示されるオブジェクトの映像を見ることができる。
In the present embodiment, an example will be described in which a user shops for clothes (objects) at an actual store at the request of a recipient (requester) in a remote location. A receiving
次に、上記のように構成された表示装置100の動作を説明する。使用者は、表示装置100の本体部10を頭部に装着し、購入するオブジェクトを販売する店舗に行く。撮影部20は、使用者目線の映像を撮影する。表示制御部35は、映像取得部31により取得された映像を表示部11に表示させる。環境情報検出部34は、本体部10の周囲の環境情報を取得し、環境情報を記憶部36の環境情報記憶部36bに記憶させる。なお、オブジェクトに対する受信者の嗜好データは、予め記憶部36の嗜好記憶部36aに記憶しておく。
Next, the operation of the
図4は、表示装置100の表示部11における表示内容の一例を示す図である。使用者が屋外又は屋内を移動していることが環境情報検出部34により検出される場合、表示制御部35は、購入目的となるオブジェクトのうち受信者が嗜好する要素を備えたオブジェクトの画像を表示部11に表示することができる。図4に示すように、表示制御部35は、例えば表示部11の所定の表示領域12にオブジェクトの画像を示すことができる。なお、図4では、オブジェクトの画像以外の映像については省略している。
FIG. 4 is a diagram showing an example of display content on the
このとき、表示制御部35は、環境情報に応じて、表示部11に表示するオブジェクトの数を調整することができる。例えば、表示制御部35は、撮影部20の画角が大きい場合には表示数を多くし、画角が小さい場合には表示数を少なくする等、撮影部20の画角の設定に応じてオブジェクトの表示数を調整することができる。また、例えば表示制御部35は、本体部10が屋外に位置している場合にはオブジェクトの表示数を少なくし、屋内に位置している場合にはオブジェクトの表示数を多くし、目的とするオブジェクトを販売する店舗内に位置している場合にはオブジェクトの表示数を更に多くすることができる。また、表示制御部35は、天気が悪い(雨、雪、強風等)場合には、天気が良い(晴れ、曇等)場合に比べて、オブジェクトの表示数を少なくしてもよい。
At this time, the display control section 35 can adjust the number of objects displayed on the
使用者が目的の店舗に入店した場合、環境情報検出部34は、本体部10の周囲の環境情報を店外から店内へと変更する。環境情報が店内に変更された場合、表示制御部35は、オブジェクトの表示態様を変更する。図5は、表示部11の表示内容の他の例を示す図である。使用者が店舗内にいる状態において、表示制御部35は、図5に示すように、受信者が嗜好するオブジェクトの表示領域12を拡大する。
When the user enters the target store, the environmental
また、映像取得部31は、撮影部20で撮影された映像を取得する。映像解析部32は、取得した映像から衣服のオブジェクトを抽出する。演算部33は、嗜好記憶部36aに記憶された嗜好データに基づいて、映像解析部32が抽出したオブジェクトの嗜好一致度を求める。演算部33は、例えば抽出されたオブジェクトのスコアを算出し、所定の閾値よりも高い場合には嗜好一致度が高いと判定し、所定の閾値よりも低い場合には嗜好一致度が低いと判定する。また、環境情報検出部34は、本体部10の周囲の環境についての環境情報を検出し、検出した環境情報を記憶部36の環境情報記憶部36bに記憶させる。
Further, the video acquisition section 31 acquires the video photographed by the photographing
表示制御部35は、演算部33で算出される嗜好一致度及び環境情報検出部34で検出される環境情報に基づいて、オブジェクトの映像を所定の表示態様で表示部11に表示する。図5は、表示装置100の表示部11における表示内容の他の例を示す図である。図5に示すように、表示制御部35は、映像解析部32が抽出したオブジェクトP1、P2、P3をそれぞれ表示部11に表示することができる。このうち、例えば一致度が高いと判定したオブジェクトP1については、他のオブジェクトP2、P3に比べて拡大して表示してもよい。また、表示制御部35は、例えば一致度が最も高いオブジェクトP1を表示領域13の中央に表示してもよい。また、表示制御部35は、一致度が低いと判定したオブジェクトP3については、例えば全体に網掛け表示を行って視認性を低下させるような表示態様としてもよい。オブジェクトの所定の表示形態については、上記に限定されず、他の表示形態としてもよい。
The display control unit 35 displays the image of the object on the
また、表示制御部35は、例えば店舗内において、一致度が高いと判定されたオブジェクトP1、P2について、当該オブジェクトP1、P2に対応する商品と本体部10との距離が近づく場合に、距離が近づくにつれて表示の強調性を高める等の表示態様としてもよい。例えば、表示制御部35は、当該オブジェクトP1、P2に対応する商品が撮影された映像を解析し、数十秒間における撮影された商品の大きさの変化に基づいて、商品と本体部10との距離が近づいているか否かを判定してもよい。
In addition, the display control unit 35 also controls, for example, in a store, when the distance between the products corresponding to the objects P1 and P2 and the
また、環境情報検出部34は、例えばオブジェクトP1、P2に対応する商品の価格及び在庫の少なくとも一方についての商品情報を店舗から取得してもよい。この場合、表示制御部35は、当該商品情報に応じてオブジェクトP1、P2を強調表示することができる。表示制御部35は、例えばオブジェクトP1、P2に対応する商品の価格が割引価格となっている場合に、当該オブジェクトP1、P2を強調表示してもよい。また、オブジェクトP1、P2に対応する商品の在庫が残り少ない場合に、在庫が少ないことが判別可能となるようにオブジェクトP1、P2を点滅させるなどの強調表示を行ってもよい。なお、強調表示の態様は上記態様に限定されず、他の態様とすることが可能である。
Furthermore, the environmental
また、表示制御部35は、オブジェクトを表示部11に表示する場合、例えば本体部10が屋内に位置する場合には、本体部10が屋内に位置しない場合に比べて、表示するオブジェクトの数を多くすることができる。このように、表示制御部35は、環境情報に応じてオブジェクトの表示数を調整することができる。
Further, when displaying objects on the
図6は、本実施形態に係る表示方法の一例を示すフローチャートである。図6に示すように、映像取得部31は、撮影部20で撮影される映像を取得する(ステップS10)。表示制御部35は、取得した映像を表示部11に表示される。また、映像解析部32は、取得した映像から所定のオブジェクトを抽出する(ステップS20)。ステップS20において、映像解析部32は、所定のオブジェクトごとに用意したテンプレートによりパターンマッチングなどの画像処理を行うことで、所定のオブジェクトを抽出することができる。なお、映像解析部32による所定のオブジェクトの抽出手法はこれに限定されず、種々の画像処理手法を用いることができる。
FIG. 6 is a flowchart illustrating an example of the display method according to this embodiment. As shown in FIG. 6, the video acquisition unit 31 acquires a video shot by the imaging unit 20 (step S10). The display control unit 35 displays the acquired video on the
演算部33は、オブジェクトについて予め記憶部36の嗜好記憶部36aに記憶された嗜好データに基づいて、上記の抽出されたオブジェクトの嗜好一致度を求める(ステップS30)。ステップS30において、演算部33は、オブジェクトの要素ごとに要素データとの類似度に応じたスコアを算出し、スコアの総計に基づいて嗜好一致度を求める。
The calculation unit 33 calculates the preference matching degree of the extracted object based on the preference data stored in advance in the
表示制御部35は、求めた嗜好一致度に基づいて、オブジェクトの映像を所定の表示態様により表示部11に表示する(ステップS40)。ステップS40において、表示制御部35は、嗜好一致度に加えて、環境情報検出部34により取得される環境情報に基づいてオブジェクトの映像の表示態様を設定してもよい。
The display control unit 35 displays the image of the object on the
以上のように、本実施形態に係る表示装置100は、表示部11を有する本体部10と、表示部11に表示する映像を取得する映像取得部31と、取得した映像から所定のオブジェクトを抽出する映像解析部32と、所定のオブジェクトに対する好みを示す嗜好データを記憶する嗜好記憶部36aと、嗜好記憶部36aに記憶された嗜好データと、映像解析部32が抽出たオブジェクトとの一致度合いを示す嗜好一致度を求める演算部33と、嗜好一致度に基づいて、所定のオブジェクトを所定の表示態様により表示部11に表示する表示制御部35とを備える。
As described above, the
また、本実施形態に係る表示方法は、本体部10に設けられる表示部11に表示する映像を取得することと、取得した映像から所定のオブジェクトを抽出することと、所定のオブジェクトに対する好みを示す嗜好データと、抽出されたオブジェクトとの一致度合いを示す嗜好一致度を求めることと、嗜好一致度に基づいて、所定のオブジェクトを所定の表示態様により表示部11に表示することとを含む。
Further, the display method according to the present embodiment includes acquiring an image to be displayed on the
また、本実施形態に係る表示プログラムは、本体部10に設けられる表示部11に表示する映像を取得する処理と、取得した映像から所定のオブジェクトを抽出する処理と、所定のオブジェクトに対する好みを示す嗜好データと、抽出されたオブジェクトとの一致度合いを示す嗜好一致度を求める処理と、嗜好一致度に基づいて、所定のオブジェクトを所定の表示態様により表示部11に表示する処理とをコンピュータに実行させる。
Further, the display program according to the present embodiment includes a process of acquiring an image to be displayed on the
本実施形態によれば、予め記憶された嗜好データに基づいて、抽出されたオブジェクトの嗜好一致度を求め、求めた嗜好一致度に基づいてオブジェクトの映像を所定の表示態様により表示部11に表示する。これにより、外部と頻繁なコミュニケーションをとらなくても、選択すべきオブジェクトを使用者に容易に把握させることができるため、使用者の負担を低減することができる。
According to the present embodiment, the degree of preference matching of the extracted object is determined based on preference data stored in advance, and the image of the object is displayed on the
本実施形態に係る表示装置100は、本体部10の周囲の環境についての環境情報を検出する環境情報検出部34を更に備え、表示制御部35は、嗜好一致度と環境情報とに基づいて表示態様を設定する。これにより、本体部10の周囲の環境に応じて柔軟に表示態様を設定することができる。
The
本実施形態に係る表示装置100において、環境情報は、本体部10が屋内に位置するか否かについての情報を含み、表示制御部35は、本体部10が屋内に位置する場合、本体部10が屋内に位置しない場合に比べて、表示するオブジェクトの数を多くする。これにより、屋内に位置しない場合、つまり屋外に位置する場合において、表示するオブジェクトの数が少なくなるため、使用者の視界を確保できる。
In the
本実施形態に係る表示装置100において、オブジェクトは、所定の店舗で販売される商品であり、環境情報は、本体部10が店舗内に位置するか否かについての情報を含む。これにより、本体部10が店舗内に位置する場合と、店舗内に位置しない場合とで表示態様を異なるように設定することができる。
In the
本実施形態に係る表示装置100において、環境情報は、本体部10とオブジェクトに対応する商品との距離を含み、表示制御部35は、距離が近づくにつれてオブジェクトを拡大表示させる。これにより、使用者に対して、オブジェクトに対応する商品に近づいていることを直感的に認識させることができる。
In the
本実施形態に係る表示装置100において、環境情報は、オブジェクトの価格及びオブジェクトの在庫数の少なくとも一方についての商品情報を含み、表示制御部35は、商品情報に応じた表示態様を設定する。これにより、使用者に商品情報を併せて認識させることができる。
In the
本実施形態に係る表示装置100において、嗜好データは、オブジェクトの要素ごとに設定可能な要素データを含み、演算部33は、映像解析部32が抽出したオブジェクトの要素と嗜好記憶部36aに記憶された要素データとの間の類似度に基づいてスコアを算出し、スコアの合計に基づいて嗜好一致度を求める。これにより、嗜好一致度を高精度に求めることができる。
In the
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、オブジェクトとして衣服を例に挙げて説明したが、これに限定されず、他の種類の商品がオブジェクトであってもよい。また、表示装置100としては、上記実施形態のHMD装置には限定されず、例えばスマートフォン等、表示部を有する端末装置等であってもよい。
The technical scope of the present invention is not limited to the above embodiments, and changes can be made as appropriate without departing from the spirit of the present invention. For example, in the embodiment described above, clothing is used as an example of the object, but the object is not limited to this, and other types of products may be used as the object. Further, the
P1,P2,P3…オブジェクト、10…本体部、11,201…表示部、12,13…表示領域、20…撮影部、30…制御装置、31…映像取得部、32…映像解析部、33…演算部、34…環境情報検出部、35…表示制御部、36…記憶部、36a…嗜好記憶部、36b…環境情報記憶部、37…通信部、100…表示装置、200…受信装置 P1, P2, P3...Object, 10...Main unit, 11,201...Display unit, 12, 13...Display area, 20...Photographing unit, 30...Control device, 31...Video acquisition unit, 32...Video analysis unit, 33 ...Calculating section, 34...Environmental information detection section, 35...Display control section, 36...Storage section, 36a...Preference storage section, 36b...Environmental information storage section, 37...Communication section, 100...Display device, 200...Receiving device
Claims (4)
前記表示部に表示する映像を取得する映像取得部と、
取得した前記映像から所定のオブジェクトを抽出する映像解析部と、
オブジェクトの要素についての嗜好を示す要素データを記憶する嗜好記憶部と、
前記嗜好記憶部に記憶された前記要素データと、前記映像解析部が抽出した所定のオブジェクトとの一致度合いを示す嗜好一致度を求める演算部と、
前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示する表示制御部と
を備え、
前記本体部の周囲の環境についての環境情報を検出する環境情報処理部を更に備え、
前記表示制御部は、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、
前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、
前記表示制御部は、前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数を多くする
表示装置。 a main body having a display section;
a video acquisition unit that acquires a video to be displayed on the display unit;
a video analysis unit that extracts a predetermined object from the acquired video;
a preference storage unit that stores element data indicating preferences regarding elements of the object ;
a calculation unit that calculates a degree of preference coincidence indicating a degree of coincidence between the element data stored in the preference storage unit and a predetermined object extracted by the video analysis unit;
a display control unit that displays the extracted predetermined objects side by side on the display unit based on the degree of preference matching ;
further comprising an environmental information processing unit that detects environmental information about the environment surrounding the main body,
The display control unit sets a display mode of the display unit based on the preference matching degree and the environmental information,
The environment information includes information regarding whether the main body is located indoors,
The display control section increases the number of predetermined objects to be displayed side by side on the display section when the main body section is located indoors, compared to when the main body section is not located indoors.
Display device.
前記表示制御部は、前記距離が近づくにつれて前記表示部に並べて表示する所定のオブジェクトを拡大表示させる
請求項1に記載の表示装置。 The environmental information includes a distance between the main body and a product corresponding to the predetermined object,
The display device according to claim 1 , wherein the display control section enlarges and displays the predetermined objects displayed side by side on the display section as the distance approaches.
取得した前記映像から所定のオブジェクトを抽出することと、
オブジェクトの要素についての嗜好を示す要素データと、前記抽出された所定のオブジェクトとの一致度合いを示す嗜好一致度を求めることと、
前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示することと
を含み、
前記本体部の周囲の環境についての環境情報を検出することを更に含み、
前記抽出した所定のオブジェクトを前記表示部に並べて表示する際に、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、
前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、
前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数が多くなるように前記表示部の表示態様を設定する
表示方法。 Obtaining an image to be displayed on a display section provided on the main body;
Extracting a predetermined object from the acquired video;
determining a degree of preference coincidence indicating the degree of coincidence between element data indicating preferences for elements of the object and the extracted predetermined object;
displaying the extracted predetermined objects side by side on the display unit based on the preference matching degree ;
further comprising detecting environmental information about the environment around the main body,
When displaying the extracted predetermined objects side by side on the display unit, setting a display mode of the display unit based on the preference matching degree and the environmental information,
The environment information includes information regarding whether the main body is located indoors,
When the main body is located indoors, the display mode of the display section is set so that the number of predetermined objects to be displayed side by side on the display section is greater than when the main body is not located indoors.
Display method.
取得した前記映像から所定のオブジェクトを抽出する処理と、
オブジェクトの要素についての嗜好を示す要素データと、前記抽出されたオ所定のブジェクトとの一致度合いを示す嗜好一致度を求める処理と、
前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示する処理と
をコンピュータに実行させ、
前記本体部の周囲の環境についての環境情報を検出する処理を更にコンピュータに実行させ、
前記抽出した所定のオブジェクトを前記表示部に並べて表示する処理では、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、
前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、
前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数が多くなるように前記表示部の表示態様を設定する
表示プログラム。 a process of acquiring an image to be displayed on a display section provided in the main body;
a process of extracting a predetermined object from the acquired video;
a process for determining a degree of preference matching indicating a degree of agreement between element data indicating preferences regarding elements of the object and the extracted predetermined object;
causing a computer to execute a process of arranging and displaying the extracted predetermined objects on the display unit based on the preference matching degree ;
further causing the computer to execute a process of detecting environmental information about the environment surrounding the main body,
In the process of displaying the extracted predetermined objects side by side on the display section, a display mode of the display section is set based on the preference matching degree and the environmental information,
The environment information includes information regarding whether the main body is located indoors,
When the main body is located indoors, the display mode of the display section is set so that the number of predetermined objects to be displayed side by side on the display section is greater than when the main body is not located indoors.
Display program.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019174271A JP7363271B2 (en) | 2019-09-25 | 2019-09-25 | Display device, display method, and display program |
JP2023172059A JP2023168495A (en) | 2019-09-25 | 2023-10-03 | Display device, display method and display program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019174271A JP7363271B2 (en) | 2019-09-25 | 2019-09-25 | Display device, display method, and display program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023172059A Division JP2023168495A (en) | 2019-09-25 | 2023-10-03 | Display device, display method and display program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021051565A JP2021051565A (en) | 2021-04-01 |
JP7363271B2 true JP7363271B2 (en) | 2023-10-18 |
Family
ID=75157308
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019174271A Active JP7363271B2 (en) | 2019-09-25 | 2019-09-25 | Display device, display method, and display program |
JP2023172059A Pending JP2023168495A (en) | 2019-09-25 | 2023-10-03 | Display device, display method and display program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023172059A Pending JP2023168495A (en) | 2019-09-25 | 2023-10-03 | Display device, display method and display program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7363271B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018156478A (en) | 2017-03-17 | 2018-10-04 | ラスパンダス株式会社 | Computer program |
WO2019135313A1 (en) | 2018-01-04 | 2019-07-11 | ソニー株式会社 | Information processing device, information processing method and program |
-
2019
- 2019-09-25 JP JP2019174271A patent/JP7363271B2/en active Active
-
2023
- 2023-10-03 JP JP2023172059A patent/JP2023168495A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018156478A (en) | 2017-03-17 | 2018-10-04 | ラスパンダス株式会社 | Computer program |
WO2019135313A1 (en) | 2018-01-04 | 2019-07-11 | ソニー株式会社 | Information processing device, information processing method and program |
Also Published As
Publication number | Publication date |
---|---|
JP2023168495A (en) | 2023-11-24 |
JP2021051565A (en) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106462979B (en) | Fashion preference analysis | |
US11164227B2 (en) | Augmented reality devices, systems and methods for purchasing | |
CN111681070B (en) | Online commodity purchasing method, purchasing device, storage device and purchasing equipment | |
JP5728406B2 (en) | Clothes image processing system, clothes image processing method, program | |
KR20130027801A (en) | User terminal for style matching, style matching system using the user terminal and method thereof | |
CN108764998B (en) | Intelligent display device and intelligent display method | |
JP2018084890A (en) | Information processing unit, information processing method, and program | |
KR102206133B1 (en) | Method for transaction based on image and apparatus for performing the method | |
KR101922713B1 (en) | User terminal, intermediation server, system and method for intermediating optical shop | |
US20220327747A1 (en) | Information processing device, information processing method, and program | |
US20200054209A1 (en) | System and method for measuring pupillary distance | |
US9990665B1 (en) | Interfaces for item search | |
KR20200139934A (en) | Clothes Wearing Service Apparatus and Method using Augmented Reality | |
KR102340904B1 (en) | System and method for virtual fitting based on augument reality | |
JP2018112777A (en) | Recommendation item output program, output control program, recommendation item output apparatus, recommendation item output method and output control method | |
KR102064653B1 (en) | Wearable glasses and method for clothes shopping based on augmented relity | |
US20200226668A1 (en) | Shopping system with virtual reality technology | |
JP7363271B2 (en) | Display device, display method, and display program | |
US20010049645A1 (en) | Internet boutique system | |
KR102298101B1 (en) | System of Selling Products for Adult and Driving Method Thereof | |
KR20110125866A (en) | Method and apparatus for providing information through augmented reality | |
KR102443016B1 (en) | Apparatus and method for implementing advertising using augmented technology | |
KR101737936B1 (en) | Method for providing coupon using smart glass and mobile device | |
JP5706995B2 (en) | Shoe image processing system, shoe image processing method, program | |
KR20210054664A (en) | Virtual fitting method and system for clothes using mobile terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7363271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |