JP7363271B2 - Display device, display method, and display program - Google Patents

Display device, display method, and display program Download PDF

Info

Publication number
JP7363271B2
JP7363271B2 JP2019174271A JP2019174271A JP7363271B2 JP 7363271 B2 JP7363271 B2 JP 7363271B2 JP 2019174271 A JP2019174271 A JP 2019174271A JP 2019174271 A JP2019174271 A JP 2019174271A JP 7363271 B2 JP7363271 B2 JP 7363271B2
Authority
JP
Japan
Prior art keywords
display
main body
unit
preference
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019174271A
Other languages
Japanese (ja)
Other versions
JP2021051565A (en
Inventor
裕介 清水
明昇 須山
真那夢 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019174271A priority Critical patent/JP7363271B2/en
Publication of JP2021051565A publication Critical patent/JP2021051565A/en
Priority to JP2023172059A priority patent/JP2023168495A/en
Application granted granted Critical
Publication of JP7363271B2 publication Critical patent/JP7363271B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示装置、表示方法、及び表示プログラムに関する。 The present invention relates to a display device, a display method, and a display program.

配信者側の配信装置と受信者側の受信装置との間を通信可能な状態とすることにより、遠隔地の受信者に対して臨場感を感じられるように映像を配信する情報配信システムが知られている(例えば、特許文献1参照)。このような情報配信システムでは、配信者が配信装置として、例えばヘッドマウントディスプレイ(以下、HMDと表記する)、スマートフォン等の表示部を有する表示装置を装着又は保持した状態で、遠隔地の受信者に対してショッピングを代行することが可能である。 An information distribution system is known that enables communication between the distribution device on the distributor's side and the receiving device on the receiver's side, thereby distributing video so that the recipient in a remote location can feel a sense of realism. (For example, see Patent Document 1). In such an information distribution system, a distributor wears or holds a display device having a display unit, such as a head-mounted display (hereinafter referred to as HMD) or a smartphone, as a distribution device, and sends the message to a recipient in a remote location. It is possible to do shopping on your behalf.

特開2009-259135号公報JP2009-259135A

上記の技術では、ショッピングの代行者である表示装置の使用者(配信者)が、依頼者(受信者)の好みに応じた商品の映像を受信者に提供する等、受信者の意に沿うように行動することが求められる。そのため、使用者は依頼者と頻繁にコミュニケーションをとる必要が生じ、負担が大きくなる場合がある。 In the above technology, the display device user (distributor) who is a shopping agent provides the recipient with images of products according to the requester's (receiver's) preferences, etc. You are required to act as such. Therefore, the user is required to communicate frequently with the client, which may place a heavy burden on the user.

本発明は、上記に鑑みてなされたものであり、使用者の負担を低減することが可能な表示装置、表示方法、及び表示プログラムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a display device, a display method, and a display program that can reduce the burden on the user.

本発明に係る表示装置は、表示部を有する本体部と、前記表示部に表示する映像を取得する映像取得部と、取得した前記映像から所定のオブジェクトを抽出する映像解析部と、オブジェクトの要素についての嗜好を示す要素データを記憶する嗜好記憶部と、前記嗜好記憶部に記憶された前記要素データと、前記映像解析部が抽出した所定のオブジェクトとの一致度合いを示す嗜好一致度を求める演算部と、前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示する表示制御部とを備え、前記本体部の周囲の環境についての環境情報を検出する環境情報処理部を更に備え、前記表示制御部は、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、前記表示制御部は、前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数を多くする。 A display device according to the present invention includes a main body having a display section, a video acquisition section that acquires a video to be displayed on the display section, a video analysis section that extracts a predetermined object from the acquired video, and elements of the object. a preference storage unit that stores element data indicating preferences for; and a calculation for determining a degree of preference matching that indicates the degree of agreement between the element data stored in the preference storage unit and a predetermined object extracted by the video analysis unit. and a display control unit that displays the extracted predetermined objects side by side on the display unit based on the preference matching degree , and detects environmental information about the environment around the main body unit. The display control unit further includes a display control unit that sets a display mode of the display unit based on the preference matching degree and the environmental information, and the environmental information determines whether the main unit is located indoors. The display control section increases the number of predetermined objects to be displayed side by side on the display section when the main body section is located indoors, compared to when the main body section is not located indoors.

本発明に係る表示方法は、本体部に設けられる表示部に表示する映像を取得することと、取得した前記映像から所定のオブジェクトを抽出することと、オブジェクトの要素についての嗜好を示す要素データと、前記抽出されたオブジェクトとの一致度合いを示す嗜好一致度を求めることと、前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示することとを含み、前記本体部の周囲の環境についての環境情報を検出することを更に含み、前記抽出した所定のオブジェクトを前記表示部に並べて表示する際に、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数が多くなるように前記表示部の表示態様を設定する。 A display method according to the present invention includes acquiring an image to be displayed on a display section provided in a main body, extracting a predetermined object from the acquired image, and extracting element data indicating preferences regarding elements of the object. , determining a preference matching degree indicating a degree of matching with the extracted object, and displaying the extracted predetermined objects side by side on the display unit based on the preference matching degree , further comprising detecting environmental information about the environment around the main body, when displaying the extracted predetermined objects side by side on the display section, the display section The environment information includes information as to whether or not the main body is located indoors, and when the main body is located indoors, the display mode is Then, the display mode of the display unit is set so that the number of predetermined objects to be displayed side by side on the display unit increases.

本発明に係る表示プログラムは、本体部に設けられる表示部に表示する映像を取得する処理と、取得した前記映像から所定のオブジェクトを抽出する処理と、オブジェクトの要素についての嗜好を示す要素データと、前記抽出されたオブジェクトとの一致度合いを示す嗜好一致度を求める処理と、前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示する処理とをコンピュータに実行させ、前記本体部の周囲の環境についての環境情報を検出する処理を更にコンピュータに実行させ、前記抽出した所定のオブジェクトを前記表示部に並べて表示する処理では、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数が多くなるように前記表示部の表示態様を設定する。 A display program according to the present invention includes a process of acquiring an image to be displayed on a display section provided in a main body, a process of extracting a predetermined object from the acquired image, and element data indicating preferences regarding elements of the object. , causing a computer to execute a process of determining a preference match degree indicating a degree of match with the extracted object; and a process of arranging and displaying the extracted predetermined objects on the display unit based on the preference match degree. , further causes the computer to perform a process of detecting environmental information about the environment surrounding the main body, and in the process of displaying the extracted predetermined objects side by side on the display unit, the preference matching degree and the environmental information are the environment information includes information regarding whether the main body is located indoors; The display mode of the display section is set so that the number of predetermined objects displayed side by side on the display section is greater than when the predetermined objects are not located.

本発明によれば、配信者の負担を低減することが可能となる。 According to the present invention, it is possible to reduce the burden on the distributor.

図1は、本実施形態に係る表示装置の一例を示す図である。FIG. 1 is a diagram showing an example of a display device according to this embodiment. 図2は、嗜好記憶部に記憶される嗜好データの一例を示す図である。FIG. 2 is a diagram showing an example of preference data stored in the preference storage section. 図3は、環境情報記憶部に記憶される環境情報の一例を示す図である。FIG. 3 is a diagram illustrating an example of environmental information stored in the environmental information storage unit. 図4は、表示装置の表示部における表示内容の一例を示す図である。FIG. 4 is a diagram showing an example of display contents on the display section of the display device. 図5は、表示装置の表示部における表示内容の他の例を示す図である。FIG. 5 is a diagram showing another example of display content on the display section of the display device. 図6は、本実施形態に係る表示方法の一例を示すフローチャートである。FIG. 6 is a flowchart illustrating an example of the display method according to this embodiment.

以下、本発明に係る表示装置、表示方法、及び表示プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 Embodiments of a display device, a display method, and a display program according to the present invention will be described below based on the drawings. Note that the present invention is not limited to this embodiment. Furthermore, the constituent elements in the embodiments described below include those that can be easily replaced by those skilled in the art, or those that are substantially the same.

図1は、本実施形態に係る表示装置100の一例を示す図である。図1に示すように、表示装置100は、本体部10と、撮影部20と、制御装置30とを有する。本体部10は、使用者が頭部に装着可能な装着機構を有する。本体部10は、表示部11を有する。表示部11は、映像等の情報を表示可能である。本実施形態では、表示装置100の一例として、ヘッドマウントディスプレイ(HMD)装置が用いられる構成を説明する。この場合、表示部11は、いわゆるVR(Virtual Reality)デバイス、AR(Augmented Reality)グラス等のヘッドマウントディスプレイであり、使用者が頭部に装着した状態で使用者の両眼を覆う位置に配置される。 FIG. 1 is a diagram showing an example of a display device 100 according to this embodiment. As shown in FIG. 1, the display device 100 includes a main body section 10, a photographing section 20, and a control device 30. The main body section 10 has a mounting mechanism that allows the user to wear it on his or her head. The main body section 10 has a display section 11. The display unit 11 can display information such as images. In this embodiment, a configuration in which a head mounted display (HMD) device is used as an example of the display device 100 will be described. In this case, the display unit 11 is a head-mounted display such as a so-called VR (Virtual Reality) device, AR (Augmented Reality) glasses, etc., and is placed at a position that covers both eyes of the user when worn on the user's head. be done.

撮影部20は、本体部10に装着される。撮影部20としては、例えばカメラ等が用いられる。撮影部20は、使用者が本体部10を頭部に装着した状態において、使用者目線での映像を撮影することが可能である。撮影部20は、撮影した映像を制御装置30に送信する。 The photographing section 20 is attached to the main body section 10. As the photographing unit 20, for example, a camera or the like is used. The photographing section 20 is capable of photographing an image from the user's perspective when the user wears the main body section 10 on the head. The photographing unit 20 transmits the photographed video to the control device 30.

制御装置30は、CPU(Central Processing Unit)等の処理装置と、RAM(Random Access Memory)又はROM(Read Only Memory)等の記憶装置を有する。制御装置30は、映像取得部31、映像解析部32、演算部33、環境情報検出部34、表示制御部35、記憶部36、通信部37を有する。 The control device 30 includes a processing device such as a CPU (Central Processing Unit), and a storage device such as a RAM (Random Access Memory) or a ROM (Read Only Memory). The control device 30 includes a video acquisition section 31 , a video analysis section 32 , a calculation section 33 , an environmental information detection section 34 , a display control section 35 , a storage section 36 , and a communication section 37 .

映像取得部31は、撮影部20で撮影された映像を取得する。映像解析部32は、取得した映像から所定のオブジェクトを抽出する。所定のオブジェクトとしては、例えば所定の店舗で販売される商品等が挙げられる。映像解析部32は、取得した映像について画像処理等を行うことにより、映像にオブジェクトが映っている場合、当該オブジェクトを抽出することが可能である。なお、後述の記憶部36には、映像解析部32が画像処理において各種判定を行うためのデータ等が記憶される。 The video acquisition section 31 acquires the video photographed by the photographing section 20. The video analysis unit 32 extracts a predetermined object from the acquired video. Examples of the predetermined object include products sold at a predetermined store. The video analysis unit 32 performs image processing or the like on the acquired video, so that when an object appears in the video, it is possible to extract the object. Note that the storage unit 36, which will be described later, stores data and the like for the video analysis unit 32 to make various determinations in image processing.

オブジェクトは、1つ又は複数の要素を含む。例えば、オブジェクトが衣服である場合を例に挙げて説明する。衣服は、ジャンル(ポロシャツ、Tシャツ、Yシャツ、ズボン、等)、形状(全体の輪郭、各部:襟、袖、ボタン、ポケット等の形状)、寸法(全体の寸法、各部:襟、袖等の寸法)、色彩又は模様、素材等の各種要素を有する。 An object includes one or more elements. For example, a case will be explained in which the object is clothing. Clothes include genre (polo shirts, T-shirts, Y-shirts, pants, etc.), shape (overall outline, shape of each part: collar, sleeves, buttons, pockets, etc.), and dimensions (overall dimensions, each part: collar, sleeves, etc.) dimensions), color or pattern, material, etc.

衣服を購入する場合、人によって又は購入時期等によって、オブジェクトの要素についての嗜好が異なる。例えば、衣服の種類については、ポロシャツを好む人と、Tシャツを好む人とが存在する。また、夏季には夏物の衣服が好まれやすく、冬季には冬物の衣服が好まれやすい。本実施形態では、このようなオブジェクトの要素についての購入者(例えば、受信者)の嗜好(好み)を示す要素データが嗜好データとして記憶部36の嗜好記憶部36aに記憶される。また、嗜好データとしては、オブジェクトの要素とは別個に設定されるものであってもよい。例えば、購入者の前回の購入履歴に基づいて嗜好データが設定されてもよい。また、購入者のスマートフォン等から情報を取得することで、例えばインターネットの閲覧履歴又は検索履歴等に基づいて嗜好データを設定することもできる。 When purchasing clothing, preferences regarding the elements of the object vary depending on the person or the time of purchase. For example, regarding types of clothing, there are people who prefer polo shirts and people who prefer T-shirts. Additionally, people tend to prefer summer clothes during the summer, and winter clothes tend to prefer the winter clothes. In this embodiment, element data indicating the preferences (preferences) of the purchaser (for example, the recipient) regarding the elements of such an object is stored in the preference storage section 36a of the storage section 36 as preference data. Further, the preference data may be set separately from the elements of the object. For example, preference data may be set based on the purchaser's previous purchase history. Further, by acquiring information from a purchaser's smartphone or the like, preference data can be set based on, for example, Internet browsing history or search history.

演算部33は、嗜好記憶部36aに記憶された嗜好データに基づいて、映像解析部32が抽出したオブジェクトの嗜好一致度を求める。嗜好一致度は、抽出されたオブジェクトと、嗜好データに示される嗜好との嗜好一致度を示す値である。演算部33は、嗜好一致度を求める場合、抽出されたオブジェクトの要素と、記憶部36の嗜好記憶部36aに記憶されるオブジェクトの要素についての要素データとの間の類似度に基づいてスコアを算出し、スコアの合計に基づいて嗜好一致度を求める。例えば、スコアが高いほど、嗜好一致度が高くなる。また、スコアが低いほど、嗜好一致度が低くなる。また、例えばオブジェクトが衣服である場合、形状又は色等の要素は、オブジェクトを選択するにあたり重要な要素であり、大きな影響力を持つ。このため、形状又は色等の要素の類似度については、他の要素に比べて重み付けをしてスコアを算出することができる。また、演算部33は、スコアが所定の閾値よりも高いか低いかの2段階で嗜好一致度を算出してもよい。 The calculation unit 33 calculates the preference matching degree of the object extracted by the video analysis unit 32 based on the preference data stored in the preference storage unit 36a. The degree of preference matching is a value indicating the degree of preference matching between the extracted object and the preference indicated in the preference data. When determining the degree of preference matching, the calculation unit 33 calculates a score based on the degree of similarity between the extracted object element and the element data regarding the object element stored in the preference storage unit 36a of the storage unit 36. The degree of preference matching is determined based on the total score. For example, the higher the score, the higher the degree of preference matching. Furthermore, the lower the score, the lower the degree of preference matching. Further, for example, when the object is clothing, elements such as shape or color are important elements and have a large influence when selecting the object. Therefore, the score can be calculated by weighting the similarity of elements such as shape or color compared to other elements. Further, the calculation unit 33 may calculate the degree of preference matching in two stages: whether the score is higher or lower than a predetermined threshold.

環境情報検出部34は、本体部10の周囲の環境についての環境情報を検出する。環境情報検出部34は、検出した環境情報を記憶部36の環境情報記憶部36bに記憶させる。環境情報としては、例えば本体部10を装着する使用者の状態(移動中、移動停止中、会話中等)、本体部10に装着される撮影部20の状態(カメラの画角等)、本体部10が位置する場所(屋内、屋外、店内、店外等)、本体部10が店内に位置する場合の店内の状況(商品との距離、商品の価格、商品の在庫等)、天候(天気、気温、湿度等)等が挙げられる。なお、環境情報検出部34の具体的な構成について説明する。環境情報検出部34は、GPSセンサを含み、位置情報を検出することで、使用者の状態(移動中、移動停止中など)を示す環境情報を検出する。また、環境情報検出部34は、記憶部36に記憶されたカメラの画角等の設定を読み出すことで、撮影部20の状態(カメラの画角等)を示す環境情報を検出する。また、環境情報検出部34は、記憶部36に記憶された地図情報を読出し、位置情報と地図情報とを対比することで本体部10が位置する場所(屋内、屋外、店内、店外等)を検出する。もしくは、環境情報検出部34は、Wi-Fi(登録商標)やBluetooth(登録商標)による電波を受信可能なアンテナモジュールを含み、店舗などに設置された無線送信機からの電波を受信した場合には、本体部10が位置する場所(屋内、店内等)を検出する。もしくは、環境情報検出部34は、映像取得部31から撮影された映像を取得し、その映像から店舗を示すQRコード(登録商標)が解析された場合には、本体部10が位置する場所(屋内、店内等)を検出する。さらに、環境情報検出部34は、インターネットに接続可能なアンテナモジュールを含み、特定のサーバからインターネットを介して店内の状況(商品との距離、商品の価格、商品の在庫等)、天候(天気、気温、湿度等)等を示す環境情報を検出する。環境情報検出部34は、上述の構成の全てを含んでもよく、一部だけを含んでもよい。 The environmental information detection section 34 detects environmental information about the environment around the main body section 10 . The environmental information detection unit 34 stores the detected environmental information in the environmental information storage unit 36b of the storage unit 36. The environmental information includes, for example, the state of the user wearing the main body 10 (moving, not moving, talking, etc.), the state of the photographing unit 20 attached to the main body 10 (viewing angle of the camera, etc.), the main body 10 is located (indoors, outdoors, inside the store, outside the store, etc.), the situation inside the store when the main body 10 is located inside the store (distance to the product, product price, product inventory, etc.), weather (weather, temperature, humidity, etc.). Note that the specific configuration of the environmental information detection section 34 will be explained. The environmental information detection unit 34 includes a GPS sensor, and detects environmental information indicating the state of the user (moving, not moving, etc.) by detecting position information. Furthermore, the environmental information detection section 34 detects environmental information indicating the state of the photographing section 20 (the angle of view of the camera, etc.) by reading out settings such as the angle of view of the camera stored in the storage section 36 . The environmental information detection unit 34 also reads the map information stored in the storage unit 36 and compares the position information with the map information to determine where the main unit 10 is located (indoors, outdoors, inside the store, outside the store, etc.). Detect. Alternatively, the environmental information detection unit 34 includes an antenna module capable of receiving radio waves via Wi-Fi (registered trademark) or Bluetooth (registered trademark), and when receiving radio waves from a wireless transmitter installed in a store etc. detects the location where the main body 10 is located (indoors, inside a store, etc.). Alternatively, if the environmental information detection unit 34 acquires a captured video from the video acquisition unit 31 and analyzes a QR code (registered trademark) indicating a store from the video, the environmental information detection unit 34 determines the location where the main unit 10 is located ( indoors, inside a store, etc.). Furthermore, the environmental information detection unit 34 includes an antenna module that can be connected to the Internet, and receives information from a specific server via the Internet to determine the in-store situation (distance to the product, product price, product inventory, etc.), weather (weather, Detects environmental information such as temperature, humidity, etc. The environment information detection unit 34 may include all of the above-described configurations, or may include only a part of the configurations.

表示制御部35は、表示部11の表示動作を制御する。表示制御部35は、映像取得部31により取得された映像を表示部11に表示させる。また、表示制御部35は、演算部33で算出される嗜好一致度に基づいて、オブジェクトの映像を所定の表示態様で表示部11に表示する。所定の表示態様としては、他の領域に対して強調して表示する強調表示等が挙げられる。例えば、オブジェクトの輪郭を強調する表示態様、オブジェクトに対してバウンディングボックスを表示する表示態様、オブジェクトを拡大して表示する表示態様、オブジェクトに対するエフェクト(きらきら、オーラ等)を表示する表示態様、オブジェクト以外の領域の視認性を低下させる表示態様、等が挙げられる。 The display control unit 35 controls the display operation of the display unit 11. The display control unit 35 causes the display unit 11 to display the video acquired by the video acquisition unit 31. Further, the display control unit 35 displays the image of the object on the display unit 11 in a predetermined display mode based on the preference matching degree calculated by the calculation unit 33. Examples of the predetermined display mode include highlighted display in which an area is displayed with emphasis compared to other areas. For example, display modes that emphasize the outline of objects, display modes that display bounding boxes for objects, display modes that enlarge objects, display modes that display effects (sparkling, aura, etc.) on objects, and display modes that display objects other than objects. Examples include a display mode that reduces the visibility of the area.

記憶部36は、各種情報を記憶する。記憶部36は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部36として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部36は、制御装置30から独立して設けられてもよい。記憶部36は、上記のように嗜好記憶部36a及び環境情報記憶部36bを有する。 The storage unit 36 stores various information. The storage unit 36 includes storage such as a hard disk drive, solid state drive, etc., for example. Note that as the storage unit 36, an external storage medium such as a removable disk may be used. The storage unit 36 may be provided independently from the control device 30. The storage unit 36 includes the preference storage unit 36a and the environmental information storage unit 36b as described above.

嗜好記憶部36aは、オブジェクトの要素についての嗜好データを記憶する。図2は、嗜好記憶部36aに記憶される嗜好データの一例を示す図である。図2に示すように、嗜好記憶部36aには、オブジェクトの要素(ジャンル、形状、色等)と、ヨウ素の具体的種類と、当該具体的種類についての係数とが対応付けて記憶される。係数は、嗜好一致度を求める場合に、スコアを算出する際の重み付けの値である。係数は、対象者の嗜好に応じて対象者毎に値が設定される。 The preference storage unit 36a stores preference data regarding elements of objects. FIG. 2 is a diagram showing an example of preference data stored in the preference storage section 36a. As shown in FIG. 2, the preference storage unit 36a stores object elements (genre, shape, color, etc.), specific types of iodine, and coefficients for the specific types in association with each other. The coefficient is a weighting value when calculating a score when determining the degree of preference matching. A value of the coefficient is set for each target person according to the target person's preferences.

環境情報記憶部36bは、環境情報検出部34によって検出された環境情報を記憶する。図3は、環境情報記憶部36bに記憶される環境情報の一例を示す図である。図3に示すように、環境情報記憶部36bは、検出された環境情報の具体的種類と、当該種類についての環境情報とが対応付けて記憶される。 The environmental information storage section 36b stores the environmental information detected by the environmental information detection section 34. FIG. 3 is a diagram showing an example of environmental information stored in the environmental information storage section 36b. As shown in FIG. 3, the environmental information storage unit 36b stores a specific type of detected environmental information and environmental information about the type in association with each other.

また、記憶部36は、本体部10に設けられる表示部11に表示する映像を取得する処理と、取得した映像から所定のオブジェクトを抽出する処理と、所定のオブジェクトに対する好みを示す嗜好データと、抽出されたオブジェクトとの一致度合いを示す嗜好一致度を求める処理と、嗜好一致度に基づいて、所定のオブジェクトを所定の表示態様により表示部11に表示する処理とをコンピュータに実行させる表示プログラムを記憶する。 The storage unit 36 also performs a process of acquiring a video to be displayed on the display unit 11 provided in the main body 10, a process of extracting a predetermined object from the acquired video, and preference data indicating a preference for the predetermined object. A display program that causes a computer to execute a process of determining a degree of preference matching indicating a degree of matching with an extracted object, and a process of displaying a predetermined object on the display unit 11 in a predetermined display mode based on the degree of preference matching. Remember.

通信部37は、不図示のネットワークを介して情報の通信が可能である。通信部37は、有線及び無線のいずれの通信を行うものであってもよい。通信部37は、例えば情報として、映像取得部31により取得された映像、表示制御部35により所定の表示態様で表示されるオブジェクトの映像等を送信することができる。 The communication unit 37 is capable of communicating information via a network (not shown). The communication unit 37 may perform either wired or wireless communication. The communication unit 37 can transmit, for example, the image acquired by the image acquisition unit 31, the image of an object displayed in a predetermined display mode by the display control unit 35, etc. as information.

本実施形態では、遠隔地にいる受信者(依頼者)の依頼により、使用者が実際の店舗において衣服(オブジェクト)のショッピングを代行する場合を例に挙げて説明する。受信者側には、表示装置100の通信部37から送信される情報を受信可能な受信装置200が設けられる。受信装置200は、不図示の表示部を有する。受信装置200は、通信部37から送信される映像が表示部201に表示されるようになっている。受信者は、受信装置200の表示部201を見ることにより、使用者と同様に、表示装置100の表示部11に表示される映像、つまり、撮影部20により取得される映像及び所定の表示態様で表示されるオブジェクトの映像を見ることができる。 In the present embodiment, an example will be described in which a user shops for clothes (objects) at an actual store at the request of a recipient (requester) in a remote location. A receiving device 200 that can receive information transmitted from the communication unit 37 of the display device 100 is provided on the recipient side. Receiving device 200 has a display section (not shown). The receiving device 200 is configured so that the video transmitted from the communication section 37 is displayed on the display section 201. By looking at the display unit 201 of the receiving device 200, the recipient can view the image displayed on the display unit 11 of the display device 100, that is, the image acquired by the imaging unit 20, and the predetermined display mode in the same manner as the user. You can see images of objects displayed in .

次に、上記のように構成された表示装置100の動作を説明する。使用者は、表示装置100の本体部10を頭部に装着し、購入するオブジェクトを販売する店舗に行く。撮影部20は、使用者目線の映像を撮影する。表示制御部35は、映像取得部31により取得された映像を表示部11に表示させる。環境情報検出部34は、本体部10の周囲の環境情報を取得し、環境情報を記憶部36の環境情報記憶部36bに記憶させる。なお、オブジェクトに対する受信者の嗜好データは、予め記憶部36の嗜好記憶部36aに記憶しておく。 Next, the operation of the display device 100 configured as described above will be explained. A user wears the main body 10 of the display device 100 on his head and goes to a store that sells the object he wants to purchase. The photographing unit 20 photographs an image from the user's perspective. The display control unit 35 causes the display unit 11 to display the video acquired by the video acquisition unit 31. The environmental information detection section 34 acquires environmental information around the main body section 10 and stores the environmental information in the environmental information storage section 36b of the storage section 36. Note that the receiver's preference data for the object is stored in advance in the preference storage section 36a of the storage section 36.

図4は、表示装置100の表示部11における表示内容の一例を示す図である。使用者が屋外又は屋内を移動していることが環境情報検出部34により検出される場合、表示制御部35は、購入目的となるオブジェクトのうち受信者が嗜好する要素を備えたオブジェクトの画像を表示部11に表示することができる。図4に示すように、表示制御部35は、例えば表示部11の所定の表示領域12にオブジェクトの画像を示すことができる。なお、図4では、オブジェクトの画像以外の映像については省略している。 FIG. 4 is a diagram showing an example of display content on the display unit 11 of the display device 100. When the environmental information detection unit 34 detects that the user is moving outdoors or indoors, the display control unit 35 displays an image of an object that has elements preferred by the recipient among the objects to be purchased. It can be displayed on the display unit 11. As shown in FIG. 4, the display control unit 35 can display an image of the object in a predetermined display area 12 of the display unit 11, for example. Note that in FIG. 4, images other than images of objects are omitted.

このとき、表示制御部35は、環境情報に応じて、表示部11に表示するオブジェクトの数を調整することができる。例えば、表示制御部35は、撮影部20の画角が大きい場合には表示数を多くし、画角が小さい場合には表示数を少なくする等、撮影部20の画角の設定に応じてオブジェクトの表示数を調整することができる。また、例えば表示制御部35は、本体部10が屋外に位置している場合にはオブジェクトの表示数を少なくし、屋内に位置している場合にはオブジェクトの表示数を多くし、目的とするオブジェクトを販売する店舗内に位置している場合にはオブジェクトの表示数を更に多くすることができる。また、表示制御部35は、天気が悪い(雨、雪、強風等)場合には、天気が良い(晴れ、曇等)場合に比べて、オブジェクトの表示数を少なくしてもよい。 At this time, the display control section 35 can adjust the number of objects displayed on the display section 11 according to the environmental information. For example, the display control unit 35 increases the number of displays when the angle of view of the imaging unit 20 is large, and decreases the number of displays when the angle of view is small, depending on the setting of the angle of view of the imaging unit 20. You can adjust the number of objects displayed. For example, the display control unit 35 may reduce the number of objects displayed when the main body 10 is located outdoors, increase the number of objects displayed when the main body 10 is located indoors, and If the object is located in a store that sells objects, the number of objects displayed can be further increased. Further, the display control unit 35 may display fewer objects when the weather is bad (rain, snow, strong winds, etc.) than when the weather is good (sunny, cloudy, etc.).

使用者が目的の店舗に入店した場合、環境情報検出部34は、本体部10の周囲の環境情報を店外から店内へと変更する。環境情報が店内に変更された場合、表示制御部35は、オブジェクトの表示態様を変更する。図5は、表示部11の表示内容の他の例を示す図である。使用者が店舗内にいる状態において、表示制御部35は、図5に示すように、受信者が嗜好するオブジェクトの表示領域12を拡大する。 When the user enters the target store, the environmental information detection section 34 changes the environmental information around the main body section 10 from outside the store to inside the store. When the environmental information is changed to inside the store, the display control unit 35 changes the display mode of the object. FIG. 5 is a diagram showing another example of display content on the display unit 11. While the user is in the store, the display control unit 35 enlarges the display area 12 of the object that the recipient likes, as shown in FIG.

また、映像取得部31は、撮影部20で撮影された映像を取得する。映像解析部32は、取得した映像から衣服のオブジェクトを抽出する。演算部33は、嗜好記憶部36aに記憶された嗜好データに基づいて、映像解析部32が抽出したオブジェクトの嗜好一致度を求める。演算部33は、例えば抽出されたオブジェクトのスコアを算出し、所定の閾値よりも高い場合には嗜好一致度が高いと判定し、所定の閾値よりも低い場合には嗜好一致度が低いと判定する。また、環境情報検出部34は、本体部10の周囲の環境についての環境情報を検出し、検出した環境情報を記憶部36の環境情報記憶部36bに記憶させる。 Further, the video acquisition section 31 acquires the video photographed by the photographing section 20. The video analysis unit 32 extracts clothing objects from the acquired video. The calculation unit 33 calculates the preference matching degree of the object extracted by the video analysis unit 32 based on the preference data stored in the preference storage unit 36a. For example, the calculation unit 33 calculates the score of the extracted object, and if the score is higher than a predetermined threshold, it is determined that the degree of preference matching is high, and if it is lower than the predetermined threshold, it is determined that the degree of preference matching is low. do. Further, the environmental information detection section 34 detects environmental information about the environment around the main body section 10, and stores the detected environmental information in the environmental information storage section 36b of the storage section 36.

表示制御部35は、演算部33で算出される嗜好一致度及び環境情報検出部34で検出される環境情報に基づいて、オブジェクトの映像を所定の表示態様で表示部11に表示する。図5は、表示装置100の表示部11における表示内容の他の例を示す図である。図5に示すように、表示制御部35は、映像解析部32が抽出したオブジェクトP1、P2、P3をそれぞれ表示部11に表示することができる。このうち、例えば一致度が高いと判定したオブジェクトP1については、他のオブジェクトP2、P3に比べて拡大して表示してもよい。また、表示制御部35は、例えば一致度が最も高いオブジェクトP1を表示領域13の中央に表示してもよい。また、表示制御部35は、一致度が低いと判定したオブジェクトP3については、例えば全体に網掛け表示を行って視認性を低下させるような表示態様としてもよい。オブジェクトの所定の表示形態については、上記に限定されず、他の表示形態としてもよい。 The display control unit 35 displays the image of the object on the display unit 11 in a predetermined display mode based on the preference matching degree calculated by the calculation unit 33 and the environmental information detected by the environmental information detection unit 34. FIG. 5 is a diagram showing another example of display content on the display unit 11 of the display device 100. As shown in FIG. 5, the display control unit 35 can display each of the objects P1, P2, and P3 extracted by the video analysis unit 32 on the display unit 11. Among these objects, for example, the object P1 determined to have a high degree of matching may be displayed enlarged compared to the other objects P2 and P3. Further, the display control unit 35 may display, for example, the object P1 with the highest degree of matching in the center of the display area 13. Further, the display control unit 35 may display the object P3 that has been determined to have a low degree of matching in a display manner such that, for example, the entire object P3 is shaded to reduce visibility. The predetermined display format of the object is not limited to the above, and may be other display formats.

また、表示制御部35は、例えば店舗内において、一致度が高いと判定されたオブジェクトP1、P2について、当該オブジェクトP1、P2に対応する商品と本体部10との距離が近づく場合に、距離が近づくにつれて表示の強調性を高める等の表示態様としてもよい。例えば、表示制御部35は、当該オブジェクトP1、P2に対応する商品が撮影された映像を解析し、数十秒間における撮影された商品の大きさの変化に基づいて、商品と本体部10との距離が近づいているか否かを判定してもよい。 In addition, the display control unit 35 also controls, for example, in a store, when the distance between the products corresponding to the objects P1 and P2 and the main unit 10 becomes close for objects P1 and P2 that are determined to have a high degree of matching, the display control unit 35 The display mode may be such that the emphasis of the display increases as the object approaches. For example, the display control unit 35 analyzes the images of the products corresponding to the objects P1 and P2, and determines the relationship between the products and the main body 10 based on changes in the size of the products photographed over several tens of seconds. It may also be determined whether the distance is getting closer.

また、環境情報検出部34は、例えばオブジェクトP1、P2に対応する商品の価格及び在庫の少なくとも一方についての商品情報を店舗から取得してもよい。この場合、表示制御部35は、当該商品情報に応じてオブジェクトP1、P2を強調表示することができる。表示制御部35は、例えばオブジェクトP1、P2に対応する商品の価格が割引価格となっている場合に、当該オブジェクトP1、P2を強調表示してもよい。また、オブジェクトP1、P2に対応する商品の在庫が残り少ない場合に、在庫が少ないことが判別可能となるようにオブジェクトP1、P2を点滅させるなどの強調表示を行ってもよい。なお、強調表示の態様は上記態様に限定されず、他の態様とすることが可能である。 Furthermore, the environmental information detection unit 34 may obtain product information about at least one of the price and inventory of the products corresponding to the objects P1 and P2 from the store, for example. In this case, the display control unit 35 can highlight the objects P1 and P2 according to the product information. For example, when the prices of products corresponding to objects P1 and P2 are discounted prices, the display control unit 35 may highlight the objects P1 and P2. Further, when the inventory of the products corresponding to the objects P1 and P2 is low, the objects P1 and P2 may be highlighted by blinking or the like so that it can be determined that the inventory is low. Note that the mode of highlighting is not limited to the above mode, and other modes are possible.

また、表示制御部35は、オブジェクトを表示部11に表示する場合、例えば本体部10が屋内に位置する場合には、本体部10が屋内に位置しない場合に比べて、表示するオブジェクトの数を多くすることができる。このように、表示制御部35は、環境情報に応じてオブジェクトの表示数を調整することができる。 Further, when displaying objects on the display unit 11, for example, when the main body 10 is located indoors, the display control unit 35 controls the number of objects to be displayed, compared to when the main body 10 is not located indoors. Can be many. In this way, the display control unit 35 can adjust the number of objects displayed according to the environmental information.

図6は、本実施形態に係る表示方法の一例を示すフローチャートである。図6に示すように、映像取得部31は、撮影部20で撮影される映像を取得する(ステップS10)。表示制御部35は、取得した映像を表示部11に表示される。また、映像解析部32は、取得した映像から所定のオブジェクトを抽出する(ステップS20)。ステップS20において、映像解析部32は、所定のオブジェクトごとに用意したテンプレートによりパターンマッチングなどの画像処理を行うことで、所定のオブジェクトを抽出することができる。なお、映像解析部32による所定のオブジェクトの抽出手法はこれに限定されず、種々の画像処理手法を用いることができる。 FIG. 6 is a flowchart illustrating an example of the display method according to this embodiment. As shown in FIG. 6, the video acquisition unit 31 acquires a video shot by the imaging unit 20 (step S10). The display control unit 35 displays the acquired video on the display unit 11. Further, the video analysis unit 32 extracts a predetermined object from the acquired video (step S20). In step S20, the video analysis unit 32 can extract a predetermined object by performing image processing such as pattern matching using a template prepared for each predetermined object. Note that the method for extracting a predetermined object by the video analysis unit 32 is not limited to this, and various image processing methods can be used.

演算部33は、オブジェクトについて予め記憶部36の嗜好記憶部36aに記憶された嗜好データに基づいて、上記の抽出されたオブジェクトの嗜好一致度を求める(ステップS30)。ステップS30において、演算部33は、オブジェクトの要素ごとに要素データとの類似度に応じたスコアを算出し、スコアの総計に基づいて嗜好一致度を求める。 The calculation unit 33 calculates the preference matching degree of the extracted object based on the preference data stored in advance in the preference storage unit 36a of the storage unit 36 for the object (step S30). In step S30, the calculation unit 33 calculates a score according to the degree of similarity with the element data for each element of the object, and determines the degree of preference matching based on the total score.

表示制御部35は、求めた嗜好一致度に基づいて、オブジェクトの映像を所定の表示態様により表示部11に表示する(ステップS40)。ステップS40において、表示制御部35は、嗜好一致度に加えて、環境情報検出部34により取得される環境情報に基づいてオブジェクトの映像の表示態様を設定してもよい。 The display control unit 35 displays the image of the object on the display unit 11 in a predetermined display mode based on the obtained preference matching degree (step S40). In step S40, the display control unit 35 may set the display mode of the image of the object based on the environmental information acquired by the environmental information detection unit 34 in addition to the degree of preference matching.

以上のように、本実施形態に係る表示装置100は、表示部11を有する本体部10と、表示部11に表示する映像を取得する映像取得部31と、取得した映像から所定のオブジェクトを抽出する映像解析部32と、所定のオブジェクトに対する好みを示す嗜好データを記憶する嗜好記憶部36aと、嗜好記憶部36aに記憶された嗜好データと、映像解析部32が抽出たオブジェクトとの一致度合いを示す嗜好一致度を求める演算部33と、嗜好一致度に基づいて、所定のオブジェクトを所定の表示態様により表示部11に表示する表示制御部35とを備える。 As described above, the display device 100 according to the present embodiment includes the main body section 10 having the display section 11, the image acquisition section 31 that acquires an image to be displayed on the display section 11, and the image acquisition section 31 that extracts a predetermined object from the acquired image. A video analysis unit 32 that stores preference data indicating a preference for a predetermined object, a preference storage unit 36a that stores preference data indicating preferences for a predetermined object, and a preference storage unit 36a that stores preference data indicating preferences for a predetermined object and determines the degree of coincidence between the preference data stored in the preference storage unit 36a and the object extracted by the video analysis unit 32. The display controller 11 includes a calculation unit 33 that calculates the degree of preference matching shown, and a display control unit 35 that displays a predetermined object in a predetermined display mode on the display unit 11 based on the degree of preference matching.

また、本実施形態に係る表示方法は、本体部10に設けられる表示部11に表示する映像を取得することと、取得した映像から所定のオブジェクトを抽出することと、所定のオブジェクトに対する好みを示す嗜好データと、抽出されたオブジェクトとの一致度合いを示す嗜好一致度を求めることと、嗜好一致度に基づいて、所定のオブジェクトを所定の表示態様により表示部11に表示することとを含む。 Further, the display method according to the present embodiment includes acquiring an image to be displayed on the display section 11 provided in the main body section 10, extracting a predetermined object from the acquired image, and indicating a preference for the predetermined object. The process includes obtaining a degree of preference matching indicating the degree of matching between the preference data and the extracted object, and displaying a predetermined object on the display unit 11 in a predetermined display mode based on the degree of preference matching.

また、本実施形態に係る表示プログラムは、本体部10に設けられる表示部11に表示する映像を取得する処理と、取得した映像から所定のオブジェクトを抽出する処理と、所定のオブジェクトに対する好みを示す嗜好データと、抽出されたオブジェクトとの一致度合いを示す嗜好一致度を求める処理と、嗜好一致度に基づいて、所定のオブジェクトを所定の表示態様により表示部11に表示する処理とをコンピュータに実行させる。 Further, the display program according to the present embodiment includes a process of acquiring an image to be displayed on the display unit 11 provided in the main body 10, a process of extracting a predetermined object from the acquired image, and a process of indicating a preference for the predetermined object. A computer executes a process of obtaining a degree of preference matching indicating the degree of matching between the preference data and the extracted object, and a process of displaying a predetermined object on the display unit 11 in a predetermined display mode based on the degree of preference matching. let

本実施形態によれば、予め記憶された嗜好データに基づいて、抽出されたオブジェクトの嗜好一致度を求め、求めた嗜好一致度に基づいてオブジェクトの映像を所定の表示態様により表示部11に表示する。これにより、外部と頻繁なコミュニケーションをとらなくても、選択すべきオブジェクトを使用者に容易に把握させることができるため、使用者の負担を低減することができる。 According to the present embodiment, the degree of preference matching of the extracted object is determined based on preference data stored in advance, and the image of the object is displayed on the display unit 11 in a predetermined display mode based on the determined degree of preference matching. do. Thereby, the user can easily understand the object to be selected without having to frequently communicate with the outside, and the burden on the user can be reduced.

本実施形態に係る表示装置100は、本体部10の周囲の環境についての環境情報を検出する環境情報検出部34を更に備え、表示制御部35は、嗜好一致度と環境情報とに基づいて表示態様を設定する。これにより、本体部10の周囲の環境に応じて柔軟に表示態様を設定することができる。 The display device 100 according to the present embodiment further includes an environmental information detection unit 34 that detects environmental information about the environment surrounding the main body 10, and a display control unit 35 that displays information based on the degree of preference matching and the environmental information. Set the mode. Thereby, the display mode can be flexibly set according to the environment around the main body section 10.

本実施形態に係る表示装置100において、環境情報は、本体部10が屋内に位置するか否かについての情報を含み、表示制御部35は、本体部10が屋内に位置する場合、本体部10が屋内に位置しない場合に比べて、表示するオブジェクトの数を多くする。これにより、屋内に位置しない場合、つまり屋外に位置する場合において、表示するオブジェクトの数が少なくなるため、使用者の視界を確保できる。 In the display device 100 according to the present embodiment, the environment information includes information as to whether the main body 10 is located indoors, and the display control unit 35 controls the main body 10 when the main body 10 is located indoors. Display more objects than if the object were not located indoors. As a result, when the user is not located indoors, that is, when the user is located outdoors, the number of objects to be displayed is reduced, so that the user's field of view can be ensured.

本実施形態に係る表示装置100において、オブジェクトは、所定の店舗で販売される商品であり、環境情報は、本体部10が店舗内に位置するか否かについての情報を含む。これにより、本体部10が店舗内に位置する場合と、店舗内に位置しない場合とで表示態様を異なるように設定することができる。 In the display device 100 according to the present embodiment, the object is a product sold at a predetermined store, and the environmental information includes information about whether the main body 10 is located in the store. Thereby, the display mode can be set to be different depending on whether the main body section 10 is located inside the store or when it is not located inside the store.

本実施形態に係る表示装置100において、環境情報は、本体部10とオブジェクトに対応する商品との距離を含み、表示制御部35は、距離が近づくにつれてオブジェクトを拡大表示させる。これにより、使用者に対して、オブジェクトに対応する商品に近づいていることを直感的に認識させることができる。 In the display device 100 according to the present embodiment, the environmental information includes the distance between the main body section 10 and the product corresponding to the object, and the display control section 35 enlarges and displays the object as the distance approaches. This allows the user to intuitively recognize that they are approaching the product corresponding to the object.

本実施形態に係る表示装置100において、環境情報は、オブジェクトの価格及びオブジェクトの在庫数の少なくとも一方についての商品情報を含み、表示制御部35は、商品情報に応じた表示態様を設定する。これにより、使用者に商品情報を併せて認識させることができる。 In the display device 100 according to the present embodiment, the environmental information includes product information regarding at least one of the price of the object and the number of objects in stock, and the display control unit 35 sets a display mode according to the product information. This allows the user to recognize the product information as well.

本実施形態に係る表示装置100において、嗜好データは、オブジェクトの要素ごとに設定可能な要素データを含み、演算部33は、映像解析部32が抽出したオブジェクトの要素と嗜好記憶部36aに記憶された要素データとの間の類似度に基づいてスコアを算出し、スコアの合計に基づいて嗜好一致度を求める。これにより、嗜好一致度を高精度に求めることができる。 In the display device 100 according to the present embodiment, the preference data includes element data that can be set for each element of the object, and the calculation unit 33 stores the object elements extracted by the video analysis unit 32 and the preference storage unit 36a. A score is calculated based on the degree of similarity between the element data and the element data, and the degree of preference matching is determined based on the total score. Thereby, the degree of preference matching can be determined with high accuracy.

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、オブジェクトとして衣服を例に挙げて説明したが、これに限定されず、他の種類の商品がオブジェクトであってもよい。また、表示装置100としては、上記実施形態のHMD装置には限定されず、例えばスマートフォン等、表示部を有する端末装置等であってもよい。 The technical scope of the present invention is not limited to the above embodiments, and changes can be made as appropriate without departing from the spirit of the present invention. For example, in the embodiment described above, clothing is used as an example of the object, but the object is not limited to this, and other types of products may be used as the object. Further, the display device 100 is not limited to the HMD device of the above embodiment, and may be a terminal device having a display unit, such as a smartphone, for example.

P1,P2,P3…オブジェクト、10…本体部、11,201…表示部、12,13…表示領域、20…撮影部、30…制御装置、31…映像取得部、32…映像解析部、33…演算部、34…環境情報検出部、35…表示制御部、36…記憶部、36a…嗜好記憶部、36b…環境情報記憶部、37…通信部、100…表示装置、200…受信装置 P1, P2, P3...Object, 10...Main unit, 11,201...Display unit, 12, 13...Display area, 20...Photographing unit, 30...Control device, 31...Video acquisition unit, 32...Video analysis unit, 33 ...Calculating section, 34...Environmental information detection section, 35...Display control section, 36...Storage section, 36a...Preference storage section, 36b...Environmental information storage section, 37...Communication section, 100...Display device, 200...Receiving device

Claims (4)

表示部を有する本体部と、
前記表示部に表示する映像を取得する映像取得部と、
取得した前記映像から所定のオブジェクトを抽出する映像解析部と、
オブジェクトの要素についての嗜好を示す要素データを記憶する嗜好記憶部と、
前記嗜好記憶部に記憶された前記要素データと、前記映像解析部が抽出した所定のオブジェクトとの一致度合いを示す嗜好一致度を求める演算部と、
前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示する表示制御部と
を備え
前記本体部の周囲の環境についての環境情報を検出する環境情報処理部を更に備え、
前記表示制御部は、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、
前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、
前記表示制御部は、前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数を多くする
表示装置。
a main body having a display section;
a video acquisition unit that acquires a video to be displayed on the display unit;
a video analysis unit that extracts a predetermined object from the acquired video;
a preference storage unit that stores element data indicating preferences regarding elements of the object ;
a calculation unit that calculates a degree of preference coincidence indicating a degree of coincidence between the element data stored in the preference storage unit and a predetermined object extracted by the video analysis unit;
a display control unit that displays the extracted predetermined objects side by side on the display unit based on the degree of preference matching ;
further comprising an environmental information processing unit that detects environmental information about the environment surrounding the main body,
The display control unit sets a display mode of the display unit based on the preference matching degree and the environmental information,
The environment information includes information regarding whether the main body is located indoors,
The display control section increases the number of predetermined objects to be displayed side by side on the display section when the main body section is located indoors, compared to when the main body section is not located indoors.
Display device.
前記環境情報は、前記本体部と前記所定のオブジェクトに対応する商品との距離を含み、
前記表示制御部は、前記距離が近づくにつれて前記表示部に並べて表示する所定のオブジェクトを拡大表示させる
請求項に記載の表示装置。
The environmental information includes a distance between the main body and a product corresponding to the predetermined object,
The display device according to claim 1 , wherein the display control section enlarges and displays the predetermined objects displayed side by side on the display section as the distance approaches.
本体部に設けられる表示部に表示する映像を取得することと、
取得した前記映像から所定のオブジェクトを抽出することと、
オブジェクトの要素についての嗜好を示す要素データと、前記抽出された所定のオブジェクトとの一致度合いを示す嗜好一致度を求めることと、
前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示することと
を含み、
前記本体部の周囲の環境についての環境情報を検出することを更に含み、
前記抽出した所定のオブジェクトを前記表示部に並べて表示する際に、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、
前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、
前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数が多くなるように前記表示部の表示態様を設定する
表示方法。
Obtaining an image to be displayed on a display section provided on the main body;
Extracting a predetermined object from the acquired video;
determining a degree of preference coincidence indicating the degree of coincidence between element data indicating preferences for elements of the object and the extracted predetermined object;
displaying the extracted predetermined objects side by side on the display unit based on the preference matching degree ;
further comprising detecting environmental information about the environment around the main body,
When displaying the extracted predetermined objects side by side on the display unit, setting a display mode of the display unit based on the preference matching degree and the environmental information,
The environment information includes information regarding whether the main body is located indoors,
When the main body is located indoors, the display mode of the display section is set so that the number of predetermined objects to be displayed side by side on the display section is greater than when the main body is not located indoors.
Display method.
本体部に設けられる表示部に表示する映像を取得する処理と、
取得した前記映像から所定のオブジェクトを抽出する処理と、
オブジェクトの要素についての嗜好を示す要素データと、前記抽出されたオ所定のブジェクトとの一致度合いを示す嗜好一致度を求める処理と、
前記嗜好一致度に基づいて、前記抽出した所定のオブジェクトを前記表示部に並べて表示する処理と
をコンピュータに実行させ
前記本体部の周囲の環境についての環境情報を検出する処理を更にコンピュータに実行させ、
前記抽出した所定のオブジェクトを前記表示部に並べて表示する処理では、前記嗜好一致度と前記環境情報とに基づいて前記表示部の表示態様を設定し、
前記環境情報は、前記本体部が屋内に位置するか否かについての情報を含み、
前記本体部が屋内に位置する場合、前記本体部が屋内に位置しない場合に比べて、前記表示部に並べて表示する所定のオブジェクトの数が多くなるように前記表示部の表示態様を設定する
表示プログラム。
a process of acquiring an image to be displayed on a display section provided in the main body;
a process of extracting a predetermined object from the acquired video;
a process for determining a degree of preference matching indicating a degree of agreement between element data indicating preferences regarding elements of the object and the extracted predetermined object;
causing a computer to execute a process of arranging and displaying the extracted predetermined objects on the display unit based on the preference matching degree ;
further causing the computer to execute a process of detecting environmental information about the environment surrounding the main body,
In the process of displaying the extracted predetermined objects side by side on the display section, a display mode of the display section is set based on the preference matching degree and the environmental information,
The environment information includes information regarding whether the main body is located indoors,
When the main body is located indoors, the display mode of the display section is set so that the number of predetermined objects to be displayed side by side on the display section is greater than when the main body is not located indoors.
Display program.
JP2019174271A 2019-09-25 2019-09-25 Display device, display method, and display program Active JP7363271B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019174271A JP7363271B2 (en) 2019-09-25 2019-09-25 Display device, display method, and display program
JP2023172059A JP2023168495A (en) 2019-09-25 2023-10-03 Display device, display method and display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019174271A JP7363271B2 (en) 2019-09-25 2019-09-25 Display device, display method, and display program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023172059A Division JP2023168495A (en) 2019-09-25 2023-10-03 Display device, display method and display program

Publications (2)

Publication Number Publication Date
JP2021051565A JP2021051565A (en) 2021-04-01
JP7363271B2 true JP7363271B2 (en) 2023-10-18

Family

ID=75157308

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019174271A Active JP7363271B2 (en) 2019-09-25 2019-09-25 Display device, display method, and display program
JP2023172059A Pending JP2023168495A (en) 2019-09-25 2023-10-03 Display device, display method and display program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023172059A Pending JP2023168495A (en) 2019-09-25 2023-10-03 Display device, display method and display program

Country Status (1)

Country Link
JP (2) JP7363271B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156478A (en) 2017-03-17 2018-10-04 ラスパンダス株式会社 Computer program
WO2019135313A1 (en) 2018-01-04 2019-07-11 ソニー株式会社 Information processing device, information processing method and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156478A (en) 2017-03-17 2018-10-04 ラスパンダス株式会社 Computer program
WO2019135313A1 (en) 2018-01-04 2019-07-11 ソニー株式会社 Information processing device, information processing method and program

Also Published As

Publication number Publication date
JP2023168495A (en) 2023-11-24
JP2021051565A (en) 2021-04-01

Similar Documents

Publication Publication Date Title
CN106462979B (en) Fashion preference analysis
US11164227B2 (en) Augmented reality devices, systems and methods for purchasing
CN111681070B (en) Online commodity purchasing method, purchasing device, storage device and purchasing equipment
JP5728406B2 (en) Clothes image processing system, clothes image processing method, program
KR20130027801A (en) User terminal for style matching, style matching system using the user terminal and method thereof
CN108764998B (en) Intelligent display device and intelligent display method
JP2018084890A (en) Information processing unit, information processing method, and program
KR102206133B1 (en) Method for transaction based on image and apparatus for performing the method
KR101922713B1 (en) User terminal, intermediation server, system and method for intermediating optical shop
US20220327747A1 (en) Information processing device, information processing method, and program
US20200054209A1 (en) System and method for measuring pupillary distance
US9990665B1 (en) Interfaces for item search
KR20200139934A (en) Clothes Wearing Service Apparatus and Method using Augmented Reality
KR102340904B1 (en) System and method for virtual fitting based on augument reality
JP2018112777A (en) Recommendation item output program, output control program, recommendation item output apparatus, recommendation item output method and output control method
KR102064653B1 (en) Wearable glasses and method for clothes shopping based on augmented relity
US20200226668A1 (en) Shopping system with virtual reality technology
JP7363271B2 (en) Display device, display method, and display program
US20010049645A1 (en) Internet boutique system
KR102298101B1 (en) System of Selling Products for Adult and Driving Method Thereof
KR20110125866A (en) Method and apparatus for providing information through augmented reality
KR102443016B1 (en) Apparatus and method for implementing advertising using augmented technology
KR101737936B1 (en) Method for providing coupon using smart glass and mobile device
JP5706995B2 (en) Shoe image processing system, shoe image processing method, program
KR20210054664A (en) Virtual fitting method and system for clothes using mobile terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R150 Certificate of patent or registration of utility model

Ref document number: 7363271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150