New! View global litigation for patent families

JP4981109B2 - The virtual try-on system and program - Google Patents

The virtual try-on system and program

Info

Publication number
JP4981109B2
JP4981109B2 JP2009194285A JP2009194285A JP4981109B2 JP 4981109 B2 JP4981109 B2 JP 4981109B2 JP 2009194285 A JP2009194285 A JP 2009194285A JP 2009194285 A JP2009194285 A JP 2009194285A JP 4981109 B2 JP4981109 B2 JP 4981109B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009194285A
Other languages
Japanese (ja)
Other versions
JP2011048461A (en )
Inventor
宣之 丸茂
晋 吉宗
守人 夏目
裕彦 持田
伸夫 渡辺
克行 鈴木
仁志 飯坂
Original Assignee
東芝テック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Description

本発明は、仮想試着装置及びプログラムに関する。 The present invention relates to a virtual try apparatus and a program.

従来、服飾品の販売を行う小売店では、顧客が所望する服飾品を試着できるよう試着室が設けられており、この試着によって購入する商品を選択する方式が取られている。 Conventionally, in a retail store, which sells apparel, and fitting room is provided to allow try on apparel customer desires, a method of selecting a product to be purchased by this fitting is taken. しかしながら、この方式では試着に手間がかかるため顧客にとって煩わしいものとなる可能性がある。 However, in this method could be bothersome to customers because it takes time and effort to try. また、店舗側においても、試着室を設けるだけのスペースが必要となり、試着が行われた服飾品を所定位置に片付ける必要もあるため、より効率的な方式が望まれている。 Also in the store, the space of only providing the fitting room is required, since it is necessary to put away the fitting is performed furnishing a predetermined position, a more efficient method is desired.

一方、従来、実視界中の対象物にCG画像等を重畳させる画像合成技術が実用化されている。 On the other hand, conventionally, an image synthesis technique that superimposes the CG image or the like on the object in the real field of view have been put into practical use. 例えば、特許文献1には、実視界中の対象物に着ぐるみ画像を重畳的に表示して観察する技術が開示されている。 For example, Patent Document 1, superimposed manner view and observing technology costume image to the object in the real field of view is disclosed.

しかしながら、特許文献1の技術では、着ぐるみ画像を重畳する対象物が観察者自身の実視界中に存在するため、観察者自身又は観察者自身に係る画像を重畳対象とすることは想定されていない。 However, in the technique of Patent Document 1, since the object to be superimposed on the costume image exists in the real field of view of the observer himself, it is not assumed that the image of the observer himself or observer himself and superimposition target . また、着ぐるみ画像データベースの中から、着ぐるみさせたい画像を選択する必要があるため、服飾品等の仮想試着に応用した場合、多くの商品画像の中から目的とする商品画像を選択することとなり、利便性に欠けるという問題がある。 Further, from the costume image database, since it is necessary to select an image desired to be costume, when applied to the virtual try-on apparel Hinto, will be selected product image of interest from among many product images, there is a problem of lack of convenience.

本発明は、上記に鑑みてなされたものであって、店舗内で販売される服飾品の仮想試着に係る利便性を向上させることが可能な仮想試着装置及びプログラムを提供することを目的とする。 The present invention was made in view of the above, and an object thereof is to provide a virtual try apparatus and program capable of improving the convenience of the virtual try-apparel products sold in the store .

上述した課題を解決し、目的を達成するために、本発明は、 顧客の頭部に装着され、当該顧客の眼前に対応する位置に光透過性の表示部が設けられたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイに設けられ、当該ヘッドマウントディスプレイを装着する前記顧客の視線方向に撮像範囲が設定された撮像部と、前記撮像部により撮像された画像データの中から、商品に付されたデータコードを識別し、当該データコードに含まれる商品コードを解読する解読手段と、各商品の商品コードと、前記各商品を模した商品画像とを対応付けて記憶した商品画像記憶手段から、前記解読手段で解読された商品コードに対応する商品画像を読み出す読出手段と、前記読出手段により読み出された商品画像を、前記顧客の姿を模したキ To solve the above problems and achieve the object, the present invention is mounted on the customer's head, a head-mounted display light transmissive display portions are provided at positions corresponding to the front of the customer, provided in the head-mounted display, an imaging unit imaging range is set to the viewing direction of the customer for mounting the head-mounted display, from among the image data captured by the imaging unit, attached to the commodity data identify the code, and decoding means for decoding a product code included in the data code, the commodity image storage means and commodity code of each commodity, and stores in association with commodity image of each item imitating the decryption reading means for reading a commodity image corresponding to the commodity code is decrypted with means, product images read by the reading means, imitating the appearance of the customer key ラクタ画像の所定の部位に重畳する画像処理手段と、 前記解読手段が識別した前記画像データ中の前記データコードを強調する強調画像と、前記商品画像が重畳された前記キャラクタ画像とを前記表示部にそれぞれ表示させる表示制御手段と、を備える。 Image processing means for superimposing a predetermined site Rakuta image, wherein the emphasizing weighted image data codes, said and said character image in which the product image is superimposed portion in said image data decoding means has identified and a display control means for displaying respectively.

また、本発明は、顧客の頭部に装着され、当該顧客の眼前に対応する位置に光透過性の表示部が設けられたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイに設けられ、当該ヘッドマウントディスプレイを装着した顧客の視線方向に撮像範囲が設定された撮像部と、を備える仮想試着装置のコンピュータを、前記撮像部により撮像された画像データの中から、商品に付されたデータコードを識別し、当該データコードに含まれる商品コードを解読する解読手段と、各商品の商品コードと、前記各商品を模した商品画像とを対応付けて記憶した商品画像記憶手段から、前記解読手段で解読された商品コードに対応する商品画像を読み出す読出手段と、前記読出手段により読み出された商品画像を、 前記顧客の姿を模したキャラ Further, the present invention is mounted on the customer's head, a head-mounted display light transmissive display portions are provided at positions corresponding to the front of the customer, provided to the head mount display, the head-mounted display an imaging unit viewing direction in the imaging range of customers is set equipped, the computer of the virtual try-on device comprising a, from among the image data captured by the imaging unit, to identify the data code attached to the commodity a decoding means for decoding a product code included in the data code, the commodity code of each commodity, a commodity image storage means the respective item is stored in association with product image simulating, is decoded by said decoding means character reading means for reading a commodity image corresponding to the commodity code, the commodity image read by the reading means, which simulates the appearance of the customer was タ画像の所定の部位に重畳する画像処理手段と、 前記解読手段が識別した前記画像データ中の前記データコードを強調する強調画像と、前記商品画像が重畳された前記キャラクタ画像とを前記表示部にそれぞれ表示させる表示制御手段と、して機能させる。 Image processing means for superimposing a predetermined portion of the data image, wherein the emphasizing weighted image data codes, said and said character image in which the product image is superimposed portion in said image data decoding means has identified and display control means for displaying respectively, is to function.

本発明によれば、店舗内で販売される服飾品の仮想試着に係る利便性を向上させることが可能な仮想試着装置及びプログラムを提供することができる。 According to the present invention, it is possible to provide a clothing article convenience can be improved virtual fitting apparatus and a program according to the virtual try that are sold in the store.

図1は、本実施形態にかかるPOSシステムの一例を示す図である。 Figure 1 is a diagram showing an example of such a POS system according to the present embodiment. 図2は、図1に示したストアサーバの電装系の構成例を示すブロック図である。 Figure 2 is a block diagram showing a configuration example of the electrical system of the store server shown in FIG. 図3は、図2に示した商品マスタテーブルを構成するデータ項目の一例を示す図である。 Figure 3 is a diagram illustrating an example of the data items constituting the product master table shown in FIG. 図4は、図2に示した商品画像管理テーブルを構成するデータ項目の一例を示す図である。 Figure 4 is a diagram illustrating an example of the data items constituting the product image management table shown in FIG. 図5は、図2に示した会員管理テーブルを構成するデータ項目の一例を示す図である。 Figure 5 is a diagram showing an example of data items that constitute the member management table shown in FIG. 図6は、図2に示した売上管理テーブルを構成するデータ項目の一例を示す図である。 Figure 6 is a diagram illustrating an example of the data items constituting the sales management table shown in FIG. 図7は、図1に示したヘッドマウントディスプレイの一例を示す図である。 Figure 7 is a diagram showing an example of a head-mounted display shown in FIG. 図8は、図1に示したインタフェースボックスの構成例を示すブロック図である。 Figure 8 is a block diagram showing a configuration example of an interface box shown in Figure 1. 図9は、仮想試着処理の手順を示すフローチャートである。 Figure 9 is a flowchart showing the procedure of a virtual try processing. 図10は、図7に示したモニタ表示部の表示例を示す図である。 Figure 10 is a view showing a display example of a monitor display unit shown in FIG. 図11は、図7に示したモニタ表示部の表示例を示す図である。 Figure 11 is a view showing a display example of a monitor display unit shown in FIG. 図12は、図7に示したモニタ表示部の表示例を示す図である。 Figure 12 is a view showing a display example of a monitor display unit shown in FIG.

以下に添付図面を参照して、本発明にかかる仮想試着装置及びプログラムの実施の形態を詳細に説明する。 With reference to the accompanying drawings, an embodiment of the virtual try-on device and program according to the present invention in detail. なお、以下では本発明にかかる仮想試着装置及びプログラムを服飾品の販売を行う店舗でのPOSシステムに適用した例について説明するが、この実施形態により本発明が限定されるものではない。 Although described example of application to the POS system of the virtual try-on device and program according to the present invention at the store to perform a selling apparel below, but the present invention is not limited by this embodiment.

図1は、本実施形態に係るPOSシステムの一例を概略的に示すブロック図である。 Figure 1 is a block diagram schematically showing an example of a POS system according to this embodiment. 同図に示すようにPOSシステム1は、1又は複数台のPOS端末2、その上位機として機能するストアサーバ3、装着者Cが装着して使用するユーザインタフェースであるウエアラブル端末装置4とデータの送受信を行うための送受信装置5がネットワークNを介して接続されている。 POS system 1 as shown in the figure, one or a plurality of POS terminal 2, the store server 3 functioning as a higher machine, the wearer C is wearable terminal apparatus 4 and the data which is a user interface designed to be installed transceiver 5 for transmitting and receiving is connected via a network N. ここで、ネットワークNは、LAN(Local Area Network)、イントラネット等である。 Here, the network N is, LAN (Local Area Network), an intranet or the like.

送受信装置5とウエアラブル端末装置4との間のデータの送受信は、電波、光、赤外線、超音波等であってよく、本実施形態では通信範囲が数m程度である近接無線通信(例えばBluetooth(登録商標)等)を用いて行うものとする。 Transceiver 5 and exchange data with the wearable terminal device 4, radio, optical, infrared, may be a ultrasonic wave or the like, in the present embodiment is about several m communication range proximity wireless communication (e.g., Bluetooth ( shall be carried out using a registered trademark)). なお、送受信装置5は、精算カウンター近傍の領域、陳列棚が設けられた領域、バックヤード等の店舗内の各領域に設置されているものとする。 Incidentally, transceiver 5, checkout counter near the region, the region where shelves are provided, and those are installed in each area in a store such as a back yard to.

POS端末2は、ドロア、カードリーダ、コードスキャナ、ディスプレイ、レシート/ジャーナル用プリンタ等を備え(いずれも図示せず)、現金やクレジットカードを用いて商取引を行うもので、例えば精算カウンター等に設けられる。 POS terminal 2, drawer, card reader, code scanner, a display, comprising a receipt / journal printer, etc. (none shown), and performs transactions using a cash or credit card, provided for example checkout counter or the like It is.

このようなPOSシステムが構築される店舗では、販売対象の各種商品に対して、その商品に関する各種情報がコード化されて示されるバーコードが各々の商品に付与されている。 In such shops POS system is constructed, for various items being sold, the bar code is assigned to each of the product in which various information regarding the product is shown to be encoded. 各種商品の商品コードに対応して価格等がプリセットされた後述する商品マスタテーブル371がストアサーバ3に記憶されている。 Product master table 371 to be described later which prices are preset in correspondence with the commodity code of the various products are stored in the store server 3. POS端末2は、図示しないコードスキャナを介して読み取ったバーコードのデータから商品コードを抽出し、この商品コードに対応して設定された価格をストアサーバ3に問い合わせ、取得した価格に基づいて買上商品の精算を行うとともに、買上商品の販売記録を示す売上データを生成してこれをストアサーバ3に通知することで、売上データを後述する売上登録テーブル374に登録する。 POS terminal 2 extracts the product code from the bar code data read through the code scanner (not shown), queries a price that is set corresponding to the commodity code to the store server 3, based on the acquired price purchased It performs settlement for goods, by notifying this to generate sales data indicating the sales record of the purchased item to the store server 3 registers the sales data to the sales registration table 374 to be described later.

ストアサーバ3は、店舗内で販売される商品や店舗内で販売された商品の売上、顧客に関する情報を管理し、POS端末2及びウエアラブル端末装置4に各種の情報を提供するサーバ装置である。 Store server 3 manages sales of goods and products sold in the store to be sold in the store, the information about a customer, a server device that provides a variety of information to the POS terminal 2 and wearable terminal device 4.

図2は、ストアサーバ3の電装系の構成例を示すブロック図である。 Figure 2 is a block diagram showing a configuration example of the electrical system of the store server 3. 同図に示すように、ストアサーバ3は、図示しないCPU(Central Processing Unit),ROM(Read Only Memory)、RAM(Random Access Memory)等で構成される制御部31を有し、バス32に接続された通信インタフェース33を介してPOS端末2やウエアラブル端末装置4(送受信装置5)との間で通信可能に構成されている。 As shown in the drawing, the store server 3, not shown CPU (Central Processing Unit), has a ROM (Read Only Memory), a control unit 31 composed of a RAM (Random Access Memory), etc., connected to the bus 32 It has been is configured to communicate with the POS terminal 2 or wearable terminal device 4 via the communication interface 33 (transceiver 5).

また、制御部31にはバス32及びI/O機器制御部34を介して、キーボードやマウス等の入力デバイスにより構成される入力部35、液晶ディスプレイ等の表示デバイスから構成される表示部36及びHDD(Hard Disk Drive)やSDD(Solid State Drive)等の記憶装置から構成される記憶部37が夫々接続されている。 Further, the control unit 31 via the bus 32 and I / O device control unit 34, an input unit 35 composed of an input device such as a keyboard or a mouse, a display unit 36 ​​and a display device such as a liquid crystal display HDD (Hard Disk Drive) and SDD (Solid State Drive) storage unit 37 and a storage device such as are respectively connected.

記憶部37は、制御部31のCPUにより実行される各種の制御プログラムの他、商品マスタテーブル371、商品画像管理テーブル372、会員管理テーブル373及び売上登録テーブル374等を記憶している。 Storage unit 37, in addition to various control programs to be executed by the CPU of the control unit 31, product master table 371, product image management table 372 stores the member management table 373 and the sales registration table 374 or the like.

商品マスタテーブル371は、店舗内で販売される商品に関する情報を管理するテーブルである。 Commodity master table 371 is a table for managing the information about a product to be sold in the store. 図3は、商品マスタテーブル371を構成するデータ項目の一例を示す図である。 Figure 3 is a diagram illustrating an example of the data items constituting the product master table 371. 同図に示すように、商品マスタテーブル371は、「商品コード」、「製造メーカ」、ジャケットやスーツ等の商品の種別を示す「商品種別」、「価格」等のデータ項目からなるレコードによって構成されている。 As shown in the figure, the product master table 371, "product code", "manufacturer", indicating the type of products such as jackets and suits "commodity type", constituted by a record consisting of a data item such as "price" It is. ここで、「商品コード」には、店舗で販売される各種商品品目を識別するために商品毎に予め設定された固有のコードが格納される。 Here, the "product code", the unique code set in advance for each product in order to identify the various commodity items sold in the store are stored. また、「製造メーカ」、「商品種別」、「価格」には、同一の商品コードによって特定される商品についての情報が格納される。 Further, "manufacturer", "product type", the "price" is information about the product identified by the same product code is stored.

商品画像管理テーブル372は、店舗内で販売される各商品を模した2次元又は3次元の画像データ(以下、商品画像という)を管理するためのテーブルである。 Product image management table 372, two-dimensional or three-dimensional image data of each product simulating sold in the store (hereinafter, referred to as product image) is a table for managing. 図4は、商品画像管理テーブル372を構成するデータ項目の一例を示す図である。 Figure 4 is a diagram illustrating an example of the data items constituting the product image management table 372. 同図に示すように、商品画像管理テーブル372は、「商品コード」、「商品画像」、「重畳位置」等のデータ項目からなるレコードによって構成されている。 As shown in the drawing, product image management table 372, "product code", "product image" is constituted by records including data items such as "superimposed position". ここで、「商品コード」は、商品マスタテーブル371の「商品コード」と対応する。 Here, the "product code" corresponds to the "product code" of the product master table 371. 「商品画像」には、商品コードに対応する商品を模した商品画像が格納されている。 The "product image", product images are stored imitating a commodity corresponding to the commodity code. また、「重畳位置」には、商品画像を後述するキャラクタ画像に重畳する部位が格納されている。 The "superimposed position" site to be superimposed on the character image to be described later product images are stored. 例えば、商品コードで特定される商品が帽子である場合には、帽子を着衣する部位である頭部又は頭部を指示する座標等が「重畳位置」に格納される。 For example, if commodity specified by the commodity code is hat, coordinates and the like for instructing the head or heads is a part of clothing hat is stored in the "superimposed position". このように、商品画像とその商品画像の重畳位置は、商品コードに対応付けられて格納される。 Thus, the superimposed position of the product image and the product image is stored in association with the product code.

会員管理テーブル373は、会員登録された顧客に関する情報を管理するテーブルである。 Member management table 373 is a table for managing the information about a customer that has been member registration. 図5は、会員管理テーブル373を構成するデータ項目の一例を示す図である。 Figure 5 is a diagram showing an example of data items that constitute the member management table 373. 同図に示すように、会員管理テーブル373は、「会員管理番号」、「会員情報」、「体型」、「顔画像」等のデータ項目からなるレコードによって構成されている。 As shown in the figure, the member management table 373, "membership management number", "member information", "type" is configured by a record including data items such as "face image". ここで、「会員管理番号」には、各会員を識別するためにユニークに割り振られた会員番号等の識別子が格納される。 Here, the "member management number" is an identifier such as a membership number assigned uniquely to identify each member is stored. 「会員情報」には、会員登録された顧客の氏名や性別、住所等の個人情報が格納される。 To "Membership information", member registered customer's name and sex, the personal information of address, etc. are stored. 「体型」には、会員登録された顧客の体型を特徴付ける体型データが格納される。 In the "type" is, integrated data characterizing the type of customer that has been member registration is stored. この体型データとしては、例えば、身長、胸囲、腹囲、腰囲等の所定の部位の測定値が挙げられる。 As the integrated data, for example, height, chest circumference, waist circumference, and a measure of the predetermined portion of the waist 囲等. また、「顔画像」には、会員登録された顧客の顔画像データが格納される。 In addition, the "face image", the customer's face image data that has been member registration is stored.

売上登録テーブル374は、店舗内のPOS端末2から送信された売上データを管理するテーブルである。 Sales registration table 374 is a table for managing the sales data transmitted from the POS terminal 2 in the store. 図6は、売上登録テーブル374を構成するデータ項目の一例を示す図である。 Figure 6 is a diagram illustrating an example of the data items constituting the sales registration table 374. 制御部31は、POS端末2から売上データが通知される毎に、この売上データと本日の日付とを対応付け、一のレコードとして売上登録テーブル374に登録する。 Control unit 31, for each sales data is notified from the POS terminal 2, associates the this sales data and today's date is registered in the sales registration table 374 as a single record.

制御部31は、記憶部37に記憶されたプログラムと協働して販売支援に係る各種の情報をPOS端末2及びウエアラブル端末装置4に提供する。 Control unit 31 provides a variety of information regarding sales support in cooperation with programs stored in the storage unit 37 to the POS terminal 2 and wearable terminal device 4.

具体的に、制御部31は、POS端末2から商品コードの問い合わせを受け付けると、この商品コードに対応するレコードを商品マスタテーブル371から読み出し、POS端末2へ送信する。 Specifically, the control unit 31 accepts the inquiry of the product code from the POS terminal 2 reads a record corresponding to the product code from the product master table 371, and transmits to the POS terminal 2.

また、制御部31は、ウエアラブル端末装置4から会員管理番号が通知されると、この会員管理番号に対応するレコードを会員管理テーブル373から読み出し、会員情報としてPOS端末2へ送信する。 The control unit 31, the wearable member management number from the terminal device 4 is notified, read the record corresponding to the member management number from the member management table 373, and transmits to the POS terminal 2 as member information. さらに、制御部31は、ウエアラブル端末装置4から商品コードが通知されると、この商品コードに対応するレコードを商品画像管理テーブル372から読み出し、POS端末2へ送信する。 Further, the control unit 31, the product code is notified from the wearable terminal device 4, reads a record corresponding to the commodity code from the commodity image management table 372, and transmits to the POS terminal 2.

ウエアラブル端末装置4は、図1及び図7に示したように、ヘッドマウントディスプレイ41と、撮像装置としてのデジタルカメラ42と、インタフェースボックス43とを備え、装着者Cにより装着される端末装置である。 Wearable terminal device 4, as shown in FIGS. 1 and 7, the head-mounted display 41, a digital camera 42 as an imaging device, and an interface box 43, is a terminal device that is worn by the wearer C . ヘッドマウントディスプレイ41は、眼鏡のフレーム状に形成された保持部材としてフレーム本体44と、このフレーム本体44の左右両側にそれぞれ設けられた装着用アーム45とを備える。 Head-mounted display 41 comprises a frame body 44 as a holding member formed in a frame shape of eyeglasses, and a mounting arm 45 provided on the left and right sides of the frame body 44. このヘッドマウントディスプレイ41は、左右両側にそれぞれ設けられた装着用アーム45によって装着者Cの頭部Hに装着可能である。 The head-mounted display 41, the mounting arm 45 provided on the left and right sides can be worn on the head H of the wearer C.

フレーム本体44は、装着者Cの両眼に合わせた大きさの枠状に形成されている。 The frame body 44 is formed in a frame-like combined size in both eyes of a wearer C. フレーム本体44の枠外の上部中央には、撮像方向可変機構46を介してデジタルカメラ42が設けられている。 The top center of the outside the frame of the frame body 44, the digital camera 42 is provided via the imaging direction change mechanism 46. また、フレーム本体44の上部左側には、装着者Cの瞳を撮像して視線Eの検出を行うための視線認識用カメラ47が設けられている。 Also, the upper left side of the frame body 44, visual line recognizing camera 47 for detecting a visual axis E by imaging the pupil of the wearer C are provided. また、フレーム本体44の枠内には、例えばフレーム枠の形状に合わせて形成された板状の光透過性部材48が保持されている。 Further, in the frame of the frame body 44, for example, a plate-like light transmitting member 48 formed in accordance with the shape of the framework is retained. この光透過性部材48は、ヘッドマウントディスプレイ41を装着者Cの頭部Hに装着した場合、装着者Cの眼によって周辺環境を観察可能である。 The light transmitting member 48, when wearing the head-mounted display 41 on the head H of the wearer C, it is possible to observe the surrounding environment by the eye of the wearer C. この光透過性部材48は、例えば無色透明又は予め決められた色を有していてもよい。 The light transmitting member 48, for example may have a colorless and transparent or predetermined color.

光透過性部材48内の一部分には、モニタ表示部481が形成されている。 A portion of the light transmitting member 48 is a monitor display unit 481 is formed. このモニタ表示部481は、デジタルカメラ42の撮像により取得される動画の画像データ等をリアルタイムにモニタ表示する。 The monitor display unit 481, in real time on the monitor display the image data of the moving image acquired by the imaging of the digital camera 42. このモニタ表示部481は、例えばヘッドマウントディスプレイ41における左側に形成されている。 The monitor display unit 481, for example, is formed on the left side in the head-mounted display 41. すなわち、モニタ表示部481は、ヘッドマウントディスプレイ41を装着者Cの頭部Hに装着したときの装着者Cの例えば左眼に対応する部分に形成されている。 That is, the monitor display unit 481 is formed, for example, a portion corresponding to the left eye of the wearer C when wearing the head-mounted display 41 on the head H of the wearer C. なお、モニタ表示部481は、装着者Cの右眼に対応する部分に形成してもよいし、装着者Cの両目に対応する各部分に形成してもよい。 The monitor display unit 481 may be formed in a portion corresponding to the right eye of the wearer C, it may be formed in each portion corresponding to the eyes of the wearer C. このモニタ表示部481は、光透過性の状態でモニタ表示する。 The monitor display unit 481 monitors displayed in a state of optical transparency. しかるに、モニタ表示部481は、例えばデジタルカメラ42の撮像により取得された画像データや各種情報等をリアルタイムにモニタ表示している状態でも周辺環境を観察可能である。 However, the monitor display unit 481 is, for example, can observe the surrounding environment of the image data and various kinds of information acquired by the imaging of the digital camera 42 or the like in a state where the monitor display in real time.

デジタルカメラ42は、撮像動作を行って動画の画像データを出力する。 Digital camera 42 outputs the image data of a moving performs imaging operation. このデジタルカメラ42は、光透過性部材48を通した装着者Cの視線E方向に焦点が合うように撮像範囲を設定した状態でヘッドマウントディスプレイ41のフレーム本体44上に取り付けられている。 The digital camera 42 is mounted on the frame body 44 of the head mounted display 41 in a state of setting the imaging range to focus the line of sight direction E of the wearer C through the light transmitting member 48. 撮像方向可変機構46は、例えばデジタルカメラ42を首振り可能に支持し、デジタルカメラ42の撮像方向を任意の方向、ここでは上記の如くデジタルカメラ42の撮像範囲を装着者Cの視線E方向に焦点が合うように設定する。 Imaging direction changing mechanism 46, for example, a digital camera 42 head to swing rotatably supported, in any direction the imaging direction of the digital camera 42, wherein the imaging range of the digital camera 42 as described above to the viewing direction E of the wearer C is focus is set to match.

インタフェースボックス43は、送受信装置5との間のデータの送受信を行うとともに、ヘッドマウントディスプレイ41にかかる各種処理を行う。 Interface box 43 performs transmission and reception of data between the transceiver 5, performs various processing according to the head mounted display 41. 具体的には、インタフェースボックス43は、図8に示すように、制御部431、送受信部432、情報表示部433、画像処理部434を備え、ヘッドマウントディスプレイ41の装着者Cが携帯可能なボックスである。 Specifically, the interface box 43, as shown in FIG. 8, the control unit 431, transceiver 432, the information display unit 433, an image processing unit 434, the wearer C is portable box of the head mounted display 41 it is. ここで、図8は、インタフェースボックス43の構成例を示すブロック図である。 Here, FIG. 8 is a block diagram showing a configuration example of an interface box 43.

制御部431は、CPU、ROM、RAM等を有するコンピュータであり、ウエアラブル端末装置4の動作を制御する。 Control unit 431 is a computer having CPU, ROM, RAM, etc., and controls the operation of the wearable terminal device 4. ROMには、プログラムやそのプログラムを実行する際に参照される各種設定情報等が予め格納されている。 ROM, the various setting information that are referred to when executing the program and the program are stored in advance.

CPUは、ROMに記憶されたプログラムをRAMのワークエリアに展開して順次実行することで、ウエアラブル端末装置4の動作を中央制御する。 The CPU, by sequentially carrying expand a program stored in the ROM in the work area of ​​the RAM, and the central control the operation of the wearable terminal device 4.

具体的に、制御部431は、デジタルカメラ42の撮像により取得された画像データを情報表示部433へ出力してヘッドマウントディスプレイ41のモニタ表示部481にリアルタイムに表示させる。 Specifically, the control unit 431 displays in real time to output the image data acquired by the imaging of the digital camera 42 to the information display unit 433 on the monitor display part 481 of the head mounted display 41. さらに、デジタルカメラ42の撮像により取得された画像データを画像処理部434へ出力することで、画像データの中からバーコードを識別させた後、このバーコードを解読させることでバーコードに保持された情報を取得する。 Furthermore, by outputting the image data acquired by the imaging of the digital camera 42 to the image processing unit 434, after identifying the barcode from image data, held in the bar code by causing decode the bar code to get the information.

ここで、画像処理部434が解読を行うバーコードとしては、会員カードに付されたバーコード、店舗内で販売される商品に付されたバーコードが挙げられる。 Here, the bar code image processing unit 434 performs the decryption, the bar code attached to the membership card, and a bar code attached to a commodity to be sold in the store. なお、会員カードは会員登録を行った顧客に予め配布されているものとし、この会員カードに付されたバーコードには、各会員を識別するための会員管理番号がコード化された状態で保持されているものとする。 Incidentally, membership card is assumed to be pre-distributed to the customer having made the member registration, the bar code attached to the membership card, held in the member management number is coded to identify each member It is assumed to be. また、商品に付されたバーコードには、該商品に対応する商品コードがコード化された状態で保持されているものとする。 Also, the bar code attached to a commodity, assumed to be held in a state in which commodity code corresponding to the products encoded.

制御部431は、画像処理部434で取得された会員管理番号を送受信部432及び送受信装置5を介してストアサーバ3へ通知することで、この会員管理番号に対応するレコードをストアサーバ3の会員管理テーブル373から読み出す。 Control unit 431, by notifying the member management number acquired by the image processing unit 434 to the store server 3 via the transceiver 432 and the transceiver 5, the store server 3 records corresponding to the member management Number Membership read from the management table 373. そして、制御部431は、会員管理テーブル373から読み出したレコードに含まれる体型データ及び顔画像データを画像処理部434へ出力することで後述するキャラクタ画像を生成させる。 Then, the control unit 431 to generate a character image to be described later by outputting the integrated data and face image data included in the record read from the member management table 373 to the image processing unit 434.

また、制御部431は、画像処理部434で取得された商品コードを送受信部432及び送受信装置5を介してストアサーバ3へ通知することで、この商品コードに対応するレコードをストアサーバ3の商品画像管理テーブル372から読み出す。 The control unit 431, by notifying the commodity code acquired by the image processing unit 434 to the store server 3 via the transceiver 432 and the transceiver 5, the store server 3 records corresponding to the commodity code product read from the image management table 372. そして、制御部431は、商品画像管理テーブル372から読み出したレコードに含まれる商品画像及び重畳位置を画像処理部434へ出力する。 Then, the control unit 431 outputs the commodity image and superimposed position included in the record read from the commodity image management table 372 to the image processing unit 434. すなわち、制御部431は、商品コードによって商品画像と重畳位置を特定する。 That is, the control unit 431 identifies the superimposed position and product images by item code.

画像処理部434は、キャラクタ画像に対して制御部431が出力した重畳位置で商品画像を重畳させる。 The image processing unit 434 superimposes the commodity image in superimposed position control unit 431 is output to the character image. さらに、制御部431は、商品画像が重畳されたキャラクタ画像を情報表示部433へ出力することで、モニタ表示部481に表示させる。 Further, the control unit 431, by outputting the character image is commodity image is superimposed to the information display unit 433, is displayed on the monitor display unit 481.

情報表示部433は、制御部431等から入力された画像データをヘッドマウントディスプレイ41のモニタ表示部481へ表示する。 Information display unit 433 displays the image data input from the control unit 431 or the like to the monitor display unit 481 of the head mounted display 41. 具体的には、情報表示部433は、デジタルカメラ42の撮像により取得された画像データをモニタ表示部481に表示する。 Specifically, the information display unit 433 displays the image data acquired by the imaging of the digital camera 42 to the monitor display unit 481. また、情報表示部433は、画像処理部434で生成されたキャラクタ画像等をモニタ表示部481に表示する。 Further, the information display unit 433 displays generated by the image processing unit 434 a character image or the like on the monitor display part 481. また、情報表示部433は、制御部431等から各種アイコン画像等の情報を受け取ると、受け取った情報を入力された画像データに合成してヘッドマウントディスプレイ41のモニタ表示部481に表示する。 Further, the information display unit 433 receives information such as various icons image from the control unit 431 or the like, by combining the received information to the image data input to be displayed on the monitor display part 481 of the head mounted display 41. なお、受け取った情報の表示位置が座標等で指定されている場合は、その指定された表示位置に情報が表示されるように、入力された画像データへの合成を行う。 Incidentally, when the display position of the received information is specified by the coordinates or the like, so that information on the designated display position is displayed, to synthesize to the input image data.

画像処理部434は、デジタルカメラ42の撮像により取得された画像データの画像処理や、視線認識用カメラ47で撮像された画像データを解析して装着者Cの視線Eの検出を行う。 The image processing unit 434, image processing of image data acquired by the imaging of the digital camera 42, to detect the analyzes image data captured wearer C line of sight E line of sight recognition camera 47. 具体的に、画像処理部434は、視線認識用カメラ47で撮像された画像データから装着者Cの瞳を検出し、その検出された瞳の位置に応じて視線Eの検出を行う。 Specifically, the image processing section 434 detects the pupils of the wearer C from the image data captured by the visual line recognition camera 47 detects a visual line E in accordance with the position of the detected pupil. また、画像処理部434は、デジタルカメラ42の撮像により取得された画像データの中から1枚のフレームをキャプチャーし、このキャプチャー画像の中のバーコードを識別し、識別したバーコードを解読して会員管理番号や商品コードを取得する等の画像処理を行う。 The image processing unit 434 captures one frame from the image data acquired by the imaging of the digital camera 42, to identify the bar code in this captured image, decodes the barcode identification image processing is carried out such as to obtain a membership management number and product code.

また、画像処理部434は、制御部431から体型データ及び顔画像データを受け付けると、この体型データが表す各部位の測定値を、体型を特徴付けるためのパラメータとして用い、該測定値に応じた体型の人体モデルを生成する。 The image processing unit 434 accepts the integrated data and the face image data from the control unit 431, the measured values ​​of the respective portions of the integrated data represents, used as a parameter for characterizing the type, according to the measured value figure to produce the human body model. そして、画像処理部434は、生成した人体モデルの顔部に顔画像データを重畳することで、この顔画像の持ち主となる顧客を模したキャラクタ画像を生成する。 Then, the image processing unit 434, by superimposing a face image data to the face portion of the generated human body model, to generate a character image imitating a customer as the owner of the face image. 生成される人体モデルは2次元又は3次元の何れであってもよく、デフォルメ等を施す形態としてもよい。 Human body model generated may be either two or three dimensions, may be in the form subjected to deformation or the like. なお、人体モデルの生成方法や顔画像データの重畳方法は、CG(コンピュータグラフィック)に係る公知の技術を用いるものとする。 Note that superimposing method of generation method and face image data of the human body model, it is assumed that a known technique according to the CG (computer graphics).

また、画像処理部434は、制御部431から商品画像及び重畳位置を受け付けると、重畳位置に対応するキャラクタ画像の部位に商品画像を重畳することで、この商品画像に対応する商品をキャラクタ画像が着衣したような効果を施す。 The image processing unit 434 accepts the item image and the superimposed position from the control unit 431, by superimposing the item image portion of the character image corresponding to the superimposed position, the product corresponding to the product image is a character image subjected to the effect, such as clothing. なお、キャラクタ画像に対する商品画像の重畳方法は、CGに係る公知の技術を用いるものとする。 Note that superimposing method of product images for the character image is assumed to use a known technique according to the CG.

なお、インタフェースボックス43における送受信部432、情報表示部433及び画像処理部434は等の各部は、制御部431がROMに予め格納されたプログラムを実行することで実現してもよい。 Each unit of the transmitting and receiving unit 432 in the interface box 43, the information display unit 433 and the image processing unit 434 etc., the control unit 431 may be realized by executing a program stored in advance in the ROM.

以下、図9〜図11を参照して、ウエアラブル端末装置4で行われる処理について説明する。 Hereinafter, with reference to FIGS. 9 to 11, description will be given of a processing performed by the wearable terminal device 4. ここで、図9は仮想試着処理の手順を示すフローチャートである。 Here, FIG. 9 is a flowchart showing the procedure of a virtual try processing. なお、本処理の前提として、会員管理テーブル373に登録された会員(顧客)が店舗に来店し、この顧客にウエアラブル端末装置4が貸し出されるものとする。 It should be noted that, as a premise of the present processing, members who are registered in the member management table 373 (customer) has visited the store, it is assumed that in this customer wearable terminal device 4 are rented.

まず、制御部431は、デジタルカメラ42の撮像により取得された画像データを画像処理部434に出力することで、バーコードの識別処理を行わせる(ステップS11)。 First, the control unit 431, by outputting image data acquired by the imaging of the digital camera 42 to the image processing unit 434 to perform the discrimination processing of the bar code (step S11). 画像処理部434は、画像データの中にバーコードが存在するか否かを判定し、存在しないと判定した場合(ステップS12;No)、ステップS11に再び戻る。 The image processing unit 434 determines whether the bar code is present in the image data, if it is determined not to exist (step S12; No), returns to step S11. また、画像処理部434は、画像データの中にバーコードが存在すると判定した場合(ステップS12;Yes)、このバーコードを解読することで当該バーコードに保持された情報を取得する(ステップS13)。 The image processing unit 434, when judging that the bar code is present in the image data (step S12; Yes), acquires information held in the bar code by deciphering the bar code (step S13 ).

次いで、制御部431は、ステップS13で取得された情報が商品コードか否かを判定する(ステップS14)。 Then, the control unit 431, information obtained in step S13 is determined whether the item code (step S14). ここで、取得された情報が会員管理番号と判定した場合(ステップS14;No)、この会員管理番号をストアサーバ3へ通知することで、当該会員管理番号に対応するレコードをストアサーバ3の会員管理テーブル373から読み出す(ステップS15)。 Here, if the information acquired is determined that membership management number (step S14; No), by notifying the member management number to the store server 3, a member of the store server 3 records corresponding to the membership management number read from the management table 373 (step S15). 続いて、制御部431は、ステップS15で読み出したレコードに含まれる体型データ及び顔画像データを画像処理部434へ出力することで。 Subsequently, the control unit 431, by outputting the integrated data and face image data included in the record read in step S15 to the image processing unit 434. 画像処理部434にキャラクタ画像を生成させ(ステップS16)、ステップS11に再び戻る。 To generate a character image to the image processing unit 434 (step S16), and returns to step S11.

一方、ステップS14において、取得された情報が商品コードと判定した場合(ステップS14;Yes)、制御部431は、キャラクタ画像が生成済みか否かを判定する(ステップS17)。 On the other hand, in step S14, if the information acquired is determined to commodity code (step S14; Yes), the control unit 431 determines whether the character image whether the generated (step S17). ここで、キャラクタ画像が生成されていないと判定した場合には(ステップS17;No)、ステップS11に再び戻る。 Here, if it is determined that the character image not generated (Step S17; No), it returns to step S11. また、キャラクタ画像が生成済みと判定した場合(ステップS17;Yes)、制御部431は試着を行うか否かを確認する画面を、情報表示部433を介してモニタ表示部481に表示させる(ステップS18)。 Also, when the character image is determined that the already generated (step S17; Yes), the screen control unit 431 to confirm whether to try, to be displayed on the monitor display unit 481 via the information display unit 433 (step S18).

ここで、図10は、モニタ表示部481に表示された確認画像の一例を示す図である。 Here, FIG. 10 is a diagram showing an example of the displayed confirmation image on the monitor display part 481. 同図において、視線マーカーMは、視線認識用カメラ47の画像を元に画像処理部434で検出された視線Eを示すマーカーである。 In the figure, line of sight marker M is a marker indicating the detected visual line E in the image processing unit 434 based on the image of the visual line recognizing camera 47. また、画像処理部434により識別されたバーコードBを明示するため、このバーコードBの周囲に画像認識枠G11を表示している。 Further, in order to demonstrate the bar code B which is identified by the image processing unit 434, and displays an image recognition frame G11 around the bar code B.

アイコン画像G12、G13は、ウエアラブル端末装置4に対する操作指示を視線マーカーMにより受け付けるためのアイコンである。 Icon image G12, G13 is an icon for receiving an operation instruction to the wearable terminal device 4 by sight marker M. なお、各アイコン画像の入力指示がなされた場合の処理については後述する。 It will be described later process when the input instruction of each icon image is made.

図9に戻り、制御部431は、視線マーカーMが図10のアイコン画像G12と重なって「試着しない」の指示が入力されたと判定した場合には(ステップS19;No)、ステップS11に再び戻る。 Returning to Figure 9, the control unit 431, if the line of sight marker M is determined to instruction overlaps the icon image G12 of FIG. 10, "not try" is input (step S19; No), returns to step S11 . また、制御部431は、視線マーカーMが図10のアイコン画像G13と重なって「試着する」の指示が入力されたと判定した場合には(ステップS19;Yes)、ステップS13で取得された商品コードをストアサーバ3へ通知することで、この商品コードに対応するレコードを、ストアサーバ3の商品画像管理テーブル372から読み出す(ステップS20)。 The control unit 431, when it is determined that the line of sight marker M is an instruction overlaps the icon image G13 of FIG. 10 "to try" is input (step S19; Yes), product code acquired in step S13 by notifying the store server 3, the record corresponding to the commodity code is read from the commodity image management table 372 of the store server 3 (step S20).

続いて、制御部431は、ステップS20で読み出したレコードに含まれる商品画像及び重畳位置を画像処理部434へ出力することで。 Subsequently, the control unit 431, by outputting the product image and superimposed position included in the read record step S20 to the image processing unit 434. 画像処理部434に商品画像をキャラクタ画像に重畳させる(ステップS21)。 To superimpose product image in the character image to the image processing unit 434 (step S21). そして、制御部431は、商品画像が重畳されたキャラクタ画像を情報表示部433へ出力することで、モニタ表示部481に表示させる(ステップS22)。 Then, the control unit 431, by outputting the character image is commodity image is superimposed to the information display unit 433, is displayed on the monitor display unit 481 (step S22).

ここで、図11は、モニタ表示部481に表示されたキャラクタ画像の一例を示す図である。 Here, FIG. 11 is a diagram showing an example of a displayed character image on the monitor display part 481. 同図に示すように、表示領域G21は、商品画像が重畳されたキャラクタ画像を表示する領域である。 As shown in the figure, the display area G21 is an area for displaying the character image is commodity image is superimposed. ウエアラブル端末装置4を装着した顧客は、モニタ表示部481を確認することで、キャラクタ画像を介して商品を試着した自らの姿を確認することが可能である。 Customers who wears the wearable terminal device 4 by checking the monitor display unit 481, it is possible to confirm his appearance tried on a product through the character image. また、商品に付されたバーコードを撮像した後は該商品の配置位置から離脱しても、この商品を仮想的に試着したキャラクタ画像を顧客の眼前に提供することが可能である。 Further, after capturing the barcode attached to the commodity is also disengaged from the arrangement position of the quotient goods, it is possible to provide a character image tried on this item virtually in front of the eyes of the customer.

また、アイコン画像G22、G23は、ウエアラブル端末装置4に対する操作指示を視線マーカーMにより受け付けるためのアイコンである。 Also, the icon image G22, G23 is an icon for receiving an operation instruction to the wearable terminal device 4 by sight marker M. なお、各アイコン画像の入力指示がなされた場合の処理については後述する。 It will be described later process when the input instruction of each icon image is made.

図9に戻り、制御部431は、視線マーカーMが図11のアイコン画像G22と重なって「商品クリア」の指示が入力されたと判定した場合(ステップS23;Yes)、画像処理部434にキャラクタ画像に重畳された商品画像を除去させる(ステップS24)。 Returning to Figure 9, the control unit 431, if it is determined that the line of sight marker M is an instruction overlaps the icon image G22 of FIG. 11, "product Clear" has been input (step S23; Yes), the character image to the image processing unit 434 thereby removing the product image superimposed on (step S24).

また、制御部431は、視線マーカーMが図11のアイコン画像G23と重なって「試着終了」の指示が入力されたと判定した場合(ステップS23;No→ステップS25;Yes)、RAMのワークエリアに保持された各レコードを削除し、本処理を終了する。 The control unit 431, if it is determined that the line of sight marker M is overlapped with the icon image G23 of FIG. 11 is an instruction to "try end" has been input (step S23; No → step S25; Yes), the work area of ​​the RAM remove each record held, the process ends.

また、顧客により新たな商品のバーコードに視線が向けられた場合(ステップS25;No)、ステップS11に再び戻る。 Also, if directed line of sight to the bar code of the new product by the customer (step S25; No), it returns to step S11. これにより、新たな商品コードが取得される毎に、この商品を模した商品画像を重畳したキャラクタ画像が、モニタ表示部481に表示されることになる。 Thus, each time a new product code is obtained, the character image obtained by superimposing the item image simulating this item will be displayed on the monitor display part 481. 特に、アイコン画像G22の「商品クリア」が指示されない場合、複数の商品画像をキャラクタ画像に重畳することができるため、複数の商品を組み合わせたコーディネートを仮想的に行うことができる。 In particular, when the "Product clear" of the icon image G22 is not indicated, it is possible to superimpose a plurality of product images to the character image, it is possible to perform coordinated by combining a plurality of items virtually. なお、先に重畳された商品画像の重畳位置が、後に重畳する商品画像の重畳位置と重複する場合、後に重畳する商品画像が優先的に重畳されるものとする。 Incidentally, the superimposed position of the product image superimposed on previously, if the overlap with the superimposed position of the product images to be superimposed later, it is assumed that the product images to be superimposed later are superimposed preferentially.

以上のように、本実施形態によれば、試着を所望する商品に付されたバーコードを注視することで入力された商品コードを用いて当該商品を模した商品画像を取得し、顧客の姿を模したキャラクタ画像の所定の部位に重畳した後、当該顧客の眼前に設けられたモニタ表示部481に表示する。 As described above, according to this embodiment, obtains the product image simulating the product using a product code inputted by watching the bar code attached to the commodity is desired fitting, figure customer after superposing a predetermined portion of the character image imitating a, and displays it on the monitor display part 481 provided on the front of the customer. これにより、商品コードを取得した後は、仮想試着を行ったキャラクタ画像を店舗内の任意の位置で観察することが可能となる。 Thus, after acquiring the commodity code, it is possible to observe the character image subjected to virtual try at any location within the store. また、複数種類の商品から商品コードを取得することで、これら商品の仮想試着の結果となるキャラクタ画像を提供することができるため、顧客は複数の商品を組み合わせてコーディネートすることが可能となる。 Further, by acquiring the commodity code of a plurality of types of products, it is possible to provide a character image as a result of the virtual try these items, the customer it is possible to coordinate a combination of a plurality of items. また、デジタルカメラ42の撮像により取得された画像データに含まれるバーコードを解読して商品コードを取得し、当該バーコードに対応付けられた商品画像を特定するので、試着したい商品のバーコードを視認するだけで、簡単に当該商品画像の試着画像を得ることができる。 Further, it decodes the bar code included in image data obtained by the image pickup of the digital camera 42 and acquires the product code, since the specific product images associated with the bar code, the bar code of the product to be tried just visible, it is possible to obtain a fitting images easily the product image. さらに、商品画像の重畳位置は、商品コードに対応付けられているので、試着したい商品のバーコードを視認するだけで、正確に当該商品画像を重畳させた試着画像を得ることができる。 Moreover, the superimposed position of the product images, so associated with the product code, simply by viewing the bar code of the product to be tried, it is possible to obtain a fitting image overlapped with the precisely the product image. そのため、店舗内で販売される服飾品の仮想試着に係る利便性を向上させることができる。 Therefore, it is possible to improve the convenience of the virtual try-apparel products sold in the store.

なお、本実施形態では、会員管理テーブル373に登録された体型データ及び顔画像データを用いてキャラクタ画像を生成する形態としたが、これに限らず、顧客へのウエアラブル端末装置4の貸し出し時に、この顧客用に予め生成されたキャラクタ画像を制御部431のRAM等に記憶させる形態としてもよい。 In the present embodiment has the form of generating a character image by using the integrated data and face image data registered in the member management table 373 is not limited to this, when lending wearable terminal device 4 to the customer, previously generated character image for the customer may be in the form to be stored in the RAM of the control unit 431. また、ウエアラブル端末装置4の貸し出し時に、視線マーカーMにより顧客が体型データを直接入力する形態としてもよい。 Further, when lending wearable terminal device 4, may be in the form of customer enters the integrated data directly by sight marker M. この形態の場合、例えば、図12に示すような体型データ入力画面をモニタ表示部481に表示させることで実現することができる。 In this embodiment, for example, it can be realized by displaying the integrated data input screen as shown in FIG. 12 on the monitor display part 481.

ここで、図12は、モニタ表示部481に表示された体型データ入力画面の一例を示す図である。 Here, FIG. 12 is a diagram illustrating an example of the integrated data input screen displayed on the monitor display part 481. 同図に示すように、表示領域G31は、身長を入力するための領域である。 As shown in the figure, the display area G31 is an area for inputting a body height. また、表示領域G32、G33、G34は、胸囲、腹囲、腰囲を夫々入力するための領域である。 Further, the display area G32, G33, G34 are chest, waist circumference, an area for the respective input hip circumference. なお、各表示領域における数値の入力は、各表示領域の右部に配された上下方向を表すアイコン画像G35、G36により行われるものとする。 The input of the numerical value in each display region is assumed to be performed by the icon image G35, G36 representing the vertically arranged on the right portion of the display region. 例えば、視線マーカーMがアイコン画像G35と重なった場合、制御部431は、数値を順次上昇させるものとする。 For example, if the line of sight marker M overlaps with the icon image G35, the control unit 431 is assumed to sequentially increase the number. また、視線マーカーMがアイコン画像G36と重なった場合、制御部431は、数値を順次下降させるものとする。 Also, if the line of sight marker M overlaps with the icon image G36, the control unit 431 is assumed to sequentially lower the value.

また、制御部431は、視線マーカーMがアイコン画像G37と重なって「決定」の指示が入力されたと判定した場合、表示領域G31〜G34に入力された各数値を体型データとして受け付け、RAMのワークエリアに記憶する。 The control unit 431, if the line of sight marker M is determined to instruction overlaps the icon image G37 "determined" is input, receiving each number entered in the display area G31~G34 as integrated data, RAM for work and stores in the area. なお、顔画像データはデジタルカメラ42により入力する形態としてもよいし、複数種類の顔のイラストから顧客が所望するイラストを選択させ顔画像データとする形態としてもよい。 Incidentally, the face image data may be configured to input the digital camera 42 may be configured to face image data to select the illustrations customer desires from the illustration of a plurality of types of faces.

また、本実施形態では、バーコードの入力を、デジタルカメラ42により撮像された画像データを介して行う形態としたが、これに限らないものとする。 Further, in the present embodiment, the input of the bar code, but the embodiment performed through the image data captured by the digital camera 42, and is not limited thereto. 例えば、バーコードを読み取り可能なコードリーダを別途備えることで、バーコードを入力する形態としてもよい。 For example, by separately provided with a code reader capable of reading bar code may be configured to enter a bar code. また、本実施形態では、データコードの一例としてバーコードを用いたが、これに限らず、QRコード等の2次元コードを用いてもよい。 Further, in this embodiment uses a bar code as an example of a data code, not limited thereto, may be used two-dimensional code such as QR code.

また、本実施形態では、ウエアラブル端末装置4を顧客が装着する形態について説明したが、これに限らず、店舗内の店員がウエアラブル端末装置4を装着してもよい。 Further, in the present embodiment, the wearable terminal device 4 but the customer has been described embodiments of mounting is not limited to this, the clerk in the store may be wearing the wearable terminal device 4. この場合、顧客は会員カードに付されたバーコードを店員に見せることで、この顧客のキャラクタ画像を店員にも確認させることができるため、店員からの提案を受けつつ商品の試着を行うことが可能となる。 In this case, the customer is to show the clerk a bar code attached to the membership card, because it can also be confirmed to the clerk of the character image of the customer, is possible to perform the fitting of goods while receiving a proposal from the clerk It can become.

また、本実施形態の制御部431が実行するプログラムは、ROM等に予め組み込んで提供するように構成してもよい。 The program for executing the control unit 431 of the present embodiment may be configured to be provided by being previously incorporated in a ROM or the like. また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。 Furthermore, the program, CD-ROM in an installable format or an executable format, a flexible disk (FD), CD-R, be provided by being recorded on a computer-readable recording medium such as a DVD good.

また、上記プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。 Further, the program may be stored in a computer connected to a network such as the Internet, it may be configured to be provided by being downloaded via the network. また、上記プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。 It may also be configured to provide or distribute the program via a network such as the Internet.

また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。 Further, the present invention is not limited to the above described embodiments, but can be embodied by modifying the components without departing from the scope of the invention. また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。 Also, by properly combining the structural elements disclosed in the above embodiment, it is possible to form various inventions. 例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。 For example, it is possible to remove some of the components shown in the embodiments.

1 POSシステム 2 POS端末 3 ストアサーバ 31 制御部 32 バス 33 通信インタフェース 34 I/O機器制御部 35 入力部 36 表示部 37 記憶部 371 商品マスタテーブル 372 商品画像管理テーブル 373 会員管理テーブル 374 売上登録テーブル 4 ウエアラブル端末装置 41 ヘッドマウントディスプレイ 42 デジタルカメラ 43 インタフェースボックス 431 制御部 432 送受信部 433 情報表示部 434 画像処理部 44 フレーム本体 45 装着用アーム 46 撮像方向可変機構 47 視線認識用カメラ 48 光透過性部材 481 モニタ表示部 5 送受信装置 1 POS system 2 POS terminal 3 store server 31 control unit 32 bus 33 communication interface 34 I / O device control unit 35 input unit 36 ​​display unit 37 storage unit 371 product master table 372 product image management table 373 member management table 374 sales registration table 4 wearable terminal 41 head-mounted display 42 digital camera 43 interface box 431 controller 432 transceiver 433 information display unit 434 the image processing unit 44 frame body 45 mounting arm 46 imaging direction change mechanism 47 gaze recognition camera 48 optical transmitting member 481 monitor indicator 5 transceiver

特開2006−148618公報 JP 2006-148618 Laid

Claims (5)

  1. 顧客の頭部に装着され、当該顧客の眼前に対応する位置に光透過性の表示部が設けられたヘッドマウントディスプレイと、 Is mounted on the customer's head, a head-mounted display light transmissive display portions are provided at positions corresponding to the front of the customer,
    前記ヘッドマウントディスプレイに設けられ、当該ヘッドマウントディスプレイを装着する前記顧客の視線方向に撮像範囲が設定された撮像部と、 Provided in the head-mounted display, an imaging section capturing range is set to the viewing direction of the customer for mounting the head-mounted display,
    前記撮像部により撮像された画像データの中から、商品に付されたデータコードを識別し、当該データコードに含まれる商品コードを解読する解読手段と、 From the image data captured by the imaging unit, and the decoding means to identify the data code attached to the commodity, to decrypt the commodity code included in the data code,
    各商品の商品コードと、前記各商品を模した商品画像とを対応付けて記憶した商品画像記憶手段から、前記解読手段で解読された商品コードに対応する商品画像を読み出す読出手段と、 And commodity code of each commodity, from said each commodity item image storage means for storing in association with product image simulating a reading means for reading a commodity image corresponding to the decrypted product code in the decoding means,
    前記読出手段により読み出された商品画像を、前記顧客の姿を模したキャラクタ画像の所定の部位に重畳する画像処理手段と、 Image processing means for the product image that has been read, superimposes a figure of the customer in a predetermined portion of the character image simulating by said reading means,
    前記解読手段が識別した前記画像データ中の前記データコードを強調する強調画像と、前記商品画像が重畳された前記キャラクタ画像とを前記表示部にそれぞれ表示させる表示制御手段と、 Wherein said data encoding emphasize enhanced image in the image data decoding means has identified, and a display control means for displaying each of said character image the commodity image is superimposed on the display unit,
    を備えることを特徴とする仮想試着装置。 Virtual try apparatus comprising: a.
  2. 前記顧客の体型を特徴付ける体型データに基づいて、前記キャラクタ画像を生成する画像生成手段を更に備え、 Based on the type data characterizing the type of the customer, further comprising an image generating means for generating the character image,
    前記画像処理手段は、前記画像生成手段が生成したキャラクタ画像に、前記商品画像を重畳することを特徴とする請求項1に記載の仮想試着装置。 Wherein the image processing means, virtual try apparatus according to the image generating means generates the character image, to claim 1, characterized by superimposing the product image.
  3. 前記解読手段は、前記顧客の会員カードに付されたデータコードを解読して当該顧客に固有の会員識別子を取得し、 It said decryption means obtains a unique member identifier to the customer decodes the data code attached to the customer's membership card,
    前記読出手段は、会員登録を行った各顧客の会員識別子と、当該各顧客の体型データとを関連付けて記憶した会員情報記憶手段から、前記解読手段で取得された会員識別子に対応する体型データを読み出し、 The reading means includes a member identifier for each customer having made the member registration, the member information storage means for storing in association with the respective customer type data, the type data corresponding to the member identifier acquired by said decoding means reading,
    前記画像生成手段は、前記読出手段により読み出された体型データに基づいて、前記キャラクタ画像を生成することを特徴とする請求項2に記載の仮想試着装置。 The image generating unit based on the type data read by the reading means, virtual try apparatus according to claim 2, characterized in that to generate the character image.
  4. 前記商品画像記憶手段は、前記各商品の商品画像を、当該商品画像の重畳位置と対応付けて記憶し The commodity image storage means, the product image of each product, in association with the superimposed position of the product image,
    前記読出手段は、前記商品コードに対応する商品画像の重畳位置を前記商品画像記憶手段から読み出し、 The reading unit reads the superimposed position commodity image corresponding to the commodity code from the commodity image storage means,
    前記画像処理手段は、前記読出手段により読み出された重畳位置に従って、前記商品画像を前記キャラクタ画像に重畳することを特徴とする請求項1〜3の何れか一項に記載の仮想試着装置。 The image processing means in accordance with the superimposed position read by the reading means, virtual try apparatus according to any one of claims 1 to 3, characterized in that superimposes the product image in the character image.
  5. 顧客の頭部に装着され、当該顧客の眼前に対応する位置に光透過性の表示部が設けられたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイに設けられ、当該ヘッドマウントディスプレイを装着した顧客の視線方向に撮像範囲が設定された撮像部と、を備える仮想試着装置のコンピュータを、 Is mounted on the customer's head, a head-mounted display in which the display unit of the optical transparency provided at a position corresponding to the front of the customer, provided in the head-mounted display, the customer's line of sight wearing the head-mounted display an imaging unit imaging range is set to a direction, the computer of the virtual try-on device comprising a,
    前記撮像部により撮像された画像データの中から、商品に付されたデータコードを識別し、当該データコードに含まれる商品コードを解読する解読手段と、 From the image data captured by the imaging unit, and the decoding means to identify the data code attached to the commodity, to decrypt the commodity code included in the data code,
    各商品の商品コードと、前記各商品を模した商品画像とを対応付けて記憶した商品画像記憶手段から、前記解読手段で解読された商品コードに対応する商品画像を読み出す読出手段と、 And commodity code of each commodity, from said each commodity item image storage means for storing in association with product image simulating a reading means for reading a commodity image corresponding to the decrypted product code in the decoding means,
    前記読出手段により読み出された商品画像を、 前記顧客の姿を模したキャラクタ画像の所定の部位に重畳する画像処理手段と、 Image processing means for the product image that has been read, superimposes a figure of the customer in a predetermined portion of the character image simulating by said reading means,
    前記解読手段が識別した前記画像データ中の前記データコードを強調する強調画像と、前記商品画像が重畳された前記キャラクタ画像とを前記表示部にそれぞれ表示させる表示制御手段と、 Wherein said data encoding emphasize enhanced image in the image data decoding means has identified, and a display control means for displaying each of said character image the commodity image is superimposed on the display unit,
    して機能させることを特徴とするプログラム。 Program characterized thereby to function.
JP2009194285A 2009-08-25 2009-08-25 The virtual try-on system and program Active JP4981109B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009194285A JP4981109B2 (en) 2009-08-25 2009-08-25 The virtual try-on system and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009194285A JP4981109B2 (en) 2009-08-25 2009-08-25 The virtual try-on system and program

Publications (2)

Publication Number Publication Date
JP2011048461A true JP2011048461A (en) 2011-03-10
JP4981109B2 true JP4981109B2 (en) 2012-07-18

Family

ID=43834739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009194285A Active JP4981109B2 (en) 2009-08-25 2009-08-25 The virtual try-on system and program

Country Status (1)

Country Link
JP (1) JP4981109B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982246A (en) * 2012-12-06 2013-03-20 江苏乐买到网络科技有限公司 Electronic fitting system in internet shopping

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3314704B2 (en) * 1998-01-20 2002-08-12 東洋紡績株式会社 The virtual try-on system using synthetic methods and method of the image showing the fitting situation
JP3638838B2 (en) * 1999-11-25 2005-04-13 東芝テック株式会社 Commodity sales data processing system which includes a fitting appearance verification device and the fitting appearance verification device
JP2001160095A (en) * 1999-12-03 2001-06-12 Soft Ryutsu Kk Virtual mall system, commodity information transmission method for the mall system, recording medium with computer program for realizing the mall system recorded thereon and a recording medium with computer program recorded thereon for allowing external computer accessing the mall system to display commodity
JP3835207B2 (en) * 2001-06-27 2006-10-18 ソニー株式会社 Fitting image providing system and fitting image providing method, fitting an image generating apparatus and fitting the image generation method
JP2005099956A (en) * 2003-09-22 2005-04-14 Fuji Xerox Co Ltd Video information processor, video information processing system, video information outputting method and its program
JP2005189918A (en) * 2003-12-24 2005-07-14 Seiko Epson Corp Information collecting method, and information collecting program, and information collecting device
JP2007011543A (en) * 2005-06-29 2007-01-18 Dainippon Printing Co Ltd Article-wearing simulation system, article-wearing simulation method, and the like
JP4922894B2 (en) * 2007-10-10 2012-04-25 東芝テック株式会社 Commodity processing apparatus and pos system

Also Published As

Publication number Publication date Type
JP2011048461A (en) 2011-03-10 application

Similar Documents

Publication Publication Date Title
US6792401B1 (en) Internet-based modeling kiosk and method for fitting and selling prescription eyeglasses
US7194327B2 (en) Body profile coding method and apparatus useful for assisting users to select wearing apparel
US7126558B1 (en) Industrial augmented reality
US20060031128A1 (en) System and associated method of marketing customized articles of clothing
US20130293530A1 (en) Product augmentation and advertising in see through displays
US20130346168A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US20130117153A1 (en) Fully interactive, wireless, retail video display tag, integrated with content distribution, data management, feedback data collection, inventory and product price search capabilities
Decker et al. Revealing the Retail Black Box by Interaction Sensing.
US20100205043A1 (en) Virtual reality system including smart objects
US20110001695A1 (en) Wearable terminal device and method of controlling the wearable terminal device
JP2003187335A (en) Automatic merchandise adjustment system, merchandise adjustment device and merchandise cart
US20140226000A1 (en) User interface and authentication for a virtual mirror
JP2010237886A (en) Self-pos device and method for operating the same
JP2002078681A (en) Unmanned method and device for transmitting information on lens
US20140363059A1 (en) Retail customer service interaction system and method
US20140225978A1 (en) Method for image transformation, augmented reality, and teleperence
US20080262944A1 (en) Online clothing display system and method therefor
Zhu et al. Personalized in-store e-commerce with the promopad: an augmented reality shopping assistant
US20090045258A1 (en) Method & system for enforcing a return policy
US20090188981A1 (en) Datacode reading apparatus
CN103049873A (en) 3D shopping guide machine system and method
JP2011253324A (en) Merchandise information providing terminal and merchandise information providing system
US20150039458A1 (en) Method and system for automated retail checkout using context recognition
US20100149093A1 (en) Virtual reality system including viewer responsiveness to smart objects
US20110071804A1 (en) Method And The Associated Mechanism For 3-D Simulation Stored-Image Database-Driven Spectacle Frame Fitting Services Over Public Network

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120419

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150