JP7199858B2 - ELECTRONIC DEVICE, PRODUCT IDENTIFICATION METHOD AND PROGRAM - Google Patents

ELECTRONIC DEVICE, PRODUCT IDENTIFICATION METHOD AND PROGRAM Download PDF

Info

Publication number
JP7199858B2
JP7199858B2 JP2018133297A JP2018133297A JP7199858B2 JP 7199858 B2 JP7199858 B2 JP 7199858B2 JP 2018133297 A JP2018133297 A JP 2018133297A JP 2018133297 A JP2018133297 A JP 2018133297A JP 7199858 B2 JP7199858 B2 JP 7199858B2
Authority
JP
Japan
Prior art keywords
product information
product
paper medium
electronic device
catalog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018133297A
Other languages
Japanese (ja)
Other versions
JP2020013205A (en
Inventor
隆宏 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynabook Inc
Original Assignee
Dynabook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dynabook Inc filed Critical Dynabook Inc
Priority to JP2018133297A priority Critical patent/JP7199858B2/en
Publication of JP2020013205A publication Critical patent/JP2020013205A/en
Application granted granted Critical
Publication of JP7199858B2 publication Critical patent/JP7199858B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態はチラシ又はカタログ等に掲載されている商品を電子的に識別する電子機器、商品識別方法及びプログラムに関する。 TECHNICAL FIELD The embodiments of the present invention relate to an electronic device, product identification method, and program for electronically identifying products listed in leaflets, catalogs, or the like.

近年、Ｗｅｂカタログ等の電子コンテンツ上の商品を電子的に注文するネットショッピングが盛んになっている。しかし、一覧性において、電子コンテンツよりチラシ又はカタログ等の紙媒体の方が優れているので、電子コンテンツよりチラシ又はカタログの方が訴求効果は高い。そのため、チラシ又はカタログに掲載されている商品を電子的に注文するシステムが検討されている。 2. Description of the Related Art In recent years, Internet shopping for electronically ordering products on electronic contents such as Web catalogs has become popular. However, since paper media such as leaflets and catalogs are superior to electronic contents in terms of listing, leaflets and catalogs are more appealing than electronic contents. Therefore, a system for electronically ordering products listed in flyers or catalogs is under consideration.

チラシ又はカタログに掲載されている商品の注文方法としては、購買者が注文用紙に購入したい商品の品番コードや個数を記入して販売者に提出する手段が従来からある。この場合、販売者は提出された注文用紙に対し光学的読み取り（ＯＣＲ）技術等を利用して読み取りを行い、注文を電子的に受け付ける。しかし、読み取りミスによる注文失敗のリスクがある。また、販売者側で注文用紙を紛失するリスクもある。 Conventionally, as a method of ordering products listed in leaflets or catalogs, a purchaser fills in an order form with the product number code and quantity of the product they wish to purchase and submits it to the seller. In this case, the seller reads the submitted order form using optical reading (OCR) technology or the like, and accepts the order electronically. However, there is a risk of order failure due to misreading. There is also the risk of the seller losing the order form.

近年、電子システム上でユーザが直接入力する手段が充実されてきており、この手段であれば、上記のリスクを無くすことができる。電子コンテンツからの注文は当然ながら電子システム上で行うことが可能だが、チラシ又はカタログ等の商品の注文においても、スマートフォンのアプリケーションプログラムを用い、アプリケーションプログラムの画面上にテンキーを表示させ、テンキーから品番コードや個数を示す数字をキー入力して注文する方法がある。 In recent years, means for direct user input on electronic systems have been enhanced, and these means can eliminate the above-mentioned risks. Orders from electronic content can of course be placed on an electronic system, but even when ordering products such as flyers or catalogs, a smartphone application program is used to display a numeric keypad on the application program screen, and the product number can be entered from the numeric keypad. There is a method of placing an order by keying in a code or a number indicating the quantity.

特開2011-227875号公報JP 2011-227875 A 米国特許第8896685号明細書U.S. Pat. No. 8,896,685 特開2017-041216号公報JP 2017-041216 A 特開2014-191600号公報Japanese Patent Application Laid-Open No. 2014-191600

チラシ又はカタログ等に掲載されている商品を電子的に注文する手段として従来からある、テンキーによる品番コードや個数を入力する手段では、入力に煩わしさを感じるので、利便性を感じにくい課題がある。
本発明の目的はチラシ又はカタログ等に掲載されている商品を電子的に選択できる手段として、少ない動作かつ直感的な操作で選択可能な電子機器、商品識別方法及びプログラムを提供することである。 The conventional means of electronically ordering products listed in flyers, catalogs, etc., in which the product number code and quantity are entered using a numeric keypad, is troublesome to enter, and is not very convenient. .
SUMMARY OF THE INVENTION It is an object of the present invention to provide an electronic device, product identification method, and program that enable selection with a small number of operations and intuitive operations as means for electronically selecting products published in leaflets, catalogs, or the like.

実施形態による電子機器は、カメラと、識別手段と、表示部とを具備する。前記表示部は、前記第１撮影信号又は前記第２撮影信号に基づいて前記第１紙媒体の画像を表示し、前記画像内で前記複数の商品情報を第１表示態様で表示する。前記識別手段は、前記カメラから出力された、複数の商品情報が掲載されている第１紙媒体の少なくとも一部に関する第１撮影信号に基づいて前記第１紙媒体を識別し、前記カメラから出力された、前記複数の商品情報の中の第１商品情報を少なくとも含む前記第１紙媒体内の一領域に関する第２撮影信号に基づいて前記第１商品情報を識別する。前記識別手段は、前記カメラと前記第１紙媒体との距離が所定値以下であり、かつ、前記第２撮影信号に含まれる前記第１商品情報の位置が前記第２撮影信号に対応する前記表示部の画面の中央である第１状態で所定時間が経過した場合、前記第１商品情報を選択し、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加する。前記識別手段は、前記所定時間が経過する前に前記カメラが前記第１紙媒体から前記所定値より離れた場合、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することなく、前記第１状態で前記所定時間が経過するか否かを判定し直す。 An electronic device according to an embodiment includes a camera, identification means, and a display . The display unit displays an image of the first paper medium based on the first imaging signal or the second imaging signal, and displays the plurality of product information in the image in a first display mode. The identification means identifies the first paper medium based on a first photographing signal relating to at least a part of the first paper medium on which information on a plurality of products is printed, output from the camera, and outputs the first paper medium from the camera. The first product information is identified based on the obtained second photographing signal related to one area in the first paper medium containing at least the first product information among the plurality of product information. The identifying means has a distance between the camera and the first paper medium equal to or less than a predetermined value, and a position of the first product information included in the second photographing signal corresponds to the second photographing signal. When a predetermined time has passed in the first state, which is the center of the screen of the display unit, the first product information is selected, and the product corresponding to the first product information at the center of the screen of the display unit is added to the provisional order list. to add. When the camera is separated from the first paper medium by the predetermined value before the predetermined time elapses, the identification means temporarily orders the product corresponding to the first product information displayed in the center of the screen of the display unit. Without adding to the list, it is determined again whether the predetermined time has passed in the first state .

第１実施形態による注文システムの概略構成の一例を示すブロック図である。1 is a block diagram showing an example of a schematic configuration of an ordering system according to a first embodiment; FIG. カタログ１２のあるページの一例を示す図である。4 is a diagram showing an example of a page of catalog 12. FIG. 電子機器１４の一例を示すブロック図である。2 is a block diagram showing an example of an electronic device 14; FIG. 第１辞書データ（特徴情報）の一例を示す図である。It is a figure which shows an example of 1st dictionary data (feature information). 第２辞書データ（商品情報）の一例を示す図である。It is a figure which shows an example of 2nd dictionary data (merchandise information). 商品情報内の申込番号の印刷領域の一例を示す図である。It is a figure which shows an example of the printing area|region of the application number in product information. カタログ識別処理の一例を示すフローチャートである。6 is a flowchart showing an example of catalog identification processing; カタログ識別完了をユーザに知らせるためのユーザインターフェースの一例を示す図である。FIG. 10 is a diagram showing an example of a user interface for notifying the user of completion of catalog identification; カタログ識別完了をユーザに知らせるためのユーザインターフェースの他の例を示す図である。FIG. 10 is a diagram showing another example of a user interface for informing the user of completion of catalog identification; 商品識別処理の一例を示すフローチャートである。It is a flow chart which shows an example of goods identification processing. 商品識別確定をユーザに知らせるためのユーザインターフェースの一例を示す図である。FIG. 10 is a diagram showing an example of a user interface for notifying the user of confirmation of product identification; 暫定注文リスト２６Ａの一例を示す図である。It is a figure which shows an example of provisional order list 26A. 第２実施形態による商品識別時のユーザインターフェース画面の他の例を示す図である。FIG. 11 is a diagram showing another example of a user interface screen when product identification is performed according to the second embodiment; 第３実施形態による注文システムの概略構成の一例を示す図である。It is a figure which shows an example of schematic structure of the ordering system by 3rd Embodiment. 第４実施形態による注文システムの概略構成の一例を示す図である。It is a figure which shows an example of schematic structure of the ordering system by 4th Embodiment. 第４実施形態による注文システムにおける商品識別処理の一例を示すフローチャートである。FIG. 14 is a flow chart showing an example of product identification processing in the ordering system according to the fourth embodiment; FIG. 第５実施形態による注文システムの概略構成の一例を示す図である。It is a figure which shows an example of schematic structure of the ordering system by 5th Embodiment.

以下、実施の形態について図面を参照して説明する。なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。 Embodiments will be described below with reference to the drawings. The disclosure is merely an example, and the invention is not limited by the contents described in the following embodiments. Modifications that can be easily conceived by those skilled in the art are naturally included in the scope of the disclosure. In order to make the explanation clearer, in the drawings, the size, shape, etc. of each part may be changed from the actual embodiment and shown schematically. Corresponding elements in multiple drawings may be denoted by the same reference numerals and detailed descriptions thereof may be omitted.

［注文システム構成］
図１は第１実施形態による注文システムの概略構成の一例を示すブロック図である。このシステムは、主に、ポータブルな電子機器１４、カタログサーバ１８及び注文サーバ２０を含む。電子機器１４は撮影機能と表示機能と通信機能等を備える。これらの機能を備える電子機器１４の一例としてはスマートフォン、タブレット、グラス型ウェアラブル機器、カメラ機器等があるが、これらに限らず、撮影機能と表示機能と通信機能等を別個のデバイス、例えばカメラ、ディスプレイ、無線機器等により実現し、これらを無線又はケーブルで接続するシステムでも良い。また、電子機器１４が通信機能を備えない場合、通信機能を備える機器、例えばパーソナルコンピュータに電子機器１４を無線又はケーブルで接続してもよい。実施形態の一例では、表示機能を用いてガイダンス表示、操作完了表示、アラート表示等が行われるが、画面上でのテキスト表示に代えて、スピーカからの合成音声や電子音の出力、電子機器１４の振動等により情報を出力する機能を設け、表示機能を省略しても良い。 [Order system configuration]
FIG. 1 is a block diagram showing an example of the schematic configuration of the ordering system according to the first embodiment. This system primarily includes a portable electronic device 14 , a catalog server 18 and an order server 20 . The electronic device 14 has a photographing function, a display function, a communication function, and the like. Examples of the electronic device 14 having these functions include smartphones, tablets, glasses-type wearable devices, camera devices, and the like. A system that is realized by a display, a wireless device, etc., and connects them wirelessly or with a cable may be used. Moreover, when the electronic device 14 does not have a communication function, the electronic device 14 may be connected wirelessly or with a cable to a device having a communication function, such as a personal computer. In one example of the embodiment, guidance display, operation completion display, alert display, etc. are performed using the display function. The display function may be omitted by providing a function of outputting information by means of vibration or the like.

実施形態による注文システムはどのような業者のどのような商品の注文にも適用できるが、ここでは、紙媒体のカタログ１２を会員に配って、注文を受けた商品を会員の自宅まで配送するスーパーマーケット、デパートの例を説明する。図１は１つの電子機器１４しか示さないが、電子機器１４は会員（以下、ユーザとも称する）毎に用意され、多数の電子機器１４がネットワークに接続される。 Although the ordering system according to the embodiment can be applied to orders for any product from any vendor, here, a supermarket that distributes paper catalogs 12 to members and delivers the ordered products to the members' homes , to illustrate the example of a department store. Although FIG. 1 shows only one electronic device 14, the electronic device 14 is prepared for each member (hereinafter also referred to as a user), and many electronic devices 14 are connected to the network.

ユーザは電子機器１４を用いてカタログ１２を撮影すると、電子機器１４は、撮影した画像に対して画像認識処理を行い、注文商品を決定することができる。画像処理の対象を求めるために実際に静止画を撮影しても良いが、実施形態では、カメラ機能をオンにしてライブビュー画像を表示し、その間に特定の条件が満たされると、その時表示されている１枚の画像が処理対象とされる。大量の商品を販売する業者の場合、カタログ１２は、複数ページの冊子からなる。扱う商品は時間ともに変わっていくし、同じ商品でも価格が変わることがある。そのため、販売者は最新のカタログを随時（例えば、毎月曜日に）発行する。この場合、ユーザの手元には、異なる発行日の複数のカタログが存在する可能性がある。最新のカタログのみ有効であり、それ以外のカタログは有効期限が切れ、無効である。なお、カタログ１２の代わりに、片面１ページあるいは両面２ページの１枚もののチラシが用いられても良い。以下、カタログ１２はカタログとチラシの両方を意味するものとする。 When the user photographs the catalog 12 using the electronic device 14, the electronic device 14 can perform image recognition processing on the photographed image and determine the ordered product. A still image may actually be captured to obtain an image processing target, but in the embodiment, the camera function is turned on to display a live view image, and if a specific condition is met during that time, the image is displayed at that time. A single image that contains the For merchants who sell a large number of products, the catalog 12 consists of a multi-page booklet. The products we deal with change over time, and the price of the same product may change. Therefore, the seller publishes the latest catalog from time to time (eg, every Monday). In this case, the user may have multiple catalogs with different publication dates. Only the latest catalog is valid, other catalogs are expired and invalid. Instead of the catalog 12, a leaflet with one page on one side or two pages on both sides may be used. Hereinafter, the catalog 12 shall mean both a catalog and a leaflet.

電子機器１４が無線又はケーブルによりネットワーク１６に接続される。販売者側のサーバの一例であるカタログサーバ１８と注文サーバ２０がネットワーク１６に接続される。カタログサーバ１８は、ユーザに配布されるカタログ１２の各ページの画像の特徴情報を示す第１辞書データ２２を格納するストレージと、カタログ１２の各ページの各商品の商品情報を示す第２辞書データ２４を格納するストレージを備える。特徴情報は画像のパターンマッチングが可能な情報であれば、何でも良い。例えば、特徴情報は、画像から抽出したエッジやコーナー等の特徴点を示す情報でも良い。 An electronic device 14 is connected to a network 16 wirelessly or by cable. A catalog server 18 and an order server 20 , which are examples of seller-side servers, are connected to the network 16 . The catalog server 18 has a storage for storing first dictionary data 22 indicating image feature information of each page of the catalog 12 distributed to users, and second dictionary data indicating product information of each product on each page of the catalog 12. 24 is provided. Any feature information may be used as long as it is information that allows image pattern matching. For example, the feature information may be information indicating feature points such as edges and corners extracted from the image.

なお、第１辞書データ２２と第２辞書データ２４は別々のストレージに格納されるのではなく、単一のストレージに格納されても良い。カタログサーバ１８は、新しいカタログ１２がユーザに配布されると、その都度、配布されたカタログ１２の第１辞書データ２２と第２辞書データ２４を多数の電子機器１４に配信する。ただし、第１辞書データ２２と第２辞書データ２４はともにページ毎のデータ構造を有する（第２辞書データ２４はさらに商品毎のデータ構造も有する）ので、第１辞書データ２２と第２辞書データ２４を合体させて単一の辞書データとしても良い。 Note that the first dictionary data 22 and the second dictionary data 24 may be stored in a single storage instead of being stored in separate storages. The catalog server 18 distributes the first dictionary data 22 and the second dictionary data 24 of the distributed catalog 12 to a large number of electronic devices 14 each time a new catalog 12 is distributed to the user. However, since both the first dictionary data 22 and the second dictionary data 24 have a data structure for each page (the second dictionary data 24 also has a data structure for each product), the first dictionary data 22 and the second dictionary data 24 may be combined into single dictionary data.

注文サーバ２０は各ユーザの注文状況を示す注文リスト２６を格納するストレージを備える。カタログサーバ１８と注文サーバ２０とが別々のストレージを備えるのではなく、単一のストレージを共用してもよい。各ユーザの電子機器１４からユーザ毎の注文リスト２６が注文サーバ２０に送信される。注文サーバ２０は注文リスト２６を受け取ると、決済処理をして、注文リスト２６を商品発送サーバ(図示せず)に送信し、商品が発送される。なお、カタログサーバ１８と注文サーバ２０と商品発送サーバが別々のサーバからなるのではなく、いくつかのサーバが単一のサーバからなってもよい。 The order server 20 has a storage that stores an order list 26 showing the order status of each user. Catalog server 18 and order server 20 may share a single storage rather than having separate storage. An order list 26 for each user is transmitted from each user's electronic device 14 to the order server 20 . When the order server 20 receives the order list 26, it performs settlement processing, transmits the order list 26 to a product delivery server (not shown), and the product is delivered. The catalog server 18, the order server 20, and the product delivery server may not consist of separate servers, and some of the servers may consist of a single server.

［カタログ１２の構成］
図２は、カタログ１２のあるページの一例を示す。カタログは食料品に限らず、日用雑貨、衣料品等多岐に亘っていても良いし、分野毎に異なるカタログとしてもよい。ページの上には、発行日とページ番号が記載されている。発行日に加えて／代えて号数が記載されていても良い。また、分野毎に異なるカタログの場合は、余白に分野が記載されていても良い。図２は商品「パン」に関するページを示す。基本的に１ページはｍ（縦）×ｎ（横）の区画を有し、１つの商品の商品情報が１つ又は複数の区画にほぼ割り当てられる。１ページの区画割は各ページで異なっていても良い。図２の例では、１ページは３行×３列の９個の区画を有し、１商品が１個又は２個の区画に割り当てられる。例えば、１行目の１列目の区画に酵母食パンの商品情報が印刷される。同様に、１行目の２、３列目の２個の区画にこだわりパニーニ、２行目の１列目の区画に食パン、２行目の２列目の区画にバケット、２、３行目の３列目の２個の区画にマーマレード、３行目の１列目の区画にクリームパン、３行目の２列目の区画にクロワッサンの商品情報が印刷される。 [Structure of Catalog 12]
FIG. 2 shows an example of one page of catalog 12 . The catalog is not limited to foodstuffs, but may cover a wide variety of items such as daily miscellaneous goods and clothing, or may be a different catalog for each field. At the top of the page is the publication date and page number. In addition to/in place of the issue date, the issue number may be indicated. Also, in the case of a catalog that differs for each field, the field may be described in the margin. FIG. 2 shows a page for the product "bread". Basically, one page has m (vertical)×n (horizontal) divisions, and product information of one product is almost allocated to one or more divisions. The partitioning of one page may be different for each page. In the example of FIG. 2, one page has 9 sections of 3 rows×3 columns, and one product is assigned to one or two sections. For example, product information of yeast bread is printed in the section of the first row and first column. Similarly, panini in the 2nd and 3rd columns of the 1st row, bread in the 1st column of the 2nd row, bucket in the 2nd column of the 2nd row, 2nd and 3rd rows Product information of marmalade is printed in two sections of the third row, cream bread is printed in the section of the first column of the third row, and croissant is printed in the section of the second column of the third row.

商品情報は、商品を表す情報であれば、何でも良いが、写真、商品名、申込番号、価格、税込価格等からなることが多い。写真や価格、税込価格は必須ではなく、極端な場合、申込番号と商品名があれば良い。申込番号は商品毎に決められた所定の桁数のシリアル番号で良く、商品番号、品番とも称される。申込番号は目立つように、黒の下地に白で印刷されていても良い。商品の写真、商品名、価格等のサイズは商品毎に可変であるが、申込番号のサイズは全ての商品において統一しても良い。 The product information may be any information as long as it represents the product, but it often consists of a photograph, product name, application number, price, tax-included price, and the like. Photos, prices, and tax-inclusive prices are not essential, and in extreme cases, the application number and product name are sufficient. The application number may be a serial number with a predetermined number of digits determined for each product, and is also called a product number. The application number may be printed in white on a black background to be conspicuous. Although the size of the product photo, product name, price, etc. varies for each product, the size of the application number may be the same for all products.

実施形態では、電子機器１４をカタログ１２にかざしてカタログ１２のライブビュー画像を表示することにより、商品を注文することができる。先ず、カタログ１２の少なくとも一部の画像情報を得て、第１辞書データとのパターンマッチングによりカタログ１２の発行日、ページ等を識別する。その後、希望の商品が画面の中央に位置するようにカタログ１２に対する電子機器１４の位置を調整し、画面中央の商品が選択される。図２の例では、区画は矩形の形状であり、ページが区画でぴったり分けられているので、区画の中心を画面の中心に一致させると、希望の商品を画面の中心に簡単に合わせることができる。 In embodiments, products can be ordered by holding electronic device 14 over catalog 12 to display a live view image of catalog 12 . First, image information of at least a part of the catalog 12 is obtained, and the issue date, page, etc. of the catalog 12 are identified by pattern matching with the first dictionary data. After that, the position of the electronic device 14 with respect to the catalog 12 is adjusted so that the desired product is positioned at the center of the screen, and the product at the center of the screen is selected. In the example of Figure 2, since the compartments are rectangular in shape and the pages are neatly divided into compartments, the desired product can be easily centered on the screen by matching the center of the compartment to the center of the screen. can.

しかし、カタログの中には、商品情報が印刷される区画が矩形ではなく任意形状の区画で、形状や大きさも商品毎に異なり、商品の写真が他の写真とオーバーラップしている場合もある。このような場合、カタログ上の商品情報の何処あるいは何を画面の中心に合わせるかについての目安が無いと、希望の商品を選択し難い場合がある。そのため、実施形態では、申込番号が画面の中央に位置するように電子機器１４をカタログ１２にかざすことにより、注文商品の決定が行われるように構成されている。注文用紙に記入して販売者に提出する従来手法のカタログには申込番号は必須であるので、そのカタログをそのまま実施形態に利用すれば、カタログ１２に本手法のための追加情報をわざわざ掲載する必要はない。 However, in some catalogs, the section where product information is printed is not rectangular but has an arbitrary shape, and the shape and size of each product are different, and there are cases where product photos overlap other photos. . In such a case, it may be difficult to select a desired product unless there is a guideline as to where or what product information on the catalog should be aligned with the center of the screen. Therefore, in the embodiment, the product to be ordered is determined by holding the electronic device 14 over the catalog 12 so that the application number is positioned in the center of the screen. Since the catalog of the conventional method, in which the order form is filled in and submitted to the seller, the application number is essential, if the catalog is used as it is in the embodiment, the additional information for this method will be posted in the catalog 12. No need.

なお、申込番号の代わりに、商品名、価格又は税込価格が画面の中心に位置するように電子機器１４をカタログ１２にかざしても良い。この場合、申込番号は記載されていなくても良い。
図２には図示していないが、商品の簡単な説明も商品情報に含めても良い。１つの商品情報のレイアウトも任意であり、商品毎に商品情報のレイアウトが異なっても良い。例えば、図２には示していないが、ある商品に関して、写真の上に商品名、価格、税込価格が印刷されても良いし、商品名、価格、税込価格の文字、数字のフォントサイズが揃っていなくても良い。商品毎に商品の品名、価格、税込価格の文字、数字のフォントサイズは異なっていても良い。 Instead of the application number, the electronic device 14 may be held over the catalog 12 so that the product name, price, or tax-included price is positioned at the center of the screen. In this case, the application number may not be entered.
Although not shown in FIG. 2, a brief description of the product may also be included in the product information. The layout of one piece of product information is arbitrary, and the layout of product information may differ for each product. For example, although not shown in FIG. 2, the product name, price, and tax-inclusive price may be printed on the photograph of a certain product, and the font sizes for the product name, price, and tax-inclusive price may be printed in a uniform font size. It doesn't have to be. The font size of the product name, price, and tax-included price characters and numbers may be different for each product.

［電子機器１４の構成］
図３は電子機器１４の一例を示すブロック図である。ここでは、電子機器１４はスマートフォン又はタブレット（以下、スマートフォンと称する）からなる例を説明する。
電子機器１４は、プロセッサ（ＣＰＵ）を含むシステムコントローラ４２を備える。主メモリ４４、ＢＩＯＳ－ＲＯＭ５０、ＨＤＤ又はＳＳＤからなるストレージデバイス５２、オーディオコーデック５４、グラフィクスコントローラ６２、タッチパネル７０、ＵＳＢ（登録商標）コネクタ７２、無線ＬＡＮデバイス７４、ブルートゥース（登録商標）デバイス７６、カメラ７８、バイブレータ８０、メモリカードコントローラ８２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）８４等がシステムコントローラ４２に接続される。 [Configuration of electronic device 14]
FIG. 3 is a block diagram showing an example of the electronic device 14. As shown in FIG. Here, an example in which the electronic device 14 is a smart phone or a tablet (hereinafter referred to as a smart phone) will be described.
The electronic device 14 includes a system controller 42 including a processor (CPU). Main memory 44, BIOS-ROM 50, HDD or SSD storage device 52, audio codec 54, graphics controller 62, touch panel 70, USB (registered trademark) connector 72, wireless LAN device 74, Bluetooth (registered trademark) device 76, camera 78 , vibrator 80 , memory card controller 82 , embedded controller/keyboard controller (EC/KBC) 84 and the like are connected to system controller 42 .

システムコントローラ４２はストレージデバイス５２から主メモリ４４にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）４６、アプリケーションプログラムを含む。アプリケーションプログラムは、注文リスト作成プログラム４８、注文リスト送信プログラム４９を含む。システムコントローラ４２は不揮発性メモリであるＢＩＯＳ－ＲＯＭ５０に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳはハードウェア制御のためのシステムプログラムである。 System controller 42 executes various programs that are loaded from storage device 52 into main memory 44 . These programs include an operating system (OS) 46 and application programs. Application programs include an order list creation program 48 and an order list transmission program 49 . System controller 42 also executes a basic input/output system (BIOS) stored in BIOS-ROM 50, which is nonvolatile memory. BIOS is a system program for hardware control.

オーディオコーデック５４は、再生対象のデジタルのオーディオ信号をアナログのオーディオ信号に変換して、スピーカ６０に供給する。また、オーディオコーデック５４は、マイク５６から入力されるアナログのオーディオ信号をデジタル信号に変換する。オーディオ信号は、確認・アラート等に関する合成音声や電子音を含む。 The audio codec 54 converts a digital audio signal to be reproduced into an analog audio signal and supplies it to the speaker 60 . Also, the audio codec 54 converts an analog audio signal input from the microphone 56 into a digital signal. Audio signals include synthesized speech and electronic sounds for confirmations, alerts, and the like.

グラフィックスコントローラ６２は、電子機器１４のディスプレイモニタとして使用されるＬＣＤ（液晶表示器）６４を制御する。ＬＣＤ６４の画面上にタッチパネル（例えば静電容量式のタッチパネル）７０が重ねられ、タッチパネル７０は画面に指等が近接又は接触することを検出する。 A graphics controller 62 controls an LCD (liquid crystal display) 64 used as a display monitor for the electronic device 14 . A touch panel (for example, a capacitive touch panel) 70 is superimposed on the screen of the LCD 64, and the touch panel 70 detects that a finger or the like approaches or touches the screen.

ＵＳＢコネクタ７２は、ＵＳＢケーブルを介して外部機器に接続され、外部機器と電子機器１４の間でデータが送受信される。外部機器として、ＩＥＥＥ８０２．３規格の有線ＬＡＮ通信によりネットワーク１６に接続される有線ＬＡＮデバイス７８を用いても良い。あるいは、外部機器の例としては、後述するバッテリ９２を充電する又は電子機器１４に電力を供給する電源装置もある。無線ＬＡＮデバイス７４は、ネットワーク２２との接続のためにＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を実行する。ブルートゥースデバイス７６は、外部機器との接続のためにブルートゥース規格の無線通信を実行する。このように、電子機器１４とネットワーク２２との接続は無線通信によってもよいし、有線通信によってもよい。 The USB connector 72 is connected to an external device via a USB cable, and data is transmitted and received between the external device and the electronic device 14 . As an external device, a wired LAN device 78 connected to the network 16 by IEEE802.3 standard wired LAN communication may be used. Alternatively, an example of the external device is a power supply device that charges a battery 92 (described later) or supplies power to the electronic device 14 . The wireless LAN device 74 performs IEEE 802.11 standard wireless LAN communication for connection with the network 22 . The Bluetooth device 76 performs Bluetooth standard wireless communication for connection with an external device. Thus, the connection between the electronic device 14 and the network 22 may be wireless communication or wired communication.

カメラ７８は電子機器１４のカメラ機能がオンの場合、被写体の画像情報を出力し、ＬＣＤ６４でライブビュー画像が表示される。
バイブレータ８０は振動することにより、電子機器１４のユーザに予め決められた情報を知らせることができる。バイブレータ８０の振動周波数は可変であり、振動周波数を変えること又は振動回数を変えることに種々の情報を出力することができる。情報の例は、電子機器１４でカタログ１２を撮影して注文する際、注文準備が完了したことや注文が完了したこと等を含む。 When the camera function of the electronic device 14 is on, the camera 78 outputs image information of the subject, and the LCD 64 displays a live view image.
The vibrator 80 can notify the user of the electronic device 14 of predetermined information by vibrating. The vibration frequency of the vibrator 80 is variable, and various information can be output by changing the vibration frequency or changing the number of vibrations. Examples of the information include completion of order preparations and completion of the order when the catalog 12 is photographed by the electronic device 14 and the order is placed.

メモリカードコントローラ８２は、記憶媒体、例えばＳＤカード（登録商標）等のメモリカードにデータを書き込み、メモリカードからデータを読み出す。
ＥＣ／ＫＢＣ８４は電力管理コントローラであり、ワンチップマイクロコンピュータとして実現されていても良い。ＥＣ／ＫＢＣ８４は、電源スイッチ８６の操作に応じて電子機器１４をパワーオン又はパワーオフする機能を有する。パワーオン及びパワーオフの制御は、ＥＣ／ＫＢＣ８４と電源回路９０との協働動作によって実行される。ＥＣ／ＫＢＣ８４はオペレータ端末１２がパワーオフされている期間中も、バッテリ９２又はＵＳＢコネクタ７２を介する外部機器からの電力によって動作する。電源回路９０は、バッテリ９２からの電力又は外部機器からの電力を用いて、各コンポーネントへ供給すべき電力を生成する。 The memory card controller 82 writes data to a storage medium, such as a memory card such as an SD card (registered trademark), and reads data from the memory card.
EC/KBC 84 is a power management controller and may be implemented as a one-chip microcomputer. The EC/KBC 84 has a function of powering on or powering off the electronic device 14 according to the operation of the power switch 86 . Power-on and power-off control is performed by cooperative operation of the EC/KBC 84 and the power supply circuit 90 . The EC/KBC 84 operates on power from an external device via the battery 92 or the USB connector 72 even while the operator terminal 12 is powered off. The power supply circuit 90 uses power from the battery 92 or power from an external device to generate power to be supplied to each component.

［カタログ識別処理］
注文は、主にカタログ識別と商品識別の２つの処理を含む。なお、注文の前に本人認証が行われ、注文後に決済処理が行われるが、これらは本発明に直接関係しないので、これらの説明は省略する。
先ず、図４乃至図９を参照して、カタログ識別処理を説明する。カタログ識別処理はシステムコントローラ４２が注文リスト作成プログラム４８を実行することにより開始される。上述したように、カタログ１２には発行日が異なる版があり、最新版以外の画像情報では注文できないようになっている。そのため、最新版のカタログ１２であることを識別することが必要である。また、カタログ１２は複数ページの場合もあるので、カタログ１２のページを識別することも必要である。 [Catalog identification process]
An order mainly includes two processes: catalog identification and product identification. It should be noted that personal authentication is performed before ordering and settlement processing is performed after ordering, but these are not directly related to the present invention, so their explanations are omitted.
First, catalog identification processing will be described with reference to FIGS. 4 to 9. FIG. The catalog identification process is initiated by system controller 42 executing order listing program 48 . As described above, the catalog 12 has editions with different publication dates, and image information other than the latest edition cannot be ordered. Therefore, it is necessary to identify that it is the latest version of the catalog 12 . Also, since the catalog 12 may have multiple pages, it is also necessary to identify the pages of the catalog 12 .

なお、電子機器１４にはカタログサーバ１８から最新版のカタログ１２の第１辞書データ２２と第２辞書データ２４が配信され、これらのデータはストレージデバイス５２に格納されているとする。配信された新しい辞書データは過去の辞書データに上書き（過去の辞書データが削除）され、現在有効である最新の辞書データのみが格納されても良いし、何号か前までの辞書データが別々に格納されても良い。 It is assumed that the catalog server 18 distributes the first dictionary data 22 and the second dictionary data 24 of the latest version of the catalog 12 to the electronic device 14 and that these data are stored in the storage device 52 . Distributed new dictionary data may overwrite past dictionary data (past dictionary data may be deleted), and only the latest valid dictionary data may be stored, or dictionary data up to several previous issues may be stored separately. may be stored in

第１辞書データ２２の一例を図４に示す。第１辞書データ２２は、発行日毎のページ毎の画像情報の特徴情報からなる。カタログサーバ１８は、例えば各ページのカタログ１２を撮影して得た各頁の画像情報からの特徴点を示す特徴情報を抽出し、第１辞書データ２２を生成する。 An example of the first dictionary data 22 is shown in FIG. The first dictionary data 22 consists of feature information of image information for each page for each publication date. The catalog server 18 extracts feature information indicating feature points from image information of each page obtained by photographing the catalog 12 of each page, for example, and generates the first dictionary data 22 .

第２辞書データ２４の一例を図５に示す。第２辞書データ２４は、発行日毎のページ毎の商品毎の商品情報のリストからなる。カタログサーバ１８は、各ページのカタログ１２を発行する際、元となる電子データから第２辞書データ２４を生成する。商品情報は、申込番号と、申込番号の印刷領域、商品名、価格、税込価格からなる。申込番号の印刷領域は、図６に示すように、ページの中心を原点とする２次元座標系における申込番号の印刷領域の左端、右端のｘ座標、上端、下端のｙ座標からなる。上述したように、申込番号の代わりに商品名、価格、税込価格を画面の中央に位置するように電子機器１４をカタログ１２にかざすことにより商品を選択する場合は、商品名、価格、税込価格の印刷領域の左端、右端のｘ座標、上端、下端のｙ座標が申込番号の印刷領域の代わりに第２辞書データ２４に含まれても良い。さらに、上述したように、図２に示すように、ページが矩形の区画でぴったり分けられているようなカタログの場合、申込番号の代わりにカタログ上の商品区画の左右上下の端部の座標が第２辞書データ２４に含まれても良い。 An example of the second dictionary data 24 is shown in FIG. The second dictionary data 24 consists of a list of product information for each product for each page for each issue date. The catalog server 18 generates the second dictionary data 24 from the original electronic data when issuing the catalog 12 of each page. The product information consists of an application number, a printing area for the application number, a product name, a price, and a price including tax. As shown in FIG. 6, the application number printing area consists of the left and right x coordinates and the upper and lower y coordinates of the application number printing area in a two-dimensional coordinate system with the center of the page as the origin. As described above, when a product is selected by holding the electronic device 14 over the catalog 12 so that the product name, price, and tax-inclusive price are positioned in the center of the screen instead of the application number, the product name, price, and tax-inclusive price are selected. may be included in the second dictionary data 24 instead of the printing area of the application number. Furthermore, as described above, in the case of a catalog whose pages are divided into rectangular sections exactly as shown in FIG. It may be included in the second dictionary data 24 .

図７のフローチャートを参照して、カタログ識別処理を説明する。
ブロック１０２で、ユーザは、カメラ４２がカタログ１２のあるページの少なくとも一部分を撮影するように電子機器１４をカタログ１２の上にかざすことにより、システムコントローラ４２は、カタログ１２のあるページの少なくとも一部分のライブビュー画像をＬＣＤ６４で表示させる。 Catalog identification processing will be described with reference to the flowchart of FIG.
At block 102 , the user holds electronic device 14 over catalog 12 such that camera 42 captures at least a portion of a page of catalog 12 , causing system controller 42 to capture at least a portion of a page of catalog 12 . A live view image is displayed on the LCD 64 .

ブロック１０４で、システムコントローラ４２は、ＬＣＤ４６で表示されているライブビュー画像の画像情報を解析し、特徴点を抽出することにより、ライブビュー画像の特徴情報を求める。
ブロック１０６で、システムコントローラ４２は、ライブビュー画像の特徴情報とストレージデバイス５２に保存されている第１辞書データ２２の各ページの特徴情報のパターンマッチングを行い、ライブビュー画像の特徴情報と一致する特徴情報を含む第１辞書データ２２のページを探す。第１辞書データ２２はページ全体の特徴情報を含んでいるが、ページの一部分のライブビュー画像の特徴情報とのパターンマッチングでも一致するページを探すことができる場合がある。例えば、ライブビュー画像の対象であるページの一部分の画像が１つのページにしか存在しない場合は、ページの一部分のライブビュー画像の特徴情報に基づくパターンマッチングによっても一致するページを探すことができる。これ以外の場合は、ページ全体のライブビュー画像の特徴情報が必要な場合がある。 At block 104, the system controller 42 analyzes the image information of the live view image displayed on the LCD 46 and extracts feature points to obtain feature information of the live view image.
At block 106, the system controller 42 performs pattern matching of the feature information of the live-view image and the feature information of each page of the first dictionary data 22 stored in the storage device 52 to match the feature information of the live-view image. Search for the page of the first dictionary data 22 containing the feature information. Although the first dictionary data 22 includes the feature information of the entire page, it may be possible to find a matching page by pattern matching with the feature information of the live view image of a part of the page. For example, if the image of a part of the page that is the target of the live view image exists only on one page, the matching page can also be found by pattern matching based on the feature information of the live view image of the part of the page. In other cases, live-view image feature information for the entire page may be required.

ブロック１０８で、システムコントローラ４２は、パターンマッチングの結果、ライブビュー画像に一致する第１辞書データのページがあるか否か判定する。一致するページがあると判定された場合、ユーザが撮影しているカタログのページと当該一致するページがある、例えば、ユーザが撮影しているカタログのページは６月４日発行のカタログの１ページであると識別される。第１辞書データ２２は最新号のカタログのみならず過去のカタログの特徴情報を含む場合もあるので、ブロック１１２で、システムコントローラ４２は、一致するページが最新号のカタログのページであるか否か判定する。この判定によって、ユーザが過去のカタログを使って誤って注文しようとする誤操作を防ぐことができる。 At block 108, system controller 42 determines whether there is a page of first dictionary data that matches the live-view image as a result of pattern matching. If it is determined that there is a matching page, there is a matching page with the page of the catalog photographed by the user. For example, the page of the catalog photographed by the user is page 1 of the catalog issued on June 4. is identified as Since the first dictionary data 22 may contain feature information for past catalogs as well as current catalogs, at block 112 system controller 42 determines whether the matching page is a current catalog page. judge. This determination can prevent the user from erroneously trying to place an order using a past catalog.

ブロック１１２で、一致するページが最新号のカタログのページでないと判定された場合、ブロック１１４で、システムコントローラ４２は、「このカタログの有効期間は終了しています。最新のカタログを使ってやり直して下さい。」のようなカタログ取り替えガイダンステキストをＬＣＤ６４で表示させる。システムコントローラ４２は、ブロック１１４で、テキスト表示に加えて又はテキスト表示に代えて、ガイダンスメッセージの合成音声をスピーカ６０から出力させる、所定の電子音をスピーカ６０から出力させる、又は所定の周波数で所定回数バイブレータ８０をオンし、電子機器１４を所定の周波数で所定回数振動させても良い。 If at block 112 it is determined that the matching page is not from the current catalog issue, then at block 114 system controller 42 outputs "This catalog has expired. Try again with the latest catalog." Please display the catalog replacement guidance text on the LCD 64. The system controller 42 causes the speaker 60 to output a synthetic voice of the guidance message, output a predetermined electronic sound from the speaker 60, or output a predetermined electronic sound at a predetermined frequency, in block 114, in addition to or instead of the text display. The frequency vibrator 80 may be turned on to vibrate the electronic device 14 at a predetermined frequency for a predetermined number of times.

ユーザがカタログを最新号のカタログに取り替えた後、ブロック１０２以下の処理が繰り返される。
ブロック１１２で、一致するページが最新号のカタログのページであると判定された場合、ブロック１１６で、システムコントローラ４２は、一致するページ（例えば、６月４日発行のカタログの１ページ）を注文ページであると決定する。ブロック１１８で、カタログ識別完了（注文ページの決定）をユーザに知らせるために、システムコントローラ４２は、所定の周波数で一定時間バイブレータ８０をオンし、電子機器１４を所定の周波数で一定時間振動させる、又はガイダンスメッセージ又は報知音をスピーカ６０から出力させる。同様に、ブロック１２２でも、カタログ識別完了をユーザに認識させるために、システムコントローラ４２は、図８又は図９に示すように、ＬＣＤ６４で表示されているカタログのライブビュー画像内の申込番号の印刷領域の縁及びライブビュー画像の縁に第１色（例えば、青色）の枠を表示させる。図８は、カメラ４２がカタログ１２のページの一部分を撮影する場合のＬＣＤ６４の表示画像の一例を示す。図９は、カメラ４２がカタログ１２のページ全体を撮影する場合のＬＣＤ６４の表示画像の一例を示す。この後、図１０のフローチャートに示す商品識別処理に進む。なお、ブロック１１８とブロック１２２の順番はこの逆でも良い。 After the user replaces the catalog with the latest issue of the catalog, the process from block 102 onwards is repeated.
If at block 112 it is determined that the matching page is a page from the current issue of the catalog, then at block 116 the system controller 42 orders the matching page (eg, page 1 of the June 4th issue of the catalog). Determine that it is a page. At block 118, system controller 42 turns on vibrator 80 at a predetermined frequency for a period of time to cause electronic device 14 to vibrate at a predetermined frequency for a period of time to notify the user of catalog identification completion (determination of order page); Alternatively, a guidance message or notification sound is output from the speaker 60 . Similarly, at block 122, to make the user aware that catalog identification has been completed, system controller 42 prints the order number in the live view image of the catalog displayed on LCD 64, as shown in FIG. A frame of the first color (for example, blue) is displayed on the edge of the area and the edge of the live view image. FIG. 8 shows an example of an image displayed on the LCD 64 when the camera 42 photographs a part of the page of the catalog 12. As shown in FIG. FIG. 9 shows an example of an image displayed on the LCD 64 when the camera 42 captures the entire page of the catalog 12. As shown in FIG. Thereafter, the product identification process shown in the flowchart of FIG. 10 is performed. Note that the order of blocks 118 and 122 may be reversed.

ブロック１０８で、一致するページが無いと判断された場合、ブロック１０２以下の処理が繰り返される。
［商品識別処理］
図１０は、図７のブロック１２２に後続する商品識別処理を示すフローチャートである。
ブロック１３２で、システムコントローラ４２は、「購入したい商品の申込番号を画面の中央にしてスマートフォンをカタログから１０ｃｍほどの距離に近づけて下さい。」のような商品選択ガイダンステキストをＬＣＤ６４で表示させる。システムコントローラ４２は、ブロック１３２で、テキスト表示に加えて又はテキスト表示に代えて、ガイダンスメッセージの合成音声をスピーカ６０から出力させる、所定の電子音をスピーカ６０から出力させる、又は所定の周波数で所定回数バイブレータ８０をオンし、電子機器１４を所定の周波数で所定回数振動させても良い。 If it is determined at block 108 that there are no matching pages, then the processing from block 102 onwards is repeated.
[Product identification process]
FIG. 10 is a flow chart illustrating the item identification process that follows block 122 of FIG.
At block 132, the system controller 42 causes the LCD 64 to display product selection guidance text such as "Place the application number of the product you wish to purchase in the center of the screen and bring the smartphone closer to the catalog at a distance of about 10 cm." The system controller 42 causes the speaker 60 to output a synthetic voice of the guidance message, output a predetermined electronic sound from the speaker 60, or output a predetermined electronic sound at a predetermined frequency, in block 132, in addition to or instead of the text display. The frequency vibrator 80 may be turned on to vibrate the electronic device 14 at a predetermined frequency for a predetermined number of times.

システムコントローラ４２は、ブロック１０６でパターンマッチングによりライブビュー画像と一致する第１辞書データのページを検出すると、その時点でカメラ７８の撮影範囲の中心がカタログ１２の何処に位置しているかが分かる。その後、カメラ７８の構図が変わり、撮影範囲が変化しても、常に撮影範囲の中心がカタログ１２の何処に位置しているかを追跡している。そのため、商品選択のためにいずれかの商品をアップで撮影するブロック１３４においても、システムコントローラ４２は、申込番号の印刷領域が画面中央に位置するか否かを判定することができる。 When the system controller 42 detects a page of the first dictionary data that matches the live view image by pattern matching in block 106, it knows where in the catalog 12 the center of the photographing range of the camera 78 is located at that time. After that, even if the composition of the camera 78 changes and the photographing range changes, the position of the center of the photographing range in the catalog 12 is always tracked. Therefore, even in block 134 where any product is photographed close-up for product selection, the system controller 42 can determine whether the print area for the order number is positioned at the center of the screen.

カタログ１２上の申込番号の印刷領域のサイズは既知であるので、ライブビュー画像上の申込番号の印刷領域の表示サイズから、カタログ平面からの高さを算出できる。ブロック１３４では、購入したい商品の申込番号を画面の中央にして、電子機器１４をカタログ１２から１０ｃｍ以下の距離に近づけたことが判定される。ここで、電子機器１４とカタログ１２との距離１０ｃｍは一例であり、他の任意の所定値でもよい。 Since the size of the print area of the application number on the catalog 12 is known, the height from the catalog plane can be calculated from the display size of the print area of the application number on the live view image. At block 134, it is determined that the electronic device 14 has been moved closer to the distance of 10 cm or less from the catalog 12 with the application number of the product to be purchased in the center of the screen. Here, the distance of 10 cm between the electronic device 14 and the catalog 12 is an example, and any other predetermined value may be used.

ブロック１３４で、購入したい商品の申込番号が画面の中央ではなく、電子機器１４がカタログ１２から１０ｃｍ以下でもないことが判定されると、ブロック１３６で、システムコントローラ４２は、検出中のカタログがライブビュー画面上で追跡されているか否か、すなわち撮影範囲の中心がカタログ１２の何処に位置しているかが追跡されているか否かを判定する。追跡されている場合、ブロック１３４の処理が繰り返され、他の商品が選択可能である。追跡されてない場合、図７のブロック１０２に戻り、カタログ識別処理が繰り返される。 If at block 134 it is determined that the application number for the item to be purchased is not in the center of the screen and the electronic device 14 is not less than 10 cm from the catalog 12, then at block 136 the system controller 42 determines that the catalog being detected is live. It is determined whether or not tracking is being performed on the view screen, ie, where in the catalog 12 the center of the shooting range is being tracked. If so, the process of block 134 is repeated and other items can be selected. If not, return to block 102 of FIG. 7 and repeat the catalog identification process.

購入したい商品の申込番号を画面の中央に位置するようにして電子機器１４をカタログ１２から１０ｃｍ以下の距離に近づけると、ブロック１３４の判定結果がイエスとなり、ブロック１３８で、システムコントローラ４２は、商品選択をユーザに知らせるために、所定の周波数でバイブレータ８０を一定時間あるいは所定回数オンし、電子機器１４を所定の周波数で一定時間あるいは所定回数振動させる又は報知音をスピーカ６０から出力させる。システムコントローラ４２は、ブロック１３８で、報知音に加えて又は報知音に代えて、ガイダンスメッセージの合成音声をスピーカ６０から出力させても良い。 When the electronic device 14 is brought closer to the distance of 10 cm or less from the catalog 12 with the application number of the product to be purchased positioned in the center of the screen, the determination result in block 134 becomes YES, and in block 138 the system controller 42 selects the product. In order to inform the user of the selection, the vibrator 80 is turned on at a predetermined frequency for a predetermined period of time or a predetermined number of times, and the electronic device 14 is vibrated at a predetermined frequency for a predetermined period of time or a predetermined number of times, or a notification sound is output from the speaker 60 . The system controller 42 may cause the synthesized voice of the guidance message to be output from the speaker 60 at block 138 in addition to or instead of the notification sound.

システムコントローラ４２は、ブロック１４０で、この状態でかつカメラ７８の撮影構図が大きく変わらないよう静止させた状態で一定時間（例えば、０．５秒）が経過したか否か判定する。ブロック１４０の判定結果がノーの場合、すなわち一定時間が経過していない場合、システムコントローラ４２は、カメラ７８がカタログ１２から１０ｃｍより離れたかを判定する。カメラ７８がカタログ１２から１０ｃｍより離れていない場合、ブロック１４０の判定が繰り返される。カメラ７８がカタログ１２から一旦１０ｃｍより離れた場合、処理はブロック１３４に戻り、上述の商品識別処理が繰り返され、他の商品が選択可能である。ブロック１４０で一定時間の経過を判定するのは、ユーザが意図しない商品を選択した場合、その商品を注文しないようにするためである。一定時間が経過するまでは選択が確定しないようになっており、この間に申込番号枠を画面から外し、意図しない商品の注文を避けることができる。 In block 140, the system controller 42 determines whether or not a certain period of time (for example, 0.5 seconds) has elapsed in this state and with the camera 78 kept stationary so that the photographing composition of the camera 78 does not change significantly. If the determination at block 140 is NO, ie, the time period has not elapsed, system controller 42 determines if camera 78 is more than 10 cm away from catalog 12 . If the camera 78 is not more than 10 cm from the catalog 12, the block 140 determination is repeated. Once the camera 78 is more than 10 cm away from the catalog 12, the process returns to block 134 and the item identification process described above is repeated so that other items can be selected. The reason why block 140 determines whether or not a certain period of time has passed is to prevent the user from ordering the product if the product is not intended by the user. The selection is not confirmed until a certain period of time has passed, during which time the application number frame can be removed from the screen to avoid ordering unintended products.

ブロック１４０で一定時間が経過したことが判定されると、ブロック１４２で、システムコントローラ４２は、画面中央に位置している申込番号に対応する商品を暫定注文リスト２６Ａ（後述する）に追加する。暫定注文リストはストレージデバイス５２に保存される。ブロック１４４で、システムコントローラ４２は、商品選択の確定、すなわち商品識別完了をユーザに知らせるために、画面中央に表示されている申込番号の印刷領域の縁及びライブビュー画像の縁の枠の色を第２色（例えば、赤色）に変え、注文商品名と合計金額をＬＣＤ６４で表示させる。この時のＬＣＤ６４の表示の一例を図１１の斜線部に示す。中央の申込番号００６の商品が選択されると、「申込番号００６のクロワッサンを注文リストに入れました」のようなテキストがカタログ画面の一番下の行に表示され、「計６１３円」のような合計金額がカタログ画面の一番上の行の右端に表示される。 If block 140 determines that the time period has elapsed, block 142 causes system controller 42 to add the item corresponding to the order number located in the center of the screen to provisional order list 26A (described below). The tentative order list is saved in storage device 52 . At block 144, the system controller 42 changes the color of the edge of the print area of the application number displayed in the center of the screen and the edge of the live view image to inform the user that the product selection has been confirmed, that is, the product identification has been completed. The color is changed to a second color (for example, red), and the ordered product name and total amount are displayed on the LCD 64 . An example of the display on the LCD 64 at this time is shown in the shaded area in FIG. When the product with application number 006 in the center is selected, a text such as "The croissant with application number 006 has been added to the order list" is displayed on the bottom line of the catalog screen, and the total of "613 yen" is displayed. Such a total amount is displayed on the far right of the top line of the catalog screen.

なお、商品を暫定注文リストに追加した後、図７に示すカタログ識別処理が再び行われる場合、注文済みの商品については、図７のブロック１２２でライブビュー画像内の申込番号の印刷領域の縁に表示される枠の色は、注文済みを示す第２色である。
ブロック１４６でも、システムコントローラ４２は、商品選択の確定をユーザに知らせるために、所定の周波数でバイブレータ８０を一定期間あるいは所定回数オンし、電子機器１４を所定の周波数で一定期間あるいは所定回数振動させる又は報知音をスピーカ６０から出力させる。システムコントローラ４２は、ブロック１４６で、報知音に加えて又は報知音に代えて、ガイダンスメッセージの合成音声をスピーカ６０から出力させても良い。 It should be noted that if the catalog identification process shown in FIG. 7 is performed again after adding the product to the provisional order list, for the ordered product, in block 122 of FIG. is the second color that indicates that the order has been placed.
Also in block 146, the system controller 42 turns on the vibrator 80 at a predetermined frequency for a predetermined period of time or a predetermined number of times, and causes the electronic device 14 to vibrate at a predetermined frequency for a predetermined period of time or a predetermined number of times, in order to inform the user of the confirmation of the product selection. Alternatively, the notification sound is output from the speaker 60 . The system controller 42 may cause the synthesized speech of the guidance message to be output from the speaker 60 at block 146 in addition to or instead of the notification sound.

ブロック１４８で、システムコントローラ４２は、カメラ７８がカタログ１２から１０ｃｍより離れたかを判定する。一旦カメラ７８がカタログ１２から離れた後は、処理はブロック１３４に戻り、上述の商品識別処理が繰り返され、他の商品が選択される。なお、同じ商品を２個以上注文したい場合は、上述した商品識別処理が同じ商品に関して繰り返されれば良い。カメラ７８がカタログ１２から１０ｃｍより離れない場合、処理は終了する。 At block 148 , system controller 42 determines if camera 78 is further than 10 cm from catalog 12 . Once the camera 78 leaves the catalog 12, the process returns to block 134 and the item identification process described above is repeated to select another item. If two or more of the same item are to be ordered, the above-described item identification process may be repeated for the same item. If camera 78 is no more than 10 cm away from catalog 12, the process ends.

なお、購入したい商品の申込番号を画面の中央に位置する際の目安として、画面の中央に所定サイズの枠を表示し、その枠と申込番号の印刷領域が合致するように電子機器１４を動かしても良い。
［注文確定処理］
図１２はストレージデバイス５２に記憶されている暫定注文リスト２６Ａの一例を示す。この実施形態では、暫定注文リスト２６Ａが作成されても、自動的に注文が確定し、注文が販売者に送信されるものではない。カタログ１２が更新される前まで暫定注文リスト２６Ａの変更（追加、削除等）が可能である。 As a guide for positioning the application number of the product to be purchased in the center of the screen, a frame of a predetermined size is displayed in the center of the screen, and the electronic device 14 is moved so that the frame matches the print area of the application number. can be
[Order confirmation process]
FIG. 12 shows an example of the provisional order list 26A stored in the storage device 52. As shown in FIG. In this embodiment, even if the provisional order list 26A is created, the order is not automatically confirmed and sent to the seller. Changes (additions, deletions, etc.) to the provisional order list 26A are possible until the catalog 12 is updated.

注文リスト送信プログラム４９を実行すると、図１２に示すような暫定注文リスト２６Ａ（発行日とページは削除され、代わりに個数の右に＋ボタンと－ボタンが追加される）を表示しても良い。暫定注文リスト２６Ａが画面に収まらない場合はスクロールされる。＋ボタンと－ボタンをタッチすることにより、新たな注文の前に現在の注文個数や注文商品を変更することができる。個数を０にすることにより、その商品の注文自体をキャンセルすることができる。 When the order list transmission program 49 is executed, a provisional order list 26A as shown in FIG. 12 (the issue date and page are deleted, and instead + and - buttons are added to the right of the quantity) may be displayed. . If the provisional order list 26A does not fit on the screen, it is scrolled. By touching the + and - buttons, it is possible to change the current order quantity and order items before placing a new order. By setting the number to 0, the order itself for that product can be cancelled.

暫定注文リスト２６Ａの送信（注文確定）のために、図１２に示すような暫定注文リスト２６Ａが表示され、ユーザが注文確定操作をすると、暫定注文リスト２６Ａが注文サーバ２０に送信され、確定した注文リスト２６とされるように構成されても良い。なお、ユーザによる注文確定操作を必要とせず、所定の期日になったら自動的に注文が確定されるように構成されても良い。 The provisional order list 26A as shown in FIG. 12 is displayed for transmission (order confirmation) of the provisional order list 26A, and when the user performs an order confirmation operation, the provisional order list 26A is transmitted to the order server 20 and confirmed. It may also be configured to be an order list 26 . It should be noted that the order may be configured so that the order is automatically confirmed on a predetermined date without requiring the order confirmation operation by the user.

実施形態によれば、電子機器１４が備えるカメラ７８のカメラフレーム内にカタログ１２の少なくとも一部を配すると、カメラ７８から得られたカタログのライブビュー画像に基づいてカタログ１２が識別される。電子機器１４は、カタログ１２の各ページに掲載される商品の位置情報を示す商品情報を格納する第２辞書データ２４を記憶している。カタログ１２が識別されると、電子機器１４は、カメラ７８の撮影範囲の中心がカタログ１２の何処に位置しているかが分かる。その後、カメラ７８の撮影範囲の中心に購入したい商品を配すると、カメラ７８から得られたカタログのライブビュー画像に基づいて商品を識別することができる。 According to embodiments, positioning at least a portion of catalog 12 within a camera frame of camera 78 provided by electronic device 14 identifies catalog 12 based on a live view image of the catalog obtained from camera 78 . The electronic device 14 stores second dictionary data 24 that stores product information indicating the position information of products listed on each page of the catalog 12 . Once the catalog 12 is identified, the electronic device 14 knows where in the catalog 12 the center of the imaging range of the camera 78 is located. After that, when the product to be purchased is placed in the center of the photographing range of the camera 78, the product can be identified based on the live view image of the catalog obtained from the camera 78.

このため、電子機器１４をカタログ１２にかざすだけで、商品選択、すなわち注文ができる。カタログ１２という紙媒体に掲載されている商品を少ない動作かつ直感的な操作で電子的に選択することができる。
［他の実施形態］
第１実施形態では、商品識別時は図１１に示すように、カタログ画像の上端及び／又は下端に合計金額と選択した商品名が表示される、すなわち選択結果のみが表示される。そして、注文の変更は別のユーザインターフェースで行われる。また、商品を複数個選択するためには、同じ動作を繰り返す必要がある。 Therefore, simply by holding the electronic device 14 over the catalog 12, it is possible to select a product, that is, place an order. It is possible to electronically select products published in a paper medium such as a catalog 12 with a small number of operations and an intuitive operation.
[Other embodiments]
In the first embodiment, as shown in FIG. 11, the total price and the selected product name are displayed at the top and/or bottom of the catalog image when identifying the product, that is, only the selection result is displayed. Order changes are then made in a separate user interface. Also, in order to select a plurality of products, the same operation must be repeated.

図１３は、第２実施形態における商品識別時のユーザインターフェース画面の例を示す。図１３では、図１１に示す情報に加えて図１２に示すような暫定注文リスト２６Ａ（発行日とページは削除され、代わりに個数の右に＋ボタンと－ボタンが追加される）が画像の上にオーバーラップして表示される。暫定注文リスト２６Ａの視認を妨害しないように、カタログ画像は低輝度で表示される。あるいは、カタログ画像の表示は停止して、暫定注文リスト２６Ａのみを表示しても良い。この状態で、＋ボタンをタッチすることにより、注文直後に注文個数を増やすこと又は他の商品を選択することができる。あるいは、－ボタンをタッチすることにより個数を０にすると、その商品の注文自体をキャンセルすることができる。 FIG. 13 shows an example of a user interface screen when product identification is performed in the second embodiment. In FIG. 13, in addition to the information shown in FIG. 11, a provisional order list 26A as shown in FIG. 12 (the issue date and page are deleted, and instead + and - buttons are added to the right of the quantity) are displayed in the image. displayed overlapping on top. The catalog image is displayed with low brightness so as not to obstruct the viewing of the provisional order list 26A. Alternatively, the display of the catalog image may be stopped and only the provisional order list 26A may be displayed. By touching the + button in this state, it is possible to increase the number of items to be ordered or select other products immediately after placing an order. Alternatively, if the number is set to 0 by touching the - button, the order itself for that product can be cancelled.

図１３は、ブロック１１６で一致するページを決定した後、一致したページに対応する暫定注文リスト２６Ａが表示され、暫定注文リスト２６Ａ上で＋ボタンをタッチすることにより、食パンを追加選択した例を示す。食パンの選択時にも、図１０のブロック１４６と同様に、振動、音の出力により商品の選択をユーザに知らせてもよい。 FIG. 13 shows an example in which after the matching page is determined in block 116, the provisional order list 26A corresponding to the matching page is displayed, and loaf bread is additionally selected by touching the + button on the provisional order list 26A. show. When selecting a loaf of bread, the user may be notified of the selection of the product by outputting vibration or sound, similar to block 146 in FIG.

なお、図１３はライブビュー画像に基づいて１つの商品を選択した後のユーザインターフェース画面の他の例であるが、カタログ１２の識別後、１つの商品も選択していない時に、図１３のようなユーザインターフェース画面（この場合、全ての商品の個数は０である）を表示させても良い。ライブビュー画像はカタログの識別のために用いられるが、商品識別のためには用いられず、商品識別は全て暫定注文リスト上で＋ボタン、－ボタンをタッチすることにより行っても良い。 FIG. 13 shows another example of the user interface screen after one product is selected based on the live view image. A user interface screen (in this case, the number of all products is 0) may be displayed. The live view image is used for catalog identification, but not for product identification. All product identifications may be performed by touching the + and - buttons on the provisional order list.

第１、第２実施形態では、電子機器１４は撮影機能と表示機能と通信機能を備えるスマートフォンとしたが、他の電子機器を用いた実施形態を図１４に示す。
図１４は、撮影機能と通信機能を備えるが、表示機能は備えない電子機器としてペン型カメラ４０２を用いる第３実施形態を示す。ペン型カメラ４０２の電気的な構成は図３に示したブロック回路図と略同じであるが、ＬＣＤ６４、グラフィクスコントローラ６２、タッチパネル７０を備えない点が異なる。ペン型カメラ４０２は無線又はケーブルによりタッチパネル機能を有する外部ディスプレイ４０４に接続されても良い。図１４の実施形態は表示部が電子機器とは別体であるだけで、第１、第２実施形態と動作は同じである。 In the first and second embodiments, the electronic device 14 is a smart phone having a photographing function, a display function, and a communication function, but FIG. 14 shows an embodiment using another electronic device.
FIG. 14 shows a third embodiment using a pen-type camera 402 as an electronic device that has a photographing function and a communication function but does not have a display function. The electrical configuration of the pen-type camera 402 is substantially the same as the block circuit diagram shown in FIG. The pen-type camera 402 may be connected wirelessly or by a cable to an external display 404 having a touch panel function. The operation of the embodiment of FIG. 14 is the same as that of the first and second embodiments, except that the display section is separate from the electronic device.

すなわち、先ず、図１４（ａ）に示すようにカタログ１２のページ全体あるいは一部をペン型カメラ４０２で撮影すると、カタログ１２が識別される。その後、図１４（ｂ）に示すように、購入したい商品の申込番号を画面の中央に位置するようにカタログ１２のページの一部をペン型カメラ４０２で撮影すると、商品が識別され、注文決定テキストが外部ディスプレイ４０４で表示される。注文確定のための暫定注文リストも外部ディスプレイ４０４で表示される。 That is, first, as shown in FIG. 14(a), the catalog 12 is identified by photographing all or part of the page of the catalog 12 with the pen-type camera 402. FIG. After that, as shown in FIG. 14(b), when a part of the page of the catalog 12 is photographed with the pen-type camera 402 so that the application number of the product to be purchased is positioned in the center of the screen, the product is identified and the order is determined. Text is displayed on the external display 404 . A preliminary order list for order confirmation is also displayed on the external display 404 .

なお、ペン型カメラ４０２はバイブレータ８０、スピーカ６０を備えるので、振動及び／又は音の発生により、カタログ識別完了、商品識別完了、アラート等の状況をユーザに伝えることができるので、外部ディスプレイ４０４は必須ではなく、ペン型カメラ４０２のみからなるシステムでも良い。ライブビュー画像が無いと、ペン型カメラ４０２の撮影範囲が判り難い場合があるが、全体を撮影する又は商品をアップで撮影する際のペン型カメラ４０２とカタログの距離が既知であるので、その距離に基づいて撮影範囲を認識することができる。 Since the pen-type camera 402 includes a vibrator 80 and a speaker 60, the user can be notified of the status of catalog identification completion, product identification completion, alerts, etc. by generating vibration and/or sound. It is not essential, and a system consisting only of the pen-shaped camera 402 may be used. If there is no live view image, it may be difficult to understand the shooting range of the pen-shaped camera 402. However, since the distance between the pen-shaped camera 402 and the catalog when shooting the entire product or taking a close-up image of the product is known, it is possible to The shooting range can be recognized based on the distance.

さらに、電子機器１４として、撮影機能と表示機能と通信機能を備えるメガネ型ウェアラブル機器を用いても良い。メガネ型ウェアラブル機器は、スマートフォンと形態・外観は異なるが、撮影機能、表示機能、通信機能を備えるので、上述の実施形態と動作は同じである。 Furthermore, as the electronic device 14, a glasses-type wearable device having a photographing function, a display function, and a communication function may be used. Although the glasses-type wearable device differs from the smart phone in form and appearance, it has a photographing function, a display function, and a communication function, and thus operates in the same manner as the above-described embodiment.

メガネ型ウェアラブル機器のハンズフリー機能を利用すると、上述した動作とは異なる動作も可能である。図１５～図１６を参照して、上述の商品識別とは異なる商品識別を実施する第４実施形態を説明する。
図１５（ａ）に示すように、電子機器としてメガネ型のウェアラブル機器４１２を用いても良い。メガネ型のウェアラブル機器４１２は、テンプルにカメラ４１４を備え、視線上に表示部４１６を備え、通信機能も有する。カメラ４１４は第１実施形態のカメラ７８と等価であり、表示部４１６は第１実施形態のＬＣＤ６４と等価である。第１実施形態と同様に、カメラ４１４を用いてカタログ１２のあるページの少なくとも一部のライブビュー画像を得て、カタログ１２を識別する。カタログ識別処理のフローチャートは図７に示す第１実施形態と同じである。 By using the hands-free function of the glasses-type wearable device, it is possible to perform operations different from those described above. 15 and 16, a fourth embodiment that implements product identification different from the product identification described above will be described.
As shown in FIG. 15A, a glasses-type wearable device 412 may be used as the electronic device. A glasses-type wearable device 412 has a camera 414 on the temple, a display unit 416 on the line of sight, and also has a communication function. The camera 414 is equivalent to the camera 78 of the first embodiment, and the display section 416 is equivalent to the LCD 64 of the first embodiment. Similar to the first embodiment, camera 414 is used to obtain a live view image of at least a portion of a page of catalog 12 to identify catalog 12 . The flowchart of catalog identification processing is the same as that of the first embodiment shown in FIG.

図１６のフローチャートを参照して第４実施形態の商品識別処理を説明する。ウェアラブル機器４１２を装着したユーザがカタログ１２を視野に入れるだけで、カメラ４１４はカタログ１２のライブビュー画像を出力する。第１実施形態と同様に、カメラ４１４を用いてカタログ１２のあるページの少なくとも一部のライブビュー画像を得て、カタログ１２を識別する。カタログ識別処理のフローチャートは図７に示す第１実施形態と同じである。 Product identification processing according to the fourth embodiment will be described with reference to the flowchart of FIG. The camera 414 outputs a live-view image of the catalog 12 simply by bringing the catalog 12 into view by the user wearing the wearable device 412 . Similar to the first embodiment, camera 414 is used to obtain a live view image of at least a portion of a page of catalog 12 to identify catalog 12 . The flowchart of catalog identification processing is the same as that of the first embodiment shown in FIG.

カタログ１２の識別が完了（図７のブロック１２２）すると、ブロック３０２で、システムコントローラ４２は、識別したカタログ画像を第１画像として主メモリ４４に書き込む。ブロック３０４で、システムコントローラ４２は、「購入したい商品を指差して下さい。」のような商品選択ガイダンステキストを表示部４１６で表示させる。ウェアラブル機器４１２がスピーカを備えている場合、システムコントローラ４２は、ブロック３０４で、テキスト表示に加えて又はテキスト表示に代えて、ガイダンスメッセージの合成音声をスピーカから出力させる、所定の電子音をスピーカから出力させても良い。 Once catalog 12 has been identified (block 122 of FIG. 7), at block 302 system controller 42 writes the identified catalog image to main memory 44 as the first image. At block 304, system controller 42 causes display 416 to display item selection guidance text, such as "Point to the item you wish to purchase." If the wearable device 412 is equipped with a speaker, the system controller 42 at block 304 outputs a predetermined electronic sound from the speaker that causes the speaker to output synthesized speech of the guidance message in addition to or instead of the text display. You can output it.

システム３０６で、システムコントローラ４２は、カタログ１２のライブビュー画像（第２画像）と主メモリ４４から読み出した第１画像とを比較する。
システムコントローラ４２は、システム３０６で、カタログ１２のライブビュー画像（第２画像）と主メモリ４４から読み出した第１画像とを比較し、システム３０８で、時間差のある第１画像と第２画像に差分があるか否か判定する。差分が無い場合、処理はブロック３０６に戻る。ブロック３０４で表示される商品選択ガイダンステキストに従って、図１５(ｂ)に示すように、購入したい商品をユーザが指２１８で指差すと、第１画像と第２画像に差分が生じる。 In system 306 , system controller 42 compares the live view image (second image) of catalog 12 with the first image read from main memory 44 .
The system controller 42 compares the live view image (second image) of the catalog 12 with the first image read from the main memory 44 in the system 306, and compares the first image and the second image with a time difference in the system 308. Determine whether or not there is a difference. If there are no differences, processing returns to block 306 . As shown in FIG. 15(b), when the user points the product to be purchased with the finger 218 according to the product selection guidance text displayed in block 304, a difference occurs between the first image and the second image.

第１画像と第２画像に差分がある場合、ブロック３１２で、システムコントローラ４２は、第２画像内の差分箇所に最も近い位置の申込番号を検索し、当該申込番号に対応する商品を暫定注文リスト２６Ａに追加する。
ブロック３１４で、システムコントローラ４２は、商品選択の確定、すなわち商品識別完了をユーザに知らせるために、申込番号の印刷領域の縁及びライブビュー画像の縁の枠の色を第２色（例えば、赤色）に変え、注文決定テキストと合計金額をＬＣＤ６４で表示させる。 If there is a difference between the first image and the second image, at block 312 the system controller 42 searches for the order number closest to the difference in the second image and places a provisional order for the product corresponding to that order number. Add to list 26A.
At block 314, the system controller 42 changes the border color of the border of the print area for the order number and the border of the live view image to a second color (e.g., red ) to display the order determination text and the total amount on the LCD 64 .

ブロック３１６で、システムコントローラ４２は、カメラ７８がカタログ１２から１０ｃｍより離れたかを判定する。一旦カメラ７８がカタログ１２から離れた後は、処理はブロック３０６に戻り、上述の商品識別処理が繰り返され、他の商品が選択される。なお、同じ商品を２個以上注文したい場合は、上述した商品識別処理が同じ商品に関して繰り返されれば良い。カメラ７８がカタログ１２から１０ｃｍより離れない場合、処理は終了する。 At block 316 , system controller 42 determines if camera 78 is further than 10 cm from catalog 12 . Once the camera 78 leaves the catalog 12, the process returns to block 306 and the item identification process described above is repeated to select another item. If two or more of the same item are to be ordered, the above-described item identification process may be repeated for the same item. If camera 78 is no more than 10 cm away from catalog 12, the process ends.

図１７は、ウェアラブル機器４１２を利用する第５実施形態の商品識別処理を説明するための図である。図１７（ａ）はカタログ識別処理を示す図であり、カタログ識別処理は、図１７（ａ）に示す第４実施形態と同じである。第４実施形態の商品識別処理は、ブロック３０８に示すように、時間差のある第１画像と第２画像に差分が検出されるまで、商品を指差している必要がある。第５実施形態は、指差しの代わりに、図１７（ｂ）に示すように、カタログ１２上の購入したい商品をサインペン等で印（形状・大きさ・色は何でも良い）をつけることが要求される。印は単一の商品に限らず、複数の商品につけても良い。印をつける間、ユーザはウェアラブル機器４１２を装着していても、装着していなくても良い。 17A and 17B are diagrams for explaining product identification processing of the fifth embodiment using the wearable device 412. FIG. FIG. 17(a) is a diagram showing catalog identification processing, and the catalog identification processing is the same as in the fourth embodiment shown in FIG. 17(a). The product identification process of the fourth embodiment requires pointing to the product until a difference is detected between the first and second images with a time difference, as shown in block 308 . In the fifth embodiment, instead of pointing, as shown in FIG. 17(b), it is required to mark the desired product on the catalog 12 with a felt-tip pen or the like (any shape, size, or color). be done. A mark may be attached not only to a single item but also to a plurality of items. The user may or may not be wearing the wearable device 412 while marking.

図１７（ｃ）に示すように、購入したい商品にサインペン等で印がつけられたカタログ１２をカメラ４１４の視野に入れると、第４実施形態と同様に、サインペン等で印がつけられる前のカタログ識別時のカタログの第１画像と、印がつけられた後のカタログの第２画像との差分に基づいて商品が選択される。第５実施形態では、複数の商品が同時に選択されることも可能である。 As shown in FIG. 17(c), when the catalog 12 in which the products to be purchased are marked with a felt-tip pen or the like is brought into the field of view of the camera 414, the catalog 12 before marking with a felt-tip pen or the like is displayed in the same manner as in the fourth embodiment. Items are selected based on the difference between the first image of the catalog during catalog identification and the second image of the catalog after it has been marked. In the fifth embodiment, multiple products can be selected at the same time.

なお、第５実施形態はメガネ型ウェアラブル機器に限らず、スマートフォン、ペン型カメラ等の電子機器を用いても実現可能である。
上述の実施形態では、ユーザが電子機器を用いて紙媒体であるカタログのあるページの少なくとも一部の画像情報を電子機器に取り込みカタログを識別し、次に、ユーザが電子機器を用いてそのページ内の購入したい商品を再び撮影して商品を識別する。しかし、再撮影は紙媒体のカタログを対象とするのではなく、電子機器が取り込んだ画像情報をユーザがディスプレイに表示させ、画面上のカタログ画像内の購入したい商品を撮影して商品を識別するように構成しても良い。さらに、カタログを識別するためにユーザが電子機器を用いて紙媒体であるカタログを撮影する代わりに、販売者がカタログの画像情報をユーザに提供し、ディスプレイに表示されたカタログ画像をユーザが撮影しても良い。 Note that the fifth embodiment is not limited to the glasses-type wearable device, and can be implemented using electronic devices such as smartphones and pen-type cameras.
In the above-described embodiments, the user uses an electronic device to capture at least a part of the image information of a page of the catalog, which is a paper medium, into the electronic device to identify the catalog, and then the user uses the electronic device to Identify the product by photographing the product you want to purchase again. However, re-shooting does not target paper catalogs, but allows the user to display the image information captured by the electronic device on the display, photograph the product that the user wants to purchase in the catalog image on the screen, and identify the product. It may be configured as follows. Furthermore, in order to identify the catalog, instead of the user using an electronic device to photograph the catalog, which is a paper medium, the seller provides the user with image information of the catalog, and the user photographs the catalog image displayed on the display. You can

本実施形態による処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。 Since the processing according to this embodiment can be realized by a computer program, the same effects as those of this embodiment can be obtained simply by installing and executing this computer program in a computer through a computer-readable storage medium storing this computer program. can be easily realized.

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 It should be noted that the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying constituent elements without departing from the scope of the present invention at the implementation stage. Also, various inventions can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components may be omitted from all components shown in the embodiments. Furthermore, constituent elements of different embodiments may be combined as appropriate.

１２…カタログ、１４…電子機器、１６…ネットワーク、１８…カタログサーバ、２０…注文サーバ、２２…第１辞書データ（特徴情報）、２４…第２辞書データ（商品情報）、２６…注文リスト。 12 Catalog, 14 Electronic equipment, 16 Network, 18 Catalog server, 20 Order server, 22 First dictionary data (feature information), 24 Second dictionary data (product information), 26 Order list.

Claims (17)

カメラと、
前記カメラから出力された、複数の商品情報が掲載されている第１紙媒体の少なくとも一部に関する第１撮影信号に基づいて前記第１紙媒体を識別し、前記カメラから出力された、前記複数の商品情報の中の第１商品情報を少なくとも含む前記第１紙媒体内の一領域に関する第２撮影信号に基づいて前記第１商品情報を識別する識別手段と、
前記第１撮影信号又は前記第２撮影信号に基づいて前記第１紙媒体の画像を表示し、前記画像内で前記複数の商品情報を第１表示態様で表示する表示部と、を具備し、
前記識別手段は、
前記カメラと前記第１紙媒体との距離が所定値以下であり、かつ、前記第２撮影信号に含まれる前記第１商品情報の位置が前記第２撮影信号に対応する前記表示部の画面の中央である第１状態で所定時間が経過した場合、前記第１商品情報を選択し、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加し、
前記所定時間が経過する前に前記カメラが前記第１紙媒体から前記所定値より離れた場合、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することなく、前記第１状態で前記所定時間が経過するか否かを判定し直す電子機器。 camera and
The first paper medium is identified based on a first photographing signal relating to at least a part of the first paper medium on which a plurality of pieces of product information are printed, which is output from the camera, and the plurality of product information is output from the camera. identification means for identifying the first product information based on a second photographing signal related to one area in the first paper medium containing at least the first product information in the product information;
a display unit that displays an image of the first paper medium based on the first imaging signal or the second imaging signal, and displays the plurality of product information in the image in a first display mode ,
The identification means is
The distance between the camera and the first paper medium is equal to or less than a predetermined value, and the position of the first product information included in the second photographing signal corresponds to the second photographing signal. when a predetermined time has passed in the first state, which is the center, selecting the first product information, adding the product corresponding to the first product information in the center of the screen of the display unit to the provisional order list;
Adding the product corresponding to the first product information in the center of the screen of the display unit to a provisional order list when the camera is separated from the first paper medium by the predetermined value before the predetermined time elapses. An electronic device that re-determines whether or not the predetermined time has passed in the first state . 前記識別手段は、複数の商品情報が掲載されている複数の第２紙媒体の夫々の第２特徴情報を記憶する第１メモリを具備し、
前記識別手段は、前記第１撮影信号から前記第１紙媒体の第１特徴情報を求め、前記第１特徴情報と前記第１メモリから読み出された前記複数の第２紙媒体の前記第２特徴情報とのパターンマッチングにより、前記複数の第２紙媒体の中で前記第１紙媒体に一致する１つの第２紙媒体を決定する請求項１記載の電子機器。 The identification means comprises a first memory for storing second characteristic information of each of a plurality of second paper media on which a plurality of product information are printed,
The identifying means obtains the first characteristic information of the first paper medium from the first photographing signal, and the first characteristic information and the second characteristic information of the plurality of second paper media read from the first memory. 2. The electronic device according to claim 1, wherein one of the plurality of second paper media that matches the first paper medium is determined by pattern matching with characteristic information. 前記識別手段は、前記複数の第２紙媒体の夫々に掲載されている前記複数の商品情報の位置情報を記憶する第２メモリを具備し、
前記識別手段は、前記第２撮影信号に含まれる前記第１商品情報の位置と、前記第２メモリに記憶されている前記複数の第２紙媒体の中で前記第１紙媒体に一致する１つの第２紙媒体の前記複数の商品情報の位置情報とに基づき、前記第１商品情報を識別する請求項２記載の電子機器。 The identification means comprises a second memory for storing position information of the plurality of product information posted on each of the plurality of second paper media,
The identification means identifies the position of the first product information included in the second photographing signal and one of the plurality of second paper media stored in the second memory that matches the first paper medium. 3. The electronic device according to claim 2 , wherein the first product information is identified based on location information of the plurality of product information on one second paper medium. 前記識別手段が識別した前記第１商品情報に関する第１商品をユーザに知らせる第１報知手段をさらに具備する請求項１乃至請求項３のいずれか一項記載の電子機器。 4. The electronic device according to any one of claims 1 to 3 , further comprising a first notification means for notifying the user of the first product related to the first product information identified by the identification means. 前記第１報知手段は、テキストを表示する手段、音を発する手段又は振動手段を具備する請求項４記載の電子機器。 5. The electronic device according to claim 4 , wherein said first notification means comprises means for displaying text, means for emitting sound, or means for vibrating. 前記識別手段が前記第１紙媒体の識別に成功した場合、識別成功を前記ユーザに知らせる第２報知手段をさらに具備する請求項４記載の電子機器。 5. The electronic equipment according to claim 4 , further comprising: second notification means for notifying said user of successful identification when said identification means succeeds in identifying said first paper medium. 前記第２報知手段は、テキストを表示する手段、音を出力する手段又は振動手段を具備する請求項６記載の電子機器。 7. The electronic device according to claim 6 , wherein said second notification means comprises means for displaying text, means for outputting sound, or means for vibrating. 前記識別手段は、前記第１紙媒体の少なくとも一部に関する前記第１撮影信号に基づく前記第１紙媒体の識別に失敗した場合、前記カメラから出力された新たな第１撮影信号に基づいて、前記第１紙媒体の識別を繰り返す請求項１乃至請求７のいずれか一記載の電子機器。 When the identifying means fails to identify the first paper medium based on the first imaging signal related to at least a part of the first paper medium, the identification means, based on a new first imaging signal output from the camera, 8. The electronic device according to any one of claims 1 to 7 , wherein the identification of the first paper medium is repeated. 前記第１紙媒体は、
異なる発行日を有し、夫々が複数ページからなる複数のカタログ、
異なる発行日を有し、夫々が表裏２ページからなる複数のチラシ、
異なる発行日を有し、夫々が単一ページからなる複数のチラシ、の少なくとも１つを含む請求項１乃至請求項８のいずれか一項記載の電子機器。 The first paper medium is
multiple catalogs with different publication dates, each consisting of multiple pages;
a plurality of flyers with different publication dates, each consisting of two pages, front and back;
9. The electronic device of any one of claims 1 to 8 , comprising at least one of a plurality of single-page flyers having different publication dates. 前記複数の商品情報は夫々対応する複数の商品を識別する複数の商品番号を含み、
前記複数の商品番号は前記第１紙媒体内の予め決められている位置に印刷されている請求項９記載の電子機器。 the plurality of product information includes a plurality of product numbers identifying corresponding products,
10. The electronic device according to claim 9 , wherein the plurality of product numbers are printed at predetermined positions within the first paper medium. 前記複数の商品情報は前記複数の商品の写真、名称及び価格をさらに含み、
前記複数の商品の写真、名称及び価格は前記第１紙媒体内の予め決められている位置に印刷されている請求項１０記載の電子機器。 the plurality of product information further includes photos, names and prices of the plurality of products;
11. The electronic device according to claim 10 , wherein the photographs, names and prices of the plurality of products are printed at predetermined positions within the first paper medium. 前記表示部は、前記第１紙媒体が識別されると、前記第１紙媒体の画像及び前記複数の商品番号を枠で囲まれた第２表示態様で表示する請求項１１記載の電子機器。 12. The electronic device according to claim 11 , wherein when the first paper medium is identified, the display unit displays the image of the first paper medium and the plurality of product numbers in a framed second display mode. 前記表示部は、前記第１商品情報が識別されると、前記第１商品情報の商品番号を第３表示態様で表示する請求項１１記載の電子機器。 12. The electronic device according to claim 11 , wherein when the first product information is identified, the display unit displays the product number of the first product information in a third display mode. 前記第３表示態様は、前記第１商品情報の商品番号を特定色の枠で囲まれた状態で表示するものである請求項１３記載の電子機器。 14. The electronic device according to claim 13 , wherein the third display mode displays the product number of the first product information surrounded by a frame of a specific color. 前記表示部は、前記第１商品情報が識別されると、前記第１商品情報の商品名と個数と合計金額をさらに表示する請求項１４記載の電子機器。 15. The electronic device according to claim 14 , wherein when the first product information is identified, the display unit further displays the product name, quantity, and total price of the first product information. カメラにより複数の商品情報が掲載されている第１紙媒体の少なくとも一部を撮影して得られた第１撮影信号に基づいて、コンピュータが、前記第１紙媒体を識別することと、
前記コンピュータが、前記複数の商品情報の中の第１商品情報を少なくとも含む前記第１紙媒体内の一領域を撮影して得られた第２撮影信号に基づいて前記第１商品情報を識別することと、
前記コンピュータが、前記第１撮影信号又は前記第２撮影信号に基づいて前記第１紙媒体の画像を表示部において表示させ、前記画像内で前記複数の商品情報を第１表示態様で表示部により表示させることと、
前記カメラと前記第１紙媒体との距離が所定値以下であり、かつ、前記第２撮影信号に含まれる前記第１商品情報の位置が前記第２撮影信号に対応する前記表示部の画面の中央である第１状態で所定時間が経過した場合、前記コンピュータが、前記第１商品情報を選択し、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することと、
前記所定時間が経過する前に前記カメラが前記第１紙媒体から前記所定値より離れた場合、前記コンピュータが、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することなく、前記第１状態で前記所定時間が経過するか否かを判定し直すことと、を具備する商品識別方法。 a computer identifying the first paper medium based on a first photographed signal obtained by photographing at least a portion of the first paper medium on which a plurality of product information are posted by a camera ;
The computer identifies the first product information based on a second photographing signal obtained by photographing an area in the first paper medium containing at least the first product information among the plurality of product information. and
The computer causes a display unit to display an image of the first paper medium based on the first imaging signal or the second imaging signal, and the display unit displays the plurality of product information in the image in a first display mode. to display;
The distance between the camera and the first paper medium is equal to or less than a predetermined value, and the position of the first product information included in the second photographing signal corresponds to the second photographing signal. When a predetermined time has elapsed in the first state, which is the center, the computer selects the first product information and adds the product corresponding to the first product information in the center of the screen of the display unit to the provisional order list. and
If the camera moves away from the first paper medium by more than the predetermined value before the predetermined time elapses, the computer displays the product corresponding to the first product information in the center of the screen of the display section in the provisional order list. re-determining whether the predetermined time has elapsed in the first state without adding to the first state . コンピュータにより実行されるプログラムであって、前記プログラムは前記コンピュータに、
カメラにより複数の商品情報が掲載されている第１紙媒体の少なくとも一部を撮影して得られた第１撮影信号に基づいて前記第１紙媒体を識別することと、
前記複数の商品情報の中の第１商品情報を少なくとも含む前記第１紙媒体内の一領域を撮影して得られた第２撮影信号に基づいて前記第１商品情報を識別することと、
表示部において、前記第１撮影信号又は前記第２撮影信号に基づいて前記第１紙媒体の画像を表示させ、前記画像内で前記複数の商品情報を第１表示態様で表示させることと、
前記カメラと前記第１紙媒体との距離が所定値以下であり、かつ、前記第２撮影信号に含まれる前記第１商品情報の位置が前記第２撮影信号に対応する前記表示部の画面の中央である第１状態で所定時間が経過した場合、前記第１商品情報を選択し、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することと、
前記所定時間が経過する前に前記カメラが前記第１紙媒体から前記所定値より離れた場合、前記表示部の画面の中央の前記第１商品情報に対応する商品を暫定注文リストに追加することなく、前記第１状態で前記所定時間が経過するか否かを判定し直すことと、を実行させるためのプログラム。 A program executed by a computer, said program causing said computer to:
Identifying the first paper medium based on a first photographed signal obtained by photographing at least a part of the first paper medium on which a plurality of product information are posted with a camera ;
Identifying the first product information based on a second photographed signal obtained by photographing an area in the first paper medium containing at least the first product information among the plurality of product information;
displaying an image of the first paper medium on the display unit based on the first imaging signal or the second imaging signal, and displaying the plurality of product information in the image in a first display mode;
The distance between the camera and the first paper medium is equal to or less than a predetermined value, and the position of the first product information included in the second photographing signal corresponds to the second photographing signal. selecting the first product information and adding the product corresponding to the first product information in the center of the screen of the display unit to a provisional order list when a predetermined time has passed in the first state, which is the center;
Adding the product corresponding to the first product information in the center of the screen of the display unit to a provisional order list when the camera is separated from the first paper medium by the predetermined value before the predetermined time elapses. and re-determining whether or not the predetermined time has passed in the first state .
JP2018133297A 2018-07-13 2018-07-13 ELECTRONIC DEVICE, PRODUCT IDENTIFICATION METHOD AND PROGRAM Active JP7199858B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018133297A JP7199858B2 (en) 2018-07-13 2018-07-13 ELECTRONIC DEVICE, PRODUCT IDENTIFICATION METHOD AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018133297A JP7199858B2 (en) 2018-07-13 2018-07-13 ELECTRONIC DEVICE, PRODUCT IDENTIFICATION METHOD AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2020013205A JP2020013205A (en) 2020-01-23
JP7199858B2 true JP7199858B2 (en) 2023-01-06

Family

ID=69170593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018133297A Active JP7199858B2 (en) 2018-07-13 2018-07-13 ELECTRONIC DEVICE, PRODUCT IDENTIFICATION METHOD AND PROGRAM

Country Status (1)

Country Link
JP (1) JP7199858B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264891A (en) 2006-03-28 2007-10-11 Dainippon Printing Co Ltd Supporting device for creating work of flyers/catalogs
JP2013235478A (en) 2012-05-10 2013-11-21 Net Move Corp Computer program and portable information terminal
JP2017041216A (en) 2015-08-18 2017-02-23 健一 今江 Selection information input system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264891A (en) 2006-03-28 2007-10-11 Dainippon Printing Co Ltd Supporting device for creating work of flyers/catalogs
JP2013235478A (en) 2012-05-10 2013-11-21 Net Move Corp Computer program and portable information terminal
JP2017041216A (en) 2015-08-18 2017-02-23 健一 今江 Selection information input system

Also Published As

Publication number Publication date
JP2020013205A (en) 2020-01-23

Similar Documents

Publication Publication Date Title
US10210659B2 (en) Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
JP7217357B2 (en) Mini-program data binding method, apparatus, device and computer program
US20090219248A1 (en) Electronic device capable of showing page flip effect and method thereof
CN112416485A (en) Information guiding method, device, terminal and storage medium
JPWO2014017393A1 (en) Information processing apparatus, data processing method thereof, and program
CN112230914A (en) Method and device for producing small program, terminal and storage medium
CN111522614A (en) Method and device for displaying image editing information, computer equipment and storage medium
US20150095784A1 (en) Display control apparatus, display control system, a method of controlling display, and program
US11087390B1 (en) Method and system for displaying items provided by a merchant
KR101638327B1 (en) Manufacturing system for e-book using a smart phone
WO2014027433A1 (en) Information provision device, information provision method, and program
CN112416486A (en) Information guiding method, device, terminal and storage medium
JP7199858B2 (en) ELECTRONIC DEVICE, PRODUCT IDENTIFICATION METHOD AND PROGRAM
JP2014235561A (en) Image processing program, image processor and image processing system
JP6340124B1 (en) Photo production system, sales system, photo production apparatus and program
CN113034213B (en) Cartoon content display method, device, equipment and readable storage medium
JP2014092949A (en) Label presentation system
CN112702524A (en) Image generation method and device and electronic equipment
JP2016062607A (en) Information processing system, control method thereof, program, information processing apparatus, control method thereof, and program
JP6829391B2 (en) Information processing equipment, information distribution method, and information distribution program
JP5842199B1 (en) Information providing method and sales method of interchangeable lens
JP2016095620A (en) Display device, server device, display system and control method thereof, control program, and storage medium
US20130054425A1 (en) Web-based system permitting a customer to shop online for clothes with their own picture
JP6355256B2 (en) Menu screen construction device, menu processing device, menu screen production method, menu processing method, and program
JPH09218769A (en) Electronic catalog device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20181207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221221

R150 Certificate of patent or registration of utility model

Ref document number: 7199858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150