WO2017138592A1 - 商品データ登録端末、商品データ登録方法および商品データ登録プログラム - Google Patents

商品データ登録端末、商品データ登録方法および商品データ登録プログラム Download PDF

Info

Publication number
WO2017138592A1
WO2017138592A1 PCT/JP2017/004671 JP2017004671W WO2017138592A1 WO 2017138592 A1 WO2017138592 A1 WO 2017138592A1 JP 2017004671 W JP2017004671 W JP 2017004671W WO 2017138592 A1 WO2017138592 A1 WO 2017138592A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
menu
product name
frame
Prior art date
Application number
PCT/JP2017/004671
Other languages
English (en)
French (fr)
Inventor
史貴 菊川
雄一郎 鹿毛
晃平 西條
一寿 若林
Original Assignee
株式会社リクルートホールディングス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リクルートホールディングス filed Critical 株式会社リクルートホールディングス
Priority to EP17750313.3A priority Critical patent/EP3416143A4/en
Priority to CN201780010268.5A priority patent/CN109074705A/zh
Publication of WO2017138592A1 publication Critical patent/WO2017138592A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present invention relates to a product data registration terminal, a product data registration method, and a product data registration program.
  • Patent Document 1 discloses a system that performs accounting processing using a cash register terminal installed in a restaurant.
  • a product data registration terminal includes a unit for displaying an image including a product name and a charge, and a frame for designating a range for character recognition in the image according to a user operation on the image.
  • the display means may include an input field provided in the registration screen area in accordance with the number of lines of the converted text data.
  • the image may be a menu image.
  • a terminal operated by a user displays an image including a product name and a charge, and specifies a range for character recognition in the image according to the user's operation.
  • Displaying a frame on the image receiving an operation for designating whether the content in the frame corresponds to a product name or a fee, and pattern recognition of the content designated by the accepted operation.
  • the step of converting the recognition target included in the image in the frame into text data using character recognition processing specialized for the above, and the designation among the input fields provided in the registration screen area for registering product data A step for inputting and displaying the converted text data in an input field provided in correspondence with the content, and a step for providing in the registration screen area. Based on data input to the input field being, comprising the steps of registering the product data including product name data and fee data in the storage unit.
  • the product data registration program includes a computer for displaying an image including a product name and a charge, and a frame for designating a range for character recognition in the image according to a user operation.
  • FIG. 1 It is a figure which illustrates the composition of the merchandise management system containing the store terminal in an embodiment. It is a figure which illustrates the structure of the shop terminal shown in FIG. It is a figure which shows an example of the menu registration screen displayed on the screen of a shop terminal. It is a figure which shows an example of the menu registration screen displayed on the screen of a shop terminal. It is a figure which shows an example of the menu registration screen displayed on the screen of a shop terminal. It is a figure which shows an example of the menu registration screen displayed on the screen of a shop terminal. It is a figure which shows an example of the menu registration screen displayed on the screen of a shop terminal. It is a figure which shows an example of the menu registration screen displayed on the screen of a shop terminal. It is a figure which shows an example of the menu registration screen displayed on the screen of a shop terminal. It is a flowchart for demonstrating the process sequence at the time of registering menu data with a shop terminal.
  • FIG. 1 is a schematic view illustrating the configuration of a product management system including a store terminal (product data registration terminal) according to an embodiment of the present invention.
  • the merchandise management system 1 includes one or a plurality of store terminals 2 and a management server 3.
  • the store terminal 2 and the management server 3 are configured to be able to communicate with each other via the network N.
  • each store terminal 2 is introduced into each store of the restaurant.
  • One or a plurality of store terminals 2 may be provided for each store.
  • a store clerk registers a product name and a charge included in the menu of the store as menu data (product data) in the store terminal 2 using a menu registration function described later.
  • the store terminal 2 uses, for example, the registered menu data to register the order reception process for registering the order contents from the customer who visited the store, and the accounting process (for example, sales registration). Processing and receipt issue processing).
  • Each data registered in the store terminal 2 is appropriately transmitted to the management server 3 and managed in a state where the store ID and the like are given in the management server 3.
  • a tablet terminal is assumed as the store terminal 2.
  • the store terminal 2 is not limited to this, and for example, a notebook PC (personal computer), a smartphone, a mobile phone, a personal digital assistant (PDA), and other terminal devices can be used as the store terminal 2 as appropriate.
  • a notebook PC personal computer
  • smartphone a smartphone
  • mobile phone a personal digital assistant (PDA)
  • PDA personal digital assistant
  • the management server 3 is configured by, for example, a computer having high arithmetic processing capability, and a server function is realized by a predetermined server program operating on the computer.
  • the computer which comprises the management server 3 does not necessarily need to be one unit
  • the network N includes a communication network capable of transmitting and receiving information between the store terminal 2 and the management server 3.
  • the network N is, for example, the Internet, a LAN, a dedicated line, a telephone line, a corporate network, a mobile communication network, Bluetooth (registered trademark), WiFi (Wireless Fidelity), other communication lines, or a combination thereof. It does not matter whether it is wired or wireless.
  • FIG. 2 is a block diagram schematically showing the configuration of the store terminal 2.
  • the store terminal 2 includes, for example, a processor 21, a communication interface 22, an input device 23, a display device 24, and a storage resource 25.
  • the processor 21 includes an arithmetic logic unit and various registers (a program counter, a data register, an instruction register, a general-purpose register, etc.), and executes a program 250 stored in the storage resource 25, whereby a menu registration function to be described later Various functions such as are realized.
  • the program 250 there is a menu registration application program (product data registration program; hereinafter also referred to as “menu registration application”) installed in the store terminal 2.
  • the application program is downloaded from the management server 3 through the network N and installed in the store terminal 2.
  • the communication interface 22 provides a connection interface with the management server 3 and includes a wireless communication interface or a wired communication interface.
  • the input device 23 provides an interface for accepting an input operation from a user, and examples thereof include a touch panel, a keyboard, a mouse, and the like.
  • the display device 24 provides an image display interface such as a menu registration screen described later to the user, and examples thereof include an organic EL display, a liquid crystal display, and a CRT display. In this embodiment, as the input device 23 and the display device 24, a display with a touch panel is used as an example.
  • Storage resource 25 is, for example, a logical device provided by a storage area of a physical device.
  • the physical device is a computer-readable recording medium such as a disk drive or a semiconductor memory.
  • the storage resource 25 stores an operating system program, a driver program, various data, and the like.
  • the driver program include an input device driver program for controlling the input device 23, an output device driver program for controlling the display device 24, and the like.
  • the various data include menu data including product name data and fee data.
  • the menu data is stored in, for example, the menu information DB 252.
  • the program 250 in this embodiment has a menu registration processing module 251 as an example.
  • the menu registration processing module 251 is executed to develop a menu registration function.
  • An example of the procedure for registering menu data using the menu registration function will be described with reference to FIGS.
  • FIG. 9 is a flowchart illustrating a basic processing flow in the store terminal 2 when registering menu data.
  • FIGS. 3 to 8 are diagrams illustrating examples of display screens in the store terminal 2 at that time. is there.
  • the menu registration processing module 251 of the store terminal 2 displays the menu registration screen (registration screen area) shown in FIG. 24S is displayed on the display 24 (step S101).
  • the activation request for the menu registration application is made by, for example, tapping (selecting) an icon displayed on the display 24 of the store terminal 2.
  • the menu registration processing module 251 displays the menu image selection screen 241 shown in FIG. 3 as the menu registration screen 24S.
  • a pop-up is displayed above (step S102).
  • the menu image is an image obtained by photographing a menu for displaying product names and charges.
  • the display request for the screen for selecting the menu image is made, for example, by tapping the button 24a for displaying the menu image.
  • the menu registration processing module 251 displays the selected menu image 24c in the image display area of the menu registration screen 24S as shown in FIG. (Step S103).
  • the menu image selection request is made, for example, by selecting the file name 241a corresponding to the desired menu image 24c on the menu image selection screen 241 shown in FIG. 3 and tapping the open button 241b.
  • the menu registration processing module 251 displays a frame 24f that defines the specified range as shown in FIG. It is displayed on the menu image 24c (step S104).
  • the range that contains the product name for example, trace the image to make the frame appear, and use the size change function provided on the frame (drag etc.) to adjust the size of the frame To do.
  • the menu registration processing module 251 displays action buttons 24g and 24h for selecting either product names or charges below the frame 24f, as shown in FIG. Is displayed on the side (step S105). Whether or not the setting of the frame 24f has been completed may be determined based on, for example, whether or not the finger is removed from the display 24.
  • the action buttons 24g and 24h are buttons for instructing the module to execute processing according to the selected content.
  • the menu registration processing module 251 selects the recognition target included in the image in the frame 24f as the product name pattern. Character recognition is performed line by line using character recognition processing specialized for recognition, and converted into text data (step S106).
  • the content of the character recognition process is not particularly limited, and for example, an image recognition system application represented by a general OCR (Optical Character Reader) technology can be applied. Further, a so-called deep learning technique used for data learning can be applied instead of the OCR technique. Character recognition including such deep learning technology can be configured including, for example, steps of image processing, machine learning, and language processing (recognition result correction).
  • the menu registration processing module 251 sequentially inputs and displays the text data converted in step S106 in each product name column 24d of the menu registration screen 24S shown in FIG. 6 (step S107).
  • the product name column 24d provided on the menu registration screen 24S is added according to the number of lines of converted text data.
  • a delete button on the same line as the product name field 24d is displayed.
  • tapping 24ia or the like it is possible to delete the entire row corresponding to the delete button 24ia (see FIG. 7).
  • the contents of the product name column 24d can be arbitrarily changed by the user.
  • the menu registration processing module 251 displays a frame 24j defining the specified range as shown in FIG. It is displayed on the image 24c (step S108).
  • the range including the fee is specified in the same manner as the above-described range including the product name.
  • the menu registration processing module 251 displays action buttons 24g and 24h for selecting either a product name or a charge below the frame 24j as shown in FIG. Is displayed on the side (step S109). Whether or not the setting of the frame 24j is completed is performed in the same manner as the determination of whether or not the setting of the frame 24f is completed.
  • the menu registration processing module 251 uses the recognition target included in the image in the frame 24j to recognize the charge pattern. Characters are recognized line by line using specialized character recognition processing and converted to text data (step S110).
  • the menu registration processing module 251 sequentially inputs and displays the text data converted in step S110 in each fee column 24e of the menu registration screen 24S shown in FIG. 8 (step S111).
  • the menu registration processing module 251 is based on the data input to the product name field 24d and the charge field 24e provided on the menu registration screen 24S.
  • Menu data is registered in the menu information DB 252 (step S112).
  • the menu data registration request is made, for example, by tapping the registration button 24b provided on the menu registration screen 24S shown in FIG.
  • the menu image 24c including the product name and the charge is displayed, and the frames 24f and 24j for designating the range for character recognition in the menu image 24c are displayed on the user's screen.
  • the operation it is displayed on the image 24c, and an operation for designating whether the content in the frame corresponds to the product name or the charge can be accepted.
  • the character recognition processing specialized in pattern recognition of the content specified by the accepted operation is used to convert the recognition target included in the image in the frame into text data, and an input field 24d provided on the menu registration screen 24S. 24e, converted text data can be input and displayed in an input field provided corresponding to the designated content.
  • menu data including product name data and fee data can be registered in the menu information DB 252 based on data input to the input fields 24d and 24e of the menu registration screen 24S.
  • the labor at the time of registering the menu data can be reduced, so that the introduction of the system using the store terminal 2 can be promoted.
  • the present invention is characterized in that it has been made with attention to the following matters.
  • Menus product price lists
  • the character used for goods can be narrowed down to some extent by the kind of restaurant etc., for example, and it can narrow down to a number regarding a charge. Therefore, when the character recognition target is the product name, the recognition rate of the product name can be improved by performing the character recognition process using the character pattern used for the product name.
  • the object of character recognition is a charge
  • the charge recognition rate can be improved by performing character recognition processing using a numeric pattern used for the charge.
  • the present invention allows the content in the frame 24f to be selected and specified as the product name.
  • the recognition target included in the image in the frame 24f is character-recognized for each line using character recognition processing specialized for product name pattern recognition, and converted to text data.
  • the recognition included in the image in the frame 24j is made by selecting and specifying that the content in the frame 24j is a fee. Characters are recognized on a line-by-line basis using character recognition processing specialized for fee pattern recognition, and converted into text data.
  • the invention of the present application has these character recognition functions, thereby making it possible to reduce labor when registering menu data.
  • the present invention is based on the fact that the rate of character recognition using a number pattern tends to be higher than the recognition rate,
  • the rate of character recognition using a number pattern tends to be higher than the recognition rate
  • the delete button 24ia on the same line as the product name column 24da is displayed.
  • the order of character recognition is not limited to the order in which the product name is recognized first, and the fee is recognized later, but the charge is recognized first and the product name is recognized later. Good. This is because, depending on the recognition rate of the product name, it is possible to reduce the possibility of adding the product name column 24da of the product not included in the menu.
  • the present invention is not limited to the above-described embodiment, and can be implemented in various other forms without departing from the gist of the present invention. For this reason, the said embodiment is only a mere illustration in all points, and is not interpreted limitedly. For example, the above-described processing steps can be arbitrarily changed in order as long as the processing contents do not contradict each other, or can be executed in parallel.
  • the menu image used for menu registration is selected from the stored images.
  • the present invention is not limited to this.
  • an image taken using a camera mounted on the store terminal 2 may be used as a menu image.
  • the present invention is not limited to this, and the present invention is applied to the case of registering the product data including the product name and the fee. Can do.
  • the program in the embodiment is downloaded through various recording media (computer-readable recording media) such as an optical disk such as a CD-ROM, a magnetic disk, and a semiconductor memory, or via a communication network. Can be installed or loaded.
  • recording media computer-readable recording media
  • an optical disk such as a CD-ROM, a magnetic disk, and a semiconductor memory
  • the product data registration terminal, the product data registration method, and the product data registration program according to the present invention are suitable for reducing labor when registering product data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

メニューデータを登録する際の労力を軽減する。商品名および料金を含むメニュー画像を表示し、ユーザの操作に従って、メニュー画像において文字認識をする範囲を指定するための枠を画像上に表示し、その枠内の内容が商品名または料金のいずれに該当するのかを指定する操作を受け付け、その受け付けた操作により指定された内容のパターン認識に特化した文字認識処理を利用して枠内の画像に含まれる認識対象をテキストデータに変換し、メニュー登録画面に設けられる入力欄のうち、指定された内容に対応して設けられる入力欄に、変換されたテキストデータを入力して表示し、メニュー登録画面の入力欄に入力されたデータに基づいて、商品名データおよび料金データを含むメニューデータをメニュー情報ＤＢに登録する。

Description

商品データ登録端末、商品データ登録方法および商品データ登録プログラム 関連出願の相互参照
　本出願は、２０１６年２月９日に出願された日本出願番号（特願）２０１６－０２２９３５号に基づくもので、ここにその記載内容を援用する。
　本発明は、商品データ登録端末、商品データ登録方法および商品データ登録プログラムに関する。
　下記特許文献１には、飲食店に設置したレジ端末を利用して会計処理を行うシステムが開示されている。
特開２０１３－１３７６５７号公報
　飲食店で提供される商品やその料金は店舗ごとに異なるのが一般的である。したがって、特許文献１のように店舗ごとにレジ端末を設置して利用する場合には、店舗ごとのメニューデータ（商品データ）を各レジ端末に事前に登録する作業が必要になる。レジ端末にメニューデータを登録する場合には、登録担当者が店舗ごとのメニューを見ながら、商品ごとに登録することになる。つまり、システムを利用する前に、商品および料金を入力して登録する作業が、商品数分繰り返し発生することとなり、労力を要することとなる。このような事前作業が存在すると、システムを導入する際の足かせになりかねない。
　本発明は、上述した課題を解決するためになされたものであり、商品データを登録する際の労力を軽減することができる商品データ登録端末、商品データ登録方法および商品データ登録プログラムを提供することを目的の一つとする。
　本発明の一態様である商品データ登録端末は、商品名および料金を含む画像を表示する手段と、ユーザの操作に従って、前記画像において文字認識をする範囲を指定するための枠を前記画像上に表示する手段と、前記枠内の内容が商品名または料金のいずれに該当するのかを指定する操作を受け付ける手段と、前記受け付けられた操作により指定された内容のパターン認識に特化した文字認識処理を利用し、前記枠内の画像に含まれる認識対象をテキストデータに変換する手段と、商品データを登録するための登録画面領域に設けられる入力欄のうち、前記指定された内容に対応して設けられる入力欄に、前記変換されたテキストデータを入力して表示する手段と、前記登録画面領域に設けられる入力欄に入力されたデータに基づいて、商品名データおよび料金データを含む商品データを記憶部に登録する手段と、を備える。
　前記表示する手段は、前記登録画面領域に設けられる入力欄を、前記変換されたテキストデータの行数に合わせて設ける、こととしてもよい。
　前記画像は、メニューの画像である、こととしてもよい。
　本発明の一態様である商品データ登録方法は、ユーザが操作する端末が、商品名および料金を含む画像を表示するステップと、ユーザの操作に従って、前記画像において文字認識をする範囲を指定するための枠を前記画像上に表示するステップと、前記枠内の内容が商品名または料金のいずれに該当するのかを指定する操作を受け付けるステップと、前記受け付けられた操作により指定された内容のパターン認識に特化した文字認識処理を利用し、前記枠内の画像に含まれる認識対象をテキストデータに変換するステップと、商品データを登録するための登録画面領域に設けられる入力欄のうち、前記指定された内容に対応して設けられる入力欄に、前記変換されたテキストデータを入力して表示するステップと、前記登録画面領域に設けられる入力欄に入力されたデータに基づいて、商品名データおよび料金データを含む商品データを記憶部に登録するステップと、を含む。
　本発明の一態様である商品データ登録プログラムは、コンピュータを、商品名および料金を含む画像を表示する手段、ユーザの操作に従って、前記画像において文字認識をする範囲を指定するための枠を前記画像上に表示する手段、前記枠内の内容が商品名または料金のいずれに該当するのかを指定する操作を受け付ける手段、前記受け付けられた操作により指定された内容のパターン認識に特化した文字認識処理を利用し、前記枠内の画像に含まれる認識対象をテキストデータに変換する手段、商品データを登録するための登録画面領域に設けられる入力欄のうち、前記指定された内容に対応して設けられる入力欄に、前記変換されたテキストデータを入力して表示する手段、前記登録画面領域に設けられる入力欄に入力されたデータに基づいて、商品名データおよび料金データを含む商品データを記憶部に登録する手段、として機能させる。
　本開示によれば、商品データを登録する際の労力を軽減することができる。
実施形態における店舗端末を含む商品管理システムの構成を例示する図である。 図１に示す店舗端末の構成を例示する図である。 店舗端末の画面上に表示されるメニュー登録画面の一例を示す図である。 店舗端末の画面上に表示されるメニュー登録画面の一例を示す図である。 店舗端末の画面上に表示されるメニュー登録画面の一例を示す図である。 店舗端末の画面上に表示されるメニュー登録画面の一例を示す図である。 店舗端末の画面上に表示されるメニュー登録画面の一例を示す図である。 店舗端末の画面上に表示されるメニュー登録画面の一例を示す図である。 店舗端末でメニューデータを登録する際の処理手順を説明するためのフローチャートである。
　以下、本発明の実施形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。
　図１は、本発明の一実施形態における店舗端末（商品データ登録端末）を含む商品管理システムの構成を例示する概略図である。商品管理システム１は、単数又は複数の店舗端末２と、管理サーバ３とを備える。店舗端末２および管理サーバ３は、ネットワークＮを介して相互に通信できるように構成される。
　本実施形態では、例示的に、飲食店の各店舗に店舗端末２を導入する場合について説明する。店舗端末２は、それぞれの店舗ごとに、単数又は複数備えることができる。各店舗では、店員が、後述するメニュー登録機能を利用して、自店舗のメニューに含まれる商品名および料金をメニューデータ（商品データ）として店舗端末２に登録する。
　店舗端末２は、メニュー登録機能に加え、例えば、登録したメニューデータを用いて、来店した顧客からの注文内容を登録する注文受付処理や、登録した注文内容を用いて会計処理（例えば、売上登録処理、レシートの発行処理）を実行する機能を有する。店舗端末２に登録された各データは、適宜管理サーバ３に送信され、管理サーバ３において店舗ＩＤ等が付与された状態で管理される。
　本実施形態では、店舗端末２として、タブレット端末を想定する。しかし、店舗端末２はこれに限定されず、店舗端末２として、例えば、ノートＰＣ（パーソナルコンピュータ）、スマートフォン、携帯電話機、携帯情報端末（ＰＤＡ）、その他の端末装置を適宜用いることができる。
　管理サーバ３は、例えば、演算処理能力の高いコンピュータによって構成され、そのコンピュータにおいて所定のサーバ用プログラムが動作することにより、サーバ機能を実現するものである。ここで、管理サーバ３を構成するコンピュータは、必ずしも１台である必要はなく、ネットワーク上に分散する複数のコンピュータから構成されてもよい。
　ネットワークＮは、店舗端末２と管理サーバ３との間で情報を送受信可能な通信網を含む。ネットワークＮは、例えば、インターネット、ＬＡＮ、専用線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース（登録商標）、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。
　図２は、店舗端末２の構成を概略的に示すブロック図である。店舗端末２は、例えば、プロセッサ２１と、通信インタフェース２２と、入力デバイス２３と、表示デバイス２４と、記憶資源２５とを備える。
　プロセッサ２１は、算術論理演算ユニットおよび各種レジスタ（プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等）から構成され、記憶資源２５に格納されているプログラム２５０を実行することで、後述するメニュー登録機能等の各種機能を実現する。プログラム２５０の一例として、店舗端末２にインストールされたメニュー登録用のアプリケーションプログラム（商品データ登録プログラム。以下、「メニュー登録アプリ」ともいう。）がある。このアプリケーションプログラムは、例えば、管理サーバ３からネットワークＮを通じてダウンロードし、店舗端末２にインストールする。
　通信インタフェース２２は、管理サーバ３との接続インタフェースを提供するものであり、無線通信インタフェースまたは有線通信インタフェースから構成される。入力デバイス２３は、ユーザからの入力操作を受け付けるインタフェースを提供するものであり、タッチパネル、キーボード、マウス等を例示することができる。表示デバイス２４は、後述するメニュー登録画面等の画像表示インタフェースをユーザに提供するものであり、例えば、有機ＥＬディスプレイ、液晶ディスプレイ、ＣＲＴディスプレイ等が挙げられる。本実施形態では、入力デバイス２３および表示デバイス２４として、例示的にタッチパネル付きディスプレイを用いる。
　記憶資源２５は、例えば、物理デバイスの記憶領域が提供する論理デバイスである。物理デバイスは、例えば、ディスクドライブまたは半導体メモリ等のコンピュータ読み取り可能な記録媒体である。記憶資源２５には、上記プログラム２５０に加え、オペレーティングシステムプログラム、ドライバプログラム、各種データ等が格納される。ドライバプログラムとしては、例えば、入力デバイス２３を制御するための入力デバイスドライバプログラムや、表示デバイス２４を制御するための出力デバイスドライバプログラム等がある。各種データとしては、例えば、商品名データおよび料金データを含むメニューデータがある。メニューデータは、例えばメニュー情報ＤＢ２５２に記憶される、
　本実施形態におけるプログラム２５０は、例示的に、メニュー登録処理モジュール２５１を有する。このメニュー登録処理モジュール２５１を実行してメニュー登録機能を発現する。図３～図９を参照し、メニュー登録機能を利用してメニューデータを登録する際の手順について、その一例を説明する。図９は、メニューデータを登録する際の店舗端末２における基本的な処理の流れを例示するフローチャートであり、図３～図８は、その際の店舗端末２における表示画面の一例を示す図である。
　最初に、ユーザである店員の操作に応じて、店舗端末２のメニュー登録アプリの起動要求を受け付けると、店舗端末２のメニュー登録処理モジュール２５１は、図３に示すメニュー登録画面（登録画面領域）２４Ｓをディスプレイ２４に表示させる（ステップＳ１０１）。上記メニュー登録アプリの起動要求は、例えば、店舗端末２のディスプレイ２４に表示されたアイコンをタップ（選択）等することで行う。
　続いて、店員の操作に応じて、メニュー登録に利用するメニュー画像を選択する画面の表示要求を受け付けると、メニュー登録処理モジュール２５１は、図３に示すメニュー画像選択画面２４１を、メニュー登録画面２４Ｓ上にポップアップ表示させる（ステップＳ１０２）。上記メニュー画像は、商品名および料金を表示するメニューを撮影した画像である。上記メニュー画像を選択する画面の表示要求は、例えば、メニュー画像を表示するボタン２４ａをタップ等することで行う。
　続いて、店員の操作に応じて、メニュー画像の選択要求を受け付けると、メニュー登録処理モジュール２５１は、図４に示すように、選択されたメニュー画像２４ｃをメニュー登録画面２４Ｓの画像表示領域に表示させる（ステップＳ１０３）。上記メニュー画像の選択要求は、例えば、図３に示すメニュー画像選択画面２４１上で所望のメニュー画像２４ｃに対応するファイル名２４１ａを選択し、開くボタン２４１ｂをタップ等することで行う。
　続いて、店員の操作に応じて、メニュー画像のうち商品名が含まれる範囲が指定されると、メニュー登録処理モジュール２５１は、図５に示すように、指定された範囲を画定する枠２４ｆをメニュー画像２４ｃ上に表示させる（ステップＳ１０４）。上記商品名が含まれる範囲の指定は、例えば、画像上をなぞる等して枠を出現させ、その枠上に設けられたサイズ変更機能を利用（ドラッグ等）して枠のサイズを調整することで行う。
　続いて、店員による枠２４ｆの設定が終了すると、メニュー登録処理モジュール２５１は、図５に示すように、商品名または料金のいずれかを選択するためのアクションボタン２４ｇ、２４ｈを、枠２４ｆの下方側に表示させる（ステップＳ１０５）。上記枠２４ｆの設定が終了したかどうかは、例えば、ディスプレイ２４から指が離れたかどうかを条件にして判定すればよい。上記アクションボタン２４ｇ、２４ｈは、選択した内容に応じた処理を実行するようにモジュールに指示するためのボタンである。
　続いて、店員により、アクションボタン２４ｇ、２４ｈのうち、商品名のアクションボタン２４ｇが選択された場合に、メニュー登録処理モジュール２５１は、枠２４ｆ内の画像に含まれる認識対象を、商品名のパターン認識に特化した文字認識処理を利用して１行ごとに文字認識し、テキストデータに変換する（ステップＳ１０６）。
　ここで、文字認識処理の内容は、特に制限されず、例えば、一般的なＯＣＲ（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅａｄｅｒ:光学式文字読取装置）技術に代表される画像認識系アプリケーションを適用することができる。また、ＯＣＲ技術に代えて、データ学習に用いるいわゆるディープラーニング（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）技術を適用することもできる。かかるディープラーニング技術を含む文字認識は、例えば、画像処理、機械学習および言語処理（認識結果補正）のステップを含めて構成することができる。
　続いて、メニュー登録処理モジュール２５１は、上記ステップＳ１０６で変換したテキストデータを、図６に示すメニュー登録画面２４Ｓの各商品名欄２４ｄに順次入力し、表示する（ステップＳ１０７）。メニュー登録画面２４Ｓに設けられる商品名欄２４ｄは、変換したテキストデータの行数に合わせて追加される。
　ここで、例えば、図６の商品名欄２４ｄａに示すように、メニューに存在しない商品名の商品名欄２４ｄが追加で表示された場合には、その商品名欄２４ｄと同一行にある削除ボタン２４ｉａをタップ等することで、その削除ボタン２４ｉａに対応する行全体を削除することができる（図７参照）。なお、商品名欄２４ｄの内容は、ユーザが任意に変更することもできる。
　続いて、店員の操作に応じて、メニュー画像のうち料金が含まれる範囲が指定されると、メニュー登録処理モジュール２５１は、図７に示すように、指定された範囲を画定する枠２４ｊをメニュー画像２４ｃ上に表示させる（ステップＳ１０８）。上記料金が含まれる範囲の指定は、上述した商品名が含まれる範囲の指定と同様に行う。
　続いて、店員による枠２４ｊの設定が終了すると、メニュー登録処理モジュール２５１は、図７に示すように、商品名または料金のいずれかを選択するためのアクションボタン２４ｇ、２４ｈを、枠２４ｊの下方側に表示させる（ステップＳ１０９）。上記枠２４ｊの設定が終了したかどうかは、上述した枠２４ｆの設定が終了したかどうかの判定と同様に行う。
　続いて、店員により、アクションボタン２４ｇ、２４ｈのうち、料金のアクションボタン２４ｈが選択された場合に、メニュー登録処理モジュール２５１は、枠２４ｊ内の画像に含まれる認識対象を、料金のパターン認識に特化した文字認識処理を利用して１行ごとに文字認識し、テキストデータに変換する（ステップＳ１１０）。
　続いて、メニュー登録処理モジュール２５１は、上記ステップＳ１１０で変換したテキストデータを、図８に示すメニュー登録画面２４Ｓの各料金欄２４ｅに順次入力し、表示する（ステップＳ１１１）。
　続いて、店員の操作に応じて、メニューデータの登録要求を受け付けると、メニュー登録処理モジュール２５１は、メニュー登録画面２４Ｓに設けられた商品名欄２４ｄおよび料金欄２４ｅに入力されたデータに基づいて、メニュー情報ＤＢ２５２にメニューデータを登録する（ステップＳ１１２）。上記メニューデータの登録要求は、例えば、図８に示すメニュー登録画面２４Ｓに設けられた登録ボタン２４ｂをタップ等することで行う。
　上述したように、実施形態における店舗端末２によれば、商品名および料金を含むメニュー画像２４ｃを表示し、メニュー画像２４ｃにおいて文字認識をする範囲を指定するための枠２４ｆ、２４ｊを、ユーザの操作に従って画像２４ｃ上に表示し、その枠内の内容が商品名または料金のいずれに該当するのかを指定する操作を受け付けることができる。また、受け付けた操作により指定された内容のパターン認識に特化した文字認識処理を利用して枠内の画像に含まれる認識対象をテキストデータに変換し、メニュー登録画面２４Ｓに設けられる入力欄２４ｄ、２４ｅのうち、指定された内容に対応して設けられる入力欄に、変換されたテキストデータを入力して表示することができる。さらに、メニュー登録画面２４Ｓの入力欄２４ｄ、２４ｅに入力されたデータに基づいて、商品名データおよび料金データを含むメニューデータをメニュー情報ＤＢ２５２に登録することができる。
　これにより、実施形態における店舗端末２によれば、メニューデータを登録する際の労力を軽減することができるため、店舗端末２を利用するシステムの導入を促進させることが可能となる。
　ここで、本願発明は、以下の事項に着眼してなされたことに特徴がある。メニュー（商品価格表）は、商品とその料金との組み合わせが行単位に表示されることが多い。また、商品に利用される文字は、例えば飲食店の種類等によりある程度絞り込むことができ、料金に関しては数字に絞り込むことができる。したがって、文字認識の対象を商品名とする場合には、商品名に利用される文字のパターンを用いて文字認識処理を行うことで、商品名の認識率を向上させることができる。一方、文字認識の対象を料金とする場合には、料金に利用される数字のパターンを用いて文字認識処理を行うことで、料金の認識率を向上させることができる。
　これらの点を勘案し、本願発明は、メニュー画像２４ｃにおいて商品名の表示範囲を指定する枠２４ｆが設定された場合に、その枠２４ｆ内の内容が商品名であることを選択指定させることで、枠２４ｆ内の画像に含まれる認識対象を、商品名のパターン認識に特化した文字認識処理を利用して１行ごとに文字認識し、テキストデータに変換する。
　また、メニュー画像２４ｃにおいて料金の表示範囲を指定する枠２４ｊが設定された場合には、その枠２４ｊ内の内容が料金であることを選択指定させることで、枠２４ｊ内の画像に含まれる認識対象を、料金のパターン認識に特化した文字認識処理を利用して１行ごとに文字認識し、テキストデータに変換する。
　本願発明は、これらの文字認識機能を備えることで、メニューデータを登録する際の労力を軽減させることを可能とした。
　さらに、商品名の認識率と料金の認識率とを比較した場合に、数字のパターンを用いて文字認識を行う料金の方が、認識率が高くなる傾向にあることを踏まえ、本願発明は、メニュー画像２４ｃに含まれる商品名および料金のうち、商品名を先に文字認識し、後から料金を文字認識することで、以下のような効果も得ることができる。
　例えば、図６に示すように、メニューにない商品の商品名欄２４ｄａが誤認識により追加された場合に、商品名よりも先に料金を文字認識していると、商品名と料金との対応関係が、商品名欄２４ｄａ以降でずれることになる。この場合、そのずれを解消するために商品名を入力し直す作業が発生してしまう。
　これに対し、商品名を先に文字認識した場合には、図６に示すように商品名欄２４ｄａが誤認識により追加されたとしても、その商品名欄２４ｄａと同一行にある削除ボタン２４ｉａを選択して削除することで、不要な行全体を削除することができ、上記商品名を入力し直す作業の発生を防ぐことが可能となり、メニューデータを登録する際の労力をさらに軽減させることができる。
　なお、文字認識の順番は、商品名を先に文字認識し、後から料金を文字認識する順番には限定されず、料金を先に文字認識し、後から商品名を文字認識することとしてもよい。商品名の認識率によっては、メニューにない商品の商品名欄２４ｄａが追加される可能性を低減させることができるためである。
　[変形例]
　なお、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。
　また、上述した実施形態では、メニュー登録に利用するメニュー画像を、保存されている画像の中から選択しているが、これに限定されない。例えば、店舗端末２に搭載されるカメラを用いて撮影した画像を、メニュー画像として利用することとしてもよい。
　また、上述した実施形態では、商品名および料金を含むメニューデータを登録する場合について説明したが、これに限定されず、商品名および料金を含む商品データを登録する場合に本発明を適用することができる。
　また、実施形態におけるプログラムは、ＣＤ－ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体（コンピュータ読み取り可能な記録媒体）を通じて、または通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストールまたはロードすることができる。
　本発明に係る商品データ登録端末、商品データ登録方法および商品データ登録プログラムは、商品データを登録する際の労力を軽減することに適している。
１…商品管理システム、２…店舗端末、３…管理サーバ、２１…プロセッサ、２２…通信インタフェース、２３…入力デバイス、２４…表示デバイス、２４Ｓ…メニュー登録画面、２４ａ…メニュー画像を表示するボタン、２４ｂ…登録ボタン、２４ｃ…メニュー画像、２４ｄ…商品名欄、２４ｅ…料金欄、２４ｆ、２４ｊ…枠、２４ｇ、２４ｈ…アクションボタン、２４ｉ…削除ボタン、２５…記憶資源、２５０…プログラム、２５１…メニュー登録処理モジュール、２５２…メニュー情報ＤＢ、Ｎ…ネットワーク

Claims (5)

  1. 　商品名および料金を含む画像を表示する手段と、
    　ユーザの操作に従って、前記画像において文字認識をする範囲を指定するための枠を前記画像上に表示する手段と、
    　前記枠内の内容が商品名または料金のいずれに該当するのかを指定する操作を受け付ける手段と、
    　前記受け付けられた操作により指定された内容のパターン認識に特化した文字認識処理を利用し、前記枠内の画像に含まれる認識対象をテキストデータに変換する手段と、
    　商品データを登録するための登録画面領域に設けられる入力欄のうち、前記指定された内容に対応して設けられる入力欄に、前記変換されたテキストデータを入力して表示する手段と、
    　前記登録画面領域に設けられる入力欄に入力されたデータに基づいて、商品名データおよび料金データを含む商品データを記憶部に登録する手段と、
    　を備える、商品データ登録端末。
  2. 　前記表示する手段は、前記登録画面領域に設けられる入力欄を、前記変換されたテキストデータの行数に合わせて設ける、請求項１記載の商品データ登録端末。
  3. 　前記画像は、メニューの画像である、請求項１または２記載の商品データ登録端末。
  4. 　ユーザが操作する端末が、
    　商品名および料金を含む画像を表示するステップと、
    　ユーザの操作に従って、前記画像において文字認識をする範囲を指定するための枠を前記画像上に表示するステップと、
    　前記枠内の内容が商品名または料金のいずれに該当するのかを指定する操作を受け付けるステップと、
    　前記受け付けられた操作により指定された内容のパターン認識に特化した文字認識処理を利用し、前記枠内の画像に含まれる認識対象をテキストデータに変換するステップと、
    　商品データを登録するための登録画面領域に設けられる入力欄のうち、前記指定された内容に対応して設けられる入力欄に、前記変換されたテキストデータを入力して表示するステップと、
    　前記登録画面領域に設けられる入力欄に入力されたデータに基づいて、商品名データおよび料金データを含む商品データを記憶部に登録するステップと、
    　を含む、商品データ登録方法。
  5. 　コンピュータを、
    　商品名および料金を含む画像を表示する手段、
    　ユーザの操作に従って、前記画像において文字認識をする範囲を指定するための枠を前記画像上に表示する手段、
    　前記枠内の内容が商品名または料金のいずれに該当するのかを指定する操作を受け付ける手段、
    　前記受け付けられた操作により指定された内容のパターン認識に特化した文字認識処理を利用し、前記枠内の画像に含まれる認識対象をテキストデータに変換する手段、
    　商品データを登録するための登録画面領域に設けられる入力欄のうち、前記指定された内容に対応して設けられる入力欄に、前記変換されたテキストデータを入力して表示する手段、
    　前記登録画面領域に設けられる入力欄に入力されたデータに基づいて、商品名データおよび料金データを含む商品データを記憶部に登録する手段、
    　として機能させる、商品データ登録プログラム。
PCT/JP2017/004671 2016-02-09 2017-02-09 商品データ登録端末、商品データ登録方法および商品データ登録プログラム WO2017138592A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17750313.3A EP3416143A4 (en) 2016-02-09 2017-02-09 PRODUCT DATA REGISTRATION TERMINAL, PRODUCT DATA RECORDING METHOD, AND PRODUCT DATA RECORDING PROGRAM
CN201780010268.5A CN109074705A (zh) 2016-02-09 2017-02-09 商品数据登记终端、商品数据登记方法以及商品数据登记程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-022935 2016-02-09
JP2016022935A JP5945645B1 (ja) 2016-02-09 2016-02-09 商品データ登録端末、商品データ登録方法および商品データ登録プログラム

Publications (1)

Publication Number Publication Date
WO2017138592A1 true WO2017138592A1 (ja) 2017-08-17

Family

ID=56289218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004671 WO2017138592A1 (ja) 2016-02-09 2017-02-09 商品データ登録端末、商品データ登録方法および商品データ登録プログラム

Country Status (4)

Country Link
EP (1) EP3416143A4 (ja)
JP (1) JP5945645B1 (ja)
CN (1) CN109074705A (ja)
WO (1) WO2017138592A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077095A (ja) * 2019-11-08 2021-05-20 東芝テック株式会社 取引処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07191643A (ja) * 1993-09-13 1995-07-28 Koji Yamamoto 飲食店のメニュー提示方法、その装置、注文管理方法及びその装置
JP2006172284A (ja) * 2004-12-17 2006-06-29 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム
JP2015176165A (ja) * 2014-03-13 2015-10-05 株式会社ゼンリンデータコム 料理価格検索装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05151387A (ja) * 1991-11-26 1993-06-18 Ricoh Co Ltd 認識対象領域指定方式
CN101122953B (zh) * 2007-09-21 2010-11-17 北京大学 一种图片文字分割的方法
US9179278B2 (en) * 2011-09-01 2015-11-03 Qualcomm Incorporated Systems and methods involving augmented menu using mobile device
JP2014081888A (ja) * 2012-10-18 2014-05-08 Zenrin Datacom Co Ltd 注文支援装置、注文支援方法および注文支援プログラム
CN102999752A (zh) * 2012-11-15 2013-03-27 广东欧珀移动通信有限公司 对图片中局部字符进行快速识别的方法、装置及终端
CN103646360A (zh) * 2013-11-14 2014-03-19 成都博约创信科技有限责任公司 一种基于图像识别技术的点餐方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07191643A (ja) * 1993-09-13 1995-07-28 Koji Yamamoto 飲食店のメニュー提示方法、その装置、注文管理方法及びその装置
JP2006172284A (ja) * 2004-12-17 2006-06-29 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム
JP2015176165A (ja) * 2014-03-13 2015-10-05 株式会社ゼンリンデータコム 料理価格検索装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3416143A4 *

Also Published As

Publication number Publication date
JP2017142615A (ja) 2017-08-17
CN109074705A (zh) 2018-12-21
JP5945645B1 (ja) 2016-07-05
EP3416143A4 (en) 2019-07-17
EP3416143A1 (en) 2018-12-19

Similar Documents

Publication Publication Date Title
US8271906B1 (en) Method and system for using a dynamic cursor area to facilitate user interaction
US10976885B2 (en) Systems and methods for electronic signature
US10438272B2 (en) Systems and methods for providing an E-commerce slip cart
US20110087739A1 (en) Routing User Data Entries to Applications
US20170351872A1 (en) Method, device, and system for sending and receiving information
KR102087807B1 (ko) 문자 입력 방법 및 장치
KR102469179B1 (ko) 프로파일 관리를 위한 대화형 사용자 인터페이스
US20150356068A1 (en) Augmented data view
CN109408754B (zh) 网页操作数据的处理方法、装置、电子设备及存储介质
US20140075367A1 (en) Supplementing a Virtual Input Keyboard
WO2017170632A1 (ja) 商品データ登録端末、商品データ登録方法および商品データ登録プログラム
CN113220178A (zh) 应用程序的控制方法和装置
CN113821288A (zh) 信息显示方法、装置和电子设备及存储介质
WO2017138592A1 (ja) 商品データ登録端末、商品データ登録方法および商品データ登録プログラム
CN112184168A (zh) 提醒任务生成方法、装置和电子设备
US20230229302A1 (en) Methods and Systems for Positioning Animated Images Within a Dynamic Keyboard Interface
WO2017058685A1 (en) Transactional user interface
US20220188905A1 (en) Systems and methods for providing an e-commerce slip cart
WO2017170628A1 (ja) 売上分析装置、売上分析方法および売上分析プログラム
CN111796736B (zh) 应用程序的分享方法、装置和电子设备
CN114491218A (zh) 信息更新方法、信息更新装置、电子设备及介质
US10997567B2 (en) Work support device, work support method and computer readable storage medium
KR102625036B1 (ko) 쿠폰 등의 공유 기능을 제공하는 전자 장치, 그 제어방법
CN113162840B (zh) 显示方法、显示装置、电子设备及可读存储介质
US20230222420A1 (en) Operation support device, operation support method and operation support program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17750313

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017750313

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017750313

Country of ref document: EP

Effective date: 20180910