JP2024009423A

JP2024009423A - Display control device, display control method, and program

Info

Publication number: JP2024009423A
Application number: JP2022110923A
Authority: JP
Inventors: 敦村松; Atsushi Muramatsu
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2022-07-11
Filing date: 2022-07-11
Publication date: 2024-01-23

Abstract

PROBLEM TO BE SOLVED: To provide a technology for reducing possibility that a user forgets to pick up a conveyance object to be picked up by the user.

SOLUTION: A display control device includes an output control unit that controls a first display unit to display a first captured image obtained by capturing an image in a first range of a conveyance path along which a first conveyance object is conveyed. On the basis of determination that first information corresponding to the first display unit and second information corresponding to a destination of the first conveyance object on the conveyance path match with each other, the output control unit controls the first display unit to display a first display object in a superimposed manner in an area corresponding to a position of the first conveyance object in the first captured image.

SELECTED DRAWING: Figure 1

Description

本発明は、表示制御装置、表示制御方法およびプログラムに関する。 The present invention relates to a display control device, a display control method, and a program.

近年、搬送対象物を搬送先まで搬送するための各種技術が知られている。かかる技術の中には、搬送先に存在するユーザが搬送対象物を取り忘れてしまうことを防止するための技術も存在する。 In recent years, various techniques for transporting an object to a transport destination have been known. Among these techniques, there is also a technique for preventing a user present at a destination from forgetting to take an object to be conveyed.

一例として、ユーザが注文した搬送対象物が搬送され、搬送対象物が搬送先の例としてのユーザに近づくと、搬送対象物がユーザに近づいている旨を示す情報と、搬送対象物のサンプル画像とを画面に表示する技術が開示されている（例えば、特許文献１参照）。かかる技術によれば、搬送対象物がユーザの存在する場所にまもなく到着することをユーザに把握させることが可能である。 As an example, when an object to be transported ordered by a user is transported and the object to be transported approaches the user as an example of a destination, information indicating that the object to be transported is approaching the user and a sample image of the object to be transported may be displayed. A technique for displaying on a screen has been disclosed (for example, see Patent Document 1). According to this technique, it is possible to let the user know that the object to be transported will soon arrive at the location where the user is present.

特開２００４－２４２６９３号公報Japanese Patent Application Publication No. 2004-242693

しかし、搬送路上には、ユーザ自身が取るべき搬送対象物以外の搬送対象物も存在し得る。そのため、搬送対象物がユーザに近づいている旨を示す情報と、搬送対象物のサンプル画像とが表示されるだけでは、搬送路上のどの搬送対象物を取るべきかをユーザに識別させるのが困難である。したがって、ユーザが自分の取るべき搬送対象物を取り忘れてしまう可能性がある。 However, on the conveyance path, there may be objects to be conveyed other than the objects to be conveyed by the user himself/herself. Therefore, it is difficult for the user to identify which object on the conveyance path should be picked up by simply displaying information indicating that the conveyed object is approaching the user and a sample image of the conveyed object. It is. Therefore, there is a possibility that the user forgets to pick up the object to be transported.

そこで本発明は、ユーザが自分の取るべき搬送対象物を取り忘れてしまう可能性を低減するための技術を提供することを目的とする。 Therefore, an object of the present invention is to provide a technique for reducing the possibility that a user forgets to pick up an object to be transported.

上記課題を解決するために、本発明のある観点によれば、第１の搬送対象物が搬送される搬送路の第１の範囲が撮像されて得られた第１の撮像映像を表示するように第１の表示部を制御する出力制御部を備え、前記出力制御部は、前記第１の表示部に対応する第１の情報と、前記搬送路における前記第１の搬送対象物の搬送先に対応する第２の情報とが一致すると判定されたことに基づいて、前記第１の撮像映像における前記第１の搬送対象物の位置に応じた領域に、第１の表示オブジェクトを重畳して表示するように前記第１の表示部を制御する、表示制御装置が提供される。 In order to solve the above problems, according to one aspect of the present invention, a first captured image obtained by capturing an image of a first range of a conveying path along which a first conveyed object is conveyed is displayed. includes an output control unit that controls a first display unit, and the output control unit displays first information corresponding to the first display unit and a destination of the first conveyance object on the conveyance path. and the second information corresponding to the second information corresponding to A display control device is provided that controls the first display unit to display.

前記出力制御部は、前記搬送路による前記第１の搬送対象物の搬送方向と異なる方向への前記第１の搬送対象物の移動が検出されたことに基づいて、成功を示す成功情報を出力するように出力部を制御してもよい。 The output control unit outputs success information indicating success based on detection of movement of the first conveyance object in a direction different from a conveyance direction of the first conveyance object by the conveyance path. The output unit may be controlled so as to.

前記出力制御部は、前記第１の搬送対象物への手の移動、および、前記搬送路による前記第１の搬送対象物の搬送方向と異なる方向への前記第１の搬送対象物の移動が検出されたことに基づいて、前記成功情報を出力するように前記出力部を制御してもよい。 The output control unit controls movement of the hand toward the first conveyance object and movement of the first conveyance object in a direction different from the conveyance direction of the first conveyance object by the conveyance path. The output unit may be controlled to output the success information based on the detection.

前記成功情報は、視覚によって知覚される所定の視覚情報または聴覚によって知覚される所定の聴覚情報を含んでもよい。 The success information may include predetermined visual information perceived by sight or predetermined auditory information perceived by hearing.

前記出力制御部は、前記搬送路による前記第１の搬送対象物の搬送方向と異なる方向への前記第１の搬送対象物の移動が検出されたことに基づいて、前記第１の表示オブジェクトを前記第１の撮像映像から消去するように前記第１の表示部を制御してもよい。 The output control unit controls the first display object based on the detection of movement of the first conveyance object in a direction different from the conveyance direction of the first conveyance object by the conveyance path. The first display unit may be controlled to erase the image from the first captured image.

前記第２の情報は、第２の表示部に対応し、前記第２の表示部は、前記搬送先を含んだ第２の範囲が撮像されて得られた第２の撮像映像を表示してもよい。 The second information corresponds to a second display section, and the second display section displays a second captured image obtained by capturing an image of a second range including the conveyance destination. Good too.

搬送予定数と同数の第１の搬送対象物が検出された後には、前記第１の搬送対象物に続く第２の搬送対象物が検出されないことでもよい。 After the same number of first objects to be transported as the number to be transported is detected, a second object to be transported following the first objects to be transported may not be detected.

前記第１の表示オブジェクトは、透過性を有する画像であってもよい。 The first display object may be a transparent image.

前記表示制御装置は、前記第１の範囲を撮像する複数の搬送路撮像部それぞれによって撮像されて得られた搬送路映像をつなぎ合わせることにより、前記第１の撮像映像を生成する映像生成部を備えてもよい。 The display control device includes an image generation unit that generates the first captured image by joining together conveyance path images obtained by imaging each of a plurality of conveyance path imaging units that image the first range. You may prepare.

前記出力制御部は、前記第１の搬送対象物が前記第１の撮像映像における前記搬送路の所定の領域から検出されたことに基づいて、注意喚起を促す情報を出力するように出力部を制御してもよい。 The output control unit controls the output unit to output information that calls for attention based on the fact that the first object to be conveyed is detected from a predetermined area of the conveyance path in the first captured image. May be controlled.

前記注意喚起を促す情報は、視覚によって知覚される所定の視覚情報または聴覚によって知覚される所定の聴覚情報を含んでもよい。 The information for calling attention may include predetermined visual information perceived visually or predetermined auditory information perceived auditory.

前記視覚情報は、前記第１の表示オブジェクトに付加される所定の装飾情報を含んでもよい。 The visual information may include predetermined decorative information added to the first display object.

前記表示制御装置は、前記第１の搬送対象物が前記第１の撮像映像における前記搬送路の所定の領域から検出されたことに基づいて、前記搬送路による前記第１の搬送対象物の搬送を停止するように前記搬送路を制御する搬送制御部を備えてもよい。 The display control device controls the transport of the first transport target by the transport path based on the fact that the first transport target is detected from a predetermined region of the transport path in the first captured image. The conveyance control unit may be provided to control the conveyance path so as to stop the conveyance path.

前記出力制御部は、前記第１の情報と、前記搬送路における第３の搬送対象物の搬送先に対応する第３の情報とが一致しないと判定されたこと、および、前記第３の搬送対象物への手の移動が検出されたことに基づいて、失敗を示す失敗情報を出力するように出力部を制御してもよい。 The output control unit is configured to determine that the first information and third information corresponding to a destination of the third conveyance object on the conveyance path do not match; The output unit may be controlled to output failure information indicating failure based on detection of hand movement toward the target object.

前記出力制御部は、前記第３の搬送対象物に移動した手の特徴が所定の条件を満たすことに基づいて、前記失敗情報を出力しないように前記出力部を制御してもよい。 The output control unit may control the output unit so as not to output the failure information based on the fact that the characteristics of the hand that moved to the third conveyed object satisfy a predetermined condition.

前記所定の条件は、前記第３の搬送対象物に移動した手の向きに関する条件であってもよい。 The predetermined condition may be a condition related to the direction of the hand that has moved to the third conveyed object.

前記所定の条件は、前記第３の搬送対象物に移動した手に付された色または模様に関する条件であってもよい。 The predetermined condition may be a condition related to a color or a pattern applied to the third object to be transported by the hand.

前記出力制御部は、前記第１の情報と、前記搬送路における第３の搬送対象物の搬送先に対応する第３の情報とが一致しないと判定されたこと、および、前記第３の搬送対象物への手の移動が検出されたことに基づいて、前記第１の撮像映像における前記第３の搬送対象物の位置に応じた領域に、前記第１の表示オブジェクトとは異なる第３の表示オブジェクトを重畳して表示するように前記第１の表示部を制御してもよい。 The output control unit is configured to determine that the first information and third information corresponding to a destination of the third conveyance object on the conveyance path do not match; Based on the detection of the movement of the hand toward the object, a third display object different from the first display object is displayed in an area corresponding to the position of the third transport object in the first captured image. The first display unit may be controlled to display the display objects in a superimposed manner.

また、上記課題を解決するために本発明の別の観点によれば、第１の搬送対象物が搬送される搬送路の第１の範囲が撮像されて得られた第１の撮像映像を表示するように第１の表示部を制御することと、前記第１の表示部に対応する第１の情報と、前記搬送路における前記第１の搬送対象物の搬送先に対応する第２の情報とが一致すると判定されたことに基づいて、前記第１の撮像映像における前記第１の搬送対象物の位置に応じた領域に、第１の表示オブジェクトを重畳して表示するように前記第１の表示部を制御することと、を含む、表示制御方法が提供される。 According to another aspect of the present invention, in order to solve the above problems, a first captured image obtained by capturing an image of a first range of a conveying path along which a first conveyed object is conveyed is displayed. controlling a first display unit so as to display first information corresponding to the first display unit; and second information corresponding to a destination of the first conveyance object on the conveyance path. The first display object is displayed in a superimposed manner in an area corresponding to the position of the first conveyed object in the first captured image based on the determination that the first object matches the first object. A display control method is provided, comprising: controlling a display unit of a display unit.

また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、第１の搬送対象物が搬送される搬送路の第１の範囲が撮像されて得られた第１の撮像映像を表示するように第１の表示部を制御する出力制御部として機能させるプログラムであって、前記出力制御部は、前記第１の表示部に対応する第１の情報と、前記搬送路における前記第１の搬送対象物の搬送先に対応する第２の情報とが一致すると判定されたことに基づいて、前記第１の撮像映像における前記第１の搬送対象物の位置に応じた領域に、第１の表示オブジェクトを重畳して表示するように前記第１の表示部を制御する、プログラムが提供される。 According to another aspect of the present invention, in order to solve the above problems, the computer is configured to use a first image obtained by capturing an image of a first range of a conveyance path along which a first conveyance target object is conveyed. A program that functions as an output control unit that controls a first display unit to display an image, the output control unit displaying first information corresponding to the first display unit and information on the conveyance path. Based on the fact that it is determined that the second information corresponding to the destination of the first conveyance object matches, the area corresponding to the position of the first conveyance object in the first captured image is , a program is provided that controls the first display unit to display a first display object in a superimposed manner.

以上説明したように本発明によれば、ユーザが自分の取るべき搬送対象物を取り忘れてしまう可能性を低減するための技術を提供することが可能となる。 As described above, according to the present invention, it is possible to provide a technique for reducing the possibility that a user forgets to pick up an object to be transported.

本発明の第１の実施形態に係る表示制御システムの概略的な構成の一例を示す図である。1 is a diagram illustrating an example of a schematic configuration of a display control system according to a first embodiment of the present invention. 注文管理装置２０の機能構成の一例を示すブロック図である。2 is a block diagram showing an example of a functional configuration of an order management device 20. FIG. 注文処理端末３０の機能構成の一例を示すブロック図である。3 is a block diagram showing an example of a functional configuration of an order processing terminal 30. FIG. 搬送容器４０の機能構成例の一例を示すブロック図である。4 is a block diagram showing an example of a functional configuration of a transport container 40. FIG. 搬送装置５０の機能構成例の一例を示すブロック図である。5 is a block diagram showing an example of a functional configuration of a transport device 50. FIG. 注文端末１０－１の機能構成例の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of a functional configuration of an order terminal 10-1. 表示制御システム１が導入される店内の俯瞰図の一例を示す図である。1 is a diagram showing an example of an overhead view of the inside of a store where the display control system 1 is installed. 本発明の第１の実施形態に係る表示制御システム１のうち顧客によって視認される各構成の位置関係の例を示す図である。It is a diagram showing an example of the positional relationship of each component visually recognized by a customer in the display control system 1 according to the first embodiment of the present invention. 本発明の第１の実施形態に係る表示制御システム１の動作例を示すフローチャートの前半である。This is the first half of a flowchart showing an example of the operation of the display control system 1 according to the first embodiment of the present invention. 本発明の第１の実施形態に係る表示制御システム１の動作例を示すフローチャートの後半である。This is the second half of the flowchart showing an example of the operation of the display control system 1 according to the first embodiment of the present invention. 注文情報の例を示す図である。It is a figure showing an example of order information. 搬送容器４０および皿の配置例を示す図である。It is a figure which shows the example of arrangement|positioning of the conveyance container 40 and a plate. 商品到着の通知画面の例を示す図である。It is a figure which shows the example of the notification screen of goods arrival. 撮像映像の左端領域の例を示す図である。FIG. 3 is a diagram illustrating an example of a left end area of a captured video. 表示オブジェクトの例を示す図である。It is a figure which shows the example of a display object. 追加の表示オブジェクトの例を示す図である。FIG. 7 is a diagram illustrating an example of additional display objects. 成功情報の例を示す図である。It is a figure which shows the example of success information. 本発明の第２の実施形態に係る注文端末１０－２の機能構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the functional configuration of an order terminal 10-2 according to a second embodiment of the present invention. 本発明の第２の実施形態に係る表示制御システム１の動作例を示すフローチャートである。It is a flowchart which shows an example of operation of display control system 1 concerning a 2nd embodiment of the present invention. 撮像映像の右端領域の例を示す図である。FIG. 3 is a diagram illustrating an example of a right end area of a captured video. 皿Ｄ８の移動検出例を示す図である。It is a figure which shows the example of movement detection of the plate D8. 本発明の第３の実施形態に係る注文端末１０－２の機能構成の一例を示すブロック図である。FIG. 3 is a block diagram showing an example of the functional configuration of an order terminal 10-2 according to a third embodiment of the present invention. 本発明の第３の実施形態に係る表示制御システム１のうち顧客によって視認される各構成の位置関係の例を示す図である。It is a figure which shows the example of the positional relationship of each component visually recognized by a customer in the display control system 1 based on the 3rd Embodiment of this invention. 注文情報の例を示す図である。It is a figure showing an example of order information. 本発明の第３の実施形態に係る表示制御システム１の動作例を示すフローチャートの前半である。This is the first half of a flowchart showing an example of the operation of the display control system 1 according to the third embodiment of the present invention. 本発明の第３の実施形態に係る表示制御システム１の動作例を示すフローチャートの後半である。This is the second half of the flowchart showing an example of the operation of the display control system 1 according to the third embodiment of the present invention. 搬送容器４０および皿の配置例を示す図である。It is a figure which shows the example of arrangement|positioning of the conveyance container 40 and a plate. 撮像映像の例を示す図である。FIG. 3 is a diagram showing an example of a captured video. 図２８に示された撮像映像の後に得られる撮像映像の例を示す図である。29 is a diagram showing an example of a captured image obtained after the captured image shown in FIG. 28. FIG. 追随中の皿に手が移動している状態を示す図である。It is a figure which shows the state where a hand is moving to the plate which is following. メニュー画面の例を示す図である。It is a figure showing an example of a menu screen. メニュー画面Ｍ３１の上にポップアップ表示された商品到着の通知画面の例である。This is an example of a product arrival notification screen pop-up displayed on the menu screen M31. 本発明の第３の実施形態に係る表示制御システム１のうち顧客によって視認される各構成の位置関係の例を示す図である。It is a figure which shows the example of the positional relationship of each component visually recognized by a customer in the display control system 1 based on the 3rd Embodiment of this invention. 商品到着の通知画面の例を示す図である。It is a figure which shows the example of the notification screen of goods arrival. 撮像映像の左端領域の例を示す図である。FIG. 3 is a diagram illustrating an example of a left end area of a captured video. 追随中の皿に手が移動している状態を示す図である。It is a figure which shows the state where a hand is moving to the plate which is following. 追随中の皿に手が移動している状態を示す他の図である。FIG. 7 is another diagram showing a state in which the hand is moving to the plate being followed. 本発明の第４の実施形態に係る注文端末１０－４の機能構成の一例を示すブロック図である。FIG. 4 is a block diagram showing an example of the functional configuration of an order terminal 10-4 according to a fourth embodiment of the present invention. 本発明の第４の実施形態に係る表示制御システム１の動作例を示すフローチャートである。It is a flow chart which shows an example of operation of display control system 1 concerning a 4th embodiment of the present invention. 本発明の第４の実施形態に係る表示制御システム１のうち顧客によって視認される各構成の位置関係の例を示す図である。It is a figure which shows the example of the positional relationship of each component visually recognized by a customer in the display control system 1 based on the 4th Embodiment of this invention. 撮像映像の例を示す図である。FIG. 3 is a diagram showing an example of a captured video. 撮像映像に写る手の例を示す図である。FIG. 3 is a diagram showing an example of a hand appearing in a captured video. 店員の位置の例を示す図である。It is a figure showing an example of a store clerk's position. 本発明の実施形態に係る注文端末１０の例としての情報処理装置９００のハードウェア構成を示す図である。2 is a diagram showing a hardware configuration of an information processing device 900 as an example of an order terminal 10 according to an embodiment of the present invention. FIG.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described in detail below with reference to the accompanying drawings. Note that, in this specification and the drawings, components having substantially the same functional configurations are designated by the same reference numerals and redundant explanation will be omitted.

（１．第１の実施形態）
まず、本発明の第１の実施形態について説明する。 (1. First embodiment)
First, a first embodiment of the present invention will be described.

（１－１．システム構成）
図１は、本発明の第１の実施形態に係る表示制御システムの概略的な構成の一例を示す図である。図１に示されるように、本発明の第１の実施形態に係る表示制御システム１は、注文端末１０－１と、注文管理装置２０と、注文処理端末３０と、搬送容器４０と、搬送装置５０と、通信装置６０とを有する。 (1-1. System configuration)
FIG. 1 is a diagram showing an example of a schematic configuration of a display control system according to a first embodiment of the present invention. As shown in FIG. 1, the display control system 1 according to the first embodiment of the present invention includes an order terminal 10-1, an order management device 20, an order processing terminal 30, a transport container 40, and a transport device. 50 and a communication device 60.

なお、本発明の第１の実施形態においては、表示制御システム１が回転寿司店に導入される場合を主に想定する。このとき、搬送容器４０に載せられる皿が搬送対象物の例に該当し、顧客の席にて搬送容器４０に載せられる皿を搬送路から取り、皿の上に載せられた商品（すなわち、飲食物）を飲食する顧客が、搬送路から搬送対象物を取るユーザの例に該当する。 In the first embodiment of the present invention, it is mainly assumed that the display control system 1 is introduced into a conveyor belt sushi restaurant. At this time, the plate placed on the transport container 40 corresponds to an example of the object to be transported, and the plate placed on the transport container 40 is taken from the transport path at the customer's seat, and the product (i.e. food and drink) placed on the plate is removed. A customer who eats and drinks (object) corresponds to an example of a user who takes an object to be transported from a transport path.

しかし、搬送対象物は、搬送容器４０に載せられる皿に限定されないし、搬送対象物を取るユーザは、かかる顧客に限定されない。 However, the object to be transported is not limited to the plate placed on the transport container 40, and the user who takes the object to be transported is not limited to such a customer.

一例として、表示制御システム１は、工場の生産ラインなどに導入されてもよい。このとき、組み立て作業に用いられる部品が搬送対象物の例に該当し、組み立て作業に用いられる部品を作業場にて搬送路から取り、部品を用いて組み立て作業を行う作業者が、搬送対象物を取るユーザの例に該当する。 As an example, the display control system 1 may be installed in a factory production line or the like. At this time, the parts used in the assembly work correspond to an example of the object to be transported, and the worker who takes the parts used in the assembly work from the transport path at the workshop and performs the assembly work using the parts, carries out the object to be transported. This is an example of a user who takes

図２は、注文管理装置２０の機能構成の一例を示すブロック図である。図３は、注文処理端末３０の機能構成の一例を示すブロック図である。図４は、搬送容器４０の機能構成例の一例を示すブロック図である。図５は、搬送装置５０の機能構成例の一例を示すブロック図である。図６は、注文端末１０－１の機能構成例の一例を示すブロック図である。図７は、表示制御システム１が導入される店内の俯瞰図の一例を示す図である。 FIG. 2 is a block diagram showing an example of the functional configuration of the order management device 20. As shown in FIG. FIG. 3 is a block diagram showing an example of the functional configuration of the order processing terminal 30. As shown in FIG. FIG. 4 is a block diagram showing an example of a functional configuration of the transport container 40. As shown in FIG. FIG. 5 is a block diagram showing an example of a functional configuration of the transport device 50. As shown in FIG. FIG. 6 is a block diagram showing an example of a functional configuration of the order terminal 10-1. FIG. 7 is a diagram showing an example of a bird's-eye view of the interior of the store where the display control system 1 is installed.

図７に示されるように、店内には、顧客の席の例として、Ａ席からＤ席までの４席が設けられている。ただし、店内に設けられる顧客の席は、４席に限定されず、複数であればよい。また、Ａ席からＤ席までのそれぞれには、着席する顧客から視認され得る場所に、注文端末１０－１が設けられている。 As shown in FIG. 7, there are four customer seats, A to D, as examples of customer seats. However, the number of customer seats provided in the store is not limited to four, but may be more than one. Further, in each of seats A to D, an order terminal 10-1 is provided at a location that can be seen by seated customers.

図７に示されるように、本発明の実施形態においては、Ａ席に設けられる注文端末１０－１のＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を「Ａ」と表現する。同様に、Ｂ席に設けられる注文端末１０－１のＩＤを「Ｂ」と表現し、Ｃ席に設けられる注文端末１０－１のＩＤを「Ｃ」と表現し、Ｄ席に設けられる注文端末１０－１のＩＤを「Ｄ」と表現する。なお、注文端末１０－１のＩＤは、注文端末１０－１が備える表示部１０８（図６）に対応する情報の例に該当する。 As shown in FIG. 7, in the embodiment of the present invention, the ID (identification) of the order terminal 10-1 provided at seat A is expressed as "A". Similarly, the ID of the ordering terminal 10-1 provided in the B seat is expressed as "B", the ID of the ordering terminal 10-1 provided in the C seat is expressed as "C", and the ID of the ordering terminal 10-1 provided in the D seat is expressed as "C". The ID of 10-1 is expressed as "D". Note that the ID of the order terminal 10-1 corresponds to an example of information corresponding to the display section 108 (FIG. 6) included in the order terminal 10-1.

さらに、図７に示されるように、搬送路５００は、「搬送方向」に移動するように搬送装置５０における制御部５０４（図５）によって制御される。搬送路５００の「搬送方向」への移動に伴って、搬送路５００に載せられている搬送容器４０、搬送容器４０上の皿、皿上の商品などが搬送方向に搬送される。Ａ席からＤ席までのそれぞれに存在する顧客は、搬送容器４０が自分の存在する席に近づくと、商品が載せられた皿を取ることが可能である。 Furthermore, as shown in FIG. 7, the conveyance path 500 is controlled by the control unit 504 (FIG. 5) in the conveyance device 50 to move in the "conveyance direction." As the transport path 500 moves in the "transport direction", the transport containers 40 placed on the transport path 500, the plates on the transport containers 40, the products on the plates, etc. are transported in the transport direction. Customers present at each of seats A to D can take the plate on which the product is placed when the transport container 40 approaches the seat where they are present.

その他、図７に示されるように、店内には、注文管理装置２０および注文処理端末３０が設けられている。また、図７には示されていないが、店内には、通信装置６０が設けられている。 Additionally, as shown in FIG. 7, an order management device 20 and an order processing terminal 30 are provided in the store. Although not shown in FIG. 7, a communication device 60 is provided inside the store.

通信装置６０は、注文端末１０－１、注文管理装置２０、注文処理端末３０、搬送容器４０および搬送装置５０のうち、送信元の装置から送信先の装置にデータを中継する機能を有する。以下では、図２～図６を参照しながら、注文端末１０－１、注文管理装置２０、注文処理端末３０、搬送容器４０および搬送装置５０それぞれの機能構成例について説明する。 The communication device 60 has a function of relaying data from a source device to a destination device among the order terminal 10-1, order management device 20, order processing terminal 30, transport container 40, and transport device 50. Below, examples of functional configurations of the order terminal 10-1, order management device 20, order processing terminal 30, transport container 40, and transport device 50 will be described with reference to FIGS. 2 to 6.

以上、本発明の第１の実施形態に係る表示制御システム１の概略的な構成の一例について説明した。 An example of the schematic configuration of the display control system 1 according to the first embodiment of the present invention has been described above.

（１－２．注文管理装置の機能構成）
次に、図２を参照して、本発明の第１の実施形態に係る注文管理装置２０の機能構成の一例を説明する。図２を参照すると、注文管理装置２０は、表示部２００、操作部２０１、通信部２０２、記憶部２０３および制御部２０４を備える。 (1-2. Functional configuration of order management device)
Next, an example of the functional configuration of the order management device 20 according to the first embodiment of the present invention will be described with reference to FIG. 2. Referring to FIG. 2, the order management device 20 includes a display section 200, an operation section 201, a communication section 202, a storage section 203, and a control section 204.

（表示部２００）
表示部２００は、各種情報の表示を行う機能を有する。ここで、表示部２００の形態は特に限定されない。例えば、表示部２００は、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置であってもよいし、ランプなどの表示装置であってもよい。 (Display section 200)
The display unit 200 has a function of displaying various information. Here, the form of the display section 200 is not particularly limited. For example, the display unit 200 may be a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or a display device such as a lamp.

（操作部２０１）
操作部２０１は、店員によって入力される操作を受け付ける。ここで、操作部２０１の形態は特に限定されない。例えば、操作部２０１は、マウスであってもよいし、キーボードを含んでもよいし、タッチパネルを含んでもよいし、他の入力デバイスを含んでもよい。 (Operation unit 201)
The operation unit 201 accepts operations input by a store clerk. Here, the form of the operation unit 201 is not particularly limited. For example, the operation unit 201 may be a mouse, may include a keyboard, may include a touch panel, or may include other input devices.

（通信部２０２）
通信部２０２は、他の装置と通信を行う。例えば、通信部２０２は、通信装置６０に直接的に接続され、通信装置６０を介して他の装置と通信を行う。なお、通信部２０２は、通信インタフェースにより実現され得る。 (Communication Department 202)
The communication unit 202 communicates with other devices. For example, the communication unit 202 is directly connected to the communication device 60 and communicates with other devices via the communication device 60. Note that the communication unit 202 may be realized by a communication interface.

（記憶部２０３）
記憶部２０３は、各種情報を記憶することが可能なメモリによって構成される。本発明の実施形態では、記憶部２０３が、不揮発性のメモリである場合を主に想定する。しかし、記憶部２０３は、揮発性のメモリであってもよい。 (Storage unit 203)
The storage unit 203 is constituted by a memory capable of storing various information. The embodiment of the present invention mainly assumes that the storage unit 203 is a nonvolatile memory. However, the storage unit 203 may be a volatile memory.

（制御部２０４）
制御部２０４は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などを含み、記憶部２０３により記憶されているプログラムがＣＰＵによりＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。 (Control unit 204)
The control unit 204 includes a CPU (Central Processing Unit) and the like, and its functions can be realized by loading a program stored in the storage unit 203 into a RAM (Random Access Memory) and executing the program by the CPU.

このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。制御部２０４は、注文管理装置２０の全体の動作を制御する。 At this time, a computer-readable recording medium on which the program is recorded may also be provided. Alternatively, these blocks may be configured by dedicated hardware or a combination of multiple pieces of hardware. The control unit 204 controls the overall operation of the order management device 20.

制御部２０４は、通信部２０２によって注文端末１０－１から注文情報が受信されたことに基づいて、通信部２０２によって受信された注文情報を記憶するように記憶部２０３を制御する。注文情報については、後に詳細に説明する。 The control unit 204 controls the storage unit 203 to store the order information received by the communication unit 202 based on the communication unit 202 receiving the order information from the order terminal 10-1. Order information will be explained in detail later.

また、制御部２０４は、操作部２０１に対して店員から注文情報の表示指示が入力されたことに基づいて、記憶部２０３に記憶されている注文情報を表示するように表示部２００を制御する。 Further, the control unit 204 controls the display unit 200 to display the order information stored in the storage unit 203 based on an instruction to display the order information input from the store clerk to the operation unit 201. .

さらに、制御部２０４は、通信部２０２によって注文端末１０－１から注文番号が受信されたことに基づいて、注文情報において、注文番号に対応付けられた搬送予定数を、注文番号の送信元の注文端末１０－１に送信するように通信部２０２を制御する。 Furthermore, based on the fact that the communication unit 202 has received the order number from the order terminal 10-1, the control unit 204 inputs the scheduled transport quantity associated with the order number in the order information to the sender of the order number. The communication unit 202 is controlled to transmit to the order terminal 10-1.

以上、本発明の第１の実施形態に係る注文管理装置２０の機能構成の一例について説明した。 An example of the functional configuration of the order management device 20 according to the first embodiment of the present invention has been described above.

（１－３．注文処理端末の機能構成）
次に、図３を参照して、本発明の第１の実施形態に係る注文処理端末３０の機能構成の一例を説明する。図３を参照すると、注文処理端末３０は、表示部３００、操作部３０１、送信部３０２、記憶部３０３、通信部３０４および制御部３０５を備える。 (1-3. Functional configuration of order processing terminal)
Next, with reference to FIG. 3, an example of the functional configuration of the order processing terminal 30 according to the first embodiment of the present invention will be described. Referring to FIG. 3, the order processing terminal 30 includes a display section 300, an operation section 301, a transmission section 302, a storage section 303, a communication section 304, and a control section 305.

（表示部３００）
表示部３００は、各種情報の表示を行う機能を有する。ここで、表示部３００の形態は特に限定されない。例えば、表示部３００は、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置であってもよいし、ランプなどの表示装置であってもよい。 (Display section 300)
The display unit 300 has a function of displaying various information. Here, the form of the display section 300 is not particularly limited. For example, the display unit 300 may be a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or a display device such as a lamp.

（操作部３０１）
操作部３０１は、店員によって入力される操作を受け付ける。ここで、操作部３０１の形態は特に限定されない。例えば、操作部３０１は、マウスであってもよいし、キーボードを含んでもよいし、タッチパネルを含んでもよいし、他の入力デバイスを含んでもよい。 (Operation unit 301)
The operation unit 301 accepts operations input by a store clerk. Here, the form of the operation unit 301 is not particularly limited. For example, the operation unit 301 may be a mouse, may include a keyboard, may include a touch panel, or may include other input devices.

（送信部３０２）
送信部３０２は、搬送容器４０に対して情報の送信を行う。例えば、送信部３０２は、搬送容器４０と無線接続されており、無線通信により、搬送容器４０に対して情報の送信を行う。 (Transmission unit 302)
The transmitter 302 transmits information to the transport container 40 . For example, the transmitter 302 is wirelessly connected to the transport container 40 and transmits information to the transport container 40 by wireless communication.

（記憶部３０３）
記憶部３０３は、各種情報を記憶することが可能なメモリによって構成される。本発明の実施形態では、記憶部３０３が、不揮発性のメモリである場合を主に想定する。しかし、記憶部３０３は、揮発性のメモリであってもよい。 (Storage unit 303)
The storage unit 303 is constituted by a memory capable of storing various information. The embodiment of the present invention mainly assumes that the storage unit 303 is a nonvolatile memory. However, the storage unit 303 may be a volatile memory.

（通信部３０４）
通信部３０４は、他の装置と通信を行う。例えば、通信部３０４は、通信装置６０に直接的に接続され、通信装置６０を介して他の装置と通信を行う。なお、通信部３０４は、通信インタフェースにより実現され得る。 (Communication Department 304)
The communication unit 304 communicates with other devices. For example, the communication unit 304 is directly connected to the communication device 60 and communicates with other devices via the communication device 60. Note that the communication unit 304 may be realized by a communication interface.

（制御部３０５）
制御部３０５は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などを含み、記憶部３０３により記憶されているプログラムがＣＰＵによりＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。 (Control unit 305)
The control unit 305 includes a CPU (Central Processing Unit) and the like, and its functions can be realized by loading a program stored in the storage unit 303 into a RAM (Random Access Memory) and executing the program by the CPU.

このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。制御部３０５は、注文処理端末３０の全体の動作を制御する。 At this time, a computer-readable recording medium on which the program is recorded may also be provided. Alternatively, these blocks may be configured by dedicated hardware or a combination of multiple pieces of hardware. The control unit 305 controls the overall operation of the order processing terminal 30.

制御部３０５は、通信部３０４によって注文端末１０－１から注文情報が受信されたことに基づいて、通信部３０４によって受信された注文情報を記憶するように記憶部３０３を制御する。また、制御部３０５は、操作部３０１に対して店員から注文情報の表示指示が入力されたことに基づいて、記憶部３０３に記憶されている注文情報を表示するように表示部３００を制御する。 The control unit 305 controls the storage unit 303 to store the order information received by the communication unit 304 based on the communication unit 304 receiving the order information from the order terminal 10-1. Further, the control unit 305 controls the display unit 300 to display the order information stored in the storage unit 303 based on an instruction to display the order information input from the store clerk to the operation unit 301. .

制御部３０５は、注文情報を視認した店員によって、注文された商品が処理された後（すなわち、注文された商品が皿に載せられ、当該皿が搬送容器４０に載せられ、当該搬送容器４０が搬送路５００に載せられた後に）、操作部３０１に対して店員から処理完了操作が入力されたことに基づいて、当該商品の注文の入力を受け付けた注文端末１０－１のＩＤ（すなわち、搬送先ＩＤ）と当該注文番号とを搬送容器４０に送信するように送信部３０２を制御する。 After the ordered product is processed by the store clerk who visually confirmed the order information (that is, the ordered product is placed on a plate, the plate is placed on the transport container 40, and the transport container 40 is After the product is placed on the transport path 500), the ID of the order terminal 10-1 that received the input of the order for the product (i.e., the transport The transmitter 302 is controlled to transmit the destination ID) and the order number to the transport container 40.

以上、本発明の第１の実施形態に係る注文処理端末３０の機能構成の一例について説明した。 An example of the functional configuration of the order processing terminal 30 according to the first embodiment of the present invention has been described above.

（１－４．搬送容器の機能構成）
次に、図４を参照して、本発明の第１の実施形態に係る搬送容器４０の機能構成の一例を説明する。図４を参照すると、搬送容器４０は、受信部４００、記憶部４０１、送信部４０２および制御部４０３を備える。 (1-4. Functional configuration of transport container)
Next, with reference to FIG. 4, an example of the functional configuration of the transport container 40 according to the first embodiment of the present invention will be described. Referring to FIG. 4, the transport container 40 includes a receiving section 400, a storage section 401, a transmitting section 402, and a control section 403.

（受信部４００）
受信部４００は、注文処理端末３０から情報の受信を行う。例えば、受信部４００は、注文処理端末３０と無線接続されており、無線通信により、注文処理端末３０から情報の受信を行う。 (Receiving unit 400)
The receiving unit 400 receives information from the order processing terminal 30. For example, the receiving unit 400 is wirelessly connected to the order processing terminal 30 and receives information from the order processing terminal 30 through wireless communication.

（記憶部４０１）
記憶部４０１は、各種情報を記憶することが可能なメモリによって構成される。本発明の実施形態では、記憶部４０１が、不揮発性のメモリである場合を主に想定する。しかし、記憶部４０１は、揮発性のメモリであってもよい。 (Storage unit 401)
The storage unit 401 is composed of a memory that can store various information. The embodiment of the present invention mainly assumes that the storage unit 401 is a nonvolatile memory. However, the storage unit 401 may be a volatile memory.

（送信部４０２）
送信部４０２は、注文端末１０－１に対して情報の送信を行う。例えば、送信部４０２は、注文端末１０－１と無線接続されており、無線通信により、注文端末１０－１に対して情報の送信を行う。 (Transmission unit 402)
The transmitter 402 transmits information to the order terminal 10-1. For example, the transmitter 402 is wirelessly connected to the order terminal 10-1, and transmits information to the order terminal 10-1 through wireless communication.

（制御部４０３）
制御部４０３は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などを含み、記憶部４０３により記憶されているプログラムがＣＰＵによりＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。 (Control unit 403)
The control unit 403 includes a CPU (Central Processing Unit) and the like, and its functions can be realized by the program stored in the storage unit 403 being loaded into a RAM (Random Access Memory) and executed by the CPU.

このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。制御部４０３は、注文端末１０－１の全体の動作を制御する。 At this time, a computer-readable recording medium on which the program is recorded may also be provided. Alternatively, these blocks may be configured by dedicated hardware or a combination of multiple pieces of hardware. Control unit 403 controls the overall operation of order terminal 10-1.

制御部４０３は、受信部４００によって注文処理端末３０から搬送先ＩＤと注文番号とが受信されたことに基づいて、受信部４００によって受信された搬送先ＩＤと注文番号とを記憶するように記憶部４０３を制御する。また、制御部４０３は、記憶部４０３に記憶されている搬送先ＩＤと注文番号とを注文端末１０－１に送信するように送信部４０２を制御する。 The control unit 403 stores the destination ID and order number received by the receiving unit 400 based on the receiving unit 400 receiving the destination ID and order number from the order processing terminal 30. 403. Furthermore, the control unit 403 controls the transmitting unit 402 to transmit the destination ID and order number stored in the storage unit 403 to the order terminal 10-1.

以上、本発明の第１の実施形態に係る搬送容器４０の機能構成の一例について説明した。 An example of the functional configuration of the transport container 40 according to the first embodiment of the present invention has been described above.

（１－５．搬送装置の機能構成）
次に、図５を参照して、本発明の第１の実施形態に係る搬送装置５０の機能構成の一例を説明する。図５を参照すると、搬送装置５０は、搬送路５００、操作部５０１、表示部５０２、通信部５０３および制御部５０４を備える。 (1-5. Functional configuration of transport device)
Next, with reference to FIG. 5, an example of the functional configuration of the transport device 50 according to the first embodiment of the present invention will be described. Referring to FIG. 5, the transport device 50 includes a transport path 500, an operation section 501, a display section 502, a communication section 503, and a control section 504.

（搬送路５００）
搬送路５００は、（商品が載せられた）皿が載せられた搬送容器４０（以下、単に「皿が載せられた搬送容器４０」とも言う。）を搬送する。例えば、搬送路５００は、皿が載せられた搬送容器４０を循環させながら搬送する。したがって、皿が載せられた搬送容器４０は、搬送路５００に一度載せられると、搬送路５００から外されない限り、循環することを繰り返す。 (Transport path 500)
The conveyance path 500 conveys a conveyance container 40 on which a plate (on which a product is placed) is placed (hereinafter also simply referred to as "the conveyance container 40 on which a plate is placed"). For example, the conveyance path 500 circulates and conveys the conveyance container 40 on which a plate is placed. Therefore, once the transport container 40 loaded with the plate is placed on the transport path 500, it repeats circulation as long as it is not removed from the transport path 500.

（操作部５０１）
操作部５０１は、店員によって入力される操作を受け付ける。ここで、操作部５０１の形態は特に限定されない。例えば、操作部５０１は、マウスであってもよいし、キーボードを含んでもよいし、タッチパネルを含んでもよいし、他の入力デバイスを含んでもよい。 (Operation unit 501)
The operation unit 501 accepts operations input by a store clerk. Here, the form of the operation unit 501 is not particularly limited. For example, the operation unit 501 may be a mouse, may include a keyboard, may include a touch panel, or may include other input devices.

（表示部５０２）
表示部５０２は、各種情報の表示を行う機能を有する。ここで、表示部５０２の形態は特に限定されない。例えば、表示部５０２は、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置であってもよいし、ランプなどの表示装置であってもよい。 (Display section 502)
The display unit 502 has a function of displaying various information. Here, the form of the display section 502 is not particularly limited. For example, the display unit 502 may be a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or a display device such as a lamp.

（通信部５０３）
通信部５０３は、他の装置と通信を行う。例えば、通信部５０３は、通信装置６０に直接的に接続され、通信装置６０を介して他の装置と通信を行う。なお、通信部５０３は、通信インタフェースにより実現され得る。 (Communication Department 503)
The communication unit 503 communicates with other devices. For example, the communication unit 503 is directly connected to the communication device 60 and communicates with other devices via the communication device 60. Note that the communication unit 503 may be realized by a communication interface.

（制御部５０４）
制御部５０４は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などを含み、図示しない記憶部により記憶されているプログラムがＣＰＵによりＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。 (Control unit 504)
The control unit 504 includes a CPU (Central Processing Unit) and the like, and its functions can be realized by the CPU loading a program stored in a storage unit (not shown) into a RAM (Random Access Memory) and executing it. .

このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。制御部５０４は、搬送装置５０の全体の動作を制御する。 At this time, a computer-readable recording medium on which the program is recorded may also be provided. Alternatively, these blocks may be configured by dedicated hardware or a combination of multiple pieces of hardware. The control unit 504 controls the overall operation of the transport device 50.

制御部５０４は、搬送路５００の搬送を制御する。例えば、制御部５０４は、操作部５０１に対して店員から搬送装置５０の設定情報（例えば、搬送速度など）が入力されたことに基づいて、設定情報に従って搬送路５００の搬送を制御する。さらに、制御部５０４は、搬送装置５０の状況を示す情報（例えば、搬送動作中、搬送停止中など）を表示するように表示部５０２を制御する。 The control unit 504 controls transport on the transport path 500. For example, the control unit 504 controls the conveyance of the conveyance path 500 in accordance with the setting information, based on the setting information (for example, conveyance speed, etc.) of the conveyance device 50 being input by a store clerk to the operation unit 501. Further, the control unit 504 controls the display unit 502 to display information indicating the status of the transport device 50 (for example, during transport operation, during transport stop, etc.).

以上、本発明の第１の実施形態に係る搬送装置５０の機能構成の一例について説明した。 An example of the functional configuration of the transport device 50 according to the first embodiment of the present invention has been described above.

（１－６．注文端末の機能構成）
次に、図６を参照して、本発明の第１の実施形態に係る注文端末１０－１の機能構成の一例を説明する。図６を参照すると、注文端末１０－１は、制御部１００、撮像部１０１、受信部１０５、記憶部１０６、操作部１０７、表示部１０８、通信部１０９および音声出力部１１０を備える。 (1-6. Functional configuration of order terminal)
Next, an example of the functional configuration of the order terminal 10-1 according to the first embodiment of the present invention will be described with reference to FIG. Referring to FIG. 6, the order terminal 10-1 includes a control section 100, an imaging section 101, a reception section 105, a storage section 106, an operation section 107, a display section 108, a communication section 109, and an audio output section 110.

（撮像部１０１）
撮像部１０１は、搬送路５００の所定の範囲（第１の範囲）を撮像することにより撮像映像（第１の撮像映像）を得る。例えば、撮像部１０１によって撮像される所定の範囲は、注文端末１０－１が備える表示部１０８を視認可能な顧客の席から手の届く搬送路５００の範囲であり得る。 (Imaging unit 101)
The imaging unit 101 obtains a captured image (first captured image) by capturing an image of a predetermined range (first range) of the transport path 500. For example, the predetermined range imaged by the imaging unit 101 may be the range of the conveyance path 500 within reach from the customer's seat where the display unit 108 included in the order terminal 10-1 can be viewed.

本発明の実施形態においては、撮像部１０１が二つの搬送路撮像部１１２－１、１１２－２（図８）によって構成される場合を想定する。しかし、撮像部１０１は、三つ以上の搬送路撮像部によって構成されていてもよいし、一つの搬送路撮像部によって構成されていてもよい。なお、撮像部１０１は、可視光カメラによって構成されてよい。 In the embodiment of the present invention, it is assumed that the imaging section 101 is composed of two transport path imaging sections 112-1 and 112-2 (FIG. 8). However, the imaging unit 101 may be configured by three or more transport path imaging units, or may be configured by one transport path imaging unit. Note that the imaging unit 101 may be configured by a visible light camera.

（受信部１０５）
受信部１０５は、搬送容器４０から情報の受信を行う。例えば、受信部１０５は、搬送容器４０と無線接続されており、無線通信により、搬送容器４０から情報の受信を行う。 (Receiving unit 105)
The receiving unit 105 receives information from the transport container 40 . For example, the receiving unit 105 is wirelessly connected to the transport container 40 and receives information from the transport container 40 through wireless communication.

（記憶部１０６）
記憶部１０６は、各種情報を記憶することが可能なメモリによって構成される。本発明の実施形態では、記憶部１０６が、不揮発性のメモリである場合を主に想定する。しかし、記憶部１０６は、揮発性のメモリであってもよい。 (Storage unit 106)
The storage unit 106 is composed of a memory capable of storing various information. The embodiment of the present invention mainly assumes that the storage unit 106 is a nonvolatile memory. However, the storage unit 106 may be a volatile memory.

（操作部１０７）
操作部１０７は、店員によって入力される操作を受け付ける。ここで、操作部１０７の形態は特に限定されない。例えば、操作部１０７は、マウスであってもよいし、キーボードを含んでもよいし、タッチパネルを含んでもよいし、他の入力デバイスを含んでもよい。 (Operation unit 107)
The operation unit 107 accepts operations input by a store clerk. Here, the form of the operation unit 107 is not particularly limited. For example, the operation unit 107 may be a mouse, may include a keyboard, may include a touch panel, or may include other input devices.

（表示部１０８）
表示部１０８は、出力部の一例として機能し、制御部１００による制御に従って、顧客の視覚によって知覚される視覚情報を出力する。例えば、表示部１０８は、情報の表示を行うディスプレイにより実現され得る。ここで、表示部１０８の形態は特に限定されない。例えば、表示部１０８は、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置であってもよいし、ランプなどの表示装置であってもよい。 (Display section 108)
The display unit 108 functions as an example of an output unit, and outputs visual information perceived by the customer's eyes under the control of the control unit 100. For example, the display unit 108 may be realized by a display that displays information. Here, the form of the display section 108 is not particularly limited. For example, the display unit 108 may be a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or a display device such as a lamp.

なお、表示部１０８は、第１の表示部の例として機能する。さらに、表示部１０８は、搬送路５００における搬送先に移動した皿を取る顧客から視認可能な位置に設けられる第２の表示部の例としても機能する。かかる第２の表示部は、搬送先ＩＤ（第２の情報）に対応する。また、かかる第２の表示部は、搬送路５００における搬送先を含んだ範囲（第２の範囲）が撮像部１０１によって撮像されて得られた撮像映像（第２の撮像映像）を表示する。 Note that the display unit 108 functions as an example of a first display unit. Furthermore, the display section 108 also functions as an example of a second display section provided at a position that is visible from the customer who takes the plate that has been moved to the conveyance destination on the conveyance path 500. The second display section corresponds to the destination ID (second information). Further, the second display unit displays a captured image (second captured image) obtained by capturing an image of a range (second range) including the conveyance destination on the conveyance path 500 by the imaging unit 101.

（通信部１０９）
通信部１０９は、他の装置と通信を行う。例えば、通信部１０９は、通信装置６０に直接的に接続され、通信装置６０を介して他の装置と通信を行う。なお、通信部１０９は、通信インタフェースにより実現され得る。 (Communication Department 109)
The communication unit 109 communicates with other devices. For example, the communication unit 109 is directly connected to the communication device 60 and communicates with other devices via the communication device 60. Note that the communication unit 109 may be realized by a communication interface.

（音声出力部１１０）
音声出力部１１０は、出力部の一例として機能し、制御部１００による制御に従って、顧客の聴覚によって知覚される聴覚情報を出力する。なお、音声出力部１１０は、スピーカにより実現され得る。このとき、音声出力部１１０によって出力される聴覚情報は、スピーカによって出力される音であり得る。 (Audio output unit 110)
The audio output unit 110 functions as an example of an output unit, and outputs auditory information perceived by the customer's hearing under the control of the control unit 100. Note that the audio output unit 110 may be realized by a speaker. At this time, the auditory information output by the audio output unit 110 may be sound output from a speaker.

（制御部１００）
ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などを含み、記憶部１０６により記憶されているプログラムがＣＰＵによりＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。 (Control unit 100)
The function can be realized by a program stored in the storage unit 106 including a CPU (Central Processing Unit) and the like being loaded into a RAM (Random Access Memory) and executed by the CPU.

このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。制御部１００は、注文端末１０－１の全体の動作を制御する。 At this time, a computer-readable recording medium on which the program is recorded may also be provided. Alternatively, these blocks may be configured by dedicated hardware or a combination of multiple pieces of hardware. Control unit 100 controls the overall operation of order terminal 10-1.

図６に示されるように、制御部１００は、映像生成部１０２、画像検出部１０３－１および出力制御部１０４－１を備える。 As shown in FIG. 6, the control section 100 includes a video generation section 102, an image detection section 103-1, and an output control section 104-1.

（映像生成部１０２）
映像生成部１０２は、搬送路撮像部１１２－１、１１２－２（図８）それぞれによって撮像されて得られた搬送路映像をつなぎ合わせることにより、撮像映像（第１の撮像映像）を生成する。 (Video generation unit 102)
The image generation unit 102 generates a captured image (first captured image) by joining together the conveyance path images obtained by being imaged by the conveyance path imaging units 112-1 and 112-2 (FIG. 8). .

（画像検出部１０３－１）
画像検出部１０３－１は、受信部１０５によって搬送容器４０から搬送先ＩＤと注文番号とが受信されたことに基づいて、搬送先ＩＤと注文端末１０－１のＩＤとが一致するか否かを判定する。画像検出部１０３－１は、搬送先ＩＤと注文端末１０－１のＩＤとが一致する場合に、注文情報において、注文番号に対応付けられた搬送予定数を、注文管理装置２０から取得する。 (Image detection unit 103-1)
The image detection unit 103-1 determines whether the destination ID and the ID of the order terminal 10-1 match based on the reception unit 105 receiving the destination ID and order number from the transportation container 40. Determine. If the destination ID and the ID of the order terminal 10-1 match, the image detection unit 103-1 acquires the scheduled number of shipments associated with the order number in the order information from the order management device 20.

画像検出部１０３－１は、映像生成部１０２によって生成された撮像映像に基づいて、撮像映像における第１の領域から、注文管理装置２０から取得した搬送予定数と同数の搬送容器４０上の皿を検出する。例えば、「搬送容器４０上の皿」は、撮像部１０１を視点として、搬送容器４０のうち皿に遮蔽されない部分に隣接する、皿のうち商品に遮蔽されない部分であってよい。 Based on the captured image generated by the image generating unit 102, the image detection unit 103-1 detects the same number of dishes on the transport containers 40 as the scheduled number of transport acquired from the order management device 20 from the first area in the captured image. Detect. For example, "the plate on the transport container 40" may be a part of the plate that is not covered by the product and is adjacent to a part of the transport container 40 that is not covered by the plate when viewed from the imaging unit 101.

また、本発明の実施形態においては、搬送容器４０および搬送容器４０上の皿が、撮像映像における左端から右端に向かって移動する場合を主に想定する。このとき、第１の領域は、撮像領域における左端領域である。しかし、第１の領域は、撮像映像における搬送容器４０および搬送容器４０上の皿の移動方向に応じて決められてよく、搬送容器４０および搬送容器４０上の皿が撮像映像に写り始める領域であってよい。 Furthermore, in the embodiment of the present invention, a case is mainly assumed in which the transport container 40 and the plate on the transport container 40 move from the left end to the right end in the captured image. At this time, the first area is the left end area in the imaging area. However, the first region may be determined according to the moving direction of the transport container 40 and the dishes on the transport container 40 in the captured image, and is the region where the transport container 40 and the dishes on the transport container 40 begin to appear in the captured image. It's good to be there.

画像検出部１０３－１は、撮像映像における左端領域から、搬送予定数と同数の搬送容器４０上の皿を検出したことに基づいて、撮像映像において搬送容器４０および搬送容器４０上の皿の追随を開始する。画像検出部１０３－１は、追随中の皿の、搬送方向と異なる方向への移動を検出する。 The image detection unit 103-1 detects the same number of plates on the transport container 40 as the number of scheduled transports from the left end area in the captured image, and detects the following of the transport container 40 and the plates on the transport container 40 in the captured image. Start. The image detection unit 103-1 detects movement of the plate being followed in a direction different from the conveyance direction.

追随中の皿が搬送方向と異なる方向に移動することは、顧客によって搬送路から皿を取る動作が行われたこととみなされ得る。そこで、画像検出部１０３－１は、搬送方向と異なる方向への追随中の皿の移動を検出したことに基づいて、撮像映像において搬送容器４０および搬送容器４０上の搬送容器４０上の皿の追随を終了する。 If the plate being followed moves in a direction different from the conveyance direction, it can be considered that the customer has taken the plate from the conveyance path. Therefore, the image detection unit 103-1 detects the movement of the tray being followed in a direction different from the transportation direction, and detects the transportation container 40 and the tray on the transportation container 40 in the captured video. End following.

（出力制御部１０４－１）
出力制御部１０４－１は、映像生成部１０２によって生成された撮像映像を表示するように表示部１０８を制御する。さらに、出力制御部１０４－１は、画像検出部１０３－１によって、搬送先ＩＤと注文端末１０－１のＩＤとが一致すると判定されたことに基づいて、撮像映像における搬送容器４０上の皿の位置に応じた領域に、表示オブジェクト（第１の表示オブジェクト）を重畳して表示するように表示部１０８を制御する。 (Output control unit 104-1)
The output control unit 104-1 controls the display unit 108 to display the captured video generated by the video generation unit 102. Further, the output control unit 104-1 determines that the tray on the transport container 40 in the captured image is based on the image detection unit 103-1 determining that the transport destination ID and the ID of the order terminal 10-1 match. The display unit 108 is controlled to display a display object (first display object) in a superimposed manner in an area corresponding to the position of the display object.

かかる構成によれば、顧客は、表示オブジェクトが表示された領域に対応する位置の皿を取ればよいことを把握することが可能になる。したがって、かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性が低減され得る。 According to this configuration, the customer can understand that he/she should pick up the plate at the position corresponding to the area where the display object is displayed. Therefore, according to this configuration, the possibility that a customer forgets to take the plate that he or she should take can be reduced.

本発明の実施形態において、表示オブジェクトが、透過性を有する画像である場合を主に想定する。このとき、出力制御部１０４－１は、画像検出部１０３－１によって、搬送先ＩＤと注文端末１０－１のＩＤとが一致すると判定されたことに基づいて、撮像映像における画像検出部１０３－１による追随中の皿の位置に応じた領域（すなわち、搬送容器４０および搬送容器４０上の皿の領域）に、透過性を有する画像を重畳して表示するように表示部１０８を制御する。 In the embodiment of the present invention, it is mainly assumed that the display object is a transparent image. At this time, the output control unit 104-1 controls the image detection unit 103-1 in the captured video based on the image detection unit 103-1 determining that the destination ID and the ID of the order terminal 10-1 match. The display unit 108 is controlled to display a transparent image superimposed on an area corresponding to the position of the dish being tracked by the controller 1 (that is, the transport container 40 and the region of the dish on the transport container 40).

かかる構成によれば、撮像映像における搬送容器４０および搬送容器４０上の皿の領域は、表示オブジェクトによって遮蔽されたとしても、顧客によって視認され得る。そのため、顧客が自分の取るべき皿を識別しやすくなり、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。 According to this configuration, the area of the transport container 40 and the plate on the transport container 40 in the captured image can be visually recognized by the customer even if it is hidden by the display object. Therefore, it becomes easier for the customer to identify the plate that he or she should take, and the possibility that the customer forgets to take the plate that he or she should take can be further reduced.

また、出力制御部１０４－１は、画像検出部１０３－１によって、搬送方向と異なる方向への追随中の皿の移動が検出されたことに基づいて、表示オブジェクトを撮像映像から消去するように表示部１０８を制御する。 The output control unit 104-1 also erases the display object from the captured video based on the image detection unit 103-1 detecting the movement of the plate being followed in a direction different from the transport direction. Controls the display unit 108.

さらに、出力制御部１０４－１は、画像検出部１０３－１によって、搬送方向と異なる方向への追随中の皿の移動が検出されたことに基づいて、成功を示す成功情報を出力するように出力部を制御する。出力部の一例には、表示部１０８が該当する。また、出力部の他の一例には、音声出力部１１０が該当する。 Furthermore, the output control unit 104-1 outputs success information indicating success based on the image detection unit 103-1 detecting movement of the plate being followed in a direction different from the conveyance direction. Controls the output section. The display unit 108 is an example of the output unit. Moreover, the audio output unit 110 corresponds to another example of the output unit.

本発明の実施形態においては、成功情報が、視覚によって知覚される所定の視覚情報である場合を主に想定する。かかる場合には、出力制御部１０４－１は、視覚情報（所定の画像）を表示するように表示部１０８を制御する。しかし、成功情報は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部１０４－１は、聴覚情報（所定の音）を出力するように音声出力部１１０を制御する。 In the embodiments of the present invention, it is mainly assumed that the success information is predetermined visual information perceived visually. In such a case, the output control unit 104-1 controls the display unit 108 to display visual information (a predetermined image). However, the success information may also include predetermined auditory information that is perceived by the sense of hearing. At this time, the output control section 104-1 controls the audio output section 110 to output auditory information (predetermined sound).

なお、搬送予定数と同数の搬送容器４０上の皿が検出された後には、これらの皿に続いて搬送される、搬送容器４０上の皿（第２の搬送対象物）は、画像検出部１０３－１によって検出されない。また、搬送予定数と同数の搬送容器４０上の皿が検出された後には、画像検出部１０３－１による搬送容器４０および搬送容器４０上の皿の追随が終了する。 Note that, after the same number of plates on the transport container 40 as the number to be transported are detected, the dishes on the transport container 40 (second transport object) that are transported following these dishes are detected by the image detection unit. Not detected by 103-1. Furthermore, after the same number of plates on the transport container 40 as the number of scheduled transports are detected, tracking of the transport container 40 and the dishes on the transport container 40 by the image detection unit 103-1 ends.

以上、本発明の第１の実施形態に係る注文端末１０－１の機能構成の一例について説明した。 An example of the functional configuration of the order terminal 10-1 according to the first embodiment of the present invention has been described above.

（１－７．システムの動作例）
続いて、本発明の第１の実施形態に係る表示制御システム１の動作例について説明する。まず、図８を参照しながら、本発明の第１の実施形態に係る表示制御システム１のうち顧客によって視認される各構成の位置関係の例について説明する。 (1-7. System operation example)
Next, an example of the operation of the display control system 1 according to the first embodiment of the present invention will be described. First, with reference to FIG. 8, an example of the positional relationship of each component visually recognized by a customer in the display control system 1 according to the first embodiment of the present invention will be described.

図８は、本発明の第１の実施形態に係る表示制御システム１のうち顧客によって視認される各構成の位置関係の例を示す図である。図８を参照すると、搬送路５００には、皿Ｄ１～Ｄ７が載せられている。また、搬送路５００には、皿Ｄ８が載せられた搬送容器４０－１と、皿Ｄ９が載せられた搬送容器４０－２とが載せられている。 FIG. 8 is a diagram showing an example of the positional relationship of each component of the display control system 1 according to the first embodiment of the present invention that is visually recognized by a customer. Referring to FIG. 8, plates D1 to D7 are placed on the conveyance path 500. Further, on the conveyance path 500, a conveyance container 40-1 on which a plate D8 is placed and a conveyance container 40-2 on which a plate D9 is placed are placed.

皿Ｄ１～Ｄ７、皿Ｄ８が載せられた搬送容器４０－１および皿Ｄ９が載せられた搬送容器４０－２は、皿Ｄ１を前方とし、皿Ｄ９が載せられた搬送容器４０－２を後方として列をなし、搬送路５００による搬送方向に搬送されている。 The transport container 40-1 on which the plates D1 to D7 and the dish D8 are placed, and the transport container 40-2 on which the plate D9 is placed, have the plate D1 at the front and the transport container 40-2 on which the plate D9 is placed at the rear. They form a row and are conveyed in the conveyance direction by the conveyance path 500.

なお、皿Ｄ１～Ｄ９それぞれには商品が載せられているが、皿Ｄ１～Ｄ９それぞれに載せられる商品の図示は省略されている。ただし、皿Ｄ８に商品「エビ」が載せられていることが「Ｄ８：エビ」によって示されている。同様に、皿Ｄ９に商品「エビ」が載せられていることが「Ｄ９：エビ」によって示されている。 Although products are placed on each of the plates D1 to D9, illustration of the products placed on each of the plates D1 to D9 is omitted. However, "D8: Shrimp" indicates that the product "shrimp" is placed on plate D8. Similarly, "D9: Shrimp" indicates that the product "shrimp" is placed on plate D9.

また、図８を参照すると、Ａ席のテーブルが存在しており、Ａ席に存在する顧客から視認される注文端末１０－１（ＩＤ：Ａ）が設けられている。注文端末１０－１（ＩＤ：Ａ）に対応する搬送路範囲は、搬送路５００のうち、Ａ席に存在する顧客から手の届く範囲である。また、注文端末１０－１（ＩＤ：Ａ）の受信部１０５と、注文端末１０－１（ＩＤ：Ａ）の搬送路撮像部１１２－１、１１２－２とが設けられている。 Further, referring to FIG. 8, there is a table at seat A, and an order terminal 10-1 (ID: A) is provided which is visible to the customer at seat A. The conveyance path range corresponding to the order terminal 10-1 (ID: A) is the range within the reach of the customer present at seat A on the conveyance path 500. Further, a receiving section 105 of the order terminal 10-1 (ID:A) and conveyance path imaging sections 112-1 and 112-2 of the order terminal 10-1 (ID:A) are provided.

搬送路撮像部１１２－１および搬送路撮像部１１２－２それぞれは、搬送路５００の上方に設けられ、注文端末１０－１（ＩＤ：Ａ）に対応する搬送路範囲を上方から撮像する。注文端末１０－１（ＩＤ：Ａ）に対応する搬送路範囲には、皿Ｄ２～Ｄ７が存在している。そして、搬送路撮像部１１２－１の撮像範囲には、皿Ｄ５～皿Ｄ７が存在している。一方、搬送路撮像部１１２－２の撮像範囲には、皿Ｄ２～Ｄ４が存在している。 The conveyance path imaging unit 112-1 and the conveyance path imaging unit 112-2 are each provided above the conveyance path 500, and image the conveyance path range corresponding to the order terminal 10-1 (ID:A) from above. Dishes D2 to D7 exist in the conveyance path range corresponding to order terminal 10-1 (ID: A). Dishes D5 to D7 are present in the imaging range of the conveyance path imaging section 112-1. On the other hand, plates D2 to D4 are present in the imaging range of the conveyance path imaging section 112-2.

このように、注文端末１０－１（ＩＤ：Ａ）に対応する搬送路範囲には、６皿が存在しているが、注文端末１０－１（ＩＤ：Ａ）に対応する搬送路範囲に存在する皿数は、６皿に限定されない。また、搬送路撮像部１１２－１および搬送路撮像部１１２－２それぞれの撮像範囲には、３皿が存在しているが、搬送路撮像部１１２－１および搬送路撮像部１１２－２それぞれの撮像範囲に存在する皿数も３皿ずつに限定されない。 In this way, six dishes exist in the conveyance path range corresponding to order terminal 10-1 (ID:A), but six dishes exist in the conveyance path range corresponding to order terminal 10-1 (ID:A). The number of dishes to be served is not limited to six. In addition, although there are three dishes in the imaging range of each of the transport path imaging unit 112-1 and the transport path imaging unit 112-2, each of the transport path imaging unit 112-1 and the transport path imaging unit 112-2 has The number of plates present in the imaging range is not limited to three plates each.

搬送路撮像部１１２－１および搬送路撮像部１１２－２それぞれによって撮像されて得られた搬送路映像は、映像生成部１０２によって、つなぎ合わされることによって一つの撮像映像が生成される。搬送路撮像部１１２－１および搬送路撮像部１１２－２は、当該一つの撮像映像に写る搬送路５００が連続するように、それぞれの撮像範囲が重複せず、かつ、隙間が生じないように設けられるのが望ましい。 The conveyance path images captured by the conveyance path imaging section 112-1 and the conveyance path imaging section 112-2 are combined by the image generation section 102 to generate one captured image. The conveyance path imaging unit 112-1 and the conveyance path imaging unit 112-2 are arranged so that their respective imaging ranges do not overlap and there is no gap so that the conveyance path 500 shown in the one captured image is continuous. It is desirable to have one.

受信部１０５は、搬送路撮像部１１２－１および搬送路撮像部１１２－２それぞれの撮像範囲よりも搬送方向の後方に設けられる。これによって、受信部１０５は、搬送路撮像部１１２－１および搬送路撮像部１１２－２の撮像範囲に入る前の搬送容器４０－１および搬送容器４０－２それぞれから、搬送先ＩＤを受信することが可能となる。なお、図８に示された例では、受信部１０５は、搬送路５００の上方に設けられているが、受信部１０５は、搬送路５００の下方に設けられていてもよい。 The receiving unit 105 is provided behind the imaging ranges of the transport path imaging unit 112-1 and the transport path imaging unit 112-2 in the transport direction. As a result, the receiving unit 105 receives the transport destination ID from each of the transport containers 40-1 and 40-2 before entering the imaging range of the transport path imaging unit 112-1 and the transport path imaging unit 112-2. becomes possible. Note that in the example shown in FIG. 8, the receiving section 105 is provided above the transport path 500, but the receiving section 105 may be provided below the transport path 500.

図９は、本発明の第１の実施形態に係る表示制御システム１の動作例を示すフローチャートの前半である。図１０は、本発明の第１の実施形態に係る表示制御システム１の動作例を示すフローチャートの後半である。まず、Ａ席の顧客によって、注文端末１０－１（ＩＤ：Ａ）の操作部１０７に対して注文内容が入力される。顧客による１回の注文内容の入力は、１回の注文に該当する。注文内容には、注文商品の種類と、種類ごとの注文商品の個数とが含まれる。 FIG. 9 is the first half of a flowchart showing an example of the operation of the display control system 1 according to the first embodiment of the present invention. FIG. 10 is the second half of a flowchart showing an example of the operation of the display control system 1 according to the first embodiment of the present invention. First, the customer in seat A inputs the order details into the operation section 107 of the order terminal 10-1 (ID: A). One input of order details by a customer corresponds to one order. The order details include the type of ordered product and the number of ordered products for each type.

制御部１０４－１は、注文内容に注文番号を付する他、注文内容に含まれる注文商品の個数の全種類についての合計数を搬送予定数として算出する。注文番号と、注文端末ＩＤと、注文内容と、搬送予定数とが対応付けられた注文情報は、通信部１０９によって、注文管理装置２０および注文処理端末３０それぞれに送信される。そして、注文情報は、注文管理装置２０の記憶部２０３および注文処理端末３０の記憶部３０３それぞれによって記憶される。 The control unit 104-1 not only attaches an order number to the order content, but also calculates the total number of all types of ordered products included in the order content as the scheduled number of items to be transported. Order information in which the order number, order terminal ID, order details, and scheduled number of items to be transported are associated with each other is transmitted by the communication unit 109 to the order management device 20 and the order processing terminal 30, respectively. The order information is stored in the storage unit 203 of the order management device 20 and the storage unit 303 of the order processing terminal 30, respectively.

図１１は、注文情報の例を示す図である。図１１に示されるように、注文情報は、注文番号と、注文端末ＩＤと、注文内容と、搬送予定数とが対応付けられて構成される。ここでは、注文番号「１」と、注文端末ＩＤ「Ａ」と、注文内容「エビ：２皿」と、搬送予定数「２皿」とが対応付けられた注文情報が、注文管理装置２０の記憶部２０３および注文処理端末３０の記憶部３０３それぞれによって記憶される。 FIG. 11 is a diagram showing an example of order information. As shown in FIG. 11, the order information is configured by associating an order number, order terminal ID, order details, and scheduled number of items to be transported. Here, order information in which order number "1", order terminal ID "A", order content "shrimp: 2 dishes", and planned number of conveyance "2 dishes" are associated is stored in the order management device 20. The information is stored in the storage unit 203 and the storage unit 303 of the order processing terminal 30, respectively.

注文処理端末３０において、表示部３００は、注文情報を表示する。店員は、表示部３００によって表示された注文情報を見ながら、注文された商品を処理する（すなわち、注文された商品が皿に載せ、当該皿を搬送容器４０に載せ、当該搬送容器４０を搬送路５００に載せる）。 In the order processing terminal 30, the display section 300 displays order information. The clerk processes the ordered product while viewing the order information displayed on the display unit 300 (that is, places the ordered product on a plate, places the plate on the transport container 40, and transports the transport container 40). 500).

図１２は、搬送容器４０および皿の配置例を示す図である。ここでは、図１１に示された注文情報に従って、店員が注文された商品を処理する場合を想定する。このとき、注文情報に含まれる注文内容は、「エビ：２皿」であるため、店員は、搬送容器４０－１に、商品「エビ」が載せられた皿Ｄ８を載せ、搬送容器４０－２に、商品「エビ」が載せられた皿Ｄ９を載せる。 FIG. 12 is a diagram showing an example of the arrangement of the transport container 40 and the dishes. Here, it is assumed that a store clerk processes an ordered product according to the order information shown in FIG. 11. At this time, since the order content included in the order information is "shrimp: 2 dishes," the clerk places the plate D8 on which the product "shrimp" is placed on the transport container 40-1, and Place plate D9 on which the product "shrimp" is placed.

なお、搬送容器４０は、撮像映像から検出されやすいように、皿より大きいサイズであるのが望ましい。さらに、搬送容器４０は、皿とは区別して識別されやすい視覚的特徴（例えば、形状または色など）を有しているのが望ましい。 Note that the transport container 40 is desirably larger in size than the plate so that it can be easily detected from the captured image. Further, it is desirable that the transport container 40 has a visual feature (eg, shape or color) that makes it easy to distinguish it from the dish.

図９に戻って説明を続ける。店員は、注文された商品を処理した後、注文処理端末３０の操作部３０１に対して、注文処理完了を入力する（Ｓ１００）。 Returning to FIG. 9, the explanation will be continued. After processing the ordered product, the clerk inputs the completion of order processing to the operation unit 301 of the order processing terminal 30 (S100).

注文処理端末３０において、注文処理完了が入力されたことに基づいて、送信部３０２は、搬送容器４０－１および搬送容器４０－２それぞれに対して、注文情報に含まれる注文番号「１」を送信するとともに、注文情報に含まれる注文端末ＩＤ「Ａ」を搬送先ＩＤ「Ａ」として送信する。 Based on the input of order processing completion in the order processing terminal 30, the transmitter 302 sends the order number "1" included in the order information to each of the transport container 40-1 and the transport container 40-2. At the same time, the order terminal ID "A" included in the order information is transmitted as the delivery destination ID "A".

搬送容器４０－１および搬送容器４０－２それぞれにおいて、受信部４００は、注文番号「１」と搬送先ＩＤ「Ａ」とを受信し、記憶部４０１は、注文番号「１」と搬送先ＩＤ「Ａ」とを記憶する（Ｓ１０１）。そして、搬送容器４０－１および搬送容器４０－２それぞれは、搬送路５００によって搬送される。搬送容器４０－１および搬送容器４０－２それぞれの送信部４０２は、注文番号「１」と搬送先ＩＤ「Ａ」とを送信する。 In each of the transport container 40-1 and the transport container 40-2, the receiving unit 400 receives the order number “1” and the transport destination ID “A”, and the storage unit 401 stores the order number “1” and the transport destination ID. "A" is stored (S101). Then, each of the transport container 40-1 and the transport container 40-2 is transported by a transport path 500. The transmitting unit 402 of each of the transport container 40-1 and the transport container 40-2 transmits the order number "1" and the transport destination ID "A".

図８に示されるように、注文端末１０－１（ＩＤ：Ａ）において、受信部１０５は、搬送容器４０－１の送信部４０２によって送信された、注文番号「１」と搬送先ＩＤ「Ａ」とを受信する。そして、注文端末１０－１（ＩＤ：Ａ）において、画像検出部１０３－１は、受信部１０５によって受信された搬送先ＩＤ「Ａ」と、注文端末１０－１のＩＤ「Ａ」とが一致するか否かを判定する（Ｓ１０２）。 As shown in FIG. 8, in the order terminal 10-1 (ID: A), the receiving unit 105 receives the order number “1” and the destination ID “A” transmitted by the transmitting unit 402 of the transport container 40-1. ” and receive. Then, in the order terminal 10-1 (ID: A), the image detection unit 103-1 detects that the destination ID “A” received by the reception unit 105 matches the ID “A” of the order terminal 10-1. It is determined whether or not to do so (S102).

仮に、受信部１０５によって受信された搬送先ＩＤと注文端末１０－１のＩＤとが一致しない場合には（Ｓ１０２において「ＮＯ」）、Ｓ１０２に再度動作が移行される。一方、受信部１０５によって受信された搬送先ＩＤと注文端末１０－１のＩＤとが一致する場合には（Ｓ１０２において「ＹＥＳ」）、Ｓ１０３に動作が移行される。ここでは、搬送先ＩＤ「Ａ」と、注文端末１０－１のＩＤ「Ａ」とが一致するため、Ｓ１０３に動作が移行される場合を想定する。 If the destination ID received by the receiving unit 105 and the ID of the order terminal 10-1 do not match ("NO" in S102), the operation returns to S102. On the other hand, if the delivery destination ID received by the receiving unit 105 and the ID of the order terminal 10-1 match ("YES" in S102), the operation moves to S103. Here, it is assumed that the destination ID "A" and the ID "A" of the order terminal 10-1 match, so the operation moves to S103.

注文端末１０－１（ＩＤ：Ａ）において、出力制御部１０４－１は、商品到着の通知画面を表示開始するように表示部１０８を制御する（Ｓ１０３）。 In order terminal 10-1 (ID: A), output control unit 104-1 controls display unit 108 to start displaying a product arrival notification screen (S103).

図１３は、商品到着の通知画面の例を示す図である。図１３を参照すると、商品到着の通知画面Ｎ１１が示されている。商品到着の通知画面Ｎ１１には、商品の到着を示す情報「注文品が到着しました」と注文内容「エビ２皿」とを含んだ、伝達内容情報Ｆ１１と、撮像映像Ｆ１２とが含まれる。撮像映像Ｆ１２は、搬送路撮像部１１２－１および搬送路撮像部１１２－２それぞれによって撮像されて得られた搬送路映像が、映像生成部１０２によってつなぎ合わされて生成された、注文端末１０－１（ＩＤ：Ａ）に対応する搬送路範囲の撮像映像である。 FIG. 13 is a diagram showing an example of a product arrival notification screen. Referring to FIG. 13, a product arrival notification screen N11 is shown. The product arrival notification screen N11 includes communication content information F11 including information indicating the arrival of the product, "Your order has arrived," and the order details, "2 dishes of shrimp," and a captured video F12. The captured image F12 is generated by piecing together the conveyance path images captured by the conveyance path imaging unit 112-1 and the conveyance path imaging unit 112-2 by the image generation unit 102, and is generated by the order terminal 10-1. This is a captured image of the transport path range corresponding to (ID:A).

注文端末１０－１（ＩＤ：Ａ）において、画像検出部１０３－１は、撮像映像に基づいて、撮像映像の左端領域に移動した搬送容器４０が検出されるかを試みる。 In the order terminal 10-1 (ID: A), the image detection unit 103-1 attempts to detect the transport container 40 that has moved to the left end area of the captured image based on the captured image.

図１４は、撮像映像の左端領域の例を示す図である。図１４を参照すると、商品到着の通知画面Ｎ１２における撮像映像の左端領域Ｆ１３が示されている。例えば、左端領域Ｆ１３における搬送方向の幅は、搬送容器４０－１における搬送方向の幅と同程度であってよい。さらに、左端領域Ｆ１３における搬送方向に垂直な方向の幅は、搬送容器４０－１における搬送方向に垂直な方向の幅と同程度以上であってよい。 FIG. 14 is a diagram showing an example of the left end area of the captured video. Referring to FIG. 14, a left end area F13 of the captured video on the product arrival notification screen N12 is shown. For example, the width of the left end region F13 in the transport direction may be approximately the same as the width of the transport container 40-1 in the transport direction. Further, the width of the left end region F13 in the direction perpendicular to the transport direction may be approximately equal to or larger than the width of the transport container 40-1 in the direction perpendicular to the transport direction.

なお、撮像映像の左端領域Ｆ１３に搬送容器４０が移動することは、搬送路５００による搬送容器４０の搬送によって、撮像映像の左端領域Ｆ１３に搬送容器４０の少なくとも一部が入ることを意味し得る。 Note that moving the transport container 40 to the left end region F13 of the captured image may mean that at least a portion of the transport container 40 enters the left end region F13 of the captured image by transporting the transport container 40 by the transport path 500. .

仮に、撮像映像の左端領域Ｆ１３に移動した搬送容器４０が検出されない場合には（Ｓ１０４において「ＮＯ」）、Ｓ１０４に動作が再度移行される。一方、撮像映像の左端領域Ｆ１３に移動した搬送容器４０が検出された場合には（Ｓ１０４において「ＹＥＳ」）、Ｓ１０５に動作が移行される。ここでは、搬送容器４０－１が撮像映像の左端領域Ｆ１３に移動したため、Ｓ１０５に動作が移行される場合を想定する。 If the transport container 40 that has moved to the left end area F13 of the captured image is not detected ("NO" in S104), the operation moves to S104 again. On the other hand, if the transport container 40 that has moved to the left end area F13 of the captured image is detected ("YES" in S104), the operation moves to S105. Here, it is assumed that the transport container 40-1 has moved to the left end area F13 of the captured image, so the operation is shifted to S105.

続いて、注文端末１０－１（ＩＤ：Ａ）において、画像検出部１０３－１は、撮像映像に基づいて、撮像映像の左端領域Ｆ１３に移動した搬送容器４０上の皿が検出されるかを試みる。なお、撮像映像の左端領域Ｆ１３に搬送容器４０上の皿が移動することは、搬送路５００による搬送容器４０の搬送によって、撮像映像の左端領域Ｆ１３に搬送容器４０上の皿の少なくとも一部が入ることを意味し得る。 Next, in the order terminal 10-1 (ID: A), the image detection unit 103-1 determines whether the plate on the transport container 40 that has moved to the left end area F13 of the captured image is detected based on the captured image. try. Note that moving the plate on the transport container 40 to the left end area F13 of the captured image means that at least a part of the plate on the transport container 40 moves to the left end area F13 of the captured image due to the transport of the transport container 40 by the transport path 500. It can mean to enter.

仮に、撮像映像の左端領域Ｆ１３に移動した、搬送容器４０上の皿が検出されない場合には（Ｓ１０５において「ＮＯ」）、Ｓ１０５に動作が再度移行される。一方、撮像映像の左端領域Ｆ１３に移動した、搬送容器４０上の皿が検出された場合には（Ｓ１０５において「ＹＥＳ」）、Ｓ１０６（図１０）に動作が移行される。ここでは、搬送容器４０－１上の皿Ｄ８が撮像映像の左端領域Ｆ１３に移動したため、Ｓ１０６に動作が移行される場合を想定する。 If the plate on the transport container 40 that has moved to the left end area F13 of the captured image is not detected ("NO" in S105), the operation shifts to S105 again. On the other hand, if the plate on the transport container 40 that has moved to the left end area F13 of the captured image is detected ("YES" in S105), the operation moves to S106 (FIG. 10). Here, it is assumed that the operation is shifted to S106 because the plate D8 on the transport container 40-1 has moved to the left end area F13 of the captured image.

図１０に進んで説明を続ける。注文端末１０－１（ＩＤ：Ａ）において、画像検出部１０３－１は、撮像映像において搬送容器４０－１および搬送容器４０－１上の皿の追随を開始する。そして、出力制御部１０４－１は、追随中の領域である、撮像映像における搬送容器４０－１および搬送容器４０－１上の皿Ｄ８の領域上に、表示オブジェクトを重畳して表示するように表示部１０８を制御する（Ｓ１０６）。 Proceed to FIG. 10 to continue the explanation. In the order terminal 10-1 (ID: A), the image detection unit 103-1 starts tracking the transport container 40-1 and the dishes on the transport container 40-1 in the captured video. The output control unit 104-1 then displays the display object in a superimposed manner over the region of the transport container 40-1 and the dish D8 on the transport container 40-1 in the captured video, which is the region being tracked. The display unit 108 is controlled (S106).

図１５は、表示オブジェクトの例を示す図である。図１５の商品到着の通知画面Ｎ１３に示されるように、出力制御部１０４－１は、追随中の領域である、撮像映像における搬送容器４０－１および搬送容器４０－１上の皿Ｄ８の領域上に、表示オブジェクトＦ１４－１を重畳して表示するように表示部１０８を制御する。図１５に示されるように、表示オブジェクトＦ１４－１は、透過性を有する画像であるのが望ましい。 FIG. 15 is a diagram showing an example of display objects. As shown in the product arrival notification screen N13 in FIG. 15, the output control unit 104-1 controls the area of the transport container 40-1 and the plate D8 on the transport container 40-1 in the captured image, which is the area being tracked. The display unit 108 is controlled to display the display object F14-1 superimposed thereon. As shown in FIG. 15, the display object F14-1 is preferably a transparent image.

これによって、撮像映像における搬送容器４０－１および搬送容器４０－１上の皿Ｄ８の領域が、表示オブジェクトＦ１４－１によって遮蔽されたとしても、顧客によって視認され得る。そのため、顧客が自分の取るべき皿を識別しやすくなり、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。画像検出部１０３－１は、検出済みの搬送容器４０上の皿の数を計数する。 Thereby, even if the area of the transport container 40-1 and the plate D8 on the transport container 40-1 in the captured image is blocked by the display object F14-1, it can be visually recognized by the customer. Therefore, it becomes easier for the customer to identify the plate that he or she should take, and the possibility that the customer forgets to take the plate that he or she should take can be further reduced. The image detection unit 103-1 counts the number of dishes on the detected transport container 40.

注文端末１０－１（ＩＤ：Ａ）において、画像検出部１０３－１は、注文番号「１」に対応付けられた搬送予定数「２」を、注文管理装置２０から取得する。そして、画像検出部１０３－１は、注文管理装置２０から取得した搬送予定数「２」と同数の搬送容器４０上の皿を検出済みであるか否かを判定する。 In the order terminal 10-1 (ID: A), the image detection unit 103-1 acquires the scheduled number of conveyances “2” associated with the order number “1” from the order management device 20. Then, the image detection unit 103-1 determines whether or not the same number of dishes on the transport containers 40 as the scheduled transport number “2” acquired from the order management device 20 have been detected.

注文管理装置２０から取得した搬送予定数「２」と同数の搬送容器４０上の皿を検出済みでない場合（Ｓ１０７において「ＮＯ」）、Ｓ１０４に再度動作が移行される。一方、注文管理装置２０から取得した搬送予定数「２」と同数の搬送容器４０上の皿を検出済みである場合（Ｓ１０７において「ＹＥＳ」）、Ｓ１０８に動作が移行される。 If the same number of dishes on the transport containers 40 as the number of scheduled transports "2" obtained from the order management device 20 have not been detected ("NO" in S107), the operation is shifted to S104 again. On the other hand, if the same number of dishes on the transport containers 40 as the number of scheduled transports "2" obtained from the order management device 20 have been detected ("YES" in S107), the operation moves to S108.

ここでは、検出済みの搬送容器４０上の皿の数が「１」であり、搬送予定数「２」より小さいとして、Ｓ１０４に再度動作が移行される場合を想定する。搬送容器４０－１に続く搬送容器４０－２が左端領域Ｆ１４－１において検出され（Ｓ１０４において「ＹＥＳ」）、搬送容器４０－２上の皿Ｄ９が検出されると（Ｓ１０５において「ＹＥＳ」）、画像検出部１０３－１は、撮像映像において搬送容器４０－２および搬送容器４０－２上の皿Ｄ９の追随を開始する。 Here, it is assumed that the number of dishes on the detected transport container 40 is "1", which is smaller than the scheduled transport number "2", and the operation is shifted to S104 again. When the transport container 40-2 following the transport container 40-1 is detected in the left end area F14-1 ("YES" in S104), and the plate D9 on the transport container 40-2 is detected ("YES" in S105). , the image detection unit 103-1 starts tracking the transport container 40-2 and the plate D9 on the transport container 40-2 in the captured image.

そして、出力制御部１０４－１は、追随中の領域である、撮像映像における搬送容器４０－２および搬送容器４０－２上の皿Ｄ９の領域上に、追加の表示オブジェクトを重畳して表示するように表示部１０８を制御する（Ｓ１０６）。 Then, the output control unit 104-1 superimposes and displays an additional display object on the region of the transport container 40-2 and the plate D9 on the transport container 40-2 in the captured video, which is the region being followed. The display unit 108 is controlled so as to (S106).

図１６は、追加の表示オブジェクトの例を示す図である。図１６の商品到着の通知画面Ｎ１４に示されるように、出力制御部１０４－１は、追随中の領域である、撮像映像における搬送容器４０－２および搬送容器４０－２上の皿Ｄ９の領域上に、表示オブジェクトＦ１４－２を重畳して表示するように表示部１０８を制御する。表示オブジェクトＦ１４－１と同様に、表示オブジェクトＦ１４－２は、透過性を有する画像であるのが望ましい。 FIG. 16 is a diagram illustrating an example of additional display objects. As shown in the product arrival notification screen N14 in FIG. 16, the output control unit 104-1 controls the area of the transport container 40-2 and the plate D9 on the transport container 40-2 in the captured image, which is the area being tracked. The display unit 108 is controlled to display the display object F14-2 superimposed thereon. Like the display object F14-1, the display object F14-2 is preferably a transparent image.

画像検出部１０３－１は、検出済みの搬送容器４０上の皿の数を計数する。そして、画像検出部１０３－１は、注文管理装置２０から取得した搬送予定数「２」と同数の搬送容器４０上の皿を検出済みであるか否かを判定する。ここでは、検出済みの搬送容器４０上の皿の数が「２」であり、搬送予定数「２」と同数であるとして、Ｓ１０８に動作が移行される場合を想定する。 The image detection unit 103-1 counts the number of dishes on the detected transport container 40. Then, the image detection unit 103-1 determines whether or not the same number of dishes on the transport containers 40 as the scheduled transport number “2” acquired from the order management device 20 have been detected. Here, it is assumed that the number of dishes on the detected transport container 40 is "2", which is the same as the scheduled transport number "2", and the operation is shifted to S108.

搬送予定数と同数の搬送容器４０上の皿が検出された後には、これらの皿に続いて搬送される搬送容器４０上の皿は、画像検出部１０３－１によって検出されない。仮に、皿Ｄ９が載せられた搬送容器４０－２に続いて、注文端末ＩＤ「Ａ」と異なる搬送先ＩＤ「Ｂ」を送信する搬送容器４０上の皿が左端領域Ｆ１３（図１４）に移動したとしても、搬送先ＩＤ「Ｂ」を送信する搬送容器４０上の皿は、画像検出部１０３－１によって検出されない。 After the same number of plates on the transport containers 40 as the number to be transported are detected, the image detection unit 103-1 does not detect any dishes on the transport containers 40 that are transported subsequent to these dishes. Suppose that, following the transport container 40-2 on which the plate D9 is placed, the plate on the transport container 40 that transmits the transport destination ID "B" that is different from the order terminal ID "A" moves to the left end area F13 (FIG. 14). Even if this happens, the dish on the transport container 40 that transmits the transport destination ID "B" is not detected by the image detection unit 103-1.

Ｓ１０７に並行して、画像検出部１０３－１は、搬送方向と異なる方向への追随中の皿の移動の検出を試みる。搬送方向と異なる方向への追随中の皿の移動が検出されない場合には（Ｓ１０８において「ＮＯ」）、Ｓ１１０に動作が移行される。一方、搬送方向と異なる方向への追随中の皿の移動が検出された場合には（Ｓ１０８において「ＹＥＳ」）、Ｓ１０９に動作が移行される。 In parallel with S107, the image detection unit 103-1 attempts to detect movement of the plate being followed in a direction different from the transport direction. If the movement of the plate being followed in a direction different from the transport direction is not detected ("NO" in S108), the operation proceeds to S110. On the other hand, if movement of the plate being followed in a direction different from the transport direction is detected ("YES" in S108), the operation moves to S109.

Ｓ１０９に動作が移行された場合、画像検出部１０３－１は、撮像映像において搬送容器４０および搬送容器４０上の搬送容器４０上の皿の追随を終了する。そして、出力制御部１０４－１は、搬送方向と異なる方向への移動が検出された追随中の領域である、搬送容器４０および搬送容器４０上の皿の領域に重畳された表示オブジェクトを消去する。さらに、出力制御部１０４－１は、注文商品の受け取りの成功情報を撮像映像に重畳して表示するように表示部１０８を制御する（Ｓ１０９）。 When the operation moves to S109, the image detection unit 103-1 finishes tracking the transport container 40 and the dishes on the transport container 40 on the transport container 40 in the captured image. Then, the output control unit 104-1 erases the display object superimposed on the transport container 40 and the region of the plate on the transport container 40, which is the tracking region in which movement in a direction different from the transport direction is detected. . Further, the output control unit 104-1 controls the display unit 108 to display information on success in receiving the ordered product superimposed on the captured video (S109).

図１７は、成功情報の例を示す図である。図１７に示された例では、搬送容器４０－１から搬送容器４０－１上の皿Ｄ８が、顧客の手によって、搬送方向とは異なる方向に移動されている。このとき、図１７に示されたように、出力制御部１０４－１は、搬送容器４０－１上の皿Ｄ８に重畳された表示オブジェクトＦ１４－１（図１６）を消去する。さらに、出力制御部１０４－１は、成功情報Ｆ１５を撮像映像に重畳して表示するように表示部１０８を制御する（Ｓ１０９）。 FIG. 17 is a diagram showing an example of success information. In the example shown in FIG. 17, the plate D8 on the transport container 40-1 is moved by the customer's hand in a direction different from the transport direction. At this time, as shown in FIG. 17, the output control unit 104-1 erases the display object F14-1 (FIG. 16) superimposed on the plate D8 on the transport container 40-1. Furthermore, the output control unit 104-1 controls the display unit 108 to display the success information F15 superimposed on the captured video (S109).

図１７に示された例では、成功情報Ｆ１５は、「Ｇｏｏｄ」という文字列である。しかし、成功情報Ｆ１５は、かかる文字列に限定されない。例えば、成功情報Ｆ１５は、他の文字列であってもよいし、文字列以外の情報（例えば、成功を示す画像など）であってもよい。あるいは、成功情報は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部１０４－１は、聴覚情報（所定の音）を出力するように音声出力部１１０を制御する。 In the example shown in FIG. 17, the success information F15 is a character string "Good". However, the success information F15 is not limited to such a character string. For example, the success information F15 may be another character string or information other than the character string (for example, an image indicating success). Alternatively, the success information may include predetermined auditory information that is perceived by the sense of hearing. At this time, the output control section 104-1 controls the audio output section 110 to output auditory information (predetermined sound).

出力制御部１０４－１は、所定時間が経過したか否かを判定する。所定時間が経過していない場合には（Ｓ１１０において「ＮＯ」）、Ｓ１０８に再度動作が移行される。一方、出力制御部１０４－１は、所定時間が経過した場合には（Ｓ１１０において「ＹＥＳ」）、商品到着の通知画面の表示を終了するように表示部１０８を制御して（Ｓ１１１）、動作を終了する。 The output control unit 104-1 determines whether a predetermined time has elapsed. If the predetermined time has not elapsed ("NO" in S110), the operation moves to S108 again. On the other hand, if the predetermined time has elapsed ("YES" in S110), the output control section 104-1 controls the display section 108 to end the display of the product arrival notification screen (S111), and operates the output control section 104-1. end.

なお、所定時間は、Ｓ１０２において、受信部１０５によって受信された搬送先ＩＤ「Ａ」と、注文端末１０－１のＩＤ「Ａ」とが一致すると判定されてから、搬送予定数と同数の搬送容器４０－１および搬送容器４０－２が、注文端末１０－１（ＩＤ：Ａ）に対応する搬送路範囲を通過するために要する時間であってもよい。 Note that the predetermined period of time starts from the time when it is determined in S102 that the destination ID "A" received by the receiving unit 105 and the ID "A" of the order terminal 10-1 match, until the same number of deliveries as the scheduled number of deliveries is made. It may be the time required for the container 40-1 and the transport container 40-2 to pass through the transport path range corresponding to the order terminal 10-1 (ID:A).

例えば、顧客が自分の注文した商品を取り忘れた場合に、所定時間が経過し、商品到着の通知画面が消去された場合を想定する。かかる場合に、顧客の注文した商品が顧客の席に再度移動したときに、Ｓ１０２以降が実行され、商品到着の通知画面が再度表示される。これによって、顧客は、自分の注文した商品が自分の席に再度移動したことを把握しやすくなる。 For example, assume that a customer forgets to pick up a product that he or she ordered, a predetermined time has passed, and the product arrival notification screen is erased. In such a case, when the product ordered by the customer is moved to the customer's seat again, S102 and subsequent steps are executed, and the product arrival notification screen is displayed again. This makes it easier for the customer to understand that the product he ordered has been moved to his seat again.

以上、本発明の第１の実施形態に係る表示制御システム１の動作例について説明した。 The operation example of the display control system 1 according to the first embodiment of the present invention has been described above.

（１－８．効果）
本発明の第１の実施形態によれば、注文端末１０－１の表示部１０８によって搬送路５００における注文端末１０－１に対応する搬送路範囲の撮像映像が表示される。そして、注文端末１０－１のＩＤと、搬送先ＩＤとが一致すると判定されたことに基づいて、撮像映像における搬送容器４０上の皿の位置に応じた領域に、表示オブジェクトが重畳して表示される。かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性が低減され得る。 (1-8. Effect)
According to the first embodiment of the present invention, the display unit 108 of the order terminal 10-1 displays a captured image of the transport path range corresponding to the order terminal 10-1 on the transport path 500. Then, based on the fact that it is determined that the ID of the order terminal 10-1 and the destination ID match, a display object is superimposed and displayed in an area corresponding to the position of the plate on the transport container 40 in the captured image. be done. According to such a configuration, the possibility that a customer forgets to take the plate that he or she should take can be reduced.

（１－９．変形例）
上記では、画像検出部１０３－１が、搬送方向と異なる方向への追随中の皿の移動を検出する場合について主に説明した。しかし、画像検出部１０３－１は、搬送方向と異なる方向への追随中の皿の移動に加えて、追随中の皿への手の移動を検出してもよい。かかる構成によれば、顧客によって皿が取られたことがより精度良く検出され得る。 (1-9. Modified example)
Above, the case where the image detection unit 103-1 detects the movement of the plate being followed in a direction different from the conveyance direction has been mainly described. However, the image detection unit 103-1 may detect movement of the hand toward the plate being followed in addition to movement of the plate being followed in a direction different from the conveyance direction. According to such a configuration, it is possible to more accurately detect that a plate has been taken by a customer.

このとき、出力制御部１０４－１は、画像検出部１０３－１によって、搬送方向と異なる方向への追随中の皿の移動が検出されたことに基づいて、表示オブジェクトを撮像映像から消去するように表示部１０８を制御してもよい。また、出力制御部１０４－１は、画像検出部１０３－１によって、追随中の皿への手の移動、および、搬送方向と異なる方向への追随中の皿の移動が検出されたことに基づいて、成功情報を出力するように出力部を制御してもよい。 At this time, the output control unit 104-1 causes the image detection unit 103-1 to erase the display object from the captured video based on the detection of the movement of the plate being followed in a direction different from the transport direction. The display unit 108 may also be controlled. The output control unit 104-1 also controls the output control unit 104-1 based on the fact that the image detection unit 103-1 detects the movement of the hand toward the plate being followed and the movement of the plate being followed in a direction different from the conveyance direction. The output unit may be controlled to output success information.

さらに、上記では、画像検出部１０３－１が、撮像映像に基づいて、搬送容器４０上の皿を検出する場合について主に説明した。しかし、搬送容器４０が皿としての機能を有していてもよい。このとき、画像検出部１０３－１は、皿の機能を有する搬送容器４０を検出すればよい。例えば、皿から商品を配膳するときと同じように、搬送容器４０から商品を配膳しやすく、皿を洗浄するときと同じように、搬送容器４０が洗浄しやすければ、搬送容器４０は、皿としての機能を有し得ることが想定される。 Further, in the above description, the case where the image detection unit 103-1 detects the plate on the transport container 40 based on the captured image has been mainly described. However, the transport container 40 may have a function as a plate. At this time, the image detection unit 103-1 only needs to detect the transport container 40 having the function of a plate. For example, if it is easy to serve products from the transport container 40 in the same way as when serving products from a plate, and if the transport container 40 is easy to clean in the same way as when washing dishes, the transport container 40 can be used as a dish. It is assumed that it can have the following functions.

以上、本発明の第１の実施形態について説明した。 The first embodiment of the present invention has been described above.

（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。以下では、本発明の第２の実施形態に係る表示制御システムが有する構成のうち、本発明の第１の実施形態に係る表示制御システムが有する構成と異なる構成について主に説明する。そして、本発明の第２の実施形態に係る表示制御システムが有する構成のうち、本発明の第１の実施形態に係る表示制御システムが有する構成と共通する構成については、詳細な説明を省略する。 (2. Second embodiment)
Next, a second embodiment of the present invention will be described. Below, among the configurations included in the display control system according to the second embodiment of the present invention, configurations that are different from those included in the display control system according to the first embodiment of the present invention will be mainly described. Of the configurations included in the display control system according to the second embodiment of the present invention, detailed descriptions of the configurations that are common to the configurations included in the display control system according to the first embodiment of the present invention will be omitted. .

具体的に、本発明の第２の実施形態では、表示制御システム１が、本発明の第１の実施形態に係る注文端末１０－１の代わりに、注文端末１０－２を有する。したがって、以下では、本発明の第２の実施形態に係る注文端末１０－２について主に説明する。 Specifically, in the second embodiment of the present invention, the display control system 1 includes an order terminal 10-2 instead of the order terminal 10-1 according to the first embodiment of the present invention. Therefore, below, the order terminal 10-2 according to the second embodiment of the present invention will be mainly described.

（２－１．注文端末の機能構成）
次に、図１８を参照して、本発明の第２の実施形態に係る注文端末１０－２の機能構成の一例を説明する。 (2-1. Functional configuration of order terminal)
Next, with reference to FIG. 18, an example of the functional configuration of the order terminal 10-2 according to the second embodiment of the present invention will be described.

図１８は、本発明の第２の実施形態に係る注文端末１０－２の機能構成の一例を示すブロック図である。図１８を参照すると、本発明の第２の実施形態に係る注文端末１０－２は、画像検出部１０３－１および出力制御部１０４－１の代わりに、画像検出部１０３－２および出力制御部１０４－２を有する他、搬送制御部１１１－２を有する点において、本発明の第１の実施形態に係る注文端末１０－１と異なっている。したがって、以下では、画像検出部１０３－２、出力制御部１０４－２および搬送制御部１１１－２について主に説明する。 FIG. 18 is a block diagram showing an example of the functional configuration of the order terminal 10-2 according to the second embodiment of the present invention. Referring to FIG. 18, the order terminal 10-2 according to the second embodiment of the present invention has an image detection section 103-2 and an output control section instead of the image detection section 103-1 and the output control section 104-1. The order terminal 10-1 is different from the order terminal 10-1 according to the first embodiment of the present invention in that in addition to the order terminal 104-2, the order terminal 10-2 also includes a transport control section 111-2. Therefore, below, the image detection section 103-2, the output control section 104-2, and the conveyance control section 111-2 will be mainly explained.

（画像検出部１０３－２）
画像検出部１０３－２は、本発明の第１の実施形態に係る画像検出部１０３－１と同様の機能を有する。さらに、画像検出部１０３－２は、映像生成部１０２によって生成された撮像映像に基づいて、撮像映像における第２の領域（所定の領域）から、搬送容器４０および搬送容器４０上の皿を検出する。 (Image detection unit 103-2)
The image detection section 103-2 has the same function as the image detection section 103-1 according to the first embodiment of the present invention. Furthermore, the image detection unit 103-2 detects the transport container 40 and the dishes on the transport container 40 from a second area (predetermined area) in the captured image based on the captured image generated by the image generator 102. do.

本発明の実施形態においては、搬送容器４０および搬送容器４０上の皿が、撮像映像における左端から右端に向かって移動する場合を主に想定する。このとき、第２の領域は、撮像領域における右端領域である。しかし、第２の領域は、撮像映像における搬送容器４０および搬送容器４０上の皿の移動方向に応じて決められてよく、搬送容器４０および搬送容器４０上の皿が撮像映像に写り終わる領域であってよい。 In the embodiment of the present invention, a case is mainly assumed in which the transport container 40 and the plate on the transport container 40 move from the left end to the right end in the captured image. At this time, the second area is the right end area in the imaging area. However, the second region may be determined according to the moving direction of the transport container 40 and the dishes on the transport container 40 in the captured image, and is the region where the transport container 40 and the dishes on the transport container 40 end appearing in the captured image. It's good to be there.

さらに、画像検出部１０３－２は、映像生成部１０２によって生成された撮像映像に基づいて、右端領域に移動した追随中の搬送容器４０上の皿の、搬送方向と異なる方向への移動を検出する。また、画像検出部１０３－２は、映像生成部１０２によって生成された撮像映像に基づいて、搬送予定数と同数の追随中の搬送容器４０上の皿の、搬送方向と異なる方向への移動を検出する。 Further, the image detection unit 103-2 detects movement of the plate on the following transport container 40 that has moved to the right end area in a direction different from the transport direction, based on the captured image generated by the image generation unit 102. do. Furthermore, the image detection unit 103-2 detects movement of the same number of dishes on the following transport container 40 as the number scheduled to be transported in a direction different from the transport direction based on the captured image generated by the image generation unit 102. To detect.

（搬送制御部１１１－２）
搬送制御部１１１－２は、画像検出部１０３－２によって搬送容器４０上の皿が撮像映像における右端領域から検出されたことに基づいて、搬送路５００による搬送容器４０上の皿の搬送を停止するように搬送路５００を制御する。かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。さらに、搬送制御部１１１－２は、追随中の搬送容器４０上の皿の、撮像映像における右端領域から搬送方向と異なる方向への移動が検出されたことに基づいて、搬送容器４０および搬送容器４０上の皿の搬送を再開するように搬送路５００を制御する。 (Transport control unit 111-2)
The conveyance control unit 111-2 stops conveyance of the plate on the conveyance container 40 by the conveyance path 500 based on the image detection unit 103-2 detecting the plate on the conveyance container 40 from the right end area in the captured image. The conveyance path 500 is controlled so as to. According to such a configuration, the possibility that a customer forgets to take the plate he or she is supposed to take can be further reduced. Furthermore, the transport control unit 111-2 controls the transport container 40 and the transport container based on the detected movement of the plate on the transport container 40 being followed from the right end area in the captured image in a direction different from the transport direction. The conveyance path 500 is controlled to resume conveyance of the dishes on the plate 40.

（出力制御部１０４－２）
出力制御部１０４－２は、本発明の第１の実施形態に係る出力制御部１０４－１と同様の機能を有する。さらに、出力制御部１０４－２は、搬送容器４０上の皿が撮像映像における搬送路５００の右端領域から検出されたことに基づいて、注意喚起を促す情報を出力するように出力部を制御する。かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。 (Output control section 104-2)
The output control section 104-2 has the same function as the output control section 104-1 according to the first embodiment of the present invention. Further, the output control unit 104-2 controls the output unit to output information that calls for attention based on the fact that the plate on the transport container 40 is detected from the right end region of the transport path 500 in the captured image. . According to such a configuration, the possibility that a customer forgets to take the plate he or she is supposed to take can be further reduced.

出力部の一例には、表示部１０８が該当する。また、出力部の他の一例には、音声出力部１１０が該当する。 The display unit 108 is an example of the output unit. Moreover, the audio output unit 110 corresponds to another example of the output unit.

本発明の実施形態においては、注意喚起を示す情報が、視覚によって知覚される所定の視覚情報である場合を主に想定する。かかる場合には、出力制御部１０４－２は、視覚情報（所定の画像）を表示するように表示部１０８を制御する。このとき、視覚情報は、表示オブジェクトに付加される所定の装飾情報を含んでもよい。装飾情報は、表示オブジェクトの点滅であってもよいし、表示オブジェクトの色の変更であってもよい。注意喚起を示す情報は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部１０４－２は、聴覚情報（所定の音）を出力するように音声出力部１１０を制御する。 In the embodiments of the present invention, a case is mainly assumed in which the information indicating the call for attention is predetermined visual information perceived visually. In such a case, the output control unit 104-2 controls the display unit 108 to display visual information (a predetermined image). At this time, the visual information may include predetermined decorative information added to the display object. The decoration information may be the blinking of the display object or a change in the color of the display object. The information indicating the alert may include predetermined auditory information perceived by the sense of hearing. At this time, the output control section 104-2 controls the audio output section 110 to output auditory information (predetermined sound).

さらに、出力制御部１０４－２は、追随中の搬送容器４０上の皿の、撮像映像における右端領域から搬送方向と異なる方向への移動が検出されたことに基づいて、注意喚起を促す情報の出力を解除するように出力部を制御する。 Furthermore, the output control unit 104-2 generates information that urges attention based on the detection of movement of the plate on the transport container 40 being followed from the right end area in the captured image in a direction different from the transport direction. Control the output unit to release the output.

以上、本発明の第２の実施形態に係る注文端末１０－２の機能構成の一例について説明した。 An example of the functional configuration of the order terminal 10-2 according to the second embodiment of the present invention has been described above.

（２－２．システムの動作例）
続いて、本発明の第２の実施形態に係る表示制御システム１の動作例について説明する。図１９は、本発明の第２の実施形態に係る表示制御システム１の動作例を示すフローチャートである。図１９に示されるように、Ｓ１００～Ｓ１０８が実行される。Ｓ１００～Ｓ１０８は、本発明の第１の実施形態に係るＳ１００～Ｓ１０８と同様に実行される。 (2-2. System operation example)
Next, an example of the operation of the display control system 1 according to the second embodiment of the present invention will be described. FIG. 19 is a flowchart showing an example of the operation of the display control system 1 according to the second embodiment of the present invention. As shown in FIG. 19, S100 to S108 are executed. S100 to S108 are executed in the same manner as S100 to S108 according to the first embodiment of the present invention.

搬送方向と異なる方向への追随中の皿の移動が検出されない場合には（Ｓ１０８において「ＮＯ」）、Ｓ２１０に動作が移行される。一方、搬送方向と異なる方向への追随中の皿の移動が検出された場合には（Ｓ１０８において「ＹＥＳ」）、Ｓ１０９に動作が移行される。 If the movement of the plate being followed in a direction different from the transport direction is not detected ("NO" in S108), the operation proceeds to S210. On the other hand, if movement of the plate being followed in a direction different from the transport direction is detected ("YES" in S108), the operation moves to S109.

Ｓ１０９に動作が移行された場合、画像検出部１０３－２は、撮像映像において搬送容器４０および搬送容器４０上の搬送容器４０上の皿の追随を終了する。そして、出力制御部１０４－２は、搬送方向と異なる方向への移動が検出された追随中の領域である、搬送容器４０および搬送容器４０上の皿の領域に重畳された表示オブジェクトを消去する。さらに、出力制御部１０４－２は、注文商品の受け取りの成功情報を撮像映像に重畳して表示するように表示部１０８を制御する（Ｓ１０９）。Ｓ２１５に動作が移行される。 When the operation moves to S109, the image detection unit 103-2 finishes tracking the transport container 40 and the dishes on the transport container 40 in the captured image. Then, the output control unit 104-2 erases the display object superimposed on the transport container 40 and the region of the plate on the transport container 40, which is the tracking region where movement in a direction different from the transport direction is detected. . Further, the output control unit 104-2 controls the display unit 108 to display information on success in receiving the ordered product superimposed on the captured video (S109). The operation moves to S215.

Ｓ２１０に動作が移行された場合、画像検出部１０３－２は、映像生成部１０２によって生成された撮像映像に基づいて、搬送容器４０および搬送容器４０上の皿が、撮像映像における右端領域に移動したことの検出を試みる。 When the operation moves to S210, the image detection unit 103-2 moves the transport container 40 and the plate on the transport container 40 to the right end area in the captured image based on the captured image generated by the image generation unit 102. Try to detect what happened.

図２０は、撮像映像の右端領域の例を示す図である。図２０を参照すると、商品到着の通知画面Ｎ２１における撮像映像の右端領域Ｆ２１が示されている。例えば、右端領域Ｆ２１における搬送方向の幅は、搬送容器４０－１における搬送方向の幅と同程度であってよい。さらに、右端領域Ｆ２１における搬送方向に垂直な方向の幅は、搬送容器４０－１における搬送方向に垂直な方向の幅と同程度以上であってよい。 FIG. 20 is a diagram showing an example of the right end area of the captured video. Referring to FIG. 20, the right end area F21 of the captured video on the product arrival notification screen N21 is shown. For example, the width of the right end region F21 in the transport direction may be approximately the same as the width of the transport container 40-1 in the transport direction. Further, the width of the right end region F21 in the direction perpendicular to the transport direction may be approximately equal to or greater than the width of the transport container 40-1 in the direction perpendicular to the transport direction.

なお、撮像映像の右端領域Ｆ２１に搬送容器４０が移動することは、搬送路５００による搬送容器４０の搬送によって、撮像映像の右端領域Ｆ２１に搬送容器４０の少なくとも一部が入ることを意味し得る。 Note that moving the transport container 40 to the right end region F21 of the captured image may mean that at least a portion of the transport container 40 enters the right end region F21 of the captured image by transporting the transport container 40 by the transport path 500. .

仮に、撮像映像の右端領域Ｆ２１に搬送容器４０および搬送容器４０上の皿が移動したことが検出されない場合（Ｓ２１０において「ＮＯ」）、Ｓ１０８に再度動作が移行される。一方、撮像映像の右端領域Ｆ２１に搬送容器４０および搬送容器４０上の皿が移動したことが検出された場合には（Ｓ２１０において「ＹＥＳ」）、Ｓ２１１に動作が移行される。ここでは、搬送容器４０－１および搬送容器４０－１上の皿Ｄ８が撮像映像の右端領域Ｆ２１に移動したため、Ｓ２１１に動作が移行される場合を想定する。 If it is not detected that the transport container 40 and the plate on the transport container 40 have moved to the right end area F21 of the captured image ("NO" in S210), the operation moves to S108 again. On the other hand, if it is detected that the transport container 40 and the plate on the transport container 40 have moved to the right end area F21 of the captured image ("YES" in S210), the operation moves to S211. Here, it is assumed that the transport container 40-1 and the plate D8 on the transport container 40-1 have moved to the right end area F21 of the captured image, so that the operation is shifted to S211.

搬送制御部１１１－２は、画像検出部１０３－２によって搬送容器４０－１上の皿Ｄ８が撮像映像における右端領域Ｆ２１から検出されたことに基づいて、搬送路５００による皿の搬送を停止するように搬送路５００を制御する。さらに、出力制御部１０４－２は、搬送容器４０－１上の皿Ｄ８が撮像映像における搬送路５００の右端領域Ｆ２１から検出されたことに基づいて、注意喚起を促す情報を出力するように出力部を制御する（Ｓ２１１）。 The conveyance control unit 111-2 stops conveyance of the plate by the conveyance path 500 based on the image detection unit 103-2 detecting the plate D8 on the conveyance container 40-1 from the right end region F21 in the captured image. The conveyance path 500 is controlled as follows. Furthermore, the output control unit 104-2 outputs information that urges attention based on the fact that the plate D8 on the transport container 40-1 is detected from the right end area F21 of the transport path 500 in the captured image. (S211).

より詳細に、出力制御部１０４－２は、視覚情報（所定の画像）を表示するように表示部１０８を制御する。このとき、視覚情報は、表示オブジェクトＦ１４－１に付加される所定の装飾情報を含んでもよい。装飾情報は、表示オブジェクトＦ１４－１の点滅であってもよいし、表示オブジェクトＦ１４－１の色の変更であってもよい。注意喚起を示す情報は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部１０４－２は、聴覚情報（所定の音）を出力するように音声出力部１１０を制御する。 More specifically, the output control unit 104-2 controls the display unit 108 to display visual information (a predetermined image). At this time, the visual information may include predetermined decorative information added to the display object F14-1. The decoration information may be blinking of the display object F14-1 or a change in the color of the display object F14-1. The information indicating the alert may include predetermined auditory information perceived by the sense of hearing. At this time, the output control section 104-2 controls the audio output section 110 to output auditory information (predetermined sound).

画像検出部１０３－２は、映像生成部１０２によって生成された撮像映像に基づいて、右端領域Ｆ２１に移動した追随中の搬送容器４０上の皿の、搬送方向と異なる方向への移動が検出されるかを試みる（Ｓ２１２）。 The image detection unit 103-2 detects, based on the captured image generated by the image generation unit 102, the movement of the plate on the following transport container 40 that has moved to the right end area F21 in a direction different from the transport direction. (S212).

仮に、右端領域Ｆ２１に移動した追随中の搬送容器４０上の皿の、搬送方向と異なる方向への移動が検出されない場合（Ｓ２１２において「ＮＯ」）、Ｓ２１２に再度動作が移行される。一方、右端領域Ｆ２１に移動した追随中の搬送容器４０上の皿の、搬送方向と異なる方向への移動が検出された場合（Ｓ２１２において「ＹＥＳ」）、Ｓ２１３に動作が移行される。ここでは、右端領域Ｆ２１に移動した追随中の搬送容器４０－１上の皿Ｄ８の、搬送方向と異なる方向への移動が検出されたため、Ｓ２１３に動作が移行される場合を想定する。 If the movement of the plate on the following transport container 40 that has moved to the right end area F21 in a direction different from the transport direction is not detected ("NO" in S212), the operation is shifted to S212 again. On the other hand, if movement of the plate on the following transport container 40 that has moved to the right end area F21 in a direction different from the transport direction is detected ("YES" in S212), the operation proceeds to S213. Here, it is assumed that the operation is shifted to S213 because the movement of the plate D8 on the following transport container 40-1, which has moved to the right end area F21, in a direction different from the transport direction is detected.

図２１は、皿Ｄ８の移動検出例を示す図である。図２１を参照すると、商品到着の通知画面Ｎ２２が示されている。商品到着の通知画面Ｎ２２においては、撮像映像における右端領域に移動した搬送容器４０－１から搬送容器４０－１上の皿Ｄ８が、顧客の手によって、搬送方向とは異なる方向に移動されている。 FIG. 21 is a diagram showing an example of detecting movement of the plate D8. Referring to FIG. 21, a product arrival notification screen N22 is shown. In the product arrival notification screen N22, the plate D8 on the transport container 40-1 is moved by the customer's hand in a direction different from the transport direction from the transport container 40-1 that has moved to the right end area in the captured image. .

このとき、図２１に示されたように、出力制御部１０４－２は、搬送容器４０－１上の皿Ｄ８に重畳された表示オブジェクトＦ１４－１（図２０）を消去する。さらに、出力制御部１０４－１は、成功情報Ｆ１５を撮像映像に重畳して表示するように表示部１０８を制御する（Ｓ２１３）。搬送制御部１１１－２は、搬送容器４０および搬送容器４０上の皿の搬送を再開するように搬送路５００を制御する（Ｓ２１４）。続いて、Ｓ２１５に動作が移行される。 At this time, as shown in FIG. 21, the output control unit 104-2 erases the display object F14-1 (FIG. 20) superimposed on the plate D8 on the transport container 40-1. Furthermore, the output control unit 104-1 controls the display unit 108 to display the success information F15 superimposed on the captured video (S213). The conveyance control unit 111-2 controls the conveyance path 500 to restart the conveyance of the conveyance container 40 and the dishes on the conveyance container 40 (S214). Subsequently, the operation moves to S215.

画像検出部１０３－２は、映像生成部１０２によって生成された撮像映像に基づいて、搬送予定数と同数の追随中の搬送容器４０上の皿の、搬送方向と異なる方向への移動が検出されるかを試みる。搬送予定数と同数の追随中の搬送容器４０上の皿の、搬送方向と異なる方向への移動が検出されない場合（Ｓ２１５において「ＮＯ」）、Ｓ１０８に再度動作が移行される。一方、搬送予定数と同数の追随中の搬送容器４０上の皿の、搬送方向と異なる方向への移動が検出された場合（Ｓ２１５において「ＹＥＳ」）、Ｓ１１１が実行される。 The image detection unit 103-2 detects, based on the captured image generated by the image generation unit 102, the movement of the same number of dishes on the following transport containers 40 as the number scheduled to be transported in a direction different from the transport direction. try to find out. If the movement of the same number of plates on the following transport containers 40 as the scheduled number of transports in a direction different from the transport direction is not detected ("NO" in S215), the operation moves to S108 again. On the other hand, if it is detected that the same number of dishes on the following transport containers 40 as the scheduled transport number are moved in a direction different from the transport direction ("YES" in S215), S111 is executed.

Ｓ１１１は、本発明の第１の実施形態に係るＳ１１１と同様に実行される。 S111 is executed similarly to S111 according to the first embodiment of the present invention.

以上、本発明の第２の実施形態に係る表示制御システム１の動作例について説明した。 The operation example of the display control system 1 according to the second embodiment of the present invention has been described above.

（２－３．効果）
本発明の第２の実施形態によれば、本発明の第１の実施形態と同様の効果を奏し得る。さらに、本発明の第２の実施形態によれば、出力制御部１０４－２は、搬送容器４０上の皿が撮像映像における搬送路５００の右端領域から検出されたことに基づいて、注意喚起を促す情報を出力するように出力部を制御する。かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。 (2-3. Effect)
According to the second embodiment of the present invention, the same effects as the first embodiment of the present invention can be achieved. Furthermore, according to the second embodiment of the present invention, the output control unit 104-2 issues a warning based on the detection of the plate on the transport container 40 from the right end region of the transport path 500 in the captured image. The output unit is controlled to output prompting information. According to such a configuration, the possibility that a customer forgets to take the plate he or she is supposed to take can be further reduced.

さらに、本発明の第２の実施形態によれば、搬送制御部１１１－２は、画像検出部１０３－２によって搬送容器４０上の皿が撮像映像における右端領域から検出されたことに基づいて、搬送路５００による搬送容器４０上の皿の搬送を停止するように搬送路５００を制御する。かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。 Further, according to the second embodiment of the present invention, the transport control unit 111-2, based on the image detection unit 103-2 detecting the plate on the transport container 40 from the right end region of the captured image, The conveyance path 500 is controlled so as to stop the conveyance of the plate on the conveyance container 40 by the conveyance path 500. According to such a configuration, the possibility that a customer forgets to take the plate he or she is supposed to take can be further reduced.

以上、本発明の第２の実施形態について説明した。 The second embodiment of the present invention has been described above.

（３．第３の実施形態）
続いて、本発明の第３の実施形態について説明する。以下では、本発明の第３の実施形態に係る表示制御システムが有する構成のうち、本発明の第１の実施形態に係る表示制御システムが有する構成と異なる構成について主に説明する。そして、本発明の第３の実施形態に係る表示制御システムが有する構成のうち、本発明の第１の実施形態に係る表示制御システムが有する構成と共通する構成については、詳細な説明を省略する。 (3. Third embodiment)
Next, a third embodiment of the present invention will be described. Below, among the configurations included in the display control system according to the third embodiment of the present invention, configurations that are different from those included in the display control system according to the first embodiment of the present invention will be mainly described. Of the configurations included in the display control system according to the third embodiment of the present invention, detailed descriptions of the configurations that are common to the configurations included in the display control system according to the first embodiment of the present invention will be omitted. .

具体的に、本発明の第３の実施形態では、表示制御システム１が、本発明の第１の実施形態に係る注文端末１０－１の代わりに、注文端末１０－３を有する。したがって、以下では、本発明の第３の実施形態に係る注文端末１０－３について主に説明する。 Specifically, in the third embodiment of the present invention, the display control system 1 includes an order terminal 10-3 instead of the order terminal 10-1 according to the first embodiment of the present invention. Therefore, below, the order terminal 10-3 according to the third embodiment of the present invention will be mainly described.

（３－１．注文端末の機能構成）
次に、図２２を参照して、本発明の第３の実施形態に係る注文端末１０－３の機能構成の一例を説明する。 (3-1. Functional configuration of order terminal)
Next, with reference to FIG. 22, an example of the functional configuration of the order terminal 10-3 according to the third embodiment of the present invention will be described.

図２２は、本発明の第３の実施形態に係る注文端末１０－２の機能構成の一例を示すブロック図である。図２２を参照すると、本発明の第３の実施形態に係る注文端末１０－３は、画像検出部１０３－１および出力制御部１０４－１の代わりに、画像検出部１０３－３および出力制御部１０４－３を有する点において、本発明の第１の実施形態に係る注文端末１０－１と異なっている。したがって、以下では、画像検出部１０３－１および出力制御部１０４－１および搬送制御部１１１－２について主に説明する。 FIG. 22 is a block diagram showing an example of the functional configuration of the order terminal 10-2 according to the third embodiment of the present invention. Referring to FIG. 22, the order terminal 10-3 according to the third embodiment of the present invention has an image detection section 103-3 and an output control section instead of the image detection section 103-1 and the output control section 104-1. The order terminal 104-3 differs from the order terminal 10-1 according to the first embodiment of the present invention in that it has the order terminal 104-3. Therefore, below, the image detection section 103-1, the output control section 104-1, and the conveyance control section 111-2 will be mainly explained.

（画像検出部１０３－３）
画像検出部１０３－３は、本発明の第１の実施形態に係る画像検出部１０３－１と同様の機能を有する。さらに、画像検出部１０３－３は、搬送先ＩＤと注文端末１０－３のＩＤとが一致しない場合に、映像生成部１０２によって生成された撮像映像に基づいて、撮像映像における左端領域から、注文管理装置２０から取得した搬送予定数と同数の搬送容器４０上の皿を他端末の注文商品が載せられた皿として検出する。 (Image detection unit 103-3)
The image detection section 103-3 has the same function as the image detection section 103-1 according to the first embodiment of the present invention. Further, if the destination ID and the ID of the order terminal 10-3 do not match, the image detection unit 103-3 detects the order from the left end area in the captured image based on the captured image generated by the image generation unit 102. The same number of plates on the transport containers 40 as the number of scheduled transports acquired from the management device 20 are detected as plates on which products ordered by other terminals are placed.

ここで、搬送先ＩＤと注文端末１０－３のＩＤとが一致しない場合は、搬送先ＩＤを注文端末１０－３に送信した搬送容器４０上の皿（第３の搬送対象物）の搬送先が、他端末である場合に該当する。このとき、注文端末１０－３のＩＤと一致しない搬送先ＩＤは、他端末である搬送先に対応する情報（第３の情報）の例に該当する。 Here, if the destination ID and the ID of the order terminal 10-3 do not match, the destination of the plate (third conveyance target object) on the conveyance container 40 that sent the destination ID to the order terminal 10-3. This applies when the terminal is another terminal. At this time, the destination ID that does not match the ID of the order terminal 10-3 corresponds to an example of information (third information) corresponding to the destination that is another terminal.

画像検出部１０３－３は、撮像映像における左端領域から、搬送予定数と同数の他端末の注文商品が載せられた皿を検出したことに基づいて、撮像映像において搬送容器４０および搬送容器４０上の皿を他端末の注文商品が載せられた皿として追随開始する。また、画像検出部１０３－３は、撮像映像に基づいて、他端末の注文商品が載せられた皿として追随中の皿への手の移動を検出する。 The image detection unit 103-3 detects from the left end area of the captured image a plate on which the same number of ordered products from other terminals as the number scheduled to be transported is placed, and detects the transport container 40 and the top of the transport container 40 in the captured image. It starts following the plate as the plate on which the ordered product from the other terminal is placed. Furthermore, the image detection unit 103-3 detects, based on the captured video, the movement of the hand toward the plate that is being followed as the plate on which the ordered product from another terminal is placed.

さらに、画像検出部１０３－３は、搬送方向と異なる方向への他端末の注文商品が載せられた皿として追随中の皿の移動を検出したこと、または、他端末の注文商品が載せられた皿として追随中の皿が撮像部１０１による撮像範囲から外れたことに基づいて、他端末の注文商品が載せられた皿として追随中の皿の追随を終了する。 Furthermore, the image detection unit 103-3 detects the movement of a plate that is being followed as a plate on which an item ordered by another terminal is placed in a direction different from the conveyance direction, or when an item ordered by another terminal is placed on the plate. Based on the fact that the plate being tracked as a plate has moved out of the imaging range by the imaging unit 101, tracking of the plate being tracked as a plate on which an ordered product from another terminal is placed is terminated.

（出力制御部１０４－３）
出力制御部１０４－３は、本発明の第１の実施形態に係る画像検出部１０３－１と同様の機能を有する。さらに、出力制御部１０４－３は、画像検出部１０３－３によって、他端末の注文商品が載せられた皿として追随中の皿への手の移動が検出されたことに基づいて、失敗を示す失敗情報を出力するように出力部を制御する。出力部の一例には、表示部１０８が該当する。また、出力部の他の一例には、音声出力部１１０が該当する。 (Output control section 104-3)
The output control section 104-3 has the same function as the image detection section 103-1 according to the first embodiment of the present invention. Further, the output control unit 104-3 indicates failure based on the image detection unit 103-3 detecting the movement of the hand to the plate that is being followed as the plate on which the ordered product of another terminal is placed. Control the output unit to output failure information. The display unit 108 is an example of the output unit. Moreover, the audio output unit 110 corresponds to another example of the output unit.

本発明の実施形態においては、失敗情報が、視覚によって知覚される所定の視覚情報である場合を主に想定する。かかる場合には、出力制御部１０４－３は、視覚情報（所定の画像）を表示するように表示部１０８を制御する。しかし、失敗情報は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部１０４－３は、聴覚情報（所定の音）を出力するように音声出力部１１０を制御する。 In the embodiments of the present invention, it is mainly assumed that the failure information is predetermined visual information perceived visually. In such a case, the output control unit 104-3 controls the display unit 108 to display visual information (a predetermined image). However, the failure information may also include predetermined auditory information that is perceived auditory. At this time, the output control section 104-3 controls the audio output section 110 to output auditory information (predetermined sound).

さらに、出力制御部１０４－３は、画像検出部１０３－３によって、他端末の注文商品が載せられた皿として追随中の皿への手の移動が検出されたことに基づいて、撮像映像における他端末の注文商品が載せられた皿として追随中の皿の位置に応じた領域に、自端末のＩＤと一致する搬送先ＩＤが受信されたときに表示される表示オブジェクト（第１の表示オブジェクト）とは異なる表示オブジェクト（第３の表示オブジェクト）を重畳して表示するように表示部１０８を制御する。 Further, the output control unit 104-3 controls the output control unit 104-3 to detect the movement of the hand toward the plate that is being followed as the plate on which the ordered product from another terminal is placed, by the image detection unit 103-3. A display object (a first display object ) The display unit 108 is controlled to display a display object (third display object) different from the display object (third display object) in a superimposed manner.

なお、既に商品到着の通知画面が表示されている場合には、出力制御部１０４－３は、既に表示されている商品到着の通知画面に含まれる撮像映像に、表示オブジェクト（第３の表示オブジェクト）を重畳して表示するように表示部１０８を制御する。一方、まだ商品到着の通知画面が表示されていない場合には、出力制御部１０４－３は、商品到着の通知画面を表示するように表示部１０８を制御し、表示された商品到着の通知画面に含まれる撮像映像に、表示オブジェクト（第３の表示オブジェクト）を重畳して表示するように表示部１０８を制御する。 Note that when the product arrival notification screen is already displayed, the output control unit 104-3 adds a display object (third display object) to the captured video included in the product arrival notification screen that is already displayed. ) is displayed in a superimposed manner. On the other hand, if the product arrival notification screen is not displayed yet, the output control unit 104-3 controls the display unit 108 to display the product arrival notification screen, and the displayed product arrival notification screen The display unit 108 is controlled to display a display object (third display object) superimposed on the captured video included in the image.

（３－２．システムの動作例）
続いて、本発明の第３の実施形態に係る表示制御システム１の動作例について説明する。まず、図２３を参照しながら、本発明の第３の実施形態に係る表示制御システム１のうち顧客によって視認される各構成の位置関係の例について説明する。 (3-2. System operation example)
Next, an example of the operation of the display control system 1 according to the third embodiment of the present invention will be described. First, with reference to FIG. 23, an example of the positional relationship of each component visually recognized by a customer in the display control system 1 according to the third embodiment of the present invention will be described.

図２３は、本発明の第３の実施形態に係る表示制御システム１のうち顧客によって視認される各構成の位置関係の例を示す図である。図２３を参照すると、搬送路５００には、皿Ｄ２２～Ｄ２８が載せられている。また、搬送路５００には、皿Ｄ２９が載せられた搬送容器４０－３と、皿Ｄ３０が載せられた搬送容器４０－４とが載せられている。 FIG. 23 is a diagram illustrating an example of the positional relationship of each component visually recognized by a customer in the display control system 1 according to the third embodiment of the present invention. Referring to FIG. 23, plates D22 to D28 are placed on the conveyance path 500. Further, on the conveyance path 500, a conveyance container 40-3 on which a plate D29 is placed and a conveyance container 40-4 on which a plate D30 is placed are placed.

皿Ｄ２２～Ｄ２８、皿Ｄ２９が載せられた搬送容器４０－３および皿Ｄ３０が載せられた搬送容器４０－４は、皿Ｄ２２を前方とし、皿Ｄ３０が載せられた搬送容器４０－４を後方として列をなし、搬送路５００による搬送方向に搬送されている。 The transport container 40-3 on which the plates D22 to D28 and the dish D29 are placed, and the transport container 40-4 on which the plate D30 is placed are placed with the plate D22 at the front and the transport container 40-4 on which the plate D30 is placed at the rear. They form a row and are conveyed in the conveyance direction by the conveyance path 500.

なお、皿Ｄ２２～Ｄ３０それぞれには商品が載せられているが、皿Ｄ２２～Ｄ３０それぞれに載せられる商品の図示は省略されている。ただし、皿Ｄ２９に商品「エビ」が載せられていることが「Ｄ２９：エビ」によって示されている。同様に、皿Ｄ３０に商品「エビ」が載せられていることが「Ｄ３０：エビ」によって示されている。 Although products are placed on each of the plates D22 to D30, illustration of the products placed on each of the plates D22 to D30 is omitted. However, "D29: Shrimp" indicates that the product "shrimp" is placed on plate D29. Similarly, "D30: Shrimp" indicates that the product "shrimp" is placed on the plate D30.

また、図２３を参照すると、Ａ席のテーブルが存在しており、Ａ席に存在する顧客から視認される注文端末１０－３（ＩＤ：Ａ）が設けられている。注文端末１０－３（ＩＤ：Ａ）に対応する搬送路範囲は、搬送路５００のうち、Ａ席に存在する顧客から手の届く範囲である。また、注文端末１０－３（ＩＤ：Ａ）の受信部１０５と、注文端末１０－３（ＩＤ：Ａ）の搬送路撮像部１１２－１、１１２－２とが設けられている。 Further, referring to FIG. 23, there is a table at seat A, and an order terminal 10-3 (ID: A) is provided which is visible to the customer at seat A. The conveyance path range corresponding to the order terminal 10-3 (ID: A) is the range within the reach of the customer in seat A on the conveyance path 500. Further, a receiving section 105 of the order terminal 10-3 (ID:A) and conveyance path imaging sections 112-1 and 112-2 of the order terminal 10-3 (ID:A) are provided.

図２４は、注文情報の例を示す図である。図２４に示された例では、注文番号「１」と、注文端末ＩＤ「Ｂ」と、注文内容「エビ：２皿」と、搬送予定数「２皿」とが対応付けられた注文情報、および、注文番号「２」と、注文端末ＩＤ「Ａ」と、注文内容「エビ：２皿」と、搬送予定数「２皿」とが対応付けられた注文情報が、注文管理装置２０の記憶部２０３および注文処理端末３０の記憶部３０３それぞれによって記憶される。 FIG. 24 is a diagram showing an example of order information. In the example shown in FIG. 24, order information in which order number "1", order terminal ID "B", order content "shrimp: 2 dishes", and planned number of conveyance "2 dishes" are associated, The order management device 20 stores order information in which the order number “2”, the order terminal ID “A”, the order content “shrimp: 2 dishes”, and the planned number of conveyance “2 dishes” are associated with each other. 203 and the storage unit 303 of the order processing terminal 30, respectively.

図２５は、本発明の第３の実施形態に係る表示制御システム１の動作例を示すフローチャートの前半である。図２６は、本発明の第３の実施形態に係る表示制御システム１の動作例を示すフローチャートの後半である。Ｓ１００～Ｓ１０１は、本発明の第１の実施形態に係るＳ１００～Ｓ１０１（図９）と同様に実行される。 FIG. 25 is the first half of a flowchart showing an example of the operation of the display control system 1 according to the third embodiment of the present invention. FIG. 26 is the second half of a flowchart showing an example of the operation of the display control system 1 according to the third embodiment of the present invention. S100 to S101 are executed in the same manner as S100 to S101 (FIG. 9) according to the first embodiment of the present invention.

（搬送先ＩＤ＝他端末のＩＤである場合）
まず、注文端末１０－３（ＩＤ：Ａ）の受信部１０５によって受信される搬送先ＩＤが、他端末である注文端末１０－３（ＩＤ：Ｂ）のＩＤである場合について説明する。 (If the destination ID = ID of another terminal)
First, a case will be described in which the destination ID received by the receiving unit 105 of the order terminal 10-3 (ID: A) is the ID of the order terminal 10-3 (ID: B), which is another terminal.

図２７は、搬送容器４０および皿の配置例を示す図である。ここでは、図２４に示された注文番号「１」の行の注文情報に従って、店員が注文された商品を処理する場合を想定する。このとき、注文番号「１」に対応する注文内容は、「エビ：２皿」であるため、店員は、搬送容器４０－３に、商品「エビ」が載せられた皿Ｄ２９を載せ、搬送容器４０－４に、商品「エビ」が載せられた皿Ｄ３０を載せる。 FIG. 27 is a diagram showing an example of the arrangement of the transport container 40 and the dishes. Here, it is assumed that a store clerk processes an ordered product according to the order information in the row with order number "1" shown in FIG. At this time, the order content corresponding to the order number "1" is "shrimp: 2 plates", so the clerk places the plate D29 on which the product "shrimp" is placed on the transport container 40-3, and Plate D30 on which the product "shrimp" is placed is placed on 40-4.

店員は、注文された商品を処理した後、注文処理端末３０の操作部３０１に対して、注文処理完了を入力する（Ｓ１００）。注文処理端末３０において、注文処理完了が入力されたことに基づいて、送信部３０２は、搬送容器４０－３および搬送容器４０－４それぞれに対して、注文情報に含まれる注文番号「１」を送信するとともに、注文情報に含まれる注文端末ＩＤ「Ｂ」を搬送先ＩＤ「Ｂ」として送信する。 After processing the ordered product, the clerk inputs the completion of order processing to the operation unit 301 of the order processing terminal 30 (S100). Based on the input of order processing completion in the order processing terminal 30, the transmitter 302 sends the order number "1" included in the order information to each of the transport container 40-3 and the transport container 40-4. At the same time, the order terminal ID "B" included in the order information is transmitted as the destination ID "B".

搬送容器４０－３および搬送容器４０－４それぞれにおいて、受信部４００は、注文番号「１」と搬送先ＩＤ「Ｂ」とを受信し、記憶部４０１は、注文番号「１」と搬送先ＩＤ「Ｂ」とを記憶する（Ｓ１０１）。そして、搬送容器４０－３および搬送容器４０－４それぞれは、搬送路５００によって搬送される。搬送容器４０－３および搬送容器４０－４それぞれの送信部４０２は、注文番号「１」と搬送先ＩＤ「Ｂ」とを送信する。 In each of the transport container 40-3 and the transport container 40-4, the receiving unit 400 receives the order number “1” and the transport destination ID “B”, and the storage unit 401 stores the order number “1” and the transport destination ID. "B" is stored (S101). Then, each of the transport container 40-3 and the transport container 40-4 is transported by the transport path 500. The transmitting unit 402 of each of the transport container 40-3 and the transport container 40-4 transmits the order number "1" and the transport destination ID "B".

図２３に示されるように、注文端末１０－３（ＩＤ：Ａ）において、受信部１０５は、搬送容器４０－３の送信部４０２によって送信された、注文番号「１」と搬送先ＩＤ「Ｂ」とを受信する。そして、注文端末１０－３（ＩＤ：Ａ）において、画像検出部１０３－３は、受信部１０５によって受信された搬送先ＩＤ「Ｂ」と、注文端末１０－３のＩＤ「Ａ」とが一致するか否かを判定する（Ｓ３００）。 As shown in FIG. 23, in the order terminal 10-3 (ID: A), the receiving unit 105 receives the order number “1” and the destination ID “B” transmitted by the transmitting unit 402 of the transport container 40-3. ” and receive. Then, in the order terminal 10-3 (ID: A), the image detection unit 103-3 detects that the destination ID “B” received by the reception unit 105 matches the ID “A” of the order terminal 10-3. It is determined whether or not to do so (S300).

仮に、受信部１０５によって受信された搬送先ＩＤと注文端末１０－３のＩＤとが一致しない場合には（Ｓ３００において「ＮＯ」）、Ｓ１０３に動作が移行される。一方、受信部１０５によって受信された搬送先ＩＤと注文端末１０－３のＩＤとが一致する場合には（Ｓ３００において「ＹＥＳ」）、Ｓ１０４に動作が移行される。ここでは、搬送先ＩＤ「Ｂ」と、注文端末１０－３のＩＤ「Ａ」とが一致しないため、Ｓ１０４に動作が移行される場合を想定する。 If the destination ID received by the receiving unit 105 and the ID of the order terminal 10-3 do not match ("NO" in S300), the operation moves to S103. On the other hand, if the delivery destination ID received by the receiving unit 105 and the ID of the order terminal 10-3 match ("YES" in S300), the operation moves to S104. Here, it is assumed that the destination ID "B" and the ID "A" of the order terminal 10-3 do not match, so the operation moves to S104.

図２８は、撮像映像の例を示す図である。図２８を参照すると、撮像映像Ｆ３１－１が示されている。また、撮像映像Ｆ３１－１には左端領域Ｆ１３が設定されている。注文端末１０－３（ＩＤ：Ａ）において、画像検出部１０３－３は、撮像映像Ｆ３１－１に基づいて、撮像映像Ｆ３１－１の左端領域Ｆ１３に移動した搬送容器４０が検出されるかを試みる。 FIG. 28 is a diagram showing an example of a captured video. Referring to FIG. 28, a captured video F31-1 is shown. Further, a left end area F13 is set in the captured image F31-1. In the order terminal 10-3 (ID: A), the image detection unit 103-3 determines whether the transport container 40 that has moved to the left end area F13 of the captured image F31-1 is detected based on the captured image F31-1. try.

仮に、撮像映像Ｆ３１－１の左端領域Ｆ１３に移動した搬送容器４０が検出されない場合には（Ｓ１０４において「ＮＯ」）、Ｓ１０４に動作が再度移行される。一方、撮像映像Ｆ３１－１の左端領域Ｆ１３に移動した搬送容器４０が検出された場合には（Ｓ１０４において「ＹＥＳ」）、Ｓ３０１に動作が移行される。ここでは、搬送容器４０－３が撮像映像Ｆ３１－１の左端領域Ｆ１３に移動したため、Ｓ３０１に動作が移行される場合を想定する。 If the transport container 40 that has moved to the left end area F13 of the captured image F31-1 is not detected ("NO" in S104), the operation returns to S104. On the other hand, if the transport container 40 that has moved to the left end area F13 of the captured image F31-1 is detected ("YES" in S104), the operation moves to S301. Here, it is assumed that the transport container 40-3 has moved to the left end region F13 of the captured image F31-1, so the operation is shifted to S301.

注文端末１０－３（ＩＤ：Ａ）において、画像検出部１０３－３は、受信部１０５によって受信された搬送先ＩＤ「Ｂ」と、注文端末１０－３のＩＤ「Ａ」とが一致するか否かを判定する（Ｓ３０１）。 In the ordering terminal 10-3 (ID: A), the image detection unit 103-3 determines whether the destination ID “B” received by the receiving unit 105 matches the ID “A” of the ordering terminal 10-3. It is determined whether or not (S301).

仮に、受信部１０５によって受信された搬送先ＩＤと注文端末１０－３のＩＤとが一致する場合には（Ｓ３０１において「ＹＥＳ」）、Ｓ３０２に動作が移行される。一方、受信部１０５によって受信された搬送先ＩＤと注文端末１０－３のＩＤとが一致しない場合には（Ｓ３０１において「ＮＯ」）、Ｓ３０３に動作が移行される。ここでは、搬送先ＩＤ「Ｂ」と、注文端末１０－３のＩＤ「Ａ」とが一致しないため、Ｓ３０３に動作が移行される場合を想定する。 If the destination ID received by the receiving unit 105 and the ID of the order terminal 10-3 match ("YES" in S301), the operation proceeds to S302. On the other hand, if the delivery destination ID received by the receiving unit 105 and the ID of the order terminal 10-3 do not match ("NO" in S301), the operation moves to S303. Here, it is assumed that the destination ID "B" and the ID "A" of the order terminal 10-3 do not match, so the operation is shifted to S303.

注文端末１０－３（ＩＤ：Ａ）において、画像検出部１０３－３は、撮像映像において搬送容器４０－３および搬送容器４０－３上の皿Ｄ２９を他端末の注文商品が載せられた皿として追随開始する（Ｓ３０３）。画像検出部１０３－３は、検出済みの搬送容器４０上の皿の数を計数する。 In the order terminal 10-3 (ID: A), the image detection unit 103-3 identifies the transport container 40-3 and the plate D29 on the transport container 40-3 in the captured image as a plate on which the ordered product from another terminal is placed. Tracking starts (S303). The image detection unit 103-3 counts the number of dishes on the detected transport container 40.

注文端末１０－１（ＩＤ：Ａ）において、画像検出部１０３－３は、注文番号「１」に対応付けられた搬送予定数「２」を、注文管理装置２０から取得する。そして、画像検出部１０３－３は、注文管理装置２０から取得した搬送予定数「２」と同数の搬送容器４０上の皿を検出済みであるか否かを判定する。 In the order terminal 10-1 (ID: A), the image detection unit 103-3 acquires the scheduled number of conveyances “2” associated with the order number “1” from the order management device 20. Then, the image detection unit 103-3 determines whether or not the same number of dishes on the transport containers 40 as the scheduled transport number “2” acquired from the order management device 20 have been detected.

注文管理装置２０から取得した搬送予定数「２」と同数の搬送容器４０上の皿を検出済みでない場合（Ｓ１０７において「ＮＯ」）、Ｓ１０４に再度動作が移行される。ここでは、検出済みの搬送容器４０上の皿の数が「１」であり、搬送予定数「２」より小さいとして、Ｓ１０４に再度動作が移行される場合を想定する。 If the same number of dishes on the transport containers 40 as the number of scheduled transports "2" obtained from the order management device 20 have not been detected ("NO" in S107), the operation is shifted to S104 again. Here, it is assumed that the number of dishes on the detected transport container 40 is "1", which is smaller than the scheduled transport number "2", and the operation is shifted to S104 again.

図２９は、図２８に示された撮像映像の後に得られる撮像映像の例を示す図である。図２９に示されるように、搬送容器４０－３に続く搬送容器４０－４が撮像映像Ｆ３１－２の左端領域において検出され（Ｓ１０４において「ＹＥＳ」）、搬送容器４０－４上の皿Ｄ３０が検出されると（Ｓ１０５において「ＹＥＳ」）、画像検出部１０３－３は、撮像映像Ｆ３１－２において搬送容器４０－４および搬送容器４０－４上の皿Ｄ３０の追随を開始する。 FIG. 29 is a diagram showing an example of a captured image obtained after the captured image shown in FIG. 28. As shown in FIG. 29, the transport container 40-4 following the transport container 40-3 is detected in the left end area of the captured image F31-2 ("YES" in S104), and the plate D30 on the transport container 40-4 is detected in the left end area of the captured image F31-2. When detected (“YES” in S105), the image detection unit 103-3 starts tracking the transport container 40-4 and the plate D30 on the transport container 40-4 in the captured image F31-2.

画像検出部１０３－３は、検出済みの搬送容器４０上の皿の数を計数する。そして、画像検出部１０３－３は、注文管理装置２０から取得した搬送予定数「２」と同数の搬送容器４０上の皿を検出済みであるか否かを判定する。ここでは、検出済みの搬送容器４０上の皿の数が「２」であり、搬送予定数「２」と同数であるため、搬送予定数「２」と同数の搬送容器４０上の皿を検出済みであると判定される。 The image detection unit 103-3 counts the number of dishes on the detected transport container 40. Then, the image detection unit 103-3 determines whether or not the same number of dishes on the transport containers 40 as the scheduled transport number “2” acquired from the order management device 20 have been detected. Here, the number of dishes on the detected transport container 40 is "2", which is the same number as the planned transport number "2", so the same number of dishes on the transport container 40 as the planned transport number "2" is detected. It is determined that it has been completed.

Ｓ１０７に並行して、Ｓ３１０が実行される。画像検出部１０３－３は、撮像映像に基づいて、追随中の皿への手の移動の検出を試みる。仮に、追随中の皿への手の移動が検出されない場合には（Ｓ３１０において「ＮＯ」）、Ｓ３１０に再度動作が移行される。一方、追随中の皿への手の移動が検出された場合には（Ｓ３１０において「ＹＥＳ」）、Ｓ３１１に動作が移行される。 S310 is executed in parallel to S107. The image detection unit 103-3 attempts to detect the movement of the hand toward the plate being followed based on the captured video. If the movement of the hand toward the plate being followed is not detected ("NO" in S310), the operation shifts to S310 again. On the other hand, if the movement of the hand toward the plate being followed is detected ("YES" in S310), the operation moves to S311.

図３０は、追随中の皿に手が移動している状態を示す図である。図３０を参照すると、撮像映像Ｆ３１－３に写る追随中の皿Ｄ２９に対して、手が移動している。ここでは、追随中の皿への手の移動が検出されるため、Ｓ３１１に動作が移行される場合を想定する。 FIG. 30 is a diagram showing a state in which the hand is moving to the plate being followed. Referring to FIG. 30, the hand is moving relative to the plate D29 that is being followed in the captured image F31-3. Here, it is assumed that the movement of the hand to the plate being followed is detected, so the operation is shifted to S311.

仮に、手の移動先である追随中の皿Ｄ２９が、自端末の商品が載せられた皿である場合には（Ｓ３１１において「ＹＥＳ」）、Ｓ３１２に動作が移行される。一方、手の移動先である追随中の皿Ｄ２９が、他端末の商品が載せられた皿である場合には（Ｓ３１１において「ＮＯ」）、Ｓ３２０に動作が移行される。ここでは、手の移動先である追随中の皿Ｄ２９が他端末の商品が載せられた皿であるため、Ｓ３２０に動作が移行される場合を想定する。 If the following plate D29, which is the destination of the hand movement, is a plate on which the product of the own terminal is placed ("YES" in S311), the operation moves to S312. On the other hand, if the plate D29 being followed, which is the destination of the hand movement, is a plate on which products from another terminal are placed ("NO" in S311), the operation moves to S320. Here, it is assumed that the operation moves to S320 because the plate D29 being followed, which is the destination of the hand movement, is a plate on which products from another terminal are placed.

仮に、商品到着の通知画面が既に表示部１０８によって表示されている場合には（Ｓ３２０において「ＹＥＳ」）、Ｓ３２１に動作が移行される。一方、商品到着の通知画面がまだ表示部１０８によって表示されていない場合には（Ｓ３２０において「ＮＯ」）、Ｓ３２２に動作が移行される。ここでは、メニュー画面だけが表示部１０８によって表示されており、商品到着の通知画面がまだ表示部１０８によって表示されていない場合を想定する。 If the product arrival notification screen is already displayed on the display unit 108 ("YES" in S320), the operation proceeds to S321. On the other hand, if the product arrival notification screen is not yet displayed on the display unit 108 ("NO" in S320), the operation proceeds to S322. Here, it is assumed that only the menu screen is being displayed on the display unit 108 and the product arrival notification screen has not yet been displayed on the display unit 108.

図３１は、メニュー画面の例を示す図である。図３１を参照すると、メニュー画面Ｍ３１が示されている。メニュー画面Ｍ３１には、顧客によって押下され得るメニューボタンが含まれている。図３１に示された例のように、メニュー画面Ｍ３１だけが表示部１０８によって表示されている場合を想定する。 FIG. 31 is a diagram showing an example of a menu screen. Referring to FIG. 31, a menu screen M31 is shown. The menu screen M31 includes a menu button that can be pressed by the customer. Assume that only the menu screen M31 is displayed on the display unit 108, as in the example shown in FIG.

出力制御部１０４－３は、商品到着の通知画面を表示するように表示部１０８を制御する。そして、出力制御部１０４－３は、商品到着の通知画面内に注文商品の受け取りの失敗を示す失敗情報を表示するように表示部１０８を制御する（Ｓ３２２）。 The output control unit 104-3 controls the display unit 108 to display a notification screen for product arrival. Then, the output control unit 104-3 controls the display unit 108 to display failure information indicating failure to receive the ordered product on the product arrival notification screen (S322).

一例として、出力制御部１０４－３は、メニュー画面Ｍ３１の上に商品到着の通知画面がポップアップ表示されるように表示部１０８を制御し、ポップアップ表示された商品到着の通知画面内に注文商品の受け取りの失敗を示す失敗情報を表示するように表示部１０８を制御する。 As an example, the output control unit 104-3 controls the display unit 108 so that a product arrival notification screen pops up on the menu screen M31, and displays the ordered product in the pop-up product arrival notification screen. The display unit 108 is controlled to display failure information indicating failure of reception.

図３２は、メニュー画面Ｍ３１の上にポップアップ表示された商品到着の通知画面の例である。図３２を参照すると、メニュー画面Ｍ３１の上に商品到着の通知画面Ｎ３１がポップアップ表示される例が示されている。商品到着の通知画面Ｎ３１には、注文商品の受け取りの失敗を示す失敗情報Ｆ３６－１および失敗情報Ｆ３６－２が含まれている。 FIG. 32 is an example of a product arrival notification screen pop-up displayed on the menu screen M31. Referring to FIG. 32, an example is shown in which a product arrival notification screen N31 is displayed as a pop-up on the menu screen M31. The product arrival notification screen N31 includes failure information F36-1 and failure information F36-2 indicating failure in receiving the ordered product.

なお、図３２に示された例では、失敗情報Ｆ３６－１は、「違います」という文字列である。しかし、失敗情報Ｆ３６－１は、かかる文字列に限定されない。例えば、失敗情報Ｆ３６－１は、他の文字列であってもよいし、文字列以外の情報（例えば、失敗を示す画像など）であってもよい。あるいは、失敗情報Ｆ３６－１は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部１０４－３は、聴覚情報（所定の音）を出力するように音声出力部１１０を制御する。なお、失敗情報Ｆ３６－１は、手の移動先である追随中の皿Ｄ２９の位置に依存しない位置に表示される。 In the example shown in FIG. 32, the failure information F36-1 is a character string "Incorrect." However, the failure information F36-1 is not limited to such a character string. For example, the failure information F36-1 may be another character string, or may be information other than character strings (for example, an image indicating failure). Alternatively, the failure information F36-1 may include predetermined auditory information that is perceived by the sense of hearing. At this time, the output control section 104-3 controls the audio output section 110 to output auditory information (predetermined sound). Note that the failure information F36-1 is displayed at a position that is independent of the position of the plate D29 being followed, which is the hand movement destination.

失敗情報Ｆ３６－２は、「「注意」それは他のお客様の注文です」という文字列である。しかし、失敗情報Ｆ３６－２は、かかる文字列に限定されない。例えば、失敗情報Ｆ３６－２それぞれは、他の文字列であってもよいし、文字列以外の情報（例えば、失敗を示す画像など）であってもよい。あるいは、失敗情報Ｆ３６－２は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部１０４－３は、聴覚情報（所定の音）を出力するように音声出力部１１０を制御する。なお、失敗情報Ｆ３６－２は、手の移動先である追随中の皿Ｄ２９の位置に依存した位置に表示される。 The failure information F36-2 is a character string "'Caution': This is another customer's order." However, the failure information F36-2 is not limited to such a character string. For example, each of the failure information F36-2 may be another character string, or may be information other than character strings (for example, an image indicating failure). Alternatively, the failure information F36-2 may include predetermined auditory information that is perceived by the sense of hearing. At this time, the output control section 104-3 controls the audio output section 110 to output auditory information (predetermined sound). Note that the failure information F36-2 is displayed at a position that depends on the position of the plate D29 that is being followed, which is the movement destination of the hand.

さらに、出力制御部１０４－３は、手の移動先である追随中の領域である、撮像映像における搬送容器４０－３および搬送容器４０－３上の皿Ｄ２９の領域上に、表示オブジェクトＦ３５－１を重畳して表示するように表示部１０８を制御する。このときに表示される表示オブジェクトＦ３５－１は、自端末のＩＤと一致する搬送先ＩＤが受信されたときに表示される表示オブジェクトＦ１４－１（図１５）とは異なる。例えば、表示される表示オブジェクトＦ３５－１は、表示オブジェクトＦ１４－１（図１５）と表示態様（例えば、色または形状など）が異なる。 Furthermore, the output control unit 104-3 displays the display object F35- on the region of the transport container 40-3 and the plate D29 on the transport container 40-3 in the captured video, which is the region being followed which is the movement destination of the hand. The display unit 108 is controlled so as to display 1 in a superimposed manner. The display object F35-1 displayed at this time is different from the display object F14-1 (FIG. 15) that is displayed when a destination ID matching the ID of the own terminal is received. For example, the displayed display object F35-1 is different from the display object F14-1 (FIG. 15) in display manner (for example, color or shape).

なお、出力制御部１０４－３は、所定の条件が満たされたときに、商品到着の通知画面Ｎ３１を消去する。所定の条件は、商品到着の通知画面Ｎ３１の表示開始から所定の時間が経過したという条件であってもよいし、手の移動先である追随中の領域から手が外れたという条件であってもよい。 Note that the output control unit 104-3 erases the product arrival notification screen N31 when a predetermined condition is satisfied. The predetermined condition may be a condition that a predetermined time has elapsed since the start of display of the product arrival notification screen N31, or a condition that the hand has moved away from the area being followed, which is the movement destination of the hand. Good too.

他端末の注文商品が載せられた皿に対する追随が終了していない場合には（Ｓ３２３において「ＮＯ」）、Ｓ３１０に動作が移行される。一方、他端末の注文商品が載せられた皿に対する追随が終了した場合には（Ｓ３２３において「ＹＥＳ」）、動作が終了される。なお、他端末の注文商品が載せられた皿として追随中の皿に対する追随終了は、搬送方向と異なる方向への他端末の注文商品が載せられた皿として追随中の皿の移動を検出したこと、または、他端末の注文商品が載せられた皿として追随中の皿が撮像部１０１による撮像範囲から外れたことによって判定され得る。 If tracking of the plate on which the ordered product of the other terminal is placed has not been completed (“NO” in S323), the operation moves to S310. On the other hand, if the tracking of the plate on which the ordered product of the other terminal is completed is completed ("YES" in S323), the operation is ended. Note that the end of tracking for a plate that is being followed as a plate on which an ordered item from another terminal is placed means that the movement of the plate that is being followed as a plate on which an ordered item from another terminal is placed is detected in a direction different from the transport direction. Alternatively, it may be determined that the plate being followed as the plate on which the ordered product of another terminal is placed has moved out of the imaging range of the imaging unit 101.

（搬送先ＩＤ＝自端末のＩＤである場合）
続いて、他端末である注文端末１０－３（ＩＤ：Ｂ）のＩＤが、搬送先ＩＤとして、注文端末１０－３（ＩＤ：Ａ）の受信部１０５によって受信された後に、自端末である注文端末１０－３（ＩＤ：Ａ）のＩＤが、搬送先ＩＤとして、注文端末１０－３（ＩＤ：Ａ）の受信部１０５によって受信された場合について説明する。 (When destination ID = own terminal ID)
Subsequently, after the ID of order terminal 10-3 (ID: B), which is another terminal, is received as the delivery destination ID by receiving unit 105 of order terminal 10-3 (ID: A), A case will be described in which the ID of the order terminal 10-3 (ID: A) is received by the receiving unit 105 of the order terminal 10-3 (ID: A) as the destination ID.

図３３は、本発明の第３の実施形態に係る表示制御システム１のうち顧客によって視認される各構成の位置関係の例を示す図である。図３３を参照すると、搬送路５００には、皿Ｄ２７～Ｄ２８が載せられている。また、搬送路５００には、皿Ｄ２９が載せられた搬送容器４０－３と、皿Ｄ３０が載せられた搬送容器４０－４とが載せられている。搬送路５００には、皿Ｄ３１～Ｄ３３が載せられている。また、搬送路５００には、皿Ｄ３４が載せられた搬送容器４０－５と、皿Ｄ３５が載せられた搬送容器４０－６とが載せられている。 FIG. 33 is a diagram illustrating an example of the positional relationship of each component visually recognized by a customer in the display control system 1 according to the third embodiment of the present invention. Referring to FIG. 33, plates D27 to D28 are placed on the conveyance path 500. Further, on the conveyance path 500, a conveyance container 40-3 on which a plate D29 is placed and a conveyance container 40-4 on which a plate D30 is placed are placed. On the conveyance path 500, plates D31 to D33 are placed. Further, on the conveyance path 500, a conveyance container 40-5 on which a plate D34 is placed and a conveyance container 40-6 on which a plate D35 is placed are placed.

皿Ｄ２７～Ｄ２８、皿Ｄ２９が載せられた搬送容器４０－３、皿Ｄ３０が載せられた搬送容器４０－４、皿Ｄ３１～Ｄ３３、皿Ｄ３４が載せられた搬送容器４０－５、皿Ｄ３５が載せられた搬送容器４０－６は、皿Ｄ２７を前方とし、皿Ｄ３５が載せられた搬送容器４０－６を後方として列をなし、搬送路５００による搬送方向に搬送されている。 Transfer container 40-3 with plates D27 to D28 and plate D29 placed on it, transfer container 40-4 with plate D30 placed on it, transfer container 40-5 with plates D31 to D33 and plate D34 placed thereon, and transfer container 40-5 with plate D35 placed on it. The loaded transport containers 40-6 are arranged in a row with the plate D27 at the front and the transport container 40-6 on which the plate D35 is placed at the rear, and are transported in the transport direction by the transport path 500.

なお、皿Ｄ２７～Ｄ３５それぞれには商品が載せられているが、皿Ｄ２７～Ｄ３５それぞれに載せられる商品の図示は省略されている。ただし、皿Ｄ３４に商品「エビ」が載せられていることが「Ｄ３４：エビ」によって示されている。同様に、皿Ｄ３５に商品「エビ」が載せられていることが「Ｄ３５：エビ」によって示されている。「Ｄ２９：エビ」および「Ｄ３０：エビ」については、既に説明した通りである。 Although products are placed on each of the plates D27 to D35, illustration of the products placed on each of the plates D27 to D35 is omitted. However, "D34: Shrimp" indicates that the product "shrimp" is placed on the plate D34. Similarly, "D35: Shrimp" indicates that the product "shrimp" is placed on the plate D35. "D29: Shrimp" and "D30: Shrimp" are as already explained.

ここでは、図２４に示された注文番号「２」の行の注文情報に従って、店員が注文された商品を処理する場合を想定する。このとき、注文番号「２」に対応する注文内容は、「エビ：２皿」であるため、店員は、搬送容器４０－５に、商品「エビ」が載せられた皿Ｄ３４を載せ、搬送容器４０－６に、商品「エビ」が載せられた皿Ｄ３５を載せる。 Here, it is assumed that a store clerk processes an ordered product according to the order information in the row of order number "2" shown in FIG. At this time, since the order content corresponding to the order number "2" is "shrimp: 2 plates", the clerk places the plate D34 on which the product "shrimp" is placed on the transport container 40-5, and Plate D35 on which the product "shrimp" is placed is placed on 40-6.

店員は、注文された商品を処理した後、注文処理端末３０の操作部３０１に対して、注文処理完了を入力する（Ｓ１００）。注文処理端末３０において、注文処理完了が入力されたことに基づいて、送信部３０２は、搬送容器４０－５および搬送容器４０－６それぞれに対して、注文情報に含まれる注文番号「２」を送信するとともに、注文情報に含まれる注文端末ＩＤ「Ａ」を搬送先ＩＤ「Ａ」として送信する。 After processing the ordered product, the clerk inputs the completion of order processing to the operation unit 301 of the order processing terminal 30 (S100). Based on the input of order processing completion in the order processing terminal 30, the transmitter 302 sends the order number "2" included in the order information to each of the transport container 40-5 and the transport container 40-6. At the same time, the order terminal ID "A" included in the order information is transmitted as the delivery destination ID "A".

搬送容器４０－５および搬送容器４０－６それぞれにおいて、受信部４００は、注文番号「２」と搬送先ＩＤ「Ａ」とを受信し、記憶部４０１は、注文番号「２」と搬送先ＩＤ「Ａ」とを記憶する（Ｓ１０１）。そして、搬送容器４０－５および搬送容器４０－６それぞれは、搬送路５００によって搬送される。搬送容器４０－５および搬送容器４０－６それぞれの送信部４０２は、注文番号「２」と搬送先ＩＤ「Ａ」とを送信する。 In each of the transport container 40-5 and the transport container 40-6, the receiving unit 400 receives the order number “2” and the transport destination ID “A”, and the storage unit 401 stores the order number “2” and the transport destination ID. "A" is stored (S101). Then, each of the transport container 40-5 and the transport container 40-6 is transported by the transport path 500. The transmitting unit 402 of each of the transport container 40-5 and the transport container 40-6 transmits the order number "2" and the transport destination ID "A".

図３３に示されるように、注文端末１０－３（ＩＤ：Ａ）において、受信部１０５は、搬送容器４０－５の送信部４０２によって送信された、注文番号「２」と搬送先ＩＤ「Ａ」とを受信する。そして、注文端末１０－３（ＩＤ：Ａ）において、画像検出部１０３－３は、受信部１０５によって受信された搬送先ＩＤ「Ａ」と、注文端末１０－３のＩＤ「Ａ」とが一致するか否かを判定する（Ｓ３００）。ここでは、搬送先ＩＤ「Ａ」と、注文端末１０－３のＩＤ「Ａ」とが一致するため、Ｓ１０３に動作が移行される場合を想定する。 As shown in FIG. 33, in the order terminal 10-3 (ID: A), the receiving unit 105 receives the order number “2” and the destination ID “A” transmitted by the transmitting unit 402 of the transport container 40-5. ” and receive. Then, in the order terminal 10-3 (ID: A), the image detection unit 103-3 detects that the destination ID “A” received by the reception unit 105 matches the ID “A” of the order terminal 10-3. It is determined whether or not to do so (S300). Here, it is assumed that the destination ID "A" and the ID "A" of the order terminal 10-3 match, so the operation moves to S103.

図３４は、商品到着の通知画面の例を示す図である。図３４を参照すると、商品到着の通知画面Ｎ３２が示されている。商品到着の通知画面Ｎ３２には、商品の到着を示す情報「注文品が到着しました」と注文内容「エビ２皿」とを含んだ、伝達内容情報Ｆ１１と、撮像映像Ｆ１２とが含まれる。撮像映像Ｆ１２は、搬送路撮像部１１２－１および搬送路撮像部１１２－２それぞれによって撮像されて得られた搬送路映像が、映像生成部１０２によってつなぎ合わされて生成された、注文端末１０－３（ＩＤ：Ａ）に対応する搬送路範囲の撮像映像である。 FIG. 34 is a diagram showing an example of a product arrival notification screen. Referring to FIG. 34, a product arrival notification screen N32 is shown. The product arrival notification screen N32 includes communication content information F11 including information indicating the arrival of the product, "Your order has arrived," and the order details, "2 dishes of shrimp," and a captured video F12. The captured image F12 is generated by the image generation unit 102 stitching together the conveyance path images obtained by capturing images by the conveyance path imaging unit 112-1 and the conveyance path imaging unit 112-2, respectively, and is generated by the order terminal 10-3. This is a captured image of the transport path range corresponding to (ID:A).

注文端末１０－１（ＩＤ：Ａ）において、画像検出部１０３－３は、撮像映像に基づいて、撮像映像の左端領域に移動した搬送容器４０が検出されるかを試みる。 In the order terminal 10-1 (ID: A), the image detection unit 103-3 attempts to detect the transport container 40 that has moved to the left end area of the captured image based on the captured image.

図３５は、撮像映像の左端領域の例を示す図である。図３５を参照すると、商品到着の通知画面Ｎ３３における撮像映像の左端領域Ｆ３３が示されている。 FIG. 35 is a diagram showing an example of the left end area of the captured video. Referring to FIG. 35, the left end area F33 of the captured video on the product arrival notification screen N33 is shown.

仮に、撮像映像の左端領域Ｆ３３に移動した搬送容器４０が検出されない場合には（Ｓ１０４において「ＮＯ」）、Ｓ１０４に動作が再度移行される。一方、撮像映像の左端領域Ｆ３３に移動した搬送容器４０が検出された場合には（Ｓ１０４において「ＹＥＳ」）、Ｓ３０１に動作が移行される。ここでは、搬送容器４０－５が撮像映像の左端領域Ｆ３３に移動したため、Ｓ３０１に動作が移行される場合を想定する。 If the transport container 40 that has moved to the left end area F33 of the captured image is not detected ("NO" in S104), the operation shifts to S104 again. On the other hand, if the transport container 40 that has moved to the left end area F33 of the captured image is detected ("YES" in S104), the operation moves to S301. Here, it is assumed that the transport container 40-5 has moved to the left end area F33 of the captured image, so the operation is shifted to S301.

注文端末１０－３（ＩＤ：Ａ）において、画像検出部１０３－３は、受信部１０５によって受信された搬送先ＩＤ「Ａ」と、注文端末１０－３のＩＤ「Ａ」とが一致するか否かを判定する（Ｓ３０１）。ここでは、搬送先ＩＤ「Ａ」と、注文端末１０－３のＩＤ「Ａ」とが一致するため、Ｓ３０２に動作が移行される場合を想定する。 In the order terminal 10-3 (ID: A), the image detection unit 103-3 determines whether the destination ID “A” received by the reception unit 105 matches the ID “A” of the order terminal 10-3. It is determined whether or not (S301). Here, it is assumed that the destination ID "A" and the ID "A" of the order terminal 10-3 match, so the operation moves to S302.

注文端末１０－３（ＩＤ：Ａ）において、画像検出部１０３－３は、撮像映像において搬送容器４０－５および搬送容器４０－５上の皿Ｄ３４を自端末の注文商品が載せられた皿として追随開始する（Ｓ３０２）。そして、出力制御部１０４－３は、追随中の領域である、撮像映像における搬送容器４０－５および搬送容器４０－５上の皿Ｄ３４の領域上に、表示オブジェクトを重畳して表示するように表示部１０８を制御する（Ｓ３０４）。 In the order terminal 10-3 (ID: A), the image detection unit 103-3 identifies the transport container 40-5 and the plate D34 on the transport container 40-5 in the captured image as a plate on which the ordered product of the own terminal is placed. Tracking starts (S302). Then, the output control unit 104-3 superimposes and displays the display object on the area of the transport container 40-5 and the dish D34 on the transport container 40-5 in the captured image, which is the area being tracked. The display unit 108 is controlled (S304).

図３５の商品到着の通知画面Ｎ３３に示されるように、出力制御部１０４－３は、自端末の注文商品が載せられた皿として追随中の領域である、撮像映像における搬送容器４０－５および搬送容器４０－５上の皿Ｄ３４の領域上に、表示オブジェクトＦ３４－１を重畳して表示するように表示部１０８を制御する。図３５に示されるように、表示オブジェクトＦ３４－１は、透過性を有する画像であるのが望ましい。 As shown in the product arrival notification screen N33 in FIG. 35, the output control unit 104-3 controls the transport container 40-5 and The display unit 108 is controlled so as to display the display object F34-1 superimposed on the area of the plate D34 on the transport container 40-5. As shown in FIG. 35, the display object F34-1 is preferably a transparent image.

なお、出力制御部１０４－３は、他端末の注文商品が載せられた皿として追随中の領域である、撮像映像における搬送容器４０－３および搬送容器４０－３上の皿Ｄ２９の領域上、および、撮像映像における搬送容器４０－４および搬送容器４０－４上の皿Ｄ３０の領域上それぞれには、表示オブジェクトＦ３４－１を重畳して表示しないように表示部１０８を制御する。画像検出部１０３－３は、検出済みの搬送容器４０上の皿の数を計数する。 Note that the output control unit 104-3 is configured to control the area of the transport container 40-3 and the plate D29 on the transport container 40-3 in the captured image, which is the area that is being followed as the plate on which the ordered product from another terminal is placed. Then, the display unit 108 is controlled so that the display object F34-1 is not displayed superimposed on the transport container 40-4 and the area of the dish D30 on the transport container 40-4 in the captured video. The image detection unit 103-3 counts the number of dishes on the detected transport container 40.

注文端末１０－１（ＩＤ：Ａ）において、画像検出部１０３－３は、注文番号「２」に対応付けられた搬送予定数「２」を、注文管理装置２０から取得する。そして、画像検出部１０３－３は、注文管理装置２０から取得した搬送予定数「２」と同数の搬送容器４０上の皿を検出済みであるか否かを判定する。ここでは、検出済みの搬送容器４０上の皿の数が「２」であり、搬送予定数「２」と同数であるため、搬送予定数「２」と同数の搬送容器４０上の皿を検出済みであると判定される。 In the order terminal 10-1 (ID: A), the image detection unit 103-3 acquires from the order management device 20 the scheduled number of conveyances “2” associated with the order number “2”. Then, the image detection unit 103-3 determines whether or not the same number of dishes on the transport containers 40 as the scheduled transport number “2” acquired from the order management device 20 have been detected. Here, the number of dishes on the detected transport container 40 is "2", which is the same number as the planned transport number "2", so the same number of dishes on the transport container 40 as the planned transport number "2" is detected. It is determined that it has been completed.

Ｓ１０７に並行して、Ｓ３１０が実行される。画像検出部１０３－３は、撮像映像に基づいて、追随中の皿への手の移動の検出を試みる。 S310 is executed in parallel to S107. The image detection unit 103-3 attempts to detect the movement of the hand toward the plate being followed based on the captured video.

図３６は、追随中の皿に手が移動している状態を示す図である。図３６を参照すると、撮像映像に写る追随中の皿Ｄ３０に対して、手が移動している。ここでは、追随中の皿への手の移動が検出されるため、Ｓ３１１に動作が移行される場合を想定する。さらに、ここでは、手の移動先である追随中の皿Ｄ３０が他端末の商品が載せられた皿であるため、Ｓ３２０に動作が移行される場合を想定する。 FIG. 36 is a diagram showing a state in which the hand is moving to the plate being followed. Referring to FIG. 36, the hand is moving with respect to the plate D30 that is being followed in the captured image. Here, it is assumed that the movement of the hand to the plate being followed is detected, so the operation is shifted to S311. Furthermore, here, it is assumed that the operation moves to S320 because the plate D30 being followed, which is the destination of the hand movement, is a plate on which products from another terminal are placed.

商品到着の通知画面Ｎ３４が既に表示部１０８によって表示されているため、出力制御部１０４－３は、商品到着の通知画面内に注文商品の受け取りの失敗を示す失敗情報を表示するように表示部１０８を制御する（Ｓ３２２）。商品到着の通知画面Ｎ３３には、注文商品の受け取りの失敗を示す失敗情報Ｆ３６－１が含まれている。 Since the product arrival notification screen N34 is already displayed on the display unit 108, the output control unit 104-3 controls the display unit to display failure information indicating failure to receive the ordered product in the product arrival notification screen. 108 (S322). The product arrival notification screen N33 includes failure information F36-1 indicating failure in receiving the ordered product.

さらに、出力制御部１０４－３は、手の移動先である追随中の領域である、撮像映像における搬送容器４０－４および搬送容器４０－４上の皿Ｄ３０の領域上に、表示オブジェクトＦ３５－２を重畳して表示するように表示部１０８を制御する。このときに表示される表示オブジェクトＦ３５－２は、自端末のＩＤと一致する搬送先ＩＤが受信されたときに表示される表示オブジェクトＦ１４－１（図１５）とは異なる。例えば、表示される表示オブジェクトＦ３５－２は、表示オブジェクトＦ１４－１（図１５）と表示態様（例えば、色または形状など）が異なる。 Furthermore, the output control unit 104-3 displays a display object F35- on the region of the transport container 40-4 and the plate D30 on the transport container 40-4 in the captured video, which is the region being followed which is the movement destination of the hand. The display unit 108 is controlled so as to display 2 in a superimposed manner. The display object F35-2 displayed at this time is different from the display object F14-1 (FIG. 15) that is displayed when a destination ID matching the ID of the own terminal is received. For example, the displayed display object F35-2 is different from the display object F14-1 (FIG. 15) in display manner (for example, color or shape).

なお、出力制御部１０４－３は、所定の条件が満たされたときに、商品到着の通知画面Ｎ３４を消去する。所定の条件は、商品到着の通知画面Ｎ３４の表示開始から所定の時間が経過したという条件であってもよいし、手の移動先である追随中の領域から手が外れたという条件であってもよい。 Note that the output control unit 104-3 erases the product arrival notification screen N34 when a predetermined condition is met. The predetermined condition may be a condition that a predetermined time has elapsed since the start of display of the product arrival notification screen N34, or a condition that the hand has moved away from the area being followed, which is the movement destination of the hand. Good too.

他端末の注文商品が載せられた皿に対する追随が終了していない場合には（Ｓ３２３において「ＮＯ」）、Ｓ３１０に動作が移行される。一方、他端末の注文商品が載せられた皿に対する追随が終了した場合には（Ｓ３２３において「ＹＥＳ」）、動作が終了される。一方、Ｓ３１０において「ＹＥＳ」となる場合、かつ、Ｓ３１１において「ＹＥＳ」となる場合を想定する。 If tracking of the plate on which the ordered product of the other terminal is placed has not been completed (“NO” in S323), the operation moves to S310. On the other hand, if the tracking of the plate on which the ordered product of the other terminal is completed is completed ("YES" in S323), the operation is ended. On the other hand, assume that the answer in S310 is "YES" and the answer in S311 is "YES".

図３７は、追随中の皿に手が移動している状態を示す他の図である。図３７を参照すると、撮像映像に写る追随中の皿Ｄ３４に対して、手が移動している。ここでは、追随中の皿への手の移動が検出されるため、Ｓ３１１に動作が移行される。さらに、ここでは、手の移動先である追随中の皿Ｄ３４が自端末の商品が載せられた皿であるため、Ｓ３１２に動作が移行される。 FIG. 37 is another diagram showing a state in which the hand is moving to the plate being followed. Referring to FIG. 37, the hand is moving relative to the plate D34 that is being followed in the captured image. Here, since the movement of the hand toward the plate being followed is detected, the operation moves to S311. Furthermore, here, since the plate D34 being followed, which is the destination of the hand movement, is the plate on which the product of the own terminal is placed, the operation moves to S312.

画像検出部１０３－３によって、搬送方向と異なる方向への追随中の皿の移動が検出されない場合には（Ｓ３１２において「ＮＯ」）、Ｓ３１０に再度動作が移行される。一方、画像検出部１０３－３は、搬送方向と異なる方向への追随中の皿の移動を検出した場合には（Ｓ３１２において「ＹＥＳ」）、Ｓ１０９に動作が移行される。ここでは、画像検出部１０３－３によって、搬送方向と異なる方向への追随中の皿Ｄ３４の移動が検出されるため、Ｓ１０９に動作が移行される。 If the image detection unit 103-3 does not detect the movement of the plate being followed in a direction different from the transport direction ("NO" in S312), the operation shifts to S310 again. On the other hand, if the image detection unit 103-3 detects the movement of the plate being followed in a direction different from the transport direction ("YES" in S312), the operation proceeds to S109. Here, since the image detection unit 103-3 detects the movement of the plate D34 being followed in a direction different from the transport direction, the operation moves to S109.

Ｓ１０９に動作が移行された場合、画像検出部１０３－３は、撮像映像において搬送容器４０－５および搬送容器４０－５上の搬送容器４０上の皿Ｄ３４の追随を終了する。そして、出力制御部１０４－３は、搬送方向と異なる方向への移動が検出された追随中の領域である、搬送容器４０－５および搬送容器４０－５上の皿Ｄ３４の領域に重畳された表示オブジェクト３４－１（図３６）を消去する。さらに、出力制御部１０４－３は、注文商品の受け取りの成功情報Ｆ１５を撮像映像に重畳して表示するように表示部１０８を制御する（Ｓ１０９）。 When the operation moves to S109, the image detection unit 103-3 finishes tracking the transport container 40-5 and the plate D34 on the transport container 40 on the transport container 40-5 in the captured image. Then, the output control unit 104-3 superimposes the area of the transfer container 40-5 and the plate D34 on the transfer container 40-5, which is the tracking area where movement in a direction different from the transfer direction is detected. The display object 34-1 (FIG. 36) is deleted. Further, the output control unit 104-3 controls the display unit 108 to display the success information F15 on receipt of the ordered product superimposed on the captured video (S109).

仮に、自端末の注文商品が載せられた皿に対する追随が終了していない場合には（Ｓ３１３において「ＮＯ」）、Ｓ３１０に再度動作が移行される。一方、自端末の注文商品が載せられた皿に対する追随が全て終了した場合には（Ｓ３１３において「ＹＥＳ」）、動作が終了される。ここでは、自端末の注文商品が載せられた皿に対する追随が全て終了し、動作が終了される場合を想定する。 If the own terminal has not finished tracking the plate on which the ordered product is placed ("NO" in S313), the operation returns to S310. On the other hand, if the own terminal has finished tracking all the plates on which the ordered products are placed ("YES" in S313), the operation is ended. Here, it is assumed that the own terminal has completed all tracking of the plate on which the ordered product is placed and the operation is terminated.

以上、本発明の第３の実施形態に係る表示制御システム１の動作例について説明した。 The operation example of the display control system 1 according to the third embodiment of the present invention has been described above.

（３－３．効果）
本発明の第３の実施形態によれば、本発明の第１の実施形態と同様の効果を奏し得る。さらに、本発明の第３の実施形態によれば、出力制御部１０４－３は、画像検出部１０３－３によって、他端末の注文商品が載せられた皿として追随中の皿への手の移動が検出されたことに基づいて、失敗を示す失敗情報を出力するように出力部を制御する。 (3-3. Effect)
According to the third embodiment of the present invention, the same effects as the first embodiment of the present invention can be achieved. Further, according to the third embodiment of the present invention, the output control unit 104-3 detects, by the image detection unit 103-3, the movement of the hand to the plate that is being followed as the plate on which the ordered product of another terminal is placed. Based on the detection of failure, the output unit is controlled to output failure information indicating failure.

かかる構成によれば、顧客が誤って他人の取るべき皿を取ってしまう可能性がさらに低減され得る。 According to this configuration, the possibility that a customer accidentally takes a plate that should be taken by another person can be further reduced.

さらに、本発明の第３の実施形態によれば、出力制御部１０４－３は、画像検出部１０３－３によって、他端末の注文商品が載せられた皿として追随中の皿への手の移動が検出されたことに基づいて、撮像映像における他端末の注文商品が載せられた皿として追随中の皿の位置に応じた領域に、自端末のＩＤと一致する搬送先ＩＤが受信されたときに表示される表示オブジェクト（第１の表示オブジェクト）とは異なる表示オブジェクト（第３の表示オブジェクト）を重畳して表示するように表示部１０８を制御する。 Further, according to the third embodiment of the present invention, the output control unit 104-3 detects, by the image detection unit 103-3, the movement of the hand to the plate that is being followed as the plate on which the ordered product of another terminal is placed. is detected, and when a destination ID that matches the ID of the own terminal is received in an area corresponding to the position of the plate that is being followed as the plate on which the ordered product of another terminal is placed in the captured image. The display unit 108 is controlled to display a display object (third display object) that is different from the display object (first display object) displayed in a superimposed manner.

以上、本発明の第３の実施形態について説明した。 The third embodiment of the present invention has been described above.

（４．第４の実施形態）
続いて、本発明の第４の実施形態について説明する。以下では、本発明の第４の実施形態に係る表示制御システムが有する構成のうち、本発明の第３の実施形態に係る表示制御システムが有する構成と異なる構成について主に説明する。そして、本発明の第４の実施形態に係る表示制御システムが有する構成のうち、本発明の第３の実施形態に係る表示制御システムが有する構成と共通する構成については、詳細な説明を省略する。 (4. Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. Below, among the configurations included in the display control system according to the fourth embodiment of the present invention, configurations that are different from those included in the display control system according to the third embodiment of the present invention will be mainly described. Of the configurations included in the display control system according to the fourth embodiment of the present invention, detailed descriptions of the configurations that are common to the configurations included in the display control system according to the third embodiment of the present invention will be omitted. .

具体的に、本発明の第４の実施形態では、表示制御システム１が、本発明の第３の実施形態に係る注文端末１０－３の代わりに、注文端末１０－４を有する。したがって、以下では、本発明の第４の実施形態に係る注文端末１０－４について主に説明する。 Specifically, in the fourth embodiment of the present invention, the display control system 1 includes an order terminal 10-4 instead of the order terminal 10-3 according to the third embodiment of the present invention. Therefore, below, the order terminal 10-4 according to the fourth embodiment of the present invention will be mainly described.

（４－１．注文端末の機能構成）
次に、図３８を参照して、本発明の第４の実施形態に係る注文端末１０－４の機能構成の一例を説明する。 (4-1. Functional configuration of order terminal)
Next, an example of the functional configuration of the order terminal 10-4 according to the fourth embodiment of the present invention will be described with reference to FIG.

図３８は、本発明の第４の実施形態に係る注文端末１０－４の機能構成の一例を示すブロック図である。図３８を参照すると、本発明の第４の実施形態に係る注文端末１０－４は、画像検出部１０３－３および出力制御部１０４－３の代わりに、画像検出部１０３－４および出力制御部１０４－４を有する点において、本発明の第３の実施形態に係る注文端末１０－３と異なっている。したがって、以下では、画像検出部１０３－４および出力制御部１０４－４について主に説明する。 FIG. 38 is a block diagram showing an example of the functional configuration of the order terminal 10-4 according to the fourth embodiment of the present invention. Referring to FIG. 38, the order terminal 10-4 according to the fourth embodiment of the present invention has an image detection section 103-4 and an output control section instead of the image detection section 103-3 and the output control section 104-3. The order terminal 104-4 is different from the order terminal 10-3 according to the third embodiment of the present invention. Therefore, below, the image detection section 103-4 and the output control section 104-4 will be mainly explained.

（画像検出部１０３－４）
画像検出部１０３－４は、本発明の第３の実施形態に係る画像検出部１０３－３と同様の機能を有する。さらに、画像検出部１０３－４は、追随中の皿への移動が検出された手の特徴が所定の条件を満たすか否かを判定する。所定の条件は、追随中の皿への移動が検出された手の向きに関する条件である場合を主に想定する。しかし、所定の条件は、かかる条件に限定されない。例えば、所定の条件は、追随中の皿への移動が検出された手に付された色または模様に関する条件であってもよい。 (Image detection unit 103-4)
The image detection section 103-4 has the same function as the image detection section 103-3 according to the third embodiment of the present invention. Furthermore, the image detection unit 103-4 determines whether the characteristics of the hand whose movement toward the plate being followed is detected satisfy a predetermined condition. It is mainly assumed that the predetermined condition is related to the direction of the hand in which the movement toward the plate being followed is detected. However, the predetermined conditions are not limited to these conditions. For example, the predetermined condition may be a condition regarding the color or pattern attached to the hand whose movement toward the plate being followed is detected.

（出力制御部１０４－４）
出力制御部１０４－４は、本発明の第３の実施形態に係る出力制御部１０４－３と同様の機能を有する。さらに、出力制御部１０４－４は、追随中の皿への移動が検出された手の特徴が所定の条件を満たすことに基づいて、失敗情報を出力しないように出力部を制御する。ここで、所定の条件を満たす特徴を有する手は、店員の手であることが主に想定される。本発明の第３の実施形態と同様に、出力部の一例には、表示部１０８が該当する。また、出力部の他の一例には、音声出力部１１０が該当する。 (Output control section 104-4)
The output control section 104-4 has the same function as the output control section 104-3 according to the third embodiment of the present invention. Further, the output control unit 104-4 controls the output unit so as not to output failure information based on the fact that the characteristics of the hand whose movement toward the plate being followed satisfies a predetermined condition. Here, it is mainly assumed that the hand having characteristics that satisfy a predetermined condition is the hand of a store clerk. Similar to the third embodiment of the present invention, the display section 108 is an example of the output section. Moreover, the audio output unit 110 corresponds to another example of the output unit.

以上、本発明の第４の実施形態に係る注文端末１０－２の機能構成の一例について説明した。 An example of the functional configuration of the order terminal 10-2 according to the fourth embodiment of the present invention has been described above.

（４－２．システムの動作例）
続いて、本発明の第４の実施形態に係る表示制御システム１の動作例について説明する。図３９は、本発明の第４の実施形態に係る表示制御システム１の動作例を示すフローチャートである。図３９に示されるように、Ｓ１００～Ｓ１０７が実行される。Ｓ１００～Ｓ１０７は、本発明の第３の実施形態に係るＳ１００～Ｓ１０７（すなわち、図２５に示された各ステップ）と同様に実行される。 (4-2. System operation example)
Next, an example of the operation of the display control system 1 according to the fourth embodiment of the present invention will be described. FIG. 39 is a flowchart showing an example of the operation of the display control system 1 according to the fourth embodiment of the present invention. As shown in FIG. 39, S100 to S107 are executed. S100 to S107 are executed in the same manner as S100 to S107 (that is, each step shown in FIG. 25) according to the third embodiment of the present invention.

図４０は、本発明の第４の実施形態に係る表示制御システム１のうち顧客によって視認される各構成の位置関係の例を示す図である。図４０を参照すると、搬送路５００には、皿Ｄ４１～Ｄ４７が載せられている。また、搬送路５００には、皿Ｄ４８が載せられた搬送容器４０－７と、皿Ｄ４９が載せられた搬送容器４０－８とが載せられている。 FIG. 40 is a diagram showing an example of the positional relationship of each component of the display control system 1 according to the fourth embodiment of the present invention that is visually recognized by a customer. Referring to FIG. 40, plates D41 to D47 are placed on the conveyance path 500. Further, on the conveyance path 500, a conveyance container 40-7 on which a plate D48 is placed and a conveyance container 40-8 on which a plate D49 is placed are placed.

皿Ｄ４１～Ｄ４７、皿Ｄ４８が載せられた搬送容器４０－７および皿Ｄ４９が載せられた搬送容器４０－８は、皿Ｄ４１を前方とし、皿Ｄ４９が載せられた搬送容器４０－８を後方として列をなし、搬送路５００による搬送方向に搬送されている。 The transport container 40-7 on which plates D41 to D47 and dish D48 are placed, and the transport container 40-8 on which plate D49 is placed, have the plate D41 at the front and the transport container 40-8 on which the plate D49 is placed at the rear. They form a row and are conveyed in the conveyance direction by the conveyance path 500.

また、図４０を参照すると、Ｃ席のテーブルが存在しており、Ａ席に存在する顧客から視認される注文端末１０－４（ＩＤ：Ｃ）が設けられている。注文端末１０－４（ＩＤ：Ｃ）に対応する搬送路範囲は、搬送路５００のうち、Ｃ席に存在する顧客から手の届く範囲である。また、注文端末１０－４（ＩＤ：Ｃ）の受信部１０５と、注文端末１０－４（ＩＤ：Ｃ）の搬送路撮像部１１２－１、１１２－２とが設けられている。 Further, referring to FIG. 40, there is a table in the C seat, and an order terminal 10-4 (ID: C) is provided which is visible to the customer in the A seat. The conveyance path range corresponding to the order terminal 10-4 (ID: C) is the range within the reach of the customer in seat C on the conveyance path 500. Further, a receiving section 105 of the order terminal 10-4 (ID:C) and conveyance path imaging sections 112-1 and 112-2 of the order terminal 10-4 (ID:C) are provided.

ここで、図２４に示された注文情報が、注文管理装置２０の記憶部２０３および注文処理端末３０の記憶部３０３それぞれによって記憶されている場合を想定する。このとき、図２４に示された、注文番号「１」、注文端末ＩＤ「Ｂ」と、注文内容「エビ：２皿」と、搬送予定数「２皿」とに係る注文商品が、注文端末１０－４（ＩＤ：Ｂ）が設けられたＢ席に存在する顧客によって取られずに、注文端末１０－４（ＩＤ：Ｃ）が設けられたＣ席にまで搬送された場合を想定する。 Here, it is assumed that the order information shown in FIG. 24 is stored in the storage unit 203 of the order management device 20 and the storage unit 303 of the order processing terminal 30, respectively. At this time, the ordered products related to the order number "1", the order terminal ID "B", the order content "shrimp: 2 dishes", and the planned number of conveyance "2 dishes" shown in FIG. 24 are displayed on the order terminal. Assume that the order terminal 10-4 (ID: C) is not taken by a customer in the B seat where the order terminal 10-4 (ID: B) is located, but is transported to the C seat where the order terminal 10-4 (ID: C) is located.

図４１は、撮像映像の例を示す図である。図４１を参照すると、撮像映像Ｆ４１－１が示されている。撮像映像Ｆ４１－１には、搬送容器４０－７に載せられた皿Ｄ４８、および、搬送容器４０－８に載せられた皿Ｄ４９が写っている。図２５に示された、Ｓ１００～Ｓ１０７によって、注文端末１０－４（ＩＤ：Ｃ）が、他端末の注文商品が載せられた皿として、搬送容器４０－７に載せられた皿Ｄ４８、および、搬送容器４０－８に載せられた皿Ｄ４９を追随している。 FIG. 41 is a diagram showing an example of a captured video. Referring to FIG. 41, a captured video F41-1 is shown. The captured image F41-1 shows a plate D48 placed on the transport container 40-7 and a plate D49 placed on the transport container 40-8. Through S100 to S107 shown in FIG. 25, the ordering terminal 10-4 (ID: C) receives the plate D48 placed on the transport container 40-7 as the plate on which the ordered product of the other terminal is placed, and It follows the plate D49 placed on the transport container 40-8.

図４２は、撮像映像に写る手の例を示す図である。図４２を参照すると、撮像映像Ｆ４１－２が示されている。他端末の注文商品が載せられた皿として追随されている、搬送容器４０－７に載せられた皿Ｄ４８に対して、手が移動されている。注文端末１０－４（ＩＤ：Ｃ）において、画像検出部１０３－４は、追随中の皿Ｄ４８への移動が検出された手の特徴が、所定の条件を満たすか否かを判定する。ここでは、所定の条件が、追随中の皿Ｄ４８への移動が検出された手の向きに関する条件である場合を主に想定する。 FIG. 42 is a diagram showing an example of a hand appearing in a captured video. Referring to FIG. 42, a captured video F41-2 is shown. The hand is being moved to the plate D48 placed on the transport container 40-7, which is being followed as the plate on which the ordered product from the other terminal is placed. In the order terminal 10-4 (ID: C), the image detection unit 103-4 determines whether the characteristics of the hand whose movement toward the plate D48 being followed satisfies a predetermined condition. Here, it is mainly assumed that the predetermined condition is a condition related to the orientation of the hand in which the movement toward the plate D48 being followed is detected.

図４３は、店員の位置の例を示す図である。図４３を参照すると、Ｃ席を基準として、搬送路５００の奥側に、店員Ｐ１が存在している。一例として、このような位置に存在する店員Ｐ１が、追随中の皿Ｄ４８に対して手を伸ばした場合、店員Ｐ１の手は、図４２に示されるように、撮像映像Ｆ４１－２に写る。 FIG. 43 is a diagram showing an example of the positions of store clerks. Referring to FIG. 43, a clerk P1 exists on the back side of the conveyance path 500 with seat C as a reference. As an example, when the clerk P1 existing in such a position extends his hand toward the plate D48 that is being followed, the hand of the clerk P1 is reflected in the captured image F41-2, as shown in FIG.

したがって、画像検出部１０３－４は、所定の条件の例として、追随中の皿Ｄ４８への移動が検出された手の向きが撮像映像Ｆ４１－２の上端から下端に向かっているという条件が満たされるか否かを判定してもよい。しかし、所定の条件は、かかる条件に限定されない。 Therefore, as an example of the predetermined condition, the image detection unit 103-4 determines that the direction of the hand whose movement toward the plate D48 that is being followed is from the upper end to the lower end of the captured image F41-2 is satisfied. It may also be determined whether the However, the predetermined conditions are not limited to these conditions.

例えば、所定の条件は、追随中の皿Ｄ４８への移動が検出された手に所定の色（例えば、店員が装着する業務用手袋の色など）または所定の模様（例えば、店員が装着する業務用手袋の模様など）が付されているという条件であってもよい。これによって、店員が顧客の席側から顧客と同様に手を伸ばして、皿を回収する場合などにおいても、撮像映像から店員の手が検出され得る。 For example, the predetermined condition may be a predetermined color (for example, the color of work gloves worn by a store clerk) or a predetermined pattern (for example, the color of work gloves worn by a store clerk) on the hand whose movement toward the following plate D48 is detected. The condition may also be that the item has a pattern (such as a pattern of gloves). As a result, even when a store clerk extends his hand from the customer's seat in the same way as the customer and collects a plate, the hand of the store clerk can be detected from the captured video.

追随中の皿Ｄ４８への移動が検出された手の特徴が、所定の条件を満たす場合には（Ｓ４０１において「ＮＯ」）、Ｓ３０１に動作が移行される（すなわち、Ｓ３１１以降の動作が実行されない）。一方、追随中の皿Ｄ４８への移動が検出された手の特徴が、所定の条件を満たさない場合には（Ｓ４０１において「ＹＥＳ」）、Ｓ３１１以降の動作が実行される。 If the characteristics of the hand whose movement toward the plate D48 that is being followed satisfies a predetermined condition ("NO" in S401), the motion is shifted to S301 (that is, the motion after S311 is not executed). ). On the other hand, if the characteristics of the hand whose movement toward the plate D48 being followed does not satisfy the predetermined condition ("YES" in S401), the operations from S311 onward are executed.

以上、本発明の第４の実施形態に係る表示制御システム１の動作例について説明した。 The operation example of the display control system 1 according to the fourth embodiment of the present invention has been described above.

（４－３．効果）
本発明の第４の実施形態によれば、本発明の第３の実施形態と同様の効果を奏し得る。さらに、本発明の第４の実施形態によれば、追随中の皿への移動が検出された手の特徴が所定の条件を満たすことに基づいて、失敗情報を出力しないように出力部を制御する。出力部の一例には、表示部１０８が該当する。また、出力部の他の一例には、音声出力部１１０が該当する。 (4-3. Effect)
According to the fourth embodiment of the present invention, the same effects as the third embodiment of the present invention can be achieved. Furthermore, according to the fourth embodiment of the present invention, the output unit is controlled not to output failure information based on the fact that the characteristics of the hand whose movement toward the plate being followed satisfies a predetermined condition. do. The display unit 108 is an example of the output unit. Moreover, the audio output unit 110 corresponds to another example of the output unit.

かかる構成によれば、顧客が取るべき皿を顧客以外の者（例えば、店員など）が手に取った場合に、顧客以外の者によって皿が取られたことを、失敗情報の出力の原因から除外することが可能となる。これによって、例えば、ある顧客によって取り忘れられた注文商品が、店員によって、他の顧客の席に対応する搬送路範囲から回収される場合などに、他の顧客の席に設けられた注文端末１０－４によって、失敗情報が出力されてしまう煩わしさが低減され得る。 According to this configuration, when a person other than the customer (for example, a clerk) picks up a plate that should be taken by a customer, it is possible to detect that the plate was taken by a person other than the customer from the cause of outputting failure information. It becomes possible to exclude. With this, for example, when an ordered product forgotten by a certain customer is retrieved by a store clerk from the conveyance path range corresponding to the other customer's seat, the order terminal 10 provided at the other customer's seat -4 can reduce the trouble of outputting failure information.

以上、本発明の第４の実施形態について説明した。 The fourth embodiment of the present invention has been described above.

（５．ハードウェア構成）
続いて、本発明の実施形態に係る注文端末１０のハードウェア構成例について説明する。以下では、本発明の実施形態に係る注文端末１０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。 (5. Hardware configuration)
Next, an example of the hardware configuration of the order terminal 10 according to the embodiment of the present invention will be described. An example of the hardware configuration of the information processing device 900 will be described below as an example of the hardware configuration of the order terminal 10 according to the embodiment of the present invention.

なお、以下に説明する情報処理装置９００のハードウェア構成例は、注文端末１０のハードウェア構成の一例に過ぎない。したがって、注文端末１０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。注文管理装置２０、注文処理端末３０、搬送容器４０および搬送装置５０それぞれのハードウェア構成も、注文端末１０のハードウェア構成と同様に実現されてもよい。 Note that the example hardware configuration of the information processing device 900 described below is only an example of the hardware configuration of the order terminal 10. Therefore, for the hardware configuration of the order terminal 10, unnecessary configurations may be deleted from the hardware configuration of the information processing device 900 described below, or new configurations may be added. The hardware configurations of the order management device 20, the order processing terminal 30, the transport container 40, and the transport device 50 may also be implemented similarly to the hardware configuration of the order terminal 10.

図４４は、本発明の実施形態に係る注文端末１０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９０１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。 FIG. 44 is a diagram showing a hardware configuration of an information processing device 900 as an example of the order terminal 10 according to the embodiment of the present invention. The information processing device 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, a host bus 904, a bridge 905, an external bus 906, and an interface 9. 07 and , an input device 908, an output device 909, a storage device 910, and a communication device 911.

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。 The CPU 901 functions as an arithmetic processing device and a control device, and controls overall operations within the information processing device 900 according to various programs. Further, the CPU 901 may be a microprocessor. The ROM 902 stores programs used by the CPU 901, calculation parameters, and the like. The RAM 903 temporarily stores programs used in the execution of the CPU 901 and parameters that change as appropriate during the execution. These are interconnected by a host bus 904 composed of a CPU bus and the like.

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。 The host bus 904 is connected via a bridge 905 to an external bus 906 such as a PCI (Peripheral Component Interconnect/Interface) bus. Note that the host bus 904, bridge 905, and external bus 906 do not necessarily need to be configured separately, and these functions may be implemented in one bus.

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。 The input device 908 includes input means for the user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the user's input and outputs it to the CPU 901. It is composed of etc. By operating the input device 908, a user operating the information processing device 900 can input various data to the information processing device 900 and instruct processing operations.

出力装置９０９は、例えば、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。 The output device 909 includes, for example, a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, a display device such as a lamp, and an audio output device such as a speaker.

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。 The storage device 910 is a device for storing data. The storage device 910 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like. The storage device 910 is configured with, for example, an HDD (Hard Disk Drive). This storage device 910 drives a hard disk and stores programs executed by the CPU 901 and various data.

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。 The communication device 911 is, for example, a communication interface configured with a communication device for connecting to a network. Further, the communication device 911 may support either wireless communication or wired communication.

以上、本発明の実施形態に係る注文端末１０のハードウェア構成例について説明した。 The example hardware configuration of the order terminal 10 according to the embodiment of the present invention has been described above.

（６．変形例）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 (6. Modified example)
Although preferred embodiments of the present invention have been described above in detail with reference to the accompanying drawings, the present invention is not limited to such examples. It is clear that a person with ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea stated in the claims. It is understood that these also naturally fall within the technical scope of the present invention.

１表示制御システム
１０注文端末
１００制御部
１０１撮像部
１０２映像生成部
１０３画像検出部
１０４出力制御部
１０５受信部
１０６記憶部
１０７操作部
１０８表示部
１０９通信部
１１０音声出力部
１１１搬送制御部
１１２搬送路撮像部 1 Display control system 10 Order terminal 100 Control unit 101 Imaging unit 102 Video generation unit 103 Image detection unit 104 Output control unit 105 Receiving unit 106 Storage unit 107 Operation unit 108 Display unit 109 Communication unit 110 Audio output unit 111 Transport control unit 112 Transport road imaging unit

Claims

comprising an output control unit that controls a first display unit to display a first captured image obtained by capturing an image of a first range of a conveyance path on which a first conveyance target object is conveyed;
The output control section includes:
The first information corresponding to the first display section and the second information corresponding to the destination of the first conveyance object on the conveyance path are determined to match. controlling the first display unit to display a first display object in a superimposed manner in an area corresponding to the position of the first conveyed object in one captured image;
Display control device.

The output control unit outputs success information indicating success based on detection of movement of the first conveyance object in a direction different from a conveyance direction of the first conveyance object by the conveyance path. control the output section to
The display control device according to claim 1.

The output control unit controls movement of the hand toward the first conveyance object and movement of the first conveyance object in a direction different from the conveyance direction of the first conveyance object by the conveyance path. controlling the output unit to output the success information based on the detection;
The display control device according to claim 2.

The success information includes predetermined visual information perceived by sight or predetermined auditory information perceived by hearing.
The display control device according to claim 2.

The output control unit controls the first display object based on the detection of movement of the first conveyance object in a direction different from the conveyance direction of the first conveyance object by the conveyance path. controlling the first display unit to erase from the first captured image;
The display control device according to claim 1.

The second information corresponds to a second display section,
The second display unit displays a second captured image obtained by capturing an image of a second range including the conveyance destination.
The display control device according to claim 1.

After the same number of first objects to be transported as the number to be transported is detected, a second object to be transported following the first objects to be transported is not detected;
The display control device according to claim 1.

the first display object is a transparent image;
The display control device according to claim 1.

The display control device includes:
comprising an image generation unit that generates the first captured image by joining together conveyance path images obtained by imaging each of a plurality of conveyance path imaging units that image the first range;
The display control device according to claim 1.

The output control unit controls the output unit to output information that calls for attention based on the fact that the first object to be conveyed is detected from a predetermined area of the conveyance path in the first captured image. Control,
The display control device according to claim 1.

The information that urges attention includes predetermined visual information that is perceived by sight or predetermined auditory information that is perceived by hearing.
The display control device according to claim 10.

The visual information includes predetermined decoration information added to the first display object.
The display control device according to claim 11.

The display control device includes:
the first transport target to stop transport of the first transport target by the transport path based on the detection of the first transport target from a predetermined region of the transport path in the first captured image; comprising a conveyance control section that controls the conveyance path;
The display control device according to claim 1.

The output control section includes:
It is determined that the first information and third information corresponding to the destination of the third conveyance object on the conveyance path do not match, and controlling the output unit to output failure information indicating failure based on the detected movement;
The display control device according to claim 1.

The output control section includes:
controlling the output unit so as not to output the failure information based on the fact that the characteristics of the hand that moved to the third conveyed object satisfy a predetermined condition;
The display control device according to claim 14.

The predetermined condition is a condition regarding the direction of the hand that moved to the third conveyed object.
The display control device according to claim 15.

The predetermined condition is a condition regarding the color or pattern applied to the hand that moved to the third conveyed object.
The display control device according to claim 15.

The output control section includes:
It is determined that the first information and third information corresponding to the destination of the third conveyance object on the conveyance path do not match, and Based on the detected movement, a third display object different from the first display object is superimposed on an area corresponding to the position of the third conveyed object in the first captured image. controlling the first display unit to display;
The display control device according to claim 1.

controlling a first display unit to display a first captured image obtained by capturing an image of a first range of a conveyance path along which a first conveyance target object is conveyed;
The first information corresponding to the first display section and the second information corresponding to the destination of the first conveyance object on the conveyance path are determined to match. controlling the first display unit to superimpose and display a first display object in an area corresponding to the position of the first conveyed object in one captured image;
including display control methods.

computer,
A program that functions as an output control unit that controls a first display unit to display a first captured image obtained by capturing an image of a first range of a conveyance path on which a first conveyed object is conveyed. There it is,
The output control section includes:
The first information corresponding to the first display section and the second information corresponding to the destination of the first conveyance object on the conveyance path are determined to match. controlling the first display unit to display a first display object in a superimposed manner in an area corresponding to the position of the first conveyed object in one captured image;
program.