WO2018109797A1 - 画像処理システム、画像処理方法及びプログラム - Google Patents

画像処理システム、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2018109797A1
WO2018109797A1 PCT/JP2016/086869 JP2016086869W WO2018109797A1 WO 2018109797 A1 WO2018109797 A1 WO 2018109797A1 JP 2016086869 W JP2016086869 W JP 2016086869W WO 2018109797 A1 WO2018109797 A1 WO 2018109797A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
analysis
image analysis
frame images
module
Prior art date
Application number
PCT/JP2016/086869
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2016/086869 priority Critical patent/WO2018109797A1/ja
Publication of WO2018109797A1 publication Critical patent/WO2018109797A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a technique for performing image processing on an image captured by a camera.
  • the management apparatus transmits measurement instructions to various sensors, and based on these instructions, the various sensors transmit detected detection results to the management apparatus.
  • a configuration is disclosed in which the management device determines whether or not the seat is vacant based on the detection result, and transmits the location of the vacant seat to the terminal (see Patent Document 1).
  • Patent Document 1 For example, when a large number of seats are arranged over a wide range, such as a sports stadium, it is necessary to provide a sensor for each chair, so that it takes cost and labor to install the sensor. There is a problem.
  • An object of the present invention is to provide an image processing mechanism suitable for processing that needs to be performed over a relatively wide range, such as vacant seat detection.
  • a captured image acquisition unit that acquires a captured image, an image analysis unit that analyzes the image, and a plurality of frame images included in the image overlap based on the result of the image analysis.
  • An overlapping part specifying unit that specifies an overlapping part, an image connecting unit that connects the plurality of frame images according to the overlapping part, and a connected image analysis unit that performs image analysis on the connected connected images.
  • the image may be a moving image.
  • the imaging times of the plurality of frame images included in the image may be different, and the overlapping part specifying unit may specify the overlapping part based on an object whose change due to a difference in imaging time is small.
  • the object whose change due to the difference in the imaging time is small may be an object that is fixed and does not move.
  • the image capturing times of the plurality of frame images included in the image are different from each other, and the image connecting unit uses a frame image having a new image capturing time for the image of the overlapping portion when the plurality of frame images are connected. May be connected.
  • the connected image analyzing means detects how many chairs are on the table based on the result of image analysis of the connected images, detects whether a person is sitting on the chair, and the number of detected chairs.
  • the vacant seat information may be displayed based on the detected presence / absence of the person.
  • the present invention provides a captured image acquisition step for acquiring a captured image, an image analysis step for image analysis of the image, and a plurality of frame images included in the image based on the result of the image analysis.
  • An overlapping part specifying step for specifying overlapping overlapping parts, an image connecting step for connecting the plurality of frame images according to the overlapping parts, and a connected image analyzing step for performing image analysis on the connected connected images.
  • the present invention provides a captured image acquisition step for acquiring a captured image in one or more computers, an image analysis step for image analysis of the image, and a plurality of images included in the image based on the result of the image analysis.
  • An overlapping portion specifying step for specifying overlapping portions that overlap between the frame images, an image connecting step for connecting the plurality of frame images according to the overlapping portions, and image analysis for the connected images.
  • FIG. 1 is a diagram showing an outline of the image processing system 1.
  • FIG. 2 is an overall configuration diagram of the image processing system 1.
  • FIG. 3 is a functional block diagram of the computer 10, the moving body imaging device 100, and the user terminal 200.
  • FIG. 4 is a flowchart showing registration processing executed by the computer 10 and the user terminal 200.
  • FIG. 5 is a flowchart showing an imaging process executed by the computer 10 and the moving body imaging apparatus 100.
  • FIG. 6 is a flowchart showing vacancy management processing executed by the computer 10.
  • FIG. 7 is a diagram illustrating an example of a flight route of the moving body imaging apparatus 100 in a facility.
  • FIG. 8 is a diagram illustrating an overlapping portion that overlaps between a plurality of frame images included in a captured image.
  • FIG. 10 is a flowchart showing vacant seat management processing executed by the computer 10.
  • FIG. 11 is a flowchart showing vacant seat management processing executed by the computer 10.
  • FIG. 12 is a flowchart showing vacant seat display processing executed by the user terminal 200.
  • FIG. 13 is a diagram illustrating an example of a result of image analysis performed by the computer 10.
  • FIG. 14 is a diagram illustrating an example of a result of image analysis performed by the computer 10.
  • FIG. 15 is a diagram illustrating an example of a message displayed on the user terminal 200.
  • FIG. 16 is a diagram illustrating an example of a seat confirmation screen displayed by the user terminal 200.
  • FIG. 17 is a diagram illustrating an example of a message displayed on the user terminal 200.
  • FIG. 18 is a diagram illustrating an example of another store introduction screen displayed by the user terminal 200.
  • FIG. 1 is a diagram for explaining an outline of an image processing system 1 which is a preferred embodiment of the present invention.
  • the image processing system 1 includes a computer 10, a moving body imaging device 100, and a user terminal 200.
  • the number of the mobile body imaging device 100 and the user terminal 200 is not limited to one and may be plural. Each process described below may be realized by any one or a combination of the computer 10, the mobile imaging device 100, and the user terminal 200.
  • the computer 10 is a computer capable of data communication with the mobile imaging device 100 and the user terminal 200.
  • the moving body imaging device 100 is a movable device that has an imaging function and performs data communication with the computer 10, and in this embodiment, is a flying rotorcraft called a drone or a multicopter.
  • the mobile imaging device 100 flies above a facility that accommodates a large number of people in a relatively large space such as a large-scale restaurant, event venue, sports stadium, or the like. In this embodiment, assuming that food and drinks are provided to a person (customer) in such a facility, the moving body imaging device 100 images a table, a chair, a person, and the like in the facility with a moving image.
  • the user terminal 200 is a terminal device possessed by the user that can perform data communication with the computer 10.
  • the user terminal 200 is, for example, a mobile phone, a portable information terminal, a tablet terminal, a personal computer, an electric appliance such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, a smart glass, a head-mounted display, etc. Wearable terminals and other items.
  • the moving body imaging apparatus 100 images the inside of the facility (step S01). Since the angle of view in the imaging function of the moving body imaging apparatus 100 can cover only a part of the facility, the moving body imaging apparatus 100 captures the entire range of the facility as a moving image while flying in the facility.
  • the moving body imaging apparatus 100 transmits captured image data that is data of the captured image to the computer 10 (step S02).
  • the computer 10 receives the captured image data transmitted by the mobile object imaging device 100, thereby acquiring the captured image captured by the mobile object imaging device 100.
  • the computer 10 analyzes the captured image data (step S03). Specifically, the computer 10 analyzes each frame included in the moving image, and generates a whole image as a still image of the entire facility by connecting overlapping portions of the frames. Furthermore, the computer 10 analyzes the position and number of tables, the position and number of chairs belonging to each table, the position and number of customers, and the like based on the entire facility image.
  • the computer 10 detects how many chairs are on the table based on the result of the image analysis (step S04). When there are a plurality of tables, the computer 10 detects how many chairs there are for each table.
  • the computer 10 detects whether a person is sitting on the detected chair based on the result of the image analysis (step S05).
  • the computer 10 may be configured to detect attribute information such as a store entry time, an order content, a purchase price, and a stay time of a person sitting on a chair based on the result of image analysis.
  • the computer 10 can detect the entrance time and the staying time by detecting the time when the person is sitting on the chair and detecting the current time.
  • the computer 10 can detect the order contents, the purchase amount, and the like by performing image analysis on the food and drink placed on the table.
  • the computer 10 creates vacant seat information such as table availability and chair availability based on the number of chairs and the presence or absence of a person, and notifies the user terminal 200 of the information (step S06).
  • the computer 10 may be configured to receive registration of the user terminal 200 in advance and notify the user terminal 200 that has received registration of vacant seat information.
  • the user terminal 200 receives vacancy information.
  • the user terminal 200 displays the received vacant seat information (step S07).
  • the user terminal 200 displays the positions of the tables and chairs of this facility, and distinguishes between a chair where no person is sitting and a chair where the person is sitting.
  • the user terminal 200 may be configured to change and display the degree of attention when all the chairs are available.
  • the user terminal 200 may be configured to display attribute information of a person sitting on a chair. Further, the user terminal 200 may be configured to display how many names are available in the table.
  • FIG. 2 is a diagram showing a system configuration of an image processing system 1 which is a preferred embodiment of the present invention.
  • the image processing system 1 includes a computer 10, a mobile imaging device 100, a user terminal 200, and a public network (Internet network, third and fourth generation communication network, etc.) 5.
  • the mobile body imaging device 100 and the user terminal 200 are not limited to one and may be a plurality. Each process described below may be realized by any one or a combination of the computer 10, the mobile imaging device 100, and the user terminal 200. Each device may be realized by a real device or a virtual device.
  • the computer 10 is the above-described computer having the functions described later.
  • the moving body imaging device 100 is the above-described imaging device having the functions described below.
  • the user terminal 200 is the above-described terminal device having the functions described later.
  • FIG. 3 is a functional block diagram of the computer 10, the moving body imaging device 100, and the user terminal 200.
  • the computer 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 11, and a device for enabling communication with other devices as the communication unit 12. For example, a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the computer 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 13.
  • the computer 10 includes, as the analysis unit 14, an analysis device that performs image analysis of the acquired captured image.
  • the control unit 11 reads a predetermined program, thereby realizing the data transmission / reception module 20 in cooperation with the communication unit 12. Further, in the computer 10, the control unit 11 reads a predetermined program, thereby realizing the storage module 30 in cooperation with the storage unit 13. In the computer 10, the control unit 11 reads a predetermined program, thereby realizing the analysis module 40 in cooperation with the analysis unit 14.
  • the analysis module 40 includes an image analysis module that analyzes a captured image, an overlapping portion specifying module that specifies an overlapping portion between a plurality of frame images included in the captured image based on a result of the image analysis, and the overlapping portion. And a connected image analysis module that performs image analysis on the connected images.
  • the moving body imaging apparatus 100 includes a CPU, RAM, ROM, and the like as the control unit 110, and a device for enabling communication with other devices as the communication unit 120.
  • the moving body imaging apparatus 100 includes, as the imaging unit 140, an imaging device such as a lens, an imaging device, various buttons, and a flash.
  • the data transmission / reception module 150 is realized in cooperation with the communication unit 120 by the control unit 110 reading a predetermined program.
  • the imaging module 170 is realized in cooperation with the imaging unit 140 by the control unit 110 reading a predetermined program.
  • the user terminal 200 includes a CPU, RAM, ROM, and the like as the control unit 210, and a device for enabling communication with other devices as the communication unit 220.
  • the user terminal 200 includes, as the input / output unit 240, a display unit that outputs and displays data and images controlled by the control unit 210, an input unit such as a touch panel, a keyboard, and a mouse that receives input from the user.
  • the control unit 210 when the control unit 210 reads a predetermined program, the data transmission / reception module 250 is realized in cooperation with the communication unit 220. In the user terminal 200, the control unit 210 reads a predetermined program, thereby realizing the input receiving module 280 and the display module 281 in cooperation with the input / output unit 240.
  • FIG. 4 is a diagram illustrating a flowchart of registration processing executed by the computer 10 and the user terminal 200. The processing executed by the modules of each device described above will be described together with this processing.
  • the input reception module 280 receives input from the user and receives input of personal information necessary for user registration (step S10).
  • the input accepting module 280 accepts input of personal information such as its name, telephone number, e-mail address, number of visitors, store visit time, etc. in a registration input form obtained by the computer 10 or the like.
  • the structure performed by terminal devices other than the user terminal 200 may be sufficient as the process of step S10.
  • the configuration may be such that the user inputs the personal information described above to a terminal device installed in a facility.
  • the terminal device may be configured to transmit the personal information accepted for input to the computer 10.
  • the data transmission / reception module 250 transmits the personal information received as input to the computer 10 (step S11).
  • the data transmission / reception module 250 transmits terminal-specific information unique to the terminal, such as its own terminal number, manufacturing number, and MAC address, in addition to the personal information.
  • the data transmission / reception module 20 receives personal information and terminal specific information.
  • the storage module 30 stores the received personal information and terminal specific information as registration information (step S12).
  • the storage module 30 may be configured to store only personal information as registration information.
  • the personal information that the input receiving module 280 receives input is not limited to the above-described configuration, and can be changed as appropriate.
  • FIG. 5 is a diagram illustrating a flowchart of imaging processing executed by the computer 10 and the moving body imaging apparatus 100. The processing executed by the modules of each device described above will be described together with this processing.
  • the imaging module 170 captures a moving image that covers the entire range in the facility while flying in the facility (step S20).
  • the flight route of the moving body imaging apparatus 100 is preset in the imaging module 170 so that the entire range in the facility is imaged by the imaging module 170.
  • the data transmission / reception module 150 transmits captured image data that is captured image data to the computer 10 (step S21).
  • step S ⁇ b> 21 the data transmission / reception module 150 gives the current time to the captured image data and transmits it to the computer 10.
  • the transmission timing of the captured image data by the data transmission / reception module 150 may be the timing at which the mobile imaging device 100 finishes capturing the entire range in the facility, or the mobile imaging device 100 transmits the moving image in real time while capturing the moving image. It may be in any form.
  • the computer 10 receives (acquires) captured image data.
  • the computer 10 receives the captured image data, and acquires the captured image captured by the moving body imaging device 100.
  • the data transmission / reception module 150 may be configured to transmit only the captured image data to the computer 10.
  • the data transmission / reception module 150 may be configured to give data and information other than the configuration described above and transmit the data to the computer 10.
  • the analysis module 40 performs image analysis on the acquired captured image (step S30).
  • the analysis module 40 image analysis module 41 recognizes various object images included in the captured image.
  • An object image is an image of an object in a facility, for example, an image of various facilities such as a table, a chair, a person (customer), a food and drink, a plant, a handrail and a table, and an electric appliance.
  • the analysis module 40 may analyze these object images by recognizing the captured image and extracting the feature amount, or by comparing the object image stored in advance with the captured image.
  • the object image may be analyzed.
  • the analysis module 40 may be configured to execute image analysis by other methods. In general, a moving image corresponds to a set of still images corresponding to so-called one frame called a frame image. The object image is recognized for each frame image.
  • FIG. 7 is a diagram illustrating an example of a flight route of the moving body imaging apparatus 100 in a facility.
  • the moving body imaging apparatus 100 flies from the start S to the goal point G in the facility A according to the arrow R.
  • the moving body imaging device 100 performs imaging during the flight.
  • FIG. 8 is a diagram illustrating an overlapping portion that overlaps between a plurality of frame images included in the captured image. Since the captured image is a moving image, the imaging timings of the plurality of frame images are different. The imaging times of the respective frame images are F7, F6, F5, F4, F3, F2, and F1 when listed in the newest order.
  • Each frame image includes the same object image as the frame images at the previous and subsequent imaging times. For example, in the frame image F1 and the frame image F2, the part a1 including the same object image overlaps. Further, in the frame image F2 and the frame image F3, the part a2 including the same object image is overlapped. Further, in the frame image F3 and the frame image F4, the part a3 including the same object image is overlapped.
  • an object image suitable for specifying an overlapping portion is an image of an object that is determined in advance as an object that changes little due to a difference in imaging time.
  • An object whose change due to a difference in imaging time is small is an image of a fixed object or a fixed object that does not move.
  • FIG. 9 is a diagram illustrating an example of an image obtained by connecting a plurality of frame images based on overlapping portions.
  • the analysis module 40 (image connection module 43) connects the frame images in a state where overlapping portions are overlapped. Thereby, the whole image (connection image) in the facility A is generated. Since the captured image is a moving image, the imaging timings of the plurality of frame images are different. Since it is preferable to know a newer state in vacant seat detection, the analysis module 40 uses a frame image with a new imaging time for an overlapping portion image when a plurality of frame images are connected.
  • the image of the overlapping part a1 in the frame image F2 with a new imaging time is used in the frame image F1 and the frame image F2 with a new imaging time.
  • the image of the overlapping part a2 in the frame image F3 having a new imaging time is used in the frame image F3 and the frame image F4.
  • the image of the overlapping part a3 in the frame image F4 with a new imaging time is used in the frame image F3 and the frame image F4 with a new imaging time.
  • the image of the overlapping part a4 in the frame image F5 having a new imaging time is used.
  • the image of the overlapping part a5 in the frame image F6 with a new imaging time is used.
  • the image of the overlapping part a6 in the frame image F7 having a new imaging time is used.
  • the analysis module 40 (connected image analysis module 44) is placed on the table in the entire facility image (connected image), the position and number of tables, the number and positions of chairs belonging to each table, the position and number of customers. Analyze food and drink.
  • the number of chairs on the table shown in the entire image is detected (step S31).
  • the analysis module 40 detects how many chairs there are for each table shown in the entire image. For example, when the analysis module 40 detects a circular or rectangular table, the analysis module 40 detects a chair existing around the table as a chair of the table. Moreover, the analysis module 40 detects, for example, a rectangular table, and detects a chair that is present at a position facing the table as a chair of this table. Moreover, the analysis module 40 detects, for example, a rectangular table and detects a chair juxtaposed along one side as a chair of this table. The analysis module 40 detects the number and arrangement of chairs in each table.
  • FIG. 13 is a diagram illustrating an example of a result of image analysis performed by the analysis module 40.
  • the analysis module 40 detects the tables shown in the entire image and the number of chairs belonging to each table. That is, in FIG. 10, the analysis module 40 includes a first table 300, a second table 310, a third table 320, a fourth table 330, a fifth table 340, and a sixth table 350 as tables shown in the entire image. Is detected.
  • the analysis module 40 also includes four chairs 400 belonging to the first table 300, four chairs 410 belonging to the second table 310, two chairs 420 belonging to the third table 320, and two belonging to the fourth table 330.
  • the leg chair 430, the two chairs 440 belonging to the fifth table 340, and the chairs 450, 460, 470 belonging to the sixth table 350 are detected.
  • the analysis module 40 determines which chair belongs to which table based on the shape or the like of each chair, and detects the chair belonging to each table. For example, when the table is circular, the analysis module 40 detects a chair positioned around the circle as a chair belonging to the table. In addition, when the table is rectangular, the analysis module 40 detects a chair arranged at a peripheral position or an opposing position as a chair belonging to this table. Moreover, when the table is a rectangle, the analysis module 40 detects a chair juxtaposed on one side of the rectangle as a chair of a different group, although belonging to this table. That is, in FIG. 10, chairs belonging to each table are treated as one group in the first to fifth tables 300 to 340, whereas chairs 450, 460, and 470 are different groups in the sixth table 350. Are treated as
  • the analysis module 40 determines whether a person is sitting on the detected chair based on the result of the image analysis (step S32). In step S32, the analysis module 40 determines whether a person is sitting on a chair belonging to one table. In step S32, when the analysis module 40 determines that a person is sitting (YES in step S32), the analysis module 40 detects attribute information of the person sitting on the chair (step S33).
  • step S33 the analysis module 40 detects store entry time, stay time, order contents, purchase price, and the like as attribute information.
  • the analysis module 40 detects this attribute information based on the food and drink placed on the table to which the chair on which the person sits, the time when this person was first detected, the time of entry, and the like.
  • the analysis module 40 extracts the feature amount of the food and drink placed on the table, and specifies the food and drink based on the extracted feature amount.
  • the analysis module 40 specifies the purchase amount based on the fee table associated with the specified food and drink.
  • the analysis module 40 specifies the time when it was detected that a person was sitting on this chair for the first time as the entrance time.
  • the analysis module 40 specifies the time between this store entry time and the current time as the staying time.
  • the attribute information detected by the analysis module 40 is not limited to the configuration described above, and other information may be detected. Moreover, the process of step S33 is omissible. In this case, after executing the process of step S32, each process described later may be executed.
  • the data transmission / reception module 20 may be configured to transmit attribute information to a store terminal (not shown). By doing in this way, it becomes easy to grasp
  • FIG. 14 is a diagram illustrating an example of a result of image analysis performed by the analysis module 40.
  • FIG. 14 is a diagram for explaining a state in which a human detection result and attribute information are detected in the analysis result of FIG.
  • the analysis module 40 detects a person for each table and detects attribute information of each table or person.
  • the analysis module 40 detects three people 500 in the first table 300. Further, the analysis module 40 detects two persons 510 in the third table 320. One person 520 is detected in the fourth table 330. Further, one person 530 is detected in the sixth table 350.
  • the analysis module 40 detects the staying time of customers, the number of customers, and order contents for each table.
  • the analysis module 40 detects the number of persons 500 detected in the first table 300 and the time from the time when the person 500 is first detected to the current time.
  • the analysis module 40 detects the order content by analyzing the image of the food and drink placed on the table.
  • the analysis module 40 detects the order content by detecting the feature amount of the food and drink and specifying the order content having the feature amount that matches the feature amount.
  • the analysis module 40 detects the detected attribute information such as stay time, number of customers, order contents, etc. for each table or each customer in which the customer exists.
  • FIG. 14 the analysis module 40 detects the staying time of customers, the number of customers, and order contents for each table.
  • the analysis module 40 detects three people 500, detects that the stay time is 50 minutes, and detects the lunch, coffee, and coffee as the order contents. The analysis module 40 associates this attribute information with the first table 300. The analysis module 40 draws a leader line in the first table 300 and indicates that the attribute information 700 is associated. Similarly, in the third table 320, the analysis module 40 detects two people 510, detects that the stay time is 20 minutes, and detects that the order content is coffee or coffee. The analysis module 40 draws a leader line in the third table 320 and indicates that the attribute information 710 is associated.
  • the analysis module 40 detects one person 520, detects that the stay time is 10 minutes, and detects that the order content is coffee. The analysis module 40 draws a leader line on the fourth table 330 and indicates that the attribute information 720 is associated.
  • the analysis module 40 detects that one person 530 is sitting on the chair 450, detects that the stay time is 10 minutes, and the order content is coffee. Detect that there is. The analysis module 40 draws a leader line to the person 530 and indicates that the attribute information 730 is associated.
  • a vacant seat icon is shown on the table or chair in which the analysis module 40 cannot detect a person.
  • the analysis module 40 superimposes the vacant seat icon 600 on the second table 310 where no person has been detected.
  • the analysis module 40 superimposes a vacant seat icon 610 on the fifth table 340 where no person could be detected.
  • the analysis module 40 superimposes the vacant seat icon 620 on the chair 460 belonging to the sixth table 350 in which no person has been detected, and superimposes the vacant seat icon 630 on the chair 470.
  • These vacant seat icons 600 to 630 also indicate the number of vacant seats in each table.
  • the analysis module 40 detects a person in the first table 300, but superimposes a vacant seat icon 640 on the vacant chair 400. Similarly, the analysis module 40 superimposes a vacant seat icon 650 on a vacant chair 430 although a person is detected in the fourth table 330.
  • These vacant seat icons 640 and 650 indicate the number of shared seats.
  • the analysis module 40 may be configured to superimpose a vacant seat icon on all vacant chairs. Moreover, you may show that it is a vacant seat by another structure. Moreover, the structure which superimposes a vacant seat icon on all the tables in which a vacant seat exists may be sufficient.
  • the analysis module 40 determines whether a person is sitting on all chairs belonging to one table (step S34). In step S34, the analysis module 40 determines whether a person is sitting on a chair around or near one table. In step S34, when the analysis module 40 determines that a person is sitting on all the chairs (step S34 YES), the analysis module 40 displays full seat information that there is no room for a person to sit in this one table. Create (step S35).
  • step S34 the analysis module 40 determines that there are no people in all the chairs (step S34 NO), that is, there are chairs in which a person is sitting and chairs in which no person is sitting in one table.
  • the analysis module 40 creates share information indicating that there is room for a person to sit on this one table (step S36).
  • step S32 when the analysis module 40 determines that no person is sitting (step S32: NO), the analysis module 40 determines whether a person is sitting on a chair around or near one table (Ste S37). That is, in step S37, it is determined whether or not there is a person in this one table.
  • step S37 when the analysis module 40 determines that a person is sitting (step S37 YES), the analysis module 40 detects attribute information of the person sitting on the chair (step S38). Thereafter, the analysis module 40 creates the above-mentioned seat information (step S36).
  • step S37 determines in step S37 that no person is sitting (step S37: NO)
  • step S39 creates vacant seat information indicating that this table is vacant
  • the analysis module 40 determines whether or not the above-described processing has been completed for all chairs (step S40). In step S40, when it is determined that the analysis module 40 has not been completed (NO in step S40), the process of step S32 described above is executed again.
  • the analysis module 40 determines in step S40 that it has been completed (YES in step S40)
  • the analysis module 40 creates seat information in which the full seat information, the vacant seat information, and the shared seat information of each table are collected (step S41).
  • the seat information includes, for example, vacancy status for each table, overall vacancy status, attribute information for each table, attribute information for each individual, estimated remaining stay time, and the like.
  • the estimated remaining stay time is estimated from the stay time in the number of guests so far, the stay time in the order contents, the stay time in the sex of the customer, and the like.
  • the analysis module 40 creates a message including seat information, a message such as the SNS of this facility, a map of the surroundings of this facility, the location of this facility, a link for seat confirmation, a link for introducing other stores, and the like (step S42). ). Details of this message will be described later.
  • this message does not have to include all the above-described configurations.
  • only the seat information may be used, any of the above-described configurations may be combined, or other configurations may be added.
  • the structure which produces URL for a link to the website containing the structure mentioned above as a message may be sufficient.
  • the data transmission / reception module 20 transmits a message to the user terminal 200 (step S43).
  • step S43 the data transmission / reception module 20 transmits a message to the user terminal 200 that has accepted the registration in the registration process described above.
  • the data transmission / reception module 20 transmits a message to the mail address or telephone number of the user terminal 200 that has accepted the registration.
  • the data transmission / reception module 20 may be configured to transmit a message to the user terminal 200 that has not accepted registration.
  • the data transmission / reception module 20 may be configured to transmit seat information and the like to the user terminal 200 by a configuration other than the message.
  • the data transmission / reception module 20 may transmit seat information and the like to the user terminal 200 with other configurations.
  • FIG. 12 is a diagram illustrating a flowchart of vacant seat display processing executed by the user terminal 200. Processing executed by each module described above will be described together with this processing.
  • the data transmission / reception module 250 receives a message.
  • the display module 281 displays the received message (step S50).
  • the input reception module 280 receives input to the link URL to the seat information displayed as a message, the data transmission / reception module 250 acquires the seat information, and the display module 281 displays the seat information (step S51).
  • FIG. 15 is a diagram illustrating an example of a message displayed by the display module 281.
  • the display module 281 displays a facility name notification 800, a facility description notification 810, a vacant seat status notification 820, a facility surrounding map 830, facility information 840, an SNS notification 850, and a seat confirmation icon 860 as messages.
  • the display module 281 displays the name of the facility as the facility name notification 800. Further, the display module 281 displays an explanatory text regarding this facility as the facility explanation notification 810. Further, the display module 281 displays the presence / absence of vacant seats and, if there are vacant seats, the contents and the number of vacant seats as the vacant seat status notification 820.
  • the display module 281 displays a surrounding map of this facility as the facility surrounding map 830.
  • the display module 281 also displays the facility address, telephone number, business hours, etc. as the facility information 840. Further, the display module 281 displays a part of various SNS messages used by the facility as the SNS notification 850.
  • the input reception module 280 receives an input to the seat confirmation icon 860.
  • the display module 281 accepts an input to the seat confirmation icon 860 and displays a seat confirmation screen described later.
  • FIG. 16 is a diagram illustrating an example of a seat confirmation screen displayed by the display module 281.
  • the same configurations as those in FIG. 11 described above are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the display module 281 displays the entire image and the table, chair, person, attribute information, and vacant seat icon detected in FIGS. 13 and 14 as a seat confirmation screen.
  • the display module 281 displays the vacant seat status of each table and the attribute information of the customer who is using each table superimposed on the entire image.
  • the display module 281 displays that the first table 300 has a vacant seat icon 640 superimposed on the chair 400 to indicate that one of the four chairs 400 is vacant.
  • the display module 281 displays the estimated remaining stay time as the attribute information 700 of the first table 300. The estimated remaining stay time is displayed when the stay time of the customer is a predetermined time, for example, 40 minutes or more and 50 minutes or more.
  • the display module 281 displays, on the second table 310, the vacant seat icon 600 superimposed on the second table 310, indicating that all the chairs 410 among the four chairs 410 are vacant.
  • the display module 281 displays the number of empty seats in the second table 310 by displaying the number of empty seats on the empty seat icon 600.
  • the display module 281 displays the stay time and the number of customers of the third table 320 as the attribute information 710 of the third table 320.
  • the display module 281 displays, on the chair 430, a vacant seat icon 650 superimposed on the fourth table 330, indicating that one of the two chairs 430 is vacant.
  • the display module 281 displays the stay time and the number of customers in the fourth table as the attribute information 720 of the fourth table 330.
  • the display module 281 displays that the fifth table 340 has all the chairs 440 out of the two chairs 440 vacant, with a vacant seat icon 610 superimposed on the fifth table 340.
  • the display module 281 displays the number of vacant seats in the fifth table 340 by displaying the number of vacant seats on the vacant seat icon 610. Further, the display module 281 displays vacant seat icons and attribute information on the chairs 450, 460, and 470 belonging to the sixth table 350. The display module 281 displays the estimated remaining stay time as the attribute information 730 of the customer sitting on the chair 450. Further, the display module 281 displays that the chair 460 is vacant by superimposing a vacant seat icon 620 on the chair 460. Further, the display module 281 displays that the chair 470 is vacant by superimposing a vacant seat icon 630 on the chair 470.
  • the display module 281 changes the display mode between the case where all the chairs belonging to the table are vacant and the case where some of the chairs belonging to the table are vacant. That is, the display module 281 changes and displays the attention level when all the chairs are empty.
  • the message displayed by the display module 281 is not limited to the configuration described above, and may be another display mode.
  • the display module 281 may display a reservation icon
  • the input reception module 280 may be configured to receive an input to the reservation icon and make a call to this facility.
  • the input receiving module 280 receives an input to the reservation icon
  • the user terminal 200 may access a reservation website and transmit the contents necessary for the reservation to the computer 10.
  • the attribute information displayed by the display module 281 is not limited to the above-described configuration, and may have other configurations.
  • the attribute information may be configured to display the estimated remaining stay time, the stay time, and the number of customers, may be configured to display the attribute information detected in FIG. 14 described above, and others. The information may be displayed.
  • FIG. 17 is a diagram illustrating an example of a message displayed by the display module 281.
  • the difference between FIG. 15 and FIG. 17 is that FIG. 15 is an example of a message when there is a vacant seat, whereas FIG. 17 is an example of a message when there is no vacant seat.
  • symbol is attached
  • the display module 281 displays a facility name notification 800, a facility description notification 810, a vacant seat status notification 820, a facility surrounding map 830, facility information 840, an SNS notification 850, and a seat confirmation icon 860 as in FIG. .
  • the display module 281 displays an icon 870 for other stores.
  • the input reception module 280 receives an input of the other store icon 870 and displays an other store introduction screen described later.
  • FIG. 18 is a diagram illustrating an example of another store introduction screen displayed by the display module 281.
  • the display module 281 displays an introduction notification 900, a facility name notification 910, a surrounding map 920, facility information 930, and an SNS notification 940 as other store introduction screens.
  • the display module 281 displays a notification indicating that it is a screen for introducing another store as the introduction notification 900.
  • the display module 281 displays one or a plurality of similar facility names around the current location as the facility name notification 910.
  • the display module 281 displays the current location and the position of the nuclear facility as the surrounding map 920.
  • the display module 281 displays the address, telephone number, business hours, etc. of each facility as the facility information 930.
  • the display module 281 displays a part of various SNS messages used by each facility as the SNS notification 940.
  • the registration process, the imaging process, the image process, the vacant seat management process, or the vacant seat display process described above are not limited to the configuration in which each module executes each process, but the computer 10, the mobile imaging device 100, and the user terminal 200.
  • the configuration may be such that each process is executed by any one or a plurality of combinations.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.
  • the captured image is not limited to a moving image, and may be a still image obtained by capturing the captured image at a time interval such as every 5 seconds or every 10 seconds. In this case, each still image corresponds to a plurality of frame images included in the captured image in the present invention.
  • the imaging device in the present invention is not limited to the moving body imaging device 100 such as the rotorcraft exemplified in the embodiment, and may be a device mounted on a vehicle moving on the ground, or a smartphone or a digital camera. Thus, the apparatus carried by the user may be sufficient.
  • the imaging device according to the present invention is not necessarily a movable device, and may be a fixed device. A part of the functional configuration illustrated in FIG. 3 may be omitted, or functions other than those in FIG. 3 may be added.
  • the analysis module 40 performs processing based on the entire image obtained by connecting a plurality of frame images based on the overlapping portion, but this processing is not limited to the vacant seat detection exemplified in the embodiment, and may be any processing. . For example, it may be used for management of animals and plants such as livestock and agricultural products, and monitoring of objects such as people and objects.

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

コンピュータ１０は、移動体撮像装置１００によって撮像された撮像画像を取得する。コンピュータ１０は、取得した撮像画像を画像解析して、当該撮像画像に含まれる複数のフレーム画像間において重複する重複部分を特定し、当該重複部分に基づいて当該複数のフレーム画像を連結した画像に基づいて、例えば空席検知などの処理を行う。　本発明によれば、例えば空席検知のように比較的広い範囲にわたって行う処理に適した技術を提供するができる。

Description

画像処理システム、画像処理方法及びプログラム
　本発明は、カメラで撮像した画像に画像処理を行うための技術に関する。
　近年、公共交通機関や飲食店等において、椅子に重量センサ等の各種センサを設け、センサの検知結果から、この椅子が空席であるか否かを判定するシステムが存在する。このようなシステムにおいて、判定結果を、ユーザが所持する端末等に送信することにより、空席情報をユーザに通知することが可能となっている。
　このような画像処理システムにおいて、管理装置が、計測指示を各種センサに送信し、この指示に基づいて、各種センサが、検知した検知結果を管理装置に送信する。管理装置は、この検知結果に基づいて、座席が空席であるか否かを判定し、空席である座席の場所を、端末に送信する構成が開示されている（特許文献１参照）。
特開２０１３－２２２３５８号公報
　特許文献１の構成においては、例えばスポーツ競技場等のように広範囲にわたって多数の座席が配置されている場合、椅子毎にセンサを設ける必要性があるため、センサの設置に要するコストや手間がかかるという問題がある。
　本発明は、例えば空席検知のように比較的広い範囲にわたって行う必要がある処理に適した画像処理の仕組みを提供することを目的とする。
　本発明は、撮像された画像を取得する撮像画像取得手段と、前記画像を画像解析する画像解析手段と、前記画像解析の結果に基づいて、前記画像に含まれる複数のフレーム画像間において重複する重複部分を特定する重複部分特定手段と、前記重複部分に応じて、前記複数のフレーム画像を連結する画像連結手段と、前記連結された連結画像に対して画像解析する連結画像解析手段とを備えることを特徴とする画像処理システムを提供する。
　前記画像は動画であってもよい。
　前記画像に含まれる複数のフレーム画像の撮像時期がそれぞれ異なっており、前記重複部分特定手段は、撮像時期の違いによる変化が小さいオブジェクトに基づいて、前記重複部分を特定するようにしてもよい。
　前記撮像時期の違いによる変化が小さいオブジェクトは、固定されて動かないオブジェクトであってもよい。
　前記画像に含まれる複数のフレーム画像の撮像時期がそれぞれ異なっており、前記画像連結手段は、前記複数のフレーム画像を連結するときの前記重複部分の画像については、撮像時期が新しいフレーム画像を用いて連結するようにしてもよい。
　前記連結画像解析手段は、前記連結画像の画像解析の結果に基づいて、テーブルに椅子が何脚あるかを検出し、前記椅子に人が座っているかどうかを検出し、前記検出した椅子の数と前記検出した人の有無とに基づいて空席情報を表示するようにしてもよい。
　また、本発明は、撮像された画像を取得する撮像画像取得ステップと、前記画像を画像解析する画像解析ステップと、前記画像解析の結果に基づいて、前記画像に含まれる複数のフレーム画像間において重複する重複部分を特定する重複部分特定ステップと、前記重複部分に応じて、前記複数のフレーム画像を連結する画像連結ステップと、前記連結された連結画像に対して画像解析する連結画像解析ステップとを備えることを特徴とする画像処理方法を提供する。
　また、本発明は、１以上コンピュータに、撮像された画像を取得する撮像画像取得ステップと、前記画像を画像解析する画像解析ステップと、前記画像解析の結果に基づいて、前記画像に含まれる複数のフレーム画像間において重複する重複部分を特定する重複部分特定ステップと、前記重複部分に応じて、前記複数のフレーム画像を連結する画像連結ステップと、前記連結された連結画像に対して画像解析する連結画像解析ステップとを実行させるためのプログラムを提供する。
　本発明によれば、例えば空席検知のように比較的広い範囲にわたって行う処理に適した技術を提供するができる。
図１は、画像処理システム１の概要を示す図である。 図２は、画像処理システム１の全体構成図である。 図３は、コンピュータ１０、移動体撮像装置１００、ユーザ端末２００の機能ブロック図である。 図４は、コンピュータ１０、ユーザ端末２００が実行する登録処理を示すフローチャートである。 図５は、コンピュータ１０、移動体撮像装置１００が実行する撮像処理を示すフローチャートである。 図６は、コンピュータ１０が実行する空席管理処理を示すフローチャートである。 図７は、施設における移動体撮像装置１００の飛行ルートの一例を示す図である。 図８は、撮像画像に含まれる複数のフレーム画像間において重複する重複部分を例示する図である。 重複部分に基づいて複数のフレーム画像を連結した画像の一例を示す図である。 図１０は、コンピュータ１０が実行する空席管理処理を示すフローチャートである。 図１１は、コンピュータ１０が実行する空席管理処理を示すフローチャートである。 図１２は、ユーザ端末２００が実行する空席表示処理を示すフローチャートである。 図１３は、コンピュータ１０が実行する画像解析の結果の一例を示す図である。 図１４は、コンピュータ１０が実行する画像解析の結果の一例を示す図である。 図１５は、ユーザ端末２００が表示するメッセージの一例を示す図である。 図１６は、ユーザ端末２００が表示する座席確認画面の一例を示す図である。 図１７は、ユーザ端末２００が表示するメッセージの一例を示す図である。 図１８は、ユーザ端末２００が表示する他店舗紹介画面の一例を示す図である。
　１　画像処理システム、１０　コンピュータ、１００　カメラ、２００　ユーザ端末
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。本実施形態では空席検知に資する画像処理システムについて説明するが、これはあくまでも一例であって、画像処理の目的は特に限定されず、本発明の技術的範囲は以下の実施形態に限られるものではない。
　［画像処理システム１の概要］
　本発明の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である画像処理システム１の概要を説明するための図である。画像処理システム１は、コンピュータ１０、移動体撮像装置１００、ユーザ端末２００から構成される。移動体撮像装置１００、ユーザ端末２００の数は、１つに限らず複数であってもよい。また、後述する各処理は、コンピュータ１０、移動体撮像装置１００、ユーザ端末２００のいずれか又は複数の組み合わせにより実現されてもよい。
　コンピュータ１０は、移動体撮像装置１００及びユーザ端末２００とデータ通信可能な計算機である。
　移動体撮像装置１００は、撮像機能を備え、コンピュータ１０とデータ通信を行う移動可能な装置であり、本実施形態では、ドローン又はマルチコプターと呼ばれる飛行可能な回転翼機である。移動体撮像装置１００は、例えば大規模飲食店やイベント会場やスポーツ競技場等のような比較的広い空間に多数の人間を収容する施設の上方を飛行する。本実施形態では、このような施設において人間（客）に飲食物を提供する場合を想定し、移動体撮像装置１００は施設内のテーブル、椅子及び人物等を動画で撮像する。
　ユーザ端末２００は、コンピュータ１０とデータ通信可能な、ユーザが所持する端末装置である。ユーザ端末２００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。
　はじめに、移動体撮像装置１００は、施設内を撮像する（ステップＳ０１）。移動体撮像装置１００の撮像機能における画角は施設の一部の範囲しかカバーできないので、移動体撮像装置１００は施設内を飛行しながら、施設の全範囲を動画で撮像する。
　移動体撮像装置１００は、撮像した撮像画像のデータである撮像画像データを、コンピュータ１０に送信する（ステップＳ０２）。
　コンピュータ１０は、移動体撮像装置１００が送信した撮像画像データを受信することにより、移動体撮像装置１００が撮像した撮像画像を取得する。
　コンピュータ１０は、撮像画像データを画像解析する（ステップＳ０３）。具体的には、コンピュータ１０は、動画に含まれる各フレームを解析し、各フレームの重複部分を連結して施設全体の静止画としての全体画像を生成する。さらに、コンピュータ１０は、施設の全体画像に基づいて、テーブルの位置やその数、各テーブルに属する椅子の位置やその数、客の位置や数等を解析する。
　コンピュータ１０は、画像解析の結果に基づいて、テーブルに椅子が何脚あるかを検出する（ステップＳ０４）。コンピュータ１０は、複数のテーブルが存在する場合、各テーブル毎に、椅子が何脚あるかを検出する。
　コンピュータ１０は、画像解析の結果に基づいて、検出した椅子に人が座っているかどうかを検出する（ステップＳ０５）。
　なお、コンピュータ１０は、画像解析の結果に基づいて、椅子に座っている人の入店時間、注文内容、購入金額、滞在時間等の属性情報を検出する構成であってもよい。例えば、コンピュータ１０は、椅子に人が座った時刻を検出し、現在の時刻を検出することにより、入店時間や滞在時間を検出することが可能となる。また、例えば、コンピュータ１０は、テーブルに載置された飲食物を画像解析することにより、注文内容や購入金額等を検出することが可能となる。
　コンピュータ１０は、椅子の数と人の有無とに基づいて、テーブルの空き及び椅子の空き等の空席情報を作成し、ユーザ端末２００に通知する（ステップＳ０６）。
　なお、コンピュータ１０は、予めユーザ端末２００の登録を受け付け、登録を受け付けたユーザ端末２００に、空席情報を通知する構成であってもよい。
　ユーザ端末２００は、空席情報を受信する。ユーザ端末２００は、受信した空席情報を表示する（ステップＳ０７）。ユーザ端末２００は、この施設のテーブル及び椅子の位置を表示するとともに、人が座っていない椅子と座っている椅子とを区別して表示する。
　なお、ユーザ端末２００は、全ての椅子が空いていた場合に、注目度を変更して表示する構成であってもよい。また、ユーザ端末２００は、椅子に座っている人の属性情報を表示する構成であってもよい。また、ユーザ端末２００は、テーブルに何名の空きがあるかを表示する構成であってもよい。
　以上が、画像処理システム１の概要である。
　［画像処理システム１のシステム構成］
　図２に基づいて、画像処理システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である画像処理システム１のシステム構成を示す図である。画像処理システム１は、コンピュータ１０、移動体撮像装置１００、ユーザ端末２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。なお、移動体撮像装置１００、ユーザ端末２００は、１つに限らず、複数であってもよい。また、後述する各処理は、コンピュータ１０、移動体撮像装置１００、ユーザ端末２００のいずれか又は複数の組み合わせにより実現されてもよい。また、各装置は、実在する装置又は仮想的な装置により実現されてもよい。
　コンピュータ１０は、後述の機能を備えた上述した計算機である。
　移動体撮像装置１００は、後述の機能を備えた上述した撮像装置である。
　ユーザ端末２００は、後述の機能を備えた上述した端末装置である。
　［各機能の説明］
　図３に基づいて、画像処理システム１の機能について説明する。図３は、コンピュータ１０、移動体撮像装置１００、ユーザ端末２００の機能ブロック図を示す図である。
　コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、解析部１４として、取得した撮像画像の画像解析を実行する解析デバイス等を備える。
　コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、データ送受信モジュール２０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、記憶モジュール３０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、解析部１４と協働して、解析モジュール４０を実現する。この解析モジュール４０は、撮像画像を画像解析する画像解析モジュール、その画像解析の結果に基づいて撮像画像に含まれる複数のフレーム画像間において重複する重複部分を特定する重複部分特定モジュール、その重複部分に応じて複数のフレーム画像を連結する画像連結モジュール、及び、連結された連結画像に対して画像解析する連結画像解析モジュールを含む。
　移動体撮像装置１００は、コンピュータ１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス等を備える。また、移動体撮像装置１００は、撮像部１４０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備える。
　移動体撮像装置１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、データ送受信モジュール１５０を実現する。また、移動体撮像装置１００において、制御部１１０が所定のプログラムを読み込むことにより、撮像部１４０と協働して、撮像モジュール１７０を実現する。
　ユーザ端末２００は、コンピュータ１０と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイス等を備える。また、ユーザ端末２００は、入出力部２４０として、制御部２１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部等を備える。
　ユーザ端末２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、データ送受信モジュール２５０を実現する。また、ユーザ端末２００において、制御部２１０が所定のプログラムを読み込むことにより、入出力部２４０と協働して、入力受付モジュール２８０、表示モジュール２８１を実現する。
　なお、以下の説明において、移動体撮像装置１００、ユーザ端末２００の各装置は１つであるものとして説明しているが、複数であっても本処理は実行可能であることはいうまでもない。
　［登録処理］
　図４に基づいて、画像処理システム１が実行する登録処理について説明する。図４は、コンピュータ１０、ユーザ端末２００が実行する登録処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　はじめに、入力受付モジュール２８０は、ユーザからの入力を受け付け、ユーザ登録に必要な個人情報の入力を受け付ける（ステップＳ１０）。入力受付モジュール２８０は、自身がコンピュータ１０等から取得した登録用の入力フォーム等に、自身の氏名、電話番号、メールアドレス、来店者数、来店時間等の個人情報の入力を受け付ける。
　なお、ステップＳ１０の処理は、ユーザ端末２００以外の端末装置により実行される構成であってもよい。例えば、施設に設置された端末装置に、ユーザが、上述した個人情報を入力する構成であってもよい。この場合、この端末装置が、入力を受け付けた個人情報を、コンピュータ１０に送信する構成であればよい。
　データ送受信モジュール２５０は、入力を受け付けた個人情報を、コンピュータ１０に送信する（ステップＳ１１）。ステップＳ１１において、データ送受信モジュール２５０は、個人情報に加え、自身の端末番号、製造番号、ＭＡＣアドレス等の端末に固有な端末固有情報を送信する。
　データ送受信モジュール２０は、個人情報及び端末固有情報を受信する。記憶モジュール３０は、受信した個人情報及び端末固有情報を登録情報として記憶する（ステップＳ１２）。
　なお、ステップＳ１２において、記憶モジュール３０は、個人情報のみを登録情報として記憶する構成であってもよい。また、入力受付モジュール２８０が入力を受け付ける個人情報は、上述した構成に限らず適宜変更可能である。
　以上が、登録処理である。
　［撮像処理］
　図５に基づいて、画像処理システム１が実行する撮像処理について説明する。図５は、コンピュータ１０、移動体撮像装置１００が実行する撮像処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　撮像モジュール１７０は、施設内を飛行しながら施設内の全範囲をカバーする動画を撮像する（ステップＳ２０）。移動体撮像装置１００の飛行ルートは、撮像モジュール１７０によって施設内の全範囲が撮像されるように、撮像モジュール１７０に予め設定されている。
　データ送受信モジュール１５０は、撮像画像のデータである撮像画像データを、コンピュータ１０に送信する（ステップＳ２１）。ステップＳ２１において、データ送受信モジュール１５０は、撮像画像データに、現在時刻を付与し、コンピュータ１０に送信する。データ送受信モジュール１５０による撮像画像データの送信タイミングは、移動体撮像装置１００が施設内の全範囲を撮像し終わったタイミングでもよいし、移動体撮像装置１００が動画を撮像しながらリアルタイムに送信するような形態でもよい。
　コンピュータ１０は、撮像画像データを受信（取得）する。コンピュータ１０は、撮像画像データを受信することにより、移動体撮像装置１００が撮像した撮像画像を取得する。
　なお、ステップＳ２１において、データ送受信モジュール１５０は、撮像画像データのみをコンピュータ１０に送信する構成であってもよい。また、データ送受信モジュール１５０は、上述した構成以外の他のデータや情報を付与し、コンピュータ１０に送信する構成であってもよい。
　以上が、撮像処理である。
　［空席管理処理］
　図６～図１０に基づいて、画像処理システム１が実行する空席管理処理について説明する。図６において、解析モジュール４０は、取得した撮像画像を画像解析する（ステップＳ３０）。ステップＳ３０において、解析モジュール４０（画像解析モジュール４１）は、撮像画像に含まれる各種のオブジェクト画像を認識する。オブジェクト画像とは、施設内にある物体の画像、例えばテーブル、椅子、人間（客）、飲食物、植物、手すりや台、電気製品などの各種設備の画像である。ここで、解析モジュール４０は、撮像画像を画像認識してその特徴量を抽出することによりこれらのオブジェクト画像を解析してもよいし、予め記憶したオブジェクト画像と撮像画像とを比較することによりこれらのオブジェクト画像を解析してもよい。また、解析モジュール４０は、他の方法により、画像解析を実行する構成であってもよい。一般に動画は、フレーム画像と呼ばれる、いわゆる１コマに相当する静止画像の集合に相当する。オブジェクト画像の認識は各フレーム画像に対して行われる。
　オブジェクト画像の認識を行うと、解析モジュール４０（重複部分特定モジュール４２）は、撮像時期が前後する複数のフレーム画像間において重複する重複部分を特定し、その重複部分に基づいてこれら複数のフレーム画像を連結した画像（連結画像）を生成する。これについて、図７～図９を参照して具体的に説明する。図７は、施設における移動体撮像装置１００の飛行ルートの一例を示す図である。移動体撮像装置１００は、施設ＡにおいてスタートＳから矢印Ｒに従ってゴール地点Ｇまで飛行する。移動体撮像装置１００は、この飛行中に撮像を行う。
　図８は、撮像画像に含まれる複数のフレーム画像間において重複する重複部分を例示する図である。撮像画像は動画であるため、複数のフレーム画像の撮像時期がそれぞれ異なっている。各フレーム画像の撮像時期は、新しい順に列挙すると、Ｆ７，Ｆ６，Ｆ５，Ｆ４，Ｆ３，Ｆ２，Ｆ１となる。各フレーム画像には前後の撮像時期のフレーム画像と同一のオブジェクト画像が含まれる。例えばフレーム画像Ｆ１とフレーム画像Ｆ２において、同一のオブジェクト画像を含む部分ａ１が重複する。また、フレーム画像Ｆ２とフレーム画像Ｆ３において、同一のオブジェクト画像を含む部分ａ２が重複する。また、フレーム画像Ｆ３とフレーム画像Ｆ４において、同一のオブジェクト画像を含む部分ａ３が重複する。また、フレーム画像Ｆ４とフレーム画像Ｆ５において、同一のオブジェクト画像を含む部分ａ４が重複する。また、フレーム画像Ｆ５とフレーム画像Ｆ６において、同一のオブジェクト画像を含む部分ａ５が重複する。また、フレーム画像Ｆ６とフレーム画像Ｆ７において、同一のオブジェクト画像を含む部分ａ６が重複する。重複部分を特定するためのオブジェクト画像として好適なものは、撮像時期の違いによる変化が小さいオブジェクトとして予め決められたオブジェクトの画像である。撮像時期の違いによる変化が小さいオブジェクトは、固定されて動かない重量物とか設置物などの画像である。
　図９は、重複部分に基づいて複数のフレーム画像を連結した画像の一例を示す図である。解析モジュール４０（画像連結モジュール４３）は、重複部分を重ねた状態で各フレーム画像を連結する。これにより、施設Ａにおける全体画像（連結画像）が生成される。撮像画像は動画であるため、複数のフレーム画像の撮像時期がそれぞれ異なっている。空席検知においてはより新しい状態を知ることが好ましいため、解析モジュール４０は、複数のフレーム画像を連結したときの重複部分の画像については、撮像時期が新しいフレーム画像を用いる。具体的には、例えばフレーム画像Ｆ１とフレーム画像Ｆ２において、同一のオブジェクト画像を含む部分ａ１の画像としては、撮像時期が新しいフレーム画像Ｆ２における重複部分ａ１の画像が用いられる。また、フレーム画像Ｆ２とフレーム画像Ｆ３において、同一のオブジェクト画像を含む部分ａ２の画像としては、撮像時期が新しいフレーム画像Ｆ３における重複部分ａ２の画像が用いられる。また、フレーム画像Ｆ３とフレーム画像Ｆ４において、同一のオブジェクト画像を含む部分ａ３の画像としては、撮像時期が新しいフレーム画像Ｆ４における重複部分ａ３の画像が用いられる。また、フレーム画像Ｆ４とフレーム画像Ｆ５において、同一のオブジェクト画像を含む部分ａ４の画像としては、撮像時期が新しいフレーム画像Ｆ５における重複部分ａ４の画像が用いられる。また、フレーム画像Ｆ５とフレーム画像Ｆ６において、同一のオブジェクト画像を含む部分ａ５の画像としては、撮像時期が新しいフレーム画像Ｆ６における重複部分ａ５の画像が用いられる。また、フレーム画像Ｆ６とフレーム画像Ｆ７において、同一のオブジェクト画像を含む部分ａ６の画像としては、撮像時期が新しいフレーム画像Ｆ７における重複部分ａ６の画像が用いられる。
　解析モジュール４０（連結画像解析モジュール４４）は、施設の全体画像（連結画像）において、テーブルの位置やその数、各テーブルに属する椅子の数や位置、客の位置や数、テーブルに載置された飲食物等を解析する。全体画像中に映っているテーブルに椅子が何脚あるかを検出する（ステップＳ３１）。ステップＳ３１において、解析モジュール４０は、全体画像に映っているテーブル毎に、椅子が何脚あるかを検出する。解析モジュール４０は、例えば、円形又は矩形のテーブルを検出した場合、このテーブルの周囲に存在する椅子を、このテーブルの椅子であると検出する。また、解析モジュール４０は、例えば、矩形のテーブルを検出し、このテーブルを挟んで対向する位置に存在する椅子を、このテーブルの椅子であると検出する。また、解析モジュール４０は、例えば、矩形のテーブルを検出し、一の辺に沿って並置された椅子を、このテーブルの椅子であると検出する。解析モジュール４０は、其々のテーブルにおいて、椅子の数と配置を検出する。
　図１３は、解析モジュール４０が実行する画像解析の結果の一例を示す図である。図１０において、解析モジュール４０は、全体画像中に映っているテーブルと、各テーブルに属する椅子の数とを検出する。すなわち、図１０において、解析モジュール４０は、全体画像中に映っているテーブルとして、第１テーブル３００、第２テーブル３１０、第３テーブル３２０、第４テーブル３３０、第５テーブル３４０、第６テーブル３５０を検出する。また、解析モジュール４０は、第１テーブル３００に属する４脚の椅子４００、第２テーブル３１０に属する４脚の椅子４１０、第３テーブル３２０に属する２脚の椅子４２０、第４テーブル３３０に属する２脚の椅子４３０、第５テーブル３４０に属する２脚の椅子４４０、第６テーブル３５０に属する椅子４５０，４６０，４７０を検出する。
　解析モジュール４０は、各椅子の形状等に基づいて、どの椅子がどのテーブルに属するかを判断し、各テーブルに属する椅子を検出する。例えば、解析モジュール４０は、テーブルが円形である場合、この円形の周囲に位置する椅子を、このテーブルに属する椅子であるとして検出する。また、解析モジュール４０は、テーブルが矩形である場合、周囲の位置又は対向する位置に配置された椅子を、このテーブルに属する椅子であるとして検出する。また、解析モジュール４０は、テーブルが矩形である場合、この矩形の一辺に並置された椅子を、このテーブルに属するものの、異なるグループの椅子として検出する。すなわち、図１０において、第１～第５テーブル３００～３４０は、各テーブルに属する椅子が一のグループとして扱われるのに対して、第６テーブル３５０は、椅子４５０，４６０，４７０は、異なるグループとして扱われる。
　解析モジュール４０は、画像解析の結果に基づいて、検出した椅子に人が座っているかどうかを判断する（ステップＳ３２）。ステップＳ３２において、解析モジュール４０は、一のテーブルに属する椅子に人が座っているかどうかを判断する。ステップＳ３２において、解析モジュール４０は、人が座っていると判断した場合（ステップＳ３２　ＹＥＳ）、解析モジュール４０は、この椅子に座っている人の属性情報を検出する（ステップＳ３３）。
　ステップＳ３３において、解析モジュール４０は、属性情報として、入店時刻、滞在時間、注文内容、購入金額等を検出する。解析モジュール４０は、この属性情報を、人が座っている椅子が属するテーブルに載置された飲食物や、この人を初めて検出した時刻や、入店時刻等に基づいて検出する。解析モジュール４０は、画像解析の結果に基づいて、テーブルに載置された飲食物の特徴量を抽出し、抽出した特徴量により飲食物を特定する。解析モジュール４０は、この特定した飲食物に対応付けられた料金表等に基づいて、購入金額を特定する。また、解析モジュール４０は、初めてこの椅子に人が座っていることを検出した時刻を、入店時刻として特定する。また、解析モジュール４０は、この入店時刻から現在時刻までの間の時間を滞在時間として特定する。
　なお、解析モジュール４０が検出する属性情報は、上述した構成に限らず他の情報を検出してもよい。また、ステップＳ３３の処理は、省略可能である。この場合、ステップＳ３２の処理を実行したのち、後述する各処理を実行すればよい。
　また、データ送受信モジュール２０は、属性情報を、図示していない店舗端末に送信する構成であってもよい。このようにすることにより、店舗端末により、客単価、客の滞在時間、客の注文内容等を把握することが容易となり、施設経営に必要な情報を得ることが容易となる。
　図１４は、解析モジュール４０が実行する画像解析の結果の一例を示す図である。図１４は、図１３の解析結果に、人の検出結果と、属性情報とを検出した状態を説明するための図である。図１４において、解析モジュール４０は、各テーブル毎に人を検出するとともに、各テーブル又は人の属性情報を検出する。図１４において、解析モジュール４０は、第１テーブル３００に３人の人５００を検出する。また、解析モジュール４０は、第３テーブル３２０に２人の人５１０を検出する。また、第４テーブル３３０に１人の人５２０を検出する。また、第６テーブル３５０に１人の人５３０を検出する。
　図１４において、解析モジュール４０は、各テーブル毎に客の滞在時間、客の人数、注文内容を検出する。解析モジュール４０は、第１テーブル３００にて検出した人５００の人数、この人５００を最初に検出した時刻から現在時刻までの間の時間を検出する。また、解析モジュール４０は、テーブルに載置された飲食物を画像解析することにより、注文内容を検出する。例えば、解析モジュール４０は、飲食物の特徴量を検出し、この特徴量と一致する特徴量を有する注文内容を特定することにより、注文内容を検出する。解析モジュール４０は、この検出した滞在時間、客数、注文内容等の属性情報を客が存在するテーブル毎又は客毎に検出する。図１４において、例えば、第１テーブル３００において、解析モジュール４０は、３人の人５００を検出し、滞在時間が５０分であることを検出し、注文内容がランチ、コーヒー、コーヒーを検出する。解析モジュール４０は、この属性情報を、第１テーブル３００と対応付ける。解析モジュール４０は、第１テーブル３００に引出線を引き、属性情報７００を対応付けていることを示している。同様に、第３テーブル３２０において、解析モジュール４０は、２人の人５１０を検出し、滞在時間が２０分であることを検出し、注文内容がコーヒー、コーヒーであることを検出する。解析モジュール４０は、第３テーブル３２０に引出線を引き、属性情報７１０を対応付けていることを示している。また、同様に、第４テーブル３３０において、解析モジュール４０は、１人の人５２０を検出し、滞在時間が１０分であることを検出し、注文内容がコーヒーであることを検出する。解析モジュール４０は、第４テーブル３３０に引出線を引き、属性情報７２０を対応付けていることを示している。また、同様に、第６テーブル３５０において、解析モジュール４０は、１人の人５３０が椅子４５０に座っていることを検出し、滞在時間が１０分であることを検出し、注文内容がコーヒーであることを検出する。解析モジュール４０は、人５３０に引出線を引き、属性情報７３０を対応付けていることを示している。
　また、図１４において、解析モジュール４０が人を検出できなったテーブル又は椅子に空席アイコンを示している。解析モジュール４０は、人を検出できなかった第２テーブル３１０に空席アイコン６００を重畳させる。また、解析モジュール４０は、人を検出できなかった第５テーブル３４０に空席アイコン６１０を重畳させる。また、解析モジュール４０は、人を検出できなかった第６テーブル３５０に属する椅子４６０に空席アイコン６２０を重畳させ、椅子４７０に空席アイコン６３０を重畳させる。これら空席アイコン６００～６３０は、各テーブルの空席の数も示している。
　また、図１４において、解析モジュール４０は、第１テーブル３００にて人を検出したものの、空席となっている椅子４００に、空席アイコン６４０を重畳させる。また、同様に、解析モジュール４０は、第４テーブル３３０にて人を検出したものの、空席となっている椅子４３０に空席アイコン６５０を重畳させる。これら空席アイコン６４０，６５０は、相席の数を示している。なお、解析モジュール４０は、全ての空席となっている椅子に空席アイコンを重畳させる構成であってもよい。また、その他の構成により、空席であることを示してもよい。また、空席が存在する全てのテーブルに対して、空席アイコンを重畳させる構成であってもよい。
　解析モジュール４０は、一のテーブルに属する全ての椅子に人が座っているかどうかを判断する（ステップＳ３４）。ステップＳ３４において、解析モジュール４０は、一のテーブルの周囲又は近傍にある椅子に人が座っているかどうかを判断する。ステップＳ３４において、解析モジュール４０は、全ての椅子に人が座っていると判断した場合（ステップＳ３４　ＹＥＳ）、解析モジュール４０は、この一のテーブルでは、人が座る余地がないとする満席情報を作成する（ステップＳ３５）。
　一方、ステップＳ３４において、解析モジュール４０は、全ての椅子には人がいないと判断した場合（ステップＳ３４　ＮＯ）、すなわち、一のテーブルにおいて人が座っている椅子と座っていない椅子とがあると判断した場合、解析モジュール４０は、この一のテーブルに人が座る余地があるとする相席情報を作成する（ステップＳ３６）。
　ステップＳ３２において、解析モジュール４０は、人が座っていないと判断した場合（ステップＳ３２　ＮＯ）、解析モジュール４０は、一のテーブルの周囲又は近傍にある椅子に人が座っているかどうかを判断する（ステップＳ３７）。すなわち、ステップＳ３７において、この一のテーブルに人がいるかどうかを判断する。
　ステップＳ３７において、解析モジュール４０は、人が座っていると判断した場合（ステップＳ３７　ＹＥＳ）、解析モジュール４０は、椅子に座っている人の属性情報を検出する（ステップＳ３８）。その後、解析モジュール４０は、上述した相席情報を作成する（ステップＳ３６）。
　一方、ステップＳ３７において、解析モジュール４０は、人が座っていないと判断した場合（ステップＳ３７　ＮＯ）、このテーブルが空いているとする空席情報を作成する（ステップＳ３９）。
　解析モジュール４０は、全ての椅子に対して、上述した処理を完了したか否かを判断する（ステップＳ４０）。ステップＳ４０において、解析モジュール４０は、完了していないと判断した場合（ステップＳ４０　ＮＯ）、上述したステップＳ３２の処理を再度実行する。
　一方、ステップＳ４０において、解析モジュール４０は、完了したと判断した場合（ステップＳ４０　ＹＥＳ）、解析モジュール４０は、各テーブルの満席情報、空席情報、相席情報をまとめた座席情報を作成する（ステップＳ４１）。座席情報は、例えば、各テーブル毎の空席状況、全体の空席状況、各テーブル毎の属性情報、各個人の属性情報、残り滞在予想時間等である。残り滞在予想時間は、これまでの客の人数における滞在時間や、注文内容における滞在時間や、客の性別における滞在時間等から推測する。
　解析モジュール４０は、座席情報、この施設のＳＮＳ等のメッセージ、この施設の周辺地図、この施設の所在地、座席確認用のリンク、他店舗の紹介用リンク等を含んだメッセージを作成する（ステップＳ４２）。このメッセージの詳細は、後述する。
　なお、このメッセージは、上述した全ての構成を含んでいなくともよい。例えば、座席情報のみであってもよいし、上述した構成のいずれかを組合わせてもよいし、その他の構成を追加してもよい。
　また、メッセージとして、上述した構成を含むウェブサイトへのリンク用ＵＲＬを作成する構成であってもよい。
　データ送受信モジュール２０は、メッセージをユーザ端末２００に送信する（ステップＳ４３）。ステップＳ４３において、データ送受信モジュール２０は、上述した登録処理において、登録を受け付けたユーザ端末２００に、メッセージを送信する。このとき、例えば、データ送受信モジュール２０は、登録を受け付けたユーザ端末２００のメールアドレス宛てや電話番号宛に、メッセージを送信する。
　なお、ステップＳ４３において、データ送受信モジュール２０は、メッセージを、登録を受け付けていないユーザ端末２００に送信する構成であってもよい。また、データ送受信モジュール２０は、メッセージ以外の構成により、座席情報等をユーザ端末２００に送信する構成であってもよい。また、データ送受信モジュール２０は、座席情報等をその他の構成によりユーザ端末２００に送信してもよい。
　以上が、空席管理処理である。
　［空席表示処理］
　図１２に基づいて、画像処理システム１が実行する空席表示処理について説明する。図１２は、ユーザ端末２００が実行する空席表示処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
　データ送受信モジュール２５０は、メッセージを受信する。表示モジュール２８１は、受信したメッセージを表示する（ステップＳ５０）。
　入力受付モジュール２８０は、メッセージとして表示した座席情報へのリンクＵＲＬへの入力を受け付け、データ送受信モジュール２５０は、座席情報を取得し、表示モジュール２８１は、座席情報を表示する（ステップＳ５１）。
　図１５は、表示モジュール２８１が表示するメッセージの一例を示す図である。図１５において、表示モジュール２８１は、メッセージとして、施設名通知８００、施設説明通知８１０、空席状況通知８２０、施設周辺地図８３０、施設情報８４０、ＳＮＳ通知８５０、座席確認アイコン８６０を表示する。表示モジュール２８１は、施設名通知８００として、この施設の名称を表示する。また、表示モジュール２８１は、施設説明通知８１０として、この施設に関する説明文を表示する。また、表示モジュール２８１は、空席状況通知８２０として、空席の有無や、空席が存在する場合、空席の内容及びその数を表示する。また、表示モジュール２８１は、施設周辺地図８３０として、この施設の周辺地図を表示する。また、表示モジュール２８１は、施設情報８４０として、この施設の住所、電話番号、営業時間等を表示する。また、表示モジュール２８１は、ＳＮＳ通知８５０として、この施設が利用する各種ＳＮＳメッセージの一部を表示する。
　入力受付モジュール２８０は、座席確認アイコン８６０への入力を受け付ける。表示モジュール２８１は、座席確認アイコン８６０への入力を受け付け、後述する座席確認画面を表示する。
　図１６は、表示モジュール２８１が表示する座席確認画面の一例を示す図である。上述した図１１と同様の構成については、同様の符号を付し、その詳細な説明は省略する。表示モジュール２８１は、全体画像と図１３及び図１４において検出したテーブル、椅子、人、属性情報、空席アイコンを座席確認画面として表示する。
　図１６において、表示モジュール２８１は、各テーブルの空席状況と、各テーブルを使用中の客の属性情報とを全体画像に重畳させて表示する。図１６において、表示モジュール２８１は、第１テーブル３００が、４脚の椅子４００のうち、１脚の椅子４００が空席であることを、空席アイコン６４０をこの椅子４００に重畳させて表示する。また、表示モジュール２８１は、第１テーブル３００の属性情報７００として、残り滞在予想時間を表示する。この残り滞在予想時間は、客の滞在時間が所定の時間、例えば、４０分以上、５０分以上であるときに表示する。表示モジュール２８１は、第２テーブル３１０が、４脚の椅子４１０のうち、全ての椅子４１０が空席であることを、第２テーブル３１０に空席アイコン６００を重畳させて表示する。表示モジュール２８１は、空席アイコン６００に空席の数を表示することにより、この第２テーブル３１０に何名の空きがあるかを表示する。表示モジュール２８１は、第３テーブル３２０の属性情報７１０として、第３テーブル３２０の客の滞在時間と客数とを表示する。表示モジュール２８１は、第４テーブル３３０が、２脚の椅子４３０のうち、１脚の椅子４３０が空席であることを、この椅子４３０に空席アイコン６５０を重畳させて表示する。また、表示モジュール２８１は、第４テーブル３３０の属性情報７２０として、第４テーブルの客の滞在時間と客数とを表示する。また、表示モジュール２８１は、第５テーブル３４０が、２脚の椅子４４０のうち、全ての椅子４４０が空席であることを、第５テーブル３４０に空席アイコン６１０を重畳させて表示する。表示モジュール２８１は、空席アイコン６１０に空席の数を表示することにより、この第５テーブル３４０に何名の空きがあるかを表示する。また、表示モジュール２８１は、第６テーブル３５０に属する其々の椅子４５０，４６０，４７０に対して、空席アイコンや属性情報を表示する。表示モジュール２８１は、椅子４５０に座っている客の属性情報７３０として、残り滞在予想時間を表示する。また、表示モジュール２８１は、椅子４６０が空席であることを、この椅子４６０に空席アイコン６２０を重畳させて表示する。また、表示モジュール２８１は、椅子４７０が空席であることを、この椅子４７０に空席アイコン６３０を重畳させて表示する。
　表示モジュール２８１は、テーブルに属する椅子が全て空席である場合と、テーブルに属する一部の椅子が空席である場合とで、表示態様を変更する。すなわち、表示モジュール２８１は、全ての椅子が空いていた場合に、注目度を変更して表示する。
　なお、表示モジュール２８１が表示するメッセージは、上述した構成に限らず他の表示態様であってもよい。例えば、表示モジュール２８１は、予約アイコンを表示し、入力受付モジュール２８０は、予約アイコンへの入力を受け付け、この施設へ電話を発呼する構成であってもよい。また、入力受付モジュール２８０が予約アイコンへの入力を受け付けたとき、ユーザ端末２００は、予約用のウェブサイトにアクセスし、予約に必要な内容をコンピュータ１０に送信する構成であってもよい。
　また、表示モジュール２８１が表示する属性情報は、上述した構成に限らず、その他の構成であってもよい。例えば、属性情報として、残り滞在予想時間と、滞在時間と、客数とを表示する構成であってもよいし、上述した図１４で検出した属性情報を表示する構成であってもよいし、その他の情報等を表示する構成であってもよい。
　また、図１７は、表示モジュール２８１が表示するメッセージの一例を示す図である。図１５と図１７との相違点は、図１５が、空席が存在する場合のメッセージの一例であるのに対して、図１７は、空席が存在しない場合のメッセージの一例である点である。なお、図１５と同様の構成については、同様の符号を付し、その詳細な説明は省略する。
　図１７において、表示モジュール２８１は、図１５と同様に、施設名通知８００、施設説明通知８１０、空席状況通知８２０、施設周辺地図８３０、施設情報８４０、ＳＮＳ通知８５０、座席確認アイコン８６０を表示する。加えて、表示モジュール２８１は、他店舗用アイコン８７０を表示する。入力受付モジュール２８０は、他店舗用アイコン８７０の入力を受け付け、後述する他店舗紹介画面を表示する。
　図１８は、表示モジュール２８１が表示する他店舗紹介画面の一例を示す図である。図１８において、表示モジュール２８１は、他店舗紹介画面として、紹介通知９００、施設名通知９１０、周辺地図９２０、施設情報９３０、ＳＮＳ通知９４０を表示する。表示モジュール２８１は、紹介通知９００として、他店舗を紹介する画面であることを示す通知を表示する。また、表示モジュール２８１は、施設名通知９１０として、自身の現在地の周辺にある同様の施設名を一又は複数表示する。表示モジュール２８１は、周辺地図９２０として、自身の現在地及び核施設の位置を表示する。また、表示モジュール２８１は、施設情報９３０として、各施設の住所、電話番号、営業時間等を表示する。また、表示モジュール２８１は、ＳＮＳ通知９４０として、各施設が利用する各種ＳＮＳメッセージの一部を其々表示する。
　以上が、空席表示処理である。
　なお、上述した登録処理、撮像処理、画像処理、空席管理処理又は空席表示処理は、上述した各モジュールが各処理を実行する構成に限らず、コンピュータ１０、移動体撮像装置１００、ユーザ端末２００のいずれか又は複数の組み合わせにより、各処理を実行する構成であってもよい。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　撮像画像は動画に限らず、例えば５秒毎とか１０秒毎等の時間間隔で撮像画像を撮像した静止画であってもよい。この場合、個々の静止画が、本発明において撮像画像に含まれる複数のフレーム画像に相当する。
本発明における撮像装置は、実施形態で例示した回転翼機のような移動体撮像装置１００に限定されず、地面を移動する車両に搭載される装置であってもよいし、スマートフォンやデジタルカメラのようにユーザにより携帯される装置であってもよい。また、本発明における撮像装置は必ずしも、移動可能な装置でなくてもよく、固定された装置であってもよい。
　図３で例示した機能構成の一部は省略されてもよいし、図３以外の機能が追加されてもよい。
　解析モジュール４０は、重複部分に基づいて複数のフレーム画像を連結した全体画像に基づいて処理を行うが、この処理は実施形態で例示した空席検知に限らず、どのような処理であってもよい。例えば家畜や農作物等の動植物の管理や、人や物などの対象物の監視に用いられてもよい。

Claims (8)

  1. 　撮像された画像を取得する撮像画像取得手段と、
    　前記画像を画像解析する画像解析手段と、
    前記画像解析の結果に基づいて、前記画像に含まれる複数のフレーム画像間において重複する重複部分を特定する重複部分特定手段と、
    前記重複部分に応じて、前記複数のフレーム画像を連結する画像連結手段と、
    前記連結された連結画像に対して画像解析する連結画像解析手段と
    　を備えることを特徴とする画像処理システム。
  2. 　前記画像は動画である
    　ことを特徴とする請求項１記載の画像処理システム。
  3. 　前記画像に含まれる複数のフレーム画像の撮像時期がそれぞれ異なっており、
    　前記重複部分特定手段は、撮像時期の違いによる変化が小さいオブジェクトに基づいて、前記重複部分を特定する
    　ことを特徴とする請求項１又は２に記載の画像処理システム。
  4. 　前記撮像時期の違いによる変化が小さいオブジェクトは、固定されて動かないオブジェクトである
    　ことを特徴とする請求項３記載の画像処理システム。
  5. 　前記画像に含まれる複数のフレーム画像の撮像時期がそれぞれ異なっており、
    　前記画像連結手段は、前記複数のフレーム画像を連結するときの前記重複部分の画像については、撮像時期が新しいフレーム画像を用いて連結する
    　ことを特徴とする請求項１～４のいずれか１項に記載の画像処理システム。
  6. 　前記連結画像解析手段は、
    　前記連結画像の画像解析の結果に基づいて、テーブルに椅子が何脚あるかを検出し、前記椅子に人が座っているかどうかを検出し、前記検出した椅子の数と前記検出した人の有無とに基づいて空席情報を表示する
    　ことを特徴とする請求項１～５のいずれか１項に記載の画像処理システム。
  7. 　撮像された画像を取得する撮像画像取得ステップと、
    　前記画像を画像解析する画像解析ステップと、
    前記画像解析の結果に基づいて、前記画像に含まれる複数のフレーム画像間において重複する重複部分を特定する重複部分特定ステップと、
    前記重複部分に応じて、前記複数のフレーム画像を連結する画像連結ステップと、
    前記連結された連結画像に対して画像解析する連結画像解析ステップと
    　を備えることを特徴とする画像処理方法。
  8. 　１以上コンピュータに、
    　撮像された画像を取得する撮像画像取得ステップと、
    　前記画像を画像解析する画像解析ステップと、
    前記画像解析の結果に基づいて、前記画像に含まれる複数のフレーム画像間において重複する重複部分を特定する重複部分特定ステップと、
    前記重複部分に応じて、前記複数のフレーム画像を連結する画像連結ステップと、
    前記連結された連結画像に対して画像解析する連結画像解析ステップと
    　を実行させるためのプログラム。
PCT/JP2016/086869 2016-12-12 2016-12-12 画像処理システム、画像処理方法及びプログラム WO2018109797A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086869 WO2018109797A1 (ja) 2016-12-12 2016-12-12 画像処理システム、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086869 WO2018109797A1 (ja) 2016-12-12 2016-12-12 画像処理システム、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018109797A1 true WO2018109797A1 (ja) 2018-06-21

Family

ID=62558197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086869 WO2018109797A1 (ja) 2016-12-12 2016-12-12 画像処理システム、画像処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2018109797A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244626A (ja) * 2004-02-26 2005-09-08 Sony Corp 監視装置
JP2011008454A (ja) * 2009-06-25 2011-01-13 Hitachi Ltd 情報提供システム
JP2014067261A (ja) * 2012-09-26 2014-04-17 Rakuten Inc 情報処理装置、情報処理方法、および、情報処理装置用プログラム
JP2015138452A (ja) * 2014-01-23 2015-07-30 東芝テック株式会社 料理残量検出装置及びプログラム
JP2016004384A (ja) * 2014-06-16 2016-01-12 パナソニックＩｐマネジメント株式会社 店舗管理システムおよび店舗管理方法
JP2016163089A (ja) * 2015-02-27 2016-09-05 株式会社Ｊｖｃケンウッド 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244626A (ja) * 2004-02-26 2005-09-08 Sony Corp 監視装置
JP2011008454A (ja) * 2009-06-25 2011-01-13 Hitachi Ltd 情報提供システム
JP2014067261A (ja) * 2012-09-26 2014-04-17 Rakuten Inc 情報処理装置、情報処理方法、および、情報処理装置用プログラム
JP2015138452A (ja) * 2014-01-23 2015-07-30 東芝テック株式会社 料理残量検出装置及びプログラム
JP2016004384A (ja) * 2014-06-16 2016-01-12 パナソニックＩｐマネジメント株式会社 店舗管理システムおよび店舗管理方法
JP2016163089A (ja) * 2015-02-27 2016-09-05 株式会社Ｊｖｃケンウッド 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKEAKI IIYOSHI ET AL.: "Automatic Removing of Partial Foreground Objects for Image Mosaicing", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. J92-D, no. 8, 8 January 2009 (2009-01-08), pages 1403 - 1413 *

Similar Documents

Publication Publication Date Title
TWI729289B (zh) 就餐結算方法、智慧點餐設備以及智慧餐廳支付系統
JP6070705B2 (ja) 情報処理装置、そのデータ処理方法、およびプログラム
JP6441509B2 (ja) コンピュータシステム、店舗情報提供方法及びプログラム
WO2014060843A2 (en) Interactive photography system and method employing facial recognition
US20160092965A1 (en) Table-Side Information Device Imaging Capture
WO2014057704A1 (ja) 商品情報提供システム、商品情報提供装置、及び商品情報出力装置
WO2014001937A1 (en) Mobile tourism services translation
JP6120467B1 (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
JP6589062B2 (ja) 空席管理システム、空席管理方法及びプログラム
CN108897996A (zh) 标识信息关联方法及装置、电子设备及存储介质
KR101825600B1 (ko) 증강현실기술을 이용한 좌석안내 장치 및 그 방법
US20190311387A1 (en) Computer system, vacant seat detecting method, and program
EP2871606A1 (en) Information communication method and information communication apparatus
JP4825511B2 (ja) チケット関連情報提供システム、チケット関連情報提供方法及びチケット関連情報提供プログラム
JP5954417B2 (ja) 注文システム
JP2013037533A (ja) 商品情報取得システムおよび商品情報提供サーバ装置
JP2015032149A (ja) 表示制御装置、方法、及びプログラム
JP5220953B1 (ja) 商品情報提供システム、商品情報提供装置、及び商品情報出力装置
JP6788710B1 (ja) 画像出力装置及び画像出力方法
WO2018109797A1 (ja) 画像処理システム、画像処理方法及びプログラム
Nakagawa et al. Marketing system utilizing a robot and smartphone
EP4394719A1 (en) Information processing device
JP2016099920A (ja) 情報出力装置、情報出力方法及び情報出力プログラム
JP2009205504A (ja) 案内システム、サーバシステム、案内方法及びプログラム
JP2019102882A (ja) インターホンシステム、インターホン親機、制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16923965

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16923965

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP