WO2020202767A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
WO2020202767A1
WO2020202767A1 PCT/JP2020/003907 JP2020003907W WO2020202767A1 WO 2020202767 A1 WO2020202767 A1 WO 2020202767A1 JP 2020003907 W JP2020003907 W JP 2020003907W WO 2020202767 A1 WO2020202767 A1 WO 2020202767A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
information processing
target person
foodstuff
Prior art date
Application number
PCT/JP2020/003907
Other languages
English (en)
French (fr)
Inventor
ヘンリー ウォン
▲カイ▼臨 張
淳 門脇
勇夫 丸岡
ピーター バッハー
アフィナフ カナル
徹 江口
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to JP2021511163A priority Critical patent/JPWO2020202767A1/ja
Publication of WO2020202767A1 publication Critical patent/WO2020202767A1/ja
Priority to US17/448,510 priority patent/US20220005130A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04162Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the present invention relates to an information processing system that can assist, for example, to provide an appropriate dish to a family member.
  • the person who is trying to serve food is the ingredients in the refrigerator, the health condition of the family, the likes and dislikes (preferences) of each family member, and the composition of each family.
  • the staff's schedule when deciding on the food to serve.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2002-351789
  • a plurality of e-mail display areas are provided on a display screen, and messages, recipients, senders, subjects, etc. of a plurality of e-mails are confirmed at the same time.
  • a device that enables processing of transmission and reception has been proposed, and using this Patent Document 1, it is convenient to be able to view e-mails from family members at the same time.
  • Patent Document 1 a plurality of e-mails displayed on the display screen are in no particular order, and which e-mail is from which of the family members is confirmed by checking the display information of the sender. It has to be done, and it is troublesome to grasp the e-mail information of the family members.
  • An object of the present invention is to provide an information processing system capable of solving the above problems.
  • An information processing system including an information processing device, a food stockpile device for storing foodstuffs, and a meal status detection device for detecting a predetermined state of a target person while eating a provided dish.
  • the information processing device A display unit with a display screen and The first communication unit for communicating with the mobile terminal carried by the target person, and A second communication unit for communicating with the food storage unit, With a third communication unit for communicating with the meal status detection device, From the information acquired through the first communication unit, the information acquired from the second communication unit, and the information acquired from the third communication unit, the information on the food to be provided to the target person is displayed on the display unit.
  • Proposal section that displays and proposes on the display screen of Provide an information processing system characterized by being equipped with.
  • the information processing unit obtains information through the first communication unit, information acquired from the second communication unit, and information acquired from the third communication unit to the target person.
  • Information on the food to be provided is displayed on the display unit to make a proposal. Therefore, a person who intends to serve a dish can conveniently serve the actual dish based on the information of the dish displayed on the display screen of the information processing device of the information processing system.
  • FIG. 1 It is a figure for demonstrating the outline of the configuration example and the usage mode of the embodiment of the information processing system according to this invention. It is an exploded perspective view which shows the hardware configuration example of the information processing apparatus which comprises the information processing system of embodiment of FIG. It is a figure for demonstrating the example of the position indicator used together with the information processing apparatus which comprises the information processing system of embodiment of FIG. It is a figure which shows the structural example of the electronic circuit of the information processing apparatus which constitutes the information processing system of the embodiment of FIG. An example of table information included in the information processing apparatus constituting the information processing system of the embodiment of FIG. 1 is shown. It is a block diagram which shows the configuration example of the mobile terminal which communicates with the information processing apparatus which comprises the information processing system of embodiment of FIG.
  • FIG. 5 is a block diagram showing a configuration example of a food material inventory management device that communicates with an information processing device constituting the information processing system of the embodiment of FIG.
  • FIG. 5 is a block diagram showing a configuration example of a meal status detection device that communicates with an information processing device constituting the information processing system of the embodiment of FIG.
  • FIG. 1 is a diagram for explaining a configuration example of an embodiment of an information processing system according to the present invention.
  • a position indicator 2 with a marker as an example of a position indicator and an eraser functional member 3 are provided for the information processing device 1, and information processing is performed.
  • the mobile terminals 41 to 44, the food inventory management device 60 provided in the refrigerator 6 as an example of the food storage device, and the meal status detection device 7 are connected to the device 1 by wireless communication. .. Further, each of the mobile terminals 41 to 44 is configured to wirelessly communicate with the wearable terminals 51 to 54 worn by the carrier of the mobile terminals 41 to 44.
  • the information processing device 1 is configured to connect to the server devices 9A, 9B, 9C, etc. via the Internet 8.
  • FIG. 2 is an exploded perspective view showing a configuration example of the information processing device 1 constituting the information processing system of this embodiment.
  • the information processing device 1 of this example constitutes a display device 11 and a cover member arranged so as to cover the upper part (display surface side) of the display screen of the display device.
  • the case 10 is made of, for example, a synthetic resin, and includes a display device 11, a transparent panel 12, a position detection sensor 13, and a recess 10a for accommodating a control circuit board 14.
  • the display device 11 is composed of a large flat display such as a liquid crystal display or an organic EL display, for example, 40 inches or more, and a large number of display pixels 112 are arranged in the X-axis direction (horizontal direction) on the display substrate 111.
  • a large number of display screens 11D are arranged in the Y-axis direction (vertical direction) orthogonal to the X-axis direction.
  • the transparent panel 12 is a transparent material that can be written or drawn with ink by the marker pen portion of the position indicator 2 and can be erased by the eraser functional member 3, for example, transparent acrylic. It consists of a board.
  • the transparent panel 12 has the same size as the display screen 11D of the display device 11, and the side of the surface 12a of the transparent panel 12 is an operation surface for position indication by the position indicator 2. ing.
  • the position detection sensor 13 of the electromagnetic induction type is arranged so that the position detection area exactly overlaps with the display screen 11D.
  • the detection area of the designated position of the position indicator 2 described later of the position detection sensor 13 and the display area of the display screen 11D of the display device 11 are set to have the same size, and the two areas are displayed so as to exactly overlap.
  • the device 11 and the position detection sensor 13 are arranged.
  • control circuit board 14 is arranged on the back side of the position detection sensor 13.
  • the control circuit board 14 is electrically connected to the display device 11 and the position detection sensor 13.
  • the information processing apparatus 1 of this embodiment is provided with a position indicator 2 with a marker capable of instructing the position by electromagnetically inductively coupling with the position detection sensor 13 and writing ink on the surface 12a of the transparent panel 12.
  • An eraser functional member 3 capable of erasing the writing marks written with ink by the position indicator 2 with a marker from the surface 12a of the transparent panel 12 and sending a deletion instruction of the corresponding writing data to the position detection sensor 13. Is attached.
  • FIG. 3 shows a configuration example of the position indicator 2 with a marker.
  • a signal is transmitted between the marker pen body 22 and the position detection sensor 13 in the case 21 including the front end side case 21a and the rear end side case 21b which are screwed together. It is configured by providing an interaction unit 23 that performs the interaction of the above.
  • the marker pen body 22 has a configuration in which the ink stored in the ink reservoir 22a is supplied to, for example, a pen tip member 22b made of felt, and is similar to a commercially available felt pen.
  • a cap 24 is attached to the pen tip member 22b.
  • the interaction unit 23 is composed of a resonance circuit composed of a coil 231 and capacitors 232 and 233. As shown in FIG. 3, the coil 231 is arranged in the vicinity of the pen tip member 22b of the marker pen body 22 of the tip side case 21a.
  • the capacitors 232 and 233 are arranged in the rear end side case 21b on the printed circuit board 230 provided on the rear end side of the ink reservoir 22a of the marker pen body 22.
  • the printed circuit board 230 is provided with a switch 234 so as to face the tail of the ink reservoir 22a of the marker pen body 22.
  • the switch 234 is turned on and off by the marker pen body 22 being displaced in the axial direction, and whether or not the capacitor 233 is connected to the resonance circuit is controlled.
  • the switch 234 When writing ink with the pen tip member 22b of the marker pen body 22, when the pressure applied to the pen tip member 22b of the marker pen body 22 is equal to or less than a predetermined value, the switch 234 is off and the condenser 233 is pressed. It is disconnected from the resonant circuit, and when a pressure exceeding the predetermined value is applied, the switch 234 is turned on and connected to the resonant circuit to change its resonant frequency.
  • the change of the resonance frequency by turning the switch 234 on and off is changed to the ink writing stored when the ink writing formed on the surface 12a of the transparent panel 12 by the marker pen body 22 is erased by the eraser functional member 3.
  • the corresponding written data can also be used to instruct whether or not to delete the data.
  • the switch 234 is off, the writing data corresponding to the ink writing formed by the marker pen body 22 is also erased, and pressure is applied to the pen tip portion 22b of the marker-attached position indicator 2. With the switch 234 turned on, it is possible to instruct the writing data corresponding to the ink writing formed by the marker pen body 22 to be left as a memory without being erased.
  • the eraser functional member 3 is for erasing the eraser portion 31 composed of a member for erasing the writing marks written in ink on the surface 12a of the transparent panel 12 by the position indicator 2 with a marker by friction, and the corresponding writing data. It includes an interaction unit 32 for interacting with the position detection sensor 13.
  • the eraser portion 31 is made of a well-known fiber material or the like.
  • the interaction unit 32 is configured by providing a resonance circuit including a coil and a capacitor in a holder that holds the eraser unit 31.
  • FIG. 4 is a diagram showing a configuration example of an electronic circuit formed on the control circuit board 14 described above, including a connection relationship with the position detection sensor 13 and the display device 11. Further, FIG. 4 also shows the relationship between the position detection sensor 13, the position indicator 2 with a marker, and the eraser functional member 3.
  • the interaction portion 22 of the position indicator 2 with a marker is configured as a resonance circuit RC1 in which the coil 231 and the capacitor 232 are connected in parallel and the capacitor 233 is further connected in parallel via the switch 234.
  • the resonance frequency of the resonance circuit RC1 differs depending on whether the switch 234 is off or on.
  • the interaction portion 32 of the eraser functional member 3 has a configuration of a resonance circuit RC2 in which a coil 321 and a capacitor 322 are connected in parallel.
  • the resonance frequency of the parallel resonance circuit RC2 is configured to be different from the resonance frequency of the resonance circuit RC1.
  • the resonance circuit RC1 of the position indicator 2 with a marker and the resonance circuit RC2 of the eraser functional member 3 exchange signals (interaction) with the position detection sensor 13 by electromagnetic induction coupling.
  • the control circuit board 14 has a position detection unit 15, a processing control unit 16, and in this example, a wireless communication unit for wireless communication with the server devices 9A, 9B, and 9C via the Internet 8. 171 and wireless communication unit 172 for wireless communication with mobile terminals 41 to 44, short-range wireless communication unit 181 for wireless communication with foodstuff inventory management device 60, and wireless communication with meal status detection device 7.
  • a short-range wireless communication unit 182 and a display control unit 19 are provided.
  • the short-range wireless communication units 181 and 182 perform Bluetooth (registered trademark) standard wireless communication.
  • the position detection unit 15 includes a selection circuit 151 connected to the position detection sensor 13 and a signal transmission / reception processing unit 152 connected to the selection circuit 151 and also connected to the processing control unit 16. ..
  • the position detection sensor 13 in this example is composed of a position detection coil in which an X-axis direction loop coil group 131 and a Y-axis direction loop coil group 132 are laminated. Then, each of the loop coils of the X-axis direction loop coil group 131 and the Y-axis direction loop coil group 132 is connected to the selection circuit 151.
  • the selection circuit 151 performs selection processing based on the control signal from the control unit included in the signal transmission / reception processing unit 152, sequentially selects one of the loop coils 131 and 132 of the two loop coil groups 131, and sequentially selects a position described later.
  • the resonance circuit of the indicator 2 and the eraser functional member 3 is made to transmit the signal from the signal transmission / reception processing unit 152, and the signal returned from the resonance circuit is received and supplied to the signal transmission / reception processing unit 152. ..
  • the marker is displayed from the position on the position detection sensor 13 in which the feedback signal received by electromagnetic coupling from the resonance circuit RC1 of the interaction unit 32 of the position indicator 2 with a marker is detected.
  • the position on the position detection sensor 13 whose position is indicated at the same time when ink is written by the attached position indicator 2 is detected, and the detection result is used as the writing input information (hereinafter referred to as writing data) by the marker attached position indicator 2. It is supplied to the processing control unit 16.
  • the eraser function member is displayed from the position on the position detection sensor 13 where the feedback signal received by electromagnetic coupling from the resonance circuit RC2 of the interaction unit 32 of the eraser function member 3 is detected.
  • the position on the position detection sensor 13 instructed to be erased by 3 is detected, and the detection result is supplied to the processing control unit 16 as the erase position input information by the eraser functional member 3.
  • the processing control unit 16 stores the written data acquired from the signal transmission / reception processing unit 152 in the memory and performs a process of displaying it on the display screen 11D of the display device 11. Further, when the processing control unit 16 acquires the erasure position input information from the signal transmission / reception processing unit 152, the processing control unit 16 performs a process of deleting the corresponding written data from the memory.
  • the processing control unit 16 has a function of communicating with an external mobile terminal based on the information from the signal transmission / reception processing unit 152 of the position detection unit 15. Further, in this embodiment, the processing control unit 16 has the external mobile terminals 41 to 44, the food material inventory management device 60, and the meal status detection device 7 regardless of the information from the signal transmission / reception processing unit 152 of the position detection unit 15. And by communicating with the server devices 9A, 9B, 9C via the Internet 8, various functional processes as described later can be performed. Then, the processing control unit 16 is configured to perform the display control on the display screen 11D at the time of this communication through the display control unit 19.
  • the other party to communicate with is limited to a preset person. Then, in the information processing device 1 of this embodiment, different partial display areas are set on the display screen 11D for each communication partner set in advance, and communication management associated with each partial display area is set. It is configured to do.
  • the information processing device 1 of this embodiment is installed in, for example, a living room of a house in which a family consisting of a plurality of people living together, such as a father, mother, sister, and Taro, lives, and goes out with a person who is at home. It can be used by people.
  • the information processing device 1 of this embodiment is capable of communicating with a mobile terminal carried by each person when going out.
  • a mobile terminal for example, a high-performance mobile phone terminal called a smartphone is used.
  • a person at home can use the information processing device 1 of this embodiment as a communication terminal. In this example, the communication will be described as the case of e-mail communication.
  • five partial display areas AR1, AR2, AR3, AR4, AR5 are set in the display area of the display screen 11D of the display device 11 as shown in FIG. There is.
  • These partial display areas AR1 to AR5 may be set in advance in the information processing device 1, or may be arbitrarily set by the user.
  • the partial display areas AR1 to AR5 composed of rectangular areas can be set by designating the positions of the upper left corner and the lower right corner of each partial display area.
  • the display area of the display screen 11D and the position detection area of the position detection sensor 13 are superimposed, and the display position in the display area and the position in the detection area correspond to each other. If the position of one area is known, the position of the corresponding other area can be known. Therefore, when the partial display area is set, the partial input area corresponding to the partial display area is automatically calculated and set in the detection area of the position detection sensor 13.
  • the partial display area corresponding to the partial input area can be set by accepting the setting of the partial input area in the detection area of the position detection sensor 13.
  • the number of partial display areas may be one, and the number is not limited to the number shown in the example shown in the figure, and may be any number.
  • the size of the partial display area can be arbitrarily set, and when a plurality of partial display areas are set, the size may be different, of course.
  • the shape of the area set as the partial display area is not limited to the rectangle as in the example of the figure, and may be a circular shape or another polygonal shape.
  • the communication address information of the mobile terminals 41 to 44 is set in association with each partial display area.
  • the method of setting the e-mail address information may be, for example, written input by the position indicator 2 with a marker, or, for example, from each of the mobile terminals 41 to 44 with the partial display area to be set selected.
  • Various methods are possible, such as a method of transmitting an e-mail to the information processing device 1 and setting the e-mail of the transmission source in association with the e-mail.
  • the names of the partial display areas AR1 to AR5 are set by, for example, written input by the position indicator 2 with a marker. Further, in this embodiment, the partial display areas AR1 to AR5 are not simply used for sending and receiving e-mails of only a specific person (for personal use), but are used for another special purpose. Is also set for its special purpose. This special use can be selected from a list of uses available in the information processing apparatus 1 displayed in advance. In this example, the partial display area AR5 is set to have a common use.
  • the common use is an area commonly used by all users of mobile terminals set and registered for personal use, and as will be described later, a position indicator with a marker in the common use area.
  • the written information is transmitted to all the mobile terminals set and registered for personal use.
  • the processing control unit 16 stores the corresponding information in the corresponding table memory 16TM built in this example. ..
  • FIG. 5 shows an example of table information TBL which is the storage content of the corresponding table memory 16TM.
  • the area name in the table information TBL of the corresponding table memory 16TM is displayed in each of the partial display areas AR1 to AR5 as shown in FIG.
  • the area name of the partial display area AR5 is given a name of "common" which is a special purpose.
  • the two values of the partial display area (for example, (Ds1, Ds2)) indicate a pair of the display pixel position in the left corner of the partial display area and the display pixel position in the right corner in the display area, respectively.
  • the two values of the partial input area (for example, (Ps1, Ps2)) indicate a pair of the position of the left corner and the position of the right corner of the partial input area in the detection area of the position detection sensor 13, respectively.
  • the e-mail address is the e-mail address of the mobile terminal associated with each of the partial display areas AR1 to AR5. That is, as shown in FIG. 1, the e-mail address of the mobile terminal 41 carried by the father is for the partial display area AR1, and the e-mail of the mobile terminal 42 carried by the mother is for the partial display area AR2. The e-mail address of the mobile terminal 43 carried by the older sister is set and registered for the partial display area AR3, and the e-mail address of the mobile terminal 44 carried by Taro is set and registered for the partial display area AR4. Be remembered. Further, in the partial display area AR5 for common use, the e-mail addresses of the mobile terminals 41 to 44 carried by the father, mother, sister and Taro are set and registered and stored.
  • identification information (ID (Identification)) is assigned to each partial display area AR1 to AR5.
  • the application program for e-mail communication with the information processing device 1 of this embodiment is pre-installed in each of the personal mobile terminals 41 to 44.
  • this residual display area ARw is an arbitrary writing input area.
  • a drawing tablet device for short-range wireless communication connection with the information processing device 1, a handwriting input device with a position detection sensor, and the like are provided, and the drawing tablet device and the handwriting input device with a position detection sensor can be used.
  • the sent drawing data may be configured to be displayed in the residual display area ARw.
  • an information storage memory 16DM is further connected to the processing control unit 16.
  • the information storage memory 16DM is divided into storage areas and includes a plurality of partial display areas AR1 to AR5 and a plurality of storage areas M1 to M6 associated with the residual display area ARw, and will be described later.
  • Other storage areas M7 to M9 for storing various information are provided.
  • the storage areas M1 to M6 the information displayed in the corresponding partial display areas AR1 to AR5 and the corresponding partial input area and the residual display area ARw are input by the position indicator 2 with a marker.
  • the written data is stored, and the stored information is managed separately for each storage area.
  • the display information of the partial display areas AR1 to AR5 and the written data of the corresponding partial input area are stored so as to be managed separately, and the residual display is displayed.
  • the display information of the area ARw and the corresponding written data are stored so as to be managed separately.
  • the processing control unit 16 is connected to the display device 11 via the display control unit 19, and displays according to the storage information of the storage areas M1 to M6 of the information storage memory 16DM. Display control is performed in each partial display area AR1 to AR5 and the residual display area ARw of the display screen 11D of the device 11.
  • the bold characters in the partial display areas AR4 and AR5 indicate those written in ink by the position indicator 2 with a marker, and the written data is stored in the information storage memory 16DM.
  • the time of writing input only ink is written on the surface 12a of the transparent panel 12, and it is not displayed as display information on the display screen of the display device 11.
  • the processing control unit 16 receives information received from the mobile terminals 41 to 44 through the wireless communication unit 171 or 172 in storage areas M1 to M4 corresponding to the partial display areas AR1 to AR4 associated with the respective mobile terminals 41 to 44. Store in. Then, the processing control unit 16 generates display information of the received information, and displays the generated information in the partial display areas AR1 to AR4 corresponding to the respective mobile terminals 41 to 44. In addition, when the received information is displayed on the display screen 11D of the display unit 11 in the partial display areas AR1 to AR4, the ink writing on the surface 12a of the transparent panel 12 by the position indicator 2 with a marker is superimposed. If the displayed information is difficult to see, the eraser functional member 3 can erase the ink writing to make it easier to see.
  • the processing control unit 16 receives the writing data based on the indicated position input from the signal transmission / reception processing unit 152 by the position indicator 2 with a marker detected by the position detection unit 15, the writing data is detected by the position detection sensor 13. It is determined in which area in the area the input information is. Then, the processing control unit 16 stores the received written data in the storage area of the information storage memory 16DM corresponding to the determined area, and the determined area corresponds to any of the partial display areas AR1 to AR4. When it is determined that the data is, the received written data is transmitted to the mobile terminal set corresponding to the partial display area of the determination result.
  • the written writing received on all of the mobile terminals 41 to 44 set corresponding to the partial display areas AR1 to AR4. Make sure to send the data.
  • the written data of the written input to the residual display area ARw is not transmitted to the mobile terminals 41 to 44 at the time of writing.
  • the writing data is input to the writing data. It is possible to request (transfer request) to send (transfer) not only to the mobile terminal set corresponding to the partial display area where the information is processed, but also to the mobile terminal set corresponding to the other partial display area. It is configured as follows.
  • the processing control unit 16 When the processing control unit 16 detects that a transfer request instruction has been made based on the information from the signal transmission / reception processing unit 152, the processing control unit 16 transfers the received written data to the mobile terminal specified by the transfer request. It also has a function to perform processing.
  • the information processing device 1 of this embodiment includes a schedule recognition unit 161, a health state grasping unit 162, a foodstuff grasping unit 163, a preference information storage unit 164, and a recipe proposal unit 165. It is equipped with various functional processing units. Each of these can be configured as an application program.
  • the schedule recognition unit 161 recognizes the schedule of each carrier of the mobile terminals 41 to 44 from the received information of the e-mails sent from each of the mobile terminals 41 to 44.
  • the e-mail information sent is a specific pattern of information that can be easily extracted from information about a predetermined schedule such as information on the time to return home and information on the necessity of meals. It is configured to be sent as. Therefore, the schedule recognition unit 161 can recognize the schedule of each of the mobile terminals 41 to 44 from the extracted information on those schedules.
  • the schedule recognition unit 161 associates the recognized schedule information with the identification information of each mobile phone (hereinafter referred to as the registration target person) of the mobile terminals 41 to 44 and the date and time information, for example, in the information storage memory 16DM. It is held in the storage area M7.
  • the schedule recognition unit 161 needs to provide the food from the schedule information of each registration target person stored in the storage area M7 from the mobile terminals 41 to 44. Recognize how many people and when the food should be served, and pass the recognition result to the recipe proposal unit 165, which will be described later. Therefore, the schedule recognition unit 161 to the recipe proposal unit 165 are provided with information on how many dishes need to be prepared and the time until the dishes are served (time required to prepare the dishes). It will be.
  • the health condition grasping unit 162 grasps the health condition of each registration target person from the biometric information of each registration target person sent from each of the mobile terminals 41 to 44.
  • the information processing device 1 can be configured to grasp the health state of each registered person by providing an analysis unit for biological information, but the configuration of the information processing device 1 becomes complicated and the processing load becomes heavy. Since it becomes heavy, in this embodiment, an external health condition grasping server device is used.
  • the health condition grasping unit 162 stores the URL (Uniform Resource Locator) of the server device 9A, which is the health condition grasping server device, and uses the URL through the wireless communication unit 171 and the Internet 8.
  • the server device 9A is accessed, and for example, the biometric information of each registration target person of the mobile terminals 41 to 44 accumulated from the latest to a predetermined time ago is sent to the server device 9A to request the acquisition of the health condition information.
  • the server device 9A generates information on the health condition of each registration target person from the biometric information of each registration target person, and sends the generated health condition information to the information processing device 1.
  • the server device 9A prepares a database regarding the correspondence between the biological information and the health state, and the server device 9A refers to the health state of each registered person by using the biological information in this database. Generate information about.
  • the health status grasping unit 162 receives the health status information of each registration target person from the server device 9A, and stores each registration target person in, for example, the storage area M8 of the information storage memory 16DM.
  • the health condition grasping unit 162 also requests and acquires the above-mentioned health condition information to the server device 9A when a recipe proposal request is generated. It should be noted that the request and acquisition process of the above-mentioned health condition information to the server device 9A may be performed at an appropriate timing before the occurrence of the recipe proposal request. Then, the health condition grasping unit 162 passes the information on the health condition of each registration target person to the recipe proposal unit 165 in response to a request from the recipe proposal unit 165.
  • the foodstuff grasping unit 163 grasps the stocked foodstuffs that can be used for cooking from the information of the stocked foodstuffs sent from the foodstuff inventory management device 60 through the short-range wireless communication unit 181.
  • the foodstuff grasping unit 163 also determines from the contents of the stocked foodstuffs grasped whether or not the foodstuff specified to be ordered should be ordered if it is out of stock in advance, and if it is out of stock, The process of ordering the ingredients is also performed through the Internet 8.
  • the ingredients also include other ingredients used in cooking such as seasonings and spices.
  • the foodstuff grasping unit 163 passes the information on the stocked foodstuffs it has grasped to the recipe proposal department 165 in response to a request from the recipe proposal unit 165.
  • the preference information storage unit 164 acquires the preference information of each registration target person from the meal status information sent from the meal status detection device 7, and in this example, each registration is performed in the storage area M9 of the information storage memory 16DM. It is stored in association with the target person.
  • the meal status information sent from the meal status detection device 7 includes chopsticks, knives, forks, spoons, and dishes during meals of the registered person who is provided with dishes.
  • Information on the movement of tableware such as plates that are being served, for example, information on the scene on the table where the food is served, taken with a camera from the sky above the table, and information on the registered person who is receiving the food.
  • the camera-photographed information includes an image of the food served in the bowl and a video image information of the meal situation including the movement of the registered person during the meal.
  • the information processing device 1 can be configured to grasp the preferences of the registration target person by providing a functional unit for grasping the preference information of the registration target person from the information on the meal status.
  • an external preference information grasping server device is used because the processing load becomes heavy as well as the complexity.
  • the preference information storage unit 164 stores the URL of the server device 9B, which is the preference information grasping server device, and uses the URL to access the server device 9B through the wireless communication unit 171 and the Internet 8. Then, the meal status information from the meal status detection device 7 is sent to the server device 9B to request the acquisition of preference information.
  • the server device 9B generates the preference information of the person to be registered from the meal status information, and sends the generated preference information to the information processing device 1.
  • the server device 9B analyzes the movement information during meals for each registered person from the movement of the tableware included in the meal status information, and also from the image information taken by the camera, the provided dishes and the dishes for each dish. Analyze the movements and responses of each registered person.
  • the server device 9B is prepared with a database regarding the information on the analysis results and the correspondence between the biological information of each registration target person and the preference information.
  • the server device 9B uses this database to generate preference information of each registration target person and transmits it to the information processing device 1.
  • the preference information storage unit 164 acquires the preference information of each registration target person sent from the server device 9B, and in this example, stores the preference information in the storage area M9 of the information storage memory 16DM in association with each registration target person. To do.
  • the preference information storage unit 164 passes the accumulated preference information of each registration target person to the recipe proposal unit 165 in response to a request from the recipe proposal unit 165.
  • the recipe proposal unit 165 proposes a recipe because the recipe request button (not shown) displayed in the residual display area of the display screen of the information processing device 1 is instructed by the position indicator 2 with a marker. Determine that a request has occurred. If the time for breakfast, lunch, and dinner is set in advance, the recipe proposal unit 165 automatically generates a recipe proposal request before a predetermined time, for example, one hour before each meal time. You may. Further, the recipe proposal unit 165 acquires the schedule information from the schedule recognition unit 161 in advance, determines the meal times for breakfast, lunch, and dinner from the schedule information, and decides the meal times for breakfast, lunch, and dinner, respectively, before the meal times, for example, 1. The recipe proposal request may be automatically generated before the time.
  • the recipe proposal unit 165 requests information acquisition from each of the schedule recognition unit 161, the health condition grasping unit 162, the foodstuff grasping unit 163, and the preference information storage unit 164, and each is to be registered. Acquires schedule information, health condition information, preference information, and information on in-stock ingredients.
  • the recipe proposal unit 165 proposes recipe information for a plurality of dishes in this example from the acquired information.
  • the information processing device 1 can be configured to include a functional unit that proposes a cooking recipe from the schedule information, health condition information, preference information, and stock ingredient information of each registered person. Since the configuration of the processing device 1 becomes complicated and the processing load becomes heavy, in this embodiment, an external recipe proposal server device is used.
  • the recipe proposal unit 165 stores the URL of the server device 9C, which is the recipe proposal server device, and uses the URL to access the server device 9C through the wireless communication unit 171 and the Internet 8.
  • Information on the health condition, preference information, stock ingredients, and meal provision time of the registered person who receives the food is sent to the server device 9C to request the acquisition of recipe information.
  • the recipe proposal unit 165 certifies the registered person who receives the food provided from the schedule information, and also determines the meal serving time.
  • the schedule information, health condition information, preference information, and stock food information of all the registered persons are sent to the server device 9C, and the server device 9C certifies the registered persons who receive the food.
  • the meal serving time may be determined.
  • the server device 9C generates recipe information for a plurality of dishes from the information received from the information processing device 1, and sends the generated recipe information for the dishes to the information processing device 1.
  • the server device 9C stores information such as health condition information, preference information, stock food information, meal serving time, etc. of the registered person who receives the food provided in association with the cooking recipe information. It has a database. Then, the server device 9C selects and generates a plurality of proposed recipe information using this database, and transmits the proposed recipe information to the information processing device 1.
  • the recipe proposal unit 165 acquires a plurality of recipe information sent from the server device 9C, displays it in the residual display area ARw of the display screen 11D in this example, and presents it to the user of the information processing device 1. ..
  • the mobile terminals 41 to 44 are composed of high-performance mobile phone terminals called general smartphones.
  • the application programs for communicating with the information processing device 1 as described above are pre-installed in each of the mobile terminals 41 to 44.
  • the hardware configurations of the mobile terminals 41 to 44 are almost the same, and have the configurations shown in FIG. In the following description, for convenience of explanation, the case of the configuration example of the mobile terminal 41 will be described.
  • the mobile terminal 41 has a wireless communication unit 402, a mobile phone function unit 403, a display control unit 404, a touch panel interface 405, and a memory 406 for the control unit 401 composed of a computer via the system bus 400.
  • the clock unit 407, the short-range wireless communication unit 408, and the communication control processing unit 409 are connected to each other.
  • a display unit 410 made of, for example, an LCD (Liquid Crystal Display) is connected to the display control unit 404.
  • a touch panel 411 is connected to the touch panel interface 405. The touch panel 411 is provided at the lower part of the display screen of the display unit 410.
  • the wireless communication unit 402 is for performing wireless communication with another communication terminal such as the information processing device 1, and the mobile phone function unit 403 enables telephone communication similar to that of a general mobile phone.
  • the memory 406 stores information input through the touch panel 411 and the like, and also stores received information.
  • the clock unit 407 provides information on the date and time.
  • the short-range wireless communication unit 408 performs wireless communication of the Bluetooth (registered trademark) standard, and the wearable terminal 51 (mobile terminals 42 to 44) worn by the registration target carrying the mobile terminal 41. The purpose is to wirelessly connect and communicate with the wearable terminals 52 to 54).
  • the communication control processing unit 409 shows a portion executed by the application program for performing wireless communication as described above with the information processing device 1 as a functional block.
  • the communication control processing unit 409 stores the e-mail address of the information processing device 1 as the destination address of the e-mail, and the communication control processing unit 409 stores the communication with the information processing device 1 described above. Execute processing control for.
  • the communication control processing unit 409 performs processing for sending an e-mail to the information processing device 1 by the user, and requests the information processing device 1 to display the display information displayed on the display screen 11D. Processing, and further, reception processing of information sent from the information processing device 1 is performed.
  • the wearable terminals 51 to 54 are configured as a wristwatch of a type worn by a person (smart watch).
  • the wearable terminals 51 to 54 have the same configuration and have the configuration shown in FIG. 7. In the following description, for convenience of explanation, the case of the wearable terminal 51 will be described.
  • the wearable terminal 51 has a short-range wireless communication unit 422, a display control unit 423, a GPS (Global Positioning System) function unit 424, and a control unit 421 composed of a computer.
  • a short-range wireless communication unit 422 a display control unit 423
  • a GPS (Global Positioning System) function unit 424 a control unit 421 composed of a computer.
  • Each of the sensor interface 425, the transmission information generation unit 426, and the clock unit 427 is connected and configured.
  • a display unit 428 made of, for example, an LCD is connected to the display control unit 423.
  • the short-range wireless communication unit 422 is for wireless communication with the short-range wireless communication unit 408 of the mobile terminal 41.
  • the GPS function unit 424 is for detecting the current position of the registration target person who is wearing the wearable terminal 41.
  • the heart rate sensor 429, the body temperature sensor 430, and the motion sensor 431 are connected to the sensor interface 425.
  • the heart rate sensor 429, the body temperature sensor 430, and the motion sensor 431 detect the heart rate, body temperature, and body movement of the registered person wearing the wearable terminal 51.
  • a sensor for acquiring other biological information may be connected to the sensor interface 425 as needed.
  • the transmission information generation unit 426 acquired the biometric information from the heart rate sensor 429, the body temperature sensor 430, and the motion sensor 431, the position information from the GPS function unit 424, and the biometric information from the clock unit 427 through the sensor interface 425. From the date and time information, transmission information about the registration target person wearing the wearable terminal 51 is generated.
  • the control unit 421 transmits the transmission information generated by the transmission information generation unit 426 to the mobile terminal 41 in response to the request for acquisition of biometric information from the mobile terminal 41.
  • FIG. 8 is a block diagram showing a configuration example of the food material inventory management device 60 provided in the refrigerator 6.
  • the foodstuff inventory management device 60 has a short-range wireless communication unit 602, a display control unit 603, a touch panel interface 604, and a barcode reading unit for a control unit 601 configured by a computer via a system bus 600.
  • Each of 605, a warehousing foodstuff detection unit 606, a warehousing foodstuff detection unit 607, a foodstuff management storage unit 608, and a transmission information generation unit 609 is connected and configured.
  • a display unit 610 made of, for example, an LCD is connected to the display control unit 603, and a touch panel 611 is connected to the touch panel interface 604.
  • the touch panel 611 is provided on the back side of the display screen 610D (see FIG. 1) of the display unit 610 so as to overlap the display screen 610D.
  • the short-range wireless communication unit 602 is for wireless communication with the short-range wireless communication unit 181 of the information processing device 1.
  • the bar code reading unit 605 reads the bar code given to the food material when the food material is stored in or out of the refrigerator 6.
  • the warehousing button and the warehousing button are displayed as icon buttons on the display screen of the display unit 610, and the user of the refrigerator 6 presses the warehousing button when warehousing and the warehousing button when warehousing. Operate each.
  • the warehousing foodstuff detection unit 606 detects what the warehousing foodstuff is by the barcode sent from the barcode reading unit 605, and the foodstuff information of the detection result (for example, the foodstuff foodstuff). (Name information) is sent to the food management storage unit 608.
  • the delivery foodstuff detection unit 607 detects what the foodstuffs have been received by the barcode sent from the barcode reading unit 605 when the delivery button is pressed, and obtains the foodstuff information of the detection result. It is sent to the food management storage unit 608.
  • the food material management storage unit 608 When the food material management storage unit 608 receives the food material information of the detection result from the warehousing food material detection unit 606, it stores the food material information, and when it receives the food material information of the detection result from the delivery food material detection unit 607, the food material information. From memory. As a result, the foodstuffs (inventory foodstuffs) stored in the refrigerator 6 are stored in the foodstuff management storage unit 608.
  • a list of in-stock ingredients stored in the foodstuff management storage unit 608 is displayed on the display screen of the display unit 610, and at the time of delivery, the user gives an instruction of the ingredients to be delivered from the list of in-stock ingredients through the touch panel 611. You may do it. In that case, when the delivery foodstuff detection unit 607 detects the instruction of the delivery foodstuff through the touch panel 611, the detection result is supplied to the foodstuff management storage unit 608, so that the foodstuff management storage unit 608 is instructed through the touch panel 611. Delete the ingredients from the stock.
  • the user can input the foodstuff name through the touch panel 611, and the warehousing foodstuff detection unit 606 stores the input foodstuff name. Since the food is passed to the food management storage unit 608 as the detection result of the food, the food management storage unit 608 also stores the food input through the touch panel 611.
  • the transmission information generation unit 609 When the transmission information generation unit 609 receives a request from the information processing device 1 to acquire information on the stocked foodstuffs through the short-range wireless communication unit 602, the transmission information generation unit 609 reads out the stocked foodstuff information stored in the foodstuff management storage unit 608, and near It is transmitted to the information processing device 1 through the range radio communication unit 602.
  • the meal condition detection device 7 is arranged so as to photograph the position detection sensor 7S provided on the surface of the table 7T on which the dishes are placed and the surface of the table 7T from above. It includes a camera 7CM and a tableware group 7DS having an interaction unit that interacts with the position detection sensor 7S.
  • the wearable terminals 51 to 54 worn by the person to be registered are also considered to be a part of the meal status detection device 7.
  • the camera 7CM is attached to the entire surface of the table 7T and a position where the registered person arriving at the table 7T can be photographed, for example, the ceiling above the table 7T, and is a communication unit provided in the meal status detection device 7. It has a function to communicate wirelessly with.
  • the position detection sensor 7S in this example is of the electromagnetic induction type, like the position detection sensor 13 of the information processing device 1 described above.
  • the tableware group 7DS is composed of chopsticks 71, a fork 72, a spoon 73, and a plate 74, each of which includes a coil and a capacitor as an interaction unit for electromagnetic induction coupling by the position detection sensor 7S.
  • Resonance circuits 71RC, 72RC, 73RC, 74RC composed of the above are mounted.
  • FIG. 9 shows a configuration example of the meal status detection device 7.
  • the position detection sensor 7S has the same configuration as that shown in FIG. 1 and is connected to the signal transmission / reception processing unit 701 to form the position detection unit. Then, the signal transmission / reception processing unit 701 is connected to the processing control unit 702.
  • the signal transmission / reception processing unit 701 transmits a signal of a predetermined frequency through the position detection sensor 7S, and from the resonance circuits 71RC to 74RC of the tableware 71 to 74 of the tableware group 7DS.
  • the position on the position detection sensor 7S of each tableware 71 to 74 of the tableware group 7DS that is, the position on the surface of the table 7T is detected, and each tableware 71 of the tableware group 7DS. Detects movements of ⁇ 74.
  • the resonance frequencies of the resonance circuits 71RC to 74RC of the tableware 71 to 74 of the tableware group 7DS are configured to be different from each other. Therefore, the signal transmission / reception processing unit 701 can individually detect the positions of the tableware 71 to 74.
  • the seating position is the same for the table 7T, and the position of the tableware group 7DS for each registered person on the table 7T and its movement range are set. It is decided for each registration target person. For example, the father is seated in the upper seat of the table 7T, the mother is seated next to it, and the sister and Taro are seated on the side facing the father.
  • the detection area of the position detection sensor 7S can be divided into an area of a predetermined range corresponding to the seating position of each registration target person. Therefore, even if the same tableware group 7DS is used by each registration target person, the position and movement of the tableware group 7DS in each predetermined range area correspond to the behavior of the corresponding registration target person during meals. It can be detected as something to do. By referring to the movement of the tableware group 7DS and the shooting information of the camera 7CM, it is possible to determine the preference of each registered person.
  • the signal transmission / reception processing unit 701 detects the behavior during meals of each registered person as information on the position and movement of each tableware group 7DS. Then, the signal transmission / reception processing unit 701 processes the information on the position and movement of each tableware group 7DS according to the behavior during meals of each detected registration target person in association with the identification information of each registration target person. It is supplied to the control unit 702.
  • the processing control unit 702 is configured to include a computer.
  • the processing control unit 702 is used for short-range wireless communication for wireless communication with the short-range wireless communication unit 181 of the information processing device 1.
  • Unit 703, short-range wireless communication unit 704 for wireless communication with the wireless communication unit of the camera 7CM, and short-range wireless communication unit 705 for wireless communication with wearable terminals 51 to 54 worn by the registered person. Is connected.
  • the short-range wireless communication units 703, 704, and 705 are configured to perform Bluetooth (registered trademark) standard wireless communication in this example.
  • the processing control unit 702 also acquires shooting information during meals from the camera 7CM through the short-range wireless communication unit 704. Further, the processing control unit 702 acquires biological information in the meal of each registered person through the short-range wireless communication unit 705.
  • the biometric information of each registration target person is individually acquired by requesting acquisition from the wearable terminals 51 to 54 of each registration target person in a time-division manner.
  • the processing control unit 702 obtains information on the position and movement of each tableware group 7DS according to the behavior of each registered subject during the meal acquired during the meal as described above, and the living body of each registered subject.
  • the information is associated with the identification information of the person to be registered, and is transmitted to the information processing device 1 through the short-range wireless communication unit 703 as meal status information together with the shooting information of the camera 7CM.
  • the processing control unit 16 detects whether or not the writing input by the position instruction input to the position detection sensor 13 by the position indicator 2 with the marker is detected (step S101). When it is determined in step S101 that the written input has been detected, the processing control unit 16 detects which area of the detection areas of the position detection sensor 13 has detected the written input (step S102). ).
  • the processing control unit 16 refers to the table information TBL shown in FIG. 5, and the detected area is a partial input area (common area) corresponding to the partial display area AR5 in which the “common use” is set.
  • the writing data by the detected writing input is stored together with the information on whether or not the writing can be erased according to the resonance frequency of the detected writing input (step S104).
  • the processing control unit 16 determines whether or not the erase input by the eraser functional member 3 has been detected (step S105), and when it determines that the erase input has been detected, the writing corresponding to the portion instructed by the erase input.
  • the data is deleted (step S106).
  • the writing data corresponding to the portion instructed by the erasing input is deleted regardless of the information on whether or not the writing data can be erased.
  • whether or not to erase the writing data together is determined based on the information on whether or not the writing data can be erased. It is a judgment.
  • step S105 When it is determined in step S105 that the erase input is not detected, and after the writing data corresponding to the portion instructed by the erase input is deleted in step S106, the processing control unit 16 writes with the marker-attached position indicator 2. It is determined whether or not the input is completed (step S107), and when it is determined that the input is not completed, the process is returned to step S104.
  • the determination as to whether or not the written input in step S107 is completed may be a clear instruction input of the written input by the user of the position indicator 2 with a marker, or in the area detected in step S102. It may be determined that the written input is completed because the written input is not detected for a predetermined time or longer.
  • step S108 determines whether or not it is in the "all area mode" (step S108).
  • step S108 determines whether or not it is in the "all area mode" (step S108).
  • step S108 determines whether or not it is in the "all area mode" (step S108).
  • step S108 determines whether or not it is in the "all area mode" (step S108).
  • step S108 determines whether or not it is in the "all area mode"
  • step S109 displays the writing data for the partial input area corresponding to the common purpose partial display area AR5 in which the writing input is detected. Data is transmitted to all mobile terminals set corresponding to the partial display area AR5, for example, mobile terminals 41 to 44 (step S109). Then, the processing control unit 16 returns the processing to step S101.
  • step S108 when it is determined in step S108 that the mode is "all area mode", the processing control unit 16 displays the writing data for the partial input area corresponding to the partial display area AR5 for common use in which the writing input is detected. Not only the data but also the display data displayed in the display area of the display screen 11D is applied to all mobile terminals set corresponding to the partial display area AR5 for common use, for example, mobile terminals 41 to 44. Transmit (step S110). Then, the processing control unit 16 returns the processing to step S101.
  • step S103 when it is determined in step S103 that the written input is not detected in the partial input area corresponding to the partial display area AR5 in which "common use" is set, the processing control unit 16 shows in FIG. With reference to the table information TBL, it is determined whether or not the written input is detected in the partial input area (personal use area) corresponding to any of the personal use partial display areas AR1 to AR4 (personal use area). Step S121 in FIG. 11).
  • the partial display areas for personal use may include the partial display areas AR6 and AR7 for watching.
  • step S121 When it is determined in step S121 that the written input is detected in the partial input area corresponding to any of the partial display areas AR1 to AR4 for personal use, the processing control unit 16 determines that the information storage memory 16DM , The detected writing data is stored in the storage area corresponding to the detected partial input area together with the information on whether or not the writing data can be erased according to the resonance frequency of the detected writing input (step S122). Then, the processing control unit 16 determines whether or not the erase input by the eraser functional member 3 is detected (step S123), and when it is determined that the erase input is detected, the writing data corresponding to the portion instructed by the erase input. Is erased (step S124). Here, since it is before the end of the pen writing input, the writing data corresponding to the portion instructed by the erasing input is deleted regardless of the information on whether or not the writing data can be erased.
  • step S123 When it is determined in step S123 that the erase input is not detected, and after the writing data corresponding to the portion instructed by the erase input is erased in step S124, the processing control unit 16 writes with the marker-attached position indicator 2. It is determined whether or not the input is completed (step S125), and when it is determined that the input is not completed, the process is returned to step S122.
  • step S125 When it is determined in step S125 that the writing input by the marker-attached position indicator 2 is completed, the processing control unit 16 determines whether or not it is in the "all area mode" (step S126). When it is determined in step S126 that the "all area mode" is not set, the processing control unit 16 displays the writing data for the partial input area corresponding to the partial display area for personal use in which the writing input is detected. The data is transmitted to the mobile terminal set corresponding to the partial display area for personal use (step S127). Then, the processing control unit 16 returns the processing to step S101 of FIG.
  • step S126 when it is determined in step S126 that the mode is "all area mode", the processing control unit 16 displays the writing data for the partial input area corresponding to the partial display area for personal use in which the writing input is detected. Not only the data but also the display data displayed in the display area of the display screen 11D is transmitted to the mobile terminal set corresponding to the partial display area for personal use (step S128). Then, the processing control unit 16 returns the processing to step S101 of FIG.
  • step S141 of FIG. 12 the processing control unit 16 determines whether or not an incoming e-mail has been detected.
  • the processing control unit 16 refers to the table information TBL shown in FIG. 5 based on the e-mail address information of the sender, and receives the incoming e-mail. It is confirmed that it is one of the registered mobile terminals 41 to 44, 45K, and 56K, and if it is confirmed, the e-mail is automatically opened (step S142).
  • the processing control unit 16 stores the received data in the storage area of the information storage memory 16DM, which corresponds to the partial display area corresponding to the other party's mobile terminal confirmed in step S142 (step S143).
  • the processing control unit 16 displays the display data based on the received data in the partial display area corresponding to the other party's mobile terminal confirmed in step S142 (step S144).
  • the processing control unit 16 determines whether or not the received e-mail has a forwarding destination specified (step S145). When it is determined that the transfer destination is not specified, the processing control unit 16 performs a communication termination process (step S147), and then returns the process to step S101 of FIG. Further, when it is determined that the transfer destination is specified, the received data is transmitted to the designated mobile terminal among the mobile terminals set corresponding to the partial display areas AR1 to AR5 (step S146).
  • the designation of the transfer destination is "common", it means the designation that the transfer destination is a plurality of mobile terminals corresponding to the partial display area AR5, and other than the mobile terminals that have sent the received data. Send the received data to the mobile terminal. Then, the processing control unit 16 performs the communication termination process (step S147), and then returns the process to step S101 of FIG.
  • step S141 When it is determined in step S141 that the incoming call from the mobile terminal has not been detected, the processing control unit 16 determines whether or not the information on the inventoryed foodstuffs from the foodstuff inventory management device 60 of the refrigerator 6 has been received (FIG. Step S151 of 13. When it is determined in step S151 that the information on the inventoryed foodstuffs from the foodstuff inventory management device 60 has been received, the memory of the information on the stocked foodstuffs in the refrigerator 6 is updated using the received information (step S152).
  • step S153 determines, with respect to the updated information on the in-stock ingredients, whether or not there is a shortage of the ingredients that is predetermined as essential (step S153).
  • step S153 determines, with respect to the updated information on the in-stock ingredients, whether or not there is a shortage of the ingredients that is predetermined as essential.
  • step S153 determines, with respect to the updated information on the in-stock ingredients, whether or not there is a shortage of the ingredients that is predetermined as essential.
  • step S153 determines, with respect to the updated information on the in-stock ingredients, whether or not there is a shortage of the ingredients that is predetermined as essential.
  • step S154 determines, with respect to the updated information on the in-stock ingredients, whether or not there is a shortage of the ingredients that is predetermined as essential.
  • step S151 when it is determined in step S151 that the information on the in-stock foodstuff from the foodstuff inventory management device 60 has not been received, the processing control unit 16 has received the meal status information from the meal status detection device 7. Discrimination (step S155). When it is determined in step S155 that the meal status information from the meal status detection device 7 has been received, the received meal status information from the meal status detection device 7 is captured by the camera 7CM and the meal of each registered person. It is divided into status information (including biological information) and stored and stored in association with the acquired date and time information (step S156). After that, the processing control unit 16 returns the processing to step S101 of FIG.
  • step S155 when it is determined in step S155 that the meal status information from the meal status detection device 7 has not been received, the processing control unit 16 determines whether or not it is necessary to update the preference information of the registered person. (Step S161 in FIG. 14). In this example, the determination process of step S161 is performed depending on whether or not new meal status information has been received from the meal status detection device 7.
  • the processing control unit 16 When it is determined in step S161 that it is necessary to update the preference information of the registration target person, the processing control unit 16 includes information on the meal status (including biological information) of each registration target person and shooting information of the camera 7CM. Is transmitted to the server device 9B, which is a preference information grasping server device, through the wireless communication unit 171 and the Internet 8 to request the acquisition of preference information (step S162).
  • the server device 9B sends the preference information of each registration target person, so that the processing control unit 16 receives the preference information of each registration target person and receives the preference information of each registration target person. It is stored in the storage area M9 of the information storage memory 16DM (step S163). After that, the process control unit 16 returns the process to step S101.
  • step S161 When it is determined in step S161 that it is not necessary to update the preference information of the person to be registered, the processing control unit 16 determines whether or not a recipe proposal request has occurred (step S164), and the recipe proposal request is generated. When it is determined that the process has not been performed, the process returns to step S101 in FIG.
  • step S164 when it is determined in step S164 that the recipe proposal request has occurred, the processing control unit 16 uses the health status grasping server device to store the biometric information of each registration target person stored in the storage area M8 of the information storage memory 16DM. It is sent to a certain server device 9A to request the acquisition of health condition information (step S165).
  • the server device 9A sends information on the health status of each registration target person, so that the processing control unit 16 determines the health status of each registration target person.
  • the information is received and stored in the storage area M8 of the information storage memory 16DM (step S166).
  • the processing control unit 16 should provide the food to the registration target person who needs to serve the food and what time the food should be served. Grasp the food (step S167). Then, the processing control unit 16 transmits the grasped health condition information and preference information of the registered person, the grasped time to be provided, and the information of the stocked ingredients to the server device 9C which is the recipe proposal server (step). S168).
  • the processing control unit 16 receives a plurality of recipe information sent from the server device 9C and displays it as a proposed recipe in the residual display area ARw of the display screen 11D (step S169). After that, the processing control unit 16 returns the processing to step S101 of FIG.
  • Example of processing flow of mobile terminals 41 to 44> 15 to 17 are diagrams for explaining an example of the flow of processing operations executed by the communication control processing unit 409 in the mobile terminals 41 to 44 that communicate with the information processing device 1 of this embodiment.
  • the processing of the communication control processing unit 409 is a processing executed by an application program pre-installed in these mobile terminals 41 to 44, and the start of FIG. 15 when the application program is started by the user. Processing starts from. In the following description, it is assumed that the control unit 401 in the configuration of FIG. 6 executes the operation.
  • the control unit 401 determines whether or not the user has selected the transmission of the e-mail addressed to the information processing device 1 (step S201 in FIG. 15). When it is determined in step S201 that e-mail transmission has been selected, the control unit 401 displays a screen for generating e-mail transmission information on the display screen of the display unit 410 (step S202), and the touch panel by the user. The input of the transmission information through 411 is accepted (step S203).
  • the e-mail sent to the information processing device 1 is supposed to include information for notifying the schedule, and on the screen for generating the transmission information, for example, input such as the scheduled time to return home on the day, the necessity of meals, and unnecessary information are input.
  • the column is included as a predetermined specific position column.
  • control unit 401 determines whether or not the input completion instruction of the transmission information from the user has been received (step S204), and when it is determined that the input completion instruction has not been received, the process is returned to step S203 and the user sends the process.
  • the input of transmission information is accepted until there is an instruction to complete the input of transmission information.
  • step S204 When it is determined in step S204 that the instruction to complete the input of the transmission information from the user has been received, it is matched whether or not to specify the transfer destination, and the request for specifying the transfer destination is waited for the reply from the user. It is determined whether or not there is (step S205). When it is determined in step S205 that there is a request for designating the transfer destination, the control unit 401 displays, for example, a list of destinations that can be designated as the transfer destination, and accepts the designation of the transfer destination (step S206).
  • control unit 401 waits for the reception of the transmission execution instruction from the user (step S207), and when it is determined that the transmission execution instruction has been received, transmits an e-mail to the stored address of the information processing device 1. (Step S208).
  • step S205 when it is determined in step S205 that there is no request to specify the transfer destination, the control unit 401 bypasses the process of step S206, proceeds to step S207, waits for the reception of the transmission execution instruction from the user, and transmits.
  • step S207 waits for the reception of the transmission execution instruction from the user, and transmits.
  • step S208 When it is determined that the execution instruction has been received, an e-mail is transmitted to the information processing device 1 stored in step S208.
  • control unit 401 inquires the user whether or not to terminate the application program of the communication control processing unit 409, determines by waiting for the answer (step S209), and answers that it ends. If not, the process is returned to step S201, and when an answer is obtained that the process ends, this process routine ends.
  • step S201 when it is determined in step S201 that transmission is not selected, the control unit 401 determines whether or not reception of e-mail is selected (step S211 in FIG. 16), and it is said that reception of e-mail is selected.
  • the received information of the e-mail received from the information processing device 1 is displayed in a list (step S212).
  • step S212 the control unit 401 waits for the user to accept the selection of the received information from the list, and when it is determined that the selection of the received information has been accepted, the control unit 401 displays a display based on the selected received information. It is displayed on the display screen of 410 (and 214).
  • control unit 401 inquires to the user whether or not to terminate the application program of the communication control processing unit 409, determines by waiting for the answer (step S215), and if there is no answer to end, the process is performed. When the process returns to step S201 and an answer is obtained that the process ends, the processing routine ends.
  • step S211 determines whether or not it is the timing for transmitting the biological information (step S221 in FIG. 17).
  • the control unit 401 returns the process to step S201 of FIG.
  • step S221 when it is determined in step S221 that the transmission timing of the biometric information has come, the control unit 401 corresponds to the wearable terminals 51 to 54 set to communicate with the short-range wireless communication unit 408.
  • Step S222 the biometric information of the person to be registered who wears the corresponding one of the wearable terminals 51 to 54 is acquired (step S223).
  • control unit 401 generates transmission information including biological information (step S224), and transmits an e-mail including the generated transmission information to the address of the stored information processing device 1 (step). S225). Then, the control unit 401 returns the process to step S201 of FIG. 15, and repeats the process after this step S201.
  • FIG. 18 is a diagram for explaining an example of a flow of processing operations executed by the processing control unit 702 of the meal status detecting device 7 that communicates with the information processing device 1 of this embodiment.
  • the process of the process control unit 702 is a process executed by the application program installed in advance, and when the user activates the meal status detection device 7 at the start of the meal, the process starts from the start of FIG. To be started.
  • the processing control unit 702 acquires information on the position change of the tableware of each registered person during a meal on the position detection sensor 7S from the signal transmission / reception processing unit 701 (step S301).
  • the short-range wireless communication unit 705 acquires biometric information of each registered person during a meal (step S302). Further, the shooting information from the camera 7CM is received and acquired through the short-range wireless communication unit 704 (step S303).
  • step S304 by monitoring the end instruction of the user, it is determined whether or not the meal is completed (step S304), and when it is determined that the meal is not completed, the processing control unit 702 sets the process to step S301. return. Further, when it is determined in step S304 that the meal has been completed, the processing control unit 702 uses the tableware position change information and the biological information of each registration target person and the shooting information of the camera 7CM as information on the meal status. It is transmitted to the information processing device 1 through the range radio communication unit 703 (step S305). This is the end of this processing routine.
  • the display area of the display screen 11D is set and registered in advance as a device for communicating with the information processing device 1 of a plurality of mobile terminals 41 to 44. It is configured to include partial display areas AR1 to AR4 associated with each communication address. Then, in each of the partial display areas AR1 to AR4, the received information from the mobile terminals 41 to 44 to which the partial display areas AR1 to AR4 are associated is displayed. Further, the detection area of the position detection sensor 13 is configured to have a partial input area corresponding to each partial display area AR1 to AR4, and the written data written and input in the partial input area is the corresponding partial display area AR1. It is designed to be transmitted to the mobile terminal associated with the AR4.
  • the schedule information from the users of the mobile terminals 41 to 44 associated with the respective partial display areas AR1 to AR4 can be obtained by simply looking at the partial display areas AR1 to AR4 on the display screen 11D of the information processing device 1. It is convenient to be able to check the received information of. Then, the information to be transmitted to the users of the mobile terminals 41 to 44 associated with the partial display areas AR1 to AR4 is transmitted by writing and inputting the information to be transmitted to the partial input area corresponding to the partial display areas AR1 to AR4. It can be done and is very convenient. For example, a message requesting the transmission of schedule information to a registration target person who has not sent the schedule information can be sent by writing in the partial input area (partial display area) corresponding to the registration target person. it can.
  • the partial display area can be set as a common area, and the writing data of the writing input in the common area can be set and registered in advance from the plurality of mobile terminals 41 to. It is very convenient because it is sent to all 44. For example, if a message requesting transmission of schedule information is written and input in the common area, it can be transmitted to all registered persons.
  • schedule information, health status information, and preference information from the registered person can be acquired, and these schedule information, health status information, and health status information can be obtained. It has the effect of making it possible to propose appropriate dishes based on preference information.
  • the information processing device 1 of the above-described embodiment has an effect that the biometric information from each registration target person can be periodically acquired and the health condition information of each registration target person can be constantly monitored. Further, in the information processing device 1 of the above-described embodiment, the preference information of each registration target person is acquired based on the meal status information from the meal status detection device 7, so that the preference of each registration target person is obtained. It also has the effect of being able to respond to changes in.
  • the meal status detection device 7 is provided with the position detection sensor 7S having the entire surface of the table 7T as the position detection area on the table 7T, but the tableware of each registered person during the meal.
  • the configuration for detecting the position change information is not limited to the one using the large-scale position detection sensor 7S as in this example.
  • FIG. 19 shows another example of the meal status detection device.
  • the configuration of the position detection sensor for detecting the movement of the tableware group 7DS is different from that of the meal condition detection device 7 of the above-mentioned example.
  • each placemat device 61 to 64 is connected to the processing control unit 702 in place of the position detection sensor 7S and the signal transmission / reception processing unit 701 in the example of FIG. It is composed.
  • the short-range wireless communication unit 703, 704, 705 is connected to the processing control unit 702 in the same manner in the meal condition detection device in the case of the example of FIG.
  • the processing control unit 702 uses the position detection output from the place mat devices 61 to 64 as information on the position change of the tableware group 7DS for each registration target person. receive. Then, the processing control unit 702 transmits the received information on the position change of the tableware group 7DS for each registration target person, the biological information for each registration target person, and the shooting information of the camera 7CM to the information processing device 1. To do so.
  • the luncheon mat device among the luncheon mat devices 61 to 64 for the registered person who eats may be laid on the table 7T.
  • the luncheon mat devices 61 to 64 are configured to dispose the position detection sensor on the back side of the luncheon mat, but the luncheon mat is used as a woven fabric to form the position detection sensor.
  • (Coated lead wire) may be woven.
  • a woven fabric may be prepared by using a soft fiber for the covering portion of the coated lead wire to prepare a place mat, or a woven fabric may be formed by pairing the coated lead wire and the fiber thread. You may create it to create a place mat.
  • a position detection unit including a position detection sensor and a signal transmission / reception processing unit is provided on a tray for each registered person, a personal desk, or the like instead of a place mat. It can also be configured as.
  • the information processing device 1 may be provided with a circuit unit for making a call with the telephone function of the mobile terminal, and may be provided with a transmitter (microphone) function and a receiver (speaker) function. Good.
  • the information processing device 1 of the above-described embodiment is provided with two wireless communication units for communicating with the mobile terminal, and by using these two wireless communication units, two wireless communication units are provided via the information processing device 1. It can also be configured to communicate information between mobile terminals. For example, when the "father" is communicating with the information processing device 1 on the mobile terminal 41 using one of the two wireless communication units, for example, a request to communicate with the "Taro" occurs, and the "Taro" Is requested to the information processing device 1 as a communication partner, the information processing device 1 connects a communication path with the mobile terminal 44 of "Taro" at the other vacant wireless communication unit, and the mobile terminal of "father". Information sent from 41 is transmitted to the mobile terminal 44 of "Taro", and information sent from the mobile terminal 44 of "Taro" is transmitted to the mobile terminal 41 of "father". can do.
  • the position indicator for instructing the position to the position detection sensor 13 is configured to use the position indicator 2 with a marker, and a transparent panel on the display screen 11D is provided.
  • the position indicator does not have to have a function of writing ink on the surface 12a of the transparent panel 12.
  • the position detection sensor is of the electromagnetic induction coupling type, but is of the active electrostatic type in which the position indicator transmits, for example, a position detection signal to the position detection sensor.
  • an electrostatic coupling method may be used.
  • the case of e-mail communication between the information processing device 1 and the mobile terminal has been described as an example, but the communication between the information processing device and the mobile terminal of the present invention is electronic. It goes without saying that it is not limited to email communication.
  • the mobile terminal is not limited to a high-performance mobile phone terminal, and may be any terminal as long as it has a display unit and a control unit and also has a communication function.
  • 1 Information processing device, 2 ... Position indicator with marker, 3 ... Eraser functional member, 6 ... Refrigerator, 7 ... Meal status detection device, 7DS ... Tableware group, 7CM ... Camera, 9A, 9B, 9C ... Server device, 11 ... Display device, 11D ... Display screen, 12 ... Transparent panel, 13 ... Position detection sensor, 14 ... Control circuit board, 41-44 ... Mobile terminal, 51-54 ... Wearable terminal, 60 ... Food inventory management device, AR1-AR5 ... Partial display area

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

家族などの限定された複数人に対して、適切な料理を提案する情報処理システムを提案する。 情報処理装置と、食材を備蓄する食材備蓄装置と、予め定められた対象者の、提供された料理を食事中の様子を検出するための食事状況検出装置とを備える。情報処理装置は、表示画面を備える表示部と、対象者が携帯する携帯端末と通信を行うための第1の通信部と、食材備蓄部と通信を行うための第2の通信部と、食事状況検出装置と通信を行うための第3の通信部と、第1の通信部を通じて取得した情報と、第2の通信部から取得した情報と、第3の通信部から取得した情報とから、対象者に提供する料理の情報を表示部の表示画面に表示して提案する提案部とを備える。

Description

情報処理システム
 この発明は、例えば家族に適切な料理の提供をすることができるようにアシストすることが可能な情報処理システムに関する。
 例えば家族のために料理を提供しようとする場合、料理を提供しようとする人は、冷蔵庫にある食材や、家族の健康状態や、各家族構成員の好き嫌い(嗜好)、さらには、各家族構成員のスケジュールを考慮して、提供する料理を決めるようにする。
 しかし、料理を提供しようとする人が、自分でそれらの考慮する情報を収集するのは大変である。そこで、家族構成員のそれぞれにより電子メールを送ってもらって、それを考慮するようにすることが考えられる。その場合に、家族構成員の全員の電子メールを個々に見て考慮するよりは、全員の電子メールを一つの表示画面で同時に見ることができれば便利である。例えば特許文献1(特開2002-351789号公報)には、表示画面に、複数件の電子メール表示エリアを設けて、複数の電子メールのメッセージや宛先、送信者、件名などを同時に確認しながら送受信の処理をできるようにしたものが提案されており、この特許文献1を用いれば、家族構成員からの電子メールを同時に見ることができて便利である。
特開2002-351789号公報
 しかしながら、特許文献1においては、表示画面に表示される複数の電子メールは、順不同であり、どの電子メールが家族構成員の誰からのメールであるかは、その送信元の表示情報を確認しなければならず、家族構成員の電子メールの情報の把握に手間がかかる。
 また、電子メールにより、各家族構成員のスケジュールは知らせてもらうことはできるが、体調などの健康状態については、料理をする人がいちいち電子メールで尋ねたりしなければならず、厄介である。また、料理をする人は、各家族構成員の料理に対する嗜好を覚えていなければならず、また、嗜好が変わったりした場合には、それに対応することが困難であるという問題がある。
 この発明は、以上の問題点を解決することができるようにした情報処理システムを提供することを目的とする。
 上記の課題を解決するために、
 情報処理装置と、食材を備蓄する食材備蓄装置と、予め定められた対象者の、提供された料理を食事中の様子を検出するための食事状況検出装置と、を備える情報処理システムであって、
 前記情報処理装置は、
 表示画面を備える表示部と、
 前記対象者が携帯する携帯端末と通信を行うための第1の通信部と、
 前記食材備蓄部と通信を行うための第2の通信部と、
 前記食事状況検出装置と通信を行うための第3の通信部と、
 前記第1の通信部を通じて取得した情報と、前記第2の通信部から取得した情報と、前記第3の通信部から取得した情報とから、前記対象者に提供する料理の情報を前記表示部の表示画面に表示して提案する提案部と、
 を備えることを特徴とする情報処理システムを提供する。
 上記の情報処理システムによれば、提案部が、第1の通信部を通じて取得した情報と、第2の通信部から取得した情報と、第3の通信部から取得した情報とから、対象者に提供する料理の情報を表示部に表示して提案する。したがって、料理を提供しようとする人は、この情報処理システムの情報処理装置の表示画面に表示されている料理の情報に基づいて実際の料理を提供することができて便利である。
この発明による情報処理システムの実施形態の構成例及び利用態様の概要を説明するための図である。 図1の実施形態の情報処理システムを構成する情報処理装置のハードウエア構成例を示す分解斜視図である。 図1の実施形態の情報処理システムを構成する情報処理装置と共に用いる位置指示器の例を説明するための図である。 図1の実施形態の情報処理システムを構成する情報処理装置の電子回路の構成例を示す図である。 図1の実施形態の情報処理システムを構成する情報処理装置が備えるテーブル情報の例を示すである。 図1の実施形態の情報処理システムを構成する情報処理装置と通信を行う携帯端末の構成例を示すブロック図である。 図1の実施形態の情報処理システムを構成する情報処理装置と通信を行う携帯端末と通信されるウエアラブル端末の構成例を示すブロック図である。 図1の実施形態の情報処理システムを構成する情報処理装置と通信を行う食材在庫管理装置の構成例を示すブロック図である。 図1の実施形態の情報処理システムを構成する情報処理装置と通信を行う食事状況検出装置の構成例を示すブロック図である。 図1の実施形態の情報処理システムを構成する情報処理装置の処理の流れの例を説明するためのフローチャートの一部を示す図である。 図1の実施形態の情報処理システムを構成する情報処理装置の処理の流れの例を説明するためのフローチャートの一部を示す図である。 図1の実施形態の情報処理システムを構成する情報処理装置の処理の流れの例を説明するためのフローチャートの一部を示す図である。 図1の実施形態の情報処理システムを構成する情報処理装置の処理の流れの例を説明するためのフローチャートの一部を示す図である。 図1の実施形態の情報処理システムを構成する情報処理装置の処理の流れの例を説明するためのフローチャートの一部を示す図である。 図1の実施形態の情報処理システムを構成する情報処理装置と通信を行う携帯端末の処理の流れの例を説明するためのフローチャートの一部を示す図である。 図1の実施形態の情報処理システムを構成する情報処理装置と通信を行う携帯端末の処理の流れの例を説明するためのフローチャートの一部を示す図である。 図1の実施形態の情報処理システムを構成する情報処理装置と通信を行う携帯端末の処理の流れの例を説明するためのフローチャートの一部を示す図である。 図1の実施形態の情報処理システムを構成する情報処理装置と通信を行う食事状況検出装置の処理の流れの例を説明するためのフローチャートの一部を示す図である。 図1の実施形態の情報処理システムを構成する情報処理装置と通信を行う食事状況検出装置の他の例を構成例を説明するための図である。
 以下、この発明による情報処理システムの実施形態を、図を参照しながら説明する。図1は、この発明による情報処理システムの実施形態の構成例を説明するための図である。図1に示すように、この実施形態の情報処理システムは、情報処理装置1に対して位置指示器の例としてのマーカー付位置指示器2と、消しゴム機能部材3とが設けられると共に、情報処理装置1に対して、携帯端末41~44と、食材保管装置の例としての冷蔵庫6に設けられている食材在庫管理装置60と、食事状況検出装置7とが無線通信により接続されて構成される。また、携帯端末41~44のそれぞれは、当該携帯端末41~44の携帯者が装着するウエアラブル端末51~54と無線通信するように構成されている。
 さらに、情報処理装置1は、インターネット8を通じてサーバ装置9A,9B,9Cなどに接続するように構成されている。
 <情報処理装置1の構成例の説明>
 図2は、この実施形態の情報処理システムを構成する情報処理装置1の構成例を示す分解斜視図である。
 図2に示すように、この例の情報処理装置1は、表示デバイス11と、この表示デバイスの表示画面の上部(表示面側)を覆うように重畳して配されるカバー部材を構成する透明パネル12と、表示デバイス11の下方(裏側)に配される位置検出センサ13と、この情報処理装置1の電子回路部分を構成する制御回路基板14とが、互いに重ね合わされるようにして、ケース10に収納されて構成されている。
 ケース10は、例えば合成樹脂により構成されており、表示デバイス11、透明パネル12、位置検出センサ13および制御回路基板14を収納するための凹部10aを備えている。
 表示デバイス11は、液晶ディスプレイや有機ELディスプレイなどからなる大型、例えば40インチ以上のフラットディスプレイからなり、ディスプレイ基板111上に、表示画素112が、X軸方向(横方向)に多数個配列されていると共に、X軸方向に直交するY軸方向(縦方向)に多数個配列された表示画面11Dを備えている。
 透明パネル12は、この例では、位置指示器2のマーカーペン部により、インクによる筆記や描画が可能であると共に、当該筆記や描画を消しゴム機能部材3により消すことができる透明材料、例えば透明アクリル板からなる。この透明パネル12は、この例では、表示デバイス11の表示画面11Dと同じ大きさとされており、この透明パネル12の表面12aの側は、位置指示器2による位置指示のための操作面とされている。
 表示デバイス11の下方(裏側)には、この例では、電磁誘導方式の位置検出センサ13が、その位置検出エリアが丁度、表示画面11Dと重なるようにされて配設される。この例では、位置検出センサ13の後述する位置指示器2の指示位置の検出エリアと、表示デバイス11の表示画面11Dの表示エリアとは同じ大きさとされ、両エリアが、丁度重なるように、表示デバイス11及び位置検出センサ13が配設されている。
 そして、位置検出センサ13の裏側には、制御回路基板14が配設される。制御回路基板14は、表示デバイス11及び位置検出センサ13と電気的に接続されている。
 そして、この実施形態の情報処理装置1には、位置検出センサ13と電磁誘導結合することで位置指示を行うと共に、透明パネル12の表面12aにインク筆記が可能なマーカー付位置指示器2と、マーカー付位置指示器2でインク筆記した筆記跡を透明パネル12の表面12aから消去可能であると共に、対応する筆記データの削除指示を位置検出センサ13に対して送出することができる消しゴム機能部材3とが付随している。
 図3に、マーカー付位置指示器2の構成例を示す。この例のマーカー付位置指示器2は、ねじ込み式に結合される先端側ケース21aと後端側ケース21bとからなるケース21内に、マーカーペン体22と、位置検出センサ13との間で信号のインタラクションを行うインタラクション部23とが設けられることで構成されている。
 マーカーペン体22は、インク溜部22aに溜められているインクが、例えばフェルトからなるペン先部材22bに供給される構成を備え、市販のフェルトペンと同様のものである。ペン先部材22bには、キャップ24が装着される。
 インタラクション部23は、コイル231と、コンデンサ232及び233とで構成される共振回路で構成される。コイル231は、図3に示すように、先端側ケース21aのマーカーペン体22のペン先部材22bの近傍に配設されている。そして、コンデンサ232及び233は、後端側ケース21b内において、マーカーペン体22のインク溜部22aの後端側の設けられるプリント基板230に配設されている。
 そして、プリント基板230には、マーカーペン体22のインク溜部22aの尾部と対向するようにスイッチ234が配設されている。このスイッチ234は、マーカーペン体22が軸心方向に変位することでオン、オフされて、共振回路に対してコンデンサ233を接続するか否かが制御される。マーカーペン体22のペン先部材22bでインク筆記するときに、マーカーペン体22のペン先部材22bに印加される圧力が所定値以下であるときには、スイッチ234はオフであって、コンデンサ233は、共振回路とは非接続とされ、前記所定値を超える圧力が印加されたときには、スイッチ234はオンとされて、共振回路に接続され、その共振周波数が変更される。
 このスイッチ234のオン、オフによる共振周波数の変更は、例えばマーカーペン体22による透明パネル12の表面12a上に形成されたインク筆記を消しゴム機能部材3により消した時に、記憶されているインク筆記に応じた筆記データを、併せて消去するか否かの指示に用いることができる。例えば、スイッチ234がオフの状態においてマーカーペン体22により形成されたインク筆記に応じた筆記データは併せて消去するようにし、マーカー付位置指示器2のペン先部22bに圧力を印加して、スイッチ234をオンの状態においてマーカーペン体22により形成されたインク筆記に応じた筆記データは消去せずに記憶として残すように指示することができる。
 消しゴム機能部材3は、マーカー付位置指示器2により透明パネル12の表面12aにインク筆記された筆記跡を摩擦により消去するための部材からなる消しゴム部31と、対応する筆記データを消去するために位置検出センサ13とインタラクションするためのインタラクション部32とからなる。消しゴム部31は、周知の繊維材料などで構成される。インタラクション部32は、消しゴム部31を保持するホルダー内にコイルとコンデンサとからなる共振回路が設けられて構成されたものである。
 図4は、上述した制御回路基板14において形成されている電子回路の構成例を、位置検出センサ13及び表示デバイス11との接続関係も含めて示す図である。また、この図4では、位置検出センサ13と、マーカー付位置指示器2及び消しゴム機能部材3とのインタラクションの関係をも示している。
 図4の左上には、マーカー付位置指示器2のインタラクション部22の回路構成例と、消しゴム機能部材3のインタラクション部32の回路構成例とが示されている。すなわち、マーカー付位置指示器2のインタラクション部22は、コイル231とコンデンサ232とが並列に接続されると共に、スイッチ234を介してコンデンサ233がさらに並列に接続される共振回路RC1の構成とされている。スイッチ234がオフのときと、オンのときとで、共振回路RC1の共振周波数が異なる。
 消しゴム機能部材3のインタラクション部32は、コイル321とコンデンサ322とが並列に接続された共振回路RC2の構成とされている。この並列共振回路RC2の共振周波数は、共振回路RC1の共振周波数とは異なるように構成されている。
 マーカー付位置指示器2の共振回路RC1及び消しゴム機能部材3の共振回路RC2は、位置検出センサ13と、電磁誘導結合することで信号のやり取り(インタラクション)を行う。
 一方、図4に示すように、制御回路基板14には、位置検出部15と、処理制御部16と、この例ではインターネット8を通じてサーバ装置9A,9B,9Cと無線通信するための無線通信部171と、携帯端末41~44と無線通信するための無線通信部172と、食材在庫管理装置60と無線通信するための近距離無線通信部181と、食事状況検出装置7と無線通信するための近距離無線通信部182と、表示制御部19が設けられている。近距離無線通信部181及び182は、この例では、ブルートゥース(登録商標)規格の無線通信を行う。
 位置検出部15は、この例では、位置検出センサ13に接続されている選択回路151と、選択回路151に接続されると共に、処理制御部16に接続されている信号送受信処理部152とからなる。
 この例の位置検出センサ13は、X軸方向ループコイル群131と、Y軸方向ループコイル群132とが積層された位置検出コイルにより構成されている。そして、X軸方向ループコイル群131及びY軸方向ループコイル群132のループコイルのそれぞれが選択回路151に接続されている。選択回路151は、信号送受信処理部152が備える制御部からの制御信号に基づいた選択処理を行い、2つのループコイル群131,132のうちの一のループコイルを順次選択して、後述する位置指示器2や消しゴム機能部材3の共振回路に対して、信号送受信処理部152からの信号を送信させると共に、それらの共振回路から帰還される信号を受信して、信号送受信処理部152に供給させる。
 そして、位置検出部15の信号送受信処理部152では、マーカー付位置指示器2のインタラクション部32の共振回路RC1から電磁結合により受信した帰還信号が検出される位置検出センサ13上の位置から、マーカー付位置指示器2によりインク筆記されたときに同時に位置指示された位置検出センサ13上の位置を検出し、その検出結果を、マーカー付位置指示器2による筆記入力情報(以下筆記データという)として処理制御部16に供給する。
 また、位置検出部15の信号送受信処理部152では、消しゴム機能部材3のインタラクション部32の共振回路RC2から電磁結合により受信した帰還信号が検出される位置検出センサ13上の位置から、消しゴム機能部材3により消去指示された位置検出センサ13上の位置を検出し、その検出結果を、消しゴム機能部材3による消去位置入力情報として処理制御部16に供給する。
 処理制御部16は、信号送受信処理部152から取得した筆記データはメモリに記憶すると共に、表示デバイス11の表示画面11Dに表示する処理を行う。また、処理制御部16は、信号送受信処理部152から消去位置入力情報を取得したときには、対応する筆記データをメモリから削除する処理を行うようにする。
 また、この実施形態では、処理制御部16は、位置検出部15の信号送受信処理部152からの情報に基づいて、外部の携帯端末との通信を行う機能を備えている。また、この実施形態においては、処理制御部16は、位置検出部15の信号送受信処理部152からの情報に関係なく、外部の携帯端末41~44、食材在庫管理装置60、食事状況検出装置7及びインターネット8を通じたサーバ装置9A,9B,9Cとの間で通信を行うことで、後述するような種々の機能処理を行うことができるように構成されている。そして、この通信の際における表示画面11Dにおける表示制御は、処理制御部16が、表示制御部19を通じて行うように構成されている。
 この実施形態の情報処理装置1は、通信を行う相手方は、予め設定された者に制限されている。そして、この実施形態の情報処理装置1では、表示画面11Dに、予め設定された通信の相手毎に、互いに異なる部分表示エリアを設定しておき、それぞれの部分表示エリアに対応付けた通信の管理をするように構成している。
 この実施形態の情報処理装置1は、例えば父、母、姉、太郎などの同居する複数人からなる家族が住む家の例えば居間に設置されるもので、家に居る者と、外出している者とが利用できるものである。この実施形態の情報処理装置1は、外出するときに各人が携帯する携帯端末との間で通信が可能とされる。この例では、携帯端末は、例えばスマートフォンと呼ばれる高機能携帯電話端末が用いられる。家に居る者は、この実施形態の情報処理装置1を、通信端末として利用することが可能である。この例では、通信としては、電子メール通信の場合として説明する。
 この実施形態の情報処理装置1においては、表示デバイス11の表示画面11Dの表示エリアには、図1に示すように、5個の部分表示エリアAR1,AR2,AR3,AR4,AR5が設定されている。これらの部分表示エリアAR1~AR5は、情報処理装置1において、予め、設定されていてもよいし、使用者が、任意に設定することもできる。例えば矩形領域からなる部分表示エリアAR1~AR5は、それぞれの部分表示エリアの左上隅と、右下隅の位置を指定することで設定することができる。
 この実施形態では、表示画面11Dの表示エリアと、位置検出センサ13の位置検出エリアとは重畳されていて、表示エリア内の表示位置と検出エリア内の位置とは互いに対応しているので、一方のエリアの位置が分かれば対応する他方のエリアの位置が分かる。そのため、部分表示エリアが設定されると、位置検出センサ13の検出エリアにおいて、その部分表示エリアに対応する部分入力エリアが自動的に算出されて設定される。
 なお、任意の部分表示エリアを設定する場合には、位置検出センサ13の検出エリアにおいて、部分入力エリアの設定を受け付けることで、その部分入力エリアに対応する部分表示エリアの設定が可能である。なお、部分表示エリアは1個でもよく、また、図の例のような数に限らず、いくつでもよい。また、部分表示エリアの大きさも、任意に設定することが可能であるし、複数の部分表示エリアを設定する場合に、大きさがまちまちであっても勿論よい。また、部分表示エリアとして設定するエリアの形状も、図の例のような矩形に限られる訳ではなく、円形や他の多角形形状であってもよい。
 部分表示エリアの設定が終了したら、それぞれの部分表示エリアに対応付けて、携帯端末41~44の通信アドレス情報、この例では、電子メールアドレスの情報を設定する。電子メールアドレスの情報の設定方法としては、例えばマーカー付位置指示器2による筆記入力であってもよいし、例えば設定する部分表示エリアを選択している状態で、携帯端末41~44のそれぞれから情報処理装置1に宛てて電子メールを送信し、その送信元の電子メールを対応付けて設定するやり方など、種々の方法が可能である。
 次に、各部分表示エリアAR1~AR5の名称が、例えば、マーカー付位置指示器2による筆記入力により設定される。更に、この実施形態では、部分表示エリアAR1~AR5には、単に、特定人のみの電子メールの送受信のために使用する(個人用途とする)のではなく、別の特別の用途に使用する場合には、その特別の用途の設定もなされる。この特別の用途は、予め、当該情報処理装置1で利用可能な用途のリストが表示されて、そのリストの中から選択することが可能である。この例では、部分表示エリアAR5は、用途としては共通用途が設定される。
 ここで、共通用途とは、個人用途として設定登録された全ての携帯端末の使用者について共通に利用されるエリアとされるもので、後述するように、当該共通用途エリアにマーカー付位置指示器2で書き込みがなされたときには、その書き込みがなされた情報は、個人用途として設定登録された全ての携帯端末に送信される。
 以上のようにして、部分表示エリア、部分入力エリア及び対応する電子メールアドレスが設定されると、処理制御部16は、それらの対応する情報を、この例では内蔵する対応テーブルメモリ16TMに記憶する。図5に、対応テーブルメモリ16TMの記憶内容であるテーブル情報TBLの例を示す。
 対応テーブルメモリ16TMのテーブル情報TBLにおけるエリア名は、図1に示すように、各部分表示エリアAR1~AR5のそれぞれに表示される。なお、部分表示エリアAR5のエリア名には、特別の用途である「共通」の名称が付与される。
 部分表示エリアの2つの値(例えば(Ds1,Ds2))は、それぞれ表示エリアにおける部分表示エリアの左隅の表示画素位置と、右隅の表示画素位置との対を示している。また、部分入力エリアの2つの値(例えば(Ps1,Ps2))は、それぞれ位置検出センサ13の検出エリアにおける部分入力エリアの左隅の位置と、右隅の位置との対を示している。
 電子メールアドレスは、各部分表示エリアAR1~AR5のそれぞれに対応付けられる携帯端末の電子メールアドレスであることは前述した通りである。すなわち、図1に示すように、部分表示エリアAR1に対しては、父親が携帯する携帯端末41の電子メールアドレスが、部分表示エリアAR2に対しては、母親が携帯する携帯端末42の電子メールアドレスが、部分表示エリアAR3に対しては、姉が携帯する携帯端末43の電子メールアドレスが、部分表示エリアAR4に対しては、太郎が携帯する携帯端末44の電子メールアドレスが、それぞれ設定登録されて記憶される。また、共通用途の部分表示エリアAR5には、父親、母親、姉及び太郎が携帯する携帯端末41~44の電子メールアドレスが設定登録されて記憶される。
 そして、この例では、各部分表示エリアAR1~AR5には、識別情報(ID(Identification)が付与されている。
 なお、この実施形態では、各個人用の携帯端末41~44のそれぞれには、この実施形態の情報処理装置1と電子メール通信するためのアプリケーションプログラムが、予めインストールされる。
 図1に示すように、この例の情報処理装置1の表示デバイス11の表示画面11Dの表示エリアには、携帯端末とは対応付けられない残余表示エリアARwが存在する。この例では、この残余表示エリアARwは、任意の筆記入力のエリアとされる。また、図示は省略するが、情報処理装置1と近距離無線通信接続する描画タブレット装置や、位置検出センサ付き手書き入力装置などを設けて、これら描画タブレット装置や、位置検出センサ付き手書き入力装置から送られてくる描画データ(お絵描きデータ)を、残余表示エリアARwに表示するように構成してもよい。
 そして、処理制御部16に対しては、更に、図1に示すように、情報格納メモリ16DMが接続されている。この例では、情報格納メモリ16DMは、その記憶エリアが分けられて、複数の部分表示エリアAR1~AR5及び残余表示エリアARwに対応付けられた複数の記憶エリアM1~M6を備えると共に、後述するような情報格納用の、その他の記憶エリアM7~M9を備える。
 そして、記憶エリアM1~M6には、それぞれが対応する部分表示エリアAR1~AR5に表示される情報及びそれぞれが対応する部分入力エリア及び残余表示エリアARwでマーカー付位置指示器2により位置指示入力された筆記データが格納されて、その格納情報が記憶エリア毎に別々に管理される。なお、この例では、各記憶エリアM1~M6においては、部分表示エリアAR1~AR5の表示情報と、対応する部分入力エリアの筆記データとは別々に管理されるように格納されると共に、残余表示エリアARwの表示情報と、対応する筆記データとは、別々に管理されるように格納される。
 そして、処理制御部16は、図4に示すように、表示制御部19を介して表示デバイス11に接続されており、情報格納メモリ16DMの各記憶エリアM1~M6の格納情報に応じて、表示デバイス11の表示画面11Dの各部分表示エリアAR1~AR5及び残余表示エリアARwにおける表示制御を行う。
 なお、図1の表示画面11Dにおいて、部分表示エリアAR4及びAR5の太字文字は、マーカー付位置指示器2によりインク筆記されたものを示しており、その筆記データが情報格納メモリ16DMに格納されるが、筆記入力時には、透明パネル12の表面12a上にインク筆記がされるだけで、表示情報として表示デバイス11の表示画面に表示されることはない。
 <処理制御部16の処理動作の概要>
 処理制御部16は、無線通信部171または172を通じて携帯端末41~44から受信した情報は、それぞれの携帯端末41~44が対応付けられた部分表示エリアAR1~AR4に対応する記憶エリアM1~M4に格納する。そして、処理制御部16は、受信した情報の表示情報を生成し、その生成した情報を、それぞれの携帯端末41~44に対応した部分表示エリアAR1~AR4に表示するようにする。なお、部分表示エリアAR1~AR4に、受信した情報が表示部11の表示画面11Dに表示されている場合において、マーカー付位置指示器2による透明パネル12の表面12aのインク筆記が重畳して存在していて表示情報が見づらい場合には、消しゴム機能部材3により、当該インク筆記を消すことで、見易くすることができる。
 また、処理制御部16は、位置検出部15で検出されたマーカー付位置指示器2により指示位置入力に基づく筆記データを信号送受信処理部152から受け取ると、当該筆記データが位置検出センサ13の検出エリア内のいずれのエリアにおける入力情報であるかを判別する。そして、処理制御部16は、判別したエリアに対応する情報格納メモリ16DMの記憶エリアに、受け取った筆記データを記憶すると共に、判別したエリアが、部分表示エリアAR1~AR4のいずれかに対応するものであると判別したときには、その判別結果の部分表示エリアに対応して設定されている携帯端末に対して、受け取った筆記データを送信するようにする。
 判別した部分表示エリアが、「共通用途」に設定されている部分表示エリアAR5であるときには、部分表示エリアAR1~AR4に対応して設定されている携帯端末41~44の全てに、受け取った筆記データを送信するようにする。なお、残余表示エリアARwへの筆記入力の筆記データは、この実施形態では、筆記時には、携帯端末41~44には送信しない。
 また、この実施形態の情報処理装置1においては、マーカー付位置指示器2で、個人用途の部分表示エリアAR1~AR4で位置指示入力による筆記入力がなされたときには、その筆記データを、当該筆記入力がなされた部分表示エリアに対応して設定されている携帯端末だけでなく、他の部分表示エリアに対応して設定されている携帯端末にも送信(転送)することを要求(転送要求)できるように構成されている。
 処理制御部16は、信号送受信処理部152からの情報に基づいて、転送要求の指示がなされていることを検知したときには、その転送要求により指定された携帯端末への、受け取った筆記データを転送する処理を行う機能も備えている。
 この実施形態の情報処理装置1は、更に、図4に示すように、スケジュール認識部161と、健康状態把握部162と、食材把握部163と、嗜好情報蓄積部164と、レシピ提案部165との各種の機能処理部を備えている。これらは、それぞれアプリケーションプログラムとして構成することが可能である。
 スケジュール認識部161は、携帯端末41~44のそれぞれから送られてくる電子メールの受信情報から、携帯端末41~44のそれぞれの携帯者のスケジュールを認識する。この例の場合には、送られてくる電子メールの情報は、帰宅時間の情報や、食事の要否の情報などの予め定めらたスケジュールに関する情報が、容易に抽出可能な特定のパターンの情報として送られてくるように構成されている。したがって、スケジュール認識部161は、抽出したそれらのスケジュールに関する情報から、携帯端末41~44のそれぞれの携帯者のスケジュールを認識することができる。スケジュール認識部161は、認識したスケジュールの情報は、携帯端末41~44のそれぞれの携帯者(以下、登録対象者という)の識別情報と日時の情報とに対応付けて、情報格納メモリ16DMの例えば記憶エリアM7に保持する。
 そして、スケジュール認識部161は、後述するレシピ提案要求が発生した時点において、記憶エリアM7に記憶した携帯端末41~44からのそれぞれの登録対象者のスケジュール情報から、料理を提供する必要があるのは何人か、料理は何時に提供すべきかなどを認識して、その認識結果を、後述するレシピ提案部165に渡すようにする。したがって、スケジュール認識部161からレシピ提案部165には、何人分の料理を用意する必要があるか、また、料理を提供するまでの時間(料理を作るのに必要な時間)に関する情報が渡されることになる。
 健康状態把握部162は、携帯端末41~44のそれぞれから送られてくる、それぞれの登録対象者の生体情報から、それぞれの登録対象者の健康状態を把握する。情報処理装置1に、生体情報の解析部を備えることでそれぞれの登録対象者の健康状態を把握するように構成することもできるが、情報処理装置1の構成が複雑になると共に、処理負荷が重くなるので、この実施形態では、外部の健康状態把握サーバ装置を用いるようにする。
 すなわち、この実施形態では、健康状態把握部162は、健康状態把握サーバ装置であるサーバ装置9AのURL(Uniform Resource Locator)を記憶しており、当該URLを用いて無線通信部171及びインターネット8を通じてサーバ装置9Aにアクセスし、例えば直近から所定時間前までに蓄積した、携帯端末41~44のそれぞれの登録対象者の生体情報をサーバ装置9Aに送って健康状態情報の取得要求をする。
 サーバ装置9Aは、それぞれの登録対象者の生体情報から、それぞれの登録対象者の健康状態の情報を生成し、生成した健康状態の情報を情報処理装置1に送る。サーバ装置9Aには、生体情報と健康状態との対応関係についてのデータベースが用意されており、サーバ装置9Aは、このデータベースにおいて、生体情報を用いて参照することでそれぞれの登録対象者の健康状態の情報を生成する。
 健康状態把握部162は、サーバ装置9Aからのそれぞれの登録対象者の健康状態の情報を受信して、それぞれの登録対象者毎に、情報格納メモリ16DMの例えば記憶エリアM8に記憶する。
 この健康状態把握部162においても、レシピ提案要求が発生した時点において、上記の健康状態の情報のサーバ装置9Aに対する要求及び取得処理をするようにする。なお、レシピ提案要求の発生時点よりも前の適当なタイミングで、上記の健康状態の情報のサーバ装置9Aに対する要求及び取得処理を行っておいてもよい。そして、健康状態把握部162は、各登録対象者の健康状態の情報をレシピ提案部165からの要求に応じて当該レシピ提案部165に渡す。
 食材把握部163は、近距離無線通信部181を通じて食材在庫管理装置60から送られてくる在庫食材の情報から、料理に利用することができる在庫食材を把握する。食材把握部163は、また、この例では、把握した在庫食材の内容から、予め欠品したら発注すべきとして指定されている食材が欠品しているかどうか判別して、欠品していたら、インターネット8を通じて、当該食材を発注する処理も行う。なお、この場合には、食材には、調味料や香辛料などの料理に使用するその他の材料も含むものである。食材把握部163は、把握している在庫食材の情報を、レシピ提案部165からの要求に応じて当該レシピ提案部165に渡す。
 嗜好情報蓄積部164は、食事状況検出装置7から送られてくる食事状況情報から、各登録対象者の嗜好情報を取得して、この例では、情報格納メモリ16DMの記憶エリアM9に、各登録対象者に対応付けて記憶する。
 ここで、食事状況検出装置7から送られてくる食事状況情報には、後述するように、料理の提供を受けている登録対象者の食事中の箸、ナイフ、フォーク、スプーンや、料理が盛られている皿などの食器群の動きの情報と、例えば料理が提供されているテーブル上の光景を当該テーブルの上空からカメラで撮影した撮影情報と、料理の提供を受けている登録対象者の生体情報が含まれる。食事中の登録対象者の生体情報も、当該登録対象者の嗜好に関与するからである。カメラの撮影情報には、器に盛られて提供されている料理の画像と、登録対象者の食事中の動きを含む食事状況の動画画像情報が含まれる。
 情報処理装置1に、食事状況の情報から、登録対象者の嗜好情報を把握する機能部を備えることで登録対象者の嗜好を把握するように構成することもできるが、情報処理装置1の構成が複雑になると共に、処理負荷が重くなるので、この実施形態では、外部の嗜好情報把握サーバ装置を用いるようにする。
 すなわち、この実施形態では、嗜好情報蓄積部164は、嗜好情報把握サーバ装置であるサーバ装置9BのURLを記憶しており、当該URLを用いて無線通信部171及びインターネット8を通じてサーバ装置9Bにアクセスし、食事状況検出装置7からの食事状況情報をサーバ装置9Bに送って嗜好情報の取得要求をする。
 サーバ装置9Bは、食事状況情報から、登録対象者の嗜好情報を生成し、生成した嗜好情報を情報処理装置1に送る。サーバ装置9Bは、食事状況情報に含まれる食器の動きから、各登録対象者毎の食事中の動き情報を解析すると共に、カメラの撮影画像情報から、提供されている料理と、それぞれの料理に対する各登録対象者の動きや対応を解析する。サーバ装置9Bには、前記の解析結果の情報及び各登録対象者の生体情報と嗜好情報との対応関係についてのデータベースが用意されている。サーバ装置9Bは、このデータベースを用いて、各登録対象者の嗜好情報を生成して、情報処理装置1に送信する。
 嗜好情報蓄積部164は、サーバ装置9Bから送られてくる各登録対象者の嗜好情報を取得して、この例では、情報格納メモリ16DMの記憶エリアM9に、各登録対象者に対応付けて記憶する。嗜好情報蓄積部164は、蓄積している各登録対象者の嗜好情報を、レシピ提案部165からの要求に応じて当該レシピ提案部165に渡す。
 レシピ提案部165は、この例では、情報処理装置1の表示画面の残余表示エリアに表示されているレシピ要求ボタン(図示は省略)が、マーカー付位置指示器2により指示されたことによりレシピ提案要求が発生したと判別する。なお、レシピ提案部165は、予め朝食、昼食、夕食の時間が定められている場合には、その食事時間のそれぞれ所定時間前、例えば1時間前に自動的にレシピ提案要求を発生させるようにしてもよい。また、レシピ提案部165は、事前にスケジュール認識部161からのスケジュール情報を取得して、そのスケジュール情報から朝食、昼食、夕食の食事時間を決定し、その食事時間のそれぞれ所定時間前、例えば1時間前に自動的にレシピ提案要求を発生させるようにしてもよい。
 レシピ提案部165は、レシピ提案要求が発生したときには、スケジュール認識部161、健康状態把握部162、食材把握部163、嗜好情報蓄積部164のそれぞれに、情報取得要求をして、それぞれ各登録対象者のスケジュール情報、健康状態の情報、嗜好情報と、在庫食材の情報とを取得する。
 そして、レシピ提案部165は、取得した情報から、この例では、複数個の料理のレシピ情報を提案するようにする。
 情報処理装置1に、各登録対象者のスケジュール情報、健康状態の情報、嗜好情報と、在庫食材の情報とから、料理のレシピを提案する機能部を備えるように構成することもできるが、情報処理装置1の構成が複雑になると共に、処理負荷が重くなるので、この実施形態では、外部のレシピ提案サーバ装置を用いるようにする。
 すなわち、この実施形態では、レシピ提案部165は、レシピ提案サーバ装置であるサーバ装置9CのURLを記憶しており、当該URLを用いて無線通信部171及びインターネット8を通じてサーバ装置9Cにアクセスし、料理の提供を受ける登録対象者の健康状態の情報、嗜好情報と、在庫食材の情報と、食事提供時刻をサーバ装置9Cに送ってレシピ情報の取得要求をする。ここで、この例では、レシピ提案部165は、スケジュール情報から料理の提供を受ける登録対象者を認定し、また、食事提供時刻を決定するようにしている。しかし、全ての登録対象者のスケジュール情報、健康状態の情報、嗜好情報と、在庫食材の情報とをサーバ装置9Cに送って、サーバ装置9Cが、料理の提供を受ける登録対象者を認定し、また、食事提供時刻を決定するようにしてもよい。
 サーバ装置9Cは、情報処理装置1から受け取った情報から、複数個の料理のレシピ情報を生成し、生成した料理のレシピ情報を情報処理装置1に送る。サーバ装置9Cは、この例では、料理の提供を受ける登録対象者の健康状態の情報、嗜好情報、在庫食材の情報、食事提供時刻などの情報と、料理のレシピ情報とを対応付けて記憶するデータベースを備えている。そして、サーバ装置9Cは、このデータベースを用いて、提案する複数のレシピ情報を選択して生成し、情報処理装置1に送信する。
 レシピ提案部165は、サーバ装置9Cから送られてくる複数のレシピ情報を取得して、この例では、表示画面11Dの残余表示エリアARwに表示して、情報処理装置1の利用者に提示する。
 <携帯端末41~44の構成例>
 携帯端末41~44は、この例では、一般的なスマートフォンと呼ばれる高機能携帯電話端末で構成されている。ただし、前述もしたように、携帯端末41~44のそれぞれには、情報処理装置1と上述したような通信を行うためのアプリケーションプログラムが予めインストールされている。
 携帯端末41~44のハードウエア構成は、ほぼ同一であり、図6に示すような構成を有する。なお、以下の説明では、説明の便宜上、携帯端末41の構成例の場合として説明する。
 携帯端末41は、図6に示すように、コンピュータで構成される制御部401に対して、システムバス400を通じて無線通信部402、携帯電話機能部403、表示制御部404、タッチパネルインターフェース405、メモリ406、時計部407、近距離無線通信部408、通信制御処理部409、のそれぞれが接続されて構成されている。表示制御部404には、例えばLCD(Liquid Crystal  Display;液晶ディスプレイ)からなる表示部410が接続されている。タッチパネルインターフェース405には、タッチパネル411が接続されている。タッチパネル411は、表示部410の表示画面の下部に設けられている。
 無線通信部402は、情報処理装置1など、他の通信端末と無線通信を行うためのものであり、携帯電話機能部403により、一般的な携帯電話と同様の電話通信が可能である。メモリ406には、タッチパネル411を通じて入力された情報などが格納されると共に、受信した情報が格納される。時計部407は、年月日及び時刻の情報を提供する。近距離無線通信部408は、この例においては、ブルートゥース(登録商標)規格の無線通信を行うもので、当該携帯端末41を携帯する登録対象が装着しているウエアラブル端末51(携帯端末42~44ではウエアラブル端末52~54)と無線接続して通信するためのものである。
 通信制御処理部409は、この例では、情報処理装置1と上述したような無線通信を行うためのアプリケーションプログラムにより実行される部分を機能ブロックとして示したものである。この通信制御処理部409には、電子メールの宛先アドレスとして、情報処理装置1の電子メールアドレスが記憶されており、通信制御処理部409は、上述した情報処理装置1との間での通信のための処理制御を実行する。
 この通信制御処理部409は、使用者による情報処理装置1宛ての電子メール送信のための処理を行うと共に、情報処理装置1に対して、その表示画面11Dに表示されている表示情報の表示要求の処理、更に、情報処理装置1から送られてくる情報の受信処理を行う。
 <ウエアラブル端末51~54の構成例>
 ウエアラブル端末51~54は、この例では、腕時計として人が装着するタイプのもの(スマートウオッチ)の構成とされている。ウエアラブル端末51~54は同様の構成を備え、図7に示すような構成を備える。なお、以下の説明では、説明の便宜上、ウエアラブル端末51の場合として説明する。
 ウエアラブル端末51は、図7に示すように、コンピュータで構成される制御部421に対して、システムバス420を通じて近距離無線通信部422、表示制御部423、GPS(Global Positioning  System)機能部424、センサインターフェース425、送信情報生成部426、時計部427、のそれぞれが接続されて構成されている。表示制御部423には、例えばLCDからなる表示部428が接続されている。
 近距離無線通信部422は、携帯端末41の近距離無線通信部408と無線通信するためのものである。GPS機能部424は、当該ウエアラブル端末41を装着している登録対象者の現在位置を検出するためのものである。
 センサインターフェース425には、この例では、心拍センサ429、体温センサ430、モーションセンサ431が接続されている。心拍センサ429、体温センサ430及びモーションセンサ431は、当該ウエアラブル端末51を装着している登録対象者の心拍、体温及び身体の動きを検知する。なお、センサインターフェース425には、必要に応じてその他の生体情報を取得するためのセンサを接続するようにしても勿論よい。
 送信情報生成部426は、センサインターフェース425を通じて、心拍センサ429、体温センサ430、モーションセンサ431からの生体情報と、GPS機能部424からの位置情報と、時計部427からの生体情報を取得した年月日及び時刻の情報とから、当該ウエアラブル端末51を装着している登録対象者についての送信情報を生成する。
 制御部421は、携帯端末41からの生体情報の取得要求に応じて、送信情報生成部426で生成した送信情報を携帯端末41に対して送信する。
 <食材在庫管理装置60の構成例>
 図8は、冷蔵庫6に設けられている食材在庫管理装置60の構成例を示すブロック図である。食材在庫管理装置60は、図8に示すように、コンピュータで構成される制御部601に対して、システムバス600を通じて近距離無線通信部602、表示制御部603、タッチパネルインターフェース604、バーコード読取部605、入庫食材検出部606、出庫食材検出部607、食材管理記憶部608、送信情報生成部609、のそれぞれが接続されて構成されている。表示制御部603には、例えばLCDからなる表示部610が接続され、タッチパネルインターフェース604にはタッチパネル611が接続されている。タッチパネル611は、表示部610の表示画面610D(図1参照)の裏側に、表示画面610Dに重なるように設けられている。
 近距離無線通信部602は、情報処理装置1の近距離無線通信部181と無線通信するためのものである。バーコード読取部605は、食材を冷蔵庫6に入庫または出庫する際に食材に付与されているバーコードを読み取る。この例では、表示部610の表示画面には、入庫ボタン及び出庫ボタンがアイコンボタンとして表示されており、冷蔵庫6の使用者は、食材の入庫時には、入庫ボタンを、出庫時には、出庫ボタンを、それぞれ操作する。
 入庫食材検出部606は、入庫ボタンが押されたときに、バーコード読取部605から送られているバーコードにより入庫された食材が何であるかを検出し、その検出結果の食材情報(例えば食材名の情報)を食材管理記憶部608に送る。また、出庫食材検出部607は、出庫ボタンが押されたときに、バーコード読取部605から送られているバーコードにより入庫された食材が何であるかを検出し、その検出結果の食材情報を食材管理記憶部608に送る。
 食材管理記憶部608は、入庫食材検出部606からの検出結果の食材情報を受け取ると、その食材情報を記憶すると共に、出庫食材検出部607からの検出結果の食材情報を受け取ると、その食材情報を記憶から削除する。これにより、食材管理記憶部608には、冷蔵庫6内に保管されている食材(在庫食材)が記憶される。
 なお、表示部610の表示画面に、食材管理記憶部608に記憶されている在庫食材の一覧を表示し、出庫時には、使用者により、その在庫食材の一覧から出庫する食材の指示をタッチパネル611を通じて行うようにしてもよい。その場合には、出庫食材検出部607は、このタッチパネル611を通じて出庫食材の指示を検出すると、その検出結果を食材管理記憶部608に供給するので、食材管理記憶部608は、タッチパネル611を通じて指示された食材を、在庫食材から削除する。
 また、バーコードが付与されていない食材を入庫する場合には、使用者は、タッチパネル611を通じて、その食材名を入力することができ、入庫食材検出部606は、その入力された食材名を入庫食材の検出結果として食材管理記憶部608に渡すので、食材管理記憶部608は、そのタッチパネル611を通じて入力された食材をも記憶する。
 送信情報生成部609は、情報処理装置1から、近距離無線通信部602を通じて在庫食材の情報の取得要求を受け取ると、食材管理記憶部608に記憶されている在庫食材の情報を読み出して、近距離無線通信部602を通じて情報処理装置1に送信する。
 <食事状況検出装置7の構成例>
 図1に示すように、食事状況検出装置7は、料理が載置されるテーブル7Tの表面に設けられる位置検出センサ7Sと、テーブル7Tの表面を、その上方から撮影するように配設されるカメラ7CMと、位置検出センサ7Sとインタラクションするインタラクション部を備える食器群7DSとを備える。また、登録対象者が装着しているウエアラブル端末51~54も、食事状況検出装置7の一部の構成要素とされている。カメラ7CMは、テーブル7Tの表面全体及びテーブル7Tに着いている登録対象者を撮影することができる位置、例えばテーブル7Tの上方の天井に取り付けられており、食事状況検出装置7に設けられる通信部と無線通信する機能を備えている。
 この例の位置検出センサ7Sは、前述した情報処理装置1の位置検出センサ13と同様に、電磁誘導方式のものとされている。そして、食器群7DSは、図1の例では、箸71、フォーク72、スプーン73及び皿74からなり、それぞれには、位置検出センサ7Sで電磁誘導結合するためのインタラクション部として、コイルとコンデンサとからなる共振回路71RC、72RC,73RC,74RCが装着されている。
 図9に、食事状況検出装置7の構成例を示す。位置検出センサ7Sは、図示は省略するが、図1に示したものと同様の構成を有し、信号送受信処理部701に接続されて、位置検出部を構成している。そして、信号送受信処理部701は、処理制御部702に接続される。
 そして、図1において説明したのと同様にして、信号送受信処理部701は、位置検出センサ7Sを通じて所定の周波数の信号を送信し、食器群7DSの各食器71~74の共振回路71RC~74RCから帰還される信号を受信することで、食器群7DSの各食器71~74の位置検出センサ7S上の位置、つまり、テーブル7Tの表面上の位置を検出することで、食器群7DSの各食器71~74の動きを検出する。この場合に、食器群7DSの各食器71~74の共振回路71RC~74RCの共振周波数は、互いに異なるように構成されている。このため、信号送受信処理部701では、各食器71~74の位置を個別に検出することができる。
 この場合に、登録対象者が食事時にテーブル7Tに対して着席するときには、それぞれテーブル7Tに対して同じ着席位置となり、各登録対象者用の食器群7DSのテーブル7T上の位置及びその動き範囲が各登録対象者毎に定まっている。例えば父親は、テーブル7Tの上座の位置に着席し、その横に母親が着席し、父親と対面側に姉と太郎が着席するというようになる。
 そこで、この実施形態では、図示は省略するが、位置検出センサ7Sの検出エリアは、各登録対象者の着席位置に対応した所定範囲のエリアに分けることができる。したがって、食器群7DSは、各登録対象者で同じものを使用するとした場合でも、それぞれの所定範囲のエリアにおける食器群7DSの位置及びその動きを、対応する登録対象者の食事中の所作に対応するものとして検出することができる。この食器群7DSの動きと共に、カメラ7CMの撮影情報とを参照することで、各登録対象者の嗜好を判断することができる。
 すなわち、人は、食事中には、好き嫌いに応じた所作をすることが多く、箸、フォーク、スプーン、皿などの食器の動きは、その所作に応じたものとなる。例えば、人は、好きな料理に対しては、箸、フォーク、スプーンを頻繁に動かして食べる所作をする。これに対して、嫌いなものには、手を付けなかったり、いやいやながらであるので、ゆっくりと箸、フォーク、スプーンを頻繁に動かして食べる所作をしたりする。したがって、この食器群7DSの動きと共に、カメラ7CMの撮影情報、さらに、この例ではウエアラブル端末51~54からの生体情報を参照することで、各登録対象者の嗜好を判断することができる。
 こうして、信号送受信処理部701では、各登録対象者毎の食事中の所作を、それぞれの食器群7DSの位置及び動きの情報として検出するようにする。そして、信号送受信処理部701は、検出した各登録対象者毎の食事中の所作に応じたそれぞれの食器群7DSの位置及び動きの情報を、各登録対象者の識別情報に対応付けて、処理制御部702に供給する。
 処理制御部702は、コンピュータを備えて構成されているもので、この例では、この処理制御部702には、情報処理装置1の近距離無線通信部181と無線通信するための近距離無線通信部703と、カメラ7CMの無線通信部と無線通信するための近距離無線通信部704と、登録対象者が装着しているウエアラブル端末51~54と無線通信するための近距離無線通信部705とが接続されている。近距離無線通信部703、704及び705は、この例では、ブルートゥース(登録商標)規格の無線通信を行うもので構成される。
 処理制御部702は、また、カメラ7CMから、食事中の撮影情報を近距離無線通信部704を通じて取得する。さらに、処理制御部702は、近距離無線通信部705を通じて各登録対象者の食事中の生体情報を取得する。各登録対象者の生体情報は、時分割で各登録対象者のウエアラブル端末51~54に取得要求することで、それぞれ個別に取得するようにする。
 そして、処理制御部702は、以上のようにして食事中に取得した、各登録対象者の食事中の所作に応じたそれぞれの食器群7DSの位置及び動きの情報と、各登録対象者の生体情報とを、それぞれ登録対象者の識別情報に対応付けて、カメラ7CMの撮影情報と共に、食事状況情報として、近距離無線通信部703を通じて情報処理装置1に送信する。
 <情報処理装置1の処理の流れの例の説明>
 図10~図14は、この実施形態の情報処理装置1において、処理制御部16が実行する処理動作の流れの例を説明するための図である。
 処理制御部16は、マーカー付位置指示器2による位置検出センサ13に対する位置指示入力による筆記入力を検知したか否か検出する(ステップS101)。このステップS101で、筆記入力を検知したと判別したときには、処理制御部16は、位置検出センサ13の検出エリアの内の当該筆記入力を検知したエリアがどのエリアであるかを検出する(ステップS102)。
 そして、処理制御部16は、図5に示したテーブル情報TBLを参照して、検出したエリアが、「共通用途」が設定されている部分表示エリアAR5に対応する部分入力エリア(共通エリア)であるか判別し(ステップS103)、「共通用途」が設定されている部分表示エリアAR5に対応する部分入力エリアであると判別したときには、情報格納メモリ16DMの、当該部分表示エリアAR5に対応する記憶エリアM5に、検知した筆記入力による筆記データを、検出した筆記入力の共振周波数に応じた消去可否の情報と共に格納する(ステップS104)。
 次に、処理制御部16は、消しゴム機能部材3による消去入力を検出したか否か判別し(ステップS105)、消去入力を検出したと判別したときには、消去入力により指示された部分に対応する筆記データを、削除する(ステップS106)。ここでは、ペン筆記入力の終了前であるので、筆記データについての消去可否の情報に関係なく、消去入力により指示された部分に対応する筆記データを消去する。なお、筆記入力終了後の後の時点で、消しゴム機能部材3によりインク筆記を消す操作がなされたときには、筆記データについての消去可否の情報に基づいて、筆記データを併せて消去するか否かを判断するものである。
 ステップS105で消去入力を検出しないと判別したとき、また、ステップS106で消去入力により指示された部分に対応する筆記データを削除した後には、処理制御部16は、マーカー付位置指示器2による筆記入力が終了したか否か判別し(ステップS107)、終了してはいないと判別したときには、処理をステップS104に戻す。ここで、ステップS107での筆記入力が終了したか否か判別は、マーカー付位置指示器2の使用者による筆記入力の明確な指示入力であってもよいし、ステップS102で検出されたエリアにおいて筆記入力が所定時間以上に亘って検出されなくなったことにより、筆記入力が終了したと判別するようにしてもよい。
 ステップS107で、マーカー付位置指示器2による筆記入力が終了したと判別したときには、処理制御部16は、「全エリアモード」となっているか否か判別する(ステップS108)。このステップS108で、「全エリアモード」となってはいないと判別したときには、処理制御部16は、筆記入力が検出された共通用途の部分表示エリアAR5に対応する部分入力エリアに対する筆記データの表示データを、当該部分表示エリアAR5に対応して設定されている全ての携帯端末、例えば携帯端末41~44に対して、送信する(ステップS109)。そして、処理制御部16は、処理をステップS101に戻す。
 また、ステップS108で、「全エリアモード」となっていると判別したときには、処理制御部16は、筆記入力が検出された共通用途の部分表示エリアAR5に対応する部分入力エリアに対する筆記データの表示データのみならず、表示画面11Dの表示エリアの表示されている表示データを、共通用途の部分表示エリアAR5に対応して設定されている全ての携帯端末、例えば携帯端末41~44に対して、送信する(ステップS110)。そして、処理制御部16は、処理をステップS101に戻す。
 また、ステップS103で、筆記入力を検出したのは、「共通用途」が設定されている部分表示エリアAR5に対応する部分入力エリアではないと判別したときには、処理制御部16は、図5に示したテーブル情報TBLを参照して、筆記入力を検出したのは、個人用途用の部分表示エリアAR1~AR4のいずれかに対応する部分入力エリア(個人用途用エリア)であるか否か判別する(図11のステップS121)。なお、このステップS121では、個人用途用の部分表示エリアに、見守り用途の部分表示エリアAR6、AR7を含めるようにしてもよい。
 このステップS121で、筆記入力を検出したのは、個人用途用の部分表示エリアAR1~AR4のいずれかに対応する部分入力エリアであると判別したときには、処理制御部16は、情報格納メモリ16DMの、検知した部分入力エリアに対応する記憶エリアに、検出した筆記データを、検出した筆記入力の共振周波数に応じた消去可否の情報と共に格納する(ステップS122)。そして、処理制御部16は、消しゴム機能部材3による消去入力を検出したか否か判別し(ステップS123)、消去入力を検出したと判別したときには、消去入力により指示された部分に対応する筆記データを消去する(ステップS124)。ここでは、ペン筆記入力の終了前であるので、筆記データについての消去可否の情報に関係なく、消去入力により指示された部分に対応する筆記データを消去する。
 ステップS123で消去入力を検出しないと判別したとき、また、ステップS124で消去入力により指示された部分に対応する筆記データを消去した後には、処理制御部16は、マーカー付位置指示器2による筆記入力が終了したか否か判別し(ステップS125)、終了してはいないと判別したときには、処理をステップS122に戻す。
 ステップS125で、マーカー付位置指示器2による筆記入力が終了したと判別したときには、処理制御部16は、「全エリアモード」となっているか否か判別する(ステップS126)。このステップS126で、「全エリアモード」となってはいないと判別したときには、処理制御部16は、筆記入力が検出された個人用途用の部分表示エリアに対応する部分入力エリアに対する筆記データの表示データを、当該個人用途用の部分表示エリアに対応して設定されている携帯端末に対して送信する(ステップS127)。そして、処理制御部16は、処理を図10のステップS101に戻す。
 また、ステップS126で、「全エリアモード」となっていると判別したときには、処理制御部16は、筆記入力が検出された個人用途用の部分表示エリアに対応する部分入力エリアに対する筆記データの表示データのみならず、表示画面11Dの表示エリアの表示されている表示データを、当該個人用途用の部分表示エリアに対応して設定されている携帯端末に対して送信する(ステップS128)。そして、処理制御部16は、処理を図10のステップS101に戻す。
 次に、図10のステップS101で、筆記入力を検知してはいないと判別したときには、処理制御部16は、電子メールの着信を検知したか否か判別する(図12のステップS141)。このステップS141で、電子メールの着信を検知したと判別したときには、処理制御部16は、送信元の電子メールアドレス情報により図5に示したテーブル情報TBLを参照して、着信してきたのが、登録されている携帯端末41~44、45K,56Kのいずれかであることを確認し、確認できたら電子メールを自動開封する(ステップS142)。
 そして、処理制御部16は、情報格納メモリ16DMの、ステップS142で確認した相手の携帯端末に対応する部分表示エリアに対応する記憶エリアに、受信データを格納する(ステップS143)。
 次に、処理制御部16は、ステップS142で確認した相手の携帯端末に対応する部分表示エリアに、受信データに基づく表示データによる表示を行う(ステップS144)。
 次に、処理制御部16は、受信した電子メールには、転送先の指定があるか否か判別する(ステップS145)。転送先の指定が無いと判別したときには、処理制御部16は、通信終了処理をし(ステップS147)、その後、処理を図10のステップS101に戻す。また、転送先の指定があると判別したときには、部分表示エリアAR1~AR5に対応して設定されている携帯端末の内、指定された携帯端末に、受信データを送信する(ステップS146)。ここで、転送先の指定が「共通」であるときには、それは部分表示エリアAR5に対応する複数個の携帯端末を転送先とする指定を意味し、受信データを送ってきた携帯端末を除く他の携帯端末に、受信データを送信する。そして、処理制御部16は、通信終了処理をし(ステップS147)、その後、処理を図10のステップS101に戻す。
 ステップS141で、携帯端末からの着信は検出してはいないと判別したときには、処理制御部16は、冷蔵庫6の食材在庫管理装置60からの在庫食材の情報を受信したか否か判別する(図13のステップS151)。このステップS151で、食材在庫管理装置60からの在庫食材の情報を受信したと判別したときには、受信した情報を用いて冷蔵庫6の在庫食材の情報の記憶を更新する(ステップS152)。
 そして、処理制御部16は、更新した在庫食材の情報について、予め必須として定められている食材の欠品が生じたか否かを判別する(ステップS153)。このステップS153で、欠品は生じていないと判別したときには、処理制御部16は、処理を図10のステップS101に戻す。また、ステップS153で、欠品が生じたと判別したときには、処理制御部16は、欠品となった食材の発注を、インターネット8を通じて行う(ステップS154)。その後、処理制御部16は、処理を図10のステップS101に戻す。
 また、ステップS151で、食材在庫管理装置60からの在庫食材の情報を受信してはいないと判別したときには、処理制御部16は、食事状況検出装置7からの食事状況情報を受信したか否か判別する(ステップS155)。このステップS155で、食事状況検出装置7からの食事状況情報を受信したと判別したときには、受信した食事状況検出装置7からの食事状況情報を、カメラ7CMの撮影情報と、各登録対象者の食事状況の情報(生体情報を含む)とに分けて、取得した日時情報と対応付けて記憶蓄積する(ステップS156)。その後、処理制御部16は、処理を図10のステップS101に戻す。
 また、ステップS155で、食事状況検出装置7からの食事状況情報を受信してはいないと判別したときには、処理制御部16は、登録対象者の嗜好情報の更新を行う必要があるか否か判別する(図14のステップS161)。このステップS161の判別処理は、この例では、食事状況検出装置7から新たな食事状況情報を受信したか否かにより行うようにする。
 ステップS161で、登録対象者の嗜好情報の更新を行う必要があると判別したときには、処理制御部16は、各登録対象者の食事状況の情報(生体情報を含む)とカメラ7CMの撮影情報とを、無線通信部171及びインターネット8を通じて、嗜好情報把握サーバ装置であるサーバ装置9Bに送信して、嗜好情報の取得要求をする(ステップS162)。
 この嗜好情報の取得要求に対しては、サーバ装置9Bからは、各登録対象者の嗜好情報が送られてくるので、処理制御部16は、その各登録対象者の嗜好情報を受信して、情報格納メモリ16DMの記憶エリアM9に記憶する(ステップS163)。その後、処理制御部16は、処理をステップS101に戻す。
 ステップS161で、登録対象者の嗜好情報の更新を行う必要はないと判別したときには、処理制御部16は、レシピ提案要求が発生したか否か判別し(ステップS164)、レシピ提案要求は発生してはいないと判別したときには、処理を図10のステップS101に戻す。
 そして、ステップS164で、レシピ提案要求が発生したと判別したときには、処理制御部16は、情報格納メモリ16DMの記憶エリアM8に格納している各登録対象者の生体情報を健康状態把握サーバ装置であるサーバ装置9Aに送って、健康状態の情報の取得要求をする(ステップS165)。
 この健康状態の情報の取得要求に対しては、サーバ装置9Aからは、各登録対象者の健康状態の情報が送られてくるので、処理制御部16は、その各登録対象者の健康状態の情報を受信して、情報格納メモリ16DMの記憶エリアM8に記憶する(ステップS166)。
 次に、処理制御部16は、記憶エリアM7に記憶した携帯端末41~44からのそれぞれの登録対象者のスケジュール情報から、料理を提供する必要がある登録対象者と、料理は何時に提供すべきかなどを把握する(ステップS167)。そして、処理制御部16は、把握した登録対象者の健康状態の情報及び嗜好情報と、把握した提供すべき時間と、在庫食材の情報とをレシピ提案サーバであるサーバ装置9Cに送信する(ステップS168)。
 そして、処理制御部16は、サーバ装置9Cから送られてくる複数個のレシピ情報を受信して、提案レシピとして、表示画面11Dの残余表示エリアARwに表示する(ステップS169)。その後、処理制御部16は、処理を図10のステップS101に戻す。
 <携帯端末41~44の処理の流れの例>
 図15~図17は、この実施形態の情報処理装置1と通信を行う携帯端末41~44において、通信制御処理部409が実行する処理動作の流れの例を説明するための図である。なお、通信制御処理部409の処理は、これら携帯端末41~44に予めインストールされているアプリケーションプログラムが実行する処理であり、使用者により、当該アプリケーションプログラムが起動されることにより、図15のスタートから処理が開始される。なお、以下の説明においては、図6の構成における制御部401が実行するものとして説明する。
 制御部401は、使用者により情報処理装置1宛ての電子メールの送信が選択されたか否か判別する(図15のステップS201)。このステップS201で、電子メールの送信が選択されたと判別したときには、制御部401は、電子メールの送信情報の生成用画面を表示部410の表示画面に表示し(ステップS202)、使用者によるタッチパネル411を通じた送信情報の入力を受け付ける(ステップS203)。この場合に、情報処理装置1に送る電子メールはスケジュールを通知する情報を含むものとされており、送信情報の生成用画面には、例えば当日の帰宅予定時間や食事の要、不要などの入力欄が、予め定められた特定位置の欄として含まれている。
 そして、制御部401は、使用者からの送信情報の入力の完了指示を受け取ったか否か判別し(ステップS204)、受け取っていないと判別したときには、処理をステップS203に戻して、使用者からの送信情報の入力の完了指示があるまで、送信情報の入力を受け付ける。
 ステップS204で、使用者からの送信情報の入力の完了指示を受け取ったと判別したときには、転送先の指定をするか否かの取り合わせをし、使用者からのその回答を待って転送先の指定要求があるか否かを判別する(ステップS205)。このステップS205で、転送先の指定要求があると判別したときには、制御部401は、例えば転送先として指定可能な相手先のリストを表示して、転送先の指定を受け付ける(ステップS206)。
 そして、制御部401は、使用者からの送信実行指示の受け付けを待ち(ステップS207)、送信実行指示を受け付けたと判別したときには、記憶されている情報処理装置1のアドレスに宛てて電子メールを送信する(ステップS208)。
 また、ステップS205で、転送先の指定要求はないと判別したときには、制御部401は、ステップS206の処理はバイパスして、ステップS207に進み、使用者からの送信実行指示の受け付けを待ち、送信実行指示を受け付けたと判別したときには、ステップS208で記憶されている情報処理装置1に宛てて電子メールを送信する。
 ステップS208の次には、制御部401は、通信制御処理部409のアプリケーションプログラムを終了するか否かを使用者に問い合わせ、その回答を待つことで判別し(ステップS209)、終了するとの回答が無いときには、処理をステップS201に戻し、終了するとの回答を得たときには、この処理ルーチンを終了する。
 また、ステップS201で、送信は選択されていないと判別したときには、制御部401は、電子メールの受信が選択されたか否か判別し(図16のステップS211)、電子メールの受信が選択されたと判別したときには、情報処理装置1から受信した電子メールの受信情報をリスト表示する(ステップS212)。次に、制御部401は、使用者によるそのリストからの受信情報の選択の受け付けを待ち、受信情報の選択が受け付けられたと判別したときには、当該選択された受信情報に基づいた表示を、表示部410の表示画面に表示する(して214)。
 そして、制御部401は、通信制御処理部409のアプリケーションプログラムを終了するか否かを使用者に問い合わせ、その回答を待つことで判別し(ステップS215)、終了するとの回答が無いときには、処理をステップS201に戻し、終了するとの回答を得たときには、この処理ルーチンを終了する。
 また、ステップS211で、電子メールの受信は選択されていないと判別したときには、制御部401は、生体情報の送信タイミングとなったか否か判別する(図17のステップS221)。このステップS221で、生体情報の送信タイミングとなっていないと判別したときには、制御部401は、処理を図15のステップS201に戻す。
 そして、このステップS221で、生体情報の送信タイミングになったと判別したときには、制御部401は、近距離無線通信部408と通信するように設定されているウエアラブル端末51~54の内の対応するものとの通信路を生成し(ステップS222)、ウエアラブル端末51~54の内の対応するものを装着している登録対象者の生体情報を取得する(ステップS223)。
 次に、制御部401は、生体情報を含めた送信情報を生成し(ステップS224)、生成した送信情報を含む電子メールを、記憶されている情報処理装置1のアドレスに宛てに送信する(ステップS225)。そして、制御部401は、処理を図15のステップS201に戻し、このステップS201以降の処理を繰り返す。
 <食事状況検出装置7の処理の流れの例>
 図18は、この実施形態の情報処理装置1と通信を行う食事状況検出装置7の処理制御部702が実行する処理動作の流れの例を説明するための図である。なお、処理制御部702の処理は、予めインストールされているアプリケーションプログラムが実行する処理であり、食事の開始時に使用者により食事状況検出装置7が起動されることにより、図18のスタートから処理が開始される。
 処理制御部702は、信号送受信処理部701からの、位置検出センサ7S上での食事中の各登録対象者の食器の位置変化の情報を取得する(ステップS301)。また、近距離無線通信部705で、食事中の各登録対象者の生体情報を取得する(ステップS302)。更に、カメラ7CMからの撮影情報を、近距離無線通信部704を通じて受信して取得する(ステップS303)。
 次に、使用者の終了指示を監視することで、食事が終了したか否か判別し(ステップS304)、食事が終了していないと判別したときには、処理制御部702は、処理をステップS301に戻す。また、ステップS304で、食事が終了したと判別したときには、処理制御部702は、各登録対象者の食器位置変化情報及び生体情報と、カメラ7CMの撮影情報とを、食事状況の情報として、近距離無線通信部703を通じて情報処理装置1に送信する(ステップS305)。以上で、この処理ルーチンを終了する。
 <実施形態の効果>
 以上説明したように上述の実施形態の情報処理装置1においては、表示画面11Dの表示エリアは、当該情報処理装置1と通信とする装置として予め設定登録されている複数の携帯端末41~44のそれぞれの通信アドレスと対応付けられている部分表示エリアAR1~AR4を備えるように構成されている。そして、各部分表示エリアAR1~AR4においては、その部分表示エリアAR1~AR4が対応付けられている携帯端末41~44からの受信情報を表示する。また、位置検出センサ13の検出エリアは、各部分表示エリアAR1~AR4に対応する部分入力エリアを有するように構成され、その部分入力エリアにおいて筆記入力された筆記データは、対応する部分表示エリアAR1~AR4に対応付けられた携帯端末に送信されるようにされている。
 したがって、情報処理装置1の表示画面11Dの各部分表示エリアAR1~AR4を見るだけで、それぞれの部分表示エリアAR1~AR4に対応付けられている携帯端末41~44の使用者からのスケジュール情報などの受信情報を確認することができて便利である。そして、部分表示エリアAR1~AR4に対応付けられている携帯端末41~44の使用者へは、部分表示エリアAR1~AR4に対応する部分入力エリアに送信したい情報を筆記入力することで、送信することができて、非常に便利である。例えば、スケジュール情報を送ってきていない登録対象者に、スケジュール情報の送信を要求するメッセージを、当該登録対象者に対応する部分入力エリア(部分表示エリア)で筆記入力をすることで送信することができる。
 また、上述の実施形態の情報処理装置1では、部分表示エリアを共通エリアとして設定することができて、当該共通エリアにおける筆記入力の筆記データは、予め設定登録されている複数の携帯端末41~44の全てに送信されるので、非常に便利である。例えばスケジュール情報の送信を要求するメッセージを、当該共通エリアで筆記入力すれば、登録対象者の全てに送信することができる。
 また、上述の実施形態の情報処理装置1では、登録対象者からのスケジュール情報と、健康状態の情報と、嗜好情報とを取得することができ、これらのスケジュール情報と、健康状態の情報と、嗜好情報とから、適切な料理を提案することが可能となるという効果を奏する。
 また、上述の実施形態の情報処理装置1では、各登録対象者からの生体情報を定期的に取得して、各登録対象者の健康状態の情報を常に監視することができるという効果もある。更に、上述の実施形態の情報処理装置1では、食事状況検出装置7からの食事状況の情報に基づいて、各登録対象者の嗜好情報を取得するようにしているので、各登録対象者の嗜好の変化にも対応することが可能であるという効果もある。
 [他の実施形態または変形例]
 上述の実施形態では、食事状況検出装置7は、テーブル7Tの表面の全面を位置検出エリアとする位置検出センサ7Sを、テーブル7Tに設けるようにしたが、各登録対象者の食事中における食器の位置変化の情報を検出するための構成は、この例のような大型の位置検出センサ7Sを用いるものに限られるものではない。
 図19は、他の例の食事状況検出装置を示すものである。この例の食事状況検出装置においては、上述した例の食事状況検出装置7とは、食器群7DSの動きを検出するための位置検出センサの構成が異なる。
 すなわち、この図19の例の食事状況検出装置においては、各登録対象者毎に、料理を載置するランチョンマット装置61~64を用意する。このランチョンマット装置61~64のそれぞれは、料理が載置される敷物(ランチョンマット)の裏側に、この例では電磁誘導方式の位置検出センサが設けられていると共に、信号送受信処理部(図9の例における信号送受信処理部701と同様)が設けられているものであり、その位置検出出力には、装置識別情報(装置ID)が付与されている。そして、この図19の例の食事状況検出装置では、各ランチョンマット装置61~64が、図8の例において、位置検出センサ7S及び信号送受信処理部701に代わって処理制御部702に接続される構成とされている。処理制御部702に近距離無線通信部703,704,705が接続されているのは、この図19の例の場合の食事状況検出装置においても同様である。
 したがって、この図19の例の場合の食事状況検出装置では、処理制御部702は、ランチョンマット装置61~64からの位置検出出力を、各登録対象者についての食器群7DSの位置変化の情報として受け取る。そして、処理制御部702は、受け取った各登録対象者毎の食器群7DSの位置変化の情報と、各登録対象者毎の生体情報と、カメラ7CMの撮影情報を、情報処理装置1に送信するようにする。
 この図19の例の食事状況検出装置においては、テーブル7T上には、ランチョンマット装置61~64の内の、食事を行う登録対象者用のランチョンマット装置を敷くようにすればよい。
 なお、上述の図19の例の説明では、ランチョンマット装置61~64は、ランチョンマットの裏側に位置検出センサを配設する構成としたが、ランチョンマットを織物として、位置検出センサを構成する導線(被覆導線)を織り込むように構成してもよい。この場合に、被覆導線の被覆部を柔らかい繊維を用いたものにより織物を作成して、ランチョンマットを作成するようにしてもよいし、被覆導線と繊維の糸とを対としたものにより織物を作成して、ランチョンマットを作成するようにしてもよい。
 また、図19の例の食事状況検出装置において、ランチョンマットではなく、各登録対象者毎のお盆や、個人用の卓などに、位置検出センサ及び信号送受信処理部からなる位置検出部を設けるようにした構成とすることもできる。
 なお、上述の実施形態の情報処理装置1と携帯端末との間では、テキスト情報や画像情報などの表示可能な情報を通信の対象とするように説明したが、音声情報も通信の対象に含めても勿論よい。その場合には、情報処理装置1には、携帯端末の電話機能と通話をするための回路部を設けると共に、送話器(マイクロフォン)の機能と受話器(スピーカ)の機能を設けるようにしてもよい。
 また、上述の実施形態の情報処理装置1に、携帯端末と通信するための無線通信部を2個設け、それら2個の無線通信部を用いることで、情報処理装置1を介して、2個の携帯端末間で、情報の通信を行うように構成することもできる。例えば、「父」が、携帯端末41で2個の無線通信部の一方を用いて情報処理装置1と通信しているときに、例えば、「太郎」に通信したい要求が発生し、「太郎」を通信相手として情報処理装置1に要求すると、情報処理装置1は、空いている他方の無線通信部で「太郎」の携帯端末44との間で通信路を接続し、「父」の携帯端末41から送られてくる情報を、「太郎」の携帯端末44に送信したり、「太郎」の携帯端末44から送られてくる情報を、「父」の携帯端末41に送信したりするようにすることができる。
 また、上述の実施形態の情報処理装置1では、位置検出センサ13に対して位置指示する位置指示器は、マーカー付位置指示器2を用いる構成として、表示画面11D上の透明パネルを設けるようにしたが、位置指示器は、透明パネル12の表面12aにインク筆記をする機能を有してはいなくてもよい。
 また、上述の実施形態では、位置検出センサは、電磁誘導結合方式のものを用いるようにしたが、位置指示器を例えば位置検出用信号を位置検出センサに対して送信するアクティブ静電方式のものとして、静電結合方式のもので構成してもよい。
 また、上述の実施形態では、情報処理装置1と携帯端末との間での電子メール通信の場合を例に説明したが、この発明の情報処理装置と携帯端末との間での通信は、電子メール通信に限られるものではないことは言うまでもない。
 携帯端末は、高機能携帯電話端末に限られる訳ではなく、表示部及び制御部を備えると共に、通信機能を備える端末であれば、どのような端末であってもよい。
 1…情報処理装置、2…マーカー付位置指示器、3…消しゴム機能部材、6…冷蔵庫、7…食事状況検出装置、7DS…食器群、7CM…カメラ、9A,9B,9C…サーバ装置、11…表示デバイス、11D…表示画面、12…透明パネル、13…位置検出センサ、14…制御回路基板、41~44…携帯端末、51~54…ウエアラブル端末、60…食材在庫管理装置、AR1~AR5…部分表示エリア

Claims (20)

  1.  情報処理装置と、食材を保管する食材保管装置に設けられる食材在庫管理装置と、予め定められた対象者の、提供された料理を食事中の様子を検出するための食事状況検出装置と、を備える情報処理システムであって、
     前記情報処理装置は、
     表示画面を備える表示部と、
     前記対象者が携帯する携帯端末と通信を行うための第1の通信部と、
     前記食材在庫管理装置と通信を行うための第2の通信部と、
     前記食事状況検出装置と通信を行うための第3の通信部と、
     前記第1の通信部を通じて取得した情報と、前記第2の通信部から取得した情報と、前記第3の通信部から取得した情報とから、前記対象者に提供する料理の情報を前記表示部の表示画面に表示して提案する提案部と、
     を備えることを特徴とする情報処理システム。
  2.  前記情報処理装置は、
     前記第1の通信部で受信した前記対象者の前記携帯端末からの情報から、前記対象者のスケジュールを認識するスケジュール認識部と、
     前記第1の通信部で受信した前記対象者の前記携帯端末からの情報に含まれる前記対象者の生体情報から、前記対象者の健康状態を把握する健康状態把握部と、
     前記第2の通信部で前記食材在庫管理装置から取得した情報から、前記食材保管装置に保管されている食材を把握する食材把握部と、
     前記第3の通信部で前記食事状況検出装置から受信した情報から、前記対象者の前記提供された料理に対する嗜好情報を生成して、蓄積する嗜好情報蓄積部と、
     を備え、
     前記提案部は、前記スケジュール認識部で得た前記対象者のスケジュールの情報と、前記健康状態把握部で把握した前記対象者の健康状態の情報と、前記食材把握部で把握した前記食材の情報と、前記嗜好情報蓄積部からの前記対象者の前記嗜好情報とから、前記対象者に提供する料理を前記表示部の表示画面に表示して提案する
     ことを特徴とする請求項1に記載の情報処理システム。
  3.  前記情報処理装置においては、前記表示部の前記表示画面の表示エリア内に、互いに異なる領域からなる複数の部分表示エリアが設定されていると共に、前記部分表示エリアのそれぞれに、前記対象者が携帯する携帯端末のそれぞれを対応付けて管理しており、
     前記情報処理装置は、前記部分表示エリアのそれぞれには、当該部分表示エリアに対応した前記携帯端末と前記第1の通信部を通じて通信される情報を表示するように制御する制御部を備える
     ことを特徴とする請求項1に記載の情報処理システム。
  4.  前記情報処理装置は、
     位置指示器による指示位置を検出する位置検出部を備え、
     前記表示部の前記表示画面と前記位置検出部の位置検出センサとは重畳する状態で配設されており、前記表示画面の表示エリアは、前記位置検出センサにおける前記位置指示器による前記位置指示のための入力エリアとなっており、
     前記位置検出センサの入力エリアについては、前記表示画面の前記複数の前記部分表示エリアに重畳して対応する複数の部分入力エリアが設定されており、
     前記位置検出部で、前記複数の部分入力エリアの内のいずれかにおいて前記位置指示器による指示位置の入力が検出されたときには、前記制御部は、前記位置検出部で検出された前記位置指示器によって入力された情報を、前記部分入力エリアに対応する前記部分表示エリアに対応する携帯端末に対して送信する
     ことを特徴とする請求項1に記載の情報処理システム。
  5.  前記情報処理装置の前記表示部の表示画面の上面には、透明のカバー部材が配設されており、
     前記位置指示器は、前記カバー部材上にインク筆記を行う筆記部と、前記位置検出センサとの間で信号のやり取りを行うインタラクション部とを備える
     ことを特徴とする請求項4に記載の情報処理システム。
  6.  前記食材在庫管理装置は、食材を前記食材保管装置に入庫するときに当該入庫された食材を検出する入庫食材検出部と、保管されている前記食材を前記食材保管装置から出庫したときに当該出庫された食材を検出する出庫食材検出部と、前記入庫食材検出部の検出結果と、前記出庫食材検出部の検出結果から、保管されている在庫食材を検出して、前記在庫食材の情報を、前記情報処理装置に送信する送信部とを備える
     ことを特徴とする請求項1に記載の情報処理システム。
  7.  前記情報処理装置は、前記食材把握部で把握した前記食材に基づいて、特定の食材が前記保管されている在庫食材に含まれていないときには、通信部を通じて前記特定の食材を発注する発注部を備える
     ことを特徴とする請求項6に記載の情報処理システム。
  8.  前記食事状況検出装置は、前記料理が載置されるテーブルの上面に配設されている位置検出センサと、前記位置検出センサと信号のインタラクションを行うことで、前記位置検出センサの検出エリア内における位置を指示することが可能な位置指示部を備える食器と、前記位置検出センサ上における前記食器の位置及び動きを検出する位置検出部と、前記情報処理装置に前記位置検出部で検出した位置情報を送出する送信部とを備える
     ことを特徴とする請求項1に記載の情報処理システム。
  9.  前記食器が備える前記位置指示部は、前記対象者毎に異なる識別情報を備え、前記位置検出部は、前記食器の位置及び動きを、前記識別情報に対応付けて検出し、前記送信部を通じて前記情報処理装置における前記位置情報には、前記識別情報を付加する
     ことを特徴とする請求項8に記載の情報処理システム。
  10.  前記食事状況検出装置は、前記料理が載置されるテーブルの上面及び前記テーブルを囲む前記対象者を撮影するカメラと、前記カメラの撮像画像を前記情報処理装置に送信する送信部とを備える
     ことを特徴とする請求項1に記載の情報処理システム。
  11.  前記対象者は、前記対象者の生体情報を検出する機能を備えるウエアラブル端末を装着しており、
     前記対象者が携帯する前記携帯端末は、前記ウエアラブル端末から取得した前記生体情報を、前記情報処理装置に定期的に送信する手段を備える
     ことを特徴とする請求項1に記載の情報処理システム。
  12.  前記対象者は、前記対象者の生体情報を検出する機能を備えるウエアラブル端末を装着しており、
     前記食事状況検出装置は、前記ウエアラブル端末と通信して前記生体情報を取得する手段と、前記取得した生体情報を、前記送信部を通じて前記情報処理装置に送信する手段とを備える
     ことを特徴とする請求項8に記載の情報処理システム。
  13.  前記提案部は、前記スケジュールの情報と、前記健康状態の情報と、前記食材の情報と、前記嗜好情報とを、通信ネットワークを通じて料理レシピ提供サーバに送信し、前記料理レシピ提供サーバから送られてくる前記提供する料理のレシピ情報を、前記表示部の表示画面に表示する
     ことを特徴とする請求項1に記載の情報処理システム。
  14.  前記食事状況検出装置は、前記対象者毎のそれぞれ毎のテーブル敷として、位置検出センサと、前記位置検出センサと信号のインタラクションを行うことで、前記位置検出センサの検出エリア内における位置を指示することが可能な位置指示部を備える食器と、前記位置検出センサ上における前記食器の位置及び動きを検出する位置検出部と、前記情報処理装置に前記位置検出部で検出した位置情報を送出する送信部とを備える
     ことを特徴とする請求項1に記載の情報処理システム。
  15.  前記健康状態把握部は、前記生体情報を、通信ネットワークを通じて健康状態検出サーバに送信し、前記健康状態検出サーバから送られてくる前記対象者の健康状態の情報を取得して把握する
     ことを特徴とする請求項2に記載の情報処理システム。
  16.  前記嗜好情報蓄積部は、前記食事状況検出装置から受信した情報を、通信ネットワークを通じて嗜好情報検出サーバに送信し、前記嗜好情報検出サーバから送られてくる前記対象者の嗜好情報を蓄積する
     ことを特徴とする請求項2に記載の情報処理システム。
  17.  前記食事状況検出装置が備える前記位置検出センサ及び前記位置検出部は、電磁誘導結合方式に対応するものである
     ことを特徴とする請求項8または請求項14に記載の情報処理システム。
  18.  前記食事状況検出装置が備える前記位置検出センサ及び前記位置検出部は、静電結合方式に対応するものである
     ことを特徴とする請求項8または請求項14に記載の情報処理システム。
  19.  情報処理装置と、食材を保管する食材保管装置に設けられる食材在庫管理装置と、予め定められた対象者の、提供された料理を食事中の様子を検出するための食事状況検出装置とを備える情報処理システムにおける前記情報処理装置であって、
     表示画面を備える表示部と、
     前記対象者が携帯する携帯端末と通信を行うための第1の通信部と、
     前記食材在庫管理装置と通信を行うための第2の通信部と、
     前記食事状況検出装置と通信を行うための第3の通信部と、
     前記第1の通信部を通じて取得した情報と、前記第2の通信部から取得した情報と、前記第3の通信部から取得した情報とから、前記対象者に提供する料理の情報を前記表示部の表示画面に表示して提案する提案部と、
     を備えることを特徴とする情報処理装置。
  20.  前記第1の通信部で受信した前記対象者の前記携帯端末からの情報から、前記対象者のスケジュールを認識するスケジュール認識部と、
     前記第1の通信部で受信した前記対象者の前記携帯端末からの情報に含まれる前記対象者の生体情報から、前記対象者の健康状態を把握する健康状態把握部と、
     前記第2の通信部で前記食材在庫管理装置から取得した情報から、前記食材保管装置に保管されている食材を把握する食材把握部と、
     前記第3の通信部で前記食事状況検出装置から受信した情報から、前記対象者の前記提供された料理に対する嗜好情報を生成して、蓄積する嗜好情報蓄積部と、
     を備え、
     前記提案部は、前記スケジュール認識部で得た前記対象者のスケジュールの情報と、前記健康状態把握部で把握した前記対象者の健康状態の情報と、前記食材把握部で把握した前記食材の情報と、前記嗜好情報蓄積部からの前記対象者の前記嗜好情報とから、前記対象者に提供する料理を前記表示部の表示画面に表示して提案する
     ことを特徴とする請求項19に記載の情報処理装置。
PCT/JP2020/003907 2019-04-05 2020-02-03 情報処理システム WO2020202767A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021511163A JPWO2020202767A1 (ja) 2019-04-05 2020-02-03
US17/448,510 US20220005130A1 (en) 2019-04-05 2021-09-22 Information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-072567 2019-04-05
JP2019072567 2019-04-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/448,510 Continuation US20220005130A1 (en) 2019-04-05 2021-09-22 Information processing system

Publications (1)

Publication Number Publication Date
WO2020202767A1 true WO2020202767A1 (ja) 2020-10-08

Family

ID=72667931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003907 WO2020202767A1 (ja) 2019-04-05 2020-02-03 情報処理システム

Country Status (3)

Country Link
US (1) US20220005130A1 (ja)
JP (1) JPWO2020202767A1 (ja)
WO (1) WO2020202767A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351789A (ja) * 2001-03-21 2002-12-06 Sharp Corp 電子メール送受信システム及び電子メール送受信プログラム
JP2013250699A (ja) * 2012-05-31 2013-12-12 Nikon Corp 献立支援装置、献立支援方法
JP2015081762A (ja) * 2013-10-24 2015-04-27 三菱電機株式会社 冷蔵庫
JP2015153286A (ja) * 2014-02-18 2015-08-24 三菱電機株式会社 情報提供装置および情報提供方法
US20160026425A1 (en) * 2014-07-23 2016-01-28 Lg Electronics Inc. Mobile terminal and control method for the mobile terminal
JP2017221640A (ja) * 2016-06-13 2017-12-21 パナソニックIpマネジメント株式会社 機器制御システム、ウェアラブルデバイス、情報処理装置、香料吹き出し方法および機器制御方法
US20180033074A1 (en) * 2016-07-31 2018-02-01 International Business Machines Corporation System, method, and recording medium for recipe and shopping list recommendation
US20180232785A1 (en) * 2017-02-16 2018-08-16 Wipro Limited Method and system for obtaining interactive user feedback in real-time

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11478096B2 (en) * 2016-04-28 2022-10-25 Koninklijke Philips N.V. Food monitoring system
US11080775B2 (en) * 2017-09-01 2021-08-03 International Business Machines Corporation Recommending meals for a selected group
US11353259B2 (en) * 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351789A (ja) * 2001-03-21 2002-12-06 Sharp Corp 電子メール送受信システム及び電子メール送受信プログラム
JP2013250699A (ja) * 2012-05-31 2013-12-12 Nikon Corp 献立支援装置、献立支援方法
JP2015081762A (ja) * 2013-10-24 2015-04-27 三菱電機株式会社 冷蔵庫
JP2015153286A (ja) * 2014-02-18 2015-08-24 三菱電機株式会社 情報提供装置および情報提供方法
US20160026425A1 (en) * 2014-07-23 2016-01-28 Lg Electronics Inc. Mobile terminal and control method for the mobile terminal
JP2017221640A (ja) * 2016-06-13 2017-12-21 パナソニックIpマネジメント株式会社 機器制御システム、ウェアラブルデバイス、情報処理装置、香料吹き出し方法および機器制御方法
US20180033074A1 (en) * 2016-07-31 2018-02-01 International Business Machines Corporation System, method, and recording medium for recipe and shopping list recommendation
US20180232785A1 (en) * 2017-02-16 2018-08-16 Wipro Limited Method and system for obtaining interactive user feedback in real-time

Also Published As

Publication number Publication date
US20220005130A1 (en) 2022-01-06
JPWO2020202767A1 (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
CN104205137B (zh) 向与产品相关的装置提供控制信息的系统和方法
EP3037995A2 (en) Mobile terminal and method for controlling the same
CN102428418B (zh) 被适配成与远程设备交互地进行通信的交互设备
CN105007291B (zh) 信息提醒方法、装置、智能终端和可穿戴设备
US20110102352A1 (en) Generating a message to be transmitted
CN108958841A (zh) 一种桌面挂件的设置方法及移动终端
CN108172273A (zh) 一种基于访客的冰箱食材推荐方法
CN109660674B (zh) 一种设置闹钟的方法和电子设备
WO2020202767A1 (ja) 情報処理システム
CN105515940B (zh) 信息交互方法及装置
JP6039642B2 (ja) 記録確立システム及び記録確立方法
CN109710786A (zh) 一种点餐方法、移动终端及服务器
JP2014164348A (ja) 血糖管理システム及び血糖管理方法
CN107705221A (zh) 控制方法、控制系统、智能餐厅系统
JP7452524B2 (ja) 情報処理装置、及び情報処理方法
JP6902687B1 (ja) 空席管理システム、情報処理装置、情報処理方法
JP6998525B1 (ja) 制御方法、情報端末、プログラム、及び記録媒体
CN112424731B (zh) 信息处理设备,信息处理方法和记录介质
JP2006235798A (ja) 配膳支援方法、配膳支援システム、及び配膳支援装置
CN113987327A (zh) 一种社交化的菜品烹制方法和装置
JP2005346525A (ja) 在庫管理システム
JP6928511B2 (ja) 携帯端末、物品注文提供システム
TW201801029A (zh) 伺服器、點餐系統及方法
JP6065072B2 (ja) 情報処理装置及びプログラム
JP7457694B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20784516

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021511163

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20784516

Country of ref document: EP

Kind code of ref document: A1