JP7385845B2

JP7385845B2 - Weight detection device and weight detection program

Info

Publication number: JP7385845B2
Application number: JP2020075494A
Authority: JP
Inventors: 功一中山; 弘喜中島
Original assignee: Saga University NUC
Current assignee: Saga University NUC
Priority date: 2020-04-21
Filing date: 2020-04-21
Publication date: 2023-11-24
Anticipated expiration: 2040-04-21
Also published as: JP2021173558A

Description

本発明は、撮像情報及び重量情報を用いて食器内の食材の重量を検出する重量検出装置等に関する。 The present invention relates to a weight detection device and the like that detects the weight of food in tableware using imaging information and weight information.

介護施設や医療現場において摂取された食事量の管理が重要であるが、現状は人手不足等の理由により厳密に管理するのが困難な状況である。そのため、手間を掛けずに且つ正確な食事量の管理を行う技術が強く望まれている。残食の管理に関する技術として、例えば特許文献１、２に示す技術が開示されている。 Although it is important to control the amount of food consumed in nursing care facilities and medical settings, it is currently difficult to strictly control the amount of food consumed due to a lack of manpower and other reasons. Therefore, there is a strong demand for technology that can accurately manage meal amounts without requiring much effort. As techniques related to leftover food management, for example, techniques shown in Patent Documents 1 and 2 are disclosed.

特許文献１に示す技術は、消費者に食品を提供する食品提供システムを前提にしており、情報サービスセンター内の記憶手段は回収した食品によって判別された残食情報を記憶し、情報サービスセンター内のメニュー決定手段は上記残食情報に基づいてメニューを決定し、残食情報に基づいてメニューを決定することで、消費者の嗜好に応じたメニュー、あるいは、栄養状態を考慮したメニューを確実に提供するものである。 The technology shown in Patent Document 1 is based on a food provision system that provides food to consumers, and the storage means in the information service center stores leftover information determined by collected food. The menu determining means determines the menu based on the leftover food information, and by determining the menu based on the leftover food information, it ensures that the menu is tailored to the consumer's preferences or takes into account the nutritional status. This is what we provide.

特許文献２に示す技術は、医療情報が格納された医療サーバ、患者向け情報送出装置、医療スタッフが識別コードを入力することによって担当する患者の医療情報の読み書きを行うことのできる医療スタッフ用端末装置、及び、患者向け情報送出装置からの情報を受信可能であり、各患者がベッド上で操作し且つ表示面を見ることのできるようにそれぞれ設置された複数の患者用端末装置を有し、各患者用端末装置は、医療スタッフが識別コードを入力することによって、医療サーバにアクセスして当該医療スタッフの担当する患者の医療情報の読み書きを行うことが可能に構成されてなるものである。 The technology disclosed in Patent Document 2 includes a medical server storing medical information, a patient information sending device, and a terminal for medical staff that allows the medical staff to read and write medical information of the patients they are in charge of by inputting an identification code. The patient terminal device is capable of receiving information from the device and the patient information transmitting device, and has a plurality of patient terminal devices each installed so that each patient can operate it on the bed and see the display screen, Each patient terminal device is configured so that by inputting an identification code, the medical staff can access the medical server and read and write medical information for the patients in charge of the medical staff.

特開２００３－７６７５５号公報Japanese Patent Application Publication No. 2003-76755 特開平１１－１８４９５６号公報Japanese Patent Application Publication No. 11-184956

上記特許文献１及び２には、残食を管理するためにトレイに残っている食品や食器の状態の映像情報を用いることが記載されているものの、その具体的な手法については一切記載されていない。 Although Patent Documents 1 and 2 mentioned above describe the use of video information about the state of food and tableware remaining on trays to manage leftover food, they do not describe any specific methods. do not have.

ここで、カメラの撮影による残食の管理について発明者らが研究した結果、映像だけで残食の状態を解析するのが極めて困難であることがわかった。具体的には、例えば味噌汁のような混濁した食品の場合、汁のみが残っているのか中の具材も残っているのか映像だけで判断するのは不可能である。また例えば、食材は摂取しているものの、色が付いたソースのみが食器に残っている状態と食材自体を残している状態との区別は映像だけで判断するのが極めて困難である。その他にも流動食の摂取量の判別や果物（皮だけが残っている状態か果肉も残っている状態か）の判別等、実際に実験・研究を行った結果、映像だけで残食を確認することが極めて困難であることがわかっている。 As a result of the inventors' research on managing leftover food through camera photography, they found that it is extremely difficult to analyze the state of leftover food using only images. Specifically, for example, in the case of a cloudy food such as miso soup, it is impossible to judge from the image alone whether only the soup or the ingredients remain. Furthermore, for example, it is extremely difficult to distinguish between a state in which only colored sauce remains on the dish and a state in which the food itself remains on the tableware, even though the food has been ingested, based only on images. In addition, as a result of actual experiments and research, such as determining the intake amount of liquid food and determining whether it is fruit (with only the skin or pulp remaining), we have confirmed the presence of leftover food just by visualizing it. It has proven extremely difficult to do so.

本発明は、食器の配置情報を撮像情報から取得し、別途重量情報を取得することで、残食量や摂取量を算出することが可能となる重量検出装置及び重量検出プログラムを提供する。 The present invention provides a weight detection device and a weight detection program that make it possible to calculate the amount of leftover food and intake amount by acquiring tableware arrangement information from imaging information and separately acquiring weight information.

本発明に係る重量検出装置は、トレイに載置された食器を撮像した撮像情報を取得する撮像情報取得手段と、前記食器を含む前記トレイが載置される少なくとも三つ以上の直線上にない重量計からの重量情報を取得する重量情報取得手段と、前記撮像情報から前記トレイにおける前記食器の位置情報、及び前記トレイにおける前記重量計の位置情報を求める位置算出手段と、算出された前記食器の位置情報、前記重量計の位置情報及び前記重量情報に基づいて、前記食器の重量を算出する重量算出手段とを備えるものである。 The weight detection device according to the present invention includes an imaging information acquisition means for acquiring imaging information obtained by imaging tableware placed on a tray, and at least three or more straight lines on which the trays containing the tableware are placed. weight information acquisition means for acquiring weight information from a weighing scale; position calculation means for determining positional information of the tableware on the tray and positional information of the weighing scale on the tray from the imaging information; and the calculated tableware. and a weight calculation means for calculating the weight of the tableware based on the position information of the weighing scale, the position information of the weighing scale, and the weight information.

このように、本発明に係る重量検出装置においては、トレイに載置された食器を撮像した撮像情報を取得し、前記食器を含む前記トレイが載置される少なくとも三つ以上の直線上にない重量計からの重量情報を取得し、前記撮像情報から前記トレイにおける前記食器の位置情報、及び前記トレイにおける前記重量計の位置情報を求め、算出された前記食器の位置情報、前記重量計の位置情報及び前記重量情報に基づいて、前記食器の重量を算出するため、トレイを撮像して重量計に載置するだけで食器ごとの個々の重量を算出することが可能となり、簡単で且つ正確に食事管理を行うことができるという効果を奏する。 As described above, in the weight detection device according to the present invention, image information obtained by capturing images of tableware placed on a tray is acquired, and the weight detection device acquires image information of the tableware placed on the tray, and determines whether the tray containing the tableware is not on at least three straight lines on which the tray is placed. Obtaining weight information from a weighing scale, determining positional information of the tableware on the tray and positional information of the weighing scale on the tray from the imaging information, and calculating positional information of the tableware and position of the weighing scale. Since the weight of the tableware is calculated based on the information and the weight information, it is possible to calculate the individual weight of each tableware simply and accurately by simply taking an image of the tray and placing it on a weighing scale. This has the effect of making it possible to manage meals.

第１の実施形態に係る重量検出装置を含む重量検出システムの構成を示す概略図である。1 is a schematic diagram showing the configuration of a weight detection system including a weight detection device according to a first embodiment. 第１の実施形態に係る重量検出装置の構成を示す機能ブロック図である。FIG. 1 is a functional block diagram showing the configuration of a weight detection device according to a first embodiment. カメラが撮像した画像の一例を示す模式図である。FIG. 2 is a schematic diagram showing an example of an image captured by a camera. 下膳台及びトレイと座標系との関係を示す図である。FIG. 3 is a diagram showing the relationship between a lower table stand, a tray, and a coordinate system. 定義された座標系の一例を示す図である。FIG. 3 is a diagram showing an example of a defined coordinate system. 第１の実施形態に係る重量検出システムの一連の処理を示すフローチャートである。3 is a flowchart showing a series of processes of the weight detection system according to the first embodiment. 第２の実施形態に係る重量検出装置の構成を示す機能ブロック図である。FIG. 2 is a functional block diagram showing the configuration of a weight detection device according to a second embodiment. 第２の実施形態に係る重量検出システムの一連の処理を示すフローチャートである。It is a flowchart which shows a series of processing of the weight detection system concerning a 2nd embodiment. 第３の実施形態に係る重量検出装置の構成を示す機能ブロック図である。FIG. 3 is a functional block diagram showing the configuration of a weight detection device according to a third embodiment. 第３の実施形態に係る重量検出システムの食前の処理を示すフローチャートである。It is a flowchart which shows the pre-meal process of the weight detection system based on 3rd Embodiment. 第３の実施形態に係る重量検出システムの食後の処理を示すフローチャートである。12 is a flowchart showing post-meal processing of the weight detection system according to the third embodiment.

以下、本発明の実施の形態を説明する。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。 Embodiments of the present invention will be described below. Further, the same elements are given the same reference numerals throughout this embodiment.

（本発明の第１の実施形態）
本実施形態に係る重量検出装置について、図１ないし図６を用いて説明する。本実施形態に係る重量検出装置は、カメラで撮像した画像と複数の重量計とを用いることで複数の食器をトレイに載せた状態のまま、各食器ごとの重量情報を算出するものである。 (First embodiment of the present invention)
A weight detection device according to this embodiment will be explained using FIGS. 1 to 6. The weight detection device according to the present embodiment calculates weight information for each tableware while a plurality of tableware is placed on a tray by using an image captured by a camera and a plurality of weight scales.

図１は、本実施形態に係る重量検出装置を含む重量検出システムの構成を示す概略図である。図１（Ａ）はシステム全体を示す外観図であり、図１（Ｂ）は下膳台にトレイを設置した場合の上面図である。 FIG. 1 is a schematic diagram showing the configuration of a weight detection system including a weight detection device according to this embodiment. FIG. 1(A) is an external view showing the entire system, and FIG. 1(B) is a top view when a tray is installed on the lower dining table.

図１（Ａ）において、本実施形態に係る重量検出システム１は、下膳台１５の上面部分に設置され、食器１３を含むトレイ１４全体の重量を計測する複数の重量計１２と、下膳台１５及びトレイ１４全体を撮像するカメラ１１と、カメラ１１で撮像された画像情報、及び重量計１２で計測されたトレイ１４全体の重量情報に基づいて各食器１３ごとの重量を算出する重量検出装置１０とを備える。 In FIG. 1A, a weight detection system 1 according to the present embodiment includes a plurality of scales 12 that are installed on the upper surface of a lower tray 15 and measure the weight of the entire tray 14 including tableware 13, A camera 11 that images the entire table 15 and the tray 14, and weight detection that calculates the weight of each tableware 13 based on the image information imaged by the camera 11 and the weight information of the entire tray 14 measured by the weighing scale 12. A device 10 is provided.

カメラ１１は、下膳台１５の上方（好ましくはトレイ１４が載置された場合に中心となる位置の直上）に設置され、少なくともトレイ１４全体を撮像する。下膳台１５又はトレイ１４には予め識別子が貼付されており、重量検出装置１０が行う画像処理により識別子が特定され、当該識別子を基準としてトレイ１４上の各食器１３の位置が算出される。位置を特定する方法の一例として、図１（Ｂ）に示すように、下膳台１５とトレイ１４とのそれぞれに識別子１６（例えば、バーコードやＱＲコード（登録商標）等）が貼付されており、それぞれの識別子の位置と方向とが特定されることで下膳台１５とトレイ１４との相対的な位置関係が求められ、重量計１２は下膳台１５に固定されていることから重量計１２と食器１３との位置関係も容易に求めることが可能となる。なお、カメラ１１と重量計１２との位置を固定することで、重量計１２と食器１３との位置関係を容易に求めことも可能である。また、重量計１２の位置をカメラ１１で撮像した撮像画像を画像処理することで求めるようにしてもよい。さらにまた、重量計１２で計測される重量情報にはトレイ１４の重量も含まれており、トレイ１４が各重量計１２の計測値に対してどのように影響を与えているかを算出する必要があることから、トレイ１４の位置を画像処理により求めるようにしてもよい。 The camera 11 is installed above the lower tray 15 (preferably directly above the center position when the tray 14 is placed), and captures an image of at least the entire tray 14. An identifier is affixed to the lower table 15 or the tray 14 in advance, the identifier is specified through image processing performed by the weight detection device 10, and the position of each tableware 13 on the tray 14 is calculated based on the identifier. As an example of a method for specifying the position, as shown in FIG. By specifying the position and direction of each identifier, the relative positional relationship between the lower tray 15 and the tray 14 can be determined, and since the scale 12 is fixed to the lower tray 15, the weight can be determined. The positional relationship between the total 12 and the tableware 13 can also be easily determined. Note that by fixing the positions of the camera 11 and the weighing scale 12, it is also possible to easily determine the positional relationship between the weighing scale 12 and the tableware 13. Alternatively, the position of the weighing scale 12 may be determined by processing an image taken by the camera 11. Furthermore, the weight information measured by the weighing scale 12 also includes the weight of the tray 14, and it is necessary to calculate how the tray 14 influences the measured value of each weighing scale 12. For this reason, the position of the tray 14 may be determined by image processing.

重量計１２は例えばロードセルであり、下膳台１５の表面に突出するようにロードボタン１７が設置されている。重量計１２は少なくとも３つの直線上にない位置に配設されており、それぞれの重量計１２のロードボタン１７はトレイ１４が載置された場合に当該トレイ１４に接触するように配設される。なお、後述するように、食器１３の位置を求める場合には３つの重量計１２の配置構造において直角三角形が形成されるように配置することが望ましい。そうすることで、直角部分の交点を座標の原点として演算を容易にすることが可能となる。 The weight scale 12 is, for example, a load cell, and a load button 17 is installed so as to protrude from the surface of the lower table 15. The weighing scales 12 are arranged at at least three non-linear positions, and the load button 17 of each weighing scale 12 is arranged so as to contact the tray 14 when the tray 14 is placed. . As will be described later, when determining the position of the tableware 13, it is desirable that the three weight scales 12 are arranged so that a right triangle is formed. By doing so, it becomes possible to easily perform calculations using the intersection of the right angle parts as the origin of the coordinates.

カメラ１１で撮像された画像情報と重量計１２で計測された重量情報は重量検出装置１０に送られ、各食器１３ごとに個別に重量が演算される。以下、重量検出装置１０の構成及び処理について詳細に説明する。図２は、本実施形態に係る重量検出装置の構成を示す機能ブロック図である。重量検出装置１０は、カメラ１１が撮像した画像情報を取得する撮像情報取得部２１と、撮像情報取得部２１が取得した画像情報に基づいて、トレイ１４に載置されている各食器１３の位置を算出する位置算出部２２と、各重量計１２で計測された重量情報を取得する重量情報取得部２３と、食事の際に使用される食器１３（空の場合）の種類ごとの重量、箸、スプーンなどの重量の情報を予め登録して記憶する登録情報記憶部２７と、撮像情報取得部２１が取得した画像情報、位置算出部２２が算出した位置情報、重量情報取得部２３が取得した重量情報、及び登録情報記憶部２７に記憶された登録情報に基づいて各食器１３の重量を算出すると共に、各食器１３ごとに当該食器１３に残っている食材の重量を算出する重量算出部２４と、重量算出部２４で算出された重量情報をディスプレイ、プリンタ、外部メモリ等の出力デバイス２６に出力する出力制御部２５とを備える。 The image information captured by the camera 11 and the weight information measured by the scale 12 are sent to the weight detection device 10, and the weight of each tableware 13 is calculated individually. The configuration and processing of the weight detection device 10 will be described in detail below. FIG. 2 is a functional block diagram showing the configuration of the weight detection device according to this embodiment. The weight detection device 10 includes an imaging information acquisition unit 21 that acquires image information captured by the camera 11, and a position of each tableware 13 placed on the tray 14 based on the image information acquired by the imaging information acquisition unit 21. a position calculation unit 22 that calculates the weight information, a weight information acquisition unit 23 that acquires the weight information measured by each weighing scale 12, and a weight information acquisition unit 23 that acquires the weight information measured by each weighing scale 12, and the weight of each type of tableware 13 (when empty) used during meals, and chopsticks. , a registration information storage unit 27 that registers and stores information on the weight of spoons, etc. in advance, image information acquired by the imaging information acquisition unit 21, position information calculated by the position calculation unit 22, and information acquired by the weight information acquisition unit 23. A weight calculation unit 24 that calculates the weight of each tableware 13 based on the weight information and the registration information stored in the registration information storage unit 27, and calculates the weight of the food remaining on the tableware 13 for each tableware 13. and an output control section 25 that outputs the weight information calculated by the weight calculation section 24 to an output device 26 such as a display, a printer, or an external memory.

位置算出部２２は、カメラ１１が撮像した画像情報に対して画像処理によりトレイ１４上にある食器１３やその他のものを識別する。図３は、カメラ１１が撮像した画像の一例を示す模式図である。図３（Ａ）はトレイ１４の上方からカメラ１１で撮像した画像の一例、図３（Ｂ）は各おかずを盛る食器１３の画像の一例である。ここでは、図３（Ａ）における主食の食器、汁物の食器、主菜の食器、スプーン、箸の画像を図３（Ｂ）に示している。図３（Ｂ）に示すような画像情報（サイズ、重量、平面形状、色、模様等を含む）が予め重量検出装置１０の登録情報記憶部２７、又はクラウド上のコンピュータに登録されており、図３（Ａ）の画像情報とのマッチングを行うことで、図３（Ａ）に撮像された各物体（画像における要素）の種別を特定する。ここでは、図３（Ｂ）に示すような画像情報から図３（Ａ）における主食、汁物、主菜、スプーン、箸が画像処理により特定される。また、スプーン、箸については食材の重量に関係ないため、種別を特定した上で登録情報記憶部２７に記憶された登録情報に基づいて演算対象から除外する。このようなスプーン、箸、空食器などの演算除外については、第２の実施形態において詳細を後述する。 The position calculation unit 22 identifies the tableware 13 and other items on the tray 14 by performing image processing on the image information captured by the camera 11. FIG. 3 is a schematic diagram showing an example of an image captured by the camera 11. FIG. 3(A) is an example of an image captured by the camera 11 from above the tray 14, and FIG. 3(B) is an example of an image of the tableware 13 on which each side dish is placed. Here, images of the staple food tableware, soup tableware, main dish tableware, spoon, and chopsticks in FIG. 3(A) are shown in FIG. 3(B). Image information (including size, weight, planar shape, color, pattern, etc.) as shown in FIG. 3(B) is registered in advance in the registration information storage unit 27 of the weight detection device 10 or a computer on the cloud, By performing matching with the image information in FIG. 3(A), the type of each object (element in the image) captured in FIG. 3(A) is specified. Here, the staple food, soup, main dish, spoon, and chopsticks in FIG. 3(A) are identified by image processing from the image information as shown in FIG. 3(B). Furthermore, since spoons and chopsticks are not related to the weight of the food, they are excluded from calculation targets based on the registered information stored in the registered information storage unit 27 after specifying their type. The details of such calculation exclusion for spoons, chopsticks, empty tableware, etc. will be described later in the second embodiment.

なお、福祉施設や病院などの食堂において用いられる食器１３は、基本的に毎日同じものが使用されるため、食器１３のサイズ、模様、平面形状等の特徴を予め登録しておけば、盛られる食材が変わったとしても画像処理により食器１３の種類はほぼ確実に識別することが可能である。画像処理の詳細については周知の方法を用いることができるため、ここでは詳細な説明を省略する。 Note that the tableware 13 used in cafeterias of welfare facilities, hospitals, etc. is basically the same one every day, so if you register the characteristics of the tableware 13 in advance, such as its size, pattern, and planar shape, it will be easy to serve it. Even if the ingredients change, the type of tableware 13 can be identified almost reliably through image processing. Since a well-known method can be used for the details of the image processing, a detailed explanation will be omitted here.

演算対象となる食器１３についてその種別が特定されると、次にそれぞれの位置を求める。ここでは、各食器１３の位置について、それぞれの食器１３の重心となる点やトリミング枠の中心点などをその食器１３の位置とする。そして、各食器１３の位置を示す点を座標上にプロットする。図４は、下膳台１５及びトレイ１４と座標系との関係を示す図である。図４のＬＯ，ＬＸ，ＬＹは重量計１２のロードボタンが配設されている位置であり、ＬＯの交点を原点として直角二等辺三角形となるように配設されている。すなわち、図４に示すように、ロードボタンの位置をＬＯ（０，０），ＬＸ（１，０），ＬＹ（０，１）とする座標系を定義し、この座標系に図３で特定した各食器１３の位置を示す点をプロットしたものが図５に示す座標となる。 Once the type of tableware 13 to be calculated is specified, the position of each tableware 13 is then determined. Here, regarding the position of each tableware 13, the center of gravity of each tableware 13, the center point of the trimming frame, etc. are defined as the position of the tableware 13. Then, points indicating the position of each tableware 13 are plotted on the coordinates. FIG. 4 is a diagram showing the relationship between the lower dining table 15, the tray 14, and the coordinate system. LO, LX, and LY in FIG. 4 are the positions where the load buttons of the weighing scale 12 are arranged, and are arranged to form a right-angled isosceles triangle with the intersection of LO as the origin. In other words, as shown in Figure 4, a coordinate system is defined in which the position of the load button is LO (0, 0), LX (1, 0), LY (0, 1), and the coordinate system specified in Figure 3 is defined in this coordinate system. The coordinates shown in FIG. 5 are obtained by plotting the points indicating the positions of the tableware 13.

すなわち、識別子１６又は予め決められた下膳台１５の枠にトレイ１４が載置されることで、トレイ１４と重量計１２（ロードセルのロードボタン）の位置関係が対応付けられる。図３の画像情報から演算対象となる食器１３の位置を示す点とトレイ１４との位置関係が対応付けられる。したがって、各重量計１２と各食器１３との位置関係が対応付けられるため、図５に示すような座標系を作成することが可能となる。なお、上述したように、カメラ１１と重量計１２の位置関係を固定とすることで、重量計１２と各食器１３との位置関係をより簡単に求めるようにしてもよい。 That is, by placing the tray 14 on the identifier 16 or the predetermined frame of the lower tray 15, the positional relationship between the tray 14 and the weight scale 12 (load button of the load cell) is associated. From the image information in FIG. 3, a point indicating the position of the tableware 13 to be calculated is associated with a positional relationship with the tray 14. Therefore, since the positional relationship between each weight scale 12 and each tableware 13 is associated, it is possible to create a coordinate system as shown in FIG. 5. Note that, as described above, by fixing the positional relationship between the camera 11 and the scale 12, the positional relationship between the scale 12 and each tableware 13 may be determined more easily.

次に、図２における重量算出部２４の処理について説明する。図４において二次元平面の３点（ＬＯ，ＬＸ，ＬＹ）に重量計１２があり、重量計１２の３点で囲まれた範囲内にそれぞれの重量が（Ｗ１，Ｗ２，Ｗ３）である重量物（食器１３ａ，食器１３ｂ，食器１３ｃ）がある。各重量計１２の計測値（ＬＸ_ｓｕｍ，ＬＹ_ｓｕｍ，ＬＯ_ｓｕｍ）は重量計１２から取得されて既知であり、各重量物の座標（（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３））は、上記で説明した画像処理により既知である。 Next, the processing of the weight calculating section 24 in FIG. 2 will be explained. In FIG. 4, there are weight scales 12 at three points (LO, LX, LY) on a two-dimensional plane, and each weight is (W1, W2, W3) within the range surrounded by the three points of the scale 12. There are objects (tableware 13a, tableware 13b, tableware 13c). The measured values (LX _sum , LY _sum , LO _sum ) of each weighing scale 12 are acquired from the weighing scale 12 and are known, and the coordinates of each heavy object ((x1, y1), (x2, y2), (x3, y3)) is known by the image processing described above.

各重量計１２に掛かるＷ１の重量は、
ＬＸ１＝ｘ１×Ｗ１
ＬＹ１＝ｙ１×Ｗ１
ＬＯ１＝（１－ｘ１－ｙ１）×Ｗ１
となり、Ｗ２及びＷ３についても同様の計算となる。 The weight of W1 on each scale 12 is
LX1=x1×W1
LY1=y1×W1
LO1=(1-x1-y1)×W1
Therefore, similar calculations are made for W2 and W3.

すなわち、ＬＸ，ＬＹ，ＬＯに掛かる全重量は、
ＬＸ_ｓｕｍ＝ｘ１×Ｗ１＋ｘ２×Ｗ２＋ｘ３×Ｗ３・・・（１）
ＬＹ_ｓｕｍ＝ｙ１×Ｗ１＋ｙ２×Ｗ２＋ｙ３×Ｗ３・・・（２）
ＬＯ_ｓｕｍ＝（１－ｘ１－ｙ１）Ｗ１＋（１－ｘ２－ｙ２）Ｗ２＋（１－ｘ３－ｙ３）Ｗ３
・・・（３）
となる。これらの演算式から個々の食器１３の重量｛Ｗ１，Ｗ２，Ｗ３｝を求めることが可能となる。 In other words, the total weight applied to LX, LY, and LO is
LX _sum =x1×W1+x2×W2+x3×W3...(1)
LY _sum =y1×W1+y2×W2+y3×W3...(2)
LO _sum = (1-x1-y1)W1+(1-x2-y2)W2+(1-x3-y3)W3
...(3)
becomes. It becomes possible to obtain the weight {W1, W2, W3} of each tableware 13 from these arithmetic expressions.

上記計算を具体例で説明する。３つの重量計１２のＸ座標とＹ座標をそれぞれ以下の配置とする。
重量計ＬＯ（Ｘ座標，Ｙ座標)＝（０，０）
重量計ＬＸ（Ｘ座標，Ｙ座標)＝（１，０）
重量計ＬＹ（Ｘ座標，Ｙ座標)＝（０，１） The above calculation will be explained using a specific example. The X and Y coordinates of the three weight scales 12 are arranged as follows.
Weight scale LO (X coordinate, Y coordinate) = (0,0)
Weight scale LX (X coordinate, Y coordinate) = (1,0)
Weight scale LY (X coordinate, Y coordinate) = (0, 1)

演算対象となる３つの食器１３（食器１３ａ～食器１３ｃ）の座標をそれぞれ以下とし、重量情報取得部２３が取得した３つの重量計１２のそれぞれの値をＬＯ_ｓｕｍ＝８０，ＬＸ_ｓｕｍ＝６０，ＬＹ_ｓｕｍ＝１００（単位をｇとする）であるとする。
食器１３ａの位置Ｗ１（ｘ１，ｙ１）＝（０，０．５）
食器１３ｂの位置Ｗ２（ｘ２，ｙ２）＝（０．５，０）
食器１３ｃの位置Ｗ３（ｘ３，ｙ３）＝（０．５，０．５） The coordinates of the three tableware 13 (tableware 13a to tableware 13c) to be calculated are as follows, and the respective values of the three weight scales 12 acquired by the weight information acquisition unit 23 are LO _sum =80, LX _sum =60, Assume that LY _sum =100 (unit: g).
Position of tableware 13a W1 (x1, y1) = (0, 0.5)
Position of tableware 13b W2 (x2, y2) = (0.5, 0)
Position of tableware 13c W3 (x3, y3) = (0.5, 0.5)

上記の式（１）～（３）から、Ｗ１＝１２０ｇ，Ｗ２＝４０ｇ，Ｗ３＝８０ｇが得られ、各食器１３ａ～１３ｃの重量を算出することが可能となる。なお、発明者らが実際に検証した結果、誤差の範囲内で上記演算が成立することが明らかとなった。 From the above equations (1) to (3), W1=120g, W2=40g, and W3=80g are obtained, making it possible to calculate the weight of each tableware 13a to 13c. In addition, as a result of actual verification by the inventors, it has become clear that the above calculation is valid within the range of error.

以上のような演算処理により重量算出部２４がそれぞれの食器１３ごとの重量を算出し、出力制御部２５により出力デバイス２６に出力される。このとき、登録情報記憶部２７に記憶されている登録情報に基づいて、求めた食器１３の重量（Ｗ１～Ｗ３）から登録されている食器のみの重量（食材が空の状態の食器１３の重量）を引くことで食材のみの重量を得ることができる。食材のみの重量は、例えば食事前であれば適正量が注がれているかどうかの判断に利用することが可能であり、食事後であれば残食量を管理することが可能となる。 Through the arithmetic processing described above, the weight calculating section 24 calculates the weight of each tableware 13, and the output controlling section 25 outputs the weight to the output device 26. At this time, based on the registration information stored in the registration information storage unit 27, the weight of only the registered tableware (the weight of the tableware 13 with no food) from the calculated weight of the tableware 13 (W1 to W3). ), you can get the weight of only the ingredients. The weight of only the ingredients can be used, for example, before a meal to determine whether the appropriate amount has been poured, and after a meal, it is possible to manage the amount of leftover food.

次に、重量検出システムの一連の処理の流れについて説明する。図６は、本実施形態に係る重量検出システムの一連の処理を示すフローチャートである。図６において、まずトレイ１４が下膳台１５にセットされたことを検知する（Ｓ１）。この検知処理は、例えばカメラ１１の撮像画像や重量計１２の重量が変化したことを検知するようにしてもよいし、トレイ１４を載置した人の何らかの操作に基づいて検知するようにしてもよい。トレイ１４が下膳台１５にセットされたら、カメラ１１がトレイ１４の上方から当該トレイ１４全体を撮像する（Ｓ２）。撮像情報取得部２１が、撮像されたトレイ１４の画像を取得する（Ｓ３）。同時に、重量情報取得部２３が各重量計１２の計測結果を取得する（Ｓ４）。位置算出部２２が取得されたトレイ１４の画像を元に座標系を定義すると共に、画像処理を行うことでトレイ１４上にある食器１３の位置を特定し、座標系にプロットする（Ｓ５）。重量算出部２４が上記で説明した演算方法により各食器１３ごとの重量を算出する（Ｓ６）。出力制御部２４が、食器１３の重量や食器１３に盛られている食材の重量等を出力デバイス２６に出力して（Ｓ７）、処理を終了する。 Next, a series of processing steps of the weight detection system will be explained. FIG. 6 is a flowchart showing a series of processes of the weight detection system according to this embodiment. In FIG. 6, first, it is detected that the tray 14 is set on the lower tray 15 (S1). This detection process may be performed, for example, by detecting a change in the captured image of the camera 11 or the weight of the weighing scale 12, or by detecting a change based on some operation of the person placing the tray 14. good. When the tray 14 is set on the lower tray 15, the camera 11 images the entire tray 14 from above (S2). The imaging information acquisition unit 21 acquires the captured image of the tray 14 (S3). At the same time, the weight information acquisition unit 23 acquires the measurement results of each weight scale 12 (S4). The position calculation unit 22 defines a coordinate system based on the acquired image of the tray 14, and performs image processing to specify the position of the tableware 13 on the tray 14, and plots it on the coordinate system (S5). The weight calculation unit 24 calculates the weight of each tableware 13 using the calculation method described above (S6). The output control unit 24 outputs the weight of the tableware 13, the weight of the food served on the tableware 13, etc. to the output device 26 (S7), and the process ends.

このように、本実施形態に係る重量検出装置１０においては、トレイ１４に載置された食器１３を撮像した撮像情報を取得し、食器１３を含むトレイ１４が載置される少なくとも三つ以上の直線上にない重量計１２からの重量情報を取得し、撮像情報からトレイ１４における食器１３の位置情報、及びトレイ１４における重量計１２の位置情報を求め、算出された食器１３の位置情報、重量計１２の位置情報及び重量情報に基づいて、食器１３内の食材の重量を算出するため、トレイ１４を撮像して重量計１２に載置するだけで食器１３ごとの個々の食材の重量を算出することが可能となり、簡単で且つ正確に食事管理を行うことができる。 As described above, the weight detection device 10 according to the present embodiment acquires image information obtained by capturing images of the tableware 13 placed on the tray 14, and detects at least three or more trays 14 on which the tableware 13 including the tableware 13 is placed. Obtain the weight information from the weighing scale 12 that is not on a straight line, obtain the positional information of the tableware 13 on the tray 14 and the positional information of the weighing scale 12 on the tray 14 from the imaging information, and calculate the calculated positional information and weight of the tableware 13. In order to calculate the weight of the ingredients in the tableware 13 based on the position information and weight information of the total 12, the weight of each ingredient in each tableware 13 can be calculated by simply taking an image of the tray 14 and placing it on the weighing scale 12. This makes it possible to manage meals easily and accurately.

（本発明の第２の実施形態）
本実施形態に係る重量検出装置について、図７及び図８を用いて説明する。本実施形態に係る重量検出装置は、前記第１の実施形態に係る重量検出装置において食材に関係のない空の食器、箸、スプーンなどを除外した上で食材が入っている食器のみ重量を算出するものである。なお、本実施形態において前記第１の実施形態と重複する説明は省略する。 (Second embodiment of the present invention)
The weight detection device according to this embodiment will be explained using FIGS. 7 and 8. The weight detection device according to the present embodiment calculates the weight of only tableware containing food after excluding empty tableware, chopsticks, spoons, etc. that are not related to food, in the weight detection device according to the first embodiment. It is something to do. Note that in this embodiment, explanations that overlap with those of the first embodiment will be omitted.

図７は、本実施形態に係る重量検出装置の構成を示す機能ブロック図である。第１の実施形態における図２の場合と異なるのは、撮像情報取得部２１が取得したトレイ１４の撮像画像から食材の重量に直接関係しない、箸、スプ―ン、空の食器、その他の物体等の非対象物を特定して演算対象から排除すると共に、重量情報取得部２３が取得した重量情報から、特定された非対象物の重量を差し引いて演算対象だけの重量に補正する補正部２８を備えることである。このとき、補正部２８が補正した結果は位置算出部２２に送られ、位置算出部２２は演算対象として特定された食器の位置のみを座標にプロットする。食材重量算出部２４は、補正部２８で補正された内容、及び補正部２８で補正された内容が反映された位置算出部２２の結果に基づいて重量の演算処理を行う。 FIG. 7 is a functional block diagram showing the configuration of the weight detection device according to this embodiment. What is different from the case of FIG. 2 in the first embodiment is that the image of the tray 14 acquired by the imaging information acquisition unit 21 shows objects such as chopsticks, spoons, empty tableware, etc. that are not directly related to the weight of the food. A correction unit 28 that identifies non-target objects such as and excludes them from calculation targets, and subtracts the weight of the identified non-target objects from the weight information acquired by the weight information acquisition unit 23 to correct the weight to only the calculation target. It is important to have the following. At this time, the result corrected by the correction section 28 is sent to the position calculation section 22, and the position calculation section 22 plots only the position of the tableware specified as the calculation target on the coordinates. The food weight calculation unit 24 performs weight calculation processing based on the content corrected by the correction unit 28 and the result of the position calculation unit 22 in which the content corrected by the correction unit 28 is reflected.

補正部２８の具体的な処理について説明する。空のお皿やスプーンなど重量が登録情報記憶部２７に予め記憶されている３つの物体をＣ１，Ｃ２，Ｃ３とする。Ｃ１，Ｃ２，Ｃ３の位置は画像処理で検出し、検出した物体の重量は事前に登録されている登録情報記憶部２７から取得する。 The specific processing of the correction unit 28 will be explained. Let C1, C2, and C3 be three objects whose weights are stored in advance in the registration information storage section 27, such as empty plates and spoons. The positions of C1, C2, and C3 are detected by image processing, and the weight of the detected object is acquired from the registration information storage section 27 that is registered in advance.

Ｃ１の座標を（ｘｃ１，ｙｃ１），重量をＷＣ１とし、Ｃ２の座標を（ｘｃ２，ｙｃ２），重量をＷＣ２とし、Ｃ３の座標を（ｘｃ３，ｙｃ３），重量をＷＣ３とし、その他の条件を第１の実施形態の場合と同じとする。重量計ＬＸに掛かっているＣ１～Ｃ３の重量をＬＸＣ、重量計ＬＹに掛かっているＣ１～Ｃ３の重量をＬＹＣ、重量計ＬＯに掛かっているＣ１～Ｃ３の重量をＬＯＣとすると、
ＬＸＣ＝ｘｃ１×ＷＣ１＋ｘｃ２×ＷＣ２＋ｘｃ３×ＷＣ３
ＬＹＣ＝ｙｃ１×ＷＣ１＋ｙｃ２×ＷＣ２＋ｙｃ３×ＷＣ３
ＬＯＣ＝（１－ｘｃ１－ｙｃ１）ＷＣ１＋（１－ｘｃ２－ｙｃ２）ＷＣ２＋（１－ｘｃ３－ｙｃ３）ＷＣ３
となる。 The coordinates of C1 are (xc1, yc1), the weight is WC1, the coordinates of C2 are (xc2, yc2), the weight is WC2, the coordinates of C3 are (xc3, yc3), the weight is WC3, and the other conditions are This is the same as in the first embodiment. Let the weight of C1 to C3 hanging on the weight scale LX be LXC, the weight of C1 to C3 hanging on the weight scale LY be LYC, and the weight of C1 to C3 hanging on the weight scale LO be LOC.
LXC=xc1×WC1+xc2×WC2+xc3×WC3
LYC=yc1×WC1+yc2×WC2+yc3×WC3
LOC=(1-xc1-yc1)WC1+(1-xc2-yc2)WC2+(1-xc3-yc3)WC3
becomes.

つまり、重量計１２が計測した値（ＬＸ_ｓｕｍ，ＬＹ_ｓｕｍ，ＬＯ_ｓｕｍ）のそれぞれから食材に関係のないＣ１～Ｃ３の重量である（ＬＸＣ，ＬＹＣ，ＬＯＣ）のそれぞれの値を差し引いた値が、各重量計１２に掛かる演算対象となる食器１３ａ～１３ｃ（Ｗ１，Ｗ２，Ｗ３）の重量となる。以降は、（ＬＸ_ｓｕｍ，ＬＹ_ｓｕｍ，ＬＯ_ｓｕｍ）から（ＬＸＣ，ＬＹＣ，ＬＯＣ）を引いた値（補正された値）で前記第１の実施形態の場合と同じ演算を行うことで、食器１３ａ～１３ｃ（Ｗ１，Ｗ２，Ｗ３）の重量を求めることが可能となる。このとき、補正部２８の演算結果を位置算出部２２に渡して、Ｃ１～Ｃ３の位置情報については演算対象から除外して重量算出部２４の処理に進むようにしてもよい。 In other words, the value obtained by subtracting the respective values of C1 to C3 (LXC, LYC, LOC), which are unrelated to the ingredients, from each of the values measured by the weight scale 12 (LX _sum , LY _sum , LO _sum ) is , the weight of the tableware 13a to 13c (W1, W2, W3) to be calculated on each weighing scale 12. Thereafter, the tableware 13a is calculated by performing the same calculation as in the first embodiment using the value (corrected value) obtained by subtracting (LXC, LYC, LOC) from (LX _sum , LY _sum , LO _sum ). It becomes possible to determine the weight of ~13c (W1, W2, W3). At this time, the calculation result of the correction unit 28 may be passed to the position calculation unit 22, and the process may proceed to the weight calculation unit 24, excluding the position information of C1 to C3 from the calculation target.

図８は、本実施形態に係る重量検出システムの一連の処理を示すフローチャートである。図８において、Ｓ１～Ｓ５までの処理は前記第１の実施形態における図６の場合と同じである。Ｓ５で各食器の位置が特定されると、補正部２８が、食材の重量に直接関係しない、箸、スプ―ン、空の食器、その他の物体等の演算対象外となる非対象物を特定する（Ｓ６）。上記で説明した方法により重量計１２の計測値から非対象物の重量情報を差し引いて補正を行う（Ｓ７）。位置算出部２２は、座標系にプロットした非対象物を除外した新たな位置情報を算出して重量算出部２４に渡す（Ｓ８）。重量算出部２４が、補正部２８が補正した値で第１の実施形態において説明した演算方法により各食器１３ごとの重量を算出する（Ｓ９）。出力制御部２４が、食器１３の重量や食器１３に盛られている食材の重量等を出力デバイス２６に出力して（Ｓ１０）、処理を終了する。 FIG. 8 is a flowchart showing a series of processes of the weight detection system according to this embodiment. In FIG. 8, the processing from S1 to S5 is the same as in the case of FIG. 6 in the first embodiment. When the position of each tableware is specified in S5, the correction unit 28 identifies non-target objects that are not directly related to the weight of the food and are not subject to calculation, such as chopsticks, spoons, empty tableware, and other objects. (S6). Correction is performed by subtracting the weight information of the non-object from the measured value of the weighing scale 12 using the method described above (S7). The position calculation unit 22 calculates new position information excluding the non-objects plotted in the coordinate system and passes it to the weight calculation unit 24 (S8). The weight calculation unit 24 calculates the weight of each tableware 13 using the value corrected by the correction unit 28 using the calculation method described in the first embodiment (S9). The output control unit 24 outputs the weight of the tableware 13, the weight of the food served on the tableware 13, etc. to the output device 26 (S10), and the process ends.

このように、本実施形態に係る重量検出装置においては、撮像画像に基づいて食材の重量に関係しない物体を特定し、当該物体の位置情報、及び当該物体の予め登録された重量に基づいて、重量情報を補正するため、食材が入っている食器のみを対象としてその重量を算出することが可能になり、食事管理を正確に行うことが可能になる。 In this way, the weight detection device according to the present embodiment identifies an object that is not related to the weight of the food based on the captured image, and based on the position information of the object and the pre-registered weight of the object, Since the weight information is corrected, it becomes possible to calculate the weight of only the tableware that contains food, making it possible to accurately manage meals.

（本発明の第３の実施形態）
本実施形態に係る重量検出装置について、図９及び図１０を用いて説明する。本実施形態に係る重量検出装置は、前記各実施形態に係る重量検出装置の機能を拡張したものであり、食事前の配膳において各食器ごとの重量を予め登録し、食後の残食量を求めることで食事の摂取量を演算するものである。なお、本実施形態において前記各実施形態と重複する説明は省略する。 (Third embodiment of the present invention)
The weight detection device according to this embodiment will be explained using FIGS. 9 and 10. The weight detection device according to the present embodiment is an expanded function of the weight detection device according to each of the embodiments described above, and is capable of registering the weight of each tableware in advance when serving before a meal, and calculating the amount of leftover food after the meal. This calculates the amount of food consumed. Note that, in this embodiment, explanations that overlap with those of the above embodiments will be omitted.

図９は、本実施形態に係る重量検出装置の構成を示す機能ブロック図である。第１の実施形態における図２の場合と異なるのは、食事前の配膳時にトレイ１４に食器１３が載置されたことを検知すると共に、そのタイミングで重量計１２が計測した重量情報を食前重量記憶部３０に登録する登録処理部２９と、この登録された食事前の食器１３の重量情報と重量算出部２４が算出した残食量との差分から食事の摂取量を算出する摂取量算出部３１とを備えることである。 FIG. 9 is a functional block diagram showing the configuration of the weight detection device according to this embodiment. What is different from the case of FIG. 2 in the first embodiment is that it detects that the tableware 13 is placed on the tray 14 at the time of serving before a meal, and at the same time, the weight information measured by the weighing scale 12 is transferred to the pre-meal weight. A registration processing unit 29 that registers in the storage unit 30, and an intake amount calculation unit 31 that calculates the amount of food consumed from the difference between the registered weight information of the tableware 13 before the meal and the amount of leftover food calculated by the weight calculation unit 24. It is to have the following.

登録処理部２９は、カメラ１１からの画像情報又は重量計１２からの重量の変化からトレイ１４に配膳がなされたことを検知すると共に、予め登録されている物体の画像情報やサイズ、形状、模様等の情報からトレイ１４に載置された物体の種別（例えば、主食、汁物、主菜、スプーン、箸等）を特定し、特定された種別ごとに計測された重量情報を食前重量記憶部３０に登録する。このとき、各物体が載置されるトレイ１４の位置に応じて各重量計１２の値が個々に変化するが、全ての重量計１２の変化の合計値が載置された物体の重量として登録される。 The registration processing unit 29 detects that food has been served on the tray 14 from image information from the camera 11 or changes in weight from the weighing scale 12, and also detects image information, size, shape, and pattern of objects registered in advance. The type of object placed on the tray 14 (for example, staple food, soup, main dish, spoon, chopsticks, etc.) is specified from the information such as, and the weight information measured for each specified type is stored in the pre-meal weight storage unit 30. Register. At this time, the value of each weight scale 12 changes individually depending on the position of the tray 14 on which each object is placed, but the total value of the changes of all the weight scales 12 is registered as the weight of the placed object. be done.

摂取量算出部３１は、食前重量記憶部３０に登録された食事前の食材の重量（登録処理部２９で登録された食器＋食材の重量から登録情報記憶部２７に登録された食器のみの重量を引いた重量）から重量算出部２４で算出された食事後の残食量（食事後の食器１３の重量から登録情報記憶部２７に登録された食器のみの重量を引いた重量）を差し引いて、食材の摂取量を算出する。算出された結果は、出力制御部２５により出力デバイス２６に出力される。このとき、食事前の食材の重量なども比較対象として出力するなどして、摂取量や残食量をよりわかりやすく出力するのが望ましい。 The intake calculation unit 31 calculates the weight of only the tableware registered in the registration information storage unit 27 from the weight of the ingredients before the meal registered in the before-meal weight storage unit 30 (the weight of the tableware + ingredients registered in the registration processing unit 29). The amount of leftover food after the meal calculated by the weight calculation unit 24 (the weight obtained by subtracting the weight of only the tableware registered in the registration information storage unit 27 from the weight of the tableware 13 after the meal) is subtracted from the weight calculated by the weight calculation unit 24. Calculate the intake of ingredients. The calculated result is outputted to the output device 26 by the output control section 25. At this time, it is desirable to output the intake amount and amount of leftover food more clearly by outputting the weight of the ingredients before the meal as a comparison target.

図１０及び図１１は、本実施形態に係る重量検出システムの一連の処理を示すフローチャートである。図１０が食事前の処理を示すフローチャート、図１１が食事後の処理を示すフローチャートである。まず図１０において、食事前の配膳時に登録処理部２９がトレイ１４が下膳台１５にセットされたことを検知する（Ｓ１）。トレイ１４がセットされたことを検知すると、食材が盛られた食器１３がトレイ１４に配膳されるタイミングを検知し（Ｓ２）、当該タイミングにおける各食器１３の重量を重量計１２から取得して食前重量記憶部３０に登録する（Ｓ３）。全ての食器１３について配膳が完了したかどうかが判定され（Ｓ４）、全ての食器１３がトレイ１４に配膳されるまでＳ２～Ｓ３の処理が繰り返して実行される。全ての食器１３がトレイ１４に配膳されると図１１の食後処理に進む。 10 and 11 are flowcharts showing a series of processes of the weight detection system according to this embodiment. FIG. 10 is a flowchart showing processing before a meal, and FIG. 11 is a flowchart showing processing after a meal. First, in FIG. 10, the registration processing unit 29 detects that the tray 14 is set on the lower table 15 during serving before a meal (S1). When it is detected that the tray 14 has been set, the timing at which the tableware 13 loaded with food is placed on the tray 14 is detected (S2), and the weight of each tableware 13 at that timing is obtained from the weighing scale 12, and the time is determined before the meal. The weight is registered in the weight storage section 30 (S3). It is determined whether or not the serving of all the tableware 13 has been completed (S4), and the processes of S2 to S3 are repeatedly executed until all the tableware 13 are served on the tray 14. When all the dishes 13 are placed on the tray 14, the process proceeds to the after-meal process shown in FIG. 11.

なお、全ての食器１３がトレイ１４に配膳されたかどうかの判定は、配膳する人の入力操作をトリガにしてもよいし、トレイ１４がカメラ１１の撮像範囲外に移動したことを検知するようにしてもよい。また、予めメニューが固定されている場合はそれらのメニュー全てが画像で認識された時点で配膳完了と判断してもよい。 Note that the determination as to whether all the dishes 13 have been placed on the tray 14 may be triggered by an input operation by the person serving the food, or by detecting that the tray 14 has moved out of the imaging range of the camera 11. It's okay. Furthermore, if the menus are fixed in advance, it may be determined that the serving is complete when all of the menus are recognized in the images.

図１１において、食後の重量計測がなされる。図１１のＳ１～Ｓ９の処理は前記第２の実施形態における図８に記載のＳ１～Ｓ９の処理と同じであるため説明は省略する。Ｓ９において補正した値で各食器１３の重量が算出されると、摂取量算出部３１が、食前重量記憶部３０に登録された食前の各食器１３の重量と、重量算出部２４が算出した食後における各食器１３の重量との差分を求める（Ｓ１０）。出力制御部２５が、Ｓ１０で求めた差分を食事摂取量として出力デバイス２６に出力して（Ｓ１１）、処理を終了する。 In FIG. 11, the weight is measured after the meal. The processing from S1 to S9 in FIG. 11 is the same as the processing from S1 to S9 shown in FIG. 8 in the second embodiment, so a description thereof will be omitted. When the weight of each tableware 13 is calculated using the corrected value in S9, the intake amount calculation unit 31 calculates the weight of each tableware 13 before meals registered in the before-meal weight storage unit 30 and the weight of each tableware 13 after meals calculated by the weight calculation unit 24. The difference between the weight of each tableware 13 and the weight of each tableware 13 is calculated (S10). The output control unit 25 outputs the difference obtained in S10 to the output device 26 as the meal intake amount (S11), and the process ends.

このように、本実施形態に係る重量検出装置においては、トレイ１４に食器１３が載置されたタイミングにおける重量情報に基づいて、食事前の各食器１３ごとの重量情報を登録するため、トレイ１４に食器１３を載置する作業を行うだけで食事前の各食器１３ごとの重量（食材を含む）を確実に登録することができる。 In this way, in the weight detection device according to the present embodiment, the weight information for each tableware 13 before a meal is registered based on the weight information at the timing when the tableware 13 is placed on the tray 14. The weight (including ingredients) of each tableware 13 before a meal can be reliably registered by simply placing the tableware 13 on the table.

また、重量算出部２４が食事後の残食食材の重量を算出し、食事前の予め登録された各食器１３ごとの重量情報、及び残食食材の重量情報に基づいて、摂取された食材の重量を算出するため、食事前の食器の状態と食事後の食器の状態とから摂取量を正確に算出することが可能となり、食事管理を簡単で且つ正確に行うことができる。 In addition, the weight calculation unit 24 calculates the weight of the leftover food after the meal, and based on the weight information of each tableware 13 registered in advance before the meal and the weight information of the leftover food, the weight of the ingested food is calculated. Since the weight is calculated, it is possible to accurately calculate the intake amount from the state of the tableware before the meal and the state of the tableware after the meal, and meal management can be performed simply and accurately.

（その他の実施形態）
本実施形態に係る重量検出装置は、演算対象となる食器１３の数が４つ以上である場合の演算機能を備えるものである。前記各実施形態において説明した重量算出部２４の処理は、演算対象となる食器１３が３つ以下の場合に正確に行うことが可能であるが、４つ以上になると演算に用いる連立方程式の数が３つであるのに対して変数の数が４つ以上になるため、数学的な処理では正確な演算が難しくなる。そこで、本実施形態においては、演算対象となる食器１３（例えば食材が残っている食器）が４つ以上である場合に、３つ目以降の食器１３について、各食器１３ごとの重量の比率を算出し、その比率に応じて重量を算出する。なお、本実施形態において前記各実施形態と重複する説明は省略する。 (Other embodiments)
The weight detection device according to the present embodiment has a calculation function when the number of tableware 13 to be calculated is four or more. The processing of the weight calculation unit 24 explained in each of the above embodiments can be performed accurately when the number of tablewares 13 to be calculated is three or less, but when there are four or more, the number of simultaneous equations used for the calculation is Although there are three variables, the number of variables is four or more, making it difficult to perform accurate calculations in mathematical processing. Therefore, in this embodiment, when there are four or more tableware 13 to be calculated (for example, tableware with food remaining), the weight ratio of each tableware 13 is calculated for the third and subsequent tableware 13. Calculate the weight according to the ratio. Note that, in this embodiment, explanations that overlap with those of the above embodiments will be omitted.

本実施形態においては、食材が残っている３つ目以降の食器１３については１つの物体としてグループ化し（以下、このグループ化された食器１３を仮想物体という）、仮想物体を３つ目の演算対象となる食器１３として重量を求める。仮想物体の位置は、例えば仮想物体を構成する各食器１３の位置を示す点の中心や重心となる点とすることができる。仮想物体の画像処理による位置情報及び重量計から重量情報が得られれば、上記の各実施形態において説明したように仮想物体全体の重量を算出することができる。 In this embodiment, the third and subsequent tableware 13 with food remaining are grouped as one object (hereinafter, this grouped tableware 13 is referred to as a virtual object), and the virtual object is used for the third calculation. The weight of the target tableware 13 is determined. The position of the virtual object can be, for example, the center of the points indicating the position of each tableware 13 constituting the virtual object or a point serving as the center of gravity. If the position information of the virtual object is obtained through image processing and the weight information is obtained from the weight scale, the weight of the entire virtual object can be calculated as described in each of the above embodiments.

仮想物体全体の重量が算出されると、それを食器１３の比率に応じて按分する。比率の求め方としては、例えば食器１３自体の重量（空の食器１３）の比率に加えて、画像処理により食材が占める面積の広さの比率を割り出し、それを食材の重量の比率と見なして求めてもよいし、食前の撮像画像と食後の撮像画像とを比較しておおよその食事摂取量を割り出し、その比率を用いるようにしてもよい。 Once the weight of the entire virtual object is calculated, it is apportioned according to the proportion of the tableware 13. To find the ratio, for example, in addition to the ratio of the weight of the tableware 13 itself (empty tableware 13), the ratio of the area occupied by the food is determined by image processing, and this is regarded as the ratio of the weight of the food. Alternatively, the approximate amount of food intake may be determined by comparing a captured image before a meal with an image captured after a meal, and the ratio thereof may be used.

より具体的には、トレイ１４上の空の食器１３を特定する空食器特定部（第２の実施形態における補正部２８が行うようにしてもよい）と、トレイ１４に載置された食器１３のうち空の食器を除いた演算対象（食材が残っている食器１３）が４つ以上である場合に、撮像画像に基づいて各演算対象となる食器１３ごとの重量の比率を推定する比率算出部と、比率算出部で算出された比率が大きい方から又は小さい方から上位３つ目以降の演算対象となる食器１３をグループ化して仮想物体とするグループ化処理部とを備え、グループ化された仮想物体の重量を算出し、比率算出部で推定された比率に応じて仮想物体における個々の食器１３の重量を算出する。 More specifically, an empty tableware identification unit (which may be performed by the correction unit 28 in the second embodiment) identifies empty tableware 13 on the tray 14, and an empty tableware identification unit that identifies the empty tableware 13 on the tray 14; a ratio calculation unit that estimates the weight ratio of each tableware 13 to be calculated based on the captured image when there are four or more calculation targets (tableware 13 with food remaining) excluding empty tableware; , a grouping processing unit that groups the tableware 13 to be calculated from the top three or higher from the one with the largest ratio or the one with the smallest ratio calculated by the ratio calculation unit to form a virtual object, The weight of the object is calculated, and the weight of each tableware 13 in the virtual object is calculated according to the ratio estimated by the ratio calculation unit.

このように、本実施形態に係る重量検出装置においては、演算対象となる食器１３が４つ以上である場合に、３つ目以降の食器１３について、撮像情報に基づいて各食器１３ごとの重量の比率を算出し、重量算出部２４が食器１３の位置情報、重量計１２の位置情報、重量情報、及び比率に基づいて、３つ目以降の食器１３内の食材の重量を算出するため、数学的な演算が困難となる４つ以上の食器１３についても、３つ目以降の食器重量の比率からある程度の各食器１３ごとの重量を算出することができる。 In this way, in the weight detection device according to the present embodiment, when there are four or more tableware 13 to be calculated, the weight of each tableware 13 from the third tableware 13 onward is calculated based on the imaged information. and the weight calculation unit 24 calculates the weight of the ingredients in the third and subsequent tableware 13 based on the position information of the tableware 13, the position information of the weighing scale 12, the weight information, and the ratio, Even for four or more tableware 13 for which mathematical calculation is difficult, it is possible to calculate the weight of each tableware 13 to a certain extent from the ratio of the weights of the third and subsequent tableware.

１重量検出システム
１０重量検出装置
１１カメラ
１２重量計
１３食器
１４トレイ
１５下膳台
１６識別子
１７ロードボタン
２１撮像情報取得部
２２位置算出部
２３重量情報取得部
２４重量算出部
２５出力制御部
２６出力デバイス
２７登録情報記憶部
２８補正部
２９登録処理部
３０食前重量記憶部
３１摂取量算出部
1 Weight detection system 10 Weight detection device 11 Camera 12 Weight scale 13 Tableware 14 Tray 15 Lower table 16 Identifier 17 Load button 21 Imaging information acquisition section 22 Position calculation section 23 Weight information acquisition section 24 Weight calculation section 25 Output control section 26 Output Device 27 Registration information storage unit 28 Correction unit 29 Registration processing unit 30 Pre-meal weight storage unit 31 Intake calculation unit

Claims

Imaging information acquisition means for acquiring imaging information obtained by imaging the tableware placed on the tray;
weight information acquisition means for acquiring weight information from at least three weighing scales that are not on a straight line on which the tray containing the tableware is placed;
position calculation means for calculating position information of the tableware with respect to the position of the weighing scale from the imaging information;
A weight detection device comprising: weight calculation means for calculating the weight of the tableware based on the calculated position information of the tableware, the position information of the weighing scale, and the weight information.

The weight detection device according to claim 1,
A weight detection device comprising a correction means for identifying an object unrelated to the weight of food based on the imaging information and correcting the weight information based on position information of the object and a pre-registered weight of the object.

The weight detection device according to claim 1 or 2,
A weight detection device comprising a weight registration means for registering weight information for each tableware before a meal based on the weight information at the timing when the tableware is placed on the tray.

The weight detection device according to any one of claims 1 to 3,
The weight calculation means calculates the weight of leftover food after the meal,
A weight detection device comprising an intake calculation means for calculating the weight of an ingested food based on weight information of each tableware registered in advance before a meal and weight information of the leftover food.

The weight detection device according to any one of claims 1 to 4,
empty tableware identifying means for identifying empty tableware on the tray;
Ratio calculation means for estimating the weight ratio of each target tableware based on the imaging information when there are four or more target tablewares excluding the empty tableware among the tablewares placed on the tray. Prepare,
A weight detection device, wherein the weight calculation means calculates the weight of the third and subsequent tableware based on the position information of the target tableware, the position information of the weighing scale, the weight information, and the ratio.

The weight detection device according to claim 5,
comprising a grouping means for grouping the target tableware from the top three or higher from the one with the largest ratio or the one with the smallest ratio calculated by the ratio calculation means,
A weight detection device, wherein the weight calculation means calculates the weight of the third and subsequent grouped target tableware, and calculates the weight of each target tableware according to the ratio.

Imaging information acquisition means for acquiring imaging information obtained by imaging the tableware placed on the tray;
Weight information acquisition means for acquiring weight information from at least three weighing scales that are not on a straight line, on which the tray containing the tableware is placed;
position calculation means for calculating position information of the tableware with respect to the position of the weighing scale from the imaging information;
A weight detection program that causes a computer to function as a food weight calculation means for calculating the weight of the tableware based on the calculated position information of the tableware, the position information of the scale, and the weight information.