WO2022145533A1 - 음식물 쓰레기를 모니터링하기 위한 시스템 및 방법 - Google Patents

음식물 쓰레기를 모니터링하기 위한 시스템 및 방법 Download PDF

Info

Publication number
WO2022145533A1
WO2022145533A1 PCT/KR2020/019367 KR2020019367W WO2022145533A1 WO 2022145533 A1 WO2022145533 A1 WO 2022145533A1 KR 2020019367 W KR2020019367 W KR 2020019367W WO 2022145533 A1 WO2022145533 A1 WO 2022145533A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
waste
food waste
data
disposal
Prior art date
Application number
PCT/KR2020/019367
Other languages
English (en)
French (fr)
Inventor
김대훈
Original Assignee
주식회사 누비랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 누비랩 filed Critical 주식회사 누비랩
Priority to PCT/KR2020/019367 priority Critical patent/WO2022145533A1/ko
Publication of WO2022145533A1 publication Critical patent/WO2022145533A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/14—Other constructional features; Accessories
    • B65F1/16—Lids or covers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Definitions

  • the present invention relates to a system and method for monitoring food waste, and more particularly, to a method for monitoring food waste by analyzing image data to calculate characteristics of food waste.
  • a technology for reducing food waste is being developed for the purpose of reducing the amount of food waste for environmental protection and also for the purpose of increasing the profitability of commercial food service businesses including restaurants.
  • the present invention for solving the above problems is to obtain image data and depth data through imaged data of the trash can, and monitor the food waste that calculates the characteristics of the food waste based on the image data and the depth data.
  • Systems and methods may be provided.
  • a system for monitoring food waste is an imaging mechanism configured to generate imaging data by imaging a trash can, wherein the trash can is successively first and second before emptying.
  • an imaging mechanism configured to receive food waste from a waste disposal; and acquiring image data and depth data through the imaging data for the first and second disposal processes, and based on the image data for the second disposal process, the type of food contained in the food waste of the second disposal process.
  • a processor configured to determine a volume of the food waste in the second disposal process based on a difference in depth data in the successive first and second waste processes.
  • the type of food contained in the food waste can be identified, a plurality of waste bins can be monitored using a single imaging mechanism, and two or more types of food waste can be stored in the waste bin. It is possible to grasp the weight of each food included in the food waste even if it is thrown away.
  • 1 is a system for monitoring food waste according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a user interface according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of a method for monitoring food waste according to an embodiment of the present invention.
  • FIG. 4 is a system for monitoring food waste according to another embodiment of the present invention.
  • 5 is a system for monitoring food waste according to another embodiment of the present invention.
  • FIGS. 1 and 2 are system and method for monitoring food waste according to an embodiment of the present invention.
  • 1 is a system for monitoring food waste according to an embodiment of the present invention
  • FIG. 2 is a block diagram of a user interface according to an embodiment of the present invention.
  • a system 1 according to an embodiment of the present invention includes an imaging mechanism 10 , a device processor 20 , a user interface 30 , a communication module 40 , a management server 80 , and a trash can. 100 and the user terminal 300 .
  • the system 1 may include relatively more or fewer components than those illustrated in FIG. 1 .
  • the system 1 according to an embodiment of the present invention may be installed in a place where food waste is generated, for example, a restaurant or a factory, but is not limited thereto.
  • the system 1 according to an embodiment of the present invention may be installed in a home.
  • the trash can 100 is a container for storing food waste, and the food waste is placed in the trash can 100 according to a user's disposal event.
  • the disposal treatment may be an act of the user throwing food waste into the trash can 100
  • the trash can 100 is configured to receive the garbage according to a plurality of disposal treatments before emptying.
  • the trash can 100 is configured to receive food waste from successive first and second waste treatments.
  • the trash can 100 is a container having a volume to contain food waste, and the volume can be calculated based on the area of the horizontal cross-section of the trash can 100 and the depth of the vertical cross-section of the trash can 100 .
  • the imaging mechanism 10 is configured to image the trash can 100 to generate imaging data.
  • Image data and depth data may be acquired through the imaging data.
  • the imaging mechanism 10 may include at least one of an RGB camera, a 2D camera, a 3D camera, a Time of Flight (ToF) camera, a light field camera, a stereo camera, an event camera, and an infrared camera, As long as image data and depth data can be measured as imaging data, there is no limitation on the configuration.
  • the imaging mechanism 10 may include a plurality of devices capable of acquiring image data and depth data, respectively, and in some embodiments, the imaging mechanism 10 is capable of acquiring image data and depth data simultaneously. Although the imaging mechanism 10 includes a plurality of devices for acquiring image data only, in some embodiments, depth data may be obtained through the acquired image data.
  • the imaging mechanism 10 is installed above or above the trash can 100 to image the trash can 100 .
  • the imaging mechanism 10 may be disposed to be spaced apart from the upper side of the trash can 100 , and the imaging mechanism 10 may be installed on the ceiling.
  • the imaging mechanism 10 may be disposed on top of the trash can 100 , and in some embodiments the imaging mechanism 10 may be disposed on a cover (not shown) of the trash can 100 .
  • the imaging data captured by the imaging mechanism 10 and generated may be transmitted to the management server 80 via the network 200 .
  • the device processor 20 is configured to control at least one of the imaging mechanism 10 , the user interface 30 and the communication module 40 .
  • the imaging data captured and generated by the imaging mechanism 10 may not be transmitted to the management server 80 via the network 200 , but may be transmitted to and analyzed by the device processor 20 , where the device processor 20 may perform a function of the server processor 81 .
  • the user interface 30 includes an input device 31 and an output device 32 .
  • the input device 31 may be, for example, at least one of a touch screen, a microphone, or a camera.
  • an identification device capable of identifying a user with input device 31 may be included, such as a camera or RFID reader.
  • the output device 32 may be at least one of a display or a speaker.
  • the user interface 30 may be configured to receive at least one instruction for classifying food waste in a disposal treatment by a user.
  • the instruction received from the user interface 30 may include information on at least one of a time of occurrence of food waste, a type of food waste, or a specific waste or reason for dumping the waste.
  • any one of pretreatment by-products of raw materials, leftovers, and leftovers may be input through the user interface 30 .
  • the type of food waste may be identified when only one of leftover food and leftover food is input from the user as the type of food waste. This is because it is possible to determine the amount of food waste for the other one of the leftovers or the leftovers by excluding the amount of food waste for the pre-treatment by-product of the raw material and the amount of food waste for any one of the leftovers and the leftovers from the total amount of food waste.
  • the type of food included in the food waste determined in relation to the waste treatment by the server processor 81 to be described later and the calculated weight of the food waste may be displayed through the output device 32 of the user interface 30 .
  • the food waste is disposed of in relation to the corresponding disposal through the output device 32 of the user interface 30 .
  • the user may be requested to input the type of food contained in the food waste, and the user may input the type of food contained in the food waste in relation to the waste treatment through the input device 32 of the user interface 30 . have.
  • the communication module 40 is for communication with the management server 80 through the network 200 and is not limited by the communication method.
  • the management server 80 may receive the imaging data generated from the imaging mechanism 10 and input data received from the user interface 30 , and analyze the received data, through the analyzed data, the user interface 30 . ) or may be configured to transmit the analyzed data to the user terminal 300 .
  • the management server 80 may include a server processor 81 and a memory 82 .
  • the server processor 81 receives imaged data generated by capturing the trash can 100 .
  • the server processor 81 may calculate data about the trash bin 100 based on the captured data before disposal, and specifically, may calculate area data and depth data of the trash bin 100 .
  • the server processor 81 may calculate characteristics of the food waste of the second disposal process based on the imaged data for the successive first and second waste processes.
  • the first and second disposal treatments may be continuous in time series, and a second disposal treatment may be performed after the first disposal treatment.
  • the volume or weight of the food waste may be calculated by the server processor 81 as a characteristic of the food waste, the characteristic of the food waste is not limited thereto if it can be calculated based on the captured data.
  • the server processor 81 may provide an additional service based on the calculated characteristics of the food waste, for example, a service for predicting the amount of food with high accuracy using the characteristics of the food waste related to leftover food. can be provided, and information on food preference can be provided by using characteristics of food waste related to leftovers. In addition, it is possible to automatically place an order for raw materials that are in short supply by using the characteristics of food waste related to pretreatment by-products of raw materials.
  • the user terminal 300 may be a terminal of an administrator who manages a place in which the system 1 according to an embodiment of the present invention is installed where food waste is generated.
  • the server processor 81 may transmit the additional service to the user terminal 300 based on the calculated characteristic of the food waste or the calculated characteristic of the food waste.
  • FIG. 3 is a flowchart of a method for monitoring food waste according to an embodiment of the present invention.
  • the imaging mechanism 10 may generate imaging data by imaging the trash bin 100 , and transmit the imaging data to the server processor 81 , so that the server processor 81 may cause the imaging mechanism By (10), the trash can 100 can receive the imaged data (S10).
  • the imaging mechanism 10 may continuously image the trash can 100 to generate imaging data and transmit the imaging data to the server processor 81 .
  • the disposal process to the trash can 100 is an intermittent event, if the trash can 100 continuously transmits all the captured image data to the server processor 81, the amount of transmitted data increases and the server processor 81 ) may increase the amount of data to be analyzed, resulting in overload.
  • the imaging mechanism 10 may analyze the imaging data and transmit the imaging data to the server processor 81 when there is a change in the imaging data.
  • the image capturing mechanism 10 captures the trash can 100 and generates The imaged data can be transmitted to the server processor 81 .
  • the imaging mechanism 10 may be configured to image the trash bin 100 only when a disposal process occurs to generate imaging data and transmit the imaging data to the server processor 81 .
  • the imaging mechanism 10 recognizes that the disposal process has occurred when the device processor 20 analyzes the imaging data and detects that the lid (not shown) of the trash can 100 is opened, so that the imaging mechanism 10 is disposed of the trash can.
  • the imaging data may be generated by imaging 100 , and the imaging data may be transmitted to the server processor 81 .
  • a separate sensor (not shown) for detecting the opening and closing of the cover (not shown) of the trash can 100 in addition to analyzing the imaging data to detect that the cover (not shown) of the trash can 100 is opened may be installed
  • the device processor 20 analyzes the information received from the sensor (not shown), and when it is detected that the cover (not shown) of the trash can 100 is opened, it is recognized that the disposal process has occurred, and the imaging mechanism 10 is
  • the trash can 100 may be imaged to generate imaged data, and the imaged data may be transmitted to the server processor 81 .
  • the imaging mechanism 10 may recognize that the discard process has occurred when the user is identified through the input device 31 of the user interface 30 .
  • the device processor 20 may analyze the imaged data in order to detect the user's disposal action, and a separate sensor (not shown) may be installed to detect the user's discarding action. .
  • a separate sensor not shown
  • the imaging mechanism 10 may image the trash can 100 to generate imaging data and send the imaging data to the server processor 81 .
  • the server processor 81 may calculate area data and depth data as data for the trash can 100 based on the captured data ( S20 ).
  • the server processor 81 obtains image data and depth data through the imaging data before the first disposal process to calculate area data and depth data of the trash can 100 , and the volume of food waste in the second disposal process When calculating , the area data and depth data of the trash can 100 may be used. Since the depth data of the waste processing is distance data from the imaging mechanism 10 to the area filled with food waste in the trash can 100 , in order to determine how much food waste is filled in the trash can 100 , the depth data of the trash can 100 . is needed
  • any kind of trash bin 100 can be used in the system 1 according to an embodiment of the present invention. can be used for
  • the server processor 81 can identify the empty trash can 100 , and the size of the trash can 100 is different for each business that applies the system 1 according to an embodiment of the present invention and the empty information. Since it is necessary to calculate the amount to be filled in the trash can 100 based on Based on the value, the amount of food waste can be calculated.
  • the server processor 81 checks the degree of inclination of the trash can 100 or the imaging mechanism 10 based on the imaging data in order to increase the accuracy of the analysis.
  • the imaged data may be calibrated to a basic state.
  • the server processor 81 may perform a task using the corrected imaged data.
  • the server processor 81 corrects the image data to the basic state according to the degree of inclination, it means to correct the image data obtained from the image data according to the degree of inclination so that the image data becomes a horizontal state.
  • the server processor 81 may determine the inclination degree of the trash can 100 or the imaging mechanism 10 based on information about the trash can 100 and the surrounding floor where the trash can 100 is located.
  • the server processor 81 may extract the shape of the trash can 100 by using the depth data obtained from the captured data. Since there is a difference in depth information between the trash can 100 and the surrounding floor, which is a background other than the trash can 100 in the captured data, the server processor 81 can extract the trash can 100 from the captured data using this.
  • the server processor 81 checks a flat area among the areas exposed without being covered by food in the trash can 100 , determines at least three points among the flat areas, and checks depth information of three or more predetermined points do.
  • checking the depth information of three or more points is to create a virtual plane using three or more points and to check the inclination of the corresponding plane, and the server processor 81 determines the depth of three or more points.
  • the inclination of the trash can 100 or the imaging mechanism 10 may be calculated using the information, and the imaging data may be corrected using the calculated inclination.
  • average depth information about points surrounding each point for three or more predetermined points is obtained from each point.
  • a gradient value along a line connecting each point can be derived. , it is possible to calculate the inclination of the trash can 100 or the imaging mechanism 10 and correct the imaging data using the calculated slope.
  • the server processor 81 recognizes the outline of the trash can 100 from the image data of the trash can 100, and uses the outline and reference of the trash can 100 in the image of the trash can 100 taken. By comparing the outline of the trash can 100 in the non-tilted trash can 100 image, the tilt of the trash can 100 or the imaging mechanism 10 in the photographed image of the trash can 100 can be calculated.
  • the server processor 81 may notify the user or perform necessary correction in the process of calculating imaging data or volume. For example, the server processor 81 may improve the accuracy of the imaged data by checking the distance value, determining whether there is an abnormality in the image data, and how much has changed from the previous default value.
  • the server processor 81 may acquire imaging data for the discard process ( S30 ).
  • the server processor 81 determines that the discard process has started when the change of the imaging data starts, and when the change of the imaging data ends It can be determined that the disposal treatment has ended. Accordingly, the server processor 81 can recognize the imaged data from when the change of the imaged data is started to when it ends as the imaged data for one discard process.
  • the start of the change of the imaged data means that the change of the imaged data is greater than or equal to a predetermined range, and that the change in either image data or depth data obtained from the imaged data is greater than or equal to the predetermined range.
  • end of the change of the imaged data means that the change of the imaged data is less than or equal to the predetermined range, and that the change of both the image data and the depth data obtained from the imaged data is less than the predetermined range.
  • the imaging data for the disposal process is not specified as one data, but may include multiple data, and by using various data, The system 1 may increase the accuracy of calculating the type of food included in the food waste and the volume or weight of the food waste.
  • order information, order information, and menu information stored in advance in the memory 82 may be used to increase the recognition accuracy of the type of food.
  • order information, order information, or menu information relates to food, and information on food ordered, ordered, or provided by a restaurant or factory to which the system 1 according to an embodiment of the present invention is applied, or information on raw materials of the food to be.
  • the system 1 receives the candidate group of food types recognized by the model learned using the artificial intelligence algorithm and the order information, order information or menu information stored in advance in the memory 82 . By comparison, it is possible to finally determine the type of food included in the food waste.
  • the server processor 81 may calculate the characteristics of the food waste of the second disposal process based on the image data for the successive first and second waste processes ( S40 ).
  • the server processor 81 obtains image data and depth data through the imaging data for the first and second disposal processes, and stores the data on the food waste of the second disposal process based on the image data for the second disposal process. and determine the type of food to be included, and calculate the volume of food waste in the second disposal process based on a difference in depth data in the successive first and second waste processes.
  • the image using the model learned using the artificial intelligence algorithm of the server processor 81 is used.
  • the type of food of each food image data extracted from the data may be determined.
  • image data for the second disposal process various image data of a process of disposing of food waste may be used, thereby increasing the accuracy of recognizing the type of food.
  • the server processor 81 may increase the accuracy by using image data of a process in which the food waste is discarded.
  • the area of the corresponding food is determined on the image data, the depth (or height) is determined based on the difference between the depth data in the first and second waste processing, and the volume of the food waste is calculated by the server processor 81 .
  • the server processor 81 calculates the weight of the food waste in the second disposal process based on the density of the type of food determined to be included in the food waste of the second disposal process and the calculated volume of the food waste in the second disposal process. It can be configured to calculate .
  • data on the density of various foods may be stored in advance in the memory 82 of the management server 80 .
  • the server processor 81 when calculating the weight of the food waste of the second disposal process, the server processor 81 considers a space between the food types determined to be included in the food waste of the second disposal process in consideration of the space between the food wastes. It may be configured to correct the density of , and calculate the weight of the food waste of the second waste treatment by using the corrected density of the food. For example, the server processor 81 may calculate the space between the foods based on the image data, and the server processor 81 corrects the density of the food according to the distance of the space between the foods, specifically, between the foods. The value may be lower than the predetermined density of food according to the distance between the spaced spaces.
  • the system 1 according to an embodiment of the present invention uses the modified food density, it is possible to calculate the weight of the food waste with high accuracy even when the space between the food contained in the food waste is large.
  • the server processor 81 calculates the weight of each food item included in the food waste of the second disposal process, respectively. can be configured to This may be possible by calculating the volume of each food if the server processor 81 determines that a plurality of types of food is included when determining the type of food included in the food waste based on the image data.
  • additional correction may be performed to calculate the characteristics of food waste with high accuracy.
  • the server processor 81 may determine the type of food included in the food waste of the first disposal process based on the image data for the first waste process.
  • the server processor 81 may use the same method as determining the type of food included in the food waste of the second disposal process.
  • the food waste may not be accumulated one after another according to the continuous first and second waste treatment, and in some cases, the food waste of the first waste treatment may be pressed by the food waste of the second waste treatment. Accordingly, in such a case, the second calculated by correcting the difference in depth data in the successive first and second waste processes in consideration of the relative density difference between the food waste in the first waste process and the food waste in the second waste process It is possible to increase the accuracy of the volume or weight of food waste in the disposal process.
  • the server processor 81 may be configured to select, based on the image data for the first waste treatment, the type of food included in the food waste of the first waste treatment, the state of the food, and the size of the empty space between the foods. at least one is determined, and at least one of a type of food, a state of food, and a size of food included in the food waste of the second disposal process is determined based on the image data for the second disposal process, and At least one of the density of the type of food determined to be included in the food waste, the state of the food and the size of an empty space between the foods, the density of the type of food determined to be included in the food waste in the second waste treatment, and the state of the food and correcting the difference in depth data in the successive first and second waste processes in consideration of at least one of the size of the food, and based on the difference in the depth data in the corrected successive first and second waste processes and calculate the volume of the food waste of the second disposal treatment.
  • the characteristics of the food waste can be calculated with high accuracy.
  • the server processor 81 may receive at least one instruction from the user to classify the food waste ( S50 ).
  • the user may input at least one instruction for classifying the food waste using the user interface 30 .
  • the instruction in the user interface 30 may be for at least one of a time of occurrence of food waste, a type of food waste, a specific waste, or a reason for dumping the waste.
  • the type of food waste may be for pre-processing by-products, leftovers, and leftovers of the raw material, and since the raw material pre-treatment by-products can be predicted from the order amount, as the type of food waste, any one of leftovers or leftovers is input by the user, It may be possible to determine the type of food waste.
  • the order amount may be stored in advance in the memory 82 .
  • the server processor 81 may provide an additional service based on the calculated characteristics of the food waste ( S60 ).
  • FIG. 4 is a system for monitoring food waste according to another embodiment of the present invention.
  • a plurality of trash cans 100 are monitored in FIG. 4 .
  • FIG. 5 is a system for monitoring food waste according to another embodiment of the present invention.
  • the device processor 20 performs the function of the server processor 81 .
  • the food measuring method according to an embodiment of the present invention described above may be implemented as a program (or application) to be executed in combination with a server, which is hardware, and stored in a medium.
  • the above-described program is C, C++, JAVA, machine language, etc. that a processor (CPU) of the computer can read through a device interface of the computer in order for the computer to read the program and execute the methods implemented as a program
  • It may include code (Code) coded in the computer language of Such code may include functional code related to a function defining functions necessary for executing the methods, etc., and includes an execution procedure related control code necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do.
  • the code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer to be referenced. have.
  • the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.
  • the storage medium is not a medium that stores data for a short moment, such as a register, a cache, a memory, etc., but a medium that stores data semi-permanently and can be read by a device.
  • examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. That is, the program may be stored in various recording media on various servers accessible by the computer or in various recording media on the computer of the user.
  • the medium may be distributed in a computer system connected to a network, and a computer-readable code may be stored in a distributed manner.
  • a software module may contain random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable ROM
  • EEPROM electrically erasable programmable ROM
  • flash memory hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Of Solid Wastes (AREA)

Abstract

본 발명은 음식물 쓰레기를 모니터링하는 시스템에 관한 것으로, 쓰레기통을 촬상하여 촬상 데이터를 생성하도록 구성되는 촬상 메커니즘으로서, 상기 쓰레기통은 비우기 전에 연속적인 제1 및 제2 폐기 처리로부터 음식물 쓰레기를 받도록 구성되는 것인, 촬상 메커니즘; 및 상기 제1 및 제2 폐기 처리에 대한 촬상 데이터를 통해 이미지 데이터와 깊이 데이터를 획득하고, 상기 제2 폐기 처리에 대한 이미지 데이터에 기반하여 상기 제2 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류를 결정하고, 연속적인 상기 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이에 기반하여 상기 제2 폐기 처리의 음식물 쓰레기의 부피를 산출하도록 구성되는 프로세서를 포함한다.

Description

음식물 쓰레기를 모니터링하기 위한 시스템 및 방법
본 발명은 음식물 쓰레기를 모니터링하기 위한 시스템 및 방법에 관한 것으로, 구체적으로 촬상 데이터를 분석하여 음식물 쓰레기의 특성을 산출하여 음식물 쓰레기를 모니터링하는 방법에 관한 것이다.
환경 보호를 위해 음식물 쓰레기의 양을 줄이려는 목적과 더불어 식당을 포함하는 상업 음식물 서비스 사업체의 수익성을 높이기 위한 목적으로 음식물 쓰레기를 감소시키기 위한 기술이 개발되고 있다.
이를 위해, 음식물 쓰레기가 버려지는 쓰레기통의 중량을 지속적으로 모니터링하는 기술이 제시되었지만, 중량을 통해 음식물 쓰레기를 모니터링하는 경우 음식물 쓰레기에 포함된 음식물의 종류를 파악하려면 사용자의 입력이 필요하여 사용자의 불편을 가중시키고, 하나의 중량 측정기를 통해서는 하나의 쓰레기통만을 모니터링 가능하며, 2가지 이상의 음식물 쓰레기가 쓰레기통에 버려지는 경우 음식물 쓰레기에 포함되는 각 음식물 마다의 중량 파악이 어렵다는 제약사항이 있다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 쓰레기통을 촬상한 촬상 데이터를 통해 이미지 데이터와 깊이 데이터를 획득하고, 이미지 데이터와 깊이 데이터에 기반하여 음식물 쓰레기의 특성을 산출하는 음식물 쓰레기를 모니터링하기 위한 시스템 및 방법을 제공할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 음식물 쓰레기를 모니터링하는 시스템은, 쓰레기통을 촬상하여 촬상 데이터를 생성하도록 구성되는 촬상 메커니즘으로서, 상기 쓰레기통은 비우기 전에 연속적인 제1 및 제2 폐기 처리로부터 음식물 쓰레기를 받도록 구성되는 것인, 촬상 메커니즘; 및 상기 제1 및 제2 폐기 처리에 대한 촬상 데이터를 통해 이미지 데이터와 깊이 데이터를 획득하고, 상기 제2 폐기 처리에 대한 이미지 데이터에 기반하여 상기 제2 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류를 결정하고, 연속적인 상기 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이에 기반하여 상기 제2 폐기 처리의 음식물 쓰레기의 부피를 산출하도록 구성되는 프로세서를 포함한다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 사용자의 입력이 없더라도 음식물 쓰레기에 포함된 음식물의 종류의 파악이 가능하고, 하나의 촬상 메커니즘을 이용하여 복수의 쓰레기통을 모니터링할 수 있고, 2가지 이상의 음식물 쓰레기가 쓰레기통에 버려지더라도 음식물 쓰레기에 포함되는 각 음식물 마다의 중량 파악이 가능하다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 음식물 쓰레기를 모니터링하는 시스템이다.
도 2는 본 발명의 일 실시예에 따른 사용자 인터페이스의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 음식물 쓰레기를 모니터링하는 방법에 대한 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 음식물 쓰레기를 모니터링하는 시스템이다.
도 5는 본 발명의 다른 실시예에 따른 음식물 쓰레기를 모니터링하는 시스템이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
이하, 도 1 및 도 2를 참조하여, 본 발명의 일 실시예에 따른 음식물 쓰레기를 모니터링하는 시스템 및 방법을 설명한다. 도 1은 본 발명의 일 실시예에 따른 음식물 쓰레기를 모니터링하는 시스템이고, 도 2는 본 발명의 일 실시예에 따른 사용자 인터페이스의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 시스템(1)은 촬상 메커니즘(10), 장치 프로세서(20), 사용자 인터페이스(30), 통신 모듈(40), 관리 서버(80), 쓰레기통(100) 및 사용자 단말(300)을 포함한다. 다만, 몇몇 실시예에서 시스템(1)은 도 1에 도시된 구성요소보다 상대적으로 많거나 적은 구성요소를 포함할 수도 있다. 여기서, 본 발명의 일 실시예에 따른 시스템(1)은 음식물 쓰레기가 발생하는 장소에 설치될 수 있으며, 예컨대 식당이나 공장일 수 있지만, 이에 제한되지 않는다. 몇몇 실시예에서 본 발명의 일 실시예에 따른 시스템(1)은 가정에 설치될 수도 있다.
우선, 쓰레기통(100)은 음식물 쓰레기를 담는 용기로서, 사용자의 폐기 처리(disposal event)에 따라 쓰레기통(100)에 음식물 쓰레기가 담긴다. 여기서 폐기 처리는 사용자가 쓰레기통(100)에 음식물 쓰레기를 버리는 행위일 수 있으며, 쓰레기통(100)은 비우기 전에 복수의 폐기 처리에 따라 쓰레기를 받도록 구성된다. 구체적으로, 쓰레기통(100)은 연속적인 제1 및 제2 폐기 처리로부터 음식물 쓰레기를 받도록 구성된다.
쓰레기통(100)은 음식물 쓰레기를 담을 수 있도록 부피를 갖는 용기이며, 쓰레기통(100)의 수평 단면의 면적과 쓰레기통(100)의 수직 단면의 깊이를 통해 부피가 산출될 수 있다.
촬상 메커니즘(10)은 쓰레기통(100)을 촬상하여 촬상 데이터를 생성하도록 구성된다. 촬상 데이터를 통해서 이미지 데이터와 깊이 데이터가 획득될 수 있다. 예컨대 촬상 메커니즘(10)은 RGB 카메라, 2D 카메라, 3D 카메라, ToF(Time of Flight) 카메라, 라이트 필드 카메라(light field camera), 스테레오 카메라, 이벤트 카메라, 적외선 카메라 중 적어도 하나를 포함할 수 있으며, 촬상 데이터로서 이미지 데이터와 깊이 데이터를 측정할 수 있다면 그 구성에 제한이 없다.
몇몇 실시예에서 촬상 메커니즘(10)은 이미지 데이터와 깊이 데이터를 각각 획득할 수 있는 복수의 장치를 포함할 수도 있고, 몇몇 실시예에서 촬상 메커니즘(10)은 이미지 데이터와 깊이 데이터를 동시에 획득할 수 있는 장치를 포함할 수도 있고, 몇몇 실시예에서 촬상 메커니즘(10)은 이미지 데이터만을 획득하는 복수의 장치를 포함하지만 획득된 이미지 데이터를 통해서 깊이 데이터가 획득될 수도 있다.
촬상 메커니즘(10)은 쓰레기통(100)의 상측 또는 상부에 설치되어 쓰레기통(100)을 촬상한다. 예컨대, 촬상 메커니즘(10)이 쓰레기통(100)의 상측으로 이격되어 배치될 수도 있으며, 촬상 메커니즘(10)이 천정에 설치될 수도 있다. 몇몇 실시예에서 촬상 메커니즘(10)이 쓰레기통(100)의 상부에 배치될 수도 있으며, 몇몇 실시예에서 촬상 메커니즘(10)이 쓰레기통(100)의 덮개(미도시)에 배치될 수도 있다.
촬상 메커니즘(10)에 의해 촬상되어 생성된 촬상 데이터는 네트워크(200)를 통해 관리 서버(80)에 전송될 수 있다.
장치 프로세서(20)는 촬상 메커니즘(10), 사용자 인터페이스(30) 및 통신 모듈(40) 중 적어도 하나를 제어하도록 구성된다. 몇몇 실시예에서 촬상 메커니즘(10)에 의해 촬상되어 생성된 촬상 데이터가 네트워크(200)를 통해 관리 서버(80)에 전송되지 않고 장치 프로세서(20)에 전송되어 분석될 수 있으며, 이 때 장치 프로세서(20)는 서버 프로세서(81)의 기능을 수행할 수도 있다.
사용자 인터페이스(30)는 입력 장치(31) 및 출력 장치(32)를 포함한다. 입력 장치(31)는 예컨대 터치 스크린, 마이크 또는 카메라 중 적어도 하나일 수 있다. 몇몇 실시예에서 입력 장치(31)로 사용자를 식별할 수 있는 식별 장치가 포함될 수 있으며, 예컨대 카메라 또는 RFID 판독기가 포함될 수 있다. 출력 장치(32)는 디스플레이 또는 스피커 중 적어도 하나일 수 있다.
사용자 인터페이스(30)는 사용자에 의한 폐기 처리에서 음식물 쓰레기를 분류하는 적어도 하나의 지시를 수신하도록 구성될 수 있다. 사용자 인터페이스(30)에서 수신되는 지시는 음식물 쓰레기 발생의 시기, 음식물 쓰레기의 타입 또는 특정 쓰레기 또는 쓰레기를 쏟아 버리는 이유 중 적어도 하나에 대한 것을 포함할 수 있다.
여기서, 음식물 쓰레기의 타입에 대한 지시로서, 사용자 인터페이스(30)를 통해 원재료의 전처리 부산물, 잔식 및 잔반 중 어느 하나가 입력될 수 있다. 다만, 원재료의 전처리 부산물은 발주량을 통해 예측 가능하기 때문에, 음식물 쓰레기의 타입으로서 잔식 또는 잔반 중 어느 하나에 대하여만 사용자로부터 입력 받으면, 음식물 쓰레기의 타입의 파악이 가능할 수 있다. 이는 음식물 쓰레기의 총량에서 원재료의 전처리 부산물에 대한 음식물 쓰레기의 양과, 잔식 또는 잔반 중 어느 하나에 대한 음식물 쓰레기 양을 제외시키면, 잔식 또는 잔반 중 다른 하나에 대한 음식물 쓰레기 양을 파악 가능하기 때문이다.
한편, 후술하는 서버 프로세서(81)에 의해 폐기 처리와 관련하여 결정된 음식물 쓰레기에 포함된 음식물의 종류 및 산출된 음식물 쓰레기의 중량이 사용자 인터페이스(30)의 출력 장치(32)를 통해 표시될 수 있다. 몇몇 실시예에서 음식물 쓰레기에 포함된 음식물의 종류가 서버 프로세서(81)의 인공지능 모듈에 의해 결정되지 않는 경우, 사용자 인터페이스(30)의 출력 장치(32)를 통해 해당 폐기 처리와 관련하여 음식물 쓰레기에 포함된 음식물의 종류에 대하여 입력하도록 사용자에게 요청할 수 있으며, 사용자는 사용자 인터페이스(30)의 입력 장치(32)를 통해 해당 폐기 처리와 관련하여 음식물 쓰레기에 포함된 음식물의 종류에 대하여 입력할 수 있다.
통신 모듈(40)은 네트워크(200)를 통해 관리 서버(80)와의 통신을 위한 것으로 통신 방식에 의해 제한되지 않는다.
관리 서버(80)는 촬상 메커니즘(10)으로부터 생성된 촬상 데이터와, 사용자 인터페이스(30)로부터 수신된 입력 데이터를 수신하고, 수신된 데이터를 분석할 수 있으며, 분석된 데이터를 통해 사용자 인터페이스(30) 또는 사용자 단말(300)로 분석된 데이터를 전송하도록 구성될 수 있다. 이를 위해 관리 서버(80)는 서버 프로세서(81) 및 메모리(82)를 포함할 수 있다.
서버 프로세서(81)는 쓰레기통(100)을 촬상하여 생성된 촬상 데이터를 수신한다.
또한, 서버 프로세서(81)는 폐기 처리 전, 촬상 데이터에 기반하여 쓰레기통(100)에 대한 데이터를 산출할 수 있으며, 구체적으로 쓰레기통(100)에 대한 면적 데이터와 깊이 데이터를 산출할 수 있다.
그리고 서버 프로세서(81)는 연속적인 제1 및 제2 폐기 처리에 대한 촬상 데이터에 기반하여 제2 폐기 처리의 음식물 쓰레기의 특성을 산출할 수 있다. 여기서, 제1 및 제2 폐기 처리는 시계열적으로 연속적일 수 있으며, 제1 폐기 처리 후에 제2 폐기 처리가 수행될 수 있다. 그리고 음식물 쓰레기의 특성으로서 음식물 쓰레기의 부피 또는 중량이 서버 프로세서(81)에 의해 산출될 수 있지만, 촬상 데이터에 기반하여 산출될 수 있다면 음식물 쓰레기의 특성은 이에 제한되지 않는다.
이 밖에, 서버 프로세서(81)는 산출된 음식물 쓰레기의 특성에 기반하여 추가 서비스를 제공할 수 있으며, 예컨대, 잔식과 관련된 음식물 쓰레기에 대한 특성을 이용하여 음식물의 양을 높은 정확도로 예측하도록 하는 서비스를 제공할 수 있으며, 잔반과 관련된 음식물 쓰레기에 대한 특성을 이용하여 음식물의 선호도에 대한 정보를 제공할 수 있다. 이 밖에, 원재료의 전처리 부산물과 관련된 음식물 쓰레기에 대한 특성을 이용하여 재고가 부족한 원재료에 대한 자동 발주를 할 수 있다.
사용자 단말(300)은 본 발명의 일 실시예에 따른 시스템(1)이 설치된 음식물 쓰레기가 발생하는 장소를 관리하는 관리자의 단말일 수 있다. 서버 프로세서(81)는 산출된 음식물 쓰레기의 특성 또는 산출된 음식물 쓰레기의 특성에 기반하여 추가 서비스를 사용자 단말(300)에 전송할 수 있다.
이하, 도 3을 참조하여 음식물 쓰레기를 모니터링하는 방법을 설명한다. 도 3은 본 발명의 일 실시예에 따른 음식물 쓰레기를 모니터링하는 방법에 대한 순서도이다.
우선, 도 3을 참조하면, 촬상 메커니즘(10)은 쓰레기통(100)을 촬상하여 촬상 데이터를 생성하고 서버 프로세서(81)에 촬상 데이터를 송신할 수 있으며, 이에 따라 서버 프로세서(81)는 촬상 메커니즘(10)에 의해 쓰레기통(100)이 촬상된 촬상 데이터를 수신할 수 있다(S10).
촬상 메커니즘(10)은 지속적으로 쓰레기통(100)을 촬상하여 촬상 데이터를 생성하고 서버 프로세서(81)에 촬상 데이터를 송신할 수 있다.
다만, 쓰레기통(100)에 폐기 처리는 간헐적으로 일어나는 이벤트이기 때문에, 쓰레기통(100)이 지속적으로 촬상된 촬상 데이터를 모두 서버 프로세서(81)에 송신한다면, 전송되는 데이터의 양이 늘어나고 서버 프로세서(81)가 분석해야 하는 데이터의 양이 늘어나 과부하가 발생할 수도 있다.
따라서 몇몇 실시예에서 촬상 메커니즘(10)은 촬상 데이터를 분석하여 촬상 데이터에 변화가 있는 경우에 촬상 데이터를 서버 프로세서(81)에 송신할 수 있다.
예컨대, 장치 프로세서(20)가 촬상 데이터를 분석하여 촬상 데이터에 변화가 있는 경우, 즉 음식물의 종류 또는 음식물 쓰레기의 부피에 변화가 있을 때 촬상 메커니즘(10)은 쓰레기통(100)을 촬상하여 생성된 촬상 데이터를 서버 프로세서(81)에 송신할 수 있다.
몇몇 실시예예서 촬상 메커니즘(10)은 폐기 처리가 발생할 때에만 쓰레기통(100)을 촬상하여 촬상 데이터를 생성하고 서버 프로세서(81)에 촬상 데이터를 송신하도록 구성될 수 있다.
예컨대, 촬상 메커니즘(10)은 장치 프로세서(20)가 촬상 데이터를 분석하여 쓰레기통(100)의 덮개(미도시)가 열린 것이 감지되면 폐기 처리가 발생된 것으로 인식하여, 촬상 메커니즘(10)은 쓰레기통(100)을 촬상하여 촬상 데이터를 생성하고 서버 프로세서(81)에 촬상 데이터를 송신할 수 있다.
쓰레기통(100)의 덮개(미도시)가 열린 것을 감지하기 위해 촬상 데이터를 분석하는 것 이외에 쓰레기통(100)의 덮개(미도시)의 개폐를 감지하기 위한 별도의 센서(미도시)가 설치될 수 있으며, 장치 프로세서(20)가 센서(미도시)로부터 수신된 정보를 분석하여 쓰레기통(100)의 덮개(미도시)가 열린 것이 감지되면 폐기 처리가 발생된 것으로 인식하여, 촬상 메커니즘(10)은 쓰레기통(100)을 촬상하여 촬상 데이터를 생성하고 서버 프로세서(81)에 촬상 데이터를 송신할 수 있다.
한편, 촬상 메커니즘(10)은 사용자 인터페이스(30)의 입력 장치(31)를 통해 사용자가 식별되면 폐기 처리가 발생된 것으로 인식할 수도 있다. 또한, 사용자가 폐기 처리를 하는 행위를 감지하기 위하여 장치 프로세서(20)가 촬상 데이터를 분석할 수도 있으며, 사용자가 폐기 처리를 하는 행위를 감지하기 위하여 별도의 센서(미도시)가 설치될 수도 있다. 사용자 인터페이스(30)의 입력 장치(31)를 통해 사용자가 식별되거나, 촬상 데이터를 분석하거나 센서(미도시)로부터 수신된 신호를 분석하여 사용자의 폐기 처리 행위가 감지되는 경우 폐기 처리가 발생된 것으로 인식하여, 촬상 메커니즘(10)은 쓰레기통(100)을 촬상하여 촬상 데이터를 생성하고 서버 프로세서(81)에 촬상 데이터를 송신할 수 있다.
이어서, 도 3을 참조하면, 폐기 처리 전, 서버 프로세서(81)가 촬상 데이터에 기반하여 쓰레기통(100)에 대한 데이터로서 면적 데이터와 깊이 데이터를 산출할 수 있다(S20).
구체적으로, 서버 프로세서(81)는, 제1 폐기 처리 전의 촬상 데이터를 통해 이미지 데이터와 깊이 데이터를 획득하여 쓰레기통(100)의 면적 데이터와 깊이 데이터를 산출하고, 제2 폐기 처리의 음식물 쓰레기의 부피를 산출할 때 쓰레기통(100)의 면적 데이터와 깊이 데이터를 이용할 수 있다. 폐기 처리의 깊이 데이터는 촬상 메커니즘(10)에서 쓰레기통(100)에 음식물 쓰레기가 채워진 영역까지의 거리 데이터이기 때문에, 쓰레기통(100)에 음식물 쓰레기가 얼마나 채워졌는지 파악하기 위해서는 쓰레기통(100)의 깊이 데이터가 필요하다.
따라서 본 발명의 일 실시예에 따른 시스템(1)은 쓰레기통(100)에 대한 사전 데이터가 없더라도 작동할 수 있기 때문에, 어떠한 종류의 쓰레기통(100)이라도 본 발명의 일 실시예에 따른 시스템(1)에 이용될 수 있다.
즉, 본 단계를 통해 서버 프로세서(81)는 빈 쓰레기통(100)을 확인할 수 있으며, 본 발명의 일 실시예에 따른 시스템(1)을 적용하는 사업체마다 쓰레기통(100)의 크기가 다르고 비어있는 정보를 바탕으로 쓰레기통(100)이 채워지는 양을 계산해야 하기 때문에, 본 단계에서 쓰레기통(100)을 비운 이후 쓰레기통(100)의 면적 데이터와 깊이 데이터를 측정하며, 이후에 빈 쓰레기통(100)에 대한 값을 기준으로 음식물 쓰레기의 양을 산출할 수 있다.
한편, 몇몇 실시예에서 서버 프로세서(81)는 분석의 정확도를 높이기 위해, 서버 프로세서(81)가 촬상 데이터에 기반하여 쓰레기통(100) 또는 촬상 메커니즘(10)의 기울어진 정도를 확인하고, 기울어진 정도에 따라 촬상 데이터를 기본 상태로 보정(calibration)할 수도 있다. 서버 프로세서(81)는 보정된 촬상 데이터를 이용하여 작업을 진행할 수 있다.
여기서, 서버 프로세서(81)가 기울어진 정도에 따라 촬상 데이터를 기본 상태로 보정하는 것은, 기울어진 정도에 따라 촬상 데이터로부터 획득된 이미지 데이터가 수평 상태가 되도록 보정하는 것을 의미한다.
예컨대, 서버 프로세서(81)는 쓰레기통(100)과 쓰레기통(100)이 위치한 주변 바닥부에 대한 정보를 바탕으로 쓰레기통(100) 또는 촬상 메커니즘(10)의 기울어진 정도를 확인할 수 있다.
구체적으로, 서버 프로세서(81)는 촬상 데이터로부터 획득된 깊이 데이터를 이용하여 쓰레기통(100) 형상을 추출할 수 있다. 촬상 데이터에서 쓰레기통(100)과 쓰레기통(100) 이외의 배경인 주변 바닥부는 깊이 정보에서 차이가 있으므로, 서버 프로세서(81)는 이를 이용하여 촬상 데이터에서 쓰레기통(100)을 추출할 수 있다.
서버 프로세서(81)는 쓰레기통(100)에서 음식물에 가려지지 않고 노출된 영역 중 평평한(flat) 영역을 확인하고, 평평한 영역 중 적어도 3군데 이상의 포인트를 정하고, 정해진 3군데 이상의 포인트의 깊이 정보를 확인한다.
여기서, 3군데 이상의 포인트의 깊이 정보를 확인하는 것은, 3군데 이상의 포인트를 이용하여 가상의 평면을 생성하고 해당 평면의 기울기를 확인하기 위하 것으로, 서버 프로세서(81)는 정해진 3군데 이상의 포인트의 깊이 정보를 이용하여 쓰레기통(100) 또는 촬상 메커니즘(10)의 기울기를 산출하고, 산출된 기울기를 이용하여 촬상 데이터를 보정할 수 있다.
몇몇 실시예에서 평평한 영역 중 적어도 3군데 이상의 포인트를 정한 후, 정해진 3군데 이상의 포인트의 깊이 정보를 확인하는 대신, 정해진 3군데 이상의 포인트에 대하여 각 포인트의 주위 포인트에 대한 평균 깊이 정보를 각 포인트의 깊이 정보로 함으로써, 기울기 산출을 위해 상대적으로 많은 정보를 활용함으로써 산출된 기울기의 정확도를 높일 수 있다.
몇몇 실시예에서 정해진 3군데 이상의 포인트의 깊이 정보를 이용하여 쓰레기통(100) 또는 촬상 메커니즘(10)의 기울기를 산출하는 과정에서 각 포인트를 연결하는 선에 따른 그래디언트(gradient) 값을 도출할 수 있으며, 이를 통해 쓰레기통(100) 또는 촬상 메커니즘(10)의 기울기를 산출하고 산출된 기울기를 이용하여 촬상 데이터를 보정할 수 있다.
몇몇 실시예에서 서버 프로세서(81)는 쓰레기통(100)의 이미지 데이터에서 쓰레기통(100)의 윤곽을 파악하고, 촬영된 쓰레기통(100)의 이미지에서의 쓰레기통(100)의 윤곽과 레퍼런스로 활용하기 위한 기울어지지 않은 쓰레기통(100) 이미지에서의 쓰레기통(100)의 윤곽을 비교함으로써, 촬영된 쓰레기통(100)의 이미지에서의 쓰레기통(100) 또는 촬상 메커니즘(10)의 기울기를 산출할 수 있다.
서버 프로세서(81)가 쓰레기통(100) 또는 촬상 메커니즘(10)의 기울어진 정도를 확인하면, 이를 사용자에게 알리거나 촬상 데이터 또는 부피 산출 과정에서 필요한 보정을 수행할 수 있다. 예컨대, 서버 프로세서(81)는 거리값, 이미지 데이터에 대한 이상유무 판단, 이전 기본 상태 값(default) 대비 얼마나 변화가 생겼는지 등 확인을 통해 촬상 데이터에 대한 정확도를 향상시킬 수 있다.
이어서, 도 3을 참조하면, 서버 프로세서(81)는 폐기 처리에 대한 촬상 데이터를 획득할 수 있다(S30).
서버 프로세서(81)가 촬상 메커니즘(10)으로부터 지속적으로 촬상 데이터를 수신하는 경우, 서버 프로세서(81)는 촬상 데이터의 변화가 시작되는 경우 폐기 처리가 시작된 것으로 파악하고 촬상 데이터의 변화가 종료되는 경우 폐기 처리가 종료된 것으로 파악할 수 있다. 따라서 서버 프로세서(81)는 촬상 데이터의 변화가 시작된 이후부터 종료될 때까지의 촬상 데이터를 하나의 폐기 처리에 대한 촬상 데이터로 인식할 수 있다.
촬상 데이터의 변화가 시작되는 것은 촬상 데이터의 변화가 미리 정해진 범위 이상이 되는 것을 의미하며, 촬상 데이터로부터 획득된 이미지 데이터 또는 깊이 데이터 중 어느 하나의 변화가 미리 정해진 범위 이상이 되는 것을 의미한다.
그리고 촬상 데이터의 변화가 종료되는 것은 촬상 데이터의 변화가 미리 정해진 범위 이하가 되는 것을 의미하며, 촬상 데이터로부터 획득된 이미지 데이터 및 깊이 데이터 모두의 변화가 미리 정해진 범위 이하가 되는 것을 의미한다.
즉, 본 발명의 일 실시예에 따른 시스템(1)에서 폐기 처리에 대한 촬상 데이터는 하나의 데이터로 특정이 되지 않고 여러 데이터가 포함될 수 있으며, 다양한 데이터를 이용함으로써 본 발명의 일 실시예에 따른 시스템(1)은 음식물 쓰레기에 포함되는 음식물의 종류와 음식물 쓰레기의 부피 또는 중량을 산출하는 정확도를 높일 수 있다.
한편, 음식물의 종류에 대한 인식 정확도를 높이기 위해 메모리(82)에 미리 저장된 수주 정보, 발주 정보 및 메뉴 정보 중 적어도 하나가 이용될 수 있다. 여기서, 수주 정보, 발주 정보 또는 메뉴 정보는 음식물에 관한 것으로, 본 발명의 일 실시예에 따른 시스템(1)을 적용하는 식당이나 공장에서 수주되거나 발주하거나 제공하는 음식물 또는 해당 음식물의 원재료에 대한 정보이다.
예컨대, 본 발명의 일 실시예에 따른 시스템(1)은 인공지능 알고리즘을 이용하여 학습된 모델에 의해 인식된 음식물의 종류의 후보군과 메모리(82)에 미리 저장된 수주 정보, 발주 정보 또는 메뉴 정보를 비교하여 최종적으로 음식물 쓰레기에 포함되는 음식물의 종류를 결정할 수 있다.
이어서, 도 3을 참조하면, 서버 프로세서(81)는 연속적인 제1 및 제2 폐기 처리에 대한 촬상 데이터에 기반하여 제2 폐기 처리의 음식물 쓰레기의 특성을 산출할 수 있다(S40).
구체적으로, 서버 프로세서(81)는 제1 및 제2 폐기 처리에 대한 촬상 데이터를 통해 이미지 데이터와 깊이 데이터를 획득하고, 제2 폐기 처리에 대한 이미지 데이터에 기반하여 제2 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류를 결정하고, 연속적인 상기 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이에 기반하여 제2 폐기 처리의 음식물 쓰레기의 부피를 산출하도록 구성될 수 있다.
여기서, 제2 폐기 처리에 대한 이미지 데이터에 기반하여 제2 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류를 결정하는 과정에 서버 프로세서(81)의 인공지능 알고리즘을 이용하여 학습된 모델을 이용하여 이미지 데이터로부터 추출한 각 음식 이미지 데이터의 음식물의 종류가 판단될 수 있다.
여기서, 제2 폐기 처리에 대한 이미지 데이터로서 음식물 쓰레기가 버려지는 과정의 여러 이미지 데이터가 이용됨으로써 음식물의 종류를 파악하는 정확도를 높일 수 있다. 예컨대, 액체 음식물 쓰레기와 고체 음식물 쓰레기가 동시에 폐기 처리되는 경우, 서버 프로세서(81)는 음식물 쓰레기가 버려지는 과정의 이미지 데이터를 활용하면 정확도를 높일 수 있다.
그리고 이미지 데이터 상에서 해당 음식물의 면적이 결정되고, 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이에 기반하여 깊이(또는 높이)가 결정되어 서버 프로세서(81)에 의해 음식물 쓰레기의 부피가 산출될 수 있다.
그리고 서버 프로세서(81)는, 제2 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물의 밀도와, 산출된 제2 폐기 처리의 음식물 쓰레기의 부피에 기반하여 제2 폐기 처리의 음식물 쓰레기의 중량을 산출하도록 구성될 수 있다. 여기서, 다양한 음식물의 밀도에 대한 데이터는 관리 서버(80)의 메모리(82)에 미리 저장될 수 있다.
다만, 몇몇 실시예에서 서버 프로세서(81)는, 제2 폐기 처리의 음식물 쓰레기의 중량을 산출할 때, 제2 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물 사이의 이격 공간을 고려하여 음식물의 밀도를 수정하고, 수정된 음식물의 밀도를 이용하여 제2 폐기 처리의 음식물 쓰레기의 중량을 산출하도록 구성될 수도 있다. 예컨대, 서버 프로세서(81)는 음식물 사이의 이격 공간을 이미지 데이터에 기반하여 산출할 수 있으며, 서버 프로세서(81)는 음식물 사이의 이격 공간의 거리에 따라 음식물의 밀도를 수정하며, 구체적으로 음식물 사이의 이격 공간의 거리에 따라 미리 정해진 음식물의 밀도보다 값을 낮출 수 있다.
따라서 본 발명의 일 실시예에 따른 시스템(1)은 수정된 음식물의 밀도를 이용하기 때문에 음식물 쓰레기에 포함되는 음식물의 이격 공간이 큰 경우라도 높은 정확도로 음식물 쓰레기의 중량을 산출할 수 있다.
한편, 몇몇 실시예에서 서버 프로세서(81)는, 제2 폐기 처리의 음식물 쓰레기에 복수의 종류의 음식물이 포함되는 것으로 결정되면, 제2 폐기 처리의 음식물 쓰레기에 포함되는 각 음식물의 중량을 각각 산출하도록 구성될 수 있다. 이는 서버 프로세서(81)가 이미지 데이터에 기반하여 음식물 쓰레기에 포함되는 음식물의 종류를 파악할 때 복수의 종류의 음식물이 포함된 것으로 결정되면, 각각의 음식물마다의 부피를 산출함으로써 가능할 수 있다.
따라서 본 발명의 일 실시예에 따른 시스템에 따르면 음식물 쓰레기에 복수의 종류의 음식물이 포함되더라도 이를 구분할 수 있다.
한편, 본 발명의 일 실시예에 따른 시스템에 따르면 음식물 쓰레기의 특성을 높은 정확도로 산출하기 위해 추가 보정을 수행할 수 있다.
우선, 서버 프로세서(81)는, 제1 폐기 처리에 대한 이미지 데이터에 기반하여 제1 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류를 결정할 수 있다. 여기서, 서버 프로세서(81)는 제2 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류를 결정하는 것과 동일한 방식을 이용할 수 있다.
제1 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물의 밀도와, 제2 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물의 밀도를 고려하여, 연속적인 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이를 보정하고, 보정된 연속적인 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이에 기반하여 제2 폐기 처리의 음식물 쓰레기의 부피를 산출하도록 구성될 수 있다.
즉, 경우에 따라 연속적인 제1 제2 폐기 처리에 따라 음식물 쓰레기가 차곡차곡 쌓이는 것이 아닐 수 있으며, 경우에 따라 제2 폐기 처리의 음식물 쓰레기에 의해 제1 폐기 처리의 음식물 쓰레기가 눌릴 수도 있다. 따라서 이와 같은 경우, 제1 폐기 처리의 음식물 쓰레기와 제2 폐기 처리의 음식물 쓰레기의 상대적인 밀도 차이를 고려하여 연속적인 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이를 보정함으로써, 산출되는 제2 폐기 처리의 음식물 쓰레기의 부피 또는 중량의 정확도를 높일 수 있다.
더욱이, 몇몇 실시예에서 서버 프로세서(81)는, 제1 폐기 처리에 대한 이미지 데이터에 기반하여 제1 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류, 음식물의 상태 및 음식물 사이의 빈 공간의 크기 중 적어도 하나를 결정하고, 제2 폐기 처리에 대한 이미지 데이터에 기반하여 제2 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류, 음식물의 상태 및 음식물의 크기 중 적어도 하나를 결정하고, 제1 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물의 밀도, 음식물의 상태 및 음식물 사이의 빈 공간의 크기 중 적어도 하나와, 제2 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물의 밀도, 음식물의 상태 및 음식물의 크기 중 적어도 하나를 고려하여, 연속적인 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이를 보정하고, 보정된 연속적인 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이에 기반하여 제2 폐기 처리의 음식물 쓰레기의 부피를 산출하도록 구성될 수 있다.
따라서 본 발명의 일 실시예에 따른 시스템에 따르면 폐기 처리에 따라 음식물 쓰레기의 부피가 감소하는 경우에도 음식물 쓰레기의 특성을 정확도 높게 산출할 수 있다.
그리고 도 3을 참조하면, 서버 프로세서(81)는 음식물 쓰레기를 분류하기 위해 적어도 하나의 지시를 사용자로부터 수신할 수 있다(S50).
사용자는 음식물 쓰레기의 폐기 처리 후 사용자 인터페이스(30)를 이용하여 음식물 쓰레기를 분류하는 적어도 하나의 지시를 입력할 수 있다.
예컨대, 사용자 인터페이스(30)에서 지시는 음식물 쓰레기 발생의 시기, 음식물 쓰레기의 타입, 특정 쓰레기 또는 쓰레기를 쏟아 버리는 이유 중 적어도 하나에 대한 것일 수 있다.
여기서, 음식물 쓰레기의 타입은 원재료의 전처리 부산물, 잔식 및 잔반에 대한 것일 수 있으며, 원재료 전처리 부산물은 발주량으로 예측 가능하기 때문에, 음식물 쓰레기의 타입으로서 잔식 또는 잔반 중 어느 하나에 대하여 사용자로부터 입력 받으면, 음식물 쓰레기의 타입의 파악이 가능할 수 있다. 여기서, 발주량은 메모리(82)에 미리 저장될 수 있다.
이 밖에, 도 3을 참조하면, 서버 프로세서(81)는 산출된 음식물 쓰레기의 특성에 기반하여 추가 서비스 제공할 수 있다(S60).
예컨대, 잔식과 관련된 음식물 쓰레기에 대한 특성을 이용하여 음식물의 양을 높은 정확도로 예측하도록 하는 서비스를 제공할 수 있으며, 잔반과 관련된 음식물 쓰레기에 대한 특성을 이용하여 음식물의 선호도에 대한 정보를 제공할 수 있다. 이 밖에, 음식물 쓰레기를 분석하여 부족한 원재료에 대한 자동 발주를 할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 음식물 쓰레기를 모니터링하는 시스템이다. 도 4에서 복수의 쓰레기통(100)을 모니터링한다.
도 5는 본 발명의 다른 실시예에 따른 음식물 쓰레기를 모니터링하는 시스템이다. 도 5에서 장치 프로세서(20)가 서버 프로세서(81)의 기능을 수행한다.
이상에서 전술한 본 발명의 일 실시예에 따른 음식 측정 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (15)

  1. 음식물 쓰레기를 모니터링하는 시스템에 있어서,
    쓰레기통을 촬상하여 촬상 데이터를 생성하도록 구성되는 촬상 메커니즘으로서, 상기 쓰레기통은 비우기 전에 연속적인 제1 및 제2 폐기 처리로부터 음식물 쓰레기를 받도록 구성되는 것인, 촬상 메커니즘; 및
    상기 제1 및 제2 폐기 처리에 대한 촬상 데이터를 통해 이미지 데이터와 깊이 데이터를 획득하고, 상기 제2 폐기 처리에 대한 이미지 데이터에 기반하여 상기 제2 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류를 결정하고, 연속적인 상기 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이에 기반하여 상기 제2 폐기 처리의 음식물 쓰레기의 부피를 산출하도록 구성되는 프로세서
    를 포함하는, 시스템.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물의 밀도와, 산출된 상기 제2 폐기 처리의 음식물 쓰레기의 부피에 기반하여 상기 제2 폐기 처리의 음식물 쓰레기의 중량을 산출하도록 구성되는, 시스템.
  3. 제2항에 있어서,
    상기 시스템은 수주 정보, 발주 정보 및 메뉴 정보 중 적어도 하나가 저장된 메모리를 더 포함하고,
    상기 프로세서는, 상기 제2 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류를 결정할 때 상기 메모리에 저장된 수주 정보, 발주 정보 및 메뉴 정보 중 적어도 하나를 이용하는, 시스템.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 제2 폐기 처리의 음식물 쓰레기의 중량을 산출할 때, 상기 제2 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물 사이의 이격 공간을 고려하여 음식물의 밀도를 수정하고,
    수정된 음식물의 밀도를 이용하여 상기 제2 폐기 처리의 음식물 쓰레기의 중량을 산출하도록 구성되는, 시스템.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 제2 폐기 처리의 음식물 쓰레기에 복수의 종류의 음식물이 포함되는 것으로 결정되면, 상기 제2 폐기 처리의 음식물 쓰레기에 포함되는 각 음식물의 중량을 산출하도록 구성되는, 시스템.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 폐기 처리에 대한 이미지 데이터에 기반하여 상기 제1 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류를 결정하고,
    상기 제1 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물의 밀도와, 상기 제2 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물의 밀도를 고려하여, 연속적인 상기 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이를 보정하고,
    보정된 연속적인 상기 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이에 기반하여 상기 제2 폐기 처리의 음식물 쓰레기의 부피를 산출하도록 구성되는, 시스템.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 폐기 처리에 대한 이미지 데이터에 기반하여 상기 제1 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류, 음식물의 상태 및 음식물 사이의 빈 공간의 크기 중 적어도 하나를 결정하고,
    상기 제2 폐기 처리에 대한 이미지 데이터에 기반하여 상기 제2 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류, 음식물의 상태 및 음식물의 크기 중 적어도 하나를 결정하고,
    상기 제1 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물의 밀도, 음식물의 상태 및 음식물 사이의 빈 공간의 크기 중 적어도 하나와, 상기 제2 폐기 처리의 음식물 쓰레기에 포함되는 것으로 결정된 종류의 음식물의 밀도, 음식물의 상태 및 음식물의 크기 중 적어도 하나를 고려하여, 연속적인 상기 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이를 보정하고,
    보정된 연속적인 상기 제1 및 제2 폐기 처리에서의 깊이 데이터의 차이에 기반하여 상기 제2 폐기 처리의 음식물 쓰레기의 부피를 산출하도록 구성되는, 시스템.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 촬상 메커니즘의 촬상 데이터로부터 획득되는 이미지 데이터와 깊이 데이터 중 적어도 하나에 변화가 있는 경우, 해당 촬상 데이터를 폐기 처리에 대한 촬상 데이터로 인식하는, 시스템.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 폐기 처리 전의 촬상 데이터를 통해 이미지 데이터와 깊이 데이터를 획득하여 상기 쓰레기통의 면적 데이터와 깊이 데이터를 산출하고,
    상기 제2 폐기 처리의 음식물 쓰레기의 부피를 산출할 때 상기 쓰레기통의 면적 데이터와 깊이 데이터를 이용하는, 시스템.
  10. 제1항에 있어서,
    사용자에 의한 폐기 처리에서 음식물 쓰레기를 분류하는 적어도 하나의 지시를 수신하도록 구성되는 사용자 인터페이스
    를 더 포함하는 시스템.
  11. 제10항에 있어서,
    상기 사용자 인터페이스에서 상기 지시는 음식물 쓰레기 발생의 시기, 음식물 쓰레기의 타입, 특정 쓰레기 또는 쓰레기를 쏟아 버리는 이유 중 적어도 하나에 대한 것인, 시스템.
  12. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 및 제2 폐기 처리에 대한 촬상 데이터를 분석하여 상기 쓰레기통 또는 상기 촬상 메커니즘의 기울어진 정도를 산출하고,
    산출된 기울어진 정도에 기반하여 상기 제1 및 제2 폐기 처리에 대한 촬상 데이터를 보정하고,
    보정된 촬상 데이터를 이용하여 상기 제2 폐기 처리의 음식물 쓰레기에 포함되는 음식물의 종류를 결정하고 상기 제2 폐기 처리의 음식물 쓰레기의 부피를 산출하는 것인, 시스템.
  13. 제1항에 있어서,
    상기 촬상 메커니즘은 폐기 처리가 발생할 때만 쓰레기통을 촬상하여 촬상 데이터를 생성하는 것인, 시스템.
  14. 제13항에 있어서,
    상기 쓰레기통의 덮개의 개폐 감지 센서 또는 사용자의 폐기 처리를 하는 행위를 감지하기 위한 센서 중 적어도 하나를 더 포함하고,
    상기 쓰레기통의 덮개의 개폐 감지 센서 또는 사용자의 폐기 처리를 하는 행위를 감지하기 위한 센서의 감지 결과에 따라 상기 폐기 처리가 확인되는 것인, 시스템.
  15. 제1항에 있어서,
    상기 촬상 메커니즘은 상기 촬상 데이터에 변화가 있는 경우에 생성된 촬상 데이터를 상기 프로세서에 전송하는 것인, 시스템.
PCT/KR2020/019367 2020-12-30 2020-12-30 음식물 쓰레기를 모니터링하기 위한 시스템 및 방법 WO2022145533A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/019367 WO2022145533A1 (ko) 2020-12-30 2020-12-30 음식물 쓰레기를 모니터링하기 위한 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/019367 WO2022145533A1 (ko) 2020-12-30 2020-12-30 음식물 쓰레기를 모니터링하기 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2022145533A1 true WO2022145533A1 (ko) 2022-07-07

Family

ID=82259445

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/019367 WO2022145533A1 (ko) 2020-12-30 2020-12-30 음식물 쓰레기를 모니터링하기 위한 시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2022145533A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101286298B1 (ko) * 2012-06-27 2013-07-19 안양대학교 산학협력단 폐기물 체적 계산 장치 및 방법
KR20170008564A (ko) * 2015-07-14 2017-01-24 이동희 음식물쓰레기 운영관리 서비스 시스템
US20200108428A1 (en) * 2018-10-09 2020-04-09 Bon Appetit Management Co. Measuring and converting food waste
KR20200066278A (ko) * 2020-06-01 2020-06-09 삼성전자주식회사 음식과 관련된 정보를 처리하기 위한 전자 장치 및 방법
KR20200126288A (ko) * 2019-04-29 2020-11-06 주식회사 누비랩 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101286298B1 (ko) * 2012-06-27 2013-07-19 안양대학교 산학협력단 폐기물 체적 계산 장치 및 방법
KR20170008564A (ko) * 2015-07-14 2017-01-24 이동희 음식물쓰레기 운영관리 서비스 시스템
US20200108428A1 (en) * 2018-10-09 2020-04-09 Bon Appetit Management Co. Measuring and converting food waste
KR20200126288A (ko) * 2019-04-29 2020-11-06 주식회사 누비랩 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램
KR20200066278A (ko) * 2020-06-01 2020-06-09 삼성전자주식회사 음식과 관련된 정보를 처리하기 위한 전자 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2022119052A1 (ko) 쓰레기 배출량 측정 및 수거 관리 서버, 방법 및 프로그램
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2018216948A1 (ko) 인공신경망 분석에 근거한 복합적 물체 인식 시스템 및 방법
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2014193040A1 (ko) 센싱 데이터 분석 시스템 및 방법
WO2015190744A1 (ko) 영상열선장치 및 이를 이용한 침입 감지 시스템
WO2017034177A1 (ko) 이종 카메라로부터의 영상을 이용하여 불법 주정차 단속을 수행하는 단속 시스템 및 이를 포함하는 관제 시스템
WO2014061922A1 (ko) 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법
WO2021157794A1 (ko) 도어락을 제어하는 장치 및 방법
JP2017069963A (ja) 表示盤や操作盤のデータ収集システム、装置、方法、プログラムおよび記録媒体
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
WO2022055023A1 (ko) 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
WO2022145533A1 (ko) 음식물 쓰레기를 모니터링하기 위한 시스템 및 방법
CN115995054A (zh) 一种基于计算机视觉的接待事件检测方法及装置
WO2022186426A1 (ko) 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
KR20210153006A (ko) 코로나 방전 검출 장치
KR20190136515A (ko) 차량 인식 장치
JP6508329B2 (ja) 監視システム、監視対象装置、制御方法、及びプログラム
WO2023158068A1 (ko) 객체검출률 향상을 위한 학습시스템 및 그 방법
WO2023282500A1 (ko) 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램
WO2022019601A1 (ko) 영상의 객체 특징점 추출과 이를 이용한 영상검색 시스템 및 방법
CN110766171A (zh) 一种垃圾分类方法及垃圾分类系统
KR101362962B1 (ko) 차량번호 인식 및 검색 시스템과 운영방법
CN112758567A (zh) 一种垃圾投放行为分析与控制方法及系统
KR20210049705A (ko) 음식물 쓰레기를 모니터링하기 위한 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20968082

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20968082

Country of ref document: EP

Kind code of ref document: A1