WO2007015548A1 - 検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ - Google Patents

検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ Download PDF

Info

Publication number
WO2007015548A1
WO2007015548A1 PCT/JP2006/315413 JP2006315413W WO2007015548A1 WO 2007015548 A1 WO2007015548 A1 WO 2007015548A1 JP 2006315413 W JP2006315413 W JP 2006315413W WO 2007015548 A1 WO2007015548 A1 WO 2007015548A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
information
user
database
search
Prior art date
Application number
PCT/JP2006/315413
Other languages
English (en)
French (fr)
Inventor
Toru Tanigawa
Shusaku Okamoto
Osamu Yamada
Tomonobu Naruoka
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2006546441A priority Critical patent/JP3989527B2/ja
Publication of WO2007015548A1 publication Critical patent/WO2007015548A1/ja
Priority to US11/796,723 priority patent/US8099427B2/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management

Definitions

  • the present invention relates to a search article estimation apparatus and method for estimating an article that a user is searching in an environment in which a tag reader, a camera, a contact sensor, and the like are arranged, and a server for a search article estimation apparatus.
  • Background art a tag reader, a camera, a contact sensor, and the like are arranged, and a server for a search article estimation apparatus.
  • Patent Document 1 Japanese Patent Laid-Open No. 2002-250768
  • Patent Document 1 each time the user wants the object search system to search for an article, the user needs to intentionally input information related to the search article to the object search system.
  • the user considering searching for goods in a general household, there are usually enough articles in the household that people cannot grasp, and there are also many articles with the same name such as cups. To do.
  • the task of assigning a keyword to each article in order to identify such articles with the same name is cumbersome, and the user cannot clearly remember the assigned keywords.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a user even if the user cannot accurately transmit information on an article to be searched to the search article estimation apparatus.
  • the present invention is configured as follows.
  • the present invention provides:
  • An article information database in which article information necessary for estimating an article is recorded; a storage position database in which a storage position of the article recorded in the article information database is recorded;
  • a sensing device that is disposed in a living environment and detects article position information that can estimate at least the position of the article and access state estimation information that can estimate a user's access state to the storage facility at the storage position of the article
  • a map in the environment an environment database recording the installation locations of the storage equipment and the sensing device arranged in the environment;
  • the sensing apparatus From the installation position of the sensing device recorded in the environment database, the article position information and the access state estimation information detected by the sensing apparatus, and the time acquired by the timer, the sensing apparatus detects the article position. Information and information on the position of the article at the time when the access status estimation information is detected, and information processing means for obtaining access status information indicating the access status of the user to the storage facility,
  • An equipment operation history database in which the access state information indicating the access state of the user to the storage facility obtained by the information processing means is recorded together with a time when the sensing device detects the access state estimation information;
  • a search state detection means for detecting whether there is a change in presence or absence
  • the search state detection means did not change in the presence or absence of the article in the storage facility
  • search article estimation means for estimating the article that the user is searching for
  • the state of access to the storage facility of the user and the change in the article in the storage facility during that time are examined. It is determined that the user is searching for an article that the user is searching for, and further, referring to the storage location database, the article that the user should originally search for is stored in the storage facility. With the configuration of estimating, the item that the user is searching for can be automatically estimated from the user's search status.
  • FIG. 1 is a block diagram showing a configuration of a search article estimation device according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of information recorded in an environment database of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing a configuration of a search article estimation device according to a third embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of an environmental data base of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of an article information database of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 6 is a diagram showing an example of a storage position database of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 7 is a diagram showing an example of an article position history database of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 8 is a diagram showing an example of a storage position database of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 9 is a diagram showing an example of an owner database of the search article estimation device according to the third embodiment of the present invention.
  • FIG. 10A is a diagram showing an example of a user information database of the search article estimation device that works on the third embodiment of the present invention.
  • FIG. 10B shows the power on the third embodiment of the present invention.
  • FIG. 11A is a diagram showing an example of a user operation database of the search article estimation apparatus according to the first embodiment of the present invention.
  • FIG. 11B is a diagram showing an example of an equipment operation history database of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 11C is a diagram showing an example of the equipment operation history database of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 11D is a diagram showing an example of an equipment operation history database of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 12A is a perspective view showing a method of using a contact sensor in an example of a sensing device of the retrieval article estimation device according to the first embodiment of the present invention.
  • FIG. 12B is a diagram showing a detection result of the contact sensor in FIG. 12A in a table format in the sensing device of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 12D is a perspective view showing a method of using a pyroelectric infrared sensor in another example of the sensing device of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 12 is a diagram showing a detection result by the pyroelectric infrared sensor of FIG. 12C in a table format in the sensing device of the search article estimation device that is useful for one embodiment;
  • FIG. 13A is a flowchart showing a search article estimation process applied to a storage facility having an opening / closing function in the search article estimation apparatus according to the first embodiment of the present invention.
  • FIG. 13B is a flowchart showing the appearance / disappearance detection operation of an article in the search article estimation process of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 14 is a flowchart showing a search article estimation process applied to a storage facility having no opening / closing function in the search article estimation apparatus according to the first embodiment of the present invention
  • FIG. 15 is a diagram showing a method for updating the environmental database of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 16 is a diagram showing the current positions of the user and the article.
  • FIG. 17 is a flowchart showing search article estimation processing of the search article estimation device according to the third embodiment of the present invention.
  • FIG. 18 is a diagram showing a display example when a display is used for the notification device of the search article estimation device according to the first embodiment of the present invention.
  • FIG. 19 is a block diagram showing a configuration of a search article estimation device that uses a search article estimation device server according to a sixth embodiment of the present invention.
  • FIG. 20A is a layout diagram of equipment before layout of a server, a sensing device, and a notification device of a search article estimation device that uses a server for a search article estimation device according to the sixth embodiment of the present invention
  • FIG. 20B is a diagram showing an arrangement example of a server, a sensing device, and a notification device of a search article estimation device that uses the search article estimation device server according to the sixth embodiment of the present invention.
  • FIG. 21 is a diagram illustrating a retrieval article estimation process performed by the retrieval article estimation apparatus according to the first embodiment of the present invention. It is a flowchart when taking out outside the storage facility and searching for articles inside the storage facility,
  • Fig. 22 is a block diagram showing a search article estimation device that works on the second embodiment of the present invention.
  • FIG. 23A is a perspective view of a stationery case for explaining a search article estimation device that works on the second embodiment of the present invention
  • FIG. 23B is a plan view of a stationery case for explaining a search article estimation device that works on the second embodiment of the present invention
  • FIG. 23C is a diagram showing an example of a facility operation history database when a display is used for the notification device of the search article estimation device according to the second embodiment of the present invention.
  • FIG. 23D FIG. 6 is a diagram showing a relationship among a sensing device, a sensor ID, installation equipment, and installation coordinates (installation position coordinates) when a display is used as a notification device of a search article estimation device according to the second embodiment of the present invention. Yes,
  • FIG. 24 is a diagram showing an example of an article information database of the search article estimating apparatus according to the fourth embodiment of the present invention.
  • FIG. 25 is a block diagram showing a configuration example of a search article estimation device according to the fourth embodiment of the present invention.
  • FIG. 26 is a block diagram showing a configuration of a search article estimation device that uses a server that is powerful in the fifth embodiment of the present invention.
  • FIG. 27 is a diagram showing another example of the storage location database of the search article estimation device according to the first and fifth embodiments of the present invention.
  • An article information database in which article information necessary for estimating an article is recorded; a storage position database in which a storage position of the article recorded in the article information database is recorded;
  • a sensing device that is disposed in a living environment and detects article position information that can estimate at least the position of the article and access state estimation information that can estimate a user's access state to the storage facility at the storage position of the article
  • the map in the environment, the storage facility and the sensor arranged in the environment An environmental database that records installation locations
  • the sensing apparatus From the installation position of the sensing device recorded in the environment database, the article position information and the access state estimation information detected by the sensing apparatus, and the time acquired by the timer, the sensing apparatus detects the article position. Information and information on the position of the article at the time when the access status estimation information is detected, and information processing means for obtaining access status information indicating the access status of the user to the storage facility,
  • An equipment operation history database in which the access state information indicating the access state of the user to the storage facility obtained by the information processing means is recorded together with a time when the sensing device detects the access state estimation information;
  • a search state detection means for detecting whether there is a change in presence or absence
  • search state detection unit detects that there is no change in the presence or absence of the article in the storage facility, by referring to the storage position database, the article position history database, and the facility operation history database, Search article estimation means for estimating the article that the user is searching for;
  • the state of access to the storage facility of the user and the change of the article in the storage facility during that time are checked. If there is no change, the storage facility has the article being searched by the user. Since it is determined that the user is helpless and the article that should be stored in the storage facility is estimated as the article that the user is searching for by referring to the storage location database, the user is searching for the article that the user is searching for. It can be estimated automatically from the search status. [0014] Further, according to the second aspect of the present invention,
  • the sensing device further detects an open / close state of an open / close function provided in the storage facility,
  • search article estimation device wherein the search article estimation means further estimates an article searched by the user by referring to an estimation result of the visual difficulty range estimation means. Is to provide.
  • a user information database storing user information necessary for estimating the user ID and the user ID
  • An owner database that records information on owners of the articles recorded in the article information database
  • the sensing device further detects user information that can estimate the user
  • the information processing means further refers to the user information database from the user information detected by the sensing device, thereby identifying the user ID.
  • the search article estimation means further refers to the ID of the user and the information on the owner of the article recorded in the owner database, thereby determining the article that the user is searching for.
  • the search article estimation apparatus according to one of the first to fourth aspects of the shift force is provided. Is.
  • the same article search estimation means for estimating whether the same article is being searched from the time until the start of access to another storage facility.
  • the search article estimation means further estimates the article that the user is searching based on the estimation result of the same article search estimation means. Any one of the first to fifth aspects is characterized in that: The search article estimation apparatus is provided.
  • An article information database in which article information necessary for estimating an article is recorded; a storage position database in which a storage position of the article recorded in the article information database is recorded;
  • Information processing means for obtaining access state information indicating information on the current position of the article and information on an access state of the user to the storage facility from the environment database;
  • An article position history database in which information on the position of the article obtained by the information processing means is recorded together with the time when the sensing device detects the information;
  • a facility operation history database in which the access state information indicating the access state of the user to the storage facility determined by the information processing means is recorded together with a time when the sensing device detects information;
  • a server for a search article estimation apparatus comprising: a search article estimation means for estimating the article being stored.
  • the server receives information about the state of access to the storage facility of the user and the change in the article in the storage facility during that time, and the user searches the storage facility for the user. It is determined whether the article was present or helpless. If it is determined that the article has been helped, the user searches for the article to be originally stored in the storage facility by referring to the storage position database. Because it is estimated as an article to be searched, it is possible to automatically estimate the article that is searched by the user from the user's search status.
  • the sensing device disposed in the living environment detects at least article position information that can estimate the position of the article and access state estimation information that can estimate the state of access to the user's storage facility.
  • the current location of the article is recorded.
  • a search article estimation method for estimating the article that the user is searching for is provided.
  • the access state of the user to the storage facility and the change in the article in the storage facility in the meantime are checked, and if not changed, the user searches the storage facility for the user.
  • the user In order to estimate the article that is originally stored in the storage facility as the article being searched by the user by referring to the storage location database, the user is searching. Articles can be automatically estimated from the user's search status.
  • FIG. 1 is a block diagram showing a search article estimation apparatus that works on the first embodiment of the present invention.
  • This search article estimation device includes an article information database 106, a storage position database 107, a timer 109, a sensing device 101, an information processing means 110, an article position history database 108, and an equipment operation history database 105. And an environment database 201, a search state detection means 102, a search article estimation means 103, and a notification device 104.
  • the information processing means 110 is connected to the sensing device 101, the timer 109, the article information database 106, the article position history database 108, the equipment operation history database 105, and the environment database 201, and is detected by the sensing device 101. Based on information, for example, information such as the ID of the product, the article is recorded in the environment database 201, and the article information recorded in the article information database 106 is properly referenced with reference to the installation position of the sensing device 101.
  • the obtained article position and detection information detected by the sensing device 101 for example, storage equipment (for example, a bookshelf capable of storing or placing articles, a multipurpose shelf, Access state estimation information such as stationery opening and closing operation (example of access) is combined with time information from timer 109 that acquires time Then, it is appropriately recorded as the history information of the article position information in the article position history database 108, and is appropriately recorded as access status information indicating whether the user is in the middle of access to the facility operation history database 105.
  • storage equipment for example, a bookshelf capable of storing or placing articles, a multipurpose shelf
  • Access state estimation information such as stationery opening and closing operation (example of access) is combined with time information from timer 109 that acquires time Then, it is appropriately recorded as the history information of the article position information in the article position history database 108, and is appropriately recorded as access status information indicating whether the user is in the middle of access to the facility operation history database 105.
  • the article information database 106 includes, as examples of article information necessary for estimating articles existing in a living environment (for example, a house, a room in the house), etc., The article ID estimation article information necessary for estimating the article ID is recorded.
  • FIG. 5 shows an example of the article information database 106 of articles in a house, for example.
  • examples of information necessary for estimating the ID of an article include the name of the article (text data), the weight of the article (text data), and the appearance of the article (rough image data). Are recorded correspondingly.
  • FIG. 6 shows an example of the storage location database 107 in the home, for example.
  • the name of the storage position is described in association with the ID of the storage position, and that there is no storage position with the same name in which the ID of the article to be originally stored is described in the storage position.
  • an ID may be assigned to the storage location and the storage location ID may be recorded as the storage location in the storage location database 107. For example, among the two sofas in FIG. 6, IDP 0 06 is assigned to one sofa 1 and IDP 007 is assigned to the other sofa 2.
  • FIG. 27 shows another example of the storage location database 107, which includes a stapler (article ID: ID007), a multipurpose shelf (article ID: ID001), and a stationery box (article ID: Set the two storage facilities of ID004) to their original storage positions.
  • a stapler article ID: ID007
  • a multipurpose shelf article ID: ID001
  • a stationery box article ID: Set the two storage facilities of ID004
  • the information recorded in the article information database 106 and the storage position database 107 may be input directly by the user from the input device 900 such as a touch panel, keyboard, mouse, microphone, etc.
  • information recorded on a tag attached by a vendor may be read from an input device 900 such as a tag reader and recorded.
  • a plurality of storage positions may be determined so that the storage positions of the articles are different every certain period.
  • FIG. 8 shows an example of a storage position database 107 that records the storage positions of articles, which differ for each fixed period.
  • the storage location database shown in Fig. 8 for example, when a user issues a search request for the mobile phone with the item ID 001 at around 14:00, the mobile phone is outside the home and is not in the current environment (home). Then, it becomes possible to notify the user of the fact.
  • the fixed period is divided in units of one hour of the day, but may be further divided into weekdays and holidays, or may be divided according to the season.
  • the environment database 201 the floor plan of the room in the living environment (or the environment, for example, a map of the room), the arrangement of storage facilities in the living environment, and the installation position of the sensing device 101 are recorded. It is possible to obtain the position coordinates of an article that is sensed by the sensing device 101, for example, an article that is stored in a bookshelf and stored in a stationery case. .
  • FIG. 4 shows an environment map recorded in the environment database 201 and the arrangement of storage equipment and the like in the environment.
  • the size of the living environment is displayed in a reduced size than the actual size, and the actual size of the living environment is one room of the living environment that is 6 m in length and width.
  • the user may manually update the environment database 201 using an input device 900 such as a keyboard, mouse, or microphone, or a sensor such as a tag reader.
  • the environment database 201 may be automatically updated using the storage device 101 and the information processing means 110.
  • FIG. 15 shows a method of automatically updating the environment database 201 using the sensing device 101 such as a tag reader and the information processing means 110.
  • tag readers A to K (1504 to 1510) as an example of the sensing device 101 having position coordinate information are laid on the floor of the room in the living environment, and each storage facility, as shown in FIG. For example, attach two tags (rear tag A 1502, front tag B 1503) to the bottom of shelf 1501.
  • the shelf 1501 when the shelf 1501 is installed on the floor, it reacts to the tag reader D 1507, E 1508 force S rear J tag A 1502, and reacts to the tag reader [1509, tag reader K 1510 force S front tag B 1503.
  • Shelf 1501 is tag reader D 1507, tag reader E 1508, Tag reader; [1509, Tag reader ⁇ ⁇ Tag reader at position 1510: [1509, Tag reader ⁇ Installed with 1510 forward (installed in the opposite direction to the wall of the room) by information processing means 110 Is done. Information on the position coordinates of the shelf 1501 thus obtained is recorded in the environment database 201 by the information processing means 110 and updated.
  • FIG. 2 is recorded in the environment database 201 including the installation position of the sensing device 101 recorded in the environment database 201, the environment map shown in FIG. 4 and the information on the arrangement of storage equipment in the environment.
  • Information to be displayed For example, a tag reader with a sensor ID of Tag-001 must be installed in the “stationery box” as a storage facility where the sensor is installed in the range of position coordinates (2000, 900) to (3500, 0). Show.
  • the information processing means 110 can determine the information power from the sensing device 101 installed at any position in the environment when performing information processing such as detection of the article position.
  • the sensing device 101 is disposed in the living environment, and estimates the access state of the user's storage equipment such as article position information that can estimate at least the position (position coordinates) of the article, and storage facility opening / closing information. It is a device that detects possible access state estimation information.
  • the sensing device 101 for example, a tag reader, a weight sensor, a camera, a contact sensor, or a pyroelectric infrared sensor can be considered.
  • the sensor ID of each sensing device 101, the equipment where each sensing device 101 is installed, and the installation coordinates (installation position coordinates) of each sensing device 101 are recorded in the environment database 201, and information processing is performed from the sensing device 101. By including its own sensor ID in the information transmitted to the means 110, the information processing means 110 can determine where the information is from the sensing device 101 arranged.
  • each sensor as an example of the sensing device 101 will be described, and the processing content of information acquired by each sensor by the information processing means 110 will be described.
  • the information processing means 110 determines that there is an article with the tag in the sensing range of the tag reader that has detected the tag.
  • the sensing range of the tag reader is set to only one storage position, and a tag that records the ID of the article is attached to the article. Then, the information processing means 110 reads the tag information (article position) detected by the tag reader.
  • Information as an example of information, for example, tag HD information
  • information on a position where the tag reader is sensing information as an example of article position information, for example, sensing position of the tag reader
  • Information such as the range, range, tag reader center coordinates, etc.
  • tags with HD information are laid on the floor in the living environment, for example, in a lattice pattern, and the ID information of the tags laid on the floor is associated with the floor position. Create the matching data.
  • the footwear is installed with a tag reader that reads the information on the tags laid on the floor, and this tag reader stores data that associates the ID with the place where the tag with the ID is placed! Being! Speak.
  • the tag reader power on the footwear immediately communicates with the tag underneath the footsteps on the floor, and the ID of the tag Is read.
  • the information processing means 110 can identify the position of the person on the floor by comparing the ID value with the association data.
  • this is only an example, and a configuration in which tag readers with position information are spread on the floor and tags are attached to the slippers may be used. In order to support the detection of multiple people, it is only necessary to distinguish the IDs owned by each person.
  • a tag reader is installed in front of the storage facility, and the tag reader detects a tag indicating the user. Force / forcelessness can be used as access state estimation information.
  • the information processing means 110 determines whether the article placed on the weight sensor or the weight sensor force is taken by the weight increase / decrease value detected by the weight sensor.
  • the information processing means 110 detects the detected load information (information as an example of the article position information) and the position information (the position information sensed by the weight sensor).
  • This is information as an example of article position information, and refers to weight data recorded in the article information database 106 based on, for example, information such as the sensing position and range of the weight sensor and the center coordinates of the weight sensor).
  • a mobile phone is placed on the weight sensor.
  • humans can be detected by laying weight sensors on the floor in the living environment, for example, in a lattice pattern.
  • the weight sensor outputs a value when a load is applied by a human foot or the like, and all the weight sensors are connected to the information processing means 110.
  • the information processing means 110 is always adapted to receive the information sensed by the weight sensor. If it is detected that a load is applied to a certain sensor, the position coordinates of the sensor are located. Seek immediately. In order to know the person's position most easily using such a retrieval article estimation apparatus, the coordinate value of the sensor with a heavy load may be used as it is as the person's position.
  • the weight sensor is used to determine the access state of the user to the storage facility, a weight sensor is installed in front of the storage facility, and the weight sensor has a weight equivalent to the weight of the user. Whether or not the force is detected can be used as access state estimation information
  • the information processing means 110 can extract the change in the image within the field of view of the camera, for example, by background difference.
  • Background difference is a technique for comparing a background image that has been created in advance with a current input image and extracting the difference. Then, by matching between the difference obtained from the background difference and the appearance data recorded in the article information database 106, information on articles that appear in the camera field of view or articles that disappear from the camera field of view is displayed. Detected by processing means 110. Similarly, human detection can be performed.
  • the article position information for estimating the position of the article when using the camera is, for example, an image acquired by the camera or a difference image obtained by background difference and a difference obtained by background difference. It can be the position of the image. Also, use the camera to the user's storage facility If the access status is determined, whether or not the user is detected before the storage facility can be used as the access status estimation information.
  • the sensing device 101 is realized by combining a sensor that acquires article position information that can estimate the position of an article and a sensor that acquires access state estimation information that can estimate the access state of a user's storage facility. It doesn't matter. Below, a contact sensor and a pyroelectric infrared sensor will be described as sensors capable of acquiring access state estimation information.
  • FIG. 12A the portions described as 1201a to 1201d are contact sensors.
  • a storage facility such as a stationery case 1200
  • contact sensors 120la to 120Id are installed in each of them.
  • the upper openable door of the stationery compartment 1200 is a door 1200a that opens and closes with a hinge as a boundary. It is installed so that it can touch.
  • the openable door at the bottom of the stationery case 1200 is a drawer 1200c, which can contact the edge of the drawer 1200c and the edge of the main body 1200d opposite the edge, respectively, with contact sensors 1201c and 1201d force S. is set up.
  • the information processing means 110 closes the door 1200a or 1200c of the storage facility when the contact sensors 1201a and 120lb or the contact sensors 1201c and 1201d contact each other. If the contact sensors 1201a and 1201b or the contact sensors 1201c and 1201d are not in contact with each other, the storage facility door 1200a or 1200c is open, and so on. . Whether the door is open or not can be used as access state estimation information.
  • examples of the contact sensors 1201a to 1201d are shown as the sensing device 101, but other sensors, for example, optical non-contact sensors may be used.
  • a pyroelectric infrared sensor as an example of an optical non-contact sensor is used as the sensing device 101
  • a portion indicated by 1202 is a pyroelectric infrared sensor installed on a bookshelf 1203 as an example of storage equipment.
  • Pyroelectric infrared sensor 1202 The temperature change can be detected from the difference between the temperature (the temperature of an object having a temperature higher than the background temperature) and the background temperature.
  • the pyroelectric infrared sensor 1202 can detect whether a person puts a hand in the bookshelf 1203 or not. Then, a hand can be put in the bookshelf 1203 to determine whether or not the power is available as access state estimation information.
  • FIG. 7 shows an example of the article position history database 108.
  • the sensing device 101 senses each, and what is the article placed in the storage position or the article taken from the storage position? Is detected by the sensing device 101. For example, looking at ID001 (mobile phone) in Fig.
  • the table was placed at 14:03 (detection time) and taken from the table at 17:08 (disappearance time) ), Placed on the table at 17:10 (detection time), and table power was also taken at 17:20 (disappearance time) (see previous storage position column in Figure 7), 17:22 minutes
  • the sensing device 101 detects that it has been placed on the table at (detection time) and has reached the present (see the current storage position column in FIG. 7).
  • an ID may be assigned to each storage position, and the storage position ID that is not the name of the storage position may be recorded in the article position history database 108! /, .
  • FIGS. 11A to 11D show examples of the facility operation history database 105, respectively.
  • FIG. 11A to FIG. 11D show the facility operation history database 105 of each storage facility (book shelf, multipurpose shelf, cupboard, stationery case).
  • operation history information of a bookshelf eg, the bookshelf 1203 in FIG. 12C
  • 19:31 Information on human detection status An example of access state estimation information
  • the access state estimation information is detected, indicating that the user has detected that his / her hand is in the bookshelf. In this case, based on the access state estimation information
  • the information processing means 110 assumes that it is being accessed.
  • information on an undetected state (an example of access state estimation information) was detected, indicating that the user has removed his hand from the bookshelf.
  • the information processing means 110 assumes that access is not being performed as an example of access state information.
  • the example of the facility operation history database 105 shown in FIG. 11B shows the operation history information of the multipurpose shelf, and the door opening information (access state estimation information of the access state estimation information) indicating that the door was opened at 19:10. (Example) is detected and it is detected that the door is opened.
  • the information processing means 110 assumes that access is being performed as an example of access state information.
  • the door closing information (an example of access state estimation information) indicating that the door was closed at 19:14 was detected, and the door was closed.
  • the information processing means 110 determines that access is not being performed as an example of access state information.
  • the example of the equipment operation history database 105 shown in FIG. 11C shows the operation history information of the cupboard, and the door opening information (access state estimation information indicating that the door is opened at 18:14) ) Is detected, and it is detected that the door is opened.
  • the information processing means 110 assumes that access is being performed as an example of access state information.
  • the door closing information (an example of access state estimation information) indicating that the door was closed at 18:20 is detected, and the door is closed.
  • the information processing means 110 determines that access is not being performed as an example of access state information.
  • the example of the equipment operation history database 105 shown in FIG. 11D shows the operation history information of the stationery case (eg, stationery case 1200 in FIG. 12A), and the door was opened at 21:02.
  • the door opening information (an example of access state estimation information) indicating that the door has been opened is detected.
  • the information processing means 110 assumes that access is being performed as an example of access state information.
  • Door closing information (an example of access state estimation information) indicating that the door has been closed is detected, and it is detected that the door has been closed.
  • the information processing means 110 determines that access is not being performed as an example of access state information.
  • the search state detection means 102 is connected to the article position history database 108, the equipment operation history database 105, and the search article estimation means 103, and “open” is displayed in the state of each storage equipment in the equipment operation history database 105.
  • the article is placed in the storage facility during the period from when it was recorded until “closed” was recorded, or during the period from when “person detected” was recorded until “person not detected” was recorded. Or the internal force of the storage facility is grasped by referring to the article position history database 108, and if no operation is performed on the storage facility, the user selects the item. Although it is searching, it is determined that it is hard to find the article.
  • the search state detection means 102 searches for an article only when it detects that the article operation has not been performed twice in a period until the opening force of the storage facility is closed. However, it may be determined that the article has been found to have been hard to find, or the user searches for the article only when the article is detected three times in succession, but the article can be found. You may judge that it was strong.
  • the search condition detection means 102 estimates the article that the user is searching for, such as when the user finds the article by retreating the capacity of the storage equipment and finds the power to find it. There is no such thing as not doing.
  • the search article estimation means 103 is connected to the storage position database 107, the article position history database 108, the equipment operation history database 105, the environment database 201, the search state detection means 102, and the notification device 104, so that the search state The article search state by the detection means 102 After the detection operation, the article search state detection result information is received from the search state detection means 102, and the search state detection means 102 first determines that the user has been unable to search the article. By referring to the storage location database 107, the search product estimation means 103 acquires the product ID at which the facility is the original storage location.
  • the search article estimation means 103 By referring to the article position history database 108 for the medium power of the acquired article ID, it is possible to narrow down the articles with the article ID that is not currently in the original storage position, and to estimate that the article is V To do.
  • the notification device 104 is connected to the search article estimation means 103 and the article position history database 108, and notifies the user of the current position of the article estimated by the search article estimation means 103. For example, This can be achieved using lamps, speakers, displays that display video and text information, and so on.
  • the notification device 104 When a lamp is used for the notification device 104, it is first necessary to place a lamp at each storage position in the living environment. When the notification device 104 obtains the current position of the articles narrowed down by the search article estimation means 103 by referring to the article position history database 108, the notification device 104 turns on the lamp at the current position of the article and prompts the user. It is possible to notify.
  • the notification device 104 grasps the current position of the articles narrowed down by the search article estimation means 103 by referring to the article position history database 108 as in the case of a lamp. In addition, it is possible to notify the user of the current position of the article by voice if the speaker is used, and by using a video if the display is used.
  • FIG. 18 shows an example of notification of the article position by the display.
  • a staple on the multipurpose shelf is an example of both image data and text data.
  • the retrieval article estimation process in the flowcharts shown in FIGS. 13A, 13B, and 14 is applied to one of the storage facilities in the living environment, and this retrieval is performed.
  • the search article estimation process shown in the flow chart is applied by the number of storage facilities in the living environment and processed in parallel with each other.
  • FIG. 13A is a flowchart of the search article estimation process applied to a storage facility having an opening / closing function
  • FIG. 14 is a flowchart of the search article estimation process applied to a storage facility having no opening / closing function.
  • the sensing device 101 always senses the appearance / disappearance of the article, and upon detecting the appearance / disappearance of the article (step S1309), the information is sent to the information processing means 110. This is recorded in the equipment operation history database 105 and the article position history database 108 (step S 1310).
  • the retrieval article estimation process will be described using a multipurpose shelf as an example of a storage facility having an opening / closing function.
  • the user waits until the user opens the door of the multipurpose shelf, specifically, until a sensing device 101 such as a contact sensor that senses the multipurpose shelf detects the opening of the multipurpose shelf (step S1301).
  • a sensing device 101 such as a contact sensor that senses the multipurpose shelf detects the opening of the multipurpose shelf.
  • the sensing device 101 that senses the opening and closing of the multipurpose shelf detects the opening of the multipurpose shelf, and processes the opening information of the multipurpose shelf in the equipment operation history database 105 along with the detection time. Recording is performed by means 110 (step S 1302).
  • step S1303 it is detected by the sensing device 101 such as a tag reader whether or not the user has the ability to take out any item from the multipurpose shelf (step S1303).
  • the sensing device 101 such as a tag reader whether or not the user has the ability to take out any item from the multipurpose shelf.
  • the sensing device 101 detects that the user has placed some item in the multi-purpose shelf by sensing device 101 without taking out the item from the multi-purpose shelf (NO in step S1303 and YES in step S1304). in the case of).
  • the information processing means 110 records information that the article is stored in the multipurpose shelf in the article position history database 108 by the sensing device 101 detecting the stored article.
  • the search state detecting means 102 stores the information recorded in the article position history database 108 by the information processing means 110 (that is, the article is stored in the multipurpose shelf recorded by the information processing means 110 in the article position history database 108).
  • the user determines that the article is not searched by referring to the information).
  • it is detected whether or not the user can close the multipurpose shelf door (step S130 5A).
  • the sensing device 101 detects that the multi-purpose shelf door has been closed by the user (YES in step S1305A)
  • the information processing means 110 displays the multi-purpose shelf closure information in the facility operation history database 105 together with the detection time. Recording is performed (step S1306A), and the processing of this flowchart ends.
  • step S1305A the processing of this flowchart may be ended even if the user does not close the door of the multipurpose shelf even after a predetermined time has elapsed.
  • step S1310 When the sensing device 101 that senses the inside of the multi-purpose shelf detects the storage of the article (step S1309), information on the article stored in the multi-purpose shelf is stored in the article position history database 108. Recorded by the information processing means 110 (that is, the HD information of the article detected by the sensing device 101, the HD information of the multipurpose shelf, and the time information from the timer 109 are associated and recorded by the information processing means 110. ) (Step S1310
  • the sensing device 101 detects that the article has been taken out, thereby detecting the article position history database 108.
  • the information indicating that the article has been taken out is also recorded in the multi-purpose shelf force, and the search state detection means 102 stores the above-described information recorded in the article position history database (that is, from the multi-purpose shelf recorded in the article position history database 108).
  • the user does not take out any of the multipurpose shelves (if NO in step S1303) and does not store anything in the multipurpose shelves (if NO in step S1304)
  • the sensing device 101 detects that the multi-purpose shelf door is closed (YES in step S1305), and the information processing means 110 stores the multi-purpose shelf in the multi-purpose shelf 105.
  • the closing information is recorded together with the detection time (step S1 306).
  • the search state detecting means 102 does not store the article in the multipurpose shelf until the opening force of the multipurpose shelf recorded in the facility operation history database 105 is closed, and removes the article from the multipurpose shelf.
  • article location history database 1 It is obtained by referring to 08, and it is determined that the user searches for an article but cannot find the article.
  • the search article estimation means 103 searches for an article that should originally be stored in the multipurpose shelf and that is not currently in the multipurpose shelf. It is presumed that the article has been stored (step S1307). That is, as described above, the storage location database 107 is referred to for the product ID at which the multipurpose shelf that the search state detection means 102 has determined that the user has been unable to search for the product is the original storage location. Thus, the search article estimation means 103 acquires.
  • the search article estimation means 103 narrows down and narrows down the articles with the article ID that is not currently in the multipurpose shelf that is the original storage position by referring to the article position history database 108 from the acquired article IDs.
  • the article is estimated to be the article that the user has searched for.
  • the search state detecting means 102 determines that the door of the multipurpose shelf is opened at 19:10 and closed at 19:14.
  • the search state detection unit 102 refers to the article position history database 108 in FIG. 7, there is no article ID stored as the storage position for the multipurpose shelf during this time.
  • the search state detecting means 102 determines that no article is stored in the multipurpose shelf and no article is taken in the multipurpose shelf. In this way, the search state detection means 102 determines that the user has performed an article search but has not found the article.
  • the search article estimation unit 103 when the search article estimation unit 103 receives the determination result by the search state detection unit 102, the search article estimation unit 103 refers to the storage position database 107 in FIG. It is determined by the search article estimation means 103 that the article is the article having the article IDs ID001 and ID002. Further, the search article estimation means 103 refers to the article position history database 108 of FIG. 7, so that the article that is not currently in the multipurpose shelf among the articles is a mobile phone having the article ID ID001. Determined by 103. In this way, the search article estimation means 103 estimates that the user searches for the mobile phone with ID001 and that the article is V.
  • the current position of the articles (for example, the mobile phone in the above example) narrowed down by the search article estimation means 103 is notified to the user by the notification device 104 such as a lamp, a speaker, or a display (step S1308).
  • the notification device 104 such as a lamp, a speaker, or a display.
  • the process is terminated.
  • the current position of the narrowed article can be acquired by the notification device 104 referring to the article position history database 108.
  • step S1303 the user does not take out any of the multipurpose shelves (if NO in step S1303) and does not store any items in the multipurpose shelves (if NO in step S1304). If the multi-purpose shelf door is not closed and the sensing device 101 cannot detect that the multi-purpose shelf door is closed within the specified time (in the case of NO in step S1305), step S Return to 1303.
  • a sensing device 101 such as a pyroelectric infrared sensor sensing the entrance of the bookshelf is placed in the bookshelf. It waits until it detects (person detection) (step S 1311).
  • the sensing device 101 senses the entrance into the bookshelf and detects the hand that has entered the bookshelf (if YES in step S1311), and the person detection information on the bookshelf Is recorded by the information processing means 110 in the equipment operation history database 105 together with the detection time (step S1312).
  • the sensing device 101 such as a tag sensor whether the user takes out any article with the intermediate force of the bookshelf (step 1313). It is assumed that the user does not take out the article in the bookshelf (if NO in step 1313), and the user stores some article in the bookshelf (if YES in step S1314). Then, the information processing unit 110 records information that the article is stored in the bookshelf in the article position history database 108 by detecting the article stored in the sensing device 101.
  • the search state detecting means 102 is the information recorded in the article position history database 108 (that is, the information that the article is stored in the bookshelf recorded by the information processing means 110 in the article position history database 108).
  • step S1315A it is detected whether or not the user has pulled the hand out of the bookshelf.
  • the sensing device 101 detects that the bookshelf has been pulled out by the user (no more people are detected) (YES in step S1315A)
  • the information processing means 110 stores the information in the facility operation history database 105.
  • the person undetected information on the bookshelf is recorded together with the detection time (step S1316A), and the process of this flowchart ends.
  • step S1309 When the sensing device 101 that senses the inside of the bookshelf detects that the article has been taken out (step S1309), information indicating that the article has also been taken out of the bookshelf force is stored in the article position history database 108.
  • the information is recorded by the processing means 110 (that is, the HD information of the article detected by the sensing device 101, the HD information of the bookshelf, and the time information from the timer 109 are associated with each other and recorded by the information processing means 110) (step S131 0).
  • the sensing device 101 detects that the article has been taken out, so that the article position history database 108 is detected.
  • the information that the article has been taken out from the bookshelf is recorded, and the search state detecting means 102 retrieves the information recorded in the article position history database 108 (that is, the article has been taken out from the bookshelf recorded in the article position history database 108).
  • the user searches for the article (because the user has found the article to be searched), determines that it is not, and proceeds to step 1305A.
  • the user does not take out any of the bookshelf's medium power (if NO in step S 1313) and does not store any items, and does not retrieve any of the bookshelf's middle power (NO in step S 1314) ),
  • the sensing device 101 detects that the user has removed his / her hand from the bookshelf (no more people are detected) (if YES in step S1315), and the information processing By means 110, the information on the undetected person on the bookshelf is recorded in the equipment operation history database 105 together with the detection time (step S1316).
  • the search state detecting means 102 does not store the articles in the bookshelf and does not take out the bookshelf-powered articles between the time when the bookshelf recorded in the facility operation history database 105 is detected and the time when no people are detected. Information is obtained by referring to the article position history database 108, and it is determined that the user has searched for the article but has not found the article. [0086] Then, in response to the determination result by the search state detection means 102, the search article estimation means 103 force the article that the user originally searched for an article that should be stored in the bookshelf and that is not currently in the bookshelf (Step S1317).
  • the search article estimation means 103 acquires. Then, the retrieved article estimation means 103 narrows down and narrows down the articles with the article ID that is not currently in the bookshelf that is the original storage position by referring to the article position history database 108 for the medium force of the obtained article ID. The item is estimated to be the item that the user has searched for.
  • the search state detection means 102 determines that a person is detected at 19:31 and no person is detected at 19:32 on the bookshelf.
  • the search state detection means 102 refers to the article position history database 108 in FIG. 7, there is no article ID stored as the storage position during this time.
  • the search state detecting means 102 determines that no article is stored in the box and that no bookshelf power is taken. In this way, the search state detection unit 102 determines that the user has performed an article search but has not found the article.
  • the search shelf estimation unit 103 refers to the storage position database 107 in FIG.
  • the search article estimation means 103 determines that the article is an article having the article IDs ID005 and ID006. Further, by referring to the article position history database 108 of FIG. 7, the search article estimation means 103 determines that an article that is not currently on the bookshelf among the articles is a magazine whose article ID is ID006. Is done. In this way, the search article estimation means 103 estimates that the article has been searched by the user for the magazine of ID006.
  • the current position of the articles narrowed down by the search article estimation means 103 (for example, the magazine of ID006 in the above example) is notified to the user by the notification device 104 such as a lamp, a speaker, or a display (step S1318). The process is terminated.
  • the narrowed thing The current position of the item can be acquired by the notification device 104 referring to the item position history database 108.
  • step S 1313 the user does not take out any of the bookshelf's medium power (if NO in step S 1313), and does not store anything in the bookshelf (if NO in step S1314), If people continue to be detected (NO in step S1315), the process returns to step S1313.
  • Figure 21 shows a flowchart to deal with this problem. Note that, here, the processing for the storage facility without the force opening / closing function shown in the flowchart for the storage facility with the opening / closing function is the same (i.e., the opening of the door detects the person and the closing of the door does not This is omitted here because it can be read as “no human detection”.
  • the sensing device 101 such as a contact sensor detects that the door of the storage facility has been opened (YES in step S2801), records the information (step S2802), No matter how many times an article is put in or taken out until it is detected by the sensing device 101 such as a contact sensor (until YES in step S2803), the above-mentioned storage when the door is closed When the article in the facility is not different from the article in the storage facility when the door is opened (NO in step S2804 and step S2805), it is used to retrieve and retrieve the article.
  • the retrieval article estimation means 103 determines that the article that the user has searched for in the storage facility is ineffective, and the retrieval article estimation means 103 determines that the article to be stored without the storage facility. so Then, the article that the user has searched for an article that is not currently in the storage facility is estimated (step S2806). Thereafter, the notification operation similar to step S1308 may be performed as necessary.
  • step S2802 the storage facility opening information is recorded in the facility operation history database 105 together with the detection time by the information processing means 110.
  • step S2804 storage facility closure information is stored in the facility operation history database 105 together with the detection time. Record by means 110.
  • the article in the storage facility when the door is closed in step S2805 and the article in the storage facility when the door is opened are different! /, (YES in step S2805
  • the user searches for the article in the storage facility and finds the article, so the search for the article is completed, or the user only stores the article in the storage facility and the search for the article is not performed. Since it can be determined that the power has not been achieved, the processing is terminated as it is.
  • the search state detecting means 102 automatically detects that the user has been unable to find the article as a result of searching inside the storage facility where the article being searched is likely to exist.
  • the search article estimation means 103 determines that the article is currently searched for an article that is originally in the storage facility but is not currently in the storage facility. Is intentionally input to the search article estimation device. Further, if the notification device 104 notifies the position information of the article to be searched, which is the result estimated by the search article estimation means 103, the user can search for the article more efficiently.
  • FIG. 22 is a block diagram showing a search article estimation device that works according to the second embodiment of the present invention.
  • the search article estimation apparatus includes an article information database 106, a storage position database 107, a timer 109, a sensing device 101, an information processing means 110, an article position history database 108, and an equipment operation history database 105. And an environment database 201, a search state detection means 102, a search article estimation means 103, a notification device 104, and a visual difficulty range estimation means 3201.
  • An input device 900 such as a keyboard, a mouse, and a microphone may be further provided so that a user can manually set a database or the like.
  • Difficult to see range estimation means 3201 Each means, each device, each database, and the timer 109 are the same as the configuration and functions described in the first embodiment, so the explanation is omitted and the difficult to see range is estimated. The configuration and operation relating to the means 3201 will be mainly described.
  • the difficult-to-view range estimation means 3201 is connected to the equipment operation history database 105 and the search article estimation means 103, and stores information on the status of storage equipment in the equipment operation history database 105.
  • the information processing means 110 refers to the degree of opening and closing of the storage facility from when “open” is recorded until “closed” is recorded, and estimates a range that is difficult for the user to visually check the storage facility.
  • the visual difficulty range estimation means 3201 will be described below with reference to FIGS. 23A to 23D.
  • FIG. 23A shows a stationery case 1200
  • FIG. 23B shows a plan view of the stationery case 1200
  • Stationery holder 1200 drawer 1200c is covered with tag reader AA 2301 to tag reader DD 2316 as examples of sensing device 101 (see FIG. 23D).
  • Each tag reader AA 2301 to tag reader DD 2316 can detect the tag attached to the article, and the tag 2317 attached to the stationery case main body at the upper side of the entrance of the bow I 20000 of the stationery case 2000c. Can be detected.
  • the tag reader AA 2301 to the tag reader DD 2316 detect the tag 2317 when the drawer 2000c is closed.
  • FIG. 23A shows a state in which the user pulls out the drawer 1200c halfway in order to search for an article in the stationery box 1200, and the drawer of the stationery box 1200 shown in FIGS. 23A and 23B.
  • tag reader BA 2305, tag reader BB 2306, tag reader BC 2307, and tag reader BD 2308 can be detected!
  • FIG. 23C shows the detection result of the tag reader BA 2305, the tag reader BB 2306, the tag reader BC 2307, and the tag reader BD 2308 when the drawer 1200c of FIG. 23B is pulled out. This is the state when the information was recorded, indicating that tag reader BA 2305, tag reader BB 2306, tag reader BC 2307, tag reader BD 2308 force tag 2317 were detected at 23:45!
  • the visually difficult range estimation means 3201 refers to the detection state of the tag 2317 recorded in the facility operation history database 105 by the information processing means 110, and uses tag reader BA 2305, tag reader BB 2306, and tag reader BC 2307. And tag reader BD 2308 force ⁇ If tag 2317 is detected, tag reader BA 2305, tag reader BB 2306, tag reader BC 2307, tag reader BD 2308 and tag reader BA 2305 and tag reader BB 2306, tag reader BC 2307 and tag reader BD 2308 than the tag reader (tag reader AA 2301, tag reader AB 2302, tag reader AC 2303, tag reader AD 2304) installed in the back J of the drawer 1200c Estimated to be a difficult range.
  • the sensing device 101 detected that the user did not take out any articles from the stationery box 1200 and closed the drawer without storing any articles.
  • the search state detection means 102 determines that the user has searched the stationery case 1 200 but has not been able to find the item to be searched.
  • the search article estimation means 103 receives the determination result of the search state detection means 102 and is an article that should originally be stored in the stationery case 1200, and is not currently in the stationery case 1200, or the visual difficulty range estimation means. It can be estimated that the user has searched for the article stored in the stationery box 1200 estimated by 3201 within the range in which the user was difficult to see, for example, the stapler (ID007).
  • the extent of the storage facility that the user cannot see or difficult is estimated based on how the storage facility doors and drawers are opened, and items within that range are overlooked by the user!
  • the article that the user is searching for can be estimated with higher accuracy. can do.
  • FIG. 3 is a block diagram showing a search article estimation device that works according to the third embodiment of the present invention.
  • the search article estimation apparatus includes an article information database 106, a storage position database 107, a timer 109, a sensing device 101, an information processing means 110, an article position history database 108, and an equipment operation history database 105.
  • each device, each database, and the timer 109 the configuration and the configuration described in the first embodiment.
  • the explanation is omitted because it is equivalent to the function and the function, and the configuration and operation concerning the user information database 301 and the owner database 302 are mainly described.
  • FIG. 10A shows an example of the user information database 301.
  • the user name, the user height, and the user weight are recorded as examples of user information for estimating the user ID.
  • FIG. 9 shows an example of the owner database 302.
  • the items ID001 to ID009 are recorded up to the third owner, but it is not always necessary to record up to the third owner.
  • the search article estimation means 103 can estimate the candidate of the article being searched by the current user from the possessions of the user who is currently searching for the article. It becomes.
  • an input device 900 such as a keyboard, a mouse, or a microphone may be further provided.
  • steps S1301 to S1305, S1305A, S1306A and steps S1308 and steps S1311 to S1315, S1315A of the retrieval article estimation process in the flowchart (first embodiment) of FIG. 13A and FIG. , S1316A and step S1318 are the same, and a detailed description thereof is omitted.
  • the search article estimation means 103 first selects an article in which the cupboard is the original storage position and is not currently in the cupboard, the storage position database 107 (see Fig. 6) and the article position history database. Narrow down from 108 (see FIG. 7) (step S2201 in FIG. 17).
  • the search article estimation means 103 detects the user by a camera or tag reader. Based on the result sensed by the sensing device 101, the user information database 301 is referred to and it is grasped that the current user is an older sister (U003) (step S2203).
  • the method for recognizing that the user is an older sister has been described in the sensing device 101 such as the camera or the tag reader of the first embodiment, and therefore will be omitted.
  • the search article estimation means 103 refers to the owner database 302 to check whether the cup (ID003) and the cup (ID004) are owned by the older sister! Then, it is determined by the search article estimation means 103 that the cup (ID003) is the cup owned by the older sister whose user ID is U003 (see FIG. 9) as the first owner, and the older sister has the cup (ID003).
  • the search article estimation means 103 estimates the first candidate article being searched (step S2204).
  • the cup (ID004) is owned by the father with user ID U001 as the first owner, the mother with user ID U002 as the second owner, and the younger brother with user ID U0043 as the third owner! / It ’s a cup, no older sister!
  • the current position (table in FIG. 7) of the cup (ID003) narrowed down by the search article estimation means 103 is acquired by referring to the article position history database 108 by the notification device 104, and a lamp or speaker Then, the notification device 104 such as a display informs the sister of the current position of the cup (ID003) (step S1308 in FIG. 13A, step S1318 in FIG. 14), and the process is terminated.
  • the user information database 301 is searched for articles. You may record the average discovery time when doing for every user. Then, for example, if the father is searching for an article, the search state detecting means 102 can determine that the article being searched for can be found usually within 20 seconds. However, if the state where the father searches for the same storage facility for 20 seconds or longer (for example, the state where the cupboard door is opened for 20 seconds or longer) continues, the search state detection means 102 determines that the storage facility 102 It is determined that there is no article searched by the father, and the search article estimation means 103 does not wait for the door to be closed (without waiting for the sensing device 101 to detect the closing of the door). Can start estimating the items that are searching for.
  • the search article estimation means 103 specifies the current user by referring to the user information database 301 and the owner database 302, and includes the user's belongings. Also, it is possible to narrow down the articles that the user is searching for, and the search article estimation means 103 can estimate the articles with higher accuracy.
  • FIG. 25 is a block diagram showing a search article estimation device that works according to the fourth embodiment of the present invention.
  • the search article estimation apparatus includes an article information database 106, a storage position database 107, a timer 109, a sensing device 101, an information processing means 110, an article position history database 108, and an equipment operation history database 105. And an environment database 201, a search state detection means 102, a search article estimation means 103, and a notification device 104.
  • each device Since each means other than the article information database 106, each device, each database, and the timer 109 are the same as the configurations and functions described in the first to third embodiments, description thereof is omitted. The configuration and operation related to the article information database 106 will be mainly described.
  • FIG. 24 shows an example of the article information database 106 that is useful for the fourth embodiment. An example is shown.
  • the mobile phone (ID001) and the wallet (ID002) are always taken together when going out, so that they are recorded as related items.
  • the cup (ID003) is also associated with the use of cold drinks (ID020) and mineral water (ID021). Similarly, related product IDs are recorded for other products.
  • Retrieval article estimation means 103 is located in the storage facility when it receives a determination result from retrieval state detection means 102 that the article searched by the user is ineffective in the storage facility searched by the user.
  • the article detection method held by the user can be estimated by referring to the article position history database 108 by the search article estimation means 103.
  • the mobile phone (ID001) was brought out of the table at 17:20 and placed on the table at 17:22. During this time, the user held it. It will be. That is, the search article estimation means 103 can estimate that the user possesses an article whose disappearance is recorded in the article location history database 108 and has not yet been detected in any storage facility. I'll do it.
  • an input device 900 such as a keyboard, a mouse, and a microphone may be further provided.
  • the search article estimation means 103 refers to the article information database 106 in which information relating to the combination of articles is recorded, so that among the articles related to the current user's possessions. Therefore, the search article estimation means 103 can narrow down the articles searched by the user, and the search article estimation means 103 can estimate the articles with higher accuracy.
  • FIG. 26 is a block diagram showing a search article estimation device that works on the fifth embodiment of the present invention.
  • the search article estimation apparatus includes an article information database 106 and a storage location database 1 07, timer 109, sensing device 101, information processing means 110, article position history database 108, equipment operation history database 105, environment database 201, search state detection means 102, search article estimation means 103,
  • the notification device 104 and the same article search estimation means 3601 are configured.
  • An input device 900 such as a keyboard, a mouse, and a microphone may be further provided so that a user can manually set a database or the like.
  • Same goods search estimation means Each means other than 3601, each device, each database, and timer 109 are the same as the configuration and functions described in the first embodiment, so the explanation is omitted and the same article search estimation is performed.
  • the configuration and operation relating to the means 3601 will be mainly described.
  • the same article search estimation means 3601 is connected to the equipment operation history database 105, the environment database 201, the article position history database 108, the search article estimation means 103, and the timer 109. Refer to the environmental database 201 and the article position history database 108, and also refer to the time information from the timer 109 as necessary. After “Closed” is recorded in the state of the storage facility, another storage facility is stored. The time until “open” is recorded in the state is determined, and the article is not taken out into the first storage facility (the storage facility recorded as “closed” in the state) when the time is short. When the sensing device 101 detects that the article has not been able to store anything in the storage facility, the user searches for the same article in the second storage facility. In Ri is estimated.
  • the walking speed of the user and the distance between the two storage facilities can be used.
  • the average walking speed of the user is 1000 cmZs, and the information on the average walking speed is recorded in the internal storage of the same article search estimation means 3601.
  • the first storage facility (the storage facility that is recorded as “closed” in the state) is a stationery case
  • the second storage facility (the storage facility that is recorded as “open” in the state).
  • Equipment is a multipurpose shelf, the position of the user when searching for the stationery case is (2500, 1000), and the position of the user when searching the multipurpose shelf is (12,000, 1500) To do.
  • the distance between the stationery case and the multipurpose shelf may be a value obtained by dividing approximately 1400 cm by the average walking speed of 1000 cmZs, that is, 1.4 seconds.
  • the same article search estimation means 3601 estimates that the user has searched for the same article in the stationery case and the multipurpose shelf, and then takes no articles from the multipurpose shelf.
  • the search article estimation means 103 receives the estimation result of the same article search estimation means 3601, and the stationery Articles that are not in the container or the multipurpose shelf (see FIG. 7), and that the storage equipment of both the stationery case and the multipurpose shelf is the original storage equipment (see FIG. 27), that is, a stapler. It is estimated that (ID007) is an article searched by the user.
  • the user when the user cannot find an article and searches a plurality of storage facilities, the user searches for the article that the user is searching for. It can be estimated by the same article search estimation means 3601 that the article is likely to be common to the storage facilities, and the article searched by the user can be estimated with higher accuracy.
  • FIG. 19 is a block diagram of a search article estimation device using a search article estimation device server according to the sixth embodiment of the present invention.
  • the search article estimation device includes a search article estimation device server 2601, a sensing device 101 connected to the information processing means 110, a timer 109 connected to the information processing means 110, and a search.
  • the notification device 104 connected to the article estimation means 103 and the article position history database 108 and an input device 900 are included.
  • the server for search article estimation apparatus 2601 includes a search state detection means 102, a search article estimation means 103, an equipment operation history database 105, an article information database 106, a storage location database 107, and an article location history.
  • the database 108, the information processing means 110, and the environment database 201 are configured to include access state estimation information indicating a user's access state to the storage facility and information on changes in the articles in the storage facility in the meantime.
  • the search article estimation means 103 estimates the article that should originally be stored in the storage facility as the article being searched by the user. To do.
  • the server 2601 may be installed outside the living environment, as shown in FIG. 20A and FIG. 20B.
  • the cupboard has a contact sensor that detects the opening and closing of the door, and a tag reader power that detects the presence or absence of an article.
  • the table has a weight sensor and a tag reader that detect the presence or absence of an article. Is equipped with an infrared sensor that detects the presence or absence of a human hand in the bookshelf, a tag reader that detects the presence or absence of an article, a contact sensor that detects the opening or closing of a door on a multipurpose shelf, and a tag reader force table that detects the presence or absence of an article.
  • the tag reader power that detects the presence or absence of articles
  • a contact sensor that detects the opening and closing of doors is installed in the stationery case, and a tag reader that detects the presence or absence of articles, and a weight sensor is installed on the floor to detect people. Yes.
  • a speaker As the notification device 104, a speaker, a lamp, and a display are installed in the living environment.
  • sensing device 101, notification device 104, input device 900, and timer 109 are each connected to server 2601 by wire or wirelessly.
  • the server 2601 receives from the sensing device 101 access state estimation information indicating an access state of the user to the storage facility and information on changes in the articles in the storage facility in the meantime. If the user searches in the storage facility to determine whether there is an article or not, the search status detection unit 102 of the server 2601 determines that the search is not performed. Further, by referring to the storage position database 107 of the server 2601 by the search article estimation means 103 of the server 2601, the user is searching for an article that should originally be stored in the storage facility. As the article is estimated by the search article estimation means 103 and the estimated position information of the article is notified to the user by the notification device 104, the user does not make an intentional input to the search item estimation device.
  • the position information of the article being searched can be known. Since the server 2601 does not need to be installed in the user's living environment, for example, if the server 2601 is installed in an external management organization, the sensing device 101, Only the timer 109, the notification device 104, and the input device 900 need be installed.
  • the search article estimation apparatus and method and the search article estimation apparatus server of the present invention do not require intentional input when a user searches for an article. This is useful for searching for articles in an environment where articles exist.

Abstract

 ユーザが検索したい物品の情報を的確に伝えることができなくても、ユーザが検索しようとしている物品を推定できる検索物品推定装置を提供する。ユーザの収納設備へのアクセス状態とその間の収納設備内の物品の変化をセンシング装置によって調べ、もし変化していない場合には、検索状態検出手段が、ユーザは物品検索を行ったが物品を見つけることができなかったと判断し、更に検索物品推定手段が収納位置データベースを参照して本来収納設備内に収納されているべき物品をユーザが検索している物品として推定する。

Description

明 細 書
検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ 技術分野
[0001] 本発明は、タグリーダやカメラ、接触センサ等を配置した環境内でユーザが検索し ている物品を推定する検索物品推定装置及び方法、並びに、検索物品推定装置用 サーバに関する。 背景技術
[0002] 従来、ユーザからの何らかの入力に対して検索対象となって 、る物品を推定すると きには物品の名前や ID、物品を示す様なキーワード、物品の類語等を使用すること が一般的であった。例えば特許文献 1では、検索物品の名称を覚えていないときに 代わりにその検索物品を示すキーワードをキーボードから入力することで検索物品を 推定している (例えば、特許文献 1参照。 ) o
[0003] 特許文献 1:特開 2002— 250768号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、前記特許文献 1では、物探索システムに物品を検索させようとする度 にユーザは意図的に検索物品に関する情報を前記物探索システムに入力する必要 がある。ここで、例えば一般家庭内で物品検索を行うことを考えると、通常、家庭内に は人が把握しきれないほどの物品が存在し、中にはコップのような同一名称の物品も 数多く存在する。このような同一名称の物品を識別するために一つ一つ物品にキー ワードを割り振る作業は面倒であり、更に、割り振ったキーワードをユーザが明確に記 憶できるとも限らない。
[0005] 本発明は、前記課題を解決するためになされ、その目的とするところは、ユーザが 検索したい物品の情報を的確に検索物品推定装置に伝えることができなくても、ュ 一ザが検索しょうとしている物品を推定することのできる検索物品推定装置及び方法 、並びに、検索物品推定装置用サーバを提供することにある。
課題を解決するための手段 [0006] 前記目的を達成するために、本発明は以下のように構成する。
[0007] 本発明は、
物品を推定するために必要な物品情報を記録した物品情報データベースと、 前記物品情報データベースに記録されている前記物品の収納位置を記録した収 納位置データベースと、
生活環境内に配置され、少なくとも前記物品の位置を推定し得る物品位置情報と ユーザの前記物品の前記収納位置での収納設備へのアクセスの状態を推定し得る アクセス状態推定情報を検出するセンシング装置と、
時刻を取得するタイマーと、
前記環境内のマップと、前記環境内に配置されている前記収納設備と前記センシ ング装置の設置位置を記録した環境データベースと、
前記環境データベースに記録されている前記センシング装置の前記設置位置と、 前記センシング装置が検出した前記物品位置情報及び前記アクセス状態推定情報 と、前記タイマーが取得した時刻から、前記センシング装置が前記物品位置情報及 び前記アクセス状態推定情報を検出した時刻における前記物品の位置の情報と、前 記ユーザの前記収納設備へのアクセス状態を示すアクセス状態情報を求める情報 処理手段と、
前記情報処理手段により求められた前記物品の位置の情報が、前記センシング装 置が前記物品位置情報を検出した時刻と共に記録される物品位置履歴データべ一 スと、
前記情報処理手段により求められた前記ユーザの前記収納設備へのアクセス状態 を示す前記アクセス状態情報が、前記センシング装置が前記アクセス状態推定情報 を検出した時刻と共に記録される設備操作履歴データベースと、
前記ユーザが前記収納設備への前記アクセスにより前記物品の検索を行ったとき、 前記収納設備への前記アクセスの開始時と前記収納設備への前記アクセスの終了 時で、前記収納設備内の物品の有無に変化があるかを検出する検索状態検出手段 と、
前記検索状態検出手段が、前記収納設備内の前記物品の有無に変化が無かった ことを検出すると、前記収納位置データベースと、前記物品位置履歴データベースと 、設備操作履歴データベースとを参照することによって、前記ユーザが検索している 前記物品を推定する検索物品推定手段と、
を備えたことを特徴とする検索物品推定装置を提供するものである。
発明の効果
[0008] 以上のように、本発明によれば、ユーザの収納設備へのアクセス状態とその間の前 記収納設備内の物品の変化を調べ、もし変化していない場合には前記収納設備に は前記ユーザが検索している物品が無力つたと判断し、更に収納位置データベース を参照することによって、本来、前記収納設備内に収納されているべき物品を前記ュ 一ザが検索している物品として推定する、という構成により、ユーザの検索している物 品をユーザの検索状態から自動で推定できる。
図面の簡単な説明
[0009] 本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形 態に関連した次の記述から明らかになる。この図面においては、
[図 1]図 1は、本発明の第 1実施形態にかかる検索物品推定装置の構成を示すブロッ ク図であり、
[図 2]図 2は、本発明の第 1実施形態に力かる検索物品推定装置の環境データべ一 スに記録される情報の一例を示す図であり、
[図 3]図 3は、本発明の第 3実施形態にかかる検索物品推定装置の構成を示すブロッ ク図であり、
[図 4]図 4は、本発明の第 1実施形態に力かる検索物品推定装置の環境データべ一 スの一例を示す図であり、
[図 5]図 5は、本発明の第 1実施形態にかかる検索物品推定装置の物品情報データ ベースの一例を示す図であり、
[図 6]図 6は、本発明の第 1実施形態に力かる検索物品推定装置の収納位置データ ベースの一例を示す図であり、
[図 7]図 7は、本発明の第 1実施形態にかかる検索物品推定装置の物品位置履歴デ ータベースの一例を示す図であり、 [図 8]図 8は、本発明の第 1実施形態に力かる検索物品推定装置の収納位置データ ベースの一例を示す図であり、
[図 9]図 9は、本発明の第 3実施形態にかかる検索物品推定装置の所有者データべ ースの一例を示す図であり、
圆 10A]図 10Aは、本発明の第 3実施形態に力かる検索物品推定装置のユーザ情 報データベースの一例を示す図であり、 圆 10B]図 10Bは、本発明の第 3実施形態に力かる検索物品推定装置のユーザ情報 データベースの一例を示す図であり、 圆 11A]図 11Aは、本発明の第 1実施形態にかかる検索物品推定装置の設備操作 履歴データベースの一例を示す図であり、
圆 11B]図 11Bは、本発明の第 1実施形態にかかる検索物品推定装置の設備操作 履歴データベースの一例を示す図であり、
圆 11C]図 11Cは、本発明の第 1実施形態にかかる検索物品推定装置の設備操作 履歴データベースの一例を示す図であり、
圆 11D]図 11Dは、本発明の第 1実施形態にかかる検索物品推定装置の設備操作 履歴データベースの一例を示す図であり、
圆 12A]図 12Aは、本発明の第 1実施形態に力かる検索物品推定装置のセンシング 装置の一例において接触センサの利用方法を示す斜視図であり、
圆 12B]図 12Bは、本発明の第 1実施形態に力かる検索物品推定装置のセンシング 装置にお 、て図 12Aの接触センサによる検出結果をテーブル形式で示す図であり、 圆 12C]図 12Cは、本発明の第 1実施形態に力かる検索物品推定装置のセンシング 装置の別の例において焦電型赤外線センサの利用方法を示す斜視図であり、 圆 12D]図 12Dは、本発明の第 1実施形態に力かる検索物品推定装置のセンシング 装置において図 12Cの焦電型赤外線センサによる検出結果をテーブル形式で示す 図であり、
圆 13A]図 13Aは、本発明の第 1実施形態に力かる検索物品推定装置において、開 閉機能を持った収納設備に適用される検索物品推定処理を示すフローチャートであ り、 圆 13B]図 13Bは、本発明の第 1実施形態にかかる検索物品推定装置の検索物品 推定処理において物品の出現'消滅検出動作を示すフローチャートであり、
[図 14]図 14は、本発明の第 1実施形態にかかる検索物品推定装置において、開閉 機能を持たない収納設備に適用される検索物品推定処理を示すフローチャートであ り、
[図 15]図 15は、本発明の第 1実施形態に力かる検索物品推定装置の環境データべ ースの更新方法を示す図であり、
[図 16]図 16は、ユーザと物品の現在位置を示す図であり、
[図 17]図 17は、本発明の第 3実施形態にかかる検索物品推定装置の検索物品推定 処理を示すフローチャートであり、
[図 18]図 18は、本発明の第 1実施形態にかかる検索物品推定装置の報知装置にデ イスプレイを用いたときの表示例を示す図であり、
[図 19]図 19は、本発明の第 6実施形態にかかる検索物品推定装置用サーバを利用 する検索物品推定装置の構成を示すブロック図であり、
圆 20A]図 20Aは、本発明の第 6実施形態に力かる検索物品推定装置用サーバを 利用する検索物品推定装置のサーバ、センシング装置、報知装置の配置前の設備 の配置図であり、
圆 20B]図 20Bは、本発明の第 6実施形態に力かる検索物品推定装置用サーバを利 用する検索物品推定装置のサーバ、センシング装置、報知装置の配置例を示す図 であり、
[図 21]図 21は、本発明の第 1実施形態にかかる検索物品推定装置の検索物品推定 処理において、収納設備の内部が良く見えないために、一度、前方にある物品を収 納設備力 収納設備の外に取り出して収納設備の内部にある物品を検索するときの フローチャートであり、
[図 22]図 22は、本発明の第 2実施形態に力かる検索物品推定装置を示すブロック図 であり、
圆 23A]図 23Aは、本発明の第 2実施形態に力かる検索物品推定装置を説明するた めの文房具入れの斜視図であり、 [図 23B]図 23Bは、本発明の第 2実施形態に力かる検索物品推定装置を説明するた めの文房具入れの平面図であり、
[図 23C]図 23Cは、本発明の第 2実施形態に力かる検索物品推定装置の報知装置 にディスプレイを用いたときの設備操作履歴データベースの一例を示す図であり、 [図 23D]図 23Dは、本発明の第 2実施形態に力かる検索物品推定装置の報知装置 にディスプレイを用いたときのセンシング装置とセンサ IDと設置設備と設置座標 (設 置位置座標)との関係を示す図であり、
[図 24]図 24は、本発明の第 4実施形態に力かる検索物品推定装置の物品情報デー タベースの一例を示す図であり、
[図 25]図 25は、本発明の第 4実施形態にかかる検索物品推定装置の構成例を示す ブロック図であり、
[図 26]図 26は、本発明の第 5実施形態に力かるサーバを利用する検索物品推定装 置の構成を示すブロック図であり、
[図 27]図 27は、本発明の第 1及び第 5実施形態にかかる検索物品推定装置の収納 位置データベースの別の例を示す図である。
発明を実施するための最良の形態
[0010] 以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。
[0011] 以下、本発明の実施の形態について、図面を参照しながら説明する前に、本発明 の種々の態様につ 、て説明する。
[0012] 本発明の第 1態様によれば、
物品を推定するために必要な物品情報を記録した物品情報データベースと、 前記物品情報データベースに記録されている前記物品の収納位置を記録した収 納位置データベースと、
生活環境内に配置され、少なくとも前記物品の位置を推定し得る物品位置情報と ユーザの前記物品の前記収納位置での収納設備へのアクセスの状態を推定し得る アクセス状態推定情報を検出するセンシング装置と、
時刻を取得するタイマーと、
前記環境内のマップと、前記環境内に配置されている前記収納設備と前記センシ ング装置の設置位置を記録した環境データベースと、
前記環境データベースに記録されている前記センシング装置の前記設置位置と、 前記センシング装置が検出した前記物品位置情報及び前記アクセス状態推定情報 と、前記タイマーが取得した時刻から、前記センシング装置が前記物品位置情報及 び前記アクセス状態推定情報を検出した時刻における前記物品の位置の情報と、前 記ユーザの前記収納設備へのアクセス状態を示すアクセス状態情報を求める情報 処理手段と、
前記情報処理手段により求められた前記物品の位置の情報が、前記センシング装 置が前記物品位置情報を検出した時刻と共に記録される物品位置履歴データべ一 スと、
前記情報処理手段により求められた前記ユーザの前記収納設備へのアクセス状態 を示す前記アクセス状態情報が、前記センシング装置が前記アクセス状態推定情報 を検出した時刻と共に記録される設備操作履歴データベースと、
前記ユーザが前記収納設備への前記アクセスにより前記物品の検索を行ったとき、 前記収納設備への前記アクセスの開始時と前記収納設備への前記アクセスの終了 時で、前記収納設備内の物品の有無に変化があるかを検出する検索状態検出手段 と、
前記検索状態検出手段が、前記収納設備内の前記物品の有無に変化が無かった ことを検出すると、前記収納位置データベースと、前記物品位置履歴データベースと 、設備操作履歴データベースとを参照することによって、前記ユーザが検索している 前記物品を推定する検索物品推定手段と、
を備えたことを特徴とする検索物品推定装置を提供するものである。
この構成によると、ユーザの収納設備へのアクセス状態とその間の前記収納設備 内の物品の変化を調べ、もし変化していない場合には前記収納設備には前記ユー ザが検索している物品が無力つたと判断し、更に収納位置データベースを参照する ことによって本来前記収納設備内に収納されているべき物品を前記ユーザが検索し ている物品として推定するため、ユーザの検索している物品をユーザの検索状態か ら自動で推定できる。 [0014] また、本発明の第 2の態様によれば、
前記センシング装置は、更に、前記収納設備に備え付けられている開閉機能の開 閉状態を検出し、
前記センシング装置が検出した、前記ユーザが前記収納設備へ前記アクセスを開 始して力 前記アクセスを終了するまでの前記開閉機能の開閉度合いに応じて、前 記ユーザが目視困難な前記収納設備内の範囲を推定する目視困難範囲推定手段 を備え、
前記検索物品推定手段は、更に、前記目視困難範囲推定手段の推定結果を参照 することによって前記ユーザが検索している物品を推定することを特徴とする第 1の 態様に記載の検索物品推定装置を提供するものである。
[0015] この構成によると、収納設備の扉や引き出しの開き具合によってユーザが目視でき な 、収納設備の範囲を推定し、その範囲内にある物品はユーザが見落として 、る可 能性があることを考慮してユーザの検索している物品を推定することができる。
[0016] また、本発明の第 3の態様によれば、
更に、前記ユーザのユーザ IDと、前記ユーザ IDを推定するために必要なユーザ情 報を記録したユーザ情報データベースと、
前記物品情報データベースに記録されている前記物品の所有者の情報を記録し た所有者データベースを備え、
前記センシング装置は、更に前記ユーザを推定し得るユーザ情報を検出し、 前記情報処理手段は、更に前記センシング装置が検出した前記ユーザ情報から前 記ユーザ情報データベースを参照することによって、前記ユーザの IDを推定し、 前記検索物品推定手段は、更に前記ユーザの IDと前記所有者データベースに記 録されている前記物品の所有者の情報を参照することによって、前記ユーザが検索 している前記物品を推定することを特徴とする第 1又は第 2の態様に記載の検索物品 推定装置を提供するものである。
[0017] この構成によると、現在のユーザを特定し、前記ユーザの所有物の中からユーザの 検索している物品を絞り込むことが可能となり、個人適合した物品の推定が行えるよう になる。 [0018] また、本発明の第 4の態様によれば、
前記物品情報データベースには、更に、複数の物品の物品組合せに関する情報 が記録されて 、ることを特徴とする第 1から第 4の 、ずれ力 1つの態様に記載の検索 物品推定装置を提供するものである。
[0019] この構成によると、現在のユーザの所持物によって、前記ユーザが検索している物 品を推定することができる。
[0020] また、本発明の第 5の態様によれば、
更に、前記ユーザの収納設備への前記アクセスの終了力 別の収納設備へのァク セスの開始までの時間から、同一の物品を検索しているのかを推定する同一物品検 索推定手段を備え、
前記検索物品推定手段は、更に、前記同一物品検索推定手段の推定結果を基に 前記ユーザが検索している物品を推定することを特徴とする第 1から第 5のいずれか 1つの態様に記載の検索物品推定装置を提供するものである。
[0021] この構成によると、ユーザが物品を見つけることができずに複数箇所の収納設備を 検索した場合、前記ユーザが検索して 、る前記物品を前記ユーザが検索した前記 複数箇所の収納設備に共通してありそうな物品であると推定することができる。
[0022] また、本発明の第 6の態様によれば、
物品を推定するために必要な物品情報を記録した物品情報データベースと、 前記物品情報データベースに記録されている前記物品の収納位置を記録した収 納位置データベースと、
生活環境内のマップと、前記環境内に配置されている機器や前記物品の収納位置 での収納設備、前記センシング装置の設置位置を記録した環境データベースと、 前記環境内に配置され、少なくとも、前記物品の位置を推定し得る物品位置情報と ユーザの前記収納設備へのアクセスの状態を推定し得るアクセス状態推定情報と、 を検出するセンシング装置が検出した前記物品位置情報及び前記アクセス状態推 定情報と前記環境データベースから、前記物品の現在位置の情報と前記ユーザの 前記収納設備へのアクセス状態の情報を示すアクセス状態情報を求める情報処理 手段と、 前記情報処理手段により求められた前記物品の位置の情報が、前記センシング装 置が情報を検出した時刻と共に記録される物品位置履歴データベースと、
前記情報処理手段により求められた前記ユーザの前記収納設備へのアクセス状態 を示す前記アクセス状態情報が、前記センシング装置が情報を検出した時刻と共に 記録される設備操作履歴データベースと、
前記ユーザが前記収納設備への前記アクセスにより前記物品の検索を行ったとき、 前記収納設備への前記アクセスの開始時と前記収納設備への前記アクセスの終了 時で、前記収納設備内の前記物品の有無に変化があるかを検出する検索状態検出 手段と、
前記検索状態検出手段が、物品の有無に変化が無かったことを検出すると、前記 収納位置データベースと、前記物品位置履歴データベースと、設備操作履歴データ ベースとを参照することによって、前記ユーザが検索している前記物品を推定する検 索物品推定手段と、を備えたことを特徴とする検索物品推定装置用サーバを提供す るものである。
[0023] この構成によると、サーバはユーザの収納設備へのアクセス状態とその間の前記収 納設備内の物品の変化の情報をセンシング装置力 受け取り、前記収納設備内に 前記ユーザが検索していた物品が在ったか無力つたかを判断し、もし無力つたと判断 した場合、更に収納位置データベースを参照することによって本来前記収納設備内 に収納されて 、るべき物品を前記ユーザが検索して 、る物品として推定するため、ュ 一ザの検索して!/、る物品をユーザの検索状態から自動で推定できる。
[0024] また、本発明の第 7の態様によれば、
生活環境内に配置されたセンシング装置によって、少なくとも物品の位置を推定し 得る物品位置情報と、ユーザの収納設備へのアクセスの状態を推定し得るアクセス 状態推定情報と、を検出し、
前記検出した物品位置情報とアクセス状態推定情報と、前記環境内のマップと前 記環境内に配置されて 、る前記収納設備、前記センシング装置の設置位置を記録 した環境データベースから、前記物品の現在位置と前記ユーザの前記収納設備へ の前記アクセスの状態を示すアクセス状態情報を求め、 前記ユーザが前記収納設備への前記アクセスにより前記物品の検索を行ったとき、 前記収納設備への前記アクセスの開始時と前記収納設備への前記アクセスの終了 時で、前記収納設備内の前記物品の有無に変化があるかを検出し、
前記ユーザが検索している前記物品を推定する、検索物品推定方法を提供するも のである。
[0025] この構成によると、ユーザの収納設備へのアクセス状態とその間の前記収納設備 内の物品の変化を調べ、もし変化していない場合には前記収納設備には前記ユー ザが検索している物品が無力つたと判断し、更に収納位置データベースを参照する ことによって本来前記収納設備内に収納されているべき物品を前記ユーザが検索し ている物品として推定するため、ユーザの検索している物品をユーザの検索状態か ら自動で推定できる。
[0026] 以下、本発明の実施の形態について、図面を参照しながら説明する。
[0027] (第 1実施形態)
図 1は本発明の第 1実施形態に力かる検索物品推定装置を示すブロック図である。
[0028] 本検索物品推定装置は、物品情報データベース 106と、収納位置データベース 1 07と、タイマー 109と、センシング装置 101と、情報処理手段 110と、物品位置履歴 データベース 108と、設備操作履歴データベース 105と、環境データベース 201と、 検索状態検出手段 102と、検索物品推定手段 103と、報知装置 104とで構成される
[0029] 情報処理手段 110は、センシング装置 101とタイマー 109と物品情報データベース 106と物品位置履歴データベース 108と設備操作履歴データベース 105と環境デー タベース 201とに接続され、センシング装置 101で検出された検出情報、例えば、物 品の IDなどの情報を基に、環境データベース 201に記録されて 、るセンシング装置 101の設置位置や物品情報データベース 106に記録されて ヽる物品情報を適宜参 照して物品位置の検出などの情報処理を行うとともに、求めた前記物品位置や、セン シング装置 101で検出された検出情報、例えば、収納設備 (例えば、物品を収納又 は載置可能な本棚、多目的棚、文房具入れなど)の開閉動作 (アクセスの一例)など のアクセス状態推定情報を、時刻を取得するタイマー 109からの時刻情報と合わせ て、物品位置履歴データベース 108に前記物品位置情報の履歴情報として適宜記 録するとともに設備操作履歴データベース 105にユーザがアクセス中力否かを示す アクセス状態情報として適宜記録する。
[0030] 物品情報データベース 106には、生活環境 (例えば、家、家の中の部屋)などの中 に存在する物品を推定するために必要な物品情報の例として、物品の IDの情報と、 物品の IDを推定するために必要な物品 ID推定用物品情報とが記録されている。
[0031] ここで、図 5は例えば家屋内にある物品の物品情報データベース 106の一例を示し ている。図 5では物品の IDを推定するために必要な情報の例として、物品の名称 (テ キストデータ)、物品の重量 (テキストデータ)、物品の外観 (概略イメージデータ)とが それぞれの物品の IDと対応して記録されて 、る。
[0032] 収納位置データベース 107には、物品情報データベース 106に記録されている各 物品の本来の収納すべき収納位置の情報が記録されている。ここで、図 6は、例えば 家庭内にある収納位置データベース 107の一例を示している。ここでは、収納位置 の IDに関連付けて収納位置の名称が記載され、且つ、その収納位置に本来収納す べき物品の IDが記載されている力 同一名称の収納位置はないものとしている。仮 に、前記生活環境内に同一名称の収納位置が存在する場合は、前記収納位置に I Dを割り振り、収納位置データベース 107の収納位置として前記収納位置の IDを記 録しても構わない。例えば、図 6の 2つのソファーのうち、一方のソファー 1には IDP0 06を割り振り、他方のソファー 2には IDP007を割り振つている。また、一つの物品に 対して複数の収納位置を設定しておいても構わない。例えば、図 27は、収納位置デ ータベース 107の別の例を示すものであって、ホッチキス(物品の ID :ID007)を、多 目的棚(物品の ID: ID001 )と文房具入れ (物品の ID: ID004)の 2つの収納設備を 本来の収納位置に設定して 、る。
[0033] なお、物品情報データベース 106と収納位置データベース 107に記録されている 情報は、ユーザがタツチパネルやキーボードやマウスやマイクなどの入力装置 900か ら直接入力したものでも良いし、物品の製造元、又は販売元が付したタグなどに記録 されている情報をタグリーダなどの入力装置 900から読み込んで記録するものでも良 い。 [0034] また、収納位置データベース 107に関して、物品の収納位置が一定期間毎に異な るように複数の収納位置を決めておいても構わない。ここで、図 8は、一定期間毎に 異なる、物品の収納位置を記録した収納位置データベース 107の一例を示して 、る 。図 8の収納位置データベースを用いると、例えば 14時台にユーザが物品 ID001の 携帯電話の検索要求を出したときには、携帯電話は家庭外にあり、現在の環境 (家 庭)内には無 ヽと 、うことをユーザに報知することが可能となる。
[0035] なお、図 8の例では、一定期間を一日の内の一時間単位で区切っているが、さらに 平日と休日で区切ったり、季節によって区切ったりしても良い。
[0036] 環境データベース 201には、前記生活環境内の部屋の間取 (又は、環境例えば部 屋のマップ)と前記生活環境内にある収納設備の配置やセンシング装置 101の設置 位置が記録されており、センシング装置 101がセンシングしている収納設備で、例え ば本棚の中に収納されて 、る物品や、文房具入れの中に収納されて 、る物品の位 置座標を求めることが可能となる。
[0037] ここで、図 4は、環境データベース 201に記録されている環境のマップと環境内にあ る収納設備などの配置を示している。図 4の例では、前記生活環境の寸法は実際の 寸法よりも縮小されて表示されており、生活環境の実際の寸法は、縦横各 6mの大き さの前記生活環境の 1つの部屋となっている。なお、前記生活環境内の収納設備の 配置を変更するとき、ユーザがキーボードやマウス、マイクなどの入力装置 900を使 用して手動で環境データベース 201を更新しても良いし、タグリーダなどのセンシン グ装置 101と情報処理手段 110とを使用して、自動で環境データベース 201を更新 しても良い。ここで、図 15を用いて、タグリーダなどのセンシング装置 101と情報処理 手段 110とを使用して行なう、環境データベース 201の自動更新方法を示す。図 15 のように、前記生活環境内の部屋の床面に、位置座標情報を持ったセンシング装置 101の一例としてのタグリーダ A〜K (1504〜1510)を敷き詰め、各収納設備、図 1 5の例でいうと棚 1501の底面にタグ(後側タグ A 1502,前側タグ B 1503)を 2つ 貼り付けておく。これによつて、棚 1501を床に設置したときにタグリーダ D 1507, E 1508力 S後佃 Jタグ A 1502に反応し、タグリーダ [ 1509,タグリーダ K 1510力 S前 側タグ B 1503に反応するようになり、棚 1501がタグリーダ D 1507,タグリーダ E 1508,タグリーダ; [ 1509,タグリーダ Κ 1510の位置にタグリーダ: [ 1509,タグリ ーダ Κ 1510を前方にして設置 (部屋の壁側とは反対向きに設置)されたことが情報 処理手段 110により判断される。このようにして求められた棚 1501の位置座標の情 報を情報処理手段 110により環境データベース 201に記録して更新する。
[0038] 図 2は、環境データベース 201に記録されているセンシング装置 101の設置位置と 、図 4に示す環境のマップと環境内にある収納設備の配置の情報を含む、環境デー タベース 201に記録される情報を示している。例えば、センサ IDが Tag— 001のタグ リーダは、位置座標(2000, 900)〜(3500, 0)の範囲で、センサが設置される収納 設備としての「文房具入れ」に設置されていることを示している。これによつて、情報処 理手段 110は、物品位置の検出などの情報処理を行うとき、環境内のどの位置に設 置してあるセンシング装置 101からの情報力 を判断することができる。
[0039] センシング装置 101は、前記生活環境内に配置され、少なくとも物品の位置 (位置 座標)を推定し得る物品位置情報と、収納設備の開閉情報などのユーザの収納設備 へのアクセス状態を推定し得るアクセス状態推定情報とを検出する装置である。セン シング装置 101としては、例えばタグリーダ、重量センサ、カメラ、接触センサ、又は 焦電型赤外線センサなどが考えられる。各センシング装置 101のセンサ IDや各セン シング装置 101が設置されている設備、各センシング装置 101の設置座標 (設置位 置座標)は環境データベース 201に記録されており、センシング装置 101から情報処 理手段 110に送信する情報に自身のセンサ IDを含めることで、情報処理手段 110は 、どこに配置されているセンシング装置 101からの情報なのかが判断できる。
[0040] 以下に、センシング装置 101の例である各センサの説明、及び情報処理手段 110 による各センサが取得した情報の処理内容の説明を行う。
[0041] まず、タグリーダをセンシング装置 101として用いた例を説明する。前記生活環境 内にタグリーダを配置すると、配置したタグリーダによりタグを検出すると、タグを検出 したタグリーダのセンシング範囲に前記タグを付した物品が在るということが情報処理 手段 110により判断される。ここで、タグリーダのセンシング範囲をある一つの収納位 置のみに設定しておくものとし、物品には物品の IDを記録したタグが付されて 、るも のとする。すると、情報処理手段 110は、タグリーダが検出したタグの情報 (物品位置 情報の一例としての情報であって、例えば、タグの HD情報)と、タグリーダのセンシン グしている位置の情報 (物品位置情報の一例としての情報であって、例えば、タグリ ーダのセンシング位置や範囲、タグリーダの中心座標などの情報)とから物品情報デ ータベース 106を参照して、物品情報データベース 107に記録されている物品が、 現在どこの収納位置にあるのかを検出するように情報処理する。さらに、タグを用い て人の検出を行う場合、 HD情報付きのタグを前記生活環境内の床に例えば格子状 に敷き詰めるとともに、床に敷き詰められたタグの ID情報と床の位置とを対応付けし た対応付けデータを作成する。一方、履物には床に敷き詰められたタグの 情報を 読み取るタグリーダが設置され、このタグリーダには、前記 IDと前記 IDを持つタグの 置かれて!/ヽる場所とを対応付けたデータが格納されて!ヽる。
[0042] このような構成のもとで人が前記生活環境内の床を歩くと、足を床に踏みつけた瞬 間に履物についたタグリーダ力 その下にあるタグと通信して前記タグの IDを読み取 る。情報処理手段 110は、前記 IDの値を前記対応付けデータに照らし合わせること で、床上での人の位置を特定することができる。もちろんこれはあくまで一例であり、 床に位置情報を持ったタグリーダを敷き詰め、スリッパにタグをつけると 、う構成でも よい。もし複数人の検出に対応させるためには、それぞれの人が所有する IDを区別 してやればよい。
[0043] タグリーダを用いてユーザの収納設備へのアクセス状態を判断するのであれば、前 記収納設備の前にタグリーダを設置しておき、前記タグリーダが前記ユーザを示すタ グを検出している力否力をアクセス状態推定情報とすることができる。
[0044] 次に、重量センサをセンシング装置 101として用いた例を説明する。前記生活環境 内に重量センサを配置すると、前記重量センサが検出した重量の増減値によって前 記重量センサ上に置かれた、又は前記重量センサ力 取られた物品が情報処理手 段 110により判断される。例えば、前記重量センサが + 200gの荷重を検出した場合 、情報処理手段 110は、検出した荷重の情報 (物品位置情報の一例としての情報)と 、重量センサのセンシングして 、る位置の情報 (物品位置情報の一例としての情報で あって、例えば、重量センサのセンシング位置や範囲、重量センサの中心座標など の情報)を基に物品情報データベース 106に記録されている重量データを参照する ことで、前記重量センサ上には携帯電話が置かれて 、ることを検出することができる。 また、重量センサを前記生活環境内の床に例えば格子状に敷き詰めることにより、人 の検出も行うことができる。前記重量センサは、人の足等によって荷重が力かるとその 値が出力されるようになっており、前記重量センサの全てが情報処理手段 110につ ながっている。情報処理手段 110は、重量センサのセンシングした情報を常に受け 取るようになされており、もし、あるセンサに荷重が力かっていることが検出された場合 には、当該センサの置かれている位置座標を直ちに求める。このような検索物品推 定装置を用いて最も簡単に人の位置を知るには、荷重が力かったセンサの座標値を そのまま人の位置とすればよい。しかしながら、これでは複数人の人が環境内に居る 場合にそれらが区別できないという問題もでてくる。このような問題に対応するために は、例えばセンサの荷重がほぼ等 U、センシングデータをグルーピングし時間順に 並べるなどの処理を追加すればよい。これにより人検出の精度を高めることができる
[0045] 重量センサを用いてユーザの収納設備へのアクセス状態を判断するのであれば、 前記収納設備の前に重量センサを設置しておき、前記重量センサが前記ユーザの 体重と同等の重量を検出している力否かをアクセス状態推定情報とすることができる
[0046] 次に、カメラをセンシング装置 101として用いた例を説明する。前記生活環境内に カメラを配置すると、情報処理手段 110は、例えば背景差分などにより前記カメラの 視野内での画像の変化分が取り出せる。背景差分とは、予め作成しておいた基準と なる背景画像と現在の入力画像を比較し、その差分を取り出す技術である。そして、 背景差分により得られた差分と物品情報データベース 106に記録されている外観デ ータとでマッチングを行うことによりカメラの視野内に現れた物品、又はカメラの視野 内から消えた物品が情報処理手段 110により検出される。同様にして、人検出を行う ことも可能である。
[0047] カメラを用いたときの物品の位置を推定するための物品位置情報は、例えば、カメ ラが取得した画像、または背景差分により得られた差分画像と、背景差分により得ら れた差分画像の位置とすることができる。また、カメラを用いてユーザの収納設備へ のアクセス状態を判断するのであれば、前記収納設備の前に前記ユーザを検出した か否力をアクセス状態推定情報とすることができる。
[0048] センシング装置 101は、物品の位置を推定し得る物品位置情報を取得するセンサ と、ユーザの収納設備へのアクセス状態を推定し得るアクセス状態推定情報を取得 するセンサを組み合わせて実現しても構わない。以下に、アクセス状態推定情報を 取得可能なセンサとして接触センサと焦電型赤外線センサについて説明する。
[0049] 接触センサをセンシング装置 101として用いた例を、図 12A、及び図 12Bを用いて 説明する。図 12Aにおいて、 1201a〜1201dと記載されている部分が接触センサで ある。具体的には、図 12Aでは、収納設備、例えば文房具入れ 1200に 2つのタイプ の開閉式ドアがあり、それらのそれぞれに接触センサ 120 la〜 120 Idが設置された 様子が示されている。文房具入れ 1200の上側の開閉式ドアは、ヒンジを境に開閉す るドア 1200aであり、ドア 1200aの縁と、その縁と対向する本体咅 1200bの縁にそれ ぞれ接触センサ 1201a, 1201bが互いに接触可能に設置されている。また、文房具 入れ 1200の下側の開閉式ドアは、引き出し 1200cであり、引き出し 1200cの縁と、 その縁に対向する本体部 1200dの縁にそれぞれ接触センサ 1201c, 1201d力 S互 ヽ に接触可能に設置されている。これらの構成によって、情報処理手段 110は、図 12 Bにテーブル形式で示すように、接触センサ 1201 aと 120 lb同士又は接触センサ 12 01cと 1201d同士が接触すると収納設備のドア 1200a又は 1200cが閉まっている、 接触センサ 1201aと 1201b同士又は接触センサ 1201cと 1201d同士が非接触状態 になると収納設備のドア 1200a又は 1200cが開いている、という具合に収納設備の ドアの開閉情報を算出することができる。そして、このドアが開いているか否かをァク セス状態推定情報とすることができる。
[0050] ここでは、センシング装置 101として、接触センサ 1201a〜1201dの例を示したが 、もちろんそれ以外のセンサ、例えば光学式の非接触センサを用いても良い。
[0051] 次に、光学式の非接触センサの一例としての焦電型赤外線センサをセンシング装 置 101として用いた例を、図 12C、及び図 12Dを用いて説明する。図 12Cにおいて 、 1202と記載されて ヽる部分が収納設備の一例としての本棚 1203に設置された焦 電型赤外線センサである。焦電型赤外線センサ 1202は、人など温度を持つ物体の 温度 (背景温度より高い温度を持つ物体の温度)と背景温度の差から温度変化を検 知することができる。例えば焦電型赤外線センサ 1202を、本棚 1203の入口に取り 付けておき、焦電型赤外線センサ 1202の検出範囲を本棚 1203の入口に設定して おくことで、図 12Dのテーブル形式で示すように、人が本棚 1203の中に手を入れて いる力入れていないかを焦電型赤外線センサ 1202で検出できる。そして、この本棚 1203の中に手を入れて 、る力否かをアクセス状態推定情報とすることができる。
[0052] 物品位置履歴データベース 108には、物品の IDと、その物品の現在位置 (位置座 標などの現在位置情報)を含めた現在までに置かれた位置 (位置座標などの位置情 報)の履歴が時間と共に記録されている。ここで、図 7は物品位置履歴データベース 108の一例を示している。図 7に記載しているテーブル、食卓、本棚などの収納位置 では、センシング装置 101が各々センシングしており、前記収納位置に置かれた物 品、又は前記収納位置から取られた物品が何であるかがセンシング装置 101により 検出されるようになっている。例えば、図 7の ID001 (携帯電話)を見てみると、 14時 0 3分 (検出時間)にテーブル置かれ、 17時 08分 (消失時間)にテーブルから取られ( 図 7の前々回収納位置の欄を参照)、 17時 10分 (検出時間)に食卓に置かれ、 17時 20分 (消失時間)に食卓力も取られ (図 7の前回収納位置の欄を参照)、 17 : 22分( 検出時間)にテーブルに置かれて現在に至っていることがセンシング装置 101により 検出される(図 7の現在収納位置の欄を参照)。ここで、図 6の物品収納位置データ ベース 107と同様に収納位置毎に IDを割り振り、収納位置の名称ではなぐ収納位 置の IDを物品位置履歴データベース 108に記録しても構わな!/、。
[0053] 設備操作履歴データベース 105には、各収納設備を表す情報と、ユーザの収納設 備へのアクセス状態を示すアクセス状態推定情報が時刻と共にアクセス状態情報の 履歴情報として情報処理手段 110により記録されている。ここで、図 11A〜図 11Dは それぞれ設備操作履歴データベース 105の例を示して ヽる。図 11 A〜図 11Dはそ れぞれ収納設備 (本棚、多目的棚、食器棚、文房具入れ)の設備操作履歴データべ ース 105を示している。
[0054] 例えば図 11Aに示す設備操作履歴データベース 105の例では本棚(例えば図 12 Cの本棚 1203)の操作履歴情報を示している。 19時 31分に人検出の状態の情報( アクセス状態推定情報の一例)が検出されて、ユーザが本棚の中に手を入れている ことが検出されたことを示している。この場合は、前記アクセス状態推定情報に基づき
、情報処理手段 110により、アクセス状態情報の一例として、アクセス中とする。 19時 32分に人未検出の状態の情報 (アクセス状態推定情報の一例)が検出されて、ユー ザが本棚の中から手を抜いたことが検出されたことを示している。この場合は、前記ァ クセス状態推定情報に基づき、情報処理手段 110により、アクセス状態情報の一例と して、非アクセス中とする。
[0055] また、図 11Bに示す設備操作履歴データベース 105の例は多目的棚の操作履歴 情報を示しており、 19時 10分に扉が開放されたことを示す扉開情報 (アクセス状態 推定情報の一例)が検出されて、扉が開放されたことを検出している。この場合は、 前記アクセス状態推定情報に基づき、情報処理手段 110により、アクセス状態情報 の一例として、アクセス中とする。 19時 14分に扉が閉められたことを示す扉閉情報( アクセス状態推定情報の一例)が検出されて、扉が閉じられたことを検出している。こ の場合は、前記アクセス状態推定情報に基づき、情報処理手段 110により、アクセス 状態情報の一例として、非アクセス中とする。
[0056] また、図 11Cに示す設備操作履歴データベース 105の例は、食器棚の操作履歴 情報を示しており、 18時 14分に扉が開放されたことを示す扉開情報 (アクセス状態 推定情報の一例)が検出されて、扉が開放されたことを検出している。この場合は、 前記アクセス状態推定情報に基づき、情報処理手段 110により、アクセス状態情報 の一例として、アクセス中とする。 18時 20分に扉が閉められたことを示す扉閉情報( アクセス状態推定情報の一例)が検出されて、扉が閉じられたことを検出している。こ の場合は、前記アクセス状態推定情報に基づき、情報処理手段 110により、アクセス 状態情報の一例として、非アクセス中とする。
[0057] また、図 11Dに示す設備操作履歴データベース 105の例は、文房具入れ (例えば 図 12Aの文房具入れ 1200)の操作履歴情報を示しており、 21時 02分に扉が開放さ れたことを示す扉開情報 (アクセス状態推定情報の一例)が検出されて、扉が開放さ れたことを検出している。この場合は、前記アクセス状態推定情報に基づき、情報処 理手段 110により、アクセス状態情報の一例として、アクセス中とする。 21時 04分に 扉が閉められたことを示す扉閉情報 (アクセス状態推定情報の一例)が検出されて、 扉が閉じられたことを検出している。この場合は、前記アクセス状態推定情報に基づ き、情報処理手段 110により、アクセス状態情報の一例として、非アクセス中とする。
[0058] 検索状態検出手段 102は、物品位置履歴データベース 108と設備操作履歴デー タベース 105と検索物品推定手段 103と接続されて、設備操作履歴データベース 10 5の各収納設備の状態に「開」が記録されてから「閉」が記録されるまでの期間、もしく は「人検出」が記録されてから「人未検出」が記録されるまでの期間に、前記収納設 備内に物品が置かれたか、又は前記収納設備内力も物品が取られた力を物品位置 履歴データベース 108を参照することによって把握し、もし前記収納設備に対して何 も物品操作がなされていなければ、ユーザは物品を検索しているが、前記物品を見 つけることができな力つたと判断する。
[0059] ここで、検索状態検出手段 102は、収納設備の開放力 閉鎖までの期間に物品操 作が行われな力つたことを 2回連続で検出した場合にのみ、ユーザは物品を検索し ているが、前記物品を見つけることができな力つたと判断してもよいし、 3回連続で検 出した場合にのみ、ユーザは物品を検索しているが、前記物品を見つけることができ な力つたと判断してもよい。
[0060] これによつて、ユーザは単に収納設備の内容を確認しただけなどのときに、逐一、 ユーザが何か物品を検索しているとして、ユーザが検索している物品を検索状態検 出手段 102により推定する必要がなくなり、また、ユーザが物品を収納設備力も退か せて物品を検索して見つからな力つたときなど、ユーザが検索している物品を検索状 態検出手段 102により推定しないといったことがなくなる。
[0061] 検索物品推定手段 103は、収納位置データベース 107と物品位置履歴データべ ース 108と設備操作履歴データベース 105と環境データベース 201と検索状態検出 手段 102と報知装置 104と接続されて、検索状態検出手段 102による物品検索状態 検出動作後に検索状態検出手段 102から物品検索状態検出結果情報を受取り、ま ず、ユーザが物品検索できな力つたと検索状態検出手段 102が判断するに至った収 納設備が本来の収納位置である物品 IDを、収納位置データベース 107を参照する ことによって、検索物品推定手段 103が取得する。そして、検索物品推定手段 103 は、取得した前記物品 IDの中力も物品位置履歴データベース 108を参照することに よって、現在、本来の収納位置に無い物品 IDの物品を絞り込み、ユーザが検索して V、た物品であると推定する。
[0062] 報知装置 104は、検索物品推定手段 103と物品位置履歴データベース 108とに接 続されて、検索物品推定手段 103によって推定された物品の現在位置をユーザに知 らせるものであり、例えばランプやスピーカ、映像や文字情報を映し出すディスプレイ などを用いて実現することができる。
[0063] 報知装置 104にランプを用いる場合、まず、前記生活環境内の各収納位置にラン プを配置しておく必要がある。そして、報知装置 104は検索物品推定手段 103によつ て絞り込まれた物品の現在位置を、物品位置履歴データベース 108を参照すること によって取得すると、前記物品の現在位置にあるランプを点灯させユーザに報知す ることがでさる。
[0064] 報知装置 104にスピーカ、ディスプレイを用いる場合も、報知装置 104はランプ時と 同様に検索物品推定手段 103によって絞り込まれた物品の現在位置を、物品位置 履歴データベース 108を参照することによって把握し、スピーカなら音声で、ディスプ レイなら映像でそれぞれ前記物品の現在位置をユーザに報知することができる。
[0065] ここで、前記物品の現在位置だけでなく前記物品の名称も報知できる方がユーザ にとつて分力り易ぐより効果的である。さらに、台所など調理中に目を離したくない場 所にある報知装置 104としてはスピーカを使用して、スピーカから音声にてユーザに 報知するようにし、テレビ音などで他の音声を聞き取りにく!、場所にある報知装置 10 4としてはディスプレイを使用して、ディスプレイカゝら画像にてユーザに報知するように すると、より効果的である。図 18にディスプレイによる物品位置の報知例を示す。図 1 8では、多目的棚にホッチキスがあることが、画像データとテキストデータの両方で報 知されている例である。
[0066] 次に、検索物品推定装置の検索物品推定処理について、図 13A〜図 14に示すフ ローチャートを参照しながら説明する。
[0067] 始めに、図 13A、図 13B、図 14に示すフローチャートの検索物品推定処理は、前 記生活環境内にある収納設備の中の 1つに対して適用されるものであり、本検索物 品推定装置の動作中は、前記生活環境内にある収納設備の数だけ前記フローチヤ ートに示された検索物品推定処理が適用され、互いに並列で処理される。ここで、図
13Aは開閉機能を持った収納設備に適用される検索物品推定処理のフローチヤ一 トであり、図 14は開閉機能を持たない収納設備に適用される検索物品推定処理のフ ローチャートである。又、図 13Bに示すフローチャートについては、センシング装置 1 01は常に物品の出現'消滅をセンシングしており、前記物品の出現'消滅を検出し 次第 (ステップ S1309)、その情報を情報処理手段 110を介して設備操作履歴デー タベース 105及び物品位置履歴データベース 108に記録する(ステップ S 1310)こと を示している。
[0068] ここでは、図 13Aに示すように、の開閉機能を持った収納設備として、多目的棚を 例にとって、検索物品推定処理の説明を行う。
[0069] 始めに、ユーザが多目的棚の扉を開くまで、具体的には、多目的棚をセンシングし ている接触センサなどのセンシング装置 101が多目的棚の開放を検出するまで待機 している (ステップ S1301)。ユーザが多目的棚の扉を開くと、多目的棚の開閉をセン シングしているセンシング装置 101が多目的棚の開放を検出し、多目的棚の開放情 報を検出時刻と共に設備操作履歴データベース 105に情報処理手段 110により記 録する(ステップ S 1302)。
[0070] 次に、ユーザが多目的棚の中に何らかの物品を取り出す力否かをタグリーダなどの センシング装置 101で検出する (ステップ S1303)。ユーザが多目的棚の中から物品 を取り出さずに、ユーザが多目的棚の中に何らかの物品を収納したことをセンシング 装置 101により検出したとする(ステップ S 1303で NOの場合でかつステップ S 1304 で YESの場合)。すると、センシング装置 101が、前記収納された物品を検出するこ とで、物品位置履歴データベース 108に多目的棚に物品が収納されたという情報が 情報処理手段 110により記録される。検索状態検出手段 102は、物品位置履歴デー タベース 108に情報処理手段 110により記録された前記情報 (すなわち、物品位置 履歴データベース 108に情報処理手段 110により記録された、多目的棚に物品が収 納された、という情報)を参照することによって、ユーザは物品を検索していないと判 断する。 [0071] 次いで、ユーザにより多目的棚の扉が閉められる力否かを検出する (ステップ S130 5A)。ユーザにより多目的棚の扉が閉められたことをセンシング装置 101で検出する と (ステップ S1305Aで YESの場合)、情報処理手段 110により、設備操作履歴デー タベース 105に多目的棚の閉鎖情報を検出時刻と共に記録し (ステップ S1306A)、 このフローチャートの処理は終了する。なお、ステップ S1305Aで、所定時間経過し ても、ユーザにより多目的棚の扉が閉められな力つた場合にも、このフローチャートの 処理を終了するようにしてもょ 、。
[0072] なお、多目的棚の中をセンシングしているセンシング装置 101が前記物品の収納を 検出したとき (ステップ S1309)、物品位置履歴データベース 108に、前記物品が多 目的棚に収納された情報が情報処理手段 110により記録される(すなわち、センシン グ装置 101で検出された物品の HD情報と多目的棚の HD情報とタイマー 109からの 時刻情報とが対応付けられて情報処理手段 110により記録される)(ステップ S1310
) o
[0073] なお、ユーザが多目的棚の中力も何らかの物品を取り出したとき (ステップ S1303 で YESの場合)も、センシング装置 101が、物品が取り出されたことを検出することで 、物品位置履歴データベース 108に多目的棚力も物品が取り出されたという情報が 記録され、検索状態検出手段 102は、物品位置履歴データベースに記録された前 記情報 (すなわち、物品位置履歴データベース 108に記録された、多目的棚にから 物品が取り出れたという情報)を参照することによって、(ユーザは検索物品を見つけ たため)ユーザは物品を検索していないと判断して、ステップ S1305Aに進む。
[0074] 一方、ユーザが多目的棚の中力も何も取り出しもせず (ステップ S 1303で NOの場 合)かつ、多目的棚の中に何も物品を収納せず (ステップ S1304で NOの場合)に多 目的棚の扉が閉められたとき、センシング装置 101が多目的棚の扉が閉められたこと を検出し (ステップ S1305で YESの場合)、情報処理手段 110により、設備操作履歴 データベース 105に多目的棚の閉鎖情報を検出時刻と共に記録される (ステップ S1 306)。すると、検索状態検出手段 102は、設備操作履歴データベース 105に記録さ れた多目的棚の開放力も閉鎖までの間に、多目的棚に物品が収納されず、且つ、多 目的棚から物品が取り出されてもいないという情報を、物品位置履歴データベース 1 08を参照することによって得て、ユーザが物品検索を行ったが物品を見つけられな いでいると判断する。
[0075] そして、検索状態検出手段 102によるその判断結果を受けて、検索物品推定手段 103が、本来、多目的棚に収納するべき物品で、且つ、現在、多目的棚に無い物品 をユーザが検索していた物品であると推定する (ステップ S1307)。すなわち、前記し たように、まず、ユーザが物品検索できな力つたと検索状態検出手段 102が判断する に至った多目的棚が本来の収納位置である物品 IDを、収納位置データベース 107 を参照することによって検索物品推定手段 103が取得する。そして、検索物品推定 手段 103は、取得した前記物品 IDの中から物品位置履歴データベース 108を参照 することによって、現在、本来の収納位置である多目的棚に無い物品 IDの物品を絞 り込み、絞り込んだ物品を、ユーザが検索していた物品であると推定する。
[0076] 前記処理を、図 6,図 7,図 11Bの例でより具体的に説明すると、検索状態検出手 段 102が、図 11Bの多目的棚における設備操作履歴データベース 105を参照するこ とにより、多目的棚の扉が、 19時 10分に開き、 19時 14分に閉じたことが検索状態検 出手段 102により判断される。ここで、図 7の物品位置履歴データベース 108を検索 状態検出手段 102が参照することによって、この時間の間に多目的棚を収納位置と して収納された物品 IDが無いため、この時間の間に多目的棚の中に何も物品が収 納されず、多目的棚力も何も物品がとられていないことが検索状態検出手段 102に より判断される。このようにして、検索状態検出手段 102は、ユーザが物品検索を行 つたが物品を見つけられないでいると判断する。続いて、この検索状態検出手段 10 2による判断結果を検索物品推定手段 103が受け取ると、図 6の収納位置データべ ース 107を検索物品推定手段 103が参照することによって、多目的棚が収納位置と なっている物品は、物品 IDが ID001、 ID002の物品であることが検索物品推定手段 103により判断される。さらに、図 7の物品位置履歴データベース 108を検索物品推 定手段 103が参照することによって、前記物品の中で現在多目的棚に無い物品は 物品 IDが ID001の携帯電話であることが検索物品推定手段 103により判断される。 このようにして、検索物品推定手段 103は、 ID001の携帯電話をユーザが検索して V、た物品であると推定する。 [0077] 最後に、検索物品推定手段 103によって絞り込まれた物品(例えば、前記例では携 帯電話)の現在位置をランプやスピーカ、ディスプレイなどの報知装置 104によりュ 一ザに知らせ (ステップ S1308)、処理を終了する。なお、前記絞り込まれた物品の 現在位置は、報知装置 104が、物品位置履歴データベース 108を参照することによ つて取得することができる。
[0078] なお、ユーザが多目的棚の中力も何も取り出しもせず (ステップ S 1303で NOの場 合)、かつ、多目的棚の中に何も物品を収納せず (ステップ S1304で NOの場合)に 多目的棚の扉も閉められておらず、所定時間内にセンシング装置 101が多目的棚の 扉が閉められたことを検出できな力つたとき (ステップ S1305で NOの場合)には、ス テツプ S 1303に戻る。
[0079] 次に、図 14に示すように、開閉機能を持たない収納設備として、本棚を例にとって 、検索物品推定処理の説明を行う。
[0080] 始めに、ユーザが本棚の中に手を入れるまで、具体的には、本棚の入口をセンシ ングしている焦電型赤外線センサなどのセンシング装置 101が本棚の中に入れられ た手を検出(人検出)するまで待機して 、る (ステップ S 1311)。ユーザが本棚の中に 手を入れると、本棚の入口をセンシングして 、るセンシング装置 101が本棚の中に入 れられた手を検出し (ステップ S1311で YESの場合)、本棚の人検出情報を検出時 刻と共に設備操作履歴データベース 105に情報処理手段 110により記録される (ス テツプ S1312)。
[0081] 次に、ユーザが本棚の中力も何らかの物品を取り出すか否かをタグセンサなどのセ ンシング装置 101で検出する (ステップ 1313)。ユーザが本棚の中力も物品を取り出 さずに (ステップ 1313で NOの場合)、ユーザが本棚の中に何らかの物品を収納した とする(ステップ S 1314で YESの場合)。すると、センシング装置 101が収納された物 品を検出することで、物品位置履歴データベース 108に本棚に物品が収納されたと いう情報が情報処理手段 110により記録される。検索状態検出手段 102は、物品位 置履歴データベース 108に記録された前記情報 (すなわち、物品位置履歴データべ ース 108に情報処理手段 110により記録された、本棚に物品が収納された、という情 報)を参照することによって、ユーザは物品を検索していないと判断する。 [0082] 次いで、ユーザにより本棚から手を抜き出した力否かを検出する (ステップ S1315A )。ユーザにより本棚力も手を抜き出したこと (人が検出されなくなつたこと)をセンシン グ装置 101で検出すると (ステップ S1315Aで YESの場合)、情報処理手段 110によ り、設備操作履歴データベース 105に本棚の人未検出情報を検出時刻と共に記録し (ステップ S1316A)、このフローチャートの処理は終了する。
[0083] なお、本棚の中をセンシングしているセンシング装置 101が前記物品を取り出した ことを検出したとき (ステップ S1309)、物品位置履歴データベース 108に前記物品 が本棚力も取り出されたという情報が情報処理手段 110により記録される (すなわち、 センシング装置 101で検出された物品の HD情報と本棚の HD情報とタイマー 109から の時刻情報とが対応付けられて情報処理手段 110により記録される)(ステップ S131 0)。
[0084] なお、ユーザが本棚の中力も何らかの物品を取り出したとき (ステップ S1313で YE Sの場合)も、センシング装置 101が、物品が取り出されたことを検出することで、物品 位置履歴データベース 108に本棚から物品が取り出されたという情報が記録され、 検索状態検出手段 102は、物品位置履歴データベース 108に記録された前記情報 (すなわち、物品位置履歴データベース 108に記録された、本棚から物品が取り出さ れたという情報)を参照することによって、(ユーザは検索物品を見つけたため)ユー ザは物品を検索して 、な 、と判断して、ステップ 1305Aに進む。
[0085] 一方、ユーザが本棚の中力も何も取り出しもせず (ステップ S 1313で NOの場合)か つ何も物品を収納せず、本棚の中力も何も取り出しもせず (ステップ S 1314で NOの 場合)に本棚力も手が抜き出したとき、センシング装置 101が、ユーザが本棚から手 を抜き出したこと (人が検出されなくなったこと)を検出し (ステップ S1315で YESの場 合)、情報処理手段 110により、設備操作履歴データベース 105に本棚の人未検出 情報を検出時刻と共に記録する (ステップ S1316)。すると、検索状態検出手段 102 は、設備操作履歴データベース 105に記録された本棚の人検出から人未検出まで の間に、本棚に物品が収納されず、且つ、本棚力 物品が取り出されてもいない情 報を、物品位置履歴データベース 108を参照することによって得て、ユーザが物品 検索を行ったが物品を見つけられないでいると判断する。 [0086] そして、検索状態検出手段 102によるその判断結果を受けて、検索物品推定手段 103力 本来、本棚に収納するべき物品で、かつ、現在、本棚に無い物品をユーザ が検索していた物品であると推定する (ステップ S1317)。すなわち、前記したように、 まず、ユーザが物品検索できな力つたと検索状態検出手段 102が判断するに至った 本棚が本来の収納位置である物品 IDを、収納位置データベース 107を参照すること によって検索物品推定手段 103が取得する。そして、検索物品推定手段 103は、取 得した前記物品 IDの中力も物品位置履歴データベース 108を参照することによって 、現在、本来の収納位置である本棚に無い物品 IDの物品を絞り込み、絞り込んだ物 品を、ユーザが検索していた物品であると推定する。
[0087] 前記処理を、図 6,図 7,図 11Aの例でより具体的に説明すると、検索状態検出手 段 102が、図 11Aの本棚における設備操作履歴データベース 105を参照することに より、本棚で、 19時 31分に人検出、 19時 32分に人未検出になったことが検索状態 検出手段 102により判断される。ここで、図 7の物品位置履歴データベース 108を検 索状態検出手段 102が参照することによって、この時間の間に本棚を収納位置とし て収納された物品 IDが無いため、この時間の間に本棚の中に何も物品が収納され ず、本棚力も何も物品がとられていないことが検索状態検出手段 102により判断され る。このようにして、検索状態検出手段 102は、ユーザが物品検索を行ったが物品を 見つけられないでいると判断する。続いて、この検索状態検出手段 102による判断 結果を検索物品推定手段 103が受け取ると、図 6の収納位置データベース 107を検 索物品推定手段 103が参照することによって、本棚が収納位置となっている物品は、 物品 IDが ID005、ID006の物品であることが検索物品推定手段 103により判断され る。さらに、図 7の物品位置履歴データベース 108を検索物品推定手段 103が参照 することによって、前記物品の中で現在本棚に無い物品は物品 IDが ID006の雑誌 であることが検索物品推定手段 103により判断される。このようにして、検索物品推定 手段 103は、 ID006の雑誌をユーザが検索して 、た物品であると推定する。
[0088] 最後に、検索物品推定手段 103によって絞り込まれた物品(例えば、前記例では I D006の雑誌)の現在位置をランプやスピーカ、ディスプレイなどの報知装置 104に よりユーザに知らせ (ステップ S1318)、処理を終了する。なお、前記絞り込まれた物 品の現在位置は、報知装置 104が、物品位置履歴データベース 108を参照すること によって取得することができる。
[0089] なお、ユーザが本棚の中力も何も取り出しもせず (ステップ S 1313で NOの場合)、 かつ、本棚の中に何も物品を収納せず (ステップ S1314で NOの場合)に本棚で人 検出され続けている場合 (ステップ S1315で NOの場合)には、ステップ S1313に戻 る。
[0090] ここで、ユーザは、収納設備の内部が良く見えないために、一度、前方にある物品 を収納設備力 収納設備の外に取り出して収納設備の内部にある物品を検索すると いうことも考えられるため、図 21にてこの問題を対処するフローチャートを示す。なお 、ここでは、開閉機能を持った収納設備に関するフローチャートを示している力 開 閉機能を持たない収納設備に関しても行う処理に関しては同等である (すなわち、扉 の開放は人検出、扉の閉鎖は人未検出と読み替えれば良い)ため、ここでは省略す る。
[0091] このフローチャートによると、収納設備の扉が開いたことを接触センサなどのセンシ ング装置 101により検出し (ステップ S2801で YESの場合)、その情報を記録してか ら (ステップ S2802)、扉が閉じられたことを接触センサなどのセンシング装置 101に より検出するまで (ステップ S2803で YESとなるまで)に何回物品の出し入れが行わ れたとしても、扉が閉められた時の前記収納設備内にある物品と扉が開かれた時の 前記収納設備内にあった物品が異なっていないとき (ステップ S2804及びステップ S 2805で NOの場合)、それは物品検索のために物品の出し入れを行っただけである と検索物品推定手段 103は判断し、前記収納設備内にはユーザが検索していた物 品は無力つたとして、検索物品推定手段 103は、収納設備無いに収納されるべき物 品で、現在収納設備内に無い物品をユーザが検索していた物品の推定する (ステツ プ S2806)。以後、必要に応じて、ステップ S1308と同様の報知動作を行っても良い
[0092] なお、ステップ S2802では、設備操作履歴データベース 105に収納設備の開放情 報を検出時間と共に情報処理手段 110により記録する。また、ステップ S2804では、 設備操作履歴データベース 105に収納設備の閉鎖情報を検出時間と共に情報処理 手段 110により記録する。また、ステップ S2805で扉が閉められた時の前記収納設 備内にある物品と扉が開かれた時の前記収納設備内にあった物品が異なって!/、たと き (ステップ S 2805で YESの場合)、ユーザは前記収納設備内の物品の検索を行つ て物品を見つけたので物品の検索を終了した、または、ユーザは前記収納設備内に 物品を収納しただけであり物品の検索は行っていな力つた、と判断できるため、この まま処理を終了する。
[0093] 前記第 1実施形態によれば、ユーザが検索中の物品がありそうな収納設備内を検 索した結果、前記物品を見つけられな力つたことを検索状態検出手段 102で自動的 に判断し、本来前記収納設備内にある物品で現在前記収納設備内に無い物品を前 記ユーザが検索している物品であると検索物品推定手段 103により推定するため、 ユーザは検索したい物品の情報を意図的に検索物品推定装置に入力する必要がな くなる。また、検索物品推定手段 103により推定した結果である検索したい物品の位 置情報を報知装置 104で報知するようにすれば、さらに、ユーザは効率良く物品を探 すことができる。
[0094] (第 2実施形態)
図 22は本発明の第 2実施形態に力かる検索物品推定装置を示すブロック図である
[0095] 本検索物品推定装置は、物品情報データベース 106と、収納位置データベース 1 07と、タイマー 109と、センシング装置 101と、情報処理手段 110と、物品位置履歴 データベース 108と、設備操作履歴データベース 105と、環境データベース 201と、 検索状態検出手段 102と、検索物品推定手段 103と、報知装置 104と、目視困難範 囲推定手段 3201とで構成される。データベース等をユーザが手動で設定可能にす るためにキーボードやマウス、マイクなどの入力装置 900をさらに備えても良い。
[0096] 目視困難範囲推定手段 3201以外の各手段、各装置、及び各データベース、タイ マー 109に関して、第 1実施形態にて説明した構成及び機能と同等のため説明を省 略し、目視困難範囲推定手段 3201に関する構成及び動作を主として説明する。
[0097] 目視困難範囲推定手段 3201は、設備操作履歴データベース 105と検索物品推定 手段 103とに接続されて、設備操作履歴データベース 105の収納設備の状態に、情 報処理手段 110により、「開」が記録されてから「閉」が記録されるまでの前記収納設 備の開閉度合いを参照し、前記収納設備に対し、ユーザが目視困難な範囲を推定 する。以下に、図 23A〜図 23Dを用いて目視困難範囲推定手段 3201の説明を行う
[0098] 図 23Aは文房具入れ 1200を示し、図 23Bは文房具入れ 1200の平面図を示して いる。文房具入れ 1200の引き出し 1200cにはセンシング装置 101の例としてのタグ リーダ AA 2301〜タグリーダ DD 2316が敷き詰められている(図 23D参照)。それ ぞれのタグリーダ AA 2301〜タグリーダ DD 2316は、物品に付されたタグを検出 できるとともに、文房具入れ 1200の弓 Iき出し 2000cの入口の上側の文房具入れ本 体部に貼り付けられたタグ 2317を検出することができる。ただし、タグ 2317は、引き 出し 2000cの入口の上側の文房具入れ本体部に貼付けられて 、るため、引き出し 2 000cが閉められているときには、タグリーダ AA 2301〜タグリーダ DD 2316はタ グ 2317を検出することはできず、引き出し 2000cの引き出し具合によって、タグ 231 7を検出できるタグリーダ AA 2301〜タグリーダ DD 2316が変化する。ここで、図 23Aは、ユーザが文房具入れ 1200の中の物品を検索するために引き出し 1200cを 途中まで引き出したときの様子であり、図 23A及び図 23Bに示す、文房具入れ 1200 の引き出し 1200cの引き出し状態では、タグリーダ BA 2305とタグリーダ BB 2306 とタグリーダ BC 2307とタグリーダ BD 2308力 ^タグ 2317を検出できて!/、る。図 23 Cは、図 23Bの引き出し 1200cの引き出し状態における、タグリーダ BA 2305とタグ リーダ BB 2306とタグリーダ BC 2307とタグリーダ BD 2308の検出結果を受けて 、情報処理手段 110が、設備操作履歴データベース 105に情報を記録したときの様 子であり、 23時 45分にタグリーダ BA 2305とタグリーダ BB 2306とタグリーダ BC 2307とタグリーダ BD 2308力 タグ 2317を検出したことを示して!/、る。
[0099] 目視困難範囲推定手段 3201は、情報処理手段 110により設備操作履歴データべ ース 105に記録されているタグ 2317の検出状態を参照し、タグリーダ BA 2305とタ グリーダ BB 2306とタグリーダ BC 2307とタグリーダ BD 2308力 ^タグ 2317を検 出していることを把握すると、タグリーダ BA 2305とタグリーダ BB 2306とタグリー ダ BC 2307とタグリーダ BD 2308を含め、タグリーダ BA 2305とタグリーダ BB 2306とタグリーダ BC 2307とタグリーダ BD 2308よりも、引き出し 1200cの奥佃 Jに 設置されているタグリーダ(タグリーダ AA 2301、タグリーダ AB 2302、タグリーダ AC 2303、タグリーダ AD 2304)を、前記ユーザが目視するのに困難な範囲であ ると推定する。
[0100] この後、例えば 23時 48分に前記ユーザが文房具入れ 1200から何も物品を取り出 さず、且つ、何も物品を収納しないまま引き出しを閉じたことをセンシング装置 101に より検出したとする。すると、検索状態検出手段 102が、前記ユーザが文房具入れ 1 200の中を検索したが、検索したい物品を見つけることができな力つたと判断する。 検索物品推定手段 103は、検索状態検出手段 102の前記判断結果を受け、本来、 文房具入れ 1200に収納されているべき物品で、現在、文房具入れ 1200に無い物 品、又は、目視困難範囲推定手段 3201が推定した文房具入れ 1200内の前記ユー ザが目視困難であった範囲内に収納されていた物品、例えば、ホッチキス (ID007) をユーザが検索していた物品であると推定することができる。
[0101] 第 2実施形態によれば、収納設備の扉や引き出しの開き具合によって、ユーザが目 視できないか困難な収納設備の範囲を推定し、その範囲内にある物品はユーザが 見落として!/、る可能性があることを考慮して、目視困難範囲推定手段 3201によりュ 一ザの検索している物品を推定することができるため、ユーザが検索している物品を より高精度に推定することができる。
[0102] (第 3実施形態)
図 3は、本発明の第 3実施形態に力かる検索物品推定装置を示すブロック図である
[0103] 本検索物品推定装置は、物品情報データベース 106と、収納位置データベース 1 07と、タイマー 109と、センシング装置 101と、情報処理手段 110と、物品位置履歴 データベース 108と、設備操作履歴データベース 105と、検索状態検出手段 102と、 検索物品推定手段 103と、報知装置 104と、環境データベース 201と、ユーザ情報 データベース 301と、所有者データベース 302とで構成される。
[0104] ユーザ情報データベース 301と所有者データベース 302以外の各手段、各装置、 及び各データベース、タイマー 109に関しては、第 1実施形態にて説明した構成及 び機能と同等のため説明を省略し、ユーザ情報データベース 301と所有者データべ ース 302に関する構成及び動作を主として説明する。
[0105] ユーザ情報データベース 301には、ユーザの IDの情報と、ユーザの IDを推定する ために必要なユーザ情報とが記録されている。ここで、図 10Aは前記ユーザ情報デ ータベース 301の一例を示している。図 10Aでは、ユーザの IDを推定するためのュ 一ザ情報の例として、ユーザの名称、ユーザの身長、ユーザの体重とが記録されて いる。ユーザ情報データベース 301を用いることによって、現在、物品検索を行って いるのが誰であるのかを検索状態検出手段 102により判断することが可能となる。
[0106] 所有者データベース 302には、物品情報データベース 106に記録されている各物 品の所有者の情報が記録されている。ここで、図 9は、所有者データベース 302の一 例を示している。図 9では、物品 ID001〜ID009の各物品について第 3所有者まで 記録しているが、必ずしも第 3所有者まで記録する必要は無い。所有者データベース 302を用いることによって、検索物品推定手段 103は、現在物品を検索しているユー ザの所有物の中から、現在のユーザの検索している物品の候補を推定することが可 能となる。
[0107] ここで、ユーザ情報データベース 301、又は所有者データベース 302などをユーザ が手動で設定可能にするためにキーボードやマウス、マイクなどの入力装置 900をさ らに備えても良い。
[0108] 次に、検索物品推定装置の検索物品推定処理について、図 17に示すフローチヤ ートを参照しながら、一例として、姉 (ユーザ ID : U003)がコップを検索したことを例 にして説明する。ここで、物品の絞り込み部分以外については、図 13A及び図 14の フローチャート (第 1実施形態)の検索物品推定処理のステップ S 1301〜S1305、S 1305A、 S1306A及びステップ S1308並びにステップ S1311〜S1315、 S1315A 、 S1316A及びステップ S1318と同等であるため、それらの部分の詳細な説明につ いては省略する。
[0109] 始めに、ユーザである姉が、コップを探して食器棚の扉を開けると、接触センサなど のセンシング装置 101により食器棚の扉の開放が検出される(図 13Aのステップ S13 01、図 14のステップ S1311)。し力し、コップ(ID003、 ID004) ίま、現在、食器棚に は無く(図 7参照:現在、コップ ID003はテーブルにあり、コップ ID004は食卓にある 。;)、姉はコップを見つけることができないまま食器棚の扉を閉めると、接触センサなど のセンシング装置 101により食器棚の扉の閉鎖が検出される(図 13Aのステップ S13 04〜S1305、図 14のステップ S1314〜S1315)。
[0110] すると、検索物品推定手段 103が、まず、食器棚が本来の収納位置である物品で、 現在、食器棚の中にない物品を収納位置データベース 107 (図 6参照)と物品位置 履歴データベース 108 (図 7参照)から絞り込む(図 17のステップステップ S 2201 )。
[0111] その結果、コップ (ID003)とコップ (ID004)の 2つ物品が検索物品推定手段 103 により見つけられるので (ステップ S2202)、次に、検索物品推定手段 103は、ユー ザをカメラやタグリーダなどのセンシング装置 101によってセンシングした結果を基に 、ユーザ情報データベース 301を参照することによって、現在のユーザが姉 (U003) であることを把握する (ステップ S2203)。ここで、ユーザが姉であると認識する方法 については、第 1実施形態のカメラやタグリーダなどのセンシング装置 101にて説明 済みであるため省略する。
[0112] 次に、検索物品推定手段 103が、所有者データベース 302を参照することによって コップ(ID003)とコップ(ID004)は姉が所有して!/、るコップであるかを調べる。すると 、コップ(ID003)は、第 1所有者としてユーザ IDが U003の姉の所有しているコップ である(図 9参照)ことが検索物品推定手段 103により判断され、コップ (ID003)を姉 が検索している第 1候補の物品として検索物品推定手段 103により推定する (ステツ プ S2204)。ここでは、コップ(ID004)は、第 1所有者としてユーザ IDが U001の父、 第 2所有者としてユーザ IDが U002の母、第 3所有者としてユーザ IDが U0043の弟 の所有して!/、るコップであり、姉では無!、ので無視する。
[0113] 最後に、検索物品推定手段 103によって絞り込まれたコップ (ID003)の現在位置( 図 7ではテーブル。)を、報知装置 104により物品位置履歴データベース 108を参照 して取得し、ランプやスピーカ、ディスプレイなどの報知装置 104により、姉にコップ(I D003)の現在位置を知らせ(図 13Aのステップ S 1308、図 14のステップ S 1318)、 前記処理を終了する。
[0114] ここで、さらに、図 10Bに示すように、ユーザ情報データベース 301に、物品を検索 するときの平均発見時間をユーザ毎に記録しておいてもよい。すると、例えば物品を 検索しているのは父であった場合、通常 20秒以内に検索している物品を見つけるこ とができると、検索状態検出手段 102により判断することができる。しかし、ここで、父 が 20秒以上同じ収納設備内を検索している状態 (例えば食器棚の扉が 20秒以上開 いている状態)が続いた場合、検索状態検出手段 102は、前記収納設備には父が検 索している物品は無いと判断し、扉が閉められるのを待つことなく(センシング装置 10 1による扉の閉の検出を待つことなく)、検索物品推定手段 103は、父が検索している 物品の推定を開始することができる。
[0115] 前記第 3実施形態によれば、検索物品推定手段 103がユーザ情報データベース 3 01と所有者データベース 302を参照することにより、現在のユーザを特定し、前記ュ 一ザの所有物の中力もユーザの検索している物品を絞り込むことが可能となり、より 精度の高い物品の推定が検索物品推定手段 103により行えるようになる。
[0116] (第 4実施形態)
図 25は本発明の第 4実施形態に力かる検索物品推定装置を示すブロック図である
[0117] 本検索物品推定装置は、物品情報データベース 106と、収納位置データベース 1 07と、タイマー 109と、センシング装置 101と、情報処理手段 110と、物品位置履歴 データベース 108と、設備操作履歴データベース 105と、環境データベース 201と、 検索状態検出手段 102と、検索物品推定手段 103と、報知装置 104とで構成される
[0118] 物品情報データベース 106以外の各手段、各装置、及び各データベース、タイマ 一 109に関しては、第 1実施形態〜第 3実施形態にて説明した構成及び機能と同等 のため説明を省略し、物品情報データベース 106に関する構成及び動作を主として 説明する。
[0119] 物品情報データベース 106には、生活環境などの中に存在する物品の IDの情報と 、物品又は物品の IDを推定するために必要な物品 ID推定用物品情報とが記録され ている他に、更に、物品組合せに関する情報の一例として、互いに関連のある物品 I Dが記録されている。図 24に第 4実施形態に力かる物品情報データベース 106の一 例を示す。図 24の物品情報データベース 106においては、例えば携帯電話 (ID00 1)と財布 (ID002)は外出の際に常に一緒に持ち出すことから互いに関連の有る物 品であると記録されている。また、コップ (ID003)は冷たい飲料を注ぐことカもジユー ス (ID020)やミネラルウォータ (ID021)と関連付けられて 、る。他の物品に関しても 同様に関連のある物品 IDが記録されている。
[0120] 検索物品推定手段 103は、ユーザが検索した収納設備内には前記ユーザが検索 していた物品は無力つたという判断結果を検索状態検出手段 102から受けると、前 記収納設備内にあるべき物品で、現在、前記収納設備内に無い物品であり、且つ、 物品情報データベース 106を参照し、現在の前記ユーザの所持物品と関連の有る 物品を、前記ユーザの検索していた物品であると推定する。ここで、前記ユーザが所 持して 、る物品の検出方法であるが、物品位置履歴データベース 108を検索物品推 定手段 103が参照することによって推定できる。例えば、図 7を用いて説明すると、携 帯電話 (ID001)は、 17時 20分に食卓力も持ち出され、 17時 22分にテーブルに置 かれており、この間は、ユーザが所持していたということになる。つまり、物品位置履 歴データベース 108に物品の消失が記録され、且つ、未だ、どの収納設備にも検出 されていない物品を、ユーザが所持していると検索物品推定手段 103により推定す ることがでさる。
[0121] ここで、物品情報データベース 106などをユーザが手動で設定可能にするために キーボードやマウス、マイクなどの入力装置 900をさらに備えても良い。
[0122] 第 4実施形態によれば、物品組合せに関する情報が記録されている物品情報デー タベース 106を検索物品推定手段 103が参照することにより、現在のユーザの所持 物と関連のある物品の中から前記ユーザが検索している物品を検索物品推定手段 1 03により絞り込むことが可能となり、より精度の高い物品の推定が検索物品推定手段 103により行えるようになる。
[0123] (第 5実施形態)
図 26は本発明の第 5実施形態に力かる検索物品推定装置を示すブロック図である
[0124] 本検索物品推定装置は、物品情報データベース 106と、収納位置データベース 1 07と、タイマー 109と、センシング装置 101と、情報処理手段 110と、物品位置履歴 データベース 108と、設備操作履歴データベース 105と、環境データベース 201と、 検索状態検出手段 102と、検索物品推定手段 103と、報知装置 104と、同一物品検 索推定手段 3601とで構成される。データベース等をユーザが手動で設定可能にす るためにキーボードやマウス、マイクなどの入力装置 900をさらに備えても良い。
[0125] 同一物品検索推定手段 3601以外の各手段、各装置、及び各データベース、タイ マー 109に関して、第 1実施形態にて説明した構成及び機能と同等のため説明を省 略し、同一物品検索推定手段 3601に関する構成及び動作を主として説明する。
[0126] 同一物品検索推定手段 3601は、設備操作履歴データベース 105と環境データべ ース 201と物品位置履歴データベース 108と検索物品推定手段 103とタイマー 109 とに接続されて、設備操作履歴データベース 105と環境データベース 201と物品位 置履歴データベース 108とを参照し、必要に応じてタイマー 109からの時刻情報をも 参照して、収納設備の状態に「閉」が記録されてから次に別の収納設備の状態に「開 」が記録されるまでの時間を求め、前記時間が短ぐ且つ、 1つ目の収納設備 (状態 に「閉」と記録された収納設備)に何も物品を取り出しもせず、その収納設備には何も 物品を収納もしな力つたことをセンシング装置 101により検出した場合に、ユーザは、 前記 2つ目の収納設備で同じ物品を検索していたと同一物品検索推定手段 3601に より推定する。
[0127] ここで、前記時間の短さの基準であるが、例えば、ユーザの歩行速度と前記 2つの 収納設備間の距離を利用することができる。例えば、ユーザの平均歩行速度を 1000 cmZsであるとし、前記平均歩行速度の情報を同一物品検索推定手段 3601の内部 記憶に記録されていたとする。このような状況にて、 1つ目の収納設備 (状態に「閉」と 記録された収納設備)が文房具入れであり、 2つ目の収納設備 (状態に「開」と記録さ れた収納設備)が多目的棚であり、前記文房具入れを検索したときの前記ユーザの 位置が(2500, 1000)で、前記多目的棚を検索したときの前記ユーザの位置が(12 00, 1500)であったとする。尚、ユーザ位置の取得方法に関しては第 1実施形態の センシング装置 101で説明済みのため省略する。同一の物品を検索していた場合、 前記文房具入れから他の場所を経由せず直接前記多目的棚へ向かうと判断でき、 前記文房具入れと前記多目的棚の距離は約 1400cmを前記平均歩行速度 1000c mZsで割った値、すなわち 1. 4秒を前記時間の短さの基準とすることができる。
[0128] 例えば、同一物品検索推定手段 3601が、前記ユーザが前記文房具入れと前記多 目的棚にて同じ物品を検索していたと推定し、その後、前記多目的棚からも何も物品 を取らず、且つ、何も物品を収納しないまま 18時 40分に扉を閉めたことをセンシング 装置 101により検出すると、検索物品推定手段 103は、同一物品検索推定手段 360 1の推定結果を受けて、前記文房具入れにも前記多目的棚にも無い物品で(図 7参 照)、且つ、前記文房具入れと前記多目的棚の両方の収納設備が本来の収納設備 となっている物品(図 27参照)、すなわちホッチキス (ID007)を前記ユーザが検索し ている物品であると推定する。
[0129] 第 5実施形態によれば、ユーザが物品を見つけることができずに複数箇所の収納 設備を検索した場合、前記ユーザが検索している前記物品を前記ユーザが検索した 前記複数箇所の収納設備に共通してありそうな物品であると同一物品検索推定手段 3601により推定することができ、ユーザの検索している物品をより高精度に推定する ことができる。
[0130] (第 6実施形態)
図 19は、本発明の第 6実施形態にかかる、検索物品推定装置用サーバを利用す る検索物品推定装置のブロック図である。
[0131] 第 6実施形態にかかる検索物品推定装置は、検索物品推定装置用サーバ 2601と 、情報処理手段 110に接続されるセンシング装置 101と、情報処理手段 110に接続 されるタイマー 109と、検索物品推定手段 103と物品位置履歴データベース 108とに 接続される報知装置 104と、入力装置 900とで構成される。
[0132] 検索物品推定装置用サーバ 2601は、検索状態検出手段 102と、検索物品推定手 段 103と、設備操作履歴データベース 105と、物品情報データベース 106と、収納位 置データベース 107と、物品位置履歴データベース 108と、情報処理手段 110と、環 境データベース 201とで構成され、ユーザの収納設備へのアクセス状態を示すァク セス状態推定情報とその間の前記収納設備内の物品の変化の情報を、サーバ 260 1の外部に備えたセンシング装置 101からサーバ 2601の情報処理手段 110で受け 取り、前記収納設備内に前記ユーザが検索していた物品が在ったか無かったかをサ ーバ 2601の検索状態検出手段 102により判断し、もし無力つたと検索状態検出手 段 102により判断した場合、更に収納位置データベースをサーバ 2601の検索物品 推定手段 103により参照することによって、本来、前記収納設備内に収納されている べき物品を前記ユーザが検索している物品として検索物品推定手段 103により推定 する。
[0133] ここで、図 19のブロック図中の各手段、各装置、及び各データベース、タイマーに ついては第 1実施形態にて説明済みであるため、ここでの詳細な説明は省略する。
[0134] サーバ 2601は、図 20A,図 20Bに示すように、前記生活環境内の端に設置してい る力 前記生活環境外に設置しておいても構わない。
[0135] センシング装置 101としては、食器棚には扉の開閉を検出する接触センサと、物品 の有無を検出するタグリーダ力 食卓には物品の有無を検出する重量センサとタグリ ーダが、本棚には、本棚内に人の手の有無を検出する赤外線センサと、物品の有無 を検出するタグリーダが、多目的棚には扉の開閉を検出する接触センサと、物品の 有無を検出するタグリーダ力 テーブルには物品の有無を検出するタグリーダ力 文 房具入れには扉の開閉を検出する接触センサと、物品の有無を検出するタグリーダ 力 床面には人を検出するための重量センサがそれぞれ設置されている。
[0136] 報知装置 104としては、前記生活環境内にスピーカと、ランプと、ディスプレイが設 置されている。
[0137] ここで、センシング装置 101と報知装置 104と入力装置 900とタイマー 109とは、そ れぞれサーバ 2601に有線、もしくは無線によって接続して 、るものとする。
[0138] 前記第 6実施形態によれば、サーバ 2601は、ユーザの収納設備へのアクセス状態 を示すアクセス状態推定情報とその間の前記収納設備内の物品の変化の情報をセ ンシング装置 101から受け取り、前記収納設備内に前記ユーザが検索して 、た物品 が在ったか無力つたかをサーバ 2601の検索状態検出手段 102により判断し、もし無 力つたと検索状態検出手段 102により判断した場合、更にサーバ 2601の収納位置 データベース 107をサーバ 2601の検索物品推定手段 103により参照することによつ て、本来、前記収納設備内に収納されているべき物品を前記ユーザが検索している 物品として検索物品推定手段 103により推定し、ユーザに前記推定した物品の位置 情報を報知装置 104で報知するため、ユーザは本検索物品推定装置に対して、意 図的な入力を行うことなぐ現在検索中の物品の位置情報を知ることができる。また、 サーバ 2601は、ユーザの生活環境内に設置しておく必要は無いため、例えばサー バ 2601を外部の管理機関などに設置しておくと、ユーザの生活環境内にはセンシ ング装置 101、タイマー 109、報知装置 104、入力装置 900のみを設置すれば良い ということになる。
[0139] なお、前記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより 、それぞれの有する効果を奏するようにすることができる。
産業上の利用可能性
[0140] 本発明の検索物品推定装置及び方法、並びに、検索物品推定装置用サーバは、 ユーザが物品を検索するときに意図的な入力を必要としな 、ので、家庭内やオフィス などといった数多くの物品が存在する環境内での物品検索に有用である。
[0141] 本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載され ているが、この技術の熟練した人々にとつては種々の変形や修正は明白である。そ のような変形や修正は、添付した請求の範囲による本発明の範囲から外れない限り において、その中に含まれると理解されるべきである。

Claims

請求の範囲
物品を推定するために必要な物品情報を記録した物品情報データベースと、 前記物品情報データベースに記録されている前記物品の収納位置を記録した収 納位置データベースと、
生活環境内に配置され、少なくとも前記物品の位置を推定し得る物品位置情報と ユーザの前記物品の前記収納位置での収納設備へのアクセスの状態を推定し得る アクセス状態推定情報を検出するセンシング装置と、
時刻を取得するタイマーと、
前記環境内のマップと、前記環境内に配置されている前記収納設備と前記センシ ング装置の設置位置を記録した環境データベースと、
前記環境データベースに記録されている前記センシング装置の前記設置位置と、 前記センシング装置が検出した前記物品位置情報及び前記アクセス状態推定情報 と、前記タイマーが取得した時刻から、前記センシング装置が前記物品位置情報及 び前記アクセス状態推定情報を検出した時刻における前記物品の位置の情報と、前 記ユーザの前記収納設備へのアクセス状態を示すアクセス状態情報を求める情報 処理手段と、
前記情報処理手段により求められた前記物品の位置の情報が、前記センシング装 置が前記物品位置情報を検出した時刻と共に記録される物品位置履歴データべ一 スと、
前記情報処理手段により求められた前記ユーザの前記収納設備へのアクセス状態 を示す前記アクセス状態情報が、前記センシング装置が前記アクセス状態推定情報 を検出した時刻と共に記録される設備操作履歴データベースと、
前記ユーザが前記収納設備への前記アクセスにより前記物品の検索を行ったとき、 前記収納設備への前記アクセスの開始時と前記収納設備への前記アクセスの終了 時で、前記収納設備内の物品の有無に変化があるかを検出する検索状態検出手段 と、
前記検索状態検出手段が、前記収納設備内の前記物品の有無に変化が無かった ことを検出すると、前記収納位置データベースと、前記物品位置履歴データベースと 、設備操作履歴データベースとを参照することによって、前記ユーザが検索している 前記物品を推定する検索物品推定手段と、
を備えたことを特徴とする検索物品推定装置。
[2] 前記センシング装置は、更に、前記収納設備に備え付けられている開閉機能の開 閉状態を検出し、
前記センシング装置が検出した、前記ユーザが前記収納設備へ前記アクセスを開 始して力 前記アクセスを終了するまでの前記開閉機能の開閉度合いに応じて、前 記ユーザが目視困難な前記収納設備内の範囲を推定する目視困難範囲推定手段 を備え、
前記検索物品推定手段は、更に、前記目視困難範囲推定手段の推定結果を参照 することによって前記ユーザが検索している物品を推定することを特徴とする請求項 1に記載の検索物品推定装置。
[3] 更に、前記ユーザのユーザ IDと、前記ユーザ IDを推定するために必要なユーザ情 報を記録したユーザ情報データベースと、
前記物品情報データベースに記録されている前記物品の所有者の情報を記録し た所有者データベースを備え、
前記センシング装置は、更に前記ユーザを推定し得るユーザ情報を検出し、 前記情報処理手段は、更に前記センシング装置が検出した前記ユーザ情報から前 記ユーザ情報データベースを参照することによって、前記ユーザの IDを推定し、 前記検索物品推定手段は、更に前記ユーザの IDと前記所有者データベースに記 録されている前記物品の所有者の情報を参照することによって、前記ユーザが検索 している前記物品を推定することを特徴とする請求項 1又は請求項 2に記載の検索 物品推定装置。
[4] 前記物品情報データベースには、更に、複数の物品の物品組合せに関する情報 が記録されていることを特徴とする請求項 1から請求項 3のいずれ力 1つに記載の検 索物品推定装置。
[5] 更に、前記ユーザの収納設備への前記アクセスの終了力 別の収納設備へのァク セスの開始までの時間から、同一の物品を検索しているのかを推定する同一物品検 索推定手段を備え、
前記検索物品推定手段は、更に、前記同一物品検索推定手段の推定結果を基に 前記ユーザが検索している物品を推定することを特徴とする請求項 1から請求項 4の V、ずれか 1つに記載の検索物品推定装置。
物品を推定するために必要な物品情報を記録した物品情報データベースと、 前記物品情報データベースに記録されている前記物品の収納位置を記録した収 納位置データベースと、
生活環境内のマップと、前記環境内に配置されている機器や前記物品の収納位置 での収納設備、前記センシング装置の設置位置を記録した環境データベースと、 前記環境内に配置され、少なくとも、前記物品の位置を推定し得る物品位置情報と ユーザの前記収納設備へのアクセスの状態を推定し得るアクセス状態推定情報と、 を検出するセンシング装置が検出した前記物品位置情報及び前記アクセス状態推 定情報と前記環境データベースから、前記物品の現在位置の情報と前記ユーザの 前記収納設備へのアクセス状態の情報を示すアクセス状態情報を求める情報処理 手段と、
前記情報処理手段により求められた前記物品の位置の情報が、前記センシング装 置が情報を検出した時刻と共に記録される物品位置履歴データベースと、
前記情報処理手段により求められた前記ユーザの前記収納設備へのアクセス状態 を示す前記アクセス状態情報が、前記センシング装置が情報を検出した時刻と共に 記録される設備操作履歴データベースと、
前記ユーザが前記収納設備への前記アクセスにより前記物品の検索を行ったとき、 前記収納設備への前記アクセスの開始時と前記収納設備への前記アクセスの終了 時で、前記収納設備内の前記物品の有無に変化があるかを検出する検索状態検出 手段と、
前記検索状態検出手段が、物品の有無に変化が無かったことを検出すると、前記 収納位置データベースと、前記物品位置履歴データベースと、設備操作履歴データ ベースとを参照することによって、前記ユーザが検索している前記物品を推定する検 索物品推定手段と、を備えたことを特徴とする検索物品推定装置用サーバ。 生活環境内に配置されたセンシング装置によって、少なくとも物品の位置を推定し 得る物品位置情報と、ユーザの収納設備へのアクセスの状態を推定し得るアクセス 状態推定情報と、を検出し、
前記検出した物品位置情報とアクセス状態推定情報と、前記環境内のマップと前 記環境内に配置されて 、る前記収納設備、前記センシング装置の設置位置を記録 した環境データベースから、前記物品の現在位置と前記ユーザの前記収納設備へ の前記アクセスの状態を示すアクセス状態情報を求め、
前記ユーザが前記収納設備への前記アクセスにより前記物品の検索を行ったとき、 前記収納設備への前記アクセスの開始時と前記収納設備への前記アクセスの終了 時で、前記収納設備内の前記物品の有無に変化があるかを検出し、
前記ユーザが検索している前記物品を推定する 検索物品推定方法。
PCT/JP2006/315413 2005-08-04 2006-08-03 検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ WO2007015548A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006546441A JP3989527B2 (ja) 2005-08-04 2006-08-03 検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ
US11/796,723 US8099427B2 (en) 2005-08-04 2007-04-27 Search article estimation apparatus and method and server for search article estimation apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005226654 2005-08-04
JP2005-226654 2005-08-04
JP2006211567 2006-08-03
JP2006-211567 2006-08-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/796,723 Continuation US8099427B2 (en) 2005-08-04 2007-04-27 Search article estimation apparatus and method and server for search article estimation apparatus

Publications (1)

Publication Number Publication Date
WO2007015548A1 true WO2007015548A1 (ja) 2007-02-08

Family

ID=37708828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/315413 WO2007015548A1 (ja) 2005-08-04 2006-08-03 検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ

Country Status (3)

Country Link
US (1) US8099427B2 (ja)
JP (1) JP3989527B2 (ja)
WO (1) WO2007015548A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010052874A1 (ja) * 2008-11-05 2010-05-14 パナソニック株式会社 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム
JP2016175715A (ja) * 2015-03-19 2016-10-06 Necエンジニアリング株式会社 作業実績収集システム、作業実績収集方法及びプログラム
JP7426760B1 (ja) 2023-03-29 2024-02-02 オーリス株式会社 邸商品管理システム及び邸商品管理方法

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8894576B2 (en) * 2004-03-10 2014-11-25 University Of Virginia Patent Foundation System and method for the inference of activities of daily living and instrumental activities of daily living automatically
US8930331B2 (en) 2007-02-21 2015-01-06 Palantir Technologies Providing unique views of data based on changes or rules
US10747952B2 (en) 2008-09-15 2020-08-18 Palantir Technologies, Inc. Automatic creation and server push of multiple distinct drafts
JP4709943B2 (ja) * 2009-02-19 2011-06-29 パナソニック株式会社 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム
CN102265112B (zh) * 2009-09-04 2014-07-02 松下电器产业株式会社 位置矫正信息收集装置以及位置矫正装置
US9547693B1 (en) 2011-06-23 2017-01-17 Palantir Technologies Inc. Periodic database search manager for multiple data sources
US8799240B2 (en) 2011-06-23 2014-08-05 Palantir Technologies, Inc. System and method for investigating large amounts of data
US9092482B2 (en) 2013-03-14 2015-07-28 Palantir Technologies, Inc. Fair scheduling for mixed-query loads
US8732574B2 (en) 2011-08-25 2014-05-20 Palantir Technologies, Inc. System and method for parameterizing documents for automatic workflow generation
US8504542B2 (en) 2011-09-02 2013-08-06 Palantir Technologies, Inc. Multi-row transactions
US9348677B2 (en) 2012-10-22 2016-05-24 Palantir Technologies Inc. System and method for batch evaluation programs
US9380431B1 (en) 2013-01-31 2016-06-28 Palantir Technologies, Inc. Use of teams in a mobile application
US10037314B2 (en) 2013-03-14 2018-07-31 Palantir Technologies, Inc. Mobile reports
US8818892B1 (en) 2013-03-15 2014-08-26 Palantir Technologies, Inc. Prioritizing data clusters with customizable scoring strategies
US8917274B2 (en) 2013-03-15 2014-12-23 Palantir Technologies Inc. Event matrix based on integrated data
US9965937B2 (en) 2013-03-15 2018-05-08 Palantir Technologies Inc. External malware data item clustering and analysis
US10275778B1 (en) 2013-03-15 2019-04-30 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive investigation based on automatic malfeasance clustering of related data in various data structures
US8868486B2 (en) 2013-03-15 2014-10-21 Palantir Technologies Inc. Time-sensitive cube
US8937619B2 (en) 2013-03-15 2015-01-20 Palantir Technologies Inc. Generating an object time series from data objects
US8909656B2 (en) 2013-03-15 2014-12-09 Palantir Technologies Inc. Filter chains with associated multipath views for exploring large data sets
US8799799B1 (en) 2013-05-07 2014-08-05 Palantir Technologies Inc. Interactive geospatial map
US9223773B2 (en) 2013-08-08 2015-12-29 Palatir Technologies Inc. Template system for custom document generation
US9335897B2 (en) 2013-08-08 2016-05-10 Palantir Technologies Inc. Long click display of a context menu
US8713467B1 (en) 2013-08-09 2014-04-29 Palantir Technologies, Inc. Context-sensitive views
US9785317B2 (en) 2013-09-24 2017-10-10 Palantir Technologies Inc. Presentation and analysis of user interaction data
US8938686B1 (en) 2013-10-03 2015-01-20 Palantir Technologies Inc. Systems and methods for analyzing performance of an entity
US8812960B1 (en) 2013-10-07 2014-08-19 Palantir Technologies Inc. Cohort-based presentation of user interaction data
US8924872B1 (en) 2013-10-18 2014-12-30 Palantir Technologies Inc. Overview user interface of emergency call data of a law enforcement agency
US9116975B2 (en) 2013-10-18 2015-08-25 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive simultaneous querying of multiple data stores
US9021384B1 (en) 2013-11-04 2015-04-28 Palantir Technologies Inc. Interactive vehicle information map
US8868537B1 (en) 2013-11-11 2014-10-21 Palantir Technologies, Inc. Simple web search
US9105000B1 (en) 2013-12-10 2015-08-11 Palantir Technologies Inc. Aggregating data from a plurality of data sources
US9734217B2 (en) 2013-12-16 2017-08-15 Palantir Technologies Inc. Methods and systems for analyzing entity performance
US9552615B2 (en) 2013-12-20 2017-01-24 Palantir Technologies Inc. Automated database analysis to detect malfeasance
US10356032B2 (en) 2013-12-26 2019-07-16 Palantir Technologies Inc. System and method for detecting confidential information emails
US9043696B1 (en) 2014-01-03 2015-05-26 Palantir Technologies Inc. Systems and methods for visual definition of data associations
US8832832B1 (en) 2014-01-03 2014-09-09 Palantir Technologies Inc. IP reputation
US9483162B2 (en) 2014-02-20 2016-11-01 Palantir Technologies Inc. Relationship visualizations
US9009827B1 (en) 2014-02-20 2015-04-14 Palantir Technologies Inc. Security sharing system
US9727376B1 (en) 2014-03-04 2017-08-08 Palantir Technologies, Inc. Mobile tasks
US8935201B1 (en) 2014-03-18 2015-01-13 Palantir Technologies Inc. Determining and extracting changed data from a data source
US9857958B2 (en) 2014-04-28 2018-01-02 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive access of, investigation of, and analysis of data objects stored in one or more databases
US9009171B1 (en) 2014-05-02 2015-04-14 Palantir Technologies Inc. Systems and methods for active column filtering
US9535974B1 (en) 2014-06-30 2017-01-03 Palantir Technologies Inc. Systems and methods for identifying key phrase clusters within documents
US9619557B2 (en) 2014-06-30 2017-04-11 Palantir Technologies, Inc. Systems and methods for key phrase characterization of documents
US10572496B1 (en) 2014-07-03 2020-02-25 Palantir Technologies Inc. Distributed workflow system and database with access controls for city resiliency
US9256664B2 (en) 2014-07-03 2016-02-09 Palantir Technologies Inc. System and method for news events detection and visualization
US9202249B1 (en) 2014-07-03 2015-12-01 Palantir Technologies Inc. Data item clustering and analysis
US9785773B2 (en) 2014-07-03 2017-10-10 Palantir Technologies Inc. Malware data item analysis
US9454281B2 (en) 2014-09-03 2016-09-27 Palantir Technologies Inc. System for providing dynamic linked panels in user interface
US9767172B2 (en) 2014-10-03 2017-09-19 Palantir Technologies Inc. Data aggregation and analysis system
US9501851B2 (en) 2014-10-03 2016-11-22 Palantir Technologies Inc. Time-series analysis system
US9785328B2 (en) 2014-10-06 2017-10-10 Palantir Technologies Inc. Presentation of multivariate data on a graphical user interface of a computing system
US9984133B2 (en) 2014-10-16 2018-05-29 Palantir Technologies Inc. Schematic and database linking system
US9229952B1 (en) 2014-11-05 2016-01-05 Palantir Technologies, Inc. History preserving data pipeline system and method
US9043894B1 (en) 2014-11-06 2015-05-26 Palantir Technologies Inc. Malicious software detection in a computing system
JP2016118926A (ja) * 2014-12-19 2016-06-30 株式会社ニコン 電子機器
US9367872B1 (en) 2014-12-22 2016-06-14 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive investigation of bad actor behavior based on automatic clustering of related data in various data structures
US10552994B2 (en) 2014-12-22 2020-02-04 Palantir Technologies Inc. Systems and interactive user interfaces for dynamic retrieval, analysis, and triage of data items
US9348920B1 (en) 2014-12-22 2016-05-24 Palantir Technologies Inc. Concept indexing among database of documents using machine learning techniques
US10362133B1 (en) 2014-12-22 2019-07-23 Palantir Technologies Inc. Communication data processing architecture
US9335911B1 (en) 2014-12-29 2016-05-10 Palantir Technologies Inc. Interactive user interface for dynamic data analysis exploration and query processing
US9817563B1 (en) 2014-12-29 2017-11-14 Palantir Technologies Inc. System and method of generating data points from one or more data stores of data items for chart creation and manipulation
US9870205B1 (en) 2014-12-29 2018-01-16 Palantir Technologies Inc. Storing logical units of program code generated using a dynamic programming notebook user interface
US10372879B2 (en) 2014-12-31 2019-08-06 Palantir Technologies Inc. Medical claims lead summary report generation
US10387834B2 (en) 2015-01-21 2019-08-20 Palantir Technologies Inc. Systems and methods for accessing and storing snapshots of a remote application in a document
US9727560B2 (en) 2015-02-25 2017-08-08 Palantir Technologies Inc. Systems and methods for organizing and identifying documents via hierarchies and dimensions of tags
EP3070622A1 (en) 2015-03-16 2016-09-21 Palantir Technologies, Inc. Interactive user interfaces for location-based data analysis
US9886467B2 (en) 2015-03-19 2018-02-06 Plantir Technologies Inc. System and method for comparing and visualizing data entities and data entity series
KR102447438B1 (ko) 2015-07-01 2022-09-27 삼성전자주식회사 알림 장치 및 알림 장치가 물건의 위치를 알려주는 방법
US9392008B1 (en) 2015-07-23 2016-07-12 Palantir Technologies Inc. Systems and methods for identifying information related to payment card breaches
US9454785B1 (en) 2015-07-30 2016-09-27 Palantir Technologies Inc. Systems and user interfaces for holistic, data-driven investigation of bad actor behavior based on clustering and scoring of related data
US9996595B2 (en) 2015-08-03 2018-06-12 Palantir Technologies, Inc. Providing full data provenance visualization for versioned datasets
US9456000B1 (en) 2015-08-06 2016-09-27 Palantir Technologies Inc. Systems, methods, user interfaces, and computer-readable media for investigating potential malicious communications
US10489391B1 (en) 2015-08-17 2019-11-26 Palantir Technologies Inc. Systems and methods for grouping and enriching data items accessed from one or more databases for presentation in a user interface
US9600146B2 (en) 2015-08-17 2017-03-21 Palantir Technologies Inc. Interactive geospatial map
US10102369B2 (en) 2015-08-19 2018-10-16 Palantir Technologies Inc. Checkout system executable code monitoring, and user account compromise determination system
US10853378B1 (en) 2015-08-25 2020-12-01 Palantir Technologies Inc. Electronic note management via a connected entity graph
US11150917B2 (en) 2015-08-26 2021-10-19 Palantir Technologies Inc. System for data aggregation and analysis of data from a plurality of data sources
US9485265B1 (en) 2015-08-28 2016-11-01 Palantir Technologies Inc. Malicious activity detection system capable of efficiently processing data accessed from databases and generating alerts for display in interactive user interfaces
US10706434B1 (en) 2015-09-01 2020-07-07 Palantir Technologies Inc. Methods and systems for determining location information
US9576015B1 (en) 2015-09-09 2017-02-21 Palantir Technologies, Inc. Domain-specific language for dataset transformations
US10296617B1 (en) 2015-10-05 2019-05-21 Palantir Technologies Inc. Searches of highly structured data
US9424669B1 (en) 2015-10-21 2016-08-23 Palantir Technologies Inc. Generating graphical representations of event participation flow
US10613722B1 (en) 2015-10-27 2020-04-07 Palantir Technologies Inc. Distorting a graph on a computer display to improve the computer's ability to display the graph to, and interact with, a user
US9542446B1 (en) 2015-12-17 2017-01-10 Palantir Technologies, Inc. Automatic generation of composite datasets based on hierarchical fields
US10268735B1 (en) 2015-12-29 2019-04-23 Palantir Technologies Inc. Graph based resolution of matching items in data sources
US9823818B1 (en) 2015-12-29 2017-11-21 Palantir Technologies Inc. Systems and interactive user interfaces for automatic generation of temporal representation of data objects
US10089289B2 (en) 2015-12-29 2018-10-02 Palantir Technologies Inc. Real-time document annotation
US9612723B1 (en) 2015-12-30 2017-04-04 Palantir Technologies Inc. Composite graphical interface with shareable data-objects
US10698938B2 (en) 2016-03-18 2020-06-30 Palantir Technologies Inc. Systems and methods for organizing and identifying documents via hierarchies and dimensions of tags
US10650558B2 (en) 2016-04-04 2020-05-12 Palantir Technologies Inc. Techniques for displaying stack graphs
US10007674B2 (en) 2016-06-13 2018-06-26 Palantir Technologies Inc. Data revision control in large-scale data analytic systems
US10324609B2 (en) 2016-07-21 2019-06-18 Palantir Technologies Inc. System for providing dynamic linked panels in user interface
US10719188B2 (en) 2016-07-21 2020-07-21 Palantir Technologies Inc. Cached database and synchronization system for providing dynamic linked panels in user interface
US10437840B1 (en) 2016-08-19 2019-10-08 Palantir Technologies Inc. Focused probabilistic entity resolution from multiple data sources
US9881066B1 (en) 2016-08-31 2018-01-30 Palantir Technologies, Inc. Systems, methods, user interfaces and algorithms for performing database analysis and search of information involving structured and/or semi-structured data
US10318630B1 (en) 2016-11-21 2019-06-11 Palantir Technologies Inc. Analysis of large bodies of textual data
US10460602B1 (en) 2016-12-28 2019-10-29 Palantir Technologies Inc. Interactive vehicle information mapping system
US10552436B2 (en) 2016-12-28 2020-02-04 Palantir Technologies Inc. Systems and methods for retrieving and processing data for display
US10475219B1 (en) 2017-03-30 2019-11-12 Palantir Technologies Inc. Multidimensional arc chart for visual comparison
US10956406B2 (en) 2017-06-12 2021-03-23 Palantir Technologies Inc. Propagated deletion of database records and derived data
US10403011B1 (en) 2017-07-18 2019-09-03 Palantir Technologies Inc. Passing system with an interactive user interface
WO2019014952A1 (zh) * 2017-07-21 2019-01-24 深圳市萨斯智能科技有限公司 一种机器人对待抓取的目标物品的处理方法和机器人
US10929476B2 (en) 2017-12-14 2021-02-23 Palantir Technologies Inc. Systems and methods for visualizing and analyzing multi-dimensional data
US11599369B1 (en) 2018-03-08 2023-03-07 Palantir Technologies Inc. Graphical user interface configuration system
US10754822B1 (en) 2018-04-18 2020-08-25 Palantir Technologies Inc. Systems and methods for ontology migration
US10885021B1 (en) 2018-05-02 2021-01-05 Palantir Technologies Inc. Interactive interpreter and graphical user interface
US11119630B1 (en) 2018-06-19 2021-09-14 Palantir Technologies Inc. Artificial intelligence assisted evaluations and user interface for same
WO2021176145A1 (en) * 2020-03-05 2021-09-10 Retail Tech Finland Oy Apparatus for tracking behaviour in store

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034869A (ja) * 1999-07-23 2001-02-09 Matsushita Electric Ind Co Ltd 行動判定装置、ケアシステム、ケア住宅およびプログラム記録媒体
JP2002250768A (ja) * 2000-12-22 2002-09-06 Denso Corp 物探索システム
JP2003233715A (ja) * 2002-02-08 2003-08-22 Sharp Corp 生活情報管理システムおよび方法ならびに生活情報処理装置
JP2003256648A (ja) * 2002-03-01 2003-09-12 Sharp Corp 情報提示装置、情報提示方法、情報提示プログラムおよび情報提示プログラムを記録したコンピュータ読取可能な記録媒体
JP2004326437A (ja) * 2003-04-24 2004-11-18 Matsushita Electric Ind Co Ltd 物品管理システム及び物品管理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1071055B1 (en) 1999-07-23 2004-12-22 Matsushita Electric Industrial Co., Ltd. Home monitoring system for health conditions
EP1386285A1 (en) * 2001-05-08 2004-02-04 Hill-Rom Services, Inc. Article locating and tracking system
US7305402B2 (en) * 2001-10-10 2007-12-04 International Business Machines Corporation Adaptive indexing technique for use with electronic objects
WO2004106009A1 (ja) * 2003-06-02 2004-12-09 Matsushita Electric Industrial Co., Ltd. 物品操作システムおよび方法、並びに物品管理システムおよび方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034869A (ja) * 1999-07-23 2001-02-09 Matsushita Electric Ind Co Ltd 行動判定装置、ケアシステム、ケア住宅およびプログラム記録媒体
JP2002250768A (ja) * 2000-12-22 2002-09-06 Denso Corp 物探索システム
JP2003233715A (ja) * 2002-02-08 2003-08-22 Sharp Corp 生活情報管理システムおよび方法ならびに生活情報処理装置
JP2003256648A (ja) * 2002-03-01 2003-09-12 Sharp Corp 情報提示装置、情報提示方法、情報提示プログラムおよび情報提示プログラムを記録したコンピュータ読取可能な記録媒体
JP2004326437A (ja) * 2003-04-24 2004-11-18 Matsushita Electric Ind Co Ltd 物品管理システム及び物品管理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUJII T. ET AL.: "Kateinai Ubiquitous Kankyo ni Okeru Sagashimono Service ni Kansuru Kento", FIT2004 DAI 3 KAI FORUM ON INFORMATION TECHNOLOGY IPPAN KOEN RONBUNSHU, THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, SHADAN HOJIN INFORMATION PROCESSING SOCIETY OF JAPAN, 20 August 2004 (2004-08-20), pages 203 - 204, XP003007812 *
TSUCHIO I.: "Smart Drawers: Kagu ni yoru Genjitsu Sekai Interaction", THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS SOGO TAIKAI KOEN RONBUNSHU, 7 March 2001 (2001-03-07), XP003007811 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010052874A1 (ja) * 2008-11-05 2010-05-14 パナソニック株式会社 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム
JP4669581B2 (ja) * 2008-11-05 2011-04-13 パナソニック株式会社 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム
US8111876B2 (en) 2008-11-05 2012-02-07 Panasonic Corporation Object position estimating system, object position estimating apparatus, object position estimating method, and object position estimating program
JP2016175715A (ja) * 2015-03-19 2016-10-06 Necエンジニアリング株式会社 作業実績収集システム、作業実績収集方法及びプログラム
JP7426760B1 (ja) 2023-03-29 2024-02-02 オーリス株式会社 邸商品管理システム及び邸商品管理方法

Also Published As

Publication number Publication date
US20070208736A1 (en) 2007-09-06
JP3989527B2 (ja) 2007-10-10
JPWO2007015548A1 (ja) 2009-02-19
US8099427B2 (en) 2012-01-17

Similar Documents

Publication Publication Date Title
JP3989527B2 (ja) 検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ
JP4006471B2 (ja) 物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム
US20190164192A1 (en) Apparatus for monitoring a person having an interest to an object, and method thereof
CN100567098C (zh) 物品管理系统和物品管理服务器
JP2005179059A (ja) 保管施設内での物品の検索を容易にするための方法およびシステム
JP2007079918A (ja) 物品検索システム及び方法
CN110772177B (zh) 信息处理方法、信息处理装置以及记录介质
JP2015076775A (ja) 電子機器、システムおよびプログラム
US20050103835A1 (en) Tag selector, tag selection system, and tag selection method
CN104346429A (zh) 显示控制设备和显示控制方法
US10158728B1 (en) Method and device to track objects
US20090175615A1 (en) Location determination method
JP7332310B2 (ja) 情報処理方法、情報処理装置及び情報処理プログラム
CN111401325A (zh) 快速寻找物品的系统及其方法
CN107924421A (zh) 服务器装置、用户终端装置、其控制方法和电子系统
JP2012236716A (ja) 所在情報管理システム
JP6737985B2 (ja) 電子機器、システムおよびプログラム
WO2008104912A2 (en) Method of locating objects using an autonomously moveable device
JP2003162553A (ja) 建物構造データ検索システム及び方法並びにプログラム
CN111666790A (zh) 获取物品的方法和装置
JP7014057B2 (ja) 物品管理システムおよび方法
CN114565956A (zh) 一种基于家居环境的智能鞋柜存储方法
JP5589513B2 (ja) 判別プログラム、判別装置および判別方法
CN108288002B (zh) 基于智能冰箱的储藏物品信息处理方法与智能冰箱
KR20080085926A (ko) 상품 정보 단말기와 상품 검색 및 정보 제공 방법과 이를실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한기록 매체

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2006546441

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200680001130.0

Country of ref document: CN

Ref document number: 11796723

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06782273

Country of ref document: EP

Kind code of ref document: A1