WO2023228340A1 - 共用物品管理システムおよび共用物品管理方法 - Google Patents

共用物品管理システムおよび共用物品管理方法 Download PDF

Info

Publication number
WO2023228340A1
WO2023228340A1 PCT/JP2022/021484 JP2022021484W WO2023228340A1 WO 2023228340 A1 WO2023228340 A1 WO 2023228340A1 JP 2022021484 W JP2022021484 W JP 2022021484W WO 2023228340 A1 WO2023228340 A1 WO 2023228340A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
shared
item
relative relationship
information terminal
Prior art date
Application number
PCT/JP2022/021484
Other languages
English (en)
French (fr)
Inventor
康宣 橋本
恵 藏知
和彦 吉澤
展明 甲
仁 秋山
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2022/021484 priority Critical patent/WO2023228340A1/ja
Publication of WO2023228340A1 publication Critical patent/WO2023228340A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management

Definitions

  • the present invention relates to a shared goods management system and a shared goods management method.
  • Patent Document 1 states, ⁇ The management system includes a plurality of photographing units, a data generation section, a storage section, an information search section, and a reception section.
  • the unit is installed in the target space.
  • the data generation section extracts articles included in the photographic data (images photographed by the photographing unit).
  • the data generation section generates location history data.
  • the location history data is This data identifies the extracted article.
  • the storage section stores the location history data generated by the data generation section.
  • the information search section searches for information regarding a specific article in the location history data stored in the storage section.
  • the reception department receives requests regarding items for which information is to be searched by the information search department. (Summary excerpt).'''
  • Patent Document 1 Since the technology described in Patent Document 1 has a limited space for managing the position of an article, cameras can be installed at various locations in the space to be managed to photograph and track the article.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a shared goods management system and method suitable for managing shared goods used by multiple people.
  • the present invention includes the configurations described in the claims.
  • the present invention provides a shared goods management system configured by communicatively connecting a first mobile information terminal, a second mobile information terminal, and a management server, wherein the first mobile information terminal
  • the terminal includes a first processor, a first communicator, and a relative relationship detection sensor
  • the second mobile information terminal includes a second processor, a second communicator, an input device, an output device
  • the management server includes a third processor, a third communication device, and a storage, and in the first mobile information terminal, the relative relationship detection sensor detects a shared item and the first mobile information terminal.
  • the first processor determining the usage status of the shared item by the first user based on the shared item information
  • the first communication device executes transmission control of relative relationship information indicating the usage status of the shared item
  • the third processor controls the transmission of the shared item based on the received relative relationship information.
  • the second processor When the search information for the common item is inputted from the input device in the second mobile information terminal, the second processor stores the item management information including the usage status of the shared item in the storage, and in the management server, upon receiving the search information, the third processor searches the article management information to generate search result information, and in the management server, the third processor searches the article management information to generate search result information, and the second mobile information
  • the third communication device controls the transmission of the search result information to the terminal, and in the second mobile information terminal, upon receiving the search result information, the second processor transmits the search result to the output device. Output information.
  • first mobile information terminal and second mobile information terminal refer to cases where the “first mobile information terminal” and “second mobile information terminal” are composed of multiple mobile information terminals, and the case where the "first mobile information terminal” and “second mobile information terminal” are the same mobile information terminal. This includes a case where the information terminal is configured by a mobile information terminal and the time point at which the relative relationship information is transmitted is different from the time point at which the search information is transmitted.
  • FIG. 1 is a schematic configuration diagram of a shared article management system according to a first embodiment.
  • FIG. 2 is a diagram illustrating changes in the usage status of shared items managed by the shared item management system.
  • FIG. 2 is a diagram illustrating changes in the usage status of shared items managed by the shared item management system.
  • FIG. 2 is a diagram illustrating changes in the usage status of shared items managed by the shared item management system.
  • FIG. 2 is a hardware configuration diagram of an HMD as a camera-equipped mobile information terminal.
  • 1 is a hardware configuration diagram of a smartphone as a camera-equipped mobile information terminal. It is a hardware configuration diagram of a smart watch as a camera-less portable information terminal.
  • FIG. 2 is a hardware configuration diagram of a management server.
  • FIG. 1 is a schematic configuration diagram of a shared article management system according to a first embodiment.
  • FIG. 2 is a diagram illustrating changes in the usage status of shared items managed by the shared item management system.
  • FIG. 2 is a diagram illustrating
  • FIG. 2 is a block diagram showing the functional configuration of a mobile information terminal.
  • FIG. 2 is a diagram illustrating an example of the configuration of a shared article dictionary stored in a mobile information terminal. It is a figure showing an example of article management information stored in a management server. It is a figure showing an example of user/terminal information stored in a management server. It is a figure showing an example of message management information stored in a management server.
  • FIG. 2 is an explanatory diagram showing the flow of processing of the shared article management system according to the first embodiment. It is a flowchart which shows the flow of processing of article state management mode concerning a 2nd embodiment. It is a flowchart which shows the flow of processing of article condition management mode concerning a 3rd embodiment.
  • the present invention provides information on the location and use of portable items such as tools in a factory, experimental tools in a laboratory, office equipment and document files in an office, etc. when they are shared by multiple users. It relates to a shared goods management system and method that aims to make it easier to understand the situation. Therefore, the present invention is expected to improve the technology for managing common goods in labor-intensive industries, and therefore supports Sustainable Development Goals (SDGs) 8.2 (products and products) advocated by the United Nations. It can be expected to contribute to increasing economic productivity through diversification, technological improvement, and innovation, particularly in industries that increase the value of services and labor-intensive industries.
  • SDGs Sustainable Development Goals
  • the first embodiment groups a plurality of users who use the same shared item.
  • the system is characterized in that article management information is created on a management server that each user can access, and each user checks the location of shared articles by referring to this article management information.
  • the portable information terminal owned by each user determines when the use of the article begins and ends, and notifies the management server of this information at each time point.
  • FIG. 1 is a schematic configuration diagram of a shared article management system 100 according to the first embodiment.
  • the shared goods management system 100 connects glasses-type wearable terminals (HMD: Head Mounted Display) 1A, 1B, a smartphone 1C, and a smart watch 1D as mobile terminal devices to a management server 3 via a communication network 9 such as a LAN. configured by connecting to.
  • HMD Head Mounted Display
  • a communication network 9 such as a LAN. configured by connecting to.
  • User 2A is wearing HMD 1A
  • user 2B is wearing HMD 1B.
  • each of the smartphone 1C and the smart watch 1D is worn by another user (not shown).
  • FIGS. 2A, 2B, and 2C are diagrams illustrating changes in the usage status of the shared items 4 managed by the shared item management system 100.
  • the shared item management system 100 defines the following two states based on the relative relationship between the shared item and the user. 1. Unused: A state in which the item is not touched or moved (including the state in which it is stored in a storage location). 2. In use: A state in which the item is kept close to one's person (including carrying it).
  • FIG. 2A it is assumed that there are tool boxes 1, 2, and 3, and that the common item 4 is stored in the tool box 2, for example.
  • the state in which the common item 4 is stored in the tool box 2 corresponds to "unused".
  • FIG. 3A is a hardware configuration diagram of HMDs 1A and 1B as camera-equipped mobile information terminals. Since the HMDs 1A and 1B have the same configuration, common constituent elements of the HMDs 1A and 1B are distinguished by reference numerals A and B in the following description.
  • HMDs 1A and 1B include out-cameras 111A and 111B, ranging sensors 113A and 113B, RTC (real-time clock) 114A and 114B, acceleration sensors 115A and 115B, gyro sensors 116A and 116B, geomagnetic sensors 117A and 117B, and GPS receiver.
  • 118A, 118B displays 119A, 119B, network communicators 120A, 120B, microphones 121A, 121B, speakers 122A, 122B, processors 125A, 125B, memories 128A, 128B, and wireless tag readers 129A, 129B connect each component. They are connected to each other via buses 140A and 140B.
  • Network communicators 120A, 120B are connected to antennas 123A, 123B that transmit and receive network communication signals.
  • the wireless tag readers 129A and 129B are connected to wireless tag antennas 132A and 132B that receive wireless tag signals.
  • the GPS receivers 118A and 118B correspond to position detection sensors, the displays 119A and 119B and the speakers 122A and 122B correspond to output devices, and the microphones 121A and 121B correspond to input devices.
  • the elapsed time is measured in the process described below.
  • the time T0 at which elapsed time measurement starts is stored, and the elapsed time is calculated by calculating the difference between the current time Tp and T0, that is, the timer function is realized by software.
  • a timer may be provided separately from the RTC.
  • the relative relationship detection sensor may be any one of the out cameras 111A, 111B, the distance measuring sensors 113A, 113B, and the wireless tag readers 129A, 129B as long as they detect the relative relationship between the shared item 4 and the user 2A. Or any combination may be used. Furthermore, the relative relationship detection sensor is not limited to the above as long as it can detect that the shared article 4 is being used by the user 2A.
  • the network communication devices 120A and 120B are communication interfaces that perform wireless communication between at least the HMDs 1A and 1B and the management server 3 by short-range wireless communication, wireless LAN, or base station communication, and are compatible with various predetermined communication interfaces.
  • the communication processing circuit includes a communication processing circuit and is connected to antennas 123A and 123B.
  • the network communication devices 120A and 120B transmit and receive biological information, image data, control signals, and the like.
  • short-range wireless communications include Bluetooth (registered trademark), IrDA (Infrared Data Association, registered trademark), Zigbee (registered trademark), HomeRF (Home Radio Frequency, registered trademark), or Wi-Fi ( registered trademark)
  • base station communications include long-distance communications such as W-CDMA (Wideband Code Division Multiple Access, registered trademark) and GSM (Global System for Mobile Communications). It is sufficient to use wireless communication.
  • the wireless tag readers 129A and 129B are communication interfaces that perform short-range wireless communication between the wireless tag 5 attached to the shared item 4 and the HMDs 1A and 1B and receive wireless tag signals.
  • the wireless tag signal includes a wireless tag ID that uniquely identifies the wireless tag 5.
  • the wireless tag readers 129A and 129B are not essential, but the wireless tag readers 129A and 129B are The configuration may be such that distance measurement using an image and distance measurement using the wireless tag 5 can be used together, and the selection can be made on a setting screen (not shown).
  • the displays 119A and 119B are installed in front of both eyes of the users 2A and 2B wearing the HMDs 1A and 1B.
  • the processors 125A, 125B display images of the real space information photographed by the out-cameras 111A, 111B and shared article information including the location and usage status of the shared article 4 received from the management server 3 as virtual reality objects on displays 119A, 119B. to be displayed.
  • the processors 125A and 125B are configured by, for example, a CPU.
  • the memories 128A and 128B are composed of flash memory and nonvolatile memory.
  • the memories 128A and 128B also store programs 126A and 126B such as an OS (Operating System) and operation control applications, and data 127A and 127B used by the processors 125A and 125B.
  • programs 126A and 126B such as an OS (Operating System) and operation control applications, and data 127A and 127B used by the processors 125A and 125B.
  • the processors 125A, 125B load the programs 126A, 126B into the memories 128A, 128B and execute them, and read out the data 127A, 127B as needed to use in the execution process of the programs 126A, 126B.
  • FIG. 3B is a hardware configuration diagram of the smartphone 1C as a camera-equipped mobile information terminal.
  • the smartphone 1C includes an out camera 211, an in camera 212, a ranging sensor 213, an RTC 214, an acceleration sensor 215, a gyro sensor 216, a geomagnetic sensor 217, a GPS receiver 218, a display 219, a network communication device 220, a microphone 221, a speaker 222, Processor 225, memory 228, wireless tag reader 229, and telephone network communicator 231 are connected to each other via bus 240 connecting each component.
  • Network communicator 220 is connected to an antenna 223 that transmits and receives network communication signals.
  • the wireless tag reader 229 is connected to a wireless tag antenna 232 that receives wireless tag signals.
  • the memory 228 stores programs 226 and data 227.
  • a touch panel 230 serving as an input interface is laminated on the display 219.
  • FIG. 3C is a hardware configuration diagram of smart watch 1D as a camera-less portable information terminal.
  • the smart watch 1D includes an RTC 314, an acceleration sensor 315, a gyro sensor 316, a geomagnetic sensor 317, a GPS receiver 318, a display 319 and a touch panel 330, a network communicator 320 and an antenna 323, a microphone 321, a speaker 322, a processor 325, a memory 328, Then, the wireless tag reader 329 and the wireless tag antenna 332 are connected to each other via the bus 340.
  • Memory 328 stores program 326 and data 327.
  • a touch panel 330 serving as an input interface is laminated on the display 319.
  • FIG. 3D is a hardware configuration diagram of the management server 3.
  • the management server 3 includes a processor 401, a RAM 402, a ROM 403, an HDD 404, a network communicator 405, an RTC 406, a display 407, and an input interface 408, which are connected to each other by a bus 440.
  • the HDD 404 stores a program 411 including a shared goods management program and data 412 used by the shared goods management program.
  • FIG. 4 is a block diagram showing the functional configuration of the mobile information terminal.
  • Each processor 125A, 125B, 225, 325 of HMD 1A, 1B, smartphone 1C, and smart watch 1D executes the shared article management program to It includes a relationship determination section 504, a communication control section 505, a search information generation section 506, a search request information generation section 507, a usage reservation information generation section 508, a display control section 509, and a relative relationship information generation section 510.
  • the functions of each part will be described later with reference to flowcharts.
  • the data 127A, 127B, 227, and 327 of the HMDs 1A, 1B, the smartphone 1C, and the smart watch 1D include shared article dictionary information 511, which is information that the article recognition unit 503 refers to in order to uniquely recognize the shared article 4. .
  • FIG. 5A is a diagram illustrating a configuration example of a shared article dictionary stored in a mobile information terminal.
  • the “article management ID” that uniquely identifies each shared item 4 includes the “type” of the shared item 4, at least one “image” of the appearance of the shared item 4, and the shared item 4.
  • a ⁇ wireless tag ID'' and a ⁇ synonym'' indicating the name of the common item 4 are registered in association with each other.
  • the multiple images are registered as "images.” Since the user cannot decide from which angle to take an image of the shared article 4, if images taken from a plurality of angles are registered, it is expected that the accuracy of the article recognition process based on image input will be improved.
  • synonyms may be called by different names depending on the user, so registering multiple synonyms is expected to improve the accuracy of item recognition processing using voice input. can.
  • FIG. 5B is a diagram showing an example of article management information stored in the management server 3.
  • the article management information includes "article identification information” that uniquely identifies the shared article, "article location information” that indicates the current location of the shared article, and “storage information” that indicates the location of the predetermined storage location of the shared article 4. ⁇ location location information'', ⁇ usage status information'' indicating whether the shared item is being used by any user or not used by any user, and storage of the shared item 4 if it is in use.
  • “Message identification information” that uniquely identifies a message to be displayed as a virtual reality object at a location is stored in association with the message. Note that the method of outputting the message is not limited to display using a virtual reality object, but may also be information display on a display or audio reproduction.
  • the "article identification information" is information that uniquely identifies the shared item 4, and is information that can identify the item, such as a label, barcode, two-dimensional code, or wireless tag ID of the shared item 4, for example. Furthermore, the user 2A may input the product name of the shared product 4 by voice into the HMD 1A, and use it as the product identification information. Furthermore, a new management ID may be assigned to manage the shared item 4 and this may be used as the item identification information.
  • FIG. 5C is a diagram showing an example of user/terminal information stored in the management server 3.
  • User/terminal information includes "user identification information” that uniquely identifies each user, "mobile information terminal ID” that indicates the mobile information terminal used by the user, "address” of the communication device of each mobile information terminal, and A “member group” which is a member group to which a user belongs and which is a grouping of users who share the same common item 4 is stored in association with each other.
  • FIG. 5D is a diagram showing an example of message management information stored in the management server 3.
  • the message management information includes "message identification information” that uniquely identifies each message, "sender information” that indicates the sender of the message, "message location information” that indicates the location information where each message is placed, and, for example, images and "Message information” indicating message content consisting of text and voice data is stored in association with the message.
  • the article management information in FIG. 5B and the message management information in FIG. 5D are associated via "message identification information.”
  • the storage location location information is also the message location information, and the location indicated by the storage location location information and the message location Assume that messages are placed in both positions indicated by the information.
  • the message location information is the same as the repository location information.
  • the message indicated by the "message identification information" stored only in the message management information in FIG. 5D is placed only at the position indicated by the message position information.
  • the message can be read using a method that matches the format of the message, such as displaying a virtual reality object, displaying information on the display of a mobile information terminal, or playing audio.
  • the display position may be the position where the message is placed, or may be a position set relative to the mobile information terminal position. good.
  • FIG. 6 is an explanatory diagram showing the processing flow of the shared article management system 100 according to the first embodiment.
  • the processing operations of the shared article management system 100 roughly include two operation modes: article condition management mode and article search mode.
  • the article status management mode is a mode for detecting and managing the location and usage status of the shared article 4.
  • the article search mode is a mode for searching for the location and usage status of the common article 4.
  • the user 2A wears and starts the HMD 1A.
  • the operation mode selection unit 501 selects the article condition management mode at startup. Therefore, the HMD 1A starts acquiring shared item information for use in determining the relative relationship between the shared item 4 and the user 2A (S01).
  • the process of capturing the field of view of the user 2A using the out-camera 111A to generate a captured image corresponds to the process of this step.
  • the user 2A grasps the common article 4 the user 2A visually recognizes his or her hand, so the common article 4 is captured in the captured image of the out-camera 111A.
  • the input control unit 502 acquires a captured image from the out camera 111A.
  • the HMD 1A analyzes the relative relationship between the user 2A and the common item 4 (S02). Specifically, the article recognition unit 503 analyzes the captured image and performs object detection. Then, it compares it with the image registered in the shared article dictionary information and performs article recognition processing of the subject. In the first embodiment, when the shared article 4 is newly captured in the image taken by the out-camera 111A, the relative relationship determining unit 504 considers that the user 2A has started using the common article 4, and determines the usage state of the shared article 4. is determined to be "in use”.
  • the article recognition unit 503 analyzes the received radio waves, detects the wireless tag ID, and performs article recognition by comparing it with the shared article dictionary information. If the intensity of the received radio waves is equal to or higher than the radio wave intensity for determining that the use has started, the relative relationship determination unit 504 considers that the user 2A has started using the common article 4, and determines the usage state of the common article 4 as " "In use.” Alternatively, in the case of a wireless tag 5 that can measure the distance between wireless tag readers, if the measured distance is less than or equal to the distance required to determine the start of use, it is determined that the user 2A has started using the shared item 4.
  • the usage status of the shared item 4 is determined to be "in use.”
  • the management information on the management server is managed on the assumption that the user of the terminal previously determined to be “in use” is using the item. Then, when the user who was close to the item leaves, only the terminal of the real user determines that the item is "in use,” and the management information on the management server is also rewritten with that information. If the user of the article is clear based on the determination based on the photographed image, the management server gives priority to the determination based on the photographed image over the determination based on the wireless tag 5.
  • the relative relationship determining unit 504 determines whether there is a change in the relative relationship, and if it is determined that there is a change in the relative relationship (S03: Yes), the communication control unit 505 notifies (sends) relative relationship information to the management server 3. ) (S04).
  • the relative relationship information includes "notification terminal identification information” indicating that the sender is the HMD 1A, "article identification information” of the shared article 4, "time information at the time of notification” obtained from the RTC 114A, and obtained from the GPS receiver 118A. Contains “location information at the time of notification” of the HMD 1A.
  • the location information may be acquired not only by GPS but also by other positioning systems.
  • the positional information of the terminal may be acquired by understanding the positional relationship between the characteristic points in the room and the terminal by using an image taken by the outside camera 111A and distance measurement by the distance measuring sensor 113A.
  • the movement information of the terminal acquired by the acceleration sensor 115A and the gyro sensor 116A may be used as an auxiliary means for terminal positioning. As described above, when the accuracy of GPS does not satisfy the accuracy of the position information of the article for realizing the processing of this embodiment, the above-mentioned terminal positioning auxiliary means is used as the position information acquisition means as appropriate.
  • Notification terminal identification information is information that uniquely indicates the mobile information terminal that is the source of the notification information.
  • Time information at the time of notification is time information measured by the RTC 114A of the HMD 1A.
  • Porition information at the time of notification is information indicating the position where the HMD 1A was at the time when the relative relationship information was notified, and is information that can specify, for example, the coordinate values, surrounding images, and points of the notification location.
  • the relative relationship information may include a captured image captured by the out-camera 111A.
  • step S03: No If the relative relationship determining unit 504 determines that there is no change in the relative relationship (S03: No), the process returns to step S01 and repeats the process until the end operation of the HMD 1A is performed (S05: No). When the end operation is performed (S05: Yes), the process on the HMD 1A ends.
  • the management server 3 When the management server 3 receives the relative relationship information (S06), it updates the article management information (see FIG. 5B) stored in the management server 3 (S07).
  • the operation mode selection unit 501 starts up in the article state management mode in the initial state (S11).
  • the user 2B performs an operation to change the HMD 1B to the article search mode in order to start searching for the common article 4 (S12). For example, when a user inputs a voice input of "transition to search mode" through the microphone 121B of the HMD 1B, the operation mode selection unit 501 of the HMD 1B changes the operation mode of the HMD 1B to the article search mode.
  • the search information generation unit 506 When the user 2B inputs search information into the HMD 1B, the search information generation unit 506 generates search information for the common item 4, and the communication control unit 505 controls transmission to the management server 3 (S13).
  • the management server 3 searches article management information based on the search information, extracts the location information and usage status information of the shared article 4 (S14), and transmits the search result information to the HMD 1B (S15).
  • the HMD 1B receives the search result information (S16), and the display control unit 509 displays it on the display 119B (S17).
  • the information may be output as two-dimensional information on the display 119B, or may be displayed as a virtual reality object that appears as if it were placed in an external space.
  • audio may be output from speaker 122B. Note that the speaker is an example of an audio output device, and earphones may also be used.
  • the process returns to step S11 and repeats the process until an end operation is performed (S18: No). When the termination operation is performed (S18: Yes), the process on the HMD 1B is terminated.
  • the latest information on the location and usage status of the shared item 4 is stored in the item management information of the management server 3, so that a user different from the user who is using the shared item 4
  • the status of the shared item 4 can be confirmed by searching the management server 3 for its location and usage status.
  • the input control unit 502 uses the outside camera 111A of the HMD 1A and the distance measurement sensor 113A, the input control unit 502 associates and acquires the distance information between the object of the outside camera 111A and the object measured by the distance measurement sensor 113A, and uses it to determine the relative relationship. It may also be acquired as information for
  • the relative relationship determination unit 504 determines that the user 2A has started using the shared article 4. Therefore, the usage status of the shared item 4 is determined to be "start of use.”
  • This distance threshold may be, for example, within 1 meter, which corresponds to the reach of the user 2A.
  • the out camera 111A is a stereo camera, distance measurement is possible with only the out camera 111A.
  • the process in which the wireless tag reader 329 of the smart watch 1D receives a wireless tag signal transmitted from the wireless tag 5 attached to the shared item 4 may be the shared item information acquisition process.
  • the wireless tag 5 used in this example preferably has a distance measurement function.
  • the second embodiment is an embodiment in which the management server 3 is notified when the relative relationship continues for a certain period of time or more.
  • FIG. 7 is a flowchart showing the flow of processing in the article condition management mode according to the second embodiment. Duplicate description of processes similar to those in the first embodiment will be omitted.
  • the elapsed time of the HMD 1A is initialized, that is, the relative relationship elapsed time T1 is set to 0, and measurement of the elapsed time is started (S031).
  • the processor 125A Similar to step S01, shared item information is acquired (S033), similar to step S02, the relative relationship between the user and the shared item is analyzed (S034), and similar to step S03, it is determined whether there is a change in the relative relationship (S035).
  • step S035 determines whether the relative relationship is no longer continued. If the determination result in step S035 is affirmative (S035: Yes), it indicates that the relative relationship is no longer continued, so the process returns to step S01.
  • the relative relationship information is notified to the management server 3 only when the relative relationship elapsed time T1 becomes equal to or greater than the relative relationship determination time Tth1, so the shared article 4 is accidentally transferred to the user 2A without any intention of using it. It is possible to prevent the management server 3 from being erroneously notified of a change in the usage status of the shared item 4 when the user visually recognizes the change.
  • the third embodiment is an embodiment in which position information is periodically notified while the common item 4 is in use.
  • FIG. 8 is a flowchart showing the flow of processing in the article condition management mode according to the third embodiment. Duplicate description of processes similar to those in the first embodiment will be omitted.
  • the notification elapsed time T2 that manages the notification interval is reset and measurement is started (S041). If there is a change in the relative relationship (S03: Yes), the relative relationship information is notified to the management server 3 (S04). If the end operation is not performed (S05: No), the process returns to step S041 and continues the process.
  • the notification elapsed time T2 and the notification time interval Tth2 are compared. If the notification elapsed time T2 is less than the notification time interval Tth2 (S042: No), the process returns to step S01.
  • the relative relationship information when the relative relationship changes, the relative relationship information is notified to the management server 3, and the relative relationship information can be further periodically received (every time the notification time interval Tth2 elapses) to continue management. .
  • the fourth embodiment is an embodiment in which a search request is made when, as a result of searching for a common item 4, the state is different from that stored in the item management information and the location is unknown.
  • FIG. 9 is an explanatory diagram showing the flow of processing in the article search mode according to the fourth embodiment. Duplicate description of processes similar to those in the first embodiment will be omitted.
  • HMD 1B sends the search information to management server 3 (S13), searches for article management information in management server 3 (S14), sends the search results (S15), HMD 1B receives the search results (S16), and displays 119B. Output to.
  • the user 2B determines whether the user 2B confirms the location indicated by the search result but cannot find the shared item 4 (S21: No). If the user 2B confirms the location indicated by the search result but cannot find the shared item 4 (S21: No), the user 2B inputs the search request information for the shared item 4 and inputs the search request information into the search request information generation section. 507 generates search request information and controls transmission from the communication control unit 505 to the management server 3 (S22).
  • the management server 3 When the management server 3 receives the search request information (S23), it searches for user/terminal information (see FIG. 5C) and transmits the search information to all members who share the common item 4 (S24).
  • the HMD 1B receives the search response information or the undiscovered information (S27), and the display control unit 509 displays (outputs) it on the display 119B (S28).
  • This relative relationship information acquisition instruction may be input manually by the user 2B, or the HMD 1B may automatically execute the relative relationship acquisition process (S01).
  • the management server 3 receives the correct relative relationship information (S211) and updates the article management information (S212). After that, and as a result of the user 2B confirming the location described in the search response information, if the location of the common item 4 cannot be confirmed (S29: No), the process proceeds to determination of whether the process is complete (S18).
  • search information is sent to all members who share the shared item 4, and the state of the shared item 4 is checked. Since it can be grasped, it is possible to take immediate action even when the shared item 4 is lost.
  • the fifth embodiment is an embodiment in which a reservation for use is made when a shared item 4 is found to be in use by another member as a result of searching.
  • FIG. 10 is an explanatory diagram showing the flow of processing in the article search mode according to the fifth embodiment. Duplicate description of processes similar to those in the first embodiment will be omitted.
  • the HMD 1B outputs the search result information (S17), and the user 2B confirms that the common item 4 is being used by another member, for example, the user 2A (S31: Yes).
  • the user 2B inputs a reservation for use of the common item 4 into the HMD 1B by voice input, for example, the reservation information generation unit 508 generates reservation information, and the communication control unit 505 controls transmission to the management server 3 ( S32).
  • the management server 3 receives the usage reservation information (S33) and identifies the user who is using the item by referring to the usage status information of the article management information (FIG. 5B). Next, the user/terminal information (FIG. 5C) is searched, and usage reservation information is transferred to the address of the mobile information terminal worn by the user in use (S34).
  • the HMD 1A receives the usage reservation information (S35) and outputs it to the display 119A (S36).
  • the user 2A transmits the end-of-use information to the management server 3 (S37), and the management server 3 transfers the end-of-use information to the HMD 1B (S38).
  • the HMD 1A receives the end-of-use information (S39) and displays (outputs) it on the display 119B (S310). Thereafter, the process proceeds to determination of whether the process of the HMD 1B is complete (S18).
  • the common item 4 may be handed over to the user 2B instead of transmitting the end-of-use information. In that case, steps S38 to S310 are omitted.
  • the HMD 1A When the user 2A finishes using the shared item 4 or hands it over, the HMD 1A generates new relative relationship information and sends it to the management server 3 (S311), and the management server 3 uses the new relative relationship information to update the item management information. is updated (S312).
  • usage reservation information can be sent to that member via the management server 3, so the shared item 4 can be delivered more quickly. You will be able to use it.
  • step S03 of the first embodiment and step S035 of the second embodiment when the HMD 1A takes out the shared item 4 from the storage location (corresponding to the member starting to use it), the management server 3, in step S07, takes out the shared item 4 from the storage location.
  • a message indicating a relative relationship is stored in the "message information" of the article management information (FIG. 5B) in association with the location information of the storage location. This message content may be sent from the HMD 1A.
  • the article management information (FIG. 5B)
  • "storage place position information” and “message information" of the shared article 4 are stored in association with each other.
  • the content of the message is not limited to the fact that the item is being taken out, but may be, for example, something that was noticed about the condition of the item when the item was used. Further, details of message information are stored in message management information (FIG. 5D).
  • step S13 the search information for the common item 4 is input and transmitted, and the management server 3 sends the search result information including the storage location information of the common item 4 and message information linked thereto to the HMD 1B (S15). .
  • the HMD 1B calculates the position of the HMD 1B using the GPS receiver 118B or the like, and detects the orientation of the HMD 1B using the gyro sensor 116B and the geomagnetic sensor 117B.
  • the display control unit 509 calculates the display position (or transparent position) on the display 119B of the storage location, and displays message information at that position. If the display 119B is of a transmissive type, the user 2B sees the virtual reality object containing the message information superimposed on the tool box 2 that is visible through the transparency.
  • the display 119B is an immersive type
  • the image captured by the out-camera 111B is displayed on the display 119B, and at this time, the virtual reality object containing the message information in the tool box 2 included in the image is also displayed over the image of the tool box 2.
  • the user 2B can visually check the message information superimposed on the toolbox 2.
  • FIGS. 11A, 11B, and 11C are examples in which message information is displayed as a virtual reality object on the display 119B of the HMD 1B.
  • FIG. 11A is a display example of the virtual reality object 601 of text information
  • FIGS. 11B and 11C are display examples of image information.
  • a virtual reality object 602 is displayed that includes a face image or avatar image of the user who has taken out the item and an image of the item that has been taken out.
  • a virtual reality object 603 consisting of an image of the item taken out and the guide line to the place where it is taken out is displayed.
  • the current status of the common item 4 is displayed as a virtual reality object, and the user 2B can be informed.
  • the seventh embodiment is an embodiment in which message information linked to a location is searched.
  • the HMD 1B acquired message information corresponding to the article search request.
  • the HMD 1B requests a search for a message left at a location near the terminal location by transmitting terminal location information to the management server 3. do.
  • FIG. 12 is an explanatory diagram showing the flow of processing in the article search mode according to the seventh embodiment.
  • the HMD 1B determines whether the user 2B remains near a certain point, that is, whether or not he is moving (S400).
  • the determination is made by measuring the moving speed of the terminal. Namely.
  • the HMD 1B determines that the user 2B is not staying near a certain point if the moving speed of the own terminal is greater than a predetermined value (S400: No), and if it is less than the predetermined value (S400: Yes), it is determined that the user 2B remains near a certain point. If the user 2B does not stay near a certain point (S400: No), the HMD 1B enters a standby state and continues the determination in step S400.
  • Near a certain point means a range within a predetermined distance from a certain point.
  • the predetermined distance here may be a predetermined distance, such as within a range of 1 meter, or the type of message (for example, for an unspecified number of people, or from a point visited by a person looking for an item).
  • the predetermined range may be changed as appropriate depending on the reachable range, etc.).
  • the HMD 1B determines that the user 2B remains near a certain point (S400: Yes)
  • the HMD 1B transmits the position information of the own terminal to the management server 3 (S401).
  • the movement speed is measured using the acceleration sensor 115B.
  • the average value over a predetermined period of time may be measured.
  • the HMD 1B may request the management server 3 to search for message information.
  • the management server 3 that has received the location information searches for message information left within a predetermined range from the location indicated by the received location information (S402).
  • the message information to be searched may be information that is linked to an article, such as the information described in FIG. 5B, or may be information that is not linked to a specific article, such as the information described in FIG. 5D. It doesn't matter if it's information.
  • Information that is not linked to an item is, for example, a message from a user to an unspecified user who has come to the location, or a notification from the administrator.
  • the steps of transmitting the search result information by the management server 3 (S15), receiving the search result information by the HMD 1B (S16), and outputting the search result information (S17) are the same as those already described.
  • the HMD 1B After outputting the search result information (S17), if the HMD 1B determines that the user 2B remains near the point (S403: Yes), it continues to output the information. Then, if the HMD 1B determines that the user 2B is not staying near that point (S403: No), that is, if it is determined that the user 2B has moved to another point, it ends the output of the search result information (S404). . After this, if there is no termination instruction from the user 2B (S18: No), the HMD 1B returns to step S400 and continues the process. Then, the HMD 1B ends the process if there is an end instruction from the user 2B (S18: Yes).
  • the management server 3 may refer not only to the location information, but also refer to other information and transmit the message only when the conditions are met.
  • possible usage patterns include a message addressed to a specific user, a message addressed to a user who owns a specific item, and the like. This condition is recorded as additional information of the message.
  • the shared item management according to the present invention may also be applied when a shared vehicle such as a company car is used. system can be applied.
  • the common item 4 is a car
  • the number sequence of the license plate may be used as the item identification information. It is also possible to image a car with the outside cameras 111A, 111B, and 211 of the HMDs 1A, 1B, and the smartphone 1C, perform character recognition processing on the captured images, read the number string on the license plate, and read the unique information of the shared item.
  • each processing example may be independent programs, or a plurality of programs may constitute one application program. Furthermore, the order in which each process is performed may be changed.
  • Some or all of the functions of the present invention described above may be realized by hardware, for example, by designing an integrated circuit.
  • the functions may be realized in software by having a microprocessor unit, CPU, etc. interpret and execute operating programs for realizing the respective functions.
  • the scope of software implementation is not limited, and hardware and software may be used together.
  • a part or all of each function may be realized by a server. Note that the server only needs to be able to execute functions in cooperation with other components via communication, and may be, for example, a local server, a cloud server, an edge server, a network service, etc., and its form does not matter. Information such as programs, tables, files, etc.
  • each function may be stored in a memory, a recording device such as a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD. However, it may also be stored in a device on a communication network.
  • a recording device such as a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.
  • a recording medium such as an IC card, SD card, or DVD.
  • it may also be stored in a device on a communication network.
  • control lines and information lines shown in the figures are those considered necessary for explanation, and do not necessarily show all control lines and information lines on the product. In reality, almost all components may be considered to be interconnected.
  • the embodiment includes the following embodiments.
  • a shared goods management system configured by communicatively connecting a first mobile information terminal, a second mobile information terminal, and a management server
  • the first mobile information terminal includes: comprising a first processor, a first communication device, and a relative relationship detection sensor;
  • the second mobile information terminal is comprising a second processor, a second communication device, an input device, and an output device
  • the management server includes a third processor, a third communication device, and a storage,
  • the relative relationship detection sensor acquires shared item information for use in determining the relative relationship between the shared item and the first user who uses the first mobile information terminal,
  • the first processor determines the usage status of the shared item by the first user based on the shared item information, Controlling the first communication device to transmit relative relationship information indicating the usage status of the shared item;
  • the third processor stores article management information including the usage status of the shared article in the storage based on the received relative relationship information, In the second mobile information terminal, When the search information for the shared item is input from the input device, the
  • a shared goods management method executed by communicatively connecting a mobile information terminal and a management server comprising: The mobile information terminal acquires shared item information for use in determining the relative relationship between the shared item and the user using the mobile information terminal, and based on the shared item information, determines the usage status of the shared item by the user. and transmitting relative relationship information including the determination result to the management server; storing, in the management server, article management information including the usage status of the shared article based on the relative relationship information; When the management server receives the search information for the shared items from the mobile information terminal, searching the item management information and transmitting search result information indicating the search results to the mobile information terminal; Shared goods management methods, including:

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

携帯情報端末と管理サーバとを通信接続し、携帯情報端末では共用物品と携帯情報端末を利用するユーザとの相対関係の判断に用いるための共用物品情報を取得し、当該共用物品情報に基づいて、ユーザによる共用物品の使用状況を判断し、その結果を含む相対関係情報を管理サーバに送信する。管理サーバでは、相対関係情報に基づいて共用物品の使用状態を含む物品管理情報を記憶する。管理サーバが携帯情報端末から共用物品の検索情報を受信すると、物品管理情報を検索して携帯情報端末に検索結果を示す検索結果情報を送信する。

Description

共用物品管理システムおよび共用物品管理方法
 本発明は、共用物品管理システムおよび共用物品管理方法に関する。
 物品の所在を管理するためのシステムとして、特許文献1には、「管理システムは、複数の撮影ユニットと、データ生成部と、記憶部と、情報検索部と、受付部と、を備える。撮影ユニットは、対象空間に設置される。データ生成部は、撮影データ(撮影ユニットが撮影した画像)に含まれる物品を抽出する。データ生成部は、所在履歴データを生成する。所在履歴データは、抽出した物品を特定するデータである。記憶部は、データ生成部が生成した所在履歴データを記憶する。情報検索部は、記憶部に記憶されている所在履歴データにおいて、特定の物品に関して情報検索を行う。受付部は、情報検索部によって情報検索させる物品に関して要求を受け付ける。(要約抜粋)」との開示がある。
特開2019-179524号公報
 特許文献1に記載された技術は、物品の位置を管理する空間が限定されているので、管理したい空間の各所にカメラを設置して物品の撮影と追跡を行うことができる。
 しかし、工場や実験室などでは、複数人が同一の物品を保管場所から持ち出して様々な場所で使用することがあり、その場合には管理したい空間が限定できなくなる。よって、定点カメラを用いた物品の撮影と追跡では、可搬性がある物品を複数人で共用する際の物品管理には課題が残る。
 本発明は上記事情に鑑みてなされたものであり、複数人が利用する共用物品の管理に好適な共用物品管理システムおよび方法を提供することを目的とする。
 上記課題を解決するために本発明は請求の範囲に記載の構成を備える。その一例をあげるならば、本発明は、第1携帯情報端末と、第2携帯情報端末と、管理サーバと、を通信接続して構成される共用物品管理システムであって、前記第1携帯情報端末は、第1プロセッサと、第1通信器と、相対関係検出センサと、を備え、前記第2携帯情報端末は、第2プロセッサと、第2通信器と、入力装置と、出力装置と、を備え、前記管理サーバは、第3プロセッサと、第3通信器と、ストレージと、を備え、前記第1携帯情報端末において、前記相対関係検出センサは、共用物品と前記第1携帯情報端末を利用する第1ユーザとの相対関係の判断に用いるための共用物品情報を取得し、前記第1プロセッサは、前記共用物品情報に基づいて前記第1ユーザによる前記共用物品の使用状況を判断し、前記第1通信器に対して、前記共用物品の使用状況を示す相対関係情報の送信制御を実行し、前記管理サーバにおいて、前記第3プロセッサは、受信した前記相対関係情報に基づいて前記共用物品の使用状態を含む物品管理情報を前記ストレージに記憶し、前記第2携帯情報端末において、前記入力装置から前記共用物品の検索情報が入力されると、前記第2プロセッサは、前記第2通信器に対して前記検索情報の送信制御を実行し、前記管理サーバにおいて、前記第3プロセッサは、前記検索情報を受信すると前記物品管理情報を検索して検索結果情報を生成し、前記第2携帯情報端末への前記検索結果情報の送信制御を前記第3通信器に対して実行し、前記第2携帯情報端末において、前記第2プロセッサは、前記検索結果情報を受信すると前記出力装置に前記検索結果情報を出力する。
 上記「第1携帯情報端末」と「第2携帯情報端末」とは、複数の携帯情報端末により構成される場合と、「第1携帯情報端末」と「第2携帯情報端末」とが同一の携帯情報端末により構成され、相対関係情報を送信する時点と、検索情報を送信する時点とが異なる場合とを含む。
 本発明によれば、複数人が利用する共用物品の管理に好適な共用物品管理システムおよび方法を提供することができる。上記した以外の目的、構成、効果については以下の実施形態において明らかにされる。
第1実施形態に係る共用物品管理システムの概略構成図である。 共用物品管理システムで管理する共用物品の使用状態の変化について説明する図である。 共用物品管理システムで管理する共用物品の使用状態の変化について説明する図である。 共用物品管理システムで管理する共用物品の使用状態の変化について説明する図である。 カメラ付き携帯情報端末としてのHMDのハードウェア構成図である。 カメラ付き携帯情報端末としてのスマートフォンのハードウェア構成図である。 カメラ無し携帯情報端末としてのスマートウォッチのハードウェア構成図である。 管理サーバのハードウェア構成図である。 携帯情報端末の機能構成を示すブロック図である。 携帯情報端末に記憶される共用物品辞書の構成例を示す図である。 管理サーバに記憶される物品管理情報の一例を示す図である。 管理サーバに記憶されるユーザ・端末情報の一例を示す図である。 管理サーバに記憶されるメッセージ管理情報の一例を示す図である。 第1実施形態に係る共用物品管理システムの処理の流れを示す説明図である。 第2実施形態に係る物品状態管理モードの処理の流れを示すフローチャートである。 第3実施形態に係る物品状態管理モードの処理の流れを示すフローチャートである。 第4実施形態に係る物品検索モードの処理の流れを示す説明図である。 第5実施形態に係る物品検索モードの処理の流れを示す説明図である。 メッセージ情報を仮想現実オブジェクトとしてHMDのディスプレイに表示した例を示す図である。 メッセージ情報を仮想現実オブジェクトとしてHMDのディスプレイに表示した例を示す図である。 メッセージ情報を仮想現実オブジェクトとしてHMDのディスプレイに表示した例を示す図である。 第7実施形態に係る物品検索モードの処理の流れを示す説明図である。
 本発明は、工場内の道具類や実験室内での実験道具、また事務所内での事務機器や書類ファイルなど、可搬性がある物品を複数のユーザが共用する際に、当該物品の所在や使用状況の把握を容易にすることを目的とした共用物品管理システムおよび方法に係る。よって本発明は、労働集約型の産業に対して共用物品管理のための技術の向上が見込めることから、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の8.2(商品やサービスの価値をより高める産業や、労働集約型の産業を中心に、多様化、技術の向上、イノベーションを通じて、経済の生産性をあげる)に貢献することが期待できる。
 以下、本発明の実施の形態について図面を参照して説明する。実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
[第1実施形態]
 第1実施形態は、同一の共用物品を使用する複数のユーザをグルーピングする。そして、各ユーザがアクセスできる管理サーバ上に物品管理情報を作り、各ユーザはこの物品管理情報を参照することにより、共用物品の所在を確認する点に特徴がある。各ユーザが所持する携帯情報端末は、物品の使用開始、終了を判別し、それぞれの時点で管理サーバにその情報を通知する。
 図1は、第1実施形態に係る共用物品管理システム100の概略構成図である。
 共用物品管理システム100は、携帯端末装置としての眼鏡型のウェアラブル端末(HMD:Head Mounted Display)1A、1B、スマートフォン1C、およびスマートウォッチ1DのそれぞれをLANなどの通信ネットワーク9を介して管理サーバ3に接続して構成される。
 ユーザ2AはHMD1Aを、ユーザ2BはHMD1Bを装着している。
 またスマートフォン1C、スマートウォッチ1Dのそれぞれは、図示しない別のユーザが装着している。
 図2A、図2B、図2Cは、共用物品管理システム100で管理する共用物品4の使用状態の変化について説明する図である。
 共用物品管理システム100では、共用物品とユーザとの相対関係に基づいて下記の2つの状態を定義する。
 1.未使用:物品に触らず、動かしていない状態(保管場所に保管している状態を含む。)
 2.使用中:物品を身辺に保持している状態(携行含む)。
 具体的には、図2Aに示すように、道具箱1,2,3があり、共用物品4の保管場所は例えば道具箱2であるとする。共用物品4が道具箱2に収容されている状態は、「未使用」に相当する。
 この状態で、例えばユーザ2Aが共用物品4を手に持ち、道具箱2から取り出すと、共用物品4の状態は「使用中」へ遷移する。その後ユーザ2Aが共用物品4を手にもって別の場所に移動させている、すなわち携行している状態も(図2B参照)、「使用中」である。
 同様に、ユーザ2Aが共用物品4を道具箱2ではない別の場所、例えば道具箱2の保管室とは異なる作業場に設置されたテーブル6上に放置した場合は、共用物品4は「使用中」とする(図2C参照)。
(カメラ付き携帯情報端末:HMD1A、1B、スマートフォン1C)
 HMD1A、1B、スマートフォン1Cは、共用物品4とユーザとの相対関係をカメラの撮影画像を用いて計測するカメラ付き携帯情報端末の一例である。図3Aは、カメラ付き携帯情報端末としてのHMD1A、1Bのハードウェア構成図である。HMD1A、1Bは同一の構成であるので、以下の説明において、HMD1A、1Bの共通する構成要素は、参照符号の添え字をA,Bと区別する。
 HMD1A、1Bは、アウトカメラ111A,111B、測距センサ113A,113B、RTC(real-time clock)114A,114B、加速度センサ115A,115B、ジャイロセンサ116A,116B、地磁気センサ117A,117B、GPS受信器118A,118B、ディスプレイ119A,119B、ネットワーク通信器120A,120B、マイク121A,121B、スピーカ122A,122B、プロセッサ125A,125B、メモリ128A,128B、および無線タグリーダ129A,129Bが、各構成要素を接続するバス140A,140Bを介して互いに接続される。ネットワーク通信器120A,120Bは、ネットワーク通信信号を送受信するアンテナ123A,123Bに接続される。無線タグリーダ129A、129Bは、無線タグ信号を受信する無線タグ用アンテナ132A,132Bに接続される。GPS受信器118A,118Bは位置検出センサに、ディスプレイ119A,119B、スピーカ122A,122Bは出力装置に、マイク121A,121Bは入力装置に相当する。
 後述する処理において経過時間を測定する。本実施形態では、経過時間の測定開始の時刻T0を記憶しておき、経過時間は、現在時刻TpとT0の差を計算する、即ちソフトウェアでタイマー機能を実現する。別の態様として、RTCとは別にタイマーを備えてもよい。
 相対関係検出センサは、アウトカメラ111A,111B、測距センサ113A,113B、無線タグリーダ129A,129Bは、共用物品4とユーザ2Aとの相対関係を検出するセンサであればよく、上記何れか一つまたは任意の組み合わせでもよい。更に相対関係検出センサは、共用物品4をユーザ2Aが使用していることが検出できれば上記に限定されない。
 ネットワーク通信器120A,120Bは、近距離無線通信、無線LAN或いは基地局通信により、少なくともHMD1A、1Bと管理サーバ3との間で無線通信を行う通信インタフェースであり、所定の各種の通信インタフェースに対応する通信処理回路を含み、アンテナ123A,123Bに接続される。そして、ネットワーク通信器120A,120Bは、生体情報、画像データ、制御信号などの送受信を行う。なお、近距離無線通信としては、Bluetooth(登録商標)、IrDA(Infrared Data Association、登録商標)、Zigbee(登録商標)、HomeRF(Home Radio Frequency、登録商標)、または、Wi-Fi(登録商標)などの無線LANを用いて行なわれる。また、基地局通信としては、W-CDMA(Wideband Code Division Multiple Access、登録商標)やGSM(Global System for Mobile Communications)などの遠距離の無線通信を用いればよい。
 無線タグリーダ129A,129Bは、共用物品4に付けられた無線タグ5とHMD1A,1Bとの間で近距離無線通信を行い、無線タグ信号を受信する通信インタフェースである。無線タグ信号には、無線タグ5を固有に識別する無線タグIDが含まれる。HMD1A,1Bは、共用物品4とユーザ2A,2Bとの相対関係の計測をアウトカメラ111A,111Bが撮像した撮像画像を基に計測する場合は、無線タグリーダ129A,129Bは必須ではないが、撮像画像による距離計測と無線タグ5による距離計測とを兼用できる構成とし、不図示の設定画面に選択できるように構成されてもよい。
 ディスプレイ119A,119Bは、HMD1A、1Bを装着したユーザ2A、2Bの両眼の前方に設置される。プロセッサ125A,125Bは、アウトカメラ111A,111Bで撮影された現実空間情報の映像や管理サーバ3から受信した共用物品4の所在位置や使用状態を含む共用物品情報を仮想現実オブジェクトとしてディスプレイ119A,119Bに表示する。
 プロセッサ125A,125Bは、例えばCPUにより構成される。
 メモリ128A,128Bは、フラッシュメモリ、不揮発性メモリにより構成される。メモリ128A,128BはOS(Operating System)や動作制御用アプリケーションなどのプログラム126A,126Bや、プロセッサ125A,125Bが使用するデータ127A,127Bも記憶する。
 プロセッサ125A,125Bは、プログラム126A,126Bをメモリ128A,128Bにロードして実行し、必要に応じてデータ127A,127Bを読み出してプログラム126A,126Bの実行処理に用いる。
 図3Bは、カメラ付き携帯情報端末としてのスマートフォン1Cのハードウェア構成図である。
 スマートフォン1Cは、アウトカメラ211、インカメラ212、測距センサ213、RTC214、加速度センサ215、ジャイロセンサ216、地磁気センサ217、GPS受信器218、ディスプレイ219、ネットワーク通信器220、マイク221、スピーカ222、プロセッサ225、メモリ228、無線タグリーダ229、および電話網通信器231が、各構成要素を接続するバス240を介して互いに接続される。ネットワーク通信器220は、ネットワーク通信信号を送受信するアンテナ223に接続される。無線タグリーダ229は、無線タグ信号を受信する無線タグ用アンテナ232に接続される。
 メモリ228は、プログラム226およびデータ227を記憶する。
 ディスプレイ219には、入力インタフェースとしてのタッチパネル230が積層される。
 図3Cは、カメラ無し携帯情報端末としてのスマートウォッチ1Dのハードウェア構成図である。
 スマートウォッチ1Dは、RTC314、加速度センサ315、ジャイロセンサ316、地磁気センサ317、GPS受信器318、ディスプレイ319およびタッチパネル330、ネットワーク通信器320およびアンテナ323、マイク321、スピーカ322、プロセッサ325、メモリ328、そして無線タグリーダ329および無線タグ用アンテナ332がバス340を介して互いに接続される。
 メモリ328は、プログラム326およびデータ327を記憶する。
 ディスプレイ319には、入力インタフェースとしてのタッチパネル330が積層される。
(管理サーバ)
 図3Dは、管理サーバ3のハードウェア構成図である。
 図3Dに示すように、管理サーバ3は、プロセッサ401、RAM402、ROM403、HDD404、ネットワーク通信器405、RTC406、ディスプレイ407、入力インタフェース408を備え、これらがバス440により互いに接続される。
 HDD404には、OSの他、共用物品管理プログラムを含むプログラム411と、共用物品管理プログラムで利用するデータ412が格納される。
 図4は、携帯情報端末の機能構成を示すブロック図である。
 HMD1A、1B、スマートフォン1C、およびスマートウォッチ1Dの各プロセッサ125A,125B,225,325は、共用物品管理プログラムを実行することにより、動作モード選択部501、入力制御部502、物品認識部503、相対関係判断部504、通信制御部505、検索情報生成部506、捜索要求情報生成部507、使用予約情報生成部508、表示制御部509、および相対関係情報生成部510を構成する。各部の機能については、フローチャートを参照しつつ後述する。
 またHMD1A、1B、スマートフォン1C、およびスマートウォッチ1Dのデータ127A,127B,227,327は、物品認識部503が共用物品4を固有に認識するために参照する情報である共用物品辞書情報511を含む。
 図5Aは、携帯情報端末に記憶される共用物品辞書の構成例を示す図である。
 共用物品辞書では、共用物品4を個々に固有に識別する「物品管理ID」に、共用物品4の「種類」、共用物品4の外観を撮像した少なくとも1つ以上の「画像」、共用物品4に無線タグ5を付加する場合は「無線タグID」、および共用物品4の呼び名を示す「同義語」を関連付けて登録する。
 「画像」は複数の角度から共用物品4を撮像した場合は、それら複数の画像が登録される。ユーザがどの角度から共用物品4を撮像するか決められないので、複数の角度から撮像した画像を登録しておくと画像入力による物品認識処理の精度の向上が期待できる。
 また、「同義語」は、同一の共用物品4であっても、ユーザによって呼び名が異なることがあるため、複数の同義語を登録しておくと音声入力による物品認識処理の精度の向上が期待できる。
 図5Bは、管理サーバ3に記憶される物品管理情報の一例を示す図である。
 物品管理情報は、共用物品を固有に識別する「物品識別情報」、当該共用物品が現在存在している位置を示す「物品所在情報」、共用物品4の所定の保管場所の位置を示す「保管場所位置情報」、当該共用物品がいずれかのユーザにより使用中であるかまたはいずれのユーザにも使用されていないかを示す「使用状態情報」、および使用中である場合に共用物品4の保管場所に仮想現実オブジェクトとして表示させるメッセージを固有に特定する「メッセージ識別情報」が関連づけて記憶される。なお、メッセージの出力方法は、仮想現実オブジェクトによる表示に限定されず、ディスプレイへの情報表示や、音声再生でもよい。
 「物品識別情報」は、共用物品4を固有に識別する情報であり、例えば共用物品4のラベル、バーコード、2次元コード、無線タグID等、物品を識別できる情報である。更にHMD1Aにユーザ2Aが共用物品4の物品名称を音声入力し、物品識別情報として用いてもよい。また、共用物品4の管理のために新たに管理IDを付与し、これを物品識別情報として用いてもよい。
 図5Cは、管理サーバ3に記憶されるユーザ・端末情報の一例を示す図である。
 ユーザ・端末情報は、各ユーザを固有に識別する「ユーザ識別情報」、当該ユーザが使用する携帯情報端末を示す「携帯情報端末ID」、各携帯情報端末の通信器の「アドレス」、および各ユーザが属するメンバーグループであって、同一の共用物品4を共用するユーザをグルーピングした「メンバーグループ」が関連づけて記憶される。
 図5Dは、管理サーバ3に記憶されるメッセージ管理情報の一例を示す図である。
 メッセージ管理情報は、各メッセージを固有に識別する「メッセージ識別情報」、当該メッセージの発信者を示す「発信者情報」、各メッセージを配置した位置情報を示す「メッセージ位置情報」、および例えば画像やテキスト、また音声データからなるメッセージ内容を示す「メッセージ情報」が関連づけて記憶される。図5Bの物品管理情報と図5Dのメッセージ管理情報とは、「メッセージ識別情報」を介して関連付けられる。図5Bの物品管理情報および図5Dのメッセージ管理情報に共通する「メッセージ識別情報」が示すメッセージの場合は、保管場所位置情報がメッセージ位置情報でもあり、保管場所位置情報が示す位置、およびメッセージ位置情報が示す位置の両方にメッセージが配置されているとする。メッセージ位置情報が保管場所位置情報と同じ場合もある。また図5Dのメッセージ管理情報にだけ格納された「メッセージ識別情報」が示すメッセージは、メッセージ位置情報が示す位置にのみ配置される。メッセージの読み取り方法は、仮想現実オブジェクトの表示によるもの、携帯情報端末のディスプレイへの情報表示、音声再生等、メッセージの形態に合わせた方法で行う。ここで、メッセージの表示として仮想現実オブジェクトの表示を行う場合の表示位置は、当該メッセージが配置された位置であってもよいし、携帯情報端末位置から相対的に設定された位置であってもよい。
 図6は、第1実施形態に係る共用物品管理システム100の処理の流れを示す説明図である。
 共用物品管理システム100の処理動作は、大まかに物品状態管理モードと物品検索モードとの2つの動作モードがある。物品状態管理モードは、共用物品4の所在と使用状態を検出、管理するモードである。物品検索モードは、共用物品4の所在と使用状態を検索するモードである。
(物品状態管理モード)
 まず、ユーザ2AがHMD1Aを装着し起動させる。動作モード選択部501は、起動時は物品状態管理モードを選択する。そこで、HMD1Aが共用物品4とユーザ2Aとの相対関係の判断に用いるための共用物品情報の取得を開始する(S01)。
 HMD1Aではアウトカメラ111Aによるユーザ2Aの視野を撮像して撮像画像を生成する処理が本ステップの処理に該当する。例えば、ユーザ2Aが共用物品4を把持すると、ユーザ2Aは自分の手元を視認するので、アウトカメラ111Aの撮像画像に共用物品4が撮像される。入力制御部502は、アウトカメラ111Aから撮像画像を取得する。
 HMD1Aではユーザ2Aと共用物品4との相対関係を解析する(S02)。具体的には、物品認識部503が撮像画像を画像解析し、被写体検出を行う。そして共用物品辞書情報に登録された画像と照合し、被写体の物品認識処理を行う。第1実施形態では、アウトカメラ111Aの撮像画像に共用物品4が新たに撮像されると、相対関係判断部504はユーザ2Aが共用物品4の使用を開始したとみなし、共用物品4の使用状態を「使用中」と判断する。
 また、無線タグ5を用いた共用物品4の管理を行う際は、物品認識部503が受信電波を解析して無線タグIDを検出し共用物品辞書情報と照合して物品認識を行う。相対関係判断部504は、受信電波の強度が使用開始と判断するための電波強度以上となっていれば、ユーザ2Aが共用物品4の使用を開始したとみなし、共用物品4の使用状態を「使用中」と判断する。あるいは、無線タグリーダ間との距離測定が可能な無線タグ5の場合は、測定した距離が使用開始と判断するための距離以下となっていれば、ユーザ2Aが共用物品4の使用を開始したとみなし、共用物品4の使用状態を「使用中」と判断する。しかし、無線タグ5を用いて「使用中」かどうかを判断する場合、たまたま近くに他のユーザがいて、そのユーザの端末も同じ物品を「使用中」と判断する可能性がある。この場合は、管理サーバ上の管理情報としては、先に「使用中」と判断した端末のユーザが、その物品を使用している、として管理する。そして、接近していたユーザが離れた場合は、真の使用者の端末のみが、その物品を「使用中」と判断するので、管理サーバ上の管理情報もその情報に書き換える。撮影画像による判断で、物品の使用者がはっきりしている場合は、管理サーバ上では、無線タグ5による判断よりも撮影画像による判断を優先する。
 相対関係判断部504は、相対関係の変化の有無を判断し、相対関係の変化があると判断すると(S03:Yes)、通信制御部505から管理サーバ3に対して相対関係情報を通知(送信)する(S04)。
 相対関係情報は、送信元がHMD1Aであることを示す「通知端末識別情報」、共用物品4の「物品識別情報」、RTC114Aから取得した「通知時点の時刻情報」、GPS受信器118Aから取得したHMD1Aの「通知時点の位置情報」を含む。ここで、位置情報の取得は、GPSによらず、他の測位システムによってもよい。また、部屋内の特徴点と端末との位置関係を、アウトカメラ111Aによる撮像画像、および測距センサ113Aによる距離測定により把握することにより、端末の位置情報を取得してもよい。さらに、加速度センサ115A、ジャイロセンサ116Aにより取得する端末の移動情報を端末測位の補助手段として使用してもよい。このように、GPSの精度では本実施形態の処理を実現するための物品の位置情報の精度を満たさない場合は、位置情報の取得手段として上記した端末測位の補助手段を適宜用いることとする。
 「通知端末識別情報」は通知情報の送信元となる携帯情報端末を固有に示す情報である。
 「通知時点の時刻情報」は、HMD1AのRTC114Aで計測した時刻情報である。
 「通知時点の位置情報」は、相対関係情報を通知した時点にHMD1Aが存在していた位置を示す情報であり、例えば通知場所の座標値、周辺画像、地点を特定できる情報である。
 更に相対関係情報に、アウトカメラ111Aで撮像した撮像画像を含んでもよい。
 相対関係判断部504が相対関係の変化は無いと判断した場合(S03:No)、およびHMD1Aの終了操作がされるまで(S05:No)ステップS01へ戻り処理を繰り返す。終了操作がされると(S05:Yes)、HMD1Aでの処理を終了する。
 管理サーバ3は、相対関係情報を受信すると(S06)、管理サーバ3に記憶された物品管理情報(図5B参照)を更新する(S07)。
(物品検索モード)
 ユーザ2BがHMD1Bを装着し、電源を入れると、動作モード選択部501は、初期状態では物品状態管理モードで立ち上がる(S11)。
 そして、ユーザ2Bは共用物品4を使用するために道具箱2を見たところ、共用物品4が収容されていないとする。そこでユーザ2Bは共用物品4の検索を開始するために、HMD1Bを物品検索モードに遷移させる操作を行う(S12)。例えば、HMD1Bのマイク121Bから「検索モードへ遷移」と音声入力をすると、HMD1Bの動作モード選択部501がHMD1Bの動作モードを物品検索モードに遷移させる。
 ユーザ2BがHMD1Bに検索情報を入力すると、検索情報生成部506は共用物品4の検索情報を生成し、通信制御部505が管理サーバ3への送信制御を行う(S13)。
 管理サーバ3は、検索情報を基に物品管理情報を検索し、共用物品4の所在情報と使用状態情報を抽出し(S14)、検索結果情報をHMD1Bに送信する(S15)。
 HMD1Bは、検索結果情報を受信し(S16)、表示制御部509がディスプレイ119Bに表示する(S17)。情報出力の形態としては、ディスプレイ119Bに2次元的な情報として表示してもよいし、外部空間に配置されたかのように見える仮想現実オブジェクトによる表示でもよい。さらに、ディスプレイ119Bへの表示に変えて、スピーカ122Bによる音声出力でもよい。なお、スピーカは音声出力装置の一例であり、イヤホンでも構わない。その後、終了操作が行われるまで(S18:No)ステップS11に戻り処理を繰り返す。終了操作が行われると(S18:Yes)、HMD1Bでの処理を終了する。
 本実施形態によれば、共用物品4の所在および使用状態の最新情報を管理サーバ3の物品管理情報に格納しておくので、共用物品4を使用中のユーザとは異なる他のユーザが共用物品の所在および使用状態を管理サーバ3に検索をかけることで共用物品4の状態を確認できる。これにより、複数のユーザで共用物品を使用する環境で、他のユーザが共用物品4を使用するために保管場所から持ち出した場合にも、共用物品4を探して回らずとも共用物品4の状態を把握することができる。
(相対関係検出センサの変形例1)
 HMD1Aのアウトカメラ111Aと測距センサ113Aとを併用し、アウトカメラ111Aの被写体と測距センサ113Aにより計測した被写体までの距離情報を入力制御部502が関連付けて取得し、相対関係の判断に用いるための情報として取得してもよい。
 測距センサ113Aを併用する場合は、被写体との距離が使用開始と判断するための距離閾値以下となっていれば、相対関係判断部504は、ユーザ2Aが共用物品4の使用を開始したとみなし、共用物品4の使用状態を「使用開始」と判断する。この距離閾値は、ユーザ2Aの手が届く範囲相当として例えば1m以内としてもよい。アウトカメラ111Aがステレオカメラの場合は、アウトカメラ111Aだけで測距が可能である。
(相対関係検出センサの変形例2)
 また、スマートウォッチ1Dを用いる場合は、スマートウォッチ1Dの無線タグリーダ329が共用物品4に添付された無線タグ5から送信される無線タグ信号を受信する処理を共用物品情報の取得処理としてもよい。この例で用いる無線タグ5は、測距機能がついていることが好ましい。
[第2実施形態]
 第2実施形態は、相対関係が一定時間以上続いた場合に管理サーバ3に通知する実施形態である。図7は、第2実施形態に係る物品状態管理モードの処理の流れを示すフローチャートである。第1実施形態と同様の処理については重複説明を省略する。
 ステップS01、S02に続き相対関係の有無を判断した結果、相対関係に変化が無ければ(S03:No)、ステップS01へ戻り処理を繰り返す。
 相対関係に変化があれば(S03:Yes)、HMD1Aの経過時間を初期化、即ち相対関係経過時間T1=0とし、経過時間の計測を開始する(S031)。
 プロセッサ125Aは、相対関係が変化してからの経過時間(相対関係継続時間)T1が、使用状態が変化したと判断するために用いる相対関係確定時間Tth1以上となるまでは(S032:No)、ステップS01と同様に共用物品情報の取得(S033)、ステップS02と同様にユーザと共用物品の相対関係を解析(S034)、ステップS03と同様に相対関係の変化の有無を判断する(S035)。
 S035の判断結果が否定であれば(S035:No)、相対関係経過時間T1の計測を開始した時点の相対関係が継続しているのでステップS032へと進み、相対関係確定時間Tth1と比較する。相対関係経過時間T1が相対関係確定時間Tth1以上となると(S023:Yes)、相対関係情報を管理サーバ3に通知する(S04)。
 一方、ステップS035の判断結果が肯定であれば(S035:Yes)、相対関係が継続しなくなったことを示すので、ステップS01へ戻る。
 本実施形態によれば、相対関係経過時間T1が相対関係確定時間Tth1以上となった場合にのみ管理サーバ3に相対関係情報を通知するので、使用意図はなく偶発的に共用物品4をユーザ2Aが視認した場合等に誤って共用物品4の使用状態の変化を管理サーバ3に通知することを防ぐことができる。
[第3実施形態]
 第3実施形態は、共用物品4の使用中、定期的に位置情報を通知する実施形態である。図8は、第3実施形態に係る物品状態管理モードの処理の流れを示すフローチャートである。第1実施形態と同様の処理については重複説明を省略する。
 まず、処理の開始で通知間隔を管理する通知経過時間T2をリセットし、計測を開始する(S041)。相対関係に変化があれば(S03:Yes)、相対関係情報を管理サーバ3に通知する(S04)。終了操作がされなければ(S05:No)、ステップS041へ戻り処理を継続する。
 再度の相対関係の変化の有無の判断の結果、相対関係が変化していない場合(S03:No)、通知経過時間T2と通知時間間隔Tth2とを比較する。通知経過時間T2が通知時間間隔Tth2未満であれば(S042:No)、ステップS01へ戻る。
 一方、通知経過時間T2が通知時間間隔Tth2以上であれば(S042:Yes)、相対関係情報の再通知を行う(S04)。
 本実施形態によれば、管理サーバ3に相対関係が変化すると相対関係情報を通知し、更に定期的に(通知時間間隔Tth2経過毎に)相対関係情報を受信して管理を継続することができる。
[第4実施形態]
 第4実施形態は、共用物品4を検索した結果、物品管理情報に格納された状態と異なっており所在不明になった場合に、捜索要求を行う実施形態である。図9は、第4実施形態に係る物品検索モードの処理の流れを示す説明図である。第1実施形態と同様の処理については重複説明を省略する。
 HMD1Bが検索情報を管理サーバ3に送信し(S13)、管理サーバ3にて物品管理情報を検索(S14)、検索結果を送信(S15)し、HMD1Bが検索結果を受信(S16)、ディスプレイ119Bに出力する。
 HMD1Bのユーザ2Bが、検索結果が示す所在場所を確認して共用物品4を発見できた場合は(S21:Yes)、処理の終了判定へ進む(S18)。
 一方、ユーザ2Bが、検索結果が示す所在場所を確認したものの共用物品4を発見できない場合(S21:No)、ユーザ2Bは、共用物品4の捜索要求情報の入力を行い、捜索要求情報生成部507が捜索要求情報を生成して通信制御部505から管理サーバ3に送信制御する(S22)。
 管理サーバ3は捜索要求情報を受信すると(S23)、ユーザ・端末情報(図5C参照)を検索し、共用物品4を共有するメンバー全員に対して捜索情報を送信する(S24)。
 いずれかのメンバーから捜索応答情報を受信すると(S25:Yes)、HMD1Bに向けての転送制御を実行する(S26)。一方、いずれのメンバーからも捜索応答情報を受信しない場合は未発見情報を送信する(S26A)。
 HMD1Bは、捜索応答情報または未発見情報を受信し(S27)、表示制御部509がディスプレイ119Bに表示(出力)する(S28)。
 ユーザ2Bが捜索応答情報に記載された場所を確認した結果、共用物品4の所在が確認きると(S29:Yes)、正しい相対関係情報を取得し送信する(S210)。この相対関係情報の取得指示は、ユーザ2Bが手動で入力してもよいしHMD1Bが自動で相対関係の取得処理(S01)を実行してもよい。
 管理サーバ3は、正しい相対関係情報を受信し(S211)、物品管理情報を更新する(S212)。その後、およびユーザ2Bが捜索応答情報に記載された場所を確認した結果、共用物品4の所在が確認できなかった場合は(S29:No)は、処理の終了判定へ進む(S18)。
 本実施形態によれば、共用物品4が管理サーバ3からの検索結果とは異なる状態にある場合は、共用物品4を共有するメンバー全員に対して捜索情報を送信し、共用物品4の状態の把握ができるので、共用物品4の紛失時にも早急に対応することができる。
[第5実施形態]
 第5実施形態は、共用物品4を検索した結果、他のメンバーが使用中だった場合に使用予約を行う実施形態である。図10は、第5実施形態に係る物品検索モードの処理の流れを示す説明図である。第1実施形態と同様の処理については重複説明を省略する。
 HMD1Bが検索結果情報を出力し(S17)、ユーザ2Bが確認したところ、共用物品4が他のメンバー、例えばユーザ2Aにより使用中だったとする(S31:Yes)。この場合、ユーザ2Bは、例えば音声入力により共用物品4の使用予約をHMD1Bに入力し、使用予約情報生成部508が使用予約情報を生成し、通信制御部505が管理サーバ3に送信制御する(S32)。
 管理サーバ3は、使用予約情報を受信し(S33)、物品管理情報(図5B)の使用状態情報を参照して使用中のユーザを特定する。次にユーザ・端末情報(図5C)を検索し、使用中のユーザが装着している携帯情報端末のアドレス宛に使用予約情報を転送する(S34)。
 HMD1Aは使用予約情報を受信し(S35)、ディスプレイ119Aに出力する(S36)。ユーザ2Aが共用物品4の使用を終了すると、使用終了情報を管理サーバ3に送信し(S37)、管理サーバ3がHMD1Bに使用終了情報を転送する(S38)。
 HMD1Aが使用終了情報を受信し(S39)、ディスプレイ119Bに表示(出力)する(S310)。その後、HMD1Bの処理の終了判定へ進む(S18)。
 HMD1Aにおいて、使用終了情報の送信に代えてユーザ2Bに共用物品4を手渡ししてもよい。その場合は、ステップS38からステップS310までは省略する。
 ユーザ2Aによる共用物品4の使用終了または手渡しに伴い、HMD1Aにおいて新たな相対関係情報を生成し、管理サーバ3に送信すると(S311)、管理サーバ3は新たな相対関係情報を用いて物品管理情報を更新する(S312)。
 本実施形態によれば、共用物品4が他のメンバーにより使用中である場合は、管理サーバ3を介してそのメンバーに対して使用予約情報を送信することができるので、共用物品4をより早く使えるようになる。
[第6実施形態]
 第6実施形態は、あるユーザが共用物品4を保管場所から動かす場合、その保管場所の位置に紐づけて、メッセージを残しておき、他のユーザがその共用物品4が持ち出されている時に、物品の検索要求に対応して、残されたメッセージを取得する実施形態である。そして、取得されたメッセージは、保管位置に仮想現実オブジェクトとして表示する。以下の説明では主として図6に示す第1実施形態、一部図7に示す第2実施形態に係る処理の流れを用いて説明する。
 第1実施形態のステップS03、第2実施形態のステップS035において、HMD1Aが共用物品4の保管場所からの持ち出した場合(メンバーによる使用開始に相当する)、管理サーバ3は、ステップS07において、新たな相対関係を示すメッセージを保管場所の位置情報と紐づけて物品管理情報(図5B)の「メッセージ情報」に記憶する。このメッセージ内容は、HMD1Aから送付してもよい。物品管理情報(図5B)では、共用物品4の「保管場所位置情報」と「メッセージ情報」とが関連付けて記憶される。また、メッセージ内容は、物品を持ち出している、ということに限らず、例えば物品を使用した際に物品の状態について気付いた事柄等でもよい。また、メッセージ情報の詳細をメッセージ管理情報(図5D)に記憶する。
 ステップS13において共用物品4の検索情報入力・送信を行い、管理サーバ3は、検索結果情報に共用物品4の保管場所位置情報とそれに紐づけられたメッセージ情報を含めてHMD1Bに送信する(S15)。
 HMD1Bは、ステップS17の検索結果の表示において、GPS受信器118B等によりHMD1Bの位置を演算し、ジャイロセンサ116Bおよび地磁気センサ117BでHMD1Bの向きを検出する。表示制御部509は、HMD1Bのディスプレイ119Bが保管場所を向くと、表示制御部509が保管場所のディスプレイ119Bにおける表示位置(または透過位置)を演算し、その位置にメッセージ情報を表示する。ディスプレイ119Bが透過型であれば、透過して視認した道具箱2にメッセージ情報を含む仮想現実オブジェクトが重なってユーザ2Bが視認する。ディスプレイ119Bが没入型であれば、アウトカメラ111Bで撮像した映像をディスプレイ119Bに表示し、その際映像に含まれる道具箱2にメッセージ情報を含む仮想現実オブジェクトも道具箱2の映像に重ねてディスプレイ119Bに表示することで、ユーザ2Bは道具箱2にメッセージ情報を重ねて視認する。
 図11A、図11Bおよび図11Cは、メッセージ情報を仮想現実オブジェクトとしてHMD1Bのディスプレイ119Bに表示した例である。図11Aはテキスト情報の仮想現実オブジェクト601の表示例であり、図11B、図11Cは画像情報の表示例である。図11Bにおいては、持ち出したユーザの顔画像またはアバター画像と持ち出した物品の画像からなる仮想現実オブジェクト602を表示している。図11Cにおいては持ち出した物品と持ち出し場所までの誘導線の画像からなる仮想現実オブジェクト603を表示している。
 本実施形態によれば、共用物品4を保管場所から持ち出した後に別のユーザ2Bが共用物品4を探しに来た際に、共用物品4の現在の状況を仮想現実オブジェクトとして表示してユーザ2Bに知らせることができる。
[第7実施形態]
 第7実施形態は、場所に紐づけられたメッセージ情報を検索する実施形態である。第6実施例では、HMD1Bは物品の検索要求に対応したメッセージ情報を取得した。一方、本実施形態では、HMD1Bは、ユーザ2Bがある地点近傍に留まっている場合に、端末位置情報を管理サーバ3に送信することにより、端末位置近傍の場所に残されたメッセージの検索を要求する。
 本実施形態の処理を、図12を用いて説明する。図12は、第7実施形態に係る物品検索モードの処理の流れを示す説明図である。
 まず、HMD1Bは、ユーザ2Bがある地点近傍に留まっているかどうか、即ち移動中か否かを判定する(S400)。ここでは、端末の移動速度を測定して判定する。すなわち。HMD1Bは、自端末の移動速度が予め定められた値より大きい場合(S400:No)は、ユーザ2Bがある地点近傍に留まっていない、と判定し、予め定められた値以下の場合(S400:Yes)は、ユーザ2Bがある地点近傍に留まっている、と判定する。HMD1Bは、ユーザ2Bがある地点近傍に留まっていない場合(S400:No)は、待機状態となり、ステップS400の判定を継続する。「ある地点近傍」とはある地点から所定の距離内の範囲を意味する。ここでいう所定の距離とは例えば1mの範囲内のように予め定めた距離であってもよいし、またメッセージの種類(不特定多数向けや、物品を探しに来た人が訪れる地点から手が届く範囲等)によって所定の範囲を適宜変更してもよい。
 そして、HMD1Bは、ユーザ2Bがある地点近傍に留まっていると判定した場合(S400:Yes)は、自端末の位置情報を管理サーバ3に送信する(S401)。ここで、移動速度の測定は加速度センサ115Bを用いて行う。また、移動速度の測定は、ユーザ2Bがある地点近傍に留まるかどうかを判定するためなので、予め定められた時間での平均値の測定を用いてよい。あるいは、HMD1Bは、自端末による判定とは別にユーザ2Bの指示を受付けた場合、メッセージ情報の検索を管理サーバ3に要求してもよい。
 位置情報の送信を受けた管理サーバ3は、受信した位置情報で示される位置から予め定められた範囲内に残されたメッセージ情報を検索する(S402)。ここで、検索するメッセージ情報は、図5Bに記載された情報のように物品に紐づけられた情報でも構わないし、図5Dに記載された情報のように、特定の物品に紐づけられていない情報でも構わない。物品に紐づけられていない情報とは、例えば、ユーザから、その場所にきた不特定のユーザに対する伝言や、管理者からの通知のようなものである。
 管理サーバ3による検索結果情報の送信(S15)、HMD1Bによる検索結果情報の受信(S16)、検索結果情報の出力(S17)のステップは既に説明したものと同様である。
 検索結果情報出力(S17)の後、HMD1Bは、ユーザ2Bがその地点近傍に留まっていると判定した場合(S403:Yes)は、その情報の出力を継続する。そして、HMD1Bは、ユーザ2Bがその地点近傍に留まっていないと判定した場合(S403:No)、すなわち、他の地点に移動したと判定した場合は、検索結果情報の出力を終了する(S404)。この後、HMD1Bは、ユーザ2Bによる終了指示がなければ(S18:No)、ステップS400に戻り、処理を継続する。そして、HMD1Bは、ユーザ2Bによる終了指示があれば(S18:Yes)処理を終了する。
 この処理の変形例として、管理サーバ3が、位置情報だけを参照するのではなく、他の情報も参照して条件が適合した場合だけ、メッセージを送信する、という処理をしてもよい。例えば、特定のユーザ宛のメッセージであるとか、特定の物品を持っているユーザ宛のメッセージ等が利用形態として考えられる。この条件はメッセージの付加情報として記録しておく。
 本実施形態によれば、ユーザが物品の検索指示操作をしなくても、物品に関する情報や管理者からの情報を必要な場所において入手することができ、利便性が向上する。
 以上、本発明者によってなされた発明をその実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変化可能であることは言うまでもない。
 例えば共用物品4として、上記で例示した実験道具や工具のように手に把持できる大きさのもの他、社用車のような共用車を使用するような場合も、本発明に係る共用物品管理システムを適用することができる。その際は、共用物品4は車であり、物品識別情報としてナンバープレートの数字列を用いてもよい。HMD1A、1B、スマートフォン1Cのアウトカメラ111A,111B,211で車を撮像し、その撮像画像に対して文字認識処理を行ってナンバープレートの数字列を読み取り、共用物品の固有情報を読み込んでもよい。
 以上、本発明の実施形態について説明したが、言うまでもなく、本発明の技術を実現する構成は上記実施形態に限られるものではなく、様々な変形例が考えられる。例えば、前述した実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成と置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
 また、各処理例で説明したプログラムは、それぞれ独立したプログラムでもよく、複数のプログラムが一つのアプリケーションプログラムを構成していてもよい。また、各処理を行う順番を入れ替えて実行するようにしてもよい。
 前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット、CPU等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用してもよい。また、各機能の一部または全部をサーバで実現してもよい。なお、サーバは、通信を介して他の構成部分と連携し機能の実行が出来ればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に格納されてもよいし、通信網上の装置に格納されてもよい。
 また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
 前記実施の形態は、以下の形態を含む。
 (付記1)
 第1携帯情報端末と、第2携帯情報端末と、管理サーバと、を通信接続して構成される共用物品管理システムであって、
 前記第1携帯情報端末は、
 第1プロセッサと、第1通信器と、相対関係検出センサと、を備え、
 前記第2携帯情報端末は、
 第2プロセッサと、第2通信器と、入力装置と、出力装置と、を備え、
 前記管理サーバは、第3プロセッサと、第3通信器と、ストレージと、を備え、
 前記第1携帯情報端末において、
 前記相対関係検出センサは、共用物品と前記第1携帯情報端末を利用する第1ユーザとの相対関係の判断に用いるための共用物品情報を取得し、
 前記第1プロセッサは、前記共用物品情報に基づいて前記第1ユーザによる前記共用物品の使用状況を判断し、
 前記第1通信器に対して、前記共用物品の使用状況を示す相対関係情報の送信制御を実行し、
 前記管理サーバにおいて、
 前記第3プロセッサは、受信した前記相対関係情報に基づいて前記共用物品の使用状態を含む物品管理情報を前記ストレージに記憶し、
 前記第2携帯情報端末において、
 前記入力装置から前記共用物品の検索情報が入力されると、
 前記第2プロセッサは、前記第2通信器に対して前記検索情報の送信制御を実行し、
 前記管理サーバにおいて、
 前記第3プロセッサは、前記検索情報を受信すると前記物品管理情報を検索して検索結果情報を生成し、前記第2携帯情報端末への前記検索結果情報の送信制御を前記第3通信器に対して実行し、
 前記第2携帯情報端末において、
 前記第2プロセッサは、前記検索結果情報を受信すると前記出力装置に前記検索結果情報を出力する、
 共用物品管理システム。
 (付記2)
 携帯情報端末と管理サーバとを通信接続して実行される共用物品管理方法であって、
 携帯情報端末において、共用物品と前記携帯情報端末を利用するユーザとの相対関係の判断に用いるための共用物品情報を取得し、当該共用物品情報に基づいて、前記ユーザによる前記共用物品の使用状況を判断し、その判断結果を含む相対関係情報を管理サーバに送信するステップと、
 前記管理サーバにおいて、前記相対関係情報に基づき、前記共用物品の使用状態を含む物品管理情報を記憶するステップと、
 前記管理サーバが前記携帯情報端末から前記共用物品の検索情報を受信すると、前記物品管理情報を検索して前記携帯情報端末に検索結果を示す検索結果情報を送信するステップと、
 を含む共用物品管理方法。
1A:HMD、1B:HMD、1C:スマートフォン、1D:スマートウォッチ、2A:ユーザ、2B:ユーザ、3:管理サーバ、4:共用物品、5:無線タグ、6:テーブル、9:通信ネットワーク、100:共用物品管理システム、111A:アウトカメラ、111B:アウトカメラ、113A:測距センサ、113B:測距センサ、114A:RTC、115A:加速度センサ、115B:加速度センサ、116A:ジャイロセンサ、116B:ジャイロセンサ、117A:地磁気センサ、117B:地磁気センサ、118A:GPS受信器、118B:GPS受信器、119A:ディスプレイ、119B:ディスプレイ、120A:ネットワーク通信器、120B:ネットワーク通信器、121A:マイク、121B:マイク、122A:スピーカ、122B:スピーカ、123A:アンテナ、123B:アンテナ、125A:プロセッサ、125B:プロセッサ、126A:プログラム、126B:プログラム、127A:データ、127B:データ、128A:メモリ、128B:メモリ、129A:無線タグリーダ、129B:無線タグリーダ、132A:無線タグ用アンテナ、132B:無線タグ用アンテナ、140A:バス、140B:バス、211:アウトカメラ、212:インカメラ、213:測距センサ、214:RTC、215:加速度センサ、216:ジャイロセンサ、217:地磁気センサ、218:GPS受信器、219:ディスプレイ、220:ネットワーク通信器、221:マイク、222:スピーカ、223:アンテナ、225:プロセッサ、226:プログラム、227:データ、228:メモリ、229:無線タグリーダ、230:タッチパネル、231:電話網通信器、232:無線タグ用アンテナ、240:バス、314:RTC、315:加速度センサ、316:ジャイロセンサ、317:地磁気センサ、318:GPS受信器、319:ディスプレイ、320:ネットワーク通信器、321:マイク、322:スピーカ、323:アンテナ、325:プロセッサ、326:プログラム、327:データ、328:メモリ、329:無線タグリーダ、330:タッチパネル、332:無線タグ用アンテナ、340:バス、401:プロセッサ、402:RAM、403:ROM、404:HDD、405:ネットワーク通信器、406:RTC、407:ディスプレイ、408:入力インタフェース、411:プログラム、412:データ、440:バス、501:動作モード選択部、502:入力制御部、503:物品認識部、504:相対関係判断部、505:通信制御部、506:検索情報生成部、507:捜索要求情報生成部、508:使用予約情報生成部、509:表示制御部、510:相対関係情報生成部、511:共用物品辞書情報、601:仮想現実オブジェクト、602:仮想現実オブジェクト、603:仮想現実オブジェクト
 

Claims (9)

  1.  第1携帯情報端末と、第2携帯情報端末と、管理サーバと、を通信接続して構成される共用物品管理システムであって、
     前記第1携帯情報端末は、
     第1プロセッサと、第1通信器と、相対関係検出センサと、を備え、
     前記第2携帯情報端末は、
     第2プロセッサと、第2通信器と、入力装置と、出力装置と、を備え、
     前記管理サーバは、第3プロセッサと、第3通信器と、ストレージと、を備え、
     前記第1携帯情報端末において、
     前記相対関係検出センサは、共用物品と前記第1携帯情報端末を利用する第1ユーザとの相対関係の判断に用いるための共用物品情報を取得し、
     前記第1プロセッサは、前記共用物品情報に基づいて前記第1ユーザによる前記共用物品の使用状況を判断し、
     前記第1通信器に対して、前記共用物品の使用状況を示す相対関係情報の送信制御を実行し、
     前記管理サーバにおいて、
     前記第3プロセッサは、受信した前記相対関係情報に基づいて前記共用物品の使用状態を含む物品管理情報を前記ストレージに記憶し、
     前記第2携帯情報端末において、
     前記入力装置から前記共用物品の検索情報が入力されると、
     前記第2プロセッサは、前記第2通信器に対して前記検索情報の送信制御を実行し、
     前記管理サーバにおいて、
     前記第3プロセッサは、前記検索情報を受信すると前記物品管理情報を検索して検索結果情報を生成し、前記第2携帯情報端末への前記検索結果情報の送信制御を前記第3通信器に対して実行し、
     前記第2携帯情報端末において、
     前記第2プロセッサは、前記検索結果情報を受信すると前記出力装置に前記検索結果情報を出力する、
     共用物品管理システム。
  2.  請求項1に記載の共用物品管理システムにおいて、
     前記相対関係検出センサは、カメラ、測距センサ、および無線タグリーダの一つまたは任意の組み合わせである、
     共用物品管理システム。
  3.  請求項1に記載の共用物品管理システムにおいて、
     前記第1携帯情報端末の前記第1プロセッサは、前記相対関係の変化を検出してからの経過時間である相対関係継続時間が、相対関係の変化を確定させるために予め定められた相対関係確定時間以上となったと判断すると、前記相対関係情報の送信制御を実行する、
     共用物品管理システム。
  4.  請求項1に記載の共用物品管理システムにおいて、
     前記第1携帯情報端末は、タイマーを更に備え、
     前記第1プロセッサは、前記相対関係情報を前記管理サーバに送信してからの経過時間である通知経過時間を前記タイマーにより計測し、当該通知経過時間が再度の前記相対関係情報の通知を行うために予め定めた通知時間間隔以上になったと判断すると、再度前記相対関係情報の送信制御を実行する、
     共用物品管理システム。
  5.  請求項1に記載の共用物品管理システムにおいて、
     前記第2携帯情報端末の前記第2プロセッサは、前記共用物品の捜索要求情報の送信制御を更に実行し、
     前記管理サーバの前記第3プロセッサは、前記共用物品を共用する他のユーザが利用する他の携帯情報端末に向けて前記共用物品の捜索情報の送信制御を実行する、
     共用物品管理システム。
  6.  請求項1に記載の共用物品管理システムにおいて、
     前記共用物品が前記第1ユーザにより使用中であった場合に、前記第2携帯情報端末の前記第2プロセッサは、前記管理サーバに向けて前記共用物品の使用予約情報の送信制御を実行し、
     前記管理サーバの前記第3プロセッサは、前記共用物品を使用中のユーザが利用する前記第1携帯情報端末に向けて前記使用予約情報の転送制御を実行する、
     共用物品管理システム。
  7.  請求項1に記載の共用物品管理システムにおいて、
     前記第2携帯情報端末は、
     位置検出センサと、
     前記出力装置としてのディスプレイと、を更に備え、
     前記管理サーバの前記物品管理情報において、前記共用物品の保管場所位置情報に前記共用物品に関するメッセージ情報が紐づけて記憶され、
     前記第2プロセッサは、前記管理サーバに対する前記共用物品の検索要求の送信制御を実行し、
     前記第3プロセッサは、前記検索要求に応答して前記共用物品の保管場所位置情報および前記メッセージ情報を含む前記検索結果情報の送信制御を実行し、
     前記第2プロセッサは、前記位置検出センサに基づいて前記共用物品の現実の保管場所を特定し、前記共用物品の現実の保管場所に前記メッセージ情報に基づく仮想現実オブジェクトが重なるように前記ディスプレイの表示制御を実行する、
     共用物品管理システム。
  8.  請求項1に記載の共用物品管理システムにおいて、
     前記第2携帯情報端末は、
     位置検出センサ
     を更に備え、
     前記管理サーバは、メッセージ情報および当該メッセージ情報が配置される位置を定めたメッセージ位置情報を紐づけたメッセージ管理情報を記憶し、
     前記第2プロセッサは、前記位置検出センサに基づいて前記第2携帯情報端末が移動中か否かを判定し、移動していない場合に前記第2携帯情報端末の位置情報を前記管理サーバに送信し、
     前記第3プロセッサは、前記第2携帯情報端末から受信した前記第2携帯情報端末の位置情報を基に前記メッセージ管理情報を検索し、前記第2携帯情報端末の位置情報から所定の距離内の前記メッセージ位置情報に紐づけられた前記メッセージ情報を前記第2携帯情報端末に送信し、
     前記第2プロセッサは、受信した前記メッセージ情報の出力制御を実行する、
     共用物品管理システム。
  9.  携帯情報端末と管理サーバとを通信接続して実行される共用物品管理方法であって、
     携帯情報端末において、共用物品と前記携帯情報端末を利用するユーザとの相対関係の判断に用いるための共用物品情報を取得し、当該共用物品情報に基づいて、前記ユーザによる前記共用物品の使用状況を判断し、その判断結果を含む相対関係情報を管理サーバに送信するステップと、
     前記管理サーバにおいて、前記相対関係情報に基づき、前記共用物品の使用状態を含む物品管理情報を記憶するステップと、
     前記管理サーバが前記携帯情報端末から前記共用物品の検索情報を受信すると、前記物品管理情報を検索して前記携帯情報端末に検索結果を示す検索結果情報を送信するステップと、
     を含む共用物品管理方法。
PCT/JP2022/021484 2022-05-26 2022-05-26 共用物品管理システムおよび共用物品管理方法 WO2023228340A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/021484 WO2023228340A1 (ja) 2022-05-26 2022-05-26 共用物品管理システムおよび共用物品管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/021484 WO2023228340A1 (ja) 2022-05-26 2022-05-26 共用物品管理システムおよび共用物品管理方法

Publications (1)

Publication Number Publication Date
WO2023228340A1 true WO2023228340A1 (ja) 2023-11-30

Family

ID=88918749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021484 WO2023228340A1 (ja) 2022-05-26 2022-05-26 共用物品管理システムおよび共用物品管理方法

Country Status (1)

Country Link
WO (1) WO2023228340A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002329201A (ja) * 2001-05-01 2002-11-15 Sharp Corp 物検索装置、物検索方法、およびコンピュータにおいてその装置を実現するプログラム
JP2015071492A (ja) * 2013-10-04 2015-04-16 株式会社日本ビジネスエンジニアリング 物品所在管理システム、及び物品所在管理システムに適用されるサーバ側管理システム及び端末側管理システム
JP2017210310A (ja) * 2016-05-24 2017-11-30 日本電信電話株式会社 物品管理装置、および、物品管理方法
JP2020087354A (ja) * 2018-11-30 2020-06-04 株式会社リコー 資産管理装置、資産管理システム、資産管理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002329201A (ja) * 2001-05-01 2002-11-15 Sharp Corp 物検索装置、物検索方法、およびコンピュータにおいてその装置を実現するプログラム
JP2015071492A (ja) * 2013-10-04 2015-04-16 株式会社日本ビジネスエンジニアリング 物品所在管理システム、及び物品所在管理システムに適用されるサーバ側管理システム及び端末側管理システム
JP2017210310A (ja) * 2016-05-24 2017-11-30 日本電信電話株式会社 物品管理装置、および、物品管理方法
JP2020087354A (ja) * 2018-11-30 2020-06-04 株式会社リコー 資産管理装置、資産管理システム、資産管理方法及びプログラム

Similar Documents

Publication Publication Date Title
US10331609B2 (en) System for exchanging information between wireless peripherals and back-end systems via a peripheral hub
US11227271B2 (en) Identity authentication method, device, and system
CN106663428A (zh) 装置、方法、非暂态计算机可读介质及系统
US20110004436A1 (en) Identifying mobile devices
JP2009505219A5 (ja)
KR20150004501A (ko) 기능 제어 방법 및 그 전자 장치
KR20110016098A (ko) 휴대용 단말기에서 물품 정보를 제공하기 위한 장치 및 방법
US9396640B2 (en) RFID active child tracker
US20190182374A1 (en) Charging device, method for controlling charging device, and mobile terminal connected to same
US10484842B2 (en) Communication system
KR20170005650A (ko) 무인 항공기, 이동 단말기 및 그것들의 제어방법
US11532227B2 (en) Discovery of and connection to remote devices
KR101618783B1 (ko) 이동 단말기, 이동 단말기의 제어방법, 그리고, 이동 단말기를 포함하는 제어시스템
CN112232801A (zh) 一种电子交易的方法及终端
EP3089436A1 (en) Methods and devices for calling based on cloud card
CN105099841A (zh) 消息的发送方法、装置、终端及路由器
JP2017207999A (ja) 制御システム、管理装置、及び、制御システムの制御方法
WO2023228340A1 (ja) 共用物品管理システムおよび共用物品管理方法
KR101632220B1 (ko) 이동 단말기, 이동 단말기의 제어방법, 그리고, 제어시스템과 그 제어방법
KR20150009072A (ko) 동작모드 제어 방법 및 그 방법을 처리하는 전자 장치
KR20200122754A (ko) 증강 현실 이미지를 제공하는 스마트 안경 시스템
KR101245984B1 (ko) 단말기를 사용한 자산 관리 장치 및 방법
KR101771459B1 (ko) 이동 단말기 및 이의 상품 검색 방법
KR101521515B1 (ko) 멀티미디어 장치간 데이터 연동시스템 및 이를 이용한 데이터 연동방법
CN110928867B (zh) 一种数据融合的方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22943742

Country of ref document: EP

Kind code of ref document: A1