WO2023145176A1 - ウェアラブル装置、情報処理方法及び情報処理プログラム - Google Patents

ウェアラブル装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2023145176A1
WO2023145176A1 PCT/JP2022/040526 JP2022040526W WO2023145176A1 WO 2023145176 A1 WO2023145176 A1 WO 2023145176A1 JP 2022040526 W JP2022040526 W JP 2022040526W WO 2023145176 A1 WO2023145176 A1 WO 2023145176A1
Authority
WO
WIPO (PCT)
Prior art keywords
package
information
user
operating state
delivery
Prior art date
Application number
PCT/JP2022/040526
Other languages
English (en)
French (fr)
Inventor
幸太郎 坂田
智司 松井
健太 村上
直美 富山
哲司 渕上
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Publication of WO2023145176A1 publication Critical patent/WO2023145176A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management

Definitions

  • the present disclosure relates to a technique for assisting a user in carrying luggage.
  • an information processing system that assists a worker in picking an article acquires article information related to identification of an article to be picked, acquires the skill level of the worker, and acquires the acquired article information.
  • the caution information for picking work that determines whether or not the conditions related to the goods to be picked are met, and calls the worker's attention, and is the caution information according to the acquired skill level of the worker. is determined, and when it is determined that the conditions are met, the determined caution information is output.
  • the present disclosure has been made to solve the above problems, and aims to provide a technology capable of reducing delivery errors and delivery losses and improving delivery efficiency. .
  • a wearable device is a wearable device worn on a user's head, and includes a camera, a control unit, and a communication unit, wherein the camera captures the user's field of view, and the control
  • the unit acquires an image captured by the camera, recognizes the luggage and the hand of the user from the acquired image by image recognition processing, and based on the positional relationship between the recognized luggage and the hand determining the operation state of the user with respect to the package; recognizing a package ID for identifying the package from the acquired image by image recognition processing; and the operation state information indicating the operation state thus obtained is transmitted to a delivery management server, and the delivery information related to the package corresponding to the package ID and the operation state information is received from the delivery management server, Alert information to be presented to the user is generated based on the received delivery information, and the generated alert information is output.
  • alert information is presented according to the user's operation status for packages, delivery errors and delivery losses can be reduced, and delivery efficiency can be improved.
  • FIG. 10 is a first flowchart for explaining alert information presentation processing by smart glasses according to an embodiment of the present disclosure
  • FIG. 9 is a second flowchart for explaining alert information presentation processing by smart glasses according to the embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram showing an example of an image captured by a camera in a first operating state
  • FIG. FIG. 10 is a diagram showing an example of an image captured by the camera in the second operating state
  • FIG. 10 is a diagram showing an example of an image captured by the camera in a third operating state;
  • FIG. 10 is a diagram for explaining processing for recognizing a package ID from an image captured by a camera in a first operation state;
  • FIG. 10 is a diagram for explaining processing for recognizing a parcel ID from an image captured by a camera in a second operation state;
  • FIG. 11 is a diagram for explaining processing for recognizing a parcel ID from an image captured by a camera in a third operation state;
  • FIG. 5 is a diagram showing an example of alert information displayed on the display of the smart glasses in the first operating state;
  • FIG. 10 is a diagram showing an example of alert information displayed on the display of the smart glasses in the second operating state;
  • FIG. 10 is a diagram showing an example of alert information displayed on the display of the smart glasses in the third operating state;
  • FIG. 10 is a diagram showing another example of alert information displayed on the display of the smart glasses in the second operating state;
  • FIG. 11 is a diagram showing an example of weight threshold information in a modified example of the present embodiment;
  • a wearable device is a wearable device worn on a user's head, and includes a camera, a control unit, and a communication unit, wherein the camera is the user's field of view. and the control unit acquires the image captured by the camera, recognizes the luggage and the user's hand from the acquired image by image recognition processing, and recognizes the luggage and the hand Based on the positional relationship of the above, the user's operation state with respect to the package is determined, and from the acquired image, the package ID for identifying the package is recognized by image recognition processing, and the communication unit performs image recognition processing.
  • the control unit transmitting the parcel ID and operating state information indicating the determined operating state to a delivery management server, and receiving delivery information relating to the parcel corresponding to the parcel ID and the operating state information from the delivery management server; and the control unit generates alert information to be presented to the user based on the received delivery information, and outputs the generated alert information.
  • the luggage and the user's hand are recognized by image recognition processing from the image showing the field of view of the user captured by the camera, and based on the positional relationship between the recognized luggage and the hand, the A user's operating state is determined. Then, alert information to be presented to the user is generated based on the delivery information about the package corresponding to the package ID for identifying the package and the operation state information indicating the determined operation state. output.
  • alert information is presented according to the user's operation status for the package, it is possible to reduce delivery errors and delivery losses, and improve delivery efficiency.
  • the operating state includes a first operating state in which the user is looking at the package at a place a predetermined distance away from the package, and a first operating state in which the user is looking at the package, and immediately before the user picks up the package.
  • the control unit recognizes the package and does not recognize both hands of the user
  • the operating state is If it is determined to be in the first operation state, at least one of the user's right hand and left hand is recognized, and the recognized right hand and left hand of the user are not positioned at the right end and left end of the recognized luggage, determining that the operation state is the second operation state, recognizing at least one of the right hand and the left hand of the user, and the recognized right hand and left hand of the user are positioned at the right end and the left end of the recognized luggage. In this case, it may be determined that the operating state is the third operating state.
  • the packages are placed on shelves classified by delivery area, the delivery information includes a destination of the packages, and the control unit performs the operation
  • the delivery area corresponding to the rack on which the package is placed is recognized from the acquired image by image recognition processing, and the delivery area included in the received delivery information is recognized.
  • the alert information may be generated if the destination is not within the recognized delivery area.
  • the alert information is presented. Therefore, the user can know that the package is placed on the shelf corresponding to the wrong delivery area.
  • the delivery information includes valuables information indicating the weight of the package or whether the package is valuables
  • the control unit controls the operating state to If it is determined that the package is in the second operation state and the weight included in the received delivery information is equal to or greater than a threshold value, or if the valuables information included in the received delivery information indicates that the package is a valuables When indicating that, the alert information may be generated.
  • alert information is presented when the operating state is determined to be the second operating state and the weight of the recognized package is equal to or greater than the threshold. Therefore, the user can know that the weight of the baggage to be carried is equal to or greater than the threshold. Also, if the operating state is determined to be the second operating state and the recognized package is valuable, alert information is presented. Therefore, the user can know that the luggage he or she is about to carry is a valuable item.
  • the communication unit transmits the package ID, the operating state information, and attribute information indicating attributes of the user to the delivery management server, and transmits the delivery information.
  • the delivery information may include different thresholds depending on the weight of the package and the attributes.
  • the weight of luggage that a user can carry varies depending on the user's attributes such as age or gender.
  • the weight of the recognized package is compared with a different threshold depending on the attribute of the user, so alert information according to the attribute of the user can be presented.
  • the delivery information includes valuables information indicating the weight of the package or whether the package is a valuable item
  • the control unit controls the operating state to If it is determined to be in the second operation state, a heat map is generated as the alert information showing a portion corresponding to the recognized package in colors corresponding to the weight of the package, or corresponding to the recognized package.
  • a heat map may be generated as the alert information that indicates the portion where the baggage is valuable in a color corresponding to whether or not the baggage is valuable.
  • a heat map showing the portion corresponding to the recognized package in colors corresponding to the weight of the package is presented as alert information. Therefore, the user can intuitively grasp the weight of the luggage to be carried. Further, when the operation state is determined to be the second operation state, a heat map is presented as alert information, in which a portion corresponding to the recognized baggage is displayed in a color corresponding to whether the baggage is valuable or not. be. Therefore, the user can intuitively grasp whether or not the luggage to be carried is a valuable item.
  • the delivery information is redelivery information indicating whether or not redelivery of the package has been requested, or whether the recipient of the package has a scheduled delivery date of the package.
  • the delivery management server updates the redelivery information or the absence information for the parcel ID; and the control unit changes the operating state to the third operating state. and the redelivery information included in the received delivery information indicates that the redelivery is requested, or the absence information included in the received delivery information indicates that the The alert information may be generated if the recipient indicates that the recipient will be absent on the scheduled delivery date.
  • alert information when the operating state is determined to be the third operating state and the redelivery information included in the delivery information indicates that redelivery is requested, or the absence information included in the delivery information , the alert information is generated if it indicates that the recipient will be absent on the scheduled delivery date. Therefore, alert information can be presented to the user when redelivery is requested for the package being carried by the user, or when the recipient of the package being carried by the user is absent on the scheduled delivery date. .
  • the wearable device further includes a memory that stores the determined operating state, and the control unit determines that the operating state is the second operating state. if the previous operating state is obtained from the memory, and if the previous operating state is the first operating state, the alert information is generated, and the previous operating state is the third operating state. In this case, the alert information need not be generated.
  • the determined operating state is stored in the memory. If the operating state is determined to be the second operating state, the previous operating state is obtained from the memory. Then, if the previous operating state was the first operating state, alert information is generated, and if the previous operating state was the third operating state, alert information is not generated.
  • the user's motion state transitions from the first motion state to the second motion state
  • the user is about to pick up a package. In this case, it is possible to call attention to the user by outputting alert information.
  • the user's motion state transitions from the third motion state to the second motion state
  • the user is in a state of letting go of the baggage that he or she was carrying. In this case, by not outputting alert information, it is possible to prevent unnecessary alert information from being presented to the user.
  • the wearable device according to any one of (1) to (9) above, wherein the wearable device further comprises a display unit, the control unit outputs the alert information to the display unit, The display unit may display the alert information as augmented reality in the field of view of the user.
  • the alert information is output to the display unit, and the display unit displays the alert information as augmented reality in the user's field of vision, so the user can check the alert information while looking at the package.
  • the wearable device further includes a speaker, and the control unit outputs the alert information to the speaker, may output the alert information by voice.
  • the alert information is output to the speaker, and the speaker outputs the alert information by voice, so the user can check the alert information while looking at the package.
  • the present disclosure can be realized not only as a wearable device having the characteristic configuration as described above, but also as an information processing method for executing characteristic processing corresponding to the characteristic configuration of the wearable device. It can also be realized. Moreover, it can also be realized as a computer program that causes a computer to execute characteristic processing included in such an information processing method. Therefore, the following other aspects can also provide the same effects as the wearable device described above.
  • An information processing method is an information processing method in a wearable device worn on a user's head, in which an image captured by a camera that captures the user's field of view is acquired. recognizing the luggage and the hand of the user from the acquired image by image recognition processing, and determining the movement state of the user with respect to the luggage based on the positional relationship between the recognized luggage and the hand; A parcel ID for identifying the parcel is recognized from the acquired image by image recognition processing, and the recognized parcel ID and operation state information indicating the determined operation state are transmitted to a delivery management server. receiving delivery information about the package corresponding to the package ID and the operating state information from the delivery management server, generating alert information to be presented to the user based on the received delivery information, and generating the generated alert information to output
  • An information processing program obtains an image captured by a camera that captures a field of view of a user, and performs image recognition processing on a package and the user's hand from the acquired image. and based on the recognized positional relationship between the package and the hand, the user's movement state with respect to the package is determined, and from the acquired image, a package ID for identifying the package is image recognition processed. and transmits the recognized package ID and operation state information indicating the determined operation state to a delivery management server, and sends delivery information on the package corresponding to the package ID and the operation state information to the delivery management server. It receives from the management server, generates alert information to be presented to the user based on the received delivery information, and causes the computer to output the generated alert information.
  • a non-temporary computer-readable recording medium recording an information processing program acquires an image captured by a camera that captures the user's field of view, and from the acquired image recognizing the luggage and the hand of the user by image recognition processing, determining the movement state of the user with respect to the luggage based on the positional relationship between the recognized luggage and the hand, and from the acquired image,
  • a package ID for identifying the package is recognized by image recognition processing, the recognized package ID and operation state information indicating the determined operation state are transmitted to a delivery management server, and the package ID and the operation state are transmitted to a delivery management server.
  • a computer configured to receive, from the delivery management server, delivery information related to the parcel corresponding to the information, generate alert information to be presented to the user based on the received delivery information, and output the generated alert information; function.
  • FIG. 1 is a diagram showing an example of the configuration of a delivery system according to the embodiment of the present disclosure
  • FIG. 2 is a diagram showing the appearance of smart glasses 3 according to the embodiment of the present disclosure.
  • the delivery system shown in FIG. 1 includes a terminal 1 , a delivery management server 2 and smart glasses 3 .
  • the terminal 1 is, for example, a smartphone, tablet computer, or personal computer, and is used by the recipient of the package.
  • the terminal 1 includes a control section 11 , a touch panel 12 and a communication section 13 .
  • the control unit 11 is, for example, a central processing unit (CPU) and controls the terminal 1 as a whole.
  • the control unit 11 causes the touch panel 12 to display a redelivery acceptance screen for accepting a request for redelivery of the package, and also displays an input as to whether or not the recipient of the package is absent on the scheduled delivery date of the package. An absence input reception screen is displayed on the touch panel 12.
  • the touch panel 12 displays various information and accepts input operations by the recipient.
  • the touch panel 12 accepts a request for redelivery from the recipient on the redelivery acceptance screen, and also accepts input from the recipient of the desired date and time for redelivery.
  • the recipient inputs, on the touch panel 12, the package ID of the package that could not be received, an instruction to request redelivery, and the desired date and time for redelivery.
  • the touch panel 12 accepts an input that the recipient is absent on the scheduled delivery date on the absence input acceptance screen. If the recipient is absent on the scheduled delivery date of the package and cannot receive the package, he/she inputs to the touch panel 12 that he/she is absent on the scheduled delivery date.
  • the communication unit 13 When a request for redelivery is accepted by the touch panel 12, the communication unit 13 transmits redelivery request information for requesting redelivery of the package to the delivery management server 2, including the package ID and desired date and time for redelivery. Further, when the touch panel 12 accepts an input indicating that the recipient is absent on the scheduled delivery date, the communication unit 13 delivers absence notification information for notifying that the recipient is absent on the scheduled delivery date. Send to management server 2 .
  • the delivery management server 2 manages the delivery status of packages.
  • the delivery management server 2 manages package information on packages and transmits delivery information to the smart glasses 3 in response to requests from the smart glasses 3 .
  • the delivery management server 2 is connected to each of the terminal 1 and the smart glasses 3 via the network 4 so as to be able to communicate with each other.
  • Network 4 is, for example, the Internet.
  • the delivery management server 2 comprises a communication section 21, a memory 22 and a control section 23.
  • the communication unit 21 receives redelivery request information from the terminal 1 for requesting redelivery of the package.
  • the communication unit 21 also receives, from the terminal 1, absence notification information for notifying that the recipient of the package is absent on the scheduled delivery date of the package.
  • the communication unit 21 receives the package ID and the operating state information from the smart glasses 3 .
  • the communication unit 21 transmits to the smart glasses 3 delivery information related to the package corresponding to the package ID and the operating state information.
  • the memory 22 is, for example, a RAM (Random Access Memory), HDD (Hard Disk Drive), SSD (Solid State Drive), flash memory, or other storage device capable of storing various information.
  • the memory 22 stores package information about packages.
  • FIG. 3 is a diagram showing an example of package information in this embodiment.
  • the package information shown in FIG. 3 includes a package ID for identifying the package, address information indicating the address of the package, destination information indicating the destination of the package, package type information indicating the type of package, weight information indicating the weight of the package, Valuable item flag (valuable item information) indicating whether the package is valuable, Redelivery flag (redelivery information) indicating whether redelivery is requested for the package, It includes a desired redelivery date and time indicating the desired date and time of delivery, and an absence flag (absence information) indicating whether or not the recipient of the package is absent on the scheduled delivery date of the package.
  • the type of package indicates the content of the package, such as fragile items, foodstuffs, or books.
  • the weight information and valuable item flag are entered by the client who requested the delivery of the package or the worker who collected the package. If the valuables flag is on, it indicates that the luggage is valuables, and if the valuables flag is off, it indicates that the luggage is not valuables.
  • the control unit 23 is, for example, a CPU, and controls the delivery management server 2 as a whole.
  • the control unit 23 updates the redelivery flag (redelivery information) or absence flag (absence information) for the parcel ID. Based on the redelivery request information received by the communication unit 21 , the control unit 23 updates the redelivery flag and desired redelivery date and time of the parcel information stored in the memory 22 . Also, the control unit 23 updates the absence flag of the parcel information stored in the memory 22 based on the absence notification information received by the communication unit 21 .
  • the control unit 23 If the recipient does not request redelivery, the control unit 23 turns off the redelivery flag. Further, when the redelivery request information is received and the recipient requests redelivery, the control unit 23 turns on the redelivery flag. If the redelivery request information received from the terminal 1 includes the desired redelivery date and time, the control unit 23 updates the desired redelivery date and time.
  • control unit 23 turns off the absence flag when the recipient has not been notified that the recipient will be absent on the scheduled delivery date. Further, when the absence notification information is received and the recipient is notified that the recipient will be absent on the scheduled delivery date, the control unit 23 turns on the absence flag.
  • the control unit 23 reads the delivery information corresponding to the package ID and the operation state information from the memory 22, and sends the read delivery information to the communication unit 21. to the smart glasses 3 via.
  • the smart glasses 3 are glasses-type wearable devices worn on the user's head.
  • the user is a worker who sorts or delivers packages.
  • a user wears the smart glasses 3 to perform work.
  • the smart glasses 3 shown in FIGS. 1 and 2 include a camera 31, a control section 32, a memory 33, a communication section 34 and a display section 35.
  • the camera 31 captures the user's field of view.
  • the camera 31 is provided on the right side of the main body of the smart glasses 3 and captures the front of the user wearing the smart glasses 3 .
  • the angle of view and focal length of the camera 31 are set to be substantially the same as the field of view of the user. Therefore, the image captured by the camera 31 is substantially the same as the scenery seen by the user with the naked eye.
  • Camera 31 outputs the captured image to control section 32 .
  • the control unit 32 acquires an image captured by the camera 31.
  • the control unit 32 recognizes the package and the user's hand from the acquired image by image recognition processing.
  • the control unit 32 determines the user's motion state with respect to the luggage based on the recognized positional relationship between the luggage and the hand.
  • the operating states are a first operating state in which the user is looking at the package at a predetermined distance from the package, a second operating state immediately before the user picks up the package, and a third operating state in which the user is carrying the package. including.
  • the control unit 32 determines that the operation state is the first operation state.
  • the control unit 32 recognizes at least one of the user's right hand and left hand, and if the recognized right hand and left hand of the user are not located at the right end and left end of the recognized luggage, the operation state is the second operation state. Determine that there is.
  • the control unit 32 recognizes at least one of the user's right hand and left hand, and when the recognized right hand and left hand of the user are positioned at the right end and left end of the recognized luggage, the operation state is the third operation state. Determine that there is.
  • the control unit 32 recognizes the package ID for identifying the package from the acquired image by image recognition processing. When determining that the operating state is the first operating state, the control unit 32 recognizes package IDs for identifying all packages included in the acquired image by image recognition processing. Further, when the control unit 32 determines that the operating state is the second operating state or the third operating state, the control unit 32 specifies one package that is the work target of the user, and selects the specified one package from the acquired image. A parcel ID for identification is recognized by image recognition processing.
  • the control unit 32 determines that the operation state is the second operation state, the control unit 32 selects the package closest to at least one of the recognized position of the user's right hand and the recognized position of the user's left hand as the work object of the user. is specified as one package, and the package ID of the specified one package is recognized. For example, when the control unit 32 determines that the operation state is the second operation state and recognizes both hands of the user, the control unit 32 is closest to both the recognized tip of the user's right hand and the recognized tip of the user's left hand.
  • a package may be identified as one package that the user is working on.
  • the control unit 32 determines that the operation state is the second operation state and recognizes either one of the right hand and the left hand of the user
  • the tip portion of the recognized right hand of the user or the recognized left hand of the user may be identified as the single package that the user is working on.
  • control unit 32 determines that the operation state is the third operation state, the control unit 32 selects a package between the recognized position of the user's right hand and the recognized position of the user's left hand as the work object of the user. A particular package is specified, and the package ID of the specified package is recognized.
  • the memory 33 is a storage device capable of storing various information such as RAM or flash memory.
  • the memory 33 stores various information.
  • control unit 32 determines that the operation state is the first operation state, the control unit 32 recognizes the delivery area corresponding to the shelf on which the package is placed by image recognition processing from the acquired image. Packages are placed on shelves classified by delivery area.
  • the communication unit 34 transmits to the delivery management server 2 the parcel ID recognized by the control unit 32 and operation state information indicating the operation state determined by the control unit 32 . Further, the communication unit 34 receives delivery information about the package corresponding to the package ID and the operating state information from the delivery management server 2 .
  • the control unit 23 of the delivery management server 2 When the operation state information indicating that the operation state is the first operation state is received, the control unit 23 of the delivery management server 2 reads the destination information corresponding to the package ID from the package information stored in the memory 22. , to generate delivery information including at least package ID and destination information. Further, when the operation state information indicating that the operation state is the second operation state is received, the control unit 23 reads the weight information corresponding to the package ID from the package information stored in the memory 22, and reads the weight information corresponding to the package ID. and shipping information including at least weight information. Further, when the operating state information indicating that the operating state is the third operating state is received, the control unit 23 selects from the package information stored in the memory 22 a redelivery flag (redelivery information) corresponding to the package ID.
  • redelivery flag redelivery information
  • the communication unit 21 transmits the delivery information generated by the control unit 23 to the smart glasses 3 .
  • the control unit 32 Based on the delivery information received by the communication unit 34, the control unit 32 generates alert information to be presented to the user.
  • control unit 32 determines that the operating state is the first operating state, and the destination included in the received delivery information is not included in the recognized delivery area, it generates alert information. In this case, the control unit 32 generates alert information to warn that the package is placed on the shelf corresponding to the wrong delivery area.
  • control unit 32 determines that the operating state is the second operating state, and generates alert information when the weight included in the received delivery information is equal to or greater than the threshold. In this case, the control unit 32 generates alert information for warning that the weight of the package is equal to or greater than the threshold.
  • control unit 32 determines that the operating state is the third operating state, and the redelivery flag (redelivery information) included in the delivery information received by the communication unit 34 indicates that the redelivery is requested. or if the absence flag (absence information) included in the delivery information received by the communication unit 34 indicates that the recipient is absent on the scheduled delivery date, alert information is generated.
  • the control unit 32 When the redelivery flag (redelivery information) included in the delivery information received by the communication unit 34 indicates that redelivery is requested, the control unit 32 requests redelivery for the recognized parcel. Generate alert information indicating that In addition, if the absence flag (absence information) included in the delivery information received by the communication unit 34 indicates that the recipient is absent on the scheduled delivery date, the control unit 32 sets the estimated delivery date of the recognized parcel. to generate alert information indicating that the recipient is absent.
  • control unit 32 outputs the generated alert information. At this time, the control unit 32 outputs alert information to the display unit 35 .
  • the display unit 35 is a light transmissive display that displays alert information as augmented reality in the user's field of vision.
  • the display unit 35 displays alert information in front of the right eye of the user wearing the smart glasses 3, for example.
  • FIG. 4 is a first flowchart for explaining alert information presentation processing by the smart glasses 3 in the embodiment of the present disclosure
  • FIG. 5 is an alert information presentation processing by the smart glasses 3 in the embodiment of the present disclosure. It is the 2nd flowchart for demonstrating about.
  • step S1 the camera 31 captures the field of view of the user. During the user's work, the camera 31 continuously captures the user's field of view.
  • step S2 the control unit 32 acquires from the camera 31 an image obtained by the camera 31 photographing the field of view of the user.
  • step S3 the control unit 32 recognizes the package, the user's left hand, and the user's right hand from the acquired image by image recognition processing.
  • FIG. 6 is a diagram showing an example of an image captured by the camera 31 in the first operating state.
  • the packages are placed on shelves separated by delivery area.
  • the user In the first operating state, the user is looking at the package at a predetermined distance from the package.
  • both hands of the user are not in the field of vision of the user, and only the baggage is in the field of view. That is, when only the package is shown in the image and the user's hands are not shown, it is determined that the user's motion state is the first motion state in which the user is looking at the package at a predetermined distance from the package. be able to.
  • the control unit 32 recognizes the package, the user's left hand, and the user's right hand from the image captured by the camera 31 .
  • a plurality of packages recognized from image 501 are represented by rectangular frame lines 511-517. Since both hands of the user are not shown in the image 501, multiple packages are recognized and the right and left hands of the user are not recognized.
  • FIG. 7 is a diagram showing an example of an image captured by the camera 31 in the second operating state.
  • the user In the second operating state, the user is reaching toward the package to hold it.
  • the user's field of vision includes at least one of the user's right hand and left hand as well as the package.
  • the user's right hand and left hand are not positioned at the right and left ends of the luggage. That is, when the image shows the package and at least one of the user's right hand and left hand, and the user's right hand and left hand are not positioned at the right and left ends of the package, the user's operation state is the same as when the user is holding the package. It can be determined that it is in the immediately preceding second operating state.
  • the control unit 32 recognizes the user's work target package, the user's left hand, and the user's right hand from the image captured by the camera 31 .
  • the luggage recognized from the image 502 is represented by a rectangular frame line 511
  • the left hand of the user recognized from the image 502 is represented by a rectangular frame line 521
  • the user's left hand recognized from the image 502 is represented by a rectangular frame line 521.
  • the right hand is represented by a rectangular frame line 522 .
  • the frame line 521 corresponding to the user's left hand is located at the left end of the frame line 511 corresponding to the package
  • the frame line 522 corresponding to the user's right hand is located at the right end of the frame line 511 corresponding to the package.
  • FIG. 8 is a diagram showing an example of an image captured by the camera 31 in the third operating state.
  • the user In the third operating state, the user is carrying a load.
  • a user holds a package with both hands when carrying the package.
  • the user's left thumb and right thumb are placed on the upper surface of the luggage, and the luggage is between the user's left and right hands.
  • the user's field of vision includes both the user's right and left hands as well as the package, and the user's right and left hands are positioned at the right and left ends of the package. That is, when the image shows the package and at least one of the user's right hand and left hand, and the user's right hand and left hand are positioned at the right and left ends of the package, the user's operation state is the same as when the user is carrying the package. It can be determined that it is in the third operating state.
  • the control unit 32 recognizes the user's work target package, the user's left hand, and the user's right hand from the image captured by the camera 31 .
  • the package recognized from the image 503 is represented by a rectangular frame line 511
  • the left hand of the user recognized from the image 503 is represented by a rectangular frame line 521
  • the user's left hand recognized from the image 501 is represented by a rectangular frame line 521
  • the right hand is represented by a rectangular frame line 522 .
  • the frame line 521 corresponding to the user's left hand is located at the left end of the frame line 511 corresponding to the package
  • the frame line 522 corresponding to the user's right hand is located at the right end of the frame line 511 corresponding to the package.
  • control unit 32 performs image recognition processing using an image recognition model machine-learned so as to recognize the package, the user's left hand, and the user's right hand from the image.
  • the control unit 32 inputs an image captured by the camera 31 to a machine-learned image recognition model, and obtains a recognition result from the image recognition model.
  • the recognition results represent the position of the parcel on the image, the position of the user's left hand, and the position of the user's right hand.
  • Machine learning includes, for example, supervised learning that learns the relationship between input and output using supervised data in which labels (output information) are assigned to input information, and data structure from only unlabeled inputs. , semi-supervised learning that handles both labeled and unlabeled behaviors, and reinforcement learning that learns actions that maximize rewards by trial and error.
  • specific techniques of machine learning include neural networks (including deep learning using multilayer neural networks), genetic programming, decision trees, Bayesian networks, support vector machines (SVM), etc. exist. In the machine learning of the image recognition model, any one of the specific examples given above may be used.
  • control unit 32 may recognize the package, the user's left hand, and the user's right hand from the image by pattern matching.
  • step S4 the control unit 32 determines whether or not the package has been recognized from the image. Here, if it is determined that the baggage is not recognized from the image (NO in step S4), the process returns to step S1.
  • step S5 the control unit 32 determines whether at least one of the user's right hand and left hand has been recognized from the image. If it is determined that at least one of the user's right hand and left hand is not recognized from the image, that is, if it is determined that both the user's right hand and left hand are not recognized from the image (NO in step S5), step In S6, the control unit 32 determines that the operating state is the first operating state. In the image 501 shown in FIG. 6, only the luggage is recognized and the user's right hand and left hand are not recognized, so the motion state is determined to be the first motion state.
  • step S7 the control unit 32 recognizes the package IDs of all packages in the image by image recognition processing.
  • FIG. 9 is a diagram for explaining the process of recognizing the parcel ID from the image captured by the camera 31 in the first operating state.
  • the luggage is placed so that the front is visible to the user.
  • a bar code indicating a package ID is attached to the front of the package.
  • the control unit 32 recognizes the baggage ID by recognizing the barcodes of all the baggage from the images captured by the camera 31 and reading the baggage IDs from the recognized barcodes.
  • barcodes indicating package IDs recognized from image 501 are represented by rectangular frame lines 531-537.
  • the control unit 32 recognizes the package ID of each of the plurality of packages.
  • the parcel ID is indicated by a bar code in the present embodiment, the present disclosure is not particularly limited to this, and the parcel ID may be indicated by a two-dimensional code.
  • the control unit 32 may recognize the package ID by recognizing the two-dimensional code from the image captured by the camera 31 and reading the package ID from the recognized two-dimensional code.
  • step S8 the control unit 32 recognizes the delivery area corresponding to the shelf in the image by image recognition processing.
  • a bar code indicating the delivery area of the package placed on the shelf is pasted on the shelf.
  • the control unit 32 recognizes the delivery area by recognizing the barcodes of all the shelves from the image captured by the camera 31 and reading the delivery area from the recognized barcodes.
  • the barcode indicating the delivery area recognized from the image 501 is represented by rectangular frame lines 541 and 542 . If multiple barcodes indicating multiple delivery areas are attached to the shelf, the control unit 32 recognizes the multiple delivery areas from the image.
  • step S9 the control unit 32 determines whether the user's right hand and left hand are positioned at the right end and left end of the package. Determine whether or not
  • step S10 the control unit 32 determines that the operation state is the second operation state. judge. In the image 502 shown in FIG. 7, the package and the user's right and left hands are recognized, but the user's right and left hands are not positioned at the right and left ends of the package, so the operation state is the second operation state. It is determined that there is
  • step S11 the control unit 32 determines that the operating state is the third operating state. do.
  • the package and the user's right and left hands are recognized, and the user's right and left hands are positioned at the right and left ends of the package, so the operation state is the third operation state. is determined.
  • step S12 the control unit 32 recognizes the package ID of the package that the user is working on by image recognition processing.
  • FIG. 10 is a diagram for explaining the process of recognizing the parcel ID from the image captured by the camera 31 in the second operating state.
  • a barcode indicating the package ID is attached to the front of the package.
  • the control unit 32 identifies the package that the user is going to carry, that is, the package to be worked on, from the image captured by the camera 31 . Then, the control unit 32 recognizes the barcode of the specified package and reads the package ID from the recognized barcode, thereby recognizing the package ID.
  • the barcode indicating the parcel ID recognized from the image 502 is represented by a rectangular frame line 531 .
  • FIG. 11 is a diagram for explaining the process of recognizing the parcel ID from the image captured by the camera 31 in the third operating state.
  • a barcode indicating the ID of the package is also attached to the top of the package.
  • the control unit 32 identifies the package being carried by the user, that is, the package to be worked on, from the image captured by the camera 31 . Then, the control unit 32 recognizes the barcode of the specified package and reads the package ID from the recognized barcode, thereby recognizing the package ID.
  • the bar code indicating the package ID recognized from the image 503 is represented by a rectangular frame line 531 .
  • step S13 the communication unit 34 sends the parcel ID recognized by the control unit 32 and the operation state information indicating the operation state determined by the control unit 32 to the delivery management server 2.
  • the communication unit 21 of the delivery management server 2 receives the parcel ID and operation state information transmitted by the smart glasses 3 .
  • the control unit 23 of the delivery management server 2 generates delivery information corresponding to the package ID and operation status information received by the communication unit 21 from the package information stored in the memory 22 .
  • the communication unit 21 of the delivery management server 2 transmits the delivery information generated by the control unit 23 to the smart glasses 3 .
  • the control unit 23 reads the destination information corresponding to the package ID from the package information stored in the memory 22, and reads the delivery information including at least the package ID and the destination information. to generate
  • the control unit 23 reads weight information corresponding to the package ID from the package information stored in the memory 22, and outputs delivery information including at least the package ID and weight information. Generate.
  • the control unit 23 retrieves a redelivery flag (redelivery information) and an absence flag (absence information) corresponding to the package ID from the package information stored in the memory 22. Delivery information including at least a parcel ID, a redelivery flag (redelivery information) and an absence flag (absence information) is generated.
  • step S14 the communication unit 34 receives the delivery information transmitted by the delivery management server 2.
  • step S15 the control unit 32 determines whether or not the operating state is the first operating state.
  • step S16 the control unit 32 determines that the destination of the parcel included in the delivery information received by the communication unit 34 is Determine whether or not it is included in the recognized delivery area.
  • the control unit 32 determines whether the destination of each of the packages is included in the delivery area corresponding to the rack on which each of the packages is placed.
  • a frame line 541 below a frame line 531 indicating a parcel ID indicates the delivery area of the parcel specified by the parcel ID within the frame line 531, and frame lines 532 to 536 indicating the parcel IDs.
  • a lower frame line 542 indicates the delivery area of the packages identified by the package IDs within the frame lines 532-536.
  • the control unit 32 determines whether the destination of the package corresponding to the package ID specified by the barcode within the frame line 531 is included in the delivery area specified by the barcode within the frame line 541 below the frame line 531.
  • control unit 32 specifies the destination of each package corresponding to the package ID specified by each barcode within the frame lines 532 to 536 by the barcode within the frame line 542 below the frame lines 532 to 536. determines whether it is included in the delivery area.
  • step S16 if it is determined that the destination of the package is included in the delivery area (YES in step S16), the process returns to step S1. In this case, since the package is placed on the shelf corresponding to the correct delivery area, no alert information is output.
  • step S17 the control unit 32 determines that the parcel is placed on the shelf corresponding to the wrong delivery area. Generate alert information to warn about
  • step S16 the control unit 32 determines whether or not all destinations of the plurality of parcels are included in the delivery area. If the destinations of all packages of the plurality of packages are included in the delivery area, the process returns to step S1. Further, when the destination of at least one package among the plurality of packages is not included in the delivery area, the process proceeds to step S17.
  • step S18 determines whether the operating state is the second operating state.
  • the control unit 32 determines that the weight included in the delivery information received by the communication unit 34 is equal to or greater than the threshold. Determine whether or not there is Note that the threshold is stored in the memory 33 in advance.
  • step S19 if it is determined that the weight is not equal to or greater than the threshold (NO in step S19), the process returns to step S1. In this case, since the weight of the package is lighter than the threshold, no alert information is output.
  • step S17 the control unit 32 generates alert information to warn that the weight of the package is equal to or greater than the threshold.
  • step S20 the control unit 32 It is determined whether or not at least one of the redelivery flag and the absence flag included in the delivery information received by the unit 34 is on. Here, if it is determined that both the redelivery flag and the absence flag are off (NO in step S20), the process returns to step S1. In this case, no alert information is output because the recipient has not requested redelivery of the package or has not been notified that the recipient will be absent on the scheduled delivery date of the package.
  • step S20 if it is determined that at least one of the redelivery flag and the absence flag is ON (YES in step S20), the control unit 32 generates alert information in step S17. At this time, if it is determined that the redelivery flag is ON, the control unit 32 generates alert information indicating that redelivery of the package being carried by the user is requested. Also, when it is determined that the absence flag is ON, the control unit 32 generates alert information indicating that the recipient is absent on the scheduled delivery date of the package being carried by the user.
  • control unit 32 when it is determined that both the redelivery flag and the absence flag are on, the control unit 32 outputs alert information indicating that redelivery of the package being carried by the user has been requested and Both alert information indicating that the recipient will be absent on the scheduled delivery date of the package being carried may be generated.
  • step S21 the display unit 35 displays the alert information as augmented reality in the user's field of vision.
  • FIG. 12 is a diagram showing an example of alert information displayed on the display unit 35 of the smart glasses 3 in the first operating state.
  • the alert information 601 shown in FIG. 12 indicates in characters that a package is placed on the shelf corresponding to the wrong delivery area.
  • a rectangular frame line 602 indicates a package placed on the shelf corresponding to the wrong delivery area among the plurality of recognized packages.
  • Alert information 601 and border 602 are displayed as augmented reality in the real environment viewed by the user. Therefore, by viewing the alert information 601, the user can know that the package is placed on the shelf corresponding to the wrong delivery area.
  • FIG. 13 is a diagram showing an example of alert information displayed on the display unit 35 of the smart glasses 3 in the second operating state.
  • the alert information 611 shown in FIG. 13 indicates in characters that the weight of the package to be worked on is greater than or equal to the threshold.
  • a threshold is, for example, 5 kg.
  • Alert information 611 is displayed as augmented reality in the real environment viewed by the user. Therefore, by looking at the alert information 611, the user can know that the weight of the baggage to be carried is equal to or greater than the threshold.
  • FIG. 14 is a diagram showing an example of alert information displayed on the display unit 35 of the smart glasses 3 in the third operating state.
  • the alert information 621 shown in FIG. 14 expresses in text that a redelivery request has been made for the package that the user is carrying.
  • Alert information 621 is displayed as augmented reality in the real environment viewed by the user. Therefore, by looking at the alert information 621, the user can know that the package he is carrying needs attention.
  • the luggage and the user's hand are recognized by image recognition processing from the image showing the field of view of the user photographed by the camera 31, and the user's hand with respect to the luggage is determined based on the positional relationship between the recognized luggage and the hand. is determined. Then, alert information to be presented to the user is generated based on the delivery information about the package corresponding to the package ID for identifying the package and the operation state information indicating the determined operation state. output.
  • alert information is presented according to the user's operation status for the package, it is possible to reduce delivery errors and delivery losses, and improve delivery efficiency.
  • the heat map shows the portion corresponding to the recognized package in a color corresponding to the weight of the package. may be generated as alert information.
  • FIG. 15 is a diagram showing another example of alert information displayed on the display unit 35 of the smart glasses 3 in the second operating state.
  • the control unit 32 recognizes the plurality of packages and the user's right hand from the image 504 shown in FIG.
  • the control unit 32 determines that the user's motion state is the second motion state immediately before the user picks up the package, and recognizes the package IDs of the multiple packages included in the image 504 .
  • the communication unit 34 transmits a plurality of package IDs and operation status information to the delivery management server 2 and receives delivery information corresponding to each of the plurality of package IDs from the delivery management server 2 .
  • the shipping information includes the weight of the parcel.
  • the control unit 32 generates, as the alert information 631, a heat map in which the portion corresponding to the recognized package is represented by colors corresponding to the weight of the package.
  • Alert information 631 is displayed as augmented reality in the real environment viewed by the user. Since the weight of the luggage is represented by color gradation, the user can intuitively grasp the weight of the luggage to be carried by looking at the alert information 631 .
  • the delivery information includes the weight of the parcel
  • the control unit 32 determines that the operating state is the second operating state
  • the weight included in the received delivery information is equal to or greater than the threshold.
  • alert information is generated, but the present disclosure is not particularly limited to this.
  • the delivery information may include valuables information indicating whether the package is valuables.
  • the control unit 23 of the delivery management server 2 selects the valuable information corresponding to the package ID from the package information stored in the memory 22 .
  • An item flag (valuable item information) may be read to generate delivery information including at least a parcel ID and a valuable item flag (valuable item information).
  • the communication unit 21 then transmits the delivery information generated by the control unit 23 to the smart glasses 3 .
  • the control unit 32 may generate alert information when a valuable item flag (valuable item information) included in the received delivery information indicates that the package is a valuable item. When the valuable item flag is ON, the control unit 32 may generate alert information indicating that the luggage that the user is about to carry is a valuable item.
  • control unit 32 may generate, as alert information, a heat map in which the portion corresponding to the recognized package is represented by colors according to whether the package is valuable. For example, the control unit 32 may generate, as alert information, a heat map in which portions corresponding to packages that are valuables are indicated in red and portions corresponding to packages that are not valuables are indicated in blue.
  • the threshold value to be compared with the weight is stored in the memory 33 in advance, but the present disclosure is not particularly limited to this, and may differ according to the attributes of the user.
  • the communication unit 34 transmits to the delivery management server 2 the parcel ID, the operating state information, and the attribute information indicating the attributes of the user.
  • the attribute information includes age and sex and is stored in memory 33 .
  • the communication unit 21 of the delivery management server 2 receives the package ID, operating state information, and attribute information transmitted by the smart glasses 3 .
  • the memory 22 of the delivery management server 2 stores in advance weight threshold information in which attribute information and weight thresholds are associated with each other.
  • FIG. 16 is a diagram showing an example of weight threshold information in a modified example of the present embodiment.
  • attribute information is associated with a weight threshold. For example, attribute information of age 55 or older is associated with a threshold of 3 kg, female attribute information is associated with a threshold of 5 kg, and other attribute information is associated with a threshold of 7 kg. are associated.
  • Delivery information includes different thresholds depending on the weight and attributes of the package.
  • the control unit 23 of the delivery management server 2 reads the weight threshold corresponding to the attribute information received by the communication unit 21 from the weight threshold information stored in the memory 22 .
  • the control unit 23 generates delivery information including at least the parcel ID, weight information and threshold.
  • the communication unit 21 transmits delivery information including at least the parcel ID, weight information and threshold to the smart glasses 3 .
  • the control unit 32 determines whether or not the weight included in the received delivery information is equal to or greater than the threshold included in the received delivery information. good.
  • the memory 33 of the smart glasses 3 may store in advance weight threshold information in which the attribute information and the weight threshold are associated with each other.
  • the control unit 32 may read the threshold corresponding to the attribute of the user from the weight threshold information stored in the memory 33 .
  • the control unit 32 of the smart glasses 3 may store the determined operating state in the memory 33, and the memory 33 may store the operating state determined by the control unit 32. .
  • the control unit 32 determines that the operation state is the second operation state, the control unit 32 may acquire the previous operation state from the memory 33 . Then, the control unit 32 may generate alert information when the previous operating state is the first operating state, and may not generate alert information when the previous operating state is the third operating state.
  • the control unit 32 may store the determined first operating state in the memory 33.
  • the control unit 32 may store the determined second operating state in the memory 33.
  • FIG. After the operation state is determined to be the third operation state in step S11 of FIG. 4, the control unit 32 may store the determined third operation state in the memory 33.
  • FIG. After storing the second operating state in the memory 33 , the control unit 32 may acquire the previous operating state from the memory 33 .
  • the control unit 32 may perform the processing after step S12 in FIG. 5 . Further, when the previous operation state is the third operation state, the control unit 32 may shift the process to step S1.
  • control unit 32 may acquire the previous operating state from the memory 33 . Then, when the previous operation state was the third operation state and the alert information was output, the control unit 32 may stop outputting the alert information.
  • the display unit 35 displays alert information, but the present disclosure is not particularly limited to this.
  • the smart glasses 3 may include a speaker, and the control unit 32 may output alert information to the speaker.
  • the speaker may audibly output the alert information.
  • control unit 32 may stop outputting the alert information when a predetermined time has passed since the alert information was output.
  • each component may be implemented by dedicated hardware or by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • the program may be executed by another independent computer system by recording the program on a recording medium and transferring it, or by transferring the program via a network.
  • LSI Large Scale Integration
  • circuit integration is not limited to LSIs, and may be realized by dedicated circuits or general-purpose processors.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connections and settings of the circuit cells inside the LSI may be used.
  • a processor such as a CPU executing a program.
  • each step shown in the above flowchart is executed is for illustrative purposes in order to specifically describe the present disclosure, and may be an order other than the above as long as the same effect can be obtained. . Also, some of the above steps may be executed concurrently (in parallel) with other steps.
  • the technology according to the present disclosure can reduce delivery errors and delivery losses, and can improve delivery efficiency, so it is useful as a technology for assisting users in carrying packages.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

スマートグラス（３）は、カメラ（３１）と、制御部（３２）と、通信部（３４）とを備え、カメラ（３１）は、ユーザの視界を撮影し、制御部（３２）は、カメラ（３１）によって撮影された画像を取得し、取得した画像から、荷物と、ユーザの手とを画像認識処理により認識し、認識した荷物と手との位置関係に基づいて、荷物に対するユーザの動作状態を判定し、取得した画像から、荷物を識別するための荷物ＩＤを画像認識処理により認識し、通信部（３４）は、認識された荷物ＩＤと、判定された動作状態を示す動作状態情報とに対応する荷物に関する配送情報を配送管理サーバ（２）から受信し、制御部（３２）は、配送情報に基づいて、ユーザに提示するアラート情報を生成し、生成したアラート情報を出力する。

Description

ウェアラブル装置、情報処理方法及び情報処理プログラム
　本開示は、ユーザによる荷物の運搬作業を支援する技術に関するものである。
　例えば、特許文献１において、作業者による物品のピッキング作業を支援する情報処理システムは、ピッキング作業対象の物品の識別に係る物品情報を取得し、作業者の習熟レベルを取得し、取得した物品情報に基づいて、ピッキング作業対象の物品に係る条件に合致するか否かを判定し、作業者の注意を喚起するピッキング作業の注意情報であって、取得した作業者の習熟レベルに応じた注意情報を決定し、条件に合致すると判定した場合に、決定した注意情報を出力するよう制御している。
　しかしながら、上記従来の技術では、荷物に対する作業者の動作状態に応じて注意情報が提示されるとは限らず、更なる改善が必要とされていた。
特許第６６９６０５７号公報
　本開示は、上記の問題を解決するためになされたもので、配送ミス及び配送ロスを削減することができるとともに、配送効率を向上させることができる技術を提供することを目的とするものである。
　本開示に係るウェアラブル装置は、ユーザの頭部に装着されるウェアラブル装置であって、カメラと、制御部と、通信部と、を備え、前記カメラは、前記ユーザの視界を撮影し、前記制御部は、前記カメラによって撮影された画像を取得し、取得した前記画像から、荷物と、前記ユーザの手とを画像認識処理により認識し、認識した前記荷物と前記手との位置関係に基づいて、前記荷物に対する前記ユーザの動作状態を判定し、取得した前記画像から、前記荷物を識別するための荷物ＩＤを画像認識処理により認識し、前記通信部は、認識された前記荷物ＩＤと、判定された前記動作状態を示す動作状態情報とを配送管理サーバに送信し、前記荷物ＩＤと前記動作状態情報とに対応する前記荷物に関する配送情報を前記配送管理サーバから受信し、前記制御部は、受信された前記配送情報に基づいて、前記ユーザに提示するアラート情報を生成し、生成した前記アラート情報を出力する。
　本開示によれば、荷物に対するユーザの動作状態に応じてアラート情報が提示されるので、配送ミス及び配送ロスを削減することができるとともに、配送効率を向上させることができる。
本開示の実施の形態における配送システムの構成の一例を示す図である。 本開示の実施の形態におけるスマートグラスの外観を示す図である。 本実施の形態における荷物情報の一例を示す図である。 本開示の実施の形態におけるスマートグラスによるアラート情報提示処理について説明するための第１のフローチャートである。 本開示の実施の形態におけるスマートグラスによるアラート情報提示処理について説明するための第２のフローチャートである。 第１動作状態において、カメラによって撮影された画像の一例を示す図である。 第２動作状態において、カメラによって撮影された画像の一例を示す図である。 第３動作状態において、カメラによって撮影された画像の一例を示す図である。 第１動作状態において、カメラによって撮影された画像から荷物ＩＤを認識する処理について説明するための図である。 第２動作状態において、カメラによって撮影された画像から荷物ＩＤを認識する処理について説明するための図である。 第３動作状態において、カメラによって撮影された画像から荷物ＩＤを認識する処理について説明するための図である。 第１動作状態において、スマートグラスの表示部に表示されるアラート情報の一例を示す図である。 第２動作状態において、スマートグラスの表示部に表示されるアラート情報の一例を示す図である。 第３動作状態において、スマートグラスの表示部に表示されるアラート情報の一例を示す図である。 第２動作状態において、スマートグラスの表示部に表示されるアラート情報の他の例を示す図である。 本実施の形態の変形例における重量閾値情報の一例を示す図である。
　（本開示の基礎となった知見）
　上記の従来技術では、スマートグラスに設けられたカメラによって、作業者の視線方向の撮影画像が取得され、取得された撮影画像から荷物の商品コードが取得され、商品コードに対応する注意情報がスマートグラスに設けられたディスプレイに表示される。したがって、注意情報は、商品毎に予め決められている。そのため、従来技術では、必ずしも、荷物に対する作業者の動作状態に応じて注意情報が表示されるとは限らない。
　以上の課題を解決するために、下記の技術が開示される。
　（１）本開示の一態様に係るウェアラブル装置は、ユーザの頭部に装着されるウェアラブル装置であって、カメラと、制御部と、通信部と、を備え、前記カメラは、前記ユーザの視界を撮影し、前記制御部は、前記カメラによって撮影された画像を取得し、取得した前記画像から、荷物と、前記ユーザの手とを画像認識処理により認識し、認識した前記荷物と前記手との位置関係に基づいて、前記荷物に対する前記ユーザの動作状態を判定し、取得した前記画像から、前記荷物を識別するための荷物ＩＤを画像認識処理により認識し、前記通信部は、認識された前記荷物ＩＤと、判定された前記動作状態を示す動作状態情報とを配送管理サーバに送信し、前記荷物ＩＤと前記動作状態情報とに対応する前記荷物に関する配送情報を前記配送管理サーバから受信し、前記制御部は、受信された前記配送情報に基づいて、前記ユーザに提示するアラート情報を生成し、生成した前記アラート情報を出力する。
　この構成によれば、カメラによって撮影されたユーザの視界を示す画像から、荷物と、ユーザの手とが画像認識処理により認識され、認識された荷物と手との位置関係に基づいて、荷物に対するユーザの動作状態が判定される。そして、荷物を識別するための荷物ＩＤと、判定された動作状態を示す動作状態情報とに対応する荷物に関する配送情報に基づいて、ユーザに提示するアラート情報が生成され、生成されたアラート情報が出力される。
　したがって、荷物に対するユーザの動作状態に応じてアラート情報が提示されるので、配送ミス及び配送ロスを削減することができるとともに、配送効率を向上させることができる。
　（２）上記（１）記載のウェアラブル装置において、前記動作状態は、前記荷物から所定距離離れた場所で前記ユーザが前記荷物を見ている第１動作状態と、前記ユーザが前記荷物を持つ直前の第２動作状態と、前記ユーザが前記荷物を運んでいる第３動作状態とを含み、前記制御部は、前記荷物を認識し、前記ユーザの両手を認識しなかった場合、前記動作状態が前記第１動作状態であると判定し、前記ユーザの右手及び左手の少なくとも一方を認識し、認識した前記ユーザの右手及び左手が、認識した前記荷物の右端及び左端に位置していない場合、前記動作状態が前記第２動作状態であると判定し、前記ユーザの右手及び左手の少なくとも一方を認識し、認識した前記ユーザの右手及び左手が、認識した前記荷物の右端及び左端に位置している場合、前記動作状態が前記第３動作状態であると判定してもよい。
　この構成によれば、荷物が認識され、ユーザの両手が認識されなかった場合、荷物から所定距離離れた場所でユーザが荷物を見ている第１動作状態に応じたアラート情報を提示することができる。また、ユーザの右手及び左手の少なくとも一方が認識され、認識されたユーザの右手及び左手が、認識された荷物の右端及び左端に位置していない場合、ユーザが荷物を持つ直前の第２動作状態に応じたアラート情報を提示することができる。さらに、ユーザの右手及び左手の少なくとも一方が認識され、認識されたユーザの右手及び左手が、認識された荷物の右端及び左端に位置している場合、ユーザが荷物を運んでいる第３動作状態に応じたアラート情報を提示することができる。
　（３）上記（２）記載のウェアラブル装置において、前記荷物は、配送エリア毎に区分けされた棚に置かれており、前記配送情報は、前記荷物の宛先を含み、前記制御部は、前記動作状態が前記第１動作状態であると判定した場合、取得した前記画像から、前記荷物が置かれてる棚に対応する配送エリアを画像認識処理により認識し、受信された前記配送情報に含まれる前記宛先が、認識した前記配送エリアに含まれない場合、前記アラート情報を生成してもよい。
　この構成によれば、動作状態が第１動作状態であると判定され、認識された荷物の宛先が、荷物が置かれてる棚に対応する配送エリアに含まれない場合、アラート情報が提示されるので、ユーザは、間違った配送エリアに対応する棚に荷物が置かれているのを知ることができる。
　（４）上記（２）記載のウェアラブル装置において、前記配送情報は、前記荷物の重量又は前記荷物が貴重品であるか否かを示す貴重品情報を含み、前記制御部は、前記動作状態が前記第２動作状態であると判定し、受信された前記配送情報に含まれる前記重量が閾値以上である場合、又は受信された前記配送情報に含まれる前記貴重品情報が、前記荷物が貴重品であることを示す場合、前記アラート情報を生成してもよい。
　この構成によれば、動作状態が第２動作状態であると判定され、認識された荷物の重量が閾値以上である場合、アラート情報が提示される。したがって、ユーザは、これから持とうとしている荷物の重量が閾値以上であることを知ることができる。また、動作状態が第２動作状態であると判定され、認識された荷物が貴重品である場合、アラート情報が提示される。したがって、ユーザは、これから持とうとしている荷物が貴重品であることを知ることができる。
　（５）上記（４）記載のウェアラブル装置において、前記通信部は、前記荷物ＩＤと、前記動作状態情報と、前記ユーザの属性を示す属性情報とを前記配送管理サーバに送信し、前記配送情報は、前記荷物の重量及び前記属性に応じて異なる前記閾値を含んでもよい。
　例えば、ユーザが持つことができる荷物の重量は、年齢又は性別などのユーザの属性によって異なる。この構成によれば、認識された荷物の重量と、ユーザの属性に応じて異なる閾値とが比較されるので、ユーザの属性に応じたアラート情報を提示することができる。
　（６）上記（２）記載のウェアラブル装置において、前記配送情報は、前記荷物の重量又は前記荷物が貴重品であるか否かを示す貴重品情報を含み、前記制御部は、前記動作状態が前記第２動作状態であると判定した場合、認識した前記荷物に対応する部分を、前記荷物の重量に応じた色によって表すヒートマップを前記アラート情報として生成する、又は、認識した前記荷物に対応する部分を、前記荷物が貴重品であるか否かに応じた色によって表すヒートマップを前記アラート情報として生成してもよい。
　この構成によれば、動作状態が第２動作状態であると判定された場合、認識された荷物に対応する部分を、荷物の重量に応じた色によって表すヒートマップがアラート情報として提示される。したがって、ユーザは、これから持とうとしている荷物の重量を直感的に把握することができる。また、動作状態が第２動作状態であると判定された場合、認識された荷物に対応する部分を、荷物が貴重品であるか否かに応じた色によって表すヒートマップがアラート情報として提示される。したがって、ユーザは、これから持とうとしている荷物が貴重品であるか否かを直感的に把握することができる。
　（７）上記（２）記載のウェアラブル装置において、前記配送情報は、前記荷物に対して再配達が依頼されているか否かを示す再配達情報又は前記荷物の受取人が前記荷物の配達予定日に不在であるか否かを示す不在情報を含み、前記配送管理サーバは、前記荷物ＩＤに対する前記再配達情報又は前記不在情報を更新し、前記制御部は、前記動作状態が前記第３動作状態であると判定し、受信された前記配送情報に含まれる前記再配達情報が、前記再配達が依頼されていることを示す場合、又は受信された前記配送情報に含まれる前記不在情報が、前記受取人が前記配達予定日に不在であることを示す場合、前記アラート情報を生成してもよい。
　この構成によれば、動作状態が第３動作状態であると判定され、配送情報に含まれる再配達情報が、再配達が依頼されていることを示す場合、又は配送情報に含まれる不在情報が、受取人が配達予定日に不在であることを示す場合、アラート情報が生成される。したがって、ユーザが運んでいる荷物に対して再配達が依頼されている場合、又はユーザが運んでいる荷物の受取人が配達予定日に不在である場合、ユーザにアラート情報を提示することができる。
　（８）上記（２）記載のウェアラブル装置において、前記ウェアラブル装置は、判定された前記動作状態を記憶するメモリをさらに備え、前記制御部は、前記動作状態が前記第２動作状態であると判定した場合、前回の前記動作状態を前記メモリから取得し、前回の前記動作状態が前記第１動作状態である場合、前記アラート情報を生成し、前回の前記動作状態が前記第３動作状態である場合、前記アラート情報を生成しなくてもよい。
　この構成によれば、判定された動作状態がメモリに記憶される。動作状態が第２動作状態であると判定された場合、前回の動作状態がメモリから取得される。そして、前回の動作状態が第１動作状態である場合、アラート情報が生成され、前回の動作状態が第３動作状態である場合、アラート情報が生成されない。
　ユーザの動作状態が第１動作状態から第２動作状態に遷移した場合、ユーザは、これから荷物を持とうとしている状態である。この場合、アラート情報が出力されることにより、ユーザに注意を促すことができる。一方、ユーザの動作状態が第３動作状態から第２動作状態に遷移した場合、ユーザは、持っていた荷物を離した状態である。この場合、アラート情報が出力されないことにより、ユーザに不必要なアラート情報が提示されるの防止することができる。
　（９）上記（２）記載のウェアラブル装置において、前記制御部は、前記動作状態が前記第１動作状態であると判定した場合、取得した前記画像に含まれる全ての荷物を識別するための荷物ＩＤを画像認識処理により認識し、前記動作状態が前記第２動作状態又は前記第３動作状態であると判定した場合、前記ユーザの作業対象である１の荷物を特定し、取得した前記画像から、特定した前記１の荷物を識別するための荷物ＩＤを画像認識処理により認識してもよい。
　この構成によれば、ユーザの動作状態が第１動作状態である場合、ユーザの視界にある全ての荷物に対するアラート情報を提示することができる。また、ユーザの動作状態が第２動作状態又は第３動作状態である場合、ユーザの作業対象である１の荷物に対するアラート情報を提示することができる。
　（１０）上記（１）～（９）のいずれか１つに記載のウェアラブル装置において、前記ウェアラブル装置は、表示部をさらに備え、前記制御部は、前記アラート情報を前記表示部に出力し、前記表示部は、前記ユーザの視界に前記アラート情報を拡張現実として表示してもよい。
　この構成によれば、アラート情報が表示部に出力され、表示部によって、ユーザの視界にアラート情報が拡張現実として表示されるので、ユーザは荷物を見ながらアラート情報を確認することができる。
　（１１）上記（１）～（１０）のいずれか１つに記載のウェアラブル装置において、前記ウェアラブル装置は、スピーカをさらに備え、前記制御部は、前記アラート情報を前記スピーカに出力し、前記スピーカは、前記アラート情報を音声出力してもよい。
　この構成によれば、アラート情報がスピーカに出力され、スピーカによって、アラート情報が音声出力されるので、ユーザは荷物を見ながらアラート情報を確認することができる。
　また、本開示は、以上のような特徴的な構成を備えるウェアラブル装置として実現することができるだけでなく、ウェアラブル装置が備える特徴的な構成に対応する特徴的な処理を実行する情報処理方法などとして実現することもできる。また、このような情報処理方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記のウェアラブル装置と同様の効果を奏することができる。
　（１２）本開示の他の態様に係る情報処理方法は、ユーザの頭部に装着されるウェアラブル装置における情報処理方法であって、前記ユーザの視界を撮影するカメラによって撮影された画像を取得し、取得した前記画像から、荷物と、前記ユーザの手とを画像認識処理により認識し、認識した前記荷物と前記手との位置関係に基づいて、前記荷物に対する前記ユーザの動作状態を判定し、取得した前記画像から、前記荷物を識別するための荷物ＩＤを画像認識処理により認識し、認識した前記荷物ＩＤと、判定した前記動作状態を示す動作状態情報とを配送管理サーバに送信し、前記荷物ＩＤと前記動作状態情報とに対応する前記荷物に関する配送情報を前記配送管理サーバから受信し、受信した前記配送情報に基づいて、前記ユーザに提示するアラート情報を生成し、生成した前記アラート情報を出力する。
　（１３）本開示の他の態様に係る情報処理プログラムは、ユーザの視界を撮影するカメラによって撮影された画像を取得し、取得した前記画像から、荷物と、前記ユーザの手とを画像認識処理により認識し、認識した前記荷物と前記手との位置関係に基づいて、前記荷物に対する前記ユーザの動作状態を判定し、取得した前記画像から、前記荷物を識別するための荷物ＩＤを画像認識処理により認識し、認識した前記荷物ＩＤと、判定した前記動作状態を示す動作状態情報とを配送管理サーバに送信し、前記荷物ＩＤと前記動作状態情報とに対応する前記荷物に関する配送情報を前記配送管理サーバから受信し、受信した前記配送情報に基づいて、前記ユーザに提示するアラート情報を生成し、生成した前記アラート情報を出力するようにコンピュータを機能させる。
　（１４）本開示の他の態様に係る情報処理プログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体は、ユーザの視界を撮影するカメラによって撮影された画像を取得し、取得した前記画像から、荷物と、前記ユーザの手とを画像認識処理により認識し、認識した前記荷物と前記手との位置関係に基づいて、前記荷物に対する前記ユーザの動作状態を判定し、取得した前記画像から、前記荷物を識別するための荷物ＩＤを画像認識処理により認識し、認識した前記荷物ＩＤと、判定した前記動作状態を示す動作状態情報とを配送管理サーバに送信し、前記荷物ＩＤと前記動作状態情報とに対応する前記荷物に関する配送情報を前記配送管理サーバから受信し、受信した前記配送情報に基づいて、前記ユーザに提示するアラート情報を生成し、生成した前記アラート情報を出力するようにコンピュータを機能させる。
　以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
　（実施の形態）
　図１は、本開示の実施の形態における配送システムの構成の一例を示す図であり、図２は、本開示の実施の形態におけるスマートグラス３の外観を示す図である。図１に示す配送システムは、端末１、配送管理サーバ２及びスマートグラス３を備える。
　端末１は、例えば、スマートフォン、タブレット型コンピュータ、又はパーソナルコンピュータであり、荷物の受取人によって用いられる。端末１は、制御部１１、タッチパネル１２及び通信部１３を備える。
　制御部１１は、例えば、中央演算処理装置（ＣＰＵ）であり、端末１全体を制御する。制御部１１は、荷物の再配達の依頼を受け付けるための再配達受付画面をタッチパネル１２に表示させるとともに、荷物の受取人が荷物の配達予定日に不在であるか否かの入力を受け付けるための不在入力受付画面をタッチパネル１２に表示させる。
　タッチパネル１２は、種々の情報を表示するとともに、受取人による入力操作を受け付ける。タッチパネル１２は、再配達受付画面において、受取人による再配達の依頼を受け付けるとともに、再配達を希望する日時の受取人による入力を受け付ける。受取人は、受け取ることができなかった荷物の荷物ＩＤと、再配達を依頼する指示と、再配達を希望する日時とをタッチパネル１２に入力する。
　また、タッチパネル１２は、不在入力受付画面において、受取人が配達予定日に不在であることの入力を受け付ける。受取人は、荷物の配達予定日に不在であり、荷物の受け取りができない場合、配達予定日に不在であることをタッチパネル１２に入力する。
　通信部１３は、タッチパネル１２によって再配達の依頼が受け付けられた場合、荷物ＩＤ及び再配達希望日時を含み、荷物の再配達を依頼するための再配達依頼情報を配送管理サーバ２へ送信する。また、通信部１３は、タッチパネル１２によって受取人が配達予定日に不在であることの入力が受け付けられた場合、受取人が配達予定日に不在であることを通知するための不在通知情報を配送管理サーバ２へ送信する。
　配送管理サーバ２は、荷物の配送状況を管理する。配送管理サーバ２は、荷物に関する荷物情報を管理するとともに、スマートグラス３からの要求に応じて配送情報をスマートグラス３へ送信する。
　配送管理サーバ２は、端末１及びスマートグラス３のそれぞれとネットワーク４を介して互いに通信可能に接続されている。ネットワーク４は、例えばインターネットである。
　配送管理サーバ２は、通信部２１、メモリ２２及び制御部２３を備える。
　通信部２１は、荷物に対する再配達を依頼するための再配達依頼情報を端末１から受信する。また、通信部２１は、荷物の受取人が荷物の配達予定日に不在であることを通知するための不在通知情報を端末１から受信する。また、通信部２１は、荷物ＩＤ及び動作状態情報をスマートグラス３から受信する。また、通信部２１は、荷物ＩＤ及び動作状態情報に応じた荷物に関する配送情報をスマートグラス３へ送信する。
　メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）又はフラッシュメモリ等の各種情報を記憶可能な記憶装置である。メモリ２２は、荷物に関する荷物情報を記憶する。
　図３は、本実施の形態における荷物情報の一例を示す図である。
　図３に示す荷物情報は、荷物を識別するための荷物ＩＤ、荷物の宛名を示す宛名情報、荷物の宛先を示す宛先情報、荷物の種別を示す荷物種別情報、荷物の重量を示す重量情報、荷物が貴重品であるか否かを示す貴重品フラグ（貴重品情報）、荷物に対して再配達が依頼されているか否かを示す再配達フラグ（再配達情報）、受取人が荷物の再配達を希望する日時を示す再配達希望日時、及び荷物の受取人が荷物の配達予定日に不在であるか否かを示す不在フラグ（不在情報）を含む。荷物の種別は、割れ物、食料品、又は書籍などの荷物の内容を示す。
　重量情報及び貴重品フラグ（貴重品情報）は、荷物の配送を依頼した依頼人又は荷物を集荷した作業者によって入力される。貴重品フラグがオンであれば、荷物が貴重品であることを示し、貴重品フラグがオフであれば、荷物が貴重品ではないことを示している。
　制御部２３は、例えば、ＣＰＵであり、配送管理サーバ２全体を制御する。制御部２３は、荷物ＩＤに対する再配達フラグ（再配達情報）又は不在フラグ（不在情報）を更新する。制御部２３は、通信部２１によって受信された再配達依頼情報に基づき、メモリ２２に記憶されている荷物情報の再配達フラグ及び再配達希望日時を更新する。また、制御部２３は、通信部２１によって受信された不在通知情報に基づき、メモリ２２に記憶されている荷物情報の不在フラグを更新する。
　制御部２３は、受取人から再配達が依頼されていない場合、再配達フラグをオフにする。また、制御部２３は、再配達依頼情報が受信され、受取人から再配達が依頼された場合、再配達フラグをオンにする。また、制御部２３は、端末１から受信した再配達依頼情報に再配達希望日時が含まれている場合、再配達希望日時を更新する。
　また、制御部２３は、受取人から配達予定日に不在であることが通知されていない場合、不在フラグをオフにする。また、制御部２３は、不在通知情報が受信され、受取人から配達予定日に不在であることが通知された場合、不在フラグをオンにする。
　また、制御部２３は、通信部２１によって荷物ＩＤ及び動作状態情報が受信された場合、荷物ＩＤ及び動作状態情報に対応する配送情報をメモリ２２から読み出し、読み出した配送情報を、通信部２１を介してスマートグラス３へ送信する。
　スマートグラス３は、ユーザの頭部に装着される眼鏡型のウェアラブル装置である。ここで、ユーザは、荷物を仕分ける又は配達する作業者である。ユーザは、スマートグラス３を装着して作業を行う。
　図１及び図２に示すスマートグラス３は、カメラ３１、制御部３２、メモリ３３、通信部３４及び表示部３５を備える。
　カメラ３１は、ユーザの視界を撮影する。カメラ３１は、スマートグラス３の本体の右側に設けられており、スマートグラス３を装着したユーザの前方を撮影する。カメラ３１の画角及び焦点距離は、ユーザの視界と実質的に同じになるように設定されている。そのため、カメラ３１によって取得された画像は、ユーザが肉眼で見る風景と実質的に同じになる。カメラ３１は、撮影した画像を制御部３２へ出力する。
　制御部３２は、カメラ３１によって撮影された画像を取得する。制御部３２は、取得した画像から、荷物と、ユーザの手とを画像認識処理により認識する。制御部３２は、認識した荷物と手との位置関係に基づいて、荷物に対するユーザの動作状態を判定する。
　動作状態は、荷物から所定距離離れた場所でユーザが荷物を見ている第１動作状態と、ユーザが荷物を持つ直前の第２動作状態と、ユーザが荷物を運んでいる第３動作状態とを含む。このとき、制御部３２は、荷物を認識し、ユーザの両手を認識しなかった場合、動作状態が第１動作状態であると判定する。また、制御部３２は、ユーザの右手及び左手の少なくとも一方を認識し、認識したユーザの右手及び左手が、認識した荷物の右端及び左端に位置していない場合、動作状態が第２動作状態であると判定する。また、制御部３２は、ユーザの右手及び左手の少なくとも一方を認識し、認識したユーザの右手及び左手が、認識した荷物の右端及び左端に位置している場合、動作状態が第３動作状態であると判定する。
　制御部３２は、取得した画像から、荷物を識別するための荷物ＩＤを画像認識処理により認識する。制御部３２は、動作状態が第１動作状態であると判定した場合、取得した画像に含まれる全ての荷物を識別するための荷物ＩＤを画像認識処理により認識する。また、制御部３２は、動作状態が第２動作状態又は第３動作状態であると判定した場合、ユーザの作業対象である１の荷物を特定し、取得した画像から、特定した１の荷物を識別するための荷物ＩＤを画像認識処理により認識する。
　このとき、制御部３２は、動作状態が第２動作状態であると判定した場合、認識したユーザの右手の位置及び認識したユーザの左手の位置の少なくとも一方に最も近い荷物を、ユーザの作業対象である１の荷物として特定し、特定した１の荷物の荷物ＩＤを認識する。例えば、制御部３２は、動作状態が第２動作状態であると判定し、ユーザの両手を認識した場合、認識したユーザの右手の先端部分及び認識したユーザの左手の先端部分の両方に最も近い荷物を、ユーザの作業対象である１の荷物として特定してもよい。また、例えば、制御部３２は、動作状態が第２動作状態であると判定し、ユーザの右手及び左手のいずれか一方を認識した場合、認識したユーザの右手の先端部分又は認識したユーザの左手の先端部分に最も近い荷物を、ユーザの作業対象である１の荷物として特定してもよい。
　また、制御部３２は、動作状態が第３動作状態であると判定した場合、認識したユーザの右手の位置と、認識したユーザの左手の位置との間にある荷物を、ユーザの作業対象である１の荷物として特定し、特定した１の荷物の荷物ＩＤを認識する。
　メモリ３３は、例えば、ＲＡＭ又はフラッシュメモリ等の各種情報を記憶可能な記憶装置である。メモリ３３は、種々の情報を記憶する。
　また、制御部３２は、動作状態が第１動作状態であると判定した場合、取得した画像から、荷物が置かれてる棚に対応する配送エリアを画像認識処理により認識する。荷物は、配送エリア毎に区分けされた棚に置かれている。
　通信部３４は、制御部３２によって認識された荷物ＩＤと、制御部３２によって判定された動作状態を示す動作状態情報とを配送管理サーバ２に送信する。また、通信部３４は、荷物ＩＤと動作状態情報とに対応する荷物に関する配送情報を配送管理サーバ２から受信する。
　配送管理サーバ２の制御部２３は、動作状態が第１動作状態であることを示す動作状態情報が受信された場合、メモリ２２に記憶されている荷物情報から荷物ＩＤに対応する宛先情報を読み出し、荷物ＩＤ及び宛先情報を少なくとも含む配送情報を生成する。また、制御部２３は、動作状態が第２動作状態であることを示す動作状態情報が受信された場合、メモリ２２に記憶されている荷物情報から荷物ＩＤに対応する重量情報を読み出し、荷物ＩＤ及び重量情報を少なくとも含む配送情報を生成する。また、制御部２３は、動作状態が第３動作状態であることを示す動作状態情報が受信された場合、メモリ２２に記憶されている荷物情報から荷物ＩＤに対応する再配達フラグ（再配達情報）及び不在フラグ（不在情報）を読み出し、荷物ＩＤ及び再配達フラグ（再配達情報）及び不在フラグ（不在情報）を少なくとも含む配送情報を生成する。通信部２１は、制御部２３によって生成された配送情報をスマートグラス３に送信する。
　制御部３２は、通信部３４によって受信された配送情報に基づいて、ユーザに提示するアラート情報を生成する。
　制御部３２は、動作状態が第１動作状態であると判定した場合、受信された配送情報に含まれる宛先が、認識した配送エリアに含まれない場合、アラート情報を生成する。この場合、制御部３２は、間違った配送エリアに対応する棚に、荷物が置かれていることを警告するためのアラート情報を生成する。
　また、制御部３２は、動作状態が第２動作状態であると判定し、受信された配送情報に含まれる重量が閾値以上である場合、アラート情報を生成する。この場合、制御部３２は、荷物の重量が閾値以上であることを警告するためのアラート情報を生成する。
　また、制御部３２は、動作状態が第３動作状態であると判定し、通信部３４によって受信された配送情報に含まれる再配達フラグ（再配達情報）が、再配達が依頼されていることを示す場合、又は通信部３４によって受信された配送情報に含まれる不在フラグ（不在情報）が、受取人が配達予定日に不在であることを示す場合、アラート情報を生成する。
　制御部３２は、通信部３４によって受信された配送情報に含まれる再配達フラグ（再配達情報）が、再配達が依頼されていることを示す場合、認識された荷物に対して再配達が依頼されていることを示すアラート情報を生成する。また、制御部３２は、通信部３４によって受信された配送情報に含まれる不在フラグ（不在情報）が、受取人が配達予定日に不在であることを示す場合、認識された荷物の配達予定日に受取人が不在であることを示すアラート情報を生成する。
　また、制御部３２は、生成したアラート情報を出力する。このとき、制御部３２は、アラート情報を表示部３５に出力する。
　表示部３５は、光透過型のディスプレイであり、ユーザの視界にアラート情報を拡張現実として表示する。表示部３５は、例えば、スマートグラス３を装着したユーザの右目の前方にアラート情報を表示する。
　続いて、本開示の実施の形態におけるスマートグラス３によるアラート情報提示処理について説明する。
　図４は、本開示の実施の形態におけるスマートグラス３によるアラート情報提示処理について説明するための第１のフローチャートであり、図５は、本開示の実施の形態におけるスマートグラス３によるアラート情報提示処理について説明するための第２のフローチャートである。
　まず、ステップＳ１において、カメラ３１は、ユーザの視界を撮影する。ユーザの作業中において、カメラ３１は、ユーザの視界を継続して撮影する。
　次に、ステップＳ２において、制御部３２は、カメラ３１がユーザの視界を撮影することによって得られた画像をカメラ３１から取得する。
　次に、ステップＳ３において、制御部３２は、取得した画像から、荷物と、ユーザの左手と、ユーザの右手とを画像認識処理により認識する。
　図６は、第１動作状態において、カメラ３１によって撮影された画像の一例を示す図である。
　荷物は、配送エリア毎に区分けされた棚に置かれている。第１動作状態において、ユーザは、荷物から所定距離離れた場所で荷物を見ている。このとき、ユーザの視界には、ユーザの両手が入っておらず、荷物のみが入っている。すなわち、画像に荷物のみが写っており、ユーザの両手が写っていない場合、ユーザの動作状態が、荷物から所定距離離れた場所でユーザが荷物を見ている第１動作状態であると判定することができる。
　制御部３２は、カメラ３１によって撮影された画像から、荷物と、ユーザの左手と、ユーザの右手とを認識する。図６では、画像５０１から認識された複数の荷物が矩形状の枠線５１１～５１７で表されている。画像５０１には、ユーザの両手が写っていないため、複数の荷物が認識され、ユーザの右手及び左手が認識されていない。
　図７は、第２動作状態において、カメラ３１によって撮影された画像の一例を示す図である。
　第２動作状態において、ユーザは、荷物を持とうとして、荷物に向かって手を伸ばしている。このとき、ユーザの視界には、荷物だけでなく、ユーザの右手及び左手の少なくとも一方が入っている。しかしながら、ユーザは荷物を持っていないため、ユーザの右手及び左手が、荷物の右端及び左端に位置していない。すなわち、画像に荷物とユーザの右手及び左手の少なくとも一方とが写っており、ユーザの右手及び左手が、荷物の右端及び左端に位置していない場合、ユーザの動作状態が、ユーザが荷物を持つ直前の第２動作状態であると判定することができる。
　制御部３２は、カメラ３１によって撮影された画像から、ユーザの作業対象である荷物と、ユーザの左手と、ユーザの右手とを認識する。図７では、画像５０２から認識された荷物が矩形状の枠線５１１で表され、画像５０２から認識されたユーザの左手が矩形状の枠線５２１で表され、画像５０２から認識されたユーザの右手が矩形状の枠線５２２で表されている。ユーザの左手に対応する枠線５２１は、荷物に対応する枠線５１１の左端に位置しているが、ユーザの右手に対応する枠線５２２は、荷物に対応する枠線５１１の右端に位置していない。
　図８は、第３動作状態において、カメラ３１によって撮影された画像の一例を示す図である。
　第３動作状態において、ユーザは、荷物を運んでいる。ユーザは、荷物を運ぶ際に、荷物を両手で把持する。このとき、荷物の上面には、ユーザの左手の親指と、右手の親指とが載っており、ユーザの左手と右手との間に荷物がある。ユーザの視界には、荷物だけでなく、ユーザの右手及び左手の両方が入っており、ユーザの右手及び左手が、荷物の右端及び左端に位置している。すなわち、画像に荷物とユーザの右手及び左手の少なくとも一方とが写っており、ユーザの右手及び左手が、荷物の右端及び左端に位置している場合、ユーザの動作状態が、ユーザが荷物を運んでいる第３動作状態であると判定することができる。
　制御部３２は、カメラ３１によって撮影された画像から、ユーザの作業対象である荷物と、ユーザの左手と、ユーザの右手とを認識する。図８では、画像５０３から認識された荷物が矩形状の枠線５１１で表され、画像５０３から認識されたユーザの左手が矩形状の枠線５２１で表され、画像５０１から認識されたユーザの右手が矩形状の枠線５２２で表されている。ユーザの左手に対応する枠線５２１は、荷物に対応する枠線５１１の左端に位置しており、ユーザの右手に対応する枠線５２２は、荷物に対応する枠線５１１の右端に位置している。
　なお、制御部３２は、画像から荷物、ユーザの左手及びユーザの右手をそれぞれ認識するように機械学習された画像認識モデルを用いて、画像認識処理を行う。制御部３２は、カメラ３１によって撮影された画像を、機械学習された画像認識モデルに入力し、画像認識モデルから認識結果を取得する。認識結果は、画像上の荷物の位置、ユーザの左手の位置及びユーザの右手の位置を表す。
　なお、機械学習としては、例えば、入力情報に対してラベル（出力情報）が付与された教師データを用いて入力と出力との関係を学習する教師あり学習、ラベルのない入力のみからデータの構造を構築する教師なし学習、ラベルありとラベルなしとのどちらも扱う半教師あり学習、報酬を最大化する行動を試行錯誤により学習する強化学習なども挙げられる。また、機械学習の具体的な手法としては、ニューラルネットワーク（多層のニューラルネットワークを用いた深層学習を含む）、遺伝的プログラミング、決定木、ベイジアン・ネットワーク、又はサポート・ベクター・マシン（ＳＶＭ）などが存在する。画像認識モデルの機械学習においては、以上で挙げた具体例のいずれかを用いればよい。
　また、制御部３２は、パターンマッチングにより、画像から荷物、ユーザの左手及びユーザの右手をそれぞれ認識してもよい。
　図４に戻って、次に、ステップＳ４において、制御部３２は、画像から荷物が認識されたか否かを判定する。ここで、画像から荷物が認識されていないと判定された場合（ステップＳ４でＮＯ）、ステップＳ１に処理が戻る。
　一方、画像から荷物が認識されたと判定された場合（ステップＳ４でＹＥＳ）、ステップＳ５において、制御部３２は、画像からユーザの右手及び左手の少なくとも一方が認識されたか否かを判定する。画像からユーザの右手及び左手の少なくとも一方が認識されていないと判定された場合、すなわち、画像からユーザの右手及び左手の両方が認識されていないと判定された場合（ステップＳ５でＮＯ）、ステップＳ６において、制御部３２は、動作状態が第１動作状態であると判定する。図６に示す画像５０１では、荷物のみが認識され、ユーザの右手及び左手が認識されていないため、動作状態が第１動作状態であると判定される。
　次に、ステップＳ７において、制御部３２は、画像中の全ての荷物の荷物ＩＤを画像認識処理により認識する。
　図９は、第１動作状態において、カメラ３１によって撮影された画像から荷物ＩＤを認識する処理について説明するための図である。
　荷物は、正面がユーザに見えるように置かれている。荷物の正面には、荷物ＩＤを示すバーコードが貼り付けられている。制御部３２は、カメラ３１によって撮影された画像から、全ての荷物のバーコードを認識し、認識したバーコードから荷物ＩＤを読み取ることにより、荷物ＩＤを認識する。図９では、画像５０１から認識された荷物ＩＤを示すバーコードが矩形状の枠線５３１～５３７で表されている。制御部３２は、画像から複数の荷物を認識した場合、複数の荷物それぞれの荷物ＩＤを認識する。
　なお、本実施の形態では、荷物ＩＤはバーコードで示されているが、本開示は特にこれに限定されず、荷物ＩＤは２次元コードで示されてもよい。この場合、制御部３２は、カメラ３１によって撮影された画像から、２次元コードを認識し、認識した２次元コードから荷物ＩＤを読み取ることにより、荷物ＩＤを認識してもよい。
　次に、ステップＳ８において、制御部３２は、画像中の棚に対応する配送エリアを画像認識処理により認識する。棚には、置かれている荷物の配送エリアを示すバーコードが貼り付けられている。制御部３２は、カメラ３１によって撮影された画像から、全ての棚のバーコードを認識し、認識したバーコードから配送エリアを読み取ることにより、配送エリアを認識する。図９では、画像５０１から認識された配送エリアを示すバーコードが矩形状の枠線５４１，５４２で表されている。棚に複数の配送エリアを示す複数のバーコードが貼り付けられている場合、制御部３２は、画像から複数の配送エリアを認識する。
　一方、画像からユーザの右手及び左手の少なくとも一方が認識されたと判定された場合（ステップＳ５でＹＥＳ）、ステップＳ９において、制御部３２は、ユーザの右手及び左手が荷物の右端及び左端に位置しているか否かを判定する。
　ここで、ユーザの右手及び左手が荷物の右端及び左端に位置していないと判定された場合（ステップＳ９でＮＯ）、ステップＳ１０において、制御部３２は、動作状態が第２動作状態であると判定する。図７に示す画像５０２では、荷物と、ユーザの右手及び左手とが認識されているが、ユーザの右手及び左手が荷物の右端及び左端に位置していないため、動作状態が第２動作状態であると判定される。
　一方、ユーザの右手及び左手が荷物の右端及び左端に位置していると判定された場合（ステップＳ９でＹＥＳ）、ステップＳ１１において、制御部３２は、動作状態が第３動作状態であると判定する。図８に示す画像５０３では、荷物と、ユーザの右手及び左手とが認識されており、ユーザの右手及び左手が荷物の右端及び左端に位置しているため、動作状態が第３動作状態であると判定される。
　次に、ステップＳ１２において、制御部３２は、ユーザの作業対象である荷物の荷物ＩＤを画像認識処理により認識する。
　図１０は、第２動作状態において、カメラ３１によって撮影された画像から荷物ＩＤを認識する処理について説明するための図である。
　荷物の正面には、荷物ＩＤを示すバーコードが貼り付けられている。制御部３２は、カメラ３１によって撮影された画像から、ユーザが持とうとしている荷物、すなわち、作業対象である荷物を特定する。そして、制御部３２は、特定した荷物のバーコードを認識し、認識したバーコードから荷物ＩＤを読み取ることにより、荷物ＩＤを認識する。図１０では、画像５０２から認識された荷物ＩＤを示すバーコードが矩形状の枠線５３１で表されている。
　図１１は、第３動作状態において、カメラ３１によって撮影された画像から荷物ＩＤを認識する処理について説明するための図である。
　荷物の上面にも、荷物ＩＤを示すバーコードが貼り付けられている。制御部３２は、カメラ３１によって撮影された画像から、ユーザが運んでいる荷物、すなわち、作業対象である荷物を特定する。そして、制御部３２は、特定した荷物のバーコードを認識し、認識したバーコードから荷物ＩＤを読み取ることにより、荷物ＩＤを認識する。図１１では、画像５０３から認識された荷物ＩＤを示すバーコードが矩形状の枠線５３１で表されている。
　図５に戻って、次に、ステップＳ１３において、通信部３４は、制御部３２によって認識された荷物ＩＤと、制御部３２によって判定された動作状態を示す動作状態情報とを配送管理サーバ２に送信する。配送管理サーバ２の通信部２１は、スマートグラス３によって送信された荷物ＩＤ及び動作状態情報を受信する。配送管理サーバ２の制御部２３は、メモリ２２に記憶されている荷物情報から、通信部２１によって受信された荷物ＩＤ及び動作状態情報に対応する配送情報を生成する。配送管理サーバ２の通信部２１は、制御部２３によって生成された配送情報をスマートグラス３に送信する。
　このとき、制御部２３は、動作状態情報が第１動作状態を示す場合、メモリ２２に記憶されている荷物情報から荷物ＩＤに対応する宛先情報を読み出し、荷物ＩＤ及び宛先情報を少なくとも含む配送情報を生成する。また、制御部２３は、動作状態情報が第２動作状態を示す場合、メモリ２２に記憶されている荷物情報から荷物ＩＤに対応する重量情報を読み出し、荷物ＩＤ及び重量情報を少なくとも含む配送情報を生成する。また、制御部２３は、動作状態情報が第３動作状態を示す場合、メモリ２２に記憶されている荷物情報から荷物ＩＤに対応する再配達フラグ（再配達情報）及び不在フラグ（不在情報）を読み出し、荷物ＩＤ及び再配達フラグ（再配達情報）及び不在フラグ（不在情報）を少なくとも含む配送情報を生成する。
　次に、ステップＳ１４において、通信部３４は、配送管理サーバ２によって送信された配送情報を受信する。
　次に、ステップＳ１５において、制御部３２は、動作状態が第１動作状態であるか否かを判定する。ここで、動作状態が第１動作状態であると判定された場合（ステップＳ１５でＹＥＳ）、ステップＳ１６において、制御部３２は、通信部３４によって受信された配送情報に含まれる荷物の宛先が、認識した配送エリアに含まれるか否かを判定する。
　なお、制御部３２は、複数の荷物を認識した場合、複数の荷物それぞれの宛先が、複数の荷物それぞれが置かれている棚に対応する配送エリアに含まれるか否かを判定する。図９では、荷物ＩＤを示す枠線５３１の下方にある枠線５４１が、枠線５３１内の荷物ＩＤにより特定される荷物の配送エリアを示しており、荷物ＩＤを示す枠線５３２～５３６の下方にある枠線５４２が、枠線５３２～５３６内の荷物ＩＤにより特定される荷物の配送エリアを示している。制御部３２は、枠線５３１内のバーコードにより特定される荷物ＩＤに対応する荷物の宛先が、枠線５３１の下方にある枠線５４１内のバーコードにより特定される配送エリアに含まれるか否かを判定する。また、制御部３２は、枠線５３２～５３６内の各バーコードにより特定される荷物ＩＤに対応する荷物それぞれの宛先が、枠線５３２～５３６の下方にある枠線５４２内のバーコードにより特定される配送エリアに含まれるか否かを判定する。
　ここで、荷物の宛先が配送エリアに含まれると判定された場合（ステップＳ１６でＹＥＳ）、ステップＳ１に処理が戻る。この場合、正しい配送エリアに対応する棚に荷物が置かれているため、アラート情報は出力されない。
　一方、荷物の宛先が配送エリアに含まれないと判定された場合（ステップＳ１６でＮＯ）、ステップＳ１７において、制御部３２は、間違った配送エリアに対応する棚に、荷物が置かれていることを警告するためのアラート情報を生成する。
　なお、画像から複数の荷物が認識された場合、ステップＳ１６の判定処理において、制御部３２は、複数の荷物の全ての宛先が配送エリアに含まれるか否かを判定する。複数の荷物の全ての荷物の宛先が配送エリアに含まれている場合、ステップＳ１に処理が戻る。また、複数の荷物のうちの少なくとも１つの荷物の宛先が配送エリアに含まれていない場合、ステップＳ１７に処理が移行する。
　また、動作状態が第１動作状態ではないと判定された場合（ステップＳ１５でＮＯ）、ステップＳ１８において、制御部３２は、動作状態が第２動作状態であるか否かを判定する。ここで、動作状態が第２動作状態であると判定された場合（ステップＳ１８でＹＥＳ）、ステップＳ１９において、制御部３２は、通信部３４によって受信された配送情報に含まれる重量が閾値以上であるか否かを判定する。なお、閾値は、メモリ３３に予め記憶されている。
　ここで、重量が閾値以上ではないと判定された場合（ステップＳ１９でＮＯ）、ステップＳ１に処理が戻る。この場合、荷物の重量が閾値より軽いため、アラート情報は出力されない。
　一方、重量が閾値以上であると判定された場合（ステップＳ１９でＹＥＳ）、ステップＳ１７において、制御部３２は、荷物の重量が閾値以上であることを警告するためのアラート情報を生成する。
　また、動作状態が第２動作状態ではないと判定された場合、すなわち、動作状態が第３動作状態であると判定された場合（ステップＳ１８でＮＯ）、ステップＳ２０において、制御部３２は、通信部３４によって受信された配送情報に含まれる再配達フラグ及び不在フラグの少なくとも一方がオンであるか否かを判定する。ここで、再配達フラグ及び不在フラグの両方がオフであると判定された場合（ステップＳ２０でＮＯ）、ステップＳ１に処理が戻る。この場合、受取人から荷物の再配達が依頼されていない、又は受取人から荷物の配達予定日に不在であることが通知されていないため、アラート情報は出力されない。
　一方、再配達フラグ及び不在フラグの少なくとも一方がオンであると判定された場合（ステップＳ２０でＹＥＳ）、ステップＳ１７において、制御部３２は、アラート情報を生成する。このとき、再配達フラグがオンであると判定された場合、制御部３２は、ユーザが運んでいる荷物に対して再配達が依頼されていることを示すアラート情報を生成する。また、不在フラグがオンであると判定された場合、制御部３２は、ユーザが運んでいる荷物の配達予定日に受取人が不在であることを示すアラート情報を生成する。なお、再配達フラグ及び不在フラグの両方がオンであると判定された場合、制御部３２は、ユーザが運んでいる荷物に対して再配達が依頼されていることを示すアラート情報と、ユーザが運んでいる荷物の配達予定日に受取人が不在であることを示すアラート情報との両方を生成してもよい。
　次に、ステップＳ２１において、表示部３５は、ユーザの視界にアラート情報を拡張現実として表示する。
　図１２は、第１動作状態において、スマートグラス３の表示部３５に表示されるアラート情報の一例を示す図である。
　図１２に示すアラート情報６０１は、間違った配送エリアに対応する棚に、荷物が置かれていることを文字で表している。また、矩形状の枠線６０２は、認識された複数の荷物のうち、間違った配送エリアに対応する棚に置かれている荷物を示している。アラート情報６０１及び枠線６０２は、ユーザが見ている現実環境に拡張現実として表示される。そのため、ユーザは、アラート情報６０１を見ることにより、間違った配送エリアに対応する棚に荷物が置かれているのを知ることができる。
　図１３は、第２動作状態において、スマートグラス３の表示部３５に表示されるアラート情報の一例を示す図である。
　図１３に示すアラート情報６１１は、作業対象である荷物の重量が閾値以上であることを文字で表している。閾値は、例えば、５ｋｇである。アラート情報６１１は、ユーザが見ている現実環境に拡張現実として表示される。そのため、ユーザは、アラート情報６１１を見ることにより、これから持とうとしている荷物の重量が閾値以上であることを知ることができる。
　図１４は、第３動作状態において、スマートグラス３の表示部３５に表示されるアラート情報の一例を示す図である。
　図１４に示すアラート情報６２１は、ユーザが運んでいる荷物に対して再配達が依頼されていることを文字で表している。アラート情報６２１は、ユーザが見ている現実環境に拡張現実として表示される。そのため、ユーザは、アラート情報６２１を見ることにより、自身が運んでいる荷物に注意が必要であることを知ることができる。
　このように、カメラ３１によって撮影されたユーザの視界を示す画像から、荷物と、ユーザの手とが画像認識処理により認識され、認識された荷物と手との位置関係に基づいて、荷物に対するユーザの動作状態が判定される。そして、荷物を識別するための荷物ＩＤと、判定された動作状態を示す動作状態情報とに対応する荷物に関する配送情報に基づいて、ユーザに提示するアラート情報が生成され、生成されたアラート情報が出力される。
　したがって、荷物に対するユーザの動作状態に応じてアラート情報が提示されるので、配送ミス及び配送ロスを削減することができるとともに、配送効率を向上させることができる。
　なお、本実施の形態の変形例において、制御部３２は、動作状態が第２動作状態であると判定した場合、認識した荷物に対応する部分を、荷物の重量に応じた色によって表すヒートマップをアラート情報として生成してもよい。
　図１５は、第２動作状態において、スマートグラス３の表示部３５に表示されるアラート情報の他の例を示す図である。
　制御部３２は、図１５に示す画像５０４から、複数の荷物とユーザの右手とを認識する。制御部３２は、ユーザの動作状態が、ユーザが荷物を持つ直前の第２動作状態であると判定し、画像５０４に含まれる複数の荷物の各荷物ＩＤを認識する。通信部３４は、複数の荷物ＩＤと動作状態情報とを配送管理サーバ２に送信し、複数の荷物ＩＤそれぞれに対応する配送情報を配送管理サーバ２から受信する。配送情報は、荷物の重量を含む。そして、制御部３２は、認識した荷物に対応する部分を、荷物の重量に応じた色によって表すヒートマップをアラート情報６３１として生成する。図１５に示すアラート情報６３１は、重量が２０ｋｇ以上の荷物に対応する部分を赤色で示し、重量が１５ｋｇ以上の荷物に対応する部分を黄色で示し、重量が１０ｋｇ以上の荷物に対応する部分を黄緑色で示し、重量が５ｋｇ以上の荷物に対応する部分を緑色で示し、重量が５ｋｇより軽い荷物に対応する部分を青色で示すヒートマップである。アラート情報６３１は、ユーザが見ている現実環境に拡張現実として表示される。荷物の重量が色のグラデーションで表現されるので、ユーザは、アラート情報６３１を見ることにより、これから持とうとしている荷物の重量を直感的に把握することができる。
　また、本実施の形態では、配送情報は、荷物の重量を含み、制御部３２は、動作状態が第２動作状態であると判定し、受信された配送情報に含まれる重量が閾値以上である場合、アラート情報を生成しているが、本開示は特にこれに限定されない。配送情報は、荷物が貴重品であるか否かを示す貴重品情報を含んでもよい。この場合、配送管理サーバ２の制御部２３は、動作状態が第２動作状態であることを示す動作状態情報が受信された場合、メモリ２２に記憶されている荷物情報から荷物ＩＤに対応する貴重品フラグ（貴重品情報）を読み出し、荷物ＩＤ及び貴重品フラグ（貴重品情報）を少なくとも含む配送情報を生成してもよい。そして、通信部２１は、制御部２３によって生成された配送情報をスマートグラス３に送信する。制御部３２は、受信された配送情報に含まれる貴重品フラグ（貴重品情報）が、荷物が貴重品であることを示す場合、アラート情報を生成してもよい。制御部３２は、貴重品フラグがオンである場合、ユーザがこれから持とうとしている荷物が貴重品であることを示すアラート情報を生成してもよい。
　なお、制御部３２は、認識した荷物に対応する部分を、荷物が貴重品であるか否かに応じた色によって表すヒートマップをアラート情報として生成してもよい。例えば、制御部３２は、貴重品である荷物に対応する部分を赤色で示し、貴重品ではない荷物に対応する部分を青色で示すヒートマップをアラート情報として生成してもよい。
　また、本実施の形態において、重量と比較される閾値は、予めメモリ３３に記憶されているが、本開示は特にこれに限定されず、ユーザの属性に応じて異なってもよい。この場合、通信部３４は、荷物ＩＤと、動作状態情報と、ユーザの属性を示す属性情報とを配送管理サーバ２に送信する。属性情報は、年齢及び性別を含み、メモリ３３に記憶されている。配送管理サーバ２の通信部２１は、スマートグラス３によって送信された荷物ＩＤ、動作状態情報及び属性情報を受信する。配送管理サーバ２のメモリ２２は、属性情報と重量の閾値とを対応付けた重量閾値情報を予め記憶している。
　図１６は、本実施の形態の変形例における重量閾値情報の一例を示す図である。
　図１６に示すように、属性情報には重量の閾値が対応付けられている。例えば、５５歳以上の年齢の属性情報には、３ｋｇの閾値が対応付けられており、女性の属性情報には、５ｋｇの閾値が対応付けられており、その他の属性情報には、７ｋｇの閾値が対応付けられている。
　配送情報は、荷物の重量及び属性に応じて異なる閾値を含む。配送管理サーバ２の制御部２３は、通信部２１によって受信された属性情報に対応する重量の閾値を、メモリ２２に記憶されている重量閾値情報から読み出す。制御部２３は、荷物ＩＤ、重量情報及び閾値を少なくとも含む配送情報を生成する。通信部２１は、荷物ＩＤ、重量情報及び閾値を少なくとも含む配送情報をスマートグラス３に送信する。制御部３２は、動作状態が第２動作状態であると判定した後、受信された配送情報に含まれる重量が、受信された配送情報に含まれる閾値以上であるか否かを判定してもよい。
　なお、スマートグラス３のメモリ３３が、属性情報と重量の閾値とを対応付けた重量閾値情報を予め記憶してもよい。制御部３２は、動作状態が第２動作状態であると判定した場合、ユーザの属性に対応する閾値を、メモリ３３に記憶されている重量閾値情報から読み出してもよい。
　また、本実施の形態において、スマートグラス３の制御部３２は、判定した動作状態をメモリ３３に記憶してもよく、メモリ３３は、制御部３２によって判定された動作状態を記憶してもよい。ユーザの動作状態が第１動作状態から第２動作状態に遷移した場合、ユーザは、これから荷物を持とうとしている状態であるので、アラート情報を出力する必要がある。一方、ユーザの動作状態が第３動作状態から第２動作状態に遷移した場合、ユーザは、持っていた荷物を離した状態であるので、アラート情報を出力する必要がない。そのため、制御部３２は、動作状態が第２動作状態であると判定した場合、前回の動作状態をメモリ３３から取得してもよい。そして、制御部３２は、前回の動作状態が第１動作状態である場合、アラート情報を生成し、前回の動作状態が第３動作状態である場合、アラート情報を生成しなくてもよい。
　すなわち、図４のステップＳ６で動作状態が第１動作状態であると判定された後、制御部３２は、判定した第１動作状態をメモリ３３に記憶してもよい。また、図４のステップＳ１０で動作状態が第２動作状態であると判定された後、制御部３２は、判定した第２動作状態をメモリ３３に記憶してもよい。また、図４のステップＳ１１で動作状態が第３動作状態であると判定された後、制御部３２は、判定した第３動作状態をメモリ３３に記憶してもよい。そして、制御部３２は、第２動作状態をメモリ３３に記憶した後、前回の動作状態をメモリ３３から取得してもよい。制御部３２は、前回の動作状態が第１動作状態である場合、図５のステップＳ１２以降の処理を行ってもよい。また、制御部３２は、前回の動作状態が第３動作状態である場合、ステップＳ１に処理を移行してもよい。
　また、制御部３２は、動作状態が第１動作状態又は第２動作状態であると判定した場合、前回の動作状態をメモリ３３から取得してもよい。そして、制御部３２は、前回の動作状態が第３動作状態であり、アラート情報を出力している場合、アラート情報の出力を停止してもよい。
　また、本実施の形態において、表示部３５がアラート情報を表示しているが、本開示は特にこれに限定されない。スマートグラス３は、スピーカを備えてもよく、制御部３２は、アラート情報をスピーカに出力してもよい。スピーカは、アラート情報を音声出力してもよい。
　また、本実施の形態において、制御部３２は、アラート情報を出力してから所定の時間が経過した場合、アラート情報の出力を停止してもよい。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、プログラムを記録媒体に記録して移送することにより、又はプログラムをネットワークを経由して移送することにより、独立した他のコンピュータシステムによりプログラムが実施されてもよい。
　本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
　また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
　また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　本開示に係る技術は、配送ミス及び配送ロスを削減することができるとともに、配送効率を向上させることができるので、ユーザによる荷物の運搬作業を支援する技術として有用である。

Claims (13)

  1. 　ユーザの頭部に装着されるウェアラブル装置であって、
    　カメラと、
    　制御部と、
    　通信部と、
    　を備え、
    　前記カメラは、前記ユーザの視界を撮影し、
    　前記制御部は、
    　前記カメラによって撮影された画像を取得し、
    　取得した前記画像から、荷物と、前記ユーザの手とを画像認識処理により認識し、
    　認識した前記荷物と前記手との位置関係に基づいて、前記荷物に対する前記ユーザの動作状態を判定し、
    　取得した前記画像から、前記荷物を識別するための荷物ＩＤを画像認識処理により認識し、
    　前記通信部は、
    　認識された前記荷物ＩＤと、判定された前記動作状態を示す動作状態情報とを配送管理サーバに送信し、
    　前記荷物ＩＤと前記動作状態情報とに対応する前記荷物に関する配送情報を前記配送管理サーバから受信し、
    　前記制御部は、
    　受信された前記配送情報に基づいて、前記ユーザに提示するアラート情報を生成し、
    　生成した前記アラート情報を出力する、
    　ウェアラブル装置。
  2. 　前記動作状態は、前記荷物から所定距離離れた場所で前記ユーザが前記荷物を見ている第１動作状態と、前記ユーザが前記荷物を持つ直前の第２動作状態と、前記ユーザが前記荷物を運んでいる第３動作状態とを含み、
    　前記制御部は、
    　前記荷物を認識し、前記ユーザの両手を認識しなかった場合、前記動作状態が前記第１動作状態であると判定し、
    　前記ユーザの右手及び左手の少なくとも一方を認識し、認識した前記ユーザの右手及び左手が、認識した前記荷物の右端及び左端に位置していない場合、前記動作状態が前記第２動作状態であると判定し、
    　前記ユーザの右手及び左手の少なくとも一方を認識し、認識した前記ユーザの右手及び左手が、認識した前記荷物の右端及び左端に位置している場合、前記動作状態が前記第３動作状態であると判定する、
    　請求項１に記載のウェアラブル装置。
  3. 　前記荷物は、配送エリア毎に区分けされた棚に置かれており、
    　前記配送情報は、前記荷物の宛先を含み、
    　前記制御部は、前記動作状態が前記第１動作状態であると判定した場合、取得した前記画像から、前記荷物が置かれてる棚に対応する配送エリアを画像認識処理により認識し、受信された前記配送情報に含まれる前記宛先が、認識した前記配送エリアに含まれない場合、前記アラート情報を生成する、
    　請求項２に記載のウェアラブル装置。
  4. 　前記配送情報は、前記荷物の重量又は前記荷物が貴重品であるか否かを示す貴重品情報を含み、
    　前記制御部は、前記動作状態が前記第２動作状態であると判定し、受信された前記配送情報に含まれる前記重量が閾値以上である場合、又は受信された前記配送情報に含まれる前記貴重品情報が、前記荷物が貴重品であることを示す場合、前記アラート情報を生成する、
    　請求項２に記載のウェアラブル装置。
  5. 　前記通信部は、前記荷物ＩＤと、前記動作状態情報と、前記ユーザの属性を示す属性情報とを前記配送管理サーバに送信し、
    　前記配送情報は、前記荷物の重量及び前記属性に応じて異なる前記閾値を含む、
    　請求項４に記載のウェアラブル装置。
  6. 　前記配送情報は、前記荷物の重量又は前記荷物が貴重品であるか否かを示す貴重品情報を含み、
    　前記制御部は、
    　前記動作状態が前記第２動作状態であると判定した場合、認識した前記荷物に対応する部分を、前記荷物の重量に応じた色によって表すヒートマップを前記アラート情報として生成する、又は、
    　認識した前記荷物に対応する部分を、前記荷物が貴重品であるか否かに応じた色によって表すヒートマップを前記アラート情報として生成する、
    　請求項２に記載のウェアラブル装置。
  7. 　前記配送情報は、前記荷物に対して再配達が依頼されているか否かを示す再配達情報又は前記荷物の受取人が前記荷物の配達予定日に不在であるか否かを示す不在情報を含み、
    　前記配送管理サーバは、前記荷物ＩＤに対する前記再配達情報又は前記不在情報を更新し、
    　前記制御部は、前記動作状態が前記第３動作状態であると判定し、受信された前記配送情報に含まれる前記再配達情報が、前記再配達が依頼されていることを示す場合、又は受信された前記配送情報に含まれる前記不在情報が、前記受取人が前記配達予定日に不在であることを示す場合、前記アラート情報を生成する、
    　請求項２に記載のウェアラブル装置。
  8. 　前記ウェアラブル装置は、判定された前記動作状態を記憶するメモリをさらに備え、
    　前記制御部は、前記動作状態が前記第２動作状態であると判定した場合、前回の前記動作状態を前記メモリから取得し、前回の前記動作状態が前記第１動作状態である場合、前記アラート情報を生成し、前回の前記動作状態が前記第３動作状態である場合、前記アラート情報を生成しない、
    　請求項２に記載のウェアラブル装置。
  9. 　前記制御部は、
    　前記動作状態が前記第１動作状態であると判定した場合、取得した前記画像に含まれる全ての荷物を識別するための荷物ＩＤを画像認識処理により認識し、
    　前記動作状態が前記第２動作状態又は前記第３動作状態であると判定した場合、前記ユーザの作業対象である１の荷物を特定し、取得した前記画像から、特定した前記１の荷物を識別するための荷物ＩＤを画像認識処理により認識する、
    　請求項２に記載のウェアラブル装置。
  10. 　前記ウェアラブル装置は、表示部をさらに備え、
    　前記制御部は、前記アラート情報を前記表示部に出力し、
    　前記表示部は、前記ユーザの視界に前記アラート情報を拡張現実として表示する、
    　請求項１～９のいずれか１項に記載のウェアラブル装置。
  11. 　前記ウェアラブル装置は、スピーカをさらに備え、
    　前記制御部は、前記アラート情報を前記スピーカに出力し、
    　前記スピーカは、前記アラート情報を音声出力する、
    　請求項１～９のいずれか１項に記載のウェアラブル装置。
  12. 　ユーザの頭部に装着されるウェアラブル装置における情報処理方法であって、
    　前記ユーザの視界を撮影するカメラによって撮影された画像を取得し、
    　取得した前記画像から、荷物と、前記ユーザの手とを画像認識処理により認識し、
    　認識した前記荷物と前記手との位置関係に基づいて、前記荷物に対する前記ユーザの動作状態を判定し、
    　取得した前記画像から、前記荷物を識別するための荷物ＩＤを画像認識処理により認識し、
    　認識した前記荷物ＩＤと、判定した前記動作状態を示す動作状態情報とを配送管理サーバに送信し、
    　前記荷物ＩＤと前記動作状態情報とに対応する前記荷物に関する配送情報を前記配送管理サーバから受信し、
    　受信した前記配送情報に基づいて、前記ユーザに提示するアラート情報を生成し、
    　生成した前記アラート情報を出力する、
    　情報処理方法。
  13. 　ユーザの視界を撮影するカメラによって撮影された画像を取得し、
    　取得した前記画像から、荷物と、前記ユーザの手とを画像認識処理により認識し、
    　認識した前記荷物と前記手との位置関係に基づいて、前記荷物に対する前記ユーザの動作状態を判定し、
    　取得した前記画像から、前記荷物を識別するための荷物ＩＤを画像認識処理により認識し、
    　認識した前記荷物ＩＤと、判定した前記動作状態を示す動作状態情報とを配送管理サーバに送信し、
    　前記荷物ＩＤと前記動作状態情報とに対応する前記荷物に関する配送情報を前記配送管理サーバから受信し、
    　受信した前記配送情報に基づいて、前記ユーザに提示するアラート情報を生成し、
    　生成した前記アラート情報を出力するようにコンピュータを機能させる、
    　情報処理プログラム。
PCT/JP2022/040526 2022-01-28 2022-10-28 ウェアラブル装置、情報処理方法及び情報処理プログラム WO2023145176A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-011930 2022-01-28
JP2022011930 2022-01-28

Publications (1)

Publication Number Publication Date
WO2023145176A1 true WO2023145176A1 (ja) 2023-08-03

Family

ID=87471337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040526 WO2023145176A1 (ja) 2022-01-28 2022-10-28 ウェアラブル装置、情報処理方法及び情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2023145176A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013245029A (ja) * 2012-05-23 2013-12-09 Okura Yusoki Co Ltd ピッキングシステム
JP2016188123A (ja) * 2015-03-30 2016-11-04 オークラ輸送機株式会社 ピッキングシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013245029A (ja) * 2012-05-23 2013-12-09 Okura Yusoki Co Ltd ピッキングシステム
JP2016188123A (ja) * 2015-03-30 2016-11-04 オークラ輸送機株式会社 ピッキングシステム

Similar Documents

Publication Publication Date Title
US9971154B1 (en) Pointer tracking for eye-level scanners and displays
US10242393B1 (en) Determine an item and user action in a materials handling facility
US20190012756A1 (en) Method and system for providing information regarding with delivery article using augmented reality
US10943363B2 (en) Image processing apparatus, and image processing method
CN107526433B (zh) 用以在模拟环境中提供客制化信息的方法及模拟系统
US10592962B1 (en) Systems and methods for parallelizing customer input with real-time picking for item substitutions
JP2019117437A (ja) 物品特定装置、物品特定方法、及びプログラム
US11783405B2 (en) Device, medium, and method for utilizing wearable technology to facilitate fulfilling customer orders
JP2019174959A (ja) 商品棚位置登録プログラム、及び情報処理装置
US10909500B2 (en) System and method for processing of designated items in a facility
WO2023145176A1 (ja) ウェアラブル装置、情報処理方法及び情報処理プログラム
US9895106B1 (en) Hand-mounted networked imaging devices
WO2023095559A1 (ja) ウェアラブル装置、情報処理方法及び情報処理プログラム
WO2023275870A1 (en) Using slam 3d information to optimize training and use of deep neural networks for recognition and tracking of 3d object
WO2023119878A1 (ja) 情報処理システム、配送管理方法、ウェアラブル装置、情報処理方法及び情報処理プログラム
CN117146828B (zh) 拣货路径引导方法、装置、存储介质及计算机设备
JP2020009147A (ja) 情報処理装置及び情報処理方法
CN109789972A (zh) 系统、信息处理装置、信息处理方法、程序以及记录介质
US11854679B1 (en) Medication inventory system including machine learning based medication discrepancy determination and related methods
WO2021033666A1 (ja) 画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステム
WO2023080230A1 (ja) 管理装置、管理システム、管理方法および管理プログラム
JP6703462B2 (ja) システム、情報処理装置、情報処理方法及びプログラム
KR20230074456A (ko) 물류처리 대상 제품의 분류시스템 및 분류방법
KR20230087811A (ko) 구매와 가공과정이 인증된 수산물을 구매하는 방법
JP2023053636A (ja) ピッキング案内システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22924030

Country of ref document: EP

Kind code of ref document: A1