WO2023084823A1 - 情報処理方法、情報処理装置、及び情報処理プログラム - Google Patents

情報処理方法、情報処理装置、及び情報処理プログラム Download PDF

Info

Publication number
WO2023084823A1
WO2023084823A1 PCT/JP2022/023518 JP2022023518W WO2023084823A1 WO 2023084823 A1 WO2023084823 A1 WO 2023084823A1 JP 2022023518 W JP2022023518 W JP 2022023518W WO 2023084823 A1 WO2023084823 A1 WO 2023084823A1
Authority
WO
WIPO (PCT)
Prior art keywords
task
user
information processing
image
difference
Prior art date
Application number
PCT/JP2022/023518
Other languages
English (en)
French (fr)
Inventor
裕子 泉
恵大 飯田
美都子 首藤
宏樹 竹内
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to CN202280072408.2A priority Critical patent/CN118159994A/zh
Publication of WO2023084823A1 publication Critical patent/WO2023084823A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • Patent Document 1 captures an image of a user on a landing at an entrance, identifies the user ID from the captured image of the user, measures the body surface temperature of the user with a thermometer installed at the entrance, and measures the weather.
  • an entrance system that acquires weather information in consideration of a user's house from a server of a forecast providing company, and proposes an optimum clothing item for the user from the user ID, body surface temperature, and weather information.
  • An object of the present disclosure is to provide technology that provides appropriate support to the user based on the difference between the current image and the past image.
  • An information processing method is an information processing method in an information processing device, wherein a processor of the information processing device acquires a current image captured by an imaging device at an entrance of a building, Acquiring related information related to an image, acquiring a past image whose related information matches or is similar to the current image, extracting a difference between the current image and the past image, and extracting Based on the difference, generate a task request requesting a task for assisting the user included in the current image, and output the generated task request.
  • assistance suitable for the user can be realized based on the difference between the current image and the past image.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of an information processing system according to Embodiment 1 of the present disclosure
  • FIG. 2 is a block diagram showing an example of the configuration of the information processing apparatus shown in FIG. 1
  • FIG. It is a figure which shows an example of the data structure of an image information table. It is a figure which shows an example of the image which the camera imaged.
  • 4 is a flowchart showing an example of processing of the information processing device according to Embodiment 1 of the present disclosure
  • FIG. 11 is a block diagram showing an example of the configuration of an information processing device according to Embodiment 2
  • FIG. It is a figure which shows an example of a data structure of a supporter table.
  • FIG. 10 is a flow chart showing an example of processing of an information processing device according to Embodiment 2 of the present disclosure
  • FIG. FIG. 10 is a diagram illustrating an example of a configuration of an information processing device according to Embodiment 3 of the present disclosure
  • It is a figure which shows an example of a data structure of a completion time table.
  • It is a figure which shows an example of a data structure of a required time table.
  • FIG. 11 is an explanatory diagram of Embodiment 4
  • FIG. 13 is a diagram illustrating an example of a configuration of an information processing device according to Embodiment 5 of the present disclosure
  • FIG. 4 is a diagram showing an example of the data configuration of a task determination table;
  • a monitoring system is under consideration to watch over a child by notifying the mobile terminal of the child's parent of the image taken by the camera when the child's going out is detected from the image taken by the camera installed at the entrance of the house. It is
  • the parent can check whether the child has left something behind. For example, even though the weather forecast for today indicates that it will rain when the child leaves school, if the child does not have an umbrella in the notified image, the parent will know that the child forgot to bring an umbrella. You can check it and you can deliver the umbrella to the child.
  • Patent Literature 1 the body surface temperature of the user on the landing at the entrance is measured with a thermometer, and if the body surface temperature exceeds the threshold, the outside temperature threshold for suggesting wearing a coat is set. It is disclosed to raise
  • Japanese Unexamined Patent Application Publication No. 2002-100001 although the camera captures an image of the user at the entrance, the captured image is used only to identify the user ID, and the current image and the related information match. Or comparison with similar past images is not performed. Therefore, there is a need for further improvement in order to provide support suitable for the user, such as delivering a forgotten item to the user in the image.
  • the inventor of the present invention has found that if a current image taken at the entrance is compared with a past image that has the same or similar related information such as weather forecast to the current image, it will be possible to find out what the child has today.
  • a service can be realized by automatically detecting belongings that should be left behind as lost items, and by creating a task for a third party to deliver the lost items to the child.
  • the present inventors can find not only a service to deliver lost items to the person in the image, but also We have found that it is possible to provide services that provide various types of support to users. For example, by comparing the current image with past images from the same time period, it is possible to detect changes in the time of sunset from changes in outdoor brightness. .
  • An information processing method is an information processing method in an information processing device, wherein a processor of the information processing device acquires a current image captured by an imaging device at an entrance of a building, Acquiring related information related to an image, acquiring a past image whose related information matches or is similar to the current image, extracting a difference between the current image and the past image, and extracting Based on the difference, generate a task request requesting a task for assisting the user included in the current image, and output the generated task request.
  • a past image whose related information matches or is similar to the current image is acquired, and the difference between the acquired past image and the current image is extracted.
  • a past image captured under such a situation can be regarded as a correct answer, and the difference from the current image can be extracted.
  • the difference may be a property that the user should possess, and the task may be a task of transporting the property that the user should possess.
  • the difference may be a change in outdoor brightness
  • the task may be a task of notifying the user of a message regarding returning home.
  • the difference may be a combination of users when they return home, and the task may be a task of ordering food or a task of controlling equipment.
  • the task of ordering food or the task of controlling equipment is executed according to the difference in the combination of users at the time of returning home. is automatically executed, and support for the user who has returned home can be realized.
  • the related information may include weather information.
  • the task request in generating the task request, may be generated using a task determination rule in which the content of the difference and the content of the task are associated in advance.
  • the task is determined using a task determination rule in which the content of the difference and the content of the task are associated in advance, so an appropriate task can be quickly determined according to the difference.
  • outputting the task request includes outputting an acceptance request prompting a supporter who supports the first user to accept the task, and outputting consent information indicating that the supporter has consented to the acceptance request. If acquired, the task request may be output.
  • an execution deadline for the task in outputting the task request, may be set based on the content of the difference and user information indicating the user, and the execution deadline may be included in the acceptance request.
  • the task execution deadline is set according to the content of the difference and the user included in the photo, and the set execution deadline is included in the acceptance request, so that it is possible to determine whether or not to accept the support. Can be presented to supporters.
  • the execution time limit is determined based on the completion time of the task, which is predetermined according to the user information and the content of the difference. It may be determined at the time of day ahead of time.
  • the time before the required time of the task is set as the execution deadline from the completion time of the task, so the task can be completed by the completion time, taking into consideration the required time of the task.
  • the content of the difference is an item to be possessed by the user
  • the completion time is a time determined based on a start time of use of the item to be possessed by the user
  • the required time may be the time required to carry the item to be carried to the user.
  • the task may be performed by a support person other than the user.
  • the user can be supported by the supporter.
  • the past image is further associated with information indicating whether or not there is a task request, and in extracting the difference, the task request is performed based on the information indicating whether or not there is a task request.
  • Previous images that have not been processed may be identified, and differences between the identified past images and the current image may be extracted.
  • the past image to be identified is an image for which no task request has been made
  • the possibility that the past image to be identified includes information that should assist the user is increased. Can decide tasks.
  • the current image is extracted from each past image.
  • the presence or absence of the difference from the image may be determined, and if the number of past images determined to have the difference exceeds the number of past images determined to have no difference, it may be determined that the difference exists. .
  • An information processing device includes a first acquisition unit that acquires a current image captured by an imaging device at an entrance of a building, and a second acquisition unit that acquires related information related to the current image. a third acquiring unit that acquires a past image whose related information matches or is similar to the current image; and extracts a difference between the current image and the past image, and extracts the difference a generating unit for generating a task request requesting a task for assisting the user included in the current image based on the above; and an output unit for outputting the task request.
  • An information processing program is an information processing program that causes a computer to execute an information processing method in an information processing apparatus, the program acquires a current image captured by an imaging device at an entrance of a building, Obtaining relevant information related to a current image, obtaining a past image whose relevant information matches or is similar to the current image, extracting a difference between the current image and the past image, A task request requesting a task for assisting the user included in the current image is generated based on the extracted difference, and a process of outputting the generated task request is executed.
  • the present disclosure can also be implemented as an information processing system operated by such an information processing program. It goes without saying that such a computer program can be distributed via a computer-readable non-temporary recording medium such as a CD-ROM or a communication network such as the Internet.
  • a computer-readable non-temporary recording medium such as a CD-ROM or a communication network such as the Internet.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of an information processing system according to Embodiment 1 of the present disclosure.
  • the information processing system includes an information processing device 1 , a related information server 2 , a camera 3 (imaging device), a supporter server 4 , a first terminal 5 and a second terminal 6 .
  • the information processing system assists the user included in the image captured by the camera 3 .
  • the information processing device 1, the related information server 2, and the supporter server 4 are, for example, cloud servers provided on a network.
  • the information processing device 1, the related information server 2, the camera 3, the supporter server 4, the first terminal 5, and the second terminal 6 are communicably connected to each other via a network.
  • the camera 3 is, for example, a fixed camera installed at the entrance of the building where the user to be supported resides.
  • the entrance is an entrance.
  • the camera 3 is installed at a position where the line of sight faces from indoors to outdoors at the entrance. Therefore, the image captured by the camera 3 is an image of the entrance space captured from inside the building. Therefore, when the user opens the front door when going out, the camera 3 can capture an image of the front door including the scenery of the outdoors. Therefore, the image captured by the camera 3 can include outdoor environment information. Furthermore, since the image captured by the camera 3 is installed at the entrance, it is possible to include the belongings that the user has when going out.
  • the installation position of the camera 3 is not limited to the entrance, and may be any position as long as the entrance can be imaged (for example, a room or corridor).
  • the camera 3 may be installed at the entrance of the building other than the entrance, as long as it can be detected by the user going out.
  • the cameras 3 may be installed at the user's transit locations at the boundaries of multiple spaces within the building. In this case, the camera 3 can photograph the user moving between rooms and the user moving through the door on the boundary between the living room and the entrance space.
  • the camera 3 may be installed at the gate, or may be installed in a corridor or room leading to the entrance.
  • the first terminal 5 may be, for example, a portable information terminal such as a smart phone or a tablet computer, or a stationary computer.
  • the first terminal 5 is carried by, for example, a person related to the user included in the image captured by the camera 3 .
  • the user included in the image is called a first user
  • the person related to the first user is called a second user. .
  • the second terminal 6 may be, for example, a portable information terminal such as a smart phone or tablet computer, or may be a stationary computer.
  • the second terminal 6 is a terminal possessed by a supporter of the first user.
  • the related information server 2 is composed of a cloud server that provides weather information, and transmits weather information to the information processing device 1 in response to an acquisition request from the information processing device 1 .
  • the camera 3 transmits the captured image to the information processing device 1 .
  • the information processing device 1 generates a task request and transmits the generated task request to the supporter server 4 .
  • the weather information is, for example, information indicating the weather forecast for the current day.
  • Weather information is, for example, information that it will be sunny in the morning and rainy in the afternoon.
  • the supporter server 4 notifies the supporter of the task request sent from the information processing device 1 by sending the task request to the second terminal 6 .
  • FIG. 2 is a block diagram showing an example of the configuration of the information processing device 1 shown in FIG.
  • the information processing device 1 includes a communication unit 11 , a processor 12 and a memory 13 .
  • the communication unit 11 is a communication circuit that connects the information processing device 1 to a network.
  • the communication unit 11 receives images transmitted from the camera 3 and receives related information transmitted from the related information server 2 .
  • the communication unit 11 transmits a task request to the supporter server 4 .
  • the processor 12 is composed of a processor such as a CPU, and includes a first acquisition unit 121 , a second acquisition unit 122 , a third acquisition unit 123 , a generation unit 124 and an output unit 125 .
  • the first acquisition unit 121 to the output unit 125 may be implemented by a processor executing an information processing program, or may be configured by a dedicated hardware circuit.
  • the first acquisition unit 121 acquires the image captured by the camera 3 using the communication unit 11.
  • the first acquisition unit 121 acquires the image captured by the camera 3 at a predetermined frame rate.
  • the first acquisition unit 121 may acquire an image of a person entering and exiting the front door. In this case, the camera 3 captures an image of the entrance when an opening/closing sensor provided at the entrance detects the opening or closing of the door, or when a human detection sensor provided at the entrance detects a person. good.
  • the second acquisition unit 122 acquires related information related to the current image captured by the camera 3 , associates the acquired related information with the image, and records it in the image information table 131 of the memory 13 .
  • Related information includes, for example, weather information and date and time information indicating the current date and time.
  • the second acquisition unit 122 transmits a weather information acquisition request to the related information server 2, and in response to the acquisition request, the related information server 2 transmits the image.
  • the date and time information includes, for example, year, month, day, and time.
  • the third acquisition unit 123 acquires a past image whose related information matches or is similar to the current image acquired by the first acquisition unit 121 among the past images recorded in the image information table 131 ( FIG. 3 ) of the memory 13 . Get an image of For example, the third acquisition unit 123 may acquire from the image information table 131 past images associated with related information that matches or is similar in content to the weather information acquired by the second acquisition unit 122 .
  • the third acquiring unit 123 obtains the related information including the weather information that it will be sunny in the morning and rainy in the afternoon. is acquired from the image information table 131 .
  • the third acquisition unit 123 determines that the weather information associated with one of the current image and the past image is sunny in the morning and rainy in the afternoon, and the weather information associated with the other is cloudy in the morning and rainy in the afternoon.
  • weather information having the same trend of weather change from morning to afternoon may be determined as similar weather information.
  • the tendency of weather change includes a tendency for weather to deteriorate over time, a tendency for weather to recover over time, and the like.
  • the generating unit 124 extracts the difference between the current image and the past image, and based on the extracted difference, generates a task request requesting a task for supporting the first user included in the current image. For example, when the difference satisfies a predetermined condition, the generating unit 124 generates a task request for the supporter to carry the left-behind item to the first user.
  • a task is an action of a helper or a computer process to help the first user.
  • An example of computer process assistance is the process of notifying a first user of a message to assist the first user.
  • An example of the predetermined condition is that there is an item that the first user possessed in the past image but that the first user does not possess in the current image. That is, one example of the predetermined condition is that the first user does not have any belongings that should be possessed.
  • the generation unit 124 extracts a person and an object included in each of the current image and the past image by image processing. At this time, the generating unit 124 identifies which of the users living in the building the extracted person is.
  • image processing for example, processing using a recognizer for recognizing an object and a recognizer for recognizing a person's face can be adopted.
  • a face authentication process can be adopted as the process of identifying a person.
  • the generation unit 124 compares the registered feature amount of the face of each user living in the building and associated with the user ID with the feature amount of the face of the person included in the image, You just have to identify who the person is.
  • the generation unit 124 compares the current image and the past image, and extracts an object included in the past image but not included in the current image as a difference. Then, the generation unit 124 determines that the predetermined condition is satisfied if the object extracted as the difference is the property of the first user.
  • the belongings are, for example, bags, umbrellas, shoes, jackets, coats, documents, gym clothes bags, swimming bags, rainwear, and the like. For example, if an object extracted as a difference is positioned at a predetermined distance or less from the first user, the generation unit 124 may determine that object as belonging to the first user.
  • a supporter is a person who supports the first user by performing a task.
  • the supporter may be, for example, an employee of a support service provider who carries forgotten items to the user, or may be local volunteers.
  • the output unit 125 uses the communication unit 11 to transmit the task request generated by the generation unit 124 to the supporter server 4 .
  • the memory 13 is, for example, a nonvolatile rewritable storage device such as a hard disk drive and solid state drive.
  • the memory 13 may be provided in an external server connected to the information processing apparatus 1 via a network.
  • Memory 13 includes image information table 131 .
  • FIG. 3 is a diagram showing an example of the data configuration of the image information table 131.
  • the image information table 131 associates and stores image IDs, imaging times, recognition information, related information, presence or absence of task requests, and images.
  • the image ID is an identifier of an image captured by the camera 3 .
  • the imaging time is the time when the camera 3 captured the image.
  • the recognition information is information recognized by the generation unit 124 from an image through image processing.
  • the recognition information includes user information and information indicating the user's belongings.
  • the recognition information includes environmental information such as morning, noon, and night.
  • the generation unit 124 may specify the environment information by processing the image, or may specify the environment information from the imaging time of the image.
  • the related information is related information acquired from the related information server 2 by the second acquisition unit 122 .
  • weather information indicating the weather forecast for the day including the imaging time of the image is registered.
  • Whether or not there is a task request is information indicating whether or not a task request has been made for an image. For example, for the image with ID 00003, the presence or absence of the task request is "yes" because the task of carrying an umbrella has been executed.
  • the image column records the images captured by the camera 3.
  • FIG. 4 is a diagram showing an example of an image 500 captured by the camera 3.
  • FIG. An image 500 is an image captured in a scene in which the first user U opens the door 501 and goes out. Since the line of sight of the camera 3 is set in the direction from indoors to outdoors, it is possible to capture such a scene of going out.
  • a region 502 surrounded by the door frame 503 is an outdoor image, which will be described later.
  • FIG. 5 is a flowchart showing an example of processing of the information processing device 1 according to Embodiment 1 of the present disclosure.
  • the first acquisition unit 121 acquires an image captured by the camera 3 .
  • the image acquired here is the current image.
  • the first acquiring unit 121 acquires an image having an imaging time closest to the current time and including the first user at the current time. can be obtained as an image of Alternatively, the first obtaining unit 121 may obtain, as the current image, an image that is recorded in the image information table 131 and has the latest imaging time and that includes the first user. Note that the first user may be a specific user who is predetermined to receive support.
  • the second acquisition unit 122 acquires related information related to the current image from the related information server 2 .
  • weather information indicating the weather forecast at the current time is acquired as related information.
  • the weather forecast is today's weather forecast.
  • the second acquisition unit 122 may acquire weather information based on information for acquiring related information.
  • the information is, for example, position information of the first user and time information indicating the current time.
  • the location information of the first user may be acquired from a mobile terminal owned by the first user, or may be location information of a building.
  • the location information of the building may be acquired from the memory 13 .
  • the time information may be obtained from a clock (not shown) included in the information processing apparatus 1, or may be obtained from an external server (not shown) connected to the network.
  • the second acquisition unit 122 may identify the area where the first user resides from the location information of the first user or the location information of the building, and acquire the current weather information in that area from the related information server 2 .
  • Step S3 The third acquisition unit 123 acquires from the image information table 131 past images whose related information matches or is similar to the current image.
  • the determination that the related information matches or is similar is as described above.
  • the related information for the current image is rain, in the example of FIG. 3, both images are acquired as past images because the related information for "ID00001" and "ID00003" is rain.
  • Step S4 The generator 124 extracts the difference between the current image and the past image.
  • an object included in the past image but not included in the current image is extracted as the difference.
  • the generation unit 124 may extract a difference between a past image for which the presence or absence of task execution in the image information table 131 is "absent" and the current image. In this case, since the past image to be identified does not have a task request, there is a high possibility that the first user includes an item that the first user should possess. By comparing this past image with the current image, The belongings that the first user should possess can be extracted with high accuracy.
  • the generation unit 124 determines that the difference between each past image and the current image is a predetermined condition.
  • the number of images satisfying the condition may be calculated, and if the calculated number exceeds the number of images whose difference does not satisfy the predetermined condition, it may be determined that the predetermined condition is satisfied. For example, even if the user does not have an umbrella when it rains, a task request to carry an umbrella does not always occur due to the needs of the user. In this case, there is no need to deliver the umbrella to the first user. In this configuration, a task request for carrying belongings is not generated in such a case, so it is possible to determine whether or not to generate a task request in consideration of the needs of the first user.
  • Step S5 A generator 124 generates a task request based on the difference.
  • the object extracted as the difference is a property that the first user should possess, a task request is generated to request the supporter to carry the property to the first user. .
  • Step S6 The output unit 125 transmits (outputs) the task request to the supporter server 4 using the communication unit 11 .
  • the supporter server 4 that has received the task request transmits the task request to the supporter's portable terminal (not shown).
  • the task request includes items to be transported, the home address of the first user, the transport destination, and the like.
  • the supporter goes to the home of the first user, receives the belongings to be transported, moves to the transportation destination, and delivers the belongings to the first user. Thereby, the first user can obtain the left-behind item.
  • Embodiment 1 a past image whose related information matches or is similar to the current image is acquired, and the difference between the acquired past image and the current image is extracted. Therefore, it is possible to regard the past image captured under the condition that the related information matches as the correct answer, and extract the difference from the current image. As a result, it is possible to accurately identify the information to be assisted to the user included in the current image from this difference, and to implement the assistance suitable for the user.
  • FIG. 6 is a block diagram showing an example of the configuration of information processing apparatus 1A according to the second embodiment.
  • the information processing apparatus 1A differs from the information processing apparatus 1 in the output section 125A of the processor 12A.
  • the difference is that the memory 13A further stores a supporter table 132.
  • FIG. 6 is a block diagram showing an example of the configuration of information processing apparatus 1A according to the second embodiment.
  • the information processing apparatus 1A differs from the information processing apparatus 1 in the output section 125A of the processor 12A.
  • the memory 13A further stores a supporter table 132.
  • the output unit 125A uses the communication unit 11 to output to the supporter server 4 an acceptance request (first acceptance request) that prompts the supporter who assists the first user to accept the task, and outputs the support candidate to the first acceptance request.
  • first acceptance request an acceptance request
  • the task request is output to the supporter server 4 using the communication unit 11.
  • FIG. 7 is a diagram showing an example of the data structure of the supporter table.
  • the supporter table 132 is a table in which user information and support candidate information are associated with each other.
  • the first user information is the identifier of the first user.
  • the support candidate information is an identifier of a support candidate who can support the first user.
  • support candidates P1, P2, and P3 are defined for the first users UA and UB, and support candidates P4, P5, and P6 are defined for the first user UC.
  • supporters are determined from among these support candidates. By determining support candidates for each first user in this way, it is possible to determine the final supporter from support candidates who can smoothly support the first user.
  • priorities may be set in advance for multiple candidates for each first user. Also, as shown by the first users UA and UB, the same support candidate may be associated with different first users. Further, the supporter table 132 may define support candidates according to the content of the task and the first user.
  • FIG. 8 is a flowchart showing an example of processing of the information processing device 1A according to Embodiment 2 of the present disclosure. Since the processing from step S1 to step S5 and step S6 are the same as in FIG. 5, the description thereof is omitted.
  • Step S7 The output unit 125A acquires support candidate information from the supporter table 132 .
  • support candidate information For example, when the first user UA is extracted from the current image, support candidate information of support candidates P1, P2, and P3 is acquired.
  • the output unit 125A acquires the support candidate information associated with the content of the task and the first user. do it.
  • the output unit 125A transmits to the supporter server 4 a first acceptance request for confirming acceptance of the task by the support candidate indicated by the acquired support candidate information.
  • the supporter server 4 that has received the first acceptance request may notify each support candidate of the first acceptance request by transmitting the first acceptance request to the second terminal 6 possessed by each support candidate.
  • the first acceptance request may include the contents of the task and the conditions of the task request.
  • the task request condition is, for example, the deadline for executing the task.
  • the first acceptance request may include a history of dates and times when a certain supporter executed a task for the first user in the past.
  • Step S9 The output unit 125A determines whether consent information has been acquired from at least one support candidate. If the consent information has been acquired (YES in step S9), the process proceeds to step S10, and if the consent information has not been acquired (NO in step S9), the process ends.
  • the support candidate who browsed the first acceptance request inputs the consent information to the second terminal 6 if he agrees to the first acceptance request, and if he does not agree to the first acceptance request, the second terminal 6 All you have to do is enter your consent information.
  • the input consent information or non-consent information is input to the information processing device 1A via the supporter server 4.
  • FIG. If the determination in step S9 is NO, the output unit 125A may send a message to the first terminal 5 indicating that the task was requested to the support candidate but no one accepted it.
  • Step S10 The output unit 125A uses the communication unit 11 to transmit to the first terminal 5 a second acceptance request for confirming acceptance of the task with the second user.
  • the second acceptance request is notified to the second user who is the guardian of the first user.
  • the second acceptance request includes the name of the support candidate who entered the content of the task and consent information. This provides the second user with information on whether or not to accept the task.
  • the second acceptance request for the task may be notified to the first user. In this case, the second acceptance request is transmitted to the mobile terminal (not shown) of the first user.
  • Step S11 The output unit 125A determines whether or not the consent information from the first terminal 5 has been acquired. If consent information could be obtained (YES in step S11), the process proceeds to step S12, and if consent information could not be obtained (NO in step S11), the process ends. For example, the second user who browsed the second acceptance request enters the consent information into the first terminal 5 if he/she agrees with the second acceptance request, and enters the consent information into the first terminal 5 if he/she does not Enter non-consent information.
  • the output unit 125A determines supporters from support candidates who have agreed to the first acceptance request. For example, if there are a plurality of support candidates who have agreed to the first acceptance request, one support candidate may be randomly selected from each support candidate as the supporter. In addition, when the priority is determined in advance for each support candidate, the output unit 125A supports the support candidate with the highest priority among the plurality of support candidates who have agreed to the first acceptance request. You should decide as a person.
  • Step S6 The output unit 125A uses the communication unit 11 to transmit a task request to the supporter server 4 in order to formally request the task to the determined supporter.
  • the task request is transmitted from the supporter server 4 to the second terminal 6 of the determined supporter. As a result, the supporter that the task request has been decided is notified.
  • the output unit 125A transmits the first acceptance request in order from the support candidate with the highest priority, and the consent information is sent. You may decide on a supporter when available.
  • the task when the support candidate is notified of the first acceptance request and the consent information is entered, the task is requested. can make a request.
  • the second user since the second user is notified of the second acceptance request and the task is requested when the consent information is input, it is possible to prevent the task from being executed without the permission of the second user.
  • FIG. 9 is a diagram showing an example of a configuration of an information processing device 1B according to Embodiment 3 of the present disclosure.
  • the information processing apparatus 1B differs from the information processing apparatus 1A in the output section 125B of the processor 12A. Furthermore, the difference is that the memory 13B stores a completion time table 133 and a required time table 134.
  • FIG. 9 is a diagram showing an example of a configuration of an information processing device 1B according to Embodiment 3 of the present disclosure.
  • the information processing apparatus 1B differs from the information processing apparatus 1A in the output section 125B of the processor 12A. Furthermore, the difference is that the memory 13B stores a completion time table 133 and a required time table 134.
  • the output unit 125B sets the task execution deadline based on the content of the difference extracted by the generation unit 124 and the user information indicating the first user.
  • the execution deadline is, for example, the deadline by which the assistant must start the task.
  • the execution deadline is determined from the completion time of the task predetermined according to the user information of the first user and the content of the difference to the time before the required time of the task predetermined according to the support person and the first user. be.
  • the completion time is the time determined based on the time when the first user started using the property.
  • the required time is the time required for the supporter to carry the belongings to the first user.
  • FIG. 10 is a diagram showing an example of the data configuration of the completion time table 133.
  • FIG. Completion time table 133 defines task completion times according to the first user and their belongings.
  • the completion time table 133 associates and stores the first user information, property information, and completion time.
  • the first user information is the user ID of the first user.
  • the property information indicates an object determined to be property that the first user should possess.
  • the completion time is the completion time of the task in which the first user carries the property that the first user should have.
  • the completion time of the task of carrying an umbrella is set to 15:30 for the first user UA. This takes into account the time at which the first user UA returns home from the place where he/she is out (for example, school).
  • the completion time of the task of carrying gym clothes is set to 10:00. This takes into account the time when the first user UA puts on gym clothes while out and about.
  • a task of carrying an umbrella for the first user UB is set at 19:00. This takes into account the time when the first user UB comes home from an outing (for example, a cram school).
  • FIG. 11 is a diagram showing an example of the data configuration of the required time table 134.
  • the required time table 134 is a table that defines the required time according to the supporter and the first user.
  • the required time table 134 stores supporter information, first user information, and required time in association with each other.
  • the supporter information is the identifier of the supporter.
  • the supporter identifier is the same as the support candidate identifier.
  • the first user information is the identifier of the first user.
  • the required time is set to 1 hour for the supporter Q1 and the first user UA. This is because it takes one hour for the supporter Q1 to carry the belongings to the place where the first user UA is out (school).
  • the required time is set to 1 hour for the supporter Q2 and the first user UA. This is because it takes one hour for the supporter Q2 to carry the belongings to the place where the first user UA is out (school).
  • the processing for setting the execution deadline by the output unit 125B is as follows. In the following description, it is assumed that the first user receiving assistance is the first user UA, the supporter is the supporter Q1, and the property to be carried is an umbrella.
  • the output unit 125B acquires the completion time “15:30” of the first user UA and the umbrella from the completion time table 133 .
  • the output unit 125B acquires the required time “1 hour” for the supporter Q1 and the first user UA from the required time table 134 .
  • the output unit 125B sets "14:30" by subtracting the required time "1 hour” from the completion time "15:30" as the execution deadline.
  • the output unit 125B includes the set execution deadline in the first acceptance request described in the second embodiment and transmits it to the supporter server 4. This first acceptance request is transmitted to the second terminal 6 of the supporter Q1. Therefore, the supporter Q1 can confirm the execution deadline included in the first acceptance request and determine whether or not to agree to the first support request.
  • execution is performed by subtracting the necessary time required for the support person to carry the property to the destination of the first user from the completion time, which is the use time of the property by the first user.
  • a deadline is set, and the supporter is notified of the first support request including the execution deadline. Therefore, support by a supporter who can carry the belongings by the time when the first user starts using the belongings is realized.
  • Embodiment 4 employs a message about returning home to the user as a task.
  • the configuration of the information processing apparatus 1 is the same as that in FIG. 2, so the description will be made with reference to FIG. 6 or 9 may be adopted as the configuration of the information processing apparatus 1 according to the fourth embodiment.
  • Embodiment 4 differences from Embodiments 1 to 3 will be explained, and explanations of common points will be omitted.
  • the first acquisition unit 121 acquires the image captured by the camera 3 when the first user returns home as the current image. For example, the first acquisition unit 121 obtains an image captured during a predetermined return-home time zone, in which a scene in which the first user who opened the door enters from the outdoors to the indoors is captured as an image at the time of returning home. should be obtained as
  • the second acquisition unit 122 acquires the imaging time and weather information of the current image captured by the camera 3 as related information, and records the acquired imaging time and weather information in the image information table 131 in association with the image.
  • the second acquisition unit 122 may acquire the imaging time included in the image transmitted from the camera 3 as related information.
  • the third acquisition unit 123 acquires from the image information table 131 a past image whose imaging time matches or is similar to the current image and whose weather information matches or is similar to that of the current image.
  • the past image having the same or similar imaging time is a past image that was captured a predetermined number of days before the current image, and that was captured in the same time zone as the current image. This applies to past images.
  • the predetermined number of days before is, for example, five to nine days before the imaging time of the current image.
  • the same period of time is, for example, a period of time before and after the imaging time of the current image.
  • An appropriate time width such as 5 minutes, 10 minutes, or 20 minutes can be adopted as the fixed time. For example, if the current image is captured at 17:00, a past image captured between 16:50 and 17:10 seven days ago is acquired.
  • the third acquisition unit 123 may acquire, as a past image, an image of a scene in which the imaging time and weather information match or are similar to the current image and the door is opened.
  • the generation unit 124 extracts, as a difference, the change in the decreasing direction between the outdoor brightness obtained from the past image and the outdoor brightness obtained from the current image.
  • the generator 124 may calculate outdoor brightness from the brightness of the image.
  • the generation unit 124 may extract the image inside the door frame included in the image as an outdoor image representing the outdoors of the building, and calculate the outdoor brightness based on the brightness of the outdoor image.
  • the outdoor brightness may be, for example, a continuous value, or may be a graded value obtained by evaluating brightness in a plurality of stages (for example, five stages).
  • a change in the decreasing direction is a value obtained by subtracting the brightness of the past image from the brightness of the past image.
  • the generation unit 124 generates a task request for executing the task of notifying the first user of a message regarding returning home.
  • the predetermined value is, for example, a value that is assumed to make it difficult for the person to return home while it is bright outside at the current time to return home because the sunset time is earlier.
  • the output unit 125 transmits the task request to the supporter server 4.
  • the supporter server 4 that has received the task request generates notification information including a message for notifying that the time to return home is early, and sends the generated notification information to the first terminal 5 or the mobile terminal (Fig. abbreviated). As a result, the parent of the first user or the first user is notified of the message that the time to return home is earlier.
  • the output unit 125 may transmit a task request when returning home this time, or may transmit a task request when returning home next time.
  • the processing of S7 to S12 in the flow chart of FIG. 8 is unnecessary.
  • FIG. 12 is an explanatory diagram of the fourth embodiment.
  • the diagram on the left shows the image of the first user when he came home last week, and the diagram on the right shows the image of the first user when he came home today.
  • the outdoor brightness is darker in the image at the time of returning home today than in the image at the time of returning home last week. This is because the seasons have changed and daylight hours have shortened.
  • the first user it is preferable for the first user to come home early from a safety point of view. Therefore, in the fourth embodiment, when such an event occurs, a message is sent to the first user to inform the first user of the time to return home earlier. Thereby, the first user can be urged to go home early next time. Therefore, it is possible to ensure the safety of the first user and give the guardian a sense of security.
  • Embodiment 5 determines a task by referring to a task determination table.
  • FIG. 13 is a diagram showing an example of a configuration of an information processing device 1C according to Embodiment 5 of the present disclosure.
  • the information processing apparatus 1C differs from the information processing apparatus 1 in that the memory 13C further stores a task determination table 135.
  • FIG. 13 is a diagram showing an example of a configuration of an information processing device 1C according to Embodiment 5 of the present disclosure.
  • the information processing apparatus 1C differs from the information processing apparatus 1 in that the memory 13C further stores a task determination table 135.
  • FIG. 14 is a diagram showing an example of the data configuration of the task determination table 135.
  • the task determination table 135 is a table referred to when the generation unit 124 determines a task.
  • the task determination table 135 defines tasks according to the contents of the differences and related information. If the difference between the current image and the past image is the property that the first user should carry, the task of carrying the property is executed. For example, if the difference is the property, the weather information is adopted as the relevant information, and the task is determined in the same manner as in the first embodiment.
  • the first user's schedule information may be adopted as related information.
  • the second acquisition unit 122 acquires the schedule information of the first user as related information.
  • the second acquisition unit 122 acquires the schedule information of the first user from an external server (not shown) that stores schedule information, and records it in the image information table 131 in association with the current image.
  • the third acquisition unit 123 acquires past images with matching or similar schedule information from past images recorded in the image information table 131 .
  • Matching or similar schedule information corresponds to, for example, a case where the same schedule is included in one schedule information and the other schedule information.
  • An example of a schedule is the same practice of the first user. Examples of lessons include cram schools, swimming lessons, and the like.
  • the generation unit 124 generates an image when the item extracted as a difference between the past image and the current image is an item necessary for the schedule, that is, when the past image includes an item necessary for the lesson, but the current image includes an item necessary for the lesson. does not have the required item, determine a task to deliver the item to the first user, and generate a task request for the task. As a result, the first user can receive the items necessary for the lessons carried by the supporter while the first user is out.
  • the first acquisition unit 121 acquires the image when the user returns home as the current image. The method of selecting the image when returning home has been described above.
  • the second acquisition unit 122 acquires the day of the week and the time period when the current image was captured as related information, and records the acquired day of the week and time in the image information table 131 in association with the current image.
  • the third acquisition unit 123 acquires, from among the past images recorded in the image information table 131, past images whose day of the week and time zone match or are similar to the current image.
  • Matching or similar days of the week and time periods means, for example, that the images are taken on the same day of the week and the time periods to which the imaging times belong are the same. For example, if the current image was taken at 17:30 on Wednesday, the past image taken at 17:00 on Wednesday is acquired.
  • the generating unit 124 extracts, as a difference, the difference in the combination of users included in the current image and the past image.
  • a difference in combination of users is, for example, a case where a current image includes only a child, whereas a past image includes a child and a guardian.
  • the generation unit 124 If the difference in combination satisfies a predetermined condition, the generation unit 124 generates a task request for executing the task of ordering food or the task of controlling equipment.
  • a predetermined condition is that past images contain children and parents, whereas current images contain only children.
  • An example of a food order is a delivery or ingredient order.
  • equipment control include control for operating a washing machine and control for supplying bath water to a hot water supply system.
  • the task request for the task of ordering food may be an order request for ordering a preset dish or ingredients from a preset order destination.
  • a task request for a task for executing a task for controlling a device may be, for example, a control signal for operating the device under predetermined conditions.
  • the generation unit 124 may switch between the three tasks shown in FIG. 14 according to the difference. For example, if the content of the difference is belongings, the task of carrying belongings is determined. For a set of users at a time, the task of ordering food and/or the task of controlling equipment may be determined.
  • the generation unit 124 may change the task referred to from the task determination table 135 according to the time period. For example, the generating unit 124 may determine only tasks related to belongings in the morning, and tasks related to combinations of users and/or outdoor brightness in the afternoon.
  • the second acquisition unit 122 does not have to associate the acquired related information with the image and store it in the memory 13 .
  • a mode may be employed in which a server separate from the information processing apparatus 1 has a database in which related information and past images are stored in association with each other.
  • the third acquisition unit 123 may acquire past images whose related information matches or is similar to the current image from this database.
  • the present disclosure is useful in the technical field of providing user-friendly support.

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

情報処理装置は、建物の玄関において撮像装置により撮像された現在の画像を取得し、現在の画像に関連する関連情報を取得し、現在の画像に対して関連情報が一致又は類似する過去の画像を取得し、現在の画像と過去の画像との差異を抽出し、抽出した差異に基づいて、現在の画像に含まれるユーザを支援するためのタスクを依頼するタスク依頼を生成し、生成したタスク依頼を出力する。

Description

情報処理方法、情報処理装置、及び情報処理プログラム
情報処理方法、情報処理装置、及び情報処理プログラム
　特許文献１は、玄関の踊り場にいる利用者を撮像し、撮影した利用者の画像から利用者ＩＤを特定し、玄関に設けられた体温測定計により利用者の身体表面温度を測定し、天気予報提供会社のサーバから利用者宅を考慮した天気情報を取得し、利用者ＩＤと、身体表面温度と、天気情報とから、ユーザに対する最適な服飾アイテムを提案する玄関システムを開示する。
　しかしながら、特許文献１に記載の技術では、現在の玄関画像と過去の玄関画像との差異が抽出されていないので、ユーザに適した支援を行うにはさらなる改善の必要がある。
特開２００６－３０１９７３号公報
　本開示の目的は、現在の画像と過去の画像との差異に基づいて、ユーザに適した支援を行う技術を提供することである。
　本開示の一態様における情報処理方法は、情報処理装置における情報処理方法であって、前記情報処理装置のプロセッサが、建物の玄関において撮像装置により撮像された現在の画像を取得し、前記現在の画像に関連する関連情報を取得し、前記現在の画像に対して前記関連情報が一致又は類似する過去の画像を取得し、前記現在の画像と前記過去の画像との差異を抽出し、抽出した前記差異に基づいて、前記現在の画像に含まれるユーザを支援するためのタスクを依頼するタスク依頼を生成し、生成した前記タスク依頼を出力する。
　本開示によれば、現在の画像と過去の画像との差異に基づいて、ユーザに適した支援を実現できる。
本開示の実施の形態１における情報処理システムの全体構成の一例を示す図である。 図１に示す情報処理装置の構成の一例を示すブロック図である。 画像情報テーブルのデータ構成の一例を示す図である。 カメラが撮像した画像の一例を示す図である。 本開示の実施の形態１における情報処理装置の処理の一例を示すフローチャートである。 実施の形態２における情報処理装置の構成の一例を示すブロック図である。 支援者テーブルのデータ構成の一例を示す図である。 本開示の実施の形態２における情報処理装置の処理の一例を示すフローチャートである。 本開示の実施の形態３における情報処理装置の構成の一例を示す図である。 完了時刻テーブルのデータ構成の一例を示す図である。 必要時間テーブルのデータ構成の一例を示す図である。 実施の形態４の説明図である。 本開示の実施の形態５における情報処理装置の構成の一例を示す図である。 タスク決定テーブルのデータ構成の一例を示す図である。
　（本開示の一態様に至る経緯）
　住宅の玄関に設置されたカメラで撮像された画像から子供の外出を検知した場合、カメラで撮影された画像をその子供の親の携帯端末に通知することで子供の見守りを行う見守りシステムが検討されている。
　親は通知された画像を見ることで子供の忘れ物の有無を確認できる。例えば、本日の天気予報が子供の下校時に雨が降ることを示しているにも関わらず、通知された画像において、子供が傘を持ってなければ、親は子供が傘を持ち忘れたことを確認することができ、傘を子供に届けることができる。
　しかしながら、通知された画像から子供の忘れ物に親が気づいたとしても、仕事等により手が離せず、子供に忘れ物を届ける行動を親が実行することが困難なことがある。この場合、子供は傘をささずに雨に濡れて帰宅する可能性がある。そして、雨に濡れた子供の姿を見た親は、傘を届けることができなかったことに引け目を感じ、子供に対して罪悪感を抱いてしまう。このような事態を回避するためには、子供の忘れ物を自動的に検知し、検知結果に基づいて忘れ物を子供に届けるサービスの実現が望まれる。
　例えば、上述の特許文献１では、玄関の踊り場のユーザの身体表面温度を体温測定計で計測し、その身体表面温度が閾値を超えている場合、コートの着用を提案するための外気温閾値を上昇させることが開示されている。しかしながら、特許文献１では、カメラにより玄関にいるユーザが撮像されているものの、撮像された画像はユーザＩＤを特定するために利用されているに過ぎず、現在の画像と、関連情報が一致する又は類似する過去の画像とを比較することは行われていない。そのため、画像に写るユーザに忘れ物を届けるといった、当該ユーザに適した支援を行うにはさらなる改善の必要がある。
　そこで、本発明者は、玄関で撮影された現在の画像と、当該現在の画像に対して天気予報等の関連情報が同一又は類似する過去の画像とを比較すれば、子供が本日、所持すべき持ち物を忘れ物として自動的に検知することができ、第三者が子供に忘れ物を届けるタスクを生成すれば、このようなサービスが実現できることを見出した。
　さらに、本発明者は、このような現在の画像と、関連情報が同一又は類似する過去の画像と、を比較すれば、画像に写る人物に対して忘れ物を届けるサービスのみならず、画像に写るユーザに対して様々な支援を行うサービスを提供できることを見出した。例えば、現在の画像と同じ時間帯の過去の画像とを比較すれば、屋外の明るさの変化から日没時間の変化を検知でき、子供に早めの帰宅を促すメッセージを通知するサービスが実現できる。
　本開示はこのような知見に基づいてなされたものである。
　本開示の一態様における情報処理方法は、情報処理装置における情報処理方法であって、前記情報処理装置のプロセッサが、建物の玄関において撮像装置により撮像された現在の画像を取得し、前記現在の画像に関連する関連情報を取得し、前記現在の画像に対して前記関連情報が一致又は類似する過去の画像を取得し、前記現在の画像と前記過去の画像との差異を抽出し、抽出した前記差異に基づいて、前記現在の画像に含まれるユーザを支援するためのタスクを依頼するタスク依頼を生成し、生成した前記タスク依頼を出力する。
　この構成によれば、現在の画像に対して関連情報が一致又は類似する過去の画像が取得され、取得された過去の画像と現在の画像との差異が抽出されているので、関連情報が一致する状況下で撮像された過去の画像を正解とみなして、現在の画像との差異を抽出できる。その結果、この差異から現在の画像に含まれるユーザに対して支援すべき情報を正確に特定でき、ユーザに適した支援を実現できる。
　上記情報処理方法において、前記差異は、前記ユーザが所持すべき持ち物であり、前記タスクは、前記ユーザに所持すべき持ち物を運搬するタスクであってもよい。
　この構成によれば、ユーザに忘れ物を届ける支援を実現できる。
　上記情報処理方法において、前記差異は、屋外の明るさの変化であり、前記タスクは、前記ユーザに帰宅に関するメッセージを通知するタスクであってもよい。
　この構成によれば、屋外の明るさの変化から帰宅に関するメッセージをユーザに通知できる。これにより、例えば暗くなってきたので早めの帰宅をユーザに促す通知を実現できる。
　上記情報処理方法において、前記差異は、帰宅時におけるユーザの組み合わせであり、前記タスクは、食料を注文するタスク又は機器を制御するタスクであってもよい。
　この構成によれば、帰宅時におけるユーザの組み合わせの差異に応じて食料を注文するタスク又は機器を制御するタスクが実行されるので、例えば普段一緒に帰宅していたユーザが帰宅後に行っていたタスクが自動的に実行され、帰宅したユーザに対する支援を実現できる。
　上記情報処理方法において、前記関連情報は、天気情報を含んでもよい。
　この構成によれば、現在の画像に対して天気情報が一致又は類似する過去の画像と、現在の画像との差異が抽出されているので、現在の天気情報においてユーザが所持すべき持ち物を検知できる。
　上記情処理方法において、前記タスク依頼の生成では、前記差異の内容と前記タスクの内容とが予め対応付けられたタスク決定ルールを用いて前記タスク依頼を生成してもよい。
　この構成によれば、差異の内容とタスクの内容とが予め対応付けられたタスク決定ルールを用いてタスクが決定されているので、差異に応じた適切なタスクを速やかに決定できる。
　上記情報処理方法において、前記タスク依頼の出力では、第１ユーザを支援する支援者に前記タスクの受入を促す受入依頼を出力し、前記受入依頼に前記支援者が同意したことを示す同意情報を取得した場合、前記タスク依頼を出力してもよい。
　この構成によれば、支援候補者の意思を尊重してタスク依頼を行うことができる。
　上記情報処理方法において、前記タスク依頼の出力では、前記差異の内容と前記ユーザを示すユーザ情報とに基づいて、前記タスクの実行期限を設定し、前記実行期限を前記受入依頼に含めてもよい。
　この構成によれば、差異の内容と写真に含まれるユーザとに応じてタスクの実行期限が設定され、設定された実行期限が受入依頼に含まれるので、支援を受け入れるか否かの判断材料を支援者に提示できる。
　上記情報処理方法において、前記実行期限は、前記ユーザ情報及び前記差異の内容に応じて予め定められた前記タスクの完了時刻から、前記支援者及び前記ユーザに応じて予め定められた前記タスクの必要時間前の時刻に決定されてもよい。
　この構成によれば、タスクの完了時刻から、タスクの必要時間前の時刻が実行期限として設定されるので、タスクの必要時間を考慮に入れて完了時刻までにタスクを完了することができる。
　上記情報処理方法において、前記差異の内容は、前記ユーザが所持すべき持ち物であり、前記完了時刻は、前記ユーザによる前記所持すべき持ち物の使用開始時刻に基づいて決定された時刻であり、前記必要時間は、前記所持すべき持ち物を前記ユーザに運搬するのに要する時間であってもよい。
　この構成によれば、所持すべき持ち物の使用開始時刻までにユーザに所持すべき持ち物を運搬することができる。
　上記情報処理方法において、前記タスクは、前記ユーザとは別の支援者により実行されてもよい。
　この構成によれば、支援者によりユーザの支援を行わせることができる。
　上記情報処理方法において、前記過去の画像は、さらに、前記タスク依頼の有無を示す情報と関連付けられており、前記差異の抽出では、前記タスク依頼の有無を示す情報に基づいて前記タスク依頼が行われていない過去の画像を特定し、特定した前記過去の画像と前記現在の画像との差異を抽出してもよい。
　この構成によれば、特定される過去の画像はタスク依頼がされていない画像であるので、特定される過去の画像がユーザを支援すべき情報を含む可能性が高まり、ユーザに対して適切なタスクを決定できる。
　上記情報処理方法において、前記差異の抽出では、前記現在の画像に対して前記関連情報が一致又は類似する過去の画像が複数の過去の画像で構成される場合、各過去の画像について前記現在の画像との前記差異の有無を判定し、前記差異が有ると判定した過去の画像の枚数が前記差異が無いと判定した過去の画像の枚数を超える場合、前記差異があると判定してもよい。
　この構成によれば、ユーザのニーズを考慮に入れてタスク依頼の生成の有無を判定できる。
　本開示の別の一態様における情報処理装置は、建物の玄関において撮像装置により撮像された現在の画像を取得する第１取得部と、前記現在の画像に関連する関連情報を取得する第２取得部と、前記現在の画像に対して前記関連情報が一致又は類似する過去の画像を取得する第３取得部と、前記現在の画像と前記過去の画像との差異を抽出し、抽出した前記差異に基づいて、前記現在の画像に含まれるユーザを支援するためのタスクを依頼するタスク依頼を生成する生成部と、前記タスク依頼を出力する出力部と、を備える。
　この構成によれば、上記情報処理方法と同じ作用効果の得られる情報処理装置を提供できる。
　本開示の別の一態様における情報処理プログラムは、情報処理装置における情報処理方法をコンピュータに実行させる情報処理プログラムであって、建物の玄関において撮像装置により撮像された現在の画像を取得し、前記現在の画像に関連する関連情報を取得し、前記現在の画像に対して前記関連情報が一致又は類似する過去の画像を取得し、前記現在の画像と前記過去の画像との差異を抽出し、抽出した前記差異に基づいて、前記現在の画像に含まれるユーザを支援するためのタスクを依頼するタスク依頼を生成し、生成した前記タスク依頼を出力する、処理を実行させる。
　この構成によれば、上記情報処理方法と同じ作用効果の得られる情報処理プログラムを提供できる。
　本開示は、このような情報処理プログラムによって動作する情報処理システムとして実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
　（実施の形態１）
　図１は、本開示の実施の形態１における情報処理システムの全体構成の一例を示す図である。情報処理システムは、情報処理装置１、関連情報サーバ２、カメラ３（撮像装置）、支援者サーバ４、第１端末５、及び第２端末６を含む。情報処理システムは、カメラ３が撮像した画像に含まれるユーザを支援する。
　情報処理装置１、関連情報サーバ２、及び支援者サーバ４は、例えばネットワーク上に設けられたクラウドサーバである。情報処理装置１、関連情報サーバ２、カメラ３、支援者サーバ４、第１端末５、及び第２端末６は、ネットワークを介して相互に通信可能に接続されている。
　カメラ３は、例えば支援対象となるユーザが居住する建物の出入口に設置された固定カメラである。以下、出入口は玄関であるものとして説明する。カメラ３は、玄関において視線が屋内から屋外に向く位置に設置されている。したがって、カメラ３が撮像する画像は、建物の屋内から玄関空間が撮像された画像となる。そのため、外出時にユーザにより玄関のドアが開けられると、カメラ３は、屋外の風景を含む玄関の画像を撮像できる。したがって、カメラ３が撮像する画像は屋外の環境情報を含むことができる。さらに、カメラ３が撮像する画像は玄関に設置されているので、外出時にユーザが所持する持ち物を含むことができる。
　なお、カメラ３の設置位置は玄関に限定されず、玄関が撮像可能な位置（例えば、部屋又は廊下）であれば、どのような位置であってもよい。
　また、カメラ３は、外出するユーザが検出可能な位置であれば、玄関以外の建物の出入口に設置されてもよい。例えば、カメラ３は、建物内の複数の空間の境界におけるユーザの通過場所に設置されていてもよい。この場合、カメラ３は、部屋間を移動するユーザ、リビングルームと玄関空間との境界のドアを移動するユーザを撮影することができる。また、カメラ３は、門に設置されていてもよいし、玄関に繋がる廊下又は部屋に設置されていてもよい。
　第１端末５は、例えば、スマートフォン、タブレット型コンピュータ等の携帯型の情報端末、又は据え置き型のコンピュータであってもよい。第１端末５は、例えば、カメラ３が撮像した画像に含まれるユーザの関係者により所持される。以下、画像に含まれるユーザを第１ユーザ、第１ユーザの関係者を第２ユーザと呼ぶ、第１ユーザは例えば子供であり、第２ユーザは例えば子供の保護者（母又は父）である。
　第２端末６は、例えば、スマートフォン、タブレット型コンピュータ等の携帯型の情報端末であってもよいし、据え置き型のコンピュータであってもよい。第２端末６は、第１ユーザの支援者により所持される端末である。
　関連情報サーバ２は、天気情報を提供するクラウドサーバで構成され、情報処理装置１からの取得依頼に応答して天気情報を情報処理装置１に送信する。カメラ３は、撮像した画像を情報処理装置１に送信する。情報処理装置１は、タスク依頼を生成し、生成したタスク依頼を支援者サーバ４に送信する。天気情報は、例えば当日の天気予報を示す情報である。天気情報は、例えば、午前中は晴れ、午後から雨といった情報である。
　支援者サーバ４は、情報処理装置１から送信されたタスク依頼を第２端末６に送信することで、タスク依頼を支援者に通知する。
　図２は、図１に示す情報処理装置１の構成の一例を示すブロック図である。情報処理装置１は、通信部１１、プロセッサ１２、及びメモリ１３を含む。通信部１１は、情報処理装置１をネットワークに接続する通信回路である。例えば、通信部１１は、カメラ３から送信された画像を受信し、関連情報サーバ２から送信された関連情報を受信する。例えば、通信部１１は、タスク依頼を支援者サーバ４に送信する。
　プロセッサ１２は、ＣＰＵ等のプロセッサで構成され、第１取得部１２１、第２取得部１２２、第３取得部１２３、生成部１２４、及び出力部１２５を含む。第１取得部１２１～出力部１２５は、プロセッサが情報処理プログラムを実行することで実現されてもよいし、専用のハードウェア回路で構成されてもよい。
　第１取得部１２１は、カメラ３により撮像された画像を通信部１１を用いて取得する。カメラ３が玄関の画像を所定のフレームレートで撮像するように構成されている場合、第１取得部１２１は、カメラ３が撮像した画像を所定のフレームレートで取得する。また、第１取得部１２１は、人物が玄関を出入りする画像を取得してもよい。この場合、カメラ３は、玄関のドアに設けられた開閉センサがドアの開閉を検知したとき、或いは、玄関に設けられた人感センサが人物を検知したときに、玄関の画像を撮像すればよい。
　第２取得部１２２は、カメラ３が撮像した現在の画像に関連する関連情報を取得し、取得した関連情報を画像と関連付けてメモリ１３の画像情報テーブル１３１に記録する。関連情報は、例えば天気情報、及び現在の日時を示す日時情報を含む。例えば、第２取得部１２２は、第１取得部１２１により画像が取得された場合、天気情報の取得依頼を関連情報サーバ２に送信し、当該取得依頼に応答して関連情報サーバ２から送信された天気情報を関連情報として取得する。日時情報は、例えば、年、月、日、時刻を含む。
　第３取得部１２３は、メモリ１３の画像情報テーブル１３１（図３）に記録された過去の画像のうち、第１取得部１２１が取得した現在の画像に対して関連情報が一致又は類似する過去の画像を取得する。例えば、第３取得部１２３は、第２取得部１２２が取得した天気情報と内容が一致又は類似する関連情報が関連付けられた過去の画像を画像情報テーブル１３１から取得すればよい。
　例えば、第３取得部１２３は、第２取得部１２２が取得した天気情報が、午前が晴、午後が雨という内容を持つ場合、午前中が晴、午後が雨との天気情報を含む関連情報が関連付けられた過去の画像を画像情報テーブル１３１から取得する。例えば、第３取得部１２３は、現在の画像及び過去の画像のうち一方に関連付けられた天気情報が午前が晴れ午後が雨、他方に関連付けられた天気情報が午前が曇り午後が雨、というように、午前から午後にかけての天候の変化の傾向が同じである天気情報同士を類似する天気情報と判定すればよい。天候の変化の傾向は、経時的に天候が悪化する傾向、経時的に天候が回復する傾向等がある。
　生成部１２４は、現在の画像と過去の画像との差異を抽出し、抽出した差異に基づいて、現在の画像に含まれる第１ユーザを支援するためのタスクを依頼するタスク依頼を生成する。例えば、生成部１２４は、差異が所定の条件を満たす場合、支援者が第１ユーザに忘れ物を運搬するタスク依頼を生成する。タスクとは、第１ユーザを支援するための、支援者の行動又はコンピュータの処理である。コンピュータの処理による支援の一例は、第１ユーザへ第１ユーザを支援するメッセージを通知する処理である。所定の条件の一例は、過去の画像において第１ユーザが所持していたが、現在の画像では第１ユーザが所持していない物品があるという条件である。すなわち、所定の条件の一例は、第１ユーザが所持すべき持ち物を持っていないという条件である。
　例えば、生成部１２４は、現在の画像及び過去の画像のそれぞれについて、画像処理により、画像に含まれる人物及び物体を抽出する。このとき、生成部１２４は、抽出した人物が建物に居住するユーザのうちどのユーザであるかを特定する。画像処理としては、例えば物体を認識する認識器及び人物の顔を認識する認識器を用いる処理が採用できる。人物を特定する処理としては、例えば、顔認証処理が採用できる。生成部１２４は、建物内に居住する各ユーザの顔の登録済みの特徴量であってユーザＩＤが関連付けられた特徴量と、画像に含まれる人物の顔の特徴量とを比較することで、人物が誰であるかを特定すればよい。
　生成部１２４は、現在の画像及び過去の画像を比較し、過去の画像に含まれているが現在の画像には含まれていない物体を差異として抽出する。そして、生成部１２４は、差異として抽出した物体が第１ユーザの持ち物であれば、所定の条件を満たすと判定する。持ち物は、例えば、カバン、傘、靴、上着、コート、書類、体操服袋、水泳バック、及びレインウェア等である。例えば、生成部１２４は、差異として抽出した物体が、第１ユーザに対して所定距離以下に位置していれば、その物体を第１ユーザの持ち物と判定すればよい。
　支援者は、タスクを実行することで第１ユーザを支援する人物である。支援者は、例えば、忘れ物をユーザに運搬するといった支援サービス業者の従業員であってもよいし、地域のボランティア人員であってもよい。
　出力部１２５は、生成部１２４が生成したタスク依頼を通信部１１を用いて支援者サーバ４に送信する。
　メモリ１３は、例えば、ハードディスクドライブ及びソリッドステートドライブ等の不揮発性の書き換え可能な記憶装置である。メモリ１３は、情報処理装置１に対してネットワークを介して接続された外部サーバに設けられていてもよい。メモリ１３は、画像情報テーブル１３１を含む。
　図３は、画像情報テーブル１３１のデータ構成の一例を示す図である。画像情報テーブル１３１は、画像ＩＤ、撮像時刻、認識情報、関連情報、タスク依頼の有無、及び画像を関連付けて記憶する。画像ＩＤはカメラ３が撮像した画像の識別子である。撮像時刻はカメラ３が画像を撮像した時刻である。認識情報は、生成部１２４が画像から画像処理により認識した情報である、認識情報は、ユーザ情報、及びそのユーザの持ち物を示す情報を含む。さらに、認識情報は、朝、昼、夜等の環境情報を含む。生成部１２４は、画像を画像処理することで環境情報を特定してもよいし、画像の撮像時刻から環境情報を特定してもよい。
　関連情報は、第２取得部１２２が関連情報サーバ２から取得した関連情報である。ここでは、関連情報として、画像の撮像時刻を含む日の天気予報を示す天気情報が登録されている。
　タスク依頼の有無は、画像に対してタスク依頼が行われたか否かを示す情報である。例えば、ＩＤ００００３の画像については、傘を運搬するタスクが実行されたため、タスク依頼の有無が「有り」となっている。
　画像の欄は、カメラ３が撮像した画像を記録する。
　図４は、カメラ３が撮像した画像５００の一例を示す図である。画像５００は、第１ユーザＵがドア５０１を開けて外出するシーンに撮像された画像である。カメラ３は、屋内から屋外に向く方向に視線が設定されているので、このような外出するシーンを撮像できる。ドア枠５０３によって囲まれる領域５０２は後述する屋外画像である。
　図５は、本開示の実施の形態１における情報処理装置１の処理の一例を示すフローチャートである。
　（ステップＳ１）
　第１取得部１２１は、カメラ３が撮像した画像を取得する。ここで取得される画像は現在の画像である。カメラ３から常時画像が送信される態様が採用される場合、例えば、第１取得部１２１は、現在時刻に最も近い撮像時刻を有する画像であって、第１ユーザが含まれている画像を現在の画像として取得すればよい。或いは、第１取得部１２１は、画像情報テーブル１３１に記録された撮像時刻が最新の画像であって第１ユーザを含む画像を現在の画像として取得してもよい。なお、第１ユーザは支援を受けることが予め定められた特定のユーザであってもよい。
　（ステップＳ２）
　第２取得部１２２は、関連情報サーバ２から現在の画像に関連する関連情報を取得する。ここでは、現在時刻における天気予報を示す天気情報が関連情報として取得される。天気予報は、本日の天気予報である。例えば、第２取得部１２２は、関連情報を取得するための情報に基づいて天気情報を取得してもよい。当該情報は例えば、第１ユーザの位置情報、現在の時刻を示す時刻情報である。第１ユーザの位置情報は、第１ユーザが所持する携帯端末から取得してもよいし、建物の位置情報であってもよい。建物の位置情報はメモリ１３から取得すればよい。時刻情報は、情報処理装置１が有する図略の時計から取得してもよいし、ネットワークに接続された外部サーバ（図略）から取得してもよい。第２取得部１２２は、第１ユーザの位置情報又は建物の位置情報から第１ユーザが居住する地域を特定し、その地域における現在の天気情報を関連情報サーバ２から取得すればよい。
　（ステップＳ３）
　第３取得部１２３は、現在の画像に対して関連情報が一致又は類似する過去の画像を画像情報テーブル１３１から取得する。関連情報が一致又は類似するとの判定は上述の通りである。現在の画像に対する関連情報が雨である場合、図３の例では、「ＩＤ００００１」と「ＩＤ００００３」との関連情報が雨なので、両画像が過去の画像として取得される。
　（ステップＳ４）
　生成部１２４は、現在の画像と過去の画像との差異を抽出する。ここでは、上述したように、過去の画像には含まれているが現在の画像には含まれていない物体が差異として抽出される。
　なお、生成部１２４は、画像情報テーブル１３１においてタスク実行の有無が「無し」の過去の画像と、現在の画像との差異を抽出してもよい。この場合、特定される過去の画像はタスク依頼がされていないので、第１ユーザが所持すべき持ち物を含んでいる可能性が高く、この過去の画像と現在の画像とを比較することで、第１ユーザが所持すべき持ち物を精度良く抽出できる。
　また、生成部１２４は、現在の画像に対して関連情報が一致又は類似する過去の画像が複数の過去の画像で構成される場合、各過去の画像について現在の画像との差異が所定の条件を満たす画像の枚数を算出し、当該枚数が、差異が所定の条件を満たしていない画像の枚数を超える場合、所定の条件を満たすと判定してもよい。例えば、雨のときに傘を持っていなくても、ユーザのニーズにより、必ず傘を運搬するタスク依頼が発生しているわけではない。この場合、第１ユーザに傘を届ける必要はない。本構成では、このようなケースにおいて持ち物を運搬するタスク依頼が発生されなくなるので、第１ユーザのニーズを考慮に入れてタスク依頼の生成の有無を判定できる。
　（ステップＳ５）
　生成部１２４は、差異に基づいてタスク依頼を生成する。ここでは、上述したように、差異として抽出された物体が、第１ユーザが所持すべき持ち物である場合、当該持ち物を第１ユーザに運搬するタスクを支援者に依頼するタスク依頼が生成される。
　（ステップＳ６）
　出力部１２５は、タスク依頼を通信部１１を用いて支援者サーバ４に送信（出力）する。タスク依頼を受信した支援者サーバ４は、支援者の携帯端末（図略）にタスク依頼を送信する。タスク依頼には、運搬すべき持ち物、第１ユーザの自宅の住所、及び運搬先等が含まれる。支援者は第１ユーザの自宅へ行って運搬すべき持ち物を受け取り、運搬先に移動して第１ユーザに持ち物を届ける。これにより、第１ユーザは忘れ物を得ることができる。
　このように、実施の形態１によれば、現在の画像に対して関連情報が一致又は類似する過去の画像が取得され、取得された過去の画像と現在の画像との差異が抽出されているので、関連情報が一致する状況下で撮像された過去の画像を正解とみなして、現在の画像との差異を抽出できる。その結果、この差異から現在の画像に含まれるユーザに対して支援すべき情報を正確に特定でき、ユーザに適した支援を実現できる。
　（実施の形態２）
　実施の形態２は、タスク依頼を受け入れるか否かを支援候補者に確認するものである。図６は、実施の形態２における情報処理装置１Ａの構成の一例を示すブロック図である。情報処理装置１Ａにおいて、情報処理装置１との相違点はプロセッサ１２Ａの出力部１２５Ａにある。相違点は、メモリ１３Ａがさらに支援者テーブル１３２を記憶する点にある。
　出力部１２５Ａは、第１ユーザを支援する支援者にタスクの受け入れを促す受入依頼（第１受入依頼）を通信部１１を用いて支援者サーバ４に出力し、第１受入依頼に支援候補者が同意したことを示す同意情報を通信部１１を用いて取得した場合、タスク依頼を通信部１１を用いて支援者サーバ４に出力する。
　図７は、支援者テーブルのデータ構成の一例を示す図である。支援者テーブル１３２は、ユーザ情報と支援候補者情報とを対応付けたテーブルである。第１ユーザ情報は、第１ユーザの識別子である。支援候補者情報は第１ユーザを支援可能な支援候補者の識別子である。図７の例では、第１ユーザＵＡ、ＵＢに対しては支援候補者Ｐ１、Ｐ２、Ｐ３が規定され、第１ユーザＵＣに対しては支援候補者Ｐ４、Ｐ５、Ｐ６が規定されている。最終的にはこれらの支援候補者の中から支援者が決定される。このように、第１ユーザごとに支援候補者を決定することで、第１ユーザに対する支援を円滑に行うことができる支援候補者の中から最終的な支援者を決定できる。
　支援者テーブル１３２は、各第１ユーザにおいて、複数の候補者に対して予め優先順位が設定されてもよい。また、第１ユーザＵＡ、ＵＢに示されるように、異なる第１ユーザに対して同じ支援候補者が関連付けられていてもよい。さらに、支援者テーブル１３２は、タスクの内容と第１ユーザとに応じた支援候補者を規定するものであってもよい。
　図８は、本開示の実施の形態２における情報処理装置１Ａの処理の一例を示すフローチャートである。ステップＳ１～ステップＳ５までの処理、及びステップＳ６は図５と同じであるので説明を省略する。
　（ステップＳ７）
　出力部１２５Ａは、支援者テーブル１３２から支援候補者情報を取得する。例えば、現在の画像から第１ユーザＵＡが抽出された場合、支援候補者Ｐ１、Ｐ２、Ｐ３の支援候補者情報が取得される。なお、支援者テーブル１３２にタスクの内容と第１ユーザと関連付けて支援候補者が登録されている場合、出力部１２５Ａは、タスクの内容と第１ユーザとに関連付けられた支援候補者情報を取得すればよい。
　（ステップＳ８）
　出力部１２５Ａは、取得した支援候補者情報が示す支援候補者にタスクの受け入れを確認する第１受入依頼を支援者サーバ４に送信する。第１受入依頼を受信した支援者サーバ４は各支援候補者が所持する第２端末６に第１受入依頼を送信することで、第１受入依頼を各支援候補者に通知してもよい。第１受入依頼は、タスクの内容、タスク依頼の条件が含まれていてもよい。タスク依頼の条件は、例えばタスクの実行期限等である。また、第１受入依頼は、ある支援者が第１ユーザに対して過去にタスクを実行した際の日時の履歴が含まれていてもよい。
　（ステップＳ９）
　出力部１２５Ａは、少なくとも１人の支援候補者からの同意情報を取得できたか否かを判定する。同意情報を取得できた場合（ステップＳ９でＹＥＳ）、処理はステップＳ１０に進み、同意情報を取得できなかった場合（ステップＳ９でＮＯ）、処理を終了する。例えば、第１受入依頼を閲覧した支援候補者は、第１受入依頼に同意する場合は第２端末６に同意情報を入力し、第１受入依頼に同意しない場合は、第２端末６に非同意情報を入力すればよい。入力された同意情報又は非同意情報は、支援者サーバ４を介して情報処理装置１Ａに入力される。ステップＳ９でＮＯと判定された場合、出力部１２５Ａは、タスクを支援候補者に依頼したが誰も受け入れてくれなかった旨のメッセージを第１端末５に送信してもよい。
　（ステップＳ１０）
　出力部１２５Ａは、第１端末５にタスクの受け入れを第２ユーザに確認する第２受入依頼を通信部１１を用いて送信する。これにより、第１ユーザの保護者である第２ユーザに第２受入依頼が通知される。第２受入依頼は、タスクの内容及び同意情報を入力した支援候補者の氏名等を含む。これにより、第２ユーザにタスクを受け入れるべきか否かの判断材料が提供される。なお、タスクの第２受入依頼は、第１ユーザに通知されてもよい。この場合、第１ユーザの携帯端末（図略）に第２受入依頼が送信される。
　（ステップＳ１１）
　出力部１２５Ａは、第１端末５からの同意情報を取得できたか否かを判定する。同意情報を取得できた場合（ステップＳ１１でＹＥＳ）、処理はステップＳ１２に進み、同意情報を取得できなかった場合（ステップＳ１１でＮＯ）、処理は終了する。例えば、第２受入依頼を閲覧した第２ユーザは、第２受入依頼に同意する場合は、第１端末５に同意情報を入力し、第２受入依頼に同意しない場合は、第１端末５に非同意情報を入力する。
　（ステップＳ１２）
　出力部１２５Ａは、第１受入依頼に同意した支援候補者の中から支援者を決定する。例えば、第１受入依頼に同意した支援候補者が複数いる場合、各支援候補者からランダムに１名の支援候補者を支援者として決定してもよい。また、各支援候補者に対して予め優先順位が定められている場合、出力部１２５Ａは、第１受入依頼に同意した複数の支援候補者のうち、優先順位が最上位の支援候補者を支援者として決定すればよい。
　（ステップＳ６）
　出力部１２５Ａは、決定した支援者にタスクを正式依頼するためにタスク依頼を通信部１１を用いて支援者サーバ４に送信する。タスク依頼は支援者サーバ４から決定された支援者の第２端末６に送信される。これにより、タスク依頼が決定された支援者に通知される。
　なお、支援候補者に優先順位が設定されている場合、ステップＳ９～Ｓ１２において、出力部１２５Ａは、優先順位が上位の支援候補者から順番に第１受入依頼を送信していき、同意情報を得られた時点で、支援者を決定してもよい。
　このように、実施の形態２によれば、支援候補者に第１受入依頼が通知され、同意情報が入力された場合に、タスク依頼が行われるので、支援候補者の意思を尊重してタスク依頼を行うことができる。また、第２ユーザに第２受入依頼が通知され、同意情報が入力された場合にタスク依頼が行われるので、第２ユーザの許可なしにタスクが実行されることを防止できる。
　（実施の形態３）
　実施の形態３は、タスクの実行期限を設定するものである。図９は、本開示の実施の形態３における情報処理装置１Ｂの構成の一例を示す図である。情報処理装置１Ｂにおいて、情報処理装置１Ａとの相違点はプロセッサ１２Ａの出力部１２５Ｂにある。さらに、相違点は、メモリ１３Ｂが完了時刻テーブル１３３及び必要時間テーブル１３４を記憶する点にある。
　出力部１２５Ｂは、生成部１２４により抽出された差異の内容と第１ユーザを示すユーザ情報とに基づいて、タスクの実行期限を設定する。実行期限は、例えば支援者がタスクを開始しなければならない期限である。実行期限は、第１ユーザのユーザ情報及び差異の内容に応じて予め定められたタスクの完了時刻から、支援者及び第１ユーザに応じて予め定められたタスクの必要時間前の時刻に決定される。完了時刻は第１ユーザによる持ち物の使用開始時刻に基づいて決定された時刻である。必要時間は、支援者が、持ち物を第１ユーザに運搬するのに要する時間である。
　図１０は、完了時刻テーブル１３３のデータ構成の一例を示す図である。完了時刻テーブル１３３は、第１ユーザと持ち物とに応じたタスクの完了時刻を規定する。完了時刻テーブル１３３は、第１ユーザ情報、持ち物情報、及び完了時刻を対応付けて記憶する。第１ユーザ情報は、第１ユーザのユーザＩＤである。持ち物情報は第１ユーザが所持すべき持ち物と判定された物体を示す。完了時刻は、第１ユーザが所持すべき持ち物を第１ユーザが運搬するタスクの完了時刻である。図１０の例では、第１ユーザＵＡについて、傘を運搬するタスクの完了時刻は１５時３０分に設定されている。これは、第１ユーザＵＡの外出先（例えば学校）からの帰宅時刻を考慮したものである。第１ユーザＵＡについて、体操服を運搬するタスクの完了時刻は１０時に設定されている。これは、第１ユーザＵＡが外出先で体操服を着用する時刻を考慮したものである。第１ユーザＵＢについて傘を運搬するタスクは１９時に設定されている。これは、第１ユーザＵＢが外出先（例えば塾）からの帰宅時刻を考慮したものである。
　図１１は、必要時間テーブル１３４のデータ構成の一例を示す図である。必要時間テーブル１３４は、支援者と第１ユーザとに応じた必要時間を規定するテーブルである。必要時間テーブル１３４は、支援者情報、第１ユーザ情報、及び必要時間を関連付けて記憶する。支援者情報は、支援者の識別子である。支援者の識別子は支援候補者の識別子と同じである。第１ユーザ情報は、第１ユーザの識別子である。図１１の例では、支援者Ｑ１及び第１ユーザＵＡについて、必要時間は１時間に設定されている。これは、支援者Ｑ１が第１ユーザＵＡの外出先（学校）に持ち物を運搬するのに１時間を要するからである。支援者Ｑ２及び第１ユーザＵＡについて、必要時間は１時間に設定されている。これは、支援者Ｑ２が第１ユーザＵＡの外出先（学校）に持ち物を運搬するのに１時間を要するからである。
　出力部１２５Ｂが実行期限を設定する処理は下記の通りである。以下、支援を受ける第１ユーザが第１ユーザＵＡ、支援者が支援者Ｑ１、運搬される持ち物が傘であるものとして説明する。出力部１２５Ｂは、完了時刻テーブル１３３から第１ユーザＵＡ及び傘の完了時刻「１５時３０分」を取得する。次に、出力部１２５Ｂは、必要時間テーブル１３４から、支援者Ｑ１及び第１ユーザＵＡの必要時間「１時間」を取得する。次に、出力部１２５Ｂは、完了時刻「１５時３０分」から必要時間「１時間」を減じた「１４時３０分」を実行期限として設定する。
　出力部１２５Ｂは、設定した実行期限を実施の形態２で述べた第１受入依頼に含めて支援者サーバ４に送信する。この第１受入依頼は、支援者Ｑ１の第２端末６に送信される。そのため、支援者Ｑ１は第１受入依頼に含まれる実行期限を確認して、第１支援依頼に同意すべきか否かを判断することができる。
　このように、実施の形態３によれば、第１ユーザによる持ち物の使用時刻である完了時刻からその持ち物を支援者が第１ユーザの外出先まで運搬するのに要する必要時間を減じることで実行期限が設定され、この実行期限を含む第１支援依頼が支援者に通知される。そのため、第１ユーザによる持ち物の使用開始時刻までに持ち物を運搬することが可能な支援者による支援が実現される。
　（実施の形態４）
　実施の形態４は、タスクとしてユーザに帰宅に関するメッセージを採用したものである。なお、本実施の形態において、情報処理装置１の構成は、図２と同じであるので、図２を用いて説明する。なお、実施の形態４における情報処理装置１の構成は、図６又は図９の構成が採用されてもよい。以下、実施の形態４において実施の形態１～３との相違点について説明し、一致点については説明を省略する。
　図２を参照し、第１取得部１２１は、カメラ３が撮像した画像であって、第１ユーザが帰宅時の画像を現在の画像として取得する。例えば、第１取得部１２１は、予め定められた帰宅時間帯に撮像された画像であって、ドアを開けた第１ユーザが屋外から屋内に進入するシーンが撮像された画像を帰宅時の画像として取得すればよい。
　第２取得部１２２は、カメラ３が撮像した現在の画像の撮像時刻及び天気情報を関連情報として取得し、取得した撮像時刻及び天気情報を画像と関連付けて画像情報テーブル１３１に記録する。第２取得部１２２は、カメラ３から送信された画像に含まれる撮像時刻を関連情報として取得すればよい。
　第３取得部１２３は、現在の画像に対して撮像時刻が一致又は類似すると共に天気情報が一致又は類似する過去の画像を画像情報テーブル１３１から取得する。ここで、撮像時刻が一致又は類似する過去の画像とは、現在の画像に対して所定日数前に撮像された過去の画像であって、現在の画像の撮像時刻と同じ時間帯に撮像された過去の画像が該当する。所定日数前は、例えば、現在の画像の撮像時刻に対して、５日～９日前である。同じ時間帯とは、例えば、現在の画像の撮像時刻を基準に前後一定期間の時間帯である。一定時間は、５分、１０分、２０分等の適宜の時間幅が採用できる。例えば、現在の画像の撮像時刻が１７時とすると、７日前の１６時５０分から１７時１０分の時間帯に撮像された過去の画像が取得される。
　なお、第３取得部１２３は、現在の画像に対して撮像時刻及び天気情報が一致又類似すると共に、ドアが開いたシーンの画像を過去の画像として取得してもよい。
　生成部１２４は、過去の画像から得られる屋外の明るさと現在の画像から得られる屋外の明るさとの減少方向の変化を差異として抽出する。この場合、生成部１２４は、画像の輝度から屋外の明るさを算出すればよい。さらに、生成部１２４は、その画像に含まれるドア枠内の画像を建物の屋外を示す屋外画像として抽出し、屋外画像の輝度に基づいて屋外の明るさを算出すればよい。ここで、屋外の明るさは、例えば、連続値であってもよいし、明るさを複数段階（例えば、５段階）で評価した段階値であってもよい。減少方向の変化とは、過去の画像の明るさから過去の画像の明るさを減じた値である。
　そして、生成部１２４は、抽出した明るさの減少方向の変化が所定値よりも大きければ、第１ユーザに帰宅に関するメッセージを通知するタスクを実行するためのタスク依頼を生成する。所定値は、例えば日没時間が速まり現在の帰宅時刻では屋外が明るい間に帰宅することが困難になることが想定される値である。
　出力部１２５は、タスク依頼を支援者サーバ４に送信する。タスク依頼を受信した支援者サーバ４は、帰宅時間を早めることを通知するためのメッセージを含む通知情報を生成し、生成した通知情報を第１端末５又は第１ユーザが所持する携帯端末（図略）に送信する。これにより、第１ユーザの保護者又は第１ユーザに帰宅時間を早めるメッセージが通知される。
　出力部１２５は、例えば今回の帰宅時にタスク依頼を送信してもよいし、次回の帰宅時にタスク依頼を送信してもよい。なお、実施の形態４においては、依頼者を選定する必要がないので、図８のフローチャートのＳ７～Ｓ１２の処理は不要となる。
　図１２は、実施の形態４の説明図である。左側の図は先週の帰宅時の第１ユーザの画像を示し、右側の図は今日の帰宅時の第１ユーザの画像である。今日の帰宅時の画像は、先週の帰宅時の画像に比べて屋外の明るさが暗くなっている。これは、季節が移り変わり、日照時間が短くなったからである。
　この場合、第１ユーザは帰宅時間を早める方が安全面から好ましい。そこで、実施の形態４では、このような事象が発生した場合、第１ユーザに帰宅時間を早めるメッセージを通知する。これにより、第１ユーザに対して次回から早く帰宅することを促すことができる。そのため、第１ユーザの安全を確保すると共に保護者に安心感を与えることが可能となる。
　（実施の形態５）
　実施の形態５は、タスク決定テーブルを参照してタスクを決定するものである。図１３は、本開示の実施の形態５における情報処理装置１Ｃの構成の一例を示す図である。情報処理装置１Ｃにおいて、情報処理装置１との相違点はメモリ１３Ｃがタスク決定テーブル１３５をさらに記憶している点にある。
　図１４は、タスク決定テーブル１３５のデータ構成の一例を示す図である。タスク決定テーブル１３５は、生成部１２４がタスクを決定するときに参照されるテーブルである。タスク決定テーブル１３５は、差異の内容と関連情報とに応じたタスクを規定する。現在の画像と過去の画像との差異が、第１ユーザが所持すべき持ち物であれば、持ち物を運搬するタスクが実行される。例えば、差異が持ち物の場合、関連情報として天気情報が採用され、実施の形態１と同様にしてタスクが決定される。
　また、差異が持ち物の場合、関連情報として第１ユーザのスケジュール情報が採用されてもよい。この場合、第２取得部１２２は、関連情報として第１ユーザのスケジュール情報を取得する。例えば、第２取得部１２２は、スケジュール情報を記憶する外部サーバ（図略）から第１ユーザのスケジュール情報を取得し、現在の画像と関連付けて画像情報テーブル１３１に記録する。
　第３取得部１２３は、画像情報テーブル１３１に記録された過去の画像のうち、スケジュール情報が一致又は類似する過去の画像を取得する。スケジュール情報が一致又は類似するとは、例えば一方のスケジュール情報と他方のスケジュール情報とにおいて、同じ予定が入っている場合が該当する。予定の一例は第１ユーザの同じ習い事である。習い事の一例は、塾、及び水泳教室等である。
　生成部１２４は、過去の画像と現在の画像とで差異として抽出した持ち物が予定に必要な物品である場合、すなわち、過去の画像には習い事に必要な物品があるが現在の画像には習い事に必要な物品がない場合、当該物品を第１ユーザに運搬するタスクを決定し、当該タスクのタスク依頼を生成する。これにより、第１ユーザは外出先において習い事に必要な物品が支援者により運搬され、当該物品を受け取ることができる。
　また、図１４に示すように、現在の画像と過去の画像との差異が第１ユーザの帰宅時における屋外の明るさの場合、帰宅に関するメッセージを通知するタスクが実行される。この処理の詳細は実施の形態４と同じである。
　さらに、図１４に示すように、現在の画像と過去の画像との差異が、帰宅時のユーザの組み合わせである場合、食料を注文するタスク、機器を制御するタスクが決定される。この場合、第１取得部１２１は、ユーザの帰宅時の画像を現在の画像として取得する。帰宅時の画像の選定方法については上述した。
　第２取得部１２２は、現在の画像が撮像された曜日及び時間帯を関連情報として取得し、取得した曜日及び時間を現在の画像と関連付けて画像情報テーブル１３１に記録する。
　第３取得部１２３は、画像情報テーブル１３１に記録された過去の画像のうち、現在の画像に対して曜日及び時間帯が一致又は類似する過去の画像を取得する。曜日及び時間帯が一致又は類似するとは、例えば、撮像された曜日が同じ、且つ、撮像時刻が属する時間帯が同じであることを指す。例えば、現在の画像が水曜日の１７時３０分に撮像されたとすると、水曜日の１７時の時間帯に撮像された過去の画像が取得される。
　生成部１２４は、現在の画像と過去の画像とにおいて、含まれているユーザの組み合わせの相違を差異として抽出する。ユーザの組み合わせの相違とは、例えば現在の画像では子供のみが含まれているのに対して過去の画像では子供と保護者とが含まれているというようなケースである。
　生成部１２４は、組み合わせの相違が所定の条件を満たす場合、食料を注文するタスク又は機器を制御するタスクを実行するためのタスク依頼を生成する。所定の条件の一例は、過去の画像には、子供及び保護者が含まれているのに対して現在の画像には子供のみが含まれているという条件である。食料の注文の一例は、出前又は食材の注文である。機器の制御の一例は、洗濯機を稼動させる制御、給湯システムに風呂のお湯をはらせる制御である。食料を注文するタスクのタスク依頼は、事前に設定された注文先に事前に設定された料理又は食材を注文する注文依頼であってもよい。機器を制御するタスクを実行するためのタスクのタスク依頼は、例えば機器を所定の条件で稼動させる制御信号であってもよい。
　これにより、普段は保護者と帰宅する子供が本日は保護者と一緒に帰宅しなかった場合、自動的に食料の注文又は機器の制御が実行され、子供に対して生活の支援を行うことができる。
　生成部１２４は、図１４に示す３つのタスクを差異に応じて切り替えればよい。例えば、差異の内容が持ち物の場合は、持ち物を運搬するタスクを決定し、差異の内容が屋外の明るさの場合は、帰宅に関するメッセージをユーザに通知するタスクを決定し、差異の内容が帰宅時のユーザの組み合わせの場合、食料を注文するタスク及び／又は機器を制御するタスクを決定すればよい。
　（変形例１）
　生成部１２４は、時間帯に応じてタスク決定テーブル１３５から参照するタスクを変更してもよい。例えば、生成部１２４は、午前中においては、持ち物に関するタスクのみを決定し、午後においては、ユーザの組み合わせ及び／又は屋外の明るさに関するタスクを決定すればよい。
　（変形例２）
　第２取得部１２２は、取得した関連情報を画像と関連付けてメモリ１３に記憶しなくてもよい。例えば、情報処理装置１とは別のサーバが関連情報と過去の画像とを関連付けて記憶するデータベースを有している態様が採用されてもよい。この場合、第３取得部１２３は、このデータベースから現在の画像と、関連情報が一致又は類似する過去の画像を取得すればよい。
　本開示は、ユーザに適した支援を行う技術分野において有用である。

Claims (15)

  1. 　情報処理装置における情報処理方法であって、
    　前記情報処理装置のプロセッサが、
    　建物の玄関において撮像装置により撮像された現在の画像を取得し、
    　前記現在の画像に関連する関連情報を取得し、
    　前記現在の画像に対して前記関連情報が一致又は類似する過去の画像を取得し、
    　前記現在の画像と前記過去の画像との差異を抽出し、抽出した前記差異に基づいて、前記現在の画像に含まれるユーザを支援するためのタスクを依頼するタスク依頼を生成し、
    　生成した前記タスク依頼を出力する、
    　情報処理方法。
  2. 　前記差異は、前記ユーザが所持すべき持ち物のであり、
    　前記タスクは、前記ユーザに所持すべき持ち物を運搬するタスクである、
    　請求項１記載の情報処理方法。
  3. 　前記差異は、屋外の明るさの変化であり、
    　前記タスクは、前記ユーザに帰宅に関するメッセージを通知するタスクである、
    　請求項１記載の情報処理方法。
  4. 　前記差異は、帰宅時におけるユーザの組み合わせであり、
    　前記タスクは、食料を注文するタスク又は機器を制御するタスクである、
    　請求項１記載の情報処理方法。
  5. 　前記関連情報は、天気情報を含む、
    　請求項１記載の情報処理方法。
  6. 　前記タスク依頼の生成では、前記差異の内容と前記タスクの内容とが予め対応付けられたタスク決定ルールを用いて前記タスク依頼を生成する、
    　請求項１記載の情報処理方法。
  7. 　前記タスク依頼の出力では、第１ユーザを支援する支援者に前記タスクの受入を促す受入依頼を出力し、前記受入依頼に前記支援者が同意したことを示す同意情報を取得した場合、前記タスク依頼を出力する、
    　請求項１記載の情報処理方法。
  8. 　前記タスク依頼の出力では、前記差異の内容と前記ユーザを示すユーザ情報とに基づいて、前記タスクの実行期限を設定し、前記実行期限を前記受入依頼に含める、
    　請求項７記載の情報処理方法。
  9. 　前記実行期限は、前記ユーザ情報及び前記差異の内容に応じて予め定められた前記タスクの完了時刻から、前記支援者及び前記ユーザに応じて予め定められた前記タスクの必要時間前の時刻に決定される、
    　請求項８記載の情報処理方法。
  10. 　前記差異の内容は、前記ユーザが所持すべき持ち物であり、
    　前記完了時刻は、前記ユーザによる前記所持すべき持ち物の使用開始時刻に基づいて決定された時刻であり、
    　前記必要時間は、前記所持すべき持ち物を前記ユーザに運搬するのに要する時間である、
    　請求項９記載の情報処理方法。
  11. 　前記タスクは、前記ユーザとは別の支援者により実行される、
    　請求項１記載の情報処理方法。
  12. 　前記過去の画像は、さらに、前記タスク依頼の有無を示す情報と関連付けられており、
    　前記差異の抽出では、前記タスク依頼の有無を示す情報に基づいて前記タスク依頼が行われていない過去の画像を特定し、特定した前記過去の画像と前記現在の画像との差異を抽出する、
    　請求項１記載の情報処理方法。
  13. 　前記差異の抽出では、前記現在の画像に対して前記関連情報が一致又は類似する過去の画像が複数の過去の画像で構成される場合、各過去の画像について前記現在の画像との前記差異の有無を判定し、前記差異が有ると判定した過去の画像の枚数が前記差異が無いと判定した過去の画像の枚数を超える場合、前記差異があると判定する、
    　請求項１～１２のいずれかに記載の情報処理方法。
  14. 　建物の玄関において撮像装置により撮像された現在の画像を取得する第１取得部と、
    　前記現在の画像に関連する関連情報を取得する第２取得部と、
    　前記現在の画像に対して前記関連情報が一致又は類似する過去の画像を取得する第３取得部と、
    　前記現在の画像と前記過去の画像との差異を抽出し、抽出した前記差異に基づいて、前記現在の画像に含まれるユーザを支援するためのタスクを依頼するタスク依頼を生成する生成部と、
    　前記タスク依頼を出力する出力部と、を備える、
    　情報処理装置。
  15. 　情報処理装置における情報処理方法をコンピュータに実行させる情報処理プログラムであって、
    　建物の玄関において撮像装置により撮像された現在の画像を取得し、
    　前記現在の画像に関連する関連情報を取得し、
    　前記現在の画像に対して前記関連情報が一致又は類似する過去の画像を取得し、
    　前記現在の画像と前記過去の画像との差異を抽出し、抽出した前記差異に基づいて、前記現在の画像に含まれるユーザを支援するためのタスクを依頼するタスク依頼を生成し、
    　生成した前記タスク依頼を出力する、処理を実行させる、
    　情報処理プログラム。
PCT/JP2022/023518 2021-11-12 2022-06-10 情報処理方法、情報処理装置、及び情報処理プログラム WO2023084823A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280072408.2A CN118159994A (zh) 2021-11-12 2022-06-10 信息处理方法、信息处理装置以及信息处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-184841 2021-11-12
JP2021184841 2021-11-12

Publications (1)

Publication Number Publication Date
WO2023084823A1 true WO2023084823A1 (ja) 2023-05-19

Family

ID=86335530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023518 WO2023084823A1 (ja) 2021-11-12 2022-06-10 情報処理方法、情報処理装置、及び情報処理プログラム

Country Status (2)

Country Link
CN (1) CN118159994A (ja)
WO (1) WO2023084823A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005288646A (ja) * 2004-04-01 2005-10-20 Toshiba Corp ロボット
JP2019028731A (ja) * 2017-07-31 2019-02-21 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2020019583A (ja) * 2018-07-30 2020-02-06 東芝エレベータ株式会社 エレベータの注意喚起システム
JP2020064496A (ja) * 2018-10-18 2020-04-23 東京瓦斯株式会社 情報処理システムおよびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005288646A (ja) * 2004-04-01 2005-10-20 Toshiba Corp ロボット
JP2019028731A (ja) * 2017-07-31 2019-02-21 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2020019583A (ja) * 2018-07-30 2020-02-06 東芝エレベータ株式会社 エレベータの注意喚起システム
JP2020064496A (ja) * 2018-10-18 2020-04-23 東京瓦斯株式会社 情報処理システムおよびプログラム

Also Published As

Publication number Publication date
CN118159994A (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
US11403899B2 (en) Smart door system
US20130279767A1 (en) Method of managing visiting guests by face recognition
CN107800765B (zh) 一种信息处理方法、终端及系统
JP5813829B1 (ja) 防犯システム
JP6649005B2 (ja) ロボット撮影システムおよび画像管理方法
CN107924544B (zh) 信息处理系统和信息处理方法
JP6414730B2 (ja) 見守り管理装置、見守り管理プログラム及び見守りシステム
JP6911968B2 (ja) 情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム
JP2019105924A (ja) 着用物データベース管理システム及び着用物情報提供システム
JP2004126829A (ja) 入場者管理システムおよびプログラム
WO2023084823A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP2018156453A (ja) 画像提供システム、画像提供方法、および画像提供プログラム
CN110866175A (zh) 信息推荐方法、装置及电子设备
JP2010081442A (ja) ドアホン装置
US12008838B2 (en) Private photo sharing system, method and network
KR20190067587A (ko) 돌봄 서비스 제공 방법 및 이를 수행하기 위한 기록매체
JP2020181612A (ja) 管理サーバー、作業者端末、メッセージ送信方法、およびメッセージ送信プログラム
CN110910281A (zh) 基于机器人的酒店退房办理方法和装置
CN110349299A (zh) 信息处理方法、信息处理装置以及信息处理系统
JP2020064496A (ja) 情報処理システムおよびプログラム
JP7433894B2 (ja) 誘導システム、サーバ、プログラムおよびサービス提供方法
JP7353964B2 (ja) 誘導システム、サーバ、プログラムおよびサービス提供方法
CN115131846A (zh) 一种访客识别方法、装置、电子设备及存储介质
JP2021090212A (ja) インターホンシステム、制御方法、及びプログラム
WO2020213131A1 (ja) 管理サーバー、作業者端末、メッセージ送信方法、およびメッセージ送信プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892326

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023559412

Country of ref document: JP

Kind code of ref document: A