WO2025192582A1 - 表示装置、表示システム、表示方法及び表示プログラム - Google Patents
表示装置、表示システム、表示方法及び表示プログラムInfo
- Publication number
- WO2025192582A1 WO2025192582A1 PCT/JP2025/009056 JP2025009056W WO2025192582A1 WO 2025192582 A1 WO2025192582 A1 WO 2025192582A1 JP 2025009056 W JP2025009056 W JP 2025009056W WO 2025192582 A1 WO2025192582 A1 WO 2025192582A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- target person
- image
- field
- display
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
Definitions
- This disclosure relates to a display device, a display system, a display method, and a display program.
- Patent Document 1 discloses technology relating to a parental control method for presenting an interactive environment on a head-mounted display (HMD).
- the method in Patent Document 1 identifies content associated with the interactive environment to be presented to a user on an HMD. If the method determines that an interactive object within the identified content does not meet the threshold for presentation to the user, it modifies the interactive object so that it falls within the threshold range.
- the technology in Patent Document 1 can be said to determine whether the content meets the criteria for presentation to the user based on the rating assigned to the content.
- the person being protected such as a child, will wear a display device such as MR (Mixed Reality) glasses and act while viewing their surroundings through the display device's field of view.
- MR Mated Reality
- the display device processes images of the surroundings and displays them on the field of view, it is required that the display device make it difficult for the person being protected to focus on inappropriate objects.
- the purpose of this disclosure is to provide a display device, system, method, and program that makes it difficult for a protected person wearing a display device with a viewing screen to focus on real-world objects that are inappropriate for the protected person.
- the display device includes: an acquisition means for acquiring a captured image including the field of view of the target person; a detection means for detecting a first inappropriate object in the target person from within the field of view; a masking means for performing a masking process on a region of the first inappropriate object in the captured image using a mask image based on information about the surrounding environment of the first inappropriate object; an output means for outputting a display image corresponding to the field of view area after the masking process onto a field of view screen of the target person; Equipped with.
- the display system comprises: a display terminal including a view screen for the target person; an image processing device connected to the display terminal via a network, The display terminal Acquire a photographed image including the field of view of the target person; transmitting the captured image to the image processing device;
- the image processing device includes: Detecting a first inappropriate object in the target person from the field of view of the captured image received from the display terminal; performing a masking process on the region of the first inappropriate object using a mask image based on surrounding environment information of the first inappropriate object; transmitting a display image corresponding to the field of view after the masking process to the display terminal;
- the display terminal The display image received from the image processing device is output to the field of view screen.
- the display method includes: The computer Acquire a captured image including the visual field of the target person; Detecting a first inappropriate object in the target person from within the field of view; performing a masking process on a region of the first inappropriate object in the captured image using a mask image based on surrounding environment information of the first inappropriate object; A display image corresponding to the field of view area after the masking process is output to the field of view screen of the target person.
- the display program includes: An acquisition process for acquiring a captured image including the visual field area of the target person; a detection process for detecting a first inappropriate object in the target person from within the field of view; a masking process for performing a masking process on a region of the first inappropriate object in the captured image using a mask image based on surrounding environment information of the first inappropriate object; an output process of outputting a display image corresponding to the field of view area after the masking process onto a field of view screen of the target person; to be executed by the computer.
- This disclosure makes it possible to prevent a protected person wearing a display device with a viewing screen from focusing on real-world objects that are inappropriate for the protected person.
- 1 is a block diagram showing a configuration of a display device according to the present disclosure.
- 1 is a flowchart illustrating a flow of a display method according to the present disclosure.
- 1 is a block diagram showing a configuration of a display system according to the present disclosure.
- 1 is a block diagram showing a configuration of a display device according to the present disclosure.
- 1 is a flowchart illustrating the flow of a display method according to the present disclosure.
- 1 is a diagram illustrating an example of the relationship between a captured image of the real world and a field of view area according to the present disclosure.
- 10A and 10B are diagrams illustrating examples of display images after mask processing that are displayed on a field of view screen according to the present disclosure.
- FIG. 1 is a diagram for explaining the concept of a problem to be solved by the present disclosure.
- FIG. 1 is a diagram for explaining the concept of using a display device according to the present disclosure.
- FIG. 1 is a block diagram showing a hardware configuration of a display device according to the present disclosure.
- 1 is a block diagram showing a configuration of a display device according to the present disclosure.
- 1 is a flowchart illustrating the flow of a display method according to the present disclosure.
- 1 is a flowchart illustrating the flow of a display method according to the present disclosure.
- 10A and 10B are diagrams for explaining the relationship between a first captured image, a field of view area, and a peripheral area according to the present disclosure.
- 10A and 10B are diagrams for explaining the relationship between a mask-processed image and a first display image according to the present disclosure.
- 10A and 10B are diagrams for explaining the relationship between a second captured image, a field of view area, and a peripheral area according to the present disclosure.
- 10A and 10B are diagrams for explaining the relationship between a masked image and a second display image according to the present disclosure.
- 1 is a block diagram showing a configuration of a display system according to the present disclosure.
- FIG. 1 is a block diagram illustrating a configuration of an example of a display terminal according to the present disclosure.
- 1 is a block diagram illustrating a configuration of an example of an image processing device according to the present disclosure.
- FIG. 1 is a sequence chart showing a flow of an example of a display method according to the present disclosure.
- 1 is a sequence chart showing a flow of an example of a display method according to the present disclosure.
- 1 is a sequence chart showing a flow of an example of a display method according to the present disclosure.
- FIG. 1 is a block diagram showing a hardware configuration of an image processing device according to the present disclosure.
- FIG. 1 is a block diagram showing the configuration of a display device 1.
- the display device 1 is an information processing device having a viewing screen (not shown) and a camera (not shown).
- the viewing screen is a screen for covering the viewing area of a target person (not shown) who is wearing the display device 1.
- the camera captures an image that includes at least the viewing area of the target person.
- the viewing area of the target person is the area that would be visible to the target person if the target person were not wearing the display device 1, given their location and facial orientation.
- the captured area is the area around the display device 1 and typically includes at least the viewing area in front of the target person.
- the target person is wearing the display device 1 so that the viewing screen covers their viewing area. Therefore, while wearing the display device 1, the target person cannot see anything other than the viewing screen.
- the "target person” may be, for example, a person who needs to be protected by a guardian (not shown).
- the display device 1 can be said to be a device that performs a predetermined processing (masking processing, described below) on areas of detected inappropriate objects in an image of real space captured by a camera between capture and display, and then displays the processed display image (image) on a field of view screen.
- the display device 1 comprises an acquisition unit 11, a detection unit 12, a mask unit 13, and an output unit 14.
- the acquisition unit 11, the detection unit 12, the mask unit 13, and the output unit 14 may be used as a means for acquiring information or data, a means for detecting, a means for performing masking processing, and a means for outputting, respectively.
- the acquisition unit 11 acquires a captured image that includes the field of view of the target person. In other words, the acquisition unit 11 acquires image data captured by the camera described above.
- the detection unit 12 detects a (first) inappropriate object for the target person from within the field of view included in the captured image.
- an "inappropriate object for the target person” is, for example, an object that would be inconvenient for the guardian to have in the field of view of the target person. For example, if a young child who is the target person sees a favorite sweet and asks their parent to buy it for them, the guardian would find it inconvenient for the sweet to be in the target person's field of view.
- an "inappropriate object for the target person” can also be described as an object that would be inconvenient for the guardian if the target person were to notice or show interest in it.
- the detection unit 12 performs image analysis taking into account pre-defined detection rule information, information about the target person, etc., to detect inappropriate objects for the target person.
- the masking unit 13 performs masking processing on the area of the first inappropriate object in the captured image using a mask image based on the surrounding environment information of the first inappropriate object.
- Information about the surrounding environment of the inappropriate object may include, for example, information about the area surrounding the area of the inappropriate object in the captured image, attributes of the location to which the current position of the display device 1 belongs even if it is outside the captured image, information about the area around the current location (for example, information about people present in the vicinity), etc.
- information about the surrounding environment of the inappropriate object may also include, for example, the history of the most recent captured image, information about when the target person has previously stayed in the same location as the current location (for example, behavioral history), etc.
- a “mask image” is an image used to conceal the area of the first inappropriate object in the captured image.
- a “mask image” is an image based on the surrounding environment information of the first inappropriate object.
- a “mask image” may be an image of an object that exists within a specified range of the inappropriate object, or a background image of the area around the inappropriate object.
- a mask image may be a specified image that is not limited to the surroundings, or an image selected or determined based on the surrounding environment information.
- a “mask image” may be an image that is unlikely to interest the target person, an image that is of little interest to the target person, or an image that is unlikely to attract the target person's attention.
- masking may be a process that reduces or blocks the target person's perception or recognition of the area of the detected inappropriate object.
- masking may be a processing process that covers the area of the detected inappropriate object with a mask image.
- Masking may also be called masking.
- masking targets an image corresponding to the field of view in the captured image, and performs the above-mentioned processing on the area of the first inappropriate object using the mask image to generate a display image.
- the output unit 14 outputs a display image corresponding to the field of view area after the masking process to the field of view screen of the target person. In other words, the output unit 14 displays the display image masked by the masking unit 13 on the field of view screen.
- the output unit 14 may also be expressed as follows: That is, the output unit 14 outputs to the field of view screen of the target person a display image in which a mask process is performed using a mask image based on the surrounding environment information of the first inappropriate object on the region of the target person in the field of view detected in the captured image.
- Figure 2 is a flowchart showing the flow of the display method.
- the acquisition unit 11 acquires a captured image including the field of view of the target person (S1).
- the detection unit 12 detects a first inappropriate object for the target person from the field of view (S2).
- the mask unit 13 performs masking processing on the area of the first inappropriate object in the captured image using a mask image based on information about the surrounding environment of the first inappropriate object (S3).
- the output unit 14 outputs a display image corresponding to the field of view after masking processing to the field of view screen of the target person (S4).
- the display device 1 includes a processor, memory, and storage device, which are not shown in the figure.
- the storage device stores a computer program that implements the processing of the display method shown in Figure 2, for example.
- the processor then loads the computer program from the storage device into the memory and executes the computer program. This allows the processor to implement the functions of the acquisition unit 11, detection unit 12, mask unit 13, and output unit 14.
- each component of the display device 1 may be realized by dedicated hardware.
- some or all of the components of each device may be realized by general-purpose or dedicated circuits, processors, etc., or a combination of these. These may be configured by a single chip, or by multiple chips connected via a bus.
- each component of each device may be realized by a combination of the above-mentioned circuits, etc., and programs.
- processors that can be used include CPUs (Central Processing Units), GPUs (Graphics Processing Units), FPGAs (Field-Programmable Gate Arrays), quantum processors (quantum computer control chips), etc.
- the multiple information processing devices, circuits, etc. may be centrally located or distributed.
- the information processing devices, circuits, etc. may be realized as a client-server system, cloud computing system, etc., in a form in which each is connected via a communications network.
- the functions of the display device 1 may be provided in a SaaS (Software as a Service) format.
- FIG. 3 is a block diagram showing the configuration of a display system 1000.
- the display system 1000 includes at least a display device 100.
- FIG. 3 illustrates a situation in which a target person U1 and a guardian U2 visit a store or the like and are standing in front of a product shelf 200.
- the product shelf 200 is assumed to display a plurality of products 201 to 203, etc.
- the target person U1 is assumed to be wearing the display device 100 so that the display screen covers his or her field of view. Therefore, while wearing the display device 100, the target person U1 is assumed to be unable to see anything other than the field of view screen. In other words, the target person U1 does not directly view the product 201, etc. displayed on the product shelf 200 in real space, but rather views it through the field of view screen of the display device 100.
- the product 202 is assumed to be an inappropriate object for the target person U1.
- the display device 100 is an example of the display device 1 described above.
- the display device 100 may be, for example, an HMD (Head Mounted Display).
- the display device 100 can be said to belong to MR (Mixed Reality) glasses.
- the display device 100 does not allow real space to pass through like AR glasses, and therefore the wearer cannot see real space transparently. Therefore, the wearer of the display device 100 (target person U1) can only see their surroundings by looking at the display (viewing screen) within the MR glasses.
- the target person U1 may wear the display device 100 on a daily basis.
- FIG. 4 is a block diagram showing the configuration of the display device 100.
- the display device 100 includes a memory unit 110, an image capture unit 121, a sound collection unit 122, a position information acquisition unit 123, a field of view screen 124, an acquisition unit 131, a detection unit 132, a mask unit 133, an output unit 134, an analysis unit 135, a management unit 136, and a notification unit 137.
- the display device 100 does not need to incorporate some or all of the image capture unit 121, the sound collection unit 122, the position information acquisition unit 123, and the field of view screen 124.
- the display device 100 may be connected to configurations of the image capture unit 121, the sound collection unit 122, the position information acquisition unit 123, and the field of view screen 124 that are realized by external devices.
- the storage unit 110 includes, for example, a non-volatile storage device such as a flash memory and a memory such as a RAM (Random Access Memory), i.e., a volatile storage device.
- the storage unit 110 stores history information 111, detection rules 112, and preference information 113.
- the history information 111 is not required in this embodiment.
- the history information 111 includes history information such as data acquired by the display device 100.
- the history information 111 includes captured video 1111, location information 1112, and conversation information 1113.
- the captured video 1111 is video data captured and recorded by the imaging unit 121. In other words, the captured video 1111 is information in which multiple captured images captured in the past by the imaging unit 121 are associated with the shooting time of each image.
- the location information 1112 is location information indicating the current location of the display device 100, acquired by the location information acquisition unit 123.
- the location information 1112 may be GPS (Global Positioning System) information or the like associated with the acquisition time.
- the conversation information 1113 is audio data recording a conversation between the target person U1 and guardian U2.
- the history information 111 may include audio information including the target person U1's speech in addition to or instead of the conversation information 1113.
- the audio information is audio data including the target person U1's speech before the captured image was taken. Therefore, it can be said that the audio information includes the conversation information 1113.
- the detection rule 112 is detection rule information that defines rules for detecting inappropriate objects on the target person U1, who is wearing the display device 100.
- the detection rule 112 is a rule for detecting image areas corresponding to inappropriate objects on the target person U1 from within a captured image.
- the detection rule 112 is information about objects that are of great interest to the target person U1 but that would be problematic for the guardian U2 if the target person U1 were to notice them.
- the detection rule 112 may include text information about "pudding" and a group of images of pudding photographed from various angles.
- the detection rule 112 may also be defined according to the age of the target person U1.
- the memory unit 110 may store age information for the target person U1.
- the target person U1 who is the user of the display device 100, or the guardian U2 of the target person U1 may set the age information of the target person U1 in the display device 100.
- the display device 100 may generate or update the detection rule 112 according to the set age information. That is, the detection rule 112 may be automatically set according to the set user age information.
- the display device 100 may determine whether the target person U1 is over 20 years old or under 20 years old. If the target person U1 is under 20 years old, the display device 100 may define objects corresponding to alcoholic beverages, tobacco, public gambling, etc. as inappropriate objects.
- the display device 100 may determine whether the target person U1 is over 18 years old or under 18 years old. If the target person U1 is under 18 years old, the display device 100 may define objects corresponding to solicitations for new credit card applications, investments, or driver's licenses as inappropriate objects. Alternatively, the display device 100 may determine whether the target person U1 is over 15 years old or under 15 years old. If the target person U1 is under 15 years old, the display device 100 may define products worth more than a certain amount (several thousand yen or tens of thousands of yen) as inappropriate objects. Alternatively, the detection rules 112 may reflect changes made by the guardian U2 based on the rules defined according to age as described above. The detection rules 112 may also be generated or updated by the analysis unit 135, which will be described later, by analyzing age information, history information 111, and preference information 113.
- Preference information 113 is information about objects, etc. that indicate the preferences of target person U1.
- Preference information 113 may include text information describing products that target person U1 likes, or a group of images of those products taken from various angles.
- Preference information 113 may also include information about products that target person U1 does not like.
- the image capturing unit 121 is a camera that captures an image capturing area including the display area (field of view area) of the field of view screen 124, or a circuit or software that controls the camera.
- the image capturing unit 121 captures at least an image in front of the wearer, the target person U1, and outputs the captured image to the acquisition unit 131.
- the image capturing unit 121 may also record the captured image by adding it to the captured video 1111 in the storage unit 110. Note that the image capturing unit 121 may also include the area surrounding the field of view area in the image capturing area.
- the sound collection unit 122 is a microphone that collects sounds around the display device 100, or a circuit or software that controls the microphone.
- the sound collection unit 122 may record the collected sound information, or at least the audio information, by adding it to the conversation information 1113 in the storage unit 110.
- the location information acquisition unit 123 acquires the current location information of the display device 100 using the wireless communication function, and records the information in the location information 1112 in the storage unit 110 in association with the time of acquisition.
- the field of view screen 124 is a display that covers the field of view of the target person U1, who is wearing the display device 100.
- the field of view screen 124 also displays the display image (video) output by the output unit 134.
- the acquisition unit 131 is an example of the acquisition unit 11 described above.
- the acquisition unit 131 acquires the captured image from the imaging unit 121 and outputs the captured image to the detection unit 132.
- the detection unit 132 is an example of the detection unit 12 described above.
- the detection unit 132 detects a first inappropriate object from within the field of view of the captured image acquired by the acquisition unit 131 based on the detection rule 112.
- the detection unit 132 may detect inappropriate objects for the target person U1 based on conversation information 1113 or preference information 113 instead of the detection rule 112. That is, the detection unit 132 may detect, as an inappropriate object, an object within the field of view that is of great interest to the target person U1 and that would be inconvenient for the guardian U2 if the target person U1 were to notice it.
- the detection unit 132 may detect inappropriate objects using audio information including speech from the target person prior to the capture of the captured image.
- the detection unit 132 may also detect inappropriate objects for the target person U1 based on preference information 113. That is, the detection unit 132 detects object regions that are likely to interest the target person U1 using at least a portion of the detection rules 112, conversation information 1113, and preference information 113. This improves the accuracy of detecting inappropriate objects.
- the mask unit 133 is an example of the mask unit 13 described above.
- the mask unit 133 performs mask processing using a mask image on the field of view area in the captured image, which is the area of the first inappropriate object detected by the detection unit 132, based on the surrounding environment information and the preference information 113. Specifically, the mask unit 133 determines, as the mask image, an image including an object that is of little interest to the target person U1, based on the surrounding environment information and the preference information 113 of the target person U1. The mask unit 133 then performs mask processing by replacing the field of view of the first inappropriate object with the mask image determined above. The mask unit 133 then generates a display image corresponding to the field of view area through the mask processing. This reduces the target person U1's interest in objects present in the inappropriate object area, making the area around the inappropriate object less noticeable and making it more difficult for the target person U1 to pick up the object.
- “surrounding environment information” may be information recognized as an object existing in the vicinity of the first inappropriate object in the field of view, or information recognized as an object existing in the captured image but in a peripheral area outside the field of view.
- the surrounding environment information may indicate that product 201 or 203 is displayed near product (inappropriate object) 202 on product shelf 200.
- “surrounding environment information” may indicate a space other than the first inappropriate object around the current location.
- “surrounding environment information” may include attributes of the place or space to which the current location of display device 100 belongs, information about objects existing in the vicinity of the current location, or the category or density of people existing in the vicinity of the current location.
- the surrounding environment information may be information about the store (including product shelf 200) where target person U1 is staying, the type (genre) of the store, etc.
- the surrounding environment information may indicate that the store where target person U1 is staying is a supermarket, or that the current location (or product shelf 200) is a candy section.
- the surrounding environment information may be that children are crowding around a candy section.
- the "surrounding environment information" may be the most recently captured video 1111 in the history information 111, or information on a location where the current location and location information 1112 are within a predetermined range. In this way, the masking unit 133 may identify various surrounding environment information such as those described above in response to the detection of a first inappropriate object.
- the masking unit 133 may determine the masking target area within the field of view based on the surrounding environment information and the preference information 113 of the target person U1. For example, replacing only the products (inappropriate objects) 202 on the product shelf 200 with some kind of mask image may appear unnatural to the target person U1. In that case, the masking unit 133 may determine the entire row of shelves including the products (inappropriate objects) 202 on the product shelf 200 as the masking target area. Alternatively, the masking unit 133 may determine the entire product shelf 200 as the masking target area.
- the masking unit 133 may determine, as the mask image, an image that includes an object that is of little interest to the target person U1 based on the preference information 113, from among the surrounding objects included in the surrounding environment information. For example, if the target person U1 is a young child who likes pudding and the surrounding environment information indicates a sweets section, replacing the pudding, which is the product (inappropriate object) 202, with an image of "alcohol," which the target person U1 is not interested in, would look unnatural and may actually attract the target person U1's attention. In that case, replacing the sweets section with an alcohol section may reduce the interest of the target person U1. Therefore, the masking unit 133 may set the entire product shelf 200 as the masking target area and determine an image of the alcohol shelf as the mask image.
- the masking unit 133 may determine, as the mask image, an image of a candy that is of little interest to the target person U1 based on the preference information 113. Note that "little interest" does not necessarily mean a product that the target person U1 dislikes. Therefore, the masking unit 133 may exclude products that the target person U1 likes based on the preference information 113, and then use the history of the captured video 1111 as surrounding environment information to determine, as the mask image, a product that the target person U1 has not previously looked at.
- the mask unit 133 may determine a mask image based on the surrounding environment information and audio information including speech from the target person U1 prior to the capture of the captured image, and perform mask processing using the determined mask image. This improves the accuracy of determining the mask image. Furthermore, the mask unit 133 may determine a mask image based on the surrounding environment information and the behavioral history of the target person U1, and perform mask processing using the determined mask image.
- the behavioral history may be, for example, the result of analysis by the analysis unit 135, described below, from the location information 1112 in the history information 111.
- the area to be masked is not limited to the area of the first inappropriate object.
- the area to be masked may be an area that includes the area of the first inappropriate object.
- the masking unit 133 performs processing to naturally process the seams between the mask image and its surrounding areas within the field of view. In other words, the masking unit 133 performs correction processing and processing to eliminate the unnatural presence of the mask image within the field of view and make it difficult to notice that masking has been applied to the target person U1. Note that such correction processing and processing may use publicly known technology.
- the output unit 134 is an example of the output unit 14 described above.
- the output unit 134 displays the display image generated by the mask unit 133 on the field of view screen 124.
- the analysis unit 135 may register information about objects that the target person U1 is not gazing at as objects of low interest in the preference information 113. Furthermore, the analysis unit 135 may analyze the conversation information 1113 to determine the presence or absence and degree of interest or preference in the identified object.
- the analysis unit 135 may analyze the content of the conversation between the target person U1 and guardian U2 in the conversation information 1113 to determine the presence or absence, and the level, of the target person U1's interests and preferences. For example, suppose that on the way to shopping, the target person U1 says, “I want some pudding today,” and the guardian U2 says, "You bought some the other day, didn't you?
- the analysis unit 135 analyzes the conversation information 1113 to determine that the inappropriate object for the target person U1 is "pudding.” Furthermore, the analysis unit 135 may determine the presence or absence, and the level, of the target person U1's interests and preferences based not only on the conversation, but also on the target person U1's monologue from his or her audio information. Therefore, by analyzing the audio information, it is possible to extract information that contributes to the detection of inappropriate objects and the determination of mask images.
- the analysis unit 135 may also analyze the movement route trends of the target person U1 from the history (behavioral history) of the location information 1112. The analysis unit 135 may also analyze whether the target person U1 is interested in the movement route trends and the layout of the store's sales corner, whether the target person U1 is familiar with the object, whether there is any sense of incongruity, etc., based on the analysis results and determination results described above. The analysis unit 135 may also update the preference information 113 based on the analysis results, determination results, and preference information 113.
- the management unit 136 manages detection rules 112 for detecting inappropriate objects on the target person U1. Therefore, the management unit 136 may include the functions of the analysis unit 135. Furthermore, the management unit 136 may reflect information from at least one of the detection rules 112 and usage restriction information that restricts the target person U1's use of a specific information system (not shown) to the other.
- the usage restriction information may be, for example, parental control settings in other information systems such as a web system, or access restriction information (filtering settings) set on a smartphone or web browser.
- the management unit 136 may update the detection rules 112 to reflect the content of the usage restriction information.
- the management unit 136 may update the usage restriction information to reflect the content of the detection rules 112.
- the management unit 136 may update the usage restriction information and the detection rules 112 to synchronize them. This improves the accuracy of detecting inappropriate objects on the target person U1 and improves the convenience of managing the usage restriction information and detection rules 112 for the guardian U2.
- the notification unit 137 is a first notification means that, when it is detected that the target person U1 has picked up a first inappropriate object, notifies the person protecting the target person (guardian U2) of this.
- the detection unit 132 may analyze a captured image to detect that the target person U1 has picked up a first inappropriate object.
- the notification unit 137 then sends a message to the guardian U2's information terminal or the email address or account of the notification destination. This allows the guardian U2 to know that the target person U1 has picked up an inappropriate object even when the guardian U2 is not near the target person U1. This can help the guardian U2 update the detection rules 112, preference information 113, etc.
- the notification unit 137 is a second notification means that notifies the guardian U2 of the masking process history information.
- the masking unit 133 may record history information of the image before replacement in the masking process (the area image of the first inappropriate object) and the masked image after replacement in the storage unit 110.
- the notification unit 137 then sends a notification to the guardian U2's information terminal or the email address or account of the notification destination at a predetermined timing. This makes it easier for the guardian U2 to understand the effectiveness of the masking process performed by the masking unit 133, and can assist the guardian U2 in updating the detection rules 112, preference information 113, etc.
- Figure 5 is a flowchart showing the flow of the display method.
- Figure 6 is a diagram showing an example of the relationship between a captured image of the real world and the field of view area.
- Figure 7 is a diagram showing an example of a display image after mask processing that is displayed on the field of view screen. Below, the flow of the display method of Figure 5 will be explained using Figures 6 and 7 as appropriate.
- the acquisition unit 131 acquires a captured image captured via the imaging unit 121 (S11).
- the captured image 30 includes at least the field of view 301 of the target person U1.
- the field of view of the captured image 30 includes the entire product shelf 200, and the field of view 301 includes the vicinity of the second shelf from the bottom of the product shelf 200.
- the field of view of the captured image 30 may be the same as the field of view 301.
- the captured image 30 and the field of view 301 are merely examples.
- the detection unit 132 detects a first inappropriate object from within the field of view 301 based on the detection rule 112 (S12). In other words, the detection unit 132 detects a first inappropriate object for the target person U1 based on the history information 111 and preference information 113.
- the example in Figure 6 shows that the detection unit 132 detected a product (inappropriate object) 202 (pudding) from within the field of view 301.
- the mask unit 133 identifies surrounding environment information for the first inappropriate object (S13). For example, the mask unit 133 identifies information about products around the product (inappropriate object) 202 in the field of view 301, the genre of the product shelf 200, other displayed products, information about the store where the product shelf 200 is installed, history information 111, etc. as surrounding environment information. The mask unit 133 then determines a mask image based on the identified surrounding environment information and preference information 113 (S14).
- the mask unit 133 determines, based on the surrounding environment information and preference information 113, that a product image 204 displayed next to the product (inappropriate object) 202 in the field of view 301 is unlikely to interest the target person U1, and determines that the product image 204 is the mask image.
- the mask unit 133 performs mask processing by replacing the area of the first inappropriate object with the mask image determined in step S14 (S15). As a result, the mask unit 133 generates a display image corresponding to the field of view.
- the display image 40 is an image of the area corresponding to the field of view 301 in FIG. 6.
- the display image 40 is an image in which mask processing has been performed using the product image 204, which is a mask image, at the position of the product (inappropriate object) 202 within the field of view 301.
- the output unit 134 outputs the display image 40 generated in step S15 to the field of view screen 124 (S16).
- the target person U1 views the display image 40 displayed on the field of view screen 124 of the display device 100.
- the target person U1 cannot view the product (inappropriate object) 202 via the field of view screen 124.
- the target person U1 views the mask image 205 in the display image 40 via the output unit 134. Therefore, the target person U1 is unlikely to show interest in the mask image 205 (product image 204). Therefore, because the target person U1 is not interested in the product (inappropriate object) 202, the guardian U2 does not have to go through unnecessary trouble when shopping, etc.
- Figure 9 is a diagram illustrating the concept when using the display device 100.
- the target person U1 views the display image 40 corresponding to the field of view area 301 on the product shelf 200 via the field of view screen 124 of the display device 100.
- the target person U1 has little interest in the product in the mask image 205. This makes it less likely that the target person U1 will want the product (inappropriate object) 202 and throw a tantrum. This prevents the guardian U2 from having unnecessary trouble when shopping, etc.
- Memory 101 is composed of a combination of volatile memory and non-volatile memory.
- Volatile memory is, for example, a volatile storage device such as RAM, and is a storage area for temporarily holding information while processor 102 is operating.
- Non-volatile memory is, for example, a non-volatile storage device such as a hard disk or flash memory.
- Memory 101 stores at least a computer program that implements the processing of the display method of display device 100 according to the present disclosure. Note that memory 101 may include storage located away from processor 102. In this case, processor 102 may access memory 101 via an I/O (Input/Output) interface, not shown.
- I/O Input/Output
- the processor 102 is a control device that controls each component of the display device 100.
- the processor 102 reads and executes software (computer programs) from the memory 101.
- the processor 102 realizes the functions of the acquisition unit 131, detection unit 132, mask unit 133, output unit 134, analysis unit 135, management unit 136, and notification unit 137.
- the processor 102 performs processing for the display method disclosed herein.
- the processor 102 may be, for example, a microprocessor, an MPU (Multi Processing Unit), or a CPU (Central Processing Unit).
- the processor 102 may also include multiple processors.
- the network interface 103 may be used to communicate with a network node.
- the network interface 103 may include, for example, a network interface card (NIC) conforming to the IEEE 802.3 series. IEEE stands for Institute of Electrical and Electronics Engineers.
- the network interface 103 may also include a wireless LAN (Local Area Network), a wired LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), etc.
- the display 104 is a display device that displays information instructed by the processor 102.
- the display 104 is, for example, a screen such as a liquid crystal display or an organic electro-luminescence (EL) display.
- EL organic electro-luminescence
- the camera 105 In response to instructions from the processor 102, the camera 105 captures an image of the capture area including the display area (viewing area) of the viewing screen 124, and outputs the captured image to the processor 102.
- the camera 105 is, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor.
- the camera 105 is one or more image capturing devices.
- the microphone 106 is a sound collector that picks up sounds around the display device 100.
- this embodiment can achieve the various effects described above in addition to the effects of embodiment 1 described above.
- Fig. 11 is a block diagram showing the configuration of a display device 100a. Compared to the display device 100 shown in Fig. 4, the display device 100a has relationship information 114 added to the storage unit 110, and the detection unit 132a and mask unit 133a changed. The other configuration is the same as in Fig. 4, so duplicated explanations and illustrations will be omitted as appropriate.
- Relationship information 114 is information that indicates the relationship between target person U1 and guardian U2.
- Guardian U2 is a person in a position to protect, guide, or watch over target person U1. Examples of relationships include parent-child (guardian and child (dependent)), caregiver and nursery school student (or kindergarten teacher and kindergarten student), teacher and child or student, elderly person and caregiver or family member, or alcohol or tobacco addict and manager or supporter, etc.
- the detection unit 132a detects a first inappropriate object based on the relationship between the target person U1 and the person protecting the target person U1 (guardian U2). Specifically, the detection unit 132a detects a first inappropriate object for the target person U1 from within the field of view based on the relationship information 114. This improves the accuracy of inappropriate object detection.
- the detection unit 132a may also detect a first inappropriate object based on the detection rule 112 and the relationship information 114.
- the detection unit 132a may also detect a first inappropriate object based on either or both of the history information 111 and the detection rule 112, and the relationship information 114.
- the mask unit 133a determines a mask image based on the surrounding environment information and the relationship between the target person U1 and the person protecting the target person U1 (guardian U2), and performs mask processing using the determined mask image. Specifically, the mask unit 133a determines the mask image based on the surrounding environment information and the relationship information 114. This improves the accuracy of determining the mask image. Note that the mask unit 133a may determine the mask image based on the preference information 113, as well as the surrounding environment information and the relationship information 114.
- FIG. 12 is a flowchart showing the flow of the display method. Differences from FIG. 5 described above will be explained below.
- the detection unit 132a detects a first inappropriate object from the field of view based on the relationship information 114 (S12a). For example, if the relationship information 114 between the target person U1 and the guardian U2 indicates parent and child, the detection unit 132a may detect a child's toy as the first inappropriate object if it is present in the field of view. Note that, as described above, the detection unit 132a may detect the first inappropriate object by combining the relationship information 114 with the detection rule 112 or preference information 113, etc.
- the mask unit 133a executes step S13.
- the mask unit 133a determines a mask image based on the identified surrounding environment information and relationship information 114 (S14a). For example, if the relationship information 114 between the target person U1 and guardian U2 is parent and child, the mask unit 133a may determine an image of an object that the child will not be interested in, such as an academic book, as the mask image. As mentioned above, the mask unit 133a may determine a mask image based on the preference information 113 in addition to the surrounding environment information and relationship information 114. Thereafter, the display device 100a executes step S15 and subsequent steps, similar to FIG. 5.
- the detection unit detects a second inappropriate object for the target person U1 from a peripheral area within the captured image that is outside the field of view.
- the mask unit generates a masked image by performing mask processing on the area of the second inappropriate object using a mask image based on surrounding environmental information about the second inappropriate object. After generating the masked image, if at least a portion of the second inappropriate object is included in the field of view included in the second captured image acquired by the acquisition unit, the mask unit further uses the masked image to generate a second display image. The output unit then outputs the second display image to the field of view screen.
- FIG. 13 is a flowchart showing the flow of the display method.
- the acquisition unit 131 acquires a first captured image captured via the image capture unit 121 (S11b).
- the display device 100 executes steps S12 to S16 of FIG. 5 described above.
- the detection unit 132 detects a second inappropriate object from the peripheral area of the first captured image that is outside the field of view, based on the detection rule 112 (S12b).
- FIG. 14 is a diagram illustrating the relationship between the first captured image 31, field of view 311, and peripheral area 312.
- the first captured image 31 is an image of the capture area captured by the capture unit 121 of the display device 100 worn by the target person U1.
- the first captured image 31 includes the field of view 311 and peripheral area 312 of the target person U1.
- a first inappropriate object 3111 is present in the field of view 311
- a second inappropriate object 3121 is present in the peripheral area 312.
- the mask unit 133 identifies the surrounding environment information of the second inappropriate object (S13b). Then, the mask unit 133 determines a second mask image based on the identified surrounding environment information (S14b). Then, the mask unit 133 performs mask processing by replacing the area of the second inappropriate object with the second mask image determined in step S14b (S15b). In this way, the mask unit 133 generates a masked image corresponding to the area outside the field of view.
- the first display image 411 is an example of a display image corresponding to the field of view 311, where the first inappropriate object 3111 has been replaced with the first mask image 4111 and masked in steps S12 to S16 described above.
- the masked image 412 is an example of an image corresponding to the peripheral region, which is not displayed on the field of view screen 124, where the second inappropriate object 3121 has been replaced with the second mask image 4121 and masked. In other words, inappropriate object detection and masking may be performed in parallel on both the field of view and the peripheral region.
- the display device 100 displays a display image (unmasked) corresponding to the field of view while performing masking on the peripheral region. In either case, the display device 100 considers that masking of the inappropriate object area in the peripheral region has been performed before display (before it enters the field of view).
- the acquisition unit 131 acquires a second captured image captured via the imaging unit 121 (S21).
- the display device 100 determines whether the field of view in the second captured image includes at least a portion of the second inappropriate object (S22). If the field of view does not include at least a portion of the second inappropriate object, the display device 100 executes steps S12 to S16 and then executes step S22 again. If the field of view does include at least a portion of the second inappropriate object in step S22, the mask unit 133 generates a second display image using the field of view and the masked image (S23). The output unit 134 then outputs the second display image generated in step S23 to the field of view screen (S24).
- FIG. 16 is a diagram illustrating the relationship between the second captured image 32, the field of view 321, and the peripheral area 322.
- the second captured image 32 is an image of the captured area captured by the capture unit 121 after the first captured image 31 of FIG. 14 is captured.
- the second captured image 32 includes the field of view 321 and peripheral area 322 of the target person U1.
- the target person U1 has changed the direction of his or her face (the capture area of the display device 100) more to the right and above than in the case of FIG. 14. Therefore, the field of view 321 does not include the first inappropriate object 3111, but does include part of the second inappropriate object 3121.
- FIG. 17 is a diagram illustrating the relationship between the masked image 422 and the second display image 421.
- the second display image 421 includes a portion of the second mask image 4121. Note that the first inappropriate object 3111 in the masked image 422 may be replaced with the mask image. Because masking has at least been performed in advance using the second mask image 4121, the mask unit 133 can generate the second display image 421 using the masked image 412 in FIG. 15.
- this embodiment deals with cases where the shooting area is larger than the field of view.
- inappropriate objects are masked in advance (preemptively replaced) in areas of the current shooting area that are not visible to the target person. Therefore, when the target person's field of view changes (for example, by turning their face slightly to the side), a display image in which inappropriate objects have been masked can be quickly displayed. This reduces processing costs compared to when masking an area of a newly detected inappropriate object.
- the time required from capturing the second captured image to displaying the second display image can be shortened, i.e., the time lag can be reduced. In other words, by masking the surrounding area in advance, the time required for inappropriate object detection and replacement can be shortened compared to when the entire shooting area is used as the field of view or when detection and masking are not performed on the surrounding area.
- FIG. 18 is a block diagram showing the configuration of a display system 2000.
- the display system 2000 includes a display terminal 100b and an image processing device 500.
- the display terminal 100b and the image processing device 500 are communicably connected via a network N.
- the network N is a wired or wireless communication line.
- the target person U1 is wearing the display terminal 100b so that the field of view of the target person U1 is covered by the field of view screen.
- the display system 2000 can be said to distribute the functions of the display device 100 described above between the display terminal 100b and the image processing device 500.
- the image processing device 500 can be said to be an example of the display device 1 described above.
- FIG. 19 is a block diagram showing an example configuration of a display terminal 100b.
- the display terminal 100b has some of the functions of the display device 100 described above.
- the display terminal 100b includes an image capture unit 121, a sound collection unit 122, a position information acquisition unit 123, a field of view screen 124, an acquisition unit 131, a communication unit 138, and an output unit 134.
- the display terminal 100b is the display device 100 of FIG. 4, with the information in the memory unit 110, the detection unit 132, the mask unit 133, the analysis unit 135, the management unit 136, and the notification unit 137 removed, and with the addition of a communication unit 138.
- the hardware configuration of the display terminal 100b is assumed to be the same as that shown in FIG. 10 described above. The differences from FIG. 4 are explained below.
- the communication unit 138 transmits the captured image acquired by the acquisition unit 131 to the image processing device 500 via network N by wireless communication.
- the communication unit 138 also receives a display image from the image processing device 500 via network N by wireless communication.
- the output unit 134 displays the received display image on the field of view screen 124.
- FIG 20 is a block diagram showing an example configuration of an image processing device 500.
- the image processing device 500 is an information processing device having some of the functions of the display device 100 described above.
- the image processing device 500 functions as a server.
- the image processing device 500 includes a memory unit 510, an acquisition unit 531, a detection unit 532, a mask unit 533, an output unit 534, an analysis unit 535, a management unit 536, and a notification unit 537.
- the memory unit 510 is similar to the memory unit 110 in Figure 4, and stores history information 511, detection rules 512, preference information 513, and relationship information 514.
- the history information 511 may include captured video 5111, location information 5112, and conversation information 5113.
- the acquisition unit 531 receives, i.e., acquires, the captured image from the display terminal 100b via the network N.
- the detection unit 532, mask unit 533, analysis unit 535, management unit 536, and notification unit 537 have functions equivalent to those of the detection unit 132, mask unit 133, analysis unit 135, management unit 136, and notification unit 137 shown in FIG. 4 above, respectively.
- the output unit 534 transmits the display image generated by the mask unit 533 to the display terminal 100b via the network N.
- Figure 21 is a sequence chart showing the flow of an example of a display method.
- the acquisition unit 131 of the display terminal 100b acquires a captured image captured via the imaging unit 121 (S511).
- the communication unit 138 of the display terminal 100b transmits the captured image acquired in step S511 to the image processing device 500 via network N by wireless communication (S512).
- the acquisition unit 531 of the image processing device 500 acquires the captured image from the display terminal 100b via network N (S513).
- the detection unit 532 detects a first inappropriate object from the field of view based on the detection rule 512, etc. (S514).
- the masking unit 533 identifies surrounding environment information for the first inappropriate object (S515).
- the masking unit 533 determines a mask image based on the identified surrounding environment information and preference information 513, etc. (S516). Then, the masking unit 533 performs masking processing by replacing the first inappropriate object region with the mask image determined in step S516 (S517). As a result, the masking unit 533 generates a display image corresponding to the field of view region.
- the output unit 534 transmits the display image generated in step S517 to the display terminal 100b via network N (S518).
- the communication unit 138 of the display terminal 100b receives the display image from the image processing device 500 via wireless communication via network N.
- the output unit 134 then outputs the display image received in step S518 to the field of view screen 124 (S519).
- the display terminal 100b may be equipped with the detection rule 112, the detection unit 132, and part of the mask unit 133 (processing for identifying surrounding environment information) of the memory unit 110.
- the image processing device 500 may exclude the detection rule 512, the detection unit 532, and part of the mask unit 533 (processing for identifying surrounding environment information) of the memory unit 510.
- FIG. 22 is a sequence chart showing the flow of an example of a display method in the above case.
- the detection unit 132 of the display terminal 100b detects a first inappropriate object from within the field of view based on the detection rule 112 (S522).
- the masking unit 133 identifies surrounding environment information for the first inappropriate object (S523).
- the communication unit 138 transmits the captured image, the detection information detected in step S522 (such as area information for the first inappropriate object), and the surrounding environment information identified in step S523 to the image processing device 500 via network N by wireless communication (S524).
- the acquisition unit 531 of the image processing device 500 acquires the captured image, detection information, and surrounding environment information from the display terminal 100b via network N (S525).
- the masking unit 533 determines a mask image based on the received surrounding environment information, preference information 513, etc. (S526).
- the image processing device 500 and display terminal 100b execute steps S517 and beyond.
- the functional distribution between the display terminal 100b and the image processing device 500 may be changed as follows.
- the display terminal 100b may be provided with history information 111, preference information 113, relationship information 114, and a masking unit 133 in the storage unit 110.
- the image processing device 500 may exclude the masking unit 533.
- the image processing device 500 may acquire the history information 111, preference information 113, and relationship information 114 of the display terminal 100b, and synchronize them with the history information 511, preference information 513, and relationship information 514 in the storage unit 510.
- Figure 23 is a sequence chart showing the flow of an example of a display method.
- the output unit 534 of the image processing device 500 transmits detection information (such as area information of the first inappropriate object) to the display terminal 100b via network N (S531).
- the communication unit 138 of the display terminal 100b receives the detection information from the image processing device 500 via network N via wireless communication.
- the mask unit 133 identifies the surrounding environment information of the first inappropriate object based on the received detection information (S532).
- the mask unit 133 determines a mask image (S533), similar to step S14 described above.
- the mask unit 133 then performs mask processing by replacing the area of the first inappropriate object with the mask image determined in step S533, similar to step S15 described above (S534). As a result, the mask unit 133 generates a display image corresponding to the field of view area. The output unit 134 then outputs the display image generated in step S534 to the field of view screen 124 (S535).
- FIG. 24 is a block diagram showing the hardware configuration of the image processing device 500.
- the image processing device 500 includes a memory 501, a processor 502, and a network interface 503.
- Memory 501 stores at least a computer program that implements the processing of the display method of the image processing device 500 according to the present disclosure.
- the other configuration of memory 501 is the same as that of memory 101 described above.
- Processor 502 is a control device that controls each component of the image processing device 500.
- Processor 502 reads and executes software (computer program) from memory 501.
- processor 502 realizes the functions of an acquisition unit 531, a detection unit 532, a mask unit 533, an output unit 534, an analysis unit 535, a management unit 536, and a notification unit 537.
- processor 502 performs processing of the display method of the image processing device 500 according to the present disclosure.
- the other configuration of processor 502 is the same as that of processor 102 described above.
- Network interface 503 has the same configuration as that of network interface 103 described above.
- the display device may also perform masking on sounds and smells, and output the masked sounds and smells.
- the display device may further include a sound data output device such as earphones.
- the target person is assumed to be wearing earphones or the like in their ears.
- the acquisition unit acquires sound data around the current location via the sound collection unit.
- the detection unit detects inappropriate sounds for the target person from the sound data based on detection rules or the like.
- the mask processing unit identifies surrounding environment information from the surrounding situation, such as the current location.
- the mask processing unit performs masking on the detected inappropriate sounds using masked sounds based on the surrounding environment information.
- the output unit outputs the masked sound data via earphones or the like.
- the display device may include an odor input device for inputting odors and an odor output device for outputting odors, and the target person is assumed to be wearing the odor output device on their nose.
- the processing of each unit of the display device is assumed to apply the above-described processing on sound data to odor data.
- the display device described above was intended for processing images of real space captured by a camera, but it can also be applied to the field of view and surrounding areas of a target person in a virtual space.
- activities in virtual spaces have become more common, and protected persons may also wear goggles (display devices) with a viewing screen for virtual space.
- goggles display devices
- the display device is required to make it difficult for the protected person to focus on inappropriate objects. This makes it possible to make it difficult for a protected person wearing a display device with a viewing screen to focus on objects and images in the virtual space that are inappropriate for the protected person.
- (Appendix A1) an acquisition means for acquiring a captured image including the field of view of the target person; a detection means for detecting a first inappropriate object in the target person from within the field of view; a masking means for performing a masking process on a region of the first inappropriate object in the captured image using a mask image based on information about the surrounding environment of the first inappropriate object; an output means for outputting a display image corresponding to the field of view area after the masking process onto a field of view screen of the target person;
- a display device comprising: (Appendix A2)
- the mask means is determining, as the mask image, an image including an object that is of little interest to the target person based on the surrounding environment information and preference information of the target person;
- the detection means The display device according to Appendix A1 or A2, wherein the first inappropriate object is detected using audio information including an utterance of the target person before the captured image is captured.
- the detection means The display device according to Appendix A1 or A2, wherein the first inappropriate object is detected based on a relationship between the target person and a person protecting the target person.
- the system further includes a management unit for managing detection rule information for detecting inappropriate objects on the target person, The display device according to Appendix A1 or A2, wherein the management unit reflects information from at least one of usage restriction information that restricts the target person from using a predetermined information system and the detection rule information to the other.
- the detection means detects a second inappropriate object around the target person from a peripheral area outside the field of view in the captured image;
- the mask means is generating a masked image by performing a mask process on the region of the second inappropriate object using a mask image based on surrounding environment information of the second inappropriate object; After the generation, if the field of view included in the second photographed image acquired by the acquisition means includes at least a part of the second inappropriate object, a second display image is generated using the masked image further;
- the display device according to Appendix A1 or A2, wherein the output means outputs the second display image to the field of view screen.
- Appendix A7 The display device according to Appendix A1 or A2, further comprising a first notification means for, when it is detected that the target person has picked up the first inappropriate object, notifying a person protecting the target person of that fact.
- Appendix A8 The display device according to Appendix A1 or A2, further comprising: a second notification unit that notifies a person protecting the target person of history information of the masking process.
- the mask means is determining the mask image based on the surrounding environment information and audio information including speech of the target person before capturing the captured image; The display device according to claim A1 or A2, wherein the masking process is performed using the determined mask image.
- the mask means is determining the mask image based on the surrounding environment information and a relationship between the target person and a person protecting the target person;
- (Appendix B1) a display terminal including a view screen for the target person; an image processing device connected to the display terminal via a network, The display terminal Acquire a photographed image including the field of view of the target person; transmitting the captured image to the image processing device;
- the image processing device includes: Detecting a first inappropriate object in the target person from the field of view of the captured image received from the display terminal; performing a masking process on the region of the first inappropriate object using a mask image based on surrounding environment information of the first inappropriate object; transmitting a display image corresponding to the field of view after the masking process to the display terminal;
- the display terminal A display system that outputs the display image received from the image processing device to the field of view screen.
- (Appendix C1) The computer Acquire a captured image including the visual field of the target person; Detecting a first inappropriate object in the target person from within the field of view; performing a masking process on a region of the first inappropriate object in the captured image using a mask image based on surrounding environment information of the first inappropriate object; outputting a display image corresponding to the field of view area after the masking process to a field of view screen of the target person; Display method.
- Appendix D1 An acquisition process for acquiring a captured image including the visual field area of the target person; a detection process for detecting a first inappropriate object in the target person from within the field of view; a masking process for performing a masking process on a region of the first inappropriate object in the captured image using a mask image based on surrounding environment information of the first inappropriate object; an output process of outputting a display image corresponding to the field of view area after the masking process onto a field of view screen of the target person;
- a display program that causes a computer to execute the above.
- Appendix E1 an acquisition means for acquiring a captured image including the field of view of the target person; an output means for outputting a display image obtained by performing mask processing on a region of a first inappropriate object of the target person detected from the field of view area in the captured image using a mask image based on surrounding environment information of the first inappropriate object to a field of view screen of the target person;
- a display device comprising:
- Appendix A2 to Appendix A10 which are dependent on Appendix A1 (e.g., device), may also be dependent on Appendix B1 (e.g., system), Appendix C1 (e.g., method), Appendix D1 (e.g., program), and Appendix E1 (e.g., device) in the same dependency relationship as Appendix A2 to Appendix A10.
- Appendix B1 e.g., system
- Appendix C1 e.g., method
- Appendix D1 e.g., program
- Appendix E1 e.g., device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
視界画面を有する表示装置を装着した保護対象者に対して、実世界の物体のうち保護対象者における不適切な物体を、当該保護対象者に注目させ難くすることを目的とする。表示装置は、対象人物の視界領域を含む撮影画像を取得する取得手段と、視界領域の中から、対象人物における第1の不適切物体を検知する検知手段と、撮影画像のうち第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行うマスク手段と、マスク処理後の視界領域に対応する表示画像を、対象人物の視界画面に出力する出力手段と、を備える。
Description
本開示は、表示装置、表示システム、表示方法及び表示プログラムに関する。
特許文献1には、ヘッドマウントディスプレイ(HMD)においてインタラクティブ環境を提示するためのペアレンタルコントロール方法に関する技術が開示されている。特許文献1にかかる方法は、ユーザに対してHMD上に提示されるべきインタラクティブ環境に対応付けられたコンテンツを識別する。そして、当該方法は、識別されたコンテンツ内のインタラクティブオブジェクトが、そのユーザに提示するための閾値を満たしていないと判定した場合、インタラクティブオブジェクトを閾値の範囲内になるように修正する。すなわち、特許文献1にかかる技術は、コンテンツに割り当てられたレイティングに基づいて、ユーザへ提示すべきかの判定基準を満たすか否かを判定するものといえる。
ここで、子供等の保護対象者がMR(Mixed Reality)グラス等の表示装置を装着し、表示装置の視界画面を通して周囲を視認して行動するケースが考えられる。しかしながら、上記表示装置には、周辺を撮影した画像を加工して表示装置の視界画面に表示する際、保護対象者における不適切な物体を、当該保護対象者に注目させ難くすることが求められる。
本開示の目的は、上述した課題を鑑み、視界画面を有する表示装置を装着した保護対象者に対して、実世界の物体のうち保護対象者における不適切な物体を、当該保護対象者に注目させ難くするための表示装置、システム、方法及びプログラムを提供することにある。
本開示にかかる表示装置は、
対象人物の視界領域を含む撮影画像を取得する取得手段と、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知する検知手段と、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行うマスク手段と、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する出力手段と、
を備える。
対象人物の視界領域を含む撮影画像を取得する取得手段と、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知する検知手段と、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行うマスク手段と、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する出力手段と、
を備える。
本開示にかかる表示システムは、
対象人物に対する視界画面を含む表示端末と、
前記表示端末とネットワークを介して接続された画像処理装置と、を備え、
前記表示端末は、
前記対象人物の視界領域を含む撮影画像を取得し、
前記撮影画像を前記画像処理装置へ送信し、
前記画像処理装置は、
前記表示端末から受信した前記撮影画像のうち前記視界領域の中から、前記対象人物における第1の不適切物体を検知し、
前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行い、
前記マスク処理後の前記視界領域に対応する表示画像を、前記表示端末へ送信し、
前記表示端末は、
前記画像処理装置から受信した前記表示画像を、前記視界画面に出力する。
対象人物に対する視界画面を含む表示端末と、
前記表示端末とネットワークを介して接続された画像処理装置と、を備え、
前記表示端末は、
前記対象人物の視界領域を含む撮影画像を取得し、
前記撮影画像を前記画像処理装置へ送信し、
前記画像処理装置は、
前記表示端末から受信した前記撮影画像のうち前記視界領域の中から、前記対象人物における第1の不適切物体を検知し、
前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行い、
前記マスク処理後の前記視界領域に対応する表示画像を、前記表示端末へ送信し、
前記表示端末は、
前記画像処理装置から受信した前記表示画像を、前記視界画面に出力する。
本開示にかかる表示方法は、
コンピュータが、
対象人物の視界領域を含む撮影画像を取得し、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知し、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行い、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する。
コンピュータが、
対象人物の視界領域を含む撮影画像を取得し、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知し、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行い、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する。
本開示にかかる表示プログラムは、
対象人物の視界領域を含む撮影画像を取得する取得処理と、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知する検知処理と、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行うマスク処理と、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する出力処理と、
をコンピュータに実行させる。
対象人物の視界領域を含む撮影画像を取得する取得処理と、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知する検知処理と、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行うマスク処理と、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する出力処理と、
をコンピュータに実行させる。
本開示により、視界画面を有する表示装置を装着した保護対象者に対して、実世界の物体のうち保護対象者における不適切な物体を、当該保護対象者に注目させ難くすることができる。
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
図1は、表示装置1の構成を示すブロック図である。表示装置1は、視界画面(不図示)と、カメラ(不図示)とを有する情報処理装置である。視界画面は、表示装置1の装着者である対象人物(不図示)の視界領域を覆うための画面である。カメラは、対象人物の視界領域を少なくとも含む撮影画像を撮影する。対象人物の視野領域とは、対象人物がその場所及び顔の向きにおいて、仮に表示装置1を装着していない場合に対象人物の視界となる領域である。撮影領域は、表示装置1の周囲であり、典型的には、対象人物の前方である視界領域を少なくとも含む。そして、対象人物は、自身の視界領域を視界画面で覆うように表示装置1を装着しているものとする。そのため、対象人物は、表示装置1を装着している間、視界画面以外が視認できないものとする。「対象人物」とは、例えば、保護者(不図示)により保護される必要がある者であるとよい。
図1は、表示装置1の構成を示すブロック図である。表示装置1は、視界画面(不図示)と、カメラ(不図示)とを有する情報処理装置である。視界画面は、表示装置1の装着者である対象人物(不図示)の視界領域を覆うための画面である。カメラは、対象人物の視界領域を少なくとも含む撮影画像を撮影する。対象人物の視野領域とは、対象人物がその場所及び顔の向きにおいて、仮に表示装置1を装着していない場合に対象人物の視界となる領域である。撮影領域は、表示装置1の周囲であり、典型的には、対象人物の前方である視界領域を少なくとも含む。そして、対象人物は、自身の視界領域を視界画面で覆うように表示装置1を装着しているものとする。そのため、対象人物は、表示装置1を装着している間、視界画面以外が視認できないものとする。「対象人物」とは、例えば、保護者(不図示)により保護される必要がある者であるとよい。
表示装置1は、カメラにより撮影された現実空間の映像について、撮影から表示の間に、検知された不適切物体の領域に対して所定の加工(後述するマスク処理)を行った上で、加工後の表示用の画像(映像)を視界画面に表示させる装置といえる。表示装置1は、取得部11、検知部12、マスク部13及び出力部14を備える。取得部11、検知部12、マスク部13及び出力部14は、それぞれ、情報又はデータを取得する手段、検知する手段、マスク処理を行う手段及び出力する手段として用いられてもよい。
取得部11は、対象人物の視界領域を含む撮影画像を取得する。すなわち、取得部11は、上述したカメラにより撮影された画像データを取得する。
検知部12は、撮影画像に含まれる視界領域の中から、対象人物における(第1の)不適切物体を検知する。ここで、「対象人物における不適切物体」とは、例えば、対象人物の視界に入れることが、保護者にとって不都合な物体である。例えば、対象人物である幼児が好みのお菓子等を目にして購入することを保護者である親にねだる場合、保護者は、対象人物の視界にお菓子が入り込むことが不都合といえる。つまり、「対象人物における不適切物体」とは、対象人物に注目されることや興味を示されることが保護者にとって困る物体ともいえる。尚、検知部12は、事前に定義された検知ルール情報や対象人物に関する情報等を加味して画像解析を行い、対象人物における不適切物体を検知する。
マスク部13は、撮影画像のうち第1の不適切物体の領域に対して、第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行う。「不適切物体の周辺環境情報」とは、例えば、撮影画像内の不適切物体の領域の周辺の領域の情報、撮影画像外であっても表示装置1の現在位置が属する場所の属性、現時点の現在位置の周辺に関する情報(例えば周辺に存在する人物の情報)等を含むとよい。また、「不適切物体の周辺環境情報」とは、例えば、直近の撮影画像の履歴、対象人物が現在位置と同じ場所に過去に滞在した際の情報(例えば行動履歴)等を含んでもよい。
「マスク画像」とは、撮影画像のうち第1の不適切物体の領域を覆い隠すために用いられる画像である。「マスク画像」は、第1の不適切物体の周辺環境情報に基づく画像である。例えば、「マスク画像」は、不適切物体の所定範囲内に存在する物体の画像や、不適切物体の周辺の背景画像等であるとよい。または、マスク画像は、周辺に限定されない所定の画像等であり、周辺環境情報に基づいて選択や決定された画像であってもよい。そして、「マスク画像」は、対象人物が興味を示し難い画像、対象人物にとって興味が低い画像、または、対象人物が注目し難い画像等であるとよい。
また、「マスク処理」とは、検知された不適切物体の領域について、対象人物による知覚や認識を低減又は遮断させる処理であるとよい。言い換えると、マスク処理は、検知された不適切物体の領域をマスク画像で覆い隠すような加工処理であるとよい。マスク処理は、マスキングと呼ぶこともできる。また、マスク処理は、撮影画像のうち視界領域に対応する画像を対象として、マスク画像を用いて第1の不適切物体の領域について上述したような加工処理を行い、表示画像を生成する。
出力部14は、マスク処理後の視界領域に対応する表示画像を、対象人物の視界画面に出力する。すなわち、出力部14は、マスク部13によりマスク処理された表示画像を視界画面に表示する。
尚、出力部14は次のように表現してもよい。すなわち、出力部14は、撮影画像内の視界領域から検知された、対象人物における第1の不適切物体の領域に対して、第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行った表示画像を、対象人物の視界画面に出力する。
図2は、表示方法の流れを示すフローチャートである。まず、取得部11は、対象人物の視界領域を含む撮影画像を取得する(S1)。次に、検知部12は、視界領域の中から、対象人物における第1の不適切物体を検知する(S2)。続いて、マスク部13は、撮影画像のうち第1の不適切物体の領域に対して、第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行う(S3)。その後、出力部14は、マスク処理後の視界領域に対応する表示画像を、対象人物の視界画面に出力する(S4)。
このように、本開示では、対象人物における不適切物体の領域に対してマスク画像を用いてマスク処理することにより、視界画面を通して対象人物が不適切物体を視認し難くすることができる。そのため、視界画面を有する表示装置を装着した保護対象者に対して、実世界の物体のうち保護対象者における不適切な物体を、当該保護対象者に注目させ難くすることができる。言い換えると、現実世界の不適切物体の存在を保護対象者に気付き難くすることができる。
尚、表示装置1は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、例えば図2の表示方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラム等を前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、取得部11、検知部12、マスク部13及び出力部14の機能を実現する。
または、表示装置1の各構成要素は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、量子プロセッサ(量子コンピュータ制御チップ)等を用いることができる。
また、表示装置1の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、表示装置1の機能がSaaS(Software as a Service)形式で提供されてもよい。
<実施形態2>
図3は、表示システム1000の構成を示すブロック図である。表示システム1000は、少なくとも表示装置100を備える。図3は、対象人物U1が保護者U2と共に、店舗等に来店し、商品棚200の前に滞在している状況を例示している。商品棚200には、複数の商品201~203等が陳列されているものとする。ここで、対象人物U1は、自身の視界領域を視界画面で覆うように表示装置100を装着しているものとする。そのため、対象人物U1は、表示装置100を装着している間、視界画面以外が視認できないものとする。つまり、対象人物U1は、現実空間の商品棚200に陳列された商品201等を直接、視認するのではなく、表示装置100の視界画面を通して視認するものとする。尚、商品202は、対象人物U1における不適切物体であるものとする。
図3は、表示システム1000の構成を示すブロック図である。表示システム1000は、少なくとも表示装置100を備える。図3は、対象人物U1が保護者U2と共に、店舗等に来店し、商品棚200の前に滞在している状況を例示している。商品棚200には、複数の商品201~203等が陳列されているものとする。ここで、対象人物U1は、自身の視界領域を視界画面で覆うように表示装置100を装着しているものとする。そのため、対象人物U1は、表示装置100を装着している間、視界画面以外が視認できないものとする。つまり、対象人物U1は、現実空間の商品棚200に陳列された商品201等を直接、視認するのではなく、表示装置100の視界画面を通して視認するものとする。尚、商品202は、対象人物U1における不適切物体であるものとする。
表示装置100は、上述した表示装置1の一例である。表示装置100は、例えば、HMD(Head Mounted Display)であるとよい。また、表示装置100は、AR(Augmented Reality)グラスとは異なり、MR(Mixed Reality)グラスに属するといえる。すなわち、表示装置100は、ARグラスのように現実空間が透過されるものではないため、装着者が現実空間を透過的にも見ることができない。よって、表示装置100の装着者(対象人物U1)は、あくまでMRグラス内のディスプレイ(視界画面)を見ることにより、自身の周囲を視認する。例えば、対象人物U1は、日常的に、表示装置100を装着して生活していてもよい。
図4は、表示装置100の構成を示すブロック図である。表示装置100は、記憶部110、撮影部121、収音部122、位置情報取得部123、視界画面124、取得部131、検知部132、マスク部133、出力部134、分析部135、管理部136及び通知部137を備える。尚、表示装置100は、撮影部121、収音部122、位置情報取得部123及び視界画面124の一部又は全てを内蔵しなくてもよい。例えば、表示装置100は、撮影部121、収音部122、位置情報取得部123及び視界画面124のうち、外部の機器で実現された構成と接続されていてもよい。
記憶部110は、例えば、フラッシュメモリ等の不揮発性記憶装置とRAM(Random Access Memory)等のメモリ、つまり揮発性記憶装置とを含むものとする。記憶部110は、履歴情報111、検知ルール112及び嗜好情報113を記憶する。尚、履歴情報111は、本実施形態においては必須ではない。履歴情報111は、表示装置100の取得データ等の履歴情報を含む。例えば、履歴情報111は、撮影映像1111、位置情報1112及び会話情報1113等を含む。撮影映像1111は、撮影部121により撮影され、記録された映像データである。すなわち、撮影映像1111は、撮影部121により過去に撮影された複数の撮影画像に各画像の撮影時刻が対応付けられた情報である。位置情報1112は、位置情報取得部123により取得された、表示装置100の現在位置を示す位置情報である。位置情報1112は、取得時刻と対応付けられたGPS(Global Positioning System)情報等であってもよい。会話情報1113は、対象人物U1と保護者U2との会話が記録された音声データである。尚、履歴情報111は、会話情報1113と共に、又は、代わりに、対象人物U1の発話を含む音声情報を含んでもよい。音声情報は、撮影画像の撮影時より前の対象人物U1の発話を含む音声データである。そのため、音声情報は、会話情報1113を含むものといえる。
検知ルール112は、表示装置100の装着者である対象人物U1における不適切物体を検知するためのルールを定義した検知ルール情報である。すなわち、検知ルール112は、撮影画像の中から、対象人物U1における不適切物体に対応する画像領域を検知するためのルールである。具体的には、検知ルール112は、対象人物U1にとって興味が高いが、保護者U2にとっては対象人物U1に注目されると困る物体の情報等である。例えば、検知ルール112は、対象人物U1が「プリン」を好きな場合、「プリン」に関する文字情報や様々な角度からプリンが撮影された画像群等を含むとよい。また、検知ルール112は、対象人物U1の年齢に応じて定義されてもよい。例えば、記憶部110は、対象人物U1の年齢情報を記憶してもよい。このとき、表示装置100のユーザである対象人物U1自身、又は、対象人物U1の保護者U2は、表示装置100に対して、対象人物U1の年齢情報を設定してもよい。その場合、表示装置100は、設定された年齢情報に応じて、検知ルール112を生成又は更新するとよい。つまり、検知ルール112は、設定されたユーザの年齢情報に応じて自動的に設定されてもよい。例えば、表示装置100は、対象人物U1の年齢が20歳以上か20歳未満かを判定するとよい。そして、対象人物U1の年齢が20歳未満である場合、表示装置100は、アルコール飲料、タバコ、又は、公営ギャンブルなどに相当する物体等を不適切物体として定義するとよい。または、表示装置100は、対象人物U1の年齢が18歳以上か18歳未満かを判定するとよい。そして、対象人物U1の年齢が18歳未満である場合、表示装置100は、クレジットカード新規作成、投資、又は、運転免許の勧誘などに相当する物体等を不適切物体として定義するとよい。または、または、表示装置100は、対象人物U1の年齢が15歳以上か15歳未満かを判定するとよい。そして、対象人物U1の年齢が15歳未満である場合、表示装置100は、一定金額(数千円や数万円)以上の商品を不適切物体として定義するとよい。または、検知ルール112は、上述した年齢に応じて定義されたルールを踏まえて、保護者U2による変更を反映してもよい。また、検知ルール112は、後述する分析部135により、年齢情報、履歴情報111や嗜好情報113を分析することにより生成又は更新されてもよい。
嗜好情報113は、対象人物U1の嗜好を示す物体等に関する情報である。嗜好情報113は、対象人物U1が嗜好する商品を表現したテキスト情報や、当該商品が様々な角度から撮影された画像群等を含むとよい。また、嗜好情報113は、対象人物U1が好まない商品に関する情報を含んでもよい。
撮影部121は、視界画面124の表示領域(視界領域)を含む撮影領域を撮影するカメラ、又は、当該カメラを制御する回路又はソフトウェア等である。撮影部121は、装着者である対象人物U1の前方を少なくとも撮影し、撮影画像として、取得部131へ出力する。併せて、撮影部121は、撮影画像を記憶部110内の撮影映像1111に追記して記録してもよい。尚、撮影部121は、視界領域の周辺領域を撮影領域に含めてもよい。
収音部122は、表示装置100の周囲の音を収音するマイク、又は、当該マイクを制御する回路又はソフトウェア等である。収音部122は、収音した音情報、少なくとも音声情報を記憶部110内の会話情報1113に追記して記録してもよい。
位置情報取得部123は、無線通信機能を用いて表示装置100の現在位置情報を取得し、記憶部110内の位置情報1112に取得時刻と対応付けて記録する。
視界画面124は、表示装置100の装着者である対象人物U1の視界領域を覆うディスプレイである。また、視界画面124は、出力部134により出力された表示画像(映像)を表示する。
取得部131は、上述した取得部11の一例である。取得部131は、撮影部121から撮影画像を取得し、撮影画像を検知部132へ出力する。
検知部132は、上述した検知部12の一例である。検知部132は、取得部131により取得された撮影画像のうち視界領域の中から、検知ルール112に基づいて、第1の不適切物体を検知する。尚、検知部132は、検知ルール112の代わりに、会話情報1113や嗜好情報113に基づき、対象人物U1における不適切物体を検知してもよい。すなわち、検知部132は、視界領域の中に、対象人物U1にとって興味が高く、かつ、保護者U2にとって対象人物U1に注目されると不都合な物体を、不適切物体として検知してもよい。具体的には、検知部132は、撮影画像の撮影時より前の対象人物の発話を含む音声情報を用いて、不適切物体を検知するとよい。また、検知部132は、嗜好情報113に基づいて、対象人物U1における不適切物体を検知してもよい。すなわち、検知部132は、検知ルール112、会話情報1113及び嗜好情報113の少なくとも一部を用いて、対象人物U1が興味を示す可能性が高い物体の領域を検知する。これらにより、不適切物体の検知精度を向上できる。
マスク部133は、上述したマスク部13の一例である。マスク部133は、撮影画像内の視界領域のうち、検知部132により検知された第1の不適切物体の領域に対して、周辺環境情報と嗜好情報113とに基づき、マスク画像を用いたマスク処理を行う。具体的には、マスク部133は、周辺環境情報と対象人物U1の嗜好情報113とに基づき、対象人物U1の興味が低い物体を含む画像をマスク画像として決定する。そして、マスク部133は、第1の不適切物体の領域を、上記で決定したマスク画像に置換することによりマスク処理を行う。そして、マスク部133は、マスク処理により、視界領域に対応する表示画像を生成する。これにより、対象人物U1に対して、不適切物体の領域に存在する物体の興味を低くさせることで、不適切物体の領域付近を目立ち難くし、対象人物U1が当該物体を手に取り難くすることができる。
ここで、「周辺環境情報」は、視野領域のうち第1の不適切物体の周辺に存在する物体として認識された情報、又は、撮影画像内、かつ、視野領域外の周辺領域に存在する物体として認識された情報であってもよい。例えば、周辺環境情報は、商品棚200において、商品(不適切物体)202の近くに商品201又は203が陳列されていることであってもよい。また、「周辺環境情報」は、現在位置の周辺で第1の不適切物体以外の空間としてもよい。または、「周辺環境情報」は、表示装置100の現在位置が属する場所や空間の属性、現在位置の周辺に存在する物体の情報、又は、現在位置の周辺に存在する人物のカテゴリもしくは密集度等を含んでもよい。例えば、周辺環境情報は、対象人物U1が滞在する(商品棚200を含む)店舗の情報、店舗の種類(ジャンル)等であってもよい。また、例えば、周辺環境情報は、対象人物U1が滞在する店舗がスーパーマーケットであることや、現在位置(又は商品棚200)がお菓子販売コーナーであることであってもよい。また、例えば、周辺環境情報は、お菓子販売コーナーに子供が群がっていることであってもよい。または、「周辺環境情報」は、履歴情報111のうち直近の撮影映像1111、現在位置と位置情報1112が所定範囲内の場所の情報等であってもよい。このように、マスク部133は、第1の不適切物体の検知に応じて、上記のような様々な周辺環境情報を特定するとよい。
また、マスク部133は、周辺環境情報と対象人物U1の嗜好情報113とに基づき、視界領域のうちマスキング対象領域を決定してもよい。例えば、商品棚200の商品(不適切物体)202のみ何らかのマスク画像に置換することが、対象人物U1にとって不自然な可能性がある。その場合、マスク部133は、商品棚200の商品(不適切物体)202を含む一列の棚全体をマスキング対象領域として決定してもよい。または、マスク部133は、商品棚200全体をマスキング対象領域として決定してもよい。
また、マスク部133は、周辺環境情報に含まれる周辺の物体の中から、嗜好情報113に基づき対象人物U1の興味が低い物体を含む画像をマスク画像として決定するとよい。例えば、対象人物U1がプリンを好きな幼児で、周辺環境情報がお菓子販売コーナーを示す場合、商品(不適切物体)202であるプリンを、対象人物U1の興味が低い「お酒」の画像に置換すると不自然となり、却って、対象人物U1の注目をひくことになり兼ねない。その場合、お菓子販売コーナーをお酒販売コーナーに置き換えることで、対象人物U1の興味を減らせる場合がある。そこで、マスク部133は、商品棚200全体をマスキング対象領域とし、お酒販売の棚の画像をマスク画像として決定するとよい。
一方、周辺環境情報がお菓子販売コーナーに子供が群がっていることを示す場合、お菓子販売コーナーをお酒販売コーナーに置き換えることは不自然になり得る。その場合、マスク部133は、嗜好情報113に基づき対象人物U1において興味が低いお菓子の画像をマスク画像として決定するとよい。尚、「興味が低い」とは、対象人物U1が嫌いな商品とも限らない。そのため、マスク部133は、嗜好情報113に基づき対象人物U1の好みの商品を除外した上で、撮影映像1111の履歴を周辺環境情報とし、対象人物U1が過去に注視していない商品をマスク画像として決定してもよい。
また、マスク部133は、周辺環境情報と、撮影画像の撮影時より前の対象人物U1の発話を含む音声情報とに基づいて、マスク画像を決定し、決定したマスク画像を用いてマスク処理を行ってもよい。これにより、マスク画像の決定精度を向上できる。さらに、マスク部133は、周辺環境情報と、対象人物U1の行動履歴に基づいて、マスク画像を決定し、決定したマスク画像を用いてマスク処理を行ってもよい。行動履歴は、例えば、後述する分析部135が履歴情報111内の位置情報1112から分析した結果であってもよい。
尚、上述したように、マスキング対象領域は、第1の不適切物体の領域のみとは限らない。マスキング対象領域は、第1の不適切物体の領域を含む領域であればよい。また、マスク部133は、視野領域のうちマスク画像とその周辺の領域とのつなぎ目等を自然に加工する処理を行うものとする。つまり、マスク部133は、視野領域のうちマスク画像の存在の違和感をなくし、対象人物U1にマスク処理が施されたことを気付き難くするための補正処理や加工処理を行うものとする。尚、このような補正処理や加工処理は、公知技術を用いてもよい。
出力部134は、上述した出力部14の一例である。出力部134は、マスク部133により生成された表示画像を視界画面124に表示する。
分析部135は、履歴情報111又は嗜好情報113を分析して、検知ルール112を更新する。例えば、分析部135は、撮影映像1111と位置情報1112を時系列に沿って分析することで、対象人物U1の視界に入った物体を特定し、特定した物体の撮影期間の長短により、当該物体に対する対象人物U1の興味・嗜好の有無や程度を判定できる。例えば、撮影映像1111の中央に特定の物体が一定時間以上、存在する場合、対象人物U1が当該物体を注視していた可能性が高い。そのため、分析部135は、対象人物U1が当該物体に興味が高いと判定してもよい。一方、撮影映像1111に長時間、映っていた物体であっても、中央以外の領域であれば、対象人物U1が当該物体に興味が低い可能性がある。つまり、対象人物U1が注視してない物体であれば、当該物体の画像をマスク画像として用いることの適性が高いといえる。そのため、分析部135は、対象人物U1が注視してない物体の情報を、興味が低い物体として嗜好情報113に登録してもよい。さらに、分析部135は、会話情報1113を分析することで、特定した物体の興味・嗜好の有無や程度を判定してもよい。
また、分析部135は、会話情報1113における対象人物U1と保護者U2との会話内容を分析して、対象人物U1の興味・嗜好の有無や程度を判定してもよい。例えば、買い物へ向かう途上で、対象人物U1が「今日はプリンが欲しいな」、保護者U2が「この前も買ったでしょ。売ってたら買おうね。」などと会話していたとする。この場合、分析部135は、会話情報1113から、対象人物U1の不適切物体が「プリン」と分析する。また、分析部135は、会話に限らず、対象人物U1の音声情報から独り言に基づき、対象人物U1の興味・嗜好の有無や程度を判定してもよい。そのため、音声情報を分析することで、不適切物体の検知やマスク画像の決定に寄与する情報を抽出することができる。
また、分析部135は、位置情報1112の履歴(行動履歴)から、対象人物U1の移動経路の傾向を分析してもよい。分析部135は、移動経路の傾向と、店舗の販売コーナーの配置から、対象人物U1にとって興味の有無、見慣れているか否か、違和感の有無等を分析してもよい。分析部135は、上述したような分析結果や判定結果に基づき、嗜好情報113を更新してもよい。また、分析部135は、分析結果や判定結果と嗜好情報113に基づき、検知ルール112を更新してもよい。
管理部136は、対象人物U1における不適切物体を検知するための検知ルール112を管理する。そのため、管理部136は分析部135の機能を含んでもよい。さらに、管理部136は、対象人物U1における所定の情報システム(不図示)の利用を制限する利用制限情報と、検知ルール112との少なくとも一方から他方へ情報を反映するとよい。利用制限情報は、例えば、Webシステム等の他の情報システムにおけるペアレンタルコントロール設定、スマートフォンやWebブラウザに設定されているアクセス制限情報(フィルタリング設定)等である。具体的には、管理部136は、利用制限情報の内容を反映するように検知ルール112を更新してもよい。または、管理部136は、検知ルール112の内容を反映するように利用制限情報を更新してもよい。または、管理部136は、利用制限情報と検知ルール112を同期するように更新してもよい。これらにより、対象人物U1における不適切物体の検知精度を向上し、保護者U2の利用制限情報や検知ルール112の管理の利便性を向上できる。
通知部137は、対象人物U1が第1の不適切物体を手に取ったことが検出された場合、対象人物を保護する人物(保護者U2)に向けて、その旨を通知する第1の通知手段である。例えば、検知部132は、撮影画像を分析して対象人物U1が第1の不適切物体を手に取ったことを検出してもよい。そして、通知部137は、保護者U2の情報端末や通知先のメールアドレスやアカウントへ、その旨を送信する。これにより、保護者U2が対象人物U1のそばにいない場合に、対象人物U1が不適切物体を手に取ったことを、保護者U2が知ることができる。よって、保護者U2が検知ルール112や嗜好情報113等を更新することを支援できる。
また、通知部137は、マスク処理の履歴情報を、保護者U2に向けて、通知する第2の通知手段である。例えば、マスク部133は、マスク処理における置換前の画像(第1の不適切物体の領域画像)と、置換後のマスク画像との履歴情報を記憶部110に記録してもよい。そして、通知部137は、所定のタイミングで、保護者U2の情報端末や通知先のメールアドレスやアカウントへ、その旨を送信する。これにより、保護者U2がマスク部133のマスク処理の実効性を把握し易くなり、保護者U2が検知ルール112や嗜好情報113等を更新することを支援できる。
図5は、表示方法の流れを示すフローチャートである。図6は、現実世界の撮影画像と視界領域の関係の例を示す図である。図7は、視界画面に表示されるマスク処理後の表示画像の例を示す図である。以下では、適宜、図6及び図7を用いて、図5の表示方法の流れを説明する。
まず、取得部131は、撮影部121を介して撮影された撮影画像を取得する(S11)。図6に示すように、撮影画像30は、対象人物U1の視界領域301を少なくとも含む。図6の例では、撮影画像30の撮影領域は、商品棚200の全体を含み、視界領域301は、商品棚200のうち下から2段目付近を含む場合を示す。但し、撮影画像30の撮影領域は、視界領域301と同じであってもよい。また、撮影画像30と視界領域301は、例示に過ぎない。
次に、検知部132は、視界領域301の中から、検知ルール112に基づいて第1の不適切物体を検知する(S12)。言い換えると、検知部132は、履歴情報111や嗜好情報113に基づいて、対象人物U1における第1の不適切物体を検知する。図6の例では、検知部132は、視界領域301の中から商品(不適切物体)202(プリン)を検知したことを示す。
続いて、マスク部133は、第1の不適切物体の周辺環境情報を特定する(S13)。例えば、マスク部133は、視界領域301内の商品(不適切物体)202の周辺の商品の情報、商品棚200のジャンル、他の陳列商品、商品棚200が設置された店舗の情報、履歴情報111等を、周辺環境情報として特定する。そして、マスク部133は、特定した周辺環境情報と嗜好情報113に基づきマスク画像を決定する(S14)。図6の例では、マスク部133は、周辺環境情報と嗜好情報113に基づき、視界領域301内で商品(不適切物体)202の隣に陳列された商品画像204が、対象人物U1にとって興味を示し難いと判定し、商品画像204をマスク画像として決定したことを示す。
そして、マスク部133は、第1の不適切物体の領域に対して、ステップS14で決定したマスク画像を用いて置換することにより、マスク処理を行う(S15)。これにより、マスク部133は、視野領域に対応する表示画像を生成する。図7に示すように、表示画像40は、図6の視界領域301に対応する領域の画像である。そして、表示画像40は、視界領域301内の商品(不適切物体)202の位置に、マスク画像である商品画像204を用いてマスク処理が行われた画像である。
その後、出力部134は、ステップS15で生成した表示画像40を視界画面124に出力する(S16)。これにより、図7に示すように、対象人物U1は、表示装置100の視界画面124に表示された表示画像40を視認する。つまり、現実空間では商品棚200の視界領域301に存在する商品(不適切物体)202が、対象人物U1は視界画面124を介して商品(不適切物体)202を視認できない。代わりに、対象人物U1は、出力部134を介して表示画像40内のマスク画像205を視認する。そのため、対象人物U1は、マスク画像205(商品画像204)に興味を示し難い。よって、対象人物U1が商品(不適切物体)202に興味を示さないため、保護者U2は買い物等で不必要に困ることがなくなる。
図8は、解決しようとする課題の概念を説明するための図である。このように、本開示にかかる表示装置100を用いない場合、対象人物U1は、現実空間の商品(不適切物体)202を直接、視認してしまう。そのため、対象人物U1が保護者U2に対して駄々をこねるなどすることにより、保護者U2を困らせる。
図9は、表示装置100を利用した場合の概念を説明するための図である。対象人物U1は、表示装置100の視界画面124を介して商品棚200のうち視界領域301に対応する表示画像40を視認する。そして、対象人物U1は、マスク画像205の商品への興味が低い。そのため、対象人物U1が商品(不適切物体)202を欲しがって駄々をこねるといったことが生じ難くなる。よって、保護者U2は買い物等で不必要に困ることがなくなる。
図10は、表示装置100のハードウェア構成を示すブロック図である。表示装置100は、メモリ101、プロセッサ102、ネットワークインタフェース103、ディスプレイ104、カメラ105及びマイク106を備える。
メモリ101は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。揮発性メモリは、例えば、RAM等の揮発性記憶装置であり、プロセッサ102の動作時に一時的に情報を保持するための記憶領域である。不揮発性メモリは、例えば、ハードディスク、フラッシュメモリ等の不揮発性記憶装置である。メモリ101は、本開示にかかる表示装置100の表示方法の処理が実装されたコンピュータプログラムを少なくとも記憶する。尚、メモリ101は、プロセッサ102から離れて配置されたストレージを含んでもよい。この場合、プロセッサ102は、図示されていないI/O(Input/Output)インタフェースを介してメモリ101にアクセスしてもよい。
プロセッサ102は、表示装置100の各構成を制御する制御装置である。プロセッサ102は、メモリ101からソフトウェア(コンピュータプログラム)を読み出して実行する。これにより、プロセッサ102は、取得部131、検知部132、マスク部133、出力部134、分析部135、管理部136及び通知部137の機能を実現する。すなわち、プロセッサ102は、本開示にかかる表示方法の処理を行う。プロセッサ102は、例えば、マイクロプロセッサ、MPU(Multi Processing Unit)、又はCPU(Central Processing Unit)であってもよい。また、プロセッサ102は、複数のプロセッサを含んでもよい。
ネットワークインタフェース103は、ネットワークノードと通信するために使用されてもよい。ネットワークインタフェース103は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード(NIC)を含んでもよい。IEEEは、Institute of Electrical and Electronics Engineersを表す。また、ネットワークインタフェース103は、無線LAN(Local Area Network)、有線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)などを含んでもよい。
ディスプレイ104は、プロセッサ102から指示された情報を表示する表示装置である。ディスプレイ104は、例えば、液晶ディスプレイや有機EL(Organic Electro-Luminescence)ディスプレイ等の画面である。
カメラ105は、プロセッサ102からの指示に応じて、視界画面124の表示領域(視界領域)を含む撮影領域を撮影し、撮影した画像をプロセッサ102へ出力する。カメラ105は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)センサ等である。カメラ105は、1以上の撮影装置である。
マイク106は、表示装置100の周囲の音を収音する収音器である。
このように、本実施形態により、上述した実施形態1の効果に加えて、上述した各種効果を奏することができる。
<実施形態3>
図11は、表示装置100aの構成を示すブロック図である。表示装置100aは、上述した図4の表示装置100と比べて、記憶部110に関係性情報114が追加され、検知部132a及びマスク部133aが変更されたものである。他の構成は、図4と同様であるため、重複する説明及び図示は適宜、省略する。
図11は、表示装置100aの構成を示すブロック図である。表示装置100aは、上述した図4の表示装置100と比べて、記憶部110に関係性情報114が追加され、検知部132a及びマスク部133aが変更されたものである。他の構成は、図4と同様であるため、重複する説明及び図示は適宜、省略する。
関係性情報114は、対象人物U1と保護者U2の関係性を示す情報である。保護者U2は、対象人物U1を保護、指導又は見守りをする立場の者とする。関係性とは、例えば、親子(保護者と子供(扶養家族))、保育者と保育園児(もしくは、幼稚園の教諭と幼稚園児)、教員と児童もしくは生徒、高齢者と介護者もしくは家族親族、又は、お酒やたばこ等の中毒者と管理者もしくは支援者等である。
検知部132aは、対象人物U1と対象人物U1を保護する人物(保護者U2)との関係性に基づいて、第1の不適切物体を検知する。具体的には、検知部132aは、関係性情報114に基づいて、視界領域の中から対象人物U1における第1の不適切物体を検知する。これにより、不適切物体の検知の精度が向上する。尚、検知部132aは、検知ルール112と関係性情報114に基づいて、第1の不適切物体を検知してもよい。また、検知部132aは、履歴情報111又は検知ルール112のいずれか又は両方と、関係性情報114とに基づいて、第1の不適切物体を検知してもよい。
マスク部133aは、周辺環境情報と、対象人物U1と対象人物U1を保護する人物(保護者U2)との関係性とに基づいて、マスク画像を決定し、決定したマスク画像を用いてマスク処理を行う。具体的には、マスク部133aは、周辺環境情報と、関係性情報114に基づいてマスク画像を決定する。これにより、マスク画像の決定精度が向上する。尚、マスク部133aは、周辺環境情報及び関係性情報114と共に、嗜好情報113に基づいて、マスク画像を決定してもよい。
図12は、表示方法の流れを示すフローチャートである。以下では上述した図5と異なる点について説明する。ステップS11の後、検知部132aは、視界領域の中から、関係性情報114に基づいて第1の不適切物体を検知する(S12a)。例えば、対象人物U1と保護者U2の関係性情報114が親子である場合、検知部132aは、視界領域の中に、子供向けの玩具がある場合、当該玩具を第1の不適切物体として検知してもよい。尚、上述したように、検知部132aは、関係性情報114と、検知ルール112又は嗜好情報113等を組み合わせて、第1の不適切物体を検知してもよい。続いて、図5と同様に、マスク部133aは、ステップS13を実行する。
ステップS13の後、マスク部133aは、特定した周辺環境情報と関係性情報114に基づきマスク画像を決定する(S14a)。例えば、対象人物U1と保護者U2の関係性情報114が親子である場合、マスク部133aは、学術書など子供が興味を示さない物体の画像をマスク画像として決定してもよい。尚、上述したように、マスク部133aは、周辺環境情報と関係性情報114に加えて嗜好情報113に基づいてマスク画像を決定してもよい。以降、図5と同様に、表示装置100aは、ステップS15以降を実行する。
このように、本実施形態により、上述した実施形態2と同様の効果を奏することができる。
<実施形態4>
続いて、撮影領域内かつ視界領域外である周辺領域に対する事前の不適切物体の検知及びマスク処理について説明する。尚、本実施形態の各構成は、実施形態2又は3と同等であるため、重複する説明及び図示は適宜、省略する。
続いて、撮影領域内かつ視界領域外である周辺領域に対する事前の不適切物体の検知及びマスク処理について説明する。尚、本実施形態の各構成は、実施形態2又は3と同等であるため、重複する説明及び図示は適宜、省略する。
この場合、検知部は、撮影画像の中、かつ、視界領域の外である周辺領域から、対象人物U1における第2の不適切物体を検知する。また、マスク部は、第2の不適切物体の領域に対して、第2の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行ったマスク処理済画像を生成する。そして、マスク部は、マスク処理済画像を生成した後に、取得部により取得された第2の撮影画像に含まれる視界領域に、第2の不適切物体の少なくとも一部が含まれる場合、マスク処理済画像をさらに用いて第2の表示画像を生成する。そして、出力部は、第2の表示画像を視界画面に出力する。
図13は、表示方法の流れを示すフローチャートである。まず、取得部131は、撮影部121を介して撮影された第1の撮影画像を取得する(S11b)。続いて、表示装置100は、上述した図5のステップS12からS16を実行する。これと並行して、ステップS11bの後、検知部132は、第1の撮影画像の中、かつ、視野領域の外である周辺領域から検知ルール112に基づいて、第2の不適切物体を検知する(S12b)。
図14は、第1の撮影画像31、視界領域311及び周辺領域312の関係を説明するための図である。第1の撮影画像31は、対象人物U1が装着する表示装置100の撮影部121により撮影領域が撮影された画像である。第1の撮影画像31は、対象人物U1の視界領域311と周辺領域312を含む。この例では、視界領域311には、第1の不適切物体3111が存在し、周辺領域312には第2の不適切物体3121が存在することを示す。
続いて、マスク部133は、第2の不適切物体の周辺環境情報を特定する(S13b)。そして、マスク部133は、特定した周辺環境情報に基づき第2のマスク画像を決定する(S14b)。そして、マスク部133は、第2の不適切物体の領域に対して、ステップS14bで決定した第2のマスク画像を用いて置換することにより、マスク処理を行う(S15b)。これにより、マスク部133は、視野領域外に対応するマスク処理済画像を生成する。
図15は、マスク処理済画像412と第1の表示画像411の関係を説明するための図である。第1の表示画像411は、上述したステップS12からS16により、第1の不適切物体3111が第1のマスク画像4111に置換されてマスク処理がされた、視界領域311に対応する表示画像の例である。そして、マスク処理済画像412は、視界画面124には表示されていないが、第2の不適切物体3121が第2のマスク画像4121に置換されてマスク処理がされた、周辺領域に対応する画像の例である。つまり、不適切物体の検知及びマスク処理は、視野領域と周辺領域の両方に対して並行して実行してもよい。また、視野領域から第1の不適切物体が検知されなかった場合、表示装置100は、周辺領域側のマスク処理を実行しつつ、視野領域に対応する(マスク処理がされていない)表示画像を表示する。いずれにしても、表示装置100は、周辺領域における不適切物体の領域へのマスク処理を、表示前(視野領域に入る前)に実行済みとする。
ステップS16とS15bの後、取得部131は、撮影部121を介して撮影された第2の撮影画像を取得する(S21)。そして、表示装置100は、第2の撮影画像の中の視野領域に第2の不適切物体の少なくとも一部が含まれるか否かを判定する(S22)。視野領域に第2の不適切物体の少なくとも一部が含まれない場合、表示装置100は、ステップS12からS16を実行し、再度、ステップS22を実行する。ステップS22で視野領域に第2の不適切物体の少なくとも一部が含まれる場合、マスク部133は、視野領域とマスク処理済画像を用いて第2の表示画像を生成する(S23)。そして、出力部134は、ステップS23で生成した第2の表示画像を視界画面に出力する(S24)。
図16は、第2の撮影画像32、視界領域321及び周辺領域322の関係を説明するための図である。第2の撮影画像32は、図14の第1の撮影画像31の撮影後に、撮影部121により撮影領域が撮影された画像である。第2の撮影画像32は、対象人物U1の視界領域321と周辺領域322を含む。例えば、対象人物U1は、図14の場合よりも右上方向へ顔の向き(表示装置100の撮影領域)を変えたものとする。そのため、視界領域321には、第1の不適切物体3111が存在せず、第2の不適切物体3121の一部が存在することを示す。
図17は、マスク処理済画像422と第2の表示画像421の関係を説明するための図である。第2の表示画像421は、第2のマスク画像4121の一部を含む。尚、マスク処理済画像422内の第1の不適切物体3111は、マスク画像に置換されていてもよい。少なくとも、事前に第2のマスク画像4121を用いたマスク処理済みであるため、マスク部133は、図15のマスク処理済画像412を利用して第2の表示画像421を生成できる。
このように、本実施形態では、撮影領域が視界領域より広い場合を対象とする。この場合、現時点の撮影領域のうち対象人物が視認できない領域に対して、予め不適切物体のマスク処理を行っておく(先回りして置換しておく)。そのため、対象人物の視界領域が変更(顔を少し横に向けるなど)した際に、不適切物体がマスク処理済みの表示画像を、速やかに表示できる。そのため、新規に検知した不適切物体の領域に対してマスク処理を行う場合と比べて、処理コストを下げることができる。また、第2の撮影画像の撮影後から第2の表示画像の表示までの所要時間を短縮すること、つまり、タイムラグを短縮できる。すなわち、撮影領域の全てを視界領域とする場合や周辺領域に対する検知及びマスク処理を行わない場合と比べて、周辺領域に対して事前にマスク処理を行うことで、不適切物体の検知及び置換処理時間を短縮できる。
<実施形態5>
図18は、表示システム2000の構成を示すブロック図である。表示システム2000は、表示端末100bと画像処理装置500とを備える。表示端末100bと画像処理装置500とは、ネットワークNを介して通信可能に接続されている。ここで、ネットワークNは、有線又は無線の通信回線である。また、対象人物U1は、自身の視界領域を視界画面で覆うように表示端末100bを装着しているものとする。表示システム2000は、上述した表示装置100の機能を、表示端末100bと画像処理装置500とに分散させたものといえる。また、画像処理装置500は、上述した表示装置1の一例ともいえる。
図18は、表示システム2000の構成を示すブロック図である。表示システム2000は、表示端末100bと画像処理装置500とを備える。表示端末100bと画像処理装置500とは、ネットワークNを介して通信可能に接続されている。ここで、ネットワークNは、有線又は無線の通信回線である。また、対象人物U1は、自身の視界領域を視界画面で覆うように表示端末100bを装着しているものとする。表示システム2000は、上述した表示装置100の機能を、表示端末100bと画像処理装置500とに分散させたものといえる。また、画像処理装置500は、上述した表示装置1の一例ともいえる。
図19は、表示端末100bの一例の構成を示すブロック図である。表示端末100bは、上述した表示装置100の一部の機能を有する。表示端末100bは、撮影部121、収音部122、位置情報取得部123、視界画面124、取得部131、通信部138及び出力部134を備える。つまり、表示端末100bは、図4の表示装置100のうち記憶部110内の各情報、検知部132、マスク部133、分析部135、管理部136及び通知部137が除かれ、通信部138が追加されたものである。但し、表示端末100bのハードウェア構成は、上述した図10と同等であるものとする。以下では図4との違いについて説明する。
通信部138は、取得部131により取得された撮影画像を、無線通信によりネットワークNを介して画像処理装置500へ送信する。また、通信部138は、画像処理装置500からネットワークNを介して無線通信により表示画像を受信する。出力部134は、受信された表示画像を視界画面124に表示する。
図20は、画像処理装置500の一例の構成を示すブロック図である。画像処理装置500は、上述した表示装置100の一部の機能を有する情報処理装置である。画像処理装置500は、サーバとして機能する。画像処理装置500は、記憶部510、取得部531、検知部532、マスク部533、出力部534、分析部535、管理部536、通知部537を備える。記憶部510は、図4の記憶部110と同様であり、履歴情報511、検知ルール512、嗜好情報513、関係性情報514を記憶する。また、履歴情報511は、撮影映像5111、位置情報5112及び会話情報5113を含むとよい。履歴情報511、撮影映像5111、位置情報5112、会話情報5113、検知ルール512、嗜好情報513、関係性情報514は、上述した図4の履歴情報111、撮影映像1111、位置情報1112、会話情報1113、検知ルール112、嗜好情報113、図11の関係性情報114と同様の情報である。
取得部531、検知部532、マスク部533、出力部534は、それぞれ、上述した図1の取得部11、検知部12、マスク部13、出力部14の一例である。
取得部531は、表示端末100bからネットワークNを介して撮影画像を受信、つまり取得する。検知部532、マスク部533、分析部535、管理部536、通知部537は、それぞれ、上述した図4の検知部132、マスク部133、分析部135、管理部136、通知部137と同等の機能を有する。出力部534は、マスク部533により生成された表示画像を、ネットワークNを介して表示端末100bへ送信する。
図21は、表示方法の一例の流れを示すシーケンスチャートである。まず、表示端末100bの取得部131は、撮影部121を介して撮影された撮影画像を取得する(S511)。次に、表示端末100bの通信部138は、ステップS511で取得された撮影画像を、無線通信によりネットワークNを介して画像処理装置500へ送信する(S512)。これに応じて、画像処理装置500の取得部531は、表示端末100bからネットワークNを介して撮影画像を取得する(S513)。次に、検知部532は、視界領域の中から、検知ルール512等に基づいて第1の不適切物体を検知する(S514)。続いて、マスク部533は、第1の不適切物体の周辺環境情報を特定する(S515)。そして、マスク部533は、特定した周辺環境情報と嗜好情報513等に基づきマスク画像を決定する(S516)。そして、マスク部533は、第1の不適切物体の領域に対して、ステップS516で決定したマスク画像を用いて置換することにより、マスク処理を行う(S517)。これにより、マスク部533は、視野領域に対応する表示画像を生成する。
その後、出力部534は、ステップS517で生成された表示画像を、ネットワークNを介して表示端末100bへ送信する(S518)。これに応じて、表示端末100bの通信部138は、画像処理装置500からネットワークNを介して無線通信により表示画像を受信する。そして、出力部134は、ステップS518で受信された表示画像を視界画面124に出力する(S519)。
尚、表示端末100bと画像処理装置500の機能分散を次のように変更してもよい。例えば、表示端末100bは、図19の構成に加えて、記憶部110の検知ルール112と検知部132とマスク部133の一部(周辺環境情報の特定処理)を備えてもよい。その場合、画像処理装置500は、記憶部510の検知ルール512と検知部532とマスク部533の一部(周辺環境情報の特定処理)を除いてもよい。
図22は、上記の場合の表示方法の一例の流れを示すシーケンスチャートである。ステップS511の後、表示端末100bの検知部132は、視界領域の中から、検知ルール112に基づいて第1の不適切物体を検知する(S522)。続いて、マスク部133は、第1の不適切物体の周辺環境情報を特定する(S523)。その後、通信部138は、撮影画像、ステップS522で検知された検知情報(第1の不適切物体の領域情報等)、ステップS523で特定された周辺環境情報を、無線通信によりネットワークNを介して画像処理装置500へ送信する(S524)。これに応じて、画像処理装置500の取得部531は、表示端末100bからネットワークNを介して撮影画像、検知情報及び周辺環境情報を取得する(S525)。そして、マスク部533は、受信した周辺環境情報と嗜好情報513等に基づきマスク画像を決定する(S526)。以降、図21と同様に、画像処理装置500及び表示端末100bは、ステップS517以降を実行する。
尚、表示端末100bと画像処理装置500の機能分散を次のように変更してもよい。例えば、表示端末100bは、図19の構成に加えて、記憶部110の履歴情報111、嗜好情報113、関係性情報114とマスク部133を備えてもよい。その場合、画像処理装置500は、マスク部533を除いてもよい。また、画像処理装置500は、表示端末100bの履歴情報111、嗜好情報113、関係性情報114を取得し、記憶部510内の履歴情報511、嗜好情報513、関係性情報514と同期してもよい。
図23は、表示方法の一例の流れを示すシーケンスチャートである。ステップS514で第1の不適切物体が検知された場合、画像処理装置500の出力部534は、検知情報(第1の不適切物体の領域情報等)を、ネットワークNを介して表示端末100bへ送信する(S531)。これに応じて、表示端末100bの通信部138は、画像処理装置500からネットワークNを介して無線通信により検知情報を受信する。そして、マスク部133は、受信した検知情報に基づき第1の不適切物体の周辺環境情報を特定する(S532)。そして、マスク部133は、上述したステップS14と同様に、マスク画像を決定する(S533)。そして、マスク部133は、上述したステップS15と同様に、第1の不適切物体の領域に対して、ステップS533で決定したマスク画像を用いて置換することにより、マスク処理を行う(S534)。これにより、マスク部133は、視野領域に対応する表示画像を生成する。その後、出力部134は、ステップS534で生成した表示画像を視界画面124に出力する(S535)。
尚、表示端末100bと画像処理装置500の機能分散の仕方は、上述したものに限定されない。
図24は、画像処理装置500のハードウェア構成を示すブロック図である。画像処理装置500は、メモリ501、プロセッサ502及びネットワークインタフェース503を備える。
メモリ501は、本開示にかかる画像処理装置500の表示方法の処理が実装されたコンピュータプログラムを少なくとも記憶する。メモリ501の他の構成は、上記メモリ101と同様である。プロセッサ502は、画像処理装置500の各構成を制御する制御装置である。プロセッサ502は、メモリ501からソフトウェア(コンピュータプログラム)を読み出して実行する。これにより、プロセッサ502は、取得部531、検知部532、マスク部533、出力部534、分析部535、管理部536及び通知部537の機能を実現する。すなわち、プロセッサ502は、本開示にかかる画像処理装置500における表示方法の処理を行う。プロセッサ502の他の構成は、上記プロセッサ102と同様である。ネットワークインタフェース503は、上記ネットワークインタフェース103と同様の構成である。
<その他の実施形態>
本開示にかかる表示装置は、マスク処理の対象が画像データであるものとして説明したが、さらに、音や匂いについてもマスク処理を行い、マスク処理後の音や匂いを出力してもよい。例えば、表示装置は、イヤホン等の音データの出力装置をさらに備える。その際、対象人物は、イヤホン等を自身の耳に装着しているものとする。そして、取得部は、収音部を介して現在位置の周辺の音データを取得する。検知部は、検知ルール等に基づいて音データの中から対象人物における不適切な音を検知する。マスク処理部は、現在位置等の周囲の状況から周辺環境情報を特定する。マスク処理部は、検知した不適切な音に対して、周辺環境情報に基づくマスク音を用いたマスク処理を行う。出力部は、マスク処理後の音データを、イヤホン等を介して出力する。尚、匂いについても、表示装置は匂いを入力する匂い入力デバイスと匂いを出力する匂い出力デバイスを備え、対象人物は、当該匂い出力デバイスを自身の鼻に装着しているものとする。表示装置の各部の処理は、上述した音データに対する処理を、匂いデータに対して援用するものとする。
本開示にかかる表示装置は、マスク処理の対象が画像データであるものとして説明したが、さらに、音や匂いについてもマスク処理を行い、マスク処理後の音や匂いを出力してもよい。例えば、表示装置は、イヤホン等の音データの出力装置をさらに備える。その際、対象人物は、イヤホン等を自身の耳に装着しているものとする。そして、取得部は、収音部を介して現在位置の周辺の音データを取得する。検知部は、検知ルール等に基づいて音データの中から対象人物における不適切な音を検知する。マスク処理部は、現在位置等の周囲の状況から周辺環境情報を特定する。マスク処理部は、検知した不適切な音に対して、周辺環境情報に基づくマスク音を用いたマスク処理を行う。出力部は、マスク処理後の音データを、イヤホン等を介して出力する。尚、匂いについても、表示装置は匂いを入力する匂い入力デバイスと匂いを出力する匂い出力デバイスを備え、対象人物は、当該匂い出力デバイスを自身の鼻に装着しているものとする。表示装置の各部の処理は、上述した音データに対する処理を、匂いデータに対して援用するものとする。
上述した表示装置は、カメラに撮影された現実空間の映像に対する処理を対象としていたが、仮想空間における対象人物の視界領域や周辺領域にたいしても適用可能である。近年、仮想空間での活動も普及しており、保護対象人物も仮想空間用の視界画面を有するゴーグル(表示装置)を装着する場合がある。このような場合にも、表示装置には、仮想空間の視界付近の周辺を撮影した画像を加工して表示装置の視界画面に表示する際、保護対象者における不適切な物体を、当該保護対象者に注目させ難くすることが求められる。これにより、視界画面を有する表示装置を装着した保護対象者に対して、仮想空間内の物体や画像のうち保護対象者における不適切な物体や画像を、当該保護対象者に注目させ難くすることができる。
以上、実施形態を参照して本開示を説明したが、本開示は上述の実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施形態は、適宜他の実施の形態と組み合わせることができる。
各図面は、1又はそれ以上の実施形態を説明するための単なる例示である。各図面は、1つの特定の実施形態のみに関連付けられるのではなく、1又はそれ以上の他の実施形態に関連付けられてもよい。当業者であれば理解できるように、いずれか1つの図面を参照して説明される様々な特徴又はステップは、例えば明示的に図示または説明されていない実施形態を作り出すために、1又はそれ以上の他の図に示された特徴又はステップと組み合わせることができる。例示的な実施形態を説明するためにいずれか1つの図に示された特徴またはステップのすべてが必ずしも必須ではなく、一部の特徴またはステップが省略されてもよい。いずれかの図に記載されたステップの順序は、適宜変更されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記A1)
対象人物の視界領域を含む撮影画像を取得する取得手段と、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知する検知手段と、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行うマスク手段と、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する出力手段と、
を備える表示装置。
(付記A2)
前記マスク手段は、
前記周辺環境情報と前記対象人物の嗜好情報とに基づき、当該対象人物の興味が低い物体を含む画像を前記マスク画像として決定し、
前記第1の不適切物体の領域を前記決定したマスク画像に置換することにより前記マスク処理を行う
付記A1に記載の表示装置。
(付記A3)
前記検知手段は、
前記撮影画像の撮影時より前の前記対象人物の発話を含む音声情報を用いて、前記第1の不適切物体を検知する
付記A1又はA2に記載の表示装置。
(付記A4)
前記検知手段は、
前記対象人物と当該対象人物を保護する人物との関係性に基づいて、前記第1の不適切物体を検知する
付記A1又はA2に記載の表示装置。
(付記A5)
前記対象人物における不適切物体を検知するための検知ルール情報を管理する管理手段をさらに備え、
前記管理手段は、前記対象人物における所定の情報システムの利用を制限する利用制限情報と、前記検知ルール情報との少なくとも一方から他方へ情報を反映する
付記A1又はA2に記載の表示装置。
(付記A6)
前記検知手段は、前記撮影画像の中、かつ、前記視界領域の外である周辺領域から、前記対象人物における第2の不適切物体を検知し、
前記マスク手段は、
前記第2の不適切物体の領域に対して、当該第2の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行ったマスク処理済画像を生成し、
前記生成した後に、前記取得手段により取得された第2の撮影画像に含まれる前記視界領域に、前記第2の不適切物体の少なくとも一部が含まれる場合、前記マスク処理済画像をさらに用いて第2の表示画像を生成し、
前記出力手段は、前記第2の表示画像を前記視界画面に出力する
付記A1又はA2に記載の表示装置。
(付記A7)
前記対象人物が前記第1の不適切物体を手に取ったことが検出された場合、前記対象人物を保護する人物に向けて、その旨を通知する第1の通知手段をさらに備える
付記A1又はA2に記載の表示装置。
(付記A8)
前記マスク処理の履歴情報を、前記対象人物を保護する人物に向けて、通知する第2の通知手段をさらに備える
付記A1又はA2に記載の表示装置。
(付記A9)
前記マスク手段は、
前記周辺環境情報と、前記撮影画像の撮影時より前の前記対象人物の発話を含む音声情報とに基づいて、前記マスク画像を決定し、
前記決定したマスク画像を用いて前記マスク処理を行う
付記A1又はA2に記載の表示装置。
(付記A10)
前記マスク手段は、
前記周辺環境情報と、前記対象人物と当該対象人物を保護する人物との関係性とに基づいて、前記マスク画像を決定し、
前記決定したマスク画像を用いて前記マスク処理を行う
付記A1又はA2に記載の表示装置。
(付記B1)
対象人物に対する視界画面を含む表示端末と、
前記表示端末とネットワークを介して接続された画像処理装置と、を備え、
前記表示端末は、
前記対象人物の視界領域を含む撮影画像を取得し、
前記撮影画像を前記画像処理装置へ送信し、
前記画像処理装置は、
前記表示端末から受信した前記撮影画像のうち前記視界領域の中から、前記対象人物における第1の不適切物体を検知し、
前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行い、
前記マスク処理後の前記視界領域に対応する表示画像を、前記表示端末へ送信し、
前記表示端末は、
前記画像処理装置から受信した前記表示画像を、前記視界画面に出力する
表示システム。
(付記C1)
コンピュータが、
対象人物の視界領域を含む撮影画像を取得し、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知し、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行い、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する、
表示方法。
(付記D1)
対象人物の視界領域を含む撮影画像を取得する取得処理と、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知する検知処理と、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行うマスク処理と、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する出力処理と、
をコンピュータに実行させる表示プログラム。
(付記E1)
対象人物の視界領域を含む撮影画像を取得する取得手段と、
前記撮影画像内の前記視界領域から検知された前記対象人物における第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行った表示画像を、前記対象人物の視界画面に出力する出力手段と、
を備える表示装置。
(付記A1)
対象人物の視界領域を含む撮影画像を取得する取得手段と、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知する検知手段と、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行うマスク手段と、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する出力手段と、
を備える表示装置。
(付記A2)
前記マスク手段は、
前記周辺環境情報と前記対象人物の嗜好情報とに基づき、当該対象人物の興味が低い物体を含む画像を前記マスク画像として決定し、
前記第1の不適切物体の領域を前記決定したマスク画像に置換することにより前記マスク処理を行う
付記A1に記載の表示装置。
(付記A3)
前記検知手段は、
前記撮影画像の撮影時より前の前記対象人物の発話を含む音声情報を用いて、前記第1の不適切物体を検知する
付記A1又はA2に記載の表示装置。
(付記A4)
前記検知手段は、
前記対象人物と当該対象人物を保護する人物との関係性に基づいて、前記第1の不適切物体を検知する
付記A1又はA2に記載の表示装置。
(付記A5)
前記対象人物における不適切物体を検知するための検知ルール情報を管理する管理手段をさらに備え、
前記管理手段は、前記対象人物における所定の情報システムの利用を制限する利用制限情報と、前記検知ルール情報との少なくとも一方から他方へ情報を反映する
付記A1又はA2に記載の表示装置。
(付記A6)
前記検知手段は、前記撮影画像の中、かつ、前記視界領域の外である周辺領域から、前記対象人物における第2の不適切物体を検知し、
前記マスク手段は、
前記第2の不適切物体の領域に対して、当該第2の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行ったマスク処理済画像を生成し、
前記生成した後に、前記取得手段により取得された第2の撮影画像に含まれる前記視界領域に、前記第2の不適切物体の少なくとも一部が含まれる場合、前記マスク処理済画像をさらに用いて第2の表示画像を生成し、
前記出力手段は、前記第2の表示画像を前記視界画面に出力する
付記A1又はA2に記載の表示装置。
(付記A7)
前記対象人物が前記第1の不適切物体を手に取ったことが検出された場合、前記対象人物を保護する人物に向けて、その旨を通知する第1の通知手段をさらに備える
付記A1又はA2に記載の表示装置。
(付記A8)
前記マスク処理の履歴情報を、前記対象人物を保護する人物に向けて、通知する第2の通知手段をさらに備える
付記A1又はA2に記載の表示装置。
(付記A9)
前記マスク手段は、
前記周辺環境情報と、前記撮影画像の撮影時より前の前記対象人物の発話を含む音声情報とに基づいて、前記マスク画像を決定し、
前記決定したマスク画像を用いて前記マスク処理を行う
付記A1又はA2に記載の表示装置。
(付記A10)
前記マスク手段は、
前記周辺環境情報と、前記対象人物と当該対象人物を保護する人物との関係性とに基づいて、前記マスク画像を決定し、
前記決定したマスク画像を用いて前記マスク処理を行う
付記A1又はA2に記載の表示装置。
(付記B1)
対象人物に対する視界画面を含む表示端末と、
前記表示端末とネットワークを介して接続された画像処理装置と、を備え、
前記表示端末は、
前記対象人物の視界領域を含む撮影画像を取得し、
前記撮影画像を前記画像処理装置へ送信し、
前記画像処理装置は、
前記表示端末から受信した前記撮影画像のうち前記視界領域の中から、前記対象人物における第1の不適切物体を検知し、
前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行い、
前記マスク処理後の前記視界領域に対応する表示画像を、前記表示端末へ送信し、
前記表示端末は、
前記画像処理装置から受信した前記表示画像を、前記視界画面に出力する
表示システム。
(付記C1)
コンピュータが、
対象人物の視界領域を含む撮影画像を取得し、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知し、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行い、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する、
表示方法。
(付記D1)
対象人物の視界領域を含む撮影画像を取得する取得処理と、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知する検知処理と、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行うマスク処理と、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する出力処理と、
をコンピュータに実行させる表示プログラム。
(付記E1)
対象人物の視界領域を含む撮影画像を取得する取得手段と、
前記撮影画像内の前記視界領域から検知された前記対象人物における第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行った表示画像を、前記対象人物の視界画面に出力する出力手段と、
を備える表示装置。
付記A1{e.g. 装置}に従属する付記A2~付記A10に記載した要素(例えば構成及び機能)の一部または全ては、付記B1{e.g. システム}、付記C1{e.g. 方法}、付記D1{e.g. プログラム}、付記E1{e.g. 装置}に対しても付記A2~付記A10と同様の従属関係により従属し得る。任意の付記に記載された要素の一部または全ては、様々なハードウェア、ソフトウェア、ソフトウェアを記録するための記録手段、システム、及び方法に適用され得る。
この出願は、2024年3月12日に出願された日本出願特願2024-037798を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 表示装置
11 取得部
12 検知部
13 マスク部
14 出力部
1000 表示システム
U1 対象人物
U2 保護者
200 商品棚
201 商品
202 商品(不適切物体)
203 商品
204 商品画像
205 マスク画像
100 表示装置
100a 表示装置
110 記憶部
111 履歴情報
1111 撮影映像
1112 位置情報
1113 会話情報
112 検知ルール
113 嗜好情報
114 関係性情報
121 撮影部
122 収音部
123 位置情報取得部
124 視界画面
131 取得部
132 検知部
132a 検知部
133 マスク部
133a マスク部
134 出力部
135 分析部
136 管理部
137 通知部
30 撮影画像
301 視界領域
40 表示画像
101 メモリ
102 プロセッサ
103 ネットワークインタフェース
104 ディスプレイ
105 カメラ
106 マイク
31 第1の撮影画像
311 視界領域
3111 第1の不適切物体
312 周辺領域
3121 第2の不適切物体
411 第1の表示画像
4111 第1のマスク画像
412 マスク処理済画像
4121 第2のマスク画像
32 第2の撮影画像
321 視界領域
322 周辺領域
421 第2の表示画像
422 マスク処理済画像
2000 表示システム
N ネットワーク
100b 表示端末
138 通信部
500 画像処理装置
510 記憶部
511 履歴情報
5111 撮影映像
5112 位置情報
5113 会話情報
512 検知ルール
513 嗜好情報
514 関係性情報
531 取得部
532 検知部
533 マスク部
534 出力部
535 分析部
536 管理部
537 通知部
501 メモリ
502 プロセッサ
503 ネットワークインタフェース
11 取得部
12 検知部
13 マスク部
14 出力部
1000 表示システム
U1 対象人物
U2 保護者
200 商品棚
201 商品
202 商品(不適切物体)
203 商品
204 商品画像
205 マスク画像
100 表示装置
100a 表示装置
110 記憶部
111 履歴情報
1111 撮影映像
1112 位置情報
1113 会話情報
112 検知ルール
113 嗜好情報
114 関係性情報
121 撮影部
122 収音部
123 位置情報取得部
124 視界画面
131 取得部
132 検知部
132a 検知部
133 マスク部
133a マスク部
134 出力部
135 分析部
136 管理部
137 通知部
30 撮影画像
301 視界領域
40 表示画像
101 メモリ
102 プロセッサ
103 ネットワークインタフェース
104 ディスプレイ
105 カメラ
106 マイク
31 第1の撮影画像
311 視界領域
3111 第1の不適切物体
312 周辺領域
3121 第2の不適切物体
411 第1の表示画像
4111 第1のマスク画像
412 マスク処理済画像
4121 第2のマスク画像
32 第2の撮影画像
321 視界領域
322 周辺領域
421 第2の表示画像
422 マスク処理済画像
2000 表示システム
N ネットワーク
100b 表示端末
138 通信部
500 画像処理装置
510 記憶部
511 履歴情報
5111 撮影映像
5112 位置情報
5113 会話情報
512 検知ルール
513 嗜好情報
514 関係性情報
531 取得部
532 検知部
533 マスク部
534 出力部
535 分析部
536 管理部
537 通知部
501 メモリ
502 プロセッサ
503 ネットワークインタフェース
Claims (14)
- 対象人物の視界領域を含む撮影画像を取得する取得手段と、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知する検知手段と、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行うマスク手段と、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する出力手段と、
を備える表示装置。 - 前記マスク手段は、
前記周辺環境情報と前記対象人物の嗜好情報とに基づき、当該対象人物の興味が低い物体を含む画像を前記マスク画像として決定し、
前記第1の不適切物体の領域を前記決定したマスク画像に置換することにより前記マスク処理を行う
請求項1に記載の表示装置。 - 前記検知手段は、
前記撮影画像の撮影時より前の前記対象人物の発話を含む音声情報を用いて、前記第1の不適切物体を検知する
請求項1又は2に記載の表示装置。 - 前記検知手段は、
前記対象人物と当該対象人物を保護する人物との関係性に基づいて、前記第1の不適切物体を検知する
請求項1又は2に記載の表示装置。 - 前記対象人物における不適切物体を検知するための検知ルール情報を管理する管理手段をさらに備え、
前記管理手段は、前記対象人物における所定の情報システムの利用を制限する利用制限情報と、前記検知ルール情報との少なくとも一方から他方へ情報を反映する
請求項1又は2に記載の表示装置。 - 前記検知手段は、前記撮影画像の中、かつ、前記視界領域の外である周辺領域から、前記対象人物における第2の不適切物体を検知し、
前記マスク手段は、
前記第2の不適切物体の領域に対して、当該第2の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行ったマスク処理済画像を生成し、
前記生成した後に、前記取得手段により取得された第2の撮影画像に含まれる前記視界領域に、前記第2の不適切物体の少なくとも一部が含まれる場合、前記マスク処理済画像をさらに用いて第2の表示画像を生成し、
前記出力手段は、前記第2の表示画像を前記視界画面に出力する
請求項1又は2に記載の表示装置。 - 前記対象人物が前記第1の不適切物体を手に取ったことが検出された場合、前記対象人物を保護する人物に向けて、その旨を通知する第1の通知手段をさらに備える
請求項1又は2に記載の表示装置。 - 前記マスク処理の履歴情報を、前記対象人物を保護する人物に向けて、通知する第2の通知手段をさらに備える
請求項1又は2に記載の表示装置。 - 前記マスク手段は、
前記周辺環境情報と、前記撮影画像の撮影時より前の前記対象人物の発話を含む音声情報とに基づいて、前記マスク画像を決定し、
前記決定したマスク画像を用いて前記マスク処理を行う
請求項1又は2に記載の表示装置。 - 前記マスク手段は、
前記周辺環境情報と、前記対象人物と当該対象人物を保護する人物との関係性とに基づいて、前記マスク画像を決定し、
前記決定したマスク画像を用いて前記マスク処理を行う
請求項1又は2に記載の表示装置。 - 対象人物に対する視界画面を含む表示端末と、
前記表示端末とネットワークを介して接続された画像処理装置と、を備え、
前記表示端末は、
前記対象人物の視界領域を含む撮影画像を取得し、
前記撮影画像を前記画像処理装置へ送信し、
前記画像処理装置は、
前記表示端末から受信した前記撮影画像のうち前記視界領域の中から、前記対象人物における第1の不適切物体を検知し、
前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行い、
前記マスク処理後の前記視界領域に対応する表示画像を、前記表示端末へ送信し、
前記表示端末は、
前記画像処理装置から受信した前記表示画像を、前記視界画面に出力する
表示システム。 - コンピュータが、
対象人物の視界領域を含む撮影画像を取得し、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知し、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行い、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する、
表示方法。 - 対象人物の視界領域を含む撮影画像を取得する取得処理と、
前記視界領域の中から、前記対象人物における第1の不適切物体を検知する検知処理と、
前記撮影画像のうち前記第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行うマスク処理と、
前記マスク処理後の前記視界領域に対応する表示画像を、前記対象人物の視界画面に出力する出力処理と、
をコンピュータに実行させる表示プログラム。 - 対象人物の視界領域を含む撮影画像を取得する取得手段と、
前記撮影画像内の前記視界領域から検知された前記対象人物における第1の不適切物体の領域に対して、当該第1の不適切物体の周辺環境情報に基づくマスク画像を用いたマスク処理を行った表示画像を、前記対象人物の視界画面に出力する出力手段と、
を備える表示装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024-037798 | 2024-03-12 | ||
| JP2024037798 | 2024-03-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025192582A1 true WO2025192582A1 (ja) | 2025-09-18 |
Family
ID=97063970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2025/009056 Pending WO2025192582A1 (ja) | 2024-03-12 | 2025-03-11 | 表示装置、表示システム、表示方法及び表示プログラム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2025192582A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014212473A (ja) * | 2013-04-19 | 2014-11-13 | 株式会社ニコン | 通信装置、及び頭部装着表示装置 |
| US20200184608A1 (en) * | 2018-12-10 | 2020-06-11 | Apple Inc. | Per-pixel filter |
| WO2023188034A1 (ja) * | 2022-03-29 | 2023-10-05 | 日本電気株式会社 | 情報処理装置、表示制御方法、および表示制御プログラム |
-
2025
- 2025-03-11 WO PCT/JP2025/009056 patent/WO2025192582A1/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014212473A (ja) * | 2013-04-19 | 2014-11-13 | 株式会社ニコン | 通信装置、及び頭部装着表示装置 |
| US20200184608A1 (en) * | 2018-12-10 | 2020-06-11 | Apple Inc. | Per-pixel filter |
| WO2023188034A1 (ja) * | 2022-03-29 | 2023-10-05 | 日本電気株式会社 | 情報処理装置、表示制御方法、および表示制御プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12416805B2 (en) | Measurement method and system | |
| US8879155B1 (en) | Measurement method and system | |
| US10367985B2 (en) | Wearable apparatus and method for processing images including product descriptors | |
| US12536760B2 (en) | Systems and methods for creating a custom secondary content for a primary content based on interactive data | |
| US20200004291A1 (en) | Wearable apparatus and methods for processing audio signals | |
| US12432425B2 (en) | Related content suggestions for augmented reality | |
| US20170064260A1 (en) | Systems and methods for providing recommendations based on tracked activities | |
| KR20210047373A (ko) | 이미지를 분석하기 위한 웨어러블기기 및 방법 | |
| JP2016506549A (ja) | 拡張現実感を伴う存在の粒度に関連する方法 | |
| US10453355B2 (en) | Method and apparatus for determining the attentional focus of individuals within a group | |
| US20240312248A1 (en) | Apparatus and methods for augmenting vision with region-of-interest based processing | |
| JP2015133033A (ja) | レコメンド装置、レコメンド方法、およびプログラム | |
| US12614357B2 (en) | Apparatus and methods for augmenting vision with region-of-interest based processing | |
| US20240312150A1 (en) | Apparatus and methods for augmenting vision with region-of-interest based processing | |
| JP7584952B2 (ja) | 情報提示システム、その制御方法、および、プログラム | |
| US20140095109A1 (en) | Method and apparatus for determining the emotional response of individuals within a group | |
| JP7116200B2 (ja) | Arプラットフォームシステム、方法およびプログラム | |
| EP3792914A2 (en) | Wearable apparatus and methods for processing audio signals | |
| US12155894B2 (en) | Donation device, donation method, and donation program | |
| US12361451B2 (en) | Visual adwords in augmented reality based on quality and rarity of ambience specification | |
| US10956740B1 (en) | Animated augmented and virtual reality and other functions in response to triggers | |
| JP7574929B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| US11983754B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
| JP7861418B2 (ja) | 香り決定システム、香り決定装置、香り決定方法及びプログラム | |
| JP2026046831A (ja) | 情報処理システム、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25769389 Country of ref document: EP Kind code of ref document: A1 |