WO2021111753A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2021111753A1
WO2021111753A1 PCT/JP2020/039511 JP2020039511W WO2021111753A1 WO 2021111753 A1 WO2021111753 A1 WO 2021111753A1 JP 2020039511 W JP2020039511 W JP 2020039511W WO 2021111753 A1 WO2021111753 A1 WO 2021111753A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
person
character
information processing
unit
Prior art date
Application number
PCT/JP2020/039511
Other languages
English (en)
French (fr)
Inventor
高梨　伸
真朗 江里口
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021111753A1 publication Critical patent/WO2021111753A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to an information processing device, an information processing method, and a program. More specifically, the present invention relates to an information processing device that executes analysis of captured images by a camera installed outside the vehicle, generation processing of display images and transmitted images based on camera captured images, an information processing method, and a program.
  • a service is used in which a video taken using a smartphone (smartphone) is uploaded to a server and this video can be viewed by many users.
  • a large number of people are reflected in an image taken at a tourist spot or the like, and if such an image can be viewed by an unspecified number of users, problems such as privacy invasion occur.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2013-092856
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2013-092856
  • an image to be concealed such as a human face or an advertisement
  • the subject cannot be identified by performing mosaic processing, blurring processing, filling processing, etc. on these image areas.
  • the configuration to be used is disclosed.
  • An object of the present invention is to provide an information processing device for generating, displaying, or distributing an image, an information processing method, and a program.
  • the first aspect of the disclosure is A person detection unit that detects a person in the image by inputting an image taken by the camera, A person attribute determination unit that determines the attributes of a person detected by the person detection unit, and A replacement character determination unit that determines a replacement character according to the determination result of the person attribute determination unit, and a replacement character determination unit.
  • the information processing apparatus has an AR image generation unit that generates an AR (Augmented Reality) image in which at least a part of a person image area in the image is replaced with a character determined by the replacement character determination unit.
  • the second aspect of the present disclosure is It is an information processing method executed in an information processing device.
  • a person detection step in which the person detection unit inputs a camera-captured image and detects a person in the image
  • a person attribute determination step in which the person attribute determination unit determines the attributes of the person detected by the person detection unit
  • a replacement character determination step in which the replacement character determination unit determines the replacement character according to the determination result of the person attribute determination unit
  • the third aspect of the present disclosure is It is a program that causes an information processing device to execute information processing.
  • a person detection step in which a camera-captured image is input to the person detection unit to detect a person in the image
  • a person attribute determination step for causing the person attribute determination unit to determine the attributes of the person detected by the person detection unit
  • a replacement character determination step for causing the replacement character determination unit to determine the replacement character according to the determination result of the person attribute determination unit.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • image display and image transmission without invasion of privacy can be realized by replacing a person included in a camera-captured image with a character image and displaying or transmitting the image.
  • a person is detected from an image taken by a camera that photographs the outside of the vehicle, the attributes of the detected person, for example, gender, age, and hairstyle are determined, and a replacement character is assigned according to the determined person attribute. decide.
  • an AR image in which at least a part of a person image area in the image, for example, a face area is replaced with a determined character is generated, and the generated AR image is displayed on a display unit or transmitted to an external device.
  • FIG. 1 is a diagram showing an example of the appearance of the vehicle 10 which is the mobile device of the present disclosure.
  • the vehicle 10 is, for example, an autonomous driving vehicle, and does not need to be provided with a window. Therefore, the display unit can be provided both inside and outside the vehicle in the area corresponding to the window of the conventional vehicle.
  • FIG. 1 shows the appearance of the vehicle, and shows an example in which display units 11 are provided on the front surface and the side surface of the vehicle.
  • FIG. 2 is a diagram showing an example of the internal configuration of the vehicle 10 equipped with the information processing device of the present disclosure.
  • a front display unit 21 is provided on the front portion inside the vehicle 10, a left side display unit 22 is provided on the left side surface, and a right side surface display unit 23 is provided on the right side surface.
  • a rear display unit can also be installed at the rear portion of the vehicle 10.
  • the front display unit 21 displays an image taken by an external camera that takes a picture of the front of the vehicle 10.
  • An image taken by an external camera that takes a picture of the left side of the vehicle 10 is displayed on the left side display unit 22.
  • the right side display unit 23 displays an image taken by an external camera that takes a picture of the right side of the vehicle 10.
  • Images of external scenery taken by an external camera and the like are displayed on these display units 21 to 23. Further, the image of the external scenery taken by the external camera can be transmitted to an external device such as an external server or a user terminal such as a smartphone.
  • the information processing device mounted on the vehicle 10 controls, for example, the display and transmission of images captured by a camera.
  • the information processing apparatus of the present disclosure discriminates a person area included in a camera-captured image, replaces this person area with a character image, and makes it impossible to discriminate a person's face in augmented reality (AR).
  • AR Augmented Reality
  • the information processing device of the present disclosure may be mounted inside the vehicle 10, but may be configured as an external device capable of communicating with the vehicle 10.
  • Example 1 Specific example of processing executed by the information processing apparatus of the present disclosure
  • Example 1 Specific example of processing executed by the information processing apparatus of the present disclosure
  • FIG. 3 is an example of an image taken by the camera 12 of the vehicle 10 described with reference to FIG. 1, for example, an example of an image displayed on a display unit in the vehicle shown in FIG.
  • the image shown in FIG. 3 is a display image before processing by the information processing apparatus of the present disclosure, and is an example in which the image captured by the camera itself is displayed on the display unit.
  • the vehicle 10 is an autonomous driving vehicle traveling in, for example, a theme park.
  • the image taken by the camera 12 of the vehicle 10 shows a person who came to the theme park.
  • the image shown in FIG. 3 is an image in which two people, a person A, 51 and a person B, 52, are reflected.
  • the information processing apparatus of the present disclosure analyzes whether or not a person is included in the image captured by the camera, and if the image contains a person, AR (AR) in which at least the face area of the person is replaced with a character image.
  • AR Augmented Reality
  • Augmented Reality Generate an image.
  • the information processing device of the present disclosure replaces at least the face area of a person in a camera-captured image with a character image, generates an AR image in which the person's face cannot be discriminated, and outputs it to a display unit or transmits it to the outside. ..
  • FIG. 4 An example of an AR image generated by the information processing apparatus of the present disclosure is shown in FIG.
  • the AR image shown in FIG. 4 is an example of an AR image generated based on the camera captured image shown in FIG.
  • the information processing apparatus of the present disclosure replaces at least the face area of the person 51, 52 of the camera-captured image with the character images 71, 72 to generate an AR image in which the human face cannot be discriminated. Then, it is output to the display unit or transmitted to the outside. That is, as shown in FIG. 4, an AR image in which the face image areas of the person A, 51 and the person B, 52, which are real object images, are replaced with the character images A, 71 and the character images B, 72, which are virtual object images. Is generated and displayed on the display or sent to the outside.
  • the information processing apparatus of the present disclosure analyzes the attributes of each person included in the camera-captured image when executing the process of replacing the image of the person with the character image. For example, a person's attributes such as gender, age, and hairstyle are analyzed. The information processing apparatus of the present disclosure selects a character image to be replaced with each person based on the result of this person attribute analysis.
  • the information processing apparatus of the present disclosure holds a database (character database corresponding to person attributes) in which person attribute information is associated with character images associated with each attribute, and each attribute of a person is used by using this database.
  • the optimum character is selected according to the above, and the actual image of each person in the image is replaced with the character image.
  • FIG. 5 is a diagram showing a data configuration example of the “character database corresponding to personal attributes” used by the information processing apparatus of the present disclosure.
  • the character database corresponding to the person attribute is a database in which the following data are associated with each other.
  • the personal attribute information includes the following personal attribute information.
  • A1 Gender (a2) Estimated age (a3) Hairstyle are information acquired by the information processing apparatus by analyzing a person image included in a camera-captured image.
  • an identifier of a character image to be displayed in place of the person for example, a character image having characteristics similar to the person attribute is recorded according to each person attribute information.
  • the database for example, when the person to be replaced is a girl with long hair, the character image of the girl with long hair and the character image reflecting the characteristics (attributes) of the person to be replaced, such as a rabbit and a cat, are stored in the database.
  • the identifier is recorded.
  • the information processing device selects a character image based on the character identifier and displays the selected character image in a person image area, for example, a face area of a camera-captured image.
  • the "character image database” shown in FIG. 6 is (P) Character identifier (Q) Character image It is composed of the corresponding data of these data.
  • the character identifier corresponds to the identifier recorded in (B) character information of the “person attribute corresponding character database” shown in FIG. (Q)
  • the character image is image data of the character.
  • the information processing apparatus of the present disclosure analyzes the person attributes of the person A51 and the person B52 shown in FIG. 3 described above.
  • the following analysis results are obtained as the analysis results.
  • the following analysis results are obtained for each of the attribute items of (A) personal attribute information of the "character database corresponding to personal attributes" shown in FIG.
  • the information processing apparatus of the present disclosure selects an identifier recorded in (B) character information of the "character database corresponding to personal attributes" shown in FIG. 5 based on these analysis results.
  • one identifier may be randomly selected from A1 to A10.
  • different identifiers for the number of people are randomly selected from A1 to A10.
  • the information processing device selects a character image registered corresponding to the identifier A1 from the "character image database" shown in FIG. 6, and selects the character image in the face image area of the persons A and 51 as shown in FIG. Is displayed.
  • the information processing apparatus of the present disclosure selects any of the identifiers F1 to F10 recorded in (B) character information of the "character database corresponding to personal attributes" shown in FIG.
  • one identifier When one person with the same attribute is detected in the image captured by the camera, one identifier may be randomly selected from F1 to F10. When a plurality of people with the same attribute are detected in the image captured by the camera, different identifiers for the number of people are randomly selected from F1 to F10. In the example shown in FIG. 3, since there is no other person having the same attribute as the person B52 in the image captured by the camera, one identifier is selected from F1 to F10. Here, it is assumed that the identifier F1 is selected.
  • the information processing device selects a character image registered corresponding to the identifier F1 from the "character image database" shown in FIG. 6, and selects the character image in the face image area of the persons B and 52 as shown in FIG. Is displayed.
  • the information processing apparatus of the present disclosure generates an AR image in which a person in a captured image is replaced with a character image so that the person cannot be identified in this way.
  • the information processing device of the present disclosure displays the generated AR image on the display unit of the vehicle 10. Further, the generated AR image is transmitted to an external device such as an external server or a user terminal.
  • the image displayed on the display unit and the image transmitted to the external device are images in which the face area of the person is replaced with the character image so that the person cannot be identified as shown in FIG. As a result, it becomes impossible to identify a person from the displayed image or the transmitted image, and the problem of privacy invasion does not occur.
  • the character identifier recorded in (B) character information of the "character database corresponding to personal attributes" shown in FIG. 5 is described as an identifier of a character image registered in association with the personal attributes (gender, estimated age, hairstyle). However, the configuration may be further such that the following character image identifiers are registered.
  • an identifier of a character image corresponding to the atmosphere of the place where the image is taken by the camera that is, the atmosphere of the place where the vehicle travels is registered.
  • the identifier of the character image used in the theme park is registered.
  • the traveling place of the vehicle is a zoo
  • the database configuration is such that the identifiers of the character images of the animals are registered.
  • FIG. 7 is a flowchart illustrating a processing sequence in which the information processing apparatus of the present disclosure generates and displays an AR image based on a camera-photographed image on a vehicle display unit.
  • a processing sequence for generating an AR image based on a camera-captured image and transmitting it to an external device will be described later with reference to FIG.
  • the process according to the flowchart shown in FIG. 7 and below is executed in the data processing unit of the information processing apparatus.
  • the data processing unit includes a CPU having a program execution function, and can execute processing according to a flow according to a program stored in the storage unit. The processing of each step of the flow shown in FIG. 7 will be described.
  • Step S101 the data processing unit of the information processing device starts a process of photographing the peripheral area of the vehicle with a camera.
  • image shooting is started using a camera 12 mounted on the outside of the vehicle 10 shown in FIG.
  • the vehicle may be in any state, running or stopped.
  • step S102 the data processing unit of the information processing apparatus determines whether or not a person is included in the image captured in step S101. If no person is detected in the captured image, the process proceeds to step S103. On the other hand, if a person is detected in the captured image, the process proceeds to step S104.
  • Step S103 If it is determined in step S102 that no person is detected in the captured image, the process proceeds to step S103. In this case, in step S103, the data processing unit of the information processing device displays the camera-photographed image acquired in step S101 as it is on the display unit of the vehicle.
  • this display image does not include a person, problems such as privacy invasion do not occur.
  • Step S104 On the other hand, if it is determined in step S102 that a person is detected in the captured image, the process proceeds to step S104.
  • the data processing unit of the information processing apparatus analyzes the detected attributes of the person (gender, age, hairstyle, etc.) in step S104.
  • step S104 is executed for each person detected from the captured image.
  • step S105 the data processing unit of the information processing apparatus selects a character to be displayed in place of the person based on the analysis result of the attributes (gender, age, hairstyle, etc.) of the person in step S104.
  • This process is executed using the "character database corresponding to personal attributes" described above with reference to FIG. That is, based on the analysis result of the person's attributes (gender, age, hairstyle, etc.) in step S104, "(A) person attribute information" in which the entry matching or closest to the person's attribute obtained as the analysis result is registered in the database. Select from, and select (B) character information (identifier) recorded in association with the selection entry.
  • the data processing unit of the information processing apparatus acquires a character image corresponding to the selection identifier from the character image database described above with reference to FIG. 6 based on the selected identifier.
  • step S105 is also executed for each person detected from the captured image, as in the process of step S104.
  • step S106 the data processing unit of the information processing apparatus generates an AR image in which the person image area (the area including at least the face image area) is replaced with the character image selected in step S105 and outputs the AR image to the display unit. To do.
  • an AR image as described above with reference to FIG. 4 is generated and output to the display unit.
  • the process described with reference to the flowchart shown in FIG. 7 is a flowchart illustrating a sequence of processes in which the information processing apparatus of the present disclosure generates and displays an AR image based on a camera-photographed image on a vehicle display unit. Next, a process of generating an AR image based on the image captured by the camera and transmitting the AR image to the external device will be described.
  • the AR image generated based on the image captured by the camera is not only displayed on the display unit of the vehicle but also transmitted to an external device such as an image distribution server or a user terminal such as a smartphone.
  • the communication unit of the information processing device mounted on the vehicle 10 has a configuration capable of communicating with an external device such as a server 80 or a user terminal (smartphone or the like) 90 via a communication network.
  • the information processing device mounted on the vehicle 10 transmits the AR image generated based on the image captured by the camera to an external device such as a server 80 or a user terminal (smartphone or the like) 90 via a communication network.
  • an external device such as a server 80 or a user terminal (smartphone or the like) 90 via a communication network.
  • Step S121 the data processing unit of the information processing apparatus starts a process of photographing the peripheral area of the vehicle with a camera.
  • image shooting is started using a camera 12 mounted on the outside of the vehicle 10 shown in FIG.
  • the vehicle may be in any state, running or stopped.
  • step S122 the data processing unit of the information processing apparatus determines whether or not a person is included in the image captured in step S121. If no person is detected in the captured image, the process proceeds to step S123. On the other hand, if a person is detected in the captured image, the process proceeds to step S124.
  • Step S123 If it is determined in step S122 that no person is detected in the captured image, the process proceeds to step S123. In this case, in step S123, the data processing unit of the information processing device transmits the camera-captured image acquired in step S121 as it is to the external device.
  • an AR image as described above with reference to FIG. 4 is generated and transmitted to an external device, for example, a server 80 or a user terminal (smartphone or the like) 90 described with reference to FIG.
  • This transmitted image does not include a person, and problems such as privacy invasion do not occur.
  • Step S124 On the other hand, if it is determined in step S122 that a person is detected in the captured image, the process proceeds to step S124.
  • the data processing unit of the information processing apparatus analyzes the detected attributes of the person (gender, age, hairstyle, etc.) in step S124.
  • step S124 is executed for each person detected from the captured image.
  • step S125 the data processing unit of the information processing apparatus selects a character to be displayed in place of the person based on the analysis result of the attributes (gender, age, hairstyle, etc.) of the person in step S124.
  • This process is executed using the "character database corresponding to personal attributes" described above with reference to FIG. That is, based on the analysis result of the person's attributes (gender, age, hairstyle, etc.) in step S124, "(A) person attribute information" in which the entry matching or closest to the person's attribute obtained as the analysis result is registered in the database. Select from, and select (B) character information (identifier) recorded in association with the selection entry.
  • the data processing unit of the information processing apparatus acquires a character image corresponding to the selection identifier from the character image database described above with reference to FIG. 6 based on the selected identifier.
  • step S125 is also executed for each person detected from the captured image, as in the process of step S124.
  • step S126 the data processing unit of the information processing device generates an AR image in which the person image area (the area including at least the face image area) is replaced with the character selected in step S125 and transmits it to the external device. ..
  • an AR image as described above with reference to FIG. 4 is generated and transmitted to an external device, for example, a server 80 or a user terminal (smartphone or the like) 90 described with reference to FIG.
  • an external device for example, a server 80 or a user terminal (smartphone or the like) 90 described with reference to FIG.
  • this transmitted image at least the face area of the person is replaced with the character image, it is difficult to identify the person, and problems such as privacy invasion do not occur.
  • FIG. 10 is a diagram illustrating a configuration example of the information processing apparatus 100 of the present disclosure.
  • the information processing device 100 includes a camera 101, a person detection unit 102, a person attribute determination unit 103, a replacement character determination unit 104, an AR image generation unit 105, a display unit 106, a communication unit 107, and a storage unit.
  • Has 110 the information processing device 100 includes a camera 101, a person detection unit 102, a person attribute determination unit 103, a replacement character determination unit 104, an AR image generation unit 105, a display unit 106, a communication unit 107, and a storage unit.
  • Has 110 is a diagram illustrating a configuration example of the information processing apparatus 100 of the present disclosure.
  • the information processing device 100 includes a camera 101, a person detection unit 102, a person attribute determination unit 103, a replacement character determination unit 104, an AR image generation unit 105, a display unit 106, a communication unit 107, and a storage unit.
  • the camera 101 is a camera that captures the outside of the vehicle 10, that is, the scenery.
  • the externally captured image 121 captured by the camera 101 is output to the person detection unit 102 and the AR image generation unit 105.
  • the person detection unit 102 executes a person detection process from the externally captured image 121 captured by the camera 101.
  • the person detection process from the externally captured image 121 executed by the person detection unit 102 is executed, for example, as a face area detection process or an entire person detection process.
  • the detection process of only the face area may be executed.
  • the process of replacing the entire person with a character image is performed, the image area of the entire person is detected.
  • conventionally known existing methods such as analysis processing of feature information of an image and processing using a pattern image can be applied.
  • the detection information of the person detection unit 102 that is, the person image area information and the face image area information detected from the camera-captured image is input to the person attribute determination unit 103.
  • the person attribute determination unit 103 analyzes the attributes (gender, age, hairstyle, etc.) of the person detected from the camera-captured image and the person detected based on the face image. It should be noted that this process is executed for each person detected from the captured image.
  • the person attribute information 122 generated by the person attribute determination unit 103 is output to the replacement character determination unit 104.
  • the replacement character determination unit 104 selects a character to be replaced with the person based on the person attribute information 122 input from the person attribute determination unit 103. That is, a character to be replaced with the person is selected based on the attributes (gender, age, hairstyle, etc.) of the person in the image captured by the camera.
  • the character database 111 corresponding to the person attribute is the "character database corresponding to the person attribute" described above with reference to FIG. 5, and is a database in which the following data are associated with each other.
  • the replacement character determination unit 104 registers an entry that matches or is closest to this person attribute in the person attribute compatible character database 111 based on the person attribute information 122 (gender, age, hairstyle, etc.) input from the person attribute determination unit 103. Select from "(A) Person attribute information", and select (B) Character information (identifier) recorded in association with the selected entry.
  • the replacement character determination unit 104 acquires a character image corresponding to the selection identifier from the character image database 112 stored in the storage unit 110 based on the selected identifier.
  • the character image database 112 stored in the storage unit 110 is a character image database described above with reference to FIG. 6, and is a database in which a character identifier and character image data are stored correspondingly.
  • the replacement character determination unit 104 outputs the character image acquired from the character image database 112 based on the selected identifier to the AR image generation unit 105.
  • the AR image generation unit 105 generates an AR image in which the replacement character determination unit 104 replaces the character image acquired from the character image database 112 with a person image area (at least an area including a face image area). That is, an AR image as described above with reference to FIG. 4 is generated.
  • the AR image 123 generated by the AR image generation unit 105 is output to the vehicle display unit 106. Further, the AR image 123 generated by the AR image generation unit 105 is transmitted to an external device, for example, the server 80 or the user terminal (smartphone or the like) 90 described with reference to FIG. 8 via the communication unit 107.
  • an external device for example, the server 80 or the user terminal (smartphone or the like) 90 described with reference to FIG. 8 via the communication unit 107.
  • the vehicle 10 shown in FIG. 11 is the vehicle 10 described above with reference to FIGS. 1 and 2, and is, for example, a vehicle that automatically drives in a theme park.
  • An information processing device 200 is mounted in the vehicle 10. The information processing device 200 performs a process of generating an AR image based on a camera-captured image and outputting it to a display unit or a process of transmitting it to an external device according to the configuration of FIG. 10 described above.
  • the camera mounted on the outside of the vehicle 10 photographs the user 170 walking in the theme park, and the information processing device 200 generates an AR image in which the face area of the user 170 is replaced with a character image.
  • the information processing device 200 of this embodiment transmits the vehicle position information 131 to the server 150 as shown in FIG. Further, the user terminal 180 such as a smartphone held by the user 170 also transmits the user terminal position information 132 to the server 150.
  • the server 150 analyzes the vehicle position information 131 and the user terminal position information 132, and determines whether or not the user 170 is within the shooting target area of the vehicle 10.
  • the server 150 informs the information processing device 200 of the vehicle 10 of the access information of the user terminal 180 of the user 170 in the shooting target area. (User terminal access information 133) is notified.
  • the information processing device 200 of the vehicle 10 uses the user terminal access information 133 received from the server 150 to notify the user terminal 180 of the character image information (character information 135) applied to the user 170.
  • the user 170 holding the user terminal 180 receives the character information 135 from the information processing device 200 of the vehicle 10, the user 170, for example, sends the character information 136 to an external terminal 191 such as a family smartphone who is away from home 190. From now on, we will notify you that we can see the image (AR image) that our figure has transformed into a character.
  • an external terminal 191 such as a family smartphone who is away from home 190. From now on, we will notify you that we can see the image (AR image) that our figure has transformed into a character.
  • the family at home 190 uses the external terminal 191 to access the server 150 to view and download the AR image generated by the information processing device 200 of the vehicle 10 and uploaded to the server 150, that is, the character replacement AR image 137. It becomes possible.
  • the character replacement AR image 137 may be directly distributed from the information processing device 200 of the vehicle 10 to the external terminal 191.
  • the information processing device 200 of the vehicle 10 distributes the AR image to the external terminal 191 by using the external terminal access information registered in the server 150.
  • FIG. 12 shows a configuration example of the information processing device 200, the server 150, and the user terminal 180 of the vehicle 10 that executes the process shown in FIG.
  • the information processing device 200 includes a control unit (data processing unit) 201, a sensor (camera, microphone, etc.) 202, a communication unit 203, an input / output unit (display unit, etc.) 204, and a position information acquisition unit 205. , Has a storage unit 206.
  • the server 150 includes a control unit (data processing unit) 151, a storage unit 152, and a communication unit 153.
  • the user terminal 180 includes a control unit (data processing unit) 181, an input unit 182, an output unit 183, a storage unit 184, a communication unit 185, and a position information acquisition unit 186.
  • the configuration of the information processing device 200 will be described.
  • the control unit (data processing unit) 201 performs an AR image generation process based on the camera-captured image in the same manner as described above with reference to FIG. Further, the integrated control of the processing executed by the information processing apparatus 200, such as the communication control with the server 150 and the user terminal 180, is executed.
  • the sensor (camera, microphone, etc.) 202 is composed of various sensors such as a camera 12 mounted on the outside of the vehicle 10 shown in FIG. 1, a microphone, a camera provided in the vehicle, and a microphone.
  • the communication unit 203 executes communication with the server 150 and the user terminal 180.
  • the input / output unit (display unit, etc.) 204 is composed of, for example, an in-vehicle display unit described with reference to FIG. 2, an external display unit shown in FIG. 1, a speaker, and the like.
  • the position information acquisition unit 205 analyzes the current position of the vehicle 10 based on, for example, a signal received from a GPS satellite.
  • the position information analyzed by the position information acquisition unit 205 is transmitted to the server 150 via the communication unit 203 under the control of the control unit (data processing unit) 201, for example.
  • the storage unit 206 stores a character database corresponding to a person attribute and a character image database. Further, a processing program to be executed by the information processing apparatus 200, various parameters, and the like are stored.
  • the server 150 includes a control unit (data processing unit) 151, a storage unit 152, and a communication unit 153.
  • the control unit (data processing unit) 151 controls the processing executed by the server 150. For example, based on the vehicle position information and the user terminal position information described above with reference to FIG. 11, the determination process of whether or not the position of the user terminal is within the shooting range of the camera of the vehicle 10 is performed. Further, it controls communication with the information processing device 200 of the vehicle 10, the user terminal 180, and the like, and also controls the processing executed by the server 150.
  • the storage unit 152 stores a processing program executed by the control unit (data processing unit) 151, various parameters, address information of the communication partner, and the like.
  • the communication unit 153 is used for communication with the information processing device 200 of the vehicle 10, the user terminal 180, and the like.
  • the user terminal 180 includes a control unit (data processing unit) 181, an input unit 182, an output unit 183, a storage unit 184, a communication unit 185, and a position information acquisition unit 186.
  • the control unit (data processing unit) 181 controls the processing to be executed in the user terminal 180.
  • the input unit 182 is used for input processing of various information by the user.
  • the output unit 183 is composed of a display unit, a speaker, and the like.
  • On the display unit for example, character information transmitted from the information processing device 200 of the vehicle 10 described above with reference to FIG. 11 can be displayed.
  • the user 170 shown in FIG. 11 can know what kind of character they (user 170) are transformed into in the AR image generated by the information processing device 200 of the vehicle 10.
  • the storage unit 184 records a processing program to be executed by the user terminal 180, various parameters, access information of various communication destinations, and the like.
  • the communication unit 185 is used for communication with various external devices such as an information processing device 200 for car use 10, a server 150, and an external device (smartphone) at home.
  • the position information acquisition unit 186 performs position analysis based on, for example, received information from GPS satellites.
  • the position information acquired by the position information acquisition unit 186 is transmitted to the server 150 as described above with reference to FIG.
  • the processing sequence of the second embodiment will be described with reference to the flowchart shown in FIG.
  • the flow shown in FIG. 13 is a sequence of processes executed by the information processing device 200 mounted on the vehicle 10.
  • the information processing device 200 mounted on the vehicle 10 transmits the position information of the vehicle 10 to the server 150 at any time, and further, the camera of the vehicle 10 is transmitted from the server 150. It is assumed that the access information of the user terminal owned by the user in the photographable area of is being received at any time.
  • the processing of each step of the flow shown in FIG. 13 will be described.
  • Step S201 the data processing unit of the information processing device starts the process of photographing the peripheral area of the vehicle with the camera. For example, image shooting is started using a camera 12 mounted on the outside of the vehicle 10 shown in FIG.
  • the vehicle may be in any state, running or stopped.
  • step S202 the data processing unit of the information processing apparatus determines whether or not a person is included in the image captured in step S201. If no person is detected in the captured image, the process proceeds to step S203. On the other hand, if a person is detected in the captured image, the process proceeds to step S204.
  • Step S203 If it is determined in step S202 that no person is detected in the captured image, the process proceeds to step S203. In this case, in step S203, the data processing unit of the information processing device transmits the camera-captured image acquired in step S201 as it is to the external device.
  • an AR image as described above with reference to FIG. 4 is generated and transmitted to an external device, for example, a server 150 or an external terminal 191 described with reference to FIG.
  • This transmitted image does not include a person, and problems such as privacy invasion do not occur.
  • Step S204 On the other hand, if it is determined in step S202 that a person is detected in the captured image, the process proceeds to step S204.
  • the data processing unit of the information processing apparatus analyzes the detected attributes of the person (gender, age, hairstyle, etc.) in step S204.
  • step S204 is executed for each person detected from the captured image.
  • Step S205 the data processing unit of the information processing apparatus selects a character to be replaced with the person based on the analysis result of the attributes (gender, age, hairstyle, etc.) of the person in step S204.
  • This process is executed using the "character database corresponding to personal attributes" described above with reference to FIG. That is, based on the analysis result of the person's attributes (gender, age, hairstyle, etc.) in step S204, "(A) person attribute information" in which the entry matching or closest to the person's attribute obtained as the analysis result is registered in the database. Select from, and select (B) character information (identifier) recorded in association with the selection entry.
  • the data processing unit of the information processing apparatus acquires a character image corresponding to the selection identifier from the character image database described above with reference to FIG. 6 based on the selected identifier.
  • step S205 is also executed for each person detected from the captured image, as in the process of step S204.
  • step S206 the data processing unit of the information processing apparatus receives from the server the access information of the user terminal of the user to be replaced with the character image, and determines whether or not the access information is retained.
  • step S207 If the access information of the user terminal of the character image replacement target user is received from the server and is retained, the process proceeds to step S207. On the other hand, if the access information of the user terminal of the character image replacement target user has not been received from the server, the process proceeds to step S208.
  • Step S207 If it is determined in step S206 that the access information of the user terminal of the character image replacement target user is received from the server and held, the process proceeds to step S207. In this case, in step S207, the data processing unit of the information processing apparatus transmits the information of the character to be replaced to the user terminal of the character image replacement target user. This process corresponds to the transmission process of the character information 135 shown in FIG.
  • the user who holds the user terminal that has received the character information can notify the family member who is answering at home and teach the character to be transformed, for example, as explained with reference to FIG.
  • Step S208 After the character information notification process in step S207 is completed, or in step S206, if it is determined that the access information of the user terminal of the character image replacement target user has not been received from the server, the process proceeds to step S208.
  • step S208 the data processing unit of the information processing device generates an AR image in which the character selected in step S205 is replaced with a person image area (at least an area including a face image area) and transmits the AR image to the external device.
  • an AR image as described above with reference to FIG. 4 is generated and transmitted to an external device, for example, a server 150 or an external terminal 191 described with reference to FIG.
  • an external device for example, a server 150 or an external terminal 191 described with reference to FIG.
  • this transmitted image at least the face area of the person is replaced with the character image, it is difficult to identify the person, and problems such as privacy invasion do not occur.
  • step S301 the server receives the vehicle position information from the information processing device 200 of the vehicle 10.
  • Step S302 the server receives the user terminal position information from the user terminal 180.
  • step S303 the server compares the vehicle position information received from the information processing device 200 of the vehicle 10 with the user terminal position information received from the user terminal 180, and the user terminal position is the shooting area of the camera of the vehicle 10. Executes the determination process of whether or not it is inside.
  • Step S304 is a branch step based on the determination process of step S303. If it is determined in step S304 that the position of the user terminal is within the shooting area of the camera of the vehicle 10, the process proceeds to step S305. On the other hand, if it is determined in step S304 that the position of the user terminal is not within the shooting area of the camera of the vehicle 10, the process is completed.
  • Step S305 If it is determined in step S304 that the position of the user terminal is within the shooting area of the camera of the vehicle 10, the process proceeds to step S305. In this case, in step S305, the server notifies the information processing device 200 of the vehicle 10 of the access information of the user terminal.
  • the access information of the user terminal is acquired when the position information is received from the user terminal in step S302.
  • the user may be configured to execute user registration on the server 150 in advance, and the access information of the user terminal may be transmitted to the server 150 during the registration process for registration.
  • the information processing device 200 of the vehicle 10 has been described as a configuration in which the character information is transmitted to the user terminal 180, but the character information is transmitted to the user terminal 180.
  • the process of transmitting may be configured to be executed by the server 150.
  • the sequence of processing executed by the server 150 in this case will be described with reference to the flowchart shown in FIG.
  • the processing of each step of the flow shown in FIG. 15 will be sequentially described.
  • Step S321 First, in step S321, the server receives the vehicle position information from the information processing device 200 of the vehicle 10.
  • Step S322 the server receives the user terminal position information from the user terminal 180.
  • step S323 the server compares the vehicle position information received from the information processing device 200 of the vehicle 10 with the user terminal position information received from the user terminal 180, and the user terminal position is the shooting area of the camera of the vehicle 10. Executes the determination process of whether or not it is inside.
  • Step S324 is a branch step based on the determination process of step S323. If it is determined in step S324 that the position of the user terminal is within the shooting area of the camera of the vehicle 10, the process proceeds to step S325. On the other hand, if it is determined in step S324 that the position of the user terminal is not within the shooting area of the camera of the vehicle 10, the process is completed.
  • Step S325 If it is determined in step S324 that the position of the user terminal is within the shooting area of the camera of the vehicle 10, the process proceeds to step S325. In this case, in step S325, the server receives the information of the character to be replaced by the user terminal holding user from the information processing device 200 of the vehicle 10.
  • step S326 the server transmits the character information received from the information processing device 200 of the vehicle 10 to the user terminal. That is, the information of the character to be replaced is notified to the user who holds the user terminal.
  • the user who holds the user terminal that has received the character information can notify the family member who is answering at home and teach the character to be transformed, for example, as explained with reference to FIG.
  • the character information transmission process may be performed by the server 150.
  • the information processing device may be configured in a mobile device such as a vehicle, or an external server or the like capable of communicating with the vehicle. It may be configured in the device of.
  • a part of the processing to be executed in each of the above-described embodiments may be executed by the information processing device in the vehicle, and a part may be executed by an external device.
  • FIG. 16 shows a configuration example of an information processing system when processing is performed according to each of the above-described embodiments.
  • the information processing system configuration example shown in FIG. 16 is a configuration example in which the information processing device 250 in the vehicle 10 and the external data processing server 260 execute the processing according to each of the above-described embodiments.
  • Part of the processing for example, camera shooting processing, is executed under the control of the information processing device 250 in the vehicle 10, the shot image is transmitted to the data processing server 260, and the data processing server 260 detects a person from the camera shot image. And AR image generation processing.
  • the data processing server 260 transmits the generated AR image to the information processing device 250 of the vehicle 10.
  • the information processing device 250 of the vehicle 10 displays the AR image received from the data processing server 260 on the display unit. Further, it is transmitted to an external device.
  • the data processing server 260 may also execute the AR image transmission process to the external device.
  • the processing executed by the information processing device 250 in the vehicle 10 and the processing executed by the data processing server 260 can be set in various different ways, and one processing is executed in parallel on both sides. Configuration is also possible.
  • FIG. 17 is an example of the hardware configuration of the information processing device in the vehicle, and is also an example of the hardware configuration of the server 150 and the user terminal 180 shown in FIG.
  • the CPU (Central Processing Unit) 301 functions as a data processing unit that executes various processes according to a program stored in the ROM (Read Only Memory) 302 or the storage unit 308. For example, the process described in the above-described embodiment is executed.
  • the RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301. These CPU 301, ROM 302, and RAM 303 are connected to each other by a bus 304.
  • the CPU 301 is connected to the input / output interface 305 via the bus 304, and the input / output interface 305 is input by various switches, a keyboard, a touch panel, a mouse, a microphone, and a status data acquisition unit such as a sensor, a camera, and GPS.
  • An output unit 307 including a unit 306, a display, a speaker, and the like is connected.
  • the input unit 306 includes a camera, a microphone, and various sensors.
  • the output unit 307 includes a display unit and an audio output unit (speaker) in the case of an information processing device provided in the vehicle 10.
  • the CPU 301 inputs commands, status data, and the like input from the input unit 306, executes various processes, and outputs the process results to, for example, the output unit 307.
  • the storage unit 308 connected to the input / output interface 305 is composed of, for example, a hard disk or the like, and stores a program executed by the CPU 301 and various data.
  • the communication unit 309 functions as a transmission / reception unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • the drive 310 connected to the input / output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and records or reads data.
  • a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • the technology disclosed in the present specification can have the following configuration.
  • a person detection unit that detects a person in the image by inputting an image taken by the camera, and A person attribute determination unit that determines the attributes of a person detected by the person detection unit, and A replacement character determination unit that determines a replacement character according to the determination result of the person attribute determination unit, and a replacement character determination unit.
  • An information processing device having an AR image generation unit that generates an AR (Augmented Reality) image in which at least a part of a person image area in the image is replaced with a character determined by the replacement character determination unit.
  • the camera that captures the image captured by the camera is a camera that captures the outside of the vehicle.
  • the AR image generation unit The information processing apparatus according to (1), which generates an AR image in which at least a part of a person image area in a photographed image outside the vehicle is replaced with a character determined by the replacement character determination unit.
  • the person detection unit is The information processing device according to (1) or (2), which detects a person's face area from a camera-captured image.
  • the person attribute determination unit is The information processing device according to any one of (1) to (3), which determines an attribute of a person including at least one information of a person's gender, age, and hairstyle.
  • the replacement character determination unit is The information processing apparatus according to any one of (1) to (4), wherein the replacement character is determined by referring to a character database corresponding to the person attribute that associates the person attribute information with the character information related to the replacement character.
  • the replacement character determination unit is An entry that matches or is similar to the person attribute, which is the determination result of the person attribute determination unit, is selected from the character database corresponding to the person attribute, and the replacement character is determined according to the character information recorded in association with the selected entry (5).
  • the replacement character determination unit is The character identifier is obtained by referring to the database that associates the person attribute information with the identifier of the character to be replaced with the person, and further.
  • the information processing apparatus according to any one of (1) to (6), which acquires a character image from a character image database in which the character identifier and the character image are associated with each other.
  • the replacement character determination unit is The information processing apparatus according to any one of (1) to (7), wherein a character image selected according to the atmosphere of a place where an image is taken by a camera is determined as the replacement character.
  • the AR image generation unit The information processing apparatus according to any one of (1) to (8), which generates an AR image in which a person's face area in the image is replaced with a character.
  • the information processing device is The information processing apparatus according to any one of (1) to (9), which has a display unit for displaying the AR image generated by the AR image generation unit.
  • the information processing device is The information processing apparatus according to any one of (1) to (11), which has a communication unit that transmits an AR image generated by the AR image generation unit to the outside.
  • the information processing device further Determines if there is a character replacement target user in the shooting area of the camera,
  • the information processing device according to any one of (1) to (12), which has a data processing unit that transmits a character image applied to the user to a user terminal held by the user when there is a user.
  • the 4th part of the data processing is The information processing device according to (13), which receives user presence / absence detection information from an external server as to whether or not there is a character replacement target user in the shooting area of the camera.
  • the data processing unit The information processing device according to (14), which receives user presence / absence detection information analyzed based on a comparison process between the position of the information processing device and the position of the user terminal by the external server from the external server.
  • a person detection step in which the person detection unit inputs a camera-captured image and detects a person in the image
  • a person attribute determination step in which the person attribute determination unit determines the attributes of the person detected by the person detection unit
  • a replacement character determination step in which the replacement character determination unit determines the replacement character according to the determination result of the person attribute determination unit
  • a program that causes an information processing device to execute information processing A person detection step in which a camera-captured image is input to the person detection unit to detect a person in the image, A person attribute determination step for causing the person attribute determination unit to determine the attributes of the person detected by the person detection unit, and A replacement character determination step for causing the replacement character determination unit to determine the replacement character according to the determination result of the person attribute determination unit.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • executing processing by software install the program that records the processing sequence in the memory in the computer built in the dedicated hardware and execute it, or execute the program on a general-purpose computer that can execute various processing. It can be installed and run.
  • the program can be pre-recorded on a recording medium.
  • LAN Local Area Network
  • the various processes described in the specification are not only executed in chronological order according to the description, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes.
  • the system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • image display and image transmission without privacy infringement can be realized by replacing a person included in a camera-captured image with a character image and displaying or transmitting the image.
  • a person is detected from an image taken by a camera that photographs the outside of the vehicle, the attributes of the detected person, for example, gender, age, and hairstyle are determined, and a replacement character is assigned according to the determined person attribute. decide.
  • an AR image in which at least a part of a person image area in the image, for example, a face area is replaced with a determined character is generated, and the generated AR image is displayed on a display unit or transmitted to an external device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

カメラ撮影画像に含まれる人物をキャラクタ画像に置き換えて表示または送信することでプライバシー侵害のない画像表示や画像送信を実現する。車両の外部を撮影するカメラによる撮影画像から人物を検出し、検出した人物の属性、例えば性別、年齢、髪型を判定し、判定した人物属性に応じて、置き換えキャラクタを決定する。さらに、画像内の人物画像領域の少なくとも一部、例えば顔領域を決定したキャラクタに置き換えたＡＲ画像を生成し、生成したＡＲ画像を表示部に表示、または外部装置に送信する。

Description

情報処理装置、および情報処理方法、並びにプログラム
　本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、車両外部に設置したカメラによる撮影画像の解析や、カメラ撮影画像に基づく表示画像や送信画像の生成処理等を実行する情報処理装置、および情報処理方法、並びにプログラムに関する。
　昨今、ネットワークを介した動画配信が盛んに行われている。例えばスマホ（スマートフォン）を利用して撮影した動画をサーバにアップロードし、この動画を多くのユーザが閲覧することを可能としたサービスが利用されている。
　しかし、例えば観光地等で撮影した画像には、多数の人が写り込んでおり、このような画像を不特定多数のユーザが閲覧できてしまうとプライバシー侵害等の問題が発生する。
　このような問題を解決する手段を開示した従来技術として例えば、特許文献１（特開２０１３－０９２８５６号公報）がある。
　この特許文献は、撮影画像内に秘匿すべき画像、例えば人の顔や広告等が含まれる場合、これらの画像領域にモザイク処理やぼかし処理、塗りつぶし処理等を施して被写体の判別を不可能とする構成を開示している。
　しかし、このようなモザイク処理やぼかし処理、塗りつぶし処理は、画像を見るユーザにとって目障りであり、画像全体の雰囲気を壊してしまうという問題がある。
特開２０１３－０９２８５６号公報
　本開示は、例えば上記問題点に鑑みてなされたものであり、画像の雰囲気を壊すことなく、秘匿すべき画像領域、例えば人の顔の画像領域を加工してプライバシー侵害等の問題を発生させない画像を生成して表示、あるいは配信する情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
　本開示の第１の側面は、
　カメラ撮影画像を入力して、画像内の人物を検出する人物検出部と、
　前記人物検出部の検出した人物の属性を判定する人物属性判定部と、
　前記人物属性判定部の判定結果に応じて、置き換えキャラクタを決定する置き換えキャラクタ決定部と、
　前記画像内の人物画像領域の少なくとも一部を、前記置き換えキャラクタ決定部の決定したキャラクタに置き換えたＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成するＡＲ画像生成部を有する情報処理装置にある。
　さらに、本開示の第２の側面は、
　情報処理装置において実行する情報処理方法であり、
　人物検出部が、カメラ撮影画像を入力して、画像内の人物を検出する人物検出ステップと、
　人物属性判定部が、前記人物検出部の検出した人物の属性を判定する人物属性判定ステップと、
　置き換えキャラクタ決定部が、前記人物属性判定部の判定結果に応じて、置き換えキャラクタを決定する置き換えキャラクタ決定ステップと、
　ＡＲ画像生成部が、前記画像内の人物画像領域の少なくとも一部を、前記置き換えキャラクタ決定部の決定したキャラクタに置き換えたＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成するＡＲ画像生成ステップを実行する情報処理方法にある。
　さらに、本開示の第３の側面は、
　情報処理装置に情報処理を実行させるプログラムであり、
　人物検出部に、カメラ撮影画像を入力して、画像内の人物を検出させる人物検出ステップと、
　人物属性判定部に、前記人物検出部の検出した人物の属性を判定させる人物属性判定ステップと、
　置き換えキャラクタ決定部に、前記人物属性判定部の判定結果に応じて、置き換えキャラクタを決定させる置き換えキャラクタ決定ステップと、
　ＡＲ画像生成部に、前記画像内の人物画像領域の少なくとも一部を、前記置き換えキャラクタ決定部の決定したキャラクタに置き換えたＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成させるＡＲ画像生成ステップを実行させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、カメラ撮影画像に含まれる人物をキャラクタ画像に置き換えて表示または送信することでプライバシー侵害のない画像表示や画像送信が実現される。
　具体的には、例えば、車両の外部を撮影するカメラによる撮影画像から人物を検出し、検出した人物の属性、例えば性別、年齢、髪型を判定し、判定した人物属性に応じて、置き換えキャラクタを決定する。さらに、画像内の人物画像領域の少なくとも一部、例えば顔領域を決定したキャラクタに置き換えたＡＲ画像を生成し、生成したＡＲ画像を表示部に表示、または外部装置に送信する。
　本構成により、カメラ撮影画像に含まれる人物をキャラクタ画像に置き換えて表示または送信することでプライバシー侵害のない画像表示や画像送信が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
車両の構成例について説明する図である。 車両内部の構成例について説明する図である。 本開示の情報処理装置が実行する処理について説明する図である。 本開示の情報処理装置が実行するＡＲ画像生成処理について説明する図である。 本開示の情報処理装置が実行するＡＲ画像生成処理に適用するデータベースの格納データの一例について説明する図である。 本開示の情報処理装置が実行するＡＲ画像生成処理に適用するデータベースの格納データの一例について説明する図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の通信構成例を示す図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の構成例について説明する図である。 本開示の情報処理装置の実行する処理について説明する図である。 本開示の情報処理システムを構成する各構成要素の構成例について説明する図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 情報処理システムの構成例について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。
　以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の情報処理装置を搭載した車両の構成例について
　２．（実施例１）本開示の情報処理装置の実行する処理の具体例について
　３．本開示の情報処理装置が実行する処理のシーケンスについて
　４．本開示の情報処理装置の構成例について
　５．（実施例２）ユーザ端末を保持したユーザを撮影し、撮影対象ユーザにキャラクタ情報を通知する実施例について
　６．ユーザ端末を保持したユーザを撮影し、撮影対象ユーザにキャラクタ情報を通知する実施例２の処理シーケンスについて
　７．情報処理装置、および情報処理システムの構成例について
　８．情報処理装置のハードウェア構成例について
　９．本開示の構成のまとめ
　　［１．本開示の情報処理装置を搭載した車両の構成例について］
　まず、本開示の情報処理装置を搭載した車両の構成例について説明する。
　昨今、自動運転車両の開発が進み、将来的には多数の自動運転車両が走行すると予測される。
　自動運転車両は、運転者が前方を見て運転する必要がない。このため自動運転車両にはフロントウィンドウ等の窓を設ける必要がなくなり、現在の車両の窓領域に表示部（ディスプレイ）を設置して、表示部に様々なコンテンツを表示することが可能となる。
　例えば、車両外部に装着したカメラの撮影画像を車両内部の表示部に表示することも可能であり、このような表示処理を行なえば、車両の乗員は、窓を介して観察すると同様の外部の景色を、表示部を介して観察することが可能となる。
　図１は、本開示の移動装置である車両１０の外観の例を示す図である。
　車両１０は、例えば自動運転車両であり、窓を設ける必要がない。従って、従来の車両の窓に相当する領域に、車両内部、外部とも表示部を設けることができる。図１は車両の外観を示しており、車両前面と側面に表示部１１を設けた例を示している。
　車両１０にはカメラ１２が設けられ、このカメラの撮影画像を車両１０の内部に設置した表示部に表示することができる。
　図２は、本開示の情報処理装置を搭載した車両１０の内部構成の一例を示す図である。
　車両１０の内部の前方部には前方表示部２１、左側面には左側面表示部２２、右側面には右側面表示部２３が設けられている。
　なお、図には示していないが、車両１０の後方部にも後方表示部が設置可能である。
　例えば、前方表示部２１には、車両１０の前方を撮影する外部カメラによって撮影された画像が表示される。
　左側面表示部２２には、車両１０の左側を撮影する外部カメラによって撮影された画像が表示される。
　また、右側面表示部２３には、車両１０の右側を撮影する外部カメラによって撮影された画像が表示される。
　このような画像表示を行なえば、車両１０の乗員は、従来車両と同様、車両１０の走行に従って変化する周囲の景色を、表示部２１～２３を介して観察することができる。
　これらの表示部２１～２３には、外部カメラによって撮影された外部の景色の画像等が表示される。
　また、外部カメラによって撮影された外部の景色の画像は、外部サーバやスマホ等のユーザ端末等の外部装置に送信することもできる。
　車両１０に搭載された情報処理装置は、例えばカメラ撮影画像の表示制御や送信制御を行う。
　外部カメラによって撮影された外部の景色の画像に、人が写り込んでいる場合、このような画像を不特定多数のユーザが閲覧できてしまうとプライバシー侵害等の問題が発生する。
　本開示の情報処理装置は、この問題を解決するため、カメラ撮影画像に含まれる人物領域を判別し、この人物領域をキャラクタ画像に置き換えて、人の顔を判別不可能とした拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像（＝ＡＲ画像）を生成して、表示部に出力、あるいは外部に送信する。
　以下、本開示の情報処理装置の実行する処理の具体例について説明する。
　なお、本開示の情報処理装置は、車両１０の内部に装着してもよいが、車両１０と通信可能な外部装置として構成してもよい。
　　［２．（実施例１）本開示の情報処理装置の実行する処理の具体例について］
　次に、本開示の情報処理装置の実行する処理の具体例（実施例１）について説明する。
　図３以下を参照して、本開示の情報処理装置の実行する処理の具体例について説明する。
　図３は、図１を参照して説明した車両１０のカメラ１２によって撮影された画像の例であり、例えば図２に示す車両内の表示部に表示される画像の一例である。
　図３に示す画像は、本開示の情報処理装置による処理を行なう前の表示画像であり、カメラ撮影画像そのものを表示部に表示した例である。
　車両１０は、例えばテーマパーク等を走行する自動運転車両であるとする。
　車両１０のカメラ１２によって撮影された画像にはテーマパークに遊びに来た人が写り込む。
　図３に示す画像は、人物Ａ，５１、人物Ｂ，５２の２人の人物が写り込んでいる画像である。
　このような人物が写り込んだ画像を不特定多数の人が見る車両内の表示部に表示する処理や、外部サーバやユーザ端末に送信する処理はプライバシー侵害等の問題を引き起こすことになる。
　本開示の情報処理装置は、この問題を解決するため、カメラ撮影画像に人物が含まれるか否かを解析し、人物が含まれる場合、その人物の少なくとも顔領域をキャラクタ画像に置き換えたＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成する。
　本開示の情報処理装置は、カメラ撮影画像の人物の少なくとも顔領域をキャラクタ画像に置き換えて、人の顔を判別不可能としたＡＲ画像を生成して、表示部に出力、あるいは外部に送信する。
　本開示の情報処理装置が生成するＡＲ画像の例を図４に示す。
　図４に示すＡＲ画像は、図３に示すカメラ撮影画像に基づいて生成されたＡＲ画像の一例である。
　図４に示すように、本開示の情報処理装置は、カメラ撮影画像の人物５１，５２の少なくとも顔領域をキャラクタ画像７１，７２に置き換えて、人の顔を判別不可能としたＡＲ画像を生成して、表示部に出力、あるいは外部に送信する。
　すなわち、図４に示すように、実オブジェクト画像である人物Ａ，５１と人物Ｂ，５２の顔画像領域を、仮想オブジェクト画像であるキャラクタ画像Ａ，７１とキャラクタ画像Ｂ，７２に置き換えたＡＲ画像を生成して、表示部に表示、あるいは外部に送信する。
　本開示の情報処理装置は、人物の画像をキャラクタ画像に置き換える処理を実行する場合、カメラ撮影画像に含まれる人物各々の属性を解析する。例えば、人物の性別、年齢、髪型等の人物属性を解析する。
　本開示の情報処理装置は、この人物属性解析結果に基づいて人物各々に置き換えるキャラクタ画像を選択する。
　本開示の情報処理装置は、人物属性情報と、各属性に対応付けられたキャラクタ画像を対応付けたデータベース（人物属性対応キャラクタデータベース）を保持しており、このデータベースを利用して人物の各属性に応じた最適なキャラクタを選択して、画像内の人物各々の実画像をキャラクタ画像に置き換える。
　図５は、本開示の情報処理装置が利用する「人物属性対応キャラクタデータベース」のデータ構成例を示す図である。
　図５に示すように、人物属性対応キャラクタデータベースは、以下の各データを対応付けたデータベースである。
　（Ａ）人物属性情報
　（Ｂ）キャラクタ情報
　（Ａ）人物属性情報には、以下の人物属性情報が含まれる。
　（ａ１）性別
　（ａ２）推定年齢
　（ａ３）髪型
　これらの属性情報は、情報処理装置がカメラ撮影画像に含まれる人物画像の解析によって取得する情報である。
　（Ｂ）キャラクタ情報には、各人物属性情報に応じて、その人物に置き換えて表示するキャラクタ画像、例えば、その人物属性に類似する特徴を持つキャラクタ画像の識別子を記録している。
　データベースには、例えば、置き換え対象となる人物が髪の長い女の子である場合、髪の長い女の子のキャラクタ画像や、うさぎ、ネコ等、置き換え対象となる人物の特徴（属性）を反映したキャラクタ画像の識別子が記録されている。
　情報処理装置は、このキャラクタ識別子に基づいて、キャラクタ画像を選択して選択したキャラクタ画像を、カメラ撮影画像の人物画像領域、例えば顔領域に表示する。
　情報処理装置の記憶部には、図５に示す「人物属性対応キャラクタデータベース」に加え、図６に示す「キャラクタ画像データベース」が記録されている。
　図６に示す「キャラクタ画像データベース」は、
　（Ｐ）キャラクタ識別子
　（Ｑ）キャラクタ画像
　これらのデータの対応データによって構成される。
　（Ｐ）キャラクタ識別子は、図５に示す「人物属性対応キャラクタデータベース」の（Ｂ）キャラクタ情報に記録された識別子に相当する。
　（Ｑ）キャラクタ画像は、キャラクタの画像データである。
　例えば、本開示の情報処理装置は、先に説明した図３に示す人物Ａ５１と人物Ｂ５２に対する人物属性の解析を行う。解析結果として以下のような解析結果を取得する。
　図５に示す「人物属性対応キャラクタデータベース」の（Ａ）人物属性情報の各属性項目の各々について以下のような解析結果を得る。
　人物Ａ５１の属性解析結果
　（ａ１）性別＝男性
　（ａ２）推定年齢＝３０代以下
　（ａ３）髪型＝短髪
　人物Ｂ５２の属性解析結果
　（ａ１）性別＝女性
　（ａ２）推定年齢＝３０代以下
　（ａ３）髪型＝長髪
　本開示の情報処理装置は、これらの解析結果に基づいて、図５に示す「人物属性対応キャラクタデータベース」の（Ｂ）キャラクタ情報に記録された識別子を選択する。
　例えば、以下のような処理を実行する。人物Ａ５１の属性解析結果として以下の解析結果が得られたとする。
　（ａ１）性別＝男性
　（ａ２）推定年齢＝３０代以下
　（ａ３）髪型＝短髪
　本開示の情報処理装置は、この解析結果から、図５に示す「人物属性対応キャラクタデータベース」の（Ｂ）キャラクタ情報に記録された識別子Ａ１～Ａ１０のいずれかを選択する。
　図５に示す「人物属性対応キャラクタデータベース」の（Ｂ）キャラクタ情報に記録された識別子Ａ１～Ａ１０は、いずれも、上記人物属性（性別＝男性、推定年齢＝３０代以下、髪型＝短髪）に対応付けて登録されたキャラクタ画像の識別子である。
　すなわち、大人の短髪の男性に置き換えた場合に、大きな違和感を発生させないキャラクタ画像の識別子である。
　なお、例えば、カメラ撮影画像に同じ属性の人物が１人、検出された場合は、Ａ１～Ａ１０からランダムに１つの識別子を選択すればよい。
　また、カメラ撮影画像に同じ属性の人物が複数、検出された場合は、Ａ１～Ａ１０から人数分の異なる識別子をランダムに選択する。
　図３に示す例では、カメラ撮影画像内に人物Ａ５１の属性と同じ属性を持つ人物は他にいないのでＡ１～Ａ１０から１つの識別子を選択する。
　ここでは識別子Ａ１を選択したものとする。
　情報処理装置は、図６に示す「キャラクタ画像データベース」から識別子Ａ１に対応して登録されたキャラクタ画像を選択して、図４に示すように人物Ａ，５１の顔画像領域に選択したキャラクタ画像を表示する。
　さらに、人物Ｂ５２の属性解析結果として以下の属性解析結果が得られたとする。
　（ａ１）性別＝女性
　（ａ２）推定年齢＝３０代以下
　（ａ３）髪型＝長髪
　本開示の情報処理装置は、この解析結果から、図５に示す「人物属性対応キャラクタデータベース」の（Ｂ）キャラクタ情報に記録された識別子Ｆ１～Ｆ１０のいずれかを選択する。
　図５に示す「人物属性対応キャラクタデータベース」の（Ｂ）キャラクタ情報に記録された識別子Ｆ１～Ｆ１０は、いずれも、上記人物属性（性別＝女性、推定年齢＝３０代以下、髪型＝長髪）に対応付けて登録されたキャラクタ画像の識別子である。
　すなわち、大人の長髪の女性に置き換えても違和感を発生させないキャラクタ画像の識別子である。
　カメラ撮影画像に同じ属性の人物が１人、検出された場合は、Ｆ１～Ｆ１０からランダムに１つの識別子を選択すればよい。
　また、カメラ撮影画像に同じ属性の人物が複数、検出された場合は、Ｆ１～Ｆ１０から人数分の異なる識別子をランダムに選択する。
　図３に示す例では、カメラ撮影画像内に人物Ｂ５２の属性と同じ属性を持つ人物は他にいないのでＦ１～Ｆ１０から１つの識別子を選択する。
　ここでは識別子Ｆ１を選択したものとする。
　情報処理装置は、図６に示す「キャラクタ画像データベース」から識別子Ｆ１に対応して登録されたキャラクタ画像を選択して、図４に示すように人物Ｂ，５２の顔画像領域に選択したキャラクタ画像を表示する。
　本開示の情報処理装置は、このようにして人物が特定できないように、撮影画像内の人物をキャラクタ画像に置き換えたＡＲ画像を生成する。
　本開示の情報処理装置は、生成したＡＲ画像を車両１０の表示部に表示する。また、さらに、生成したＡＲ画像を外部サーバやユーザ端末等の外部装置に送信する。
　表示部に表示される画像や外部装置に送信される画像は、図４に示すように人物が特定できないように、人物の顔領域がキャラクタ画像に置き換えられた画像となる。
　この結果、表示画像や、送信画像から、人物を特定することは不可能となり、プライバシー侵害の問題を発生させることがない。
　なお、図５に示す「人物属性対応キャラクタデータベース」の（Ｂ）キャラクタ情報に記録されたキャラクタ識別子は、人物属性（性別、推定年齢、髪型）に対応付けて登録されたキャラクタ画像の識別子として説明したが、さらに、以下のようなキャラクタ画像の識別子を登録する構成としてもよい。
　例えば、カメラによる画像撮影が行われる場所の雰囲気、すなわち車両の走行する場所の雰囲気に応じたキャラクタ画像の識別子を登録する。
　具体的には、車両の走行場所が遊園地等のテーマパークである場合は、そのテーマパークで利用されているキャラクタ画像の識別子を登録する。
　また、車両の走行場所が動物園である場合は、動物のキャラクタ画像の識別子を登録したデータベース構成とするといった設定である。
　このようなデータベースを設定して利用することで、撮影画像内の人物を車両の走行場所の雰囲気に応じたキャラクタに置き換える処理が可能になる。
　　［３．本開示の情報処理装置が実行する処理のシーケンスについて］
　次に、図７以下を参照して本開示の情報処理装置が実行する処理のシーケンスについて説明する。
　図７は、本開示の情報処理装置が車両の表示部にカメラ撮影画像に基づくＡＲ画像を生成して表示する処理のシーケンスを説明するフローチャートである。
　なお、カメラ撮影画像に基づくＡＲ画像を生成して外部装置に送信する処理シーケンスについては、後段で図９を参照して説明する。
　なお、図７以下に示すフローチャートに従った処理は、情報処理装置のデータ処理部において実行される。データ処理部は、プログラム実行機能を持つＣＰＵを備え、記憶部に格納されたプログラムに従ってフローに従った処理を実行することができる。
　図７に示すフローの各ステップの処理について説明する。
　　（ステップＳ１０１）
　まず、情報処理装置のデータ処理部は、ステップＳ１０１において、車両の周辺領域をカメラで撮影する処理を開始する。
　例えば図１に示す車両１０の外部に装着されたカメラ１２を用いて画像撮影を開始する。
　なお、車両は走行中、停止中、いずれの状態でもよい。
　　（ステップＳ１０２）
　次に、情報処理装置のデータ処理部は、ステップＳ１０２において、ステップＳ１０１で撮影した画像内に人物が含まれるか否かを判定する。
　撮影画像内に人物が検出されない場合は、ステップＳ１０３に進む。
　一方、撮影画像内に人物が検出された場合は、ステップＳ１０４に進む。
　　（ステップＳ１０３）
　ステップＳ１０２において撮影画像内に人物が検出されないと判定した場合は、ステップＳ１０３に進む。
　この場合、情報処理装置のデータ処理部は、ステップＳ１０３において、ステップＳ１０１において取得したカメラ撮影画像をそのまま、車両の表示部に表示する。
　この表示画像には人物が含まれていないため、プライバシー侵害等の問題は発生しない。
　　（ステップＳ１０４）
　一方、ステップＳ１０２において撮影画像内に人物が検出されたと判定した場合は、ステップＳ１０４に進む。
　この場合、情報処理装置のデータ処理部は、ステップＳ１０４において、検出した人物の属性（性別、年齢、髪型等）を解析する。
　なお、このステップＳ１０４の処理は、撮影画像から検出された人物各々について実行する。
　解析する人物属性は、先に図５を参照して説明した「人物属性対応キャラクタデータベース」の（Ａ）人物属性情報の各属性項目の各々である。例えば、
　（ａ１）性別＝男性
　（ａ２）推定年齢＝３０代以下
　（ａ３）髪型＝短髪
　このような人物属性の解析結果を取得する。
　　（ステップＳ１０５）
　次に、情報処理装置のデータ処理部は、ステップＳ１０５において、ステップＳ１０４における人物の属性（性別、年齢、髪型等）解析結果に基づいて、その人物に置き換えて表示するキャラクタを選択する。
　この処理は、先に図５を参照して説明した「人物属性対応キャラクタデータベース」を用いて実行する。
　すなわち、ステップＳ１０４における人物の属性（性別、年齢、髪型等）解析結果に基づいて、解析結果として得られた人物属性に一致または最も近いエントリをデータベースに登録された「（Ａ）人物属性情報」から選択し、その選択エントリに対応付けられて記録された（Ｂ）キャラクタ情報（識別子）を選択する。
　さらに、情報処理装置のデータ処理部は、選択した識別子に基づいて、先に図６を参照して説明したキャラクタ画像データベースから、選択識別子対応のキャラクタ画像を取得する。
　なお、このステップＳ１０５の処理も、ステップＳ１０４の処理と同様、撮影画像から検出された人物各々について実行する。
　　（ステップＳ１０６）
　次に、情報処理装置のデータ処理部は、ステップＳ１０６において、人物画像領域（少なくとも顔画像領域を含む領域）を、ステップＳ１０５で選択したキャラクタ画像に置き換えたＡＲ画像を生成して表示部に出力する。
　すなわち、先に図４を参照して説明したようなＡＲ画像を生成して表示部に出力する。
　この表示画像は人物の少なくとも顔領域がキャラクタ画像に置き換えられており、人物の特定は困難であり、プライバシー侵害等の問題は発生しない。
　図７に示すフローチャートを参照して説明した処理は、本開示の情報処理装置が車両の表示部にカメラ撮影画像に基づくＡＲ画像を生成して表示する処理のシーケンスを説明するフローチャートである。
　次に、カメラ撮影画像に基づくＡＲ画像を生成して外部装置に送信する処理について説明する。
　本開示の情報処理装置は、カメラ撮影画像に基づいて生成したＡＲ画像は、車両の表示部に表示するのみならず、外部装置、例えば画像配信サーバや、スマホ等のユーザ端末に送信する。
　図８に示すように、車両１０に搭載された情報処理装置の通信部は、通信ネットワークを介してサーバ８０やユーザ端末（スマホ等）９０等の外部装置と通信可能な構成を有する。
　車両１０に搭載された情報処理装置は、カメラ撮影画像に基づいて生成したＡＲ画像を、通信ネットワークを介してサーバ８０やユーザ端末（スマホ等）９０等の外部装置に送信する。
　図９に示すフローチャートを参照して、この処理シーケンスについて説明する。
　　（ステップＳ１２１）
　まず、情報処理装置のデータ処理部は、ステップＳ１２１において、車両の周辺領域をカメラで撮影する処理を開始する。
　例えば図１に示す車両１０の外部に装着されたカメラ１２を用いて画像撮影を開始する。
　なお、車両は走行中、停止中、いずれの状態でもよい。
　　（ステップＳ１２２）
　次に、情報処理装置のデータ処理部は、ステップＳ１２２において、ステップＳ１２１で撮影した画像内に人物が含まれるか否かを判定する。
　撮影画像内に人物が検出されない場合は、ステップＳ１２３に進む。
　一方、撮影画像内に人物が検出された場合は、ステップＳ１２４に進む。
　　（ステップＳ１２３）
　ステップＳ１２２において撮影画像内に人物が検出されないと判定した場合は、ステップＳ１２３に進む。
　この場合、情報処理装置のデータ処理部は、ステップＳ１２３において、ステップＳ１２１において取得したカメラ撮影画像をそのまま、外部装置に送信する。
　すなわち、先に図４を参照して説明したようなＡＲ画像を生成して、図８を参照して説明した外部装置、例えばサーバ８０やユーザ端末（スマホ等）９０に送信する。
　この送信画像には人物が含まれておらず、プライバシー侵害等の問題は発生しない。
　　（ステップＳ１２４）
　一方、ステップＳ１２２において撮影画像内に人物が検出されたと判定した場合は、ステップＳ１２４に進む。
　この場合、情報処理装置のデータ処理部は、ステップＳ１２４において、検出した人物の属性（性別、年齢、髪型等）を解析する。
　なお、このステップＳ１２４の処理は、撮影画像から検出された人物各々について実行する。
　解析する人物属性は、先に図５を参照して説明した「人物属性対応キャラクタデータベース」の（Ａ）人物属性情報の各属性項目の各々である。例えば、
　（ａ１）性別＝男性
　（ａ２）推定年齢＝３０代以下
　（ａ３）髪型＝短髪
　このような人物属性の解析結果を取得する。
　　（ステップＳ１２５）
　次に、情報処理装置のデータ処理部は、ステップＳ１２５において、ステップＳ１２４における人物の属性（性別、年齢、髪型等）解析結果に基づいて、その人物に置き換えて表示するキャラクタを選択する。
　この処理は、先に図５を参照して説明した「人物属性対応キャラクタデータベース」を用いて実行する。
　すなわち、ステップＳ１２４における人物の属性（性別、年齢、髪型等）解析結果に基づいて、解析結果として得られた人物属性に一致または最も近いエントリをデータベースに登録された「（Ａ）人物属性情報」から選択し、その選択エントリに対応付けられて記録された（Ｂ）キャラクタ情報（識別子）を選択する。
　さらに、情報処理装置のデータ処理部は、選択した識別子に基づいて、先に図６を参照して説明したキャラクタ画像データベースから、選択識別子対応のキャラクタ画像を取得する。
　なお、このステップＳ１２５の処理も、ステップＳ１２４の処理と同様、撮影画像から検出された人物各々について実行する。
　　（ステップＳ１２６）
　次に、情報処理装置のデータ処理部は、ステップＳ１２６において、人物画像領域（少なくとも顔画像領域を含む領域）を、ステップＳ１２５で選択したキャラクタに置き換えたＡＲ画像を生成して外部装置に送信する。
　すなわち、先に図４を参照して説明したようなＡＲ画像を生成して、図８を参照して説明した外部装置、例えばサーバ８０やユーザ端末（スマホ等）９０に送信する。
　この送信画像は人物の少なくとも顔領域がキャラクタ画像に置き換えられており、人物の特定は困難であり、プライバシー侵害等の問題は発生しない。
　　［４．本開示の情報処理装置の構成例について］
　次に、上述した処理を実行する本開示の情報処理装置の構成例について説明する。
　図１０は、本開示の情報処理装置１００の構成例について説明する図である。
　図１０に示すように、情報処理装置１００は、カメラ１０１、人物検出部１０２、人物属性判定部１０３、置き換えキャラクタ決定部１０４、ＡＲ画像生成部１０５、表示部１０６、通信部１０７、および記憶部１１０を有する。
　カメラ１０１は、車両１０の外部、すなわち景色を撮影するカメラである。カメラ１０１が撮影した外部撮影画像１２１は、人物検出部１０２、およびＡＲ画像生成部１０５に出力される。
　人物検出部１０２は、カメラ１０１が撮影した外部撮影画像１２１からの人物検出処理を実行する。
　なお、人物検出部１０２の実行する外部撮影画像１２１からの人物検出処理は、例えば顔領域の検出処理、あるいは人物全体の検出処理として実行される。
　顔領域のみをキャラクタ画像に置き換える場合は、顔領域のみの検出処理を実行すればよい。
　一方、人物全体をキャラクタ画像に置き換える処理を行なう場合は、人物全体の画像領域を検出する。
　なお、顔領域検出処理や人物領域検出処理の手法としては、画像の特徴情報の解析処理やパターン画像を用いた処理等、従来から知られる既存手法が適用可能である。
　人物検出部１０２の検出情報、すなわち、カメラ撮影画像から検出した人物画像領域情報や顔画像領域情報は、人物属性判定部１０３に入力される。
　人物属性判定部１０３は、カメラ撮影画像から検出された人物や顔画像に基づいて検出した人物の属性（性別、年齢、髪型等）を解析する。
　なお、この処理は、撮影画像から検出された人物各々について実行する。
　解析する人物属性は、先に図５を参照して説明した「人物属性対応キャラクタデータベース」の（Ａ）人物属性情報の各属性項目の各々である。例えば、
　（ａ１）性別＝男性
　（ａ２）推定年齢＝３０代以下
　（ａ３）髪型＝短髪
　このような人物属性の解析結果を取得する。
　人物属性判定部１０３の生成した人物属性情報１２２は、置き換えキャラクタ決定部１０４に出力される。
　置き換えキャラクタ決定部１０４は、人物属性判定部１０３から入力した人物属性情報１２２に基づいて、その人物に置き換えるキャラクタを選択する。
　すなわち、カメラ撮影画像内の人物の属性（性別、年齢、髪型等）に基づいて、その人物に置き換えるキャラクタを選択する。
　この処理は、記憶部１１０に格納された人物属性対応キャラクタデータベース１１１を用いて実行する。
　人物属性対応キャラクタデータベース１１１は、先に図５を参照して説明した「人物属性対応キャラクタデータベース」であり、以下の各データを対応付けたデータベースである。
　（Ａ）人物属性情報
　（Ｂ）キャラクタ情報
　置き換えキャラクタ決定部１０４は、人物属性判定部１０３から入力した人物属性情報１２２（性別、年齢、髪型等）に基づいて、この人物属性に一致または最も近いエントリを人物属性対応キャラクタデータベース１１１に登録された「（Ａ）人物属性情報」から選択し、その選択エントリに対応付けられて記録された（Ｂ）キャラクタ情報（識別子）を選択する。
　さらに、置き換えキャラクタ決定部１０４は、選択した識別子に基づいて、記憶部１１０に格納されたキャラクタ画像データベース１１２から、選択識別子対応のキャラクタ画像を取得する。
　記憶部１１０に格納されたキャラクタ画像データベース１１２は、先に図６を参照して説明したキャラクタ画像データベースであり、キャラクタ識別子とキャラクタ画像データを対応して格納したデータベースである。
　置き換えキャラクタ決定部１０４は、選択した識別子に基づいてキャラクタ画像データベース１１２から取得したキャラクタ画像をＡＲ画像生成部１０５に出力する。
　ＡＲ画像生成部１０５は、置き換えキャラクタ決定部１０４は、キャラクタ画像データベース１１２から取得したキャラクタ画像を人物画像領域（少なくとも顔画像領域を含む領域）に置き換えたＡＲ画像を生成する。
　すなわち、先に図４を参照して説明したようなＡＲ画像を生成する。
　ＡＲ画像生成部１０５の生成したＡＲ画像１２３は、車両の表示部１０６に出力される。
　さらに、ＡＲ画像生成部１０５の生成したＡＲ画像１２３は、通信部１０７を介して外部装置、例えば、図８を参照して説明したサーバ８０やユーザ端末（スマホ等）９０に送信される。
　表示部１０６に表示されるＡＲ画像１２３や、通信部１０７を介して外部装置に送信されるＡＲ画像１２３は、人物の少なくとも顔領域がキャラクタ画像に置き換えられており、人物の特定は困難であり、プライバシー侵害等の問題は発生しない。
　　［５．（実施例２）ユーザ端末を保持したユーザを撮影し、撮影対象ユーザにキャラクタ情報を通知する実施例について］
　次に、実施例２として、ユーザ端末を保持したユーザを撮影し、撮影対象ユーザにキャラクタ情報を通知する実施例について説明する。
　図１１を参照して、本実施例の処理の概要について説明する。
　図１１に示す車両１０は、先に図１、図２を参照して説明した車両１０であり、例えばテーマパークを自動運転で走行する車両である。
　車両１０内には、情報処理装置２００が搭載されている。情報処理装置２００は、先に説明した図１０の構成に従って、カメラ撮影画像に基づくＡＲ画像を生成して表示部に出力する処理や外部装置に送信する処理を行なう。
　車両１０の外部に搭載されたカメラは、テーマパーク内を散歩するユーザ１７０を撮影して、情報処理装置２００は、ユーザ１７０の顔領域をキャラクタ画像に置き換えたＡＲ画像を生成する。
　本実施例の情報処理装置２００は、図１１に示すように車両位置情報１３１をサーバ１５０に送信する。
　また、ユーザ１７０が保持するスマホ等のユーザ端末１８０もサーバ１５０に対して、ユーザ端末位置情報１３２を送信する。
　サーバ１５０は、車両位置情報１３１とユーザ端末位置情報１３２を解析して、ユーザ１７０が、車両１０のカメラによる撮影対象領域内にいるか否かを判定する。
　ユーザ１７０が車両１０のカメラによる撮影対象領域内にいると判定された場合、サーバ１５０は、車両１０の情報処理装置２００に対して、撮影対象領域内にいるユーザ１７０のユーザ端末１８０のアクセス情報（ユーザ端末アクセス情報１３３）を通知する。
　車両１０の情報処理装置２００は、サーバ１５０から受信したユーザ端末アクセス情報１３３を用いて、ユーザ端末１８０に対して、ユーザ１７０に適用するキャラクタ画像の情報（キャラクタ情報１３５）を通知する。
　ユーザ端末１８０を保持するユーザ１７０は、車両１０の情報処理装置２００からキャラクタ情報１３５を受信すると、例えば自宅１９０で留守番をしている家族のスマホ等の外部端末１９１に、このキャラクタ情報１３６とともに、これから自分たちの姿がキャラクタに変身した画像（ＡＲ画像）を見ることができることを通知する。
　自宅１９０の家族は外部端末１９１を利用して、サーバ１５０にアクセスして、車両１０の情報処理装置２００が生成し、サーバ１５０にアップロードしたＡＲ画像、すなわちキャラクタ置き換えＡＲ画像１３７を閲覧、ダウンロードすることが可能となる。
　なお、キャラクタ置き換えＡＲ画像１３７は、車両１０の情報処理装置２００から、直接、外部端末１９１に配信する構成としてもよい。
　例えば車両１０の情報処理装置２００が、サーバ１５０に登録された外部端末アクセス情報を利用して、外部端末１９１にＡＲ画像を配信する。
　この図１１に示す処理を実行する車両１０の情報処理装置２００、サーバ１５０、ユーザ端末１８０の構成例を図１２に示す。
　図１２に示すように、情報処理装置２００は、制御部（データ処理部）２０１、センサ（カメラ、マイク等）２０２、通信部２０３、入出力部（表示部等）２０４、位置情報取得部２０５、記憶部２０６を有する。
　サーバ１５０は、制御部（データ処理部）１５１、記憶部１５２、通信部１５３を有する。
　ユーザ端末１８０は、制御部（データ処理部）１８１、入力部１８２、出力部１８３、記憶部１８４、通信部１８５、位置情報取得部１８６を有する。
　情報処理装置２００の構成について説明する。
　制御部（データ処理部）２０１は、先に図１０を参照して説明したと同様、カメラ撮影画像に基づくＡＲ画像の生成処理を行なう。
　さらに、サーバ１５０やユーザ端末１８０との通信制御等、情報処理装置２００において実行する処理の統括的制御を実行する。
　センサ（カメラ、マイク等）２０２は、例えば図１に示す車両１０の外部に装着されたカメラ１２や、マイク、車内に備えられたカメラ、マイク等の様々なセンサによって構成される。
　通信部２０３は、サーバ１５０やユーザ端末１８０との通信を実行する。
　入出力部（表示部等）２０４は、例えば図２を参照して説明した車内の表示部、図１に示す車外の表示部、さらに、スピーカ等によって構成される。
　位置情報取得部２０５は、例えばＧＰＳ衛星からの受信信号に基づいて車両１０の現在位置を解析する。
　位置情報取得部２０５の解析した位置情報は、例えば、制御部（データ処理部）２０１の制御の下、通信部２０３を介してサーバ１５０に送信される。
　記憶部２０６には、先に図１０を参照して説明した記憶部１１０と同様、人物属性対応キャラクタデータベースや、キャラクタ画像データベースが格納される。
　さらに、情報処理装置２００において実行する処理のプログラム、各種パラメータ等が格納される。
　次に、サーバ１５０の構成について説明する。サーバ１５０は、制御部（データ処理部）１５１、記憶部１５２、通信部１５３を有する。
　制御部（データ処理部）１５１はサーバ１５０において実行する処理の制御を行う。例えば先に図１１を参照して説明した車両位置情報とユーザ端末位置情報に基づいて、ユーザ端末の位置が車両１０のカメラによる撮影範囲内にあるか否かの判定処理等を行う。
　さらに、車両１０の情報処理装置２００やユーザ端末１８０等との通信制御や、その他、サーバ１５０において実行する処理の制御を行う。
　記憶部１５２には、制御部（データ処理部）１５１の実行する処理プログラムや各種パラメータ、通信相手先のアドレス情報等が格納されている。
　通信部１５３は車両１０の情報処理装置２００やユーザ端末１８０等との通信に利用される。
　次に、ユーザ端末１８０の構成について説明する。
　ユーザ端末１８０は、制御部（データ処理部）１８１、入力部１８２、出力部１８３、記憶部１８４、通信部１８５、位置情報取得部１８６を有する。
　制御部（データ処理部）１８１は、ユーザ端末１８０において実行する処理の制御を行う。
　入力部１８２は、ユーザによる様々な情報の入力処理に利用される。
　出力部１８３は表示部、スピーカ等によって構成される。表示部には、例えば先に図１１を参照して説明した車両１０の情報処理装置２００から送信されるキャラクタ情報を表示することができる。この表示処理により、図１１に示すユーザ１７０は、車両１０の情報処理装置２００が生成セするＡＲ画像において自分たち（ユーザ１７０）がどのようなキャラクタに変身するかを知ることができる。
　記憶部１８４には、ユーザ端末１８０において実行する処理のプログラムや、各種パラメータ、さらに様々な通信先のアクセス情報等が記録されている。
　通信部１８５は、車利用１０の情報処理装置２００や、サーバ１５０、さらに、自宅の外部装置（スマホ）等、様々な外部装置との通信に利用される。
　位置情報取得部１８６は、例えばＧＰＳ衛星からの受信情報に基づく位置解析を行う。
　位置情報取得部１８６の取得した位置情報は、先に図１１を参照して説明したように、サーバ１５０に送信される。
　　［６．ユーザ端末を保持したユーザを撮影し、撮影対象ユーザにキャラクタ情報を通知する実施例２の処理シーケンスについて］
　次に、ユーザ端末を保持したユーザを撮影し、撮影対象ユーザにキャラクタ情報を通知する実施例２の処理シーケンスについて説明する。
　図１３に示すフローチャートを参照して、本実施例２の処理シーケンスについて説明する。
　なお、図１３に示すフローは車両１０に搭載された情報処理装置２００が実行する処理のシーケンスである。
　図１３に示すフローに従った処理を実行する際、車両１０に搭載された情報処理装置２００は、車両１０の位置情報を随時、サーバ１５０に送信し、さらに、サーバ１５０から、車両１０のカメラの撮影可能領域にいるユーザの保有するユーザ端末のアクセス情報を、随時、受信しているものとする。
　以下、図１３に示すフローの各ステップの処理について説明する。
　　（ステップＳ２０１）
　まず、情報処理装置のデータ処理部は、ステップＳ２０１において、車両の周辺領域をカメラで撮影する処理を開始する。
　例えば図１に示す車両１０の外部に装着されたカメラ１２を用いて画像撮影を開始する。
　なお、車両は走行中、停止中、いずれの状態でもよい。
　　（ステップＳ２０２）
　次に、情報処理装置のデータ処理部は、ステップＳ２０２において、ステップＳ２０１で撮影した画像内に人物が含まれるか否かを判定する。
　撮影画像内に人物が検出されない場合は、ステップＳ２０３に進む。
　一方、撮影画像内に人物が検出された場合は、ステップＳ２０４に進む。
　　（ステップＳ２０３）
　ステップＳ２０２において撮影画像内に人物が検出されないと判定した場合は、ステップＳ２０３に進む。
　この場合、情報処理装置のデータ処理部は、ステップＳ２０３において、ステップＳ２０１において取得したカメラ撮影画像をそのまま、外部装置に送信する。
　すなわち、先に図４を参照して説明したようなＡＲ画像を生成して、図１１を参照して説明した外部装置、例えばサーバ１５０や外部端末１９１に送信する。
　この送信画像には人物が含まれておらず、プライバシー侵害等の問題は発生しない。
　　（ステップＳ２０４）
　一方、ステップＳ２０２において撮影画像内に人物が検出されたと判定した場合は、ステップＳ２０４に進む。
　この場合、情報処理装置のデータ処理部は、ステップＳ２０４において、検出した人物の属性（性別、年齢、髪型等）を解析する。
　なお、このステップＳ２０４の処理は、撮影画像から検出された人物各々について実行する。
　解析する人物属性は、先に図５を参照して説明した「人物属性対応キャラクタデータベース」の（Ａ）人物属性情報の各属性項目の各々である。例えば、
　（ａ１）性別＝男性
　（ａ２）推定年齢＝３０代以下
　（ａ３）髪型＝短髪
　このような人物属性の解析結果を取得する。
　　（ステップＳ２０５）
　次に、情報処理装置のデータ処理部は、ステップＳ２０５において、ステップＳ２０４における人物の属性（性別、年齢、髪型等）解析結果に基づいて、その人物に置き換えるキャラクタを選択する。
　この処理は、先に図５を参照して説明した「人物属性対応キャラクタデータベース」を用いて実行する。
　すなわち、ステップＳ２０４における人物の属性（性別、年齢、髪型等）解析結果に基づいて、解析結果として得られた人物属性に一致または最も近いエントリをデータベースに登録された「（Ａ）人物属性情報」から選択し、その選択エントリに対応付けられて記録された（Ｂ）キャラクタ情報（識別子）を選択する。
　さらに、情報処理装置のデータ処理部は、選択した識別子に基づいて、先に図６を参照して説明したキャラクタ画像データベースから、選択識別子対応のキャラクタ画像を取得する。
　なお、このステップＳ２０５の処理も、ステップＳ２０４の処理と同様、撮影画像から検出された人物各々について実行する。
　　（ステップＳ２０６）
　次に、情報処理装置のデータ処理部は、ステップＳ２０６において、キャラクタ画像に置き換える処理の対象となるユーザのユーザ端末のアクセス情報をサーバから受信し、保持しているか否かを判定する。
　キャラクタ画像置き換え対象ユーザのユーザ端末のアクセス情報をサーバから受信し、保持している場合は、ステップＳ２０７に進む。
　一方、キャラクタ画像置き換え対象ユーザのユーザ端末のアクセス情報をサーバから受信していない場合は、ステップＳ２０８に進む。
　　（ステップＳ２０７）
　ステップＳ２０６において、キャラクタ画像置き換え対象ユーザのユーザ端末のアクセス情報をサーバから受信し、保持していると判定した場合は、ステップＳ２０７に進む。
　この場合、情報処理装置のデータ処理部は、ステップＳ２０７において、キャラクタ画像置き換え対象ユーザのユーザ端末に対して、置き換え予定のキャラクタの情報を送信する。
　この処理は、図１１に示すキャラクタ情報１３５の送信処理に相当する。
　キャラクタ情報を受信したユーザ端末を保持するユーザは、例えば図１１を参照して説明したように自宅で留守番をしている家族に、これから変身するキャラクタを通知して教えるといったことが可能となる。
　　（ステップＳ２０８）
　ステップＳ２０７におけるキャラクタ情報通知処理の完了後、あるいはステップＳ２０６において、キャラクタ画像置き換え対象ユーザのユーザ端末のアクセス情報をサーバから受信していないと判定した場合は、ステップＳ２０８に進む。
　情報処理装置のデータ処理部は、ステップＳ２０８において、ステップＳ２０５で選択したキャラクタを人物画像領域（少なくとも顔画像領域を含む領域）に置き換えたＡＲ画像を生成して外部装置に送信する。
　すなわち、先に図４を参照して説明したようなＡＲ画像を生成して、図１１を参照して説明した外部装置、例えばサーバ１５０や外部端末１９１に送信する。
　この送信画像は人物の少なくとも顔領域がキャラクタ画像に置き換えられており、人物の特定は困難であり、プライバシー侵害等の問題は発生しない。
　次に、本実施例において図１１、図１２に示すサーバ１５０が実行する処理のシーケンスについて説明する。
　図１４に示すフローチャートを参照してサーバ１５０が実行する処理のシーケンスについて説明する。
　図１４に示すフローチャートの各ステップの処理について、順次、説明する。
　　（ステップＳ３０１）
　まず、サーバはステップＳ３０１において、車両１０の情報処理装置２００から車両位置情報を受信する。
　　（ステップＳ３０２）
　次に、サーバはステップＳ３０２において、ユーサ端末１８０からユーザ端末位置情報を受信する。
　　（ステップＳ３０３）
　次に、サーバはステップＳ３０３において、車両１０の情報処理装置２００から受信した車両位置情報と、ユーサ端末１８０から受信したユーザ端末位置情報を比較し、ユーザ端末位置が、車両１０のカメラの撮影領域内にあるか否かの判定処理を実行する。
　　（ステップＳ３０４）
　ステップＳ３０４は、ステップＳ３０３の判定処理に基づく分岐ステップである。
　ステップＳ３０４において、ユーザ端末位置が、車両１０のカメラの撮影領域内にあると判定した場合は、ステップＳ３０５に進む。
　一方、ステップＳ３０４において、ユーザ端末位置が、車両１０のカメラの撮影領域内にないと判定した場合は、処理を修了する。
　　（ステップＳ３０５）
　ステップＳ３０４において、ユーザ端末位置が、車両１０のカメラの撮影領域内にあると判定した場合は、ステップＳ３０５に進む。
　この場合、サーバは、ステップＳ３０５において、車両１０の情報処理装置２００に対して、ユーザ端末のアクセス情報を通知する。
　なお、ユーザ端末のアクセス情報は、ステップＳ３０２におけるユーザ端末からの位置情報受信の際に取得する。
　あるいは予めユーザがサーバ１５０に対してユーザ登録を実行する構成とし、登録処理時にサーバ１５０にユーザ端末のアクセス情報を送信して登録する構成としてもよい。
　先に図１３に示すフローチャートを参照して説明した処理シーケンスでは、車両１０の情報処理装置２００が、ユーザ端末１８０に対してキャラクタ情報を送信する構成として説明したが、ユーザ端末１８０にキャラクタ情報を送信する処理は、サーバ１５０が実行する構成としてもよい。
　この場合のサーバ１５０の実行する処理のシーケンスについて図１５に示すフローチャートを参照して説明する。
　図１５に示すフローの各ステップの処理について、順次、説明する。
　　（ステップＳ３２１）
　まず、サーバはステップＳ３２１において、車両１０の情報処理装置２００から車両位置情報を受信する。
　　（ステップＳ３２２）
　次に、サーバはステップＳ３２２において、ユーサ端末１８０からユーザ端末位置情報を受信する。
　　（ステップＳ３２３）
　次に、サーバはステップＳ３２３において、車両１０の情報処理装置２００から受信した車両位置情報と、ユーサ端末１８０から受信したユーザ端末位置情報を比較し、ユーザ端末位置が、車両１０のカメラの撮影領域内にあるか否かの判定処理を実行する。
　　（ステップＳ３２４）
　ステップＳ３２４は、ステップＳ３２３の判定処理に基づく分岐ステップである。
　ステップＳ３２４において、ユーザ端末位置が、車両１０のカメラの撮影領域内にあると判定した場合は、ステップＳ３２５に進む。
　一方、ステップＳ３２４において、ユーザ端末位置が、車両１０のカメラの撮影領域内にないと判定した場合は、処理を修了する。
　　（ステップＳ３２５）
　ステップＳ３２４において、ユーザ端末位置が、車両１０のカメラの撮影領域内にあると判定した場合は、ステップＳ３２５に進む。
　この場合、サーバは、ステップＳ３２５において、車両１０の情報処理装置２００から、ユーザ端末保持ユーザに置き換え予定のキャラクタの情報を受信する。
　　（ステップＳ３２６）
　次に、サーバは、ステップＳ３２６において、車両１０の情報処理装置２００から受信したキャラクタ情報をユーザ端末に送信する。
　すなわち、ユーザ端末保持ユーザに置き換え予定のキャラクタの情報を通知する。
　キャラクタ情報を受信したユーザ端末を保持するユーザは、例えば図１１を参照して説明したように自宅で留守番をしている家族に、これから変身するキャラクタを通知して教えるといったことが可能となる。
　このように、キャラクタ情報の送信処理は、サーバ１５０が行う構成としてもよい。
　　［７．情報処理装置、および情報処理システムの構成例について］
　本開示の情報処理装置の実行する処理について説明したが、先に説明したように、情報処理装置は、車両等の移動装置内に構成してもよいし、車両と通信可能な外部のサーバ等の装置に構成してもよい。
　また、上述した各実施例において実行する処理の一部を車両内の情報処理装置において実行し、一部を外部の装置で実行する構成としてもよい。
　図１６に、上述した各実施例に従った処理を行なう場合の情報処理システムの構成例を示す。
　図１６に示す情報処理システム構成例は、上述した各実施例に従った処理を車両１０内の情報処理装置２５０と外部のデータ処理サーバ２６０において実行する構成例である。
　処理の一部、例えばカメラ撮影処理等は、車両１０内の情報処理装置２５０の制御により実行し、撮影画像をデータ処理サーバ２６０に送信し、データ処理サーバ２６０において、カメラ撮影画像からの人物検出やＡＲ画像生成処理を行なう。
　データ処理サーバ２６０は、生成したＡＲ画像を、車両１０の情報処理装置２５０に送信する。車両１０の情報処理装置２５０はデータ処理サーバ２６０から受信したＡＲ画像を表示部に表示する。さらに、外部装置に送信する。
　なお、外部装置に対するＡＲ画像の送信処理もデータ処理サーバ２６０が実行する構成としてもよい。
　なお、車両１０内の情報処理装置２５０の実行する処理と、データ処理サーバ２６０の実行する処理の区分態様は、様々な異なる設定が可能であり、また、１つの処理を双方で並列に実行する構成も可能である。
　　［８．情報処理装置のハードウェア構成例について］
　次に、図１７を参照して、情報処理装置のハードウェア構成例について説明する。
　図１７を参照して説明するハードウェアは、車両内の情報処理装置のハードウェアの構成例であり、また、図１１に示すサーバ１５０やユーザ端末１８０のハードウェア構成の一例でもある。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明した処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。
　なお、車両１０に備えられた情報処理装置の場合、入力部３０６には、カメラ、マイク、各種センサが含まれる。
　また、出力部３０７には、車両１０に備えられた情報処理装置の場合、表示部、音声出力部（スピーカ）が含まれる。
　ＣＰＵ３０１は、入力部３０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
　　［９．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　カメラ撮影画像を入力して、画像内の人物を検出する人物検出部と、
　前記人物検出部の検出した人物の属性を判定する人物属性判定部と、
　前記人物属性判定部の判定結果に応じて、置き換えキャラクタを決定する置き換えキャラクタ決定部と、
　前記画像内の人物画像領域の少なくとも一部を、前記置き換えキャラクタ決定部の決定したキャラクタに置き換えたＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成するＡＲ画像生成部を有する情報処理装置。
　（２）　前記カメラ撮影画像を撮影するカメラは車両の外部を撮影するカメラであり、
　前記ＡＲ画像生成部は、
　車両外部の撮影画像内の人物画像領域の少なくとも一部を、前記置き換えキャラクタ決定部の決定したキャラクタに置き換えたＡＲ画像を生成する（１）に記載の情報処理装置。
　（３）　前記人物検出部は、
　カメラ撮影画像内から、人物の顔領域を検出する（１）または（２）に記載の情報処理装置。
　（４）　前記人物属性判定部は、
　人物の性別、年齢、髪型の少なくともいずれかの情報を含む人物の属性を判定する（１）～（３）いずれかに記載の情報処理装置。
　（５）　前記置き換えキャラクタ決定部は、
　人物属性情報と、置き換えキャラクタに関するキャラクタ情報を対応付けた人物属性対応キャラクタデータベースを参照して置き換えキャラクタを決定する（１）～（４）いずれかに記載の情報処理装置。
　（６）　前記置き換えキャラクタ決定部は、
　前記人物属性判定部の判定結果である人物属性に一致または類似するエントリを、前記人物属性対応キャラクタデータベースから選択し、選択エントリに対応付けて記録されたキャラクタ情報に従って置き換えキャラクタを決定する（５）に記載の情報処理装置。
　（７）　前記置き換えキャラクタ決定部は、
　人物属性情報と、人物に置き換えるキャラクタの識別子を対応付けたデータベースを参照してキャラクタ識別子を取得し、さらに、
　前記キャラクタ識別子とキャラクタ画像を対応付けたキャラクタ画像データベースからキャラクタ画像を取得する（１）～（６）いずれかに記載の情報処理装置。
　（８）　前記置き換えキャラクタ決定部は、
　カメラによる画像撮影を行う場所の雰囲気に応じて選択されるキャラクタ画像を、前記置き換えキャラクタとして決定する（１）～（７）いずれかに記載の情報処理装置。
　（９）　前記ＡＲ画像生成部は、
　前記画像内の人物の顔領域をキャラクタに置き換えたＡＲ画像を生成する（１）～（８）いずれかに記載の情報処理装置。
　（１０）　前記情報処理装置は、
　前記ＡＲ画像生成部の生成したＡＲ画像を表示する表示部を有する（１）～（９）いずれかに記載の情報処理装置。
　（１１）　前記表示部は、画像撮影を行うカメラを装着した車両内に設置された表示部である（１０）に記載の情報処理装置。
　（１２）　前記情報処理装置は、
　前記ＡＲ画像生成部の生成したＡＲ画像を外部に送信する通信部を有する（１）～（１１）いずれかに記載の情報処理装置。
　（１３）　前記情報処理装置は、さらに、
　カメラの撮影領域内にキャラクタ置き換え対象ユーザがいるか否かを判定し、
　ユーザがいる場合、ユーザに適用するキャラクタ画像を前記ユーザが保持するユーザ端末に送信するデータ処理部を有する（１）～（１２）いずれかに記載の情報処理装置。
　（１４）　前記データ処４部は、
　カメラの撮影領域内にキャラクタ置き換え対象ユーザがいるか否かのユーザ有無検出情報を外部サーバから受信する（１３）に記載の情報処理装置。
　（１５）　前記データ処理部は、
　前記外部サーバによる前記情報処理装置の位置と前記ユーザ端末の位置の比較処理に基づいて解析されたユーザ有無検出情報を、前記外部サートバから受信する（１４）に記載の情報処理装置。
　（１６）　情報処理装置において実行する情報処理方法であり、
　人物検出部が、カメラ撮影画像を入力して、画像内の人物を検出する人物検出ステップと、
　人物属性判定部が、前記人物検出部の検出した人物の属性を判定する人物属性判定ステップと、
　置き換えキャラクタ決定部が、前記人物属性判定部の判定結果に応じて、置き換えキャラクタを決定する置き換えキャラクタ決定ステップと、
　ＡＲ画像生成部が、前記画像内の人物画像領域の少なくとも一部を、前記置き換えキャラクタ決定部の決定したキャラクタに置き換えたＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成するＡＲ画像生成ステップを実行する情報処理方法。
　（１７）　情報処理装置に情報処理を実行させるプログラムであり、
　人物検出部に、カメラ撮影画像を入力して、画像内の人物を検出させる人物検出ステップと、
　人物属性判定部に、前記人物検出部の検出した人物の属性を判定させる人物属性判定ステップと、
　置き換えキャラクタ決定部に、前記人物属性判定部の判定結果に応じて、置き換えキャラクタを決定させる置き換えキャラクタ決定ステップと、
　ＡＲ画像生成部に、前記画像内の人物画像領域の少なくとも一部を、前記置き換えキャラクタ決定部の決定したキャラクタに置き換えたＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成させるＡＲ画像生成ステップを実行させるプログラム。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、カメラ撮影画像に含まれる人物をキャラクタ画像に置き換えて表示または送信することでプライバシー侵害のない画像表示や画像送信が実現される。
　具体的には、例えば、車両の外部を撮影するカメラによる撮影画像から人物を検出し、検出した人物の属性、例えば性別、年齢、髪型を判定し、判定した人物属性に応じて、置き換えキャラクタを決定する。さらに、画像内の人物画像領域の少なくとも一部、例えば顔領域を決定したキャラクタに置き換えたＡＲ画像を生成し、生成したＡＲ画像を表示部に表示、または外部装置に送信する。
　本構成により、カメラ撮影画像に含まれる人物をキャラクタ画像に置き換えて表示または送信することでプライバシー侵害のない画像表示や画像送信が実現される。
　　１０　車両
　　１１　表示部
　　１２　カメラ
　　２１　前方表示部
　　２２　左側面表示部
　　２３　右側面表示部
　　８０　サーバ
　　９０　ユーザ端末
　１００　情報処理装置
　１０１　カメラ
　１０２　人物検出部
　１０３　人物属性判定部
　１０４　置き換えキャラクタ決定部
　１０５　ＡＲ画像生成部
　１０６　表示部
　１０７　通信部
　１１０　記憶部
　１１１　人物属性対応キャラクタデータベース
　１１２　キャラクタ画像データベース
　１５０　サーバ
　１５１　制御部（データ処理部）
　１５２　記憶部
　１５３　通信部
　１８０　ユーザ端末
　１８１　制御部（データ処理部）
　１８２　入力部
　１８３　出力部
　１８４　記憶部
　１８５　通信部
　１８６　位置情報取得部
　１９１　外部端末
　２００　情報処理装置
　２０１　制御部（データ処理部）
　２０２　センサ（カメラ、マイク等）
　２０３　通信部
　２０４　入出力部（表示部等）
　２０５　位置情報取得部
　２０６　記憶部
　２５０　情報処理装置
　２６０　データ処理サーバ
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims (17)

  1. 　カメラ撮影画像を入力して、画像内の人物を検出する人物検出部と、
    　前記人物検出部の検出した人物の属性を判定する人物属性判定部と、
    　前記人物属性判定部の判定結果に応じて、置き換えキャラクタを決定する置き換えキャラクタ決定部と、
    　前記画像内の人物画像領域の少なくとも一部を、前記置き換えキャラクタ決定部の決定したキャラクタに置き換えたＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成するＡＲ画像生成部を有する情報処理装置。
  2. 　前記カメラ撮影画像を撮影するカメラは車両の外部を撮影するカメラであり、
    　前記ＡＲ画像生成部は、
    　車両外部の撮影画像内の人物画像領域の少なくとも一部を、前記置き換えキャラクタ決定部の決定したキャラクタに置き換えたＡＲ画像を生成する請求項１に記載の情報処理装置。
  3. 　前記人物検出部は、
    　カメラ撮影画像内から、人物の顔領域を検出する請求項１に記載の情報処理装置。
  4. 　前記人物属性判定部は、
    　人物の性別、年齢、髪型の少なくともいずれかの情報を含む人物の属性を判定する請求項１に記載の情報処理装置。
  5. 　前記置き換えキャラクタ決定部は、
    　人物属性情報と、置き換えキャラクタに関するキャラクタ情報を対応付けた人物属性対応キャラクタデータベースを参照して置き換えキャラクタを決定する請求項１に記載の情報処理装置。
  6. 　前記置き換えキャラクタ決定部は、
    　前記人物属性判定部の判定結果である人物属性に一致または類似するエントリを、前記人物属性対応キャラクタデータベースから選択し、選択エントリに対応付けて記録されたキャラクタ情報に従って置き換えキャラクタを決定する請求項５に記載の情報処理装置。
  7. 　前記置き換えキャラクタ決定部は、
    　人物属性情報と、人物に置き換えるキャラクタの識別子を対応付けたデータベースを参照してキャラクタ識別子を取得し、さらに、
    　前記キャラクタ識別子とキャラクタ画像を対応付けたキャラクタ画像データベースからキャラクタ画像を取得する請求項１に記載の情報処理装置。
  8. 　前記置き換えキャラクタ決定部は、
    　カメラによる画像撮影を行う場所の雰囲気に応じて選択されるキャラクタ画像を、前記置き換えキャラクタとして決定する請求項１に記載の情報処理装置。
  9. 　前記ＡＲ画像生成部は、
    　前記画像内の人物の顔領域をキャラクタに置き換えたＡＲ画像を生成する請求項１に記載の情報処理装置。
  10. 　前記情報処理装置は、
    　前記ＡＲ画像生成部の生成したＡＲ画像を表示する表示部を有する請求項１に記載の情報処理装置。
  11. 　前記表示部は、画像撮影を行うカメラを装着した車両内に設置された表示部である請求項１０に記載の情報処理装置。
  12. 　前記情報処理装置は、
    　前記ＡＲ画像生成部の生成したＡＲ画像を外部に送信する通信部を有する請求項１に記載の情報処理装置。
  13. 　前記情報処理装置は、さらに、
    　カメラの撮影領域内にキャラクタ置き換え対象ユーザがいるか否かを判定し、
    　ユーザがいる場合、ユーザに適用するキャラクタ画像を前記ユーザが保持するユーザ端末に送信するデータ処理部を有する請求項１に記載の情報処理装置。
  14. 　前記データ処４部は、
    　カメラの撮影領域内にキャラクタ置き換え対象ユーザがいるか否かのユーザ有無検出情報を外部サーバから受信する請求項１３に記載の情報処理装置。
  15. 　前記データ処理部は、
    　前記外部サーバによる前記情報処理装置の位置と前記ユーザ端末の位置の比較処理に基づいて解析されたユーザ有無検出情報を、前記外部サートバから受信する請求項１４に記載の情報処理装置。
  16. 　情報処理装置において実行する情報処理方法であり、
    　人物検出部が、カメラ撮影画像を入力して、画像内の人物を検出する人物検出ステップと、
    　人物属性判定部が、前記人物検出部の検出した人物の属性を判定する人物属性判定ステップと、
    　置き換えキャラクタ決定部が、前記人物属性判定部の判定結果に応じて、置き換えキャラクタを決定する置き換えキャラクタ決定ステップと、
    　ＡＲ画像生成部が、前記画像内の人物画像領域の少なくとも一部を、前記置き換えキャラクタ決定部の決定したキャラクタに置き換えたＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成するＡＲ画像生成ステップを実行する情報処理方法。
  17. 　情報処理装置に情報処理を実行させるプログラムであり、
    　人物検出部に、カメラ撮影画像を入力して、画像内の人物を検出させる人物検出ステップと、
    　人物属性判定部に、前記人物検出部の検出した人物の属性を判定させる人物属性判定ステップと、
    　置き換えキャラクタ決定部に、前記人物属性判定部の判定結果に応じて、置き換えキャラクタを決定させる置き換えキャラクタ決定ステップと、
    　ＡＲ画像生成部に、前記画像内の人物画像領域の少なくとも一部を、前記置き換えキャラクタ決定部の決定したキャラクタに置き換えたＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成させるＡＲ画像生成ステップを実行させるプログラム。
PCT/JP2020/039511 2019-12-05 2020-10-21 情報処理装置、および情報処理方法、並びにプログラム WO2021111753A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019220199 2019-12-05
JP2019-220199 2019-12-05

Publications (1)

Publication Number Publication Date
WO2021111753A1 true WO2021111753A1 (ja) 2021-06-10

Family

ID=76221182

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039511 WO2021111753A1 (ja) 2019-12-05 2020-10-21 情報処理装置、および情報処理方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2021111753A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346170A (ja) * 2002-05-28 2003-12-05 Casio Comput Co Ltd 画像配信サーバ、画像配信プログラム、及び画像配信方法
JP2014175704A (ja) * 2013-03-06 2014-09-22 Nec Corp 表示装置、表示方法、及び、プログラム
WO2017047176A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018085584A (ja) * 2016-11-21 2018-05-31 京セラ株式会社 画像処理装置、撮像装置、および表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346170A (ja) * 2002-05-28 2003-12-05 Casio Comput Co Ltd 画像配信サーバ、画像配信プログラム、及び画像配信方法
JP2014175704A (ja) * 2013-03-06 2014-09-22 Nec Corp 表示装置、表示方法、及び、プログラム
WO2017047176A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018085584A (ja) * 2016-11-21 2018-05-31 京セラ株式会社 画像処理装置、撮像装置、および表示システム

Similar Documents

Publication Publication Date Title
US10496890B2 (en) Vehicular collaboration for vehicular blind spot detection
EP3591984A1 (en) Information processing device, information processing method, and program
US11165955B2 (en) Album generation apparatus, album generation system, and album generation method
JP2022535375A (ja) 車室内画像処理
US11057575B2 (en) In-vehicle device, program, and vehicle for creating composite images
JP6582328B2 (ja) 情報出力システム、情報出力方法、及びプログラム
JP2021136666A (ja) 撮像装置、デバイス、制御方法、およびプログラム
WO2019138661A1 (ja) 情報処理装置および情報処理方法
WO2021111753A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2021005576A1 (en) Computing architecture for vehicle hardware and feature virtualization
WO2017051577A1 (ja) 感情誘導システム、および感情誘導方法
CN115696021A (zh) 用于车辆的控制方法、摄像头控制装置、计算设备和车辆
CN115089957A (zh) 车载游戏的控制方法、设备、存储介质及程序产品
KR20180137724A (ko) 음성 인식에 기반한 영상 공유 장치 및 그를 이용한 영상 공유 시스템
JP6917426B2 (ja) 画像表示装置、画像表示方法、および、画像表示システム
KR20180035452A (ko) 차량에 탑재된 인포테인먼트 시스템 및 그 구동 방법
CN114127815A (zh) 停车中图像利用系统
WO2024150698A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11740773B2 (en) Information processing device and method
WO2024069779A1 (ja) 制御システム、制御方法、および記録媒体
US20240087339A1 (en) Information processing device, information processing system, and information processing method
JP7124823B2 (ja) 情報処理装置、情報処理方法、及び情報処理システム
WO2020049977A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2023095046A (ja) 情報処理システム
JP2006107281A (ja) コミュニケーション支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20896981

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20896981

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP