WO2021019987A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2021019987A1
WO2021019987A1 PCT/JP2020/025269 JP2020025269W WO2021019987A1 WO 2021019987 A1 WO2021019987 A1 WO 2021019987A1 JP 2020025269 W JP2020025269 W JP 2020025269W WO 2021019987 A1 WO2021019987 A1 WO 2021019987A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data processing
information
recording
information processing
Prior art date
Application number
PCT/JP2020/025269
Other languages
English (en)
French (fr)
Inventor
俊允 上坂
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/628,859 priority Critical patent/US20220256098A1/en
Publication of WO2021019987A1 publication Critical patent/WO2021019987A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Definitions

  • This disclosure relates to an information processing device, an information processing method, and a program. More specifically, the present invention relates to an information processing device that executes recording of performances performed in a public plaza such as a park, an information processing method, and a program.
  • a video recording plaza with a camera and a microphone installed in a public place such as a park can be set up so that anyone can use it.
  • Patent Document 1 International Publication WO2015 / 136796.
  • Patent Document 1 International Publication WO2015 / 136796.
  • the image of the server is spread even if the image of the server is spread by executing image processing such as blackening the human area and transferring the image to the server. It discloses a structure that makes it impossible to identify an individual.
  • This disclosure is made in view of the above problems, for example, and is an information processing device capable of performing performance shooting of a performer in a public place without infringing on the privacy of many people passing by. It also provides information processing methods and programs.
  • the first aspect of the disclosure is It has a data processing unit that inputs captured images and performs image processing.
  • the data processing unit It is in an information processing apparatus that executes image processing that changes a predetermined partial area in the captured image into an image that cannot be identified.
  • the second aspect of the present disclosure is An information system that has a user terminal and a recording system.
  • the recording system is A data processing unit that inputs captured images and performs image processing, It has a short-range communication unit with a limited communicable area,
  • the data processing unit Image processing area designation information is input from the user terminal via the short-range communication unit, Based on the input information, there is an information processing system that executes image processing that changes a part of the captured image into an image that cannot be identified according to the image processing area designation information.
  • the third aspect of the present disclosure is It is an information processing method executed in an information processing device.
  • the information processing device It has a data processing unit that inputs captured images and performs image processing.
  • the data processing unit The present invention is an information processing method for executing image processing for changing a predetermined part of a captured image into an unidentifiable image.
  • the fourth aspect of the present disclosure is It is an information processing method executed in an information processing system having a user terminal and a recording system.
  • the recording system is A data processing unit that inputs captured images and performs image processing, It has a short-range communication unit with a limited communicable area,
  • the data processing unit Image processing area designation information is input from the user terminal via the short-range communication unit,
  • the fifth aspect of the present disclosure is A program that executes information processing in an information processing device.
  • the information processing device It has a data processing unit that inputs captured images and performs image processing.
  • the program is installed in the data processing unit.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a device and a method that enable performance shooting without causing infringement of portrait rights and privacy are realized.
  • it has a data processing unit that inputs an image captured by a camera and performs image processing, and the data processing unit personally sets a human image area included in a predetermined partial area in the captured image. Change to an unidentifiable image.
  • a blurring process is executed. The area to be blurred is determined based on the information input from the user terminal via the short-range communication unit, and after the area determination process is completed, the area is determined according to the recording start request input from the user terminal via the short-range communication unit. Start the recording process.
  • FIG. 1 shows a public plaza such as a park that can be used by an unspecified number of people.
  • the user 10 can record the performance by using the recording system 30 installed in the public plaza.
  • the recording system 30 has a camera 31a, a microphone (array) 31b, and various other sensors (temperature sensor, vibration sensor, etc.) 31c, and records information acquired from these sensors (including the camera and microphone). To do.
  • the recorded data includes the image and sound of the performer, as well as the acquired information of the temperature sensor and the sensor acquired information of the vibration sensor.
  • image will be described as having a meaning including not only a still image but also a moving image.
  • the user 10 has a user terminal 20 such as a smartphone, and uses the user terminal 20 to execute short-range communication with the recording system 30 to control the operation of the recording system 30, for example, recording start / end processing. You can make requests, set and adjust the camera and microphone.
  • a user terminal 20 such as a smartphone
  • the user terminal 20 transmits a recording start request to the recording system 30.
  • the recording system 30 receives the recording start request from the user terminal 20, the recording system 30 makes an inquiry to the data processing server 50 in order to confirm whether or not the user 10 is a user who holds the right to use the recording system.
  • the data processing server 50 When the data processing server 50 receives an inquiry from the recording system 30, the data processing server 50 confirms whether or not the user 10 is a user registered in the user information database held by the data processing server 50. Only when it is confirmed that the user 10 is a user registered in the user information database held by the data processing server 50, the user 10 can perform the recording process using the recording system 30.
  • the user terminal 20 transmits a recording end process request to the recording system 30.
  • the recording system 30 receives the recording end request from the user terminal 20, the recording system 30 transmits the recording data stored in the storage unit of the recording system 30 to the data processing server 50.
  • the recording system 30 deletes the recorded data in the storage unit of the recording system 30.
  • the data processing server 50 stores the recorded data in the recording information database held by the data processing server 50. At a later date, the user 10 can access the recorded information database held by the data processing server 50 to view or download the recorded data. The specific sequence of these processes will be described later.
  • the user 10 has a user terminal 20 such as a smartphone, and uses the user terminal 20 to execute short-range communication with the recording system 30 to control the operation of the recording system 30, for example. You can request recording start and end processing, and adjust camera and microphone settings.
  • FIG. 2 shows an example of an area where short-range communication is possible between the user terminal 20 and the recording system 30, that is, an area 33 where short-range communication is possible.
  • the communication between the user terminal 20 and the recording system 30 is executed as short-range communication via the short-range communication unit 32 of the recording system 30.
  • wireless LAN WLAN: Wireless LAN
  • Wi-Fi communication Wi-Fi
  • Bluetooth (registered trademark) (BT) communication or the like is executed.
  • the short-range communicable area 33 is a limited area including, for example, a performance photographable area in a public plaza. That is, when the user is away from the public plaza, he / she cannot communicate with the recording system 30, and cannot execute processing such as a recording start request. Only when the user 10 is in the performance photographing area in the public plaza, the user terminal 20 can communicate with the recording system 30 to start recording, set a camera and a microphone, and the like.
  • FIG. 3 shows the configurations of the components constituting the information processing system of the present disclosure, that is, the user terminal 20 such as a smartphone, the recording system 30 installed in the public plaza, and the data processing server 50 configured as, for example, a cloud system. It is a figure which shows an example.
  • the recording system 30 includes a sensor (camera, microphone, etc.) 31, a short-range communication unit 32, a control unit (data processing unit) 33, a communication unit 34, and a storage unit 35.
  • the sensor (camera, microphone, etc.) 31 is composed of various sensors such as a camera, a microphone, a temperature sensor, and a vibration sensor installed in a public plaza.
  • the microphone has a configuration in which only sound in a specific direction can be selectively acquired by, for example, beamforming processing. Further, it has a microphone array configuration (microphone array configuration) capable of individually detecting sounds in different directions.
  • the senor 31 is not limited to a sensor that senses physical information, but a receiver that can be accessed by a person (audience) present in a public plaza space and transmit information such as performance evaluation is used as a sensor. It may be configured to include. That is, it is a sensor as a receiver for the audience to transmit the evaluation information for the performer from a terminal such as a smartphone and receive the transmitted information. Specifically, for example, the audience activates a specific application (application using a recording system) on a smartphone, inputs evaluation information, and transmits the evaluation information. The receiver (sensor) receives this transmission data.
  • a specific application application using a recording system
  • the short-range communication unit 32 executes short-range communication used for communication with the user terminal 20. For example, communication processing using wireless LAN (WLAN: Wireless LAN) such as Wi-Fi communication, Bluetooth (registered trademark) (BT) communication, etc. is executed. As described above with reference to FIG. 2, communication is possible only within a specific area of a public plaza where performance recording is possible, for example.
  • WLAN Wireless LAN
  • BT registered trademark
  • the control unit (data processing unit) 33 is a data processing unit that performs various processes executed by the recording system 30. It executes communication control with the user terminal 20 and the data processing server 50, recording processing, adjustment of various sensors (camera, microphone, etc.), control processing, and the like. It should be noted that these processes are executed according to, for example, the program stored in the storage unit 35.
  • the control unit (data processing unit) 33 has a configuration including a processor having a program execution function such as a CPU.
  • the communication unit 34 performs communication via, for example, the Internet, which is used for communication with the data processing server 50.
  • the storage unit 35 is used as a storage area for recorded data. It is also used as a storage area for sensor setting data and parameters. It is also used as a storage area for various processing programs executed by the control unit (data processing unit) 33 and as a work area for executing various processes.
  • the user terminal 20 such as a smartphone owned by the user such as a performer
  • the user terminal 20 has a control unit (data processing unit) 21, a communication unit 22, a short-range communication unit 23, a storage unit 24, and an input / output unit 25.
  • the control unit (data processing unit) 21 is a data processing unit that performs various processes executed by the user terminal 20. Processing control such as communication control with the recording system 30 and the data processing server 50, setting of the camera and microphone at the time of recording processing, UI display processing for adjustment processing, transmission processing of user setting information to the recording system 30, etc. To execute. It should be noted that these processes are executed according to, for example, the program stored in the storage unit 24.
  • the control unit (data processing unit) 21 is configured to include a processor having a program execution function such as a CPU.
  • the communication unit 22 performs communication via the Internet, a telephone line, or the like, which is used for communication with the data processing server 50.
  • the short-range communication unit 23 executes short-range communication used for communication with the recording system 30. For example, communication processing using wireless LAN (WLAN: Wireless LAN) such as Wi-Fi communication, Bluetooth (registered trademark) (BT) communication, etc. is executed. As described above with reference to FIG. 2, communication is possible only within a specific area of a public plaza where performance recording is possible, for example.
  • WLAN Wireless LAN
  • BT registered trademark
  • the storage unit 24 is used as a storage area for various processing programs executed by the control unit (data processing unit) 21 and a work area for executing various processes. Further, it is also used as a storage area for various parameters such as ID information of users and user terminals.
  • the input / output unit 25 is composed of a display unit, an audio output unit, an input unit, and the like.
  • it is composed of a liquid crystal display, a speaker, a microphone, various operation switches, a touch panel, and the like.
  • the data processing server 50 includes a control unit (data processing unit) 51, a communication unit 52, and a storage unit 53.
  • the control unit (data processing unit) 51 is a data processing unit that performs various processes executed by the data processing server 50. It executes control such as communication control with the recording system 30 and the data processing server 50, confirmation of user registration information at the time of executing recording processing, storage processing of recorded data, and processing for a download request of recorded data from the user terminal 20. It should be noted that these processes are executed according to, for example, the program stored in the storage unit 53.
  • the control unit (data processing unit) 51 is configured to include a processor having a program execution function such as a CPU.
  • the communication unit 22 performs communication using, for example, the Internet or a telephone line, which is used for communication with the recording system 30 and the user terminal 20.
  • the storage unit 23 is used as a storage area for recorded data and a storage area for user information. Further, it is also used as a storage area for various processing programs executed by the control unit (data processing unit) 21 and a work area for executing various processes.
  • a plurality of databases are stored in the storage unit 53 of the data processing server 50.
  • a database stored in the storage unit 53 of the data processing server 50 will be described with reference to FIG. 4 and the following.
  • the following database is stored in the storage unit 53 of the data processing server 50.
  • User information database 101 Square information database 102
  • Recording information database 103 The stored data of each of these databases will be described with reference to FIG. 5 and below.
  • the user information database 101 is a database that records registration information of a user who intends to perform recording using the recording system 30.
  • a user who intends to perform recording using the recording system 30 accesses the data processing server 50 in advance using the user terminal 20 and transmits user information before recording.
  • the data processing server 50 registers the data received from the user terminal 20 in the user information database 101.
  • the plaza information database 102 is a database in which information on plazas capable of recording processing using the recording system 30 is registered. For example, facility information of each plaza is registered. A user who intends to perform recording using the recording system 30 can access the data processing server 50 using the user terminal 20 and browse the registered information in the open space information database 102.
  • the recording information database 103 is a database in which a place and a date and time when recording processing is performed using the recording system 30, and access information for acquiring recorded data and the like are registered.
  • a user who has recorded using the recording system 30 can access the data processing server 50 using the user terminal 20 and browse the recorded data using the access information stored in the recording information database 103. Therefore, the recorded data can be downloaded to the user terminal 20.
  • FIG. 5 is a diagram showing an example of stored data of the user information database 101 stored in the storage unit 53 of the data processing server 50. As shown in FIG. 5, in the user information database 101, the following data are associated with each data entry and stored.
  • A User ID
  • B User name
  • c Email address
  • d Service usage plan
  • e Remaining available times
  • f Password hash
  • the user ID is a unique ID assigned to the user.
  • the user name is the name registered by the user at the time of service use registration.
  • the e-mail address is a contact e-mail address registered by the user at the time of service use registration.
  • the service usage plan indicates the type of service that the user subscribes to. For example, “Free” is a plan that can be used free of charge and uses the recording system 30 per month. This is a usage plan with a limited number of times. "Premium” is a paid plan, and the number of times the recording system 30 is used per month is unlimited.
  • the remaining usable number of times is the number of times that the user can use the recording system 30 remaining.
  • the password hash is data in which the password registered by the user at the time of registration is encrypted.
  • the open space ID is a unique ID assigned to the open space where the recording system 30 is installed.
  • the square name is the name of the square in which the recording system 30 is installed.
  • the wide location location is the location (longitude / latitude information) of the plaza where the recording system 30 is installed.
  • the plaza facility information is the facility information of the recording system of the plaza where the recording system 30 is installed.
  • Square floor plan access information is access information for viewing the guide information and the floor plan of the square in which the recording system 30 is installed.
  • the recording ID is a unique ID assigned to each recording process of the recording system 30 by the user.
  • the recording user name is a unique ID of the user who recorded. The same value as the "user ID" in the user registration information table is registered.
  • the recording plaza ID is a unique ID of the plaza where the recording was performed.
  • the recording date and time is the execution date and time of the recording process.
  • the recorded data access information is the access information of the recorded data including the actually recorded audio data and the moving image data.
  • the recorded data may include sensing data such as spectator evaluation information and spectator excitement.
  • a user who intends to perform recording using the recording system 30 in the public plaza first accesses the data processing server 50 and registers the user. After that, the plaza for recording, that is, the plaza where the recording system 30 is installed is searched, and the place for recording is determined. After that, short-range communication between the user terminal 20 and the open space system 30 is executed, sensors such as a camera and a microphone are set, and then recording is executed. After the recording is completed, the data transmitted (uploaded) from the recording system 30 to the data processing server 50 can be viewed or downloaded on the user terminal 20.
  • a user who intends to execute recording using the recording system 30 in the public plaza first accesses the data processing server 50 and registers the user. This process is executed by inputting the information for registering in the user information database described above with reference to FIG. 5 into the user terminal 20 and transmitting the information to the data processing server 50.
  • the user searches a plaza for recording, that is, a plaza in which the recording system 30 is installed, and determines a place for recording.
  • a plaza for recording that is, a plaza in which the recording system 30 is installed
  • the registration information of the open space information database of the data processing server 50 is browsed from the user terminal 20, and then the usage right is acquired by using the browsing data.
  • FIG. 7 shows an example of the UI (user interface) displayed on the user terminal when the square search and the square usage right acquisition process are executed.
  • the UI for (a) square search and usage right acquisition shown in FIG. 7 is a UI displayed by accessing the square information database of the data processing server 50 from the user terminal 20.
  • the information registered in the open space information database is displayed on the user terminal 20.
  • Shinagawa Ward As information on the plaza The equipment information of the recording system is displayed, and further, the distance information (50 m) from the current location, the icon (button) for requesting the sketch display, and the operation icon for "access, acquisition of usage right" are displayed.
  • This sketch is data that is accessed according to the "square sketch access information" previously recorded in the (2) square information database of FIG.
  • the user can know detailed information such as camera arrangement and microphone arrangement by referring to this sketch.
  • the usage right acquisition process is executed by accessing the recording system 30 in the plaza from the user terminal 20. This process can be started by touching the operation icon for "access, acquisition of usage right" in the UI shown in FIG. 7.
  • the user terminal 20 When the user touches the operation icon for "access, acquisition of usage right", the user terminal 20 starts short-range communication with the recording system 30 in the public plaza.
  • short-range communication between the user terminal 20 and the recording system 30 has a limited communicable range, and communication is performed when the user terminal 20 is not within the communicable range. It becomes impossible and the right to use the plaza cannot be obtained.
  • FIG. 7 (b) Successful pop-up for acquiring the right to use is displayed.
  • the figure is shown in the figure. 7 (c) A pop-up as shown in the usage right acquisition failure pop-up is displayed.
  • a pop-up as shown in FIG. 7 (b) Successful use right acquisition pop-up is displayed on the user terminal 20, and when the user acquires the open space usage right, the user then moves a short distance between the user terminal 20 and the recording system 30. Perform communication and make various settings for recording processing.
  • An example of data displayed on the user terminal 20 when this process is executed will be described below with reference to FIG.
  • FIG. 9 is an example of a screen displayed when the start process of the recording process and the end process of the recording process are performed.
  • To perform the start processing of the recording process operate (touch) the recording start instruction icon, and to complete the recording process, operate (touch) the recording end instruction icon.
  • the blur filter application / non-application area setting process for the human image included in the captured image and the audio acquisition area setting process which will be described with reference to FIG. Is required. If these processes are not executed, recording will not start even if the recording start instruction icon is operated (touched).
  • the user adjusts the camera by using the screen shown in FIG.
  • the recording system 30 has a plurality of cameras
  • the captured images of each camera are displayed.
  • the user can adjust the camera direction, zoom settings, etc. while viewing the images taken by each camera.
  • FIG. 10 is a setting screen for blurring images of surrounding people other than the performer user 10. If the images of people around you other than the performer user 10 are recorded as captured images, the portrait rights and privacy of the people around you will be infringed if the recorded data stored in the data processing server 50 is leaked. there is a possibility.
  • FIG. 10 is a UI for determining an area that is not subjected to the blurring process by the filter.
  • the area inside the dotted line area shown in FIG. 10 is an area that is not subjected to the blurring process by the filter, and the area outside the dotted line area is set as the area that is subjected to the blurring process by the filter.
  • the image to be blurred is basically only the human area in the surrounding area.
  • the user (performer) 10 can change the size and shape of the dotted line area shown in FIG. 10, and can freely adjust the application / non-application area of the blur filter.
  • the blur filter application area and the non-application area are adjusted for each camera.
  • the captured image of each camera is displayed small on the right side of the display area, and the user selects one camera image from this and displays it on the main screen display area on the left side, and sets the blur filter. Change the size and shape of the dotted area, which is a division, and set it.
  • the user determines the application area and the non-application area of the blur filter for all the images captured by the camera. If this process is not completed, it is not possible to shift to the shooting process.
  • the determination information is recorded in the storage unit 35 of the recording system 30.
  • the control unit (data processing unit) 33 of the recording system 30 detects a human image from the image in the blur filter application area for each captured image of each camera, and applies a blur filter to the detected human image to apply an individual. Record the image processed image as a human image blurred to a level that cannot be specified.
  • the detection of the human area can be executed by, for example, collation processing with a pattern image, human detection processing using learning data, for example, processing to which semantic segmentation or the like is applied.
  • Semantic segmentation is an image based on the degree of matching between object identification dictionary data (learned data) that registers various actual object shape information and other feature information, and objects in, for example, camera-captured images. This is a technique for identifying which object category each of the constituent pixels (pixels) belongs to. This semantic segmentation allows the types of various objects contained in the camera-captured image, such as people, cars, buildings, roads, etc., to be identified.
  • the target of the blurring process is not limited to the human area, but may be the entire application area of the blurring filter.
  • the human area, the character area, the signboard, and other object areas that may cause privacy or copyright problems may be set as the blur filter application area for processing.
  • an image process may be performed to make the display mode in which the actual object cannot be discriminated by a fill process, a pattern image superimposition process, or the like.
  • the display data shown in FIG. 12 is a screen for setting an audio acquisition area by the microphone of the recording system 30.
  • the microphone of the recording system 30 has a configuration in which sound in a specific direction can be selectively acquired by, for example, beamforming processing. Sounds other than the selected direction are hardly acquired and are not recorded. This process is also a process for not recording the voice of a passerby other than the performer. That is, it is a process for preventing privacy infringement. However, when acquiring the audio of the audience watching the performance of the user (performer), the area where the audience exists is set to the audio acquisition area.
  • the user can freely set and change the voice acquisition area by using the display screen shown in FIG.
  • the inside of the dotted line area in the display screen shown in FIG. 12 is the sound acquisition area.
  • the area outside the dotted line area is outside the sound acquisition area, and almost no sound outside the dotted line area is recorded.
  • the user can freely set and change the voice acquisition area by changing the size and shape of the dotted line area by using the display screen shown in FIG.
  • the determination information is recorded in the storage unit 35 of the recording system 30.
  • the control unit (data processing unit) 33 of the recording system 30 executes beamforming processing of the microphone or the like according to the setting information recorded in the storage unit 35 to acquire the sound of only the sound acquisition area set by the user. Perform microphone adjustment.
  • the user When the division setting of the application area and the non-application area of the blur filter for the captured image described with reference to FIGS. 10 and 11 and the setting of the audio acquisition area described with reference to FIG. 12 are completed, the user records. Can be started. Recording is started by operating (touching) the recording start instruction icon (REC button) on the screen described above with reference to FIG. 9.
  • the recording start instruction icon (REC button) displayed on the user terminal 20 When the user operates (touches) the recording start instruction icon (REC button) displayed on the user terminal 20, this operation information is transmitted to the recording system 30 by short-range communication.
  • the control unit 33 of the recording system 30 When the recording system 30 receives the operation (touch) information of the recording start instruction icon (REC button), the control unit 33 of the recording system 30 starts the recording process and records the recorded data in the storage unit 35.
  • this operation information is transmitted to the recording system 30 by short-range communication.
  • the control unit 33 of the recording system 30 ends the recording process.
  • control unit 33 of the recording system 30 transmits (uploads) the recorded data recorded in the storage unit 35 to the data processing server 50.
  • the control unit 33 of the recording system 30 transmits (uploads) all the recorded data recorded in the storage unit 35 to the data processing server 50, the control unit 33 deletes the data from the storage unit 35.
  • the image of the recorded data transmitted (uploaded) to the data processing server 50 is an image after the blur filter is applied to the human image in the blur filter application area. That is, all the images of people in the blur filter application area are blurred images at a level that cannot be personally identified. Further, the voice of the recorded data transmitted (uploaded) to the data processing server 50 is voice data in which the surrounding sounds outside the voice acquisition area are hardly recorded.
  • the recording system 30 of the present disclosure requests that the blur application area / non-application area of the image be set and the audio acquisition area be set before the start of recording, and these non-settings are executed. It is a configuration that allows the start of recording on condition that it has been done. With this configuration, the images and sounds of people other than performers are processed to a level that cannot be distinguished from the recorded data, and even if the recorded data leaks or spreads, personal portrait rights and privacy are infringed. No problem occurs.
  • the data processing server 50 stores the recorded data in the storage unit 53 of the data processing server 50, and further, the destination Register in the recording information database described with reference to FIG.
  • FIG. 13 shows an example of the display data displayed on the user terminal 20 during the viewing / downloading process of the recorded data.
  • thumbnails of images taken by the camera are displayed on the display unit of the user terminal 20 as information on the recorded data according to the recording date and time and the recording location, and further, sample audio of the recorded audio is output. It is a possible configuration. Further, if the evaluation data of the audience is acquired at the time of recording, the evaluation data is also displayed.
  • the recorded data stored in the storage unit 53 of the data processing server 50 can be downloaded to the user terminal 20.
  • 14 to 16 are sequence diagrams for explaining the processing sequence of the information processing system of the present disclosure.
  • the user terminal 20, the recording system 30, and the data processing server 50 are shown from the left.
  • step S11 to step S25 shown in FIGS. 14 to 15 show a series of processes from the acquisition right of the plaza, the preset process before the start of recording, the recording start process, and the recording end process.
  • steps S31 to S38 shown in FIG. 16 show a series of processes of viewing and downloading the recorded data stored in the data processing server 50 by the user terminal after recording.
  • Step S11 First, in step S11, the user terminal 20 requests the recording system 30 to acquire the open space usage right (recording system usage right).
  • the display screen of FIG. 7A described above with reference to FIG. 7, that is, the “square search and usage right acquisition UI” shown in FIG. 7A is displayed on the user terminal 20. This is the process to be executed.
  • the (a) square search and usage right acquisition UI shown in FIG. 7 is displayed by accessing the square information database of the data processing server 50 from the user terminal 20. It is a UI. The information registered in the open space information database is displayed on the user terminal 20.
  • the user terminal 20 When the user touches the operation icon for "access, acquisition of usage right", the user terminal 20 starts short-range communication with the recording system 30 in the public plaza.
  • short-range communication between the user terminal 20 and the recording system 30 has a limited communicable range, and communication is performed when the user terminal 20 is not within the communicable range. It becomes impossible and the right to use the plaza cannot be obtained.
  • the recording system 30 receives the request for acquiring the square usage right (recording system usage right) from the user terminal 20.
  • the open space usage right acquisition request data transmitted from the user terminal 20 during this processing includes a user ID recorded in the storage unit of the user terminal 20 and a password registered in advance in the data processing server 50. This data acquisition and transmission process is executed according to the program included in the application (application using the recording system) being executed on the user terminal.
  • Step S12 In step S11, when the recording system 30 receives the request for acquiring the plaza usage right from the user terminal 20, the recording system 30 gives the data processing server 50 the plaza usage right (recording system usage right) in step S12. Sends a judgment request as to whether or not the user has.
  • the user 10 when using the recording system 30, the user 10 needs to register the user in the data processing server 50 in advance.
  • the data transmitted by the recording system 30 to the data processing server 50 in step S12 is data including the user ID and password received from the user terminal 20.
  • Step S13 the data processing server 30 that has received the user's open space usage right (recording system usage right) presence / absence determination request from the recording system 30 executes the determination process of whether or not the user has the open space usage right in step S13. To do.
  • This process is a process of determining whether or not the user ID and password received from the user terminal 20 via the recording system 30 match the data registered in the user information database, and the process of using the plaza is already for another user. It is executed by the process of checking whether it is given to.
  • the square usage right (recording system usage right) is given to the user only when the received user ID and password match the data registered in the user information database and the square usage right has not already been given to other users. Will be.
  • the square usage right (the square usage right) ( Recording system usage right) is not given.
  • step S14 the data processing server 50 notifies the recording system 30 of the result of the square use right (recording system use right) presence / absence determination process of the user in step S13.
  • Step S15 the recording system 30 notifies the user terminal 20 of the result of the user's open space usage right (recording system usage right) presence / absence determination process received from the data processing server 50.
  • the process ends.
  • the user further searches for another square, performs the process from step S11 for that square, and requests the acquisition of the usage right.
  • Step S16 When it is determined that the user has the right to use the open space (right to use the recording system), the user executes the recording environment setting process using the user terminal 20.
  • the user terminal 20 executes short-range communication with the recording system 30 to execute the recording environment setting process.
  • This process corresponds to the process with which FIGS. 9 to 12 were previously referred to.
  • the user adjusts the camera by using the screen shown in FIG.
  • the recording system 30 has a plurality of cameras
  • the captured images of each camera are displayed.
  • the user can adjust the camera direction, zoom settings, etc. while viewing the images taken by each camera.
  • the user sets a blur filter application area to which the blur processing by the filter described above with reference to FIGS. 10 and 11 is applied and a blur filter non-application area to which the blur processing is not applied.
  • the blurring process is basically executed only for the human area in the blurring filter application area.
  • the user sets the voice acquisition area described above with reference to FIG. These setting information are transmitted to the recording system 30 by short-range communication.
  • Step S17 the recording system 30 refers to the recording environment setting information received in step S16, and performs a process of adjusting the recording environment according to the user setting.
  • the control unit (data processing unit) 33 of the recording system 30 uses the image in the blur filter application area as a human image for each image taken by each camera. Is detected, a blur filter is applied to the detected human image to obtain a human image blurred to a level at which an individual cannot be identified, and processing settings are made to perform image processing and record processing. Further, the microphone is adjusted so as to acquire the sound of only the sound acquisition area set by the user by executing the beamforming process of the microphone or the like.
  • the blurring processing target is not limited to the human area, but may be the entire application area of the blurring filter.
  • a predetermined specific object area such as a human area and a character area may be set as a blur filter application area for processing.
  • an image process may be performed to make the display mode in which the actual object cannot be discriminated by a fill process, a pattern image superimposition process, or the like.
  • Step S18 When the recording environment setting process is completed in steps S16 to S17, the process proceeds to step S18.
  • the user terminal 20 transmits a recording start request to the recording system 30.
  • Recording is started by operating (touching) the recording start instruction icon (REC button) on the screen described above with reference to FIG. 9.
  • this operation information is transmitted to the recording system 30 by short-range communication.
  • Step S19 When the recording system 30 receives the operation (touch) information of the recording start instruction icon (REC button), the recording system 30 starts the recording process in step S19 and records the recorded data in the storage unit 35.
  • Step S20 After that, the user terminal 20 transmits the recording end request to the Shuroku system 30 in step S20.
  • This process is executed by a process in which the user operates (touches) the recording stop instruction icon displayed on the user terminal 20 described above with reference to FIG. 9.
  • this operation information is transmitted to the recording system 30 by short-range communication.
  • Step S21 When the recording system 30 receives the operation (touch) information of the recording stop instruction icon, the recording system 30 ends the recording process in step S21.
  • Step S22 When the recording process is completed in step S21, the recording system 30 then transmits (uploads) the recorded data recorded in the storage unit 35 to the data processing server 50 in step S22.
  • the image of the recorded data transmitted (uploaded) to the data processing server 50 is an image after the blur filter is applied to the human image in the blur filter application area. That is, all the images of people in the blur filter application area are blurred images at a level that cannot be personally identified. Further, the voice of the recorded data transmitted (uploaded) to the data processing server 50 is voice data in which the surrounding sounds outside the voice acquisition area are hardly recorded.
  • the recording system 30 deletes the data from the storage unit 35.
  • Step S23 When the recorded data is transmitted (uploaded) from the recording system 30 to the data processing server 50 in step S22, the data processing server 50 stores the recorded data in the storage unit 53 of the data processing server 50 in step S23.
  • the data processing server 50 adds an entry corresponding to the newly recorded recorded data to the recorded information database described above with reference to FIG. 6, and provides an attribute report regarding the recorded data such as the date and time and location of the recorded data. To register.
  • Step S24 When the storage process of the recorded data by the data processing server 50 and the information registration in the recorded information database are completed, the data processing server 50 transmits a completion notification of the recorded data storage process to the recording system 30 in step S24.
  • step S24 the recording system 30 that has received the recorded data storage processing completion notification from the data processing server 50 notifies the user terminal 20 in step S25 that the storage processing of the recorded data in the data processing server 50 has been completed. ..
  • the recorded data stored in the data processing server 50 is processed to a level at which the images and sounds of people other than the performer cannot be discriminated, and even if the recorded data leaks or spreads, it is an individual. There are no problems such as portrait rights or invasion of privacy.
  • the data processing server 50 stores the recorded data in the storage unit 53 of the data processing server 50, and further, the destination Register in the recording information database described with reference to FIG.
  • the user 10 can access the recorded information database of the data processing server 50 by using the user terminal 20 to view and download the recorded data.
  • Step S31 First, in step S31, the user terminal 20 transmits a square usage history browsing request to the data processing server 50. This request includes a user ID.
  • Step S32 the data processing server 50 that receives the open space usage history browsing request from the user terminal 20 searches the recording information database using the user ID included in the user's open space usage history browsing request as a search key, and searches the recorded information database for the user ID. Select the matching entry of to get the user's open space usage history information.
  • step S33 the data processing server 50 transmits the user's open space usage history information acquired from the recorded information database in step S32 to the user terminal.
  • step S34 the user terminal 20 displays the user's open space usage history information received from the data processing server 50 on the user terminal.
  • This display data corresponds to, for example, the display data described above with reference to FIG. As shown in FIG. 13, thumbnails of images taken by the camera are displayed on the display unit of the user terminal 20 as information on the recorded data according to the recording date and time and the recording location, and further, sample audio of the recorded audio is output. It is a possible configuration. Further, if the evaluation data of the audience is acquired at the time of recording, the evaluation data is also displayed. In addition, the "Download recorded data" icon is also displayed.
  • Step S35 Next, the user terminal 20 transmits a download request for recorded data to the data processing server 50.
  • This process is executed by the process of operating (touching) the "download recorded data” icon described with reference to FIG.
  • By operating (touching) the "download recorded data” icon a download request for recorded data is transmitted to the data processing server 50.
  • Step S36 the data processing server 50 that has received the recording data download request from the user terminal 20 acquires the recorded data specified by the user from the storage unit in step S36.
  • Step S37 the data processing server 50 that has acquired the recorded data specified by the user from the storage unit then transmits the recorded data acquired in step S37 to the user terminal 20.
  • Step S38 Finally, the user terminal 20 that has received the recorded data from the data processing server 50 executes a process of reproducing the recorded data in the user terminal 20 or storing the recorded data in the storage unit in step S38.
  • FIG. 17 is an example of the hardware configuration of the information processing apparatus constituting each of the recording system 30, the user terminal 20, and the data processing server 50.
  • the hardware configuration shown in FIG. 17 will be described.
  • the CPU (Central Processing Unit) 301 functions as a data processing unit that executes various processes according to a program stored in the ROM (Read Only Memory) 302 or the storage unit 308. For example, the process according to the sequence described in the above-described embodiment is executed.
  • the RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301. These CPU 301, ROM 302, and RAM 303 are connected to each other by a bus 304.
  • the CPU 301 is connected to the input / output interface 305 via the bus 304, and the input / output interface 305 has an input unit 306 composed of various sensors, a camera, a switch, a keyboard, a mouse, a microphone, etc., and an output unit 307 composed of a display, a speaker, and the like. Is connected.
  • the storage unit 308 connected to the input / output interface 305 is composed of, for example, a hard disk or the like, and stores programs executed by the CPU 301 and various data.
  • the communication unit 309 functions as a transmission / reception unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • the drive 310 connected to the input / output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and records or reads data.
  • a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • the technology disclosed in the present specification can have the following configuration. (1) It has a data processing unit that inputs captured images and performs image processing.
  • the data processing unit An information processing device that executes image processing that changes a predetermined partial area in the captured image into an unidentifiable image.
  • the data processing unit The information processing apparatus according to (1), which executes image processing for changing a human image area included in the partial area into an image that cannot be personally identified.
  • the data processing unit The information processing apparatus according to (1) or (2), which executes a blurring process on a human image area included in the partial area.
  • the information processing device is It has a short-range communication unit with a limited communicable area,
  • the information processing apparatus according to any one of (1) to (4), wherein the partial area to be image-processed is an area determined based on information input from an external terminal via the short-range communication unit.
  • the data processing unit After determining the partial area to be image-processed based on the information input from the external terminal via the short-range communication unit, The information processing device according to (5), wherein the recording process is started in response to a recording start request input from the external terminal via the short-range communication unit.
  • the data processing unit Until the process of determining the partial area to be image processed is completed based on the information input from the external terminal via the short-range communication unit.
  • the information processing apparatus according to (5) or (6), wherein the recording process is not executed even if a recording start request is input from the external terminal via the short-range communication unit.
  • the data processing unit The information processing apparatus according to any one of (1) to (7), which stores the image processed by the image processing in the storage unit.
  • the data processing unit The information processing device according to (8), wherein the image stored in the storage unit is transmitted to an external device, and after transmission, a process of deleting the data stored in the storage unit is executed.
  • the information processing device is The information processing apparatus according to any one of (1) to (9), which stores voice in a specific direction acquired by a microphone in a storage unit.
  • the information processing device is It has a short-range communication unit with a limited communicable area, The information processing apparatus according to (10), wherein the voice acquisition target area is an area determined based on information input from an external terminal via the short-range communication unit.
  • the data processing unit After determining the voice acquisition target area based on the information input from the external terminal via the short-range communication unit, The recording process is started in response to the recording start request input from the external terminal via the short-range communication unit.
  • the information processing apparatus according to (11), wherein the recording process is not executed even if a recording start request is input from the external terminal until the process of determining the partial area is completed.
  • the data processing unit is Generate a UI (user interface) that causes the user to execute the search process of the plaza where the camera that captures the image is installed and the process of acquiring the right to use the plaza, and output it to the display unit (1) to (12).
  • the data processing unit is The information processing apparatus according to (13), which generates a UI including access information of a sketch drawing including camera arrangement information of the plaza.
  • the data processing unit In response to the input to the UI by the user who wants to acquire the usage right of the plaza, the process of determining whether or not the user who wants to acquire the usage right can acquire the plaza usage right is executed.
  • the information processing device according to (13) or (14), which grants the user who wishes to acquire the right to use the plaza when another user has not acquired the right to use the plaza.
  • the data processing unit The information processing apparatus according to any one of (1) to (15), wherein a UI for causing a user to set an image area for which image processing is not executed to change to an unidentifiable image is generated and displayed on a display unit.
  • An information processing system having a user terminal and a recording system.
  • the recording system is A data processing unit that inputs captured images and performs image processing, It has a short-range communication unit with a limited communicable area,
  • the data processing unit Image processing area designation information is input from the user terminal via the short-range communication unit,
  • An information processing system that executes image processing that changes a part of an image selected according to the image processing area designation information into an unidentifiable image from the captured image based on the input information.
  • the data processing unit Voice acquisition target area information is input from the user terminal via the short-range communication unit, The information processing system according to (17), which stores the voice in a specific direction acquired by the microphone based on the input information in the storage unit.
  • the data processing unit On condition that the image processing area designation information and the voice acquisition target area are input from the user terminal via the short-range communication unit.
  • the information processing device It has a data processing unit that inputs captured images and performs image processing.
  • the data processing unit An information processing method for executing image processing that changes a predetermined partial area in the captured image into an unidentifiable image.
  • the recording system is A data processing unit that inputs captured images and performs image processing, It has a short-range communication unit with a limited communicable area, The data processing unit Image processing area designation information is input from the user terminal via the short-range communication unit, An information processing method for executing image processing that changes a part of an image selected according to the image processing area designation information into an unidentifiable image from the captured image based on the input information.
  • (22) A program that executes information processing in an information processing device.
  • the information processing device It has a data processing unit that inputs captured images and performs image processing.
  • the program is installed in the data processing unit.
  • a program that executes image processing that changes a predetermined part of a captured image into an unidentifiable image.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • executing processing by software install the program that records the processing sequence in the memory in the computer built in the dedicated hardware and execute it, or execute the program on a general-purpose computer that can execute various processing. It can be installed and run.
  • the program can be pre-recorded on a recording medium.
  • LAN Local Area Network
  • the various processes described in the specification are not only executed in chronological order according to the description, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes.
  • the system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a device and a method that enable performance shooting without causing infringement of portrait rights and privacy are realized.
  • it has a data processing unit that inputs an image captured by a camera and performs image processing, and the data processing unit personally sets a human image area included in a predetermined partial area in the captured image. Change to an unidentifiable image.
  • a blurring process is executed. The area to be blurred is determined based on the information input from the user terminal via the short-range communication unit, and after the area determination process is completed, the area is determined according to the recording start request input from the user terminal via the short-range communication unit. Start the recording process. Until the area determination process is completed, the recording process is not executed even if the recording start request is input.
  • a device and a method that enable performance shooting without causing infringement of portrait rights and privacy are realized.

Abstract

肖像権やプライバシーの侵害問題を発生させることのないパフォーマンス撮影を可能とする装置、方法を提供する。カメラの撮影画像を入力し、画像処理を行うデータ処理部を有し、データ処理部は、撮影画像内の予め規定された一部領域に含まれる人画像領域を個人識別が不可能な画像に変更する。例えばぼかし処理を実行する。ぼかし処理対象領域は、近距離通信部を介してユーザ端末から入力した情報に基づいて決定し、領域決定処理完了後、近距離通信部を介してユーザ端末から入力した収録開始要求に応じて、収録処理を開始する。領域決定処理が完了するまでは、収録開始要求を入力しても、収録処理を実行しない。

Description

情報処理装置、および情報処理方法、並びにプログラム
 本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、公園などの公共広場等で行われるパフォーマンスの収録を実行する情報処理装置、および情報処理方法、並びにプログラムに関する。
 近年、ネットワークの動画配信システムの利用者が急増し、多くのユーザによるパフォーマンス動画がネットワークを介してクラウド上のサーバにアップロードされ、アップロードされた動画を多くの人が閲覧している。
 動画を撮影するユーザは、例えば「パフォーマー」と呼ばれる。パフォーマーは、カメラの前で様々なパフォーマンスを行い、パフォーマンス動画を撮影する。
 動画撮影を行う場合、画像撮影のためのカメラ、さらに音声取得のためのマイク等の所定の収録環境を整えることが必要となる。
 しかし、このようなカメラやマイクを設置した収録環境を構築することは、不慣れなユーザにとっては面倒である。
 このような問題を解決するため、例えば、公園などの公共の場所にカメラやマイクを設置した収録環境を整えた動画収録広場を設置して、誰でも利用可能とするといった構成が考えられる。
 しかし、このような公共スペースで動画収録を行うと、通りすがりの多くの人がカメラに撮影され、その撮影画像がネットワークを介して拡散してしまうことになり、肖像権やプライバシーの侵害等の問題が発生することになる。
 なお、このような問題を解決する構成を開示した文献として、特許文献1(国際公開WO2015/136796号公報)がある。
 この特許文献1は、例えば監視カメラ等の撮影画像に人の画像が含まれる場合、人領域に黒塗りつぶし等の画像処理を実行してサーバに転送することで、サーバの画像が拡散しても個人を特定できないようにした構成を開示している。
 しかし、この特許文献1に記載の構成では、パフォーマー自体も黒塗りつぶし等の画像処理が実行されてしまうことになり、パフォーマンス動画の撮影に適用することはできない。
国際公開WO2015/136796号公報
 本開示は、例えば、上記問題点に鑑みてなされたものであり、通りすがりの多くの人のプライバシーを侵害することなく、パフォーマーのパフォーマンス撮影を公共の場所で行うことを可能とした情報処理装置、および情報処理方法、並びにプログラムを提供するものである。
 本開示の第1の側面は、
 撮影された画像を入力し、画像処理を行うデータ処理部を有し、
 前記データ処理部は、
 前記撮影された画像内の予め規定された一部領域を識別が不可能な画像に変更する画像処理を実行する情報処理装置にある。
 さらに、本開示の第2の側面は、
 ユーザ端末と、収録システムを有する情報処理システムであり、
 前記収録システムは、
 撮影された画像を入力し、画像処理を行うデータ処理部と、
 通信可能領域が限定された近距離通信部を有し、
 前記データ処理部は、
 前記ユーザ端末から前記近距離通信部を介して画像処理領域指定情報を入力し、
 入力情報に基づいて、前記撮影された画像から、前記画像処理領域指定情報に従って選択される一部領域を識別が不可能な画像に変更する画像処理を実行する情報処理システムにある。
 さらに、本開示の第3の側面は、
 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、
 撮影された画像を入力し、画像処理を行うデータ処理部を有し、
 前記データ処理部が、
 前記撮影された画像内の予め規定された一部領域を識別が不可能な画像に変更する画像処理を実行する情報処理方法にある。
 さらに、本開示の第4の側面は、
 ユーザ端末と、収録システムを有する情報処理システムにおいて実行する情報処理方法であり、
 前記収録システムは、
 撮影された画像を入力し、画像処理を行うデータ処理部と、
 通信可能領域が限定された近距離通信部を有し、
 前記データ処理部が、
 前記ユーザ端末から前記近距離通信部を介して画像処理領域指定情報を入力し、
 入力情報に基づいて、前記撮影された画像から、前記画像処理領域指定情報に従って選択される一部領域を識別が不可能な画像に変更する画像処理を実行する情報処理方法にある。
 さらに、本開示の第5の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、
 撮影された画像を入力し、画像処理を行うデータ処理部を有し、
 前記プログラムは、前記データ処理部に、
 前記撮影された画像内の予め規定された一部領域を識別が不可能な画像に変更する画像処理を実行させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、肖像権やプライバシーの侵害問題を発生させることのないパフォーマンス撮影を可能とする装置、方法が実現される。
 具体的には、例えば、カメラの撮影画像を入力し、画像処理を行うデータ処理部を有し、データ処理部は、撮影画像内の予め規定された一部領域に含まれる人画像領域を個人識別が不可能な画像に変更する。例えばぼかし処理を実行する。ぼかし処理対象領域は、近距離通信部を介してユーザ端末から入力した情報に基づいて決定し、領域決定処理完了後、近距離通信部を介してユーザ端末から入力した収録開始要求に応じて、収録処理を開始する。領域決定処理が完了するまでは、収録開始要求を入力しても、収録処理を実行しない。
 本構成により、肖像権やプライバシーの侵害問題を発生させることのないパフォーマンス撮影を可能とする装置、方法が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の処理の概要について説明する図である。 収録システムにおける近距離通信可能領域の一例について説明する図である。 本開示の装置の構成例について説明する図である。 データ処理サーバの保有するデータベースについて説明する図である。 データ処理サーバの保有するデータベースの格納データ例について説明する図である。 データ処理サーバの保有するデータベースの格納データ例について説明する図である。 ユーザ端末に表示される表示データの一例について説明する図である。 ユーザ端末に表示される表示データの一例について説明する図である。 ユーザ端末に表示される表示データの一例について説明する図である。 ユーザ端末に表示される表示データの一例について説明する図である。 ユーザ端末に表示される表示データの一例について説明する図である。 ユーザ端末に表示される表示データの一例について説明する図である。 ユーザ端末に表示される表示データの一例について説明する図である。 本開示の情報処理システムの実行する処理シーケンスについて説明するシーケンス図である。 本開示の情報処理システムの実行する処理シーケンスについて説明するシーケンス図である。 本開示の情報処理システムの実行する処理シーケンスについて説明するシーケンス図である。 本開示の情報処理装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.本開示の処理の概要について
 2.情報処理システムの各構成要素の詳細について
 3.ユーザ端末を利用した処理の具体例について
 4.本開示の情報処理システムの処理シーケンスについて
 5.各装置のハードウェア構成例について
 6.本開示の構成のまとめ
  [1.本開示の処理の概要について]
 まず、図1以下を参照して、本開示の処理の概要について説明する。
 図1には、不特定多数の人が利用できる公園等の公共広場を示している。
 公共広場にはユーザ(パフォーマー)10がおり、様々なパフォーマンスを行う。
 ユーザ10は、公共広場に設置された収録システム30を利用してパフォーマンスの収録を行うことができる。
 収録システム30は、カメラ31a、マイク(アレイ)31b、その他の各種センサ(温度センサ、振動センサ等)31cを有しており、これらのセンサ類(カメラ、マイクを含む)から取得した情報を記録する。
 記録データには、パフォーマーの画像や音声の他、温度センサの取得情報、振動センサのセンサ取得情報も含まれる。
 なお、本明細書において「画像」は静止画のみならず動画像も含む意味を有するものとして説明する。
 ユーザ10は、スマホ等のユーザ端末20を有しており、このユーザ端末20を利用して収録システム30との近距離通信を実行して、収録システム30の動作制御、例えば収録開始や終了処理の要求や、カメラやマイクの設定、調整を行うことができる。
 なお、ユーザ10が、収録システム30を利用して収録を開始する場合、ユーザ端末20から収録システム30に対して収録開始要求を送信する。
 収録システム30は、ユーザ端末20からの収録開始要求を受信すると、ユーザ10が収録システムの利用権を保持したユーザであるか否かを確認するため、データ処理サーバ50に問い合わせを行う。
 データ処理サーバ50は、収録システム30からの問い合わせを受信すると、ユーザ10がデータ処理サーバ50の保持するユーザ情報データベースに登録されたユーザであるか否かを確認する。
 ユーザ10がデータ処理サーバ50の保持するユーザ情報データベースに登録されたユーザであることが確認された場合に限り、ユーザ10は収録システム30を利用した収録処理を行うことができる。
 ユーザ10が、収録処理を終了する場合、ユーザ端末20から収録システム30に対して収録終了処理要求を送信する。
 収録システム30は、ユーザ端末20からの収録終了要求を受信すると、収録システム30の記憶部に保持した収録データをデータ処理サーバ50に送信する。
 収録システム30は、データ処理サーバ50への収録データ送信が完了すると、収録システム30の記憶部の収録データを削除する。
 データ処理サーバ50は収録データをデータ処理サーバ50の保持する収録情報データベースに格納する。
 後日、ユーザ10は、データ処理サーバ50の保持する収録情報データベースにアクセスし、収録データの閲覧やダウンロードを行うことができる。
 なお、これらの処理の具体的シーケンス等については後段で説明する。
 上述したように、ユーザ10は、スマホ等のユーザ端末20を有しており、このユーザ端末20を利用して収録システム30との近距離通信を実行して、収録システム30の動作制御、例えば収録開始や終了処理の要求や、カメラやマイクの設定の調整を行うことができる。
 図2に、ユーザ端末20と収録システム30との間の近距離通信が可能な領域、すなわち、近距離通信可能領域33の一例を示す。
 ユーザ端末20と収録システム30との通信は、収録システム30の近距離通信部32を介した近距離通信として実行される。例えばWi-Fi通信等の無線LAN(WLAN:Wireless LAN)や、ブルートゥース(登録商標)(BT)通信等を利用した通信処理が実行される。
 近距離通信可能領域33は、図2に示すように、例えば公共広場内のパフォーマンス撮影可能領域を含む限定された領域とする。
 すなわち、公共広場から離れた位置にいる場合には、収録システム30と通信を行うことはできず、収録開始要求等の処理は実行できない。
 ユーザ10が、公共広場内のパフォーマンス撮影可能領域にいる場合に限り、ユーザ端末20を利用して収録システム30と通信を行い、収録の開始、カメラやマイクの設定等を行うことができる。
  [2.情報処理システムの各構成要素の詳細について]
 次に、本開示の情報処理システムの各構成要素の詳細について説明する。
 図3は、本開示の情報処理システムを構成する構成要素、すなわち、スマホ等のユーザ端末20と、公共広場に設置された収録システム30と、例えばクラウドシステムとして構成されるデータ処理サーバ50の構成例を示す図である。
 まず、収録システム30の構成について説明する。
 収録システム30は、図に示すように、センサ(カメラ、マイク等)31、近距離通信部32、制御部(データ処理部)33、通信部34、記憶部35を有する。
 センサ(カメラ、マイク等)31は、公共広場に設置されるカメラ、マイク、温度センサ、振動センサ等の各種センサによって構成される。
 なお、マイクは、例えばビームフォーミング処理等により、特定方向の音声のみを選択取得可能な構成を有する。また、異なる方向の音を個別に検出可能としたマイク配列構成(マイクアレイ構成)を有する。
 また、センサ31は、物理情報をセンシングするセンサに限らず、公共広場空間内に居合わせた人(観客)がアクセスしてパフォーマンスの評価等の情報を送信することが出来るような受信機をセンサとして含めた構成としてもよい。
 すなわち、パフォーマーに対する評価情報を観客がスマホ等の端末から送信し、この送信情報を受信するための受信機としてのセンサである。
 なお、具体的には、例えば、観客がスマホで特定のアプリケーション(収録システム利用アプリケーション)を起動させて評価情報を入力し、送信する。この送信データを受信機(センサ)が受信する。
 近距離通信部32は、ユーザ端末20との通信に利用する近距離通信を実行する。例えばWi-Fi通信等の無線LAN(WLAN:Wireless LAN)や、ブルートゥース(登録商標)(BT)通信等を利用した通信処理を実行する。
 先に図2を参照して説明したように、例えばパフォーマンス収録が可能な公共広場の特定エリア内でのみ通信が可能である。
 制御部(データ処理部)33は、収録システム30の実行する様々な処理を行うデータ処理部である。ユーザ端末20やデータ処理サーバ50との通信制御や、収録処理、各種センサ(カメラ、マイク等)の調整、制御処理等を実行する。
 なお、これらの処理は、例えば記憶部35に格納されたプログラムに従って実行する。制御部(データ処理部)33はCPU等、プログラム実行機能を有するプロセッサを備えた構成である。
 通信部34は、データ処理サーバ50との通信に利用される、例えばインターネットを介した通信を行う。
 記憶部35は、収録データの格納領域として利用される。さらにセンサの設定データ、パラメータの格納領域としても利用される。また、制御部(データ処理部)33の実行する様々な処理プログラムの格納領域、各種処理実行時のワークエリアとしても利用される。
 次に、パフォーマー等のユーザが所有するスマホ等のユーザ端末20の構成について説明する。
 図3に示すように、ユーザ端末20は、制御部(データ処理部)21、通信部22、近距離通信部23、記憶部24、入出力部25を有する。
 制御部(データ処理部)21は、ユーザ端末20の実行する様々な処理を行うデータ処理部である。収録システム30やデータ処理サーバ50との通信制御や、収録処理実行時のカメラやマイク等の設定、調整処理のためのUI表示処理、ユーザ設定情報の収録システム30への送信処理等の処理制御を実行する。
 なお、これらの処理は、例えば記憶部24に格納されたプログラムに従って実行する。制御部(データ処理部)21はCPU等、プログラム実行機能を有するプロセッサを備えた構成である。
 通信部22は、データ処理サーバ50との通信に利用される、例えばインターネット、電話回線等を介した通信を行う。
 近距離通信部23は、収録システム30との通信に利用する近距離通信を実行する。例えばWi-Fi通信等の無線LAN(WLAN:Wireless LAN)や、ブルートゥース(登録商標)(BT)通信等を利用した通信処理を実行する。
 先に図2を参照して説明したように、例えばパフォーマンス収録が可能な公共広場の特定エリア内でのみ通信が可能である。
 記憶部24は、制御部(データ処理部)21の実行する様々な処理プログラムの格納領域、各種処理実行時のワークエリアとして利用される。さらに、ユーザやユーザ端末のID情報等、各種パラメータの格納領域としても利用される。
 入出力部25は、表示部、音声出力部、入力部等によって構成される。例えば液晶ディスプレイ、スピーカ、マイク、各種操作スイッチ、タッチパネル等によって構成される。
 次に、データ処理サーバ50の構成について説明する。
 図3に示すようにデータ処理サーバ50は、制御部(データ処理部)51、通信部52、記憶部53を有する。
 制御部(データ処理部)51は、データ処理サーバ50の実行する様々な処理を行うデータ処理部である。収録システム30やデータ処理サーバ50との通信制御や、収録処理実行時のユーザ登録情報の確認、収録データの格納処理、ユーザ端末20からの収録データのダウンロード要求に対する処理などの制御を実行する。
 なお、これらの処理は、例えば記憶部53に格納されたプログラムに従って実行する。制御部(データ処理部)51はCPU等、プログラム実行機能を有するプロセッサを備えた構成である。
 通信部22は、収録システム30やユーザ端末20との通信に利用される、例えばインターネットや電話回線等を利用した通信を行う。
 記憶部23は、収録データの格納領域、ユーザ情報の格納領域として利用される。さらに制御部(データ処理部)21の実行する様々な処理プログラムの格納領域、各種処理実行時のワークエリアとしても利用される。
 データ処理サーバ50の記憶部53には、複数のデータベースが格納される。
 図4以下を参照して、データ処理サーバ50の記憶部53に格納されるデータベースについて説明する。
 図4に示すように、データ処理サーバ50の記憶部53には、以下のデータベースが格納される。
 (1)ユーザ情報データベース101
 (2)広場情報データベース102
 (3)収録情報データベース103
 図5以下を参照して、これら各データベースの格納データについて説明する。
 ユーザ情報データベース101は、収録システム30を利用した収録を行おうとするユーザの登録情報を記録したデータベースである。収録システム30を利用した収録を行おうとするユーザは、収録前に予めユーザ端末20を利用してデータ処理サーバ50にアクセスし、ユーザ情報を送信する。データ処理サーバ50はユーザ端末20から受信したデータをユーザ情報データベース101に登録する。
 広場情報データベース102は、収録システム30を利用した収録処理が可能な広場の情報を登録したデータベースである。例えば、各広場の設備情報が登録されている。
 収録システム30を利用した収録を行おうとするユーザは、ユーザ端末20を利用してデータ処理サーバ50にアクセスし、広場情報データベース102の登録情報を閲覧することができる。
 収録情報データベース103は、収録システム30を利用した収録処理を行った場所や日時、さらに収録データを取得するためのアクセス情報等を登録したデータベースである。
 収録システム30を利用した収録を行ったユーザは、ユーザ端末20を利用してデータ処理サーバ50にアクセスし、収録情報データベース103に格納されたアクセス情報を利用して収録データを閲覧することが可能であり、収録データをユーザ端末20にダウンロードすることもできる。
 以下、図5以下を参照して各データベースの登録データの例について説明する。
 まず、図5を参照して、ユーザ情報データベース101の格納データ例について説明する。
 図5は、データ処理サーバ50の記憶部53に格納されるユーザ情報データベース101の格納データ例を示す図である。
 図5に示すように、ユーザ情報データベース101には、各データエントリに以下の各データが対応づけられて格納される。
 (a)ユーザID
 (b)ユーザ名
 (c)メールアドレス
 (d)サービス利用プラン
 (e)残り利用可能回数
 (f)パスワードハッシュ
 (a)ユーザIDは、ユーザに割り当てられた固有IDである。
 (b)ユーザ名は、ユーザがサービス利用登録時に登録した氏名である。
 (c)メールアドレスは、ユーザがサービス利用登録時に登録した連絡先メールアドレスである。
 (d)サービス利用プランは、ユーザが加入しているサービスの種類を示すもので、例えば「フリー(Free)」は、無料で利用可能なプランであり、1か月あたりの収録システム30の利用回数が限られた利用プランである。
 「プレミアム(Premium)」は、有料プランであり、1か月あたりの収録システム30利用回数が無制限の利用プランである。
 (e)残り利用可能回数は、ユーザが収録システム30を残り何回、利用できるかの回数である。
 (f)パスワードハッシュは、ユーザが登録時に登録したパスワードを暗号化したデータである。
 次に、図6を参照して、広場情報データベース102の格納データ例について説明する。
 図6に示すように、広場情報データベース102には、各データエントリに以下の各データが対応づけられて格納される。
 (a)広場ID
 (b)広場名
 (c)広場所在位置
 (d)広場設備情報
 (e)広場見取り図アクセス情報
 (a)広場IDは、収録システム30の設置された広場に割り当てられた固有IDである。
 (b)広場名は、収録システム30の設置された広場の名称である。
 (c)広場所在位置は、収録システム30の設置された広場の所在地(経度緯度情報)である。
 (d)広場設備情報は、収録システム30の設置された広場の収録システムの設備情報である。
 (e)広場見取り図アクセス情報は、収録システム30の設置された広場の案内情報や見取り図を閲覧するためのアクセス情報である。
 次に、図6を参照して、収録情報データベース103のデータ構成例について説明する。
 図6に示すように、収録情報データベース103には、各データエントリに以下の各データが対応づけられて格納される。
 (a)収録ID
 (b)収録ユーザ名
 (c)収録広場ID
 (d)収録日時
 (e)収録データアクセス情報
 (a)収録IDは、ユーザによる収録システム30の1回の収録処理ごとに割り当てられた固有IDである。
 (b)収録ユーザ名は、収録を行ったユーザの固有IDである。ユーザ登録情報テーブルの「ユーザID」と同一の値が登録される。
 (c)収録広場IDは、収録を行った広場の固有IDである。
 (d)収録日時は、収録処理の実行日時である。
 (e)収録データアクセス情報は、実際に収録された音声データや動画データを含む収録データのアクセス情報である。
 なお、収録データには、観客の評価情報、観客の興奮度などのセンシングデータが含まれる場合もある。
  [3.ユーザ端末を利用した処理の具体例について]
 次に、ユーザ端末20を利用した処理の具体例について説明する。
 公共広場の収録システム30を利用した収録を実行しようとするユーザは、まず、データ処理サーバ50にアクセスし、ユーザ登録を行う。その後、収録を行う広場、すなわち収録システム30が設置された広場を検索して、収録を行う場所を決定する。
 その後、ユーザ端末20と広場システム30との近距離通信を実行して、カメラやマイク等のセンサ設定を行った後、収録を実行する。
 収録終了後は、収録システム30からデータ処理サーバ50に送信(アップロード)されたデータをユーザ端末20で閲覧、またはダウンロードすることができる。
 このように、ユーザ端末20を利用して実行する処理は様々である。
 これらの処理は、例えばユーザ端末20において特定のアプリケーション(収録システム利用アプリケーション)を起動して実行することができる。
 まず、公共広場の収録システム30を利用した収録を実行しようとするユーザは、まず、データ処理サーバ50にアクセスし、ユーザ登録を行う。この処理は、先に図5を参照して説明したユーザ情報データベースに登録するための情報を、ユーザ端末20に入力してデータ処理サーバ50に送信することで実行される。
 次に、ユーザは、収録を行う広場、すなわち収録システム30が設置された広場を検索して、収録を行う場所を決定する。
 例えば、ユーザ端末20からデータ処理サーバ50の広場情報データベースの登録情報を閲覧し、その後、閲覧データを利用して利用権取得を行う。
 この広場検索、広場利用権取得処理実行時に、ユーザ端末に表示されるUI(ユーザインタフェース)の一例を図7に示す。
 図7に示す(a)広場検索、利用権取得用UIは、ユーザ端末20からデータ処理サーバ50の広場情報データベースにアクセスすることで表示されるUIである。ユーザ端末20には、広場情報データベースに登録された情報が表示される。
 図に示す例では、
 (1)品川区・・・広場の情報として、
 収録システムの設備情報が表示され、さらに、現在地からの距離情報(50m)、見取り図表示要求用のアイコン(ボタン)、「アクセス、利用権取得」用の操作アイコンが表示されている。
 ユーザが、見取り図表示要求用のアイコン(ボタン)を操作(タッチ)すると、例えば図8に示すようなデータが表示される。
 この見取り図は、先に図6の(2)広場情報データベースに記録された「広場見取り図アクセス情報」に従ってアクセスされるデータである。
 ユーザは、この見取り図を参照することで、カメラ配置、マイク配置等の詳細情報を知ることができる。
 ユーザがこの広場を利用したい場合は、利用権を取得する処理を行うことが必要である。利用権取得処理は、ユーザ端末20から、広場の収録システム30にアクセスして実行する。
 この処理は、図7に示すUI中の「アクセス、利用権取得」用の操作アイコンをタッチすることで開始することができる。
 ユーザが、「アクセス、利用権取得」用の操作アイコンをタッチすると、ユーザ端末20は、公共広場の収録システム30との近距離通信を開始する。
 ただし、先に図2を参照して説明したように、ユーザ端末20と収録システム30との近距離通信は、通信可能範囲が限定されており、ユーザ端末20が通信可能範囲にない場合は通信不可能となり、広場利用権は取得できない。
 ユーザ端末20と収録システム30との近距離通信に成功し、ユーザが広場利用権を取得できた場合は、図7(b)利用権取得成功ポップアップに示すようなポップアップが表示される。
 一方、ユーザ端末20と収録システム30との近距離通信に失敗した場合や、すでに広場利用権が他のユーザに取得されている場合等、ユーザが広場利用権を取得できなかった場合は、図7(c)利用権取得失敗ポップアップに示すようなポップアップが表示される。
 ユーザ端末20に、図7(b)利用権取得成功ポップアップに示すようなポップアップが表示され、ユーザが広場利用権を取得すると、ユーザは、次に、ユーザ端末20と収録システム30との近距離通信を実行して、収録処理を行うための様々な設定を行う。
 この処理の実行時にユーザ端末20に表示されるデータの例について、以下、図9を参照して説明する。
 図9は収録処理の開始処理や収録処理の終了処理を行う場合に表示される画面の例である。収録処理の開始処理を行う場合は、収録開始指示アイコンを操作(タッチ)し、収録処理を修了する場合は、収録終了指示アイコンを操作(タッチ)する。
 ただし、収録処理の開始処理を行う場合、図10以下を参照して説明する撮影画像に含まれる人画像に対するぼかしフィルタの適用/非適用領域の設定処理と、音声取得領域の設定処理等を行うことが必要となる。
 これらの処理が実行されていない場合、収録開始指示アイコンを操作(タッチ)しても収録は開始されない。
 まず、ユーザは、図9に示す画面を利用して、カメラの調整処理を行う。
 収録システム30が複数のカメラを有する場合、各カメラの撮影画像が表示される。
 ユーザは各カメラの撮影画像を見ながら、カメラ方向の調整や、ズーム設定等を調整することができる。
 さらに、図10は、パフォーマーであるユーザ10以外の周囲の人の画像をぼかすための設定画面である。
 パフォーマーであるユーザ10以外の周囲の人の画像が撮影画像として記録されてしまうと、データ処理サーバ50に格納された収録データが漏洩した場合に、周囲の人の肖像権やプライバシーが侵害される可能性がある。
 このような問題の発生を防止するため、収録システム30は、周囲の人の画像をぼかすフィルタ処理を行って撮影画像の記録処理を行う。
 図10は、フィルタによるぼかし処理を行わない領域を決定するためのUIである。
 図10に示す点線領域内がフィルタによるぼかし処理が施されない領域であり、点線領域外がフィルタによるぼかし処理が施される領域として設定される。
 なお、ぼかし処理の対象となる画像は、基本的に周囲領域の人領域のみである。
 ユーザ(パフォーマー)10は、図10に示す点線領域の大きさや形を変更することができ、ぼかしフィルタの適用/非適用領域を自由に調整することができる。
 なお、収録システム30が複数のカメラを有する場合、各カメラ単位でぼかしフィルタ適用領域と非適用領域を調整する。
 図11に示すように、表示領域の右側に各カメラの撮影画像が小さく表示され、ユーザは、ここから1つのカメラ画像を選択して左側のメイン画面表示領域に表示し、ぼかしフィルタの設定領域区分である点線領域の大きさや形状を変更して設定する。
 ユーザは、全てのカメラ撮影画像に対して、ぼかしフィルタの適用領域と非適用領域を決定する。この処理が完了しないと、撮影処理に移行することができない。
 ユーザが、全てのカメラ撮影画像に対して、ぼかしフィルタの適用領域と非適用領域を決定すると、その決定情報が収録システム30の記憶部35に記録される。
 収録システム30の制御部(データ処理部)33は、各カメラの撮影画像各々に対して、ぼかしフィルタ適用領域の画像から人画像を検出し、検出した人画像に対するぼかしフィルタを適用して個人を特定できないレベルまでぼかした人画像とする画像処理を行った画像を記録する。
 なお人領域の検出は、例えばパターン画像との照合処理や、学習データを用いた人検出処理、例えばセマンティック・セグメンテーション等を適用した処理によって実行することができる。
 セマンティック・セグメンテーションは、様々な実際のオブジェクトの形状情報やその他の特徴情報を登録したオブジェクト識別用の辞書データ(学習済みデータ)と、例えばカメラ撮影画像内のオブジェクトとの一致度に基づいて、画像の構成画素(ピクセル)各々が、どのオブジェクトカテゴリに属する画素であるかを識別する技術である。
 このセマンティック・セグメンテーションにより、カメラ撮影画像に含まれる様々なオブジェクト、例えば人、車、ビル、道路等、オブジェクトの種類を識別することができる。
 なお、ぼかし処理対象は人領域に限らず、ぼかしフィルタの適用領域全体としてもよい。あるいは人領域と文字領域、看板等、プライバシーや著作権の問題が発生する可能性があるオブジェクト領域をぼかしフィルタ適用領域として設定して処理を行ってもよい。
 また、ぼかし処理の代わりに、塗りつぶし処理や、パターン画像の重畳処理等により、実オブジェクトを判別できない表示態様にする画像処理を行ってもよい。
 ユーザによるカメラ撮影画像各々に対するぼかしフィルタの適用領域と非適用領域の設定が完了すると、次に、ユーザは収録システム30のマイクによる音声取得領域の設定を行う。
 図12に示す表示データが、収録システム30のマイクによる音声取得領域の設定画面である。
 収録システム30のマイクは、例えばビームフォーミング処理等により、特定方向の音声を選択取得可能な構成となっている。
 選択された方向以外の音声はほとんど取得されず記録されない。この処理もパフォーマー以外の通行人等の音声を記録しないための処理である。すなわちプライバシー侵害等を発生させないための処理である。
 ただし、ユーザ(パフォーマ)のパフォーマンスを見ている観客の音声を取得する場合は、その観客の存在する領域は音声取得領域に設定する。
 ユーザは、図12に示す表示画面を利用して、音声取得領域を自由に設定、変更することができる。
 図12に示す表示画面中の点線領域内部が音声取得領域である。点線領域外は音声取得領域外となり、点線領域外の音声はほとんど記録されない。
 ユーザは図12に示す表示画面を利用して、点線領域の大きさや形状を変更して、音声取得領域を自由に設定、変更することができる。
 ユーザが、音声取得領域を決定すると、その決定情報が収録システム30の記憶部35に記録される。
 収録システム30の制御部(データ処理部)33は、記憶部35に記録された設定情報に従って、マイクのビームフォーミング処理等を実行してユーザが設定した音声取得領域のみの音声を取得するようにマイク調整を実行する。
 図10、図11を参照して説明した撮影画像に対するぼかしフィルタの適用領域と非適用領域の区分設定、さらに、図12を参照して説明した音声取得領域の設定が完了すると、ユーザは、収録を開始することができる。
 収録は、先に図9を参照して説明した画面上の収録開始指示アイコン(RECボタン)の操作(タッチ)により開始される。
 ユーザが、ユーザ端末20に表示された収録開始指示アイコン(RECボタン)を操作(タッチ)すると、この操作情報が近距離通信によって収録システム30に送信される。
 収録システム30が、収録開始指示アイコン(RECボタン)を操作(タッチ)情報を受信すると、収録システム30の制御部33は、収録処理を開始し、収録データを記憶部35に記録する。
 その後、ユーザが、ユーザ端末20に表示された収録停止指示アイコンを操作(タッチ)すると、この操作情報が近距離通信によって収録システム30に送信される。
 収録システム30が、収録停止指示アイコンの操作(タッチ)情報を受信すると、収録システム30の制御部33は、収録処理を終了する。
 さらに、収録システム30の制御部33は、記憶部35に記録された収録データをデータ処理サーバ50に送信(アップロード)する。
 収録システム30の制御部33は、記憶部35に記録された収録データをすべてデータ処理サーバ50に送信(アップロード)すると、そのデータを記憶部35から削除する。
 なお、データ処理サーバ50に送信(アップロード)される収録データの画像は、ぼかしフィルタ適用領域の人画像に対してぼかしフィルタが適用された後の画像である。すなわち、ぼかしフィルタ適用領域の人の画像は、すべて個人特定が不可能なレベルでぼかされた画像である。
 また、データ処理サーバ50に送信(アップロード)される収録データの音声は、音声取得領域外の周囲の音はほとんど記録されていない音声データである。
 このように、本開示の収録システム30は、収録開始前に、画像のぼかし適用領域/非適用領域を設定し、さらに、音声取得領域の設定を行うことを要求し、これらの無設定が実行されたことを条件として収録の開始を許容する構成である。
 この構成により、パフォーマー以外の人の画像や音声は、収録データから判別することができないレベルに加工されたものとなり、万が一、収録データが漏洩、拡散しても個人の肖像権やプライバシーの侵害等の問題が発生することがない。
 ユーザによる収録が完了し、収録データが収録システム30からデータ処理サーバ50に送信(アップロード)されると、データ処理サーバ50は収録データをデータ処理サーバ50の記憶部53に格納し、さらに、先に図6を参照して説明した収録情報データベースに登録する。
 その後、ユーザ10は、ユーザ端末20を利用してデータ処理サーバ50の収録情報データベースにアクセスして収録データを閲覧し、ダウンロードすることができる。
 この収録データの閲覧、ダウンロード処理時にユーザ端末20に表示される表示データの一例を図13に示す。
 図13に示すように、ユーザ端末20の表示部には、収録済みデータの情報として収録日時、収録場所に合わせて、カメラ撮影画像のサムネイルが表示され、さらに、収録音声のサンプル音声を出力することが可能な構成となっている。
 さらに、収録時に観客の評価データが取得されている場合、その評価データも併せて表示される。
 さらに、「収録データのダウンロード」アイコンを操作(タッチ)するとデータ処理サーバ50の記憶部53に格納されている収録データをユーザ端末20にダウンロードすることができる。
  [4.本開示の情報処理システムの処理シーケンスについて]
 次に、本開示の情報処理システムの処理シーケンスについて説明する。
 図14~図16は、本開示の情報処理システムの処理シーケンスについて説明するシーケンス図である。
 各図には、左からユーザ端末20、収録システム30、データ処理サーバ50を示している。
 図14~図15に示すステップS11~ステップS25までの処理が、広場利用権の取得処理、収録開始前の事前設定処理、収録開始処理、収録終了処理までの一連の処理を示している。
 図16に示すステップS31~ステップS38の処理は、収録後のユーザ端末によるデータ処理サーバ50に格納された収録データの閲覧、ダウンロード処理の一連の処理を示している。
 まず、図14~図15に示すシーケンス図に従って、広場利用権の取得処理、収録開始前の事前設定処理、収録開始処理、収録終了処理までの一連の処理について説明する。
  (ステップS11)
 まず、ユーザ端末20は、ステップS11において、収録システム30に対して広場利用権(収録システム利用権)の取得要求を行う。
 この処理は、ユーザ端末20に、先に図7を参照して説明した図7(a)の表示画面、すなわち図7(a)に示す「広場検索、利用権取得用UI」を表示して実行される処理である。
 先に図7を参照して説明したように、図7に示す(a)広場検索、利用権取得用UIは、ユーザ端末20からデータ処理サーバ50の広場情報データベースにアクセスすることで表示されるUIである。ユーザ端末20には、広場情報データベースに登録された情報が表示される。
 例えば各広場の収録システムの設備情報、現在地からの距離情報、見取り図表示要求用のアイコン(ボタン)、「アクセス、利用権取得」用の操作アイコン等が表示される。
 ユーザが広場を利用したい場合は、図7に示すUI中の「アクセス、利用権取得」用の操作アイコンをタッチする。
 この処理が、ステップS11の収録システム30に対する広場利用権の取得要求に相当する。
 ユーザが、「アクセス、利用権取得」用の操作アイコンをタッチすると、ユーザ端末20は、公共広場の収録システム30との近距離通信を開始する。
 ただし、先に図2を参照して説明したように、ユーザ端末20と収録システム30との近距離通信は、通信可能範囲が限定されており、ユーザ端末20が通信可能範囲にない場合は通信不可能となり、広場利用権は取得できない。
 ユーザ端末20と収録システム30との近距離通信に成功すると、収録システム30は、ユーザ端末20からの広場利用権(収録システム利用権)取得要求を受信する。
 なお、この処理に際してユーザ端末20から送信される広場利用権取得要求データには、ユーザ端末20の記憶部に記録されたユーザIDや、予めデータ処理サーバ50に登録したパスワードが含まれる。
 このデータ取得、送信処理は、ユーザ端末において実行中のアプリケーション(収録システム利用アプリケーション)に含まれるプログラムに従って実行される。
  (ステップS12)
 ステップS11において、収録システム30がユーザ端末20からの広場利用権取得要求を受信すると、収録システム30は、ステップS12において、データ処理サーバ50に対して、ユーザが広場利用権(収録システム利用権)を有しているか否かの判定要求を送信する。
 前述したように、ユーザ10は、収録システム30を利用する場合、予めデータ処理サーバ50にユーザ登録を行っておくことが必要である。
 なお、ステップS12において、収録システム30がデータ処理サーバ50に送信するデータは、ユーザ端末20から受信したユーザIDやパスワードを含むデータである。
  (ステップS13)
 ステップS12において、収録システム30からユーザの広場利用権(収録システム利用権)有無判定要求を受信したデータ処理サーバ30は、ステップS13において、ユーザが広場利用権を有するか否かの判定処理を実行する。
 この処理は、ユーザ端末20から収録システム30を介して受信したユーザIDやパスワードがユーザ情報データベースに登録されたデータと一致するか否かを判定する処理と、広場の利用権がすでに他のユーザに与えられていないかを確認する処理によって実行される。
 受信したユーザIDやパスワードがユーザ情報データベースに登録されたデータと一致し、広場の利用権がすでに他のユーザに与えられていない場合に限り、ユーザに広場利用権(収録システム利用権)が与えられることになる。
 受信したユーザIDやパスワードがユーザ情報データベースに登録されたデータと一致しない場合や、広場の利用権(収録システム利用権)がすでに他のユーザに与えられている場合は、ユーザに広場利用権(収録システム利用権)が与えられない。
  (ステップS14)
 データ処理サーバ50は、ステップS14において、ステップS13のユーザの広場利用権(収録システム利用権)有無判定処理の結果を収録システム30に通知する。
  (ステップS15)
 次に、収録システム30は、データ処理サーバ50から受信したユーザの広場利用権(収録システム利用権)有無判定処理の結果をユーザ端末20に通知する。
 ユーザに広場利用権(収録システム利用権)がないと判定された場合は、処理は終了することになる。
 ユーザはさらに、別の広場を検索して、その広場についてステップS11からの処理を行い、利用権取得要求を行うことになる。
 ここでは、ユーザに広場利用権(収録システム利用権)があると判定されたと仮定して、以下のステップについて説明する。
  (ステップS16)
 ユーザに広場利用権(収録システム利用権)があると判定された場合、ユーザは、ユーザ端末20を用いて、収録環境設定処理を実行する。
 ユーザ端末20は、収録システム30と近距離通信を実行して、収録環境設定処理を実行する。
 この処理は、先に図9~図12を参照した処理に相当する。
 まず、ユーザは、図9に示す画面を利用して、カメラの調整処理を行う。
 収録システム30が複数のカメラを有する場合、各カメラの撮影画像が表示される。
 ユーザは各カメラの撮影画像を見ながら、カメラ方向の調整や、ズーム設定等を調整することができる。
 次に、ユーザは、先に図10、図11を参照して説明したフィルタによるぼかし処理が施されるぼかしフィルタ適用領域と、施されないぼかしフィルタ非適用領域の設定を行う。
 なお、ぼかし処理は、基本的にぼかしフィルタ適用領域内の人領域に対してのみ実行される。
 さらに、ユーザは、先に図12を参照して説明した音声取得領域の設定を行う。
 これらの設定情報は、近距離通信により収録システム30に送信される。
  (ステップS17)
 次に、収録システム30は、ステップS17において、ステップS16で受信した収録環境設定情報を参照して、ユーザ設定に従って、収録環境を整える処理を行う。
 先に、図10、図11を参照して説明したように、収録システム30の制御部(データ処理部)33は、各カメラの撮影画像各々に対して、ぼかしフィルタ適用領域の画像から人画像を検出し、検出した人画像に対するぼかしフィルタを適用して個人を特定できないレベルまでぼかした人画像とする画像処理を行って記録する処理を実行するための処理設定を行う。
 さらに、マイクのビームフォーミング処理等を実行してユーザが設定した音声取得領域のみの音声を取得するようにマイク調整を実行する。
 なお、前述したように、ぼかし処理対象は人領域に限らず、ぼかしフィルタの適用領域全体としてもよい。あるいは人領域と文字領域領域等、予め規定した特定のオブジェクト領域をぼかしフィルタ適用領域として設定して処理を行ってもよい。
 また、ぼかし処理の代わりに、塗りつぶし処理や、パターン画像の重畳処理等により、実オブジェクトを判別できない表示態様にする画像処理を行ってもよい。
  (ステップS18)
 ステップS16~ステップS17において収録環境設定処理が完了するとステップS18に進む。
 ステップS18において、ユーザ端末20は、収録開始要求を収録システム30に送信する。
 収録は、先に図9を参照して説明した画面上の収録開始指示アイコン(RECボタン)の操作(タッチ)により開始される。
 ユーザが、ユーザ端末20に表示された収録開始指示アイコン(RECボタン)を操作(タッチ)すると、この操作情報が近距離通信によって収録システム30に送信される。
  (ステップS19)
 収録システム30が、収録開始指示アイコン(RECボタン)を操作(タッチ)情報を受信すると、収録システム30は、ステップS19において、収録処理を開始し、収録データを記憶部35に記録する。
  (ステップS20)
 その後、ユーザ端末20は、ステップS20において収録終了要求をシュウロクシステム30に送信する。
 この処理は、ユーザが、先に図9を参照して説明したユーザ端末20に表示された収録停止指示アイコンを操作(タッチ)する処理によって実行される。
 ユーザが、ユーザ端末20に表示された収録停止指示アイコンを操作(タッチ)すると、この操作情報が近距離通信によって収録システム30に送信される。
  (ステップS21)
 収録システム30が、収録停止指示アイコンの操作(タッチ)情報を受信すると、収録システム30は、ステップS21において、収録処理を終了する。
  (ステップS22)
 ステップS21において収録処理を修了すると、次に、収録システム30は、ステップS22において、記憶部35に記録された収録データをデータ処理サーバ50に送信(アップロード)する。
 データ処理サーバ50に送信(アップロード)される収録データの画像は、ぼかしフィルタ適用領域の人画像に対してぼかしフィルタが適用された後の画像である。すなわち、ぼかしフィルタ適用領域の人の画像は、すべて個人特定が不可能なレベルでぼかされた画像である。
 また、データ処理サーバ50に送信(アップロード)される収録データの音声は、音声取得領域外の周囲の音はほとんど記録されていない音声データである。
 なお、収録システム30は、記憶部35に記録された収録データをすべてデータ処理サーバ50に送信(アップロード)すると、そのデータを記憶部35から削除する。
  (ステップS23)
 ステップS22において、収録データが収録システム30からデータ処理サーバ50に送信(アップロード)されると、データ処理サーバ50は、ステップS23において、収録データをデータ処理サーバ50の記憶部53に格納する。
 さらに、データ処理サーバ50は、先に図6を参照して説明した収録情報データベースに新たに記録した収録データに対応するエントリを追加して、収録データの日時や場所等の収録データに関する属性報を登録する。
  (ステップS24)
 データ処理サーバ50による収録データの格納処理や、収録情報データベースに対する情報登録が完了すると、データ処理サーバ50はステップS24において、収録システム30に対して、収録データ格納処理の完了通知を送信する。
  (ステップS25)
 ステップS24において、データ処理サーバ50から収録データ格納処理完了通知を受信した収録システム30は、ステップS25においてユーザ端末20に対して、収録データのデータ処理サーバ50に対する格納処理が完了したことを通知する。
 この一連の処理において、データ処理サーバ50に格納される収録データは、パフォーマー以外の人の画像や音声が判別できないレベルに加工されたものとなり、万が一、収録データが漏洩、拡散しても個人の肖像権やプライバシーの侵害等の問題が発生することがない。
 ユーザによる収録が完了し、収録データが収録システム30からデータ処理サーバ50に送信(アップロード)されると、データ処理サーバ50は収録データをデータ処理サーバ50の記憶部53に格納し、さらに、先に図6を参照して説明した収録情報データベースに登録する。
 その後、ユーザ10は、ユーザ端末20を利用してデータ処理サーバ50の収録情報データベースにアクセスして収録データを閲覧し、ダウンロードすることができる。
 この収録データの閲覧、ダウンロード処理のシーケンスについて、図16に示すシーケンス図を参照して説明する。
  (ステップS31)
 まず、ユーザ端末20は、ステップS31において、データ処理サーバ50に広場利用履歴閲覧要求を送信する。
 この要求にはユーザIDが含まれる。
  (ステップS32)
 ユーザ端末20からは、広場利用履歴閲覧要求を受信したデータ処理サーバ50は、ステップS32において、ユーザの広場利用履歴閲覧要求に含まれるユーザIDを検索キーとして、収録情報データベースを検索し、ユーザIDの一致するエントリを選択してユーザの広場利用履歴情報を取得する。
  (ステップS33)
 次に、データ処理サーバ50は、ステップS33において、ステップS32で収録情報データベースから取得したユーザの広場利用履歴情報をユーザ端末に送信する。
  (ステップS34)
 次に、ユーザ端末20は、ステップS34において、データ処理サーバ50から受信したユーザの広場利用履歴情報をユーザ端末に表示する。
 この表示データは、例えば先に図13を参照して説明した表示データに相当する。
 図13に示すように、ユーザ端末20の表示部には、収録済みデータの情報として収録日時、収録場所に合わせて、カメラ撮影画像のサムネイルが表示され、さらに、収録音声のサンプル音声を出力することが可能な構成となっている。
 さらに、収録時に観客の評価データが取得されている場合、その評価データも併せて表示される。
 さらに、「収録データのダウンロード」アイコンも表示される。
  (ステップS35)
 次に、ユーザ端末20は、データ処理サーバ50に、収録データのダウンロード要求を送信する。
 この処理は、図13を参照して説明した「収録データのダウンロード」アイコンを操作(タッチ)する処理によって実行される。
 「収録データのダウンロード」アイコンを操作(タッチ)することで、データ処理サーバ50に、収録データのダウンロード要求が送信される。
  (ステップS36)
 ステップS35において、ユーザ端末20から収録データのダウンロード要求を受信したデータ処理サーバ50は、ステップS36において、記憶部からユーザの指定した収録データを取得する。
  (ステップS37)
 ステップS36において、記憶部からユーザの指定した収録データを取得したデータ処理サーバ50は、次にステップS37において取得した収録データをユーザ端末20に送信する。
  (ステップS38)
 最後に、データ処理サーバ50から、収録データを受信したユーザ端末20は、ステップS38において、収録データをユーザ端末20で再生、または記憶部に格納する処理を実行する。
  [5.各装置のハードウェア構成例について]
 次に、上述した実施例に従った処理を実行する情報処理システムを構成する各構成要素、すなわち、収録システム30、ユーザ端末20、データ処理サーバ50各々を構成する情報処理装置のハードウェア構成例について、図17を参照して説明する。
 図17に示すハードウェアは、収録システム30、ユーザ端末20、データ処理サーバ50各々を構成する情報処理装置のハードウェア構成の一例である。
 図17に示すハードウェア構成について説明する。
 CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
 CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種センサ、カメラ、スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
 入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
  [6.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 撮影された画像を入力し、画像処理を行うデータ処理部を有し、
 前記データ処理部は、
 前記撮影された画像内の予め規定された一部領域を識別が不可能な画像に変更する画像処理を実行する情報処理装置。
 (2)前記データ処理部は、
 前記一部領域に含まれる人画像領域を個人識別が不可能な画像に変更する画像処理を実行する(1)に記載の情報処理装置。
 (3) 前記データ処理部は、
 前記一部領域に含まれる人画像領域に対するぼかし処理を実行する(1)または(2)に記載の情報処理装置。
 (4) 前記データ処理部は、
 前記一部領域からの人画像検出処理を実行し、検出した人画像領域に対して、個人識別が不可能な画像に変更する画像処理を実行する(1)~(3)いずれかに記載の情報処理装置。
 (5) 前記情報処理装置は、
 通信可能領域が限定された近距離通信部を有し、
 画像処理対象とする前記一部領域は、前記近距離通信部を介して外部端末から入力した情報に基づいて決定する領域である(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記データ処理部は、
 前記外部端末から前記近距離通信部を介して入力した情報に基づいて、前記画像処理対象とする前記一部領域を決定した後、
 前記近距離通信部を介して前記外部端末から入力した収録開始要求に応じて、収録処理を開始する(5)に記載の情報処理装置。
 (7) 前記データ処理部は、
 前記外部端末から前記近距離通信部を介して入力した情報に基づいて、前記画像処理対象とする前記一部領域を決定する処理が完了するまでは、
 前記近距離通信部を介して前記外部端末から収録開始要求を入力しても、収録処理を実行しない(5)または(6)に記載の情報処理装置。
 (8) 前記データ処理部は、
 前記画像処理を施した画像を記憶部に格納する(1)~(7)いずれかに記載の情報処理装置。
 (9) 前記データ処理部は、
 前記記憶部に格納した画像を外部装置に送信し、送信後、記憶部格納データの削除処理を実行する(8)に記載の情報処理装置。
 (10) 前記情報処理装置は、
 マイクによって取得された特定方向の音声を記憶部に格納する(1)~(9)いずれかに記載の情報処理装置。
 (11) 前記情報処理装置は、
 通信可能領域が限定された近距離通信部を有し、
 音声取得対象領域は、前記近距離通信部を介して外部端末から入力した情報に基づいて決定する領域である(10)に記載の情報処理装置。
 (12) 前記データ処理部は、
 前記外部端末から前記近距離通信部を介して入力した情報に基づいて、前記音声取得対象領域を決定した後、
 前記近距離通信部を介して前記外部端末から入力した収録開始要求に応じて、収録処理を開始し、
 前記一部領域を決定する処理が完了するまでは、前記外部端末から収録開始要求を入力しても、録画処理を実行しない(11)に記載の情報処理装置。
 (13) 前記データ処理部は、
 前記画像の撮影を行うカメラが設置された広場の検索処理と、広場の利用権取得処理をユーザに実行させるUI(ユーザインタフェース)を生成して表示部に出力する(1)~(12)いずれかに記載の情報処理装置。
 (14) 前記データ処理部は、
 前記広場のカメラ配置情報を含む見取り図のアクセス情報を含むUIを生成する(13)に記載の情報処理装置。
 (15) 前記データ処理部は、
 前記広場の利用権取得希望ユーザによるUIに対する入力に応じて、前記利用権取得希望ユーザの広場利用権取得可否判定処理を実行し、
 他ユーザが前記広場の利用権を取得済みでない場合、前記利用権取得希望ユーザに、前記広場の利用権を付与する(13)または(14)に記載の情報処理装置。
 (16) 前記データ処理部は、
 識別が不可能な画像に変更する画像処理を実行しない画像領域をユーザに設定させるUIを生成して表示部に表示する(1)~(15)いずれかに記載の情報処理装置。
 (17) ユーザ端末と、収録システムを有する情報処理システムであり、
 前記収録システムは、
 撮影された画像を入力し、画像処理を行うデータ処理部と、
 通信可能領域が限定された近距離通信部を有し、
 前記データ処理部は、
 前記ユーザ端末から前記近距離通信部を介して画像処理領域指定情報を入力し、
 入力情報に基づいて、前記撮影された画像から、前記画像処理領域指定情報に従って選択される一部領域を識別が不可能な画像に変更する画像処理を実行する情報処理システム。
 (18) 前記データ処理部は、
 前記ユーザ端末から前記近距離通信部を介して音声取得対象領域情報を入力し、
 入力情報に基づいて、マイクによって取得された特定方向の音声を記憶部に格納する(17)に記載の情報処理システム。
 (19) 前記データ処理部は、
 前記ユーザ端末から前記近距離通信部を介して前記画像処理領域指定情報と、前記音声取得対象領域を入力したことを条件として、
 前記ユーザ端末から入力する収録開始要求に応じて、収録処理を開始する(18)に記載の情報処理システム。
 (20) 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、
 撮影された画像を入力し、画像処理を行うデータ処理部を有し、
 前記データ処理部が、
 前記撮影された画像内の予め規定された一部領域を識別が不可能な画像に変更する画像処理を実行する情報処理方法。
 (21) ユーザ端末と、収録システムを有する情報処理システムにおいて実行する情報処理方法であり、
 前記収録システムは、
 撮影された画像を入力し、画像処理を行うデータ処理部と、
 通信可能領域が限定された近距離通信部を有し、
 前記データ処理部が、
 前記ユーザ端末から前記近距離通信部を介して画像処理領域指定情報を入力し、
 入力情報に基づいて、前記撮影された画像から、前記画像処理領域指定情報に従って選択される一部領域を識別が不可能な画像に変更する画像処理を実行する情報処理方法。
 (22) 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、
 撮影された画像を入力し、画像処理を行うデータ処理部を有し、
 前記プログラムは、前記データ処理部に、
 前記撮影された画像内の予め規定された一部領域を識別が不可能な画像に変更する画像処理を実行させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、肖像権やプライバシーの侵害問題を発生させることのないパフォーマンス撮影を可能とする装置、方法が実現される。
 具体的には、例えば、カメラの撮影画像を入力し、画像処理を行うデータ処理部を有し、データ処理部は、撮影画像内の予め規定された一部領域に含まれる人画像領域を個人識別が不可能な画像に変更する。例えばぼかし処理を実行する。ぼかし処理対象領域は、近距離通信部を介してユーザ端末から入力した情報に基づいて決定し、領域決定処理完了後、近距離通信部を介してユーザ端末から入力した収録開始要求に応じて、収録処理を開始する。領域決定処理が完了するまでは、収録開始要求を入力しても、収録処理を実行しない。
 本構成により、肖像権やプライバシーの侵害問題を発生させることのないパフォーマンス撮影を可能とする装置、方法が実現される。
  10 ユーザ
  20 ユーザ端末
  21 制御部(データ処理部)
  22 通信部
  23 近距離通信部
  24 記憶部
  25 入出力部
  30 収録システム
  31 センサ
  32 近距離通信部
  33 制御部(データ処理部)
  34 通信部
  35 記憶部
  50 データ処理サーバ
  51 制御部(データ処理部)
  52 通信部
  53 記憶部
 101 ユーザ情報データベース
 102 広場情報データベース
 103 収録情報データベース
 301 CPU
 302 ROM
 303 RAM
 304 バス
 305 入出力インタフェース
 306 入力部
 307 出力部
 308 記憶部
 309 通信部
 310 ドライブ
 311 リムーバブルメディア

Claims (18)

  1.  撮影された画像を入力し、画像処理を行うデータ処理部を有し、
     前記データ処理部は、
     前記撮影された画像内の予め規定された一部領域を識別が不可能な画像に変更する画像処理を実行する情報処理装置。
  2.  前記データ処理部は、
     前記一部領域に含まれる人画像領域を個人識別が不可能な画像に変更する画像処理を実行する請求項1に記載の情報処理装置。
  3.  前記データ処理部は、
     前記一部領域に含まれる人画像領域に対するぼかし処理を実行する請求項2に記載の情報処理装置。
  4.  前記データ処理部は、
     前記一部領域からの人画像検出処理を実行し、検出した人画像領域に対して、個人識別が不可能な画像に変更する画像処理を実行する請求項2に記載の情報処理装置。
  5.  前記情報処理装置は、
     通信可能領域が限定された近距離通信部を有し、
     画像処理対象とする前記一部領域は、前記近距離通信部を介して外部端末から入力した情報に基づいて決定する領域である請求項1に記載の情報処理装置。
  6.  前記データ処理部は、
     前記外部端末から前記近距離通信部を介して入力した情報に基づいて、前記画像処理対象とする前記一部領域を決定した後、
     前記近距離通信部を介して前記外部端末から入力した収録開始要求に応じて、収録処理を開始する請求項5に記載の情報処理装置。
  7.  前記データ処理部は、
     前記外部端末から前記近距離通信部を介して入力した情報に基づいて、前記画像処理対象とする前記一部領域を決定する処理が完了するまでは、
     前記近距離通信部を介して前記外部端末から収録開始要求を入力しても、収録処理を実行しない請求項5に記載の情報処理装置。
  8.  前記データ処理部は、
     前記画像処理を施した画像を記憶部に格納する請求項1に記載の情報処理装置。
  9.  前記データ処理部は、
     前記記憶部に格納した画像を外部装置に送信し、送信後、記憶部格納データの削除処理を実行する請求項8に記載の情報処理装置。
  10.  前記データ処理部は、
     マイクによって取得された特定方向の音声を記憶部に格納する請求項1に記載の情報処理装置。
  11.  前記情報処理装置は、
     通信可能領域が限定された近距離通信部を有し、
     音声取得対象領域は、前記近距離通信部を介して外部端末から入力した情報に基づいて決定する領域である請求項10に記載の情報処理装置。
  12.  前記データ処理部は、
     前記外部端末から前記近距離通信部を介して入力した情報に基づいて、前記音声取得対象領域を決定した後、
     前記近距離通信部を介して前記外部端末から入力した収録開始要求に応じて、収録処理を開始し、
     前記一部領域を決定する処理が完了するまでは、前記外部端末から収録開始要求を入力しても、録画処理を実行しない請求項11に記載の情報処理装置。
  13.  前記データ処理部は、
     前記画像の撮影を行うカメラが設置された広場の検索処理と、広場の利用権取得処理をユーザに実行させるUI(ユーザインタフェース)を生成して表示部に出力する請求項1に記載の情報処理装置。
  14.  前記データ処理部は、
     前記広場のカメラ配置情報を含む見取り図のアクセス情報を含むUIを生成する請求項13に記載の情報処理装置。
  15.  前記データ処理部は、
     前記広場の利用権取得希望ユーザによるUIに対する入力に応じて、前記利用権取得希望ユーザの広場利用権取得可否判定処理を実行し、
     他ユーザが前記広場の利用権を取得済みでない場合、前記利用権取得希望ユーザに、前記広場の利用権を付与する請求項13に記載の情報処理装置。
  16.  前記データ処理部は、
     識別が不可能な画像に変更する画像処理を実行しない画像領域をユーザに設定させるUIを生成して表示部に表示する請求項1に記載の情報処理装置。
  17.  情報処理装置において実行する情報処理方法であり、
     前記情報処理装置は、
     撮影された画像を入力し、画像処理を行うデータ処理部を有し、
     前記データ処理部が、
     前記撮影された画像内の予め規定された一部領域を識別が不可能な画像に変更する画像処理を実行する情報処理方法。
  18.  情報処理装置において情報処理を実行させるプログラムであり、
     前記情報処理装置は、
     撮影された画像を入力し、画像処理を行うデータ処理部を有し、
     前記プログラムは、前記データ処理部に、
     前記撮影された画像内の予め規定された一部領域を識別が不可能な画像に変更する画像処理を実行させるプログラム。
PCT/JP2020/025269 2019-07-30 2020-06-26 情報処理装置、および情報処理方法、並びにプログラム WO2021019987A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/628,859 US20220256098A1 (en) 2019-07-30 2020-06-26 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-139785 2019-07-30
JP2019139785 2019-07-30

Publications (1)

Publication Number Publication Date
WO2021019987A1 true WO2021019987A1 (ja) 2021-02-04

Family

ID=74228455

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/025269 WO2021019987A1 (ja) 2019-07-30 2020-06-26 情報処理装置、および情報処理方法、並びにプログラム

Country Status (2)

Country Link
US (1) US20220256098A1 (ja)
WO (1) WO2021019987A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167504A (ja) * 2003-12-01 2005-06-23 Canon Inc 撮影管理システムおよび撮影管理方法
JP2014045259A (ja) * 2012-08-24 2014-03-13 Sony Corp 端末装置、サーバ及びプログラム
WO2014192804A1 (ja) * 2013-05-28 2014-12-04 三菱電機株式会社 デコーダ及び監視システム
JP2016092820A (ja) * 2014-11-04 2016-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 遠隔カメラ制御方法、遠隔撮影システムおよびサーバ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2732621A4 (en) * 2011-07-12 2015-04-29 Solutions Xyz Llc SYSTEM AND METHOD FOR DETECTING AND OUTPUTING VIDEO IMAGES
US11453365B2 (en) * 2016-08-26 2022-09-27 NetraDyne, Inc. Recording video of an operator and a surrounding visual field
US11089313B2 (en) * 2019-06-04 2021-08-10 Nokia Of America Corporation Protecting personal privacy in a video monitoring system
US11317147B2 (en) * 2020-04-29 2022-04-26 Motorola Mobility Llc Methods, systems, and devices for processing private media content captured by sensors operating in privacy modes of operation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167504A (ja) * 2003-12-01 2005-06-23 Canon Inc 撮影管理システムおよび撮影管理方法
JP2014045259A (ja) * 2012-08-24 2014-03-13 Sony Corp 端末装置、サーバ及びプログラム
WO2014192804A1 (ja) * 2013-05-28 2014-12-04 三菱電機株式会社 デコーダ及び監視システム
JP2016092820A (ja) * 2014-11-04 2016-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 遠隔カメラ制御方法、遠隔撮影システムおよびサーバ

Also Published As

Publication number Publication date
US20220256098A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
JP5385598B2 (ja) 画像処理装置及び画像管理サーバ装置及びそれらの制御方法及びプログラム
KR101247054B1 (ko) 구성 파일들을 가져오기 위한 방법, 휴대용 장치 및 컴퓨터 메모리
US7797740B2 (en) System and method for managing captured content
JP2009099142A (ja) 画像共有システムおよび方法、ならびにコンテンツ共有システムおよび方法
JP5374209B2 (ja) コンテンツ共有システム、コンテンツ共有サーバー及びプログラム
KR20100065059A (ko) 사진 허가 시스템
JP6275828B2 (ja) 検索結果取得方法及び装置
JP2010079788A (ja) コンテンツ管理装置、システム、方法およびプログラム
JP6459059B2 (ja) カメラ制御方法及びカメラ制御システム
KR100861336B1 (ko) 영상 앨범 제공 방법, 영상 앨범 제공 시스템, 영상 등록방법 및 서비스 정보 제공 방법
JP2007133574A (ja) アクセス制御装置、アクセス制御システムおよびアクセス制御方法
WO2021019987A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2013239925A (ja) 撮像装置、その制御方法、プログラム
US20050038990A1 (en) Authorization device, method and program
JP2019075611A (ja) サーバ、カメラおよび方法
JP6008660B2 (ja) 情報処理装置、情報処理方法
JP6115673B2 (ja) 装置、及びプログラム
JP2015198298A (ja) 映像配信システム
CN111869196A (zh) 用于数据管理的装置、系统和方法以及记录介质
KR101809404B1 (ko) 비디오 스트리밍 시스템에서 애플케이션 요구 기반 영상 품질 설정 방법
KR20050048079A (ko) 인터넷을 이용한 음성, 문자 및 화상 동시통신 시스템 및그 방법
US20050125721A1 (en) Method of controlling server apparatus which stores image data received via network in memory, program for causing computer apparatus to execute the method, storage medium which stores the program, and computer apparatus
JP2011203769A (ja) 画像検索装置および方法、情報端末、情報処理方法、画像検索システム、並びにプログラム
EP4300934A1 (en) Image management apparatus, control method, and program
JP2002077862A (ja) デジタル画像通信システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20848287

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20848287

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP