WO2016006287A1 - 情報処理装置、記憶媒体、および制御方法 - Google Patents

情報処理装置、記憶媒体、および制御方法 Download PDF

Info

Publication number
WO2016006287A1
WO2016006287A1 PCT/JP2015/060227 JP2015060227W WO2016006287A1 WO 2016006287 A1 WO2016006287 A1 WO 2016006287A1 JP 2015060227 W JP2015060227 W JP 2015060227W WO 2016006287 A1 WO2016006287 A1 WO 2016006287A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
information processing
information
unit
Prior art date
Application number
PCT/JP2015/060227
Other languages
English (en)
French (fr)
Inventor
矢島　正一
和之 迫田
隆俊 中村
竹原　充
有希 甲賀
智也 大沼
丹下　明
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2016532459A priority Critical patent/JP6586954B2/ja
Priority to EP15818411.9A priority patent/EP3169063A4/en
Priority to US15/321,691 priority patent/US10225525B2/en
Publication of WO2016006287A1 publication Critical patent/WO2016006287A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to an information processing device, a storage medium, and a control method.
  • the server receives the video of the camera installed at the intersection by wireless communication, and informs the pedestrian of the presence of the vehicle based on the analysis result of the video or the presence of the pedestrian in the vehicle.
  • a support system for informing the user is disclosed.
  • the number of surveillance cameras to be installed is expected to increase further in the future, and it would be even more comfortable if video obtained with such surveillance cameras could be provided in real time in response to requests from users in the vicinity. Can support a safe life.
  • the present disclosure proposes an information processing apparatus, a storage medium, and a control method that can support a safer and more comfortable life by providing information based on real-time images collected from a large number of imaging devices. To do.
  • a search unit that searches for an imaging device around a specific information processing device, a providing unit that provides a user with information related to the searched imaging device and the angle of view of the imaging device, and the user And an acquisition unit that acquires an image captured by the imaging device selected by the information processing apparatus, and the providing unit proposes an information processing device that provides the user with the image acquired by the acquisition unit.
  • a search unit that searches for an imaging device around a specific information processing device, a providing unit that provides a user with information related to the searched imaging device and the angle of view of the imaging device, and a computer
  • a program that functions as an acquisition unit that acquires an image captured by an imaging device selected by the user, and the providing unit functions to provide the user with the image acquired by the acquisition unit.
  • a stored storage medium is proposed.
  • searching for an imaging device around a specific information processing device providing the user with information related to the searched imaging device and the angle of view of the imaging device, and selecting by the user
  • a control method includes acquiring an image captured by a captured image capturing apparatus and providing the acquired image to the user.
  • the information processing system includes an information processing server 1 connected to a network 3 and a plurality of road reflector cameras (clients) 2-1 to 2-3.
  • the information processing server 1 controls a plurality of road reflector cameras 2-1 to 2-3 installed for each section or within a specific range.
  • the information processing server 1 controls the DB 14 to accumulate images taken by the road reflector cameras 2-1 to 2-3.
  • the DB 14 may be built in the information processing server 1.
  • the information processing server 1 provides the user with an image captured by the road reflector type camera 2 existing around the user in real time in response to a request from the user terminal, for example. Thereby, the user can browse in real time the image captured by the nearby road reflector type camera 2 and can confirm the state of a blind spot or a place a little away from the user.
  • the road reflector type camera (client) 2 includes an imaging unit 26.
  • the imaging unit 26 is provided on the back side of the center of the reflecting mirror and can capture the surroundings through the reflecting mirror.
  • FIG. 1 a system A in which a plurality of road reflector cameras 2A1-1 to 2A-3 and an information processing server 1A installed in a certain section A are connected by a network 3A and another section B are installed.
  • a plurality of road reflector cameras 2B1-1 to 2B-3 and a system B in which an information processing server 1B is connected by a network 3B are shown.
  • these system A and system B may be connected to an external system via the relay server 5.
  • the external system is a dedicated server 6 (6A to 6D) and its database (DB) 62 (62A to 62D), which are connected to dedicated networks 7A and 7B, for example.
  • DB database
  • these external systems are not particularly limited, for example, a security system described later is applicable.
  • the road reflector camera 2 is referred to as a client 2.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the information processing server 1 according to the present embodiment.
  • the information processing server 1 includes a main control unit 10, a communication unit 11, and a DB (database) 14.
  • the main control unit 10 includes, for example, a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, and an interface unit. To control.
  • the main control unit 10 makes an image acquisition request to the clients 2 existing around the user based on the current position information of the user transmitted from the user terminal 4 via the communication unit 11. More specifically, as shown in FIG. 2, the main control unit 10 also functions as a camera search unit 10a, an information providing unit 10b, an image acquisition unit 10c, and an image processing unit 10d.
  • the camera search unit 10a searches for a client 2 (an example of an imaging device) that exists around the user terminal 4 (an example of a specific information processing device). Specifically, for example, the camera search unit 10a refers to map information indicating the installation position of the client 2 stored in the DB 14 based on the current position information and posture information (orientation) received from the user terminal 4, The client 2 located in the user's traveling direction or the client 2 located in the direction in which the user is facing are searched. Further, the camera search unit 10a outputs the search result to the information providing unit 10b and / or the image acquisition unit 10c.
  • the information providing unit 10b provides the user terminal 4 with information related to the client 2 searched by the camera searching unit 10b and the angle of view of the client 2. Specifically, for example, the information providing unit 10b provides the user terminal 4 with information such as the installation position information (two-dimensional or three-dimensional position information) of the client 2, the shooting direction, and the angle of view. As a result, the user can select any desired client 2 based on the installation position, shooting direction, and the like of the client 2 present around him presented on the user terminal 4.
  • the installation position information two-dimensional or three-dimensional position information
  • the information providing unit 10b may provide the user terminal 4 with the captured image of the client 2 acquired by the image acquiring unit 10c and the image processing information (analysis result) by the image processing unit 10d.
  • the image acquisition unit 10c makes an image acquisition request to the client 2 and acquires a captured image (moving image) captured by the client 2 in real time. Specifically, the image acquisition unit 10 c makes an image acquisition request to the client 2 selected by the user, and acquires a captured image from the client 2. Further, the image acquisition unit 10c acquires a captured image by making an image acquisition request to the client 2 located closest to the user among the clients 2 searched by the camera search unit 10a until selected by the user. May be. The captured image acquired by the image acquisition unit 10c is provided to the user terminal 4 by the information providing unit 10b.
  • the image processing unit 10d performs image processing on the captured image of the client 2 acquired by the image acquisition unit 10c, and obtains a predetermined analysis result.
  • the image processing unit 10d can perform a moving body detection process on the captured image, perform a traffic safety risk prediction, perform a face recognition process, and perform a security risk prediction.
  • the image processing information (analysis result) output from the image processing unit 10d is provided to the user terminal 4 by the information providing unit 10b.
  • the communication unit 11 has a function of connecting to an external device by wireless / wired and transmitting / receiving data.
  • the communication unit 11 according to the present embodiment is connected to, for example, the user terminal 4 to receive current position information or the like and transmit a captured image.
  • the communication unit 11 connects to the client 2 and receives a captured image.
  • the DB 14 is a database that stores various types of information.
  • the DB 14 stores map information indicating the installation position of the client 2 connected to the information processing server 1 via the network 3.
  • the client 2 is an example of an imaging apparatus.
  • the client 2 uses, for example, a road reflector type camera in which a camera is built in a road reflector.
  • a road reflector provides a blind spot that cannot be directly seen by pedestrians and drivers at intersections, etc., and reflects light by a mirror at a position where an object that is originally visible cannot be seen. It makes a certain image visible to the object.
  • the image reflected by the reflecting mirror provided in the passage is distorted and sunlight is reflected.
  • the present embodiment by providing an imaging function in the road reflector, clearer blind spot information can be captured and acquired from an appropriate position or an arbitrary position. Therefore, the recognition accuracy for the blind spot is higher than in the past. It is possible to reduce individual differences in improvement and recognition. Further, by providing communication functions to a plurality of road reflectors and managing them by the information processing server 1, the operation status can be managed in real time. In addition, by analyzing the captured image acquired by the road reflector, a service with added value can be provided, and the road reflector and its installation space can be effectively used.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the client 2 (road reflector type camera) according to the present embodiment.
  • the client 2 includes a CPU 21, a ROM 22, a RAM 23, a storage unit 24, a communication I / F (interface) 25, an imaging unit 26, a mirror unit 27, a mirror control unit 28, and a sensor 29.
  • the CPU 21 is configured by a microcomputer, for example, and controls each configuration of the client 2. For example, the CPU 21 performs imaging control by the imaging unit 26 according to a control signal transmitted from the server 1 via the communication I / F 25.
  • the ROM 22 stores control data such as programs used by the CPU 21 and calculation parameters.
  • the RAM 23 temporarily stores a program executed by the CPU 21.
  • the storage unit 24 stores various data.
  • the storage unit 24 can temporarily store an image captured by the imaging unit 26.
  • the communication I / F 25 is a communication unit included in the client 2 and communicates with an external device included in the information processing system according to the present embodiment via the network 3 (or directly).
  • the communication I / F 25 wirelessly connects to the information processing server 1 and transmits a captured image.
  • the imaging unit 26 photoelectrically converts imaging light obtained by the lens system including a lens system including an imaging lens, a diaphragm, a zoom lens, and a focus lens, a drive system that causes the lens system to perform a focus operation and a zoom operation, and the lens system.
  • a solid-state imaging device array that generates an imaging signal.
  • the solid-state imaging device array may be realized by, for example, a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Semiconductor) sensor array.
  • the imaging lens is provided on the back of the mirror unit 27, and can capture the surroundings through the semi-transmissive or transmissive mirror unit 27.
  • an imaging lens a lens device, an actuator for controlling the attitude of the imaging device, and the like may be provided in order to capture an image of the blind spot with fewer imaging devices or to capture a wider range.
  • the mirror unit 27 is for making the user visually recognize the blind spot, and reflects light with a mirror so that an image at a position that the user cannot originally see is visually recognized.
  • the mirror unit may be a mechanical or electronic shutter or a switchable mirror.
  • the actuator is controlled from the reflective state to the transparent state when starting from deep sleep or shutdown state, and from system operation mode to deep sleep mode or shutdown.
  • the mirror control unit 28 performs control to shift the switchable mirror from the reflection state (non-transmission) to the transmission state. Moreover, it is good also as a state which can image by the image pick-up part 26 by making it change to a semi-transmission state with a mirror in a reflective state.
  • the mirror control unit 28 controls the mirror unit 27 to be in a transmission or semi-transmission state mainly while the imaging unit 26 performs imaging.
  • the client 2 may further include various sensors.
  • the sensor 29 is various sensors that detect, for example, vibration, sound, temperature, humidity, illuminance, and electromagnetic waves (ultraviolet / infrared / radio wave, etc.).
  • the sensor 29 is added to the image captured by the imaging unit 26 and transmitted to the server 1.
  • information that cannot be obtained from image processing can be provided.
  • the information processing server 1 superimposes information from the infrared sensor on the moving body that can be recognized from the image, so that the target is a living body. It is possible to determine whether the object is a living body (more specifically, a person or a car) and to recognize the danger level of the approaching object to the user.
  • the client 2 may also have a power supply unit.
  • the power supply unit may include power storage elements such as a primary battery, a capacitor, and a secondary battery, in addition to power supply by an AC power supply and a DC power supply. These power storage elements may be used for the purpose of rectification when the power fluctuates, or may be used as a backup power source in case of emergency such as a UPS power source.
  • a power generation element that generates electric power by means of electromagnetic fields (ultraviolet light, infrared light, visible light, radio waves, etc.) or a near electromagnetic field such as electromagnetic field induction, temperature difference, wind force, mechanical vibration, enzyme reaction, etc. You may supply power from electromagnetic fields (ultraviolet light, infrared light, visible light, radio waves, etc.) or a near electromagnetic field such as electromagnetic field induction, temperature difference, wind force, mechanical vibration, enzyme reaction, etc. You may supply power from electromagnetic fields (ultraviolet light, infrared light, visible light, radio waves, etc.) or
  • the user terminal 4 that receives information from the information processing server 1 is, for example, a smartphone terminal, a tablet terminal, a mobile phone terminal, a PDA (Personal Digital Assistant), a PC (Personal Computer), a portable music player, a portable game machine. Or a wearable terminal (HMD (head mounted display), glasses-type HMD, watch-type terminal, band-type terminal, etc.).
  • a smartphone terminal for example, a tablet terminal, a mobile phone terminal, a PDA (Personal Digital Assistant), a PC (Personal Computer), a portable music player, a portable game machine.
  • PDA Personal Digital Assistant
  • PC Personal Computer
  • portable music player Portable music player
  • portable game machine a portable game machine.
  • HMD head mounted display
  • glasses-type HMD watch-type terminal
  • band-type terminal etc.
  • the user terminal 4 has an operation input function and a display function.
  • the operation input function is realized by a touch sensor that receives an operation input to the display screen.
  • the display function is realized by, for example, an LCD (Liquid Crystal Display) or an OLED (Organic Light-Emitting Diode).
  • the user terminal 4 has a position information acquisition unit, and detects the current position of the user terminal 4 based on an acquisition signal from the outside.
  • the position information acquisition unit is realized by, for example, a GPS (Global Positioning System) positioning unit, receives radio waves from GPS satellites, and detects a position where the user terminal 4 is present.
  • the position information acquisition unit may detect the position by transmission / reception with, for example, Wi-Fi (registered trademark), a mobile phone / PHS / smartphone, or near field communication.
  • Each embodiment The information processing system having the above configuration is more comfortable and safe by providing a video obtained by a road reflector camera (client 2) or an analysis result thereof in real time according to a request from a user in the vicinity. Support a healthy life. Specific examples of the support contents by such an information processing system will be described below with reference to a plurality of embodiments.
  • FIG. 4 is a diagram for explaining the outline of the information processing system according to the first embodiment.
  • the image captured by the imaging unit 26 is displayed in real time by the user. If it can be provided, the user can confirm the current state of the place that cannot be seen, and thus the convenience is improved.
  • the client 2B-1 For example, when the user wants to check the current state of the store A (for example, whether the store is currently vacant or crowded) while the user is out, the client 2B-1 etc. If the captured image is provided in real time, the current state can be seen without moving to the store A.
  • the current state of the store A for example, whether the store is currently vacant or crowded
  • FIG. 5 is a sequence diagram illustrating an example of an image providing process according to the first embodiment.
  • the user terminal 4 detects the presence or absence of a trigger.
  • the trigger may be, for example, a system activation instruction operation (button operation, gesture, voice input, etc.) by the user, or may be that the user has moved to a predetermined range where the system can be provided.
  • step S106 the user terminal 4 acquires the current position and orientation information of the user terminal 4.
  • the current position is acquired by, for example, a GPS provided in the user terminal 4, and the posture information is acquired by, for example, a gyro sensor or a geomagnetic sensor provided in the user terminal 4.
  • step S109 the user terminal 4 transmits the acquired current position information and posture information to the information processing server 1.
  • the camera search unit 10a of the information processing server 1 searches for a client row located in the direction in which the user is facing, according to the current position information and posture information. More specifically, as shown in FIG. 6, the camera search unit 10 a estimates the direction facing the user's position from the current position information and posture information acquired by the user terminal 4, and the user is facing. The client row located in the direction L is searched with reference to the map information stored in the DB 14.
  • the vertical direction is “column” and the horizontal direction is “row” as shown in FIG. Therefore, in the map information shown in FIG.
  • the camera search unit 10a searches for the clients 2A-2, 2B-2, and 2B-3 as client strings positioned on the direction L that the user is facing. At this time, a client located on a straight line is a search target without considering the presence or absence of buildings in the direction the user is facing.
  • step S115 the information processing server 1 issues an image acquisition request to the nearest client 2A-2 located closest to the user among the searched clients 2.
  • step S118 the client 2A-2 performs mode switching. Specifically, the client 2A-2 switches from a deep sleep mode (standby mode) in which a captured image is not acquired or a shutdown state to a system operation mode (specifically, a high resolution imaging mode).
  • a deep sleep mode standby mode
  • a system operation mode specifically, a high resolution imaging mode
  • step S121 the client 2A-2 starts high-resolution imaging using the imaging unit 26A-2.
  • step S124 the client 2A-2 continues to transmit the captured image (video) to the information processing server 1 in real time.
  • step S127 the information processing server 1 transmits the captured image transmitted from the client 2A-2 to the user terminal 4 to provide it.
  • the information processing server 1 may also transmit information regarding the installation position and angle of view of the client 2A-2 based on the map information and information acquired from the client 2A-2.
  • step S130 the user terminal 4 displays the captured image transmitted from the information processing server 1. If necessary, an image showing the position and angle of view of the client 2A-2 that acquired the captured image is displayed.
  • step S133 the user terminal 4 receives an input of an operation signal instructing client switching (movement of the target client). That is, by the process of S130, the user can see the current state of the road on the other side that cannot be seen across the building from the current position, but such an image is closest to the searched client row. Since it is obtained by the client 2A-2 located, it may be assumed that the image is not an image of the target location. In this case, the user can instruct client switching (movement of the target client).
  • the orientation may be changed by moving the direction of the user terminal 4 and a search in a different direction may be instructed, or a switching instruction may be instructed by a line of sight, an electroencephalogram, or a gesture.
  • Such a band-type information processing terminal includes a gyro sensor, a geomagnetic sensor, an acceleration sensor, or the like, and detects rotation of the arm or movement in the vertical and horizontal directions when it is worn on the user's arm, and displays the detection result. It transmits to the user terminal 4.
  • a band type information processing terminal includes a gyro sensor, a geomagnetic sensor, an acceleration sensor, or the like, and detects rotation of the arm or movement in the vertical and horizontal directions when it is worn on the user's arm, and displays the detection result. It transmits to the user terminal 4.
  • switching instructions using such a band type information processing terminal will be described with reference to FIGS.
  • FIG. 7 is a diagram for explaining an operation for instructing client movement / zoom-in / out in the row direction.
  • an instruction is given to proceed in the row direction (see FIG. 6) by turning the band terminal 8 clockwise as viewed from the user. It may be instructed to return to the line direction by turning counterclockwise as viewed from the user.
  • the operation input by rotating the band terminal 8 to the left and right can be used not only for advancing / retreating in the row direction but also for a zoom-in / out operation of the displayed captured image.
  • FIG. 8 is a diagram for explaining an operation for instructing client movement / viewpoint movement in the column direction.
  • the band terminal 8 when the band terminal 8 is worn on the user's left arm, the band terminal 8 is moved to the right when viewed from the user to instruct the column movement in the right direction and viewed from the user.
  • the operation input by moving the band terminal 8 to the left and right may be used not only for column movement but also for operating the viewpoint of the displayed captured image in the left-right direction.
  • FIG. 9 is a diagram for explaining the operation for instructing the vertical viewpoint movement. As shown in FIG. 9, when the band terminal 8 is worn on the left arm of the user, the band terminal 8 is directed upward to instruct to move the viewpoint upward, and the band terminal 8 is directed downward to move downward. A viewpoint movement can be instructed.
  • the user terminal 4 transmits the input operation signal to the information processing server 1 in step S136.
  • step S139 the camera search unit 10a of the information processing server 1 generates column and row movement amount information based on the received operation signal, and searches for a specific client in step S142. For example, when an operation signal instructing to move forward by one block in the row direction and an operation signal instructing column movement in the left direction are input, the camera search unit 10a identifies the current as shown in FIG. The client 2A-1 is searched for the client 2B-1 which is proceeding in the direction of one block row from the client 2A-2 and located in the left direction S designated by the user.
  • step S142 the information processing server 1 issues an image acquisition request to the searched specific client 2B-1.
  • step S130 processing similar to that in S118 to S127 is performed, and in step S130, the user terminal 4 displays the captured image captured by the client 2B-1 in real time. Thereby, the user can confirm the current state of the store A included in the image captured by the client 2B-1.
  • the information processing server 1 When the specific client is switched from the client 2A-2 to the client 2B-1 and the captured image displayed on the user terminal 4 is updated, the information processing server 1 performs display control so that the effect processing image is switched. May be. For example, as shown in FIG. 10, when switching from an image P1 captured by the client 2A-2 to an image P3 captured by the client 2B-1, the user who is viewing moves through a road or a building. Display control may be performed so as to switch between the effect images P ⁇ b> 2 to which an effect process for giving a sense of being performed is added.
  • map information may be presented to indicate the position of the user and the position of the specific client in the map information.
  • a captured image 427 (video) captured by the client 2 is displayed in real time on the display unit 42 of the user terminal 4, and a map image 428 is displayed below the display unit 42.
  • a current location icon 430 indicating the current location of the user
  • client icons 432a to 432g indicating the positions of many clients 2 are mapped.
  • an angle of view area 434 indicating the angle of view (shooting direction and shooting range) of each client 2 is also displayed.
  • the user can also perform an operation input (S133) of a client switching instruction by tapping and selecting any client icon 432a to e on the map.
  • the user terminal 4 instructs the information processing server 1 to switch to the tapped client icon 432.
  • step S160 the user terminal 4 determines whether or not the user has moved. If the user terminal 4 determines that the user has moved (S160 / Yes), the process returns to step S106, and the current position information / attitude information is obtained from the information processing server. 1 to send.
  • the information processing server 1 determines the imaging unit of the specific client 2 26 is instructed to zoom in / out, move the viewpoint in the right / left direction, and move the viewpoint in the up / down direction. Accordingly, the imaging unit 26 is driven according to an instruction to perform a zoom-in / out operation or the like.
  • the zoom-in / out operation or the like is not limited to the mechanical operation by the imaging unit 26, and may be realized by image processing by the image processing unit 10d of the information processing server 1. That is, when a part of an image captured by the imaging unit 26 of the client 2 is provided to the user terminal 4, a target image is extracted by image processing according to a zoom-in / out operation or the like.
  • the client 2 is found in the target range when searching by the camera search unit 10a of the information processing server 1, but the client 2 is found in the target range. It is assumed that there is not. Such a case will be described with reference to FIG.
  • FIG. 12 is a flowchart supplementing the search processing according to the first embodiment.
  • the camera search unit 10a of the information processing server 1 searches for the client 2 based on the current position information / attitude information of the user and the movement amount information corresponding to the operation signal. .
  • step S189 when there is a client in the range (step S189 / Yes), in step S189, the processing after S115 shown in FIG.
  • step S192 the camera search unit 10a determines whether there is a registered captured image in the range in the image database.
  • the server 6 that manages a specialized image database in the external system (FIG. 1) is accessed, and imaging is performed in the past within a range based on the current position information / posture information of the user and movement amount information corresponding to the operation signal. Search the captured image.
  • step S195 the information processing server 1 acquires the image information of the image database, and instead of the process of S127 shown in FIG. 4 transmits the image information.
  • step S198 the information processing server 1 notifies the user that there is no target image as a NULL process. For example, on the display screen of the user terminal 4, a black screen is displayed, “NULL” is displayed, or “no image” is displayed.
  • a display indicating that the image is a past image or an imaging date and time may be displayed together so that the difference from the real-time image becomes clear.
  • FIG. 13 is a diagram for explaining the outline of the information processing system according to the second embodiment.
  • an image captured by the imaging unit 26 is analyzed. It is possible to grasp the movement of the moving bodies M1 to M4 and predict the danger such as a collision. By providing the predicted danger information to the user, the image is distorted even if the user looks at the mirror of the road reflector type camera 2, the sun light is reflected, and the blind spot is appropriately determined depending on the viewing angle. Accidents can be prevented if the hazard cannot be detected because it cannot be confirmed.
  • the danger can be avoided by interrupting and displaying the danger notification screen on the smartphone (user terminal 4).
  • the user is not aware of the surrounding danger while walking or riding a bicycle while listening to music with the earphone. Therefore, the danger can be avoided by interrupting the danger notification from the earphone and outputting the sound.
  • FIG. 14 is a sequence diagram illustrating an example of traffic safety risk information providing processing according to the second embodiment.
  • the user terminal 4 detects the presence or absence of a trigger.
  • the trigger may be, for example, a system activation instruction operation (button operation, gesture, voice input, etc.) by the user, or may be that the user has moved to a predetermined range where the system can be provided.
  • step S206 the user terminal 4 has its current position, movement information (speed, direction), moving body type (pedestrian, bicycle, car, etc.), etc. Is acquired as moving body information.
  • the current position is acquired by, for example, a GPS provided in the user terminal 4, and the movement information is acquired by, for example, a gyro sensor or an acceleration sensor provided in the user terminal 4.
  • step S209 the user terminal 4 transmits the acquired mobile body information to the information processing server 1.
  • step S212 the camera search unit 10a of the information processing server 1 identifies the danger target area with reference to the map information based on the moving body information. For example, in the example shown in FIG. 13, when moving body information is transmitted from the moving body M1 (user; pedestrian), the range shown in FIG. 13 centering on the moving body M1 is specified as the danger target area.
  • step S215 the image acquisition unit 10c of the information processing server 1 transmits a warning signal (including an image acquisition request) to the client 2 included in the danger target area.
  • a warning signal can be transmitted to the clients 2A-1 to 2A-3, 2B-1 to 2B-3.
  • FIG. 2B-1 indicates transmission of a warning signal (S215a, S215a).
  • each client 2 starts imaging by the imaging unit 26 in response to the reception of the warning signal (S218a, S218b).
  • the captured image (video) is processed in real time.
  • the transmission continues to the server 1 (S221a, S221b).
  • each client 2 starts imaging by making a transition from the deep sleep mode (standby mode) to the system operation mode (specifically, the low-rate imaging mode).
  • the image processing unit 10d of the information processing server 1 analyzes the captured image received from the client 2 in the danger target area, and performs detection of a moving body and danger prediction. Specifically, for example, the image processing unit 10d of the information processing server 1 uses the captured images acquired from the clients 2A-1 to 2A-3 and 2B-1 to 2B-3 in the danger target area to move the mobile objects M1 to M1. M5 is detected. Then, the image processing unit 10d identifies the mobile object M1 that is the user of this system based on the mobile object information transmitted from the user terminal 4, and is approaching the mobile object M1 relatively. Detect possible objects.
  • the image processing unit 10d determines whether an object that is relatively close to the moving body M1 is a living body or a non-living body based on the values of various sensors 29 such as an infrared sensor added to the captured image.
  • the position difference of the object is extracted from the image, the relative position / velocity vector is detected, and the possibility of collision is calculated.
  • the image processing unit 10 d includes the position, moving direction, moving speed, moving body type (pedestrian) of the moving body M1, and the position, moving direction, speed, and moving body type of the moving body M2. Based on (automobile), the possibility that the moving body M1 and the moving body M2 collide (danger information) is output.
  • the moving body M3 does not output danger information based on the moving direction. Moreover, when the user of this system is a moving body M5 (bicycle), the possibility of collision with the moving body M4 (danger information) is output.
  • step S230 the information processing server 1 issues a warning notification to the mobile body M1 (user terminal 4).
  • step S233 the user terminal 4 performs warning processing in response to a warning notification from the information processing server 1.
  • the warning notification screen may be interrupted and displayed on the display screen of the user terminal 4, or if music playback control is being performed from earphones or headphones, an interrupt signal may be applied to the music being played to generate a warning sound.
  • the user terminal 4 may perform the warning process at a cycle that matches the relative distance from the target object that collides.
  • you may call attention by the vibration by the vibration function of the user terminal 4, or the display of the display of eyewear (glasses type HMD).
  • Such warning processing content may be customized for each user.
  • a warning screen may be displayed on the navigation screen (a windshield or a display device installed beside the driver's seat), or listening in the automobile.
  • An alarm signal may be sounded by interrupting the music being played.
  • the brake system of the vehicle (mobile body M2) connected to the network may be forcibly controlled and braked.
  • a warning notification can be sent to the mobile unit M2.
  • step S234 the user terminal 4 determines whether or not the user has moved (it is assumed that the moving direction is changed or stopped to avoid danger), and if the user terminal 4 determines that the user has moved ( S234 / Yes), the process returns to step S206, and the mobile body information is newly transmitted to the information processing server 1.
  • step S236 the information processing server 1 transmits a warning cancellation signal to each client 2 in the danger target area. (S236a, S236b).
  • each client 2 that has received the warning cancellation signal ends imaging by the imaging unit 26 (S239a, S239b). Specifically, each client 2 ends imaging by making a transition from the system operation mode to the deep sleep mode (standby mode).
  • FIG. 15 is a sequence diagram showing another example of traffic safety danger information provision processing according to the second embodiment.
  • the processing shown in FIG. 15 is the same as the processing shown in FIG.
  • each client 2 that has received the warning signal from the information processing server 1 switches to the high rate mode (S216a, S216b). That is, each client 2 switches from the deep sleep mode to the high rate mode in which imaging is performed with high resolution.
  • each client 2 starts high-resolution imaging by the imaging unit 26 (S218a, S218b).
  • Each client 2 switches from the deep sleep mode to the low-rate imaging mode when receiving a warning signal for the first time, and then the information processing server 1 calculates the risk prediction and re-images to make a more detailed determination.
  • the low-rate imaging mode may be switched to the high-rate imaging mode.
  • the risk information on crime prevention is extracted based on the video acquired by the road reflector type camera (client 2) existing around the user, and provided to the user, so that a safer life is achieved.
  • client 2 road reflector type camera
  • an image captured by the imaging unit 26 is analyzed in a situation where a large number of clients 2 (2A-1 to 2A-3, 2B-1 to 2B-3) are installed in the city.
  • the present disclosure is not limited to this. For example, it is possible to predict a crime risk.
  • FIG. 16 is a sequence diagram illustrating an example of crime prevention risk information providing processing according to the third embodiment.
  • the user terminal 4 detects the presence or absence of a trigger.
  • the trigger may be, for example, a system activation instruction operation (button operation, gesture, voice input, etc.) by the user, or may be that the user has moved to a predetermined range where the system can be provided.
  • step S306 the user terminal 4 acquires its current position, movement information (speed, direction), and the like.
  • the current position is acquired by, for example, a GPS provided in the user terminal 4, and the movement information is acquired by, for example, a gyro sensor or an acceleration sensor provided in the user terminal 4.
  • step S309 the user terminal 4 transmits the acquired current position information and movement information to the information processing server 1.
  • step S312 the camera search unit 10a of the information processing server 1 identifies the danger target area with reference to the map information based on the current position of the user and the movement information.
  • step S315 the image acquisition unit 10c of the information processing server 1 transmits a warning signal (including an image acquisition request) to the client 2 included in the danger target area (S215a, S215a).
  • each client 2 switches to a high-rate imaging mode in response to the reception of a warning signal (S316a, S216b), and in step S319, starts high-resolution imaging by the imaging unit 26 (S319a). , S219b).
  • the mode is switched to the high-rate imaging mode.
  • each client 2 switches to the low-rate imaging mode, and when a danger is detected later, an image acquisition request is made again from the information processing server 1. In this case, the mode may be switched to a high-rate imaging mode.
  • each client 2 continues to transmit the captured image (video) to the information processing server 1 in real time (S321a, S321b).
  • the image processing unit 10d of the information processing server 1 analyzes the captured image received from the client 2 in the danger target area and makes a security risk prediction. Specifically, for example, the information processing server 1 makes an inquiry to a security system of an external system (see FIG. 1) and receives a security signal.
  • the crime prevention signal includes the type of crime prevention target event, various feature data used for risk judgment, crime information, and the like. For example, a face image of a suspect who has been nominated, location information of a crime that has occurred, and the like are included. In addition, acquisition of a crime prevention signal may be performed regularly beforehand.
  • the image processing unit 10d of the information processing server 1 analyzes the captured image received from the client 2 in the danger target area, refers to the security signal, and extracts the risk target according to the security type. Specifically, for example, the image processing unit 10d detects a person with a blade from a captured image, an abnormal movement of the person, an unnatural movement of surrounding people (a lot of people run away from a place all at once) Etc.), and these match the dangerous events defined in the crime prevention signal, it can be determined that there is danger. Further, face recognition can be performed from the captured image, and a dangerous person can be found by performing pattern matching with the face image of the suspect who has been appointed. Moreover, such analysis results (danger information) are returned to the crime prevention system and reported to the police / fire department.
  • the information processing server 1 notifies the user terminal 4 of a warning in step S330.
  • step S333 the user terminal 4 performs warning processing in response to the warning notification from the information processing server 1.
  • the warning notification screen may be interrupted and displayed on the display screen of the user terminal 4, or if music playback control is being performed from earphones or headphones, an interrupt signal may be applied to the music being played to generate a warning sound. Good.
  • FIG. 17 an example of the warning notification screen is shown in FIG.
  • a captured image 421 (video) in which a dangerous target is detected is displayed in real time on the display unit 42 of the user terminal 7, and a map image 423 is displayed below the display unit 42.
  • a map image 423 is displayed below the display unit 42.
  • a current location icon indicating the current location of the user and an icon indicating the position of the danger target are mapped.
  • the user can intuitively grasp the positional relationship between the user's position and the dangerous place and escape in a safe direction.
  • warning processing content may be customized for each user.
  • step S334 the user terminal 4 determines whether or not the user has moved (it is assumed that the moving direction is changed to avoid danger), and if it is determined that the user has moved (S334 / Yes), step Returning to S306, the position / movement information is newly transmitted to the information processing server 1.
  • step S336 the information processing server 1 transmits a warning cancellation signal to each client 2 in the danger target area. (S336a, S336b).
  • each client 2 that has received the warning cancellation signal ends imaging by the imaging unit 26 (S339a, S339b). Specifically, each client 2 ends imaging by making a transition from the system operation mode to the deep sleep mode (standby mode).
  • the user's current position information is more accurately extracted based on the video acquired by the road reflector camera (client 2) existing around the user, and the user terminal in each embodiment described above An information processing system that can be used as the current position information 4 will be described.
  • the user terminal 4 may not have a GPS, or even if it has a GPS, an error may occur in the GPS, and accurate current position information may not be acquired. Therefore, in the present embodiment, the current location information of the user is acquired more accurately by analyzing the video acquired by the road reflector camera (client 2) and recognizing the user's face image.
  • FIG. 18 is a sequence diagram illustrating an example of the current position information providing process according to the fourth embodiment. As shown in FIG. 18, first, in step S403, the user terminal 4 acquires rough current position information by GPS.
  • step S406 the user terminal 4 transmits rough current position information to the information processing server 1.
  • step S409 the camera search unit 10a of the information processing server 1 specifies the client 2 installed around the user with reference to the map information according to the rough current position information.
  • step S412 the information processing server 1 makes an image acquisition request to the specified surrounding client 2 (S412a, S412b).
  • each client 2 switches to a high-rate imaging mode in response to an image acquisition request (S415a, S415b), and in step S418, starts high-resolution imaging by the imaging unit 26 (S418a, S418b).
  • each client 2 continues to transmit the captured image (video) taken to the information processing server 1 in real time (S421a, S421b).
  • step S424 the image processing unit 10d of the information processing server 1 analyzes the captured image received from the specified surrounding client 2, and pre-registered user information (specifically, the user's face image). And a user is detected from the captured image. Moreover, based on the captured image in which the user was detected, the relative position of the user with respect to the client 2 that acquired the captured image is detected.
  • pre-registered user information specifically, the user's face image
  • step S427 the information providing unit 10b of the information processing server 1 determines the position of the client 2 that acquired the captured image detected by the user based on the analysis result by the image processing unit 10d (fixed position information). Is extracted from the map information, and the accurate current position information of the user is acquired based on the position of the client 2 and the relative position of the user with respect to the detected client 2.
  • step S430 the information providing unit 10b of the information processing server 1 transmits the user's accurate current position information to the user terminal 4.
  • the user position information acquisition process according to the fourth embodiment has been described above.
  • the user terminal 4 does not have any position detection unit such as GPS, the user terminal 4 detects the surrounding client 2 and acquires an identification signal, and transmits it to the information processing server 1 as rough current position information. May be.
  • a fifth embodiment will be described with reference to FIGS.
  • various altitude information is generated based on video acquired by a road reflector camera (client 2) existing around the user and provided to the user, so that a more comfortable life can be achieved.
  • An information processing system to be supported will be described.
  • the present disclosure is not limited to this, and for example, various altitude information can be generated and provided.
  • FIG. 19 is a sequence diagram illustrating an example of altitude information provision processing according to the fifth embodiment.
  • step S503 the user terminal 4 performs use function setting. Specifically, for example, a user arbitrarily selects a service for which information provision is desired.
  • FIG. 20 shows an example of the altitude information providing icon according to the present embodiment. As shown in FIG. 20, on the display screen 42 of the user terminal 4, icons 425a to 425l indicating provision of altitude information are displayed.
  • the icon 425a is an icon for providing “ultraviolet ray countermeasure information”. If an ultraviolet ray countermeasure product to be used now, or a user's belongings are registered in advance, cosmetics and clothes to be used now from among them are registered. And recommend advertisements (or nearby stores, etc.) of recommended UV countermeasure products.
  • the icon 425b is an icon for providing “heat / cold countermeasure information (clothing information)” and recommends clothing. Specifically, depending on the outside temperature, the clothes of the person walking outside detected based on the captured image, etc., if the clothes to be worn now and the user's belongings are registered in advance, The clothes to be worn are extracted, and recommended clothes advertisements (or nearby stores, etc.) are recommended. In addition, clothes may be recommended so that the clothes are not the same as those of a person, or an appropriate formal degree may be recommended before entering the venue.
  • the icon 425c is an icon for providing “pollen / dust / house dust countermeasure information”, and can inform whether it is better to take pollen / dust / house dust countermeasures before going out.
  • the icon 425d is an icon that provides “people / line / gender ratio countermeasure information”, and presents countermeasure information such as whether the user is going to be busy, waiting time, gender ratio, or the like.
  • the icon 425e is an icon that provides “rain gear information”, and presents information such as whether or not the user should go out with rain gear when he / she is in the room and does not know the outside. For example, it can be presented based on the clothes of a person walking outside detected based on surrounding captured images, the presence or absence of rain gear, and the like. Thereby, it can prevent beforehand that it was raining if it went outside without having a rain gear.
  • the icon 425f is an icon for providing “waiting person countermeasure information”, and detects the stress level from the situation of the person waiting outside and alerts the user.
  • the icon 425g is an icon for providing “possibly good / event occurrence information”, and informs the user that an event that is taking place around the user or that something unusual is occurring or is likely to occur.
  • the icon 425h is an icon that provides “favorite person presence information”, and provides information such as whether or not a favorite person is present based on a captured image of the venue when going to a party or an event.
  • the icon 425i is an icon for providing “congestion information”.
  • the traffic information is acquired based on the captured images of the surrounding roads, and the vehicle is going out by car, the road in front of the traffic is congested. To prevent.
  • the icon 425j is an icon that provides an “image through the wall”, and displays an outside image in real time even when the outside cannot be seen on the wall.
  • the icon 425k is a slot as a function customized by the user.
  • the icon 425l is a “setting button” icon, and transitions to a setting screen for performing various settings such as function details and accuracy.
  • the user selects an icon indicating information to be acquired from these icons 425a to 425j by tapping or the like, and registers it as a use function.
  • step S506 the user terminal 4 sets user information. Specifically, the user terminal 4 acquires and registers current position information, posture information, surrounding environment, and the like as user information.
  • step S509 the user terminal 4 displays initial data of the set use function based on the set user information.
  • step S512 the user terminal 4 requests the information processing server 1 for data on the set use function. At this time, the user terminal 4 transmits the set user information together.
  • step S515 the information processing server 1 determines whether it is necessary to acquire data from the specific server in order to acquire data of the requested usage function.
  • step S518 when data acquisition from the specific server is necessary (S515 / Yes), in step S518, the information processing server 1 acquires data from the specific server included in the external system (see FIG. 1).
  • step S521 the camera search unit 10a of the information processing server 1 specifies a target area that needs to be analyzed in order to respond to the request from the user terminal 4.
  • step S524 the image acquisition unit 10c of the information processing server 1 makes an image acquisition request to the client 2 in the target area (S524a, S524b).
  • each client 2 switches to a high-rate imaging operation mode (S527a, S527b) and starts high-resolution imaging (S530a, S530b).
  • each client 2 continues to transmit the captured image (video) taken to the information processing server 1 in real time (S533a, S533b).
  • step S536 the image processing unit 10d of the information processing server 1 performs analysis for answering a request from the user terminal 4 on the captured image collected from the client 2 in the target area.
  • the image processing unit 10d according to the present embodiment analyzes the captured image captured by the client 2 and obtains the following data.
  • the user terminal 4 can generate altitude information from these pieces of information.
  • step S539 the information processing server 1 transmits the analysis result to the user terminal 4.
  • step S542 the user terminal 4 receives the analysis result, and in step S545, the user terminal 4 generates and displays altitude information for which the use function is set.
  • FIG. 21 shows an image display example of altitude information according to this embodiment.
  • an icon 425 b that provides “hot / cold countermeasure information (clothing information)”, an icon 425 e that provides “rain gear information”, and an “image through a wall (live view)” are provided.
  • the icon 425j is set as a use function.
  • recommended clothing information 426b, recommended rain gear information 426e, and a live view image 426j around the current location of the user are displayed.
  • the rain gear information 426e suggests that the umbrella may turn over due to strong winds.
  • clothes information and rain gear information are presented based on the surrounding (outside) captured images actually captured in real time. You can avoid the fact that it was raining when you went outside.
  • the user terminal 4 returns to step S512 and transmits the newly set user information. And requesting data.
  • a change in user information specifically, a change in user information such as the current position
  • the information processing server 1 mainly analyzes the captured image, and the user terminal 4 generates altitude information based on the analysis result, but the captured image analysis is shared by each device. Also good.
  • the icons 425i to l are obtained by processing at the user terminal
  • the icons 425a, e, and g are obtained by processing at the client
  • the icons 425b, c, d, f, and h are obtained by processing at the server. It is also assumed that
  • a computer program for causing the hardware such as the CPU, ROM, and RAM incorporated in the server 1, client 2, and user terminal 4 described above to exhibit the functions of the information processing server 1, client 2, and user terminal 4 is also available. Can be created.
  • a computer-readable storage medium storing the computer program is also provided.
  • the client 2 may have the function of the information processing server 1.
  • the client 2 is not limited to a road reflector type camera, and may be a fixed point camera, a surveillance camera, a personally installed camera, a camera possessed by another person, or the like.
  • this technique can also take the following structures.
  • a search unit for searching for imaging devices around a specific information processing device A providing unit that provides the user with information related to the searched imaging device and the angle of view of the imaging device; An acquisition unit that acquires an image captured by the imaging device selected by the user; With The providing unit is an information processing apparatus that provides the user with the image acquired by the acquiring unit.
  • the information processing apparatus according to (1) wherein the search unit searches for a surrounding imaging device according to a position of the information processing apparatus.
  • the search unit searches for an imaging device located in a direction in which the user is facing, The information processing apparatus according to (1) or (2), wherein the acquisition unit acquires an image captured by the searched image capturing apparatus.
  • the information processing apparatus includes: An image processing unit that evaluates the safety of the user by analyzing the acquired image; The information processing apparatus according to (3), wherein the providing unit controls to provide an evaluation result to the user. (5) The information processing apparatus according to (4), wherein the image processing unit evaluates the safety of the user according to a detection result of a moving object that may approach the user from the acquired image. (6) The information processing apparatus according to (4), wherein the previous image processing unit evaluates the safety of the user according to a detection result of a person registered in advance from the acquired image. (7) The providing unit generates a user interface indicating a correspondence relationship between information related to an angle of view of the imaging device and an image acquired from the imaging device, and provides the user interface to the user.
  • the information processing apparatus according to any one of (6).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】多数の撮像装置から収集されたリアルタイム画像に基づく情報を提供することで、より安全で快適な生活を支援することが可能な情報処理装置、記憶媒体、および制御方法を提供する。 【解決手段】特定の情報処理装置の周囲の撮像装置を探索する探索部と、探索された撮像装置と当該撮像装置の画角に関連する情報をユーザに提供する提供部と、前記ユーザにより選択された撮像装置により撮像されている画像を取得する取得部と、を備え、前記提供部は、前記取得部により取得された画像を前記ユーザに提供する、情報処理装置。

Description

情報処理装置、記憶媒体、および制御方法
　本開示は、情報処理装置、記憶媒体、および制御方法に関する。
　近年、情報通信技術の急速な進展に伴い、より安全で快適な生活を支援するための様々な情報処理システムが提案されている。例えば、多数の監視カメラの映像を、ネットワークを介して収集し、交通渋滞の解析や、事故、犯罪の解析等に用いる情報システムが提案されている。
　また、下記特許文献１では、交差点に設置されているカメラの映像を無線通信によりサーバが受信し、映像の解析結果に基づいて、歩行者に車両の存在を知らせたり、車両に歩行者の存在を知らせたりする支援システムが開示されている。
特開２００５－２２２１５３号公報
　ここで、監視カメラの設置数は今後更に増えることが予想され、このような監視カメラで取得される映像を周囲に存在するユーザからの要求に応じてリアルタイムで提供することが出来れば、更に快適で安全な生活を支援することができる。
　また、新たに監視カメラを設置する際には場所の確保を行う必要があるが、既に道路や交差点に設置されている道路反射鏡に撮影機能を持たせることができれば、新たな設置場所の確保が不要となる。
　そこで、本開示では、多数の撮像装置から収集されたリアルタイム画像に基づく情報を提供することで、より安全で快適な生活を支援することが可能な情報処理装置、記憶媒体、および制御方法を提案する。
　本開示によれば、特定の情報処理装置の周囲の撮像装置を探索する探索部と、探索された撮像装置と当該撮像装置の画角に関連する情報をユーザに提供する提供部と、前記ユーザにより選択された撮像装置により撮像されている画像を取得する取得部と、を備え、前記提供部は、前記取得部により取得された画像を前記ユーザに提供する、情報処理装置を提案する。
　本開示によれば、コンピュータを、特定の情報処理装置の周囲の撮像装置を探索する探索部と、探索された撮像装置と当該撮像装置の画角に関連する情報をユーザに提供する提供部と、前記ユーザにより選択された撮像装置により撮像されている画像を取得する取得部と、として機能させ、前記提供部は、前記取得部により取得された画像を前記ユーザに提供するよう機能するプログラムが記憶された、記憶媒体を提案する。
　本開示によれば、特定の情報処理装置の周囲の撮像装置を探索することと、探索された撮像装置と当該撮像装置の画角に関連する情報をユーザに提供することと、前記ユーザにより選択された撮像装置により撮像されている画像を取得することと、前記取得された画像を前記ユーザに提供すること、を含む、制御方法を提案する。
　以上説明したように本開示によれば、多数の撮像装置から収集されたリアルタイム画像に基づく情報を提供することで、より安全で快適な生活を支援することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を説明する図である。 本実施形態による情報処理サーバの構成の一例を示すブロック図である。 本実施形態によるクライアント（道路反射鏡型カメラ）の構成の一例を示すブロック図である。 第１の実施形態による情報処理システムの概要を説明する図である。 第１の実施形態による画像提供処理の一例を示すシーケンス図である。 第１の実施形態による探索処理を行う際に参照されるマップ情報の一例を示す図である。 行方向のクライアント移動／ズームイン・アウトを指示する操作を説明する図である。 列方向のクライアント移動／視点移動を指示する操作を説明する図である。 上下方向の視点移動を指示する操作を説明する図である。 特定クライアントが切り替わった場合の表示画像の更新時の効果処理について説明する図である。 第１の実施形態による表示画像例を示す図である。 第１の実施形態による探索処理を補足するフローチャートである。 第２の実施形態による情報処理システムの概要を説明する図である。 第２の実施形態による交通安全上の危険情報提供処理の一例を示すシーケンス図である。 第２の実施形態による交通安全上の危険情報提供処理の他の例を示すシーケンス図である。 第３の実施形態による防犯上の危険情報提供処理の一例を示すシーケンス図である。 第３の実施形態による防犯上の危険を通知する表示画面の一例を示す図である。 第４の実施形態による現在位置情報提供処理の一例を示すシーケンス図である。 第５の実施形態による高度情報提供処理の一例を示すシーケンス図である。 第５の実施形態による高度情報提供アイコンの一例を示す図である。 第５の実施形態による表示画面の一例について説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．基本構成
　　２－１．情報処理サーバの構成
　　２－２．クライアント（道路反射鏡型カメラ）の構成
　　２－３．補足
　３．各実施形態
　　３－１．第１の実施形態
　　３－２．第２の実施形態
　　３－３．第３の実施形態
　　３－４．第４の実施形態
　　３－５．第５の実施形態
　４．まとめ
　　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　まず、本開示の一実施形態による情報処理システムの概要を図１に示して説明する。図１に示すように、本実施形態による情報処理システムは、ネットワーク３に接続された情報処理サーバ１および複数の道路反射鏡型カメラ（クライアント）２－１～２－３を含む。情報処理サーバ１は、区間毎や特定の範囲内に設置されている複数の道路反射鏡型カメラ２－１～２－３を制御する。また、情報処理サーバ１は、ＤＢ１４を制御し、道路反射鏡型カメラ２－１～２－３で撮像された画像を蓄積させる。なおＤＢ１４は、情報処理サーバ１に内蔵されていてもよい。本実施形態による情報処理サーバ１は、例えばユーザ端末からの要求に応じて、ユーザの周囲に存在する道路反射鏡型カメラ２で撮像された映像をリアルタイムでユーザに提供する。これにより、ユーザは、近くの道路反射鏡型カメラ２で撮像された画像をリアルタイムで閲覧し、ユーザからは死角となっている場所や少し離れた場所等の様子を確認することができる。
　また、道路反射鏡型カメラ（クライアント）２は、撮像部２６を内蔵する。例えば反射鏡がハーフミラーになっている場合、撮像部２６は反射鏡中央の裏側に設けられ、反射鏡を透過して周囲を撮像することが可能である。
　図１では、ある区間Ａに設置されている複数の道路反射鏡型カメラ２Ａ１－１～２Ａ－３と情報処理サーバ１Ａがネットワーク３Ａで接続されているシステムＡと、他の区間Ｂに設置されている複数の道路反射鏡型カメラ２Ｂ１－１～２Ｂ－３と情報処理サーバ１Ｂがネットワーク３Ｂで接続されているシステムＢとが示されている。
　また、これらシステムＡ、システムＢは、中継サーバ５を介して、外部システムと接続してもよい。外部システムは、それぞれ専用のサーバ６（６Ａ～６Ｄ）と、そのデータベース（ＤＢ）６２（６２Ａ～６２Ｄ）であって、例えば専用のネットワーク７Ａ、７Ｂにそれぞれ接続されている。これら外部システムについては特に限定しないが、例えば後述する防犯システム等が該当する。
　以上、本開示の一実施形態による情報処理システムの概要について説明した。続いて、本実施形態の情報処理システムに含まれる情報処理サーバ１および道路反射鏡型カメラ（クライアント）２の基本構成について説明する。また、以下の説明において、道路反射鏡型カメラ２をクライアント２と称す。
　　＜＜２．基本構成＞＞
　　＜２－１．情報処理サーバの構成＞
　図２は、本実施形態による情報処理サーバ１の構成の一例を示すブロック図である。図２に示すように、情報処理サーバ１は、主制御部１０、通信部１１、およびＤＢ（データベース）１４を有する。
　（主制御部１０）
　主制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、情報処理サーバ１の各構成を制御する。例えば主制御部１０は、通信部１１を介してユーザ端末４から送信されたユーザの現在位置情報に基づいて、ユーザの周囲に存在するクライアント２に対して画像取得要求を行う。より具体的には、主制御部１０は、図２に示すように、カメラ探索部１０ａ、情報提供部１０ｂ、画像取得部１０ｃ、および画像処理部１０ｄとしても機能する。
　・カメラ探索部
　カメラ探索部１０ａは、ユーザ端末４（特定の情報処理装置の一例）の周囲に存在するクライアント２（撮像装置の一例）を探索する。具体的には、例えばカメラ探索部１０ａは、ユーザ端末４から受信した現在位置情報や姿勢情報（向き）に基づいて、ＤＢ１４に格納されているクライアント２の設置位置を示すマップ情報を参照し、ユーザの進行方向上に位置するクライアント２や、ユーザが向いている方向上に位置するクライアント２を探索する。また、カメラ探索部１０ａは、探索結果を情報提供部１０ｂまたは／および画像取得部１０ｃに出力する。
　・情報提供部
　情報提供部１０ｂは、カメラ探索部１０ｂにより探索されたクライアント２と当該クライアント２の画角に関連する情報をユーザ端末４に提供する。具体的には、例えば情報提供部１０ｂは、クライアント２の設置位置情報（２次元または３次元位置情報）や、撮影方向、画角等の情報をユーザ端末４に提供する。これにより、ユーザは、ユーザ端末４で提示される自身の周囲に存在するクライアント２の設置位置および撮影方向等に基づいて、任意の所望するクライアント２を選択することができる。
　また、情報提供部１０ｂは、画像取得部１０ｃにより取得されたクライアント２の撮像画像や、画像処理部１０ｄによる画像処理情報（解析結果）を、ユーザ端末４に提供してもよい。
　・画像取得部
　画像取得部１０ｃは、クライアント２に対して画像取得要求を行い、クライアント２で撮像された撮像画像（動画）をリアルタイムで取得する。具体的には、画像取得部１０ｃは、ユーザにより選択されたクライアント２に対して画像取得要求を行い、当該クライアント２から撮像画像を取得する。また、画像取得部１０ｃは、ユーザにより選択されるまでは、カメラ探索部１０ａにより探索されたクライアント２のうち最もユーザの近くに位置するクライアント２に対して画像取得要求を行って撮像画像を取得してもよい。画像取得部１０ｃにより取得された撮像画像は、情報提供部１０ｂによりユーザ端末４に提供される。
　・画像処理部
　画像処理部１０ｄは、画像取得部１０ｃにより取得されたクライアント２の撮像画像に対して画像処理を行い、所定の解析結果を得る。例えば、画像処理部１０ｄは、撮像画像に対して移動体検出処理を行い、交通安全上の危険予測を行ったり、顔認識処理を行い、防犯上の危険予測を行ったりすることが可能である。画像処理部１０ｄから出力された画像処理情報（解析結果）は、情報提供部１０ｂによりユーザ端末４に提供される。
　（通信部１１）
　通信部１１は、無線／有線により外部装置と接続し、データの送受信を行う機能を有する。本実施形態による通信部１１は、例えばユーザ端末４と接続して現在位置情報等を受信したり、撮像画像を送信したりする。また、通信部１１は、クライアント２と接続して撮像画像を受信する。
　（ＤＢ１４）
　ＤＢ１４は、各種情報を格納するデータベースである。例えばＤＢ１４は、情報処理サーバ１とネットワーク３を介して接続するクライアント２の設置位置を示すマップ情報を格納する。
　　＜２－２．クライアントの構成＞
　クライアント２は、撮像装置の一例であって、図１に示すように、本実施形態では例えば道路反射鏡にカメラが内蔵された道路反射鏡型カメラを用いる。ここで、一般的に、道路反射鏡とは、交差点等で歩行者や運転者が直接視認できない死角を提供するものであって、鏡によって光を反射し、本来視覚する対象が視覚できない位置にある像を対象に視覚させるものである。しかしながら、通路に設けられた反射鏡により反射された像には歪みや、太陽光の写り込みが生じる。また、死角を提供するよう鏡の位置や向きが適切に調整されていても、ユーザが視覚する位置との相対位置・角度によっては見え方が変わって適切に死角を提供できなかったり、死角が見えてもそれが危険かどうかはユーザの判断に委ねられたり、そもそもユーザが道路反射鏡に気付かず見逃して危険を察知できなかったりといった問題がある。
　このように、道路反射鏡が適宜設置されていても、最終的な危険回避はユーザによる直接の目視に基づく判断が必要となっていた。また、道路反射鏡の運用に関しては、道路反射鏡やその設置スペースが、死角提供のためだけに使用される、故障や汚れに伴う機能の低下といった運用状況の把握には時間がかかるという問題があった。
　そこで、本実施形態では、道路反射鏡に撮像機能を設けることで、より明瞭な死角情報を適切な位置ないし任意の位置から撮影して取得することができ、このため従来よりも死角に対する認識精度の向上と認識の個体差を少なくすることが可能となる。さらに、複数の道路反射鏡に通信機能を設け、情報処理サーバ１で管理することにより、運用状況の管理をリアルタイムで行うことができる。また、道路反射鏡で取得された撮像画像を解析することで、付加価値の付いたサービスを提供でき、道路反射鏡やその設置スペースの有効利用を実現する。
　このような撮像機能を有する道路反射鏡により実現される本実施形態のクライアント２の構成について、図３を参照して以下説明する。図３は、本実施形態によるクライアント２（道路反射鏡型カメラ）の構成の一例を示すブロック図である。
　図３に示すように、クライアント２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、記憶部２４、通信Ｉ／Ｆ（インターフェース）２５、撮像部２６、ミラー部２７、ミラー制御部２８、およびセンサ２９を有する。
　（ＣＰＵ）
　ＣＰＵ２１は、例えばマイクロコンピュータにより構成され、クライアント２の各構成を制御する。例えば、ＣＰＵ２１は、通信Ｉ／Ｆ２５を介してサーバ１から送信された制御信号に従って、撮像部２６による撮像制御等を行う。
　（ＲＯＭ、ＲＡＭ）
　ＲＯＭ２２は、ＣＰＵ２１が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ２３は、例えば、ＣＰＵ２１により実行されるプログラムなどを一時的に記憶する。
　（記憶部）
　記憶部２４は、様々なデータを記憶する。例えば、記憶部２４は、撮像部２６により撮像した画像を一時的に記憶することも可能である。
　（通信Ｉ／Ｆ）
　通信Ｉ／Ｆ２５は、クライアント２が有する通信手段であり、ネットワーク３を介して（あるいは直接的に）、本実施形態に係る情報処理システムに含まれる外部装置と通信を行う。例えば、通信Ｉ／Ｆ２５は、情報処理サーバ１と無線接続し、撮像画像を送信する。
　（撮像部）
　撮像部２６は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
　また、撮像レンズは、ミラー部２７の背部に設けられ、半透過または透過状態のミラー部２７を介して周囲を撮像することが可能である。
　さらに、死角をより少ない撮像素子で撮像したり、より広範囲を撮像したりするために、撮像レンズやレンズデバイス、撮像素子の姿勢制御を行うアクチュエータなどが設けられてもよい。
　（ミラー部）
　ミラー部２７は、ユーザに対して死角を目視させるためのものであって、鏡によって光を反射し、本来ユーザが視覚できない位置にある像を視覚させる。ここで、ミラー部は、機械式ないし電子式シャッターやスイッチング可能なミラーとしてもよい。例えばマイクロミラーアレイとアクチュエータ、表面保護ケースからなるスイッチングミラー構造とすることで、ディープスリープないしシャットダウン状態からの起動時は反射状態から透過状態にアクチュエータにより制御し、システム動作モードからディープスリープモードないしシャットダウンへの移行時に反射状態とし、そのまま状態をラッチし、電気駆動なく状態を保持することで、次回起動時になんらかの異常があっても安全な状態で停止することができる。
　（ミラー制御部）
　ミラー制御部２８は、上述したようにスイッチング可能なミラーを反射状態（非透過）から透過状態に移行させる制御を行う。また、半透過状態に移行させることで、ミラーを反射状態のまま、撮像部２６による撮像も可能な状態としてもよい。ミラー制御部２８は、主に撮像部２６による撮像が行われる間、ミラー部２７を透過または半透過状態に制御する。
　（センサ）
　本実施形態によるクライアント２は、さらに各種センサを有していてもよい。センサ２９は、例えば振動、音、温度、湿度、照度、電磁波（紫外・赤外・電波など）を検出する各種センサであって、撮像部２６で撮像した画像に付加してサーバ１に送信することで、画像処理からは得られない情報を提供することができる。例えば、撮像素子の分解能が低い場合や感度が足りない場合であっても、情報処理サーバ１において、画像から認識できた移動体に関し、赤外センサからの情報を重畳することで、対象が生体か生体でないか（より具体的には人か車かなど）を判断でき、接近している物体のユーザへの危険レベルまで認識することができる。
　以上、クライアント２の各構成について説明した。ここで、図３には図示していないが、クライアント２は電源部も有し得る。電源部としては、ＡＣ電源、ＤＣ電源による給電に加え、１次電池、キャパシタ、２次電池などの蓄電素子を含んでもよい。これら蓄電素子を電力変動の際の整流目的に使用してもよいし、ＵＰＳ電源のように有事の際のバックアップ電源に使っても良い。また、電磁波（紫外光・赤外光・可視光・電波など）による円歩電磁界、ないし、電磁界誘導などの近傍電磁界、温度差、風力、機械振動、酵素反応などにより発電する発電素子から電力を供給してもかまわない。
　　＜２－３．補足＞
　なお上述したサーバ１およびクライアント２の構成は一例であって、本開示はこれに限定されず、例えばサーバ１の一部または全ての構成がクライアント２に設けられていてもよい。
　また、情報処理サーバ１からの情報提供を受けるユーザ端末４は、例えばスマートフォン端末、タブレット端末、携帯電話端末、ＰＤＡ（Personal Digital Assistant）、ＰＣ（Personal Computer）、携帯用音楽プレーヤー、携帯用ゲーム機、またはウェアラブル端末（ＨＭＤ（ヘッドマウントディスプレイ）、メガネ型ＨＭＤ、時計型端末、バンド型端末等）により実現され得る。
　より具体的には、ユーザ端末４は、操作入力機能および表示機能を有する。操作入力機能は、具体的には表示画面への操作入力を受け付けるタッチセンサにより実現される。また、表示機能は、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等により実現される。
　また、ユーザ端末４は、位置情報取得部を有し、外部からの取得信号に基づいてユーザ端末４の現在位置を検知する。位置情報取得部は、例えばＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）測位部により実現され、ＧＰＳ衛星からの電波を受信して、ユーザ端末４が存在している位置を検知する。また、位置情報取得部は、ＧＰＳの他、例えばＷｉ－Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
　　＜＜３．各実施形態＞＞
　上記構成を有する情報処理システムは、道路反射鏡型カメラ（クライアント２）で取得される映像またはその解析結果を周囲に存在するユーザからの要求に応じてリアルタイムで提供することで、より快適で安全な生活を支援する。このような情報処理システムによる支援内容の具体例について、以下複数の実施形態を挙げて説明する。
　　＜３－１．第１の実施形態＞
　第１の実施形態では、ユーザの周囲に存在する道路反射鏡型カメラ（クライアント２）で取得される映像をリアルタイムでユーザに提供することで、任意箇所の遠隔視覚を実現し、より快適な生活を支援する情報処理システムについて説明する。
　図４は、第１の実施形態による情報処理システムの概要を説明する図である。図４に示すように、街中に多数のクライアント２（２Ａ－１～２Ａ－３、２Ｂ－１～２Ｂ－３）が設置されている状況において、撮像部２６で撮像された画像がリアルタイムでユーザに提供することができれば、ユーザは目視できない場所の現在の様子を確認することができるため、利便性が向上する。
　例えばユーザが外出中に、少し離れた位置にあるＡ店の現在の様子（例えば、現在店が空いているか否か、混んでいるか否か等）を確認したい場合に、クライアント２Ｂ－１等で撮像された画像がリアルタイムで提供されれば、Ａ店まで移動することなく現在の様子を見ることができる。
　続いて、図５を参照して第１の実施形態の動作処理について説明する。図５は、第１の実施形態による画像提供処理の一例を示すシーケンス図である。
　図５に示すように、まず、ステップＳ１０３において、ユーザ端末４は、トリガの有無を検出する。トリガは、例えばユーザによるシステム起動指示操作（ボタン操作、ジェスチャ、音声入力等）であってもよいし、システム提供が可能な所定範囲にユーザが移動したことであってもよい。
　次に、トリガが検知されると（Ｓ１０３／Ｙｅｓ）、ステップＳ１０６において、ユーザ端末４は、ユーザ端末４の現在位置および姿勢情報を取得する。現在位置は、例えばユーザ端末４に設けられたＧＰＳによって取得され、姿勢情報は、例えばユーザ端末４に設けられたジャイロセンサ、地磁気センサ等によって取得される。
　次いで、ステップＳ１０９において、ユーザ端末４は、取得した現在位置情報および姿勢情報を情報処理サーバ１に送信する。
　次に、ステップＳ１１２において、情報処理サーバ１のカメラ探索部１０ａは、現在位置情報および姿勢情報に応じて、ユーザが向いている方向上に位置するクライアント行を探索する。より具体的には、カメラ探索部１０ａは、図６に示すように、ユーザの位置と向いている方向をユーザ端末４により取得される現在位置情報と姿勢情報から推定し、ユーザが向いている方向Ｌ上に位置するクライアント列を、ＤＢ１４に格納されているマップ情報を参照して探索する。ここで、カメラ探索部１０ａが参照するマップ情報において、図６に示すように、縦方向を「列」、横方向を「行」とする。したがって、図６に示すマップ情報では、カメラ探索部１０ａは、ユーザが向いている方向Ｌ上に位置するクライアント列として、クライアント２Ａ－２、２Ｂ－２、２Ｂ－３を探索する。この際、ユーザが向いている方向の建物の有無は考慮せず、直線上に位置するクライアントが探索対象となる。
　続いて、ステップＳ１１５において、情報処理サーバ１は、探索したクライアント２のうち、最もユーザの近くに位置する直近のクライアント２Ａ－２に対して、画像取得要求を行う。
　次いで、ステップＳ１１８において、クライアント２Ａ－２は、モード切替を行う。具体的には、クライアント２Ａ－２は、撮像画像を取得しないディープスリープモード（待機モード）またはシャットダウン状態から、システム動作モード（具体的には、高解像度撮像モード）に切り替える。
　次に、ステップＳ１２１において、クライアント２Ａ－２は、撮像部２６Ａ－２により、高解像度撮像を開始する。
　次いで、ステップＳ１２４において、クライアント２Ａ－２は、撮像画像（映像）をリアルタイムで情報処理サーバ１に送信し続ける。
　次に、ステップＳ１２７において、情報処理サーバ１は、クライアント２Ａ－２から送信された撮像画像をユーザ端末４に送信して提供する。この際、情報処理サーバ１は、マップ情報やクライアント２Ａ－２から取得した情報に基づいて、クライアント２Ａ－２の設置位置や画角に関する情報を併せて送信してもよい。
　そして、ステップＳ１３０において、ユーザ端末４は、情報処理サーバ１から送信された撮像画像を表示する。また、必要に応じて、当該撮像画像を取得したクライアント２Ａ－２の位置や画角を示す画像を表示する。
　続いて、ステップＳ１３３において、ユーザ端末４は、クライアントの切り替え（対象クライアントの移動）を指示する操作信号の入力を受付ける。すなわち、上記Ｓ１３０の処理により、ユーザは、現在位置からは建物を隔てて見えない向こう側の道の現在の様子を見ることができるが、かかる画像は、探索されたクライアント行のうち最も近くに位置するクライアント２Ａ－２により取得されたものであるため、目的の場所の画像ではない場合も想定される。この場合、ユーザは、クライアントの切り替え（対象クライアントの移動）を指示することができる。
　切替指示の方法は様々考えられる。例えばユーザ端末４の向きを動かすことで姿勢を変えて、異なる方向への探索を指示してもよいし、視線や脳波、ジェスチャーにより切替指示を行ってもよい。
　また、ユーザの腕の動きを検知するバンド型情報処理端末を用いて切替指示を行うことも考え得る。かかるバンド型情報処理端末は、ジャイロセンサ、地磁気センサ、または加速度センサ等を備え、ユーザの腕に装着されている際に、腕の回転や上下、左右方向への動きを検知し、検知結果をユーザ端末４に送信する。以下、このようなバンド型情報処理端末を用いた切替指示について、図７～図９を参照して説明する。
　図７は、行方向のクライアント移動／ズームイン・アウトを指示する操作を説明する図である。図７に示すように、例えばバンド端末８がユーザの左腕に装着されている場合に、バンド端末８をユーザから見て時計回りに回すことで行方向（図６参照）に進むことを指示し、ユーザから見て反時計回りに回すことで行方向に戻ることを指示してもよい。なお、バンド端末８を左右に回転することによる操作入力は、行方向への進退だけではなく、表示されている撮像画像のズームイン・アウト操作にも用いられ得る。
　また、図８は、列方向のクライアント移動／視点移動を指示する操作を説明する図である。図８に示すように、バンド端末８がユーザの左腕に装着されている場合に、バンド端末８をユーザから見て右に移動することで右方向への列移動を指示し、ユーザから見て左に回すことで左方向への列移動を指示してもよい。なお、バンド端末８を左右に移動することによる操作入力は、列移動だけではなく、表示されている撮像画像の視点を左右方向に操作する際に用いられてもよい。
　図９は、上下方向の視点移動を指示する操作を説明する図である。図９に示すように、バンド端末８がユーザの左腕に装着されている場合に、バンド端末８を上に向けることで上方向への視点移動を指示し、下に向けることで下方向への視点移動を指示することができる。
　以上説明したようなクライアントの切替を指示する操作信号が入力された場合（Ｓ１３３／Ｙｅｓ）、ステップＳ１３６において、ユーザ端末４は、入力された操作信号を情報処理サーバ１に送信する。
　次に、ステップＳ１３９において、情報処理サーバ１のカメラ探索部１０ａは、受信した操作信号に基づいて、列、行の移動量情報を生成し、ステップＳ１４２において、特定クライアントを探索する。例えば、行方向へ１ブロック分進むことを指示する操作信号と、左方向への列移動を指示する操作信号が入力された場合、カメラ探索部１０ａは、図６に示すように、現在特定しているクライアント２Ａ－２から１ブロック行方向に進み、かつユーザに指示された左方向Ｓ上に位置するクライアント２Ｂ－１を探索する。
　次いで、ステップＳ１４２において、情報処理サーバ１は、探索された特定クライアント２Ｂ－１に対して画像取得要求を行う。
　続くステップＳ１４８～Ｓ１５７では、上記Ｓ１１８～Ｓ１２７と同様の処理が行われ、ステップＳ１３０において、ユーザ端末４は、クライアント２Ｂ－１で撮像された撮像画像をリアルタイムで表示する。これにより、ユーザは、クライアント２Ｂ－１で撮像された画像内に含まれるＡ店の現在の様子を確認することができる。
　このように、どのクライアントからの映像を見るか、ユーザが任意に切り替えることが可能となる。
　なお、クライアント２Ａ－２からクライアント２Ｂ－１に特定クライアントが切り替えられ、ユーザ端末４に表示される撮像画像が更新される際、情報処理サーバ１は、効果処理画像を挟んで切り替わるよう表示制御してもよい。例えば図１０に示すように、クライアント２Ａ－２で撮像されている画像Ｐ１から、クライアント２Ｂ－１で撮像されている画像Ｐ３に切り替える際に、見ているユーザが道や建物を通過して移動しているような感覚を与える効果処理を加えた効果画像Ｐ２を挟んで切り替えるよう表示制御してもよい。
　さらに、ユーザ端末４における表示画面では、クライアント２で撮像されている撮像画像をリアルタイムで表示する他、マップ情報を提示し、マップ情報においてユーザの位置と特定クライアントの位置を示してもよい。以下、図１１を参照して説明する。
　図１１に示すように、ユーザ端末４の表示部４２において、クライアント２で撮像されている撮像画像４２７（映像）がリアルタイムで表示されると共に、表示部４２の下方には、マップ画像４２８が表示されている。マップ画像４２８では、ユーザの現在地を示す現在地アイコン４３０と、多数のクライアント２の位置を示すクライアントアイコン４３２ａ～ｇがマッピングされている。また、各クライアント２の画角（撮影方向、撮影範囲）を示す画角領域４３４も表示されている。これによりユーザは、各クライアント２の位置と画角を直感的に把握することができる。また、現在表示されている撮像画像４２７を取得したクライアント２は、マップ上において色を変える等して明示されている。
　この際、ユーザは、マップ上の任意のクライアントアイコン４３２ａ～ｅをタップして選択することで、クライアント切替指示の操作入力（Ｓ１３３）を行うことも可能である。ユーザ端末４は、タップされたクライアントアイコン４３２に切り替えるよう情報処理サーバ１に指示する。
　また、ステップＳ１６０において、ユーザ端末４は、ユーザが移動したか否かを判断し、移動したと判断した場合（Ｓ１６０／Ｙｅｓ）、ステップＳ１０６に戻って、現在位置情報・姿勢情報を情報処理サーバ１に送信する。
　また、上記Ｓ１３９、Ｓ１４２において、操作信号が、ズームイン・アウト、右／左方向への視点移動、上／下方向への視点移動であった場合、情報処理サーバ１は、特定クライアント２の撮像部２６に対してズームイン・アウト、右／左方向への視点移動、上／下方向への視点移動を指示する。これに伴い、撮像部２６は、指示に従って駆動し、ズームイン・アウト動作等を行う。なお、ズームイン・アウト動作等は、撮像部２６による機械的な動作に限定されず、情報処理サーバ１の画像処理部１０ｄによる画像処理で実現されてもよい。すなわち、クライアント２の撮像部２６で広角撮像された画像の一部をユーザ端末４に提供していた場合に、ズームイン・アウト動作等に応じて、画像処理により対象の画像を抽出する。
　以上説明した第１の実施形態では、情報処理サーバ１のカメラ探索部１０ａにより探索を行う際に、対象範囲でクライアント２が見つかることを前提に説明しているが、対象範囲にクライアント２が見つからない場合も想定される。このような場合について図１２を参照して説明する。
　図１２は、第１の実施形態による探索処理を補足するフローチャートである。図１２に示すように、まず、ステップＳ１８３において、情報処理サーバ１のカメラ探索部１０ａは、ユーザの現在位置情報・姿勢情報、操作信号に応じた移動量情報に基づいて、クライアント２を探索する。
　次いで、範囲内にクライアントがあった場合（ステップＳ１８９／Ｙｅｓ）、ステップＳ１８９において、クライアント探索成功として、上記図５に示すＳ１１５以降の処理が行われる。
　一方、範囲内にクライアントがない場合（ステップＳ１８９／Ｎｏ）、ステップＳ１９２において、カメラ探索部１０ａは、画像データベースに範囲内の登録済撮像画像があるか否かを判断する。ここでは、例えば外部システム（図１）における専門の画像データベースを管理するサーバ６にアクセスし、ユーザの現在位置情報・姿勢情報、操作信号に応じた移動量情報に基つく範囲内で過去に撮像された撮像画像を探索する。
　次いで、登録済撮像画像があった場合（ステップＳ１９２／Ｙｅｓ）、ステップＳ１９５において、情報処理サーバ１は、画像データベースの画像情報を取得し、上記図５に示すＳ１２７の処理に代わって、ユーザ端末４に当該画像情報を送信する。
　一方、登録済撮像画像がなかった場合（ステップＳ１９２／Ｎｏ）、ステップＳ１９８において、情報処理サーバ１は、ＮＵＬＬ時の処理として、対象画像がなかったことをユーザに通知する。例えば、ユーザ端末４の表示画面において、ブラックの画面を表示したり、「ＮＵＬＬ」と表示したり、「画像はありません」と表示したりする。
　このように、対象範囲からクライアント２が探索できなかった場合、過去画像を表示することで本システムを補完することも可能である。なおこの場合、リアルタイム画像との違いが明確になるよう、過去画像であることを示す表示や、撮像日時を併せて表示するようにしてもよい。
　　＜３－２．第２の実施形態＞
　次に、第２の実施形態について図１３～図１５を参照して説明する。第２の実施形態では、ユーザの周囲に存在する道路反射鏡型カメラ（クライアント２）で取得される映像に基づいて交通安全上の危険情報を抽出し、ユーザに提供することで、より安全な生活を支援する情報処理システムについて説明する。
　図１３は、第２の実施形態による情報処理システムの概要を説明する図である。図１３に示すように、街中に多数のクライアント２（２Ａ－１～２Ａ－３、２Ｂ－１～２Ｂ－３）が設置されている状況において、撮像部２６で撮像された画像を解析して移動体Ｍ１～Ｍ４の動きを把握し、衝突等の危険を予測することが可能である。そして、予測した危険情報をユーザに提供することで、ユーザが道路反射鏡型カメラ２の鏡を目視しても像が歪んでいたり、太陽の光が写り込んだり、見る角度によって死角が適切に確認できなかったりして、危険を察知できなかった場合の事故を防止することができる。また、特に近年歩きながらスマートフォンを操作することで周囲の危険に気が付かないといった問題があるため、危険通知画面をスマートフォン（ユーザ端末４）に割込み表示することで、危険回避することができる。また、イヤホンで音楽を聞きながら歩いたり自転車に乗っている際に周囲の危険に気が付かないといった問題もあるため、危険通知をイヤホンから割込んで音声出力させることで、危険回避することができる。
　このような第２の実施形態の動作処理について、図１４を参照して説明する。図１４は、第２の実施形態による交通安全上の危険情報提供処理の一例を示すシーケンス図である。
　図１４に示すように、まず、ステップＳ２０３において、ユーザ端末４は、トリガの有無を検出する。トリガは、例えばユーザによるシステム起動指示操作（ボタン操作、ジェスチャ、音声入力等）であってもよいし、システム提供が可能な所定範囲にユーザが移動したことであってもよい。
　次に、トリガが検知されると（Ｓ２０３／Ｙｅｓ）、ステップＳ２０６において、ユーザ端末４は、自身の現在位置、移動情報（速さ、方向）、移動体種別（歩行者、自転車、自動車）等を、移動体情報として取得する。現在位置は、例えばユーザ端末４に設けられたＧＰＳによって取得され、移動情報は、例えばユーザ端末４に設けられたジャイロセンサ、加速度センサ等によって取得される。
　次いで、ステップＳ２０９において、ユーザ端末４は、取得した移動体情報を情報処理サーバ１に送信する。
　次に、ステップＳ２１２において、情報処理サーバ１のカメラ探索部１０ａは、移動体情報に基づいて、マップ情報を参照して危険対象エリアを特定する。例えば図１３に示す例において、移動体Ｍ１（ユーザ；歩行者）から移動体情報が送信された場合、移動体Ｍ１を中心として図１３に示す範囲が危険対象エリアと特定される。
　次いで、ステップＳ２１５において、情報処理サーバ１の画像取得部１０ｃは、危険対象エリアに含まれるクライアント２に対して警戒信号（画像取得要求を含む）を送信する。図１３に示すように、本実施形態では、警戒信号がクライアント２Ａ－１～２Ａ－３、２Ｂ－１～２Ｂ－３に送信され得るが、図１４に示すフローチャートでは、代表としてクライアント２Ａ－１、２Ｂ－１への警戒信号の送信を示す（Ｓ２１５ａ、Ｓ２１５ａ）。
　続いて、ステップＳ２１８において、警戒信号の受信に応じて、各クライアント２は、撮像部２６による撮像を開始し（Ｓ２１８ａ、Ｓ２１８ｂ）、ステップＳ２２１において、撮像した撮像画像（映像）をリアルタイムで情報処理サーバ１に送信し続ける（Ｓ２２１ａ、Ｓ２２１ｂ）。上記Ｓ２１８において、各クライアント２は、ディープスリープモード（待機モード）からシステム動作モード（具体的には低レートの撮像モード）に遷移させることで、撮像を開始する。
　次に、ステップＳ２２４において、情報処理サーバ１の画像処理部１０ｄは、危険対象エリアのクライアント２から受信した撮像画像を解析し、移動体の検出および危険予測を行う。具体的には、例えば情報処理サーバ１の画像処理部１０ｄは、危険対象エリアのクライアント２Ａ－１～２Ａ－３、２Ｂ－１～２Ｂ－３から取得した撮像画像に基づいて、移動体Ｍ１～Ｍ５を検出する。そして、画像処理部１０ｄは、ユーザ端末４から送信された移動体情報に基づいて本システムの利用対象者である移動体Ｍ１を特定し、移動体Ｍ１に相対的に接近しつつあり、衝突の可能性がある物体の検出を行う。
　この際、画像処理部１０ｄは、撮像画像に付加された赤外線センサ等の各種センサ２９の値に基づいて、移動体Ｍ１に相対的に接近する物体が生体か非生体かを判定するとともに、撮像画像から当該物体の位置差分を抽出し、相対位置・速度ベクトルを検出し、衝突の可能性を演算する。例えば、図１３に示す例では、画像処理部１０ｄは、移動体Ｍ１の位置、移動方向、移動速度、移動体種別（歩行者）と、移動体Ｍ２の位置、移動方向、速度、移動体種別（自動車）とに基づいて、移動体Ｍ１と移動体Ｍ２が衝突する可能性（危険情報）を出力する。
　なお移動体Ｍ３は、その移動方向に基づいて、危険情報は出力されない。また、本システムの利用対象者が移動体Ｍ５（自転車）の場合、移動体Ｍ４と衝突する可能性（危険情報）が出力される。
　次いで、危険があると判断された（危険情報が出力された）場合（Ｓ２２７／Ｙｅｓ）、ステップＳ２３０において、情報処理サーバ１は、移動体Ｍ１（ユーザ端末４）に対して警告通知を行う。
　そして、ステップＳ２３３において、ユーザ端末４は、情報処理サーバ１からの警告通知に応じて、警告処理を行う。警告処理は様々考え得る。例えば、ユーザ端末４の表示画面に警告通知画面を割込み表示させてもよいし、イヤホンやヘッドホンから音楽を再生制御中であれば、再生中の音楽に割り込み信号をかけて警告音を鳴らしてもよい。また、ユーザ端末４は、衝突する対象物体との相対的な距離にあわせた周期で警告処理を行ってもよい。また、ユーザ端末４のバイブレーション機能による振動や、アイウェア（メガネ型ＨＭＤ）のディスプレイの表示により注意喚起してもよい。
　このような警告処理内容は、ユーザ毎にカスタマイズされてもよい。
　また、本システムの利用対象者が移動体Ｍ２（自動車）の場合、ナビゲーション画面（フロントガラスまたは運転席横に設置される表示装置）に警告画面を表示させてもよいし、自動車内で聴いている音楽に割り込み信号をかけて警告音を鳴らしてもよい。また、危険度の高さに応じて、ネットワーク接続された自動車（移動体Ｍ２）のブレーキシステムを強制的に制御し、制動してもよい。
　さらに、衝突対象の移動体Ｍ２が本システムの利用者として登録されていた場合、移動体Ｍ２に対しても警告通知を行うことが可能である。
　また、ステップＳ２３４において、ユーザ端末４は、ユーザが移動したか否かを判断し（危険回避のため移動方向を変えたり、停止したりすることが想定される）、移動したと判断した場合（Ｓ２３４／Ｙｅｓ）、ステップＳ２０６に戻って、移動体情報を新たに情報処理サーバ１に送信する。
　一方、危険が無いと判断された（危険情報が出力されなかった）場合（Ｓ２２７／Ｎｏ）、ステップＳ２３６において、情報処理サーバ１は、危険対象エリアの各クライアント２に、警戒解除信号を送信する（Ｓ２３６ａ、Ｓ２３６ｂ）。
　次いで、ステップＳ２３９において、警戒解除信号を受信した各クライアント２は、撮像部２６による撮像を終了する（Ｓ２３９ａ、Ｓ２３９ｂ）。具体的には、各クライアント２は、システム動作モードからディープスリープモード（待機モード）に遷移させることで、撮像を終了する。
　（補足）
　上述した実施形態では、警戒信号を受信した各クライアント２が、低レートによる撮像モードに遷移して撮像を開始する旨を説明したが、本実施形態はこれに限定されない。以下、図１５を参照して他の動作処理について説明する。
　図１５は、第２の実施形態による交通安全上の危険情報提供処理の他の例を示すシーケンス図である。図１５に示す処理について、図１４に示す処理と同符号の処理は上記実施形態と同様の内容であるため具体的な説明を省略する。
　ここで、ステップＳ２１６において、情報処理サーバ１から警告信号を受信した各クライアント２は、高レートモードへの切替を行う（Ｓ２１６ａ、Ｓ２１６ｂ）。すなわち、各クライアント２は、ディープスリープモードから、高解像度で撮像を行う高レートモードに切り替える。
　これにより、続くステップＳ２１９において、各クライアント２は、撮像部２６によって高解像度の撮像を開始する（Ｓ２１８ａ、Ｓ２１８ｂ）。
　以上、本実施形態の補足について説明した。なお、各クライアント２は、初めに警戒信号を受信した際はディープスリープモードから低レートの撮像モードに切り替え、その後情報処理サーバ１において危険予測が算出され、より詳細な判断を行うために再度画像取得要求が行われた場合に、低レートの撮像モードから高レートの撮像モードに切り替えてもよい。
　　＜３－３．第３の実施形態＞
　次に、第３の実施形態について図１６～図１７を参照して説明する。第３の実施形態では、ユーザの周囲に存在する道路反射鏡型カメラ（クライアント２）で取得される映像に基づいて防犯上の危険情報を抽出し、ユーザに提供することで、より安全な生活を支援する情報処理システムについて説明する。
　上記第２の実施形態では、街中に多数のクライアント２（２Ａ－１～２Ａ－３、２Ｂ－１～２Ｂ－３）が設置されている状況において、撮像部２６で撮像された画像を解析して交通安全上の危険を予測したが、本開示はこれに限定されず、例えば防犯上の危険を予測することも可能である。
　このような第３の実施形態の動作処理について、図１６を参照して説明する。図１６は、第３の実施形態による防犯上の危険情報提供処理の一例を示すシーケンス図である。
　図１６に示すように、まず、ステップＳ３０３において、ユーザ端末４は、トリガの有無を検出する。トリガは、例えばユーザによるシステム起動指示操作（ボタン操作、ジェスチャ、音声入力等）であってもよいし、システム提供が可能な所定範囲にユーザが移動したことであってもよい。
　次に、トリガが検知されると（Ｓ３０３／Ｙｅｓ）、ステップＳ３０６において、ユーザ端末４は、自身の現在位置、および移動情報（速さ、方向）等を取得する。現在位置は、例えばユーザ端末４に設けられたＧＰＳによって取得され、移動情報は、例えばユーザ端末４に設けられたジャイロセンサ、加速度センサ等によって取得される。
　次いで、ステップＳ３０９において、ユーザ端末４は、取得した現在位置情報および移動情報を情報処理サーバ１に送信する。
　次に、ステップＳ３１２において、情報処理サーバ１のカメラ探索部１０ａは、ユーザの現在位置、および移動情報に基づいて、マップ情報を参照して危険対象エリアを特定する。
　次いで、ステップＳ３１５において、情報処理サーバ１の画像取得部１０ｃは、危険対象エリアに含まれるクライアント２に対して警戒信号（画像取得要求を含む）を送信する（Ｓ２１５ａ、Ｓ２１５ａ）。
　続いて、ステップＳ３１６において、各クライアント２は、警戒信号の受信に応じて、高レートの撮像モードに切り替え（Ｓ３１６ａ、Ｓ２１６ｂ）、ステップＳ３１９において、撮像部２６による高解像度の撮像を開始する（Ｓ３１９ａ、Ｓ２１９ｂ）。なお、ここでは、一例として高レートの撮像モードに切り替えているが、各クライアント２は、低レートの撮像モードに切り替え、後に危険検出された際に情報処理サーバ１から再度画像取得要求が行われた場合に高レートの撮像モードに切り替えてもよい。
　次いで、ステップＳ３２１において、各クライアント２は、撮像した撮像画像（映像）をリアルタイムで情報処理サーバ１に送信し続ける（Ｓ３２１ａ、Ｓ３２１ｂ）。
　次に、ステップＳ３２４において、情報処理サーバ１の画像処理部１０ｄは、危険対象エリアのクライアント２から受信した撮像画像を解析し、防犯上の危険予測を行う。具体的には、例えば情報処理サーバ１は、外部システム（図１参照）の防犯システムに問い合わせ、防犯信号を受信する。防犯信号には、防犯対象事象の種別や、危険判断に用いる各種特徴データ、犯罪情報等が含まれる。例えば指名手配されている容疑者の顔画像や、現在生じている犯罪の位置情報等が含まれる。なお防犯信号の取得は、予め定期的に行われてもよい。
　情報処理サーバ１の画像処理部１０ｄは、危険対象エリアのクライアント２から受信した撮像画像を解析し、防犯信号を参照して、防犯種別に応じた危険対象の抽出を行う。具体的には、例えば画像処理部１０ｄは、撮像画像から刃物を持った人物の検出や当該人物の異常な動き、周囲の人々の不自然な動き（多くの人がある場所から一斉に逃げている等）等を検出し、これらが防犯信号で定義されている危険事象に合致することで、危険有りと判断することができる。また、撮像画像から顔認識を行い、指名手配されている容疑者の顔画像とパターンマッチングを行って危険人物を発見することができる。また、このような解析結果（危険情報）は防犯システムに返送され、警察・消防等への通報が行われる。
　次いで、危険があると判断された（危険情報が出力された）場合（Ｓ３２７／Ｙｅｓ）、ステップＳ３３０において、情報処理サーバ１は、ユーザ端末４に対して警告通知を行う。
　そして、ステップＳ３３３において、ユーザ端末４は、情報処理サーバ１からの警告通知に応じて、警告処理を行う。警告処理は様々考え得る。例えば、ユーザ端末４の表示画面に警告通知画面を割込み表示させてもよいし、イヤホンやヘッドホンから音楽を再生制御中であれば、再生中の音楽に割り込み信号をかけて警告音を鳴らしてもよい。
　ここで、警告通知画面の一例を図１７に示す。図１７に示すように、ユーザ端末７の表示部４２において、危険対象が検出された撮像画像４２１（映像）がリアルタイムで表示されると共に、表示部４２の下方には、マップ画像４２３が表示されている。マップ画像４２３では、ユーザの現在地を示す現在地アイコンと、危険対象の位置を示すアイコンがマッピングされている。これによりユーザは、直感的に自分の位置と危険な場所との位置関係を把握し、安全な方向に逃げることができる。
　なお、このような警告処理内容は、ユーザ毎にカスタマイズされてもよい。
　また、ステップＳ３３４において、ユーザ端末４は、ユーザが移動したか否かを判断し（危険回避のため移動方向を変えることが想定される）、移動したと判断した場合（Ｓ３３４／Ｙｅｓ）、ステップＳ３０６に戻って、位置・移動情報を新たに情報処理サーバ１に送信する。
　一方、危険が無いと判断された（危険情報が出力されなかった）場合（Ｓ３２７／Ｎｏ）、ステップＳ３３６において、情報処理サーバ１は、危険対象エリアの各クライアント２に、警戒解除信号を送信する（Ｓ３３６ａ、Ｓ３３６ｂ）。
　次いで、ステップＳ３３９において、警戒解除信号を受信した各クライアント２は、撮像部２６による撮像を終了する（Ｓ３３９ａ、Ｓ３３９ｂ）。具体的には、各クライアント２は、システム動作モードからディープスリープモード（待機モード）に遷移させることで、撮像を終了する。
　　＜３－４．第４の実施形態＞
　次に、第４の実施形態について図１８を参照して説明する。第４の実施形態では、ユーザの周囲に存在する道路反射鏡型カメラ（クライアント２）で取得される映像に基づいてユーザの現在位置情報をより正確に抽出し、上述した各実施形態におけるユーザ端末４の現在位置情報として用いることができる情報処理システムについて説明する。
　例えばユーザ端末４がＧＰＳを備えていなかったり、ＧＰＳを備えていてもＧＰＳでは誤差が生じて正確な現在位置情報が取得できなかったりする場合がある。そこで、本実施形態では、道路反射鏡型カメラ（クライアント２）で取得される映像を解析してユーザの顔画像を認識することでユーザの現在地情報をより正確に取得する。
　図１８は、第４の実施形態による現在位置情報提供処理の一例を示すシーケンス図である。図１８に示すように、まず、ステップＳ４０３において、ユーザ端末４は、ＧＰＳにより大まかな現在位置情報を取得する。
　次に、ステップＳ４０６において、ユーザ端末４は、大まかな現在位置情報を情報処理サーバ１に送信する。
　次いで、ステップＳ４０９において、情報処理サーバ１のカメラ探索部１０ａは、大まかな現在位置情報に応じて、マップ情報を参照してユーザの周囲に設置されているクライアント２を特定する。
　次に、ステップＳ４１２において、情報処理サーバ１は、特定された周囲のクライアント２に対して画像取得要求を行う（Ｓ４１２ａ、Ｓ４１２ｂ）。
　続いて、ステップＳ４１５において、各クライアント２は、画像取得要求に応じて、高レートの撮像モードに切り替え（Ｓ４１５ａ、Ｓ４１５ｂ）、ステップＳ４１８において、撮像部２６による高解像度の撮像を開始する（Ｓ４１８ａ、Ｓ４１８ｂ）。
　次いで、ステップＳ４２１において、各クライアント２は、撮像した撮像画像（映像）をリアルタイムで情報処理サーバ１に送信し続ける（Ｓ４２１ａ、Ｓ４２１ｂ）。
　次に、ステップＳ４２４において、情報処理サーバ１の画像処理部１０ｄは、特定した周囲のクライアント２から受信した撮像画像を解析し、予め登録されたユーザ情報（具体的には、ユーザの顔画像）とのマッチングを行い、撮像画像からユーザを検出する。また、ユーザが検出された撮像画像に基づいて、当該撮像画像を取得したクライアント２に対するユーザの相対位置を検出する。
　そして、ステップＳ４２７において、情報処理サーバ１の情報提供部１０ｂは、画像処理部１０ｄによる解析結果に基づいて、ユーザが検出された撮像画像を取得したクライアント２の位置（固定されている位置情報）をマップ情報から抽出し、当該クライアント２の位置と上記検出されたクライアント２に対するユーザの相対位置に基づいて、ユーザの正確な現在位置情報を取得する。
　最後に、ステップＳ４３０において、情報処理サーバ１の情報提供部１０ｂは、ユーザの正確な現在位置情報をユーザ端末４に送信する。
　以上、第４の実施形態によるユーザ位置情報の取得処理について説明した。なおユーザ端末４がＧＰＳ等の位置検出部を何ら有していない場合、ユーザ端末４は、周囲のクライアント２を検出して識別信号を取得し、大まかな現在位置情報として情報処理サーバ１に送信してもよい。
　　＜３－５．第５の実施形態＞
　次に、第５の実施形態について図１９～図２１を参照して説明する。第５の実施形態では、ユーザの周囲に存在する道路反射鏡型カメラ（クライアント２）で取得される映像に基づいて様々な高度情報を生成し、ユーザに提供することで、より快適な生活を支援する情報処理システムについて説明する。
　上記第１、第２の実施形態では、街中に多数のクライアント２（２Ａ－１～２Ａ－３、２Ｂ－１～２Ｂ－３）が設置されている状況において、撮像部２６で撮像された画像を解析して交通安全上の危険や防犯上の危険を予測したが、本開示はこれに限定されず、例えば様々な高度情報を生成して提供することも可能である。
　このような第５の実施形態の動作処理について、図１９を参照して説明する。図１９は、第５の実施形態による高度情報提供処理の一例を示すシーケンス図である。
　図１９に示すように、まず、ステップＳ５０３において、ユーザ端末４は、利用機能設定を行う。具体的には、例えばユーザが任意で情報提供を受けたいサービスを選択する。ここで、図２０に、本実施形態による高度情報提供アイコンの一例を示す。図２０に示すように、ユーザ端末４の表示画面４２において、各高度情報の提供を示すアイコン４２５ａ～４２５ｌが表示される。
　例えば、アイコン４２５ａは、「紫外線対策情報」を提供するアイコンであって、今利用すべき紫外線対策商品や、予めユーザの所持品が登録されている場合はその中から今利用すべき化粧品や服装を抽出し、また、推薦する紫外線対策商品の広告（または近くの店舗等）を推薦する。
　アイコン４２５ｂは、「暑さ・寒さ対策情報（服装情報）」を提供するアイコンであって、服装に関する推薦を行う。具体的には、外の気温や、撮像画像に基づいて検出される外を歩く人物の服装等に応じて、今着るべき洋服や、予めユーザの所持品が登録されている場合はその中から今着るべき洋服を抽出し、また、推薦する洋服の広告（または近くの店舗等）を推薦する。また、人と同じ服装にならないための服装推薦や、会場に入る前に適切なフォーマル度の推薦を行ってもよい。
　アイコン４２５ｃは、「花粉・粉塵・ハウスダスト対策情報」を提供するアイコンであって、花粉・粉塵・ハウスダスト対策をした方がよいかどうか外出前に知らせることができる。
　アイコン４２５ｄは、「人ごみ・並び・男女比対策情報」を提供するアイコンであって、これからユーザが行く場所の混雑具合、待ち時間、男女比等から行くべきか否かといった対策情報を提示する。
　アイコン４２５ｅは、「雨具情報」を提供するアイコンであって、室内に居て外の様子が分からない場合に、現在雨具を持って出かけるべきか否かといった情報を提示する。例えば、周辺の撮像画像に基づいて検出される外を歩く人物の服装や雨具の有無等から提示され得る。これにより、雨具を持たずに外に出たら雨であったということを未然に防止することができる。
　アイコン４２５ｆは、「待ち人対策情報」を提供するアイコンであって、外で待っている人の状況からストレスレベルを検知し、ユーザーに喚起する。
　アイコン４２５ｇは、「良いことありそう・イベント発生情報」を提供するアイコンであって、ユーザの周囲で行われているイベントや、通常とは異なることが起きているまたは起きそうということを知らせる。
　アイコン４２５ｈは、「好みの人の存在情報」を提供するアイコンであって、パーティやイベントに行く際に、会場の撮像画像に基づいて好みの人が居るか否かといった情報を提供する。
　アイコン４２５iは、「渋滞情報」を提供するアイコンであって、周囲の道の撮像画像に基づいて渋滞情報を取得し、車で出かけようとしたら目の前の道が渋滞であったということを防止する。
　アイコン４２５ｊは、「壁越しの画像」を提供するアイコンであって、壁で外が見えない状況においても、リアルタイムで外の画像を表示する。
　アイコン４２５ｋは、ユーザがカスタマイズして作る機能としてのスロットである。
　アイコン４２５ｌは、「設定ボタン」アイコンであって、機能詳細や精度などの各種設定を行う設定画面に遷移する。
　ユーザは、これらアイコン４２５ａ～４２５ｊのうち、取得したい情報を示すアイコンをタップする等して選択し、利用機能として登録する。
　次に、ステップＳ５０６において、ユーザ端末４は、ユーザ情報をセットする。具体的には、ユーザ端末４は、現在位置情報、姿勢情報、周囲環境等をユーザ情報として取得し、登録する。
　次いで、ステップＳ５０９において、ユーザ端末４は、セットされたユーザ情報に基づいて、設定された利用機能の初期データを表示する。
　次に、ステップＳ５１２において、ユーザ端末４は、情報処理サーバ１に対して、設定された利用機能のデータ要求を行う。この際、ユーザ端末４は、セットされたユーザ情報を併せて送信する。
　次いで、ステップＳ５１５において、情報処理サーバ１は、要求された利用機能のデータを取得するために特定サーバからのデータ取得が必要か否かを判断する。
　次に、特定サーバからのデータ取得が必要な場合（Ｓ５１５／Ｙｅｓ）、ステップＳ５１８において、情報処理サーバ１は、外部システム（図１参照）に含まれる特定サーバからデータ取得を行う。
　次いで、ステップＳ５２１において、情報処理サーバ１のカメラ探索部１０ａは、ユーザ端末４からの要求に対応するために解析が必要な対象エリアを特定する。
　次に、ステップＳ５２４において、情報処理サーバ１の画像取得部１０ｃは、対象エリアのクライアント２に対して画像取得要求を行う（Ｓ５２４ａ、Ｓ５２４ｂ）。
　次いで、ステップＳ５２７において、各クライアント２は、高レートの撮像動作モードに切り替え（Ｓ５２７ａ、Ｓ５２７ｂ）、高解像度撮像を開始する（Ｓ５３０ａ、Ｓ５３０ｂ）。
　続いて、ステップＳ５３３において、各クライアント２は、撮像した撮像画像（映像）をリアルタイムで情報処理サーバ１に送信し続ける（Ｓ５３３ａ、Ｓ５３３ｂ）。
　次に、ステップＳ５３６において、情報処理サーバ１の画像処理部１０ｄは、対象エリアのクライアント２から収集した撮像画像に対して、ユーザ端末４からの要求に答えるための解析を行う。本実施形態による画像処理部１０ｄは、クライアント２が撮像した撮像画像を解析し、下記のようなデータを得る。ユーザ端末４は、これらの情報から高度情報を生成し得る。
　（撮像画像の解析により得られる情報の一例）
・人に関する情報
　－人数・・・密度、構成分布
　－行動・・・立ち止まる、横切る、話し込む、待つ
　－表情・・・楽しい、怒り、普通
　－服装・・・フォーマル・カジュアル、時計、靴、服の色、襟の有無
　－トレンド・・・流行、レギュラー
　－身につけているもの
　－袖丈
　－靴・・・雨用、晴れ用、露出が多い
　－首に巻くもの・・・スカーフ、マフラー
・環境に関する情報
　－空・・・明暗、雲、雲の形、雲の流れ
　－物体・・・旗：なびく方向、なびく周期
　－木・・・傾く方向、傾く角度
　－道路・・・表面反射、上に物がある
　次いで、ステップＳ５３９において、情報処理サーバ１は、解析結果をユーザ端末４に送信する。
　そして、ステップＳ５４２において、ユーザ端末４は、解析結果を受信し、続くステップＳ５４５において、利用機能設定された高度情報の生成と表示を行う。ここで、本実施形態による高度情報の画像表示例を図２１に示す。
　図２１に示す例では、「暑さ・寒さ対策情報（服装情報）」を提供するアイコン４２５ｂと、「雨具情報」を提供するアイコン４２５ｅと、「壁越しの画像（ライブビュー）」を提供するアイコン４２５ｊが利用機能として設定されている場合を想定する。この場合、図２１に示すように、ユーザ端末４の表示画面４２には、推薦する服装情報４２６ｂと、推薦する雨具情報４２６ｅと、ユーザの現在地周辺のライブビュー画像４２６ｊが表示される。雨具情報４２６ｅでは、強風により傘が引っくり返る可能性が示唆されている。
　これにより、ユーザが室内に居て外の様子が分からない場合でも、実際にリアルタイムで撮像された周辺（外）の撮像画像に基づいて、服装情報や雨具情報が提示されるので、雨具を持たずに外に出たら雨だったというようなことを回避することができる。
　次に、ユーザ端末４は、ユーザ情報変化（具体的には、現在位置等のユーザ情報の変化）があった場合（Ｓ５４８／Ｙｅｓ）、ステップＳ５１２に戻り、新たにセットされたユーザ情報を送信すると共に、データ要求を行う。
　また、利用機能の設定変化があった場合（Ｓ５５７／Ｙｅｓ）、ステップＳ５０３に戻って上記Ｓ５０３以降が繰り返される。
　以上説明した動作処理では、主に情報処理サーバ１で撮像画像の解析を行い、ユーザ端末４で解析結果に基づいて高度情報を生成しているが、撮像画像の解析は各装置で分担してもよい。例えばアイコン４２５i～ｌは、ユーザ端末で処理して得られ、アイコン４２５ａ、ｅ、ｇは、クライアントで処理して得られ、アイコン４２５ｂ、ｃ、ｄ、ｆ、ｈは、サーバで処理して得られる場合も想定される。
　　＜＜６．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、街中に多数設置された道路反射鏡カメラによりリアルタイムで得られた撮像画像に基づいた情報をユーザに提供することで、更に快適で安全な生活を支援することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述したサーバ１、クライアント２、ユーザ端末４に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理サーバ１、クライアント２、ユーザ端末４の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、情報処理サーバ１の機能を、クライアント２が有していてもよい。
　また、クライアント２は、道路反射鏡型カメラに限定されず、例えば定点カメラ、監視カメラ、個人所有の設置カメラ、他者が有するカメラ等であってもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　特定の情報処理装置の周囲の撮像装置を探索する探索部と、
　探索された撮像装置と当該撮像装置の画角に関連する情報をユーザに提供する提供部と、
　前記ユーザにより選択された撮像装置により撮像されている画像を取得する取得部と、
を備え、
　前記提供部は、前記取得部により取得された画像を前記ユーザに提供する、情報処理装置。
（２）
　前記探索部は、前記情報処理装置の位置に応じて、周囲の撮像装置を探索する、前記（１）に記載の情報処理装置。
（３）
　前記探索部は、前記ユーザが向いている方向上に位置する撮像装置を探索し、
　前記取得部は、前記探索された撮像装置により撮像されている画像を取得する、前記（１）または（２）に記載の情報処理装置。
（４）
　前記情報処理装置は、
　前記取得した画像を解析することにより前記ユーザの安全性を評価する画像処理部をさらに備え、
　前記提供部は、評価結果を前記ユーザに提供するよう制御する、前記（３）に記載の情報処理装置。
（５）
　前記画像処理部は、前記取得した画像から前記ユーザに接近する可能性がある移動体の検出結果に応じて、前記ユーザの安全性を評価する、前記（４）に記載の情報処理装置。
（６）
　前画像処理部は、前記取得した画像から予め登録された人物の検出結果に応じて、前記ユーザの安全性を評価する、前記（４）に記載の情報処理装置。
（７）
　前記提供部は、前記撮像装置の画角に関連する情報と、前記撮像装置から取得した画像の対応関係を示すユーザインタフェースを生成し、当該ユーザインタフェースを前記ユーザに提供する、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
　コンピュータを、
　特定の情報処理装置の周囲の撮像装置を探索する探索部と、
　探索された撮像装置と当該撮像装置の画角に関連する情報をユーザに提供する提供部と、
　前記ユーザにより選択された撮像装置により撮像されている画像を取得する取得部と、
として機能させ、
　前記提供部は、前記取得部により取得された画像を前記ユーザに提供するよう機能するプログラムが記憶された、記憶媒体。
（９）
　特定の情報処理装置の周囲の撮像装置を探索することと、
　探索された撮像装置と当該撮像装置の画角に関連する情報をユーザに提供することと、
　前記ユーザにより選択された撮像装置により撮像されている画像を取得することと、
　前記取得された画像を前記ユーザに提供すること、
を含む、制御方法。
　１、１Ａ、１Ｂ　　情報処理サーバ
　１０　　主制御部
　１０ａ　　カメラ探索部
　１０ｂ　　情報提供部
　１０ｃ　　画像取得部
　１０ｄ　　画像処理部
　１１　　通信部
　１４　　ＤＢ
　２、２Ａ－１～２Ａ－３、２Ｂ－１～２Ｂ－３　　クライアント（道路反射鏡型カメラ）
　３、３Ａ、３Ｂ　　ネットワーク
　４　　ユーザ端末
　５　　中継サーバ
 

Claims (9)

  1. 　特定の情報処理装置の周囲の撮像装置を探索する探索部と、
    　探索された撮像装置と当該撮像装置の画角に関連する情報をユーザに提供する提供部と、
    　前記ユーザにより選択された撮像装置により撮像されている画像を取得する取得部と、
    を備え、
    　前記提供部は、前記取得部により取得された画像を前記ユーザに提供する、情報処理装置。
  2. 　前記探索部は、前記情報処理装置の位置に応じて、周囲の撮像装置を探索する、請求項１に記載の情報処理装置。
  3. 　前記探索部は、前記ユーザが向いている方向上に位置する撮像装置を探索し、
    　前記取得部は、前記探索された撮像装置により撮像されている画像を取得する、請求項１に記載の情報処理装置。
  4. 　前記情報処理装置は、
    　前記取得した画像を解析することにより前記ユーザの安全性を評価する画像処理部をさらに備え、
    　前記提供部は、評価結果を前記ユーザに提供するよう制御する、請求項３に記載の情報処理装置。
  5. 　前記画像処理部は、前記取得した画像から前記ユーザに接近する可能性がある移動体の検出結果に応じて、前記ユーザの安全性を評価する、請求項４に記載の情報処理装置。
  6. 　前画像処理部は、前記取得した画像から予め登録された人物の検出結果に応じて、前記ユーザの安全性を評価する、請求項４に記載の情報処理装置。
  7. 　前記提供部は、前記撮像装置の画角に関連する情報と、前記撮像装置から取得した画像の対応関係を示すユーザインタフェースを生成し、当該ユーザインタフェースを前記ユーザに提供する、請求項１に記載の情報処理装置。
  8. 　コンピュータを、
    　特定の情報処理装置の周囲の撮像装置を探索する探索部と、
    　探索された撮像装置と当該撮像装置の画角に関連する情報をユーザに提供する提供部と、
    　前記ユーザにより選択された撮像装置により撮像されている画像を取得する取得部と、
    として機能させ、
    　前記提供部は、前記取得部により取得された画像を前記ユーザに提供するよう機能するプログラムが記憶された、記憶媒体。
  9. 　特定の情報処理装置の周囲の撮像装置を探索することと、
    　探索された撮像装置と当該撮像装置の画角に関連する情報をユーザに提供することと、
    　前記ユーザにより選択された撮像装置により撮像されている画像を取得することと、
    　前記取得された画像を前記ユーザに提供すること、
    を含む、制御方法。
     
     
PCT/JP2015/060227 2014-07-09 2015-03-31 情報処理装置、記憶媒体、および制御方法 WO2016006287A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016532459A JP6586954B2 (ja) 2014-07-09 2015-03-31 情報処理装置、記憶媒体、および制御方法
EP15818411.9A EP3169063A4 (en) 2014-07-09 2015-03-31 Information processing device, storage medium, and control method
US15/321,691 US10225525B2 (en) 2014-07-09 2015-03-31 Information processing device, storage medium, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-141024 2014-07-09
JP2014141024 2014-07-09

Publications (1)

Publication Number Publication Date
WO2016006287A1 true WO2016006287A1 (ja) 2016-01-14

Family

ID=55063932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060227 WO2016006287A1 (ja) 2014-07-09 2015-03-31 情報処理装置、記憶媒体、および制御方法

Country Status (4)

Country Link
US (1) US10225525B2 (ja)
EP (1) EP3169063A4 (ja)
JP (1) JP6586954B2 (ja)
WO (1) WO2016006287A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008101A1 (ja) * 2016-07-06 2018-01-11 株式会社オプティム 画像提供システム、画像提供方法、およびプログラム
JP2019203770A (ja) * 2018-05-23 2019-11-28 株式会社リアルグローブ 測位装置及び方法、並びに、コンピュータプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6197366B2 (ja) * 2013-05-23 2017-09-20 ソニー株式会社 情報処理装置及び記憶媒体
GB2545900B (en) * 2015-12-21 2020-08-12 Canon Kk Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras
IT201700101255A1 (it) * 2017-09-11 2019-03-11 Catellani Andrea Bonasi Dispositivo elettronico per la ricezione di dati in tempo reale da almeno un ulteriore dispositivo elettronico e relativo sistema elettronico e metodo di ricezione di dati in tempo reale
US10592960B2 (en) * 2017-12-19 2020-03-17 Futurewei Technologies, Inc. Determining thermal insulation levels of clothing to wear at a destination
JP2019135806A (ja) * 2018-02-05 2019-08-15 ソニーセミコンダクタソリューションズ株式会社 復調回路、処理回路、処理方法、および処理装置
JP7115258B2 (ja) * 2018-11-29 2022-08-09 トヨタ自動車株式会社 情報処理システム、情報処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320696A (ja) * 2000-05-08 2001-11-16 Optex Co Ltd 監視システム及びその監視システムに使用される監視装置
JP2004128997A (ja) * 2002-10-04 2004-04-22 Nippon Telegr & Teleph Corp <Ntt> 映像遠隔制御装置，映像遠隔制御方法，映像遠隔制御プログラムおよび映像遠隔制御プログラムを記録した記録媒体
JP2008172427A (ja) * 2007-01-10 2008-07-24 Canon Inc カメラ制御装置及びその制御方法、並びにカメラ制御システム
JP2012015795A (ja) * 2010-06-30 2012-01-19 Hitachi Kokusai Electric Inc 画像監視システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7079177B2 (en) * 1995-02-27 2006-07-18 Canon Kabushiki Kaisha Remote control system and access control method for information input apparatus with limitation by user for image access and camemremote control
JP3581560B2 (ja) * 1997-07-29 2004-10-27 キヤノン株式会社 カメラ制御システムおよびコンピュータ端末およびそれらの制御方法およびそれらの制御を実行するプログラムを記憶した記憶媒体
JP4590039B2 (ja) * 1998-04-17 2010-12-01 キヤノン株式会社 カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体
JP2000069346A (ja) * 1998-06-12 2000-03-03 Canon Inc カメラ制御装置、方法、カメラ、追尾カメラシステム及びコンピュ―タ読み取り可能な記憶媒体
JP4159049B2 (ja) 2004-02-03 2008-10-01 独立行政法人科学技術振興機構 人間支援システム、人間支援方法及び人間支援プログラム
JP2006174195A (ja) * 2004-12-17 2006-06-29 Hitachi Ltd 映像サービスシステム
EP2328131B1 (en) * 2005-03-25 2012-10-10 Sensormatic Electronics LLC Intelligent camera selection and object tracking
JP2007068066A (ja) * 2005-09-02 2007-03-15 Fujinon Corp リモート雲台システム
JP5245257B2 (ja) * 2006-11-22 2013-07-24 ソニー株式会社 画像表示システム、表示装置、表示方法
IL201131A (en) * 2009-09-23 2014-08-31 Verint Systems Ltd Location-based multimedia monitoring systems and methods
JP6094190B2 (ja) * 2012-12-10 2017-03-15 ソニー株式会社 情報処理装置および記録媒体
US8913144B2 (en) * 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
JP6285954B2 (ja) * 2013-11-21 2018-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報通信方法
US10171794B2 (en) * 2015-04-29 2019-01-01 Panasonic Intellectual Property Management Co., Ltd. Method for selecting cameras and image distribution system capable of appropriately selecting cameras
JP6878014B2 (ja) * 2017-01-13 2021-05-26 キヤノン株式会社 画像処理装置及びその方法、プログラム、画像処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320696A (ja) * 2000-05-08 2001-11-16 Optex Co Ltd 監視システム及びその監視システムに使用される監視装置
JP2004128997A (ja) * 2002-10-04 2004-04-22 Nippon Telegr & Teleph Corp <Ntt> 映像遠隔制御装置，映像遠隔制御方法，映像遠隔制御プログラムおよび映像遠隔制御プログラムを記録した記録媒体
JP2008172427A (ja) * 2007-01-10 2008-07-24 Canon Inc カメラ制御装置及びその制御方法、並びにカメラ制御システム
JP2012015795A (ja) * 2010-06-30 2012-01-19 Hitachi Kokusai Electric Inc 画像監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3169063A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008101A1 (ja) * 2016-07-06 2018-01-11 株式会社オプティム 画像提供システム、画像提供方法、およびプログラム
JP6450890B2 (ja) * 2016-07-06 2019-01-09 株式会社オプティム 画像提供システム、画像提供方法、およびプログラム
JPWO2018008101A1 (ja) * 2016-07-06 2019-01-17 株式会社オプティム 画像提供システム、画像提供方法、およびプログラム
JP2019203770A (ja) * 2018-05-23 2019-11-28 株式会社リアルグローブ 測位装置及び方法、並びに、コンピュータプログラム

Also Published As

Publication number Publication date
US10225525B2 (en) 2019-03-05
US20170163938A1 (en) 2017-06-08
EP3169063A4 (en) 2018-01-24
JP6586954B2 (ja) 2019-10-09
EP3169063A1 (en) 2017-05-17
JPWO2016006287A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6586954B2 (ja) 情報処理装置、記憶媒体、および制御方法
US20230093599A1 (en) Autonomous vehicle notification system
EP3006277B1 (en) Image transmission device
US10546422B2 (en) System and method for augmented reality support using a lighting system&#39;s sensor data
US10553113B2 (en) Method and system for vehicle location
US9832394B2 (en) Adaptive low-light view modes
EP3766255B1 (en) Method for obtaining information about a luminaire
EP3157233A1 (en) Handheld device, method for operating the handheld device and computer program
US20150022630A1 (en) Virtual Video Patrol System and Components Therefor
KR20190050113A (ko) 이동 물체 자동 추적 영상 감시 시스템
US20130265151A1 (en) Method for monitoring an object and use of a sensor to monitor an object
US11641453B2 (en) Server, on-board device, vehicle, non-transitory storage medium storing program, and method for providing information
US11671700B2 (en) Operation control device, imaging device, and operation control method
CN113994145A (zh) 用于将监视和通信集成到照明设备的系统和方法
JP2004240701A (ja) 旅行時間計測システム，コーン，車番認識システム
KR20210042431A (ko) 3d 헤드업디스플레이 시스템 및 그의 제어 방법
US11328154B2 (en) Systems and methods of increasing pedestrian awareness during mobile device usage
WO2021095481A1 (ja) 運転支援方法、路側装置および車載装置
KR20210030523A (ko) 차량 및 그 제어 방법
JP5980090B2 (ja) 交通情報通知装置
KR102683516B1 (ko) 증강현실 모바일 기기를 포함한 감시 카메라 시스템 및 그 제어 방법
WO2019124105A1 (ja) 情報処理装置、移動体、及び、情報処理システム
KR20200114350A (ko) 증강현실 모바일 기기를 포함한 감시 카메라 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15818411

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016532459

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15321691

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015818411

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015818411

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE