WO2024034353A1 - 情報処理装置、情報処理方法、情報処理システム、基地局、及び端末 - Google Patents

情報処理装置、情報処理方法、情報処理システム、基地局、及び端末 Download PDF

Info

Publication number
WO2024034353A1
WO2024034353A1 PCT/JP2023/026708 JP2023026708W WO2024034353A1 WO 2024034353 A1 WO2024034353 A1 WO 2024034353A1 JP 2023026708 W JP2023026708 W JP 2023026708W WO 2024034353 A1 WO2024034353 A1 WO 2024034353A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
information processing
unit
image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/026708
Other languages
English (en)
French (fr)
Inventor
正也 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN202380054095.2A priority Critical patent/CN119547425A/zh
Priority to JP2024540337A priority patent/JPWO2024034353A1/ja
Publication of WO2024034353A1 publication Critical patent/WO2024034353A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an information processing device, a terminal, a base station, and an information processing system.
  • surveillance cameras are installed in locations where they can see the aisles between the shelves. For example, there is a case where a person crouching on the screen of a surveillance camera is putting an article 500 (DVD case size: 136 x 14 x 190 mm) taken out from a shelf into a bag (see FIG. 18).
  • the store notices this theft and searches for evidence from the camera images, it will look for the item and the bag, which are only shown in a small image on the screen. Additionally, the theft scene may not be visible to the camera because other people or objects may come between the camera and the crime scene. In that case, even if you search for camera images, there will be no scene where someone puts something in a bag. If a situation such as putting something into a bag occurs, you can tell what is missing, but you will have to search through all surveillance camera images to find out when and where it was done.
  • the present disclosure provides an information processing device, an information processing method, an information processing system, a base station, and a terminal that can more easily acquire image information regarding a lost object.
  • a positioning information processing unit that generates position coordinates in time series based on radio ranging distances from a plurality of coordinates to a terminal attached to an article; Displaying an image whose imaging range includes a position in the space corresponding to at least one of the time-series position coordinates based on the time of the radio range measurement, and which corresponds to the time of the radio range measurement of the position in the space.
  • a first control section for displaying on the section; An information processing device is provided.
  • the first control unit may display the image on the display unit when the position coordinates are located within a predetermined area.
  • the radio ranging may be a ranging method that uses frequency phase characteristics through wireless communication between a plurality of base stations and the terminal.
  • the first control unit may issue warning information when the first control unit is located within the predetermined area.
  • the display unit may display the image at the time when the terminal started moving.
  • the positioning information processing unit may generate the position coordinates in association with time of radio ranging.
  • a map image generation unit that superimposes time-series changes in the position coordinates on a map image as trajectory information; Further provision may be made.
  • the display unit may display the map image on which the trajectory information is superimposed and the image corresponding to the radio ranging time of the position coordinates included in the trajectory information side by side.
  • the image forming apparatus may further include a recognition processing unit that recognizes the area of the article from the image.
  • the recognition processing unit may superimpose a first mark indicating the area in the image.
  • the recognition processing unit may superimpose a second mark indicating a location corresponding to the position coordinates in the image.
  • the first control unit may cause the recognition processing unit to start recognition processing when the position coordinates are located within a predetermined area.
  • the recognition processing unit may recognize the area by recognition processing corresponding to the first identification information.
  • the reading section can also read the second identification information of the terminal, and the first identification information and the second identification information may be stored in association with each other in the storage section.
  • the first control unit may stop generating the position coordinates of the article and stop the operation of the terminal when the first identification information or the second identification information is read.
  • the first control unit selects a base station for measuring a distance to the terminal through wireless communication with the terminal based on the location coordinates, and selects images captured from a plurality of predetermined coordinates based on the location coordinates. Then, the information may be displayed on the display section.
  • the distance between the terminal attached to the article and the terminal can be measured using a distance measuring method that uses frequency phase characteristics through wireless communication between the terminal and the terminal attached to the article.
  • An information processing system comprising: an information processing device;
  • the information processing device includes: a positioning information processing unit that generates position coordinates in time series based on radio ranging distances from the coordinates of the plurality of base stations to the terminal;
  • In the image captured by the imaging unit Displaying an image whose imaging range includes a position in the space corresponding to at least one of the time-series position coordinates based on the time of the radio range measurement, and which corresponds to the time of the radio range measurement of the position in the space.
  • a first control section for displaying on the section;
  • An information processing system is provided.
  • a distance measuring unit is used to generate time-series position coordinates of a terminal attached to an article, and performs radio range measurement to the terminal; a wireless communication unit that wirelessly communicates with the terminal; an imaging unit that has an imaging optical system with a defined imaging range and an imaging element, and captures an image in which the position coordinates can be associated with the captured image; An imaging device is provided.
  • a terminal attached to an article comprising: a distance measurement unit that is used to generate position coordinates of the terminal in time series and performs radio range measurement to the terminal with a predetermined base station; a wireless communication unit that wirelessly communicates with the predetermined base station; A terminal is provided.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system 1 according to a first embodiment of the present technology.
  • a floor plan of the store to be monitored. 1 is a block diagram showing a configuration example of a base station 10.
  • FIG. FIG. 2 is a diagram showing the principle of measuring distance using a phase-based distance measurement method. The figure which shows the example of a graph for calculating group delay (tau).
  • FIG. 2 is a block diagram showing a configuration example of a terminal 20.
  • FIG. FIG. 3 is a block diagram showing a configuration example of an information processing device 30.
  • FIG. FIG. 3 is a block diagram showing a configuration example of an image processing unit 306.
  • FIG. 3 is a sequence diagram showing the operation of each part in the system when the terminal 20A moves.
  • FIG. 6 is a plan view of a case where the terminal 20A moves and performs monitoring termination processing at the counter. Sequence diagram during monitoring termination processing.
  • FIG. 3 is a plan view of a terminal entering an event occurrence area without undergoing monitoring termination processing; A sequence diagram when entering an event occurrence area. The figure which shows the example of a structure of the information processing system in 2nd Embodiment of this technique.
  • FIG. 2 is a block diagram showing a configuration example of a camera. A floor plan of the store to be monitored. An illustration of a scene in which a person crouching within the camera screen is putting an item the size of a DVD case into a bag.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system 1 according to a first embodiment of the present technology.
  • the information processing system 1 includes a plurality of base stations 10, a terminal 20, and an information processing device 30.
  • the base station 10 is capable of capturing images of the monitoring range and measuring the distance to the terminal 20 by radio waves through communication with the terminal 20.
  • the terminal 20 is configured as a tag, for example, and is fixed to an article such as a DVD.
  • the terminal 20 can measure the distance to the base station 10 by communicating with the base station 10.
  • the information processing device 30 can control the base station 10 and the terminal 20, and monitors the position of the terminal 20. Detailed configurations of the base station 10, terminal 20, and information processing device 30 will be described later.
  • FIG. 2 is an example of a plan view of the interior of the store to be monitored. Items are displayed on shelves in the store.
  • a plurality of base stations 10a, b, c, d, e, f, a plurality of terminals 20A, B, and an information processing device 30 are arranged.
  • the information processing system 1 monitors the positions of a plurality of terminals 20A and 20B fixed to an article, for example, and issues an alarm etc. when any of the terminals 20A and 20B enters the event occurrence area A100, This is a system that can present related images.
  • the plurality of base stations 10a, b, c, d, e, and f are installed with their imaging units facing in a direction that allows them to monitor, for example, a passage between shelves.
  • the information processing device 30 is installed at the counter.
  • the terminals 20A and 20B are attached to items that need to be managed. When an item is moved, the attached terminal also moves with it.
  • each base station 10a, b, c, d, e, f is capable of transmitting a presence information signal indicating its own presence at regular intervals in order to respond to searches for used base stations from terminals 20A and 20B. .
  • the direction of the optical axis L100 of the imaging optical system of the base stations 10a, b, c, d, e, f and the imaging range A100 are each defined in the world coordinate system.
  • the radio range measurement ranges of the base stations 10a, b, c, d, e, and f are each defined in the world coordinate system.
  • coordinates may be explained using a world coordinate system, but the present invention is not limited to this.
  • FIG. 3 is a block diagram showing a configuration example of the base station 10.
  • the base station 10 includes an imaging section 100, a distance measuring section 102, a communication section 103, a storage section 108, and a control section 110.
  • the base station 10 is configured to include, for example, a CPU (Central Processing Unit), and each unit is configured by executing various programs stored in the storage unit 108.
  • the communication unit 103 includes a wireless communication unit 104 and a wired communication unit 106.
  • the imaging unit 100 includes an imaging optical system and an image sensor.
  • the imaging unit 100 uses an imaging element to capture an image of the monitoring area via the imaging optical system, and stores the captured image in the storage unit 108 .
  • the imaging unit 100 captures an image of the environment in which the base station 10 exists.
  • the base station 10 may include a plurality of imaging units 100.
  • the base station 10 may not include the imaging unit 100 if the monitoring area can be sufficiently imaged by imaging by other base stations in the information processing system 1.
  • the imaging unit 100 also stores images of the monitoring area in the storage unit 108 in chronological order in association with time. These images can also be stored in the storage unit 302 of the information processing device 30 via the wired communication unit 106, which will be described later.
  • the imaging optical system of the imaging unit 100 is fixed, and the imaging range A100 (see FIG. 2) is set in advance.
  • This imaging range A100 is set, for example, in the world coordinate system.
  • the positional relationship between the optical axis L100 of the imaging optical system (see FIG. 2) and the imaging element is also defined. Therefore, it is possible to make the positional coordinates in the world coordinate system correspond to the image captured by the imaging unit 100.
  • These pieces of information are stored in the storage unit 108 and a storage unit 302 of the information processing device 30, which will be described later. Note that when changing the direction of the optical axis L100 and the imaging range A100 of the imaging optical system, it is possible to set the changed direction of the optical axis L100 and the imaging range anew in the world coordinate system.
  • the distance measurement unit 102 communicates with the terminal 20 and measures the distance to the terminal 20 by radio ranging. These distance information can also be stored in the storage unit 302 of the information processing device 30 via the wired communication unit 106, which will be described later. Furthermore, the distance measurement unit 102 can also measure the distance to another base station 10 by communicating with the other base station 10 .
  • the distance measurement range of the distance measurement unit 102 is, for example, fixed, and the distance measurement range is set in advance. As described above, this ranging range is set, for example, in the world coordinate system. This information is stored in the storage unit 108 and the storage unit 302 of the information processing device 30, which will be described later. Note that details of the distance measuring section 102 will be described later. Note that when changing the ranging range, it is possible to set the changed ranging range anew in the world coordinate system.
  • the communication unit 103 is capable of communicating with the terminal 20 and the information processing device 30, and includes the wireless communication unit 104 and the wired communication unit 106.
  • the wireless communication unit 104 can wirelessly communicate with the terminal 20 and the information processing device 30 via the antenna 104a.
  • the wireless communication unit 104 and the antenna 104a are connected by a wireless cable L104. Note that if another base station 10 exists, communication with the other base station 10 is also possible.
  • This wireless communication unit 104 can perform communication using, for example, the BLE (Bluetooth (registered trademark) Low Energy) method.
  • BLE Bluetooth (registered trademark) Low Energy) method.
  • the wireless communication unit 104 transmits and receives commands, data, etc. to and from the outside of the base station 10.
  • the wireless communication section 104 may not be included.
  • the wireless communication unit 104 may be used in common with the distance measurement radio used by the distance measurement unit 102, or may be configured separately from the distance measurement radio used by the distance measurement unit 102.
  • the wired communication unit 106 is capable of wired communication with the information processing device 30 and the like. This wired communication unit 106 transmits and receives commands, data, etc. to and from the outside of the base station 10. Note that in the case of the base station 10 that uses only the wireless communication section 104, the wired communication section 106 may not be included.
  • the storage unit 108 is composed of, for example, an HDD (hard disk drive) or an SSD (solid state drive).
  • the storage unit 108 can also store unique information in addition to the above-mentioned programs and image data.
  • the storage unit 108 stores the identification number of the base station 10, the location coordinates of the base station 10, wireless communication information, etc. as unique information.
  • the wireless communication information includes wireless parameters, and includes, for example, information on the length of the wireless cable L104.
  • the storage unit 108 can store the imaging range of the imaging unit 100 and the distance measurement range of the distance measurement unit 102 in, for example, the world coordinate system.
  • the control unit 110 controls the entire base station 10. Further, the control unit 110 can also start driving the distance measuring unit 102 and the imaging unit 100 in response to a received signal from either the terminal 20 or the information processing device 30. That is, the control unit 110 can instruct the distance measurement unit 102 about the distance measurement partner from among the terminal 20 and other base stations 10, and can instruct the distance measurement timing. Further, the control unit 110 controls transmitting the image captured by the imaging unit 100 and the distance information measured by the distance measurement unit 102 to the outside of the base station 10 using the wireless communication unit 104 or the wired communication unit 106. In this way, the control unit 110 can process commands given from the outside via the wireless communication unit 104 or the wired communication unit 106 and control the overall operation of the base station 10. Note that the image according to this embodiment may be referred to as a video.
  • the distance measurement unit 102 can measure distance using, for example, a phase-based distance measurement method.
  • FIG. 4 is a diagram illustrating the principle of measuring distance using the phase-based ranging method.
  • FIG. 5 is a diagram showing an example of a graph for calculating group delay ⁇ . The horizontal axis in FIG. 5 indicates frequency, and the vertical axis indicates phase.
  • a radio device (initiator) and a radio device (reflector) emit sine waves at the same frequency.
  • the radio device (Initiator) will be described as the wireless communication unit 206 (described later in FIG. 5) of the terminal 20, and the radio device (Reflector) will be described as the wireless communication unit 104 of the base station 10, but the present invention is not limited thereto.
  • the wireless device (initiator) may be the wireless communication section 104 of the base station 10
  • the wireless device (reflector) may be the wireless communication section 306 of the terminal 20.
  • one terminal 20 emits a sine wave at a frequency f [Hz].
  • the radio wave emitted from the terminal 20 travels toward the base station 10 (Reflector), which is another radio device located a distance D [m] away.
  • the base station 10 (Reflector) receives radio waves emitted from the terminal 20 (Initiator), and at that time receives a sine wave whose phase has been rotated according to the distance D [m].
  • the phase of the sine wave at the time it is transmitted from the terminal 20 (Initiator) is 0 [rad]
  • the sine wave that has reached the base station 10 (Reflector) which is a distance D [m] away from the terminal 20 (Initiator)
  • c is the speed of light
  • f is the frequency of the sine wave.
  • the base station 10 (Reflector) When the emission of radio waves from the terminal 20 (Initiator) to the base station 10 (Reflector) is completed, the base station 10 (Reflector) then emits radio waves to the terminal 20 (Initiator). At this time, the base station 10 (Reflector) emits a sine wave rotated by ⁇ [rad] in advance. Therefore, the phase of the sine wave received by the terminal 20 (Initiator) is the phase rotated by the distance D [m] with respect to the phase of ⁇ [rad] emitted by the base station 10 (Reflector), that is, 2 ⁇ [ A sine wave whose phase has been rotated by [rad] will be received.
  • the terminal 20 (Initiator) since it is known in advance that the terminal 20 (Initiator) first emitted a sine wave with a phase of 0 [rad], the radio waves are sent back and forth between the terminal 20 (Initiator) and the base station 10 (Reflector). It can be seen that the phase rotates by 2 ⁇ [rad]. Therefore, on the terminal 20 (initiator) side, the one-way phase rotation amount can be calculated as ⁇ by halving the phase rotation amount of the observed sine wave from the base station 10 (reflector).
  • the distance measuring unit 102 makes it possible to draw the graph shown in FIG. 5 by transmitting radio waves back and forth between the terminal 20 (initiator) and the base station 10 (reflector) while changing the frequency f [Hz]. Become. In an environment where only direct waves exist, the graph of the measurement results will be a straight line.
  • the distance measurement unit 102 measures the distance between the terminal 20 (Initiator) and the base station 10 (Reflector) while changing the frequency between the terminal 20 (Initiator) and the base station 10 (Reflector). Calculation is possible by finding the group delay ⁇ from the phase.
  • the group delay ⁇ is obtained as the slope of a straight line connecting two points on the graph, but the group delay ⁇ can be calculated without using this method. It may be calculated.
  • the distance measurement unit 102 can also subtract the length of the wireless cable L104 and the length of the wireless cable L206 of the terminal 20 from D in equation (2). This suppresses an error in the total length of the wireless cable L104 and the wireless cable L206.
  • the length of the wireless cable L206 can be obtained in advance from the terminal 20 through wireless communication.
  • phase becomes larger than the phase of the direct wave. For example, if a plurality of 2 ⁇ [rad] are measured between the terminal 20 (Initiator) and the base station 10 (Reflector), it is possible to select the smallest 2 ⁇ [rad]. This makes it possible to generate the group delay ⁇ of only the direct wave. In this way, when using the phase-based ranging method, it is possible to measure the distance between the terminal 20 (initiator) and the base station 10 (reflector) with higher accuracy even when indirect waves occur. .
  • the distance measuring unit 102 uses a phase-based distance measuring method, the present invention is not limited thereto.
  • the distance may be measured using a distance measurement method using ultra wide band (UWB) wireless communication.
  • UWB ultra wide band
  • FIG. 6 is a block diagram showing a configuration example of the terminal 20.
  • the terminal 20 includes an acceleration detection section 200, a distance measurement section 202, a wireless communication section 206, a storage section 208, and a control section 210.
  • This terminal 20 is configured to include, for example, a CPU (Central Processing Unit), and each unit is configured by executing various programs stored in a storage unit 208.
  • a CPU Central Processing Unit
  • the acceleration detection unit 200 has an acceleration sensor, and outputs a movement signal to the control unit 210 when the terminal 20 moves.
  • the acceleration detection section 200 includes the acceleration detection section 200, it is not limited thereto. For example, a configuration that does not include the acceleration detection section 200 may be used.
  • the distance measuring section 202 has the same configuration as the distance measuring section 102 of the base station 10. That is, the distance measurement unit 202 measures the distance to the base station 10 through communication with the base station 10, using, for example, a phase-based distance measurement method. Note that the distance measurement unit 202 measures the distance to the base station 10 by communicating with the base station 10 at predetermined time intervals when a movement signal is output from the acceleration detection unit 200, for example. is possible.
  • the position measurement unit 204 measures the position of the terminal 20 using, for example, a Global Navigation Satellite System (GNSS). That is, the position measurement unit 204 transmits a global positioning signal indicating the position to the information processing device 30 via the wireless communication unit 206 under the control of the control unit 210 in an area where measurement by the global positioning satellite system is possible. do.
  • GNSS Global Navigation Satellite System
  • the terminal 20 according to this embodiment includes the position measurement unit 204, the present invention is not limited to this. For example, a configuration that does not include the position measurement unit 204 may be used.
  • This wireless communication unit 206 can perform communication using, for example, the BLE (Bluetooth (registered trademark) Low Energy) method.
  • This wireless communication unit 206 transmits and receives commands and the like to and from the outside of the terminal 20.
  • the wireless communication unit 206 may be shared with the distance measurement radio used by the distance measurement unit 202, or may be configured separately from the distance measurement radio used by the distance measurement unit 202.
  • the storage unit 208 is composed of, for example, an HDD (hard disk drive) or an SSD (solid state drive). In addition to the various programs described above, the storage unit 208 stores, for example, the identification number of the terminal 20, wireless communication information of the terminal 20, etc. as unique information.
  • the wireless communication information includes wireless parameters, and includes information on the length of the wireless cable L206, for example.
  • the control unit 210 controls the entire terminal 20. Further, the control unit 210 can also start driving the distance measurement unit 202 and the position measurement unit 204 in response to a received signal from either the terminal 20 or the information processing device 30. That is, the control unit 210 controls the position measurement unit 204 via the wireless communication unit 206 according to the received control command and the movement of the terminal by the acceleration detection unit 200, and measures its own position. Take control. Further, the control unit 210 can perform control for transmitting the measured distance and position information to the base station 10 or the like via the wireless communication unit 206.
  • FIG. 7 is a block diagram showing a configuration example of the information processing device 30.
  • the information processing device 30 includes a reading section 300, a storage section 302, a positioning information processing section 304, an image processing section 306, a display/input/output section 308, a wired communication section 310, It includes a wireless communication section 312 and an overall control section 314.
  • the information processing device 30 is, for example, a computer device, includes a CPU (Central Processing Unit), and configures each section by executing various programs stored in the storage section 302. Further, the information processing device 30 can also be configured by a portable device such as a smartphone.
  • a portable device such as a smartphone.
  • the plurality of information processing devices 30 include a reading section 300, a storage section 302, a positioning information processing section 304, an image processing section 306, a display/input/output section 308, a wired communication section 310, and a wireless communication section. It is also possible to share the functions of the unit 312 and the overall control unit 314 and perform cloud processing. Note that the overall control section 314 according to this embodiment corresponds to the first control section.
  • the information processing device 30 includes a reading section 300, a storage section 302, a positioning information processing section 304, an image processing section 306, and a display/processing section 306. It can be constructed by having some of the configurations of an input/output section 308, a wired communication section 310, a wireless communication section 312, and an overall control section 314.
  • a security guard patrolling a store carries a portable device, such as a smartphone.
  • the portable information processing device 30 can be configured to include a storage section 302, a display/input/output section 308, a wireless communication section 312, and an overall control section 314.
  • the reading unit 300 can read the identification number of the terminal 20, for example, the ID, and the identification number of the article. Information such as the type of the article is associated with the article identification number.
  • the reading unit 300 is, for example, a barcode reader, and the identification number of the terminal 20 and the identification number of the article are attached to the terminal 20 and the article as barcodes.
  • the reading unit 300 associates the read identification number of the terminal 20 with the identification number of the article and stores them in the storage unit 302. Furthermore, when the charge for the fixed item in the terminal 20 is paid, the reading unit 300 reads the identification number of the item, associates it with information indicating that the payment has been made, and stores it in the storage unit 302.
  • the identification number of the terminal 20 may be removed from the storage unit 302. For example, when the identification number of the terminal 20 is released, it becomes possible to associate the terminal 20 with a new item. Note that when the fee for the article to which the terminal 20 is fixed has been paid, the terminal 20 is removed from the article and collected by the clerk.
  • the storage unit 302 is composed of, for example, an HDD (hard disk drive) or an SSD (solid state drive).
  • the storage unit 302 can store various types of information transmitted from the base station 10 and the terminal 20.
  • This storage unit 302 stores identification numbers, such as IDs, of a plurality of base stations 10 in association with coordinates in the world coordinate system. Furthermore, the storage unit 302 stores map information of the area to be monitored. This map information is associated with world coordinates. Furthermore, as described above, the identification number of the terminal 20 and the identification number of the article are stored in association with each other.
  • the imaging direction and imaging range of each base station 10 are set in advance.
  • the storage unit 302 can also store information regarding the imaging ranges and imaging optical systems of the plurality of base stations 10 and the ranging ranges in association with world coordinates.
  • the storage unit 302 according to this embodiment may be referred to as an information storage unit.
  • the positioning information processing unit 304 uses the identification number of the terminal 20 and the distance information transmitted from the plurality of base stations 10 to generate coordinates of the terminal 20 in the world coordinate system, for example, based on the principle of triangulation.
  • the positioning information processing unit 304 associates the coordinates of the terminal 20 in the world coordinate system with time, for example, and stores them in the storage unit 302 in chronological order.
  • the image processing unit 306 is capable of performing various information processing under the control of the overall control unit 314.
  • FIG. 8 is a block diagram showing a configuration example of the image processing unit 306. As shown in FIG. 8, the image processing section 306 includes a map image generation section 306a and a recognition processing section 306b.
  • the map image generation unit 306a can generate a trajectory image in which the position of the terminal 20 stored in chronological order is superimposed on the map information stored in the storage unit 302 as a trajectory.
  • the map image generation unit 306a generates a trajectory image under the control of the overall control unit 314, for example, when the vehicle enters the event occurrence area A100. Note that if the fee for the item attached to the terminal 20 has been paid, it is also possible to set it so that the series of processes related to the alarm process is not performed when the event occurrence area A100 is entered.
  • the recognition processing section 306b has a plurality of recognition processing sections according to the identification number of the article.
  • the recognition processing unit 306b includes a plurality of recognition processing units that learn shapes according to categories to which the identification numbers of articles belong.
  • the overall control unit 314 is supplied with information on the identification number of the article
  • the identification number of the article is determined from among the images captured by the plurality of base stations 10 using recognition processing corresponding to the identification number of the article. Recognize the corresponding area separately.
  • the recognition processing unit 306b recognizes the square area and superimposes a mark on the image.
  • the recognition processing unit 306b starts recognition processing on the captured image stored in the storage unit 302 when the event occurrence area A100 is entered under the control of the overall control unit 314.
  • the recognition processing unit 306b can also recognize the article attached to the terminal 20 from the captured image by referring to the coordinates of the terminal 20 in the world coordinate system generated by the positioning information processing unit 304. be. This allows the recognition processing unit 306b to perform article recognition processing based on coordinate information, thereby increasing recognition accuracy.
  • the recognition processing unit 306b can also mark the coordinates of the terminal 20 in the world coordinate system in the captured image.
  • the display/input/output section 308 has a display section and an input device.
  • the display unit is, for example, a monitor, and the input device includes a keyboard, a mouse, and the like.
  • the display unit of the display/input/output unit 308 is capable of displaying a trajectory image, etc., in which the position of the terminal 20 is superimposed as a trajectory. Further, the display unit can display a captured image that marks the area of the article attached to the terminal 20 recognized by the recognition processing unit 306b.
  • the image processing unit 306 since the coordinates of the terminal 20 fixed to the article in the world coordinate system are measured, the image processing unit 306 includes the position in space corresponding to the position coordinates of the terminal 20 in the world coordinate system in the imaging range. It is possible to read images from the storage unit 302, arrange the trajectory of the article and images of the article in chronological order, and display them on the display unit under the control of the overall control unit 314. Furthermore, the recognition processing unit 306b can perform recognition processing on an image whose imaging range includes the coordinate position in the world coordinate system of the terminal 20 fixed to the article, and mark the image in the captured image. In this case, since the coordinates of the terminal 20 fixed to the article in the world coordinate system have been measured, the image processing unit 306 can also mark the coordinates of the terminal 20 in the world coordinate system in the captured image.
  • a salesperson or the like can check the trajectory of the article and the image in which the article is marked side by side in chronological order. In this way, a salesperson or the like can easily observe the movement state of the article based on the movement trajectory and the captured image without having to perform work such as searching for an image.
  • the wired communication unit 310 is capable of wired communication with the base station 10 and the like. This wired communication unit 310 is capable of transmitting control commands to the base station 10 and the like, and receiving data.
  • the wireless communication unit 312 can perform wireless communication via the antenna 312a using, for example, the BLE (Bluetooth (registered trademark) Low Energy) method. This wireless communication unit 312 is capable of transmitting control commands to the base station 10 and the like, and receiving data.
  • BLE Bluetooth (registered trademark) Low Energy) method.
  • This wireless communication unit 312 is capable of transmitting control commands to the base station 10 and the like, and receiving data.
  • FIG. 9 is a plan view when the terminal 20A is moved.
  • FIG. 10 is a sequence diagram showing the operation of each part in the system when the terminal 20A moves.
  • the acceleration sensor of the acceleration detection unit 200 in the terminal 20A detects physical movement and outputs a movement signal to the control unit 210 (step S100 ).
  • the control unit 210 detects a movement signal, it instructs the wireless communication unit 206 to search for the base station 10, and searches for available nearby base stations 10a to 10f (step S102).
  • step S110 it is possible to receive presence information signals of base stations 10b, c, e, and f.
  • the control unit 210 of the terminal 20A determines that wireless communication is possible.
  • the base stations 10b, c, e, and f are obtained as search results (step S108).
  • the terminal 20A completes the search for the base stations 10b, c, e, f, it measures the distance between each of the base stations 10b, c, e, f from which the presence information signal has been received (step S110).
  • a process is performed between the distance measuring section 202 of the terminal 20A and the distance measuring section 102 of the base stations 10b, c, e, f.
  • the communication of the sine wave is repeated (steps S112b, c, e, f).
  • the distance measurement unit 202 of the terminal 20A calculates the group delay ⁇ from the information obtained by the communication between the base stations 10b, c, e, and f, and calculates the distance between the base stations 10b, c, e, and f.
  • an end signal is output to the control unit 210 (step S114).
  • control unit 210 upon detecting the movement signal, causes the distance measuring unit 202 to measure the position (step S116). If the global positioning satellite system is usable, the distance measurement unit 202 communicates the position measurement result to the control unit 210 (step S118).
  • the distance measuring units 102 of the base stations 10b, c, e, f transmit information such as their own position coordinates and antenna parameters via the wired communication unit 106 and the wired communication unit 310 of the information processing device.
  • the information is stored in the storage unit (information storage unit) 302 of the processing device and transmitted to the positioning information processing unit 304 (steps S120 to S126).
  • the terminal 20A transmits various position measurement results via the wireless communication unit 206 to the wireless communication unit 104 of the base stations 10b, c, e, f, the wired communication unit 106, and the wired communication unit 310 of the information processing device.
  • the positioning information processing unit 304 uses various types of information to calculate the world coordinates of the terminal 20A based on the principle of triangulation (step S138).
  • the positioning information processing unit 304 associates the world coordinates of the terminal 20A with the measurement time and stores them in the storage unit (information storage unit) 302, and causes the display/output unit 308 to present them via the overall control unit 314 (steps S140 to Step S144).
  • the overall control unit 314 uses the information on the measurement ranges of the base stations 10b, c, e, and f stored in the storage unit (information storage unit) 302 to select mainly the base stations 10b, c, e, and f. , selects the base station 10 used for position measurement of the terminal 20A (step S146)
  • the wired communication unit 310 of the information processing device 30, the wired communication unit 106 of the base station 10, the wireless communication unit 104, and the wireless communication unit of the terminal 20A are connected to the base station selected for use in position measurement of the terminal 20A and the terminal 20A. 206 (steps S148 to S154).
  • the terminal 20A performs subsequent ranging operations with the selected base station 10 based on the base station information provided from the overall control unit 314 of the information processing device 30.
  • FIG. 11 is a plan view when the terminal 20A moves and performs monitoring termination processing at the counter. Further, FIG. 12 is a sequence diagram at the time of monitoring termination processing.
  • the user (clerk) at the counter reads the article and the barcode of the terminal 20A with the reading unit 300 of the information processing device 30, and sends a monitoring end signal of the terminal 20A.
  • the overall control unit 314 is notified (step S200).
  • the overall control unit 314 causes the display/input unit 308 to display information regarding the article and the terminal 20A (step S202). At this time, the user (store clerk) can remove the terminal 20A from the article.
  • the overall control unit 314 transmits a stop instruction signal to the control unit 210 of the terminal 20A via the wireless communication unit 312 and the wireless communication unit 206 of the terminal 20A (steps S204 to S208). Subsequently, the control unit 210 of the terminal 20A transmits a stop confirmation signal to the overall control unit 314 via the wireless communication unit 206 of the terminal 20A and the wireless communication unit 312 of the information processing device 30 (steps S210 to S214).
  • the terminal 20A transmits a stop instruction confirmation signal to the overall control unit 314 of the information processing device 30, and then stops its own operation (step S216).
  • the overall control unit 314 of the information processing device 30 receives the stop confirmation signal for the terminal 20A, it ends the monitoring process for the terminal 20A that it was performing.
  • FIG. 13 is a plan view when the terminal 20B enters the event occurrence area without undergoing monitoring termination processing at the counter.
  • a plurality of information processing devices 30, 30a to 30c are arranged.
  • the information processing devices 30a to 30c are portable smartphones, and are carried by security guards, for example.
  • FIG. 14 is a sequence diagram when entering the event occurrence area.
  • the overall control unit 314 of the information processing device 30 calculates the position information of the terminal 20B from the positioning information processing unit 304 (step S300), and notifies the overall control unit 314 (step S302). Next, the overall control unit 314 determines that the terminal 20B is in the event occurrence area A100 based on the calculated position information (step S304).
  • the overall control unit 314 determines that the terminal 20B is in the event occurrence area A100, it presents the user via the display/input/output unit 308 as alarm information that an abnormality has occurred in the terminal 20B. Further, the information that an abnormality has occurred in the terminal 20B is presented to the security guard as alarm information via the display/input/output unit 308 of the other information processing devices 30a to 30c (step S306).
  • the overall control unit 314 causes the image processing unit 306 to start image processing regarding the terminal 20B (step S308).
  • the image processing unit 306 receives the image processing instruction regarding the terminal 20B, it acquires information on the movement trajectory and movement time of the terminal 20B from the storage unit (information storage unit) 302 (steps S310, S312).
  • the image processing unit 306 acquires from the storage unit 302 an image that shows the movement start position at the movement start time of the terminal 20B.
  • the image processing unit 306 acquires an image at the movement start time of the base stations 10b and 10e whose imaging range is the movement start position of the terminal 20B, based on the information on the imaging range of the base stations 10a to 10f. .
  • the image processing unit 306 also acquires images at the movement start time of the base stations 10a and 10d, which can be imaged from the opposite side, in accordance with the movement trajectory and movement time of the terminal 20B.
  • the image at the start time of movement is generally taken before the object is placed in a tote bag or the like. Therefore, in the image at the movement start time, there is a high possibility that the object to which the terminal 20B is attached and the person who is moving the object can be recognized.
  • the recognition processing unit 306b of the image processing unit 306 executes recognition processing of the object to which the terminal 20B is attached to the acquired image using recognition processing corresponding to the shape of the object to which the terminal 20B is attached. (Step S314). If recognition is successful, a first mark is superimposed on the object in the image; if recognition is not possible, a second mark different from the first mark is superimposed at a position in the image corresponding to the movement start position. . The first mark and the second mark can have different colors, shapes, etc. In this way, the positioning information processing unit 304 of the information processing device 30 measures the position of the terminal 20B wirelessly.
  • the object to which the terminal 20B is attached may It becomes possible to grasp the position of from the image.
  • the image processing unit 306 transmits the processed image to the overall control unit 314 (step S316).
  • the overall control unit 314 then presents the image processed by the image processing unit 306 to the user via the display/input/output unit 308 as information regarding the terminal 20B. Furthermore, an image equivalent to that of the information processing device 30 is presented via the display/input/output unit 308 of the other information processing devices 30a to 30c.
  • the position of the terminal 20 attached to the article to be monitored is measured in chronological order and stored in the storage unit 302 of the information processing device 30, and the chronological position information is stored in the storage unit 302 of the information processing device 30.
  • a captured image associated with time information is stored in the storage unit 302.
  • the recognition processing unit 306b of the image processing unit 306 executes recognition processing for the object to which the terminal 20B is attached, and if recognition is successful, superimposes the first mark on the object in the image, If this is not possible, a second mark different from the first mark is superimposed on the position in the image corresponding to the movement start position.
  • the recognition processing unit 306b of the image processing unit 306 executes recognition processing for the object to which the terminal 20B is attached, and if recognition is successful, superimposes the first mark on the object in the image, If this is not possible, a second mark different from the first mark is superimposed on the position in the image corresponding to the movement start position.
  • the trajectory of the object to which the terminal 20B is attached and the image in which the object is marked are arranged in chronological order. It becomes possible to confirm. This makes it easy to grasp the tote bag or the like containing the object to which the terminal 20B is attached.
  • the information processing system 1 according to the second embodiment differs from the information processing system 1 according to the first embodiment in that it further includes a camera 40. Below, differences from the information processing system 1 according to the first embodiment will be explained.
  • FIG. 15 is a diagram illustrating a configuration example of the information processing system 1 in the second embodiment of the present technology. As shown in FIG. 15, the information processing system 1 further includes a camera 40. There may be a plurality of cameras 40.
  • FIG. 16 is a block diagram showing a configuration example of the camera 40.
  • the camera 40 has the same configuration as the base station 10 except for the distance measuring section 102. That is, the camera 40 includes an imaging section 100, a wireless communication section 104, a wired communication section 106, a storage section 108, and a control section 110.
  • the base station 10 is configured to include, for example, a CPU (Central Processing Unit), and each unit is configured by executing various programs stored in the storage unit 108.
  • the storage unit 108 of the camera 40 stores the identification number of the camera 40, the arrangement coordinates of the camera 20, information regarding the imaging optical system, wireless communication information, etc. as unique information.
  • FIG. 17 is an example of a plan view of the interior of the store to be monitored. Items are displayed on shelves in the store.
  • a plurality of base stations 10a, c, d, f, a plurality of terminals 20A, B, an information processing device 30, and a plurality of cameras 40a, b are arranged.
  • the cameras 40a, b may be arranged in place of the base station 10 to cover the imaging range. is also possible.
  • FIG. 18 is a diagram of a scene in which a person squatting within the camera screen is putting the article 500 into a bag.
  • the information processing system 1 performs imaging instead of the base station 10 when the radio wave irradiation range of the base stations 10a, c, d, f can cover the entire area in the store.
  • Cameras 40a and 40b were arranged to cover the range. This makes it possible to reduce the overlapping area of radio waves while maintaining the imaging range inside the store.
  • a positioning information processing unit that generates position coordinates in time series based on radio ranging distances from a plurality of coordinates to a terminal attached to the article; Displaying an image whose imaging range includes a position in the space corresponding to at least one of the time-series position coordinates based on the time of the radio range measurement, and which corresponds to the time of the radio range measurement of the position in the space.
  • a first control section for displaying on the section; an information processing device.
  • (6) further comprising a storage section, The information processing device according to (1), wherein the positioning information processing unit generates the position coordinates in association with the time of radio ranging, and stores the generated position coordinates in the storage unit.
  • a map image generation unit that superimposes time-series changes in the position coordinates on a map image as trajectory information;
  • (13) further comprising a reading unit that reads first identification information of the article, The information processing device according to (12), wherein the recognition processing unit recognizes the area by recognition processing corresponding to the first identification information.
  • the first control unit selects a base station for measuring a distance to the terminal through wireless communication with the terminal based on the location coordinates, and selects images captured from a plurality of predetermined coordinates based on the location coordinates.
  • the information processing device according to (1), wherein the information processing device displays the information on the display unit.
  • An information processing system comprising: an information processing device;
  • the information processing device includes: a positioning information processing unit that generates position coordinates in time series based on radio ranging distances from the coordinates of the plurality of base stations to the terminal; In the image captured by the imaging unit, Displaying an image whose imaging range includes a position in space corresponding to at least one of the time-series position coordinates based on the time of the radio range measurement, and which corresponds to the time of the radio range measurement of the position in the space. a first control section for displaying on the section; Information processing system.
  • a distance measurement unit that is used to time-sequentially generate position coordinates of a terminal attached to an article and performs radio range measurement to the terminal; a wireless communication unit that wirelessly communicates with the terminal; an imaging unit that has an imaging optical system with a defined imaging range and an imaging element, and that captures an image in which the position coordinates can be associated with the captured image;
  • An imaging device comprising:
  • a terminal that can be attached to an article, a distance measurement unit that is used to generate position coordinates of the terminal in time series and performs radio range measurement to the terminal with a predetermined base station; a wireless communication unit that wirelessly communicates with the predetermined base station; A terminal equipped with

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

［課題］無くなった物に関する画像情報の取得がより簡易に可能な情報処理装置、情報処理方法、情報処理システム、基地局、及び端末を提供する。 ［解決手段］情報処理装置は、物品に取り付けられた端末までの複数の座標からの電波測距の距離に基づき、位置座標を時系列に生成する測位情報処理部と、電波測距の時間に基づき、時系列な位置座標の少なくともいずれかに対応する空間内の位置を撮像範囲に含み、且つ空間内の位置を電波測距した時間に対応する画像を表示部に表示させる第１制御部と、を備える。

Description

情報処理装置、情報処理方法、情報処理システム、基地局、及び端末
　本開示は、情報処理装置、端末、基地局、及び情報処理システムに関する。
　店舗の監視カメラの主な役割の一つは、商品を不正に持ち出す客の監視である。このため、監視カメラは棚と棚間の通路が見渡せる場所に設置される。例えば、監視カメラの画面内でしゃがんでいる人物が、棚から取り出した物品５００（ＤＶＤケースサイズ１３６ｘ１４ｘ１９０ｍｍ）をカバンの中に入れている場合（図１８参照）がある。
特願２０１２－５４３１４８号公報
　しかしながら、店舗側がこの窃盗に気付き、証拠をカメラ画像から探す場合、画面上に小さくしか写っていないこの物品とカバンを探すことになる。また、カメラと現場の間に他の人物や物体が入り、窃盗現場はカメラから見えないこともある。その場合、そもそもカメラ画像を検索してもカバンに物を入れた場面は存在しないこととなる。物をカバンに入れるような状況が発生した場合、「何が」無くなったかは分かるが、「いつ」「どこで」行われたかは、全ての監視カメラの画像から探さなければならなくなってしまう。
　そこで、本開示では、無くなった物に関する画像情報の取得がより簡易に可能な情報処理装置、情報処理方法、情報処理システム、基地局、及び端末を提供するものである。
　上記の課題を解決するために、本開示によれば、物品に取り付けられた端末までの複数の座標からの電波測距の距離に基づき、位置座標を時系列に生成する測位情報処理部と、
　前記電波測距の時間に基づき、前記時系列な位置座標の少なくともいずれかに対応する空間内の位置を撮像範囲に含み、且つ前記空間内の位置を電波測距した時間に対応する画像を表示部に表示させる第１制御部と、
　備える、情報処理装置が提供される。
　第１制御部は、前記位置座標が所定の領域内に位置する場合に、前記画像を前記表示部に表示させてもよい。
　前記電波測距は、複数の基地局と、前記端末との間の無線通信による周波数の位相特性を用いた測距方法でもよい。
　前記第１制御部は、前記所定の領域内に位置する場合に警告情報を発してもよい。
　前記表示部は、前記端末が移動を開始した時点の前記画像を表示してもよい。
　記憶部を更に備え、
　前記測位情報処理部は、前記位置座標を電波測距の時間に関連づけて生成してもよい。
　地図画像に前記位置座標の時系列変化を軌跡情報として重畳する地図画像生成部を、
更に備えてもよい。
　前記表示部は、前記軌跡情報が重畳された地図画像と、軌跡情報に含まれる位置座標の電波測距の時間に対応する前記画像を並べて表示してもよい。
　前記画像の中から前記物品の領域を認識する認識処理部を更に備えてもよい。
　前記認識処理部は、前記画像の中に前記領域を示す第１マークを重畳させてもよい。
　前記認識処理部は、前記画像の中に前記位置座標に対応する箇所を示す第２マークを重畳させてもよい。
　前記第１制御部は、前記位置座標が所定の領域内に位置する場合に前記認識処理部に認識処理を開始させてもよい。
　前記物品の第１識別情報を読み取る読み取り部を更に備え、
　前記認識処理部は、前記第１識別情報に対応する認識処理により前記領域を認識してもよい。
　前記読み取り部は、前記端末の第２識別情報を読み取ることも可能であり、前記記憶部に、前記第１識別情報と前記第２識別情報とを関連づけて記憶させてもよい。
　前記第１制御部は、前記第１識別情報又は前記第２識別情報が読み取られた場合に、前記物品の位置座標の生成を停止し、前記端末の動作を停止してもよい。
　前記第１制御部は、前記位置座標に基づき前記端末との無線通信により前記端末までの距離を測定する基地局を選択し、前記位置座標に基づき複数の所定の座標から撮像された画像を選択して、前記表示部に表示させてもよい。
　上記の課題を解決するために、本開示によれば、物品に取り付けられた端末までの複数の座標からの電波測距の距離に基づき、位置座標を時系列に生成する測位情報処理工程と、
　前記電波測距の時間に基づき、前記時系列な位置座標の少なくともいずれかに対応する空間内の位置を撮像範囲に含み、且つ前記空間内の位置を電波測距した時間に対応する画像を表示部に表示させる第１制御工程と、
　備える、情報処理方法が提供される。
　上記の課題を解決するために、本開示によれば、物品に取り付けられた端末との間の無線通信による周波数の位相特性を用いた測距方法により、前記端末との間の距離の測定に用いられる複数の基地局と、
　前記基地局又はカメラに備えられ、前記物品に取り付けられた端末を撮像範囲に含め撮像する撮像部と、
　情報処理装置と、を備える情報処理システムであって、
　前記情報処理装置は、
　前記複数の基地局の座標から前記端末までの電波測距の距離に基づき、位置座標を時系列に生成する測位情報処理部と、
　前記撮像部が撮像した画像において、
　前記電波測距の時間に基づき、前記時系列な位置座標の少なくともいずれかに対応する空間内の位置を撮像範囲に含み、且つ前記空間内の位置を電波測距した時間に対応する画像を表示部に表示させる第１制御部と、
　備える、情報処理システムが提供される。
　上記の課題を解決するために、本開示によれば、物品に取り付けられた端末の位置座標を時系列に生成するために用いられ、前記端末までの電波測距を行う距離測定部と、
　前記端末と無線通信する無線通信部と、
　撮像範囲が規定された撮像光学系と、撮像素子とを有し、撮像画像中に前記位置座標を対応づけることが可能な画像を撮像する撮像部と、
　を備える撮像装置が提供される。
　上記の課題を解決するために、本開示によれば、物品に取り付けられる端末であって、
　前記端末の位置座標を時系列に生成するために用いられ、前記端末までの電波測距を所定の基地局との間で行う距離測定部と、
　前記所定の基地局と無線通信する無線通信部と、
　を備える端末が提供される。
本技術の第１実施形態における情報処理システム１の構成例を示す図。 監視対象となる店内の平面図。 基地局１０の構成例を示すブロック図。 位相ベース測距方式により距離を測定する原理を示すための図。 群遅延τを演算するためのグラフ例を示す図。 端末２０の構成例を示すブロック図。 情報処理装置３０の構成例を示すブロック図。 画像処理部３０６の構成例を示すブロック図。 端末２０Ａが移動した場合の平面図。 端末２０Ａが移動した場合の、システム内の各部分の動作を表すシーケンス図。 端末２０Ａが移動してカウンターで監視の終了処理をした場合の平面図。 監視終了処理時のシーケンス図。 端末が監視終了処理を受けずにイベント発生領域に進入した場合の平面図。 イベント発生領域に進入した場合のシーケンス図。 本技術の第２実施形態における情報処理システムの構成例を示す図。 カメラの構成例を示すブロック図。 監視対象となる店内の平面図。 カメラの画面内でしゃがんでいる人物がＤＶＤケースサイズの物品をカバンに入れている場面の図。
　以下、図面を参照して、情報処理装置、情報処理方法、情報処理システム、基地局、及び端末の実施形態について説明する。以下では、情報処理装置、情報処理方法、情報処理システム、基地局、及び端末の主要な構成部分を中心に説明するが、情報処理装置、情報処理方法、情報処理システム、基地局、及び端末には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
　（第１実施形態）
　図１は、本技術の第１実施形態における情報処理システム１の構成例を示す図である。図１に示すように、情報処理システム１は、複数の基地局１０と、端末２０と、情報処理装置３０を備えて構成される。端末２０と、情報処理装置３０とは、それぞれ複数でもよい。基地局１０は、監視範囲の画像を撮像すると共に、端末２０との通信により、端末２０との間の距離を電波測距することが可能である。端末２０は、例えばタグとして構成され、例えばＤＶＤなどの物品に固定される。端末２０は、基地局１０との通信により、基地局１０との間の距離を測定することが可能である。情報処理装置３０は、基地局１０と、端末２０と、を制御可能であり、端末２０の位置を監視する。基地局１０と、端末２０と、情報処理装置３０との詳細な構成は、後述する。
　図２は、監視対象となる店内の平面図の例である。店内の棚には、物品が陳列される。図２では、複数の基地局１０ａ、ｂ、ｃ、ｄ、ｅ、ｆと、複数の端末２０Ａ、Ｂと、情報処理装置３０と、が配置されている。情報処理システム１は、例えば物品に固定された複数の端末２０Ａ、Ｂの位置を監視しており、端末２０Ａ、Ｂのいずれかがイベント発生領域Ａ１００内に入った場合に、警報などを発し、関連画像を提示可能なシステムである。
　複数の基地局１０ａ、ｂ、ｃ、ｄ、ｅ、ｆは、例えば棚の間の通路を監視できる向きに撮像部を向けた形で設置される。情報処理装置３０はカウンターに設置される。端末２０Ａと端末２０Ｂとは、管理が必要な物品に添付されている。物品を移動すると、添付された端末も一緒に移動する。なお、各基地局１０ａ、ｂ、ｃ、ｄ、ｅ、ｆは、端末２０Ａ、Ｂからの使用基地局検索に対応するために、一定間隔で自身の存在を示す存在情報信号を発信可能である。また、基地局１０ａ、ｂ、ｃ、ｄ、ｅ、ｆの撮像光学系の光軸Ｌ１００の向き、及び撮像範囲Ａ１００は、それぞれ世界座標系で規定されている。同様に、基地局１０ａ、ｂ、ｃ、ｄ、ｅ、ｆの電波測距の範囲も、それぞれ世界座標系で規定されている。なお、本実施形態では、世界座標系で座標を説明する場合があるが、これに限定されない。例えば、例えば店内平面図左下を座標（ｘ、ｙ、ｚ）＝（０、０、０）とするようなローカル座標系で表現してもよい。これにより、例えば複数の端末２０Ａ、Ｂが位置測定部２０４を持たない場合にも、情報処理システム１のローカル座標系を用いることにより、処理を行うことが可能となる。
　図３は、基地局１０の構成例を示すブロック図である。図３に示すように、基地局１０は、撮像部１００と、距離測定部１０２と、通信部１０３と、記憶部１０８と、制御部１１０とを有する。この基地局１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を含んで構成され、記憶部１０８に記憶される各種のプログラムを実行することにより、各部を構成する。また、通信部１０３は、無線通信部１０４と、有線通信部１０６と、を有する。
　撮像部１００は、撮像光学系と、撮像素子を有する。この撮像部１００は、撮像光学系を介した監視領域の画像を、撮像素子により撮像し、記憶部１０８に記憶する。この撮像部１００は、基地局１０が存在する環境の画像を撮像する。なお、基地局１０は、複数の撮像部１００を有してもよい。或いは、基地局１０は、情報処理システム１内の他の基地局の撮像で十分に監視領域が撮像可能な場合には、撮像部１００を有さなくとてもよい。また、撮像部１００は、時間と関連づけて、時系列に監視領域の画像を記憶部１０８に記憶する。これらの画像は、後述する有線通信部１０６を介して、情報処理装置３０の記憶部３０２に記憶させることも可能である。
　上述のように、撮像部１００の撮像光学系は固定されており、予め撮像範囲Ａ１００（図２参照）が設定されている。この撮像範囲Ａ１００は、例えば世界座標系で設定される。また、撮像光学系の光軸Ｌ１００（図２参照）と、撮像素子との位置関係も規定されている。このため、世界座標系のなかの位置座標を撮像部１００の撮像した画像中に対応させることが可能である。これらの情報は、記憶部１０８と、後述する情報処理装置３０の記憶部３０２とに記憶される。なお、撮像光学系の光軸Ｌ１００の向き、及び撮像範囲Ａ１００を変更する場合には、変更した光軸Ｌ１００の向き、及び撮像範囲を、改めて世界座標系で設定することが可能である。
　距離測定部１０２は、端末２０との通信により、端末２０との間の距離を電波測距により測定する。これらの距離情報は、後述する有線通信部１０６を介して、情報処理装置３０の記憶部３０２に記憶させることも可能である。また、距離測定部１０２は、他の基地局１０との通信により、他の基地局１０との間の距離を測定することも可能である。
　また、距離測定部１０２の測距範囲は例えば固定されており、予め測距範囲が設定されている。上述のように、この測距範囲は、例えば世界座標系で設定される。この情報は、記憶部１０８と、後述する情報処理装置３０の記憶部３０２とに記憶される。なお、距離測定部１０２の詳細は後述する。なお、測距範囲を変更する場合には、変更した測距範囲を、改めて世界座標系で設定することが可能である。
　上述のように、通信部１０３は、端末２０、及び情報処理装置３０と、通信可能であり、無線通信部１０４と、有線通信部１０６と、を有する。無線通信部１０４は、端末２０、及び情報処理装置３０と、アンテナ１０４ａを介して無線通信することが可能である。無線通信部１０４と、アンテナ１０４ａとは、無線ケーブルＬ１０４により、接続される。なお、他の基地局１０が存在する場合には、他の基地局１０との通信も可能である。
　この無線通信部１０４は、例えばＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）　Ｌｏｗ　Ｅｎｅｒｇｙ）方式を用いて通信を行うことが可能である。ＢＬＥ方式では接続確立やデータ通信など、大きな電力を必要とする動作にかかる時間を極力カット可能となる。このため、消費電力を抑制でき、無線通信部１０４を小型化可能である。このように、無線通信部１０４は、基地局１０の外部との間で、命令、及びデータなどを送受信する。なお、有線通信部１０６のみを用いる基地局１０の場合、無線通信部１０４を有さなくてもよい。或いは、無線通信部１０４は、距離測定部１０２が用いる距離測定用の無線と共用されていてもよいし、距離測定部１０２が用いる距離測定用の無線とは別に構成してもよい。
　有線通信部１０６は、情報処理装置３０などと、有線通信することが可能である。この有線通信部１０６は、基地局１０の外部との間で、命令、及びデータなどを送受信する。なお、無線通信部１０４のみを用いる基地局１０の場合、有線通信部１０６は有さなくてもよい。
　記憶部１０８は、例えばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等で構成される。記憶部１０８は、上述のプログラム、画像データの他に固有情報を記憶することも可能である。例えば、記憶部１０８は、固有情報として、基地局１０の識別番号、基地局１０の配置座標、無線通信情報などを記憶する。無線通信情報は、無線パラメータなどであり、例えば、無線ケーブルＬ１０４の長さの情報などを有する。また、記憶部１０８は、上述のように、撮像部１００の撮像範囲、及び距離測定部１０２の測距範囲を、例えば世界座標系で記憶することが可能である。
　制御部１１０は、基地局１０の全体を制御する。また、制御部１１０は、端末２０、及び情報処理装置３０のいずれかからの受信信号に応じて、距離測定部１０２、及び撮像部１００の駆動を開始させることも可能である。すなわち、この制御部１１０は、端末２０、及び他の基地局１０の中から、その距離測定相手を距離測定部１０２に指示したり、距離測定のタイミングを指示したりすることが可能である。また制御部１１０は、撮像部１００で撮像した画像、及び距離測定部１０２で測定した距離情報を、無線通信部１０４、或いは有線通信部１０６により、基地局１０の外部に伝送する制御を行う。このように、制御部１１０は、無線通信部１０４、或いは有線通信部１０６を経由して外部から与えられた命令を処理し、基地局１０の全体動作を制御することが可能である。なお、本実施形態に係る画像を、映像と称する場合がある。
　ここで、図４、及び図５を用いて、距離測定部１０２の処理例を説明する。距離測定部１０２は、例えば位相ベース測距方式により距離を測定することが可能である。図４は、位相ベース測距方式により距離を測定する原理を示すための図である。図５は、群遅延τを演算するためのグラフ例を示す図である。図５の横軸は周波数を示し、縦軸は、位相を示す。
　図４に示すように、位相ベース測距方式では、無線機（Ｉｎｉｔｉａｔｏｒ）と、無線機（Ｒｅｆｌｅｃｔｏｒ）とは、同じ周波数で正弦波を発射する。ここでは、無線機（Ｉｎｉｔｉａｔｏｒ）を端末２０の無線通信部２０６（図５で後述する）とし、無線機（Ｒｅｆｌｅｃｔｏｒ）を基地局１０の無線通信部１０４として説明するが、これに限定されない。例えば、無線機（Ｉｎｉｔｉａｔｏｒ）を基地局１０の無線通信部１０４とし、無線機（Ｒｅｆｌｅｃｔｏｒ）を端末２０の無線通信部３０６としてもよい。
　位相ベース測距方式では、先ず１台の端末２０（Ｉｎｉｔｉａｔｏｒ）が周波数ｆ［Ｈｚ］で正弦波を発射する。端末２０から発射された電波は、距離Ｄ［ｍ］だけ離れたもう一台の無線機である基地局１０（Ｒｅｆｌｅｃｔｏｒ）に向かって進行する。基地局１０（Ｒｅｆｌｅｃｔｏｒ）は端末２０（Ｉｎｉｔｉａｔｏｒ）から発射された電波を受信するが、その時に距離Ｄ［ｍ］に応じて位相が回転した正弦波を受信する。端末２０（Ｉｎｉｔｉａｔｏｒ）から送信された時点での正弦波の位相を０［ｒａｄ］とすると、距離Ｄ［ｍ］だけ離れた基地局１０（Ｒｅｆｌｅｃｔｏｒ）に到達した正弦波は、端末２０（Ｉｎｉｔｉａｔｏｒ）が発射した位相に対して相対的にΦ＝－２πｆＤ／ｃ［ｒａｄ］だけ回転した位相の正弦波を受信することになる。但しｃは光速であり、ｆは、正弦波の周波数である。
　端末２０（Ｉｎｉｔｉａｔｏｒ）から基地局１０（Ｒｅｆｌｅｃｔｏｒ）に対する電波の発射が終了すると、次に基地局１０（Ｒｅｆｌｅｃｔｏｒ）が端末２０（Ｉｎｉｔｉａｔｏｒ）に対して電波を発射する。このとき基地局１０（Ｒｅｆｌｅｃｔｏｒ）からは、予めΦ［ｒａｄ］だけ回転した正弦波を発射する。このため端末２０（Ｉｎｉｔｉａｔｏｒ）が受信する正弦波の位相は、基地局１０（Ｒｅｆｌｅｃｔｏｒ）が発射したΦ［ｒａｄ］の位相に対して、距離Ｄ［ｍ］の分だけ回転した位相、つまり２Φ［ｒａｄ］だけ回転した位相の正弦波を受信することになる。
　この時、端末２０（Ｉｎｉｔｉａｔｏｒ）からは最初に位相０［ｒａｄ］の正弦波を発射したことが予め分かっているため、端末２０（Ｉｎｉｔｉａｔｏｒ）と基地局１０（Ｒｅｆｌｅｃｔｏｒ）との間で電波を往復させると、２Φ［ｒａｄ］だけ位相が回転することがわかる。このため、端末２０（Ｉｎｉｔｉａｔｏｒ）側では片道の位相回転量を、観測した基地局１０（Ｒｅｆｌｅｃｔｏｒ）からの正弦波の位相回転量を半分にすることで、Φと計算することが可能となる。
　距離測定部１０２は、端末２０（Ｉｎｉｔｉａｔｏｒ）と基地局１０（Ｒｅｆｌｅｃｔｏｒ）との間の電波の往復を、周波数ｆ［Ｈｚ］を変えながら行うことで、図５に示すグラフを描くことが可能となる。直接波のみが存在する環境においては、測定結果のグラフは直線になる。この実施形態に係る距離測定部１０２では、式を簡単にするために、２つの周波数ｆ２、ｆ１における位相Φ２、Φ１を用いて直線の傾き、すなわち群遅延τを（１）式に従い計算する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 そして、距離測定部１０２は、（１）式に、Φ＝－２πｆＤ／ｃを代入して得られる（２）式にしたがい、距離Ｄ［ｍ］を生成する。つまり、距離測定部１０２では、端末２０（Ｉｎｉｔｉａｔｏｒ）と基地局１０（Ｒｅｆｌｅｃｔｏｒ）との間の距離は、端末２０（Ｉｎｉｔｉａｔｏｒ）と基地局１０（Ｒｅｆｌｅｃｔｏｒ）との間で周波数を変化させながら測定した位相から群遅延τを求めることにより、計算可能となる。なお、本実施形態に係る距離測定部１０２では、説明を簡単化するために、群遅延τをグラフ上の２点を結ぶ直線の傾きとして求めたが、群遅延τはこの方法によらずに演算してもよい。
　また、距離測定部１０２は、無線ケーブルＬ１０４の長さと、端末２０の無線ケーブルＬ２０６の長さとを（２）式のＤから減算することも可能である。これにより、無線ケーブルＬ１０４の長さと、無線ケーブルＬ２０６の長さの合計長が誤差となることが抑制される。無線ケーブルＬ２０６の長さは、端末２０から予め無線通信により取得することが可能である。
　また、間接波は、室内の壁、床などで反射して照射される。このため、直接波の位相よりも大きくなる。例えば、端末２０（Ｉｎｉｔｉａｔｏｒ）と基地局１０（Ｒｅｆｌｅｃｔｏｒ）との間で、複数の２Φ［ｒａｄ］が測定された場合には、最小の２Φ［ｒａｄ］を選択することが可能である。これにより、直接波のみの群遅延τを生成可能となる。このように、位相ベース測距方式を用いる場合には、間接波が生じる場合にも、より高精度に端末２０（Ｉｎｉｔｉａｔｏｒ）と基地局１０（Ｒｅｆｌｅｃｔｏｒ）との間の距離の測定が可能となる。
　これから分かるように、位相ベース測距方式を用いることにより、店内のように間接波が生じる空間でも、測距精度の低下を抑制できる。なお、本実施形態に係る距離測定部１０２は位相ベース測距方式を用いるが、これに限定されない。例えば超広帯域（ＵＷＢ：Ｕｌｔｒａ　Ｗｉｄｅ　Ｂａｎｄ）無線通信による距離測定方式で距離を測定しても良い。
　図６は、端末２０の構成例を示すブロック図である。図６に示すように、端末２０は、加速度検出部２００と、距離測定部２０２と、無線通信部２０６と、記憶部２０８と、制御部２１０とを有する。この端末２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を含んで構成され、記憶部２０８に記憶される各種のプログラムを実行することにより、各部を構成する。
　加速度検出部２００は、加速度センサを有しており、端末２０が移動した際に、移動信号を制御部２１０に出力する。なお、本実施形態に係る加速度検出部２００は、加速度検出部２００を有するが、これに限定されない。例えば、加速度検出部２００を有さない構成でもよい。
　距離測定部２０２は、基地局１０の距離測定部１０２と同等の構成である。すなわち、この距離測定部２０２は、例えば位相ベース測距方式を用いて、基地局１０との間の通信により基地局１０との間の距離を測定する。なお、距離測定部２０２は、例えば加速度検出部２００から移動信号が出力された場合に、所定の時間間隔により、基地局１０との間の通信により基地局１０との間の距離を測定することが可能である。
　位置測定部２０４は、例えば、全球測位衛星システム（ＧＮＳＳ：Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｉｔｅ　Ｓｙｓｔｅｍ）により、端末２０の位置を測定する。すなわち、この位置測定部２０４は、全球測位衛星システムの測定が可能な領域において、位置を示す全球測位信号を制御部２１０の制御にしたがい、無線通信部２０６を介して、情報処理装置３０に送信する。なお、本実施形態に係る端末２０は、位置測定部２０４を有するが、これに限定されない。例えば、位置測定部２０４を有さない構成でもよい。
　この無線通信部２０６は、例えばＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）　Ｌｏｗ　Ｅｎｅｒｇｙ）方式を用いて通信を行うことが可能である。この無線通信部２０６は、端末２０の外部との間で、命令などを送受信する。なお、無線通信部２０６は、距離測定部２０２が用いる距離測定用の無線と共用されていてもよいし、距離測定部２０２が用いる距離測定用の無線とは別に構成してもよい。
　記憶部２０８は、例えばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等で構成される。記憶部２０８は、上述の各種のプログラムに加え、例えば固有情報として、端末２０の識別番号、端末２０の無線通信情報などを記憶する。無線通信情報は、無線パラメータなどであり、例えば、無線ケーブルＬ２０６の長さの情報などを有する。
　制御部２１０は、端末２０の全体を制御する。また、制御部２１０は、端末２０、及び情報処理装置３０のいずれかからの受信信号に応じて、距離測定部２０２、及び位置測定部２０４の駆動を開始させることも可能である。すなわち、この制御部２１０は、無線通信部２０６を介して、受信した制御命令や、加速度検出部２００による端末の移動等の状況に応じて位置測定部２０４を制御し、自身の位置を測定する制御を行う。また制御部２１０は、測定した距離や位置情報を、無線通信部２０６を介して、基地局１０などに伝送するための制御を行うことが可能である。
　図７は、情報処理装置３０の構成例を示すブロック図である。図７に示すように、情報処理装置３０は、読み取り部３００と、記憶部３０２と、測位情報処理部３０４と、画像処理部３０６と、表示・入出力部３０８と、有線通信部３１０と、無線通信部３１２と、全体制御部３１４とを備える。この情報処理装置３０は、例えばコンピュータ装置であり、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を含んで構成され、記憶部３０２に記憶される各種のプログラムを実行することにより、各部を構成する。また、情報処理装置３０は、スマートフォンなどの携帯型装置により構成することも可能である。さらにまた、複数の情報処理装置３０で、読み取り部３００と、記憶部３０２と、測位情報処理部３０４と、画像処理部３０６と、表示・入出力部３０８と、有線通信部３１０と、無線通信部３１２と、全体制御部３１４とを分担し、クラウド処理することも可能である。なお、本実施形態に係る全体制御部３１４が第１制御部に対応する。
　また、情報処理システム１が複数の情報処理装置３０を有する場合には、情報処理装置３０は、読み取り部３００と、記憶部３０２と、測位情報処理部３０４と、画像処理部３０６と、表示・入出力部３０８と、有線通信部３１０と、無線通信部３１２と、全体制御部３１４とのうちの一部の構成を有して構成可能である。例えば、店内を巡回している監視員は、例えばスマートフォンなどの携帯型装置を携帯している。この場合、携帯型の情報処理装置３０では、記憶部３０２と、表示・入出力部３０８と、無線通信部３１２と、全体制御部３１４とを有して、構成することも可能である。
　読み取り部３００は、端末２０の識別番号、例えばＩＤと、物品の識別番号を読み取ることが可能である。物品の識別番号には、物品の種別などの情報が関連づけられている。読み取り部３００は、例えばバーコードリーダであり、端末２０の識別番号、及び物品の識別番号は、バーコードとして端末２０、及び物品に添付されている。読み取り部３００は、読み取った端末２０の識別番号と、物品の識別番号とを関連づけて、記憶部３０２に記憶する。また、読み取り部３００は、端末２０の固定された物品の料金が支払われた場合に、物品の識別番号を読み取り、支払済みであることを示す情報を関連づけて、記憶部３０２に記憶する。また、支払済みであることを示す情報を関連づける際に、端末２０の識別番号を記憶部３０２から解除してもよい。例えば、端末２０の識別番号が解除されると、端末２０を新たな物品に関連づけることが可能となる。なお、端末２０の固定された物品の料金が支払われた場合には、店員により、端末２０は、物品から取り外され、回収される。
　記憶部３０２は、例えばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等で構成される。記憶部３０２は、基地局１０、及び端末２０から送信される各種の情報を記憶することが可能である。
　この記憶部３０２は、複数の基地局１０の識別番号、例えばＩＤと、世界座標系における座標とを関連づけて記憶している。また、記憶部３０２は、監視対象となる領域の地図情報を記憶している。この地図情報には、世界座標が対応づけられている。さらにまた、上述のように、端末２０の識別番号と、物品の識別番号とを関連づけて記憶している。
　また、上述のように、各基地局１０の撮像方向と撮像範囲は、予め設定されている。これにより、記憶部３０２は、複数の基地局１０の撮像範囲、及び撮像光学系に関する情報と、測距範囲とを世界座標に対応づけて記憶することも可能である。なお、本実施形態に係る記憶部３０２を情報蓄積部と称する場合がある。
　測位情報処理部３０４は、複数の基地局１０から送信される端末２０の識別番号、及び距離情報を用いて、例えば三角測量の原理により、端末２０の世界座標系における座標を生成する。測位情報処理部３０４は、例えば端末２０の世界座標系における座標を時間と関連づけて、記憶部３０２に時系列に記憶する。
　画像処理部３０６は、全体制御部３１４の制御にしたがい、各種の情報処理を行うことが可能である。図８は、画像処理部３０６の構成例を示すブロック図である。図８に示すように、画像処理部３０６は、地図画像生成部３０６ａと、認識処理部３０６ｂとを有する。
　地図画像生成部３０６ａは、記憶部３０２に記憶される地図情報上に、時系列に記憶される端末２０の位置を軌跡として重畳表示させた軌跡画像を生成することが可能である。地図画像生成部３０６ａは、全体制御部３１４の制御に従い、例えばイベント発生領域Ａ１００に入った場合に、軌跡画像を生成する。なお、端末２０の添付される物品の料金が払われている場合には、イベント発生領域Ａ１００に入った場合に、警報処理に関する一連の処理を行わないように、設定することも可能である。
　認識処理部３０６ｂは、物品の識別番号に応じた認識処理部を複数有する。例えば、認識処理部３０６ｂは、物品の識別番号の属するカテゴリー別に形状を学習させた認識処理部を複数有する。これにより、物品の識別番号の情報が、全体制御部３１４が供給されると、物品の識別番号に対応する認識処理を用いて、複数の基地局１０が撮像した画像中から、物品の識別番号別に対応する領域を認識する。認識処理部３０６ｂは、例えば、物品の識別番号が四角形に対応する場合には、四角形の領域を認識し、画像上にマークを重畳する。例えば、認識処理部３０６ｂは、全体制御部３１４の制御に従い、イベント発生領域Ａ１００に入った場合に、記憶部３０２に記憶される撮像画像に対して認識処理を開始する。
　また、認識処理部３０６ｂは、測位情報処理部３０４が生成する端末２０の世界座標系における座標を参照して、撮像画像の中から、端末２０の添付されている物品を認識することも可能である。これにより、認識処理部３０６ｂは、座標情報を中心として物品の認識処理が可能となり、認識精度をあげることが可能となる。また、認識処理部３０６ｂは、端末２０の世界座標系における座標を撮像画像中にマークすることも可能である。
　再び、図７に示す様に、表示・入出力部３０８は、表示部と、入力装置を有する。表示部は、例えばモニターであり、入力装置は、キーボード、マウスなどで構成される。表示・入出力部３０８の表示部は、端末２０の位置を軌跡として重畳表示させた軌跡画像などを表示可能である。また、表示部は、認識処理部３０６ｂにより認識された端末２０の添付された物品の領域をマークした撮像画像を、表示可能である。
　この場合、物品に固定される端末２０の世界座標系における座標が測定されているため、画像処理部３０６は、端末２０の世界座標系における位置座標に対応する空間内の位置を撮像範囲に含む画像を、記憶部３０２から読み出し、物品の軌跡と、物品が撮像された画像を時系列に並べて、全体制御部３１４の制御にしたがい、表示部に表示させることが可能となる。さらに、認識処理部３０６ｂは、物品に固定される端末２０の世界座標系における座標位置を撮像範囲に含む画像に対して、認識処理を施し、撮像画像中にマークすることも可能である。この場合、物品に固定される端末２０の世界座標系における座標が測定されているため、画像処理部３０６は、端末２０の世界座標系における座標を撮像画像中にマークすることも可能である。
　これにより、販売員などは、端末２０がイベント発生領域Ａ１００に入った場合に、物品の軌跡と、物品がマークされた画像を並べ、時系列に対応させて確認することが可能となる。このように、販売員などは、画像を探し出すような作業を行うこと無く、物品の移動状態を移動軌跡及び撮像画像により、容易に観察することが可能となる。
　有線通信部３１０は、基地局１０などと、有線通信することが可能である。この有線通信部３１０は、基地局１０などに対する制御命令の送信、及びデータの受信などをすることが可能である。無線通信部３１２は、例えばＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）　Ｌｏｗ　Ｅｎｅｒｇｙ）方式を用いて、アンテナ３１２ａを介して、無線通信を行うことが可能である。この無線通信部３１２は、基地局１０などに対する制御命令の送信、及びデータの受信などをすることが可能である。以上が、本実施形態に係る構成例の説明であるが、以下に情報処理システム１の制御例を説明する。
　（端末２０Ａの移動）
　図９は端末２０Ａが移動した場合の平面図である。また、図１０は端末２０Ａが移動した場合の、システム内の各部分の動作を表すシーケンス図である。
　図９、及び図１０に示すように、端末２０Ａを棚から取り出した場合、端末２０Ａにおける加速度検出部２００の加速度センサが物理的移動を検出し、移動信号を制御部２１０に出力する（ステップＳ１００）。制御部２１０は、移動信号を検知すると、無線通信部２０６に基地局１０の検索を指示し、使用可能な近隣の基地局１０ａ～ｆの検索を行う（ステップＳ１０２）。
　図９の状況では基地局１０ｂ、ｃ、ｅ、ｆの存在情報信号を受信することが可能である。一方で、基地局１０ａ、ｄからの存在情報信号は、端末との距離が遠い等の理由で端末に到達しなかったので（ステップＳ１０６ａ、ｄ）、端末２０Ａの制御部２１０は、無線通信可能な基地局１０ｂ、ｃ、ｅ、ｆを検索結果として取得する（ステップＳ１０８）。続けて、端末２０Ａは基地局１０ｂ、ｃ、ｅ、ｆの検索が終了すると、存在情報信号を受信できたそれぞれの基地局１０ｂ、ｃ、ｅ、ｆとの間で距離の測定を行う（ステップＳ１１０）。
　次に、端末２０Ａの距離測定部２０２と、基地局１０ｂ、ｃ、ｅ、ｆの距離測定部１０２との間では、電波の周波数を変化させながら測定した位相から群遅延τを求めるために必要となる正弦波の通信を繰り返す（ステップＳ１１２ｂ、ｃ、ｅ、ｆ）。続けて、端末２０Ａの距離測定部２０２は、基地局１０ｂ、ｃ、ｅ、ｆの通信により得られた情報から、群遅延τを演算し、基地局１０ｂ、ｃ、ｅ、ｆとの間の距離を演算し、演算処理が終了すると、終了信号を制御部２１０に出力する（ステップＳ１１４）。
　また、制御部２１０は、移動信号を検知すると、距離測定部２０２に位置測定を行わせる（ステップＳ１１６）。距離測定部２０２は、全球測位衛星システムが使用可能であれば、位置測定結果を制御部２１０に通信する（ステップＳ１１８）。
　一方で、基地局１０ｂ、ｃ、ｅ、ｆの距離測定部１０２は、自身の位置座標、アンテナパラメータなどの情報を、有線通信部１０６、及び情報処理装置の有線通信部３１０を介して、情報処理装置の記憶部（情報蓄積部）３０２に記憶させると共に、測位情報処理部３０４に送信する（ステップＳ１２０～ステップＳ１２６）。続けて、端末２０Ａは、無線通信部２０６を介して、各種の位置測定結果を基地局１０ｂ、ｃ、ｅ、ｆの無線通信部１０４、有線通信部１０６、及び情報処理装置の有線通信部３１０を介して、情報処理装置の記憶部（情報蓄積部）３０２に記憶させると共に、測位情報処理部３０４に通信する（ステップＳ１２８～ステップＳ１３６）。
　次に、測位情報処理部３０４は、各種の情報を用いて、三角測量の原理により端末２０Ａの世界座標を演算する（ステップＳ１３８）。測位情報処理部３０４は、端末２０Ａの世界座標を測定時間に関連づけて記憶部（情報蓄積部）３０２に記憶させると共に、全体制御部３１４を介して表示・出力部３０８に提示させる（ステップＳ１４０～ステップＳ１４４）。そして、全体制御部３１４は、記憶部（情報蓄積部）３０２に記憶させる基地局１０ｂ、ｃ、ｅ、ｆの測定範囲の情報を用いて、基地局１０ｂ、ｃ、ｅ、ｆの中から主として、端末２０Ａの位置測定に使用する基地局１０を選択する（ステップＳ１４６）
　端末２０Ａの位置測定に使用するために選択した基地局と、端末２０Ａとに情報処理装置３０の有線通信部３１０、基地局１０の有線通信部１０６、無線通信部１０４、及び端末２０Ａ無線通信部２０６を介して通知する（ステップＳ１４８～ステップＳ１５４）。端末２０Ａは、情報処理装置３０の全体制御部３１４から提供された基地局情報に基づき、次回以降の測距動作を選択された基地局１０と行う。
（端末２０Ａの監視の終了）
　図１１は端末２０Ａが移動してカウンターで監視の終了処理をした場合の平面図である。また、図１２は監視終了処理時のシーケンス図である。
　端末２０Ａをカウンターに持ち込まれ、持ち出しに問題が無い場合、カウンターにいるユーザ（店員）は情報処理装置３０の読み取り部３００で物品、及び端末２０Ａのバーコードを読み取り、端末２０Ａの監視終了信号を全体制御部３１４に通知する（ステップＳ２００）。全体制御部３１４は、物品、及び端末２０Ａに関する情報を表示・入力部３０８に表示させる（ステップＳ２０２）。この際に、ユーザ（店員）は、端末２０Ａを物品から取り外すことが可能である。
　次に、全体制御部３１４は、無線通信部３１２、及び端末２０Ａの無線通信部２０６を介して端末２０Ａの制御部２１０に対して停止指示信号を送信する（ステップＳ２０４～Ｓ２０８）。続けて、端末２０Ａの制御部２１０は、停止確認信号を端末２０Ａの無線通信部２０６、及び情報処理装置３０の無線通信部３１２を介して全体制御部３１４に送信する（ステップＳ２１０～Ｓ２１４）。
　次に、端末２０Ａは停止指示確認信号を情報処理装置３０の全体制御部３１４に送信した後、自身の動作を停止する（ステップＳ２１６）。情報処理装置３０の全体制御部３１４は、端末２０Ａの停止時確認信号を受信すると、自身が行っていた端末２０Ａの監視処理を終了する。
　（監視終了処理を行わずに端末がイベント発生領域に進入した場合）
　図１３は、端末２０Ｂがカウンターでの監視終了処理を受けずにイベント発生領域に進入した場合の平面図である。図１３では、複数の情報処理装置３０、３０ａ～ｃが配置されている。情報処理装置３０ａ～ｃは、携帯型のスマートフォンであり、例えば警備員が所持している。また、図１４は、イベント発生領域に進入した場合のシーケンス図である。
　情報処理装置３０の全体制御部３１４は、測位情報処理部３０４から端末２０Ｂの位置情報を演算し（ステップＳ３００）、全体制御部３１４に通知する（ステップＳ３０２）。次に、全体制御部３１４は、演算した位置情報に基づき、端末２０Ｂがイベント発生領域Ａ１００にあることを判定する（ステップＳ３０４）。
　全体制御部３１４は、端末２０Ｂがイベント発生領域Ａ１００にあることを判定すると、端末２０Ｂに異常が発生したことを警報情報として、表示・入出力部３０８を介してユーザに提示する。また、他の情報処理装置３０ａ～ｃの表示・入出力部３０８を介して、端末２０Ｂに異常が発生したことを警報情報として、警備員に提示する（ステップＳ３０６）。
　また、同時に全体制御部３１４は、画像処理部３０６に対して端末２０Ｂに関する画像処理を開始させる（ステップＳ３０８）。画像処理部３０６は、端末２０Ｂに関する画像処理指示を受信すると、記憶部（情報蓄積部）３０２から端末２０Ｂの移動軌跡、移動時刻の情報を取得する（ステップＳ３１０、Ｓ３１２）。例えば、画像処理部３０６は、端末２０Ｂの移動開始時刻に移動開始位置が写っている画像を記憶部３０２から取得する。
　図１３の場合は、画像処理部３０６は、基地局１０ａ～ｆの撮像範囲の情報に基づき、端末２０Ｂの移動開始位置が撮像範囲となる基地局１０ｂ、１０ｅの移動開始時刻における画像を取得する。また画像処理部３０６は、端末２０Ｂの移動軌跡と移動時刻に合わせて、反対側からの撮像が可能である基地局１０ａ、１０ｄの移動開始時刻における画像を取得する。移動開始時刻における画像は、一般にトートバッグなどの中に入れる前である。このため、移動開始時刻における画像は、端末２０Ｂが添付されている対象物と、対象物を移動させている人物の把握ができる可能性が高くなる。
　画像処理部３０６の認識処理部３０６ｂは、端末２０Ｂが添付されている対象物の形状に対応する認識処理を用いて、取得した画像に端末２０Ｂが添付されている対象物の認識処理を実行する（ステップＳ３１４）。認識ができた場合には、画像内の対象物に第１マークを重畳し、できなかった場合には、移動開始位置に対応する画像内の位置に第１マークと異なる第２マークを重畳する。第１マークと第２マークとは、色、形状などを異ならせることが可能である。このように、報処理装置３０の測位情報処理部３０４は、無線により端末２０Ｂの位置を測定している。このため、仮に人物などが障害となり、基地局１０の撮像部１００の画像中に直接的に、端末２０Ｂが添付されている対象物映っていない場合にも、端末２０Ｂが添付されている対象物の位置を画像中から把握可能となる。
　画像処理部３０６は、画像処理した画像を全体制御部３１４に送信しする（ステップＳ３１６）。そして、全体制御部３１４は、端末２０Ｂに関する情報として、画像処理部３０６が処理した画像を表示・入出力部３０８を介してユーザに提示する。また、他の情報処理装置３０ａ～ｃの表示・入出力部３０８を介して、情報処理装置３０と同等の画像を提示する。
　以上説明したように、本実施形態によれば、監視対象となる物品に添付された端末２０の位置を時系列に測定すると共に情報処理装置３０の記憶部３０２に記憶し、時系列な位置情報と時間情報を関連づけた撮像画像を記憶部３０２に記憶している。これにより、監視対象となる物品が、イベント発生領域Ａ１００にある場合に、警報を発するとともに、表示・入出力部３０８を介して端末２０の移動軌跡に沿った画像を時系列にユーザに提示することができる。このため、監視対象となる物品の取り出しから、イベント発生領域Ａ１００に移動するまでの画像をより簡易に観察することができる。
　また、画像処理部３０６の認識処理部３０６ｂが、端末２０Ｂが添付されている対象物の認識処理を実行し、認識ができた場合には、画像内の対象物に第１マークを重畳し、できなかった場合には、移動開始位置に対応する画像内の位置に第１マークと異なる第２マークを重畳する。これにより、ユーザ（販売員）などは、端末２０がイベント発生領域Ａ１００に入った場合に、端末２０Ｂが添付されている対象物の軌跡と、対象物がマークされた画像を時系列に並べて確認することが可能となる。この場合、時間情報も両画像でリンクされているので、端末２０Ｂが添付されている対象物の移動状態を容易に把握することが可能となる。更に、トートバッグなどの中に端末２０Ｂが添付されている対象物が入れられた場合にも、端末２０Ｂが添付されている対象物の軌跡と、対象物がマークされた画像を時系列に並べて確認することが可能となる。これにより、端末２０Ｂが添付されている対象物が納められたトートバッグなどを把握することも容易となる。
（第２実施形態）
　第２実施形態に係る情報処理システム１は、カメラ４０を更に備える点で第１実施形態に係る情報処理システム１相違する。以下では、第１実施形態に係る情報処理システム１と相違する点を説明する。
　図１５は、本技術の第２実施形態における情報処理システム１の構成例を示す図である。図１５に示すように、情報処理システム１は、カメラ４０を更に備えて構成される。カメラ４０は、複数でもよい。
　図１６は、カメラ４０の構成例を示すブロック図である。カメラ４０は、距離測定部１０２を除いて、基地局１０と同等の構成である。すなわち、カメラ４０は、撮像部１００と、無線通信部１０４と、有線通信部１０６と、記憶部１０８と、制御部１１０とを有する。この基地局１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を含んで構成され、記憶部１０８に記憶される各種のプログラムを実行することにより、各部を構成する。カメラ４０の記憶部１０８は、固有情報として、カメラ４０の識別番号、カメラ２０の配置座標、撮像光学系に関する情報、無線通信情報などを記憶する。
　図１７は、監視対象となる店内の平面図の例である。店内の棚には、物品が陳列される。図１７では、複数の基地局１０ａ、ｃ、ｄ、ｆと、複数の端末２０Ａ、Ｂと、情報処理装置３０と、複数のカメラ４０ａ、ｂが配置されている。例えば、基地局１０ａ、ｃ、ｄ、ｆの電波の照射範囲で、店内の全域をカバーできる場合になどに基地局１０の代わりに、撮像範囲をカバーするためにカメラ４０ａ、ｂを配置することも可能である。複数の基地局１０ａ、ｃ、ｄ、ｆとカメラ４０ａ、ｂとは、店内の全域を撮像できるように配置されている。なお、図１８は、カメラの画面内でしゃがんでいる人物が物品５００をカバンに入れている場面の図である。
　以上説明したように、本実施形態に係る情報処理システム１は、基地局１０ａ、ｃ、ｄ、ｆの電波の照射範囲で、店内の全域をカバーできる場合に、基地局１０の代わりに、撮像範囲をカバーするためのカメラ４０ａ、ｂを配置することとした。これにより、店内の撮像範囲を維持しつつ、電波の重畳領域を減らすことが可能となる。
　なお、本技術は以下のような構成を取ることができる。
（１）
　物品に取り付けられた端末までの複数の座標からの電波測距の距離に基づき、位置座標を時系列に生成する測位情報処理部と、
　前記電波測距の時間に基づき、前記時系列な位置座標の少なくともいずれかに対応する空間内の位置を撮像範囲に含み、且つ前記空間内の位置を電波測距した時間に対応する画像を表示部に表示させる第１制御部と、
　備える、情報処理装置。
（２）
　第１制御部は、前記位置座標が所定の領域内に位置する場合に、前記画像を前記表示部に表示させる、（１）に記載の情報処理装置。
（３）
　前記電波測距は、複数の基地局と、前記端末との間の無線通信による周波数の位相特性を用いた測距方法による、（２）に記載の情報処理装置。
（４）
　前記第１制御部は、前記所定の領域内に位置する場合に警告情報を発する、（２）に記載の情報処理装置。
（５）
　前記表示部は、前記端末が移動を開始した時点の前記画像を表示する、（１）に記載の情報処理装置。
（６）
　記憶部を更に備え、
　前記測位情報処理部は、前記位置座標を電波測距の時間に関連づけて生成し、前記記憶部に記憶させる、（１）に記載の情報処理装置。
（７）
　地図画像に前記位置座標の時系列変化を軌跡情報として重畳する地図画像生成部を、
更に備える、（６）に記載の情報処理装置。
（８）
　前記表示部は、前記軌跡情報が重畳された地図画像と、軌跡情報に含まれる位置座標の電波測距の時間に対応する前記画像を並べて表示する、（７）に記載の情報処理装置。
（９）
　前記画像の中から前記物品の領域を認識する認識処理部を更に備える、（６）に記載の情報処理装置。
（１０）
　前記認識処理部は、前記画像の中に前記領域を示す第１マークを重畳させる、（９）に記載の情報処理装置。
（１１）
　前記認識処理部は、前記画像の中に前記位置座標に対応する箇所を示す第２マークを重畳させる、（１０）に記載の情報処理装置。
（１２）
　前記第１制御部は、前記位置座標が所定の領域内に位置する場合に前記認識処理部に認識処理を開始させる、（１１）に記載の情報処理装置。
（１３）
　前記物品の第１識別情報を読み取る読み取り部を更に備え、
　前記認識処理部は、前記第１識別情報に対応する認識処理により前記領域を認識する、（１２）に記載の情報処理装置。
（１４）
　前記読み取り部は、前記端末の第２識別情報を読み取ることも可能であり、前記記憶部に、前記第１識別情報と前記第２識別情報とを関連づけて記憶させる、（１３）に記載の情報処理装置。
（１５）
　前記第１制御部は、前記第１識別情報又は前記第２識別情報が読み取られた場合に、前記物品の位置座標の生成を停止し、前記端末の動作を停止する、（１４）に記載の情報処理装置。
（１６）
　前記第１制御部は、前記位置座標に基づき前記端末との無線通信により前記端末までの距離を測定する基地局を選択し、前記位置座標に基づき複数の所定の座標から撮像された画像を選択して、前記表示部に表示させる、（１）に記載の情報処理装置。
（１７）
　物品に取り付けられた端末までの複数の座標からの電波測距の距離に基づき、位置座標を時系列に生成する測位情報処理工程と、
　前記電波測距の時間に基づき、前記時系列な位置座標の少なくともいずれかに対応する空間内の位置を撮像範囲に含み、且つ前記空間内の位置を電波測距した時間に対応する画像を表示部に表示させる第１制御工程と、
　備える、情報処理方法。
（１８）
　物品に取り付けられた端末との間の無線通信による周波数の位相特性を用いた測距方法により、前記端末との間の距離の測定に用いられる複数の基地局と、
　前記基地局又はカメラに備えられ、前記物品に取り付けられた端末を撮像範囲に含め撮像する撮像部と、
　情報処理装置と、を備える情報処理システムであって、
　前記情報処理装置は、
　前記複数の基地局の座標から前記端末までの電波測距の距離に基づき、位置座標を時系列に生成する測位情報処理部と、
　前記撮像部が撮像した画像において、
　前記電波測距の時間に基づき、前記時系列な位置座標の少なくともいずれかに対応する空間内の位置を撮像範囲に含み、且つ前記空間内の位置を電波測距した時間に対応する画像を表示部に表示させる第１制御部と、
　備える、情報処理システム。
（１９）
　物品に取り付けられた端末の位置座標を時系列に生成するために用いられ、前記端末までの電波測距を行う距離測定部と、
　前記端末と無線通信する無線通信部と、
　撮像範囲が規定された撮像光学系と、撮像素子とを有し、撮像画像中に前記位置座標を対応づけることが可能な画像を撮像する撮像部と、
　を備える撮像装置。
（２０）
　物品に取り付けられる端末であって、
　前記端末の位置座標を時系列に生成するために用いられ、前記端末までの電波測距を所定の基地局との間で行う距離測定部と、
　前記所定の基地局と無線通信する無線通信部と、
　を備える端末。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　１：情報処理システム、１０、１０ａ～ｆ：基地局、２０、２０Ａ、２０Ｂ：端末、３０、３０ａ～ｃ：情報処理装置、４０、４０ａ、４０ｂ：カメラ、１００：撮像部、１０２：距離測定部、１０３：通信部、１０４：無線通信部、２０２：距離測定部、３０２：記憶部、３０６ａ：地図画像生成部、３０６ｂ：認識処理部、３０８：表示・出力部、５００：物品。

Claims (20)

  1. 　物品に取り付けられた端末までの複数の座標からの電波測距の距離に基づき、位置座標を時系列に生成する測位情報処理部と、
    　前記電波測距の時間に基づき、前記時系列な位置座標の少なくともいずれかに対応する空間内の位置を撮像範囲に含み、且つ前記空間内の位置を電波測距した時間に対応する画像を表示部に表示させる第１制御部と、
    　備える、情報処理装置。
  2. 　第１制御部は、前記位置座標が所定の領域内に位置する場合に、前記画像を前記表示部に表示させる、請求項１に記載の情報処理装置。
  3. 　前記電波測距は、複数の基地局と、前記端末との間の無線通信による周波数の位相特性を用いた測距方法による、請求項２に記載の情報処理装置。
  4. 　前記第１制御部は、前記所定の領域内に位置する場合に警告情報を発する、請求項２に記載の情報処理装置。
  5. 　前記表示部は、前記端末が移動を開始した時点の前記画像を表示する、請求項１に記載の情報処理装置。
  6. 　記憶部を更に備え、
    　前記測位情報処理部は、前記位置座標を電波測距の時間に関連づけて生成し、前記記憶部に記憶させる、請求項１に記載の情報処理装置。
  7. 　地図画像に前記位置座標の時系列変化を軌跡情報として重畳する地図画像生成部を、
    更に備える、請求項６に記載の情報処理装置。
  8. 　前記表示部は、前記軌跡情報が重畳された地図画像と、軌跡情報に含まれる位置座標の電波測距の時間に対応する前記画像を並べて表示する、請求項７に記載の情報処理装置。
  9. 　前記画像の中から前記物品の領域を認識する認識処理部を更に備える、請求項６に記載の情報処理装置。
  10. 　前記認識処理部は、前記画像の中に前記領域を示す第１マークを重畳させる、請求項９に記載の情報処理装置。
  11. 　前記認識処理部は、前記画像の中に前記位置座標に対応する箇所を示す第２マークを重畳させる、請求項１０に記載の情報処理装置。
  12. 　前記第１制御部は、前記位置座標が所定の領域内に位置する場合に前記認識処理部に認識処理を開始させる、請求項１１に記載の情報処理装置。
  13. 　前記物品の第１識別情報を読み取る読み取り部を更に備え、
    　前記認識処理部は、前記第１識別情報に対応する認識処理により前記領域を認識する、請求項１２に記載の情報処理装置。
  14. 　前記読み取り部は、前記端末の第２識別情報を読み取ることも可能であり、前記記憶部に、前記第１識別情報と前記第２識別情報とを関連づけて記憶させる、請求項１３に記載の情報処理装置。
  15. 　前記第１制御部は、前記第１識別情報又は前記第２識別情報が読み取られた場合に、前記物品の位置座標の生成を停止し、前記端末の動作を停止する、請求項１４に記載の情報処理装置。
  16. 　前記第１制御部は、前記位置座標に基づき前記端末との無線通信により前記端末までの距離を測定する基地局を選択し、前記位置座標に基づき複数の所定の座標から撮像された画像を選択して、前記表示部に表示させる、請求項１に記載の情報処理装置。
  17. 　物品に取り付けられた端末までの複数の座標からの電波測距の距離に基づき、位置座標を時系列に生成する測位情報処理工程と、
    　前記時系列な位置座標、及び前記電波測距の時間に基づき、前記時系列な位置座標の少なくともいずれかに対応する空間内の位置を撮像範囲に含み、且つ前記空間内の位置を電波測距した時間に対応する画像を表示部に表示させる第１制御工程と、
    　備える、情報処理方法。
  18. 　物品に取り付けられた端末との間の無線通信による周波数の位相特性を用いた測距方法により、前記端末との間の距離の測定に用いられる複数の基地局と、
    　前記基地局又はカメラに備えられ、前記物品に取り付けられた端末を撮像範囲に含め撮像する撮像部と、
    　情報処理装置と、を備える情報処理システムであって、
    　前記情報処理装置は、
    　前記複数の基地局の座標から前記端末までの電波測距の距離に基づき、位置座標を時系列に生成する測位情報処理部と、
    　前記撮像部が撮像した画像において、
    　前記時系列な位置座標、及び前記電波測距の時間に基づき、前記時系列な位置座標の少なくともいずれかに対応する空間内の位置を撮像範囲に含み、且つ前記空間内の位置を電波測距した時間に対応する画像を表示部に表示させる第１制御部と、
    　備える、情報処理システム。
  19. 　物品に取り付けられた端末の位置座標を時系列に生成するために用いられ、前記端末までの電波測距を行う距離測定部と、
    　前記端末と無線通信する無線通信部と、
    　撮像範囲が規定された撮像光学系と、撮像素子とを有し、撮像画像中に前記位置座標を対応づけることが可能な画像を撮像する撮像部と、
    　を備える撮像装置。
  20. 　物品に取り付けられる端末であって、
    　前記端末の位置座標を時系列に生成するために用いられ、前記端末までの電波測距を所定の基地局との間で行う距離測定部と、
    　前記所定の基地局と無線通信する無線通信部と、
    　を備える端末。
PCT/JP2023/026708 2022-08-12 2023-07-21 情報処理装置、情報処理方法、情報処理システム、基地局、及び端末 Ceased WO2024034353A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202380054095.2A CN119547425A (zh) 2022-08-12 2023-07-21 信息处理装置、信息处理方法、信息处理系统、基站及终端
JP2024540337A JPWO2024034353A1 (ja) 2022-08-12 2023-07-21

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-128954 2022-08-12
JP2022128954 2022-08-12

Publications (1)

Publication Number Publication Date
WO2024034353A1 true WO2024034353A1 (ja) 2024-02-15

Family

ID=89851484

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/026708 Ceased WO2024034353A1 (ja) 2022-08-12 2023-07-21 情報処理装置、情報処理方法、情報処理システム、基地局、及び端末

Country Status (3)

Country Link
JP (1) JPWO2024034353A1 (ja)
CN (1) CN119547425A (ja)
WO (1) WO2024034353A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242795A (ja) * 2004-02-27 2005-09-08 Lintec Corp 不正持出し検知システム
JP2006318313A (ja) * 2005-05-13 2006-11-24 Omron Corp 撮影制御装置、撮影制御方法、制御プログラム、制御プログラムを記録した記録媒体、撮影制御システム、および情報処理システム
JP2009265922A (ja) * 2008-04-24 2009-11-12 Toshiba Tec Corp 人物動線追跡システム
JP2018049744A (ja) * 2016-09-21 2018-03-29 国立大学法人秋田大学 照明システム
JP2018160219A (ja) * 2017-03-24 2018-10-11 株式会社 日立産業制御ソリューションズ 移動経路予測装置、及び移動経路予測方法
JP2022092533A (ja) * 2020-12-10 2022-06-22 Ｈａｐｓモバイル株式会社 制御装置、プログラム、システム、及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242795A (ja) * 2004-02-27 2005-09-08 Lintec Corp 不正持出し検知システム
JP2006318313A (ja) * 2005-05-13 2006-11-24 Omron Corp 撮影制御装置、撮影制御方法、制御プログラム、制御プログラムを記録した記録媒体、撮影制御システム、および情報処理システム
JP2009265922A (ja) * 2008-04-24 2009-11-12 Toshiba Tec Corp 人物動線追跡システム
JP2018049744A (ja) * 2016-09-21 2018-03-29 国立大学法人秋田大学 照明システム
JP2018160219A (ja) * 2017-03-24 2018-10-11 株式会社 日立産業制御ソリューションズ 移動経路予測装置、及び移動経路予測方法
JP2022092533A (ja) * 2020-12-10 2022-06-22 Ｈａｐｓモバイル株式会社 制御装置、プログラム、システム、及び方法

Also Published As

Publication number Publication date
JPWO2024034353A1 (ja) 2024-02-15
CN119547425A (zh) 2025-02-28

Similar Documents

Publication Publication Date Title
US11194938B2 (en) Methods and apparatus for persistent location based digital content
US11429761B2 (en) Method and apparatus for interacting with a node in a storage area
US11307411B2 (en) Support device and system for article picking or sorting work
US11910275B2 (en) Method to correlate an object with a localized tag
US20240153167A1 (en) Methods and apparatus for secure persistent location based digital content associated with a two-dimensional reference
US11625510B2 (en) Method and apparatus for presentation of digital content
US20140258052A1 (en) Data center infrastructure management system having real time enhanced reality tablet
US10990923B1 (en) System and method for tracking objects within a facility
US10460585B2 (en) RFID directed video snapshots capturing targets of interest
JP7845536B2 (ja) 監視対象識別装置、監視対象識別システム、および、監視対象識別方法
WO2018149341A1 (zh) 物品巡检方法及相关设备
US11358274B2 (en) Autonomous mobile robot with adjustable display screen
KR20200084382A (ko) 화재 대피 유도로봇 및 이의 제어 방법
KR101697546B1 (ko) 비콘을 이용한 보안관제시스템
US11897387B2 (en) Vehicle monitoring device, vehicle, and vehicle monitoring system
US20240127471A1 (en) Information processing apparatus, information processing system, information processing method, and recording medium
US12318915B2 (en) Visual guidance for locating obstructed mobile robots
CN205540275U (zh) 室内移动定位系统
WO2024034353A1 (ja) 情報処理装置、情報処理方法、情報処理システム、基地局、及び端末
US20200033874A1 (en) Systems and methods for remote visual inspection of a closed space
JP2012198802A (ja) 侵入物検出システム
KR20240031114A (ko) 구조체에서 인벤토리를 파악하기 위한 방법 및 자율 로봇
JP2022131678A (ja) 物体検知装置、システム、方法、及びプログラム
CN105719153A (zh) 室内地球磁场测量
HK1259006A1 (zh) 物品巡检方法及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23852329

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024540337

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202380054095.2

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202380054095.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23852329

Country of ref document: EP

Kind code of ref document: A1