WO2011052165A1 - 表示画像切替装置及び表示方法 - Google Patents

表示画像切替装置及び表示方法 Download PDF

Info

Publication number
WO2011052165A1
WO2011052165A1 PCT/JP2010/006245 JP2010006245W WO2011052165A1 WO 2011052165 A1 WO2011052165 A1 WO 2011052165A1 JP 2010006245 W JP2010006245 W JP 2010006245W WO 2011052165 A1 WO2011052165 A1 WO 2011052165A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
image information
cameras
display
Prior art date
Application number
PCT/JP2010/006245
Other languages
English (en)
French (fr)
Inventor
森岡幹夫
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/503,763 priority Critical patent/US10264220B2/en
Priority to EP10826302.1A priority patent/EP2495970B1/en
Publication of WO2011052165A1 publication Critical patent/WO2011052165A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to a display image switching device and a display method for switching display images captured using a plurality of cameras such as wearable cameras.
  • Patent Document 1 As an imaging system using such a stationary camera, the technology disclosed in Patent Document 1 is known.
  • a camera icon indicating the position, orientation, and imaging range of a camera is displayed on a plane map indicating various stores and the user selects the displayed camera icon.
  • a technique for displaying an image captured by a camera arranged side by side with a planar map is disclosed.
  • the technique disclosed in Patent Document 3 is configured to manage a plurality of mobile cameras to monitor the wide area and manage a position of the mobile camera and a shooting direction.
  • This is a technique of extracting a mobile camera and displaying objects captured by a plurality of mobile cameras.
  • the position information obtained from the camera with the best shooting situation can be shared between the cameras, so that the tracking of the object becomes easy.
  • the technique disclosed in Patent Document 4 is a technique in which, when a user wants to see a spot, a camera that can photograph the spot first is selected. Thereby, even if there are a plurality of cameras, the administrator can see a target or a point to be viewed with a simple method.
  • Patent Document 2 when monitoring a wide area, it is conceivable that an operator controls a plurality of wearable cameras to switch a monitoring area or a monitoring target. However, a method for selecting a specific camera from a plurality of cameras and a method for switching a captured image of the selected camera are not disclosed, and such an implementation method is unknown.
  • Patent Document 3 discloses that in the management center, the position of the camera is mapped on the plane map and that the video of each camera is displayed. However, a specific image from a plurality of camera images is disclosed. There is no disclosure about how to select or switch the selected camera image.
  • Patent Document 4 it is disclosed that the supervisor selects a spot and that a camera that can photograph the selected spot the earliest is extracted.
  • the supervisor wants to view the object at a different angle from the state of selecting, it is necessary to select a point or direction from the entire map again, and a method for switching to another camera by simple means is not disclosed.
  • An object of the present invention is to provide a display image switching device and a display method that reduce an operator's burden by providing an intuitive and easy-to-understand selection method when selecting a specific camera from a plurality of cameras. .
  • One aspect of the display image switching device of the present invention is an image selection means for displaying an image captured by a first camera among a plurality of cameras, and an object selection for selecting an object from the displayed images.
  • a camera extracting means for extracting, from the plurality of cameras, a camera that captures the target selected by the target selecting means as a second camera.
  • Camera position calculating means for calculating the position of the second camera, and camera position image information generating means for generating selectable camera position image information indicating the position of the second camera.
  • the camera position image information is displayed in association with the image selected by the image selection means, and the image selection means, when the camera position image information is selected, Displaying an image captured by the serial second camera.
  • One aspect of the display method of the present invention includes an image selection step for displaying an image captured by a first camera among a plurality of cameras, and an object selection step for selecting an object from the displayed images.
  • a camera position image information generation step for generating selectable camera position image information indicating the position of the camera, wherein the camera position image information generation step is selected in the image selection step.
  • the image selecting step is performed by the second camera when the camera position image information is selected. To display the captured image.
  • a specific camera can be selected intuitively and easily from a plurality of cameras accompanying movement, the burden on the operator can be reduced.
  • FIG. 1 is a block diagram showing a configuration of a monitoring system according to a first embodiment.
  • the flowchart which shows the procedure of the camera extraction process in the camera extraction part shown in FIG.
  • Schematic diagram conceptually showing the relationship between the camera position and the position in the image
  • Conceptual diagram for explaining the outline of the monitoring system of the second embodiment Block diagram showing the configuration of the monitoring system of the second embodiment
  • Block diagram showing the configuration of the monitoring system of the third embodiment
  • the wearable camera of the present invention can be used to guard various stores and venues such as event venues, exhibition venues, station premises, financial institution safes, important corporate confidential storage locations, banks, department stores, and convenience stores. Used on the body (head, chest pocket, etc.) of the photographer (security guard, employee, store clerk, etc.). This is especially useful in open spaces such as outdoor event venues where it is difficult to install stationary cameras.
  • the wearable camera is not necessarily worn by a person, and may be taken while being carried by a person or attached to a robot capable of autonomous running. That is, the wearable camera can be rephrased as a moving camera.
  • FIG. 2 is a conceptual diagram illustrating an overview of the monitoring system according to Embodiment 1 of the present invention.
  • images taken by a plurality of wearable cameras (hereinafter simply referred to as “cameras”) are centrally managed and displayed on a monitoring screen that is viewed by an operator such as a monitor in a security room, for example.
  • Each camera is given an ID (camera ID).
  • ID camera ID
  • FIG. 2 on the right side of the monitoring screen 10, a plane map 11 indicating the monitoring area of various stores and the like is displayed, and the position of the camera attached to the security guard and the field of view of the camera are flat with the security guard icon indicating the security guard. It is displayed on the map 11.
  • there are cameras with camera IDs 2, 5, 6, 7, and 8, respectively.
  • a camera image 12 captured by the camera selected by the operator is displayed on the left side of the monitoring screen 10.
  • the captured image is displayed in the oval display area, but is not limited to the oval display, and may be a circular display or a square display.
  • the monitoring system extracts a camera that captures the selected target, and displays an icon indicating that the extracted camera is present near the security guard wearing the camera. To do.
  • a person icon indicating a guard and a camera icon are displayed outside the captured image display area.
  • the icon is displayed in a large size, and if the distance is long, the person icon is displayed in a small size. Regardless of whether or not the display area of the camera image 12 is entered, the size of the display of the camera icon may be similarly changed according to the distance.
  • a person icon or a camera icon may be displayed so that the imaging direction of the camera can be understood. For example, by displaying an arrow indicating the imaging direction of the camera, or by preparing a plurality of icons for each direction and changing the icon according to the imaging direction, the imaging direction of the camera indicated by the icon is displayed. Can be visually recognized. Further, the camera ID information may be superimposed on the camera icon.
  • FIG. 2C shows a state where the captured image is switched. At this time, the state in which the target selected in FIG. 2A is selected may be continued, and the icon of the camera capturing the target may be displayed, or the selection may be canceled and the target can be selected again. Good.
  • the camera image 12 on the left side of the monitoring screen 10 may be switched by the operator specifying the guard icon on the plane map 11 on the right side of the monitoring screen 10 using the pointer 14. Good.
  • FIG. 3 is a block diagram showing a configuration of the monitoring system 100 according to Embodiment 1 of the present invention. The configuration of each part of the monitoring system 100 will be described below with reference to FIG.
  • the camera 101 measures the position of the own camera in the real space and the imaging direction in which the own camera is facing, and acquires it as position information and direction information.
  • the location information is acquired using, for example, a GPS (Global Positioning System) or a wireless tag.
  • the direction information is acquired using, for example, a gyro, a geomagnetic sensor, or a landmark whose position is known.
  • the camera 101 also has an image sensor such as a CMOS or CCD that photoelectrically converts subject light incident through the lens into an image signal, and performs a predetermined process to process the captured image into image data. Also, different camera IDs are assigned to the cameras 101.
  • the camera 101 transmits the acquired image data and camera ID to the image management server 102 through wireless communication, and transmits the camera ID, position information, and direction information to the position management server 103 through wireless communication.
  • the optical axis direction of the lens of the camera 101 is the imaging direction of the camera.
  • the image management server 102 receives and stores the camera ID and image data transmitted from the camera 101, manages the image data for each camera in association with the camera ID, and stores the stored image data as needed. It outputs to 106.
  • the position management server 103 receives and stores the camera ID, position information, and direction information transmitted from the camera 101, manages the position information and direction information for each camera in association with the camera ID, and stores the stored position information and direction. Information is output to the camera extraction unit 108 and the camera position calculation unit 109 as necessary.
  • the display image switching unit 104 includes a camera selection unit 105, an image selection unit 106, a target selection unit 107, a camera extraction unit 108, a camera position calculation unit 109, and a camera icon arrangement unit 110.
  • the camera selection unit 105 allows the operator to select a camera icon displayed on the image captured by the camera 101 (the camera image 12 displayed on the left side of the monitoring screen 10 in FIG. 2A), or to display the display unit 111 described later.
  • camera selection information for example, camera ID
  • the following process can be considered as a process in which the operator selects a camera icon displayed to be superimposed on an image captured by the camera 101.
  • the camera selection unit 105 displays an icon corresponding to the input coordinates and a camera ID corresponding to the icon, which will be described later. It is conceivable to obtain from 110.
  • a signal (not shown) indicating a camera ID corresponding to the position information of the camera selected on the planar map. It is conceivable to obtain from the position management server 103 via a line.
  • the image selection unit 106 Based on the camera selection information output from the camera selection unit 105, the image selection unit 106 reads the corresponding image data of the camera 101 from the image management server 102, and reads the read image data to the target selection unit 107 and the display unit 111. Output. In addition, the image selection unit 106 outputs the camera selection information output from the camera selection unit 105 to the target selection unit 107.
  • the target selection unit 107 When the operator selects a target such as a person or an object existing in the image captured by the camera 101 selected by the camera selection unit 105, the target selection unit 107 is based on the image data output from the image selection unit 106. Object selection information indicating the selected object is generated and output to the camera extraction unit 108. In addition, the target selection unit 107 acquires the camera ID of the camera 101 selected by the camera selection unit 105 and outputs it to the camera extraction unit 108. The object selection information is coordinates on the screen of the object selected by the operator.
  • the camera extraction unit 108 is based on the target selection information and image data output from the target selection unit 107, the camera ID of the camera 101 selected by the camera selection unit 105, and the camera position information and direction information acquired from the position management server 103. Then, the camera 101 capturing the target is extracted, and the camera ID of the extracted camera 101 is output to the camera position calculation unit 109. Specific camera extraction processing will be described later.
  • the camera position calculation unit 109 reads position information corresponding to the camera ID output from the camera extraction unit 108 from the position management server 103, and uses the read position information on the image displayed on the display unit 111. Calculate the position. The calculated position (coordinates) on the image is output to the camera icon arrangement unit 110 together with the camera ID.
  • the camera icon arrangement unit 110 manages the camera icon and the camera ID in association with each other, and arranges the camera icon near the position on the image calculated by the camera position calculation unit 109.
  • the camera position calculation unit 109 and the camera icon arrangement unit 110 function as a camera position image information generation unit that generates image information indicating the extracted camera position.
  • the display unit 111 displays the camera icon arranged by the camera icon arrangement unit 110 on the image selected by the image selection unit 106 in an overlapping manner.
  • the display unit 111 displays the monitoring screen 10 shown in FIG.
  • the camera icon displayed in this way moves on the screen in accordance with the movement of the security guard who is the photographer. That is, by updating the process at a certain timing, the position of the camera 101 and the position of the icon are linked, and the camera icon is linked to the movement of the camera 101. Further, when the extracted camera stops imaging the selected object due to the movement of the security guard, the camera icon is deleted from the screen.
  • FIG. 4 is a flowchart showing a procedure of camera extraction processing in the camera extraction unit 108 shown in FIG.
  • the camera extraction unit 108 acquires the position (target selection information) on the image displayed on the display unit 111 of the target selected by the target selection unit 107.
  • step S2 the camera extraction unit 108 calculates the position of the target in the real space using the position on the target image acquired in step S1.
  • step S ⁇ b> 3 the camera extraction unit 108 acquires the position information and direction information of all the cameras 101 accumulated in the position management server 103.
  • the target is positioned at the end of the imaging range of the camera, the displayed target may be difficult to see, or the target may be displayed difficult to see due to lens distortion, so by further limiting the certain range, A camera that captures the object near the center of the screen was extracted to obtain an image suitable for monitoring.
  • a condition that a camera within a certain distance between the camera and the target may be extracted.
  • this condition it is possible to avoid the extraction of a camera that is far from the object, and it is possible to extract only the camera that is capturing the object clearly from a short distance.
  • step S5 the camera ID of the camera 101 extracted in step S4 is output to the camera position calculation unit 109.
  • the position calculation method in the target real space in step S2 will be described.
  • the position of the target in real space is determined by the direction and distance with respect to a certain reference (here, the selected camera 101). Therefore, first, how to obtain the target direction will be described.
  • the position of the selected camera 101 is O
  • the intersection point with the optical axis in the image is A
  • the target position selected by the operator is T
  • the landmark whose position is known in advance is shown.
  • L be the position.
  • the camera 101 can acquire the direction of the optical axis OA in the real space using the mounted gyro, and the value is ( ⁇ , ⁇ ) using the two declination angles of the polar coordinate system.
  • ⁇ AOT is uniquely known. For example, if the target in-image coordinates are (a0, b0), ⁇ AOT is known as ( ⁇ 0 , ⁇ 0 ).
  • the direction in the real space of the vector OT from the position O of the camera 101 to the object can be obtained by adding ⁇ AOT to the direction in the real space of the optical axis OA ( ⁇ + ⁇ 0 , ⁇ + ⁇ 0 ).
  • the coordinates in the target image the smallest square frame including the target in the image is placed, and the coordinates of one vertex of the placed rectangular frame are used, or the features such as the brightest point from the target luminance distribution It is conceivable to use coordinates at points. In short, the coordinates of an arbitrary point representing the target may be used.
  • the direction of the target can be obtained using this landmark.
  • the position of the landmark in the real space is the absolute coordinate (X1, Y1, Z1) and the position of the camera 101 in the real space is the absolute coordinate (X0, Y0, Z0)
  • the conversion formula of polar coordinates The direction of the line segment OL in the real space is obtained as follows.
  • the deviation angle ⁇ LOA with respect to the optical axis is known as ( ⁇ 1 , ⁇ 1 ) from FIG. Is required.
  • the direction vector OT from the camera 101 to the target can be obtained as in the case where the gyro is used.
  • the in-image coordinates of the landmark are the same as the above-described method for obtaining the in-image coordinates of the target.
  • the size of the target in real space is known, the size of the target region in the image and the distance to the target are associated with each other based on the lens characteristics of the camera 101 as shown in FIG.
  • the distance to the target is uniquely known. Note that it is conceivable that the minimum square frame including the target in the image is arranged as the region size in the target image, and is represented by the width and height of the arranged rectangular frame.
  • This association may be obtained in advance by experiments or calculations from camera characteristics, assuming that the object is a person. Even when the target is an object other than a person or an animal, it is possible to associate the target area size in the image with the distance to the target based on the general size.
  • the position of the object in the real space can be specified, and the camera extraction unit 108 uses the obtained position of the object in the real space, The camera 101 that captures the target is extracted.
  • steps S1 and S2 of the camera extraction process may be performed in reverse. Specifically, the direction from the camera being imaged to the extracted camera is determined from the position of the extracted camera and the camera being imaged in real space. Next, in-image coordinates corresponding to the direction can be obtained from the correspondence table shown in FIG.
  • the camera ID is extracted using the position information, but image recognition can also be used for the camera extraction processing of the camera extraction unit 108.
  • the feature information of the selected target is calculated using image recognition, and it is determined whether or not the same feature information as the selected target is included in the image of another camera held by the image management server 102.
  • a camera that captures an image including feature information can be determined to be a camera that captures a selected target. This method may be used when the position information of the camera and the positioning accuracy of the imaging direction are poor, or may be used in combination with the position information and direction information of the camera.
  • the selected target is captured.
  • the other wearable camera is extracted, a camera icon is displayed at the position on the extracted wearable camera image, and when the displayed camera icon is selected, the wearable camera corresponding to the selected camera icon is selected.
  • the captured image is displayed on the screen.
  • the planar map is displayed on the monitoring screen.
  • the present invention is not limited to this, and the captured image from the selected camera is displayed on the monitoring screen without displaying the planar map. You may do it.
  • the extracted camera is described as being clearly indicated by the camera icon.
  • the present invention is not limited to this, and any icon that clearly indicates the extracted camera may be used.
  • the camera may be clearly indicated by changing the display color, such as inverting the display color of the security guard wearing the extracted camera. In short, it is only necessary that the extracted camera can be displayed on the monitoring screen in a selectable manner.
  • FIG. 9 is a conceptual diagram illustrating an overview of the monitoring system according to the second embodiment of the present invention.
  • FIG. 10 is a block diagram showing the configuration of the monitoring system 200 according to Embodiment 2 of the present invention.
  • the same reference numerals as those in FIG. 3 are given to the portions common to FIG. FIG. 10 is different from FIG. 3 in that the object selection unit 107 is deleted and the camera extraction unit 108 is changed to the camera extraction unit 201.
  • the camera extraction unit 201 acquires the camera ID of the currently displayed camera image from the camera selection unit 105, and acquires the position information and direction information of the camera 101 corresponding to the acquired camera ID from the position management server 103. In addition, the camera extraction unit 201 acquires the position information and direction information of all the cameras 101 accumulated in the position management server 103, and the position information and direction information of the camera 101 that captures the currently displayed image. Based on the position information and the direction information of all the cameras 101, other cameras 101 included in the imaging range of the camera 101 that is capturing the currently displayed image are extracted.
  • the monitoring system 200 may perform image processing on the currently displayed captured image, extract a security guard wearing the camera 101 by image recognition, and display a camera icon at the corresponding position.
  • another wearable camera included in the image displayed on the screen is extracted, and the camera is positioned on the extracted image of the wearable camera.
  • the monitoring image can be switched by a simple operation, and the operability can be improved.
  • FIG. 11 is a conceptual diagram illustrating an overview of a monitoring system according to Embodiment 3 of the present invention.
  • a camera icon 15 round icon
  • a camera icon 22 (square icon) representing a stationary camera is displayed near the surveillance camera 21 displayed in the camera image 12.
  • the operator can distinguish between a wearable camera and a stationary camera by referring to these icons.
  • the camera image 12 on the left side of the monitoring screen is switched to the camera image of the selected camera ID.
  • FIG. 12 is a block diagram showing the configuration of the monitoring system 300 according to Embodiment 3 of the present invention.
  • the same reference numerals as those in FIG. 10 are given to portions common to FIG. 12 differs from FIG. 10 in that there are two types of cameras 101, a wearable camera 301 and a stationary camera 302, the position management server 103 as the position management server 303, and the camera icon placement unit 110 as the camera icon placement. This is a change to the unit 304.
  • the position management server 303 manages camera type information indicating whether the camera 101 is the wearable camera 301 or the stationary camera 302 in addition to the camera ID, position information, and direction information transmitted from the camera 101.
  • the camera icon arrangement unit 304 determines the type of camera icon based on the camera type information managed by the position management server 303.
  • the camera extraction unit 201 may be configured to set extraction conditions according to the type of camera, such as extracting only a wearable camera or extracting only a stationary camera.
  • FIG. 13 and 14 are conceptual diagrams for explaining the outline of the monitoring system according to the fourth embodiment of the present invention.
  • Other display contents are the same as those in the second embodiment.
  • FIG. 15 is a block diagram showing a configuration of a monitoring system 400 according to Embodiment 4 of the present invention.
  • the same reference numerals as those in FIG. 12 are given to the portions common to FIG. 15 is different from FIG. 12 in that the image selection unit 106 is changed to an image selection unit 401.
  • the image selection unit 401 changes the display form depending on whether the selected camera is the wearable camera 301 or the stationary camera 302. Specifically, when the stationary camera 302 is selected, the video is switched (FIG. 13), and when the wearable camera 301 is selected, the wearable camera is displayed side by side with the displayed stationary camera image 1301. An image 1401 is displayed (FIG. 14).
  • the present invention can also be realized by software.
  • a function similar to that of the apparatus according to the present invention can be realized by describing an algorithm of the display method according to the present invention in a program language, storing the program in a memory, and causing the information processing means to execute the program. it can.
  • the wearable camera that captures an object of interest of the operator is selectably displayed on the monitoring screen. This has the effect of reducing the burden on the operator, and can be applied to, for example, a crime prevention system and a monitoring system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

 移動を伴う複数のカメラから特定のカメラを選択する際、直感的で分かりやすい選択方法を提供することで、オペレータの負担を軽減できる表示画像切替装置。複数のカメラ(101)のうち、カメラ選択部(105)によって選択されたカメラ(101)によって撮像され、表示部(111)に表示された画像、において、オペレータが対象を選択すると、カメラ抽出部(108)は、選択された対象を撮像している他の全てのカメラ(101)を抽出する。カメラアイコン配置部(110)は、抽出されたカメラ(101)の画像上の位置にカメラアイコンを配置する。表示部(111)に表示されたカメラアイコンが選択されると、選択されたカメラアイコンの位置におけるカメラ(101)によって撮像された撮像画像が表示部(111)に表示される。

Description

表示画像切替装置及び表示方法
 本発明は、装着型カメラ等のカメラを複数用いて撮像された表示画像を切り替える表示画像切替装置及び表示方法に関する。
 従来、金融機関の金庫、企業の重要機密の保管場所、銀行、ATM(automated teller machine)が設置されているコンビニエンス・ストア等の各種店舗では、設置した監視カメラが撮像した監視対象の動画像、静止画像を用いてセキュリティを維持している。
 このような据置型のカメラを用いた撮像システムとして、特許文献1に開示の技術が知られている。特許文献1には、図1に示すように、各種店舗などを示す平面マップ上にカメラの位置、向き及び撮像範囲を示すカメラアイコンを表示し、表示されたカメラアイコンをユーザが選択すると、選択されたカメラによって撮像された画像を平面マップと並べて表示する技術が開示されている。
 このような据置型のカメラを用いた防犯システムでは、カメラの撮像方向によっては監視対象者の人相、身長、服装等を十分に撮像できず、監視対象者の情報を十分に収集することができない。また、据置型のカメラを設置することが困難な屋外などのオープンスペースでは使用できない。このため、近年では、特許文献2に示すように、警備員、社員、店舗の店員等の身体(頭部、胸ポケット等)に装着型カメラを装着して、防犯場所を警備させ、警備した際に撮像した画像を用いて、不審者の監視を行うことが考えられている。
 また、特許文献3に開示された技術は、複数の移動型カメラを連携させ広範囲な領域を監視する場合に、移動型カメラの位置と撮影方向を管理することで同一の対象を撮影する複数の移動型カメラを抽出すると共に、複数の移動型カメラが撮影した対象を表示する、といった技術である。これにより、最も撮影状況のよいカメラから求めた位置情報をカメラ間で共有できるので、対象の追跡が容易になる。
 さらに、特許文献4に開示された技術は、ユーザの見たい地点を指定すると、その地点を一番早く撮影できるカメラを選択する、といった技術である。これにより、管理者は複数カメラが存在しても簡易な方法で見たい対象や地点を見ることができる。
特許第3679620号公報 特表2007-523545号公報 特開2004-056664号公報 特開2000-307928号公報
 上述した特許文献2に開示された技術では、広範な領域を監視する場合、オペレータが複数の装着型カメラを制御して、監視領域又は監視対象を切り替えることが考えられる。しかしながら、複数のカメラから特定のカメラを選択する方法や、選択したカメラの撮像画像を切り替える方法について開示されておらず、そのような実現方法が不明である。
 また、上述した特許文献1に開示された技術において、据置型カメラを装着型カメラに置き換えることは容易に考えられる。しかしながら、カメラアイコンが平面マップ上を自由に動くことになり、カメラの位置及び向きを考慮しながら、カメラを選択しなければならず、オペレータの負担が増大する。また、平面マップ上でカメラを選択し、選択したカメラの撮像画像を見るため、平面マップと撮像画像との間で視線移動が多くなり、この点においてもオペレータの負担が増大する。
 また、特許文献3には、管理センターにおいて、平面マップ上にカメラの位置がマッピングされていることと、各カメラの映像を表示することは開示されているが、複数のカメラ画像から特定の画像を選択することや、選択したカメラ画像を切り替える方法についてついては開示されていない。
 さらに、特許文献4に開示された技術では、監視者が地点を選択することと、選択された地点を一番早く撮影できるカメラを抽出することは開示されているが、監視者は対象や地点を選択した状態から対象を別の角度で見たいと考えた際には再度全体マップから地点や方向を選択する必要があり、簡易な手段で他のカメラへ切り替える方法は開示されていない。
 本発明の目的は、複数のカメラから特定のカメラを選択する際、直感的で分かりやすい選択方法を提供することで、オペレータの負担を軽減する表示画像切替装置及び表示方法を提供することである。
 本発明の表示画像切替装置の一つの態様は、複数のカメラのうち、第1のカメラによって撮像された画像を表示させる画像選択手段と、前記表示された画像の中から対象を選択する対象選択手段と、前記複数のカメラから、前記対象選択手段によって選択された前記対象を撮影するカメラを、第2のカメラとして抽出するカメラ抽出手段と、前記第2のカメラの前記表示された画像上での位置を算出するカメラ位置算出手段と、前記第2のカメラの位置を示し選択可能なカメラ位置画像情報を生成するカメラ位置画像情報生成手段と、を具備し、前記カメラ位置画像情報生成手段は、前記カメラ位置画像情報を前記画像選択手段で選択されている画像と関連付けて表示し、前記画像選択手段は、前記カメラ位置画像情報が選択された場合、前記第2のカメラによって撮影された画像を表示する。
 本発明の表示方法の一つの態様は、複数のカメラのうち、第1のカメラによって撮像された画像を表示させる画像選択ステップと、前記表示された画像の中から対象を選択する対象選択ステップと、前記複数のカメラから、選択された前記対象を撮影しているカメラを第2のカメラとして抽出するカメラ抽出ステップと、前記第2のカメラの位置を算出するカメラ位置算出ステップと、前記第2のカメラの位置を示し選択可能なカメラ位置画像情報を生成するカメラ位置画像情報生成ステップと、を具備し、前記カメラ位置画像情報生成ステップは、前記カメラ位置画像情報を前記画像選択ステップで選択されている画像と関連付けて表示し、前記画像選択ステップは、前記カメラ位置画像情報が選択された場合、前記第2のカメラによって撮影された画像を表示する。
 本発明によれば、移動を伴う複数のカメラから特定のカメラを、直感的で分かりやすく選択できるので、オペレータの負担を軽減することができる。
特許文献1に開示された撮像システムにおける表示画像の様子を示す図 実施の形態1の監視システムの概要を説明する概念図 実施の形態1の監視システムの概要を説明する概念図 実施の形態1の監視システムの概要を説明する概念図 実施の形態1の監視システムの構成を示すブロック図 図3に示したカメラ抽出部におけるカメラ抽出処理の手順を示すフロー図 カメラ位置及び画像内位置との関係を概念的に示す模式図 画像内座標と、光軸を始線とする偏角との対応関係を示す図 画像内領域サイズと、対象までの距離との対応関係を示す図 対象の画像内における領域サイズの説明に供する図 実施の形態2の監視システムの概要を説明する概念図 実施の形態2の監視システムの構成を示すブロック図 実施の形態3の監視システムの概要を説明する概念図 実施の形態3の監視システムの構成を示すブロック図 実施の形態4の監視システムの概要を説明する概念図 実施の形態4の監視システムの概要を説明する概念図 実施の形態4の監視システムの構成を示すブロック図
 以下、本発明の実施の形態について、図面を参照して詳細に説明する。
 本発明の装着型カメラは、例えば、イベント会場、展示会会場、駅構内、金融機関の金庫、企業の重要機密の保管場所、銀行、百貨店、コンビニエンス・ストア等の各種店舗や会場を警備する複数の撮像者(警備員、社員、店舗の店員等)の身体(頭部、胸ポケット等)に装着されて用いられる。特に据置型カメラの設置が困難な屋外イベント会場などのオープンスペースで有用である。
 なお、装着型カメラは必ずしも人に装着される必要はなく、人が持ち運びしながら撮像したり、自律走行可能なロボットに取り付けられたりしてもよい。すなわち、装着型カメラは移動カメラと言い換えることができる。
 (実施の形態1)
 図2は、本発明の実施の形態1に係る監視システムの概要を説明する概念図である。ここでは、複数の装着型カメラ(以下、単に「カメラ」という)によって撮像された画像等が集中管理され、例えば、警備室等において監視員などのオペレータが視認する監視画面に表示される様子を例に説明する。各カメラにはID(カメラID)が付与されている。図2において、監視画面10の右側には、各種店舗などの監視領域を示す平面マップ11が表示され、警備員に装着されたカメラの位置及びカメラの視野が警備員を示す警備員アイコンと共に平面マップ11上に表示される。図2では、それぞれカメラID=2,5,6,7,8のカメラが存在している。
 一方、監視画面10の左側には、オペレータが選択したカメラによって撮像されたカメラ画像12が表示される。図2では、楕円表示した領域に撮像画像を表示するが、楕円表示に限らず、円形表示でも、方形表示でもよい。
 図2Aは、カメラID=8のカメラによって撮像された画像が監視画面10の左側のカメラ画像12に表示されており、オペレータがある対象13(ここでは、枠で囲んだ人物)をポインタ14を用いて選択している様子を示している。
 本監視システムは、オペレータがある対象を選択すると、選択された対象を撮像しているカメラを抽出し、抽出したカメラが存在することを示すアイコンを、当該カメラを装着した警備員の近くに表示する。この様子を図2Bに示す。ここでは、カメラID=2を表すカメラアイコン15をカメラ画像12に表示された警備員16の近くに表示する。このとき、撮像画像の表示領域に入らないカメラが抽出された場合、撮像画像の表示領域外に警備員を示す人物アイコンとカメラアイコンとを表示する。図2Bでは、カメラID=5を表すカメラアイコン17と警備員を示す人物アイコン18とを表示し、カメラID=6を表すカメラアイコン19と警備員を示す人物アイコン20とを表示する。このような表示をすることにより、オペレータは選択可能なカメラが監視空間内のどこにあるか直感的に理解することができる。
 また、警備員を示す人物アイコンとカメラアイコンとを表示す際、人物アイコンの大きさをカメラID=8のカメラと当該警備員との距離に応じて変えてもよく、この距離が近ければ人物アイコンを大きく表示し、この距離が遠ければ人物アイコンを小さく表示する。なお、カメラ画像12の表示領域に入るか否かにかかわらず、カメラアイコンの表示についても、同様に距離に応じて大きさを変えてもよい。
 また、カメラの撮像方向が分かるように人物アイコン又はカメラアイコンを表示してもよい。例えば、カメラの撮像方向を示す矢印を表示したり、方向別に複数のアイコンを用意しておいて、撮像方向に応じてアイコンを変更したりすることにより、アイコン表示されているカメラの撮像方向を視覚的に認識することができる。また、カメラアイコンにカメラIDの情報を重畳して表示してもよい。
 なお、撮像画像に映っている警備員であっても、その警備員のカメラが選択された対象を撮像していない場合は抽出されず、カメラアイコンは表示しない。すなわち、図2Bでは、カメラID=7のカメラは抽出されていないので、このカメラを装着した警備員21はカメラ画像12に映っているがカメラアイコンは表示しない。
 図2Bにおいて、オペレータが監視画面左側のカメラ画像12においてカメラID=5のカメラアイコン17を選択すると、監視画面左側のカメラ画像12がカメラID=5のカメラ画像12に切り替わる。撮像画像が切り替わった様子を図2Cに示す。このとき、図2Aにおいて選択された対象が選択された状態を継続し、対象を撮像しているカメラのアイコンを表示してもよいし、選択を解除して対象を再度選択できる状態にしてもよい。
 これにより、オペレータは監視画面10を見ながら、アイコンを選択するという直感的で分かりやすい簡単な操作で見たいカメラを直感的に切り替えることができる。また、カメラの切り替えに際して平面マップ11を参照する必要がないため、視線移動によるオペレータの負担を軽減し、オペレータの興味ある対象を連続的に表示することができる。さらに、対象の監視に適したカメラのみをアイコン表示するため、カメラを切り替えることができ、操作性の向上を図ることができる。特に、興味のある対象を様々な角度から監視する場合に有効である。
 なお、従来技術で示したように、監視画面10右側の平面マップ11上の警備員アイコンをオペレータがポインタ14を用いて指定することにより、監視画面10左側のカメラ画像12を切り替えるようにしてもよい。
 図3は本発明の実施の形態1に係る監視システム100の構成を示すブロック図である。以下、図3を参照しながら監視システム100の各部構成について説明する。
 カメラ101は、実空間での自カメラの位置と、自カメラが向いている撮像方向とを測位して位置情報及び方向情報として取得する。位置情報の取得は、例えば、GPS(Global Positioning System)又は無線タグを用いて行われる。また、方向情報の取得は、例えば、ジャイロ、地磁気センサ又は位置が既知のランドマークを用いて行われる。また、カメラ101は、レンズを介して入射する被写体光を光電変換して撮像信号にするCMOS又はCCD等の撮像素子を有し、撮像した画像を所定の処理を施して画像データに加工する。また、カメラ101には、それぞれ異なるカメラIDが付与されている。さらに、カメラ101は、取得した画像データ及びカメラIDを無線通信によって画像管理サーバ102に送信し、カメラID、位置情報及び方向情報を無線通信によって位置管理サーバ103に送信する。なお、カメラ101のレンズの光軸方向をカメラの撮像方向とする。
 画像管理サーバ102は、カメラ101から送信されたカメラIDと画像データを受信及び蓄積し、カメラごとの画像データをカメラIDと対応付けて管理し、蓄積した画像データを必要に応じて画像選択部106に出力する。
 位置管理サーバ103は、カメラ101から送信されたカメラID、位置情報及び方向情報を受信及び蓄積し、カメラごとの位置情報及び方向情報をカメラIDと対応付けて管理し、蓄積した位置情報及び方向情報を必要に応じてカメラ抽出部108及びカメラ位置算出部109に出力する。
 表示画像切替部104は、カメラ選択部105、画像選択部106、対象選択部107、カメラ抽出部108、カメラ位置算出部109、カメラアイコン配置部110を有する。
 カメラ選択部105は、カメラ101によって撮像された画像(図2Aでは監視画面10左側に表示されたカメラ画像12)に重ねて表示されたカメラアイコンをオペレータが選択したり、後述する表示部111に表示された平面マップ(図2に示した監視画面10右側に表示された画像)上に示されるアイコンをオペレータが選択したりすると、どのカメラが選択されたかを示すカメラ選択情報(例えば、カメラID)を画像選択部106に出力する。ここで、カメラ101によって撮像された画像に重ねて表示されたカメラアイコンをオペレータが選択する処理として次のような処理が考えられる。すなわち、オペレータがマウスなどのポインタを用いて画面上の座標を入力すると、カメラ選択部105は、入力された座標に対応するアイコンと、そのアイコンに対応するカメラIDとを後述するカメラアイコン配置部110から求めることが考えられる。また、表示部111に表示された平面マップ上に示されるカメラをオペレータが選択する処理として、具体的には、平面マップ上で選択されたカメラの位置情報に対応するカメラIDを図示せぬ信号線を介して位置管理サーバ103から取得することが考えられる。
 画像選択部106は、カメラ選択部105から出力されたカメラ選択情報に基づいて、対応するカメラ101の画像データを画像管理サーバ102から読み出し、読み出した画像データを対象選択部107及び表示部111に出力する。また、画像選択部106は、カメラ選択部105から出力されたカメラ選択情報を対象選択部107に出力する。
 対象選択部107は、カメラ選択部105が選択したカメラ101によって撮像された画像内に存在する人物、物体などの対象をオペレータが選択すると、画像選択部106から出力された画像データに基づいて、選択された対象を示す対象選択情報を生成してカメラ抽出部108に出力する。また、対象選択部107は、カメラ選択部105が選択したカメラ101のカメラIDを取得し、カメラ抽出部108に出力する。なお、対象選択情報は、オペレータが選択した対象の画面上の座標である。
 カメラ抽出部108は、対象選択部107から出力された対象選択情報及び画像データ、カメラ選択部105が選択したカメラ101のカメラID及び位置管理サーバ103から取得したカメラの位置情報及び方向情報に基づいて、対象を撮像しているカメラ101を抽出し、抽出したカメラ101のカメラIDをカメラ位置算出部109に出力する。なお、具体的なカメラ抽出処理については後述する。
 カメラ位置算出部109は、カメラ抽出部108から出力されたカメラIDに対応する位置情報を位置管理サーバ103から読み出し、読み出した位置情報を用いて、表示部111に表示されている画像上での位置を算出する。算出された画像上での位置(座標)はカメラIDと共にカメラアイコン配置部110に出力される。
 カメラアイコン配置部110は、カメラアイコンとカメラIDとを対応付けて管理し、カメラ位置算出部109によって算出された画像上での位置の近くにカメラアイコンを配置する。なお、カメラ位置算出部109及びカメラアイコン配置部110は、抽出されたカメラの位置を示す画像情報を生成するカメラ位置画像情報生成手段として機能する。
 表示部111は、画像選択部106によって選択された画像にカメラアイコン配置部110によって配置されたカメラアイコンを重ねて表示する。なお、表示部111は、図2に示した監視画面10を表示する。
 このようにして表示されたカメラアイコンは、撮像者である警備員の移動に伴って、画面上を移動するものとする。すなわち、処理を一定のタイミングで更新することによって、カメラ101の位置とアイコンの位置とがリンクし、カメラアイコンがカメラ101の動きに連動するようになる。また、警備員の移動により、抽出されたカメラが選択された対象を撮像しなくなった場合には、カメラアイコンは画面上から消去されるようになる。
 図4は、図3に示したカメラ抽出部108におけるカメラ抽出処理の手順を示すフロー図である。図4に示すステップS1において、カメラ抽出部108は、対象選択部107によって選択された対象の、表示部111に表示されている画像上における位置(対象選択情報)を取得する。
 ステップS2では、カメラ抽出部108は、ステップS1において取得した対象の画像上の位置を用いて、対象の実空間における位置を算出する。
 ステップS3では、カメラ抽出部108は、位置管理サーバ103に蓄積されている全カメラ101の位置情報及び方向情報を取得する。
 ステップS4では、ステップS3において取得した全カメラ101の位置情報及び方向情報を用いて、カメラ抽出部108は、全カメラ101のうち、カメラ及び対象間の直線と当該カメラの光軸とがなす角度が一定の範囲内の全てのカメラを抽出する。このとき、一定の範囲=画角であれば、対象を撮像しているカメラが抽出される。また、一定の範囲<画角であれば、対象を画面の中心付近で撮像しているカメラが抽出される。これは、カメラの撮像範囲の端に対象が位置すると、表示された対象が見づらかったり、レンズの歪みによって対象が見づらく表示されたりすることが考えられるため、一定の範囲をさらに限定することにより、画面の中央付近で対象を撮像しているカメラを抽出し、監視に適した画像を得るようにした。
 また、カメラ及び対象の距離が一定の範囲内のカメラを抽出するという条件を付加してもよい。この条件を付加することにより、対象との距離が遠いカメラが抽出されることを回避することができ、近い距離から鮮明に対象を撮像しているカメラだけを抽出することができる。
 ステップS5では、ステップS4において抽出されたカメラ101のカメラIDをカメラ位置算出部109に出力する。
 ここで、上記ステップS2における対象の実空間における位置算出方法について説明する。対象の実空間上の位置はある基準(ここでは、選択されているカメラ101)に対する方向と距離によって求まる。よって、まず、対象の方向の求め方について説明する。
 図5に示すように、選択されているカメラ101の位置をO、画像内における光軸との交点をA、オペレータによって選択された対象の位置をT、予め位置が知られているランドマークの位置をLとする。カメラ101は、搭載されたジャイロを用いて、光軸OAの実空間での方向を取得することができ、その値を極座標系の2つの偏角を用いて(θ、φ)とする。
 ここで、カメラ101のレンズ特性に基づいて、図6に示すような、画像内における座標(画像内座標)と、光軸を始線とする偏角とが対応付けられている場合、対象の画像内座標が分かると、∠AOTが一意に分かる。例えば、対象の画像内座標が(a0,b0)であるとすると、∠AOTは(θ,φ)と分かる。
 よって、カメラ101の位置Oから対象までのベクトルOTの実空間での方向は、光軸OAの実空間での方向に∠AOTを加えた(θ+θ,φ+φ)と求めることができる。
 ここで、対象の画像内座標として、画像内の対象を含む最小の方形の枠を配置し、配置した方形枠の一つの頂点の座標を用いたり、対象の輝度分布から最も明るい点などの特徴点における座標を用いたりすることが考えられる。要は、対象を表す任意の一点の座標であればよい。
 また、カメラ101がジャイロを搭載しないなど、ジャイロを用いない場合における対象の方向の求め方について説明する。例えば、画像上に予め実空間での位置が知られているランドマークが存在する場合、このランドマークを用いて対象の方向を求めることもできる。具体的には、ランドマークの実空間での位置を絶対座標(X1,Y1,Z1)とし、カメラ101の実空間での位置を絶対座標(X0,Y0,Z0)とすると、極座標の変換式を用いて線分OLの実空間での方向は以下のように求められる。
Figure JPOXMLDOC01-appb-M000001
 そして、ランドマークの画像内座標(a1,b1)から光軸との偏角∠LOAは図6より(θ,φ)と分かるので、光軸OAの実空間での方向は以下のように求められる。
Figure JPOXMLDOC01-appb-M000002
 よって、ジャイロを用いた場合と同様に、カメラ101から対象までの方向ベクトルOTを求めることができる。なお、ランドマークの画像内座標は、上述した対象の画像内座標の求め方と同様とする。
 次に、カメラ101と対象との距離の算出方法について説明する。対象の実空間での大きさが分かっていれば、カメラ101のレンズ特性に基づいて、図7に示すような、画像内における対象の領域サイズと、対象までの距離とが対応付けられている場合、対象の画像内における領域サイズが分かると、対象までの距離が一意に分かる。なお、対象の画像内の領域サイズとして、画像内の対象を含む最小の方形の枠を配置し、配置した方形枠の幅及び高さによって表すことが考えられる。
 この対応付けは、対象が人物であるとして、実験やカメラ特性からの計算などで予め求めておけばよい。対象が人物以外の物体や動物の場合でも、その一般的な大きさをもとにした画像内の対象の領域サイズと対象までの距離との対応付けをとることができる。
 ここで、例えば、図8に示すように、対象の画像内における領域サイズが(幅、高さ)=(a_i,b_i)とすると、図7に示す表から対象までの距離がr_iと分かる。
 このように、カメラ101に対する対象の方向及び距離を求めることにより、対象の実空間での位置を特定することができ、カメラ抽出部108は、求めた対象の実空間での位置を用いて、対象を撮像しているカメラ101を抽出する。
 なお、カメラ位置算出部109におけるカメラ位置算出処理については、カメラ抽出処理のステップS1、ステップS2を逆に行えばよい。具体的には、抽出されたカメラと撮像しているカメラの実空間上の位置から、撮像しているカメラから抽出されたカメラへの方向を求める。次に、図6に示す対応表からその方向に対応する画像内座標を求めることができる。
 カメラ抽出部108の処理ステップS1からステップS4では、位置情報を用いてカメラIDを抽出したが、カメラ抽出部108のカメラ抽出処理に画像認識を用いることもできる。選択された対象の特徴情報を、画像認識を用いて計算し、画像管理サーバ102が保持する他カメラの画像中に、選択された対象と同じ特徴情報を含むか否かを判定する。特徴情報を含む画像を撮像しているカメラは、選択された対象を撮像しているカメラであると判定することができる。この方法は、カメラの位置情報や撮像方向の測位精度が悪い場合に用いか、または、カメラの位置情報及び方向情報と併用するとよい。
 このように実施の形態1によれば、複数の装着型カメラのうち、選択された装着型カメラによって撮像され、画面に表示された画像においてオペレータが対象を選択すると、選択された対象を撮像している他の装着型カメラを抽出し、抽出された装着型カメラの画像上の位置にカメラアイコンを表示し、表示されたカメラアイコンを選択すると、選択されたカメラアイコンに対応する装着型カメラによる撮像画像を画面に表示する。
 これにより、オペレータは監視画面を見ながら、アイコンを選択するという直感的で分かりやすい簡単な操作で見たいカメラを直感的に切り替えることができる。また、カメラの切り替えに際して平面マップを参照する必要がないため、視線移動によるオペレータの負担を軽減し、オペレータの興味ある対象を連続的に表示することができる。さらに、対象の監視に適したカメラのみをアイコン表示するため、カメラを切り替えることができ、操作性の向上を図ることができる。
 なお、本実施の形態では、監視画面に平面マップを表示するものとして説明したが、本発明はこれに限らず、平面マップを表示せず、選択されたカメラによる撮像画像を監視画面に表示するようにしてもよい。
 また、本実施の形態では、抽出されたカメラをカメラアイコンによって明示するものとして説明したが、本発明はこれに限らず、抽出されたカメラを明示するアイコンであればよく、さらには、アイコンを表示する代わりに、抽出されたカメラを装着する警備員の表示色を反転させるなど表示色を変更してカメラを明示するようにしてもよい。要は、抽出されたカメラを選択可能に監視画面に表示できればよい。
 (実施の形態2)
 実施の形態1では、オペレータが選択した対象を撮像しているカメラのカメラアイコンを表示する場合について説明したが、本実施の形態では、カメラを抽出する条件として監視画面の左側に表示されているカメラ画像中に撮像されているカメラを抽出することとし、抽出されたカメラアイコンを表示する場合について説明する。
 図9は、本発明の実施の形態2に係る監視システムの概要を説明する概念図である。この例では、カメラID=8のカメラ画像が現在表示されており、このカメラID=8のカメラの撮像範囲にはカメラID=2とカメラID=7のカメラが含まれている。また、カメラID=2を表すカメラアイコン15がカメラ画像12に表示された警備員16の近くに表示され、カメラID=7を表すカメラアイコン22がカメラ画像12に表示された警備員21の近くに表示されている。ここで、カメラID=2又はカメラID=7のカメラアイコンをオペレータが選択すると、監視画面左側のカメラ画像12は選択されたカメラIDのカメラ画像に切り替わる。
 図10は、本発明の実施の形態2に係る監視システム200の構成を示すブロック図である。ただし、図10において、実施の形態1の図3と共通する部分には、図3と同一の符号を付し、重複する説明は省略する。図10が図3と異なる点は、対象選択部107を削除し、カメラ抽出部108をカメラ抽出部201に変更した点である。
 カメラ抽出部201は、カメラ選択部105から現在表示されているカメラ画像のカメラIDを取得し、取得したカメラIDに対応するカメラ101の位置情報及び方向情報を位置管理サーバ103から取得する。また、カメラ抽出部201は、位置管理サーバ103に蓄積されている全カメラ101の位置情報及び方向情報を取得し、現在表示されている画像を撮像しているカメラ101の位置情報及び方向情報と、全カメラ101の位置情報及び方向情報とに基づいて、現在表示されている画像を撮像しているカメラ101の撮像範囲に含まれる他のカメラ101を抽出する。
 なお、監視システム200は、現在表示されている撮像画像の画像処理を行い、カメラ101を装着する警備員を画像認識で抽出し、該当位置にカメラアイコンを表示してもよい。
 このように実施の形態2によれば、複数の装着型カメラのうち、画面に表示された画像に含まれる他の装着型カメラを抽出し、抽出された装着型カメラの画像上の位置にカメラアイコンを表示することにより、簡単な操作で監視画像を切り替えることができ、操作性の向上を図ることができる。
 (実施の形態3)
 上述の実施の形態1、2では全てのカメラが装着型カメラである場合の例を示しが、本発明は、全てのカメラが装着型カメラでなく一部に据置型カメラがある場合でも有効である。本実施の形態では、その場合の例について説明する。
 本実施の形態では、実施の形態2におけるカメラID=7のカメラが据置型の場合について説明する。
 図11は、本発明の実施の形態3に係る監視システムの概要を説明する概念図である。この例では、カメラID=8のカメラ画像が現在表示されており、このカメラID=8のカメラの撮像範囲にはカメラID=2の装着型カメラとカメラID=7の据置型カメラが含まれている。また、カメラID=2に対応する移動型カメラであることを示すカメラアイコン15(丸型のアイコン)がカメラ画像12に表示された警備員16の近くに表示され、カメラID=7に対応する据置型カメラを表すカメラアイコン22(四角型のアイコン)がカメラ画像12に表示された監視カメラ21の近くに表示されている。
 オペレータは、これらのアイコンを参照することで、装着型カメラか据置型カメラかを区別して認識できる。
 ここで、カメラID=2又はカメラID=7のカメラアイコンをオペレータが選択すると、監視画面左側のカメラ画像12は選択されたカメラIDのカメラ画像に切り替わる。
 図12は、本発明の実施の形態3に係る監視システム300の構成を示すブロック図である。ただし、図12において、実施の形態2の図10と共通する部分には、図10と同一の符号を付し、重複する説明は省略する。図12が図10と異なる点は、カメラ101として、装着型カメラ301と据置型カメラ302の2種類がある点、位置管理サーバ103を位置管理サーバ303に、カメラアイコン配置部110をカメラアイコン配置部304に変更した点である。
 位置管理サーバ303は、カメラ101から送信されたカメラID、位置情報及び方向情報に加えて、カメラ101が装着型カメラ301か据置型カメラ302であるかのカメラ種別情報を管理する。カメラアイコン配置部304は、位置管理サーバ303の管理するカメラ種別情報に基づいて、カメラのアイコンの種類を決定する。
 なお、カメラ抽出部201が、装着型カメラのみを抽出する、据置型カメラのみを抽出する、といったカメラの種類に応じた抽出条件を設定できるようにしてもよい。
 (実施の形態4)
 上述の実施の形態3では、抽出されたカメラに装着型カメラと据置型カメラの両方があった場合について説明したが、本実施の形態では、現在選択されているカメラが据置型カメラである場合の例を示すことで、据置型カメラと装着型カメラの特性の違いを考慮した表示方法について説明する。
 本実施の形態では、実施の形態2におけるカメラID=7、8のカメラが据置型の場合について説明する。
 図13及び図14は、本発明の実施の形態4に係る監視システムの概要を説明する概念図である。この例では、カメラID=8の据置型カメラのカメラ画像が現在表示されている。この中で、カメラID=2のカメラは装着型カメラであり、カメラID=7のカメラは据置型カメラである。その他の表示内容は実施の形態2と同様である。
 カメラID=7の据置型カメラのアイコン22を選択すると、図13に示すように、監視画面上の領域1301がカメラID=7の据置型カメラの映像に変更される。
 ここで、カメラID=2の装着型カメラのアイコン15を選択すると、図14に示すように、監視画面上の領域1401にカメラID=2の装着型カメラの映像がいままで表示されていたカメラID=8の据置型カメラの映像1301と並んで表示される。
 図15は、本発明の実施の形態4に係る監視システム400の構成を示すブロック図である。ただし、図15において、実施の形態3の図12と共通する部分には、図12と同一の符号を付し、重複する説明は省略する。図15が図12と異なる点は、画像選択部106を画像選択部401に変更した点である。
 画像選択部401は、選択されたカメラが装着型カメラ301か据置型カメラ302かによって表示形態を変える。具体的には、据置型カメラ302が選択された場合には映像を切り替え(図13)、装着型カメラ301が選択された場合には表示していた据置型カメラ映像1301と並んで装着型カメラ映像1401を表示する(図14)。
 これにより、据置型カメラによる広域的な監視と、装着型カメラによる詳細な監視とを同時に実現することが可能となる。
 (他の実施の形態)
 なお、上述の実施の形態1~4では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係る表示方法のアルゴリズムをプログラム言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る装置と同様の機能を実現することができる。
 さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
 2009年10月27日出願の特願2009-246954の日本出願および2010年3月1日出願の特願2010-044182の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
 本発明にかかる表示画像切替装置及び表示方法は、複数の装着型カメラから特定のカメラを選択する際、オペレータの関心ある対象を撮像している装着型カメラを選択可能に監視画面上に表示することにより、オペレータの負担を軽減する効果を有し、例えば、防犯システム、監視システム等に適用できる。
 100、200、300、400 監視システム
 101 カメラ
 102 画像管理サーバ
 103、303 位置管理サーバ
 104 表示画像切替部
 105 カメラ選択部
 106、401 画像選択部
 107 対象選択部
 108、201 カメラ抽出部
 109 カメラ位置算出部
 110、304 カメラアイコン配置部
 111 表示部
 301 装着型カメラ
 302 据置型カメラ

Claims (13)

  1.  複数のカメラのうち、第1のカメラによって撮像された画像を表示させる画像選択手段と、
     前記表示された画像の中から対象を選択する対象選択手段と、
     前記複数のカメラから、前記対象選択手段によって選択された前記対象を撮影するカメラを、第2のカメラとして抽出するカメラ抽出手段と、
     前記第2のカメラの前記表示された画像上での位置を算出するカメラ位置算出手段と、
     前記第2のカメラの位置を示し選択可能なカメラ位置画像情報を生成するカメラ位置画像情報生成手段と、
     を具備し、
     前記カメラ位置画像情報生成手段は、前記カメラ位置画像情報を前記画像選択手段で選択されている画像と関連付けて表示し、
     前記画像選択手段は、前記カメラ位置画像情報が選択された場合、前記第2のカメラによって撮影された画像を表示する、
     表示画像切替装置。
  2.  前記カメラ抽出手段は、選択された前記対象の実空間での位置を算出し、前記複数のカメラのうち、カメラの実空間での位置及び光軸方向が、前記対象の実空間での位置と所定の関係を満たすカメラを、前記第2のカメラとして抽出する、
     請求項1に記載の表示画像切替装置。
  3.  前記カメラ抽出手段は、前記複数のカメラのうち、各カメラの光軸方向に対して、当該カメラと前記対象とがなす角度が当該カメラの画角未満の値に設定された一定角度以内のカメラを前記第2のカメラとして抽出する、
     請求項2に記載の表示画像切替装置。
  4.  前記カメラ抽出手段は、前記複数のカメラのうち、前記対象との距離が一定距離以内のカメラを前記第2のカメラとして抽出する、
     請求項2に記載の表示画像切替装置。
  5.  前記カメラ抽出手段は、選択された前記対象の画像内での特徴値を算出し、算出した前記対象の特徴値を含む画像を撮像しているカメラを前記第2のカメラとして抽出する、
     請求項1に記載の表示画像切替装置。
  6.  前記カメラ位置画像情報生成手段は、前記第2のカメラが前記第1のカメラの撮影画像外に位置する場合には、前記カメラ位置画像情報の種類を変える、
     請求項1に記載の表示画像切替装置。
  7.  前記カメラ位置画像情報生成手段は、前記第2のカメラと前記第1のカメラとの距離に応じて前記第2のカメラを表す前記カメラ位置画像情報の大きさを変える、
     請求項1に記載の表示画像切替装置。
  8.  前記カメラ位置画像情報生成手段は、前記第1のカメラからみた前記第2のカメラの撮影方向に応じて前記カメラ位置画像情報の種類を変える、
     請求項1に記載の表示画像切替装置。
  9.  前記第1のカメラは移動カメラである、
     請求項1に記載の表示画像切替装置。
  10.  前記第2のカメラは移動カメラである、
     請求項1に記載の表示画像切替装置。
  11.  前記カメラ位置画像情報生成手段は、第2のカメラが移動カメラか据置カメラによってカメラ位置画像情報の表示形態を変更する、
     請求項1に記載の表示画像切替装置。
  12.  複数のカメラのうち、第1のカメラによって撮像された画像を表示させる画像選択ステップと、
     前記表示された画像の中から対象を選択する対象選択ステップと、
     前記複数のカメラから、選択された前記対象を撮影しているカメラを第2のカメラとして抽出するカメラ抽出ステップと、
     前記第2のカメラの位置を算出するカメラ位置算出ステップと、
     前記第2のカメラの位置を示し選択可能なカメラ位置画像情報を生成するカメラ位置画像情報生成ステップと、
     を具備し、
     前記カメラ位置画像情報生成ステップは、前記カメラ位置画像情報を前記画像選択ステップで選択されている画像と関連付けて表示し、
     前記画像選択ステップは、前記カメラ位置画像情報が選択された場合、前記第2のカメラによって撮影された画像を表示する、
     表示画像切替方法。
  13.  コンピュータに、
     複数のカメラのうち、第1のカメラによって撮像された画像を表示させる画像選択ステップと、
     前記表示された画像の中から対象を選択する対象選択ステップと、
     前記複数のカメラから、選択された前記対象を撮影しているカメラを第2のカメラとして抽出するカメラ抽出ステップと、
     前記第2のカメラの位置を算出するカメラ位置算出ステップと、
     前記第2のカメラの位置を示し選択可能なカメラ位置画像情報を生成するカメラ位置画像情報生成ステップと、
     を実行させる表示画像切替プログラムであって、
     前記カメラ位置画像情報生成ステップは、前記カメラ位置画像情報を前記画像選択ステップで選択されている画像と関連付けて表示するものであり、
     前記画像選択ステップは、前記カメラ位置画像情報が選択された場合、前記第2のカメラによって撮影された画像を表示するものである、
     表示画像切替プログラム。
PCT/JP2010/006245 2009-10-27 2010-10-21 表示画像切替装置及び表示方法 WO2011052165A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/503,763 US10264220B2 (en) 2009-10-27 2010-10-21 Display image switching device and display method
EP10826302.1A EP2495970B1 (en) 2009-10-27 2010-10-21 Display image switching device and display method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-246954 2009-10-27
JP2009246954 2009-10-27
JP2010044182A JP4547040B1 (ja) 2009-10-27 2010-03-01 表示画像切替装置及び表示画像切替方法
JP2010-044182 2010-03-01

Publications (1)

Publication Number Publication Date
WO2011052165A1 true WO2011052165A1 (ja) 2011-05-05

Family

ID=42978686

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006245 WO2011052165A1 (ja) 2009-10-27 2010-10-21 表示画像切替装置及び表示方法

Country Status (4)

Country Link
US (1) US10264220B2 (ja)
EP (1) EP2495970B1 (ja)
JP (1) JP4547040B1 (ja)
WO (1) WO2011052165A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8193909B1 (en) * 2010-11-15 2012-06-05 Intergraph Technologies Company System and method for camera control in a surveillance system
JP5942270B2 (ja) 2011-01-11 2016-06-29 パナソニックIpマネジメント株式会社 撮影システム及びそれに用いるカメラ制御装置、撮影方法及びカメラ制御方法、並びにコンピュータプログラム
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックIpマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
JP6149400B2 (ja) * 2012-12-28 2017-06-21 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP6249202B2 (ja) * 2013-05-10 2017-12-20 ソニー株式会社 画像表示装置、画像表示方法、およびプログラム
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
WO2016002408A1 (ja) 2014-06-30 2016-01-07 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US10250813B2 (en) * 2014-09-03 2019-04-02 Fuji Xerox Co., Ltd. Methods and systems for sharing views
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
JP5849195B1 (ja) * 2014-12-26 2016-01-27 パナソニックIpマネジメント株式会社 ウェアラブルカメラシステム及び撮像方法
US9661283B2 (en) 2014-12-24 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Wearable camera
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
JP6639091B2 (ja) * 2015-02-12 2020-02-05 キヤノン株式会社 表示制御装置及び表示制御方法
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
EP3116212B1 (en) 2015-07-06 2023-04-19 Nokia Technologies Oy Transition from display of first camera information to display of second camera information
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
JP6741009B2 (ja) 2015-09-01 2020-08-19 日本電気株式会社 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
JP6612724B2 (ja) * 2016-12-09 2019-11-27 株式会社日立ビルシステム 映像監視システム及び監視映像表示方法
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
JP6877173B2 (ja) * 2017-02-20 2021-05-26 セコム株式会社 監視支援装置及び監視システム
GB2563087A (en) * 2017-06-04 2018-12-05 Lynch Paul Methods, systems and devices for image acquisition
JP6881193B2 (ja) * 2017-09-28 2021-06-02 沖電気工業株式会社 情報処理装置、情報処理方法、プログラム、表示制御装置、表示制御方法、プログラムおよび情報処理システム
JPWO2020202756A1 (ja) * 2019-03-29 2020-10-08
US20230056155A1 (en) * 2020-01-31 2023-02-23 Nec Corporation Information processing apparatus, information processing method, and storage medium
WO2022220065A1 (ja) * 2021-04-14 2022-10-20 キヤノン株式会社 撮像装置、制御方法およびプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000307928A (ja) 1999-04-16 2000-11-02 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2001008194A (ja) * 1999-06-18 2001-01-12 Hitachi Ltd 監視システム
JP2002152713A (ja) * 2000-11-10 2002-05-24 Sony Corp 被写体情報処理装置、被写体情報処理方法
JP2004056664A (ja) 2002-07-23 2004-02-19 Ntt Data Corp 共同撮影システム
JP3679620B2 (ja) 1998-09-03 2005-08-03 キヤノン株式会社 撮像装置の遠隔制御装置、撮像システム、および撮像装置の遠隔制御方法
JP2007523545A (ja) 2004-02-19 2007-08-16 セーフカム ピーティーワイ. リミテッド カメラシステム
JP2008244946A (ja) * 2007-03-28 2008-10-09 Sony Corp 画像表示装置、画像表示制御方法、プログラムおよび監視カメラシステム
JP2009060201A (ja) * 2007-08-30 2009-03-19 Panasonic Corp マルチ画面監視システム
JP2009246954A (ja) 2008-02-22 2009-10-22 Nec Tokin Corp 受話装置
JP2010044182A (ja) 2008-08-12 2010-02-25 Seiko Epson Corp 電気光学装置の製造方法、電気光学装置及び電子機器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007329390B2 (en) 2006-12-04 2012-03-29 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
CA2699544A1 (en) 2007-09-23 2009-03-26 Honeywell International Inc. Dynamic tracking of intruders across a plurality of associated video screens
US8270767B2 (en) * 2008-04-16 2012-09-18 Johnson Controls Technology Company Systems and methods for providing immersive displays of video camera information from a plurality of cameras

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679620B2 (ja) 1998-09-03 2005-08-03 キヤノン株式会社 撮像装置の遠隔制御装置、撮像システム、および撮像装置の遠隔制御方法
JP2000307928A (ja) 1999-04-16 2000-11-02 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2001008194A (ja) * 1999-06-18 2001-01-12 Hitachi Ltd 監視システム
JP2002152713A (ja) * 2000-11-10 2002-05-24 Sony Corp 被写体情報処理装置、被写体情報処理方法
JP2004056664A (ja) 2002-07-23 2004-02-19 Ntt Data Corp 共同撮影システム
JP2007523545A (ja) 2004-02-19 2007-08-16 セーフカム ピーティーワイ. リミテッド カメラシステム
JP2008244946A (ja) * 2007-03-28 2008-10-09 Sony Corp 画像表示装置、画像表示制御方法、プログラムおよび監視カメラシステム
JP2009060201A (ja) * 2007-08-30 2009-03-19 Panasonic Corp マルチ画面監視システム
JP2009246954A (ja) 2008-02-22 2009-10-22 Nec Tokin Corp 受話装置
JP2010044182A (ja) 2008-08-12 2010-02-25 Seiko Epson Corp 電気光学装置の製造方法、電気光学装置及び電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2495970A4

Also Published As

Publication number Publication date
US10264220B2 (en) 2019-04-16
JP4547040B1 (ja) 2010-09-22
EP2495970B1 (en) 2015-06-24
EP2495970A4 (en) 2013-04-17
JP2012156571A (ja) 2012-08-16
EP2495970A1 (en) 2012-09-05
US20120206607A1 (en) 2012-08-16

Similar Documents

Publication Publication Date Title
JP4547040B1 (ja) 表示画像切替装置及び表示画像切替方法
US9836886B2 (en) Client terminal and server to determine an overhead view image
KR101695249B1 (ko) 감시 영상 표시 방법 및 시스템
JP5571498B2 (ja) 周囲情報検索装置及び周囲情報検索方法
TW201350912A (zh) 資訊處理裝置,資訊處理系統及資訊處理方法
CN105898208B (zh) 监控系统、监控摄像机和图像处理方法
JP2011239361A (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
WO2012081319A1 (ja) 映像監視装置
CN110941375A (zh) 对图像进行局部放大的方法、装置及存储介质
JP6686547B2 (ja) 画像処理システム、プログラム、画像処理方法
US20160205355A1 (en) Monitoring installation and method for presenting a monitored area
JP6396682B2 (ja) 監視カメラシステム
JP5677055B2 (ja) 監視映像表示装置
JP5786411B2 (ja) 情報処理システム、検索装置、及びプログラム
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
US20110298930A1 (en) Integrated Wireless Location and Surveillance System
JP2019009562A (ja) 監視映像表示システム、監視映像表示装置、監視情報管理サーバ、および、監視映像表示方法
US20190124298A1 (en) Image-providing system, image-providing method, and program
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
US10469673B2 (en) Terminal device, and non-transitory computer readable medium storing program for terminal device
CN114600162A (zh) 用于捕捉摄像机图像的场景锁定模式
JP2014225782A (ja) 情報処理装置、通信端末およびデータ取得方法
JP2006121580A (ja) 画像処理装置
KR101810673B1 (ko) 촬상 위치 정보를 결정하는 방법 및 이러한 방법을 수행하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10826302

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13503763

Country of ref document: US

Ref document number: 2010826302

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP