JP6686547B2 - Image processing system, program, image processing method - Google Patents

Image processing system, program, image processing method Download PDF

Info

Publication number
JP6686547B2
JP6686547B2 JP2016043293A JP2016043293A JP6686547B2 JP 6686547 B2 JP6686547 B2 JP 6686547B2 JP 2016043293 A JP2016043293 A JP 2016043293A JP 2016043293 A JP2016043293 A JP 2016043293A JP 6686547 B2 JP6686547 B2 JP 6686547B2
Authority
JP
Japan
Prior art keywords
area
image
coordinates
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016043293A
Other languages
Japanese (ja)
Other versions
JP2017163195A (en
Inventor
聖 三井
聖 三井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016043293A priority Critical patent/JP6686547B2/en
Priority to US15/446,125 priority patent/US10652459B2/en
Publication of JP2017163195A publication Critical patent/JP2017163195A/en
Priority to US16/838,341 priority patent/US11134193B2/en
Application granted granted Critical
Publication of JP6686547B2 publication Critical patent/JP6686547B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理システム、プログラム及び画像処理方法に関する。   The present invention relates to an image processing system, a program, and an image processing method.

来客者の行動を小売店の店長等が分析して店舗運営や商品企画等に反映させることが従来から行われている。解析には例えば店舗内に設置されたカメラの映像が利用され、店長などは店舗内の映像を見て来客者がどのように移動するか、どの場所に滞留するかなどを把握する。これにより、来客者の動線や興味を引きやすい商品や展示方法が分かるため店舗運営や商品企画等に反映させることができる。   It has been conventionally practiced that the manager of a retail store analyzes the behavior of the visitor and reflects it on the store operation and product planning. For example, an image of a camera installed in the store is used for the analysis, and the store manager or the like looks at the image in the store to understand how the visitor moves, where to stay, and the like. As a result, it is possible to understand the flow line of the visitor, the product that is easily attracted to the visitor, and the display method.

単に店内の各場所の映像を提供するだけでなく、カメラと画像処理技術を組み合わせることで映像を加工して店長等が分析しやすい情報を出力する監視システムが考案されている(例えば、特許文献1参照。)。特許文献1には、店舗エリア内を細分化して複数のサブエリアを形成し、動線データベース内の各動線データから指定されたサブエリアを通過した人物の動線データを抽出する人物行動分析装置が開示されている。   A monitoring system has been devised that not only provides images of each location in the store but also processes images by combining a camera and image processing technology and outputs information that a store manager or the like can easily analyze. See 1.). In Patent Document 1, a person behavior analysis is performed in which the shop area is subdivided to form a plurality of sub-areas, and the flow line data of a person who has passed through the specified sub-area is extracted from each flow line data in the flow line database. A device is disclosed.

このように映像から人を検知すれば、人の検知結果をヒートマップ(対象をマスに区切り、各マスの注目度に応じてマスの表示色を変更する分析方法)などの分布表現に変換して元の映像に付加するといった活用も可能になる。   If a person is detected from the image in this way, the detection result of the person is converted into a distribution expression such as a heat map (an analysis method that divides the target into squares and changes the display color of the square according to the degree of attention of each square). It is also possible to use it by adding it to the original video.

ところで、監視カメラに広角な画角の広角カメラを採用することで一台のカメラで広い場所をカバーできるため、コスト増を抑制できる。このため、監視カメラとして広角カメラが採用される場合が増えてきている。   By adopting a wide-angle camera with a wide angle of view as the surveillance camera, a single camera can cover a wide area, and thus an increase in cost can be suppressed. Therefore, a wide-angle camera is increasingly used as a surveillance camera.

しかしながら、画角が広い広角画像で例えばヒートマップ等の分布表現を行っても所望の情報が得られない場合がある。例えば、天井には人が存在しないが広角画像に天井が映っている場合、天井を含めてヒートマップが作成されてしまう。この場合、天井に比べて通路の方が遙かに人が検知されやすいため(例えば通路だけが真っ赤になる)、ヒートマップにより天井に人がいないことは分かっても、通路のどこにどのくらいの人がいるかという本来知りたい情報が得られない。   However, there are cases where desired information cannot be obtained even if a distribution expression such as a heat map is performed on a wide-angle image having a wide angle of view. For example, when there are no people on the ceiling but the ceiling is reflected in the wide-angle image, a heat map including the ceiling is created. In this case, people are much more likely to be detected in the aisle than in the ceiling (for example, only the aisle becomes bright red), so even if the heat map shows that there are no people on the ceiling, how many people are in the aisle I can't get the information I really want to know about

そこで、広角画像に店長等がエリアを設定してこのエリア内の人などを検知することが考えられる。しかし、広角画像は立体的に歪曲しており、店長等がこの広角画像を見て分析するのに対し、人の検知などの画像解析は広角画像が平面画像に変換された状態で行われるため、人の検知結果を設定されたエリアに適用することが困難であるという問題があった。   Therefore, it is conceivable that the store manager or the like sets an area in the wide-angle image and detects a person or the like in this area. However, the wide-angle image is distorted three-dimensionally, and while store managers etc. look at this wide-angle image and analyze it, image analysis such as human detection is performed while the wide-angle image is converted into a flat image. However, there is a problem that it is difficult to apply the human detection result to the set area.

本発明は、上記課題に鑑み、広角画像に対し付加的な情報を付加できる画像処理システムを提供することを目的とする。   In view of the above problems, it is an object of the present invention to provide an image processing system that can add additional information to a wide-angle image.

本発明は、1つ以上の情報処理装置を含む画像処理システムであって、所定よりも画角が広い広角画像を表示装置に表示する表示手段と、前記表示装置に表示された前記広角画像の領域の指定を受け付ける受付手段と、前記表示装置における前記領域の座標を前記広角画像が解析される際の平面画像の座標に変換する座標変換手段と、前記平面画像の解析結果が有する座標と前記座標変換手段により変換された領域の座標を比較した結果に基づいて、前記領域に関する情報を作成する解析手段と、を有する。 The present invention is an image processing system including one or more information processing devices, the display device displaying a wide-angle image having a wider angle of view than a predetermined value on a display device, and the wide-angle image displayed on the display device. Receiving means for accepting designation of a region, coordinate transforming means for transforming coordinates of the region in the display device into coordinates of a plane image when the wide-angle image is analyzed, coordinates included in an analysis result of the plane image, and Analysis means for creating information on the area based on the result of comparing the coordinates of the area converted by the coordinate conversion means .

広角画像に対し付加的な情報を付加できる画像処理システムを提供することができる。   An image processing system that can add additional information to a wide-angle image can be provided.

画像処理システムによる処理の概略を説明する図の一例である。It is an example of a diagram for explaining an outline of processing by the image processing system. 画像処理システムの概略構成図の一例である。It is an example of a schematic configuration diagram of an image processing system. 撮像装置のハードウェア構成図の一例である。It is an example of the hardware block diagram of an imaging device. 無線通信機能を有したクレードルの場合の通信端末のハードウェア構成図の一例である。It is an example of a hardware configuration diagram of a communication terminal in the case of a cradle having a wireless communication function. 画像管理装置及び情報端末のハードウェア構成図の一例である。It is an example of a hardware configuration diagram of an image management device and an information terminal. 画像処理システムの一部を構成する、撮像装置、通信端末、画像管理装置、及び情報端末の各機能ブロック図の一例である。It is an example of each functional block diagram of an imaging device, a communication terminal, an image management device, and an information terminal which constitute a part of image processing system. 閲覧者Yがエリアを登録するために操作するポインティングデバイスの軌跡を説明する図の一例であるIt is an example of a diagram for explaining the trajectory of the pointing device operated by the viewer Y to register the area. 全天球画像が処理される各フェーズの画像の形態と座標の変換を説明する図の一例である。It is an example of the figure explaining the form of the image of each phase in which a spherical image is processed, and conversion of coordinates. 閲覧者が指定したエリアを情報端末が画像管理装置に登録する手順を示すフローチャート図の一例であるIt is an example of a flowchart showing a procedure for an information terminal to register an area designated by a viewer in an image management apparatus. 終了点が平面画像の端部を跨ぐエリアを説明する図の一例である。FIG. 6 is an example of a diagram illustrating an area in which an end point straddles an end of a planar image. 画像管理装置のエリア検査部がエリアを検査する手順を示すフローチャート図の一例である。It is an example of a flow chart showing a procedure for an area inspection unit of the image management device to inspect an area. エリアと人検知エリアを説明する図の一例である。It is an example of the figure explaining an area and a person detection area. 画像管理装置がエリアを表示するための処理手順を示すフローチャート図の一例である。It is an example of a flow chart showing the processing procedure for the image management device to display the area. エリアの登録時に情報端末がディスプレイに表示するエリア登録画面の一例である。It is an example of an area registration screen displayed on the display by the information terminal when the area is registered. エリアの登録例を説明する図の一例である。It is an example of a diagram illustrating an example of registration of the area. エリアの関連付けを説明する図の一例である。It is an example of a diagram for explaining the association of areas. エリア表示画面の一例を示す図である。It is a figure which shows an example of an area display screen. 他方のエリアに包含されたエリアの表示例を示す図である。It is a figure which shows the example of a display of the area included in the other area. エリアの検査結果を説明する図の一例である。It is an example of a diagram for explaining the inspection result of the area.

以下、本発明を実施するための形態について図面を参照しながら説明する。
図1は、本実施形態の画像処理システムによる処理の概略を説明する図の一例である。画像処理システムは周囲の360°の画角を撮像可能な撮像装置を有している。この撮像装置が撮像した画像を全天球画像と称することにする。
Hereinafter, modes for carrying out the present invention will be described with reference to the drawings.
FIG. 1 is an example of a diagram for explaining an outline of processing by the image processing system of the present embodiment. The image processing system has an image pickup device capable of picking up an image of a 360 ° field of view. An image captured by this image capturing device will be referred to as a spherical image.

(1)図1(a)に示すように閲覧者は情報端末7を操作して全天球画像10を回転、拡大、縮小などして全天球画像10の所望の表示範囲640を閲覧できる。全天球画像10は球体なのでこの表示範囲640は厳密には三次元に湾曲しているが、表示範囲640は全天球画像10のごく一部なのでほとんど気にならない。閲覧者は全天球画像10を平面画像に変換していない状態で、全天球画像10から任意のエリア602を指定する。このエリア602の例えば対角頂点は画面上の座標(以下、スクリーン座標という)で特定される。   (1) As shown in FIG. 1A, a viewer can operate the information terminal 7 to rotate, enlarge, or reduce the spherical image 10 to browse a desired display range 640 of the spherical image 10. . Since the spherical image 10 is a sphere, the display range 640 is strictly curved three-dimensionally, but since the display range 640 is a small part of the spherical image 10, it is hardly noticeable. The viewer designates an arbitrary area 602 from the omnidirectional image 10 while the omnidirectional image 10 has not been converted into a planar image. For example, diagonal vertices of this area 602 are specified by coordinates on the screen (hereinafter referred to as screen coordinates).

(2)図1(b)に示すように、情報端末7は、エリア602を示すスクリーン座標をワールド座標系(三次元座標)に変換する。これは、画面は二次元であるが閲覧者Yが指し示すエリア602は曲面に映っているため、この曲面におけるエリア602の位置を精度よく特定するためである。   (2) As shown in FIG. 1B, the information terminal 7 converts the screen coordinates indicating the area 602 into the world coordinate system (three-dimensional coordinates). This is because, although the screen is two-dimensional, the area 602 pointed to by the viewer Y is reflected on a curved surface, and therefore the position of the area 602 on this curved surface is accurately specified.

(3)図1(c)に示すように、情報端末7はエリア602の三次元座標を二次元座標に変換する。この二次元座標は、平面画像に全天球画像が変換される前の座標系における座標である。したがって、平面画像11におけるエリア602の位置が特定される。   (3) As shown in FIG. 1C, the information terminal 7 converts the three-dimensional coordinates of the area 602 into two-dimensional coordinates. The two-dimensional coordinates are coordinates in the coordinate system before the spherical image is converted into the plane image. Therefore, the position of the area 602 in the planar image 11 is specified.

平面画像11は人検知の解析の際に使用される画像であり、人が検知された人検知エリア(対象領域)も平面画像11の二次元座標で特定されている。したがって、人検知エリアと閲覧者が設定したエリア602を同じ座標系で扱うことが可能になり、人検知エリアと設定されたエリアの相対位置によってエリアに人が存在したか否かが判断される。   The plane image 11 is an image used when analyzing the person detection, and the person detection area (target area) in which the person is detected is also specified by the two-dimensional coordinates of the plane image 11. Therefore, it becomes possible to handle the human detection area and the area 602 set by the viewer in the same coordinate system, and it is determined whether or not a person exists in the area based on the relative position of the human detection area and the set area. .

また、再度、情報端末7がエリア602を表示する際は、エリア602の座標が全天球画像10と同じ三次元座標に変換されるので、閲覧者Yが設定したエリア602が設定時と同じように表示される。   Further, when the information terminal 7 displays the area 602 again, the coordinates of the area 602 are converted into the same three-dimensional coordinates as the omnidirectional image 10, so that the area 602 set by the viewer Y is the same as that at the time of setting. Is displayed.

このように本実施形態の画像処理システムは、全天球画像10を撮像する撮像装置を使用することでコスト増を抑制できる。また、全天球画像10のように広い画像データに閲覧者が任意にエリア602を設定するので天井などを検知対象から除外できる。全天球画像10のように歪曲した画像データにエリア602が設定されても、人検知などの解析(画像処理)が行われる平面画像11の座標系にエリア602の座標が変換されるので、人検知等の解析結果を設定されたエリア602に適用しやすくなる。   As described above, the image processing system according to the present embodiment can suppress the cost increase by using the imaging device that captures the spherical image 10. Further, since the viewer arbitrarily sets the area 602 in wide image data such as the spherical image 10, the ceiling or the like can be excluded from the detection target. Even if the area 602 is set in the distorted image data like the omnidirectional image 10, the coordinates of the area 602 are converted to the coordinate system of the planar image 11 in which analysis (image processing) such as human detection is performed. It becomes easy to apply the analysis result such as human detection to the set area 602.

<用語について>
所定よりも画角が広い広角画像とは、少なくとも通常の撮像装置(例えば35mmフィルムのカメラ)の画角よりも広い画角の画像をいう。あるいは、魚眼レンズで撮像されている画像のように湾曲した画像をいう。好ましくは水平方向に360°上下方向に180°の画角を有するが必ずしも水平方向に360°上下方向に180°の画角を有さなくてもよい。本実施形態では一例として全天球画像を用いて説明する。
<About terms>
The wide-angle image having a wider angle of view than a predetermined angle means an image having a wider angle of view than at least the angle of view of a normal image pickup device (for example, a camera of 35 mm film). Alternatively, it refers to an image that is curved like an image captured by a fisheye lens. Preferably, the angle of view is 360 ° in the horizontal direction and 180 ° in the vertical direction, but the angle of view is not necessarily 360 ° in the horizontal direction and 180 ° in the vertical direction. In the present embodiment, a spherical image will be used as an example for description.

なお、撮像装置1は当初、平面画像を出力するが、閲覧時には全天球に平面画像が貼り付けられ全天球画像10が作成されている。本実施形態ではエリアの指定後エリアが平面画像の座標に変換される。   Note that the imaging device 1 initially outputs a planar image, but the planar image is attached to the spherical image at the time of browsing to create the spherical image 10. In this embodiment, the area after designation of the area is converted into the coordinates of the planar image.

領域とは広角画像内の一部をいう。エリア、区域又は範囲と称されてもよい。領域はどのような形状でもよい。本実施形態ではエリアという用語で説明する。   The area is a part of the wide-angle image. It may also be referred to as an area, zone or range. The region may have any shape. In this embodiment, the term “area” will be used.

広角画像が解析されるとは、広角画像に対し何らかの画像解析が行われることをいう。画像解析とは対象の検知や認識である。また、対象とは全天球画像に撮像されている被写体である。閲覧者が中止する被写体が対象となりうる。また、対象とは全天球画像に映っていたりいなかったりする場合があるため移動可能であるか又は可搬性があるものである。また、対象とはドアのように形状が変化したり、ランプのように点灯又は消灯してその状態が変化するものである。本実施形態では一例として対象が人(歩行者)であるとして説明する。   The analysis of the wide-angle image means that some image analysis is performed on the wide-angle image. Image analysis is the detection and recognition of objects. Further, the target is a subject imaged in the spherical image. The subject that the viewer cancels may be the target. Further, the target is movable or portable because it may or may not be reflected in the spherical image. In addition, the object is something whose shape changes like a door, and whose state changes by turning on or off like a lamp. In the present embodiment, as an example, the target will be described as a person (pedestrian).

領域(エリア)に関する情報とは、広角画像の解析結果に基づいて作成される領域(エリア)の情報をいう。広角画像の解析結果が対象の検知結果である場合、領域(エリア)に関する情報は対象の有無に関する情報である。また、広角画像の解析結果が対象の動作内容である場合、領域(エリア)に関する情報は対象がどのような動作をしているかに関する情報である。広角画像の解析結果が対象の状態である場合、領域(エリア)に関する情報は対象の状態に関する情報である。また、領域(エリア)に関する情報は広角画像の解析結果が加工されたものでもよい。例えば、一定期間の広角画像の解析結果がある場合、領域(エリア)に関する情報は対象が検知された回数、頻度、状態が変化した回数や頻度などが加工された情報となる。   The information on the area (area) means information on the area (area) created based on the analysis result of the wide-angle image. When the analysis result of the wide-angle image is the detection result of the target, the information on the area (area) is the information on the presence or absence of the target. Further, when the analysis result of the wide-angle image is the operation content of the target, the information about the area is information about how the target is performing. When the analysis result of the wide-angle image is the target state, the information about the area is the information about the target state. Further, the information regarding the area may be information obtained by processing the analysis result of the wide-angle image. For example, when there is a wide-angle image analysis result for a certain period of time, the information regarding the area is information obtained by processing the number of times the target is detected, the frequency, the number of times the state has changed, and the like.

<画像処理システムのシステム構成>
図2は、画像処理システム200の概略構成図の一例である。画像処理システム200は、通信ネットワーク9を介して接続された画像管理装置5、撮像装置1、通信端末3、及び、情報端末7を有している。撮像装置1は設置者Xにより店舗内に設置されている。情報端末7は閲覧者Yにより操作される。
<System configuration of image processing system>
FIG. 2 is an example of a schematic configuration diagram of the image processing system 200. The image processing system 200 includes an image management device 5, an imaging device 1, a communication terminal 3, and an information terminal 7, which are connected via a communication network 9. The image pickup apparatus 1 is installed in the store by the installer X. The information terminal 7 is operated by the viewer Y.

通信ネットワーク9は、店舗内や閲覧者Yの所属先の企業のLAN、LANをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等の少なくとも1つを含んで構築されている。通信端末3や情報端末7がLANを介さずに直接、回線電話網や携帯電話網に接続する場合は、LANを介さずにプロバイダネットワークに接続することができる。また、通信ネットワークにはWANやインターネットが含まれる。通信ネットワークは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。   The communication network 9 is constructed to include at least one of a LAN of a company to which the viewer Y belongs, a provider network of a provider connecting the LAN to the Internet, and a line provided by a line operator. There is. When the communication terminal 3 and the information terminal 7 are directly connected to the line telephone network or the mobile telephone network without going through the LAN, they can be connected to the provider network without going through the LAN. The communication network includes WAN and Internet. The communication network may be constructed by either wired or wireless, or may be a combination of wired and wireless.

撮像装置1は、上記のように1度の撮像で周囲360度を撮像し全天球画像を作成するカメラである。デジタルスチルカメラ又はデジタルビデオカメラと呼ばれる場合がある。また、通信端末3にカメラが付いている場合は、通信端末3がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために撮像装置1は全天球画像を得るためのデジタルカメラとして説明を行う。撮像装置1は定期的に周囲360を撮像する。必ずしも定期的である必要はなく、不定期に撮像してもよいし、設置者Xの操作により撮像してもよいし、閲覧者Yが画像管理装置5に要求することで画像管理装置5からの命令で撮像してもよい。   The image capturing apparatus 1 is a camera that captures 360 degrees of surroundings by one-time imaging as described above and creates a spherical image. It may be called a digital still camera or a digital video camera. When the communication terminal 3 has a camera, the communication terminal 3 can be a digital camera. In the present embodiment, in order to make the description easy to understand, the image pickup apparatus 1 will be described as a digital camera for obtaining a spherical image. The imaging device 1 periodically images the surrounding 360. The image management device 5 does not necessarily have to be periodic, and may be imaged irregularly, may be imaged by the operation of the installer X, or the viewer Y may request the image management device 5 so that the image management device 5 transmits the image. The image may be picked up by the command.

なお、撮像装置1は、視線が異なる何枚かの風景を自動的に撮像し、複数の画像データを合成することで全天球画像を作成してもよい。   Note that the image capturing apparatus 1 may automatically capture a number of landscapes with different lines of sight and create a spherical image by combining a plurality of image data.

通信端末3は、撮像装置1の代わりに通信ネットワーク9に接続する通信機能を有している。通信端末3は、撮像装置1への電力供給や店舗への固定を行うためのクレードル(Cradle)である。クレードルとは、撮像装置1の機能を拡張する拡張機器をいう。通信端末3は撮像装置1と接続するためのインタフェースを有し、これにより撮像装置1は通信端末3の機能を利用できる。通信端末3は、このインタフェースを介して撮像装置1とデータ通信を行なう。そして、無線ルータ9a及び通信ネットワーク9を介して画像管理装置5とデータ通信を行なう。   The communication terminal 3 has a communication function of connecting to the communication network 9 instead of the imaging device 1. The communication terminal 3 is a cradle for supplying power to the image pickup apparatus 1 and fixing it to a store. The cradle is an expansion device that expands the function of the image pickup apparatus 1. The communication terminal 3 has an interface for connecting to the imaging device 1, and thus the imaging device 1 can use the function of the communication terminal 3. The communication terminal 3 performs data communication with the imaging device 1 via this interface. Then, data communication is performed with the image management device 5 via the wireless router 9a and the communication network 9.

なお、撮像装置1が無線ルータ9aや通信ネットワーク9と直接、データ通信する機能を有する場合、通信端末3はなくてもよい。あるいは、撮像装置1と通信端末3が一体に構成されていてもよい。   If the imaging device 1 has a function of directly performing data communication with the wireless router 9a or the communication network 9, the communication terminal 3 may be omitted. Alternatively, the imaging device 1 and the communication terminal 3 may be integrally configured.

画像管理装置5は、例えば、サーバとして機能する情報処理装置であり、通信ネットワーク9を介して、通信端末3及び情報端末7とデータ通信を行なうことができる。画像管理装置5には、OpenGL ES(3Dグラフィックス用のAPI:Application Interface)がインストールされている。OpenGL ESを呼び出すことでメルカトル画像から全天球画像を作成したり、全天球画像の一部の画像(所定領域画像)のサムネイル画像を作成したりすることができる。   The image management device 5 is, for example, an information processing device that functions as a server, and can perform data communication with the communication terminal 3 and the information terminal 7 via the communication network 9. The image management apparatus 5 has OpenGL ES (API: Application Interface for 3D graphics) installed. By calling OpenGL ES, you can create a spherical image from a Mercator image or a thumbnail image of a part of the spherical image (predetermined area image).

なお、画像管理装置5にはクラウドコンピューティングが適用されていることが好ましい。クラウドコンピューティングの物理的な構成に厳密な定義はないが、情報処理装置を構成するCPU、RAM、ストレージなどのリソースが負荷に応じて動的に接続・切断されることで情報処理装置の構成や設置場所が柔軟に変更される構成が知られている。また、クラウドコンピューティングでは、画像管理装置5が仮想化されることが一般的である。1台の情報処理装置が仮想化によって複数の画像管理装置5としての機能を提供することや、複数の情報処理装置が仮想化によって一台の画像管理装置5としての機能を提供することができる。なお、画像管理装置5がクラウドコンピューティングとしてではなく単独の情報処理装置により提供されることも可能である。   Note that it is preferable that cloud computing is applied to the image management device 5. Although there is no strict definition in the physical configuration of cloud computing, the configuration of the information processing device is configured by dynamically connecting / disconnecting resources such as CPU, RAM, and storage that configure the information processing device according to the load. It is known that the installation location can be changed flexibly. In cloud computing, the image management device 5 is generally virtualized. One information processing device can provide the function as a plurality of image management devices 5 by virtualization, or a plurality of information processing devices can provide the function as one image management device 5 by virtualization. . The image management device 5 may be provided by a single information processing device instead of cloud computing.

情報端末7は、例えば、ノートPC(Personal Computer)であり、通信ネットワーク9を介して、画像管理装置5とデータ通信を行う。情報端末7は、ノートPCの他、タブレット端末、PC、PDA(Personal Digital Assistant)、電子黒板、テレビ会議端末、ウェアラブルPC、ゲーム機、携帯電話、カーナビゲーションシステム、スマートフォンなどでもよい。また、これらに限られるものではない。   The information terminal 7 is, for example, a notebook PC (Personal Computer), and performs data communication with the image management device 5 via the communication network 9. The information terminal 7 may be a notebook PC, a tablet terminal, a PC, a PDA (Personal Digital Assistant), an electronic blackboard, a video conference terminal, a wearable PC, a game machine, a mobile phone, a car navigation system, a smartphone, or the like. Moreover, it is not limited to these.

撮像装置1、通信端末3、及び無線ルータ9aは、店舗等の各販売拠点で設置者Xによって所定の位置に設置される。情報端末7は、各販売拠点を統括する本社等に設置され、画像管理装置5を介して送られて来る各拠点の状況を表した画像を表示することで、閲覧者Yが各拠点の状況を表した画像を閲覧することができる。ただし、情報端末7は本社以外の場所からも画像管理装置5と通信可能である。   The imaging device 1, the communication terminal 3, and the wireless router 9a are installed at predetermined positions by the installer X at each sales base such as a store. The information terminal 7 is installed in a head office or the like that controls each sales base, and displays an image showing the status of each base sent via the image management device 5, so that the viewer Y can display the status of each base. You can browse the image showing. However, the information terminal 7 can communicate with the image management device 5 from a place other than the head office.

<実施形態のハードウェア構成>
次に、図3〜図5を用いて、本実施形態の撮像装置1、通信端末3,情報端末7及び画像管理装置5のハードウェア構成を説明する。
<Hardware configuration of the embodiment>
Next, the hardware configurations of the imaging device 1, the communication terminal 3, the information terminal 7, and the image management device 5 according to the present embodiment will be described with reference to FIGS. 3 to 5.

<<撮像装置>>
図3は、撮像装置1のハードウェア構成図の一例である。以下では、撮像装置1は、2つの撮像素子を使用した全方位撮像装置とするが、撮像素子は3つ以上でもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置1と同じ機能を有するようにしてもよい。
<< Imaging device >>
FIG. 3 is an example of a hardware configuration diagram of the image pickup apparatus 1. In the following, the image pickup apparatus 1 is an omnidirectional image pickup apparatus using two image pickup elements, but the number of image pickup elements may be three or more. Further, the device does not necessarily have to be a device dedicated to the omnidirectional image pickup, and may have the same function as that of the image pickup device 1 by attaching an omnidirectional image pickup unit which is attached later to an ordinary digital camera, a smartphone or the like. .

図3に示されているように、撮像装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、及びアンテナ117aによって構成されている。   As shown in FIG. 3, the image pickup apparatus 1 includes an image pickup unit 101, an image processing unit 104, an image pickup control unit 105, a microphone 108, a sound processing unit 109, a CPU (Central Processing Unit) 111, and a ROM (Read Only Memory). ) 112, SRAM (Static Random Access Memory) 113, DRAM (Dynamic Random Access Memory) 114, operation unit 115, network I / F 116, communication unit 117, and antenna 117a.

このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。   Of these, the image pickup unit 101 includes wide-angle lenses (so-called fish-eye lenses) 102a and 102b each having a field angle of 180 ° or more for forming a hemispherical image, and two image pickups provided corresponding to the respective wide-angle lenses. It has elements 103a and 103b. The image pickup devices 103a and 103b are image sensors such as a CMOS (Complementary Metal Oxide Semiconductor) sensor and a CCD (Charge Coupled Device) sensor that convert an optical image formed by a fish-eye lens into image data of an electric signal and output the image data. It has a timing generation circuit for generating a vertical synchronizing signal, a pixel clock, etc., a register group for setting various commands and parameters necessary for the operation of this image sensor, and the like.

撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とはパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。更に、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。   The image pickup devices 103a and 103b of the image pickup unit 101 are each connected to the image processing unit 104 by a parallel I / F bus. On the other hand, the image pickup devices 103a and 103b of the image pickup unit 101 are connected by a serial I / F bus (I2C bus or the like) separately from the image pickup control unit 105. The image processing unit 104 and the imaging control unit 105 are connected to the CPU 111 via the bus 110. Further, the bus 110 is also connected to the ROM 112, SRAM 113, DRAM 114, operation unit 115, network I / F 116, communication unit 117, electronic compass 118, and the like.

画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、いわゆるメルカトル画像のデータを作成する。   The image processing unit 104 takes in image data output from the image pickup devices 103a and 103b through a parallel I / F bus, performs a predetermined process on each image data, and then performs a combining process on these image data. , Create so-called Mercator image data.

撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、該撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。   The image capturing control unit 105 generally sets the image capturing control unit 105 as a master device and the image capturing elements 103a and 103b as slave devices, and sets a command or the like in a register group of the image capturing elements 103a and 103b using the I2C bus. Necessary commands and the like are received from the CPU 111. Further, the imaging control unit 105 also uses the I2C bus to fetch status data and the like of the register group of the imaging elements 103a and 103b and send it to the CPU 111.

また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮像装置1によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。   Further, the imaging control unit 105 instructs the imaging elements 103a and 103b to output image data at the timing when the shutter button of the operation unit 115 is pressed. Some image pickup apparatuses 1 may have a preview display function on a display and a function corresponding to moving image display. In this case, the image data is output from the image pickup devices 103a and 103b continuously at a predetermined frame rate (frames / minute).

また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置1には表示部が設けられていないが、表示部を設けてもよい。   The image pickup control unit 105 also functions as a synchronization control unit that synchronizes the output timing of the image data of the image pickup devices 103a and 103b in cooperation with the CPU 111, as described later. In addition, in the present embodiment, the display unit is not provided in the imaging device 1, but the display unit may be provided.

マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。   The microphone 108 converts sound into sound (signal) data. The sound processing unit 109 takes in the sound data output from the microphone 108 through the I / F bus and performs a predetermined process on the sound data.

CPU111は、撮像装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。   The CPU 111 controls the entire operation of the imaging device 1 and executes necessary processing. The ROM 112 stores various programs for the CPU 111. The SRAM 113 and the DRAM 114 are work memories, and store programs executed by the CPU 111, data in the middle of processing, and the like. In particular, the DRAM 114 stores image data in the process of being processed by the image processing unit 104 and data of a processed Mercator image.

操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。   The operation unit 115 is a general term for various operation buttons, a power switch, a shutter button, and a touch panel having both display and operation functions. The user operates the operation buttons to input various imaging modes, imaging conditions, and the like.

ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。DRAM114に記憶されたメルカトル画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/FとなるネットワークI/F116を介して通信端末3等の外部装置に送信されたりする。   The network I / F 116 is a general term for interface circuits (USB I / F, etc.) with external media such as SD cards and personal computers. Further, the network I / F 116 may be a network interface regardless of whether it is wireless or wired. The data of the Mercator image stored in the DRAM 114 is recorded on an external medium via the network I / F 116, or is stored in the communication terminal 3 or the like via the network I / F 116 which becomes the network I / F as necessary. It is sent to an external device.

通信部117は、撮像装置1に設けられたアンテナ117aを介して、WiFi(wireless fidelity)、NFC、又はLTE(Long Term Evolution)等の離無線技術によって、通信端末3等の外部装置と通信を行う。この通信部117によっても、メルカトル画像のデータを通信端末3の外部装置に送信することができる。   The communication unit 117 communicates with an external device such as the communication terminal 3 via an antenna 117a provided in the imaging device 1 by a wireless communication technology such as WiFi (wireless fidelity), NFC, or LTE (Long Term Evolution). To do. The communication unit 117 can also transmit the data of the Mercator image to the external device of the communication terminal 3.

電子コンパス118は、地球の磁気から撮像装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。   The electronic compass 118 calculates the azimuth and tilt (Roll rotation angle) of the imaging device 1 from the magnetism of the earth, and outputs the azimuth / tilt information. This azimuth / tilt information is an example of related information (metadata) along Exif, and is used for image processing such as image correction of a captured image. It should be noted that the related information also includes the data of the image capturing date and time and the data capacity of the image data.

<<通信端末>>
次に、図4を用いて、通信端末3のハードウェア構成を説明する。なお、図4は、無線通信機能を有したクレードルの場合の通信端末3のハードウェア構成図である。
<< communication terminal >>
Next, the hardware configuration of the communication terminal 3 will be described with reference to FIG. 4 is a hardware configuration diagram of the communication terminal 3 in the case of a cradle having a wireless communication function.

図4に示されているように、通信端末3は、通信端末3全体の動作を制御するCPU301、基本入出力プログラムを記憶したROM302、CPU301のワークエリアとして使用されるRAM(Random Access Memory)304、Wi-fi、NFC、LTE等でデータ通信する通信部305、撮像装置1と有線で通信するためのUSB I/F303、カレンダーや時間情報を保持するRTC(Real Time Clock)306を有している。   As shown in FIG. 4, the communication terminal 3 includes a CPU 301 that controls the overall operation of the communication terminal 3, a ROM 302 that stores a basic input / output program, and a RAM (Random Access Memory) 304 that is used as a work area of the CPU 301. , A communication unit 305 for data communication by Wi-fi, NFC, LTE, etc., a USB I / F 303 for wired communication with the image pickup apparatus 1, and an RTC (Real Time Clock) 306 for holding calendar and time information. There is.

また、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン310を備えている。   Further, a bus line 310 such as an address bus or a data bus for electrically connecting the above-mentioned respective parts is provided.

なお、ROM302には、CPU301が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。   The ROM 302 stores an operating system (OS) executed by the CPU 301, other programs, and various data.

通信部305は、アンテナ305aを利用して無線通信の信号により、無線ルータ9a等と通信を行う。   The communication unit 305 communicates with the wireless router 9a or the like by a signal of wireless communication using the antenna 305a.

図示する他、GPS(Global Positioning Systems)衛星又は屋内GPSとしてのIMES(Indoor MEssaging System)によって通信端末3の位置情報(緯度、経度、及び高度)を含んだGPS信号を受信するGPS受信部を備えていてもよい。   In addition to the drawing, a GPS (Global Positioning Systems) satellite or a GPS receiving unit for receiving a GPS signal including position information (latitude, longitude, and altitude) of the communication terminal 3 by an IMES (Indoor MEssaging System) as an indoor GPS is provided. May be.

<<画像管理装置、情報端末>>
図5を用いて、画像管理装置5及びノートPCの場合の情報端末7のハードウェア構成を説明する。なお、図5は、画像管理装置5及び情報端末7のハードウェア構成図である。画像管理装置5及び情報端末7はともにコンピュータであるため、以下では、画像管理装置5の構成について説明する。情報端末7の構成は画像管理装置5と同様であるとし、相違があるとしても本実施形態の説明に関し支障がないものとする。
<< Image management device, information terminal >>
The hardware configuration of the image management device 5 and the information terminal 7 in the case of the notebook PC will be described with reference to FIG. Note that FIG. 5 is a hardware configuration diagram of the image management device 5 and the information terminal 7. Since both the image management device 5 and the information terminal 7 are computers, the configuration of the image management device 5 will be described below. The configuration of the information terminal 7 is the same as that of the image management apparatus 5, and even if there is a difference, it does not hinder the description of the present embodiment.

画像管理装置5は、画像管理装置5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503を有する。また、画像管理装置5用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505を有する。また、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508を有する。ディスプレイ508にはタッチパネルが装着されていることが好ましい。また、通信ネットワーク9を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512を有する。また、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)513に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ514を有する。また、上記各構成要素を図11に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。   The image management apparatus 5 includes a CPU 501 that controls the overall operation of the image management apparatus 5, a ROM 502 that stores a program used to drive the CPU 501 such as an IPL, and a RAM 503 that is used as a work area of the CPU 501. Further, it has an HD 504 that stores various data such as a program for the image management device 5, and an HDD (Hard Disk Drive) 505 that controls reading or writing of various data to the HD 504 under the control of the CPU 501. Further, it has a media drive 507 for controlling the reading or writing (storage) of data with respect to the recording medium 506 such as a flash memory, and a display 508 for displaying various information such as a cursor, a menu, a window, characters, or an image. A touch panel is preferably attached to the display 508. In addition, a network I / F 509 for data communication using the communication network 9, a keyboard 511 having a plurality of keys for inputting characters, numerical values, various instructions, selection and execution of various instructions, processing target It has a mouse 512 for selecting and moving a cursor. Further, it has a CD-ROM drive 514 that controls reading or writing of various data from or to a CD-ROM (Compact Disc Read Only Memory) 513 as an example of a removable recording medium. Further, as shown in FIG. 11, a bus line 510 such as an address bus or a data bus for electrically connecting the above components is provided.

<画像処理システムの機能について>
図6は、画像処理システム200の一部を構成する、撮像装置1、通信端末3、画像管理装置5、及び情報端末7の各機能ブロック図である。
<Functions of image processing system>
FIG. 6 is a functional block diagram of the imaging device 1, the communication terminal 3, the image management device 5, and the information terminal 7, which form a part of the image processing system 200.

<<撮像装置1の機能構成>>
撮像装置1は、受付部12、撮像部13、集音部14、接続部15、及び記憶・読出部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮像装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
<< Functional configuration of the imaging device 1 >>
The image pickup apparatus 1 has a reception unit 12, an image pickup unit 13, a sound collection unit 14, a connection unit 15, and a storage / readout unit 19. Each of these units is a function or means realized by any one of the components shown in FIG. 3 being operated by an instruction from the CPU 111 according to a program for the image pickup device expanded from the SRAM 113 to the DRAM 114. Is.

また、撮像装置1は、図3に示されているROM112、SRAM113、及びDRAM114の1つ以上によって構築される記憶部1000を有している。記憶部1000には撮像装置用のプログラム及び端末IDが記憶されている。   The image pickup apparatus 1 also includes a storage unit 1000 constructed by one or more of the ROM 112, the SRAM 113, and the DRAM 114 shown in FIG. The storage unit 1000 stores a program for the imaging device and a terminal ID.

撮像装置1の受付部12は、主に、図3に示されている操作部115及びCPU111の処理によって実現され、ユーザ(図2では、設置者X)からの操作入力を受け付ける。なお、撮像装置1は設置者Xによる撮像のための操作がなくても自動的かつ定期的に周囲を撮像する。定期の間隔は、設置者Xが撮像装置1に設定してもよいし、閲覧者Yが画像管理装置5を介して設定してもよい。   The accepting unit 12 of the imaging device 1 is mainly realized by the processing of the operation unit 115 and the CPU 111 illustrated in FIG. 3, and accepts an operation input from the user (installer X in FIG. 2). It should be noted that the imaging device 1 automatically and regularly images the surroundings even if the installer X does not perform an operation for imaging. The regular intervals may be set by the installer X in the imaging device 1 or may be set by the viewer Y via the image management device 5.

撮像部13は、主に、図3に示されている撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105、及びCPU111の処理によって実現され、風景等を撮像し、画像データを作成する。   The image pickup unit 13 is mainly realized by the processing of the image pickup unit 101, the image processing unit 104, the image pickup control unit 105, and the CPU 111 shown in FIG. 3, picks up a landscape or the like, and creates image data.

集音部14は、主に、図3に示されているマイク108及び音処理ユニット109、及び、CPU111の処理によって実現され、撮像装置1の周囲の音を収音する。   The sound collecting unit 14 is mainly realized by the processing of the microphone 108, the sound processing unit 109, and the CPU 111 shown in FIG. 3, and picks up the sound around the imaging device 1.

接続部15は、主に、ネットワークI/F116及びCPU111の処理によって実現され、通信端末3からの電力供給を受けると共に、通信端末3とデータ通信を行う。   The connection unit 15 is mainly realized by the processing of the network I / F 116 and the CPU 111, receives power supply from the communication terminal 3, and performs data communication with the communication terminal 3.

記憶・読出部19は、主に、図3に示されているCPU111の処理によって実現され、記憶部1000に各種データを記憶したり、記憶部1000から各種データを読み出したりする。なお、以下では、撮像装置1が記憶部1000から読み書きする場合でも「記憶・読出部19を介して」という記載を省略する場合がある。   The storage / readout unit 19 is mainly realized by the processing of the CPU 111 shown in FIG. 3, and stores various data in the storage unit 1000 and reads various data from the storage unit 1000. In the following, the description “via the storage / readout unit 19” may be omitted even when the imaging device 1 reads and writes from the storage unit 1000.

<<通信端末3の機能構成>>
通信端末3は、送受信部31、受付部32、接続部33、及び記憶・読出部39を有している。これら各部は、図4に示されている各構成要素のいずれかが、ROM302からRAM304上に展開された通信端末用のプログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
<< Functional configuration of communication terminal 3 >>
The communication terminal 3 includes a transmission / reception unit 31, a reception unit 32, a connection unit 33, and a storage / readout unit 39. Each of these units is a function or means realized by any one of the constituent elements shown in FIG. 4 being operated by an instruction from the CPU 301 according to a program for a communication terminal expanded from the ROM 302 to the RAM 304. Is.

また、通信端末3は、図4に示されているROM302及びRAM304によって構築される記憶部3000を有している。記憶部3000には通信端末用のプログラムが記憶されている。   Further, the communication terminal 3 has a storage unit 3000 constructed by the ROM 302 and the RAM 304 shown in FIG. The storage unit 3000 stores programs for communication terminals.

(通信端末3の各機能構成)
通信端末3の送受信部31は、主に、図4に示されている通信部305及びCPU301の処理によって実現され、無線ルータ9a及び通信ネットワーク9を介して、画像管理装置5と各種データの送受信を行う。なお、以下では、通信端末3が画像管理装置5と通信する場合でも、「送受信部31を介して」という記載を省略する場合がある。
(Each functional configuration of the communication terminal 3)
The transmission / reception unit 31 of the communication terminal 3 is mainly realized by the processing of the communication unit 305 and the CPU 301 shown in FIG. 4, and transmits / receives various data to / from the image management device 5 via the wireless router 9a and the communication network 9. I do. Note that in the following, the description “via the transmission / reception unit 31” may be omitted even when the communication terminal 3 communicates with the image management device 5.

受付部32は、主に図4に示されているCPU301の処理によって実現され、ユーザ(図2では、設置者X)からの操作入力を受け付ける。   The reception unit 32 is realized mainly by the processing of the CPU 301 shown in FIG. 4, and receives an operation input from a user (installer X in FIG. 2).

接続部33は、主に、図4に示されているUSB I/F303、及びCPU301の処理によって実現され、撮像装置1に電力供給すると共に、データ通信を行う。   The connection unit 33 is mainly realized by the processing of the USB I / F 303 and the CPU 301 illustrated in FIG. 4, supplies power to the imaging device 1 and performs data communication.

記憶・読出部39は、主に、図4に示されているCPU301の処理によって実現され、記憶部3000に各種データを記憶したり、記憶部3000から各種データを読み出したりする。なお、以下では、通信端末3が記憶部3000から読み書きする場合でも「記憶・読出部39を介して」という記載を省略する場合がある。   The storage / reading unit 39 is mainly realized by the processing of the CPU 301 shown in FIG. 4, and stores various data in the storage unit 3000 and reads various data from the storage unit 3000. In the following, the description “via the storage / reading unit 39” may be omitted even when the communication terminal 3 reads and writes from the storage unit 3000.

<<画像管理装置の機能構成>>
画像管理装置5は、送受信部51、人物検知部52、サムネイル作成部53、画面作成部54、エリア登録部55、エリア検査部56、及び記憶・読出部59を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開された画像管理装置用の装置プログラム5010に従ったCPU501からの命令によって動作することで実現される機能又は手段である。
<< Functional configuration of image management device >>
The image management device 5 includes a transmission / reception unit 51, a person detection unit 52, a thumbnail creation unit 53, a screen creation unit 54, an area registration unit 55, an area inspection unit 56, and a storage / readout unit 59. Each of these units is realized by any one of the components shown in FIG. 5 being operated by an instruction from the CPU 501 according to the device program 5010 for the image management device, which is expanded from the HD 504 on the RAM 503. Function or means.

また、画像管理装置5は、図5に示されているRAM503、及びHD504によって構築される記憶部5000を有している。この記憶部5000には、拠点管理DB5001、撮像管理DB5002、画像管理DB5003、サムネイル管理DB5004、エリア情報管理DB5005、及び、解析情報管理DB5006が構築されている。以下、各データベースについて説明する。   Further, the image management device 5 has a RAM 503 shown in FIG. 5 and a storage unit 5000 constructed by the HD 504. A base management DB 5001, an imaging management DB 5002, an image management DB 5003, a thumbnail management DB 5004, an area information management DB 5005, and an analysis information management DB 5006 are constructed in this storage unit 5000. Each database will be described below.

Figure 0006686547
表1は、拠点管理DB5001に記憶される各情報をテーブル状に示す拠点管理テーブルである。拠点管理テーブルでは、地域ID、地域名、拠点ID、拠点名、拠点レイアウトマップ、及び、装置IDの各フィールドが関連付けて記憶されている。また、拠点管理テーブルの1つの行をレコードという場合がある。以下の各テーブルでも同様である。このうち、地域IDは、地域を識別するための識別情報である。地域IDの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。
Figure 0006686547
Table 1 is a base management table showing each information stored in the base management DB 5001 in the form of a table. In the base management table, fields of region ID, region name, base ID, base name, base layout map, and device ID are stored in association with each other. Further, one row of the site management table may be called a record. The same applies to the following tables. Of these, the area ID is identification information for identifying the area. An example of the area ID is a combination of a unique number and an alphabet.

地域名は、例えば、関東、東京、渋谷区、ニューヨーク州、ニューヨーク市等、土地の区域又は範囲を示す。地域名称と言ってもよい。なお、識別情報とは、複数の対象からある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち2つ以上の組み合わせをいう。以下のID又は識別情報についても同じである。   The area name indicates an area or range of land such as Kanto, Tokyo, Shibuya Ward, New York State, and New York City. It may be called the area name. The identification information refers to a name, a code, a character string, a numerical value, or a combination of two or more of these, which is used to uniquely distinguish a specific target from a plurality of targets. The same applies to the following IDs or identification information.

拠点IDは、拠点を識別するための識別情報の一例である。拠点IDは拠点名に対し重複しないように付与される。拠点固有情報と称してもよい。拠点IDの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。拠点とは撮像装置1が設置され周囲を撮像するよりどころとなる所を言う。拠点の一例が店舗である。   The base ID is an example of identification information for identifying the base. The base ID is assigned to the base name so as not to overlap. It may be referred to as site-specific information. An example of the base ID is a combination of a unique number and an alphabet. The base refers to a place where the imaging device 1 is installed and where the surrounding area is not imaged. An example of a base is a store.

拠点名は、渋谷店等の店舗名や、渋谷会場等の会場名等であり、拠点の名称である。拠点レイアウトマップには、各拠点のレイアウトや地図を示す画像データなどのファイル名が登録される。拠点レイアウトマップにより拠点における撮像装置1や取扱商品などの位置が2次元座標で特定される。   The base name is a name of a base such as a store name such as a Shibuya store or a venue name such as a Shibuya venue. File names such as image data showing the layout and map of each site are registered in the site layout map. The location of the image pickup apparatus 1 and the products handled at the location is specified by the two-dimensional coordinates by the location layout map.

端末IDは、撮像装置1を識別するための識別情報である。端末固有情報と称してもよい。端末IDは、例えば、撮像装置1の例えばシリアル番号、製造番号、型番と重複しない数値、IPアドレス、又は、MACアドレスなどであるがこれらには限定されない。表1に示すように、1つの拠点には1つ以上の撮像装置(端末ID)が設置されており、それらの位置がレイアウトマップなどで管理されている。拠点管理テーブルは、設置者X又は閲覧者Yが登録してもよいし、画像処理システム200のサプライヤーが登録してもよい。   The terminal ID is identification information for identifying the imaging device 1. It may be referred to as terminal-specific information. The terminal ID is, for example, a serial number, a manufacturing number, a numerical value that does not overlap with the model number, an IP address, a MAC address, or the like of the imaging device 1, but is not limited thereto. As shown in Table 1, one or more imaging devices (terminal IDs) are installed in one base, and their positions are managed by a layout map or the like. The site management table may be registered by the installer X or the viewer Y, or may be registered by the supplier of the image processing system 200.

Figure 0006686547
表2は、撮像管理DB5002に記憶される各情報をテーブル状に示す撮像管理テーブルである。撮像管理テーブルでは、拠点IDごとに、撮像タイトル、撮像開始日時、及び撮像終了日時の各フィールドが関連付けて記憶されている。撮像タイトルは、閲覧者Yが入力したイベントのタイトルである。つまり、閲覧者Yが消費者の行動を監視したい何らかのイベントが店舗で催される場合に、このイベントの名称が撮像タイトルとなる。当然ながら、イベントの名称は閲覧者Yが任意に付与できるためイベントの名称でなくてもよい。例えば、単に撮像年月日とすることもできる。閲覧者Yは、画像データの複数のファイルから所望の画像データを抽出する際に、撮像タイトルを参照することができる。なお、1回の撮像イベントで複数の画像データが時系列に(定期的に)撮像される。撮像開始日時は、閲覧者Yによって入力された日時であり、撮像装置1が撮像を開始する(又は開始した)日時を示す。撮像終了日時は、閲覧者Yによって入力された日時であり、撮像装置1が撮像を終了する(又は終了した)日時を示す。閲覧者Yは撮像開始日時と撮像終了日時を事前に登録しておくこともできる(予約撮像)。撮像管理テーブルは、主に画像管理装置5が登録する。
Figure 0006686547
Table 2 is an imaging management table showing each information stored in the imaging management DB 5002 in a table form. In the imaging management table, fields of an imaging title, an imaging start date and time, and an imaging end date and time are associated and stored for each base ID. The imaging title is the title of the event input by the viewer Y. That is, when some event that the viewer Y wants to monitor the behavior of the consumer is held at the store, the name of this event becomes the imaging title. Of course, the name of the event need not be the name of the event because the viewer Y can arbitrarily give it. For example, it may be simply the image pickup date. The viewer Y can refer to the image capture title when extracting desired image data from a plurality of files of image data. It should be noted that a plurality of image data is imaged in time series (periodically) in one imaging event. The image capturing start date and time is the date and time input by the viewer Y, and indicates the date and time when the image capturing apparatus 1 starts (or starts) image capturing. The image capturing end date and time is the date and time input by the viewer Y, and indicates the date and time when the image capturing apparatus 1 ends (or ends) image capturing. The viewer Y can also register the image capturing start date and time and the image capturing end date and time in advance (reserved image capturing). The image management device 5 mainly registers the imaging management table.

Figure 0006686547
表3は、画像管理DB5003に記憶される各情報をテーブル状に示す画像管理テーブルである。画像管理テーブルでは、端末IDごとに、画像ID、画像データのファイル名、及び撮像日時が関連付けて記憶されている。画像IDは、画像データを一意に識別するための識別情報の一例である。画像固有情報と称してもよい。画像データのファイル名は、画像IDで特定される画像データのファイル名である。撮像日時は画像データが端末IDで示される撮像装置1で撮像された日時である。画像データも、記憶部5000に記憶されている。
Figure 0006686547
Table 3 is an image management table showing each information stored in the image management DB 5003 in a table form. In the image management table, an image ID, a file name of image data, and a shooting date and time are stored in association with each other for each terminal ID. The image ID is an example of identification information for uniquely identifying the image data. It may be referred to as image-specific information. The file name of the image data is the file name of the image data specified by the image ID. The image capturing date and time is the date and time when the image data was captured by the image capturing device 1 indicated by the terminal ID. The image data is also stored in the storage unit 5000.

例えば、画像ファイルの閲覧の際、閲覧者Yは情報端末7で画像管理装置5にアクセスし、表2の撮像管理テーブルから撮像タイトルを選ぶ。画像管理装置5はこの撮像タイトルの拠点IDに対応付けられている端末IDを表1の拠点管理テーブルから読み出すことができる。端末IDが明らかになるので、画像管理テーブルの端末IDに対応付けられた画像データのうち撮像日時が撮像開始日時から撮像終了日時に含まれる画像データを画像管理装置5が特定できる。   For example, when browsing an image file, the viewer Y accesses the image management device 5 with the information terminal 7 and selects a shooting title from the shooting management table in Table 2. The image management device 5 can read the terminal ID associated with the site ID of the imaged title from the site management table in Table 1. Since the terminal ID is clarified, the image management apparatus 5 can specify the image data in which the image capturing date and time is included in the image capturing start date and time from the image capturing start date and time among the image data associated with the terminal ID in the image management table.

当然ながら、閲覧者Yは端末IDや拠点IDを直接指定することもできる。本実施形態では、簡単のため閲覧者Yが端末IDを指定して閲覧する態様を主に説明する。なお、画像管理テーブルは、主に画像管理装置5が登録する。   Of course, the viewer Y can directly specify the terminal ID and the site ID. In the present embodiment, for simplicity, a mode in which the viewer Y specifies a terminal ID and browses will be mainly described. The image management table is mainly registered by the image management device 5.

Figure 0006686547
表4は、サムネイル管理DB5004に記憶される各情報をテーブル状に示すサムネイル管理テーブルである。サムネイルとは親指程度のという意味であり、サムネイル画像は縮小した、画素数を低減した又は一覧用のイメージデータという意味になる。
Figure 0006686547
Table 4 is a thumbnail management table showing each information stored in the thumbnail management DB 5004 in the form of a table. A thumbnail means a thumb level, and a thumbnail image means a reduced size, a reduced number of pixels, or a list of image data.

サムネイル管理テーブルでは、画像IDごとに、サムネイルID、サムネイル画像のファイル名、及び所定領域情報が関連付けて記憶されている。サムネイルIDは、画像IDで示される画像データに基づいて作成されたサムネイル画像を一意に識別するための識別情報の一例である。サムネイル固有情報と称してもよい。サムネイル画像のファイル名は、サムネイルIDで示されるサムネイル画像のファイル名である。サムネイル画像のファイル名は画像管理装置5が付与する。所定領域情報は、画像IDで示される画像データにおいて、サムネイル画像が作成された所定領域を示す。サムネイル管理テーブルは、主に画像管理装置5が登録する。   In the thumbnail management table, thumbnail IDs, file names of thumbnail images, and predetermined area information are stored in association with each other for each image ID. The thumbnail ID is an example of identification information for uniquely identifying the thumbnail image created based on the image data indicated by the image ID. It may be referred to as thumbnail specific information. The file name of the thumbnail image is the file name of the thumbnail image indicated by the thumbnail ID. The image management device 5 gives the file name of the thumbnail image. The predetermined area information indicates a predetermined area in which the thumbnail image is created in the image data indicated by the image ID. The thumbnail management table is mainly registered by the image management device 5.

Figure 0006686547
表5は、エリア情報管理DB5005に記憶される各情報をテーブル状に示すエリア情報テーブルである。エリア情報テーブルでは、端末IDごとに、登録エリアID、登録エリアの名称、値、及び、関連づけの各フィールドが関連付けて記憶されている。端末IDは上記と同じものである。登録エリアIDは登録されたエリアを一意に識別するための識別情報の一例である。エリア固有情報と称してもよい。登録エリアの名称は、閲覧者Yが任意に付与することができるエリアの名称である。値は、エリアを特定するための情報であり、エリアが矩形であれば例えば、左上のコーナーの座標(x,y)と幅(width)と高さ(height)である。対角の2点の座標でもよい。エリア情報テーブルの値は、平面画像の座標系に基づいて決定されている。関連づけのフィールドにはエリアに関連付けられた他のエリアの登録エリアIDが登録される。例えば、表5のarea_1はarea_3と関連付けられている。エリアの関連づけは閲覧者Yが任意に行うことができる。また、3つ以上のエリアを関連付けることもできる。
Figure 0006686547
Table 5 is an area information table showing each information stored in the area information management DB 5005 in the form of a table. In the area information table, registration area IDs, registration area names, values, and association fields are stored in association with each other for each terminal ID. The terminal ID is the same as above. The registration area ID is an example of identification information for uniquely identifying the registered area. It may be referred to as area-specific information. The name of the registered area is the name of the area that the viewer Y can arbitrarily assign. The value is information for specifying the area, and if the area is a rectangle, for example, the coordinates (x, y), the width (width), and the height (height) of the upper left corner. The coordinates of two diagonal points may be used. The value of the area information table is determined based on the coordinate system of the plane image. The registered area ID of another area associated with the area is registered in the association field. For example, area_1 in Table 5 is associated with area_3. The viewer Y can arbitrarily associate the areas. Also, three or more areas can be associated.

各エリアの座標は重なり合っていてもよい。二つのエリア(area_A, area_B)を包含関係にある(area_A⊃area_B)ように登録することができる。これにより、area_A内で更に特定のエリア(area_B)の人の有無などを閲覧者Yが分析したい場合、包含関係にあるエリアを登録することで、area_A内で検知された人数に対して更にarea_Bで検知された人数を把握することができる。また、area_A に対し複数のarea_Bを閲覧者Yが登録することで、人がいない天井等を除外してヒートマップを作成できる。このように、画像全体に対して分析する母数を限定することができ、不要な情報を排除した分析を行うことができる。   The coordinates of each area may overlap. Two areas (area_A, area_B) can be registered so as to have an inclusive relationship (area_A⊃area_B). As a result, when the viewer Y wants to analyze the presence / absence of a person in a specific area (area_B) in the area_A, by registering an area having an inclusive relationship, the area_B can be further added to the number of people detected in the area_A. The number of people detected in can be grasped. Further, the viewer Y registers a plurality of area_B with respect to area_A, so that a heat map can be created by excluding a ceiling or the like where there are no people. In this way, it is possible to limit the parameter to be analyzed for the entire image, and it is possible to perform analysis by removing unnecessary information.

Figure 0006686547
表6は、解析情報管理DB5006に記憶される各情報をテーブル状に示す解析情報テーブルである。解析情報テーブルでは、画像IDごとに、人検知エリアID、及び値が関連づけて管理されている。画像IDは上記と同じである。人検知エリアIDは人が検知されたエリアを一意に識別するための識別情報の一例である。人検知エリア固有情報と称してもよい。値は、人検知エリアを特定するための情報である。データの形式は登録エリアと同様である。例えば、画像ID=au123456ifauyの全天球画像(全天球画像に変換される前の平面画像)には2つの人検知エリアがあり、それぞれの値が登録されている。
Figure 0006686547
Table 6 is an analysis information table showing each information stored in the analysis information management DB 5006 in the form of a table. In the analysis information table, a human detection area ID and a value are managed in association with each other for each image ID. The image ID is the same as above. The person detection area ID is an example of identification information for uniquely identifying the area in which a person is detected. It may be referred to as person detection area specific information. The value is information for specifying the human detection area. The data format is the same as the registration area. For example, the celestial sphere image with the image ID = au123456ifauy (two-dimensional image before conversion into a celestial sphere image) has two human detection areas, and their respective values are registered.

(画像管理装置の各機能構成)
画像管理装置5の送受信部51は、主に、図5に示されているネットワークI/F509及びCPU501の処理等によって実現され、通信ネットワーク9を介して通信端末3、又は情報端末7と各種データの送受信を行う。なお、以下では、画像管理装置5が情報端末7と通信する場合でも、「送受信部51を介して」という記載を省略する場合がある。
(Functional configuration of image management device)
The transmission / reception unit 51 of the image management device 5 is mainly realized by the processing of the network I / F 509 and the CPU 501 shown in FIG. 5, and the like, and communicates with the communication terminal 3 or the information terminal 7 and various data via the communication network 9. Send and receive. In the following description, the description “via the transmitting / receiving unit 51” may be omitted even when the image management device 5 communicates with the information terminal 7.

人物検知部52は、主に、図5に示されているCPU501の処理等によって実現され、画像データから人物を検知する。この人物の検知は適切な特徴量の設定と、学習識別装置の設定により行われる。例えば、特徴量としては、Haar-like特徴、LBP(Local Binary Patterns)特徴、HOG(Histogram of Oriented Gradients)特徴などが知られている。また、学習識別装置としては、SVM(Support Vector Machines)、AdaBoostを用いたカスケード分類などが知られている。ただし、これらに限られるものではなく人を検知できればよい。   The person detection unit 52 is mainly realized by the processing of the CPU 501 shown in FIG. 5 and the like, and detects a person from image data. The detection of this person is performed by setting an appropriate feature amount and setting the learning identification device. For example, Haar-like features, LBP (Local Binary Patterns) features, HOG (Histogram of Oriented Gradients) features, and the like are known as feature amounts. Known learning and identifying devices include SVM (Support Vector Machines) and cascade classification using AdaBoost. However, the present invention is not limited to these, as long as it can detect a person.

サムネイル作成部53は、主に、図5に示されているCPU501の処理等によって実現され、所定領域画像のサムネイル画像を作成する。   The thumbnail creating unit 53 is realized mainly by the processing of the CPU 501 shown in FIG. 5 and the like, and creates a thumbnail image of a predetermined area image.

画面作成部54は、図5に示されているCPU501の処理によって実現され、画像データを情報端末7に送信する際に、HTMLデータ、JavaScript(登録商標)及びCSSなどで情報端末7が画像データを表示するための画面情報を作成する。エリアを特定する情報は平面画像の座標系で記述されているので、エリアを表示するための画面データを送信する際、画面作成部54はエリアの座標をワールド座標系の座標に変換する処理を行う。   The screen creation unit 54 is realized by the processing of the CPU 501 shown in FIG. 5, and when transmitting the image data to the information terminal 7, the information terminal 7 uses the HTML data, JavaScript (registered trademark), CSS, etc. Create screen information for displaying. Since the information for specifying the area is described in the coordinate system of the planar image, when transmitting the screen data for displaying the area, the screen creation unit 54 performs a process of converting the coordinates of the area into the coordinates of the world coordinate system. To do.

エリア登録部55は、図5に示されているCPU501の処理等によって実現され、情報端末7からエリア情報テーブルに登録する情報を取得してエリア情報管理DB5005に登録する。   The area registration unit 55 is realized by the processing of the CPU 501 shown in FIG. 5, and the like, acquires information to be registered in the area information table from the information terminal 7, and registers it in the area information management DB 5005.

エリア検査部56は、図5に示されているCPU501の処理等によって実現され、解析情報を用いてエリアを検査し、エリアに関する情報を作成する。   The area inspection unit 56 is realized by the processing of the CPU 501 shown in FIG. 5, and the like, inspects the area using the analysis information, and creates information about the area.

記憶・読出部59は、主に、図5に示されているHDD505、及びCPU501の処理によって実現され、記憶部5000に各種データを記憶したり、記憶部5000から各種データを読み出したりする。なお、以下では、画像管理装置5が記憶部5000から読み書きする場合でも「記憶・読出部59を介して」という記載を省略する場合がある。   The storage / readout unit 59 is mainly realized by the processing of the HDD 505 and the CPU 501 shown in FIG. 5, stores various data in the storage unit 5000, and reads various data from the storage unit 5000. In the following, the description “via the storage / readout unit 59” may be omitted even when the image management device 5 reads and writes from the storage unit 5000.

<情報端末7の機能構成>
情報端末7は、送受信部71、受付部72、表示制御部73、エリア座標算出部74、及び、記憶・読出部79を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開された情報端末7用のプログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
<Functional configuration of information terminal 7>
The information terminal 7 includes a transmission / reception unit 71, a reception unit 72, a display control unit 73, an area coordinate calculation unit 74, and a storage / readout unit 79. Each of these units is a function realized by any of the components shown in FIG. 5 being operated by an instruction from the CPU 501 according to a program for the information terminal 7 expanded from the HD 504 on the RAM 503, or It is a means.

また、情報端末7は、図5に示されているRAM503、及びHD504によって構築される記憶部7000を有している。記憶部7000には情報端末7用の端末プログラム7010が記憶されている。情報端末7用の端末プログラム7010は、例えばブラウザソフトウェアであるが、ブラウザソフトウェアのような通信機能を備えたアプリケーションソフトウェアでもよい。また、ブラウザソフトウェアは画面データを実行して画面を表示したり、操作を受け付けたりするため、端末プログラム7010には画像管理装置5が送信する画面データ(HTML、JavaScript(登録商標)等)が含まれる。   Further, the information terminal 7 has a RAM 503 shown in FIG. 5 and a storage unit 7000 constructed by the HD 504. The storage unit 7000 stores a terminal program 7010 for the information terminal 7. The terminal program 7010 for the information terminal 7 is, for example, browser software, but it may be application software having a communication function such as browser software. Further, since the browser software executes the screen data to display the screen and accept operations, the terminal program 7010 includes screen data (HTML, JavaScript (registered trademark), etc.) transmitted by the image management device 5. Be done.

(情報端末7の各機能構成)
情報端末7の送受信部71は、主に、図5に示されているネットワークI/F509及びCPU501の処理等によって実現され、通信ネットワーク9を介して画像管理装置5と各種データの送受信を行う。なお、以下では、情報端末7が画像管理装置5と通信する場合でも、「送受信部71を介して」という記載を省略する場合がある。
(Each functional configuration of the information terminal 7)
The transmission / reception unit 71 of the information terminal 7 is mainly realized by the processing of the network I / F 509 and the CPU 501 shown in FIG. 5, and transmits / receives various data to / from the image management device 5 via the communication network 9. In the following, even when the information terminal 7 communicates with the image management device 5, the description “via the transmitting / receiving unit 71” may be omitted.

受付部72は、主に、図5に示されているキーボード511及びマウス512、並びにCPU501の処理等によって実現され、ユーザ(図2では、閲覧者Y)からの操作入力を受け付ける。   The reception unit 72 is realized mainly by the processing of the keyboard 511 and the mouse 512 shown in FIG. 5, the CPU 501, and the like, and receives the operation input from the user (browser Y in FIG. 2).

表示制御部73は、主に、図5に示されているCPU501の処理等によって実現され、画像管理装置5から送信された画面情報を解釈して情報端末7のディスプレイ508に各種画面を表示させるための制御を行なう。   The display control unit 73 is mainly realized by the processing of the CPU 501 shown in FIG. 5 and the like, interprets the screen information transmitted from the image management device 5, and causes the display 508 of the information terminal 7 to display various screens. Control for.

エリア座標算出部74は、受付部72が受け付けたエリアを指定する画面上の座標を、平面画像の座標に変換する。すなわち、ワールド座標系への変換、平面画像の二次元座標への変換を行う。   The area coordinate calculation unit 74 converts the coordinates on the screen that specify the area received by the reception unit 72 into the coordinates of the planar image. That is, conversion to the world coordinate system and conversion of a plane image into two-dimensional coordinates are performed.

記憶・読出部79は、主に、図5に示されているHD504、及びCPU501の処理によって実現され、記憶部7000に各種データを記憶したり、記憶部7000から各種データを読み出したりする。なお、以下では、情報端末7が記憶部7000から読み書きする場合でも「記憶・読出部79を介して」という記載を省略する場合がある。   The storage / readout unit 79 is mainly realized by the processing of the HD 504 and the CPU 501 shown in FIG. 5, stores various data in the storage unit 7000, and reads various data from the storage unit 7000. In the following, the description “via the storage / readout unit 79” may be omitted even when the information terminal 7 reads and writes from the storage unit 7000.

<エリアの登録>
図7を用いてエリアの登録について説明する。図7は、閲覧者Yがエリアを登録するために操作するポインティングデバイスの軌跡を説明する図の一例である。閲覧者Yは情報端末7のキーボード511やマウス512又はタッチパネルなどのポインティングデバイスを操作してある点からある点までドラッグする。情報端末7の受付部72はこの操作を受け付けて、図7(a)に示すような矢印で表される軌跡を取得する。図7で示される座標はディスプレイ508に全天球画像のまま表示された場合の画面におけるスクリーン座標である。
<Registration of area>
Area registration will be described with reference to FIG. 7. FIG. 7 is an example of a diagram for explaining the trajectory of the pointing device operated by the viewer Y to register the area. The viewer Y operates the keyboard 511, the mouse 512, or the pointing device such as the touch panel of the information terminal 7 and drags from a point to a point. The accepting unit 72 of the information terminal 7 accepts this operation and acquires the locus represented by the arrow as shown in FIG. The coordinates shown in FIG. 7 are screen coordinates on the screen when the spherical image is displayed on the display 508 as it is.

エリアを登録するための操作の一例は、ポインティングデバイスを用いて任意の箇所をドラッグする操作である。ディスプレイ508がタッチパネルを有する場合、タッチドラッグや、ピンチ操作で登録を受け付けてもよい。これらの場合、受付部72は、該操作の際にドラッグの開始点651と終了点652の座標を取得する。図7(a)では開始点651がエリア602の左上頂点(upperLeft)、終了点652がエリア602の右下頂点(lowerRight)であるが、ドラッグの方向により開始点651と終了点652がエリア602のどの頂点となるかは異なる。   An example of an operation for registering an area is an operation of dragging an arbitrary place using a pointing device. When the display 508 has a touch panel, the registration may be accepted by touch dragging or pinch operation. In these cases, the reception unit 72 acquires the coordinates of the drag start point 651 and the drag end point 652 during the operation. In FIG. 7A, the start point 651 is the upper left apex (upperLeft) of the area 602 and the end point 652 is the lower right apex (lowerRight) of the area 602, but the start point 651 and the end point 652 are the area 602 depending on the dragging direction. Which vertex of the is different.

また、図7(b)に示すように右下から左上に閲覧者Yがドラッグした場合、開始点よりも終了点の方が、座標が小さくなる。この場合、エリア座標算出部74は開始点651を基準にして終了点652に至までの軌跡の座標からドラッグ方向を判断する。軌跡によりドラッグ方向が左上であると判断すると、開始点651に対し負値の幅と負値の高さを検出する。   Further, when the viewer Y drags from the lower right to the upper left as shown in FIG. 7B, the coordinates are smaller at the end point than at the start point. In this case, the area coordinate calculation unit 74 determines the drag direction from the coordinates of the locus up to the end point 652 with the start point 651 as a reference. When it is determined that the dragging direction is the upper left on the trajectory, the width of the negative value and the height of the negative value are detected with respect to the start point 651.

また、図7(c)に示すようにドラッグ方向が左下であると判断すると、開始点651に対し負値の幅と正値の高さを検出する。また、図7(d)に示すようにドラッグ方向が右上であると判断すると、開始点651に対し正値の幅と負値の高さを検出する。   When it is determined that the dragging direction is the lower left as shown in FIG. 7C, the width of the negative value and the height of the positive value with respect to the start point 651 are detected. When it is determined that the dragging direction is the upper right as shown in FIG. 7D, the width of the positive value and the height of the negative value with respect to the start point 651 are detected.

受付部72は閲覧者Yのドラッグ方向を検出して原点(開始点の場合、終了点の場合、それ以外の場合がある)、幅(lrx1-ulx1)or(urx1-llx1)及び高さ(lry1-uly1)(lly1-ury1)、を算出する。原点はエリアの左上頂点であるものとする。例えば、図7(b)の開始点651に負値の幅と負値の高さを加えると、原点(左上頂点)の座標が得られる。図7(c)(d)についても同様である。   The reception unit 72 detects the dragging direction of the viewer Y, and detects the origin (in the case of the start point, in the case of the end point, in other cases), the width (lrx1-ulx1) or (urx1-llx1), and the height ( lry1-uly1) (lly1-ury1) is calculated. The origin is assumed to be the top left corner of the area. For example, if the width of the negative value and the height of the negative value are added to the starting point 651 in FIG. 7B, the coordinates of the origin (upper left apex) are obtained. The same applies to FIGS. 7C and 7D.

対角頂点の2点の座標でなく原点に対し幅と高さが記録されることで、全天球画像においても適切にエリアを指定できる。すなわち、全天球画像は境目がないので2点によるエリアの指定では二通りの領域指定(左上頂点からエリア内を通って右下頂点に至る領域、右下頂点からエリア外を通って左上頂点に至る領域)が可能なためである。このように、全天球画像に特有の処理として、受付部72はドラッグ方向が様々であってもそれを吸収してエリアの特定する情報を適切に算出することができる。   By recording the width and height with respect to the origin instead of the coordinates of the two points of the diagonal vertices, the area can be appropriately designated even in the omnidirectional image. That is, since the spherical image has no boundaries, there are two types of area designation in the area designation by two points (the area from the upper left apex to the lower right apex through the area, the lower right apex to outside the area to the upper left apex). This is because the area leading to In this way, as processing unique to the omnidirectional image, the reception unit 72 can appropriately calculate the information for identifying the area by absorbing the drag direction even if the drag direction is various.

なお、エリアの形状は矩形でなくてもよく、ポインティングデバイスの任意の軌跡が囲む領域でエリアを特定してもよい。この場合、エリアは時系列の座標で特定される。また、閲覧者Yが任意の2点をポインティングデバイスで指し示した場合の座標からエリアを特定してもよい。この場合、閲覧者Yは左上の頂点の次に右下の頂点を指し示すなどの規則に従うことが好ましい。   Note that the shape of the area does not have to be rectangular, and the area may be specified by a region surrounded by an arbitrary locus of the pointing device. In this case, the area is specified by time series coordinates. Also, the area may be specified from the coordinates when the viewer Y points any two points with the pointing device. In this case, it is preferable that the viewer Y follows a rule such as pointing to the lower right vertex after the upper left vertex.

<座標変換について>
図8は全天球画像が処理される各フェーズの画像の形態と座標の変換を説明する図の一例である。図8(a)は変換の手順を示す。
・スクリーン座標系からワールド座標系
この変換にはビュー変換と射影変換が使用される。一般にはワールド座標系からスクリーン座標系へ変換されるので、本実施形態ではビュー変換と射影変換のそれぞれ逆変換が適用される。ビュー変換は仮想的なカメラの座標を回転、平行移動させる変換であり、三次元のオブジェクトをカメラの向きに応じた画像に変換する処理に相当する。ビュー変換の変換行列Mvは以下のようになる。
<About coordinate conversion>
FIG. 8 is an example of a diagram for explaining the conversion of image form and coordinates in each phase in which a spherical image is processed. FIG. 8A shows a conversion procedure.
-Screen coordinate system to world coordinate system This transformation uses view transformation and projective transformation. In general, since the world coordinate system is converted to the screen coordinate system, the view transform and the inverse transform of the projective transform are applied in this embodiment. The view conversion is a conversion for rotating or translating the coordinates of the virtual camera, and corresponds to a process for converting a three-dimensional object into an image corresponding to the orientation of the camera. The transformation matrix Mv for view transformation is as follows.

Figure 0006686547
ここでXx、Yx、ZxはカメラのX軸を、Xy、Yy、ZyはカメラのY軸を、Xz、Yz、ZzはカメラのZ軸を示し、Pはカメラの位置ベクトル、X,Y,ZはX軸、Y軸、Z軸の方向余弦を示す。
Figure 0006686547
Here, Xx, Yx, and Zx represent the X axis of the camera, Xy, Yy, and Zy represent the Y axis of the camera, Xz, Yz, and Zz represent the Z axis of the camera, P represents the position vector of the camera, and X, Y, and Z indicates the direction cosine of the X axis, the Y axis, and the Z axis.

次に、射影変換は、三次元のオブジェクトをカメラから所定距離の画面に射影した場合の二次元座標に変換する。図8(b)は射影変換を説明する図である。カメラからスクリーンm2までの距離をN,オブジェクトが存在しうる範囲を面m1までの距離Fとする。θは情報端末7の画面の幅方向の画角である。これらから射影変換行列Mpは以下のようになる。なお、距離N、Fは予め定められた値が設定される。   Next, in the projective transformation, a three-dimensional object is transformed into two-dimensional coordinates when it is projected on a screen at a predetermined distance from the camera. FIG. 8B is a diagram illustrating the projective transformation. The distance from the camera to the screen m2 is N, and the range in which an object can exist is the distance F to the surface m1. θ is an angle of view in the width direction of the screen of the information terminal 7. From these, the projective transformation matrix Mp is as follows. It should be noted that the distances N and F are set to predetermined values.

Figure 0006686547
したがって、スクリーン座標における全天球画像の任意の点の座標(x、y、z)はワールド座標系の座標(x、y、z)に以下のように変換される。zは以下の式で算出される。このZはオブジェクトまでの距離である。
zc={(N+F)Z−2NF}/(N−F)
Figure 0006686547
Therefore, the coordinates (x c , y c , z c ) of an arbitrary point in the spherical image in the screen coordinates are converted into the coordinates (x w , y w , z w ) in the world coordinate system as follows. z c is calculated by the following formula. This Z is the distance to the object.
z c = {(N + F) Z-2NF} / (NF)

Figure 0006686547
・ワールド座標系からuv座標系
この変換はワールド座標系の全天球画像を正規化することで行われる。正規化とは座標の範囲が(0, 0) から (1, 1)に含まれるようにすることをいう。uv座標系の座標を(u, v)とする。また、仮想的なカメラからの距離r、距離rに対するx、y、zの比をdx、dy、dzとする。
r = sqrt(x ^2, + y^2 + z^2)
dx = x/r
dy = y/r
dz = z/r
以上からu座標は以下のようになる。
u = 1/2 + arctan(dz/dx) / 2*PI + 1/4
但し、u ≧ 1のとき u=u-1とする。
Figure 0006686547
-World coordinate system to uv coordinate system This conversion is performed by normalizing the spherical image in the world coordinate system. Normalization means that the range of coordinates is included from (0, 0) to (1, 1). The coordinates of the uv coordinate system are (u, v). Further, the distance r from the virtual camera and the ratio of x w , y w , and z w to the distance r are dx, dy, and dz.
r = sqrt (x ^ 2, + y ^ 2 + z ^ 2)
dx = x / r
dy = y / r
dz = z / r
From the above, the u coordinate is as follows.
u = 1/2 + arctan (dz / dx) / 2 * PI + 1/4
However, when u ≧ 1, u = u−1.

また、v座標は以下のようになる。
v = 1/2 - arcsin(dy) / PI
・uv座標系から平面画像の座標系
正規化されたuv座標と、平面画像の解像度の積を算出する。
平面画像のx方向の解像度をresolutionWidth、y方向の解像度をresolutionHeightとする。
平面画像の座標 (x, y) = (u * resolutionWidth, v * resolutionHeight)
以上により、情報端末7で指定されたエリアのディスプレイ508のスクリーン座標を平面画像の座標に変換できる。
Further, the v coordinate is as follows.
v = 1/2-arcsin (dy) / PI
Calculate the product of the coordinate system normalized uv coordinates of the plane image from the uv coordinate system and the resolution of the plane image.
The resolution of the plane image in the x direction is resolutionWidth, and the resolution in the y direction is resolutionHeight.
Planar image coordinates (x, y) = (u * resolutionWidth, v * resolutionHeight)
As described above, the screen coordinates of the display 508 in the area designated by the information terminal 7 can be converted into the coordinates of the plane image.

なお、平面画像をディスプレイ508に表示する際はこの逆の変換を行えばよい。   It should be noted that when the plane image is displayed on the display 508, the reverse conversion may be performed.

<エリアの登録>
続いて、図9〜13を用いて画像処理システム200の動作手順を説明する。
<Registration of area>
Subsequently, an operation procedure of the image processing system 200 will be described with reference to FIGS.

図9は、閲覧者が指定したエリアを情報端末7が画像管理装置5に登録する手順を示すフローチャート図の一例である。図9の処理は、閲覧者Yがエリアの登録を開始する操作を行うとスタートする。また、図10を適宜参照して説明する。図10は右下頂点が平面画像の端部を跨ぐエリアを説明する図の一例である。   FIG. 9 is an example of a flowchart showing a procedure in which the information terminal 7 registers the area designated by the viewer in the image management device 5. The process of FIG. 9 starts when the viewer Y performs an operation to start registration of the area. Further, description will be made with reference to FIG. 10 as appropriate. FIG. 10 is an example of a diagram illustrating an area in which the lower right apex straddles the edge of the planar image.

情報端末7には画像データがダウンロードされている。画像データは端末IDと関連付けられてるので情報端末7は端末IDを保持している。閲覧者Yはポインティングデバイスによるドラッグ操作を開始する。情報端末7の受付部72はドラッグ操作を受け付ける(S10)。受付部72は例えば、マウスのオンマウスダウンイベントやタッチパネルのタッチイベントを取得する。この時、ディスプレイ508の左上コーナーを原点とするスクリーン座標を取得できる。   Image data is downloaded to the information terminal 7. Since the image data is associated with the terminal ID, the information terminal 7 holds the terminal ID. The viewer Y starts a drag operation with the pointing device. The reception unit 72 of the information terminal 7 receives the drag operation (S10). The reception unit 72 acquires, for example, a mouse on-mouse down event or a touch panel touch event. At this time, it is possible to acquire screen coordinates with the origin at the upper left corner of the display 508.

次に、エリア座標算出部74は開始点651の座標を記憶部7000などに記録する(S20)。   Next, the area coordinate calculation unit 74 records the coordinates of the start point 651 in the storage unit 7000 or the like (S20).

次に、エリア座標算出部74はドラッグ操作は継続しているか否かを判断する(S30)。受付部72が例えば、オンマウスアップイベントを検出すると、ステップS30の判断はNoになる。   Next, the area coordinate calculation unit 74 determines whether the drag operation is continuing (S30). For example, when the reception unit 72 detects an on-mouse-up event, the determination in step S30 is No.

ステップS30の判断がYesの間、エリア座標算出部74はドラッグが続く限りエリアの矩形を更新しながら、ポインティングデバイスの現在の座標を記録する(S40)。   While the determination in step S30 is Yes, the area coordinate calculation unit 74 records the current coordinates of the pointing device while updating the area rectangle as long as dragging continues (S40).

ステップS30の判断がNoの場合、エリア座標算出部74はドラッグ操作が終了した時点での現在の座標が、終了点652の座標であると判断する(S50)。なお、図7で説明したように常にポインティングデバイスの座標が検知されるのでドラッグ方向が判断され、ドラッグ方向に依存しないエリアの座標(左上頂点と右下頂点)が得られている。   If the determination in step S30 is No, the area coordinate calculation unit 74 determines that the current coordinates at the time when the drag operation is completed are the coordinates of the end point 652 (S50). As described with reference to FIG. 7, since the coordinates of the pointing device are always detected, the drag direction is determined, and the coordinates of the area (upper left vertex and lower right vertex) independent of the drag direction are obtained.

次に、エリア座標算出部74は、左上頂点の座標と右下頂点の座標を座標変換する。上記のように、スクリーン座標系→ワールド座標系→uv座標系→平面画像の座標系に変換する(S60)。   Next, the area coordinate calculation unit 74 performs coordinate conversion between the coordinates of the upper left vertex and the coordinates of the lower right vertex. As described above, the screen coordinate system-> world coordinate system-> uv coordinate system-> plane image coordinate system is converted (S60).

変換処理により最終的に得られる座標は全天球画像が二次元で表現された平面座標のものなので、左上頂点と右下頂点が平面画像の端部を跨ぐ場合がある。この場合、端部を跨ぐことを考慮してエリアの幅と高さを算出しないと、幅や高さが負値になりエリアを正しく特定できない。   Since the coordinates finally obtained by the conversion process are the plane coordinates in which the spherical image is two-dimensionally expressed, the upper left vertex and the lower right vertex may straddle the end of the planar image. In this case, unless the width and height of the area are calculated in consideration of straddling the end portion, the width and height have negative values, and the area cannot be correctly specified.

図10には、平面画像において端部を跨ぐ左上頂点と右下頂点が示されている。図10に示すように、平面画像におけるエリアの配置には4つのパターンがあり得る。パターン1は、右下頂点がx方向の端部とy方向の端部を跨がない場合である。パターン1の場合、エリアは分割されない。端部を跨ぐとは、平面画像のx方向の解像度又はy方向の解像度を右下頂点が超えてしまうことをいう。あるいは、右下頂点の座標が左上頂点の座標よりも小さいことをいう。   In FIG. 10, an upper left apex and a lower right apex that straddle the end portion in the planar image are shown. As shown in FIG. 10, there can be four patterns in the arrangement of the areas in the planar image. Pattern 1 is a case where the lower right apex does not straddle the end in the x direction and the end in the y direction. In the case of pattern 1, the area is not divided. Straddling the edge means that the lower right apex exceeds the resolution in the x direction or the resolution in the y direction of the plane image. Alternatively, it means that the coordinates of the lower right vertex are smaller than the coordinates of the upper left vertex.

パターン2は右下頂点がy方向の端部のみを跨ぐ場合である。この場合、エリアは上下に2つに分割される。パターン3は右下頂点がx方向の端部のみを跨ぐ場合である。この場合、エリアは左右に2つに分割される。パターン4は右下頂点がx方向とy方向の両方で端部を跨ぐ場合である。この場合、エリアは上下左右の4つに分割される。エリア座標算出部74はこのパターンを判断してエリアの幅と高さを適切に算出する。エリア1〜4はそれぞれパターン1〜4に適合するものとし、エリア1〜4の左上頂点と右下頂点の座標を以下に示す。
エリア1:左上頂点(ulx1,uly1)、右下頂点(lrx1,lry1)
エリア2:左上頂点(ulx2,uly2)、右下頂点(lrx2,lry2)
エリア3:左上頂点(ulx3,uly3)、右下頂点(lrx3,lry3)
エリア4:左上頂点(ulx4,uly4)、右下頂点(lrx4,lry4)
図10から明らかなように、各エリアの幅と高さは以下のように算出される。
エリア1:幅 =lrx1−ulx1
高さ=lry1−ulx1
エリア2:幅 =lrx2−ulx2
高さ=高さの解像度−uly2+lry2
エリア3:幅 =幅の解像度−ulx3+lrx3
高さ=lry3−ulx3
エリア4:幅 =幅の解像度−ulx4+lrx4
高さ=高さの解像度−uly4+lry4
図9に戻って説明する。
次に、右下頂点のx座標が左上頂点のx座標よりも大きいか否かを判断する(S70)。すなわち、パターン3か4であるかどうかを判断する。
Pattern 2 is a case where the lower right apex spans only the end in the y direction. In this case, the area is divided into upper and lower parts. Pattern 3 is a case where the lower right apex spans only the end in the x direction. In this case, the area is divided into left and right. Pattern 4 is a case where the lower right apex straddles the end in both the x and y directions. In this case, the area is divided into four areas, top, bottom, left and right. The area coordinate calculation unit 74 judges this pattern and appropriately calculates the width and height of the area. Areas 1 to 4 are adapted to patterns 1 to 4, respectively, and the coordinates of the upper left vertex and the lower right vertex of areas 1 to 4 are shown below.
Area 1: Upper left apex (ulx1, uly1), lower right apex (lrx1, lry1)
Area 2: Upper left vertex (ulx2, uly2), lower right vertex (lrx2, lry2)
Area 3: Upper left vertex (ulx3, uly3), lower right vertex (lrx3, lry3)
Area 4: Upper left vertex (ulx4, uly4), lower right vertex (lrx4, lry4)
As is clear from FIG. 10, the width and height of each area are calculated as follows.
Area 1: width = lrx1-ulx1
Height = lry1-ulx1
Area 2: Width = lrx2-ulx2
Height = resolution of height-uly2 + lry2
Area 3: width = width resolution-ulx3 + lrx3
Height = lry3-ulx3
Area 4: Width = Width resolution-ulx4 + lrx4
Height = resolution of height-uly4 + lry4
Returning to FIG. 9, description will be made.
Next, it is determined whether the x coordinate of the lower right vertex is larger than the x coordinate of the upper left vertex (S70). That is, it is determined whether the pattern is 3 or 4.

ステップS70の判断がYesの場合、パターン1又は2なのでエリア座標算出部74は、右下頂点のx座標から左上頂点のx座標の差分を算出する(S80)。つまり、右下頂点と左上頂点の差分をそのままエリアの幅とする。   If the determination in step S70 is Yes, since it is pattern 1 or 2, the area coordinate calculation unit 74 calculates the difference between the x coordinate of the lower right vertex and the x coordinate of the upper left vertex (S80). In other words, the difference between the lower right apex and the upper left apex is used as it is as the width of the area.

ステップS70の判断がNoの場合、パターン3又は4なのでエリア座標算出部74は、幅の解像度を考慮して幅を算出する(S90)。具体的には上記のエリア3、4の幅の算出式で算出する。   If the determination in step S70 is No, the area coordinate calculation unit 74 calculates the width in consideration of the resolution of the width because it is pattern 3 or 4, (S90). Specifically, it is calculated by the above formula for calculating the widths of the areas 3 and 4.

次に、右下頂点のy座標が左上頂点のy座標よりも大きいか否かを判断する(S100)。すなわち、パターン2か4であるかどうかを判断する。   Next, it is determined whether the y coordinate of the lower right vertex is larger than the y coordinate of the upper left vertex (S100). That is, it is determined whether the pattern is 2 or 4.

ステップS100の判断がYesの場合、パターン1又は3なのでエリア座標算出部74は、右下頂点のy座標から左上頂点のy座標の差分を算出する(S110)。つまり、右下頂点と左上頂点の差分をそのままエリアの高さとする。   If the determination in step S100 is Yes, since it is pattern 1 or 3, the area coordinate calculation unit 74 calculates the difference between the y coordinate of the lower right vertex and the y coordinate of the upper left vertex (S110). That is, the difference between the lower right apex and the upper left apex is used as it is as the height of the area.

ステップS100の判断がNoの場合、パターン2又は4なのでエリア座標算出部74は、高さの解像度を考慮して高さを算出する(S120)。具体的には上記のエリア2、4の高さの算出式で算出する。   If the determination in step S100 is No, since it is pattern 2 or 4, the area coordinate calculation unit 74 calculates the height in consideration of the resolution of the height (S120). Specifically, it is calculated by the above formula for calculating the height of the areas 2 and 4.

このように、右下頂点が平面画像の端部を跨ぐか否かを判断して、跨ぐ場合には解像度を考慮して幅と高さを算出することで、エリアの左上頂点に対する幅と高さを正しく算出できる。全天球画像のままエリアを閲覧者Yが指定しても、平面画像において正しくエリアを特定できる。   In this way, it is determined whether the lower right vertex crosses the edge of the planar image, and when it crosses, the width and height are calculated in consideration of the resolution. Can be calculated correctly. Even if the viewer Y designates the area as the spherical image, the area can be correctly specified in the planar image.

幅と高さの算出が完了すると、エリア座標算出部74はエリアの任意の名称の入力を受け付ける(S130)。詳細は図14(b)にて説明される。   When the calculation of the width and the height is completed, the area coordinate calculation unit 74 receives an input of an arbitrary name of the area (S130). Details will be described with reference to FIG.

エリア座標算出部74は、端末ID、エリアの開始点、幅、高さ、及び、名称を画像管理装置5に送信する(S140)。以上が1つのエリアの登録であり、閲覧者Yはエリアごとに同様の処理を行う。   The area coordinate calculation unit 74 transmits the terminal ID, the area start point, the width, the height, and the name to the image management device 5 (S140). The above is the registration of one area, and the viewer Y performs the same processing for each area.

<エリアの検査>
平面画像にエリアが設定されたので、解析情報を用いてエリアを検査することができる。解析情報の一例として人の検知結果を使用する。
<Area inspection>
Since the area is set in the plane image, the area can be inspected using the analysis information. A human detection result is used as an example of analysis information.

図11は、画像管理装置5のエリア検査部56がエリアを検査する手順を示すフローチャート図の一例である。なお、適宜図12を参照して説明する。図12はエリアと人検知エリアを説明する図の一例である。   FIG. 11 is an example of a flowchart showing a procedure for the area inspection unit 56 of the image management apparatus 5 to inspect an area. Note that description will be made with reference to FIG. 12 as appropriate. FIG. 12 is an example of a diagram illustrating an area and a person detection area.

例えば、エリアごとに人の有無を検知できれば、ある期間に各エリアにどの位の人が存在したかを定量的に調べることができる。図11では、エリアの検査の一例としてエリア毎の人数のカウント結果をグラフや数字等で出力する例を示す。図11の処理は例えば、閲覧者Yが端末IDや画像ID等を指定してエリアの検査を開始する操作を行うと実行される。あるいは、撮像装置1が撮像を終了させ人検知の解析が終了すると自動的に開始する。また、図11は1つの画像データ(画像フレーム)ごとに実行される。   For example, if it is possible to detect the presence or absence of people in each area, it is possible to quantitatively check how many people were present in each area during a certain period. FIG. 11 shows an example of outputting the count result of the number of people in each area as a graph or a number as an example of the area inspection. The process of FIG. 11 is executed, for example, when the viewer Y performs an operation to start the inspection of the area by designating the terminal ID, the image ID and the like. Alternatively, the image pickup apparatus 1 automatically starts when the image pickup is finished and the analysis of the person detection is finished. Further, FIG. 11 is executed for each image data (image frame).

まず、エリア検査部56は平面画像の解像度と解析情報を取得する(S10)。平面画像の解像度は図10の平面画像の解像度と同じであり予め既知であるか、記憶部5000に記憶されている。解析情報は解析情報管理DB5006に記憶されている。   First, the area inspection unit 56 acquires the resolution and analysis information of the plane image (S10). The resolution of the plane image is the same as the resolution of the plane image in FIG. 10 and is known in advance or stored in the storage unit 5000. The analysis information is stored in the analysis information management DB 5006.

次に、エリア検査部56はエリアを特定する情報をエリア情報管理DB5005から取得する(S20)。エリアは端末IDに関連付けられているので、エリアの検査の対象となっている画像データに関連付けられている端末IDを特定し、この端末IDに関連付けられている登録エリアIDの値(エリアを特定する情報)を順番に読み出す。   Next, the area inspection unit 56 acquires information specifying the area from the area information management DB 5005 (S20). Since the area is associated with the terminal ID, the terminal ID associated with the image data to be inspected for the area is identified, and the value of the registered area ID associated with this terminal ID (the area is identified Information) to be read in order.

次のエリアが登録されていない場合(S30のNo)、図11の処理は終了する。   If the next area is not registered (No in S30), the process of FIG. 11 ends.

対のエリアが登録されている場合(S30のYes)、平面画像に対するエリアの位置を判断してエリアを分割する処理を行う(S40〜S80)。   When the paired area is registered (Yes in S30), the position of the area with respect to the planar image is determined and the area is divided (S40 to S80).

エリアを分割する処理について図12に基づき説明する。図12のエリア1〜4はそれぞれ図10のエリア1〜4と同様である。エリア2〜4のように平面画像の端部を跨ぐエリアは、端部を跨いだ後のエリアがどこにあるかを特定しないと人検知エリアとの関係を判断できない。このため、平面画像の端部を跨ぐエリアは以下のように平面画像の端部で分割される。   The process of dividing the area will be described with reference to FIG. Areas 1 to 4 in FIG. 12 are the same as areas 1 to 4 in FIG. 10, respectively. An area that straddles the edge of the two-dimensional image, such as areas 2 to 4, cannot be determined in relation to the human detection area without specifying where the area after straddling the edge is located. Therefore, the area straddling the end of the plane image is divided at the end of the plane image as follows.

エリア1:エリア1は平面画像の端部を跨がないのでエリア1は分割されない。   Area 1: Area 1 is not divided because it does not straddle the edge of the planar image.

エリア2:エリア2は平面画像のy方向の端部を跨ぐのでエリア2とエリア2'に分割される。   Area 2: Area 2 is divided into area 2 and area 2 ′ because it straddles the end of the planar image in the y direction.

エリア2 左上頂点(x2,y2)、 幅=width2,高さ=幅方向の解像度-y2
エリア2'左上頂点(x2,0)、幅=width2,高さ=height2−(高さの解像度-y2)
エリア3:エリア3は平面画像のx方向の端部を跨ぐのでエリア3とエリア3'に分割される。
Area 2 top left corner (x2, y2), width = width2, height = width-direction resolution-y2
Area 2'top left corner (x2,0), width = width2, height = height2- (height resolution-y2)
Area 3: Area 3 is divided into area 3 and area 3 ′ because it straddles the end of the planar image in the x direction.

エリア3 左上頂点(x3,y3)、幅=幅の解像度−x3、高さ=height
エリア3'左上頂点(0,y3)、幅=width3−(幅の解像度−x3)、高さ=height3
エリア4:エリア4は平面画像のx方向とy方向の端部を跨ぐのでエリア4、4'、4''、4'''に分割される。
Area 3 Upper left corner (x3, y3), width = width resolution−x3, height = height
Area 3'top left corner (0, y3), width = width3− (width resolution−x3), height = height3
Area 4: Area 4 is divided into areas 4, 4 ′, 4 ″, 4 ′ ″ because it straddles the end portions of the planar image in the x direction and the y direction.

エリア4 左上頂点(x4,y4)、幅=幅の解像度−x4、高さ=高さの解像度−y4
エリア4' 左上頂点(0,0)、幅=width4−(幅の解像度−x4),高さ=height4−(高さの解像度-y4)
エリア4''左上頂点(x4,0)、幅=幅の解像度−x4、高さ=height4−(高さの解像度-y4)
エリア4'''左上頂点(0,y4)、幅=width4−(幅の解像度−x4)、高さ=高さの解像度−y4
図11に戻って説明する。エリア検査部56は、エリアを特定する情報のうち原点(x,y)及び幅から、右下頂点の座標(lrx, lry)を算出する(S40)。すなわち、原点のx座標に幅を加算して、右下頂点の座標のx座標lrxを算出する。
Area 4 Upper left corner (x4, y4), width = width resolution-x4, height = height resolution-y4
Area 4'top left corner (0,0), width = width4− (width resolution−x4), height = height4− (height resolution−y4)
Area 4 '' Upper left corner (x4,0), width = width resolution-x4, height = height4- (height resolution-y4)
Area 4 '''Upper left vertex (0, y4), width = width4− (width resolution−x4), height = height resolution−y4
Returning to FIG. 11, description will be made. The area inspection unit 56 calculates the coordinates (lrx, lry) of the lower right apex from the origin (x, y) and the width of the information specifying the area (S40). That is, the width is added to the x coordinate of the origin to calculate the x coordinate lrx of the coordinate of the lower right vertex.

右下頂点のx座標lrxが平面画像のx方向の解像度よりも大きいか否かを判断する(S50)。「平面画像のx方向の解像度<x座標lrx」の場合、右下頂点の座標が平面画像のx方向の端部を跨ぐ。すなわち、図12のエリア3の状態となる。   It is determined whether the x coordinate lrx of the lower right apex is larger than the resolution of the plane image in the x direction (S50). In the case of “resolution of the plane image in the x direction <x coordinate lrx”, the coordinates of the lower right apex straddle the end of the plane image in the x direction. That is, the state of area 3 in FIG. 12 is set.

ステップS50の判断がYesの場合、エリア検査部56はエリアをx方向に二分割して、エリア3とエリア3'という2つのエリアを作成する(S60)。エリア3とエリア3'の(左上頂点の座標、幅、高さ)は図12で説明した。   If the determination in step S50 is Yes, the area inspection unit 56 divides the area into two in the x direction and creates two areas, area 3 and area 3 '(S60). Areas 3 and 3 '(coordinates of upper left apex, width, height) have been described with reference to FIG.

次に、エリア検査部56は右下頂点のy座標lryが平面画像のy方向の解像度よりも大きいか否かを判断する(S70)。「平面画像のy方向の解像度<y座標lry」の場合、右下頂点の座標が平面画像のy方向の端部を跨ぐ。すなわち、図12のエリア2の状態となる。   Next, the area inspection unit 56 determines whether the y coordinate lry of the lower right apex is larger than the resolution of the planar image in the y direction (S70). In the case of “resolution of the plane image in the y direction <y coordinate lry”, the coordinates of the lower right apex straddle the end of the plane image in the y direction. That is, the state of area 2 in FIG. 12 is set.

ステップS70の判断がYesの場合、エリア検査部56はエリアをy方向に二分割して、エリア2とエリア2'という2つのエリアを作成する(S80)。エリア2とエリア2'の(左上頂点の座標、幅、高さ)は図12に示した。   If the determination in step S70 is Yes, the area inspection unit 56 divides the area into two in the y direction and creates two areas, area 2 and area 2 '(S80). Area 2 and area 2 ′ (coordinates of upper left apex, width, height) are shown in FIG.

また、ステップS50とS70の両方でYesと判断されるエリア4は、エリア4、4'、4''、4'''の4つに分割される。エリア4、4'、4''、4''' の(左上頂点の座標、幅、高さ)は図12に示した。   Further, the area 4 determined as Yes in both steps S50 and S70 is divided into four areas 4, 4 ', 4' ', and 4' ''. Areas 4, 4 ′, 4 ″, and 4 ′ ″ (coordinates of upper left apex, width, height) are shown in FIG.

次に、この分割したエリアごとに人が検知された回数をカウントアップする処理を行う。エリア検査部56は、画像データに人検知エリアがあるか否かを判断する(S90)。ステップS90の判断がNoの場合、処理はステップS30に戻る。   Next, a process of counting up the number of times a person is detected is performed for each of the divided areas. The area inspection unit 56 determines whether or not the image data has a human detection area (S90). If the determination in step S90 is No, the process returns to step S30.

ステップS90の判断がYesの場合、エリア検査部56は分割されたエリアを1つ取り出す(S100)。   If the determination in step S90 is Yes, the area inspection unit 56 extracts one divided area (S100).

そして、分割されたエリアに人検知エリアの中心が含まれるか否かを判断する(S110)。   Then, it is determined whether or not the center of the person detection area is included in the divided areas (S110).

ステップS110の判断がYesの場合、エリア検査部56はエリアで人が検知された回数を1つ大きくする(S120)。回数はエリアごとにカウントされ、エリアが分割されていても分割前のエリアごとにカウントされる。このように解析結果を用いてエリアごとにエリアに関する情報を作成できる。エリアが互いに重複していないという前提であるため、この後、処理はステップS90に戻り次の人検知エリアについて処理される。エリアが互いに重複している場合、処理はステップS100に戻ればよい。   When the determination in step S110 is Yes, the area inspection unit 56 increases the number of times a person is detected in the area by one (S120). The number of times is counted for each area, and even if the area is divided, it is counted for each area before division. In this way, the information about the area can be created for each area using the analysis result. Since it is premised that the areas do not overlap each other, the process thereafter returns to step S90 and the next person detection area is processed. If the areas overlap each other, the process may return to step S100.

ステップS110の判断がNoの場合、処理はステップS100に戻り次の分割されたエリアを取り出す。したがって、1つの人検知エリアに対し分割されたエリアが総当たりで人検知エリアの中心を含むか否かが判断される。   If the determination in step S110 is no, the process returns to step S100 to take out the next divided area. Therefore, it is determined whether or not the area divided for one person detection area includes the center of the person detection area in a brute force manner.

以上で、エリアごとに人が検知された数が測定された。次の画像データ(画像フレーム)で同じ処理を行えば、情報端末7はエリアごとにある期間に人が検知された回数や頻度などをグラフ等で表示できる。   Thus, the number of people detected in each area was measured. If the same process is performed on the next image data (image frame), the information terminal 7 can display the number of times a person is detected and the frequency in a certain period for each area in a graph or the like.

また、情報端末7は包含するエリアと包含されるエリアを座標に基づいて特定し、包含するエリアにおける人検知の回数に対し、包含されるエリアにおける人の検知の回数の比などを算出できる。包含されるエリアが複数あれば、包含するエリアにおけるヒートマップなどを容易に作成できる。   Further, the information terminal 7 can specify the inclusion area and the inclusion area based on the coordinates, and can calculate the ratio of the number of times of detection of the person in the inclusion area to the number of times of detection of the person in the inclusion area. If there are a plurality of included areas, it is possible to easily create a heat map or the like in the included areas.

なお、人検知エリアの中心を比較するのでなく人検知エリアの一部でもエリアと重複している場合に、エリアの人の数をカウントしてもよい。この場合、複数のエリアで同一人物がカウントされる場合があるが、エリアに接近した人をカウントできる。また、人検知エリアとエリアの重複面積が最も多いエリアの人の数をカウントしてもよい。この場合、複数のエリアで同一人物がカウントされることを抑制し、エリアに接近した人をカウントできる。また、人検知エリアとエリアの距離が閾値内の場合にエリアの人の数をカウントしてもよい。   Note that the number of people in the area may be counted when a part of the person detection area overlaps with the area instead of comparing the centers of the person detection areas. In this case, the same person may be counted in a plurality of areas, but a person approaching the area can be counted. Further, the number of people in the area having the largest overlapping area between the human detection area and the area may be counted. In this case, it is possible to suppress counting of the same person in a plurality of areas and count the number of persons approaching the area. Further, the number of people in the area may be counted when the distance between the person detection area and the area is within a threshold value.

<エリアの表示>
画像管理装置5に登録されているエリアを情報端末7が表示する処理を説明する。画像管理装置5に登録されているエリアを特定するための情報(値)は平面画像における座標であり、情報端末7は全天球画像を表示するので、エリアを特定する情報をワールド座標系の座標に変換する必要がある。
<Display area>
A process in which the information terminal 7 displays the area registered in the image management device 5 will be described. The information (value) for identifying the area registered in the image management device 5 is the coordinates in the plane image, and since the information terminal 7 displays the spherical image, the information for identifying the area is set in the world coordinate system. Needs to be converted to coordinates.

図13は、情報端末7がエリアを表示するための処理手順を示すフローチャート図の一例である。図13の処理は閲覧者Yが情報端末7を操作して画像データの閲覧を画像管理装置5に要求するとスタートする。なお、画像データが特定されているので端末IDが特定されている。   FIG. 13 is an example of a flowchart showing a processing procedure for the information terminal 7 to display the area. The process of FIG. 13 starts when the viewer Y operates the information terminal 7 to request the image management device 5 to view image data. Since the image data is specified, the terminal ID is specified.

まず、情報端末7の表示制御部73は、平面画像の解像度を取得する(S10)。解像度は既知である。人検知エリアも表示する場合は、解析情報管理DB5006から解析情報を取得しておく。   First, the display control unit 73 of the information terminal 7 acquires the resolution of the plane image (S10). The resolution is known. When the person detection area is also displayed, the analysis information is acquired from the analysis information management DB 5006.

表示制御部73は、エリアを特定する情報を画像管理装置5のエリア情報管理5005から取得する(S20)。エリアは端末IDに関連付けられているので、表示対象の画像データに関連付けられている端末IDを特定すればよい。   The display control unit 73 acquires the information specifying the area from the area information management 5005 of the image management device 5 (S20). Since the area is associated with the terminal ID, the terminal ID associated with the image data to be displayed may be specified.

次に、表示制御部73は平面画像と同じ解像度のレンダリングベースを作成する(S30)。これは、全天球画像にレンダリングベースを新規レイヤとして貼り付けるためである。例えば、HTMLのタグであるcanvasタグを使用する。   Next, the display control unit 73 creates a rendering base having the same resolution as the plane image (S30). This is because the rendering base is pasted as a new layer on the spherical image. For example, the canvas tag which is an HTML tag is used.

表示制御部73は撮像装置1に次のエリアが登録されているか否かを判断する(S40)。撮像装置1に次のエリアが登録されている場合、表示制御部73はエリアの分割処理を行う(S50)。この分割処理は図11で説明した。   The display control unit 73 determines whether or not the next area is registered in the imaging device 1 (S40). When the next area is registered in the imaging device 1, the display control unit 73 performs area division processing (S50). This division processing has been described with reference to FIG.

そして、分割された全てのエリアをレンダリングベースにレンダリングする(S60、S70)。分割されたエリアの座標が分かるので、レンダリングベースに矩形を描画すればよい。すなわち、分割されたエリアの座標で特定される四角形を描画する。エリアには半透明で表示される処理が施される。また、エリアごとに異なる色(半透明)が付される。半透明とすることで閲覧者Yは全天球画像を目視することができる。   Then, all the divided areas are rendered based on the rendering base (S60, S70). Since the coordinates of the divided areas are known, it is sufficient to draw a rectangle on the rendering base. That is, a quadrangle specified by the coordinates of the divided areas is drawn. The area is processed to be displayed semi-transparently. Also, a different color (semi-transparent) is added to each area. The semi-transparent image allows the viewer Y to view the spherical image.

すべてのエリアについて処理が終わると(S40のNo)、表示制御部73はレンダリングベースをレイヤ化する(S70)。レイヤ化とはcanvasタグの全体を1枚の画像データとして生成することをいう。エリアがない場所は完全な透明になる。   When the processing is completed for all areas (No in S40), the display control unit 73 layers the rendering base (S70). Layering means generating the entire canvas tag as one image data. Places without areas are completely transparent.

表示制御部73は、レイヤ化されたエリアを全天球画像に貼付する(S80)。すなわち、レイヤ化された平面画像を、従来と同様に全天球に貼り付ける処理を行う。これにより、全天球画像にレイヤが貼り付けられた状態になる。   The display control unit 73 attaches the layered area to the spherical image (S80). That is, the process of attaching the layered planar image to the celestial sphere is performed as in the conventional case. As a result, the layer is attached to the spherical image.

閲覧者Yは全天球画像に重ねてエリアを確認することができる。なお、図13の処理を画像管理装置5が行ってもよい。閲覧者Yは画像データを表示しながらエリアを表示したりしなかったりを操作できる。   The viewer Y can confirm the area by superimposing it on the spherical image. Note that the image management device 5 may perform the processing of FIG. The viewer Y can operate whether or not to display the area while displaying the image data.

<画面例>
図14から図18を用いてエリアの登録から表示までの画面例を示す。
図14(a)はエリアの登録時に情報端末7がディスプレイ508に表示するエリア登録画面601の一例である。
<Screen example>
14 to 18 show examples of screens from area registration to display.
FIG. 14A is an example of the area registration screen 601 displayed on the display 508 by the information terminal 7 when the area is registered.

閲覧者Yは全天球画像内を表示させエリアの登録を行うためのメニューを選択する。そして、上記のように、任意の位置をマウス等のポインティングデバイスでドラッグすることでエリアを指定する。図14(a)にはドラッグされたエリア602が点線で示されている。エリア602の位置が登録される。なお、処理としては、情報端末7の受付部72はドラッグの開始点と終了点の座標を検出して、表示制御部73がこの座標を対角頂点とする矩形を表示する。   The viewer Y selects the menu for displaying the inside of the spherical image and registering the area. Then, as described above, the area is designated by dragging an arbitrary position with a pointing device such as a mouse. In FIG. 14A, the dragged area 602 is shown by a dotted line. The position of the area 602 is registered. As a process, the reception unit 72 of the information terminal 7 detects the coordinates of the start point and the end point of the drag, and the display control unit 73 displays a rectangle whose diagonal vertices are the coordinates.

閲覧者Yは図14(b)に示すようにエリアに名称を付与できる。図14(b)では名称登録欄603が表示されている。閲覧者Yは名称を入力してOKボタン604を押下する。情報端末7の受付部72はこの操作を受け付けて、送受信部71が端末ID、エリアを特定するための情報(値)及び名称を画像管理装置5に送信する。名称は任意であるが例えば、図14(b)のエリアは冷蔵庫に指定されたので「冷蔵庫」などを入力する。したがって、陳列する具体的な商品等で名称を付与できる。   The viewer Y can give a name to the area as shown in FIG. In FIG. 14B, a name registration field 603 is displayed. The viewer Y inputs the name and presses the OK button 604. The reception unit 72 of the information terminal 7 receives this operation, and the transmission / reception unit 71 transmits the terminal ID, the information (value) for specifying the area, and the name to the image management apparatus 5. Although the name is arbitrary, for example, since the area in FIG. 14B is designated as a refrigerator, “refrigerator” or the like is input. Therefore, a name can be given to a specific product or the like to be displayed.

図15(a)は複数の座標点によるエリアの登録例を説明する図の一例である。閲覧者Yは指定したいエリアを囲むように座標点605の入力を繰り返す(例えばポインティングデバイス650でクリック又はタッチする)。情報端末7の受付部72は座標点605の入力を受け付け、情報端末7の表示制御部73は座標点605と座標点605の間を点線で囲むなどしてエリア602を明示する。このようなエリアの登録は矩形以外のエリアを登録したい場合に有効である。   FIG. 15A is an example of a diagram illustrating an example of registering an area with a plurality of coordinate points. The viewer Y repeats inputting the coordinate points 605 so as to surround the area to be designated (for example, clicking or touching with the pointing device 650). The reception unit 72 of the information terminal 7 receives the input of the coordinate point 605, and the display control unit 73 of the information terminal 7 clearly indicates the area 602 by surrounding the coordinate point 605 and the coordinate point 605 with a dotted line. Such area registration is effective when it is desired to register an area other than a rectangle.

図15(b)はフリーハンドによるエリアの登録例を説明する図の一例である。この場合、閲覧者Yはエリアの外縁に沿ってポインティングデバイス650をドラッグする。情報端末7の受付部72は軌跡606の座標を受け付け、情報端末7の表示制御部73はポインティングデバイス650の軌跡606を線で表示するなどしてエリア602を明示する。任意の形状のエリアを短時間で指定できる。   FIG. 15B is an example of a diagram illustrating an example of freehand area registration. In this case, the viewer Y drags the pointing device 650 along the outer edge of the area. The receiving unit 72 of the information terminal 7 receives the coordinates of the locus 606, and the display control unit 73 of the information terminal 7 clearly indicates the area 602 by displaying the locus 606 of the pointing device 650 with a line. You can specify an area of any shape in a short time.

図16(a)はエリアの関連付けを説明する図の一例である。閲覧者Yがエリア602Aの後にエリア602Bを指定した。例えばエリアAに「冷蔵庫」、エリアBに「レジ前」という名称が付与されたものとする。エリア602Bをエリア602Aと関連付けたい場合、閲覧者Yはエリア602Aを選択した状態で、例えばエリア602B内で右クリックすることにより関連づけのためのメニューを表示させる。エリア602Aには選択中であることを示すマーク660が表示される。受付部72はこのメニューの選択操作を受け付け、表示制御部73が図16(a)のようなエリア関連付け欄610が表示させる。エリア関連付け欄610には「関連づけするエリアを選択してください」というメッセージ611、選択中のエリア612として「レジ前」が表示される。   FIG. 16A is an example of a diagram for explaining the association of areas. The viewer Y specifies the area 602B after the area 602A. For example, assume that the area A is given the name "refrigerator" and the area B is given the name "before cash register". When the user Y wants to associate the area 602B with the area 602A, the viewer Y displays the menu for association by right-clicking in the area 602B while selecting the area 602A. A mark 660 indicating that selection is being performed is displayed in the area 602A. The reception unit 72 receives the selection operation of this menu, and the display control unit 73 causes the area association column 610 as shown in FIG. In the area association column 610, a message 611 "Please select an area to be associated" and "Before checkout" are displayed as the selected area 612.

閲覧者Yがエリア602Aをポインティングデバイス650で選択すると、受付部72がポインティングデバイス650の位置を検出してエリア602Aが選択されたと判断する。受付部72はエリア602Aで登録されているエリアAの名称(冷蔵庫)をエリア関連付け欄610の関連付けられるエリア613に表示する。このように、閲覧者Yはエリアを選択するという簡単な操作でエリア同士を関連付けることができる。また、すでに指定されているエリアが表示されるので、閲覧者Yがこれから登録しようとしているエリアとの相対位置が分かりやすい。   When the viewer Y selects the area 602A with the pointing device 650, the reception unit 72 detects the position of the pointing device 650 and determines that the area 602A has been selected. The reception unit 72 displays the name (refrigerator) of the area A registered in the area 602A in the associated area 613 of the area association field 610. In this way, the viewer Y can associate the areas with each other by a simple operation of selecting the areas. Further, since the already designated area is displayed, the relative position with respect to the area the viewer Y is about to register is easy to understand.

図16(b)はエリアの中に更に登録されるエリアを説明する図の一例である。図16(b)ではエリア602Cの中にエリア602Aが登録されている。情報端末7はエリア602Cの座標とエリア602Aの座標を比較することでエリア602Aがエリア602Cに包含されていると判断できる。あるいは明示的に閲覧者Yが指定してもよい。したがって、画像管理装置5は、エリア602Cで検知された人の総数に対し更にエリア602Aで検知された人の数の比率などを簡単に算出できる。   FIG. 16B is an example of a diagram for explaining areas that are further registered in the area. In FIG. 16B, the area 602A is registered in the area 602C. The information terminal 7 can determine that the area 602A is included in the area 602C by comparing the coordinates of the area 602C with the coordinates of the area 602A. Alternatively, the viewer Y may explicitly specify. Therefore, the image management apparatus 5 can easily calculate the ratio of the number of people detected in the area 602A to the total number of people detected in the area 602C.

図17はエリア表示画面621の一例を示す図である。図17(a)は、登録されたエリア602の表示例を示す図である。図17(a)では2つのエリア602A,602Dが表示されているがそれぞれが異なる色で表示されている。情報端末7がディスプレイ508に表示する画面データは、上記のように情報端末7の表示制御部73が作成するが画像管理装置5の画面作成部54も作成できる。図では白黒であるが、例えばエリア602Aは赤でエリア602Dは青で表示される。これにより、異なるエリア602が表示されていることを閲覧者Yに把握させやすくなる。なお、表示される色は一例であり、閲覧者Yが指定できてもよい。   FIG. 17 is a diagram showing an example of the area display screen 621. FIG. 17A is a diagram showing a display example of the registered area 602. Although two areas 602A and 602D are displayed in FIG. 17A, they are displayed in different colors. The screen data displayed on the display 508 by the information terminal 7 is created by the display controller 73 of the information terminal 7 as described above, but can also be created by the screen creator 54 of the image management apparatus 5. Although it is black and white in the figure, for example, the area 602A is displayed in red and the area 602D is displayed in blue. This makes it easier for the viewer Y to understand that the different area 602 is displayed. The displayed color is an example, and the viewer Y may be able to specify it.

一方、情報端末7の表示制御部73は関連づけされたエリアを同じ色で表示する。図17(b)では関連付けられた「レジ前」のエリア602Bと「冷蔵庫」のエリア602Aが同じ色で表示されている。情報端末7の表示制御部73、エリア情報管理DB5005を参照して関連付けのフィールドを読み出し、関連付けされている複数のエリアを同じ色に設定する。図では白黒であるが、例えば赤で表示される。なお、表示される色は一例である。閲覧者Yはエリアの色を見ることで関連付けられたエリアを判断しやすくなる。   On the other hand, the display control unit 73 of the information terminal 7 displays the associated areas in the same color. In FIG. 17B, the associated “before cashier” area 602B and the associated “refrigerator” area 602A are displayed in the same color. The field of association is read out by referring to the display control unit 73 of the information terminal 7 and the area information management DB 5005, and a plurality of associated areas are set to the same color. Although it is black and white in the figure, it is displayed in red, for example. The colors displayed are examples. The viewer Y can easily determine the associated area by seeing the color of the area.

なお、各エリアの色は半透明なので、各エリアが全天球画像に映っているどの被写体に対して指定されたのかを、閲覧者Yは容易に判断できる。   Since the color of each area is semi-transparent, the viewer Y can easily determine which subject in the spherical image is designated for each area.

図18(a)は、他方のエリアに包含されたエリアの表示例を示す。それぞれのエリア602A,602Cが別々の色で表示されるので、閲覧者Yは包含されているエリアを判断しやすい。なお、包含されたエリア602Aが包含するエリア602Cと関連付けられた場合、同色になってしまい判別が困難になる。情報端末7の表示制御部73は、エリア情報管理DB5005を参照してエリアを特定する情報(値)を読み出し、一方が他方に完全に包含されるエリアを特定する。そして、包含されるエリアにエリアの色と異なる色の枠線を形成するなどする。これにより情報端末7が全天球画像を表示した際、重複したエリアが判別可能になる。あるいは、一方を点滅させたり、輝度を落としたり、同色の斜線で表示したりしてもよい。   FIG. 18A shows a display example of an area included in the other area. Since the areas 602A and 602C are displayed in different colors, the viewer Y can easily determine the included area. If the included area 602A is associated with the included area 602C, the color is the same, which makes it difficult to determine. The display control unit 73 of the information terminal 7 refers to the area information management DB 5005, reads the information (value) that specifies the area, and specifies the area in which one is completely included in the other. Then, a frame line of a color different from the area color is formed in the included area. As a result, when the information terminal 7 displays the omnidirectional image, the overlapping areas can be discriminated. Alternatively, one of them may be blinked, the brightness may be reduced, or the same color may be used for display.

図18(b)は人検知エリアの表示例を示す図である。情報端末7の表示制御部73は予め解析情報管理DB5006から読み出した人検知エリアを平面画像に形成しておく。形成方法はエリアの場合と同じである。このように、情報端末7は人検知エリア630をエリア602と共に又はエリア602とは別に表示することができる。情報端末7は閲覧者Yの操作で人検知エリアの表示と非表示を切り替えることができる。例えば、図18(b)の例では、人検知エリア630の中心がエリア602Aと重複しているので、エリア602Aにおいて人が検知されたと判断される。   FIG. 18B is a diagram showing a display example of the human detection area. The display control unit 73 of the information terminal 7 previously forms a person detection area read from the analysis information management DB 5006 on a planar image. The forming method is the same as that of the area. In this way, the information terminal 7 can display the person detection area 630 together with the area 602 or separately from the area 602. The information terminal 7 can switch the display and non-display of the person detection area by the operation of the viewer Y. For example, in the example of FIG. 18B, since the center of the person detection area 630 overlaps with the area 602A, it is determined that a person is detected in the area 602A.

<エリアの検査結果>
図19はエリアの検査結果を説明する図の一例である。図19(a)では横軸が日付、縦軸が検知された人の数である。人数はエリアごとにカウントされている。すなわち、1日当たりに検知された人の数がエリアごとに表示されている。閲覧者Yは表示させるエリアを選択できる。したがって、人が多いエリアや少ないエリアを判断しやすい。また、日付によってどのような変化があるかを把握しやすい。
<Area inspection results>
FIG. 19 is an example of a diagram for explaining the inspection result of the area. In FIG. 19A, the horizontal axis is the date and the vertical axis is the number of detected persons. The number of people is counted by area. That is, the number of people detected per day is displayed for each area. The viewer Y can select the area to be displayed. Therefore, it is easy to determine the area with many people and the area with few people. Also, it is easy to understand what kind of change has occurred depending on the date.

図19(b)は、全天球画像の全体の人のカウント数が表示された画面を示す。図19(b)の下段のグラフは図19(a)と同じである。図19(b)の上段では日付ごとに全天球画像の全体で検知された人のカウント数が棒グラフで表示されている。なお、図19(b)では2つの撮像装置A,Bのカウント数が示されている。全天球画像の全体で検知される人のカウント数が多ければエリアで検知される人の数も多くなる傾向がある。したがって、全体と部分(エリア)の関係を把握しやすくすることもできる。   FIG. 19B shows a screen on which the total number of people in the omnidirectional image is displayed. The lower graph of FIG. 19B is the same as that of FIG. In the upper part of FIG. 19B, the bar count is displayed as the count number of persons detected in the entire spherical image for each date. Note that FIG. 19B shows the count numbers of the two imaging devices A and B. If the number of people detected in the whole celestial sphere image is large, the number of people detected in the area tends to be large. Therefore, the relationship between the whole and the part (area) can be easily grasped.

なお、図19のような検査結果を情報端末7は印刷することもできるし、他の機器や端末に送信することもできる。   The information terminal 7 can print the inspection result as shown in FIG. 19 or can send the inspection result to another device or terminal.

<まとめ>
以上説明したように本実施形態の画像処理システムは、全天球画像10のように歪曲した画像データにエリア602が設定されても、エリア602が人検知などの解析(画像処理)が行われる平面画像11の座標系に変換されるので、人検知等の解析結果を設定されたエリア602に適用しやすい。また、全天球画像に境界がないが平面画像で境界(端部)が生じても、エリアを分割するのでエリアごとに人検知等の解析結果を正しく適用できる。
<Summary>
As described above, in the image processing system according to the present embodiment, even if the area 602 is set in the distorted image data like the spherical image 10, the area 602 is analyzed (image processing) such as human detection. Since it is converted into the coordinate system of the plane image 11, it is easy to apply the analysis result such as the person detection to the set area 602. Further, even if there is no boundary in the omnidirectional image but a boundary (edge) occurs in the planar image, the area is divided, so that the analysis result of person detection or the like can be correctly applied to each area.

<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
The best mode for carrying out the present invention has been described above with reference to the embodiments, but the present invention is not limited to these embodiments, and various modifications can be made without departing from the gist of the present invention. And substitutions can be added.

例えば、本実施形態では人が検知されたが、情報端末7は男女の別を判断して男女がそれぞれ検知された回数を表示してもよい。あるいは、手を伸ばす、座る、商品を戻すなどの動作を判別して各動作の回数を表示してもよい。また、商品の有無、商品の数、体積、商品の配置が乱れているかどうかなどを表示してもよい。   For example, although a person is detected in the present embodiment, the information terminal 7 may determine the gender and display the number of times each of the male and female is detected. Alternatively, the number of times each operation is performed may be displayed by discriminating an operation such as reaching, sitting, or returning a product. Further, the presence / absence of products, the number of products, the volume, whether or not the arrangement of products is disturbed may be displayed.

また、上記の実施形態では、情報端末7でエリアが登録され画像管理装置5がエリアに関する情報を作成したが、情報端末7でエリアに関する情報まで作成してもよいし、画像管理装置5がエリアの指定を受け付けてもよい。また、情報端末7と画像管理装置5が一体の情報処理装置が本実施形態で説明された処理を一台で実行してもよい。また、画像管理装置5が有する機能の全て又は1以上を情報端末7が有していてよく、情報端末7が有する機能の全て又は1以上を画像管理装置5が有していてもよい。   Further, in the above-described embodiment, the area is registered in the information terminal 7 and the image management device 5 creates information about the area. However, the information terminal 7 may create information about the area, or the image management device 5 creates the area. May be accepted. Further, an information processing device in which the information terminal 7 and the image management device 5 are integrated may execute the processing described in the present embodiment by itself. The information terminal 7 may have all or one or more of the functions of the image management apparatus 5, and the image management apparatus 5 may have all or one or more of the functions of the information terminal 7.

また、以上の実施例で示した図6などの構成例は、撮像装置1、通信端末3、画像管理装置5及び情報端末7の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。撮像装置1、通信端末3、画像管理装置5及び情報端末7の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。また、画像処理システム200が複数の画像管理装置5を有していてもよい。   In addition, in order to facilitate the understanding of the processes of the imaging device 1, the communication terminal 3, the image management device 5, and the information terminal 7, the configuration examples such as FIG. It is divided. However, the present invention is not limited by the division method or name of each processing unit. The processing of the image pickup apparatus 1, the communication terminal 3, the image management apparatus 5, and the information terminal 7 can be divided into more processing units according to the processing content. It is also possible to divide one processing unit so as to include more processing. Further, the image processing system 200 may include a plurality of image management devices 5.

また、画像管理装置5の記憶部5000のデータベースは、画像管理装置5が直接有する他、画像管理装置5が読み書き可能な通信ネットワーク9上にあればよい。   Further, the database of the storage unit 5000 of the image management apparatus 5 may be provided directly on the image management apparatus 5 or on the communication network 9 in which the image management apparatus 5 can read and write.

なお、ディスプレイ508は表示装置の一例であり、受付部72は受付手段の一例であり、エリア座標算出部74は座標変換手段の一例であり、エリア検査部56は解析手段の一例であり、表示制御部73は表示手段の一例である。画像管理装置5は第一の情報処理装置の一例であり、情報端末7は第二の情報処理装置の一例である。本実施形態で説明した画像処理システム200が行う処理は画像処理方法の一例である。   The display 508 is an example of a display device, the reception unit 72 is an example of a reception unit, the area coordinate calculation unit 74 is an example of a coordinate conversion unit, and the area inspection unit 56 is an example of an analysis unit. The control unit 73 is an example of a display unit. The image management device 5 is an example of a first information processing device, and the information terminal 7 is an example of a second information processing device. The process performed by the image processing system 200 described in the present embodiment is an example of an image processing method.

1 :撮像装置
3 :通信端末
5 :画像管理装置
7 :情報端末
31 :送受信部
51 :送受信部
52 :人物検知部
54 :画面作成部
55 :エリア登録部
56 :エリア検査部
200 :画像処理システム
1: Imaging device 3: Communication terminal 5: Image management device 7: Information terminal 31: Transmission / reception unit 51: Transmission / reception unit 52: Human detection unit 54: Screen creation unit 55: Area registration unit 56: Area inspection unit 200: Image processing system

特開2009‐048229号公報JP 2009-048229 A

Claims (15)

1つ以上の情報処理装置を含む画像処理システムであって、
所定よりも画角が広い広角画像を表示装置に表示する表示手段と、
前記表示装置に表示された前記広角画像の領域の指定を受け付ける受付手段と、
前記表示装置における前記領域の座標を前記広角画像が解析される際の平面画像の座標に変換する座標変換手段と、
前記平面画像の解析結果が有する座標と前記座標変換手段により変換された領域の座標を比較した結果に基づいて、前記領域に関する情報を作成する解析手段と、
を有する画像処理システム。
An image processing system including one or more information processing devices,
Display means for displaying a wide-angle image having a wider angle of view than a predetermined value on a display device;
Receiving means for accepting designation of the area of the wide-angle image displayed on the display device,
Coordinate conversion means for converting the coordinates of the area in the display device into the coordinates of a plane image when the wide-angle image is analyzed;
Based on the result of comparing the coordinates of the analysis result of the plane image and the coordinates of the region converted by the coordinate conversion unit , an analysis unit that creates information about the region,
Image processing system having a.
前記座標変換手段は、前記領域の前記表示装置における座標を三次元座標に変換し、前記三次元座標を前記平面画像の座標に変換する請求項1に記載の画像処理システム。   The image processing system according to claim 1, wherein the coordinate conversion means converts the coordinates of the area on the display device into three-dimensional coordinates, and converts the three-dimensional coordinates into coordinates of the planar image. 前記広角画像は周囲360°が撮像された全天球画像であり、
前記座標変換手段は、前記平面画像の座標に変換された前記領域が前記平面画像の解像度を超えている場合、前記平面画像の解像度を考慮して前記領域の幅と高さを算出し、
前記解析手段は、前記幅及び高さを用いて算出した前記平面画像の座標における前記領域の右下頂点が前記平面画像の端部を跨ぐ場合、前記端部で前記領域を分割し、
分割された各領域の座標と前記解析結果が有する座標とを比較する請求項1又は2に記載の画像処理システム。
The wide-angle image is a spherical image in which 360 ° is captured,
When the area converted into the coordinates of the plane image exceeds the resolution of the plane image, the coordinate conversion unit calculates the width and height of the area in consideration of the resolution of the plane image,
The analysis means, when the lower right apex of the region in the coordinates of the plane image calculated using the width and height straddles the end of the plane image, divides the region at the end,
The image processing system according to claim 1, wherein the coordinates of the respective divided areas are compared with the coordinates of the analysis result.
前記解析手段が作成した前記領域に関する情報を前記領域ごとに出力する請求項1〜3のいずれか1項に記載の画像処理システム。   The image processing system according to any one of claims 1 to 3, wherein information regarding the area created by the analysis unit is output for each area. 前記平面画像の前記解析結果は、予め定められた対象が前記平面画像で検知された場合に前記対象を含む対象領域の座標を有し、
前記解析手段は、前記対象領域の少なくとも一部が前記領域と重複する場合、前記領域で前記対象が検知されたことに基づいて前記領域に関する情報を作成する請求項4に記載の画像処理システム。
The analysis result of the planar image has coordinates of a target area including the target when a predetermined target is detected in the planar image,
The image processing system according to claim 4, wherein when at least a part of the target area overlaps with the area, the analysis unit creates information about the area based on detection of the target in the area.
前記解析手段は、前記広角画像ごとに前記対象領域の少なくとも一部が前記領域と重複するか否かを判断し、
重複する場合に、前記領域ごとに前記対象が検知された回数をカウントし、
前記表示手段は、前記回数を前記領域ごとに表示する請求項5に記載の画像処理システム。
The analyzing unit determines whether at least a part of the target region overlaps with the region for each wide-angle image,
When overlapping, counting the number of times the object is detected for each area,
The image processing system according to claim 5, wherein the display unit displays the number of times for each area.
前記表示手段は、前記広角画像の全体で前記対象が検知された回数と共に、前記領域ごとに前記対象が検知された回数を表示する請求項6に記載の画像処理システム。   The image processing system according to claim 6, wherein the display unit displays the number of times the target is detected in each of the wide-angle images as well as the number of times the target is detected in each of the regions. 前記受付手段は、前記表示装置におけるポインティングデバイスの2点の座標で指定される矩形の範囲、
前記表示装置におけるポインティングデバイスの複数の点で囲まれる範囲、又は、
前記表示装置におけるポインティングデバイスの軌跡で囲まれる範囲、により前記領域の指定を受け付ける請求項1〜7のいずれか1項に記載の画像処理システム。
The reception unit is a rectangular range specified by coordinates of two points of a pointing device in the display device,
A range surrounded by a plurality of points of the pointing device in the display device, or
The image processing system according to claim 1, wherein the designation of the area is accepted by a range surrounded by a trajectory of a pointing device in the display device.
前記受付手段は、すでに受け付けた前記領域を表示した状態で、次の前記領域の指定を受け付ける請求項8に記載の画像処理システム。   The image processing system according to claim 8, wherein the accepting unit accepts designation of the next area in a state where the area that has already been accepted is displayed. 前記表示手段は、前記領域を前記表示装置に表示する際、前記領域を半透明にして前記
広角画像に重ねて表示する請求項1〜9のいずれか1項に記載の画像処理システム。
The image processing system according to any one of claims 1 to 9, wherein the display unit displays the area on the display device by making the area semi-transparent and superimposing the area on the wide-angle image.
前記受付手段は、指定された前記領域のうち任意の2つ以上の前記領域の関連付けを受け付け、
前記表示手段は、関連付けられた2つの前記領域を同色で前記表示装置に表示する請求項10に記載の画像処理システム。
The receiving unit receives association of any two or more of the specified areas,
The image processing system according to claim 10, wherein the display unit displays the two associated areas in the same color on the display device.
前記受付手段は、前記領域の全体が他方の前記領域に包含される前記領域の指定を受け付け、
前記解析手段は、包含する前記領域で前記対象が検知された回数に対する、包含された前記領域で前記対象が検知された回数の比を算出し、
前記表示手段は、前記比を表示する請求項7に記載の画像処理システム。
The accepting unit accepts designation of the region in which the entire region is included in the other region,
The analysis means calculates a ratio of the number of times the object is detected in the included area to the number of times the object is detected in the included area,
The image processing system according to claim 7, wherein the display unit displays the ratio.
第一の情報処理装置と第二の情報処理装置を含む画像処理システムであって、
前記第二の情報処理装置は、
所定よりも画角が広い広角画像を表示装置に表示する表示手段と、
前記表示装置に表示された前記広角画像の領域の指定を受け付ける受付手段と、
前記表示装置における前記領域の座標を前記広角画像が解析される際の平面画像の座標に変換する座標変換手段と、を有し、
前記第一の情報処理装置は、
前記平面画像の解析結果が有する座標と前記座標変換手段により変換された領域の座標を比較した結果に基づいて、前記領域に関する情報を作成する解析手段、を有する画像処理システム。
An image processing system including a first information processing device and a second information processing device,
The second information processing device,
Display means for displaying a wide-angle image having a wider angle of view than a predetermined value on a display device;
Receiving means for accepting designation of the area of the wide-angle image displayed on the display device,
Coordinate conversion means for converting the coordinates of the area in the display device into the coordinates of a plane image when the wide-angle image is analyzed,
The first information processing device is
An image processing system comprising: an analysis unit that creates information about the area based on a result of comparing the coordinates of the analysis result of the plane image with the coordinates of the area converted by the coordinate conversion unit .
情報処理装置を、
所定よりも画角が広い広角画像を表示装置に表示する表示手段と、
前記表示装置に表示された前記広角画像の領域の指定を受け付ける受付手段と、
前記表示装置における前記領域の座標を前記広角画像が解析される際の平面画像の座標に変換する座標変換手段と、
前記平面画像の解析結果が有する座標と前記座標変換手段により変換された領域の座標を比較した結果に基づいて、前記領域に関する情報を作成する解析手段として機能させるためのプログラム。
Information processing equipment,
Display means for displaying a wide-angle image having a wider angle of view than a predetermined value on a display device;
Receiving means for accepting designation of the area of the wide-angle image displayed on the display device,
Coordinate conversion means for converting the coordinates of the area in the display device into the coordinates of a plane image when the wide-angle image is analyzed;
A program for functioning as an analysis unit that creates information about the region based on the result of comparing the coordinates of the analysis result of the plane image with the coordinates of the region converted by the coordinate conversion unit .
1つ以上の情報処理装置を含む画像処理システムが行う画像処理方法であって、
表示手段が、所定よりも画角が広い広角画像を表示装置に表示するステップと、
受付手段が、前記表示装置に表示された前記広角画像の領域の指定を受け付けるステップと、
座標変換手段が、前記表示装置における前記領域の座標を前記広角画像が解析される際の平面画像の座標に変換するステップと、
解析手段が、前記平面画像の解析結果が有する座標と前記座標変換手段により変換された領域の座標を比較した結果に基づいて、前記領域に関する情報を作成するステップと、
を有する画像処理方法。
An image processing method performed by an image processing system including one or more information processing devices, comprising:
A step of displaying a wide-angle image having a wider angle of view than a predetermined value on the display device by the display means;
Receiving means receives the designation of the area of the wide-angle image displayed on the display device,
Coordinate transformation means transforming the coordinates of the region in the display device into the coordinates of a plane image when the wide-angle image is analyzed;
Analyzing means, based on the result of comparing the coordinates of the analysis result of the planar image and the coordinates of the area converted by the coordinate conversion means , creating information about the area,
An image processing method including.
JP2016043293A 2016-03-07 2016-03-07 Image processing system, program, image processing method Active JP6686547B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016043293A JP6686547B2 (en) 2016-03-07 2016-03-07 Image processing system, program, image processing method
US15/446,125 US10652459B2 (en) 2016-03-07 2017-03-01 Information processing system, information processing method, and non-transitory computer-readable storage medium
US16/838,341 US11134193B2 (en) 2016-03-07 2020-04-02 Information processing system, information processing method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016043293A JP6686547B2 (en) 2016-03-07 2016-03-07 Image processing system, program, image processing method

Publications (2)

Publication Number Publication Date
JP2017163195A JP2017163195A (en) 2017-09-14
JP6686547B2 true JP6686547B2 (en) 2020-04-22

Family

ID=59854258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016043293A Active JP6686547B2 (en) 2016-03-07 2016-03-07 Image processing system, program, image processing method

Country Status (1)

Country Link
JP (1) JP6686547B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7045863B2 (en) * 2018-01-23 2022-04-01 株式会社Nttファシリティーズ Information management system, information management method, and program
US11195295B2 (en) 2018-11-22 2021-12-07 Ricoh Company, Ltd. Control system, method of performing analysis and storage medium
JP2020086860A (en) * 2018-11-22 2020-06-04 株式会社リコー Management system, information processing system, information processing method and program
US11223802B2 (en) * 2019-07-31 2022-01-11 Ricoh Company, Ltd. Image-based determination apparatus and image-based determination system
JP7327370B2 (en) 2020-12-07 2023-08-16 横河電機株式会社 Apparatus, method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000347650A (en) * 1999-06-07 2000-12-15 Matsushita Joho System Kk Device and method for displaying image
JP6240016B2 (en) * 2014-03-31 2017-11-29 セコム株式会社 Tracking device and tracking system
JP5866564B1 (en) * 2014-08-27 2016-02-17 パナソニックIpマネジメント株式会社 MONITORING DEVICE, MONITORING SYSTEM, AND MONITORING METHOD

Also Published As

Publication number Publication date
JP2017163195A (en) 2017-09-14

Similar Documents

Publication Publication Date Title
US11509825B2 (en) Image management system, image management method, and computer program product
US10827133B2 (en) Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
US10593014B2 (en) Image processing apparatus, image processing system, image capturing system, image processing method
JP6686547B2 (en) Image processing system, program, image processing method
US9756242B2 (en) Communication terminal, display method, and computer program product
US11134193B2 (en) Information processing system, information processing method, and non-transitory computer-readable storage medium
US10187571B2 (en) Image management apparatus, image communication system, method for controlling display of captured image, and non-transitory computer-readable medium
US10360572B2 (en) Image processing system, method and computer program product for evaluating level of interest based on direction of human action
JP2017187850A (en) Image processing system, information processing device, and program
JP6337907B2 (en) Display control apparatus, display control method, and program
US11740850B2 (en) Image management system, image management method, and program
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
JP6852293B2 (en) Image processing system, information processing device, information terminal, program
JP2017211811A (en) Display control program, display control method and display control device
US11645415B2 (en) Augmented reality remote communication method and system for providing security function for 3D space
JP2017182681A (en) Image processing system, information processing device, and program
CN112750190A (en) Three-dimensional thermodynamic diagram generation method, device, equipment and storage medium
JP2016194784A (en) Image management system, communication terminal, communication system, image management method, and program
JP6617547B2 (en) Image management system, image management method, and program
CN112862976B (en) Data processing method and device and electronic equipment
JP2021125145A (en) Information processing apparatus, image processing system, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200316

R151 Written notification of patent or utility model registration

Ref document number: 6686547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151