JP5917175B2 - IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM - Google Patents

IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM Download PDF

Info

Publication number
JP5917175B2
JP5917175B2 JP2012018643A JP2012018643A JP5917175B2 JP 5917175 B2 JP5917175 B2 JP 5917175B2 JP 2012018643 A JP2012018643 A JP 2012018643A JP 2012018643 A JP2012018643 A JP 2012018643A JP 5917175 B2 JP5917175 B2 JP 5917175B2
Authority
JP
Japan
Prior art keywords
information
video data
cut
video
videos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012018643A
Other languages
Japanese (ja)
Other versions
JP2013157906A5 (en
JP2013157906A (en
Inventor
聡 仲摩
聡 仲摩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012018643A priority Critical patent/JP5917175B2/en
Publication of JP2013157906A publication Critical patent/JP2013157906A/en
Publication of JP2013157906A5 publication Critical patent/JP2013157906A5/en
Application granted granted Critical
Publication of JP5917175B2 publication Critical patent/JP5917175B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、撮像装置、撮像装置の配信方法、撮像システムおよびプログラムに関する。 The present invention relates to an imaging apparatus, an imaging apparatus distribution method, an imaging system, and a program.

近年、監視カメラやセキュリティカメラにおいても高画質化、高精細化が進み、高解像度で監視映像を配信する機器が増えてきている。中でも広角レンズを用いて高解像度画像を撮影し、画像内の一部分を切り出すことにより、低解像度画像で疑似的なパンチルト機能を提供するカメラも増えてきている。   In recent years, high quality and high definition of surveillance cameras and security cameras have progressed, and the number of devices that distribute surveillance video with high resolution is increasing. In particular, an increasing number of cameras provide a pseudo pan / tilt function for low-resolution images by taking a high-resolution image using a wide-angle lens and cutting out a part of the image.

一方、受信側の録画サーバーやビューワーでは、表示装置であるディスプレイの高解像度化が進み表示領域の拡大に対応している。疑似的なパンチルト機能を実現するためには表示領域上で配信された低解像度画像がどの位置を示しているのかの情報が必要になる。   On the other hand, in the recording server or viewer on the receiving side, the resolution of the display, which is a display device, is increasing, and the display area is expanded. In order to realize the pseudo pan / tilt function, information indicating the position of the low-resolution image distributed on the display area is necessary.

そこで撮影画像に対して画像内の特定位置を相対座標により表す方法が考えられている。例えば、特許文献1では、画像の特定位置と関係づけられた付加情報と、撮影可能な全領域中の絶対位置情報を持つテーブルを備えるカメラ装置(ネットワークカメラ)が開示されている。カメラの撮影条件を基に絶対位置情報を画像中の相対的位置情報に変換して、撮影画像および付加情報とともに端末装置に送信することにより、相対的位置情報による撮影位置の特定が可能な構成を示している。   Therefore, a method of expressing a specific position in the image with relative coordinates with respect to the photographed image is considered. For example, Patent Document 1 discloses a camera device (network camera) including a table having additional information related to a specific position of an image and absolute position information in all areas that can be photographed. Configuration capable of specifying the shooting position based on the relative position information by converting the absolute position information into the relative position information in the image based on the shooting conditions of the camera and transmitting the information together with the shot image and the additional information to the terminal device. Is shown.

特開2005−204124号公報JP 2005-204124 A

しかしながら、上述の特許文献1に開示された従来技術では、相対位置情報と付加情報を端末装置に送信しているが絶対位置情報に関しては端末装置に送信されていない。また、カメラ装置(ネットワークカメラ)が付加情報として端末装置に送信する内容は、相対位置で表される画像に対する情報であり、絶対位置との関係を示すものではない However, in the prior art disclosed in Patent Document 1 described above, relative position information and additional information are transmitted to the terminal device, but absolute position information is not transmitted to the terminal device. Further, the content transmitted from the camera device (network camera) to the terminal device as additional information is information on the image represented by the relative position, and does not indicate the relationship with the absolute position .

本発明は、複数の切り出し映像から選択された切り出し映像の、撮影手段の撮影方向に基づいて特定される位置に基づいて、他の切り出し映像の位置を特定可能な撮像技術を提供する。 The present invention provides an imaging technique capable of specifying the position of another clipped video based on the position of a clipped video selected from a plurality of clipped videos based on the shooting direction of a shooting unit.

上記の目的を達成する本発明の一つの側面に係る撮像装置は、撮影手段によって撮影された撮影映像内の複数の切り出し映像の設定を受け付ける受付手段と、前記撮影手段によって撮影された撮影映像から切り出された複数の切り出し映像を配信する配信手段と、を備え、前記配信手段は、前記複数の切り出し映像の1つを選択し、前記選択された切り出し映像の、前記撮影手段の撮影方向に基づいて特定される位置を示す情報と、他の切り出し映像の、前記選択された切り出し映像を基準とした相対的な位置を示す情報とを配信することを特徴とする。 Imaging device according to one aspect of the present invention to achieve the above object, a reception unit for receiving a setting of a plurality of cutout image in the photographing image taken by the photographing means, from a captured image captured by the imaging means Distribution means for distributing a plurality of clipped video clips, wherein the distribution means selects one of the plurality of clipped video images, and is based on a shooting direction of the selected clipped video image by the shooting means. The information indicating the position specified in this manner and the information indicating the relative position of the other clipped video with respect to the selected clipped video are distributed.

本発明によれば、複数の切り出し映像から選択された切り出し映像の、撮影手段の撮影方向に基づいて特定される配信映像の位置に基づいて、他の切り出し映像の位置を特定可能になる。
According to the present invention, it is possible to specify the position of another clipped video based on the position of the distribution video specified based on the shooting direction of the shooting means of the clipped video selected from the plurality of clipped videos .

全体映像データにおける部分映像データの関係を示す図。The figure which shows the relationship of the partial video data in whole video data. 第1実施形態に係るに監視カメラの構成を示すブロック図。The block diagram which shows the structure of the surveillance camera which concerns on 1st Embodiment. 配信制御部の処理の流れを説明する図。The figure explaining the flow of a process of a delivery control part. 設定変更が生じた場合の配信制御部の処理の流れを説明する図。The figure explaining the flow of a process of the delivery control part when a setting change arises. 複数の切り出し映像データの相対的な関係を説明する図。The figure explaining the relative relationship of several cut-out video data. 切り出し元の全体映像データと切り出し映像データとを配信する場合の配信制御部の処理の流れを説明する図。The figure explaining the flow of a process of the delivery control part in the case of delivering the whole video data of cutout origin, and cutout video data. 監視カメラとクライアントにより構成される撮像システムを示す図。The figure which shows the imaging system comprised by a surveillance camera and a client. 第2実施形態に係るに監視カメラの構成を示すブロック図。The block diagram which shows the structure of the surveillance camera which concerns on 2nd Embodiment. 第2実施形態に係る重畳画像の位置座標の設定の流れを説明する図。The figure explaining the flow of the setting of the position coordinate of the superimposed image which concerns on 2nd Embodiment. 第2実施形態に係る監視カメラの撮影可動範囲と撮影可動範囲内で撮影された映像について説明する図。The figure explaining the imaging | photography movable range of the surveillance camera which concerns on 2nd Embodiment, and the image | video image | photographed within the photographing movable range. 図10の切り出し映像Bの位置情報を例示的に説明する図。FIG. 11 is a diagram illustrating exemplary position information of the cutout video B in FIG. 10.

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図7は本発明の実施形態に係る監視カメラとクライアント703(情報処理装置)とにより構成される撮像システムを示す図である。監視カメラ701はネットワーク702によってクライアント703(情報処理装置)と接続されている。クライアント703(情報処理装置)上のアプリケーション704は監視カメラ701を遠隔から操作し、監視カメラ701で撮影した映像を表示し、レンズ制御を行いユーザーの所望の映像設定により監視カメラ701を制御できる。監視カメラ701はアプリケーション704のユーザーインターフェース(UI)を変更することが可能である。監視カメラ701の持つ機能によりユーザーインターフェース(UI)の制御ボタンの増減やパン、チルト、ズームなどのモーター制御を行うためのスライダーバーなどの表示を変更する表示制御が可能である。なお、アプリケーション704は所望の監視カメラ701に対して配信要求を行うことにより、映像や監視カメラ内の各種情報を取得することができ、アプリケーション704内の所定位置に表示することが可能である。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 7 is a diagram showing an imaging system including a monitoring camera and a client 703 (information processing apparatus) according to the embodiment of the present invention. The monitoring camera 701 is connected to a client 703 (information processing apparatus) via a network 702. An application 704 on the client 703 (information processing apparatus) can remotely operate the monitoring camera 701, display an image captured by the monitoring camera 701, perform lens control, and control the monitoring camera 701 according to a user's desired image setting. The monitoring camera 701 can change the user interface (UI) of the application 704. With the function of the monitoring camera 701, display control for changing the display of a slider bar or the like for performing motor control such as panning, tilting, zooming, etc., and increasing / decreasing control buttons of a user interface (UI) is possible. Note that the application 704 can obtain a video and various types of information in the monitoring camera by making a distribution request to the desired monitoring camera 701, and can display the information at a predetermined position in the application 704.

(第1実施形態)
以下、本発明の第1実施形態に係る撮像装置である監視カメラについて説明する。図2は監視カメラ701の構成を示すブロック図である。監視カメラ701では、レンズ201を通して入力された映像が、撮像部203によって撮像された撮像映像(デジタル映像データ)として処理される。レンズ201はレンズ制御部202によってレンズの操作が行われ、フォーカスやズーム制御、アイリス調整などで被写体を最適な光学的条件のパラメータ設定値によって撮影できるように制御される。撮像部203で処理された撮像映像(デジタル映像データ)は画像処理部204に入力される。画像処理部204は、入力された撮像映像(デジタル映像データ)を任意のサイズ、またはデジタル映像データ内の任意の位置で切り出すことができる。画像処理部204は切り出し指示を受け同時に複数の任意位置およびサイズの部分映像データを撮像映像(デジタル映像データ)から切り出すことができる。画像処理部204によって切り出された部分映像データは、撮像部203から出力された切り出す前のデジタル映像データと共に符号化処理部206に入力される。
(First embodiment)
Hereinafter, a surveillance camera that is an imaging apparatus according to the first embodiment of the present invention will be described. FIG. 2 is a block diagram showing the configuration of the monitoring camera 701. As shown in FIG. In the monitoring camera 701, the video input through the lens 201 is processed as a captured video (digital video data) captured by the imaging unit 203. The lens 201 is controlled by the lens control unit 202 so that the subject can be photographed with the parameter setting value of the optimum optical condition by focus, zoom control, iris adjustment, or the like. The captured video (digital video data) processed by the imaging unit 203 is input to the image processing unit 204. The image processing unit 204 can cut the input captured video (digital video data) at an arbitrary size or an arbitrary position in the digital video data. The image processing unit 204 can cut out a plurality of partial video data of arbitrary positions and sizes from the picked-up video (digital video data) simultaneously upon receiving a cut-out instruction. The partial video data cut out by the image processing unit 204 is input to the encoding processing unit 206 together with the digital video data before being output output from the imaging unit 203.

符号化処理部206は、撮像部203から出力されるデジタル映像データと画像処理部204から出力される部分映像データとを符号化する。   The encoding processing unit 206 encodes the digital video data output from the imaging unit 203 and the partial video data output from the image processing unit 204.

画像生成部205は、部分映像データや全体映像データに重畳できる画像として、指定された文字や矩形などの画像データを生成する。画像生成部205により生成されたデータは、符号化処理部206に入力される。符号化処理部206は、画像生成部205から入力されたデータを、撮像部203からのデジタル映像データまたは画像処理部204からの部分映像データに重畳した映像データに対して符号化処理を行う。   The image generation unit 205 generates image data such as a designated character or rectangle as an image that can be superimposed on the partial video data or the entire video data. Data generated by the image generation unit 205 is input to the encoding processing unit 206. The encoding processing unit 206 performs an encoding process on video data in which data input from the image generation unit 205 is superimposed on digital video data from the imaging unit 203 or partial video data from the image processing unit 204.

符号化された映像データは配信制御部207に入力され、配信制御部207はリクエスト(配信要求)のあったクライアント(情報処理装置)に対して符号化された映像データの配信を行なう。通信部208は、配信制御部207によって配信された映像データの送信やクライアントからの情報を受信する際のデータ通信を制御する。   The encoded video data is input to the distribution control unit 207, and the distribution control unit 207 distributes the encoded video data to a client (information processing apparatus) that has made a request (distribution request). The communication unit 208 controls data communication when transmitting the video data distributed by the distribution control unit 207 and receiving information from the client.

各ブロックは内部バス209によって接続されており、CPU210からの制御信号を受けて動作を行う。またRAM211は処理シーケンスにおいて映像データを一時的に保存するバッファとして利用され、映像データの他にユーザーからの設定情報やプログラムなどがロードされている。ここで、ユーザーからの設定情報には、画像処理部204が部分映像を切り出すための任意のサイズ(サイズ情報)、や位置の情報(位置情報)が含まれる。設定情報の内容については後に図1(b)を用いて具体例を説明する。   Each block is connected by an internal bus 209, and operates in response to a control signal from the CPU 210. The RAM 211 is used as a buffer for temporarily storing video data in the processing sequence, and loaded with setting information and programs from the user in addition to the video data. Here, the setting information from the user includes an arbitrary size (size information) for the image processing unit 204 to cut out the partial video, and position information (position information). A specific example of the contents of the setting information will be described later with reference to FIG.

ROM212には監視カメラ701の処理を制御するための各種プログラムが保存されており、起動されたプログラムはRAM211へロードされ、RAM211へロードされたプログラムはCPU210からの読み出しにより動作する。ユーザーからの設定情報にはRAM211に一時的に保存されるものとROM212へ保存され再起動後も有効になるものとが存在する。RAM211に保存されているユーザーからの設定情報がCPU210によって指示されると、画像処理部204は設定情報に含まれるサイズ情報、位置情報を参照する。そして、画像処理部204はサイズ情報、位置情報に基づいて、任意のサイズ、位置の部分映像データをデジタル映像データ(全体映像データ)から切り出す。画像生成部205は文字や矩形などの画像を生成する。CPU210は画像処理部204の切り出しの位置情報やサイズ情報、画像生成部205で作成する画像を重畳する位置情報、各配信映像の生成状況などの情報を、通信部208を介してクライアントとの間で送受信する。   Various programs for controlling the processing of the monitoring camera 701 are stored in the ROM 212. The activated program is loaded into the RAM 211, and the program loaded into the RAM 211 operates by being read from the CPU 210. The setting information from the user is temporarily stored in the RAM 211 and stored in the ROM 212 and becomes effective after restarting. When the setting information from the user stored in the RAM 211 is instructed by the CPU 210, the image processing unit 204 refers to the size information and position information included in the setting information. Then, based on the size information and the position information, the image processing unit 204 extracts partial video data having an arbitrary size and position from the digital video data (whole video data). The image generation unit 205 generates images such as characters and rectangles. The CPU 210 transmits information such as the position information and size information of the cutout of the image processing unit 204, the position information on which the image generated by the image generation unit 205 is superimposed, and the generation status of each distribution video to and from the client via the communication unit 208. Send and receive with.

クライアントが要求している映像データに関する設定情報の変更、更新が生じた場合の配信制御部207の処理の流れを図3のフローチャートを用いて説明する。配信制御部207は、画像処理部204によって任意のサイズ、位置で切り出された部分映像データを、符号化処理部206の処理を介して、配信を要求したクライアントのすべてに対して配信する。複数のクライアントから配信の要求を受け付けた場合、それぞれのクライアントからの配信要求を受け付けたタイミングに応じ、配信制御部207は映像データを各クライアントに配信する。 The processing flow of the distribution control unit 207 when the setting information regarding the video data requested by the client is changed or updated will be described with reference to the flowchart of FIG. The distribution control unit 207 distributes the partial video data clipped at an arbitrary size and position by the image processing unit 204 to all clients that have requested distribution via the processing of the encoding processing unit 206. When distribution requests are received from a plurality of clients, the distribution control unit 207 distributes video data to each client in accordance with the timing at which distribution requests from the respective clients are received.

配信制御部207は、クライアントが要求している映像データ(部分映像データ)を管理しており、デジタル映像データ(全体映像データ)からの切り出し位置に位置変更があるかを判定する(ステップS301)。   The distribution control unit 207 manages the video data (partial video data) requested by the client, and determines whether there is a position change in the cut-out position from the digital video data (whole video data) (step S301). .

位置変更が無い場合(S301―No)、処理はステップS304に進められる。一方、ステップS301の判定で、位置変更があれば(S301−Yes)、RAM211に保存されている位置情報を更新する(S302)。次に、切り出す部分映像データに対するサイズ変更があるかを判定する(S304)。サイズ変更があれば(S304−Yes)、RAM211に保存されているサイズ情報を更新する(S305)。一方、ステップS304の判定において、サイズ変更が無い場合(S304−No)、処理はステップS306に進められる。位置情報またはサイズ情報が更新されたかを判定し(S306)、情報の更新が発生していなければ(S306−No)、何も送信せず、情報の更新があった場合(S306−Yes)、更新情報を配信する(S307)。   If there is no position change (S301-No), the process proceeds to step S304. On the other hand, if it is determined in step S301 that there is a position change (S301-Yes), the position information stored in the RAM 211 is updated (S302). Next, it is determined whether there is a size change for the partial video data to be cut out (S304). If there is a size change (S304-Yes), the size information stored in the RAM 211 is updated (S305). On the other hand, if there is no size change in the determination in step S304 (S304-No), the process proceeds to step S306. It is determined whether the position information or the size information has been updated (S306). If no information update has occurred (S306-No), nothing is transmitted and there is an information update (S306-Yes). Update information is distributed (S307).

次に、図1を用いてデジタル映像データ(全体映像データ)における部分映像データの位置やサイズの関係を説明する。図1(a)は、デジタル映像データ(全体映像データ)における部分映像データの配置の関係を示す図である。全体映像データA(101)は撮像部203で撮影された最大解像度を基にしたデジタル映像データ(全体映像データ)である。全体映像データA(101)は幅1920、高さ960のピクセルで表される解像度であり、中心位置(x,y)を原点(0,0)とした座標を持っている。座標軸は、原点(0,0)に対して、Y軸の上方向とX軸の右方向をプラスとし、Y軸の下方向とX軸の左方向をマイナスとする。   Next, the relationship between the position and size of the partial video data in the digital video data (whole video data) will be described with reference to FIG. FIG. 1A is a diagram showing the arrangement relationship of partial video data in digital video data (whole video data). The entire video data A (101) is digital video data (entire video data) based on the maximum resolution captured by the imaging unit 203. The entire video data A (101) has a resolution represented by pixels having a width of 1920 and a height of 960, and has coordinates with the center position (x, y) as the origin (0, 0). As for the coordinate axis, the upper direction of the Y axis and the right direction of the X axis are positive with respect to the origin (0, 0), and the lower direction of the Y axis and the left direction of the X axis are negative.

部分映像データである切り出し映像データB(102)は、全体映像データAの原点を基に切り出し映像データBの中心位置までの相対座標(−450,200)(相対位置情報)によって表される。切り出し映像データBは幅480、高さ270の矩形として表される。部分映像データである切り出し映像データC(103)は全体映像データAの原点を基に切り出し映像データCの中心位置までの相対座標(400,−500)(相対位置情報)によって表される。切り出し映像データCは幅240、高さ185の矩形として表される。   The cutout video data B (102) which is partial video data is represented by relative coordinates (−450, 200) (relative position information) up to the center position of the cutout video data B based on the origin of the whole video data A. The cut-out video data B is represented as a rectangle having a width of 480 and a height of 270. The clipped video data C (103), which is partial video data, is represented by relative coordinates (400, -500) (relative position information) up to the center position of the clipped video data C based on the origin of the entire video data A. The cut-out video data C is represented as a rectangle having a width of 240 and a height of 185.

それぞれの映像データに設定されている位置情報は図1(b)のように表現することができる。全体映像データAの座標、幅および高さは情報104によって表される。基準となる全体映像データAの絶対座標系をPanおよびTiltの画角で表し、中心位置(0,0)を原点として(0°,0°)とする。画角を示すZoomには表示可能な水平画角50°が設定されており、解像度を表すResolutionには幅と高さのピクセル値が設定されている。   The position information set for each video data can be expressed as shown in FIG. The coordinates, width, and height of the entire video data A are represented by information 104. The absolute coordinate system of the reference whole image data A is represented by the angle of view of Pan and Tilt, and the center position (0, 0) is set as the origin (0 °, 0 °). A displayable horizontal angle of view of 50 ° is set in the Zoom indicating the angle of view, and a pixel value of width and height is set in the Resolution indicating the resolution.

切り出し映像データBの位置情報は情報105によって表される。画角を表す絶対座標位置を持つ全体映像データAを基にしているため、Pan、Tilt、Zoom、Resolutionの値には全体映像データAと同じ値が設定されている。切り出し映像データBの座標系と絶対座標系との相対的な関係性を表す基準となる映像を特定するための相対情報(Relative)には絶対座標系を持つA(全体映像データA)が設定されている。全体映像データAの原点を基に切り出し映像データBの中心位置までの相対位置(相対位置情報)の座標はx、yによって表され、切り出し映像データBの幅と高さはResoultionによって表わされる。   The position information of the cut-out video data B is represented by information 105. Since it is based on the whole video data A having the absolute coordinate position representing the angle of view, the same values as the whole video data A are set for the values of Pan, Tilt, Zoom, and Resolution. A (whole video data A) having an absolute coordinate system is set as relative information (relative) for specifying a video serving as a reference representing the relative relationship between the coordinate system of the cutout video data B and the absolute coordinate system. Has been. The coordinates of the relative position (relative position information) from the origin of the entire video data A to the center position of the cut-out video data B are represented by x and y, and the width and height of the cut-out video data B are represented by Resolution.

切り出し映像データCの位置情報は情報106によって表される。切り出し映像データBと同じく位置情報は全体映像データAの絶対座標系を基に表すことになるため、Pan、Tilt、Zoom、Resoultionは全体映像データAと同じ値が設定されている。また切り出し映像データBと同じく、切り出し映像データCの座標系と絶対座標系との相対的な関係性を表す基準となる映像を特定するための相対情報(Relative)には絶対座標系を持つA(全体映像データA)が設定されている。   The position information of the clipped video data C is represented by information 106. Since the position information is expressed based on the absolute coordinate system of the entire video data A as with the cut-out video data B, the same values as the entire video data A are set for Pan, Tilt, Zoom, and Resolution. Similarly to the cutout video data B, the relative information (relative) for specifying the reference video representing the relative relationship between the coordinate system of the cutout video data C and the absolute coordinate system is A having an absolute coordinate system. (Whole video data A) is set.

基準となる映像を特定するための相対情報によって、切り出し映像データBおよび切り出し映像データCは全体映像データAを基準とした相対位置で表すことができる。尚、切り出し映像データとデジタル映像データ(全体映像データ)との関係では、切り出し映像データが全体映像データの最大サイズ内に収まっていればどのような位置、サイズでも切り出せるために制約はない。   The cut-out video data B and the cut-out video data C can be represented by relative positions with reference to the entire video data A based on relative information for specifying a reference video. Note that there is no restriction on the relationship between the clipped video data and the digital video data (whole video data) because the clipped video data can be cut out at any position and size as long as the clipped video data is within the maximum size of the whole video data.

切り出し映像データBと切り出し映像データCに対して、切り出し位置の変更が行われるとx、yの値(位置情報)が更新される(S302)。また、サイズ情報の変更が発生するとResolutionが更新される(S305)。   When the cutout position is changed for the cutout video data B and the cutout video data C, the values of x and y (position information) are updated (S302). When the size information is changed, the Resolution is updated (S305).

図3で示した処理により各映像データの位置情報、サイズ情報についての相対位置情報の変更が生じると、変更が発生したタイミングで、位置情報、サイズ情報が更新される。切り出した映像に対しての配信要求を監視カメラ701が受信し、情報の更新が生じると、更新情報が要求元のクライアントに配信される。   When the relative position information about the position information and size information of each video data is changed by the processing shown in FIG. 3, the position information and size information are updated at the timing when the change occurs. When the monitoring camera 701 receives a distribution request for the clipped video and the information is updated, the update information is distributed to the requesting client.

設定の変更によって切り出し映像データBと切り出し映像データCに加え、新たな切り出し映像データが取得される。配信中の既存の切り出し映像データが配信停止もしくは削除されると、例えば、切り出し映像データBを示すINFO=B,切り出し映像データCを示すINFO=Cのように表される情報(図1(b))が削除される。   In addition to the cutout video data B and the cutout video data C, new cutout video data is acquired by changing the setting. When distribution of existing clipped video data being distributed is stopped or deleted, for example, information represented as INFO = B indicating clipped video data B and INFO = C indicating clipped video data C (FIG. 1B). )) Is deleted.

図4を用いて、設定に変更が生じた場合における配信制御部207の処理の流れを説明する。配信制御部207は、切り出し映像データが映像配信中であるかを常に判定している(S401)。配信制御部207が映像配信中ではないと判定した場合(S401−No)、映像データおよび映像データに関する設定情報も不要となる。配信制御部207は管理している映像データおよび映像データに関する設定情報を破棄し(S408)、処理を終了する。   A processing flow of the distribution control unit 207 when the setting is changed will be described with reference to FIG. The distribution control unit 207 always determines whether the clipped video data is being distributed (S401). When the distribution control unit 207 determines that the video is not being distributed (S401-No), the video data and the setting information regarding the video data are also unnecessary. The distribution control unit 207 discards the managed video data and setting information related to the video data (S408), and ends the process.

ステップS401の判定で映像配信中であれば(S401−Yes)、情報をクライアントに前回配信してからの経過時間が一定時間を経過したか否かを判定する(S402)。   If it is determined in step S401 that video is being distributed (S401-Yes), it is determined whether or not a certain period of time has elapsed since the information was previously distributed to the client (S402).

各クライアントに応じて予め定められた一定時間(閾値時間)を経過している場合(S402−Yes)、現在の最新情報を各クライアントに配信する(S403)。一定時間が経過していない場合(S402―No)、配信制御部207は現在配信している映像データに関して設定の変更(追加、削除)があるかどうかを判定する(S404)。設定変更があれば新たな切り出し映像データに対する設定情報および切り出し映像データの位置とサイズを更新し(S405)、更新した情報を配信する(S403)。一方、ステップS404の判定で、映像データに関して設定の変更(追加、削除)がない場合(S404−No)、配信後の一定時間内に配信中の切り出し映像データの位置およびサイズが変更されてないかを判定する(S406)。配信中の切り出し映像データに関して位置およびサイズが更新されていれば(S406−Yes)、相対位置の座標とサイズ情報を更新して(S407)、更新した情報を配信する(S403)。   When a predetermined time (threshold time) predetermined according to each client has passed (S402-Yes), the current latest information is distributed to each client (S403). When the predetermined time has not elapsed (S402—No), the distribution control unit 207 determines whether there is a change (addition or deletion) of settings regarding the currently distributed video data (S404). If there is a setting change, the setting information for the new cutout video data and the position and size of the cutout video data are updated (S405), and the updated information is distributed (S403). On the other hand, if it is determined in step S404 that there is no change (addition or deletion) of settings regarding the video data (No in S404), the position and size of the cutout video data being distributed have not been changed within a certain time after distribution. Is determined (S406). If the position and size of the clipped video data being distributed have been updated (S406-Yes), the relative position coordinates and size information are updated (S407), and the updated information is distributed (S403).

ステップS406の判定で、配信中の切り出し映像データの位置およびサイズが変更されてない場合(S406−No)、情報を更新する必要がないため、クライアントに対して新たな更新情報を配信せずに処理を終了する。   If it is determined in step S406 that the position and size of the clipped video data being distributed have not been changed (S406-No), there is no need to update the information, so new update information is not distributed to the client. The process ends.

次に、図5を用いて複数の切り出し映像データの相対的な関係を説明する。複数の切り出し映像データとして、2つの切り出し映像データB、Cを例にしてそれぞれの切り出し映像データに設定される位置情報を説明する。   Next, the relative relationship between a plurality of clipped video data will be described with reference to FIG. Position information set for each piece of cut-out video data will be described taking two pieces of cut-out video data B and C as an example of a plurality of pieces of cut-out video data.

図5の情報501は、切り出し映像データBの位置情報(絶対位置情報)を示している。全体映像データAを基準とした相対位置の座標から、Aの絶対座標系における切り出し映像データBの絶対位置情報が算出される。位置情報の基準は全体映像データAの絶対座標系における絶対位置情報であるため、Pan=−11°およびTilt=5°の位置は、全体映像データAの原点(0°,0°)からの位置で算出された値となる。Zoomは水平画角情報から解像度の比率によって算出されるため、映像データAが幅1920(ピクセル)で50°であれば切り出し映像データBは幅480(ピクセル)のため水平画角12.5°となる。   Information 501 in FIG. 5 indicates position information (absolute position information) of the cutout video data B. From the relative position coordinates based on the entire video data A, the absolute position information of the cut-out video data B in the absolute coordinate system of A is calculated. Since the reference of the position information is the absolute position information in the absolute coordinate system of the entire video data A, the positions of Pan = -11 ° and Tilt = 5 ° are from the origin (0 °, 0 °) of the entire video data A. The value calculated at the position. Since Zoom is calculated from the horizontal angle of view information by the ratio of resolution, if the video data A has a width of 1920 (pixels) and 50 °, the cut-out video data B has a width of 480 (pixels) and the horizontal angle of view is 12.5 °. It becomes.

図5の情報502は、切り出し映像データBの位置情報(絶対位置情報)を基準とした切り出し映像データCの相対的な関係を示す位置情報を示している。切り出し映像データBの位置情報(絶対位置情報)を基準にしているため、Pan、Tilt、Zoom、Resolutionは切り出し映像データBの情報が用いられる。   Information 502 in FIG. 5 indicates position information indicating the relative relationship of the clipped video data C with reference to the position information (absolute position information) of the clipped video data B. Since the position information (absolute position information) of the clipped video data B is used as a reference, the information of the clipped video data B is used for Pan, Tilt, Zoom, and Resolution.

切り出し映像データCの座標系と切り出し映像データBの絶対座標系との相対的な関係性を表す基準となる映像を特定するための相対情報(Relative)には絶対座標系を持つB(切り出し映像データB)が設定されている。切り出し映像データCの位置を表すにはピクセル数でxとyが示されResolution―Cは切り出し映像データCの解像度が設定される。   The relative information (relative) for specifying the reference video representing the relative relationship between the coordinate system of the cutout video data C and the absolute coordinate system of the cutout video data B is B (cutout video) having the absolute coordinate system. Data B) is set. To represent the position of the cutout video data C, x and y are indicated by the number of pixels, and Resolution-C sets the resolution of the cutout video data C.

上記の情報を監視カメラ701から受信したクライアント703(情報処理装置)のアプリケーション704は、解像度と位置情報により切り出し映像データB、Cの位置関係を構築することができる。アプリケーション704は切り出し映像データB、Cの位置関係を用いて最大サイズの配信映像(全体映像データA)上に切り出し映像データB、Cを重畳して表示することが可能となる。   The application 704 of the client 703 (information processing apparatus) that has received the above information from the monitoring camera 701 can construct the positional relationship between the clipped video data B and C based on the resolution and the positional information. The application 704 can display the clipped video data B and C superimposed on the maximum size distribution video (whole video data A) using the positional relationship between the clipped video data B and C.

本実施形態では位置情報についてPan、Tilt、Zoomと解像度のフォーマットを用いて説明したが、絶対位置と相対位置が算出できる座標系であれば抽象値0から1までの範囲によって表されるものでも良い。また座標系は映像の中心位置を原点として説明しているが、左上を原点とした正の数のみで扱われる座標系や、全く異なる座標系によって、各映像との位置関係が表せれば本発明の実施形態を適用することが可能である。   In this embodiment, the position information has been described using Pan, Tilt, Zoom and resolution formats. However, even if the coordinate system can calculate the absolute position and the relative position, the position information may be represented by a range from the abstract value 0 to 1. good. The coordinate system is described with the center position of the image as the origin. However, if the positional relationship with each image can be expressed by a coordinate system that is handled only by a positive number with the upper left as the origin, or a completely different coordinate system, this coordinate system can be used. Embodiments of the invention can be applied.

図6を用いて、切り出し元の全体映像データ(基本映像)と切り出し映像データとを配信する場合の配信制御部207の処理の流れを説明する。映像データの取得要求が行われると監視カメラ701のPan、Tilt、Zoomの撮影位置(PTZ)を取得し、全体映像データ(基本映像)の解像度を含む映像情報(デジタル映像データ)の取得を行う(S601)。   The flow of processing of the distribution control unit 207 when distributing the entire video data (basic video) that is the cut-out source and the cut-out video data will be described with reference to FIG. When a video data acquisition request is made, Pan, Tilt, and Zoom shooting positions (PTZ) of the monitoring camera 701 are acquired, and video information (digital video data) including the resolution of the entire video data (basic video) is acquired. (S601).

配信制御部207は、監視カメラ701の撮影位置のPan、Tilt、Zoomを絶対座標系の位置情報(絶対位置情報)に設定する(S602)。次に切り出し映像データが配信中であるか否かを判定する(S603)。切り出し映像データが配信されておらず(S603−No)、全体映像データ(基本映像)のみを送っている場合は通常の位置情報の配信のみを行う(S614)。   The distribution control unit 207 sets Pan, Tilt, and Zoom of the shooting position of the monitoring camera 701 as position information (absolute position information) in the absolute coordinate system (S602). Next, it is determined whether or not clipped video data is being distributed (S603). When the cut-out video data is not distributed (S603-No) and only the whole video data (basic video) is sent, only normal position information is distributed (S614).

一方、ステップS603の判定で、切り出し映像を配信している場合(S603−Yes)、切り出し映像データの絶対位置情報を取得する(S604)。さらに切り出し映像データの解像度、サイズを取得し(S605)、切り出し映像データの情報を取得しておく。   On the other hand, if it is determined in step S603 that the cutout video is distributed (S603-Yes), the absolute position information of the cutout video data is acquired (S604). Further, the resolution and size of the clipped video data are acquired (S605), and information of the clipped video data is acquired.

全体映像データ(基本映像)を配信しているかを判定し(S606)、全体映像データ(基本映像)を配信している場合(S606−Yes)、全体映像データ(基本映像)に対する切り出し映像データの相対位置情報を算出する(S607)。   It is determined whether the entire video data (basic video) is distributed (S606). When the entire video data (basic video) is distributed (S606-Yes), the cut-out video data for the entire video data (basic video) is determined. Relative position information is calculated (S607).

算出した相対位置情報と、全体映像データの絶対位置情報との相対的な関係性を表す基準となる映像を特定するための相対情報(Relative)を、絶対座標系を持つ全体映像データ(基本映像)に設定する(S608)。相対位置情報、絶対位置情報、相対位置情報と絶対位置情報との相対的な関係性を表す基準となる映像を特定するための相対情報を配信情報として生成する(S613)。   Relative information (relative) for specifying a reference video representing the relative relationship between the calculated relative position information and the absolute position information of the whole video data is used as whole video data (basic video) having an absolute coordinate system. ) Is set (S608). Relative position information, absolute position information, and relative information for specifying an image serving as a reference representing the relative relationship between the relative position information and the absolute position information are generated as distribution information (S613).

一方、ステップS606の判定で、全体映像データ(基本映像)を配信していない場合(S606−No)、切り出し映像データしか配信していないこととなる。切り出し映像データは複数同時に切り出しが行え配信可能であるため、複数の切り出し映像データが配信されているかを判定する(S609)。複数の切り出し映像データを配信している場合(S609−Yes)、複数の切り出し映像データの中から最も解像度の大きい映像、もしくは、絶対座標系の原点座標から最も近い位置にある切り出し映像データを優先的に選択する。そして、選択した優先度の高い切り出し映像データの絶対位置情報を基準として他の切り出し映像データの相対位置情報を算出する(S610)。   On the other hand, if it is determined in step S606 that the entire video data (basic video) has not been distributed (S606-No), only the cut-out video data has been distributed. Since a plurality of clipped video data can be clipped and distributed simultaneously, it is determined whether a plurality of clipped video data is distributed (S609). When a plurality of cut-out video data is distributed (S609-Yes), priority is given to the video with the highest resolution from the plurality of cut-out video data or the cut-out video data closest to the origin coordinate in the absolute coordinate system. To choose. Then, relative position information of other clipped video data is calculated with reference to the absolute position information of the selected clipped video data having a high priority (S610).

算出した相対位置情報と、基準となる映像を特定するための相対情報に絶対座標系を持つ優先度の高い切り出し映像データを設定して(S611)、処理をステップS613に進める。   High-priority cut-out video data having an absolute coordinate system is set in the calculated relative position information and relative information for specifying the reference video (S611), and the process proceeds to step S613.

ステップS613では、相対位置情報、絶対位置情報、相対位置情報と絶対位置情報との相対的な関係性を表す基準となる映像を特定するための相対情報を配信情報として生成する(S613)。ステップS609の判定で、切り出し映像データが1つである場合(S609−No)、切り出し映像データの絶対位置座標(x、y)を、絶対座標系の絶対位置情報として設定(S612)する。ステップS614では、先のステップS612、S613で生成した情報を位置情報として配信する。   In step S613, relative information for specifying relative position information, absolute position information, and a video that serves as a reference representing the relative relationship between the relative position information and the absolute position information is generated as distribution information (S613). If it is determined in step S609 that there is only one clipped video data (S609-No), the absolute position coordinates (x, y) of the clipped video data are set as absolute position information in the absolute coordinate system (S612). In step S614, the information generated in the previous steps S612 and S613 is distributed as position information.

本実施形態によれば、相対位置情報、絶対位置情報、相対位置情報と絶対位置情報との相対的な関係性を表す相対情報を配信することで、全体映像データにおける切り出し映像データの相対的な位置関係を示す重畳表示が可能となる。   According to the present embodiment, the relative position information, the absolute position information, and the relative information representing the relative relationship between the relative position information and the absolute position information are distributed, so that the relative position of the cut-out video data in the entire video data can be increased. A superimposed display showing the positional relationship is possible.

また、全体映像データの絶対座標系を基に、切り出し映像データの相対位置情報を表現することできる。複数の座標系に依存せずに各切り出し映像データを表すことができる。このため、複数の切り出し映像データが全体映像データ中に含まれる場合であっても、複数の切り出し映像データそれぞれの座標系に依存せずに、全体映像データにおける切り出し映像データの相対的な位置関係示すことが可能となる。 Further, the relative position information of the clipped video data can be expressed based on the absolute coordinate system of the entire video data. Each clipped video data can be represented without depending on a plurality of coordinate systems. Therefore, even when a plurality of cut-out video data is included in the whole video data, the relative positional relationship of the cut-out video data in the whole video data without depending on the coordinate system of each of the plurality of cut-out video data it is possible to show the.

すなわち、絶対座標系に対する相対的な位置やサイズを示す情報を配信することで、配信要求の都度、部分映像データを配信しなくても配信先で全体における部分映像データの位置やサイズを特定可能な撮像技術の提供が可能になる。   In other words, by distributing information indicating the relative position and size with respect to the absolute coordinate system, the position and size of partial video data in the whole can be specified at the distribution destination without distributing partial video data each time a distribution request is made Providing a simple imaging technique.

(第2実施形態)
以下、本発明の第2実施形態の撮像装置に係る監視カメラについて説明する。図8は監視カメラ701の構成を示すブロック図であり、第1実施形態で説明した図2の構成に対して、モーター駆動制御部813が追加されている点で図2の構成と相違する。図2の構成と共通の参照番号の構成要素については、説明を省略する。モーター駆動制御部813は、CPU210からの制御によって、通信部208を介して外部機器であるクライアント703(情報処理装置)からの操作情報を受信する。モーター駆動制御部813は受信した操作情報に応じてPanやTiltの監視カメラ701本体の向きを変更するためのモーターの駆動を制御する。モーター駆動制御部813によるモーター駆動によって監視カメラ701の向きは変更される。レンズ201から通して入力される映像は、監視カメラ701の向きに応じて変更される。このため、画像処理部204によって処理される画像および画像生成部205によって生成される画像(重畳画像)の位置情報もPan、Tiltを用いた画角によって表現できる。
(Second Embodiment)
Hereinafter, the surveillance camera according to the imaging apparatus of the second embodiment of the present invention will be described. FIG. 8 is a block diagram showing the configuration of the monitoring camera 701, which is different from the configuration of FIG. 2 in that a motor drive control unit 813 is added to the configuration of FIG. 2 described in the first embodiment. The description of the components having the same reference numbers as those in FIG. 2 is omitted. The motor drive control unit 813 receives operation information from the client 703 (information processing apparatus) which is an external device through the communication unit 208 under the control of the CPU 210. The motor drive control unit 813 controls the drive of the motor for changing the orientation of the Pan or Tilt monitoring camera 701 in accordance with the received operation information. The direction of the monitoring camera 701 is changed by the motor drive by the motor drive control unit 813. The video input through the lens 201 is changed according to the orientation of the monitoring camera 701. For this reason, the position information of the image processed by the image processing unit 204 and the image (superimposed image) generated by the image generation unit 205 can also be expressed by the angle of view using Pan and Tilt.

図9を用いて、第2実施形態に係る重畳画像の位置座標の設定処理の流れを説明する。ステップS901では、映像データは配信中であるかを判定する。映像配信中でない場合(S901−No)、配信制御部207は、通常の情報配信として、リクエスト(配信要求)のあったクライアントに対して符号化された映像データの配信を行なう。(S909)。   With reference to FIG. 9, the flow of the process for setting the position coordinates of the superimposed image according to the second embodiment will be described. In step S901, it is determined whether the video data is being distributed. When the video distribution is not in progress (S901-No), the distribution control unit 207 distributes the encoded video data to the client having requested (distribution request) as the normal information distribution. (S909).

一方、ステップS901の判定で、映像データが配信中である場合(S901−Yes)、画像生成部205によって生成される画像(重畳画像)が映像配信中の映像内にあるか否かを判定する(S902)。重畳画像が映像配信中の映像内にあれば(S902−Yes)、映像配信中の映像に係る映像データを基に重畳画像の相対位置情報を更新する(S903)。   On the other hand, if it is determined in step S901 that the video data is being distributed (S901-Yes), it is determined whether the image (superimposed image) generated by the image generation unit 205 is in the video being distributed. (S902). If the superimposed image is in the video being distributed (S902-Yes), the relative position information of the superimposed image is updated based on the video data relating to the video being distributed (S903).

次に、重畳画像のある映像配信中の映像を基準とした絶対位置(絶対座標系)との相対的な関係性を表す基準となる映像を特定するための相対情報(相対関連性)を重畳画像の位置情報に設定する(S904)。   Next, the relative information (relative relevance) for specifying the reference video representing the relative relationship with the absolute position (absolute coordinate system) based on the video being delivered with the superimposed image as a reference is superimposed. The image position information is set (S904).

ステップS909では、ステップS903で更新された相対位置情報と、ステップS904で設定された相対情報(相対関連性)とを配信する。   In step S909, the relative position information updated in step S903 and the relative information (relative relationship) set in step S904 are distributed.

一方、ステップS902の判定で、重畳画像が映像配信中の映像内に無い場合(S902−No)、重畳画像に関連する情報が配信されているかを判定する(S905)。重畳画像に関連する情報が配信中であれば(S905−Yes)、重畳画像に関連する情報を絶対位置とした重畳画像の相対位置情報を生成する(S906)。絶対位置(絶対座標系)を有する重畳画像に関連する情報と重畳画像との相対的な関係性を表す基準となる映像を特定するための相対情報(相対関連性)を相対位置情報が含まれる重畳画像の位置情報に設定する(S907)。   On the other hand, if it is determined in step S902 that the superimposed image is not in the video being distributed (S902-No), it is determined whether information related to the superimposed image is distributed (S905). If the information related to the superimposed image is being distributed (S905-Yes), the relative position information of the superimposed image with the information related to the superimposed image as the absolute position is generated (S906). Relative position information includes relative information (relative relationship) for specifying a video that serves as a reference representing the relative relationship between information related to a superimposed image having an absolute position (absolute coordinate system) and the superimposed image. The position information of the superimposed image is set (S907).

ステップS909では、ステップS906で生成された相対位置情報と、ステップS907で設定された相対情報(相対関連性)とを配信する。   In step S909, the relative position information generated in step S906 and the relative information (relative relationship) set in step S907 are distributed.

一方、ステップS905の判定で、重畳画像に関連する情報も配信されていなければ(S905−No)、重畳画像の位置情報を絶対位置情報として設定する(S908)。そして、ステップS909では、ステップS908で設定された絶対位置情報を配信する。   On the other hand, if it is determined in step S905 that information related to the superimposed image is not distributed (S905-No), the position information of the superimposed image is set as absolute position information (S908). In step S909, the absolute position information set in step S908 is distributed.

次に、図10を用いて、監視カメラ701の撮影可動範囲と撮影可動範囲内で撮影された映像について説明する。監視カメラ701はモーター駆動によってPan、Tiltの撮影方向を変更することができる。監視カメラ701の撮影可動範囲を1011に示す。監視カメラ701のレンズは天井取り付けで地面方向を向いており、Pan方向はx軸として+180°から−180°、Tilt方向はy軸として+10°から−90°が可動範囲となる。原点は中心位置で(0°,0°)である。   Next, with reference to FIG. 10, a shooting movable range of the monitoring camera 701 and an image shot within the shooting movable range will be described. The surveillance camera 701 can change the shooting direction of Pan and Tilt by driving a motor. A photographing movable range of the monitoring camera 701 is indicated by 1011. The lens of the monitoring camera 701 is attached to the ceiling and faces the ground. The Pan direction has a movable range of + 180 ° to −180 ° as the x axis, and the Tilt direction has a range of + 10 ° to −90 ° as the y axis. The origin is the center position (0 °, 0 °).

レンズ201から入力される最大撮像可能範囲は1012で表される。撮像可能範囲における位置はx軸−70°、y軸−40°であり、幅1920、高さ1080で表される矩形であり、水平画角で表されるZoom値は50°となる。最大撮像可能範囲1012の全体的な映像を映像A(全体映像データ)で表わす。切り出し映像データB(1013)は映像A(全体映像データ)内から切り出される映像データである。切り出し映像データB(1013)にはOSD(On Screen Display)画像として文字情報(日付情報1014、時刻情報1015)が重畳される。画像生成部205はOSDとしての文字情報を生成する。日付情報1014は切り出し映像データB(1013)の左上の位置、時刻情報として1015は切り出し映像データB(1013)の右下の位置に表示される。絶対座標系を持つ撮影可動範囲の映像A(全体映像データ)を基にした、切り出し映像データBの中心位置までの相対座標(相対位置情報)を用いることにより、切り出し映像データBの位置情報を絶対座標系で表すことができる。   The maximum imageable range input from the lens 201 is represented by 1012. The position in the imageable range is an x-axis of −70 ° and a y-axis of −40 °, a rectangle represented by a width 1920 and a height 1080, and a Zoom value represented by a horizontal angle of view is 50 °. An entire image in the maximum imageable range 1012 is represented by an image A (entire image data). The cutout video data B (1013) is video data cut out from the video A (whole video data). Character information (date information 1014 and time information 1015) is superimposed on the cut-out video data B (1013) as an OSD (On Screen Display) image. The image generation unit 205 generates character information as an OSD. The date information 1014 is displayed at the upper left position of the cutout video data B (1013), and the time information 1015 is displayed at the lower right position of the cutout video data B (1013). By using the relative coordinates (relative position information) to the center position of the cutout video data B based on the video A (whole video data) of the photographing movable range having the absolute coordinate system, the position information of the cutout video data B is obtained. It can be expressed in an absolute coordinate system.

図11を用いて、図10の切り出し映像データBの位置情報を例示的に説明する。切り出し映像データB(1013)の絶対座標系を基にした位置は情報1101で表される。切り出し映像データB(1013)に重畳された日付情報(1014)の位置は情報1102、時刻情報(1015)の位置は情報1103で表される。切り出し映像データB(1013)内の日付情報(1014)、時刻情報(1015)の重畳位置は切り出し映像データB(1013)上の左上を原点(0,0)とした0から99の正規化された値で表される。基準となる映像を特定するための相対情報として、日付情報(1014)の相対情報(Relative)には絶対座標系を持つB(切り出し映像データB)が設定されている。日付情報(1014)の位置は絶対座標系を持つ切り出し映像データBの座標(0,0)で表され、重畳文字サイズは座標幅に合わせてResolution=40x7と表される。時刻情報(1015)にも基準となる映像を特定するための相対情報B(切り出し映像データB)が設定される。時刻情報(1015)の位置は切り出し映像データBの座標の右下の座標値(99,93)が設定され、重畳文字サイズはResolution=30x7が設定される。   The position information of the cutout video data B in FIG. 10 will be exemplarily described with reference to FIG. The position based on the absolute coordinate system of the cutout video data B (1013) is represented by information 1101. The position of the date information (1014) superimposed on the cut-out video data B (1013) is represented by information 1102, and the position of the time information (1015) is represented by information 1103. The superimposed position of the date information (1014) and time information (1015) in the cutout video data B (1013) is normalized from 0 to 99 with the upper left on the cutout video data B (1013) as the origin (0, 0). It is expressed as a value. As relative information for specifying a reference video, B (cutout video data B) having an absolute coordinate system is set in relative information (Relative) of date information (1014). The position of the date information (1014) is represented by the coordinates (0, 0) of the clipped video data B having the absolute coordinate system, and the superimposed character size is represented as Resolution = 40 × 7 according to the coordinate width. Relative information B (cutout video data B) for specifying a reference video is also set in the time information (1015). As the position of the time information (1015), the coordinate value (99, 93) at the lower right of the coordinates of the clipped video data B is set, and Resolution = 30 × 7 is set as the superimposed character size.

クライアント703(情報処理装置)は図11の情報1101、1102、1103を受信する。クライアント703(情報処理装置)のアプリケーション704は、重畳画像の位置情報とサイズ情報と基準となる映像を特定するための相対情報から、切り出し映像データBに重畳される画像の位置やサイズを決定する。   The client 703 (information processing apparatus) receives the information 1101, 1102, and 1103 in FIG. The application 704 of the client 703 (information processing apparatus) determines the position and size of the image to be superimposed on the cutout video data B from the positional information and size information of the superimposed image and the relative information for specifying the reference video. .

そして、アプリケーション704は、重畳される画像の位置やサイズに基づき画面上に画像を重畳させながらUIを生成する。   Then, the application 704 generates a UI while superimposing the image on the screen based on the position and size of the superimposed image.

本発明の上記の実施形態によれば、配信要求によって、全体映像データ上に切り出し映像データBや重畳画像の重畳表示を行う際、定期的に切り出し映像データBや重畳画像(OSDの文字情報)を配信しなくてもよい。本実施形態によれば、切り出し映像データBや重畳画像の位置情報やサイズ情報、基準となる映像を特定するための相対情報を定期的に配信することで、映像A(全体映像データ)上における切り出し映像データBや重畳画像の位置やサイズを特定できる。   According to the above-described embodiment of the present invention, when the clipped video data B and the superimposed image are superimposed and displayed on the entire video data according to the distribution request, the clipped video data B and the superimposed image (OSD character information) are periodically displayed. May not be delivered. According to the present embodiment, the position information and size information of the cut-out video data B, the superimposed image, and the relative information for specifying the reference video are periodically distributed, so that the video A (overall video data) is displayed. The position and size of the cutout video data B and the superimposed image can be specified.

監視カメラが固定型やPan、Tiltを伴う移動可能型であっても、映像の位置情報を配信することが可能である。また映像に重畳された画像の位置についても配信することが可能である。基準となる映像を特定するための相対情報を配信する位置情報、サイズ情報に付与することで、受信側で、切り出し映像データや重畳画像を全体映像データのどの位置に、どのようなサイズで配置するかを決定することが可能になる。なお、重畳画像としてOSDの文字情報について説明したが、この例に限定されるものではない。例えば、全体映像または部分映像内の領域を塗りつぶしたプライバシーマスクに用いる矩形の重畳画像や、特定画像に対する画像解析および動体検知を行う仮想的な領域を用いることは可能である。   Even if the surveillance camera is a fixed type or a movable type with Pan and Tilt, it is possible to distribute video position information. It is also possible to distribute the position of the image superimposed on the video. By assigning relative information for specifying the reference video to the position information and size information to be distributed, the receiving side arranges the clipped video data and the superimposed image at which position of the entire video data and in what size It becomes possible to decide what to do. Although OSD character information has been described as a superimposed image, the present invention is not limited to this example. For example, it is possible to use a rectangular superimposed image used for a privacy mask in which a region in an entire video or a partial video is filled, or a virtual region for performing image analysis and moving object detection on a specific image.

本発明の実施形態によれば、絶対座標系に対する相対的な位置やサイズを示す情報を配信することで、配信要求によって部分映像データを配信しなくても配信先で全体における部分映像データの位置やサイズを特定可能になる。   According to the embodiment of the present invention, by distributing the information indicating the relative position and size with respect to the absolute coordinate system, the position of the partial video data in the whole at the distribution destination without distributing the partial video data by the distribution request And the size can be specified.

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (13)

撮影手段によって撮影された撮影映像内の複数の切り出し映像の設定を受け付ける受付手段と、
前記撮影手段によって撮影された撮影映像から切り出された複数の切り出し映像を配信する配信手段と、を備え、
前記配信手段は、前記複数の切り出し映像の1つを選択し、前記選択された切り出し映像の、前記撮影手段の撮影方向に基づいて特定される位置を示す情報と、他の切り出し映像の、前記選択された切り出し映像を基準とした相対的な位置を示す情報とを配信することを特徴とする撮像装置。
Accepting means for accepting settings of a plurality of cut-out videos in the photographed video photographed by the photographing means;
A delivery means for delivering a plurality of clipped videos cut out from the shot video shot by the shooting means;
The distribution unit selects one of the plurality of clipped videos, information indicating a position of the selected clipped video based on a shooting direction of the shooting unit, and the other clipped videos, An image pickup apparatus that distributes information indicating a relative position based on a selected cut-out video .
前記配信手段は、前記選択された切り出し映像を特定する情報を更に配信することを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the distribution unit further distributes information specifying the selected cut-out video. 前記配信手段は、前記複数の切り出し映像のサイズを示す情報を更に配信することを特徴とする請求項1または2に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the distribution unit further distributes information indicating a size of the plurality of cut-out videos . 前記配信手段は、前記複数の切り出し映像の位置が変更されると、前記変更により更新された位置を示す情報を配信することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 The imaging according to any one of claims 1 to 3, wherein when the positions of the plurality of cut-out videos are changed, the distribution unit distributes information indicating positions updated by the change. apparatus. 撮影手段を有する撮像装置の配信方法であって、
受付手段が、前記撮影手段によって撮影された撮影映像内の複数の切り出し映像の設定を受け付ける受付工程と、
配信手段が、前記撮影手段によって撮影された撮影映像から切り出された複数の切り出し映像を配信する映像配信工程と、
前記配信手段が、前記複数の切り出し映像の1つを選択し、前記選択された切り出し映像の、前記撮影手段の撮影方向に基づいて特定される位置を示す情報と、他の切り出し映像の、前記選択された切り出し映像を基準とした相対的な位置を示す情報とを配信する情報配信工程と、
を有することを特徴とする撮像装置の配信方法。
A delivery method of an imaging apparatus having a photographing means,
A receiving step for receiving a setting of a plurality of cut-out videos in the shot video shot by the shooting unit;
A video distribution step in which the distribution means distributes a plurality of clipped videos cut out from the shot video shot by the shooting means;
The distribution unit selects one of the plurality of clipped videos, information indicating a position of the selected clipped video based on the shooting direction of the shooting unit, and the other clipped videos, An information distribution step of distributing information indicating a relative position based on the selected cut-out video ;
A delivery method for an imaging apparatus, comprising:
前記配信手段が、前記情報配信工程で、前記選択された切り出し映像を特定する情報を更に配信することを特徴とする請求項に記載の撮像装置の配信方法。 6. The distribution method for an imaging apparatus according to claim 5 , wherein the distribution unit further distributes information for specifying the selected cut-out video in the information distribution step. 前記配信手段が、前記情報配信工程で、前記複数の切り出し映像のサイズを示す情報を更に配信することを特徴とする請求項またはに記載の撮像装置の配信方法。 The method for distributing an imaging apparatus according to claim 5 or 6 , wherein the distribution unit further distributes information indicating a size of the plurality of cut-out videos in the information distribution step. 前記配信手段が、前記複数の切り出し映像の位置が変更されると、前記変更により更新された位置を示す情報を配信することを特徴とする請求項乃至のいずれか1項に記載の撮像装置の配信方法。 The imaging according to any one of claims 5 to 7 , wherein when the position of the plurality of cut-out videos is changed, the distribution unit distributes information indicating the position updated by the change. Device distribution method. 情報処理装置と撮像装置とを有する撮像システムであって、
前記撮像装置は、
撮影手段によって撮影された撮影映像内の複数の切り出し映像の設定を受け付ける受付手段と、
前記撮影手段によって撮影された撮影映像から切り出された複数の切り出し映像を前記情報処理装置に配信する配信手段と、を備え、
前記配信手段は、前記複数の切り出し映像の1つを選択し、前記選択された切り出し映像の、前記撮影手段の撮影方向に基づいて特定される位置を示す情報と、他の切り出し映像の、前記選択された切り出し映像を基準とした相対的な位置を示す情報とを前記情報処理装置に配信し、
前記情報処理装置は、前記選択された切り出し映像の位置を示す情報と、前記他の切り出し映像の相対的な位置を示す情報とを受信して、前記他の切り出し映像の位置を特定することを特徴とする撮像システム。
An imaging system having an information processing device and an imaging device,
The imaging device
Accepting means for accepting settings of a plurality of cut-out videos in the photographed video photographed by the photographing means;
A distribution unit that distributes a plurality of cut-out videos cut out from the shot video shot by the shooting unit to the information processing apparatus;
The distribution unit selects one of the plurality of clipped videos, information indicating a position of the selected clipped video based on a shooting direction of the shooting unit, and the other clipped videos, Information indicating a relative position with respect to the selected cut-out video is distributed to the information processing apparatus,
The information processing apparatus includes information indicating a position of the selected cutout image, and receives the information indicating the relative position of the other cut-out image, to identify the position of the other cut-out image A characteristic imaging system.
前記配信手段は、前記選択された切り出し映像を特定する情報を更に配信することを特徴とする請求項に記載の撮像システム。 The imaging system according to claim 9 , wherein the distribution unit further distributes information specifying the selected cut-out video. 前記配信手段は、前記複数の切り出し映像のサイズを示す情報を更に配信することを特徴とする請求項または1に記載の撮像システム。 The distribution means, the imaging system according to claim 9 or 1 0, characterized in that further distributing information indicating the size of the plurality of cut-out images. 前記配信手段は、前記複数の切り出し映像の位置が変更されると、前記変更により更新された位置を示す情報を配信することを特徴とする請求項乃至1のいずれか1項に記載の撮像システム。 The said delivery means delivers the information which shows the position updated by the said change, if the position of these some cut-out image | videos is changed, The any one of Claims 9 thru | or 11 characterized by the above-mentioned. Imaging system. コンピュータを、請求項1乃至のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。 The program for functioning a computer as each means of the imaging device of any one of Claims 1 thru | or 4 .
JP2012018643A 2012-01-31 2012-01-31 IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM Active JP5917175B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012018643A JP5917175B2 (en) 2012-01-31 2012-01-31 IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012018643A JP5917175B2 (en) 2012-01-31 2012-01-31 IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM

Publications (3)

Publication Number Publication Date
JP2013157906A JP2013157906A (en) 2013-08-15
JP2013157906A5 JP2013157906A5 (en) 2015-03-05
JP5917175B2 true JP5917175B2 (en) 2016-05-11

Family

ID=49052674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012018643A Active JP5917175B2 (en) 2012-01-31 2012-01-31 IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP5917175B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160269759A1 (en) * 2013-10-22 2016-09-15 Sharp Kabushiki Kaisha Display processing device, distribution device, and metadata

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768563B1 (en) * 1995-02-24 2004-07-27 Canon Kabushiki Kaisha Image input system
JP2001136514A (en) * 1999-11-01 2001-05-18 Canon Inc Camera control system, and control method and storage medium thereof
JP2005176301A (en) * 2003-11-11 2005-06-30 Canon Inc Image processing apparatus, network camera system, image processing method, and program
JP2006165664A (en) * 2004-12-02 2006-06-22 Canon Inc Image transmission/reception system
JP4794903B2 (en) * 2005-05-11 2011-10-19 キヤノン株式会社 Terminal device, control method performed by terminal device, and program

Also Published As

Publication number Publication date
JP2013157906A (en) 2013-08-15

Similar Documents

Publication Publication Date Title
US10594988B2 (en) Image capture apparatus, method for setting mask image, and recording medium
CN110022431B (en) Image pickup apparatus, image pickup method, display apparatus, and display method
JP5871485B2 (en) Image transmission apparatus, image transmission method, and program
KR101760142B1 (en) Camera device, camera system, control device and computer readable recording medium
US9888049B2 (en) Transmission apparatus, instruction apparatus, transmission method, instruction method, and storage medium
JP2007189503A (en) Terminal device and program
JP2006191411A (en) Camera control apparatus, image display apparatus, method for controlling camera, method for displaying image, and program
JP2012034151A (en) Camera device, camera system, control device and program
JP2011024139A (en) Imaging device, imaging method, program, and imaging system
JP6141137B2 (en) REMOTE CONTROL DEVICE AND ITS CONTROL METHOD, IMAGING DEVICE AND ITS CONTROL METHOD, SYSTEM, AND PROGRAM
JP5917175B2 (en) IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM
JP2015162117A (en) server device, program, and information processing method
JP2013157905A (en) Photographing controller, control method for photographing controller, and program
JP2014192745A (en) Imaging apparatus, information processing apparatus, control method and program thereof
JP6486437B2 (en) Imaging apparatus, setting method, and program
JP6261191B2 (en) Display control apparatus, display control method, and program
JP6980450B2 (en) Controls, control methods, and programs
JP5939902B2 (en) Control device and control method of control device
JP5962692B2 (en) Terminal device and program
JP2014232995A (en) Camera apparatus and method for controlling the same
JP2020092308A (en) Imaging apparatus, control method, and program
JP2019009507A (en) Image processing apparatus, control method thereof, imaging apparatus, and monitoring system
JP6335668B2 (en) Imaging apparatus, control method therefor, imaging system, and program
JP6362090B2 (en) How to display the preset position of the network camera
JP2019115057A (en) Imaging apparatus, control method of imaging apparatus, and program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160406

R151 Written notification of patent or utility model registration

Ref document number: 5917175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151