JP5917175B2 - IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM - Google Patents
IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM Download PDFInfo
- Publication number
- JP5917175B2 JP5917175B2 JP2012018643A JP2012018643A JP5917175B2 JP 5917175 B2 JP5917175 B2 JP 5917175B2 JP 2012018643 A JP2012018643 A JP 2012018643A JP 2012018643 A JP2012018643 A JP 2012018643A JP 5917175 B2 JP5917175 B2 JP 5917175B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- video data
- cut
- video
- videos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、撮像装置、撮像装置の配信方法、撮像システムおよびプログラムに関する。 The present invention relates to an imaging apparatus, an imaging apparatus distribution method, an imaging system, and a program.
近年、監視カメラやセキュリティカメラにおいても高画質化、高精細化が進み、高解像度で監視映像を配信する機器が増えてきている。中でも広角レンズを用いて高解像度画像を撮影し、画像内の一部分を切り出すことにより、低解像度画像で疑似的なパンチルト機能を提供するカメラも増えてきている。 In recent years, high quality and high definition of surveillance cameras and security cameras have progressed, and the number of devices that distribute surveillance video with high resolution is increasing. In particular, an increasing number of cameras provide a pseudo pan / tilt function for low-resolution images by taking a high-resolution image using a wide-angle lens and cutting out a part of the image.
一方、受信側の録画サーバーやビューワーでは、表示装置であるディスプレイの高解像度化が進み表示領域の拡大に対応している。疑似的なパンチルト機能を実現するためには表示領域上で配信された低解像度画像がどの位置を示しているのかの情報が必要になる。 On the other hand, in the recording server or viewer on the receiving side, the resolution of the display, which is a display device, is increasing, and the display area is expanded. In order to realize the pseudo pan / tilt function, information indicating the position of the low-resolution image distributed on the display area is necessary.
そこで撮影画像に対して画像内の特定位置を相対座標により表す方法が考えられている。例えば、特許文献1では、画像の特定位置と関係づけられた付加情報と、撮影可能な全領域中の絶対位置情報を持つテーブルを備えるカメラ装置(ネットワークカメラ)が開示されている。カメラの撮影条件を基に絶対位置情報を画像中の相対的位置情報に変換して、撮影画像および付加情報とともに端末装置に送信することにより、相対的位置情報による撮影位置の特定が可能な構成を示している。 Therefore, a method of expressing a specific position in the image with relative coordinates with respect to the photographed image is considered. For example, Patent Document 1 discloses a camera device (network camera) including a table having additional information related to a specific position of an image and absolute position information in all areas that can be photographed. Configuration capable of specifying the shooting position based on the relative position information by converting the absolute position information into the relative position information in the image based on the shooting conditions of the camera and transmitting the information together with the shot image and the additional information to the terminal device. Is shown.
しかしながら、上述の特許文献1に開示された従来技術では、相対位置情報と付加情報を端末装置に送信しているが絶対位置情報に関しては端末装置に送信されていない。また、カメラ装置(ネットワークカメラ)が付加情報として端末装置に送信する内容は、相対位置で表される画像に対する情報であり、絶対位置との関係を示すものではない。 However, in the prior art disclosed in Patent Document 1 described above, relative position information and additional information are transmitted to the terminal device, but absolute position information is not transmitted to the terminal device. Further, the content transmitted from the camera device (network camera) to the terminal device as additional information is information on the image represented by the relative position, and does not indicate the relationship with the absolute position .
本発明は、複数の切り出し映像から選択された切り出し映像の、撮影手段の撮影方向に基づいて特定される位置に基づいて、他の切り出し映像の位置を特定可能な撮像技術を提供する。 The present invention provides an imaging technique capable of specifying the position of another clipped video based on the position of a clipped video selected from a plurality of clipped videos based on the shooting direction of a shooting unit.
上記の目的を達成する本発明の一つの側面に係る撮像装置は、撮影手段によって撮影された撮影映像内の複数の切り出し映像の設定を受け付ける受付手段と、前記撮影手段によって撮影された撮影映像から切り出された複数の切り出し映像を配信する配信手段と、を備え、前記配信手段は、前記複数の切り出し映像の1つを選択し、前記選択された切り出し映像の、前記撮影手段の撮影方向に基づいて特定される位置を示す情報と、他の切り出し映像の、前記選択された切り出し映像を基準とした相対的な位置を示す情報とを配信することを特徴とする。 Imaging device according to one aspect of the present invention to achieve the above object, a reception unit for receiving a setting of a plurality of cutout image in the photographing image taken by the photographing means, from a captured image captured by the imaging means Distribution means for distributing a plurality of clipped video clips, wherein the distribution means selects one of the plurality of clipped video images, and is based on a shooting direction of the selected clipped video image by the shooting means. The information indicating the position specified in this manner and the information indicating the relative position of the other clipped video with respect to the selected clipped video are distributed.
本発明によれば、複数の切り出し映像から選択された切り出し映像の、撮影手段の撮影方向に基づいて特定される配信映像の位置に基づいて、他の切り出し映像の位置を特定可能になる。
According to the present invention, it is possible to specify the position of another clipped video based on the position of the distribution video specified based on the shooting direction of the shooting means of the clipped video selected from the plurality of clipped videos .
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図7は本発明の実施形態に係る監視カメラとクライアント703(情報処理装置)とにより構成される撮像システムを示す図である。監視カメラ701はネットワーク702によってクライアント703(情報処理装置)と接続されている。クライアント703(情報処理装置)上のアプリケーション704は監視カメラ701を遠隔から操作し、監視カメラ701で撮影した映像を表示し、レンズ制御を行いユーザーの所望の映像設定により監視カメラ701を制御できる。監視カメラ701はアプリケーション704のユーザーインターフェース(UI)を変更することが可能である。監視カメラ701の持つ機能によりユーザーインターフェース(UI)の制御ボタンの増減やパン、チルト、ズームなどのモーター制御を行うためのスライダーバーなどの表示を変更する表示制御が可能である。なお、アプリケーション704は所望の監視カメラ701に対して配信要求を行うことにより、映像や監視カメラ内の各種情報を取得することができ、アプリケーション704内の所定位置に表示することが可能である。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 7 is a diagram showing an imaging system including a monitoring camera and a client 703 (information processing apparatus) according to the embodiment of the present invention. The
(第1実施形態)
以下、本発明の第1実施形態に係る撮像装置である監視カメラについて説明する。図2は監視カメラ701の構成を示すブロック図である。監視カメラ701では、レンズ201を通して入力された映像が、撮像部203によって撮像された撮像映像(デジタル映像データ)として処理される。レンズ201はレンズ制御部202によってレンズの操作が行われ、フォーカスやズーム制御、アイリス調整などで被写体を最適な光学的条件のパラメータ設定値によって撮影できるように制御される。撮像部203で処理された撮像映像(デジタル映像データ)は画像処理部204に入力される。画像処理部204は、入力された撮像映像(デジタル映像データ)を任意のサイズ、またはデジタル映像データ内の任意の位置で切り出すことができる。画像処理部204は切り出し指示を受け同時に複数の任意位置およびサイズの部分映像データを撮像映像(デジタル映像データ)から切り出すことができる。画像処理部204によって切り出された部分映像データは、撮像部203から出力された切り出す前のデジタル映像データと共に符号化処理部206に入力される。
(First embodiment)
Hereinafter, a surveillance camera that is an imaging apparatus according to the first embodiment of the present invention will be described. FIG. 2 is a block diagram showing the configuration of the
符号化処理部206は、撮像部203から出力されるデジタル映像データと画像処理部204から出力される部分映像データとを符号化する。
The encoding processing unit 206 encodes the digital video data output from the
画像生成部205は、部分映像データや全体映像データに重畳できる画像として、指定された文字や矩形などの画像データを生成する。画像生成部205により生成されたデータは、符号化処理部206に入力される。符号化処理部206は、画像生成部205から入力されたデータを、撮像部203からのデジタル映像データまたは画像処理部204からの部分映像データに重畳した映像データに対して符号化処理を行う。
The
符号化された映像データは配信制御部207に入力され、配信制御部207はリクエスト(配信要求)のあったクライアント(情報処理装置)に対して符号化された映像データの配信を行なう。通信部208は、配信制御部207によって配信された映像データの送信やクライアントからの情報を受信する際のデータ通信を制御する。
The encoded video data is input to the
各ブロックは内部バス209によって接続されており、CPU210からの制御信号を受けて動作を行う。またRAM211は処理シーケンスにおいて映像データを一時的に保存するバッファとして利用され、映像データの他にユーザーからの設定情報やプログラムなどがロードされている。ここで、ユーザーからの設定情報には、画像処理部204が部分映像を切り出すための任意のサイズ(サイズ情報)、や位置の情報(位置情報)が含まれる。設定情報の内容については後に図1(b)を用いて具体例を説明する。
Each block is connected by an
ROM212には監視カメラ701の処理を制御するための各種プログラムが保存されており、起動されたプログラムはRAM211へロードされ、RAM211へロードされたプログラムはCPU210からの読み出しにより動作する。ユーザーからの設定情報にはRAM211に一時的に保存されるものとROM212へ保存され再起動後も有効になるものとが存在する。RAM211に保存されているユーザーからの設定情報がCPU210によって指示されると、画像処理部204は設定情報に含まれるサイズ情報、位置情報を参照する。そして、画像処理部204はサイズ情報、位置情報に基づいて、任意のサイズ、位置の部分映像データをデジタル映像データ(全体映像データ)から切り出す。画像生成部205は文字や矩形などの画像を生成する。CPU210は画像処理部204の切り出しの位置情報やサイズ情報、画像生成部205で作成する画像を重畳する位置情報、各配信映像の生成状況などの情報を、通信部208を介してクライアントとの間で送受信する。
Various programs for controlling the processing of the
クライアントが要求している映像データに関する設定情報の変更、更新が生じた場合の配信制御部207の処理の流れを図3のフローチャートを用いて説明する。配信制御部207は、画像処理部204によって任意のサイズ、位置で切り出された部分映像データを、符号化処理部206の処理を介して、配信を要求したクライアントのすべてに対して配信する。複数のクライアントから配信の要求を受け付けた場合、それぞれのクライアントからの配信要求を受け付けたタイミングに応じて、配信制御部207は映像データを各クライアントに配信する。
The processing flow of the
配信制御部207は、クライアントが要求している映像データ(部分映像データ)を管理しており、デジタル映像データ(全体映像データ)からの切り出し位置に位置変更があるかを判定する(ステップS301)。
The
位置変更が無い場合(S301―No)、処理はステップS304に進められる。一方、ステップS301の判定で、位置変更があれば(S301−Yes)、RAM211に保存されている位置情報を更新する(S302)。次に、切り出す部分映像データに対するサイズ変更があるかを判定する(S304)。サイズ変更があれば(S304−Yes)、RAM211に保存されているサイズ情報を更新する(S305)。一方、ステップS304の判定において、サイズ変更が無い場合(S304−No)、処理はステップS306に進められる。位置情報またはサイズ情報が更新されたかを判定し(S306)、情報の更新が発生していなければ(S306−No)、何も送信せず、情報の更新があった場合(S306−Yes)、更新情報を配信する(S307)。
If there is no position change (S301-No), the process proceeds to step S304. On the other hand, if it is determined in step S301 that there is a position change (S301-Yes), the position information stored in the
次に、図1を用いてデジタル映像データ(全体映像データ)における部分映像データの位置やサイズの関係を説明する。図1(a)は、デジタル映像データ(全体映像データ)における部分映像データの配置の関係を示す図である。全体映像データA(101)は撮像部203で撮影された最大解像度を基にしたデジタル映像データ(全体映像データ)である。全体映像データA(101)は幅1920、高さ960のピクセルで表される解像度であり、中心位置(x,y)を原点(0,0)とした座標を持っている。座標軸は、原点(0,0)に対して、Y軸の上方向とX軸の右方向をプラスとし、Y軸の下方向とX軸の左方向をマイナスとする。
Next, the relationship between the position and size of the partial video data in the digital video data (whole video data) will be described with reference to FIG. FIG. 1A is a diagram showing the arrangement relationship of partial video data in digital video data (whole video data). The entire video data A (101) is digital video data (entire video data) based on the maximum resolution captured by the
部分映像データである切り出し映像データB(102)は、全体映像データAの原点を基に切り出し映像データBの中心位置までの相対座標(−450,200)(相対位置情報)によって表される。切り出し映像データBは幅480、高さ270の矩形として表される。部分映像データである切り出し映像データC(103)は全体映像データAの原点を基に切り出し映像データCの中心位置までの相対座標(400,−500)(相対位置情報)によって表される。切り出し映像データCは幅240、高さ185の矩形として表される。 The cutout video data B (102) which is partial video data is represented by relative coordinates (−450, 200) (relative position information) up to the center position of the cutout video data B based on the origin of the whole video data A. The cut-out video data B is represented as a rectangle having a width of 480 and a height of 270. The clipped video data C (103), which is partial video data, is represented by relative coordinates (400, -500) (relative position information) up to the center position of the clipped video data C based on the origin of the entire video data A. The cut-out video data C is represented as a rectangle having a width of 240 and a height of 185.
それぞれの映像データに設定されている位置情報は図1(b)のように表現することができる。全体映像データAの座標、幅および高さは情報104によって表される。基準となる全体映像データAの絶対座標系をPanおよびTiltの画角で表し、中心位置(0,0)を原点として(0°,0°)とする。画角を示すZoomには表示可能な水平画角50°が設定されており、解像度を表すResolutionには幅と高さのピクセル値が設定されている。
The position information set for each video data can be expressed as shown in FIG. The coordinates, width, and height of the entire video data A are represented by
切り出し映像データBの位置情報は情報105によって表される。画角を表す絶対座標位置を持つ全体映像データAを基にしているため、Pan、Tilt、Zoom、Resolutionの値には全体映像データAと同じ値が設定されている。切り出し映像データBの座標系と絶対座標系との相対的な関係性を表す基準となる映像を特定するための相対情報(Relative)には絶対座標系を持つA(全体映像データA)が設定されている。全体映像データAの原点を基に切り出し映像データBの中心位置までの相対位置(相対位置情報)の座標はx、yによって表され、切り出し映像データBの幅と高さはResoultionによって表わされる。
The position information of the cut-out video data B is represented by
切り出し映像データCの位置情報は情報106によって表される。切り出し映像データBと同じく位置情報は全体映像データAの絶対座標系を基に表すことになるため、Pan、Tilt、Zoom、Resoultionは全体映像データAと同じ値が設定されている。また切り出し映像データBと同じく、切り出し映像データCの座標系と絶対座標系との相対的な関係性を表す基準となる映像を特定するための相対情報(Relative)には絶対座標系を持つA(全体映像データA)が設定されている。
The position information of the clipped video data C is represented by
基準となる映像を特定するための相対情報によって、切り出し映像データBおよび切り出し映像データCは全体映像データAを基準とした相対位置で表すことができる。尚、切り出し映像データとデジタル映像データ(全体映像データ)との関係では、切り出し映像データが全体映像データの最大サイズ内に収まっていればどのような位置、サイズでも切り出せるために制約はない。 The cut-out video data B and the cut-out video data C can be represented by relative positions with reference to the entire video data A based on relative information for specifying a reference video. Note that there is no restriction on the relationship between the clipped video data and the digital video data (whole video data) because the clipped video data can be cut out at any position and size as long as the clipped video data is within the maximum size of the whole video data.
切り出し映像データBと切り出し映像データCに対して、切り出し位置の変更が行われるとx、yの値(位置情報)が更新される(S302)。また、サイズ情報の変更が発生するとResolutionが更新される(S305)。 When the cutout position is changed for the cutout video data B and the cutout video data C, the values of x and y (position information) are updated (S302). When the size information is changed, the Resolution is updated (S305).
図3で示した処理により各映像データの位置情報、サイズ情報についての相対位置情報の変更が生じると、変更が発生したタイミングで、位置情報、サイズ情報が更新される。切り出した映像に対しての配信要求を監視カメラ701が受信し、情報の更新が生じると、更新情報が要求元のクライアントに配信される。
When the relative position information about the position information and size information of each video data is changed by the processing shown in FIG. 3, the position information and size information are updated at the timing when the change occurs. When the
設定の変更によって切り出し映像データBと切り出し映像データCに加え、新たな切り出し映像データが取得される。配信中の既存の切り出し映像データが配信停止もしくは削除されると、例えば、切り出し映像データBを示すINFO=B,切り出し映像データCを示すINFO=Cのように表される情報(図1(b))が削除される。 In addition to the cutout video data B and the cutout video data C, new cutout video data is acquired by changing the setting. When distribution of existing clipped video data being distributed is stopped or deleted, for example, information represented as INFO = B indicating clipped video data B and INFO = C indicating clipped video data C (FIG. 1B). )) Is deleted.
図4を用いて、設定に変更が生じた場合における配信制御部207の処理の流れを説明する。配信制御部207は、切り出し映像データが映像配信中であるかを常に判定している(S401)。配信制御部207が映像配信中ではないと判定した場合(S401−No)、映像データおよび映像データに関する設定情報も不要となる。配信制御部207は管理している映像データおよび映像データに関する設定情報を破棄し(S408)、処理を終了する。
A processing flow of the
ステップS401の判定で映像配信中であれば(S401−Yes)、情報をクライアントに前回配信してからの経過時間が一定時間を経過したか否かを判定する(S402)。 If it is determined in step S401 that video is being distributed (S401-Yes), it is determined whether or not a certain period of time has elapsed since the information was previously distributed to the client (S402).
各クライアントに応じて予め定められた一定時間(閾値時間)を経過している場合(S402−Yes)、現在の最新情報を各クライアントに配信する(S403)。一定時間が経過していない場合(S402―No)、配信制御部207は現在配信している映像データに関して設定の変更(追加、削除)があるかどうかを判定する(S404)。設定変更があれば新たな切り出し映像データに対する設定情報および切り出し映像データの位置とサイズを更新し(S405)、更新した情報を配信する(S403)。一方、ステップS404の判定で、映像データに関して設定の変更(追加、削除)がない場合(S404−No)、配信後の一定時間内に配信中の切り出し映像データの位置およびサイズが変更されてないかを判定する(S406)。配信中の切り出し映像データに関して位置およびサイズが更新されていれば(S406−Yes)、相対位置の座標とサイズ情報を更新して(S407)、更新した情報を配信する(S403)。
When a predetermined time (threshold time) predetermined according to each client has passed (S402-Yes), the current latest information is distributed to each client (S403). When the predetermined time has not elapsed (S402—No), the
ステップS406の判定で、配信中の切り出し映像データの位置およびサイズが変更されてない場合(S406−No)、情報を更新する必要がないため、クライアントに対して新たな更新情報を配信せずに処理を終了する。 If it is determined in step S406 that the position and size of the clipped video data being distributed have not been changed (S406-No), there is no need to update the information, so new update information is not distributed to the client. The process ends.
次に、図5を用いて複数の切り出し映像データの相対的な関係を説明する。複数の切り出し映像データとして、2つの切り出し映像データB、Cを例にしてそれぞれの切り出し映像データに設定される位置情報を説明する。 Next, the relative relationship between a plurality of clipped video data will be described with reference to FIG. Position information set for each piece of cut-out video data will be described taking two pieces of cut-out video data B and C as an example of a plurality of pieces of cut-out video data.
図5の情報501は、切り出し映像データBの位置情報(絶対位置情報)を示している。全体映像データAを基準とした相対位置の座標から、Aの絶対座標系における切り出し映像データBの絶対位置情報が算出される。位置情報の基準は全体映像データAの絶対座標系における絶対位置情報であるため、Pan=−11°およびTilt=5°の位置は、全体映像データAの原点(0°,0°)からの位置で算出された値となる。Zoomは水平画角情報から解像度の比率によって算出されるため、映像データAが幅1920(ピクセル)で50°であれば切り出し映像データBは幅480(ピクセル)のため水平画角12.5°となる。
図5の情報502は、切り出し映像データBの位置情報(絶対位置情報)を基準とした切り出し映像データCの相対的な関係を示す位置情報を示している。切り出し映像データBの位置情報(絶対位置情報)を基準にしているため、Pan、Tilt、Zoom、Resolutionは切り出し映像データBの情報が用いられる。
切り出し映像データCの座標系と切り出し映像データBの絶対座標系との相対的な関係性を表す基準となる映像を特定するための相対情報(Relative)には絶対座標系を持つB(切り出し映像データB)が設定されている。切り出し映像データCの位置を表すにはピクセル数でxとyが示されResolution―Cは切り出し映像データCの解像度が設定される。 The relative information (relative) for specifying the reference video representing the relative relationship between the coordinate system of the cutout video data C and the absolute coordinate system of the cutout video data B is B (cutout video) having the absolute coordinate system. Data B) is set. To represent the position of the cutout video data C, x and y are indicated by the number of pixels, and Resolution-C sets the resolution of the cutout video data C.
上記の情報を監視カメラ701から受信したクライアント703(情報処理装置)のアプリケーション704は、解像度と位置情報により切り出し映像データB、Cの位置関係を構築することができる。アプリケーション704は切り出し映像データB、Cの位置関係を用いて最大サイズの配信映像(全体映像データA)上に切り出し映像データB、Cを重畳して表示することが可能となる。
The
本実施形態では位置情報についてPan、Tilt、Zoomと解像度のフォーマットを用いて説明したが、絶対位置と相対位置が算出できる座標系であれば抽象値0から1までの範囲によって表されるものでも良い。また座標系は映像の中心位置を原点として説明しているが、左上を原点とした正の数のみで扱われる座標系や、全く異なる座標系によって、各映像との位置関係が表せれば本発明の実施形態を適用することが可能である。
In this embodiment, the position information has been described using Pan, Tilt, Zoom and resolution formats. However, even if the coordinate system can calculate the absolute position and the relative position, the position information may be represented by a range from the
図6を用いて、切り出し元の全体映像データ(基本映像)と切り出し映像データとを配信する場合の配信制御部207の処理の流れを説明する。映像データの取得要求が行われると監視カメラ701のPan、Tilt、Zoomの撮影位置(PTZ)を取得し、全体映像データ(基本映像)の解像度を含む映像情報(デジタル映像データ)の取得を行う(S601)。
The flow of processing of the
配信制御部207は、監視カメラ701の撮影位置のPan、Tilt、Zoomを絶対座標系の位置情報(絶対位置情報)に設定する(S602)。次に切り出し映像データが配信中であるか否かを判定する(S603)。切り出し映像データが配信されておらず(S603−No)、全体映像データ(基本映像)のみを送っている場合は通常の位置情報の配信のみを行う(S614)。
The
一方、ステップS603の判定で、切り出し映像を配信している場合(S603−Yes)、切り出し映像データの絶対位置情報を取得する(S604)。さらに切り出し映像データの解像度、サイズを取得し(S605)、切り出し映像データの情報を取得しておく。 On the other hand, if it is determined in step S603 that the cutout video is distributed (S603-Yes), the absolute position information of the cutout video data is acquired (S604). Further, the resolution and size of the clipped video data are acquired (S605), and information of the clipped video data is acquired.
全体映像データ(基本映像)を配信しているかを判定し(S606)、全体映像データ(基本映像)を配信している場合(S606−Yes)、全体映像データ(基本映像)に対する切り出し映像データの相対位置情報を算出する(S607)。 It is determined whether the entire video data (basic video) is distributed (S606). When the entire video data (basic video) is distributed (S606-Yes), the cut-out video data for the entire video data (basic video) is determined. Relative position information is calculated (S607).
算出した相対位置情報と、全体映像データの絶対位置情報との相対的な関係性を表す基準となる映像を特定するための相対情報(Relative)を、絶対座標系を持つ全体映像データ(基本映像)に設定する(S608)。相対位置情報、絶対位置情報、相対位置情報と絶対位置情報との相対的な関係性を表す基準となる映像を特定するための相対情報を配信情報として生成する(S613)。 Relative information (relative) for specifying a reference video representing the relative relationship between the calculated relative position information and the absolute position information of the whole video data is used as whole video data (basic video) having an absolute coordinate system. ) Is set (S608). Relative position information, absolute position information, and relative information for specifying an image serving as a reference representing the relative relationship between the relative position information and the absolute position information are generated as distribution information (S613).
一方、ステップS606の判定で、全体映像データ(基本映像)を配信していない場合(S606−No)、切り出し映像データしか配信していないこととなる。切り出し映像データは複数同時に切り出しが行え配信可能であるため、複数の切り出し映像データが配信されているかを判定する(S609)。複数の切り出し映像データを配信している場合(S609−Yes)、複数の切り出し映像データの中から最も解像度の大きい映像、もしくは、絶対座標系の原点座標から最も近い位置にある切り出し映像データを優先的に選択する。そして、選択した優先度の高い切り出し映像データの絶対位置情報を基準として他の切り出し映像データの相対位置情報を算出する(S610)。 On the other hand, if it is determined in step S606 that the entire video data (basic video) has not been distributed (S606-No), only the cut-out video data has been distributed. Since a plurality of clipped video data can be clipped and distributed simultaneously, it is determined whether a plurality of clipped video data is distributed (S609). When a plurality of cut-out video data is distributed (S609-Yes), priority is given to the video with the highest resolution from the plurality of cut-out video data or the cut-out video data closest to the origin coordinate in the absolute coordinate system. To choose. Then, relative position information of other clipped video data is calculated with reference to the absolute position information of the selected clipped video data having a high priority (S610).
算出した相対位置情報と、基準となる映像を特定するための相対情報に絶対座標系を持つ優先度の高い切り出し映像データを設定して(S611)、処理をステップS613に進める。 High-priority cut-out video data having an absolute coordinate system is set in the calculated relative position information and relative information for specifying the reference video (S611), and the process proceeds to step S613.
ステップS613では、相対位置情報、絶対位置情報、相対位置情報と絶対位置情報との相対的な関係性を表す基準となる映像を特定するための相対情報を配信情報として生成する(S613)。ステップS609の判定で、切り出し映像データが1つである場合(S609−No)、切り出し映像データの絶対位置座標(x、y)を、絶対座標系の絶対位置情報として設定(S612)する。ステップS614では、先のステップS612、S613で生成した情報を位置情報として配信する。 In step S613, relative information for specifying relative position information, absolute position information, and a video that serves as a reference representing the relative relationship between the relative position information and the absolute position information is generated as distribution information (S613). If it is determined in step S609 that there is only one clipped video data (S609-No), the absolute position coordinates (x, y) of the clipped video data are set as absolute position information in the absolute coordinate system (S612). In step S614, the information generated in the previous steps S612 and S613 is distributed as position information.
本実施形態によれば、相対位置情報、絶対位置情報、相対位置情報と絶対位置情報との相対的な関係性を表す相対情報を配信することで、全体映像データにおける切り出し映像データの相対的な位置関係を示す重畳表示が可能となる。 According to the present embodiment, the relative position information, the absolute position information, and the relative information representing the relative relationship between the relative position information and the absolute position information are distributed, so that the relative position of the cut-out video data in the entire video data can be increased. A superimposed display showing the positional relationship is possible.
また、全体映像データの絶対座標系を基に、切り出し映像データの相対位置情報を表現することできる。複数の座標系に依存せずに各切り出し映像データを表すことができる。このため、複数の切り出し映像データが全体映像データ中に含まれる場合であっても、複数の切り出し映像データそれぞれの座標系に依存せずに、全体映像データにおける切り出し映像データの相対的な位置関係を示すことが可能となる。 Further, the relative position information of the clipped video data can be expressed based on the absolute coordinate system of the entire video data. Each clipped video data can be represented without depending on a plurality of coordinate systems. Therefore, even when a plurality of cut-out video data is included in the whole video data, the relative positional relationship of the cut-out video data in the whole video data without depending on the coordinate system of each of the plurality of cut-out video data it is possible to show the.
すなわち、絶対座標系に対する相対的な位置やサイズを示す情報を配信することで、配信要求の都度、部分映像データを配信しなくても配信先で全体における部分映像データの位置やサイズを特定可能な撮像技術の提供が可能になる。 In other words, by distributing information indicating the relative position and size with respect to the absolute coordinate system, the position and size of partial video data in the whole can be specified at the distribution destination without distributing partial video data each time a distribution request is made Providing a simple imaging technique.
(第2実施形態)
以下、本発明の第2実施形態の撮像装置に係る監視カメラについて説明する。図8は監視カメラ701の構成を示すブロック図であり、第1実施形態で説明した図2の構成に対して、モーター駆動制御部813が追加されている点で図2の構成と相違する。図2の構成と共通の参照番号の構成要素については、説明を省略する。モーター駆動制御部813は、CPU210からの制御によって、通信部208を介して外部機器であるクライアント703(情報処理装置)からの操作情報を受信する。モーター駆動制御部813は受信した操作情報に応じてPanやTiltの監視カメラ701本体の向きを変更するためのモーターの駆動を制御する。モーター駆動制御部813によるモーター駆動によって監視カメラ701の向きは変更される。レンズ201から通して入力される映像は、監視カメラ701の向きに応じて変更される。このため、画像処理部204によって処理される画像および画像生成部205によって生成される画像(重畳画像)の位置情報もPan、Tiltを用いた画角によって表現できる。
(Second Embodiment)
Hereinafter, the surveillance camera according to the imaging apparatus of the second embodiment of the present invention will be described. FIG. 8 is a block diagram showing the configuration of the
図9を用いて、第2実施形態に係る重畳画像の位置座標の設定処理の流れを説明する。ステップS901では、映像データは配信中であるかを判定する。映像配信中でない場合(S901−No)、配信制御部207は、通常の情報配信として、リクエスト(配信要求)のあったクライアントに対して符号化された映像データの配信を行なう。(S909)。
With reference to FIG. 9, the flow of the process for setting the position coordinates of the superimposed image according to the second embodiment will be described. In step S901, it is determined whether the video data is being distributed. When the video distribution is not in progress (S901-No), the
一方、ステップS901の判定で、映像データが配信中である場合(S901−Yes)、画像生成部205によって生成される画像(重畳画像)が映像配信中の映像内にあるか否かを判定する(S902)。重畳画像が映像配信中の映像内にあれば(S902−Yes)、映像配信中の映像に係る映像データを基に重畳画像の相対位置情報を更新する(S903)。
On the other hand, if it is determined in step S901 that the video data is being distributed (S901-Yes), it is determined whether the image (superimposed image) generated by the
次に、重畳画像のある映像配信中の映像を基準とした絶対位置(絶対座標系)との相対的な関係性を表す基準となる映像を特定するための相対情報(相対関連性)を重畳画像の位置情報に設定する(S904)。 Next, the relative information (relative relevance) for specifying the reference video representing the relative relationship with the absolute position (absolute coordinate system) based on the video being delivered with the superimposed image as a reference is superimposed. The image position information is set (S904).
ステップS909では、ステップS903で更新された相対位置情報と、ステップS904で設定された相対情報(相対関連性)とを配信する。 In step S909, the relative position information updated in step S903 and the relative information (relative relationship) set in step S904 are distributed.
一方、ステップS902の判定で、重畳画像が映像配信中の映像内に無い場合(S902−No)、重畳画像に関連する情報が配信されているかを判定する(S905)。重畳画像に関連する情報が配信中であれば(S905−Yes)、重畳画像に関連する情報を絶対位置とした重畳画像の相対位置情報を生成する(S906)。絶対位置(絶対座標系)を有する重畳画像に関連する情報と重畳画像との相対的な関係性を表す基準となる映像を特定するための相対情報(相対関連性)を相対位置情報が含まれる重畳画像の位置情報に設定する(S907)。 On the other hand, if it is determined in step S902 that the superimposed image is not in the video being distributed (S902-No), it is determined whether information related to the superimposed image is distributed (S905). If the information related to the superimposed image is being distributed (S905-Yes), the relative position information of the superimposed image with the information related to the superimposed image as the absolute position is generated (S906). Relative position information includes relative information (relative relationship) for specifying a video that serves as a reference representing the relative relationship between information related to a superimposed image having an absolute position (absolute coordinate system) and the superimposed image. The position information of the superimposed image is set (S907).
ステップS909では、ステップS906で生成された相対位置情報と、ステップS907で設定された相対情報(相対関連性)とを配信する。 In step S909, the relative position information generated in step S906 and the relative information (relative relationship) set in step S907 are distributed.
一方、ステップS905の判定で、重畳画像に関連する情報も配信されていなければ(S905−No)、重畳画像の位置情報を絶対位置情報として設定する(S908)。そして、ステップS909では、ステップS908で設定された絶対位置情報を配信する。 On the other hand, if it is determined in step S905 that information related to the superimposed image is not distributed (S905-No), the position information of the superimposed image is set as absolute position information (S908). In step S909, the absolute position information set in step S908 is distributed.
次に、図10を用いて、監視カメラ701の撮影可動範囲と撮影可動範囲内で撮影された映像について説明する。監視カメラ701はモーター駆動によってPan、Tiltの撮影方向を変更することができる。監視カメラ701の撮影可動範囲を1011に示す。監視カメラ701のレンズは天井取り付けで地面方向を向いており、Pan方向はx軸として+180°から−180°、Tilt方向はy軸として+10°から−90°が可動範囲となる。原点は中心位置で(0°,0°)である。
Next, with reference to FIG. 10, a shooting movable range of the
レンズ201から入力される最大撮像可能範囲は1012で表される。撮像可能範囲における位置はx軸−70°、y軸−40°であり、幅1920、高さ1080で表される矩形であり、水平画角で表されるZoom値は50°となる。最大撮像可能範囲1012の全体的な映像を映像A(全体映像データ)で表わす。切り出し映像データB(1013)は映像A(全体映像データ)内から切り出される映像データである。切り出し映像データB(1013)にはOSD(On Screen Display)画像として文字情報(日付情報1014、時刻情報1015)が重畳される。画像生成部205はOSDとしての文字情報を生成する。日付情報1014は切り出し映像データB(1013)の左上の位置、時刻情報として1015は切り出し映像データB(1013)の右下の位置に表示される。絶対座標系を持つ撮影可動範囲の映像A(全体映像データ)を基にした、切り出し映像データBの中心位置までの相対座標(相対位置情報)を用いることにより、切り出し映像データBの位置情報を絶対座標系で表すことができる。
The maximum imageable range input from the
図11を用いて、図10の切り出し映像データBの位置情報を例示的に説明する。切り出し映像データB(1013)の絶対座標系を基にした位置は情報1101で表される。切り出し映像データB(1013)に重畳された日付情報(1014)の位置は情報1102、時刻情報(1015)の位置は情報1103で表される。切り出し映像データB(1013)内の日付情報(1014)、時刻情報(1015)の重畳位置は切り出し映像データB(1013)上の左上を原点(0,0)とした0から99の正規化された値で表される。基準となる映像を特定するための相対情報として、日付情報(1014)の相対情報(Relative)には絶対座標系を持つB(切り出し映像データB)が設定されている。日付情報(1014)の位置は絶対座標系を持つ切り出し映像データBの座標(0,0)で表され、重畳文字サイズは座標幅に合わせてResolution=40x7と表される。時刻情報(1015)にも基準となる映像を特定するための相対情報B(切り出し映像データB)が設定される。時刻情報(1015)の位置は切り出し映像データBの座標の右下の座標値(99,93)が設定され、重畳文字サイズはResolution=30x7が設定される。
The position information of the cutout video data B in FIG. 10 will be exemplarily described with reference to FIG. The position based on the absolute coordinate system of the cutout video data B (1013) is represented by
クライアント703(情報処理装置)は図11の情報1101、1102、1103を受信する。クライアント703(情報処理装置)のアプリケーション704は、重畳画像の位置情報とサイズ情報と基準となる映像を特定するための相対情報から、切り出し映像データBに重畳される画像の位置やサイズを決定する。
The client 703 (information processing apparatus) receives the
そして、アプリケーション704は、重畳される画像の位置やサイズに基づき画面上に画像を重畳させながらUIを生成する。
Then, the
本発明の上記の実施形態によれば、配信要求によって、全体映像データ上に切り出し映像データBや重畳画像の重畳表示を行う際、定期的に切り出し映像データBや重畳画像(OSDの文字情報)を配信しなくてもよい。本実施形態によれば、切り出し映像データBや重畳画像の位置情報やサイズ情報、基準となる映像を特定するための相対情報を定期的に配信することで、映像A(全体映像データ)上における切り出し映像データBや重畳画像の位置やサイズを特定できる。 According to the above-described embodiment of the present invention, when the clipped video data B and the superimposed image are superimposed and displayed on the entire video data according to the distribution request, the clipped video data B and the superimposed image (OSD character information) are periodically displayed. May not be delivered. According to the present embodiment, the position information and size information of the cut-out video data B, the superimposed image, and the relative information for specifying the reference video are periodically distributed, so that the video A (overall video data) is displayed. The position and size of the cutout video data B and the superimposed image can be specified.
監視カメラが固定型やPan、Tiltを伴う移動可能型であっても、映像の位置情報を配信することが可能である。また映像に重畳された画像の位置についても配信することが可能である。基準となる映像を特定するための相対情報を配信する位置情報、サイズ情報に付与することで、受信側で、切り出し映像データや重畳画像を全体映像データのどの位置に、どのようなサイズで配置するかを決定することが可能になる。なお、重畳画像としてOSDの文字情報について説明したが、この例に限定されるものではない。例えば、全体映像または部分映像内の領域を塗りつぶしたプライバシーマスクに用いる矩形の重畳画像や、特定画像に対する画像解析および動体検知を行う仮想的な領域を用いることは可能である。 Even if the surveillance camera is a fixed type or a movable type with Pan and Tilt, it is possible to distribute video position information. It is also possible to distribute the position of the image superimposed on the video. By assigning relative information for specifying the reference video to the position information and size information to be distributed, the receiving side arranges the clipped video data and the superimposed image at which position of the entire video data and in what size It becomes possible to decide what to do. Although OSD character information has been described as a superimposed image, the present invention is not limited to this example. For example, it is possible to use a rectangular superimposed image used for a privacy mask in which a region in an entire video or a partial video is filled, or a virtual region for performing image analysis and moving object detection on a specific image.
本発明の実施形態によれば、絶対座標系に対する相対的な位置やサイズを示す情報を配信することで、配信要求によって部分映像データを配信しなくても配信先で全体における部分映像データの位置やサイズを特定可能になる。 According to the embodiment of the present invention, by distributing the information indicating the relative position and size with respect to the absolute coordinate system, the position of the partial video data in the whole at the distribution destination without distributing the partial video data by the distribution request And the size can be specified.
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (13)
前記撮影手段によって撮影された撮影映像から切り出された複数の切り出し映像を配信する配信手段と、を備え、
前記配信手段は、前記複数の切り出し映像の1つを選択し、前記選択された切り出し映像の、前記撮影手段の撮影方向に基づいて特定される位置を示す情報と、他の切り出し映像の、前記選択された切り出し映像を基準とした相対的な位置を示す情報とを配信することを特徴とする撮像装置。 Accepting means for accepting settings of a plurality of cut-out videos in the photographed video photographed by the photographing means;
A delivery means for delivering a plurality of clipped videos cut out from the shot video shot by the shooting means;
The distribution unit selects one of the plurality of clipped videos, information indicating a position of the selected clipped video based on a shooting direction of the shooting unit, and the other clipped videos, An image pickup apparatus that distributes information indicating a relative position based on a selected cut-out video .
受付手段が、前記撮影手段によって撮影された撮影映像内の複数の切り出し映像の設定を受け付ける受付工程と、
配信手段が、前記撮影手段によって撮影された撮影映像から切り出された複数の切り出し映像を配信する映像配信工程と、
前記配信手段が、前記複数の切り出し映像の1つを選択し、前記選択された切り出し映像の、前記撮影手段の撮影方向に基づいて特定される位置を示す情報と、他の切り出し映像の、前記選択された切り出し映像を基準とした相対的な位置を示す情報とを配信する情報配信工程と、
を有することを特徴とする撮像装置の配信方法。 A delivery method of an imaging apparatus having a photographing means,
A receiving step for receiving a setting of a plurality of cut-out videos in the shot video shot by the shooting unit;
A video distribution step in which the distribution means distributes a plurality of clipped videos cut out from the shot video shot by the shooting means;
The distribution unit selects one of the plurality of clipped videos, information indicating a position of the selected clipped video based on the shooting direction of the shooting unit, and the other clipped videos, An information distribution step of distributing information indicating a relative position based on the selected cut-out video ;
A delivery method for an imaging apparatus, comprising:
前記撮像装置は、
撮影手段によって撮影された撮影映像内の複数の切り出し映像の設定を受け付ける受付手段と、
前記撮影手段によって撮影された撮影映像から切り出された複数の切り出し映像を前記情報処理装置に配信する配信手段と、を備え、
前記配信手段は、前記複数の切り出し映像の1つを選択し、前記選択された切り出し映像の、前記撮影手段の撮影方向に基づいて特定される位置を示す情報と、他の切り出し映像の、前記選択された切り出し映像を基準とした相対的な位置を示す情報とを前記情報処理装置に配信し、
前記情報処理装置は、前記選択された切り出し映像の位置を示す情報と、前記他の切り出し映像の相対的な位置を示す情報とを受信して、前記他の切り出し映像の位置を特定することを特徴とする撮像システム。 An imaging system having an information processing device and an imaging device,
The imaging device
Accepting means for accepting settings of a plurality of cut-out videos in the photographed video photographed by the photographing means;
A distribution unit that distributes a plurality of cut-out videos cut out from the shot video shot by the shooting unit to the information processing apparatus;
The distribution unit selects one of the plurality of clipped videos, information indicating a position of the selected clipped video based on a shooting direction of the shooting unit, and the other clipped videos, Information indicating a relative position with respect to the selected cut-out video is distributed to the information processing apparatus,
The information processing apparatus includes information indicating a position of the selected cutout image, and receives the information indicating the relative position of the other cut-out image, to identify the position of the other cut-out image A characteristic imaging system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012018643A JP5917175B2 (en) | 2012-01-31 | 2012-01-31 | IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012018643A JP5917175B2 (en) | 2012-01-31 | 2012-01-31 | IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013157906A JP2013157906A (en) | 2013-08-15 |
JP2013157906A5 JP2013157906A5 (en) | 2015-03-05 |
JP5917175B2 true JP5917175B2 (en) | 2016-05-11 |
Family
ID=49052674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012018643A Active JP5917175B2 (en) | 2012-01-31 | 2012-01-31 | IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5917175B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160269759A1 (en) * | 2013-10-22 | 2016-09-15 | Sharp Kabushiki Kaisha | Display processing device, distribution device, and metadata |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6768563B1 (en) * | 1995-02-24 | 2004-07-27 | Canon Kabushiki Kaisha | Image input system |
JP2001136514A (en) * | 1999-11-01 | 2001-05-18 | Canon Inc | Camera control system, and control method and storage medium thereof |
JP2005176301A (en) * | 2003-11-11 | 2005-06-30 | Canon Inc | Image processing apparatus, network camera system, image processing method, and program |
JP2006165664A (en) * | 2004-12-02 | 2006-06-22 | Canon Inc | Image transmission/reception system |
JP4794903B2 (en) * | 2005-05-11 | 2011-10-19 | キヤノン株式会社 | Terminal device, control method performed by terminal device, and program |
-
2012
- 2012-01-31 JP JP2012018643A patent/JP5917175B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013157906A (en) | 2013-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10594988B2 (en) | Image capture apparatus, method for setting mask image, and recording medium | |
CN110022431B (en) | Image pickup apparatus, image pickup method, display apparatus, and display method | |
JP5871485B2 (en) | Image transmission apparatus, image transmission method, and program | |
KR101760142B1 (en) | Camera device, camera system, control device and computer readable recording medium | |
US9888049B2 (en) | Transmission apparatus, instruction apparatus, transmission method, instruction method, and storage medium | |
JP2007189503A (en) | Terminal device and program | |
JP2006191411A (en) | Camera control apparatus, image display apparatus, method for controlling camera, method for displaying image, and program | |
JP2012034151A (en) | Camera device, camera system, control device and program | |
JP2011024139A (en) | Imaging device, imaging method, program, and imaging system | |
JP6141137B2 (en) | REMOTE CONTROL DEVICE AND ITS CONTROL METHOD, IMAGING DEVICE AND ITS CONTROL METHOD, SYSTEM, AND PROGRAM | |
JP5917175B2 (en) | IMAGING DEVICE, IMAGING DEVICE DISTRIBUTION METHOD, IMAGING SYSTEM, AND PROGRAM | |
JP2015162117A (en) | server device, program, and information processing method | |
JP2013157905A (en) | Photographing controller, control method for photographing controller, and program | |
JP2014192745A (en) | Imaging apparatus, information processing apparatus, control method and program thereof | |
JP6486437B2 (en) | Imaging apparatus, setting method, and program | |
JP6261191B2 (en) | Display control apparatus, display control method, and program | |
JP6980450B2 (en) | Controls, control methods, and programs | |
JP5939902B2 (en) | Control device and control method of control device | |
JP5962692B2 (en) | Terminal device and program | |
JP2014232995A (en) | Camera apparatus and method for controlling the same | |
JP2020092308A (en) | Imaging apparatus, control method, and program | |
JP2019009507A (en) | Image processing apparatus, control method thereof, imaging apparatus, and monitoring system | |
JP6335668B2 (en) | Imaging apparatus, control method therefor, imaging system, and program | |
JP6362090B2 (en) | How to display the preset position of the network camera | |
JP2019115057A (en) | Imaging apparatus, control method of imaging apparatus, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160406 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5917175 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |