JPH11154020A - Remote monitoring device, method therefor and storage medium recorded with remote monitoring program - Google Patents

Remote monitoring device, method therefor and storage medium recorded with remote monitoring program

Info

Publication number
JPH11154020A
JPH11154020A JP9320222A JP32022297A JPH11154020A JP H11154020 A JPH11154020 A JP H11154020A JP 9320222 A JP9320222 A JP 9320222A JP 32022297 A JP32022297 A JP 32022297A JP H11154020 A JPH11154020 A JP H11154020A
Authority
JP
Japan
Prior art keywords
camera
image
panoramic image
remote monitoring
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9320222A
Other languages
Japanese (ja)
Inventor
Akito Akutsu
Yukinobu Taniguchi
Yukio Tokunaga
Yoshinobu Tonomura
佳伸 外村
幸生 徳永
行信 谷口
明人 阿久津
Original Assignee
Nippon Telegr & Teleph Corp <Ntt>
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegr & Teleph Corp <Ntt>, 日本電信電話株式会社 filed Critical Nippon Telegr & Teleph Corp <Ntt>
Priority to JP9320222A priority Critical patent/JPH11154020A/en
Publication of JPH11154020A publication Critical patent/JPH11154020A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To control a camera so that one point or a partial area of a panoramic image generated from an image sequence inputted from the camera and displayed is put in a visual field and to enable a user to intuitively control the camera without directly giving any control instruction to the camera by indicating the one point or partial area by the user. SOLUTION: The image sequence inputted from the camera is put together by a panoramic image composing means 12 to generate a panoramic image, which is displayed at a display part 11. The user indicates one point or a partial area of the displayed panoramic image through an indication input part 13. A camera control part 14 controls the camera 15 so that the one point or partial area which is designated is put in the visual field. Consequently, the user is enable to roughly view a monitored scene through the panoramic image and only specifies an area of interest in the panoramic image to intuitively control the camera.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、プログラムされたコンピュータ等によって制御可能なカメラを具備した遠隔監視装置および方法に関する。 The present invention relates to relates programmed remote monitoring device and method comprising a controllable camera by a computer or the like.

【0002】 [0002]

【従来の技術】従来、遠隔監視装置においては、利用者が直接カメラに対する制御命令(上方向に回転せよ、拡大せよ、といった命令)を操作パネル上で与えることによって利用者の着目するエリアにカメラを動かすようにしていた。 Conventionally, in the remote monitoring device, a camera in the area where the user control command for the camera direct attention of the user by providing (whether rotating upward expansion case, instructions such) on the operation panel the was so moved.

【0003】 [0003]

【発明が解決しようとする課題】しかしながら、上記遠隔監視装置における従来のカメラの制御方法では、カメラを直感的に制御できないために、着目するエリアにカメラを向けるまでに時間がかかるという問題があった。 [SUMMARY OF THE INVENTION However, in the conventional method of controlling the camera in the remote monitoring device, in order not intuitively control the camera, there is a problem that it takes time to move the camera in areas of interest It was.

【0004】そこで本発明は、遠隔監視装置および遠隔監視方法において、利用者が直接カメラに対する制御命令を与えることによる非効率性、使い難さを改善することを課題とする。 [0004] The present invention provides a remote monitoring device and remote monitoring method, inefficiency due to the user gives control commands to the camera directly, it is an object to improve the use difficulty.

【0005】 [0005]

【課題を解決するための手段】本発明は、以下の(1) The present invention SUMMARY OF], the following (1)
〜(3)の発明により、上記の課題を解決する。 The invention to (3), to solve the above problems.

【0006】(1)視野が制御可能なカメラを具備する遠隔監視装置であって、該カメラから入力される画像列を合成し一枚のパノラマ画像を生成するパノラマ画像合成部と、該パノラマ画像を表示する表示部と、該表示されたパノラマ画像の一点あるいは部分領域を指示する指示入力部と、該指示された一点あるいは部分領域が視野に入るようにカメラを制御するカメラ制御部と、を具備することを特徴とする遠隔監視装置。 [0006] (1) field is a remote monitoring device comprising a controllable camera, and a panoramic image synthesis unit that generates synthesized single panoramic image an image sequence input from the camera, the panorama image a display unit for displaying an instruction input unit for instructing the one point or partial region of the displayed panorama image, the camera control unit to said finger single point or partial area has been shown to control the camera to enter the field of view, the remote monitoring apparatus characterized by comprising.

【0007】(2)視野が制御可能なカメラを具備する遠隔監視装置を制御する遠隔監視方法であって、該カメラから入力される画像列を合成して一枚のパノラマ画像を生成し、該パノラマ画像を表示し、利用者が指示した該表示されたパノラマ画像の一点あるいは部分領域を取得し、該取得したパノラマ画像の一点あるいは部分領域が視野に入るようにカメラを制御することを特徴とする遠隔監視方法。 [0007] (2) the field of view is a remote monitoring method for controlling a remote monitoring device comprising a controllable camera, generates a single panoramic image by combining the image sequence input from the camera, the panorama image is displayed, and the feature that the user obtains a single point or partial region of the displayed panoramic image indicated, one point or partial area of ​​the panoramic image the acquired controls the camera to enter the field of view remote monitoring how to.

【0008】(3)視野が制御可能なカメラを具備する遠隔監視システムをコンピュータによって制御するための遠隔監視プログラムを記録した記録媒体であって、カメラから入力される画像列を合成して一枚のパノラマ画像を生成する手順と、該パノラマ画像を表示する手順と、該表示されたパノラマ画像の一点または部分領域を利用者に指示する手順と、該利用者が指示したパノラマ画像の一点あるいは部分領域を取得する手順と、該取得したパノラマ画像の一点あるいは部分領域が視野に入るようにカメラを制御する手順と、をコンピュータに実行させる遠隔監視プログラムとして該コンピュータが読み出し可能である記録媒体に記録したことを特徴とする遠隔監視プログラムを記録した記録媒体。 [0008] (3) A recording medium for recording a remote monitoring program for controlling the remote monitoring system by a computer field of view comprises a controllable camera, one image sequence input from the camera synthesized and procedures and, procedures and, a step of instructing a point or partial region of the displayed panorama image to a user, a point or portion of the panoramic image which the user has instructed to display the panoramic image for generating the panoramic image a step of acquiring the region, recorded on a recording medium the computer as a remote monitoring program can be read to execute the instructions, to a computer where a point or partial area of ​​the panoramic image the acquired controls the camera to enter the field of view recording medium for recording a remote monitoring program, characterized in that the.

【0009】なお、上記の各発明において、前記パノラマ画像を生成する際に、カメラから入力される画像列から算出されるカメラパラメータに基づいてパノラマ画像を合成するのが、カメラからカメラパラメータを取得できない場合や、取得できた場合でも信頼性に欠ける場合に有効である。 [0009] In each invention described above, when generating the panoramic image, acquired for synthesizing a panoramic image, the camera parameters from the camera based on the camera parameters calculated from the image sequence input from the camera or if you can not, is effective in the case where unreliable even in the case can be acquired.

【0010】本発明では、カメラによって撮影された空間をパノラマ画像として表示し、利用者がパノラマ画像の上で着目したい領域を指定することで、カメラに対する制御命令を与えなくても、直感的にカメラを制御できるようにした。 [0010] In the present invention, displays the space taken by the camera as a panoramic image, the user by specifying the region to be focused on the panoramic image, without giving a control command for the camera, intuitively It was to be able to control the camera.

【0011】具体的には、カメラから入力される画像列を合成してパノラマ画像を生成して表示し、この表示されたパノラマ画像の一点あるいは部分領域を利用者が指示すると、その指示された一点あるいは部分領域が視野に入るようにカメラを制御することにより、利用者がパノラマ画像によって監視しているシーンを概観できるようにし、そのパノラマ画像の上で着目したい領域を指定するだけで直感的にカメラを制御できるようにした。 [0011] More specifically, the image sequence input from the camera synthesized and displayed to generate a panoramic image, the user one point or partial region of the displayed panorama image is instructed, is the instruction by a point or partial area to control the camera to enter the field of view, intuitive and only user to be able to overview a scene being monitored by the panoramic image, specify a region to be focused on the panoramic image It was to be able to control the camera on.

【0012】 [0012]

【発明の実施の形態】以下、本発明の実施の形態について図を使って説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter will be described with reference to FIG embodiments of the present invention.

【0013】〈実施の形態1の装置構成〉図1は、本発明の第1の実施形態例の構成を示すブロック図である。 [0013] Figure 1 <device structure of Embodiment 1> is a block diagram showing a configuration of a first embodiment of the present invention.
図1において、11はパノラマ画像を表示する表示部、 1, 11 is a display unit for displaying a panoramic image,
12はそのパノラマ画像を生成するパノラマ画像合成部、13は利用者により指示されたパノラマ画像の一点あるいは部分領域の指示をカメラ制御部14に入力する指示入力部、14は指示された一点あるいは部分領域が視野に入るようにカメラ15を制御するカメラ制御部、 12 panorama image combining unit for generating the panoramic image, 13 an instruction input section for inputting an instruction single point or partial area of ​​the panoramic image which is instructed by the user to the camera controller 14, a point or portion which is indicated 14 the camera control unit that controls the camera 15 so that region enters the field of view,
15はカメラ、16はカメラ15の撮影画像をパノラマ合成部12に伝送する映像線、17はカメラ制御部14 15 camera, 16 video lines for transmitting image captured by the camera 15 to the panorama composing unit 12, 17 camera control unit 14
がカメラ15を制御する信号を伝送する制御線である。 There is a control line for transmitting a signal for controlling the camera 15.
以下、上記各部の構成をさらに詳しく説明する。 Hereinafter will be described in more detail the configuration of the respective units.

【0014】遠隔地にあるカメラ15で撮影された画像列とカメラパラメータ情報が、映像線16を通してパノラマ画像合成部12に入力される。 The image sequence taken by the camera 15 in a remote location and the camera parameter information is input to the panoramic image synthesizing unit 12 through the video line 16. カメラ15は、三つのカメラパラメータ(左右方向の回転角度x、上下方向の回転角度y、ズーム率z)を持ち、x,y,zの値はコンピュータによってアクセス可能であるものとする。 The camera 15 has three camera parameters (rotation angle x in the horizontal direction, the rotation angle y in the vertical direction, the zoom factor z) have, x, y, z values ​​are assumed to be accessible by a computer.
パノラマ画像合成部12は、カメラ15から順次入力される画像列をカメラパラメータx,y,zに応じてずらしながら重ね合わせて合成し、パノラマ画像を生成する。 Panorama image combining unit 12, an image sequence is sequentially input from the camera 15 camera parameters x, y, and synthesis by superposing while shifting in response to z, to generate a panoramic image. パノラマ画像合成部12の詳細については後述する。 For details of the panoramic image synthesizing unit 12 will be described later. 表示部11はコンピュータ画面であり、図5に示すように生成されたパノラマ画像51を表示する。 Display unit 11 is a computer screen, displaying the panoramic image 51 that is generated as shown in FIG. 指示入力部13は、マウスやタッチパネル等の入力装置を用いて実現されるものであり、利用者がパノラマ画像上の点あるいは部分領域を指示したことをカメラ制御部14に伝える。 Instruction input unit 13 is realized using an input device such as a mouse or a touch panel, stating that the user instructs a point or partial area on the panorama image to the camera control unit 14. カメラ制御部14は指示された点または部分領域が視野に入るように、制御線17を通してカメラ15 As the camera control unit 14 points or partial areas is instructed to enter the field of view, the camera 15 through the control line 17
を制御する。 To control. カメラ制御部14の詳細については後述する。 For more information about the camera control unit 14 will be described later. カメラ15が移動した後の映像は、映像線16を通してパノラマ画像合成部12に渡され、パノラマ画像の上にリアルタイムの映像が重ねて表示される。 Image after the camera 15 has moved passed the panoramic image synthesizing unit 12 through the video line 16, the real-time image is displayed on top of the panorama image. もちろん、パノラマ画像を表示する表示部11とは別に、リアルタイム映像を表示するモニターを設けることもできる。 Of course, the display unit 11 for displaying a panoramic image separately can also be provided a monitor for displaying real-time video.

【0015】〈パノラマ画像合成部〉パノラマ画像合成部12は、カメラ15を回転させながら得られる画像列を、カメラパラメータに応じて重ね合わせて一枚のパノラマ画像を生成する。 [0015] <panoramic image synthesizing unit> panoramic image synthesizing unit 12, an image sequence obtained while the camera 15 is rotated to generate a single panoramic image by superimposing in accordance with the camera parameters. 図3にカメラが右方向に回転した場合の画像列31,32,33,34と、その画像列から合成されるパノラマ画像35を示す。 The image sequence 31, 32, 33, 34 when the camera is rotated to the right in FIG. 3 shows a panoramic image 35 is synthesized from the image sequence. この場合、画像列をΔXだけずらしながら重ね合わせることによってパノラマ画像35が生成される。 In this case, the panoramic image 35 is generated by superposing while shifting the image sequence only [Delta] X. 同様に、図4にカメラを右方向に回転させながらズームアウトした場合の画像列41,42,43,44と、その画像列から合成されるパノラマ画像45を示す。 Similarly, it is shown the image sequence 41, 42, 43, 44 in the case where the zoom out while rotating the camera to the right direction in FIG. 4, the panoramic image 45 is synthesized from the image sequence. この場合、画像列を平行移動、拡大縮小させながら重ね合わせることによってパノラマ画像45が生成される。 In this case, the image sequence translation, the panoramic image 45 is generated by overlaying while scaling.

【0016】以上述べたように、パノラマ画像を合成するためには、カメラパラメータx,y,zから画像列を重ね合わせる際の平行移動量(ΔX,ΔY)と拡大率Δ [0016] As described above, in order to synthesize a panoramic image, the camera parameters x, y, parallel movement amount when superimposing the image sequence from the z ([Delta] X, [Delta] Y) and enlargement rate Δ
Zを算出する必要がある。 It is necessary to calculate the Z. 以下では、ΔX,ΔY,ΔZ In the following, ΔX, ΔY, ΔZ
と、カメラパラメータx,y,zの関係について述べる。 When, described camera parameters x, y, the relationship z. まず、カメラパラメータx,yの増加量Δx,Δy First, the camera parameters x, increase in y [Delta] x, [Delta] y
とΔX,ΔYの間には次の関係がある。 And ΔX, the following relationship between the ΔY.

【0017】 ΔX=az・tanΔx≒azΔx …(1) ΔY=az・tanΔy≒azΔy …(2) ただし、a=定数であり、Δxが十分小さい場合には≒ [0017] ΔX = az · tanΔx ≒ azΔx ... (1) ΔY = az · tanΔy ≒ azΔy ... (2) However, a = constant, ≒ if Δx is sufficiently small
が成立する。 There is established. カメラパラメータzの増加量ΔzとΔZの関係は、 ΔZ=z/(z+Δz) …(3) となる。 Relationship increment Delta] z and [Delta] Z of the camera parameter z becomes ΔZ = z / (z + Δz) ... (3). 以上の関係は、理想的なカメラモデルに従って導出されたものであり、近似的にしか成り立たないが、 Or more of the relationship, which has been derived in accordance with the ideal camera model, but it does not hold only approximately,
カメラパラメータx,y,zからΔX,ΔY,ΔZを算出することができる。 Camera parameters x, y, [Delta] X from z, [Delta] Y, can be calculated [Delta] Z.

【0018】〈指示入力部〉指示入力部13は、利用者が着目したい領域をパノラマ画像上で指定できるようにする。 [0018] <instruction input unit> instruction input unit 13, so that the area you want to focus the user can specify on the panoramic image. 図5に指示入力の様子を模式的に示す。 The state of the instruction input is schematically shown in FIG 5. 利用者がパノラマ画像51の上にマウスカーソル52を持っていきクリックすると、クリックされた点の近傍が視野に入るようにカメラ15が制御される。 When the user clicks Roll over 52 over the panoramic image 51, the vicinity of the clicked point camera 15 is controlled to enter the field of view. あるいは、点線で囲まれた領域53をマウス等で指定すると、その領域が視野に入るようにカメラ15を移動し、指定された領域が画面に収まるようにズームイン(アウト)する。 Alternatively, when the region 53 surrounded by a dotted line specified by a mouse or the like, the camera 15 moves to the area enters the visual field, designated area zooms (out) to fit on the screen.

【0019】〈カメラ制御部〉カメラ制御部14は、利用者が指定した点あるいは部分領域が視野に入るようにカメラ15を制御する。 [0019] <camera controller> camera control unit 14, a point or partial area designated by the user controls the camera 15 to enter the field of view. そのためには、パノラマ画像上の点とカメラパラメータx,y,zを対応づける必要がある。 For this purpose, a point and the camera parameter x on a panoramic image, y, is necessary to associate the z. その一つの方法として、パノラマ画像上の原点とカメラパラメータの原点を対応づけるように座標変換しておけば、上記の式(1),(2),(3)から部分領域に対応するカメラパラメータ(x,y,z)を逆算することができるので、そのカメラパラメータをカメラ1 As one method, if coordinate transformation to associate the origin of origin and camera parameters of the panorama image, the above equation (1), (2), a camera parameter corresponding to the partial area (3) (x, y, z) it is possible to calculate back the camera and the camera parameter 1
5に送出してカメラ15を制御することができる。 Sent to 5 can control the camera 15.

【0020】もう一つの方法として、パノラマ画像上の点(X,Y)とカメラパラメータ(x,y,z)との対応表をパノラマ画像作成時に作成しておき、その表を引くことにより対応づけを行うことも可能である。 [0020] Alternatively, it points on the panoramic image (X, Y) and camera parameters (x, y, z) in advance to create a correspondence table of the panoramic image creation, corresponding by subtracting the table it is also possible to carry out the association.

【0021】〈処理フロー〉図2に、本実施形態例での処理フローを示す。 [0021] <Processing Flow> Fig. 2 shows a processing flow of the present embodiment. 21〜27はそのステップである。 21 to 27 is its step.

【0022】まず、監視装置が起動された時にカメラ1 [0022] First of all, the camera 1 when the monitoring device is activated
5をゆっくり360°回転させる(ステップ21)。 5 is rotated slowly 360 ° to (step 21). カメラ15を回転させながら、カメラ15からカメラパラメータを取得し(ステップ22)、上記で説明したようにパノラマ画像を合成する(ステップ23)。 While the camera 15 is rotated, it obtained from the camera 15 of the camera parameters (step 22), synthesizing a panoramic image as described above (step 23). 合成されたパノラマ画像は、表示部11にリアルタイムに送られ表示される(ステップ24)。 Combined panoramic image is displayed is sent in real time to the display unit 11 (step 24). パノラマ画像を作成し終わった時点で、指示入力部13に入力が有ったか否かを調べ(ステップ25)、なかったらステップ21に戻り、パノラマ画像を更新する処理に移る。 Once you have finished creating a panoramic image, checks whether there is an input to the instruction input unit 13 (step 25), returns to step 21 If it had not, it proceeds to the processing of updating the panoramic image. 指示入力があった場合には、指定領域の情報を取得して(ステップ2 When instructed input acquires information of the designated area (Step 2
6)、上記説明した要領でカメラ15を制御し指定領域が視野に入るようにカメラ15を制御する(ステップ2 6), the control region designated the camera 15 in the manner described above to control the camera 15 to enter the field of view (Step 2
7)。 7). カメラ15が移動し終わると、ステップ22に処理が移りパノラマ画像上に着目したい領域の現在の映像が重ねて表示される。 When the camera 15 has finished moving, the process in step 22 the current image of the region to be focused on the transfer panorama image is displayed superimposed.

【0023】上記の例でステップ21では、360°回転させるようにしているが、もちろん、監視したいエリアに応じて角度を変えることもできるし、垂直方向にもカメラ15を回転させながら、より広い範囲のパノラマ画像を生成させることも可能である。 [0023] In step 21 in the above example, although it is rotated 360 °, of course, can either changing the angle in accordance with the desired surveillance area, while rotating the camera 15 in the vertical direction, a wider it is also possible to produce a range panoramic image.

【0024】〈実施の形態2〉本発明の第2の実施形態例は、第1の実施形態例において、カメラパラメータをカメラから得ることに代えて、カメラから得られる画像列を画像処理することによって推定、算出し、その推定値を用いて、上記の第1の実施形態例と同様にパノラマ画像を合成することを特徴とする。 The second embodiment of a <Embodiment 2> The present invention, in the first embodiment, by substituting obtaining the camera parameters from the camera, processing an image sequence obtained from the camera estimated by the calculated, using the estimated value, and wherein the synthesis of similar panoramic image and the first embodiment described above. パノラマ画像の合成以降の各部の動作は、第1の実施形態例と同様である。 Synthesis subsequent operation of each section of the panoramic image is similar to the first embodiment.
本実施形態例は、カメラパラメータがカメラから取得できない場合や、取得できてもその値が信頼性に欠ける場合に有効である。 This embodiment is useful when the camera parameters can not be obtained from the camera, it is effective when even can get that value unreliable. 画像列を画像処理することによってカメラパラメータの推定する方法の一例を以下に示す。 An example of a method of estimating camera parameters by image processing the image sequence shown below.

【0025】カメラモデルとして、平行移動モデル x'=x+a …(4) y'=y+b …(5) を仮定する。 [0025] As camera model, the translation model x '= x + a ... (4) y' = y + b ... assumed (5). (x,y),(x',y')はそれぞれ、 (X, y), (x ', y'), respectively,
映像中の隣り合う2枚の画像f,f'の対応点を表す。 Image f of two adjacent in the video represents the corresponding point of f '.
a,bが推定すべきカメラパラメータである。 a, b is a camera parameter to be estimated. 画像fを式(4),(5)で平行移動して画像f'と重ね合わせた時の“誤差”が最小となるようなカメラパラメータa,bを求めたいわけであるが、2枚の画像の間の“誤差”を測る指標として、次式(6)で定義される最小2 Pictures f Equation (4), but not to be obtained camera parameters a, b such that "error" is the minimum when superimposed with (5) the image f 'moves parallel with, two as measure of "error" between the image, the minimum is defined by the following equation (6) 2
乗誤差を用いる。 To the power of error is used.

【0026】 MSE(a,b)=Σ x , y {f(x,y)−f'(x',y')}…(6) MSE(a,b)を最小化する方法としては、単純な全探索法(a,bの値を少しずつ変化させながらMSEを評価し、最小値を与えるa,bの値を探索する方法) [0026] As a method of minimizing MSE and (a, b) = Σ x , y {f (x, y) -f '(x', y ')} ... (6) MSE (a, b) is, simple full search method (a, while the value of b gradually changed to evaluate the MSE, gives the minimum value a, a method of searching for a value of b)
や、階層的探索法、最急勾配法等の各種最適化手法を用いることができる。 And, the hierarchical search method, it is possible to use various optimization techniques such as steepest gradient method.

【0027】上記の例ではカメラモデルとして2つのパラメータを持つ平行移動モデルを仮定して説明したが、 [0027] Although described in the above example assumes a translation model with two parameters as camera model,
カメラのズーム等を考慮したカメラモデル(パラメータ数=3)や、アフィン変換モデル(パラメータ数= Camera Model with camera zoom, etc. (the parameter number = 3) and, affine transformation model (parameter number =
6)、射影モデル(パラメータ数=8)等、様々なものを使うことができる。 6), or the like projection model (parameter number = 8), can be used various ones. より効率的にカメラパラメータを推定するには、例えば、文献「Akutsu,A.an To estimate more efficiently camera parameters, for example, the document "Akutsu, A.An
d Tonomura,Y. d Tonomura, Y. ,Video Tomog , Video Tomog
raphy:an Efficient Method raphy: an Efficient Method
for Camerawork Extractio for Camerawork Extractio
n and Motion Analysis. n and Motion Analysis. Pro Pro
ceedings of ACM Multimedi ceedings of ACM Multimedi
a'94,ACM Press,pp. a'94, ACM Press, pp. 349−35 349-35
6」の方法を用いることができる。 The method of 6 "can be used.

【0028】以上に述べた実施の形態1,2では、カメラとパノラマ画像合成部が映像線により直接接続されるような構成としたが、公衆ネットワークで接続するようにすることもできる。 [0028] In Embodiment 1 and 2 described above, a camera and a panoramic image synthesizing unit is configured as directly connected by a video line may be adapted to connect with a public network. その場合、パノラマ画像合成部をカメラのある側に設置し、パノラマ画像データのうち更新された部分だけをデータ転送することによって効率的なシステムが構成できる。 In this case, installing a panoramic image synthesizing unit on the side of the camera, only the updated portion of the panoramic image data can be constructed efficient system by data transfer.

【0029】〈実施の形態3〉本発明の第3の実施形態例は、図1で説明した遠隔監視装置の各部、あるいは図2で説明した遠隔監視方法を、コンピュータシステム、 The third embodiment of the <Embodiment 3> The present invention, each unit of the remote monitoring device described in FIG. 1, or a remote monitoring method described in FIG. 2, a computer system,
あるいはコンピュータプログラムを用いて実現する例である。 Alternatively an example be implemented using a computer program.

【0030】図1で説明した遠隔監視装置の各部の機能、あるいは図2の処理フローで説明した遠隔監視方法における処理やアルゴリズムは、パノラマ画像データなどを格納し、それらを自由に読み出し可能なハードディスクやそれに準ずる装置と、パノラマ画像の合成やカメラパラメータ算出等の処理を行う際、あるいは計算値等のデータの保持等に必要なバッファやそれに準ずる装置と、パノラマ画像を表示するディスプレイなどの表示装置と、マウスやタッチパネルなどの入力装置とを備え、 The function of each part of the remote monitoring device described in FIG. 1, or the processing and algorithm in remote monitoring method described in the processing flow of FIG. 2 stores the panorama image data, they freely readable hard and a device analogous thereto, when performing processing such as synthetic or camera parameters calculated in the panoramic image, or a buffer or a device equivalent to that required to retain such data calculations such as, a display device such as a display for displaying the panoramic image If, and an input device such as a mouse or a touch panel,
それらハードディスク、バッファ、表示装置及び入力装置などをあらかじめ定められた手順に基づいて制御するコンピュータやそれに準ずる装置により、適宜、実行することが可能であり、その機能や手順、アルゴリズムをコンピュータ等に実行させるための遠隔監視プログラムを該コンピュータが読み取り可能な記録媒体、例えばフロッピーディスクやメモリカード、MO、コンパクトディスク(CD−ROM)、テープなどに記録して提供することが可能である。 They hard, buffer, by the display device and an input device such as a predetermined procedure computers or analogous thereto device that controls based on the appropriately, it is possible to execute, execute the function and procedure, the algorithm in a computer or the like readable recording medium the computer remote monitoring program for, for example, a floppy disk or a memory card, MO, a compact disc (CD-ROM), can be provided by being recorded onto a tape, for example.

【0031】 [0031]

【発明の効果】本発明によれば、カメラより入力される画像列から生成、表示したパノラマ画像の一点あるいは部分領域を利用者が指示することで、その一点あるいは部分領域が視野に入るようにカメラを制御するようにしたので、利用者がカメラに対する制御命令を直接与えないで、直感的にカメラを制御することができる効果がある。 According to the present invention, generated from the image sequence input from the camera, by a user at one point or partial area of ​​the displayed panorama image is instructed, as a point or a partial region thereof enters the field of view since so as to control the camera, the user not give a control command for the camera directly, there is an effect that can control the intuitive camera.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の一実施形態例の構成を示すブロック図である。 1 is a block diagram showing a configuration of an embodiment of the present invention.

【図2】本発明の一実施形態例の処理フロー図である。 2 is a process flow diagram of one embodiment of the present invention.

【図3】上記実施形態例におけるパノラマ画像合成部の動作例を説明するための模式図である。 3 is a schematic diagram for explaining an operation example of a panoramic image synthesizing unit in the above embodiment.

【図4】上記実施形態例におけるパノラマ画像合成部の別の動作例を説明するための模式図である。 4 is a schematic diagram for explaining another operation example of the panoramic image synthesizing unit in the above embodiment.

【図5】上記実施形態例における指示入力部の働きを示すための模式図である。 5 is a schematic view for illustrating the function of the instruction input unit in the above embodiment.

【符号の説明】 DESCRIPTION OF SYMBOLS

11…表示部 12…パノラマ画像合成部 13…指示入力部 14…カメラ制御部 15…カメラ 11 ... display unit 12 ... panoramic image synthesizing unit 13 ... instruction input unit 14 ... camera control unit 15 ... camera

───────────────────────────────────────────────────── フロントページの続き (72)発明者 徳永 幸生 東京都新宿区西新宿3丁目19番2号 日本 電信電話株式会社内 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Yukio Tokunaga Tokyo Nishi-Shinjuku, Shinjuku-ku, 3-chome 19th No. 2 Nippon telegraph and telephone Corporation in the

Claims (6)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 視野が制御可能なカメラを具備する遠隔監視装置であって、 該カメラから入力される画像列を合成し一枚のパノラマ画像を生成するパノラマ画像合成部と、 該パノラマ画像を表示する表示部と、 該表示されたパノラマ画像の一点あるいは部分領域を指示する指示入力部と、 該指示された一点あるいは部分領域が視野に入るようにカメラを制御するカメラ制御部と、 を具備することを特徴とする遠隔監視装置。 1. A remote monitoring device field of view comprises a controllable camera, and a panoramic image synthesis unit that generates synthesized single panoramic image an image sequence input from the camera, the panoramic image comprising a display unit for displaying an instruction input unit for instructing the one point or partial region of the displayed panorama image, the camera control unit to said finger single point or partial area has been shown to control the camera to enter the field of view, the remote monitoring device which is characterized in that.
  2. 【請求項2】 前記パノラマ画像合成部は、カメラから入力される画像列から算出されるカメラパラメータに基づいてパノラマ画像を合成するものである、 ことを特徴とする請求項1に記載の遠隔監視装置。 Wherein said panorama image combining unit based on the camera parameters calculated from the image sequence input from the camera is to synthesize a panoramic image, it remote monitoring according to claim 1, wherein apparatus.
  3. 【請求項3】 視野が制御可能なカメラを具備する遠隔監視装置を制御する遠隔監視方法であって、 該カメラから入力される画像列を合成して一枚のパノラマ画像を生成し、 該パノラマ画像を表示し、 利用者が指示した該表示されたパノラマ画像の一点あるいは部分領域を取得し、 該取得したパノラマ画像の一点あるいは部分領域が視野に入るようにカメラを制御する、 ことを特徴とする遠隔監視方法。 3. A remote monitoring method for controlling a remote monitoring device that the field of view comprises a controllable camera, generates a single panoramic image by combining the image sequence input from the camera, the Panoramic display image, obtains a point or partial region of the displayed panoramic image the user instructs, a point or partial area of ​​the panoramic image the acquired controls the camera to enter the field of view, and characterized in that remote monitoring how to.
  4. 【請求項4】 前記パノラマ画像を生成する際に、カメラから入力される画像列から算出されるカメラパラメータに基づいてパノラマ画像を合成する、 ことを特徴とする請求項3に記載の遠隔監視方法。 When generating wherein said panorama image, the remote monitoring method according to claim 3, based on the camera parameters calculated from the image sequence input from the camera for synthesizing a panoramic image, it is characterized by .
  5. 【請求項5】 視野が制御可能なカメラを具備する遠隔監視システムをコンピュータによって制御するための遠隔監視プログラムを記録した記録媒体であって、 カメラから入力される画像列を合成して一枚のパノラマ画像を生成する手順と、 該パノラマ画像を表示する手順と、 該表示されたパノラマ画像の一点または部分領域を利用者に指示する手順と、 該利用者が指示したパノラマ画像の一点あるいは部分領域を取得する手順と、 該取得したパノラマ画像の一点あるいは部分領域が視野に入るようにカメラを制御する手順と、 をコンピュータに実行させる遠隔監視プログラムとして該コンピュータが読み出し可能である記録媒体に記録した、 ことを特徴とする遠隔監視プログラムを記録した記録媒体。 5. A recording medium recording a remote monitoring program for controlling the remote monitoring system field of view comprises a controllable camera computer, one of the image sequence input from the camera synthesized and a step of generating a panoramic image, procedures and, a step of instructing a point or partial region of the displayed panorama image to a user, a point or partial area of ​​the panoramic image which the user has instructed to display the panoramic image a step of obtaining a said computer as a remote monitoring program to be executed to the procedure a point or partial area of ​​the panoramic image the acquired controls the camera to enter the field of view, to a computer recording medium recorded is readable , recording medium recording a remote monitoring program, characterized in that.
  6. 【請求項6】 前記パノラマ画像を生成する手順では、 The method according to claim 6 procedure for generating the panoramic image,
    カメラから入力される画像列から算出されるカメラパラメータに基づいてパノラマ画像を合成する、 ことを特徴とする請求項5に記載の遠隔監視プログラムを記録した記録媒体。 Recording medium for recording a remote monitoring program according to claim 5 for synthesizing a panorama image based on the camera parameters calculated from the image sequence input from the camera, characterized in that.
JP9320222A 1997-11-21 1997-11-21 Remote monitoring device, method therefor and storage medium recorded with remote monitoring program Pending JPH11154020A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9320222A JPH11154020A (en) 1997-11-21 1997-11-21 Remote monitoring device, method therefor and storage medium recorded with remote monitoring program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9320222A JPH11154020A (en) 1997-11-21 1997-11-21 Remote monitoring device, method therefor and storage medium recorded with remote monitoring program

Publications (1)

Publication Number Publication Date
JPH11154020A true JPH11154020A (en) 1999-06-08

Family

ID=18119095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9320222A Pending JPH11154020A (en) 1997-11-21 1997-11-21 Remote monitoring device, method therefor and storage medium recorded with remote monitoring program

Country Status (1)

Country Link
JP (1) JPH11154020A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258878A (en) * 2009-04-27 2010-11-11 Mitsubishi Electric Corp Video monitoring system
JP2011022703A (en) * 2009-07-14 2011-02-03 Oki Electric Industry Co Ltd Display control apparatus and display control method
WO2012050815A1 (en) * 2010-09-29 2012-04-19 Raytheon Company Remote viewing
JP2014165763A (en) * 2013-02-26 2014-09-08 Ricoh Co Ltd Editing device, editing method, and editing program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258878A (en) * 2009-04-27 2010-11-11 Mitsubishi Electric Corp Video monitoring system
JP2011022703A (en) * 2009-07-14 2011-02-03 Oki Electric Industry Co Ltd Display control apparatus and display control method
WO2012050815A1 (en) * 2010-09-29 2012-04-19 Raytheon Company Remote viewing
JP2014165763A (en) * 2013-02-26 2014-09-08 Ricoh Co Ltd Editing device, editing method, and editing program

Similar Documents

Publication Publication Date Title
US5982350A (en) Compositer interface for arranging the components of special effects for a motion picture production
JP5244930B2 (en) Video Zumin Gushisutemu and methods
US5793367A (en) Apparatus and method for displaying both an image and control information related to the image
CN102948140B (en) Mobile and server-side computational photography
CN100474893C (en) Imaging system, camera control apparatus, and panorama image generation method
US7307654B2 (en) Image capture and viewing system and method for generating a synthesized image
JP4360905B2 (en) System and method for multi-media data objects in real-time slide presentation, as well as to record the multimedia data object browsing
KR100318330B1 (en) Monitor
JP3787404B2 (en) The camera control system and control method thereof
JP4131340B2 (en) Controller, control method, and a receiving device
US6215485B1 (en) Storing effects descriptions from a nonlinear editor using field chart and/or pixel coordinate data for use by a compositor
JP4539048B2 (en) Moving image display system and program
JP4590039B2 (en) Camera operation device and the camera server and their control method, and a storage medium storing a program for executing their operation processing
US6473096B1 (en) Device and method for generating scenario suitable for use as presentation materials
JP2004523036A (en) Image-based digital representation of the landscape
JP5791256B2 (en) Display control device, display control method
JP4148671B2 (en) Display image control processor, video information transmitting and receiving system, and a display image control processing method, moving picture information transmitting and receiving method, and computer program
JP3890691B2 (en) The storage medium storing the image recording and reproducing apparatus and an image recording program
JPH08223466A (en) Image display device
JP4167777B2 (en) Video display device, a recording medium recording a program for displaying an image display method and image
US6587119B1 (en) Method and apparatus for defining a panning and zooming path across a still image during movie creation
CN1187962C (en) Method and apparatus for external calibration of a camera via a graphical user interface
JPH09289607A (en) Camera control system
JPH08292965A (en) Video support system
CN101383141B (en) Image display control apparatus and image display control method

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040615