JP6276954B2 - Video surveillance system - Google Patents
Video surveillance system Download PDFInfo
- Publication number
- JP6276954B2 JP6276954B2 JP2013197077A JP2013197077A JP6276954B2 JP 6276954 B2 JP6276954 B2 JP 6276954B2 JP 2013197077 A JP2013197077 A JP 2013197077A JP 2013197077 A JP2013197077 A JP 2013197077A JP 6276954 B2 JP6276954 B2 JP 6276954B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- pupil
- video
- sight
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 claims description 112
- 238000001514 detection method Methods 0.000 claims description 26
- 230000004424 eye movement Effects 0.000 claims description 6
- 210000001747 pupil Anatomy 0.000 description 108
- 238000000034 method Methods 0.000 description 33
- 210000003128 head Anatomy 0.000 description 30
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 15
- 239000011521 glass Substances 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Description
本発明は、監視対象の領域を監視カメラにより撮影して監視する映像監視システムにおける監視カメラの制御に関する。 The present invention relates to control of a surveillance camera in a video surveillance system that photographs and monitors a region to be monitored by a surveillance camera.
監視対象の領域を撮影する監視カメラと、当該監視カメラにより撮影された映像を表示する表示装置とをネットワークで接続して設け、当該表示装置に表示された映像を通じて監視対象の領域を遠隔監視できるようにした映像監視システムがある。
このような映像監視システムでは、監視カメラとして、電動の雲台（旋回台）に搭載された旋回式カメラが用いられ、監視ユーザによるハードスイッチ式操作器の押しボタン操作または操作端末の画面上でのマウス操作やタッチパネル操作により、監視カメラの旋回等の制御が行われていた。
A monitoring camera that captures an area to be monitored and a display device that displays an image captured by the monitoring camera are connected via a network, and the area to be monitored can be remotely monitored through the image displayed on the display apparatus There is a video surveillance system.
In such a video monitoring system, a swivel camera mounted on an electric pan head (swivel platform) is used as a surveillance camera, and a push button operation of a hard switch type operation device by a monitoring user or a screen of an operation terminal is used. Controls such as turning the surveillance camera were performed by mouse operations and touch panel operations.
上記のような映像監視システムに関し、従来より種々の発明が提案されている。
例えば、特許文献１には、監視カメラからの映像を表示する専用メガネに視点焦点センサと向き角度センサを設け、監視者の視線方向を読み取って監視カメラを制御する発明が開示されている。
Various inventions have been proposed for the video surveillance system as described above.
For example,
従来の映像監視システムでは、監視映像と操作ボタンの両方を見て監視カメラの向き等を指示する操作を行う必要があるため、走っている侵入者を監視カメラで追尾する場合や、複数の対象物を１台の監視カメラで監視する場合などでは、監視映像を見ながら監視カメラの操作を行うことは非常に困難であった。 In a conventional video surveillance system, it is necessary to perform an operation to instruct the direction of the surveillance camera by looking at both the surveillance video and the operation buttons. When an object is monitored by a single surveillance camera, it is very difficult to operate the surveillance camera while viewing the surveillance video.
本発明は、上記従来の事情に鑑みて為されたものであり、監視カメラの映像から視線を外すことなく監視カメラによる撮影の制御を行うことが可能な技術を提案することを目的とする。 The present invention has been made in view of the above-described conventional circumstances, and an object of the present invention is to propose a technique capable of controlling photographing by the monitoring camera without removing the line of sight from the video of the monitoring camera.
上記目的を達成するために、本発明では、映像監視システムを以下のように構成した。
すなわち、映像監視システムに、監視対象の領域を撮影する第１のカメラと、前記第１のカメラにより撮影された映像を表示する表示装置と、前記表示装置に表示された映像を見るユーザを撮影する第２のカメラと、前記第２のカメラにより撮影された映像に基づいて、前記ユーザの目の動きを検出する検出手段と、前記検出手段により検出された前記ユーザの目の動きに応じて、前記第１のカメラによる撮影の態様を制御する制御手段と、を設けた。
In order to achieve the above object, in the present invention, the video surveillance system is configured as follows.
In other words, the first camera that captures the area to be monitored, the display device that displays the video captured by the first camera, and the user who views the video displayed on the display device are captured in the video monitoring system. A second camera that detects the movement of the user's eyes based on the video captured by the second camera, and the movement of the user's eyes detected by the detection means. And a control means for controlling the mode of photographing by the first camera.
これにより、ユーザは、表示装置に表示されている映像を見ながらにして、その映像を撮影している第１のカメラによる撮影の態様を制御（旋回やズーム等）することができる。また、ユーザが映像中の気になる箇所に視線を向けて注視する等の自然な目の動きに応じて、その動きに反映されたユーザの意図に合致する映像が得られるように、第１のカメラによる撮影の態様の制御を行うことで、ユーザは特段の意識をすることなく所望の映像を得ることができる。 As a result, the user can control the manner of shooting by the first camera that is shooting the video (turning, zooming, etc.) while watching the video displayed on the display device. In addition, in accordance with a natural eye movement such as the user gazes at a point of interest in the video, a first video image that matches the user's intention reflected in the movement is obtained. By controlling the mode of shooting with the camera, the user can obtain a desired image without particular awareness.
ここで、一構成例として、前記制御手段は、前記ユーザの目の動きに応じた前記第１のカメラによる撮影の態様の制御を、前記ユーザの目の動きの変化量に応じた制御量で行う構成としてもよい。
これにより、ユーザの目の動きの変化量と第１のカメラの制御量を連動させることができ、例えば、或る方向への素早い旋回やゆっくりとした旋回をユーザが簡易に調整することができる。
Here, as one configuration example, the control means controls the shooting mode by the first camera according to the movement of the user's eyes with a control amount according to the change amount of the user's eye movement. It is good also as a structure to perform.
Thereby, the change amount of the user's eye movement and the control amount of the first camera can be linked, and for example, the user can easily adjust a quick turn or a slow turn in a certain direction. .
また、一構成例として、前記表示装置は、前記表示装置に表示された映像に対する前記ユーザの視線の位置に、前記ユーザの目の動きに対応する前記第１のカメラによる撮影の態様を示す形状のポインタ画像を表示する構成としてもよい。
これにより、ユーザは、表示装置に表示されている映像を見ながらにして、目の動きによって指示した制御の内容（第１のカメラによる撮影の態様）が自身の意図に合致するものか否かを判断できる。
Further, as one configuration example, the display device has a shape showing an aspect of photographing by the first camera corresponding to the movement of the user's eyes at the position of the user's line of sight with respect to the video displayed on the display device. The pointer image may be displayed.
Thus, whether or not the content of the control instructed by the movement of the eyes (the mode of shooting by the first camera) matches the user's intention while watching the video displayed on the display device. Can be judged.
本発明によれば、監視者は、表示装置に表示されている監視映像を見ながらにして、その映像を撮影している監視カメラによる撮影の態様を制御することができる。また、監視者が監視映像中の気になる箇所に視線を向けて注視する等の自然な目の動きに応じて、その動きに反映された監視者の意図に合致する映像が得られるように、監視カメラによる撮影の態様の制御を行うことで、監視者は特段の意識をすることなく所望の映像を得ることができる。 According to the present invention, the monitoring person can control the mode of shooting by the monitoring camera that is shooting the video while viewing the monitoring video displayed on the display device. In addition, according to the natural eye movement, such as when the observer looks at the point of interest in the monitoring video, the video that matches the intention of the observer reflected in the movement is obtained. By controlling the mode of shooting by the surveillance camera, the supervisor can obtain a desired video without any particular consciousness.
本発明の一実施形態に係る映像監視システムについて、図面を参照して説明する。
ここで、本例の映像監視システムは、監視カメラの雲台の制御（監視カメラの旋回制御）やレンズの制御（ズームやフォーカスの制御）におけるユーザインタフェースに関するものであり、監視者の視線、首の動き、ジェスチャ、声等による合図と監視カメラの各種操作を連動させることで、監視者が所望する映像を迅速に提供できるようにしてある。また、手動でカメラ操作を行うというステップを排除することで、画面の中で見たい方向を見る等の簡易かつ自然な作法で、監視者が所望する映像を提供できるようにしてある。また、監視カメラの雲台やレンズの操作だけでなく、プリセット選択や複数台の監視カメラからの選択（映像切替）等のシステム操作にも適用している。
A video surveillance system according to an embodiment of the present invention will be described with reference to the drawings.
Here, the video monitoring system of the present example relates to a user interface in the control of the camera platform (control of turning of the monitoring camera) and control of the lens (control of zoom and focus). By linking a cue based on movements, gestures, voices, and the like and various operations of the surveillance camera, it is possible to quickly provide an image desired by the supervisor. Further, by eliminating the step of manually operating the camera, it is possible to provide a video image desired by the supervisor with a simple and natural manner such as viewing the direction desired to be viewed on the screen. Further, the present invention is applied not only to the operation of the camera platform and lens, but also to system operations such as preset selection and selection from multiple monitoring cameras (video switching).
すなわち、本例の映像監視システムでは、監視者の視線の動き、首の動き、ジェスチャ、声等による合図をトリガとして、当該合図に対応する態様で監視カメラによる撮影の制御を行う構成とすることで、監視者の自然な動作に応じて監視カメラを所望の方向に指向させること等を可能にして、監視効率の向上を図る。なお、複数の合図を融合して判断することで、ユーザインタフェースの精度向上を図ることもできる。 In other words, the video surveillance system of this example is configured to control shooting by the surveillance camera in a manner corresponding to the cue, triggered by a cue from the observer's line of sight, neck movement, gesture, voice, etc. Thus, the monitoring camera can be directed in a desired direction in accordance with the natural operation of the observer, and the monitoring efficiency is improved. Note that the accuracy of the user interface can be improved by merging and determining a plurality of cues.
図１には、本例の映像監視システムの概略的な構成の例を示してある。本例の映像監視システムは、監視カメラ１と、ＩＰエンコーダ２と、ＩＰネットワーク網３と、操作端末４と、ディスプレイ（表示装置）５と、ユーザカメラ６と、画像処理装置７と、システム管理サーバ８と、を備えている。
FIG. 1 shows an example of a schematic configuration of the video monitoring system of this example. The video surveillance system of this example includes a
監視カメラ１は、電動の雲台（旋回台）に搭載された旋回式カメラである。本例では、監視対象となる領域を撮影するために複数の監視カメラ１を設けてあり、監視カメラ１により撮影された映像の信号は、当該監視カメラ１に接続されたＩＰエンコーダ２により映像データに変換されて、ＩＰネットワーク網３へ配信される。
操作端末４は、ＩＰネットワーク網３を通じて受信した映像データに基づく監視映像を、当該操作端末４に接続されたディスプレイ５に表示出力させる。
The
The
ユーザカメラ６は、ディスプレイ５に表示された監視映像を見る監視者の上半身をディスプレイ５側の方向から撮影する高精細カメラである。本例では、目の動きだけでなく体の３次元的な動きを捉えるために、ユーザカメラ６として、監視者の上半身を右方向から撮影する右側カメラ６Ｒと、左方向から撮影する左側カメラ６Ｌとを備えたステレオカメラを用いている。なお、目の動きだけで（体の３次元的な動きを用いずに）監視カメラ１の制御を行う場合には、ステレオカメラでなく通常のカメラを用いてもよい。ユーザカメラ６により撮影された映像の信号は、ユーザカメラ６と接続された画像処理装置７に入力される。
The
画像処理装置７は、ユーザカメラ６により撮影された映像を、監視者の目の部分のみを切り出した映像と上半身全体の映像に分ける。その後、目の部分のみを切り出した映像を画像処理して、２次元平面における瞳孔の位置及び目や瞳孔の大きさ等を特定する。また、左右２方向から撮影した上半身全体の映像を画像処理して、監視者の頭部や手の３次元空間における位置等を特定する。画像処理装置７により特定された監視者の瞳孔の位置及び目や瞳孔の大きさ、監視者の頭部や手の位置等の指示情報は、ＩＰネットワーク網３を通じてシステム管理サーバ８へ送信される。
The
システム管理サーバ８は、画像処理装置７から送信された指示情報（監視者の瞳孔の位置及び目や瞳孔の大きさ、監視者の頭部や手の位置等の情報）に基づいて、ディスプレイ５による表示対象の監視映像を撮影している監視カメラ１に対する制御信号を送信する。すなわち、該当する監視カメラ１に宛てて、指示情報により特定される撮影の態様の制御（旋回やズーム等）を指示する制御信号をＩＰネットワーク網３を通じて送信する。
なお、撮影の態様とは、撮影の方向や画角等の監視カメラ１により機械的に調整可能な撮影条件をいう。
The
The shooting mode refers to shooting conditions that can be mechanically adjusted by the
具体的には、例えば、監視者の視線が動いた場合（瞳孔の位置が変化した場合）には、視線移動の方向に追従して監視カメラ１を旋回させる制御信号を送信し、監視者の瞳孔の大きさが変化した場合には、監視カメラ１の望遠制御させる制御信号を送信し、監視者の目の大きさが変化した場合には、監視カメラ１のオートフォーカスを動作させる制御信号を送信する。
すなわち、監視者が監視映像中の気になる箇所に視線を向けて注視する等の自然な目（或いは体）の動きに応じて、その動きに反映された監視者の意図に合致する映像が得られるように、監視カメラ１による撮影の態様の制御（旋回やズーム等）を行う。
Specifically, for example, when the monitor's line of sight moves (when the position of the pupil changes), a control signal for turning the
That is, according to the natural eye (or body) movement, such as a gaze at a point of interest in the surveillance video, the video that matches the supervisor's intention reflected in the movement. As can be obtained, the mode of photographing by the
図２には、画像処理装置７による画像処理のイメージを示してある。
同図の例では、監視者の上半身を右方向から撮影する右側カメラ６Ｒによる映像１１を画像処理して、監視者の目の部分のみを切り出した映像１３を切り出しており、当該切り出した映像１３に基づいて、監視者の瞳孔１４の位置及び大きさ、監視者の目１５の全体の大きさを特定している。
また、監視者の上半身を右方向から撮影する右側カメラ６Ｒによる映像１１と、左方向から撮影する左側カメラ６Ｌによる映像１２とを画像処理して、これらの映像１１，１２を合成した合成映像１６を作成しており、当該作成した合成映像１６に基づいて、監視者の頭部や手の位置を特定している。
これらの処理（監視者の瞳孔の位置及び目や瞳孔の大きさ、監視者の頭部や手の位置等の特定）は周期的に繰り返され、その結果の情報がシステム管理サーバ８へ送信され、監視カメラ１に対する制御信号の生成に用いられる。
FIG. 2 shows an image of image processing by the
In the example shown in the figure, the video 11 by the right camera 6R that captures the upper body of the supervisor from the right is subjected to image processing, and the video 13 in which only the eyes of the supervisor are cut out is cut out. Based on the above, the position and size of the pupil 14 of the monitor and the overall size of the monitor's eye 15 are specified.
Further, the video 11 from the right camera 6R that captures the upper body of the supervisor from the right direction and the video 12 from the left camera 6L that captures from the left direction are subjected to image processing, and a composite video 16 obtained by synthesizing these videos 11 and 12 is displayed. And the position of the supervisor's head and hand is specified based on the created composite video 16.
These processes (identification of the position of the observer's pupil and the size of the eyes and pupils, the position of the observer's head and hand, etc.) are repeated periodically, and information on the result is transmitted to the
図３には、本例の映像監視システムの使用を開始する際に実行される初期設定の様子を示してある。
本例の映像監視システムにおける初期設定では、システム管理サーバ８による制御の下で、図３（ａ）に示すように、ディスプレイ５上の所定位置にポインタ２２を表示して監視者の視線を導くと共に、その際の監視者の目２１をユーザカメラ６で撮影することで、当該位置２２に視線を向けた際の監視者の目２１の状態を認識する。
FIG. 3 shows the state of the initial setting executed when the use of the video monitoring system of this example is started.
In the initial setting in the video monitoring system of this example, under the control of the
初期設定の具体的な処理内容について、図３（ｂ）及び（ｃ）を参照して説明する。
システム管理サーバ８は、まず、画面の中央点Ａを指し示すポインタ３１をディスプレイ５に表示させ、ポインタ３１に視線を導くアナウンス指示（例えば、“表示されたポインタを見て下さい”といった音声アナウンス）を操作端末４に行わせる。なお、アナウンス指示は、画面上に文字を表示する等の他の態様により行わせてもよい。画像処理装置７は、その際にユーザカメラ６で撮影された映像に基づいて、画面の中央点Ａに監視者の視線が向いた状態の目４１における瞳孔の位置を特定し、その位置情報をシステム管理サーバ８に通知する。システム管理サーバ８は、通知された瞳孔の位置を瞳孔中心点（原点）として登録する。また、このときの目や瞳孔の大きさも、通常状態の大きさとして登録しておく。
The specific processing contents of the initial setting will be described with reference to FIGS. 3B and 3C.
First, the
次に、システム管理サーバ８は、中央点Ａから画面右端まで水平移動させた右端点Ｂを指し示すポインタ３２をディスプレイ５に表示させ、ポインタ３２に視線を導くアナウンス指示を操作端末４に行わせる。画像処理装置７は、その際にユーザカメラ６で撮影された映像に基づいて、画面の右端点Ｂに監視者の視線が向いた状態の目４２における瞳孔の位置を特定し、その位置情報をシステム管理サーバ８に通知する。システム管理サーバ８は、通知された瞳孔の位置を瞳孔右端点として登録する。
Next, the
次に、システム管理サーバ８は、中央点Ａから画面左端まで水平移動させた左端点Ｃを指し示すポインタ３３をディスプレイ５に表示させ、ポインタ３３に視線を導くアナウンス指示を操作端末４に行わせる。画像処理装置７は、その際にユーザカメラ６で撮影された映像に基づいて、画面の左端点Ｃに監視者の視線が向いた状態の目４３における瞳孔の位置を特定し、その位置情報をシステム管理サーバ８に通知する。システム管理サーバ８は、通知された瞳孔の位置を瞳孔左端点として登録する。
Next, the
次に、システム管理サーバ８は、中央点Ａから画面上端まで垂直移動させた上端点Ｄを指し示すポインタ３４をディスプレイ５に表示させ、ポインタ３４に視線を導くアナウンス指示を操作端末４に行わせる。画像処理装置７は、その際にユーザカメラ６で撮影された映像に基づいて、画面の上端点Ｄに監視者の視線が向いた状態の目４４における瞳孔の位置を特定し、その位置情報をシステム管理サーバ８に通知する。システム管理サーバ８は、通知された瞳孔の位置を瞳孔上端点として登録する。
Next, the
次に、システム管理サーバ８は、中央点Ａから画面下端まで垂直移動させた下端点Ｅを指し示すポインタ３５をディスプレイ５に表示させ、ポインタ３５に視線を導くアナウンス指示を操作端末４に行わせる。画像処理装置７は、その際にユーザカメラ６で撮影された映像に基づいて、画面の下端点Ｅに監視者の視線が向いた状態の目４５における瞳孔の位置を特定し、その位置情報をシステム管理サーバ８に通知する。システム管理サーバ８は、通知された瞳孔の位置を瞳孔下端点として登録する。
Next, the
このような初期設定を行って、瞳孔中心点（原点）、瞳孔右端点、瞳孔左端点、瞳孔上端点、瞳孔下端点を登録しておくことで、監視者の瞳孔の位置に基づいて、ディスプレイ５上における視線の位置（監視者が視線を向けている位置）を特定できる。
監視者の瞳孔の位置に基づく視線の位置の特定について、図３（ｄ）を参照して、監視者がディスプレイ５上の画面右上部を見た場合を例に説明する。ここで、瞳孔中心点から瞳孔右端点を見た瞳孔位置ベクトルを「＋Ｈ→」、瞳孔左端点を見た瞳孔位置ベクトルを「−Ｈ→」、瞳孔上端点を見た瞳孔位置ベクトルを「＋Ｖ→」、瞳孔下端点を見た瞳孔位置ベクトルを「−Ｖ→」とする。また、ディスプレイ５の画面の中央点Ａから右端点Ｂまでの距離を「＋Ｘ」、左端点Ｃまでの距離を「−Ｘ」、上端点Ｄまでの距離を「＋Ｙ」、下端点Ｅまでの距離を「−Ｙ」とする。
By performing such initial settings and registering the pupil center point (origin), pupil right end point, pupil left end point, pupil upper end point, and pupil lower end point, the display is based on the position of the observer's pupil. 5 can identify the position of the line of sight (the position where the observer is directing his line of sight).
Identification of the position of the line of sight based on the position of the pupil of the monitor will be described with reference to FIG. 3D as an example where the monitor looks at the upper right part of the screen on the
監視者がディスプレイ５における画面右上部を見た状態の目５１における瞳孔５２の位置は、瞳孔中心点から瞳孔５２を見た瞳孔位置ベクトル５３で表現できる。瞳孔位置ベクトル５３の水平方向の成分（水平ベクトル）５４を「＋ｈ→」、垂直方向の成分（垂直ベクトル）５５を「＋ｖ→」とし、ディスプレイ５の画面中心を原点とした場合の視線の位置の座標を（ｘ，ｙ）とすると、ｘ，ｙの各値は以下の式により算出できる。
ｘ＝（ｈ／Ｈ）Ｘ
ｙ＝（ｖ／Ｖ）Ｙ
以上のように、監視者の瞳孔の位置を示す瞳孔位置ベクトル５３に基づいて、ディスプレイ５上における視線の位置の座標（ｘ，ｙ）を算出できる。
The position of the
x = (h / H) X
y = (v / V) Y
As described above, the coordinates (x, y) of the position of the line of sight on the
このような初期設定を行っておくことで、監視者の目の状態（特に、瞳孔の位置）からディスプレイ５上での視線の位置を特定することができ、その結果、ディスプレイ５上での視線の位置に視線ポインタ（監視者が視線を向けている位置を指し示すポインタ画像）を表示する処理や、ディスプレイ５上での視線の位置を実空間での監視カメラ１の指向先に変換して旋回制御する処理などを実現することができる。
By performing such initial settings, the position of the line of sight on the
図４には、ディスプレイ５上における視線の位置に表示する視線ポインタの形状の例を示してある。
図４において、（ａ）〜（ｄ）は、それぞれ、監視カメラ１に対して右旋回、左旋回、上旋回、下旋回を指示した際の視線ポインタであり、丸マークに旋回方向を指し示す矢印を重畳した形状のポインタ画像となっている。また、（ｅ）は、監視カメラ１に対して望遠指示した際の視線ポインタであり、丸マークを通常より大きくした形状のポインタ画像となっている。また、（ｆ）は、監視カメラ１に対して広角指示した際の視線ポインタであり、丸マークを通常より小さくした形状のポインタ画像となっている。
FIG. 4 shows an example of the shape of the line-of-sight pointer displayed at the position of the line of sight on the
In FIG. 4, (a) to (d) are line-of-sight pointers when instructing the
このように、ディスプレイ５上における視線の位置に表示する視線ポインタの形状を、監視者の視線などによる監視カメラ１の制御の態様（すなわち、監視カメラ１による撮影の態様）の指示に応じて変化させることで、監視者に指示内容をフィードバックさせることができる。また、監視者は、自分が指示した内容がフィードバック表示されるので、指示内容が的確にシステムに反映されているかをリアルタイムで確認することができ、検知に適した視線の動かし方などを効率よく学習することができる。
In this way, the shape of the line-of-sight pointer displayed at the position of the line of sight on the
次に、瞳孔の動き（位置の変化）に応じた監視カメラ１の旋回制御について、図３（ｄ）や図５などを参照して説明する。
ここで、図５（ａ）には、監視カメラ１を上面方向から見た様子を示してあり、水平方向の旋回では、基準位置６１から±１８０°回転させた位置６２まで旋回可能となっている。また、図５（ｂ）には、監視カメラ１を側面方向から見た様子を示してあり、垂直方向の旋回では、基準位置６３から＋９０°（上向きに９０°）回転させた位置６４及び−９０°（下向きに９０°）回転させた位置６５まで旋回可能となっている。つまり、本例の監視カメラ１の旋回可能角度の範囲は、水平方向では±１８０°、垂直方向では±９０°となっている。
なお、以下の説明では、監視者が右上方向に視線を向ける場合を例に説明するが、他の方向に視線を向けた場合でも同様な制御が可能であることは言うまでもない。
Next, turning control of the
Here, FIG. 5A shows a state where the
In the following description, a case where the supervisor turns his / her line of sight in the upper right direction will be described as an example, but it goes without saying that the same control is possible even when his / her line of sight is directed in another direction.
瞳孔の動き（位置の変化）に応じた監視カメラ１の旋回制御は、例えば、以下の［方法１−１］〜［方法１−３］により行うことができる。
［方法１−１］では、監視者が右上方向に視線を向けた際の瞳孔移動量（移動割合）を、監視カメラ１の旋回移動量（旋回割合）に等価変換して旋回制御する。
この場合、水平方向の旋回制御角度θH、垂直方向の旋回制御角度θVは、以下の式により算出できる。
θH＝１８０×（ｈ／Ｈ）
θV＝９０×（ｖ／Ｖ）
The turning control of the
In [Method 1-1], the pupil movement amount (movement ratio) when the observer turns his / her line of sight in the upper right direction is equivalently converted to the turning movement amount (turning ratio) of the
In this case, the horizontal turning control angle θ H and the vertical turning control angle θ V can be calculated by the following equations.
θ H = 180 × (h / H)
θ V = 90 × (v / V)
監視者が右上方向に視線を向けた際に、システム管理サーバ８は、θH、θVの角度で旋回させる制御信号を監視カメラ１に送信することで、監視者が視線を動かした方向に監視カメラ１を旋回させることができる。
なお、監視者が視線を正面に戻した場合には、監視カメラ１の旋回を停止させる。このとき、監視者の瞳孔が正面位置（瞳孔中心点）に戻るまではｈ→とｖ→が一時的にマイナスになるが、その過程での監視カメラ１の旋回制御は行わないものとする。すなわち、監視カメラ１の旋回制御は、監視者の瞳孔が正面位置から動いた場合のみ行うものとする。
上述した［方法１−１］の利点は、瞳孔の微量な動きで監視カメラ１を大きく旋回制御できることである。
When the supervisor turns his / her line of sight in the upper right direction, the
In addition, when the monitoring person returns the line of sight to the front, the turning of the
The advantage of the [Method 1-1] described above is that the
［方法１−２］では、監視者が右上方向に視線を向けた際の瞳孔移動量（移動割合）を、監視カメラ１の旋回角速度に等価変換して旋回制御する。
この場合、水平方向の旋回制御角速度ωH、垂直方向の旋回制御角速度ωVは、定数Ωを用いて以下の式により算出できる。
ωH＝Ω×（ｈ／Ｈ）
ωV＝Ω×（ｖ／Ｖ）
In [Method 1-2], the pupil movement amount (movement ratio) when the supervisor turns his / her line of sight in the upper right direction is equivalently converted into the turning angular velocity of the
In this case, the turning control angular velocity ω H in the horizontal direction and the turning control angular velocity ω V in the vertical direction can be calculated by the following equations using a constant Ω.
ω H = Ω × (h / H)
ω V = Ω × (v / V)
監視者が右上方向に視線を向けた際に、システム管理サーバ８は、ωH、ωVの角速度で旋回させる制御信号を監視カメラ１に送信することで、監視者が視線を動かした方向に監視カメラ１を旋回させることができる。
［方法１−２］によれば、視線を動かした移動量により旋回角速度が変化するので、大きく視線を動かすと、その方向に監視カメラ１が速く旋回し、小さく視線を動かすと、その方向に監視カメラ１が遅く旋回することになる。
なお、［方法１−１］と同様に、監視者が視線を正面に戻した場合には監視カメラ１の旋回を停止させ、監視者の瞳孔が正面位置（瞳孔中心点）から動いた場合のみ監視カメラ１の旋回制御を行うものとする。
When the supervisor turns his / her line of sight to the upper right, the
According to [Method 1-2], the turning angular velocity changes depending on the amount of movement of the line of sight. Therefore, when the line of sight is largely moved, the
As in [Method 1-1], when the supervisor returns his / her line of sight to the front, the
［方法１−３］では、監視者の瞳孔の位置の単位時間当たりの変化量（瞳孔の移動速度）を、監視カメラ１の旋回角速度に等価変換して旋回制御する。
図６には、瞳孔の位置の時間的変化の例を表してある。
ｔ＝０の時点では、瞳孔が正面位置（瞳孔中心点）にある状態のため、監視カメラ１も静止状態である。
ｔ＝１の時点では、ｔ＝０の時点の瞳孔の位置に対して瞳孔が水平方向及び垂直方向に移動しているので、監視カメラ１を旋回制御する。このとき、瞳孔の位置の位時間当たりの変化量（瞳孔の移動速度）を算出し、変化量が大きい場合には監視カメラ１を高速旋回させ、変化量が小さい場合には監視カメラ１を低速旋回させる。
ｔ＝２の時点では、ｔ＝１の時点の瞳孔の位置に対して瞳孔が水平方向及び垂直方向に移動しているので、監視カメラ１を旋回制御する。このときも、ｔ＝１の時点と同様に、瞳孔の位置の位時間当たりの変化量が大きい場合には監視カメラ１を高速旋回させ、変化量が小さい場合には監視カメラ１を低速旋回させる。
ｔ＝３の時点では、ｔ＝２の時点の瞳孔の位置に対して瞳孔が水平方向及び垂直方向に移動していないので、監視カメラ１をｔ＝２の時点と同速度（速度一定）で旋回制御させる。
ｔ＝４の時点では、瞳孔が正面位置に戻ったため、監視カメラ１の旋回を停止させる。ｔ＝３の時点の瞳孔の位置からｔ＝４の時点の瞳孔の位置（正面位置）に戻るまでの間はｈ→とｖ→が一時的にマイナスになるが、その過程での監視カメラ１の旋回制御は行わない。
In [Method 1-3], the amount of change (pupil moving speed) per unit time of the position of the pupil of the monitoring person is equivalently converted into the turning angular speed of the
FIG. 6 shows an example of temporal changes in the position of the pupil.
Since the pupil is in the front position (pupil center point) at time t = 0, the
At the time of t = 1, the pupil is moving in the horizontal direction and the vertical direction with respect to the position of the pupil at the time of t = 0, so that the
At the time of t = 2, the pupil is moving in the horizontal direction and the vertical direction with respect to the position of the pupil at the time of t = 1, so that the
At the time t = 3, the pupil does not move in the horizontal direction and the vertical direction with respect to the position of the pupil at the time t = 2, so the
At time t = 4, since the pupil has returned to the front position, the
ここで、ｔ＝ｔ1の時点の水平ベクトルを「ｈ1 →」、ｔ＝ｔ2の時点の水平ベクトルを「ｈ2 →」、ｔ＝ｔ1の時点の垂直ベクトルを「ｖ1 →」、ｔ＝ｔ2の時点の垂直ベクトルを「ｖ2 →」とすると、ｔ＝ｔ2の時点の瞳孔の水平方向の移動速度ＳH、垂直方向の移動速度ＳVは、以下の式により算出できる。
ＳH＝（ｈ2−ｈ1）／Δｔ＝（ｈ2−ｈ1）／（ｔ2−ｔ1）
ＳV＝（ｖ2−ｖ1）／Δｔ＝（ｖ2−ｖ1）／（ｔ2−ｔ1）
Here, the horizontal vector at the time t = t 1 is “h 1 → ”, the horizontal vector at the time t = t 2 is “h 2 → ”, and the vertical vector at the time t = t 1 is “v 1 → ”. If the vertical vector at the time t = t 2 is “v 2 → ”, the horizontal movement speed S H and the vertical movement speed S V of the pupil at the time t = t 2 are calculated by the following equations. it can.
S H = (h 2 -h 1 ) / Δt = (h 2 -h 1) / (t 2 -t 1)
S V = (v 2 −v 1 ) / Δt = (v 2 −v 1 ) / (t 2 −t 1 )
また、ｔ＝ｔ2の時点の水平方向の旋回制御角速度ωH、垂直方向の旋回制御角速度ωVは、定数Ωを用いて以下の式により算出できる。
ωH＝Ω×（ｈ2−ｈ1）／Δｔ＝Ω×（ｈ2−ｈ1）／（ｔ2−ｔ1）
ωV＝Ω×（ｖ2−ｖ1）／Δｔ＝Ω×（ｖ2−ｖ1）／（ｔ2−ｔ1）
Further, the horizontal turning control angular velocity ω H and the vertical turning control angular velocity ω V at the time of t = t 2 can be calculated by the following equations using a constant Ω.
ω H = Ω × (h 2 −h 1 ) / Δt = Ω × (h 2 −h 1 ) / (t 2 −t 1 )
ω V = Ω × (v 2 −v 1 ) / Δt = Ω × (v 2 −v 1 ) / (t 2 −t 1 )
なお、ｔ＝ｔ2の時点で正面位置以外の位置で瞳孔が静止した場合、ωH、ωVは０になるが、ｔ＝ｔ1の時点の角速度での旋回を監視カメラ１に継続させるものとする。また、監視カメラ１の旋回停止は、視線を正面に戻したときに行う。また、監視カメラ１の旋回制御は、瞳孔が正面位置から別の方向に動いた場合のみ行うものとする。
When the pupil is stationary at a position other than the front position at the time t = t 2 , ω H and ω V are 0, but the
［方法１−３］によれば、監視者が視線を動かした方向と速度に応じて監視カメラ１の旋回制御が行われるため、監視者の視線の動きに応じて自然に監視カメラ１が旋回することになる。また、視線が正面以外の場所で一時的に静止しても旋回制御を引き継ぐため、監視カメラ１の旋回を長時間継続させたい場合に有効である。
According to [Method 1-3], since the turning control of the
次に、目や瞳孔の大きさの変化に応じた監視カメラ１の制御について、図７を参照して説明する。
図７（ａ）には、通常状態の目７１と、画像処理による目７１の検知エリア７２を示してある。また、図７（ｂ）には、見開いた状態の目７３と、画像処理による目７３の検知エリア７４を示してある。また、図７（ｃ）には、細めた状態の目７５と、画像処理による目７５の検知エリア７６を示してある。
このように、画像処理装置７による画像処理で、目の検知エリアの大きさを調べることで、監視者が目の大きさの変化（目を見開いたり細めたりしたこと）を検出できる。また、瞳孔の大きさの変化も同様に、瞳孔の検知エリアの大きさを調べることで検出できる。
Next, control of the
FIG. 7A shows a normal state eye 71 and a
In this way, by examining the size of the eye detection area by the image processing by the
システム管理サーバ８は、人が特定のポイントを注目する場合に瞳孔が開く動きを応用し、通常状態の目の大きさから目が大きくなる変化が生じた場合、若しくは瞳孔が大きくなる変化が生じてその状態が一定時間継続した場合に、監視カメラ１のレンズの望遠制御（ズーム）を行う。そして、目を閉じた状態が一定時間継続した場合に、ズームを元の状態に戻す。
また、システム管理サーバ８は、人がピントの合っていない対象物を見る場合に目を細める動きを応用し、目全体の大きさが小さくなる変化が生じた場合（目を細めた場合）に、視線ポインタが指し示す対象物にフォーカスが合うように、監視カメラ１のレンズのオートフォーカスを動作させる。
The
In addition, the
次に、監視者の頭部の動きに応じた監視カメラ１の制御について、図８を参照して説明する。
図８には、監視者が通常の状態の姿勢８１と、前方向に体を傾けた状態の姿勢８２と、後ろ方向に体を傾けた状態の姿勢８３を示してあり、監視者の前後運動に連動して頭部の位置が前後に変位していることが分かる。なお、監視者の頭部の３次元位置は、監視者の上半身を右方向から撮影した映像と左方向から撮影した映像との合成映像に基づいて特定できる。
システム管理サーバ８は、監視者が頭部を前方向に動かした場合に監視カメラ１のレンズの望遠制御を行い、逆に頭部を後方向に動かした場合に監視カメラ１のレンズの広角制御を行う。また、監視者が頭部を通常状態に戻すと、監視カメラ１のレンズの制御を停止する。本例では、これらのズーム制御を頭部の移動量に対応する制御量で行う。
Next, the control of the
FIG. 8 shows a posture 81 in a normal state, a posture 82 in a state where the body is tilted forward, and a posture 83 in a state where the body is tilted rearward. It can be seen that the position of the head is displaced back and forth in conjunction with. Note that the three-dimensional position of the head of the monitor can be specified based on a composite image of a video captured from the right direction and a video captured from the left direction of the upper body of the monitor.
The
次に、複数の監視カメラ１の中からディスプレイ５による表示対象の監視映像を撮影する監視カメラ１を選択する方法について、２通りを説明する。なお、各々の監視カメラ１は、カメラ番号＃ｎ（ｎは自然数）で識別されているものとする。
監視者の頭部の左右運動をカメラ選択操作とする場合、システム管理サーバ８は、例えば、カメラ番号＃３の監視カメラ１が選択されている状態で、頭部が左に振られた場合には、順番的に１つ前のカメラ番号＃２の監視カメラ１を選択し、頭部が右に振られた場合には、順番的に１つ後のカメラ番号＃４の監視カメラ１を選択する。
Next, two methods for selecting the
When the left and right motion of the head of the monitoring person is set as the camera selection operation, the
瞳孔の動き（左右方向の移動）をカメラ選択操作とする場合、システム管理サーバ８は、初期設定された瞳孔左端点又は瞳孔右端点を超過した位置に瞳孔がある場合に、監視カメラ１の旋回制御から監視カメラ１の選択制御に切り替える。例えば、カメラ番号＃３の監視カメラ１が選択されている状態で、瞳孔の位置が瞳孔左端点を超過した位置（視線が画面から左側に外れた位置）に一定時間以上ある場合には、順番的に１つ前のカメラ番号＃２の監視カメラ１を選択し、瞳孔の位置が瞳孔右端点を超過した位置（視線が画面から右側に外れた位置）に一定時間以上ある場合には、順番的に１つ後のカメラ番号＃４の監視カメラ１を選択する。
When the movement of the pupil (movement in the left-right direction) is set as the camera selection operation, the
次に、メガネディスプレイを用いる場合について、図９を参照して説明する。
図９（ａ）には、メガネディスプレイ９１を頭部に装着した監視者が正面を向いた状態９２と、右に９０°（＋９０°）首を回した状態９３と、左に９０°（−９０°）首を回した状態９４を示してあり、図９（ｂ）には、監視カメラ１を基準位置に向けた状態９５と、右に９０°（＋９０°）旋回させた状態９６と、左に９０°（−９０°）旋回させた状態９７を示してある。
また、図９（ｃ）には、監視者が右上方向に首を振った状態９８を示してあり、図９（ｄ）には、そのときの監視者の頭部の３次元空間における位置座標（ｘ，ｙ，ｚ）を示してある。
Next, the case where a glasses display is used will be described with reference to FIG.
FIG. 9A shows a
FIG. 9C shows a state 98 in which the observer swings his head in the upper right direction. FIG. 9D shows the position coordinates of the observer's head in the three-dimensional space at that time. (X, y, z) is shown.
メガネディスプレイ９１は、ジャイロセンサと加速度センサを備えており、監視者の首振り運動（左右回転）に応じて首振りの角度や角速度を検出し、その情報をシステム管理サーバ８に送信する。
システム管理サーバ８は、メガネディスプレイ９１から受信した首振りの角度や角速度の情報に基づいて、監視カメラ１を制御する。例えば、監視者が正面方向を向いている場合は監視カメラ１を基準位置に向け、監視者が右に９０°首を回すと監視カメラ１も右に９０°旋回させ、監視者が左に９０°首を回すと監視カメラ１も左に９０°旋回させる。
The glasses display 91 includes a gyro sensor and an acceleration sensor, detects the swing angle and angular velocity according to the swing motion (left-right rotation) of the supervisor, and transmits the information to the
The
首（頭部）の動きに応じた監視カメラ１の旋回制御は、例えば、以下の［方法２−１］〜［方法２−３］により行うことができる。なお、初期設定において、基準の瞳孔位置の登録と同様に、基準の首角度の情報を登録しておくものとする。すなわち、ディスプレイ５上の所定位置にポインタ２２を表示して監視者の視線を導くと共に、その際の監視者の首振り角度を認識して、基準の首角度として登録しておく。
The turning control of the
［方法２−１］では、監視者の首の回転量（回転割合）を監視カメラ１の旋回移動量（旋回割合）に等価変換して旋回制御する。
この場合、水平方向の旋回制御角度θH、垂直方向の旋回制御角度θVは、以下の式により算出できる。
θH＝ｔａｎ-1（ｚ／ｘ）
θV＝ｔａｎ-1（ｙ／√（ｘ2＋ｙ2））
In [Method 2-1], the rotation amount (rotation rate) of the monitor's neck is equivalently converted to the turning movement amount (turning rate) of the
In this case, the horizontal turning control angle θ H and the vertical turning control angle θ V can be calculated by the following equations.
θ H = tan −1 (z / x)
θ V = tan −1 (y / √ (x 2 + y 2 ))
監視者が首を振った際に、システム管理サーバ８は、θH、θVの角度で旋回させる制御信号を監視カメラ１に送信することで、監視者が首を動かした方向に監視カメラ１を旋回させることができる。
なお、監視者が首を正面に戻した場合には、監視カメラ１の旋回を停止させる。このとき、視線による制御に係る［方法１−１］と同様に、監視者の首が正面位置に戻る過程での監視カメラ１の旋回制御は行わないものとする。すなわち、監視カメラ１の旋回制御は、監視者の首が正面位置から動いた場合のみ行うものとする。
上述した［方法２−１］の利点は、首の微量な動きで監視カメラ１を大きく旋回制御できることである。
When the monitor swings his / her head, the
In addition, when the monitoring person returns the neck to the front, the turning of the
The advantage of the [Method 2-1] described above is that the
［方法２−２］では、監視者の首の回転量（回転割合）を、監視カメラ１の旋回角速度に等価変換して旋回制御する。
この場合、水平方向の旋回制御角速度ωH、垂直方向の旋回制御角速度ωVは、定数Ωを用いて以下の式により算出できる。
ωH＝Ω×（ｚ／ｘ）
ωV＝Ω×（ｙ／√（ｘ2＋ｙ2））
In [Method 2-2], the rotation amount (rotation ratio) of the neck of the monitor is equivalently converted to the turning angular velocity of the
In this case, the turning control angular velocity ω H in the horizontal direction and the turning control angular velocity ω V in the vertical direction can be calculated by the following equations using a constant Ω.
ω H = Ω × (z / x)
ω V = Ω × (y / √ (x 2 + y 2 ))
監視者が首を振った際に、システム管理サーバ８は、ωH、ωVの角速度で旋回させる制御信号を監視カメラ１に送信することで、監視者が首を動かした方向に監視カメラ１を旋回させることができる。
［方法２−２］によれば、首を回した回転量により旋回角速度が変化するので、大きく首を回すと、その方向に監視カメラ１が速く旋回し、小さく首を回すと、その方向に監視カメラ１が遅く旋回することになる。
なお、［方法２−１］と同様に、監視者が首を正面に戻した場合には監視カメラ１の旋回を停止させ、監視者の首が正面位置から動いた場合のみ監視カメラ１の旋回制御を行うものとする。
When the monitor shakes his / her head, the
According to [Method 2-2], the turning angular velocity changes depending on the amount of rotation of the neck. Therefore, if the neck is turned largely, the
As in [Method 2-1], when the observer returns the head to the front, the
［方法２−３］では、監視者の首の角度の単位時間当たりの変化量（首の回転角速度）を、監視カメラ１の旋回角速度に等価変換して旋回制御する。
ここで、ｔ＝ｔ1の時点の首の位置座標を（ｘ1，ｙ1，ｚ1）とすると、その時点の水平方向の旋回制御角度θH1、垂直方向の旋回制御角度θV1は、以下の式により算出できる。
θH1＝ｔａｎ-1（ｚ1／ｘ1）
θV1＝ｔａｎ-1（ｙ1／√（ｘ1 2＋ｙ1 2））
In [Method 2-3], the amount of change (neck rotation angular velocity) per unit time of the neck angle of the monitor is equivalently converted to the turning angular velocity of the
Here, assuming that the position coordinates of the neck at the time of t = t 1 are (x 1 , y 1 , z 1 ), the horizontal turning control angle θ H1 and the vertical turning control angle θ V1 at that time are: It can be calculated by the following formula.
θ H1 = tan −1 (z 1 / x 1 )
θ V1 = tan −1 (y 1 / √ (x 1 2 + y 1 2 ))
同様に、ｔ＝ｔ2の時点の首の位置座標を（ｘ2，ｙ2，ｚ2）とすると、その時点の水平方向の旋回制御角度θH2、垂直方向の旋回制御角度θV2は、以下の式により算出できる。
θH2＝ｔａｎ-1（ｚ2／ｘ2）
θV2＝ｔａｎ-1（ｙ2／√（ｘ2 2＋ｙ2 2））
Similarly, assuming that the position coordinates of the neck at the time of t = t 2 are (x 2 , y 2 , z 2 ), the horizontal turning control angle θ H2 and the vertical turning control angle θ V2 at that time are It can be calculated by the following formula.
θ H2 = tan −1 (z 2 / x 2 )
θ V2 = tan −1 (y 2 / √ (x 2 2 + y 2 2 ))
また、ｔ＝ｔ2の時点の水平方向の旋回制御角速度ωH、垂直方向の旋回制御角速度ωVは、定数Ωを用いて以下の式により算出できる。
ωH＝Ω×（θH2−θH1）／Δｔ＝Ω×（θH2−θH1）／（ｔ2−ｔ1）
ωV＝Ω×（θV2−θV1）／Δｔ＝Ω×（θV2−θV1）／（ｔ2−ｔ1）
Further, the horizontal turning control angular velocity ω H and the vertical turning control angular velocity ω V at the time of t = t 2 can be calculated by the following equations using a constant Ω.
ω H = Ω × (θ H2 −θ H1 ) / Δt = Ω × (θ H2 −θ H1 ) / (t 2 −t 1 )
ω V = Ω × (θ V2 −θ V1 ) / Δt = Ω × (θ V2 −θ V1 ) / (t 2 −t 1 )
なお、ｔ＝ｔ2の時点で正面位置以外の位置で首が静止した場合、ωH、ωVは０になるが、ｔ＝ｔ1の時点の角速度での旋回を監視カメラ１に継続させるものとする。また、監視カメラ１の旋回停止は、首を正面に戻したときに行う。また、監視カメラ１の旋回制御は、首が正面位置から別の方向に動いた場合のみ行うものとする。
When the neck is stationary at a position other than the front position at the time t = t 2 , ω H and ω V are 0, but the
［方法２−３］によれば、監視者が首を回した方向と速度に応じて監視カメラ１の旋回制御が行われるため、監視者の首の動きに応じて自然に監視カメラ１が旋回することになる。また、首が正面以外の場所で一時的に静止しても旋回制御を引き継ぐため、監視カメラ１の旋回を長時間継続させたい場合に有効である。
According to [Method 2-3], since the turning control of the
次に、手のジェスチャに応じた監視カメラ１の制御について、図１０を参照して説明する。
図１０において、（ａ）は人差し指を上方向に向けた様子、（ｂ）は人差し指を下方向に向けた様子、（ｃ）は人差し指を右方向に向けた様子、（ｄ）は人差し指を左方向に向けた様子、（ｅ）は掌を正面に向けた様子、（ｆ）は掌を前方向又は後方向に移動させた様子、（ｇ）は掌を右方向又は左方向に移動させた様子、（ｈ）は掌を回転させた様子、（ｉ）は握り拳を回した様子である。
Next, the control of the
10, (a) shows the index finger pointing upward, (b) the index finger pointing downward, (c) the index finger pointing right, (d) the index finger left (E) shows the palm facing forward, (f) shows the palm moving forward or backward, and (g) moves the palm right or left. (H) shows a state where the palm is rotated, and (i) shows a state where the fist is turned.
画像処理装置７は、ユーザカメラ６（ステレオカメラ）の映像を元に、監視者の手の３次元位置と手の形状を周期的に特定し、その情報をシステム管理サーバ８に送信する。
システム管理サーバ８は、画像処理装置７から受信した手の３次元位置や手の形状の情報に基づいて、監視カメラ１を制御する。すなわち、人差し指が向けられた方向に応じて監視カメラ１を旋回させ、掌が正面に向けられた場合に旋回を停止させる。また、掌が前方向に移動された場合にレンズを望遠制御し、掌が後方向に移動された場合にレンズを広角制御する。また、掌が右方向に移動された場合にレンズのフォーカスを遠方向に制御し、掌が左方向に移動された場合にレンズのフォーカスを近方向に制御する。また、掌が回転された場合にワイパ制御を行い、握り拳が回された場合にその回転回数に応じてプリセット制御を行う。プリセット制御では、例えば、握り拳の回転回数が３回の場合には、プリセット番号＃３に登録されたポイントに向けて監視カメラ１を旋回させる。
The
The
次に、映像監視システムの変形例について、図１１を参照して説明する。
図１１に示す映像監視システムは、図１に示した映像監視システムに集音マイク９と音声処理装置１０を追加した構成となっている。
集音マイク９は、ディスプレイ５に表示された監視映像を見る監視者が発した声を集音し、当該集音した音声の信号を音声処理装置１０に出力する。
音声処理装置１０は、集音マイク９により集音された音声を、音声認識処理により予めパターン化した指示情報に置き換えてシステム管理サーバ８へ送信する。
Next, a modification of the video surveillance system will be described with reference to FIG.
The video monitoring system shown in FIG. 11 has a configuration in which a
The
The
システム管理サーバ８は、画像処理装置７から送信された指示情報と音声処理装置１０から送信された指示情報に基づいて、ディスプレイ５による表示対象の監視映像を撮影している監視カメラ１に対する制御信号を送信する。
本例では、画像処理装置７からの指示情報により特定される制御の態様と、音声処理装置１０からの指示情報により特定される制御の態様とが一致する場合にのみ、その態様の制御を指示する制御信号を送信しており、これにより、ユーザインタフェースの精度向上を図っている。
Based on the instruction information transmitted from the
In this example, only when the control mode specified by the instruction information from the
なお、画像処理装置７からの指示情報により特定される制御の態様と音声処理装置１０からの指示情報により特定される制御の態様とに不一致が生じた場合には、画像処理装置７で誤検知が発生したと判断するようにした。これは、現状、画像処理による検知よりも音声処理による検知の方が検知精度が高いためである。
画像処理装置７で誤検知が発生したと判断した場合には、画像処理装置７における画像処理の方法やパラメータ等について随時修正を行うようにすることで、監視者の目や体の動きに基づくユーザ指示の検知精度を向上させることができる。
If there is a discrepancy between the control mode specified by the instruction information from the
When it is determined that a false detection has occurred in the
以上のように、本発明に係る映像監視システムでは、監視カメラで撮影された監視映像を見ている監視者の目や首の動き等を３次元空間的に把握するために、ステレオカメラで監視者を撮像するようにした。
そして、監視者の目の部分のみを切り出した映像と監視者の上半身を撮像した映像の両方を画像処理することで監視者の指示を捉え、当該指示に応じて監視カメラの制御を行うようにした。すなわち、例えば、監視者の目の部分のみを切り出した映像を画像処理することで、視線の移動（瞳孔の移動）とその移動量を検出し、監視カメラの旋回制御に用いるようにした。また、例えば、監視者全体を撮像した映像を画像処理することで、首の前後移動とその移動量を検出し、監視カメラのズーム制御に用いるようにした。また、例えば、監視者の目の部分のみを切り出した映像を画像処理することで、瞳孔の大きさや目の大きさの時間的な変化を検出し、監視カメラのレンズのズームやフォーカスの制御に用いるようにした。
As described above, in the video surveillance system according to the present invention, in order to grasp the movements of the eyes and neck of the supervisor watching the surveillance video taken by the surveillance camera in a three-dimensional space, the surveillance is performed with the stereo camera. The person was imaged.
Then, both the video obtained by cutting out only the eyes of the supervisor and the video obtained by imaging the upper body of the supervisor are image-processed to capture the supervisor's instruction, and the surveillance camera is controlled according to the instruction. did. That is, for example, by processing an image obtained by cutting out only the eyes of the supervisor, the movement of the line of sight (movement of the pupil) and the amount of movement are detected and used for turning control of the surveillance camera. In addition, for example, by performing image processing on a video image of the entire surveillance person, the back and forth movement of the neck and the amount of the movement are detected and used for zoom control of the surveillance camera. Also, for example, by processing the video that cuts out only the eye part of the observer, the temporal change in the size of the pupil and the eye size is detected, and the zoom and focus of the surveillance camera lens are controlled. I used it.
また、監視者の視線と視線ポインタの位置の整合性を測るために、システム立ち上げ時に初期設定を行うようにした。このとき、システム側からの視線移動の指示（音声アナウンスや画面上の文字）に従って移動した瞳孔の位置をシステムに登録するようにした。また、画面の各ポイント（画面中心、画面右端、画面左端、画面上端、画面下端）に視線を移動させ、その際の瞳孔位置を瞳孔中心点、瞳孔右端点、瞳孔左端点、瞳孔上端点、瞳孔下端点として登録するようにした。 In order to measure the consistency between the observer's line-of-sight and the position of the line-of-sight pointer, initial settings were made when the system was started up. At this time, the position of the pupil moved in accordance with an instruction to move the line of sight (voice announcement or character on the screen) from the system side is registered in the system. Also, move the line of sight to each point on the screen (screen center, screen right edge, screen left edge, screen top edge, screen bottom edge), and the pupil position at that time is the pupil center point, pupil right end point, pupil left end point, pupil top point, Registered as the lower pupil point.
また、監視映像が表示された画面上の視線位置に該当する箇所に表示させる視線ポインタを、監視者の視線による指示に応じて形状を変化させることで、監視者に指示内容をフィードバックするようにした。例えば、監視カメラの旋回指示の場合は視線ポインタ上に旋回方向を示す矢印を重畳表示させ、望遠指示の場合は視線ポインタを大きくし、広角指示の場合は視線ポインタを小さくする。これにより、監視者は自分が指示した内容が的確にシステムに反映されたかをリアルタイムで確認することができ、検知に適した目や体の動きを学習することが可能になる。 In addition, by changing the shape of the line-of-sight pointer to be displayed at the position corresponding to the line-of-sight position on the screen on which the monitoring video is displayed, the instruction content is fed back to the supervisor by changing the shape according to the instruction by the supervisor's line of sight. did. For example, in the case of a turning instruction of the surveillance camera, an arrow indicating the turning direction is superimposed on the line-of-sight pointer, the line-of-sight pointer is enlarged in the case of a telephoto instruction, and the line-of-sight pointer is reduced in the case of a wide-angle instruction. As a result, the supervisor can confirm in real time whether the contents instructed by the supervisor are accurately reflected in the system, and can learn eye and body movements suitable for detection.
また、監視者を撮影した映像の画像処理によって監視者の瞳孔の動きを検出し、この検出結果に応じて監視カメラの旋回制御を行うようにした。すなわち、瞳孔の位置の時間的な変化に基づいて瞳孔の移動方向を特定し、瞳孔の移動方向に対応する方向へ監視カメラを旋回させるようにした。このとき、例えば、中心から移動した瞳孔の位置ベクトルと初期設定で登録された基準の瞳孔位置とに基づいて瞳孔の移動量（移動割合）を算出し、この算出値を監視カメラの旋回移動量（移動割合）または旋回角速度に等価変換するようにした。また、例えば、瞳孔の位置の単位時間あたりの変化量（瞳孔の移動速度）を算出し、この算出値を監視カメラの旋回角速度に等価変換するようにした。 In addition, the movement of the pupil of the supervisor is detected by image processing of the video taken by the supervisor, and the turning control of the surveillance camera is performed according to the detection result. That is, the moving direction of the pupil is specified based on the temporal change in the position of the pupil, and the monitoring camera is turned in a direction corresponding to the moving direction of the pupil. At this time, for example, the movement amount (movement ratio) of the pupil is calculated based on the position vector of the pupil moved from the center and the reference pupil position registered in the initial setting, and the calculated value is used as the turning movement amount of the monitoring camera. Equivalent conversion to (movement rate) or turning angular velocity. Also, for example, the amount of change in pupil position per unit time (pupil moving speed) is calculated, and this calculated value is equivalently converted to the turning angular velocity of the surveillance camera.
また、監視者を撮影した映像の画像処理によって監視者の目または瞳孔の大きさの変化を検出し、この検出結果に応じて監視カメラのレンズのズームやフォーカスの制御を行うようにした。すなわち、監視者が画面の中の特定ポイントを注目した時に瞳孔が開く動きを応用し、例えば、通常状態（初期設定の状態）の大きさから目や瞳孔が大きく変化した場合に、レンズの望遠制御を行うようにした。また、ピントが合っていない対象物を見た時に目を細める動きを応用し、例えば、目全体の大きさが小さくなるように変化した場合（目を細めた場合）に、視線ポインタが指し示す対象物にフォーカスが合うようにオートフォーカスを動作させるようにした。 In addition, a change in the size of the eyes or pupils of the supervisor is detected by image processing of a video taken by the supervisor, and the zoom and focus of the surveillance camera lens are controlled according to the detection result. In other words, the movement of the pupil is applied when the observer pays attention to a specific point on the screen. For example, when the eye or pupil changes greatly from the size of the normal state (initial setting state), the telephoto of the lens Control was done. Also, apply the movement that narrows the eyes when looking at an object that is not in focus, for example, the object that the eye pointer points to when the size of the entire eye changes (when the eyes are narrowed) Auto focus is now activated so that the object is in focus.
また、ステレオカメラで監視者の上半身を撮像した２つの映像を画像処理することで監視者の頭部の３次元位置の動きを検出し、この検出結果に応じて監視カメラのレンズのズームの制御を行うようにした。すなわち、監視者が頭部を前方向に動かした場合にレンズを望遠制御し、逆に頭部を後方向に動かした場合にレンズを広角制御するようにした。 In addition, the movement of the three-dimensional position of the head of the supervisor is detected by performing image processing on two images obtained by imaging the upper body of the supervisor with the stereo camera, and the zoom control of the lens of the surveillance camera is controlled according to the detection result. To do. In other words, when the observer moves the head in the forward direction, the lens is telephoto controlled, and conversely, when the head is moved in the backward direction, the lens is controlled at a wide angle.
また、加速度センサ及びジャイロセンサを備えたメガネディスプレイを監視者の頭部に装着させ、メガネディスプレイで監視者の首振り角度や首振り速度の情報を検出し、この検出結果に応じて監視カメラの旋回制御を行うようにした。すなわち、首の角度の時間的な変化に基づいて首の回転方向を特定し、首の回転方向にに対応する方向へ監視カメラを旋回させるようにした。このとき、例えば、中心から移動した首の角度と初期設定で登録された基準の首角度とに基づいて首の移動量（移動割合）を算出し、この算出値を監視カメラの旋回移動量（移動割合）または旋回角速度に等価変換するようにした。また、例えば、首の角度の単位時間当たりの変化量（首の回転角速度）を算出し、この算出値を監視カメラの旋回角速度に等価変換するようにした。 In addition, a glasses display equipped with an acceleration sensor and a gyro sensor is attached to the head of the monitor, and the monitor's head swing angle and swing speed information are detected by the glasses display. Turn control was performed. That is, the direction of rotation of the neck is specified based on the temporal change in the angle of the neck, and the surveillance camera is turned in a direction corresponding to the direction of rotation of the neck. At this time, for example, the movement amount (movement ratio) of the neck is calculated based on the angle of the neck moved from the center and the reference neck angle registered in the initial setting, and this calculated value is calculated as the turning movement amount ( Equivalent conversion to movement ratio) or turning angular velocity. In addition, for example, the amount of change in neck angle per unit time (neck rotation angular velocity) is calculated, and this calculated value is equivalently converted to the turning angular velocity of the monitoring camera.
また、ステレオカメラにより撮像された監視者の手の映像を画像処理することで手の形状と３次元位置を検出し、この検出結果に応じて監視カメラの制御を行うようにした。すなわち、例えば、指の示す方向を監視カメラの旋回動作指示、手の前後運動をズームの望遠・広角動作指示、手の回転運動をワイパ動作指示やプリセット動作指示、手の左右運動をカメラ選択指示として認識し、監視カメラの制御を行うようにした。 In addition, the shape and three-dimensional position of the hand are detected by performing image processing on the image of the hand of the supervisor imaged by the stereo camera, and the surveillance camera is controlled according to the detection result. That is, for example, the direction indicated by the finger indicates the turning motion of the surveillance camera, the back and forth movement of the hand indicates the telephoto / wide angle operation of the zoom, the rotation of the hand indicates the wiper movement or the preset movement, and the left and right movement of the hand indicates the camera selection As a result, the camera was controlled.
また、集音マイクと音声処理装置を追加し、集音マイクで得た監視者の音声から音声処理装置で検知した指示（監視者の声による指示）を併用することで、画像処理装置で検知した指示（視線・首振り・ジェスチャによる指示）の検知精度を向上させるようにした。
また、画像処理装置での検知結果と音声処理装置での検知結果に不一致が生じて画像処理装置が誤検知したことが判明した場合、画像処理装置における画像処理の方法やパラメータについて随時修正を繰り返すフィードバック処理を行うようにすることで、画像処理装置による検知精度を向上させるようにした。
In addition, a sound collecting microphone and a sound processing device are added, and an instruction detected by the sound processing device from the sound of the supervisor obtained by the sound collecting microphone (instruction by the voice of the supervisor) is used together to detect by the image processing device. The accuracy of detection of received instructions (instructions by gaze, head swing, gestures) was improved.
Further, when it is found that the detection result of the image processing apparatus and the detection result of the sound processing apparatus are inconsistent and the image processing apparatus is erroneously detected, the image processing method and parameters in the image processing apparatus are repeatedly corrected as needed. By performing the feedback process, the detection accuracy of the image processing apparatus is improved.
このような構成により、視線移動、首振り（左右回転）、手のジェスチャ等の動作を監視カメラの旋回制御等の映像監視システムの各種オペレーション（操作）に対応させることで、監視者の視線を監視映像中の監視対象物に指向させた状態で、監視者の要求する映像を迅速に提供することが可能となる。特に、逃げる侵入者を追尾したり、複数の対象物を同時に追尾したりする場合のように、操作が煩雑な状況になるほど有効である。
また、監視カメラの旋回操作の他に、レンズ操作、ワイパ操作、カメラ選択等の各種操作に適用することで、監視者は少ない動作で映像監視システムのオペレーションに必要な種々の指示を行うことが可能とある。
また、これらの動作による指示と声による指示とを連動させることで、より精度の高いユーザインタフェースを実現することが可能である。
With such a configuration, the movement of the line of sight, swinging (left-right rotation), gesture of the hand, etc. are made to correspond to various operations (operations) of the video surveillance system such as the turning control of the surveillance camera. It is possible to quickly provide the video requested by the supervisor in a state of being directed to the monitoring target in the surveillance video. In particular, the operation becomes more complicated as the intruder who runs away is tracked or a plurality of objects are tracked simultaneously.
Moreover, by applying to various operations such as lens operation, wiper operation and camera selection in addition to the turning operation of the surveillance camera, the supervisor can give various instructions necessary for the operation of the video surveillance system with few operations. It is possible.
Further, it is possible to realize a user interface with higher accuracy by linking the instructions by these operations and the instructions by voice.
ここで、本例の映像監視システムでは、監視カメラ１が本発明に係る第１のカメラに対応し、ディスプレイ５が本発明に係る表示装置に対応し、ユーザカメラ６が本発明に係る第２のカメラに対応し、画像処理装置７が本発明に係る検出手段に対応し、システム管理サーバ８が本発明に係る制御手段に対応している。
Here, in the video surveillance system of this example, the
なお、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記憶する記憶媒体などとして提供することも可能である。 Note that the configurations of the system and apparatus according to the present invention are not necessarily limited to those described above, and various configurations may be used. The present invention can also be provided as, for example, a method or method for executing processing according to the present invention, a program for realizing such a method or method, or a storage medium for storing the program. .
本発明は、カメラ撮影された映像を見る者がカメラ制御を行う種々の形式の映像監視システムに適用することができる。 The present invention can be applied to various types of video surveillance systems in which a person viewing a video taken by a camera controls the camera.
１：監視カメラ、 ２：ＩＰエンコーダ、 ３：ＩＰネットワーク網、 ４：操作端末、 ５：ディスプレイ、 ６：ユーザカメラ、 ７：画像処理装置、 ８：システム管理サーバ、 ９：集音マイク、 １０：音声処理装置 1: surveillance camera, 2: IP encoder, 3: IP network, 4: operation terminal, 5: display, 6: user camera, 7: image processing device, 8: system management server, 9: sound collecting microphone, 10: Audio processing device
Claims (3)
前記第１のカメラにより撮影された映像を表示する表示装置と、
前記表示装置に表示された映像を見るユーザを撮影する第２のカメラと、
前記第２のカメラにより撮影された映像に基づいて、前記ユーザの目の動きを検出する検出手段と、
前記検出手段により検出された前記ユーザの目の動きに応じて、前記第１のカメラによる撮影の態様を制御する制御手段と、を備え、
前記表示装置は、前記表示装置に表示された映像に対する前記ユーザの視線の位置に、前記ユーザの目の動きに対応するポインタ画像を表示し、
前記検出手段は、前記ユーザの目の大きさの変化を検出し、その検出結果に応じて、前記制御手段は前記第１のカメラのズームまたはフォーカスの制御を行うとともに、前記表示装置は前記ポインタ画像の形状を変更する、
ことを特徴とする映像監視システム。 A first camera that captures an area to be monitored;
A display device for displaying an image captured by the first camera;
A second camera for photographing a user who views the video displayed on the display device;
Detecting means for detecting a movement of the user's eyes based on an image taken by the second camera;
Control means for controlling a mode of photographing by the first camera according to the eye movement of the user detected by the detection means ,
The display device displays a pointer image corresponding to the movement of the user's eyes at the position of the user's line of sight with respect to the video displayed on the display device,
The detection means detects a change in the size of the eyes of the user, and the control means controls the zoom or focus of the first camera according to the detection result, and the display device is the pointer Change the shape of the image,
Video monitoring system which is characterized a call.
前記制御手段は、前記ユーザの目が大きく変化した場合に、前記第１のカメラの望遠制御を行う、
ことを特徴とする映像監視システム。 The video surveillance system according to claim 1,
The control means performs telephoto control of the first camera when the user's eyes change greatly.
A video surveillance system characterized by that.
前記制御手段は、前記ユーザの目が小さく変化した場合に、前記第１のカメラのフォーカス制御を行う、
ことを特徴とする映像監視システム。 In the video surveillance system according to claim 1 or 2,
The control means performs focus control of the first camera when the user's eyes change small.
A video surveillance system characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013197077A JP6276954B2 (en) | 2013-09-24 | 2013-09-24 | Video surveillance system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013197077A JP6276954B2 (en) | 2013-09-24 | 2013-09-24 | Video surveillance system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015065514A JP2015065514A (en) | 2015-04-09 |
| JP6276954B2 true JP6276954B2 (en) | 2018-02-07 |
Family
ID=52833058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013197077A Active JP6276954B2 (en) | 2013-09-24 | 2013-09-24 | Video surveillance system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6276954B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7356697B2 (en) * | 2019-06-11 | 2023-10-05 | 国立大学法人静岡大学 | Image observation system |
| JP7414590B2 (en) | 2020-03-04 | 2024-01-16 | ソニー・オリンパスメディカルソリューションズ株式会社 | Control equipment and medical observation systems |
| CN114697602B (en) * | 2020-12-31 | 2023-12-29 | 华为技术有限公司 | Conference device and conference system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07226875A (en) * | 1994-02-10 | 1995-08-22 | Hitachi Ltd | Image pickup device |
| JP2002359766A (en) * | 2001-03-30 | 2002-12-13 | Hitachi Kokusai Electric Inc | Method and apparatus for controlling view field of image picking-up apparatus and computer program therefor |
| JP4362728B2 (en) * | 2005-09-20 | 2009-11-11 | ソニー株式会社 | Control device, surveillance camera system, and control program thereof |
| JP2011188147A (en) * | 2010-03-05 | 2011-09-22 | Toshiba Corp | Monitoring system and monitoring method |
| JP5915000B2 (en) * | 2011-06-13 | 2016-05-11 | ソニー株式会社 | Information processing apparatus and program |
-
2013
- 2013-09-24 JP JP2013197077A patent/JP6276954B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015065514A (en) | 2015-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104486543B (en) | System for controlling pan-tilt camera in touch mode of intelligent terminal | |
| CN106339093B (en) | Cloud deck control method and device | |
| EP2119223B1 (en) | Control method based on a voluntary ocular signal, particularly for filming | |
| US20170325907A1 (en) | Spectacle-style display device for medical use, information processing device, and information processing method | |
| WO2018104869A1 (en) | Telepresence system | |
| US11284042B2 (en) | Mobile robot, system and method for capturing and transmitting image data to remote terminal | |
| KR20110055062A (en) | Robot system and method for controlling the same | |
| JP2011061770A (en) | Mobile terminal having photographing control function based on image recognition technique and photographing control system employing image recognition technique | |
| JP2013258614A (en) | Image generation device and image generation method | |
| KR101444858B1 (en) | Telepresence apparatus | |
| CN109844600B (en) | Information processing apparatus, information processing method, and program | |
| JP2008040576A (en) | Image processing system and video display device equipped with the same | |
| US20180316911A1 (en) | Information processing apparatus | |
| US11151804B2 (en) | Information processing device, information processing method, and program | |
| US10235805B2 (en) | Client terminal and server for guiding a user | |
| KR20170062439A (en) | Control device, control method, and program | |
| JP6276954B2 (en) | Video surveillance system | |
| WO2019142560A1 (en) | Information processing device for guiding gaze | |
| JP2011152593A (en) | Robot operation device | |
| US9729835B2 (en) | Method for switching viewing modes in a camera | |
| US8890979B2 (en) | Methods for processing a composite video image with feature indication | |
| JP6866467B2 (en) | Gesture recognition device, gesture recognition method, projector with gesture recognition device and video signal supply device | |
| JP5813309B2 (en) | Shooting system | |
| WO2020080107A1 (en) | Information processing device, information processing method, and program | |
| WO2016019186A1 (en) | System for providing a view of an event from a distance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160829 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180115 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6276954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |