KR100318330B1 - 감시장치 - Google Patents

Abstract

원격운전 감시 시스템 등에 있어서, 조작자가 조작의 대상(오브젝트)나 조작결과를 직감적으로 파악할 수 있는 영상처리장치다.

표시유니트의 화면에 표시되는 적어도 하나의 해당 오브젝트에 관한 정보를 저장하는 유니트(310,320,2104,2202)와 해당 오브젝트에 대한 정보를 지정유니트(12,2105)와, 해당지정된 정보에 근거해서 저정유니트를 검색하고, 지정된 정보에 대응하는 해당 저장 유니트내의 정보를 얻는 유니트(300,2201)과 해당 얻어진 정보에 근거해서 해당 오브젝트에 관한 처리를 행하는 유니트(20,2103)과를 구비한다.

조작자는 조작대상이나 결과를 용이하게 파악할 수 있다.

Description

감시장치

기술분야

본 발명은, 음향 또는 영상 데이터를 이용한 맨 머신 인터페이스(이하, 간략하게 맨 머신이라 한다)에 관한 것으로, 특히 대상물(오브젝트: object)의 음향 또는 영상 데이터를 사용하여 그 대상물에 관한 처리를 행하는 감시장치에 관한 것이다.

배경기술

원자력 발전소로 대표되는 대규모의 플랜트 시스템을 안전하게 운전하기 위해서는, 적절한 맨 머신을 갖는 운전감시 시스템이 불가결하다. 플랜트는, 조작자의 「감시」「판단」「조작」의 3가지의 작업에 의해 운전 유지된다. 운전감시 시스템은 조작자가 이와 같은 3가지의 작업을 원활히 할 수 있는 땐 머신을 구비할 필요가 있다. 「감시」작업에서는, 플랜트의 상태가 즉각 또는 정확하게 파악될 수 있는 것이 필요하다. 「판단」시에는, 판단의 재료, 근거가 되는 정보를 조작자가 신속히 참조할 수 있어야만 한다. 「조작」시에는, 조작의 대상, 조작의 결과를 직감적으로 알고, 조작자가 의도하는 조작이 정확하면서도 신속하게 실행될 수 있는 조작 환경이 불가결하다.

종래의 운전감시 시스템의 맨 머신을, 「감시」「판단」「조작」의 각 작업마다 개관하여 본다.

(1) 감시

플랜트 내의 상태는, 압력이나 온도 등을 검지하는 각종의 센서로부터의 데이터와, 플랜트의 각 장소에 배치된 비디오 카메라로부터의 영상을 감시함으로써 파악될 수 있다. 각종 센서로부터의 수치는, 그래픽(graphic) 디스플레이 등으로 여러가지 형태로 표시된다. 트렌드 그래프(trend graph) 등이나, 바 그래프(bar graph) 등도 많이 이용되고 있다. 한편, 비디오 카메라로부터의 영상은, 그래픽 디스플레이와는 다른 전용 모니터로 표시되는 경우가 많다. 플랜트 내에는 40개이상의 카메라가 설치된 것도 적지 않다. 조작자는 카메라를 교체하거나 카메라의 방향이나 렌즈를 제어 하면서 플랜트 각처의 감시를 행한다. 통상의 감시업무에서는, 카메라로부터의 영상을 조작자가 보는 경우는 좀처럼 없고, 카메라 영상의 이용율이 낮은 것이 현 상황이다.

(2) 판단

플랜트에 무슨 이상이 발생했을 때에는, 조작자는 센서나 카메라로부터 얻어진 다량의 정보를 종합적으로 조사하여, 플랜트 내에서 무슨 일이 일어나고 있는가를 신속히 정확하게 판단해야만 한다. 현 상태의 운전감시 시스템에서는, 각종 센서로부터의 데이터나, 카메라로부터의 영상이 독립적으로 관리되기 때문에, 그것들을 관련시키면서 참조하는 것이 어렵고, 조작자에게 큰 부담을 주고 있다.

(3) 조작

조작은 조작 테이블상의 버튼이나 레버를 사용하여 행한다. 최근에는, 그래픽 디스플레이와 터치패널(touch pannel)을 조합하여, 화면상에 표시된 메뉴나 도형을 선택함으로써, 조작을 행하도록 하는 시스템도 많아 졌다. 그러나, 조작 테이블상의 버튼이나 레버, 또는 디스플레이 상의 메뉴나 도형이라고 하는 것은, 현장의 사물과는 외떨어진 추상적인 형태로, 조작자가 그것들의 기능이나, 조작의 결과를 상기하는 것이 곤란한 경우가 있다. 즉, 소망하는 조작이 어느 레버를 잡아다니면 가능한 것인가를 바로 알 수가 없거나, 어느 버튼을 누르면 플랜트 내의 어떤 기기에 어떤 조작지령이 보내지는가를 직감적으로 파악하기 어렵다고 하는 문제점이 있다. 또한, 조작 테이블이 카메라 등의 모니터와는 독립적으로 구성되어 있어, 장치가 대형화된다는 문제점도 있다.

상기 (1)에서 기술된 감시작업에 있어서 카메라의 교체, 카메라의 원격조작을 간단하게 하는 종래 기술로서 다음과 같은 것이 있다.

(a) 카메라의 촬영대상을 모사화한 그래픽스를 그래픽 디스플레이에 표시한다. 상기 그래픽스 상에서 촬영장소를 지시한다. 상기 지시에 근거하여 카메라가 원격조작되고, 카메라의 모니터에 소망하는 영상이 표시된다, 이러한 종류의 플랜트 운전감시 시스템의 예로서 특개소 61-73091이 있다.

(b) 운전 또는 감시를 행하는 프로세스 기기를 키보드에 의해 지정하면, 상기 지정된 프로세스 기기의 프로세스 플로우 도면이 그래픽으로 표시되고, 동시에 상기 프로세스 기기를 촬영하고 있는 카메라의 영상이 화면에 표시되도록 한다. 이런 종류의 플랜트 운전감시 시스템의 예로서 특개평 2-224101이 있다.

(c) 플랜트를 촬영하는 카메라의 모니터 화면상에서 지시한 위치에 근거하여, 카메라의 팬(파노라마), 줌, 초점조정 등을 행한다. 예를들면, 모니터 화면상의 상부를 지시하면 카메라가 상측방향으로 팬하고, 모니터 화면의 하부를 지시하면 카메라가 하측방향으로 팬하도록 한다. 이러한 종류의 플랜트 운전감시 시스템의 예로서 특개소 62-226786이 있다.

한편, 일반적으로, 프로세스 제어감시 시스템 등의 감시 시스템에 있어서는, 중앙 관리실에 모니터 장치를 설치하고, 프로세스측에 ITV 카메라(industrial television camera)를 설치하여 프로세스의 상태를 그 카메라에 의해 촬영한 영상을 모니터에 표시함으로써 프로세스의 상황을 시각적으로 감시하는 방법이 채택되고 있다. 이 영상, 음향은 비디오 테이프 등의 기록 매체에 기록된다. 이 영상, 음향은, 이상시 등에는 되감아 재생이 이루어진다.

한편, 프로세스로부터 시시각각으로 보내져오는 제어를 위한 데이터(제어 데이터), 예를 들면 프로세스 데이터(측정 데이터)는 중앙관리실의 모니터나 미터류에 표시되는 동시에, 시스템내의 데이터 베이스에 저장되어, 이상시나 해석이 필요한 때에는 데이터 베이스로부터 끄집어내도록 되어 있다. 이 시스템에 대해서는 특개소 60-93518호 공보의 플랜트 운전 이력 표시방식에서 소개되고 있다.

상술한 바와 같이, 종래의 운전감시 시스템에 있어서는, 하기의 문제점이 있었다.

(1) 조작 테이블상의 키, 버튼, 레버에 의한 원격조작이나, 화면 상의 메뉴나 아이콘을 사용한 원격조작에서는, 현장의 임장감(臨場感)이 전해지기 어려워, 실제의 조작대상이나 조작결과를 직감적으로 알기 어렵고, 오 조작할 가능성이 높다.

(2) 조작자가 직접 카메라의 교체나 원격조작을 해야만 하고, 다수의 카메라를 사용하여 감시를 행하는 경우, 보고 싶은 곳을 촬영해주는 카메라를 간단하게 선택할 수 없다. 또한, 원격에 있는 카메라를 조작하여, 보고 싶은 곳이 잘 보이도록 하는 데에 시간이 걸린다.

(3) 비디오 카메라로부터의 영상을 비치는 화면과, 다른 데이터를 참조하는 화면과, 조작하기 위한 화면 또는 장치가 별개로 되어 있어, 전체의 장치가 커지며, 영상과 다른 데이터의 상호 참조가 어려운 등의 문제가 있다.

(4) 카메라 영상은 임장감을 전하는 효과는 높지만, 정보량이 많고 추상화되어 있지 않아, 조작자가 카메라 영상 내의 구조를 직감적으로 포착하기 어렵다고 하는 결점이 있다. 한편, 그래픽스(graphics)에 의한 표시는 중요한 부분을 강조하고 불필요한 부분을 간략화하여 본질적인 부분만을 추상화하여 표시할 수 있지만, 실제의 사물이나 형상과 동떨어진 표현으로 되어, 조작자가 그래픽 표현과 실제의 사물, 형상과의 관계를 용이하게 상기할 수 없게 될 우려가 있다.

(5) 카메라로부터의 영상정보와, 다른 정보(예를 들면, 압력이나 온도 등의 데이터)가 전부 독립적으로 관리되고 있어, 상호참조가 간단하게 될 수 없다. 이때문에 상황을 종합판단하는 것이 어렵다.

한편, 상기 특개소 61-73091에 나타난 방법에서는, 촬영대상을 그래픽스 상에서 지정하는 것만으로, 복잡한 카메라 조작을 하지 않고 소망하는 영상을 표시할 수 있다는 이점이 있지만, 영상으로 촬용되고 있는 내용(촬영되고 있는 기기 등)을 지시하여, 관련된 영상이나 제어정보를 참조하는 것은 불가능하다. 이 때문에, 조작원이 카메라의 모니터 상에서 이상을 발견하고, 그 이상 부분을 더욱 잘 보고자 할 경우, 그래픽 화면으로 시선을 옮겨, 영상 상에서 발견된 이상 부분에 대응하는 부분을 그래픽 상에서 찾아 고치지 않으면 않된다.

또한, 특개평 2-224101에 나타난 1방법에서는, 키보드로부터 지정된 기기에 관련된 그래픽 표시와 카메라 영상을 동시에 표시할 수 있다고 하는 이점이 있지만, 기기의 지정을 화면 상에서 직접 행할 수가 없다. 이 때문에, 조작원이 카메라의 모니터 상에서 이상을 발견하고, 그 이상부를 더욱 잘 보고려고 생각한 경우, 이상부에 대응하는 키를 키보드 상에서 찾지 않으면 않된다.

더욱이, 특개소 62-226786에 나타난 방법에서는, 조이스틱 등의 입력장치를 사용하지 않고, 영상을 표시하고 있는 화면 상에서 카메라의 조작을 지정할 수가 있지만, 어디까지나 카메라의 팬 방향이나 줌인(zoom-in), 줌 아웃(zoom-out)등의 커맨드를 선택할 수 있는 것에 지나지 않는다. 어느 정도 팬하면, 감시대상이 더욱 보기쉽게 되는가는 조작원이 조절하지 않으면 않되며, 조작의 복잡성은 조이스틱의 경우와 큰 차이가 없다. 또한, 조작의 대상이 한개의 카메라에 한정되어 있기 때문에, 복수의 카메라 중에서 최적의 영상을 선택할 수 없다.

이와 같이, 상기 각 문헌에 나타난 방법에서는, 영상으로 촬영되고 있는 내용(촬영되고 있는 기기 등)을 직접 지시하여, 상기 내용에 관련된 정보(영상이나 제어정보 등의 그래픽 표시 등)를 호출할 수 없다. 이 때문에, 조작원이 자기 스스로 영상으로 비추고 있는 내용에 관련된 정보를 찾아낼 필요가 있다.

한편, 상기한 프로세스 제어 감시 시스템 등의 감시 시스템에 있어서는, 영상 정보나 음향 정보와 프로세스 데이터는 상호 관련되어 있지 않기 때문에, 종래에 재생 또는 해석할 때에는 별개로 재생 또는 해석하지 않으면 않되었다. 예를 들면, 플랜트 상에 이상이 발생한 경우에는, 그것을 계기가 검출하여 버저가 울린다. 그후 프로세스 전체도에서 대응하는 기기를 찾아 그 원인과 대응책을 결정하고, 처치를 한다. 여기서, 그 원인과 고장기기의 추정에는 많은 관련된 데이터, 영상이 필요하므로 대단한 노력이 필요하였다. 비디오를 사용한 해석에 있어서는, 사전에 비디오를 보고 이상이 생길 부근을 찾은 후, 프로세스 데이터에서 그 부근을 조사하는 방법이 사용되거나, 프로세스 데이터에서 이상 시점을 찾아낸 후, 거기까지 비디오를 되감아 재생하는 방법이 사용되고 있다.

그러나, 일반적으로 플랜트 등을 감시하는 ITV 카메라는 복수이고, 그곳으로부터의 영상이 복수의 비디오에 기록되고 있기 때문에, 이상시 등, 해석시에 각 카메라로부터의 영상을 관련시켜서 보기 위해서는 그것들의 비디오 모두를 희망하는 곳까지 되감아 재생하는 등, 조작원의 부담이 컸다.

한편, 데이터 베이스로부터 소망하는 데이터를 잘 끄집어내는 것이 어렵고, 대부분의 경우, 방대한 양의 정보를 프린터로 출력한 후, 그 해석을 조작원이 담당하고 있었다.

이와 같이, 종래의 프로세스 제어 감시 시스템 등의 감시 시스템은 이하와 같은 문제점이 있었다.

(1) 영상, 음향정보를 재생할 때에 프로세스 데이터를 동시에 참조할 수 없었기 때문에, 애써서 영상으로부터 정보를 얻어도 그후의 프로세스 데이터의 검색에 노력과 시간이 걸린다.

(2) 프로세스 데이터를 트렌드 그래프 등으로 표시하고, 조작원이 영상을 참조하고 싶은 시점을 알아도, 영상을 표시하기 위해서는 노력과 시간이 걸렸다. 이 때문에, 신속한 현장의 실제 상황파악이 불가능하였다.

(3) 이상치 등 프로세스 데이터의 탐색을 행한 경우에도, 그 프로세스 데이터에 관한 영상을 표시하는데 노력이 든다.

(4) 기록된 프로세스 데이터를 표시할 때에, 특히 기록된 많은 데이터를 신속하게 보내는 것으로 표시하면 계산기에 많은 부담이 걸렸다.

(5) 데이터의 표시방법에 제한이 있었기 때문에, 자세히 보고싶고, 건너서 보고 싶다고 하는 요구에는 대응할 수 없었다. 특히, 상세하게 보고 해석하는 경우에는, 관련된 영상이나 음향도 슬로우 재생으로 참조하면, 보다 해석에 도움이 되나 이 기능이 없다.

(6) 프로세스의 운전을 결정하는 중요한 요소로서, 조작원의 조작명령이 있지만, 이것들이 재생되지 않으므로, 어떤 조작으로 프로세스의 상태가 바꾸어졌는지 알 수 없었다.

(7) 조작원이 조작한 명령을 기억하고 있어도 그 명령을 탐색할 수가 없었기 때문에, 결국 프로세스 데이터 등을 해석하여 조작명령을 한 시점을 추측하지 않으면 않되었다.

(8) 프로세스 데이터와 영상정보가 관련이 없기 때문에, 비록 영상 상에서 이상이 발견된 경우에도, 그 영상이 무엇을 촬영하고 있는 것이며, 거기에서 어떤데이터를 출력하고 있는가는, 훈련을 쌓은 베테랑 만이 알 수 있어, 그렇지 않은 사람에게는 데이터가 어느 프로세스 장치와 관계하는지 알 수 없었다.

(9) 영상을 표시하는 장소와 프로세스 데이터를 표시하는 장소가 나누어져 있기 때문에, 조작원이 시선을 돌리지 않으면 않되며 시시각각으로 변화하는 데이터, 영상을 동시에 볼 수 없었다.

(10) 종래 사용되는 비디오 테이프는 영상 데이터의 신속한 액세스 등의 관점에서, 그 재생능력에 문제가 있었다. 한편, 광 디스크를 사용하면 신속한 액세스는 가능하지만, 영상 데이터가 대단히 커지므로, 기록하기 위해서는 대용량의 디스크가 필요하였다.

본 발명의 목적은 감시대상의 상황 파악을 용이하게 하는 것이다.

본 발명을 실시한 태양에 따르면, 출력되는 오브젝트에 관한 음성 또는 영상 데이터에 관한 처리를 그 데이터에 관한 정보에 기초하여 행하는 정보 처리방법 및 장치를 제공할 수 있다.

본 발명을 실시한 다른 태양에 따르면 표시수단의 화면에 표시된 적어도 하나의 감시 대상물의 비디오 영상에 관한 처리를 그 감시 대상물에 관한 정보에 근거하여 행할 수 있는 감시장치를 제공할 수 있다.

본 발명을 실시한 다른 태양에 따르면, 감시 대상물(오브젝트)에 관한 제어를 위한 정보와 그 감시대상물에 관한 음성 또는 영상 데이터를 관련시켜 출력하는 감시장치를 제공할 수 있다.

이와 같은 태양으로서, 본 발명의 일면에 의하면 표시 유니트의 화면에 표시되는 적어도 하나의 오브젝트의 비디오 영상에 관한 처리를 행하는 영상처리장치와, 그 오브젝트에 관한 정보를 저장하는 유니트와, 그 정보에 기초하여 그 오브젝트에 관한 처리를 행하는 유니트를 구비하여 구성된다.

다른 태양으로서, 본 발명의 일면에 의하면, 대상물에 관한 제어를 위한 데이터(제어 데이터)를 기억하는 동시에, 그 대상물에 관한 음성 또는 영상 데이터를 기억하는 정보 처리장치는 제어 데이터와 음성 또는 영상 데이터를 관련시키는 유니트와, 그 관련되는 유니트에 기초하여 제어 데이터와 음성 또는 영상 데이터와를 관련시켜 출력하는 유니트를 구비하여 구성된다.

또, 본원의 실시 태양에 따르면 하기의 목적도 달성할 수 있다.

또, 본 발명의 실시 태양에 의하면, 하기의 목적도 달성할 수 있다.

(1) 원격운전 감시시스템 등에 있어서, 조작원이 조작의 대상이나 조작결과를 직감적으로 파악할 수 있도록 하는 것.

(2) 카메라의 선택이나 카메라의 원격조작에 구애받지 않고, 감시하고 싶은 곳의 영상을 간단하게 볼 수 있도록 하는 것.

(3) 원격운전 감시 시스템 등의 소형화, 스페이스 절약화를 도모하는 것.

(4) 카메라 영상과 그래픽스 각각의 장점을 살려 단점을 보완하는 것.

(5) 이종(異種)의 정보를 신속히 상호참조할 수 있도록 하는 것. 예를 들면, 카메라 영상에서 현재 감시하고 있는 부분의 온도를 즉시 참조할 수 있도록 하는 것 등.

(6) 상기 목적을 달성하도록 맨 머신을 간단하게 설계, 개발할 수 있도록 하는 것.

또, 상기 목적 (1)∼(5)는 하기 스텝을 구비하는 방법에 의해 해결된다.

(1) 오브젝트 지정 스텝

화면 상에 표시된 비디오 영상 내의 사물(이하, 오브젝트라 한다)을 포인팅 디바이스(이하, PD라 칭한다) 등의 입력수단을 사용하여 지정한다. 비디오 영상은 원격에 설치된 비디오 카메라로부터 입력하거나, 축적매체(광 비디오 디스크, 비디오 테이프 레코더, 계산기의 디스크 등)로부터 재생한다. 포인팅 디바이스로서는, 예를 들면 터치패널, 타블렛, 마우스, 아이 트랙커, 제스처 입력장치 등을 사용한다. 오브젝트의 지정 전에, 영상 내의 지정 가능한 오브젝트를 그래픽스의 합성표시에 의해 명시하여도 좋다.

(2) 처리실행 스텝

상기 오브젝트 지정 스텝에 의해 지정된 오브젝트에 근거하여 처리를 실행한다. 처리의 내용에는 예를 들면 다음 사항이 있다.

· 지정된 오브젝트를 동작시키는 또는 동작된 경우와 동일한 결과가 되도록 하는 조작지령을 보낸다. 예를 들면, 지정된 오브젝트가 버튼인 경우, 실제로 그 버튼을 눌러내리는 또는 눌러내려진 경우와 같은 결과가 되도록 하는 조작지령을 보낸다.

· 지정된 오브젝트에 근거하여 영상을 교체한다. 예를 들면, 원격에 있는 카메라를 조작하여, 지정된 오브젝트가 보다 잘 보이도록 한다. 카메라의 방향을 움직여서, 영상의 중앙에 지정된 오브젝트가 촬영되게 하거나, 렌즈를 제어하여 지정된 오브젝트가 촬영되도록 한다. 다른 예에서는, 지정된 오브젝트를 또 다른 각도에서 포착한 카메라의 영상으로 교체하거나, 지정된 오브젝트에 관련된 오브젝트를 촬영하고 있는 카메라 영상으로 교체한다.

· 지정된 오브젝트가 명시되도록 그래픽스를 영상 상에 합성 표시한다.

· 지정된 오브젝트에 관련된 정보를 표시한다. 예를 들면, 지정된 오브젝트의 메뉴얼, 메인테넌스 정보, 구조도 등을 표시한다.

· 지정된 오브젝트에 관하여 실행가능한 처리의 일람을 메뉴로 표시한다. 메뉴를 도형으로 표현할 수도 있다. 즉, 몇개의 도형을 영상 상에 합성표시하고, 합성표시된 도형을 PD로 선택하여, 선택된 도형에 근거하여 다음의 처리를 실행한다.

본 발명에 따르면, 상기 목적 (1)은, 영상으로 촬영되고 있는 제어 대상의 위 또는 근방에 상기 제어대상을 제어하기 위한 조작기를 그래픽 표시하는 스텝을 구비한 방법에 의해서도 해결된다.

또, 상기 목적 (2)는 텍스트 또는 그래픽스를 입력하여 탐색키를 지정하는 탐색키 지정스텝과, 상기 탐색키 지정스텝에 의해 지정된 탐색키에 적합한 사물이 표시되고 있는 비디오 영상을 표시하는 영상 탐색스텝을 구비한 방법에 의해서도 해결된다.

본 발명에 따르면, 상기 목적(2)은, 비디오 카메라로부터 입력된 영상을 표시하는 영상표시 스텝과, 상기 영상표시 스텝에 의해 표시된 영상 상에 영역을 지정하는 영역지정 스텝과, 영역지정 스텝에 의해 지정된 영역에 처리를 정의하는 처리정의 스텝을 구비한 방법에 의해서도 해결된다.

화면 상의 비디오 영상 내의 오브젝트를 직접 지정하고, 지정된 오브젝트에 조작지령을 보낸다. 조작자는 오브젝트의 실사(實寫)의 영상을 보면서, 조작지시를 행한다. 조작지시에 의해, 오브젝트에 눈에 보이는 움직임이 있으면 그 움직임은 카메라 영상에 그대로 반영된다. 이와 같이, 실사의 영상에 대하여 직접 조작을 행함으로써, 조작자는 실제로 현장에서 작업하고 있는 감각으로 원격조작할 수 있다. 이것에 의해, 조작자는 조작의 대상이나 조작의 결과를 직감적으로 파악할 수 있고, 오조작을 줄일 수 있다.

화면 상에서 지정된 영상 내의 오브젝트에 근거하여, 카메라를 선택하거나 카메라에 조작지령을 보낸다. 이것에 의해, 영상 내의 오브젝트를 지정하는 것만으로, 그 오브젝트를 감시하는데 최적인 영상을 얻을 수 있다.

즉, 조작자는 보고싶은 것을 지정하는 것만으로, 카메라를 선택 하거나 카메라를 원격조작할 필요가 없다.

영상 내의 오브젝트에 직접 조작을 가할 때에, 영상에 적절히 그래픽스를 합성 표시한다. 예를 들면, 유저가 오브젝트를 지정하면, 어느 오브젝트가 지정된 것인지를 명시하도록 그래픽스 표시를 행한다. 이것에 의해, 조작자는 자신이 의도하는 조작이 확실하게 이루어지고 있는 것을 확인할 수 있다. 또한, 지정된 오브젝트에 대하여 복수의 처리를 실행 가능한 경우에는, 소망하는 처리를 선택하기 위한 메뉴를 표시한다. 이 메뉴는 도형에 의해 구성되는 경우도 있다. 메뉴로서 표시된 도형을 선택함으로써, 조작자는 실제로 오브젝트를 조작하고 있다는 느낌을 보다강하게 가질 수 있다.

화면 상에서 지정된 영상 내의 오브젝트에 근거하여, 정보를 표시한다. 이것에 의해, 영상 내의 오브젝트에 관련된 정보를 오브젝트를 지정하는 것만으로, 참조할 수가 있다. 영상과 다른 정보를 동시에 참조하면서, 상황 판단을 용이하게 내릴 수 있다.

텍스트 또는 도형을 탐색키로서 입력하고, 상기 입력된 탐색키에 적합한 사물이 촬영되고 있는 영상을 표시한다. 텍스트는 키보드 등의 문자입력 장치, 음성 인식장치, 필기체 문자 인식장치 등으로 입력한다. 또한, 도형은 PD를 사용하여 입력하거나, 사전에 어떤 방법으로 작성된 데이터를 입력한다. 또한, 영상 내에 있는 텍스트 또는 도형을 탐색키로서 지정하여도 좋다. 탐색대상의 영상이 카메라 영상인 경우에는, 탐색키에 근거하여 카메라를 선택하고, 다시 카메라의 방향이나 렌즈의 제어를 행하여, 탐색키가 촬영되도록 한다. 탐색키에 적합한 사물이 촬영되고 있는 영상에 그래픽스를 적당히 합성함으로써, 탐색키에 적합한 부분이 영상내의 어디에 있는가를 명시하여도 좋다. 이와 같이, 탐색키에 근거하여 영상을 표시함으로써, 조작자는 보고싶은 것을 언어나 도형으로 표시하는 것만으로, 보고싶은 영상을 얻을 수 있다.

영상을 표시하고, 상기 영상 상에서 영역을 지정하고, 상기 지정된 영역에 대하여 처리를 정의함으로써, 영상 내의 사물이 지정되었을 때에 실행해야 할 처리의 내용을 정의한다. 이것에 의해, 영상 내의 사물을 직접 조작하는 것 같은 맨 머신을 작성할 수 있다.

도면의 간단한 설명

제 1A도는 본 발명의 개념적 구성을 설명하기 위한 블록도.

제 1B도는 본 발명의 각 실시예와 제 1A도의 개념적 구성도의 대응 관계를 설명하기 위한 도면.

제 2도는 본 발명에 따른 영상 또는 정보처리 방법 및 장치를 적용한 본 발명의 일 실시예인 플랜트 감시 시스템의 전체 구성예를 나타낸 도면.

제 3도는 제 2도의 맨 머신 서버의 일례의 하드웨어 구성을 나타낸 도면.

제 4도는 본 실시예의 플랜트 운전 감시 시스템에 있어서 표시화면의 구성예를 나타낸 도면.

제 5도는 표시화면의 도면 표시영역의 화면표시 형태예를 나타낸 도면.

제 6도는 영상 표시영역의 화면표시 형태와 현장과의 대응을 나타낸 도면.

제 7A도, 제 7B도는 오브젝트 지정에 의한 카메라 파라미터 설정의 일례를 나타낸 도면.

제 8A도, 제 8B도는 오브젝트 지정에 의한 카메라 파라미터 설정의 일례를 나타낸 도면.

제 9도는 오브젝트 지정에 의한 버튼 조작의 일례를 나타낸 도면.

제 10도는 오브젝트 지정에 의한 슬라이더 조작의 일례를 나타낸 도면.

제 11A도, 제 11B도는 각각 도형선택에 의한 조작의 일례를 나타낸 도면.

제 12도는 조작 가능한 오브젝트를 명시한 예를 나타낸 도면.

제 13도는 탐색키에 의한 영상 탐색의 예를 나타낸 도면.

제 14도는 3차원 모델의 예를 나타낸 도면.

제 15도는 3차원 모델과 화면 상의 영상과의 관계를 나타낸 도면.

제 16도는 화면 상의 점과 오브젝트와의 관계를 나타낸 도면.

제 17도는 3차원 모델을 이용한 오브젝트 동정처리(同定處理)의 순서를 나타낸 플로우 차트.

제 18도는 실시예의 실현방법의 순서를 나타낸 플로우 차트.

제 19A도, 제 19B도는 2차원 모델과 카메라 파라미터의 관계를 나타낸 도면.

제 20A도, 제 20B도는 2차원 모델과 또 다른 카메라 파라미터의 관계를 나타낸 도면.

제 21A도, 제 21B도는 2차원 모델과 또 다른 카메라 파라미터의 관계를 나타낸 도면.

제 22도는 2차원 모델을 이용한 오브젝트 동정처리의 순서를 나타낸 도면.

제 23도는 카메라 데이터 테이블의 구조를 나타낸 도면.

제 24도는 카메라 파라미터 데이터의 구조를 나타낸 도면.

제 25도는 영역 프레임의 데이터 구조를 나타낸 도면.

제 26도는 2차원 모델 정의 둘의 일례를 나타낸 도면.

제 27도는 오브젝트를 모델화한 도형에 동작을 정의하고 있는 모양을 나타낸 도면.

제 28도는 오브젝트에 관한 설명을 오브젝트의 옆에서 표시한 예를 나타낸 도면.

제 29도는 본 발명의 또 다른 실시예에 따른 감시시스템의 구성을 나타낸 도면.

제 30도는 제 29도의 워크스테이션(workstation)의 구성예를 나타낸 도면.

제 31도는 영상,음성 기록부의 구성예를 나타낸 도면.

제 32도는 디스플레이 표시화면의 일례의 설명도.

제 33도는 디스플레이에 표시하는 트렌드 그래프의 일례의 설명도.

제 34도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 35A도, 제 35B도는 영상, 음성의 재생방향, 속도를 결정하는 비디오 콘트롤러의 설명도.

제 36A도∼제 36G도는 또 다른 실시예에서 사용하는 프로세스 데이터, 영상 데이터 등의 데이터 구조의 설명도.

제 37도는 영상음성 기록부에 영상, 음성을 기록하는 동작예를 나타낸 플로우챠트.

제 38도는 기록된 영상을 표시하는 동작예를 나타낸 플로우 챠트.

제 39도는 본 발명의 또 다른 실시예를 실현하기 위한 동작예를 나타낸 플로우 챠트.

제 40도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 41도는 본 발명의 또 다른 실시예를 실현하기 위한 동작예를 나타낸 플로우 챠트.

제 42도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 43도는 본 발명의 또 다른 실시예를 실현하는 동작예를 나타낸 플로우 챠트.

제 44도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 45도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 46도는 본 발명의 또 다른 실시예를 실현하는 동작예를 나타낸 플로우 챠트.

제 47도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 48도는 본 발명의 또 다른 실시예를 실현하는 동작예를 나타낸 플로우 챠트.

제 49도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 50도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 51도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 52도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 53도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 54도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 55도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 56도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 57도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 58도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 59도는 본 발명의 또 다른 실시예에 있어서의 디스플레이 표시의 설명도.

제 60도는 본 발명의 또 다른 실시예에 있어서의 제어부 내에서의 선택 대상의 결정방법의 설명도.

발명을 실시하기 위한 최량의 형태

본 발명의 실시예를 설명하기에 앞서, 본 발명의 개념을 제 1A도를 사용하여 설명한다. 또한, 제 1B도는 본 개념도의 구성요소와 후술하는 제 1, 제 2실시예의 구성요소의 대응관계를 나타낸 도면이다.

제 1A도에 있어서, 오브젝트 정보 저장부는, 영상출력부(영상 촬영/기록/재생부)가 출력하는 영상에서 촬영되고 있는 플랜트 내의 각종기기(오브젝트)에 관한 정보(기기의 위치, 형상정보, 제어정보, 매뉴얼 정보, 설계정보 등)를 저장한다. 이하에서는, 운전, 감시의 대상이 되는 모든 기기, 장치를 오브젝트라 총칭하는 것으로 한다.

영상 출력부는 현재 촬영중인 플랜트 내의 영상이나 과거에 기록된 영상을 출력한다. 그래픽스 생성부는, 플랜트의 계통도나 각 오브젝트의 제어정보, 매뉴얼 정보 등을 그래픽스로서 출력한다. 그래픽스 생성부로부터의 그래픽스 출력과, 영상 출력부로부터의 영상출력은, 영상/그리픽스 합성부에 의해 합성되어 표시부에 표시된다. 화면위치 지시부에 의해, 표시부 상의 위치가 지정되면, 오브젝트 동정/처리 실행부는 상기 지정위치와 오브젝트 정보 저장부에 기억된 오브젝트 정보에 근거하여 표시부상의 상기 지정위치에 표시된 오브젝트를 동정한다. 다음에, 오브젝트 동정/처리실행부는 상기 동정(同定)된 오브젝트에 대응하는 처리를 실행한다.

예를들면, 영상 출력부를 제어하여 상기 동정된 오브젝트에 관련된 영상을표시부에 표시하거나, 상기 오브젝트에 관련된 제어정보를 오브젝트 정보 저장부로부터 꺼내어, 그래픽스 생성부를 제어하여 상기 끄집어낸 정보를 표시부에 그래픽 표시한다.

즉, 제 1A도에 있어서 오브젝트 정보 저장부는, 표시부의 화면에 표시된 오브젝트에 관한 정보를 저장하고, 일점쇄선으로 둘러싼 부분은 해당 정보에 근거하여 해당 오브젝트에 관한 처리(예를 들면, 화면위치 지시부에 의해 지정된 정보에 대응하는 오브젝트 정보저장부 내의 정보를 동정하는 처리나 해당 정보에 근거하여 그래픽스를 표시하는 처리 등)를 행한다.

오브젝트에 관한 정보로는, 제 1 실시예에서는 오브젝트에 관한 그래픽 정보, 위치정보 등을 표시하는 동시에, 제 2 실시예에서는 오브젝트에 관한 제어를 위한 데이터(제어 데이터 또는 제어정보), 오브젝트에 관한 음향 또는 영상 데이터를 나타내는 동시에, 제어 데이터와 음향 또는 영상 데이터를 관련시켜 정보를 나타낸다.

또한, 제 1A도에서 일점쇄선으로 둘러싼 부분은, 제 2 실시예에 있어서는, 상기 관련된 정보에 근거하여 제어 데이터와 음향 또는 영상 데이터를 관련시킨 것이다.

이하에 본 발명의 실시예를 도면을 참조하여 설명한다.

먼저, 본 발명의 영상 또는 정보처리 방법 및 장치를 적용한 본 발명의 일 실시예(제 1 실시예)인 플랜트 운전감시 시스템을 제 2도∼제 28도를 사용하여 설명한다.

본 실시예의 전체 구성을 제 2도를 사용하여 설명한다.

제 2도에 있어서, 10은 그래픽스나 영상을 표시하는 표시수단이 되는 디스플레이, 12는 디스플레이(10)의 전체면에 부착된 입력수단으로 되는 감압 터치패널, 14는 음성을 출력하기 위한 스피커, 20은 조작자가 플랜트의 감시 및 운전조작을 행하기 위한 맨 머신을 제공하는 맨 머신 서버, 30은 복수의 영상입력 및 복수의 음성입력으로부터 한 개의 영상입력 및 음성입력을 선택하기 위한 스위치, 50은 플랜트 내의 기기를 제어하거나 센서로부터의 데이터를 수집하는 제어용 계산기, 52는 제어용 계산기(50)와 맨 머신 서버(20)나 여타의 단말, 계산기류를 접속하는 정보계 로컬 에리어 네트워크(이하, LAN라 한다)(예를 들면, IEEE 802.3에서 규정되는 것과 같은 LAN), 54는 제어용 계산기(50)와 제어대상인 각종 기기 및 각종 센서를 접속하는 제어계 LAN(예를 들면, IEEE 802.4에서 규정된 것 같은 LAN), 60, 70, 80은 플랜트내의 각처에 배치되어, 피제어물이 되는 오브젝트를 촬영하여 입력하기 위한 산업용 비디오 카메라(이하, 간단히 ITV 카메라라 한다), 62, 72, 82는 제어용 계산기(50)로부터의 지령에 따라 각각 카메라(60, 70, 80)의 방향이나 렌즈를 제어하기 위한 콘트롤러, 64, 74, 84는 각각 카메라(60, 70, 80)에 부착된 마이크, 90, 92는 플랜트 각부의 상태를 알기 위한 각종 센서, 94, 96은 제어용 계산기(50)의 지령에 따라 플랜트내의 각종 기기를 제어하는 액추에이터이다.

감압 터치패널(12)은 PD의 일종이다. 터치패널(12) 상의 임의의 위치를 손가락으로 누르면, 눌려진 위치좌표와 눌려진 압력을 맨 머신 서버에게 보고한다. 터치패널(12)은 디스플레이(10)의 전체면에 부착된다. 터치 패널(12)은 투명하여, 터치패널(12)의 뒤에 있는 디스플레이(10)의 표시내용을 볼 수 있다. 이것에 의해, 조작자는 디스플레이(10)상에 표시된 오브젝트를 손가락으로 접촉하는 감각으로 지정할 수가 있다. 본 실시예에서는, 터치 패널(12)의 조작으로서 (1) 가볍게 누른다, (2) 강하게 누른다, (3) 드래그(drag)한다, 라는 3종류를 사용한다.

드래그하는 것은, 터치패널(12)을 손가락으로 누른채 손가락을 움직이는 것을 말한다. 본 실시예에서는 PD로서 감압 터치패널을 사용했지만, 다른 디바이스를 사용하여도 좋다. 예를 들면, 감압이 아닌 터치패널, 타블렛, 마우스, 라이트펜, 아이 트랙커, 제스처 입력장치, 키보드 등을 사용 하여도 좋다.

카메라(60, 70, 80)에서 촬영되고 있는 복수의 영상은, 스위치(30)에서 한 개로 선택되어 맨 머신 서버(20)를 거쳐 디스플레이(10)상에 표시된다. 맨 머신서버(20)는 RS232C 등의 통신포트를 통해 스위치(30)를 제어하여, 소망하는 카메라로부터의 영상을 선택한다. 본 실시예에서는, 영상을 선택하면, 동시에 마이크(64, 74, 84) 등으로부터의 입력음성도 선택된다. 즉, 카메라를 선택하면, 선택된 카메라에 부수적인 마이크로부터의 입력에 음성도 교체된다. 마이크로부터 입력된 음성은 스피커(14)로부터 출력된다. 물론, 마이크와 카메라로부터의 입력을 독립하여 교체하는 것도 가능하다. 맨 머신 서버(20)는 카메라로부터의 영상에 그래픽스를 합성할 수 있다. 또한, 맨 머신 서버(20)는 정보계 LAN(52)를 거쳐 제어용 계산기에 조작지령을 보내 카메라의 촬영방향, 자세, 화각(畵角), 위치를 지정한다. 이 카메라의 촬영방향, 자세, 화각, 위치 등 카메라에 관한 파라미터를 카메라 파라미터라 칭하기로 한다.

더욱이, 맨 머신 서버는, 조작자의 지령에 따라, 제어용 계산기(50)를 거쳐 센서(90, 92)등으로부터 데이터를 입력하거나, 액추에이터(94, 96) 등을 원격조작한다. 맨 머신서버(20)는, 액추에이터에 조작지령을 보냄으로써, 플랜트내의 각종기기의 동작이나 기능을 제어한다.

제 3도를 사용하여 맨 머신 서버의 구성을 설명한다.

제 3 도에 있어서, 300은 CPU(central processing unit), 310은 메인 메모리, 320은 디스크, 330은 PD, 터치패널(12), 스위치(30) 등을 접속하기 위한 입출력장치(I/O), 340은 CPU(300)에 의해 생성된 표시 데이터를 저장하는 그래픽스용 프레임 버퍼, 360은 입력된 아날로그의 영상정보를 디지털화하는 디지타이저, 370은 디지타이저(360)의 출력인 디지털화된 영상정보를 기억하는 비디오용 프레임 버퍼, 380은 그래픽용 프레임 버퍼(340)와 비디오용 프레임 버퍼(370)의 내용을 합성하여 디스플레이(10)에 표시하는 블렌드 회로이다.

카메라로부터 입력된 영상정보는 맨 머신 서버(20)에서 생성된 그래픽스와 합성된 후, 디스플레이(10)에 표시된다. 그래픽용 프레임 버퍼(340)에는 디스플레이(10)상의 각 화소에 대응하여, 적(R), 녹(G), 청(B)의 각 색상의 데이터와, α 값이라 불리우는 데이터를 갖는다. α 값은 비디오용 프레임버퍼(370)내의 영상정보와 그래픽용 프레임버퍼(340)내의 그래픽 표시 데이터의 합성 방법을 디스플레이(10)의 각 화소마다에 지정한다. 블렌드 회로(380)의 기능은,

d= f(g, v, α)

로 표시된다.

단, g와 α는 각각 그래픽용 프레임 버퍼(340)내의 한 개의 화소의 색 정보와 α값이며, v는 비디오용 프레임 버퍼(370)내의 g에 대응 하는 위치에 있는 화소의 색 정보, d는 g와 v를 합성한 결과의 화소의 색 정보이다. 본 시스템에서는 함수 f로서는 하기 식을 사용한다.

f(g,v,α) = [{αg + (255-α)v}/255]

단, f, g, v, α는 정수, 또한,

0≤f, g, v, α≤255

이다.

또한, [ ]는 소수점 이하를 4사5입하는 것을 표시하는 기호이다. 물론, 함수 f로서 다른 것을 사용하여도 좋다.

그래픽응 프레임 버퍼(340)는 소위 더블버퍼라 불리우는 구성으로 되어 있다. 더블 버퍼는, 2화면 분의 버퍼를 지니고, 디스플레이(10)에 표시하는 버퍼를 수시로 선택할 수 있다. 디스플레이(10)에 표시되어 있는 쪽의 버퍼를 표면버퍼, 표시되지 않는 폭의 버퍼를 이면 버퍼라 부르기로 한다. 표면 버퍼와 이면 버퍼의 교체는 순간적으로 할 수 있다. 이면 버퍼에 그래픽스 묘화(描畵:묘사하여 그림으로 나타냄)하고, 묘화가 종료한 시점에서 이면 버퍼를 표면 버퍼로 교체함으로써 묘화시의 어른거림을 적게할 수 있다.

어느쪽의 버퍼의 내용도 CPU로부터 수시로 판독하거나 기록할 수 있다.

본 실시예에서는, 상기한 것 같이, 맨 머신 서버(20)내에서 영상 정보를 디지털화한 후, 그래픽스와 합성하는 방법을 사용하지만, 영상정보와 그래픽스를 아날로그 신호의 레벨로 합성하는 외부장치를 사용하여, 맨 머신 서버(20)로부터 출력된 비디오 신호와, 카메라(60) 등으로부터의 텔레비 신호를 합성하여 디스플레이(10)에 표시하여도 좋다. 맨 머신 서버(20)와 같은 계산기와, 카메라(60) 등으로부터의 텔레비 신호를 합성하는 장치(영상 합성 장치라 하기로 한다)는 이미 시판되고 있다.

또한, 본 실시예에서는, 그래픽스와 영상을 동일 디스플레이[디스플레이(10)]에 표시하고 있지만, 그것들을 별개의 디스플레이로 표시하여도 좋다. 예를 들면, 맨 머신 서버(20)에 정보계 LAN(52)을 거쳐 그래픽 단말을 접속하고, 상기 영상합성 장치를 사용하여 카메라로부터의 영상정보를 전체면에 표시한다. 맨 머신 서버(20)에서 생성된 그래픽스는 주로 디스플레이(10)에 표시된다. 그래픽 단말에는 감압 터치패널(12)과 같은 터치패널 또는 마우스 등의 포인팅 디바이스를 장착한다. 맨 머신 서버(20)는 사전에 정해진 프로토콜에 따라 그래픽 정보를 그래픽단말에 출력함으로써, 그래픽 단말에 표시된 영상 상에 그래픽스를 겹쳐서 표시할 수 있다. 이와 같이 영상정보를 디스플레이(10)와는 별개의 그래픽 단말에 표시함으로써, 보다 많은 그래픽스 정보를 디스플레이(10)에 표시할 수 있게 된다.

제 4도에 디스플레이(10)의 표시화면 구성의 일례를 나타낸다, 제 4도에 있어서, 100은 디스플레이(10)의 표시화떤, 110은 시스템 전체에 관한 커맨드를 지정하기 위한 메뉴영역, 150은 센서로부터의 데이터나 프랜트에 관한 여러가지의 자료나 데이터를 표시하기 위한 데이터 표시영역, 130은 플랜트 전체나 각 부분의 구성도, 구조도, 설계도면 등을 표시하는 도면표시영역, 200은 카메라로부터 입력된 영상을 표시하는 영상 표시영역이다.

제 5도는 도면 표시영역(130)의 표시형태의 일례이다. 제 5도에 있어서, 132는 센서가 설치되어 있는 장소를 명시하는 커맨드를 발행하기 위한 메뉴, 134는 조작자가 지정한 도면상의 한 개의 오브젝트이다. 조작자가 도면 표시영역(130)에 표시된 도면 내의 오브젝트를 선택하면, 그 오브젝트에 관련된 센서로부터의 정보가 데이터 표시영역(150) 또는 영상 표시영역(200) 상에 표시된다. 예를 들면, 지정된 오브젝트에 관련된 센서로서, 카메라가 정의되어 있으면, 그 카메라로부터 입력된 영상이 영상표시 영역(200)에 표시된다. 또한, 예를 들면, 지정된 오브젝트에 관련된 센서로서 유압센서가 정의되어 있는 경우에는, 현재의 유압치를 명시하는 그래픽스나 지금까지의 유압치의 변화를 나타내는 트렌드 그래프가 데이터 표시영역(150)에 표시된다. 터치패널(12)상을 손가락으로 강하게 누르면, 눌려진 위치에 표시되어 있는 도면 상의 오브젝트가 지정된다. 지정된 오브젝트에 관련된 센서가 정의되어 있지 않은 경우에는 아무 것도 일어나지 않는다. 제 5도에서는 오브젝트(134)의 표시위치를 손가락으로 강하게 누른 곳을 나타내고 있다.

오브젝트는 손가락으로 눌려지면, 오브젝트가 지정된 것을 조작자가 확인할 수 있도록 강조 표시된다. 제 5도에 나타낸 예에서는, 오브젝트(134)에는 오브젝트(134)를 촬영하는 카메라(60)와, 오브젝트(134)의 주위의 음향을 입력하기 위한 마이크(64)가 관련된 센서로서 정의되어 있어, 오브젝트(134)가 지정되면, 영상표시 영역(200)에 오브젝트(134)를 촬영한 영상이 표시되고, 스피커(14)로부터는오브젝트(134) 주위의 음향이 출력된다.

제 6도에 오브젝트(134)가 도면표시 영역(130) 상에 지정된 때의 영상표시 영역(200)의 일 표시형태와, 플랜트 내에 배치된 오브젝트(134)와의 대응관계를 나타낸다. 제 6도에 있어서, 202∼210은 현재 표시되고 있는 영상을 촬영하고있는 카메라의 카메라 파라미터를 설정하기 위한 메뉴, 220은 영상 내의 지정 가능한 오브젝트를 명시하기 위한 메뉴이다. 202는 카메라의 방향을 설정하기 위한 메뉴이다. 메뉴(202)를 선택함으로써, 카메라를 좌우로 팬시키거나 상하로 팬시킬 수 있다. 204는 카메라의 화각을 제어하여 영상을 줌인(zoom-in)하기 위한 메뉴, 206은 카메라의 화각을 제어하여 영상을 줌 아웃하기 위한 메뉴, 208은 카메라 파라미터를 한 개 앞의 카메라 파라미터로 설정하여 고치기 위한 메뉴, 210은 최초의 카메라 파라미터로 설정하여 고치기 위한 메뉴이다.

400∼424는 오브젝트(134)에 부수적인, 또는 주변에 있는 각종 오브젝트이다. 400은 밸브, 410, 420은 오브젝트(134) 상에 기록된 문자표시, 412는 전압을 표시하는 미터, 414는 전원을 넣기 위한 버튼, 416은 전원을 끊기 위한 버튼, 422는 유압을 표시하는 미터, 424는 유압을 조절하는 슬라이더의 손잡이이다. 밸브(400), 버튼(414, 416), 손잡이(424)는 실제로 손으로 조작할 수 있는 조작기인 동시에, 맨 머신 서버(20)로부터 조작지령을 보냄으로써 원격 조작도 가능한 조작기이다.

영상표시 영역(200) 내를 조작자가 손가락으로 가볍게 누르면, 손가락의 위치에 표시되어 있는 오브젝트를 보기 쉽도록 카메라 워크가 설정된다. 제 7A도, 제7B도는 영상표시영역(200)에서 미터(412)에 손가락으로 가볍게 접촉하면, 미터(412)가 영상의 정 중앙에 오도록 카메라 파라미터가 설정되는 상태를 나타내고 있다. 제 7A도와 같이 미터(412)가 조작자에서 지정되면, 미터(412)가 영상의 중앙에 촬영되도록 카메라(60)의 방향이 설정되고, 다시 미터(412)가 줌인되도록 카메라(60)의 렌즈가 제어되어, 영상이 제 7B도에 도시된 것 같이 변화한다. 조작자는 간단하게 화면 상에서 오브젝트에 접촉하는 것만으로, 그 오브젝트가 보다 확실히 보이도록 카메라 파라미터를 설정할 수 있고, 카메라의 원격조작에 번거로움이 없다. 제 7A도에 있어서, 502는 미터(412)가 지정된 것을 명시하기 위한 그래픽 에코이다.

그래픽 에코(502)는 조작자가 터치패널(12)로부터 손가락을 떼면 소거된다. 이와 같이, 카메라 영상 상에 그래픽의 표시를 합성함으로써, 맨 머신 인터페이스를 개선할 수 있다.

제 8A도, 제 8B도는 영상표시 영역(200)에서 밸브(400)에 손가락으로 가볍게 접촉하면, 밸브(400)가 영상의 정 중앙에 오도록 카메라 워크가 설정되는 상태를 나타내고 있다. 제 8A도와 같이 밸브(400)가 조작자에서 지정되면, 제 8B도에 도시된 것 같이 밸브(400)가 중앙으로 크게 촬영되도록 하는 영상으로 변화한다. 제 8A도에 있어서, 504는 밸브(400)가 지정된 것을 명시하기 위한 그래픽 에코이다. 그래픽 에코(504)는 조작자가 터치패널(12)로부터 손가락을 떼면 소거된다.

다른 오브젝트(410, 414, 416, 420, 422, 424)에 관해서도 동일한 조작이 가능하다.

영상표시 영역(200) 내를 조작자가 손가락으로 강하게 누르면, 손가락의 위치에 표시되어 있는 오브젝트를 조작할 수 있다. 제 9도∼제11도에 오브젝트를 조작하는 예를 나타낸다.

제 9도는 버튼(414)를 조작하는 예를 나타내고 있다. 영상표시 영역(200)상에서, 버튼(414)이 표시되어 있는 위치를 손가락으로 강하게 누르면, 맨 머신 서버(20)로부터 제어용 계산기(50)를 거쳐 원격에 있는 버튼(414)을 조작하는 액추에이터에 버튼(414)을 눌러내리라고 하는 조작지령이 보내져, 원격의 현장에 있는 버튼(414)이 실제로 눌러내려진다. 버튼(414)이 눌러내려져, 그 결과로서 미터(412)의 바늘이 흔들리는 모양은 카메라(60)에 의해 영상표시 영역(200)에 촬영되어진다. 이것에 의해, 조작자는 화면상에서 실제로 버튼을 눌러내린 것과 같은 감각을 얻는다.

제 10도는 터치패널(12) 상에서의 손가락의 드래그에 의해, 슬라이더의 손잡이(424)를 조작하는 예를 나타내고 있다. 영상표시 영역(200)상에서, 버튼(414)이 표시되어 있는 위치를 강하게 손가락으로 누르면서 손가락을 옆으로 움직이면, 영상으로 촬영되고 있는 손잡이(424)도 손가락의 움직임에 맞추어 움직인다. 손잡이(424)가 움직인 결과, 미터(422)의 바늘도 움직인다. 이때, 맨 머신 서버(20)는, 손가락이 움직일 때마다 제어용 계산기(50)를 거쳐 손잡이(424)를 제어하는 액추에이터에 지령을 보내, 손가락의 움직임에 맞추어 손잡이(424)를 실제로 움직인다. 이것에 의해, 조작자는 자신의 손가락으로 손잡이(424)를 실제로 움직이고 있는 것 같은 감각을 얻는다.

제 9도∼제 10도와 같이, 영상으로 촬영되고 있는 조작기(414, 424) 등을 영상 상에서 직접 조작하는 이점은 아래와 같다.

(1) 조작실에 있으면서도 현장에 있는 감각으로 조작할 수 있다. 영상은 현장의 기기의 배치나 기기의 분위기(형상, 색 등)를 있는 그대로 전할 수가 있다. 이 때문에, 각 기기의 기능이나 그것을 조작하면 무엇이 일어나는지 등을 추측, 학습, 상기하는 것이 용이하다. 예를 들면, 제 9도에 있어서 버튼(414)을 누르면, 기기(134)의 전원이 들어간다는 것은 용이하게 추측할 수 있다.

(2) 조작의 결과로서 현장에서 무엇이 일어나는가를 눈으로 볼 수 있다.

예를 들면, 버튼(414)을 눌렀을 때 기기(134)로부터 연기가 나오면 운전원은 바로 그 연기를 볼 수 있고, 무엇인가 오조작을 한 것을 알게 된다.

종래의 그래피컬 맨 머신 인터페이스에서는, 조작기는 그래픽스로 표현된다. 그래픽스로 표현될 때에는, 추상화, 간략화, 과장이 이루어지기 때문에, 실제의 기기와 그래픽스 표현의 대응이 곤란하다. 화면의 크기도 한정되어 있기 때문에, 그래픽스는 현장의 기기의 실제의 배치와는 관계없이 배치된다. 이 때문에, 그래픽 조작기가 현장의 어느 기기를 제어하는지 직감적으로 이해하기 힘들다. 또한, 조작 결과도 그래픽스로 표현되기 때문에 이상을 직감적으로 파악하기가 어렵다.

제 11A도는 조작대상의 오브젝트 위 또는 그 근방에 합성 표시된 그래픽스를 조작함으로써, 오브젝트를 조작하는 예를 나타낸다. 제 11A도에 있어서, 510, 520은 조작자가 밸브(400)의 표시위치를 손가락으로 강하게 눌렀을 때에 영상으로 합성표시되는 그래픽스이다.

조작자가 도형(510)을 강하게 손가락으로 누르면, 맨 머신 서버(20)는 제어용 계산기(50)를 통해 액추에이터에 조작지령을 보내 밸브(400)를 좌측으로 회전시킨다. 역으로, 그래픽스(512)를 강하게 손가락으로 누르면, 맨 머신 서버는 밸브(400)를 우측으로 회전시키는 조작지령을 액추에이터에 보낸다. 밸브(400)가 회전하는 상태는 카메라(60)에 의해 촬영되어 영상표시영역(200)에 비춰진다.

밸브(400)의 회전에 맞추어 그래픽스(510, 512)의 표시를 회전시켜도 좋다. 도형(510, 512)과 같이 조작을 위해 화면 상에 표시된 그래픽스를 그래픽스 조작기라 부르기로 한다.

그래픽스 조작기(graphic control device)의 또 다른 예를 제 11B도에 나타낸다. 제 11B도에 있어서, 426은 오브젝트(134)의 하부에 접속된 파이프, 800은 영상 상에 그래픽스로서 합성표시된 슬라이더, 810은 슬라이더(800)의 조작 손잡이, 428은 파이프(426) 상에 합성표시된 그래픽스로 파이프(426) 내의 유량의 변화를 나타낸다. 조작자가 영상표시 영역(200) 상에서 파이프(426)을 강하게 누르면, 슬라이더(800)가 파이프(426)의 근방에 합성 표시된다. 또한, 현재의 파이프 유량을 나타내는 그래픽스(428)가 파이프(426) 상에 합성 표시된다. 그래픽스(428)는 파이프(426) 내의 유량에 따라 예를 들어 그 폭과 색이 변화한다. 유량이 많아지면 폭이 넓어지고, 적어지면 좁아진다. 조작자가 손가락으로 슬라이더(800)의 손잡이(810)를 드래그 하면, 손잡이(810)의 이동에 따라 파이프(426) 내의 유량을 제어하는 지령이 맨 머신 서버(20)로부터 제어용 계산기(50)에 보내진다.

또한, 계산기로부터 액추에이터, 예를 들면 펌프에 조작지령이 보내져 펌프를 제어한다. 이것에 의해 파이프(426)내의 유량이 변화하면, 그 변화에 따라 그래픽스(428)의 표시형태가 변화한다.

제 11A도, 제 11B도와 같이, 그래픽 조작기를 감시영상으로 비추고 있는 기기의 위 또는 근방에 합성표시하는 이점은 아래와 같다.

(1) 그래픽 조작기에 의해 실제로 제어되는 기기가 현장의 어느 기기인가를 운전원에게 암시할 수 있다. 제 11A도의 예에서는, 그래픽 조작기(510, 512)가 합성표시된 밸브(400)를 제어하는 것은 조작원에게는 간단하게 추측할 수 있고 기억하는 것도 용이하다. 제 11B도의 예에서는, 슬라이더(1800)가 가깝게 비추고있는 파이프(426) 내의 유량을 제어한다고 하는 것은 추측이 용이하다.

(2) 제어대상의 기기의 상태를 보면서 조작할 수 있다. 제 11B도의 예에있어서, 그래픽 조작기(1800)를 조작 중에, 파이프(426)에 균열이 생기거나 액의 누출이 발생하면, 운전원은 그것을 눈으로 확인할 수 있어, 신속하게 오 조작이나 이상을 알 수가 있다.

종래의 그래피칼 맨 머신 인터페이스에서는, 그래픽 조작기는 현장의 기기와는 관계없이 화면 상에 배치되어 있기 때문에, 그래픽 조작기가 실제에 현장의 어느 기기를 제어하는가를 알기 어려웠다. 또한, 그래픽 조작기가 표시되어 있는 장소와, 현장의 감시영상이 표시되어 있는 장소가 떨어져 있기 때문에, 현장의 상태를 보면서 조작하는 데에는 몇번이고 시선을 돌려야만 하였다.

제 11B도에서는 파이프(426)의 영상 위에 그래픽스(426)를 합성표시하여 파이프(426)의 유량을 나타내고 있다. 이와 같이, 영상으로 촬영되고 있는 기기 위에그래픽스를 합성함으로써, 기기의 내부상태 등의 영상에는 촬영되지 않는 정보를 보충할 수 있다. 이것에 의해, 예를 들면, 기기의 내부상태와 외부상태를 동시에 참조할 수 있어, 기기의 상태를 종합적으로 감시, 판단할 수 있게 된다.

제 12도에 조작 가능한 오브젝트를 명시하는 방법을 나타낸다. 영상으로 촬영되고 있는 사물 모두가 조작가능하다고는 한정할 수 없으므로, 조작 가능한 오브젝트를 명시하는 수단이 필요하게 된다. 제 12도에 있어서, 메뉴(220)를 손가락으로 가볍게 접촉하면, 그래픽스(514∼524)가 표시된다. 그래픽스(514∼524)는 각각 오브젝트(400, 412, 414, 416, 422, 424)가 조작가능한 것을 명시한다. 본 실시예의 경우는, 오브젝트의 외삽구형(外揷短形)을 표시하고 있다. 물론, 오브젝트의 명시에는, 보다 더 실물에 가까운 그래픽스를 표시하는 등 다른 여러가지의 표시방법이 고려된다.

더욱이, 조작 가능한 오브젝트 뿐만 아니라, 모든 오브젝트를 명시하는 수단을 별도 설치하여도 좋다. 예를 들면, 메뉴(220)를 강하게 누르면 영상으로 촬영되고 있는 오브젝트 전체를 명시하도록 하여도 좋다.

상기 오브젝트 명시수단은, 조작 가능한 오브젝트를 명시할 수 있을뿐만 아니라, 예를 들면 연기나 증기 등의 시선을 방해하는 것 같은 것이 발생했을 때에도 조작이나 사고원인의 규명이 가능하다. 조작대상의 오브 젝트가 연기에 갖혀도 조작대상이 되는 오브젝트가 그래픽스에 의해 명시되므로, 조작이 가능하다. 또한, 어디에 어떤 기기가 있는지를 알기 때문에, 연기의 발생원을 찾아내는 것도 가능하다.

제 13도에 텍스트를 입력하여 그 텍스트가 표시되어 있는 영상을 탐색하는 예를 나타낸다. 제 13도에 있어서, 530은 영상으로 합성표시된 그래픽스, 600은 텍스트 탐색을 실행하기 위한 탐색 시트, 610은 탐색키에 의해 적합한 또 다른 영상을 탐색하기 위한 다음 메뉴, 620은 탐색을 종료 하는 것을 지정하기 위한 종료메뉴, 630은 탐색키에 입력하기 위한 텍스트 입력 영역이다. 메뉴영역(110)에서 탐색을 지정하는 메뉴를 선택하면, 탐색 시트(600)가 표시화면(100) 상에 표시된다.

텍스트 입력영역(630)에 키보드로부터 탐색키가 되는 텍스트를 입력하여 리턴키를 누르면, 탐색이 개시된다. 맨 머신 서버는 탐색키를 포함하도록 사물을 촬영하는 카메라를 탐색하고, 탐색된 카메라를 탐색키가 확실히 보이도록 카메라워크로 설정하여, 탐색된 카메라로부터의 영상을 영상표시 영역(200)에 표시한다. 영상 내의 탐색키에 적합한 부분에는 그래픽스(530)를 합성 표시하고, 탐색키에 적합한 부분을 명시한다. 텍스트를 탐색키로 한 영상탐색에 의해, 조작자는 언어에 의해 감시하고자 하는 사물을 비쳐낼 수가 있다. 이 방법에서는, 카메라를 교체하거나 카메라의 원격조작을 하지 않고, 신속하게 감시대상을 찾아 낼 수가 있다. 본 실시예에서는 텍스트의 입력에 키보드를 사용하고 있지만, 음성 인식장치나 필기체 문자 인식장치 등 다른 입력수단을 사용하여도 좋다. 또한, 본 실시예에서는, 탐색키로서 테스트를 사용하였지만, 탐색키로서 도형을 사용하여 탐색키의 도형과 적합하도록 도형이 표시되어 있도록 영상을 탐색하도록 하여도 좋다.

본 실시예의 실현방법을 제 14도 내지 제 25도를 사용하여 설명한다.

본 실시예의 주된 기능은, 영상 내의 오브젝트를 지정하고, 그 오브젝트에근거한 동작을 실행하는 기능에 있다. 이 기능을 실현하는 프로그램의 흐름도를 제 18도에 나타낸다. 영상표시 영역(200)상에서 터치패널(12)이 눌려지면, 그 눌려진 위치(조작자가 터치패널 등의 PD를 사용하여 지정된 화면상의 위치를 이벤트 위치라 부르기로 한다)에 비춰지고 있는 오브젝트를 동정한다(스텝 1000). 오브젝트가 동정된 경우(이벤트 위치에 오브젝트가 존재하는 경우)(스텝 1010), 그 오브젝트에 대응하여 정의되어 있는 동작을 실행한다(스텝 1020).

이벤트 위치에 비추고 있는 오브젝트는, 촬영대상의 모델과 카메라 파라미터를 참조하여 동정한다. 촬영대상의 모델은, 촬영대상으로 되어 있는 오브젝트의 형상이나 위치에 관한 데이터이다. 촬영대상의 모델은 맨 머신 서버(20)의 디스크(320)에 보존되어, 플랜트 운전감시 시스템의 가동시에 메인 메모리(310)에 읽어올려진다. 카메라 파라미터는, 촬영대상의 오브젝트를 카메라가 어떻게 촬영하고 있는가, 즉 카메라의 위치, 자세, 화각, 방향 등의 데이터이다. 카메라에 현재 설정되어 있는 카메라 파라미터의 값은 카메라 제어용 콘트롤러에 문의하면 알게된다. 물론, 카메라 파라미터를 맨 머신 서버(20)에서 관리해도 좋다. 즉, 맨 머신 서버(20)의 메인 메모리(310)에 카메라 파라미터의 현재값을 기억하는 영역을 확보하고, 맨 머신 서버(20)가 카메라를 원격조작할 때마다, 메인 메모리(310)에 기억된 카메라 파라미터의 값을 갱신한다. 물론, 플랜트 운전감시 시스템 가동시에는 맨 머신 서버(20)로부터 모든 카메라의 파라미터를 초기 설정하여 놓는다.

촬영대상의 모델화의 방법에는 여러가지 것이 고려된다. 본 실시예에서는, (1) 3차원 모델, (2) 2차원 모델의 2가지 모델을 병용한다. 상기 2가지 모델의 개요와 장점, 단점을 아래에서 종합한다.

(1) 3차원 모델

촬영대상의 형상이나 위치를 3차원 좌표계로 정의한 모델. 장점은 임의의 카메라 파라미터에 대응하여 오브젝트를 동정할 수 있는 점. 즉, 카메라를 자유롭게 조작하면서 오브젝트를 조작할 수 있다. 단점은, 모델을 3차원 공간으로 정의해야만 하므로, 모델의 작성 및 오브젝트의 동정처리가 2차원(2D) 모델에 비해서 복잡하게 되는 점. 단, 최근에는 플랜트의 설계나 플랜트내의 장치의 설계, 배치에 CAD(computer aided disign)를 이용하는 경우도 많고, 그것들의 데이터를 유용하면 3차원 모델의 작성을 용이하게 할 수 있다.

(2) 2차원 모델

특정한 카메라 파라미터마다, 2차원 좌표계(디스플레이 평면)로 오브젝트의 형상이나 위치를 정의하는 모델. 장점은 모델의 작성이 용이한 점. 화면상에서 도형을 그리는 요령으로 모델을 정의할 수 있다.

단점은, 사전에 모델을 정의하고 있는 카메라 파라미터의 영상에 대해서만 조작할 수 없는 점. 카메라 조작의 자유도를 올리는 데에는, 보다 많은 카메라 파라미터 마다, 대응하는 평면상에서 오브젝트의 형상이나 위치를 정의할 필요가 있다. 많은 운전감시 시스템에서는, 사전에 감시하는 장소가 몇 개의 장소로 결정되어 있는 경우가 많다. 그 경우에는, 카메라 파라미터도 몇 종류로 정하기 때문에, 2차원 모델의 단점은 문제가 되지 않는다.

3차원 모델에 근거하여 오브젝트를 동정하는 방법을 제 14도 내지 제 17도를사용하여 설명한다. 제 6도에 도시된 카메라(60)의 촬영대상을 3차원 직교 좌표계 xyz(세계 좌표계라 칭한다)으로 모델화한 예를 제 14도에 나타낸다. 여기서는, 각 오브젝트의 형상을 평면, 직방체, 원통 등으로 모델화하고 있다. 물론, 구(球)나 사면체 등 보다 많은 종류의 3차원 기본형상을 사용하여도 좋다. 또한, 기본형상의 조합 뿐만 아니라, 보다 정밀한 형상모델을 사용하여도 좋다. 조작대상이 되는 오브젝트(400, 410, 412, 414, 416, 420, 422, 424)는 모델 상에서는 각각 평면(800, 810, 812, 814, 816, 820, 822, 824)으로서 모델화되어 있다.

제 15도를 사용하여 카메라에 의해 촬영된 영상과 3차원 모델의 대응관계를 설명한다. 카메라에 의한 촬영은, 3차원 공간내에 배치된 오브젝트를 2차원 평면[영상표시 영역(200)]에 투영하는 조작이다. 즉, 영상표시영역(200)에 표시된 영상은 2차원 공간내에 배치된 오브젝트를 2차원 평면에 투시 투영한 것이다.

화면 상에 잡힌 2차원 직교 좌표계 Xs, Ys를 화면 좌표계라 칭하면, 카메라에 의한 촬영은 세계(世界) 좌표계 상의 일점(x, y, x)을 화면 좌표계 상의 일점(Xs, Ys)에 사상하는 식 (1)로서 방정식화할 수 있다.

식 (1)에 있어서 행렬 T를 뷰 변환행렬이라 부른다. 뷰 변환 행렬 T의 각 요소는, 카메라 파라미터(카메라의 위치, 자세, 방향, 화각) 및 영상표시영역(200)의 크기가 주어지면 결정된다. 카메라 파라미터는 세계 좌표계로 주어진다. 제 15 도에 있어서, 카메라의 위치는 렌즈의 중심 Oe의 좌표, 카메라의 자세는 벡터 OeYe,카메라의 방향은 벡터 OeZe에 대응한다.

오브젝트의 동정처리는 화면 좌표계 상의 일점 P가 지정되었을 때에, 세계 좌표계 상의 어느 점이 화면 좌표계 상의 점 P에 투영되었는지를 결정하는 처리이다. 제 16도에 나타낸 것 같이, 카메라의 렌즈 중심 Oe와 화면 좌표계 상의 점 P를 연결한 직선의 연장선상에 있는 점은 모두 점 P에 투영된다. 그 직선상의 점중에, 카메라에 의해 실제로 영상표시 영역(200)상에 투영된 점은 렌즈의 중심 Oe에 가장 가까운 오브젝트(1)와 직선과의 교점이다.

제 16도에 있어서는, 오브젝트(1)와 직선(840)과의 교점 P1이 카메라에 의해 영상표시 영역(200) 상의 일점 P에 투영된다. 즉, 이벤트 위치를 P라고 하면, 오브젝트(10)가 동정되게 된다.

카메라 파라미터로부터 뷰 변환행열 T를 구하는 기술이나 뷰변환 행렬 T에 근거하여 세계 좌표계로 정의된 모델을 화면 좌표계로 투시 투영하여 표시하는 기술은 그래픽스 분야에서는 잘 알려진 기술이다. 또한, 투시 투영에 있어서, 카메라에 가까운 오브젝트의 면을 화면에 투영하고, 다른 오브젝트에 의해 카메라로부터 숨겨져 있는 면을 화면에 투영하지 않는 처리는, 음면제거(hidden surface elimination) 또는 가시면 결정(Visible-Surface Determination)이라 부르며, 이미 많은 알고리즘이 개발되어 있다.

이들 기술은, 예를 들면, Foley. vanDam. Feiner. Hughes저, "Computer Graphics Principles and Practice" Addison Wesley 발행(1990) 또는 Newman. Sproull저, "Principles of Interactive Computer Graphics", McGraw-Hill발행(1973) 등에 상세히 해설되어 있다. 또한, 많은 소위 그래픽 워크스테이션에서는, 카메라 파라미터로부터 뷰 변환행렬의 설정, 투시 투영, 음면투영 등의 그래픽기능이 하드웨어나 소프트웨어에 의해 사전에 조립되어 있어, 그들을 고속으로 처리할 수 있다.

본 실시예에서는 이들의 그래픽 기능을 이용하여 오브젝트의 동정처리를 행한다. 3차원 모델에 있어서, 조작의 대상이 되는 오브젝트의 면을 사전에 색상나누기를 하고, 색에 의해 그 면이 어느 오브젝트에 속하는지를 식별할 수 있도록 하여 둔다. 예를 들면, 제 14도에서, 평면(800, 810, 812, 814, 816, 820, 822, 824)에 각각 별도의 색을 설정하여 놓는다. 오브젝트마다 설정된 색을 ID(identifier)색이라 부르기로 한다. 이 ID색 부착 3차원 모델을 사용한 동정처리의 순서를 제 17 도에 나타낸다. 먼저, 현재의 카메라 파라미터를 문의하여(스텝 1300), 문의된 카메라 파라미터에 근거하여 뷰 변환 행렬을 설정한다(스텝 1310).

맨 머신 서버(20)에서는 항상 현재의 카메라의 상태를 관리해 두고, 카메라 파라미터의 문의가 있으면, 현재의 카메라 상태에 따라 카메라 파라미터를 되돌린다. 물론, 현재의 카메라 상태를 카메라 제어용 콘트롤러로 관리하도록 하여도 좋다. 스텝 1320에서는, 스텝 1310에서 설정된 뷰 변환행렬에 근거하여, 색상이 나누어진 모델을 그래픽용 프레임 버퍼(340)의 이면 버퍼에 화상을 그린다. 이 묘화에서는 투시투영 및 음면제거 처리가 행해진다. 이면 버퍼에 화상을 그리기때문에, 화상이 그려진 결과는 디스플레이(10)에는 표시되지 않는다. 묘화가 종료하면, 이벤트 위치에 대응하는 이면 버퍼의 화소치를 판독한다(스텝 1330). 화소치는 이벤트 위치에 투영된 오브젝트의 ID색으로 되어 있다. ID색은 오브젝트와 1대 1로 대응하고 있어, 오브젝트를 동정할 수 있다.

제 19A도 내지 제 25도를 사용하여 2차원 모델에 근거하여 오브 젝트를 동정하는 방법을 설명한다. 2차원 모델에서는 세계 좌표계로부터 화면 좌표계로 투영된 이후의 오브젝트의 위치나 형상을 정의한다. 카메라의 방향이나 화각이 바뀌면, 화면 좌표계에 투영된 오브젝트의 위치나 형상이 변화한다. 따라서, 2차원 모델에서는 개개의 카메라 파라미터마다 오브젝트의 형상이나 위치의 데이터를 가질 필요가 있다.

본 실시예에서는, 오브젝트를 사각형 영역으로 모델화한다. 즉, 어느 카메라 파라미터에 있어서 오브젝트는 화면 좌표계에 있어서의 사각형 영역의 위치와 크기에 의해 표현된다. 물론, 다른 도형(예를 들면, 다각형이나 자유곡선 등)을 사용하여 모델화하여도 좋다.

제 19A도, 제 19B도, 제 20A도, 제 20B도, 제 21A도, 제 21B도에 카메라 파라미터와 2차원 모델과의 대응관계를 나타낸다. 각각 제 19A도, 제 20A도, 제 21A도에, 개개의 카메라 파라미터에 대한 영상표시 영역(200)의 표시형태를 표시한다. 또한, 각각 제 19B도, 제 20B도, 제 21B도에 개개의 카메라 파라미터에 대응하는 오브젝트의 2차원 모델을 나타낸다.

제 19A도에 있어서, 영상 상의 오브젝트(410, 412, 414, 416, 420, 422, 424)는, 제 19B도의 2차원 모델에서는 각각 사각형 영역(710, 712, 714, 716, 720, 722, 724)으로서 표현된다. 한 개의 카메라 파라미터에 대응하여, 오브젝트를 모델화한 사각형의 집단을 영역 프레임이라 부른다.

카메라 파라미터(1)에 대응하는 영역 프레임(1)은 사각형 영역(710, 712, 714, 716, 720, 722, 724)으로 구성된다. 제 20A도, 제 20B도, 제 21A도, 제 21B도에 다른 카메라 파라미터에 대한 영역 프레임의 예를 나타낸다. 제 20A도, 제 20B도에 있어서, 카메라 파라미터에 대응하는 영역프레임(2)은, 사각형 영역(740, 742, 746, 748)으로 구성된다. 사각형 영역(740, 742, 746, 748)은 각각 오브젝트(412, 416, 424, 422)에 대응한다. 마찬가지로, 제 21A도, 제 21B도에 있어서, 카메라 파라미터(3)에 대응하는 영역프레임(3)은 사각형 영역(730)으로 구성된다. 사각형 영역(730)은 오브젝트(400)에 대응한다.

같은 오브젝트라도 카메라 파라미터가 다르면 또 다른 사각형 영역에 대응한다. 예를 들면, 오브젝트(416)는 카메라 파라미터가 1일 때에는, 사각형 영역(716)에 대응하고, 카메라 파라미터가 2일 때에는 사각형 영역(742)에 대응한다.

제 23도, 제 24도, 제 25도에 2차원 모델의 데이터 구조를 나타낸다. 제 23도에 있어서, 1300은 각 카메라에 대응하는 데이터를 저장하는 카메라 데이터 테이블이다. 카메라 데이터 테이블(1300)에는 영상내의 사물에 대하여 조작이 가능한 카메라 파라미터의 데이터와 개개의 카메라 파라미터에 대응하는 영역 프레임의 데이터가 저장된다.

제 24도에 있어서, 1320은 카메라 파라미터의 데이터 구조이다. 카메라 파라미터의 데이터는, 카메라의 수평방향의 방향인 수평각, 카메라의 수직방향의 방향인 수직각, 줌의 정도를 나타내는 화각으로 이루어진다. 여기서는, 카메라의 자세나 카메라의 위치는 고정인 것을 상정하고 있다. 카메라의 자세나 카메라의 위치를 원격조작할 수 있는 경우에는, 그것들을 제어하기 위한 데이터도 카메라 파라미터(1320)에 추가하면 된다. 카메라 파라미터(1320)는 카메라를 사전에 정의된 카메라 파라미터로 설정하기 위해 사용된다. 즉, 맨 머신 서버(20)는 카메라 파라미터를 카메라 제어용 콘트롤러에 보내 카메라를 원격조작한다.

카메라 파라미터(1320)는 오브젝트의 동정처리에 직접 필요하지는 않기 때문이다.

제 25도는 영역프레임의 데이터 구조를 나타낸다. 영역프레임 데이터는 영역프레임을 구성하는 영역의 개수와 각 사각형 영역에 관한 데이터로 이루어진다. 영역 데이터에는, 화면 좌표계에 있어서의 사각형 영역의 위치(x, y), 사각형 영역의 크기(w, h), 오브젝트의 활성상태, 동작, 부가정보로 이루어진다. 오브젝트의 활성상태는 오브젝트가 활성인가 불활성인가를 나타내는 데이터이다. 오브젝트가 불활성 상태에 있을 때에는, 그 오브젝트는 동정되지 않는다. 활성상태에 있는 오브젝트만이 동정된다.

동작시에는 이벤트/동작대응 테이블(1340)에의 포인터가 저장된다. 이벤트/동작대응 테이블(1340)에는, 오브젝트가 PD에 의해 지정되었을 때에, 실행해야 할 동작이 이벤트와 쌍을 이루어 저장된다. 여기서, 이벤트는 PD의 조작 종별을 지정하는 것이다. 예를들면, 감압 터치패널(12)을 강하게 누른 경우와 가볍게 누른 경우에는 이벤트가 다르다. 이벤트가 발생하면, 이벤트 위치에 있는 오브젝트가 동정되고, 그 오브젝트에 정의되어 있는 이벤트/동작쌍 중에, 발생된 이벤트에 적합한이벤트와 쌍을 이루고 있는 동작이 실행된다.

영역 프레임의 부가정보에는, 사각형 영역만으로는 표시할 수 없는 오브젝트의 부가적인 정보(1350)로의 포인터가 저장된다. 부가정보에는 여러가지가 있다. 예를 들면, 오브젝트에 그려진 텍스트, 색, 오브젝트의 이름, 관련정보(예를 들면, 장치의 메뉴얼, 메인테넌스 정보, 설계 데이터 등)가 있다. 이것에 의해, 오브젝트에 그려진 텍스트에 근거하여 오브젝트를 검색하거나 지정된 오브젝트의 관련정보를 표시할 수 있다.

제 22도에 2차원 모델을 사용하여 오브젝트를 동정하는 순서를 나타낸다. 우선, 현재의 카메라 파라미터에 대응하는 영역 프레임을 카메라 데이터 테이블(1300)로부터 검색한다(스텝 1200). 다음에 영역프레임을 구성하는 영역 중에서, 이벤트 위치를 포함한 영역을 검색한다. 즉, 영역프레임 데이터에 저장되어 있는 각 영역의 위치와 크기의 데이터와 이벤트 위치를 비교하여(스텝 1220), 이벤트 위치에 있는 영역이 발견되면 그 번호를 상위의 처리계로 돌린다. 상위의 처리계는, 발견된 영역이 활성상태인지 아닌지를 조사하여, 활성상태이면 이벤트에 대응하여 정의되어 있는 동작을 실행한다. 스텝 1220은, 이벤트 위치를 포함한 영역이 발견되는지, 영역프레임 내의 전체 영역의 조사를 마칠 때까지 반복된다(스텝 1210).

2차원 모델은 2차원 모델 정의 툴을 사용하여 정의한다. 2차원 모델 정의툴은 하기의 기능으로 이루어진다.

(1) 카메라 선택기능

이 기능은 플랜트 내에 배치되어 있는 어느 임의의 카메라를 선택하고, 그 카메라로부터의 영상을 화면에 표시하는 기능을 말한다. 카메라의 선택방법으로서 아래와 같은 것이 있다.

·화면상에 표시된 플랜트의 배치도 상에서 오브젝트를 지정함으로써, 그 오브젝트를 비추는 카메라를 지정한다.

·화면 상에 표시된 플랜트의 배치도상에 카메라가 배치되어 있는 장소를 지정한다.

·카메라의 번호나 이름 등의 식별자를 지정한다.

(2) 카메라 워크(work)설정기능

해당 기능은 상기 카메라 선택기능에 의해, 선택된 카메라를 원격 조작하여, 카메라의 방향이나 화각을 설정하는 기능을 말한다.

(3) 도형 작화(作畵)기능

이 기능은 화면상에 표시된 영상 위에 도형을 작화하는 기능을 말한다. 작화는, 사각형, 원, 꺽은 선, 자유곡선 등의 기본 도형요소를 조합 하여 그린다. 본 기능에 의해, 오브젝트의 영상을 밑에 깔고, 오브젝트의 개략적 형태를 그린다.

(4) 이벤트/동작쌍 정의기능

이 기능은 도형 작화기능으로 그려진 적어도 한 개의 도형을 지정하고, 그것에 대해 이벤트/동작의 쌍을 정의하는 기능을 말한다. 이벤트는, 메뉴를 선택하거나 이벤트명을 텍스트로서 입력하여 정의한다. 동작은 사전에 정의된 동작을 메뉴로부터 선택하거나, 기술언어(記述言語)를 사용하여 기술한다. 이러한 기술언어로는 예를 들면, 정보처리 학회 논문지, 제 30권, 제 9호, 1200페이지∼1210페이지에 기재된 「메타 유저 인터페이스를 갖는 유저 인터페이스 구축 지원시스템」에 기록되어 있는 기술언어 UIDL를 사용한다. 본 언어 UIDL(User Interface Definition Language)의 일례를 아래에 나타낸다.

UIDL에서는, 하기 형식으로 이벤트/동작쌍을 정의한다.

이벤트 명(디바이스) {동작}

「이벤트명」은 도형이 규정하는 화면 상의 영역에 대해 더해진 조작의 종류를 지정한다. 감압 터치패널(12)을 사용하는 경우의 이벤트명과 그것에 대응한 조작의 내용을 하기에 나타낸다. 포인팅 디바이스로서, 마우스 등 다른 것을 사용하는 경우에는, 다른 이벤트명을 지정하는 것이 된다.

소프트 터치(soft-touch) : 터치패널(12)에 손가락으로 가볍게 터치했을 때에 발생하는 이벤트.

하드 터치(hard-touch) : 터치패널(12)에 손가락으로 강하게 터치했을 때에 발생하는 이벤트.

소프트 오프(soft-off) : 터치패널(12)에 손가락으로 가볍게 터치한 후, 손가락이 떨어질 때에 발생하는 이벤트.

하드 오프(hard-off) : 터치패널(12)에 손가락으로 강하게 터치한 후, 손가락이 떨어질 때에 발생하는 이벤트.

소프트 드래그(soft-drag) : 터치패널(12)에 손가락으로 가볍게 터치하면서 손가락을 움직이면 발생하는 이벤트.

하드 드래그(hard-drag) : 터치패널(12)에 손가락으로 강하게 터치하면서 손가락을 움직이면 발생하는 이벤트.

「디바이스」는, 동일한 이벤트를 발생하는 장치가 복수인 경우에, 어느 장치로부터의 그 이벤트가 발생했는가를 지정한다. 예를 들면, 마우스에 좌우 2개의 버튼이 있는 경우에, 어느 쪽의 버튼에서 발생한 이벤트인가를 지정한다. 본 실시예에서는 상기 이벤트를 발생하는 장치는 감압 터치패널(12)밖에 없으므로 지정하지 않는다.

「동작」은, 「이벤트명」에 대응한 조작이 도형을 규정하는 영역에 더해졌을 때 실행하는 처리를 정의한다. 「동작」은 사전에 준비된 기본 동작을, 통상의 프로그래밍 언어(예를 들면, C언어 등)와 동일한 형태의 구문(분기, 점프, 반복, 절차 정의, 절차 불러내기 등)을 사용하여 조합하여 정의 한다. 기본동작의 예를 아래에 나타낸다.

활성화(activate) 0

오브젝트를 활성화한다.

불활성화(deactivate) 0

오브젝트를 불활성화한다.

appear 0

오브젝트의 영역을 규정하고 있는 도형을 표시한다.

disappear 0

오브젝트의 영역을 규정하고 있는 도형의 표시를 중지한다.

스위치 카메라(switch Camera; camera, region)

인수(引數) 카메라로 지정된 카메라의 영상을 인수 영역에서 지정된 표시화면(100)상의 영역에 표시한다.

세트 카메라 파라미터(set Camera Parameter; camera, parameter)

카메라 파라미터를 카메라에 설정한다. 인수 카메라는 설정처의 카메라를 지정한다. 인수 파라미터는 설정해야 할 카메라 파라미터의 값을 지정한다.

get Camera Parameter(camera, parameter)

현재의 카메라 파라미터의 값을 되돌린다. 인수 카메라로 지정된 카메라의 카메라 파라미터가 인수 파라미터로 설정된다.

콜(call) 외부 절차명(인수열)

다른 프로그래밍 언어(예를 들면 C언어)로 작성한 절차를 호출한다. 호출하는 절차와 그 인수는 각각 「외부 절차명」과 「인수열」로 지정한다.

센드(send) 오브젝트명 동작명(인수열)

다른 오브젝트의 기본동작 또는 절차를 호출한다. 호출하는 기본동작 또는 절차 및 그것들의 인수는 각각 「동작명」,「인수열」로 지정한다,

상기 2차원 모델 정의 툴에서는 하기 순서에 의해 2차원 모델을 작성한다. 순서 1: 카메라 및 카메라 워크(work)의 지정

상기 (1) 카메라 선택기능을 사용하여 카메라를 선택하고, 화면상에 그 영상을 표시한다, 다음에 상기 (2) 카메라 워크 설정기능을 사용하여 카메라 워크를 설정하고, 소망하는 장소의 영상을 얻는다.

순서 2: 오브젝트의 개형을 정의

순서 1에서 표시된 영상 내의 사물 중에서 오브젝트로서 정의하고자 하는 오브젝트의 개략적 형태를 상기 (2) 도형 작화기능을 사용하여 작화한다.

순서 3: 이벤트와 동작의 쌍을 정의

상기 (4) 이벤트/동작쌍 정의기능을 사용하여, 순서 2에서 작화된 적어도 한 개의 도형을 선택하여, 이벤트와 동작의 쌍을 정의한다.

순서 4: 정의 내용의 보존

필요에 따라 정의내용을 보존한다. 정의내용은 제 23도, 제 24도, 제 25도에 도시된 데이터에 대해서 2차원 모델을 작성하고자 할 때에는, 순서 1로부터 순서 4까지 반복한다.

2차원 모델 정의 툴은 맨 머신 서버(20) 상에 실장하고, 디스플레이(10)상에 표시하도록 하여도 좋으며, 모두 별개의 워크 스테이션, 퍼스널 컴퓨터상에 실장하여, 정의된 2차원 모델을 맨 머신 서버(20)에 전송하도록 하여도 좋다.

상술한 2차원 모델 정의 툴의 일례를 제 26도에 나타낸다.

제 26도에 있어서, 1500은 2차원 모델 정의 툴, 1501은 영역 프레임의 이름을 입력하기 위한 텍스트 입력필드, 1502는 기본도형(직선, 사각형, 타원, 원호, 꺾은 선, 다각형)을 조합하여 영역 프레임을 작화, 편집하고, 그것에 동작을 정의하기 위한 메뉴, 1503은 작성된 영역 프레임을 보존하거나 변경하기 위한 관리 메뉴, 1504는 카메라를 선택하기 위한 메뉴, 1505∼1509는 메뉴(1504)에서 선택된 카메라를 원격조작하여 팬, 줌시키기 위한 메뉴, 1510은 메뉴(1504) 에서 선택된 카메라의 영상을 표시하는 영역인 동시에, 영역 프레임을 영상 으로 겹쳐서 작화하는 영역, 1511은 오브젝트(414)를 모델화하기 위해 영역(1510)에 작화된 사각형이고, 1512는 마우스, 터치패널 등의 포인팅 디바이스로부터의 위치좌표 입력에 연동하여 움직이는 포인터이다. 이하에서는, 포인팅 디바이스로서, 좌우 2개의 버튼이 부착된 마우스를 사용하는 것으로 한다. 마우스의 버튼을 누르면서 마우스를 움직이는 것을 드래그, 마우스의 버튼을 움직이지 않고 버튼을 눌러내려 놓는것을 클릭(click), 클릭을 연속해서 2회 행하는 것을 더블 클릭이라 부르기로 한다.

메뉴(1502)의 각 항목의 기능은 아래와 같다.

직선: 직선을 작화하는 기능. 본 항목을 선택한 후, 영역(1510)내에서 마우스를 드래그하면, 드래그 개시시의 포인터(1512)의 위치와, 드래그 종료시의 포인터(1512)의 위치를 연결하는 직선이 작화된다.

사각형: 사각형을 작화하는 기능. 본 항목을 선택한 후, 영역(1510) 내에서 마우스를 드래그하면, 드래그 개시시의 포인터(1512)의 위치와, 드래그 종료시의 포인터(1512)의 위치를 대각(對角)의 정점으로 하는 사각형이 작화된다.

타원: 타원을 작화하는 기능. 본 항목을 선택한 후, 영역(1510)내에서 마우스를 드래그하면, 드래그 개시시의 포인터(1512)의 위치와 드래그 종료시의 포인터(1512)의 위치를 대각선으로 하는 사각형에 내접하는 타원(원을 포함한다)이 작화된다.

꺾은선: 꺽은선을 작화하는 기능. 본 항목을 선택한 후, 영역(1510) 내에서 포인터(1512)의 이동과 마우스의 클릭을 반복하고, 최후에 같은 위치에서 2번 클릭하면, 클릭되었을 때의 포인터(1512)의 위치를 순차적으로 직선으로 연결할 수 있는 꺾은 선이 작화된다.

다각형: 다각형을 작화하는 기능. 본 항목을 선택한 후, 편집영역(1510)내에서 포인터(1512)의 이동과 클릭을 반복하고, 최후에 같은 위치에서 2번 클릭하면, 클릭된 때의 포인터(1512)의 위치를 순차적으로 직선으로 연결하여, 최후의 점과 최초의 점을 직선으로 연결할 수 있는 다각형이 작화된다.

삭제: 포인터(1512)에서 지정된 도형을 삭제하는 동시에, 상기 도형을 버퍼(페이스트 버퍼라 부른다)에 저장한다.

복사: 포인터(1512)에서 지정된 도형을 페이스트 버퍼에 복사한다.

첨부: 페이스트 버퍼의 내용을 가장 최근에 마우스가 클릭된 때의 포인터(1512)의 위치에 작화한다.

그룹: 포인터(1512)에서 지정된 복수의 도형을 그룹화한다. 그룹화전 복수의 도형은 이후 한 개의 도형으로 취급된다. 한 개의 오브젝트를 복수의 도형을 사용하여 모델화하는 데에는 그들 도형을 그룹화한다. 그룹화된 도형이 한개만 지정되어 있는 경우에 본 항목이 선택되면, 지정된 그룹을 해산시켜, 원래의 복수의 도형으로 되돌린다.

동작: 포인터(1512)에서 지정된 도형에 이벤트/동작쌍을 정의하기 위한 동작정의 시트를 호출한다.

메뉴(1503)의 각 항목의 기능은 하기와 같다.

신규: 새롭게 영역 프레임을 정의한다.

연다: 입력필드(1501)에서 지정된 이름의 영역 프레임을 호출하여 영역(1510)에 표시한다. 동시에, 호출된 영역 프레임에 대응하는 카메라에 대응하는 카메라 파라미터를 설정하고, 그 카메라의 영상을 영역(1510)에 표시한다.

보존: 정의된 영역 프레임을 입력펄드(1501)에서 지정된 이름으로, 카메라/카메라 파라미터와 쌍으로 하여 보존한다.

종료: 모델정의 툴을 종료한다.

메뉴(1505∼1509)의 기능은 하기와 같다.

메뉴 1505: 카메라를 상하좌우로 팬한다.

메뉴 1506: 카메라를 줌인한다.

메뉴 1507: 카메라를 줌아웃한다.

메뉴 1508: 한 개 앞의 카메라 파라미터로 카메라를 설정한다.

메뉴 1509: 최후에 보존(메뉴 1503의 항목 「보존」을 선택)했을 때의 카메라파라미터의 값으로 카메라를 설정한다.

메뉴 1504를 선택하면, 영역(1510)에 선택된 카메라의 영상이 표시된다. 메뉴(1505∼1509)를 사용하여 카메라를 원격 조작하여, 소망하는 카메라 파라미터로 설정한다. 모델정의 툴(1500)에서는 카메라가 메뉴(1504)에서 선택되어 있지만, 플랜트 계통도에 아이콘을 표시하여 카메라의 배치를 명시하고, 아이콘을 선택하는 방식으로 카메라를 선택할 수 있도록 하여도 좋다.

모델정의 툴(1500)에서는, 기본 도형(직선, 사각형, 타원, 원호, 꺽은선, 다각형)을 조합하여 오브젝트를 모델화한다. 즉, 어떤 카메라 파라미터에 의해 화면좌표계에 투영된 오브젝트는, 한 개 또는 복수의 기본도형의 위치와 크기에 의해 표현된다. 오브젝트의 모델은, 영역(1510)에 표시된 영상을 밑받침으로 그것에 비춰지고 있는 오브젝트의 개략적 형태를 작화 하는 요령으로 정의한다. 통상의 도형작도 틀을 사용하여 작화하는 것과 같은 방법으로 오브젝트의 개략적 형태를 작화한다. 메뉴(1502)에 의해, 소망하는 기본도형을 선택하고, 선택된 기본도형의 크기, 위치를 영역(1510) 상에 포인터(1512)를 사용하여 지정하면 영역(1510)상에 기본도형이 작화된다.

제 26도에서는 오브젝트(414)는 사각형(1511)에 의해 모델화되고 있다. 어떤 오브젝트를 모델화한 한 개 또는 복수의 도형을 모델 오브젝트라 부르기로 한다.

오브젝트의 개략적 형태를 작화하면, 다음에 작화된 도형, 즉 모델 오브젝트에 동작을 정의한다. 동작은 동작정의 시트를 사용하여 정의한다. 메뉴(1502)의 항목 「정의」를 선택하면 제 27도에 도시된 것 같이 동작정의 시트(1500)가 열린다. 제 27도에 있어서, 1602는 시트(1600)를 관리하기 위한 메뉴, 1603은 오브젝트명을 입력하는 필드, 1604는 이벤트의 종류를 선택하기 위한 메뉴, 1605는 오브젝트에 사전에 정의된 기본적인 동작을 선택하는 메뉴, 1606은 이벤트/동작쌍을 상기 기술언어 UIDL를 사용하여 기술하는 영역이다.

이벤트/동작쌍의 기술에 있어서, 이벤트의 종류, 오브젝트의 기본 동작을 각각 메뉴 1604, 1605로부터 선택할 수 있다. 메뉴 1604, 1605를 선택하면, 선택된 이벤트명 또는 기본 동작명이 영역(1606)의 입력위치에 입력된다. 이것에 의해, 이벤트명이나 기본 동작명을 키보드로부터 입력하는 수고를 덜고, 동작기술의 노력이경감된다.

메뉴(1602)의 각 항목의 기능은 하기와 같다.

보존: 정의한 동작 정의쌍을 영역 프레임 데이터의 이벤트 동작/대응 테이블로서 기억한다.

종료: 동작정의 시트를 종료하고, 모델정의 툴(1500)에 제어를 되돌린다.

제 27도에서는, 오브젝트(414)를 모델화한 도형(1511)에 동작을 정의하고 있는 모양을 나타내고 있다. 입력필드(1603)에는 도형(1511)의 오브젝트명으로서 「Power On Button」이 입력되어 있다. 그리고, 영역(1606)에는, 「오브젝트가 강하게 접촉하면, 리무트 파워온(Remote Power On) 0라는 절차를 호출한다」라고 하는 이벤트/동작 쌍이 기술되어 있다.

모델정의가 종료하면, 메뉴(1503)의 항목 「보존」을 선택하고, 정의내용을 재 23도∼제 25도에 도시된 데이터 구조로 보존한다, 모델정의 툴(1500)을 맨 머신서버(20)상에서 움직이고 있는 경우에는, 메인 메모리(310) 및 디스크(320)에 기억된다.

오브젝트의 모델을 지님으로써, 어떤 오브젝트가 영상내의 어디에 어떻게 표시되어 있는지를 안다. 이것에 의해, 오브젝트에 관련된 정보를 영상 내의 오브젝트의 위치나 형상에 근거하여 그래픽스를 표시하거나, 오브젝트의 영상을 검색할 수 있다. 아래에 예를 든다.

· 오브젝트의 이름, 기능, 조작 메뉴얼, 메인테넌스 방법 등을 오브젝트의 위 또는 부근에 합성 표시한다. 예를 들면, 어떤 커멘드(commend) 를 발행하면 영상에 비춰지고 있는 기기의 이름을 표시하는 등.

제 28도에, 오브젝트에 판한 설명을 오브젝트의 옆에 표시하는 예를 나타낸다. 이 도면에 있어서, 2201, 2202는 각각 오브젝트(518, 524)의 기기의 이름과 사용상의 주의를 나타내는 그래픽스이다.

그래픽스로 작성된 오브젝트를 실제로 카메라로 촬영하고 있는 것 같이 실사(實寫)의 영상에 합성표시한다.

· 오브젝트의 부가정보를 입력된 키워드에 근거하여 검색하고, 해당하는 오브젝트를 비추도록 카메라나 카메라 파라미터를 설정한다.

· 카메라에서는 비출 수 없는 오브젝트 내부의 구조를 영상내의 오브젝트에 합성표시한다. 예를 들면, 배관내의 수류의 모양을 다른 센서로부터 얻어진 데이터에 근거하여 시뮬레이션하고, 그 결과를 실사의 영상으로 비추고 있는 배관의 위에 합성표시한다. 마찬가지로, 보일러 안의 화염의 모양(예를 들면, 센서로부터 얻어진 정보에 근거하여 작성된 온도분포도)을 표시한 그래픽스를 영상 내의 보일러에 합성표시한다.

· 현재 주목해야할 오브젝트를 그래픽스에 의해 명시한다. 예를들면, 센서에 의해 이상이 검지되었을 때, 영상 내의 오브젝트에 그래픽스를 합성표시한다. 또한, 트렌드 그래프에 표시되어 있는 데이터에 관련된 영상내의 오브젝트에 그래픽스를 합성하여, 데이터와 영상 내의 오브젝트의 관련이 바로 알게 되도록 한다.

이상의 실시예에서는, 통상의 카메라에서 촬영되는 영상을 사용하고 있지만, 특수한 카메라(적외선 카메라, 어안(魚眼)렌즈장착 카메라, 서모그래피 등)으로 촬영한 영상이나 화상처리 후의 영상에 대해서도 본 발명이 적용될 수 있는 것은 물론이다.

본 실시예의 효과는, 하기 (1)로부터 (6)의 적어도 한 개를 달성할 수 있는것이다.

(1) 원격운전 감시시스템 등에 있어서, 운전원이 조작의 대상이나 조작결과를 직감적으로 파악할 수 있게 되어 오 조작이 줄어든다.

(2) 카메라의 선택이나 카메라의 원격조작에 구애받지 않고, 감시하고자 하는 곳의 영상을 간단하게 볼 수 있다.

(3) 감시용 영상 상에서 조작을 실행할 수 있다. 이 때문에, 감시 모니터와 조작 테이블을 나눌 필요가 없어져, 원격 운전 감시시스템의 소형화, 스페이스 절약화를 도모할 수 있다.

(4) 카메라 영상에 그래픽스를 합성표시함으로써, 각각의 장점을 살리고 단점을 보완할 수가 있다. 즉, 현장의 임장감을 전하면서, 중요한 부분을 강조할 수 있다.

(5) 서로 다른 종류의 정보를 신속히 상호 참조할 수 있는 표시. 예를 들면, 카메라 영상으로 현재 감시되고 있는 부분을 지정하는 것만으로, 그 부분에 관련된 센서의 값을 나타내는 트렌드 그래프를 표시할 수 있다. 이것에 의해, 현장의 상황을 종합적으로 판단할 수 있게 된다.

(6) 영상에 대해서 직접 조작을 더하도록 하는 맨 머신을 간단히 설계, 개발할 수 있게 된다.

또한, 본 실시예에 있어서는, 복수의 카메라 영상을 사용했지만, 복수의 디스크(예를 들면, 광 디스크) 재생장치로부터의 영상을 사용하도록 하여도 좋다.

다음에, 본 발명의 또 다른 실시예(제 2 실시예)인 플랜트 제어 감시시스템을 제 29도 내지 제 60도를 사용하여 설명한다.

이하의 실시예에서는 영상 또는 음성과 제어를 위해 사용하는 데이터(제어 데이터)를 시간적으로 동기시켜 재생하는 것, 영상 또는 음성과 제어데이터를 상호 참조시키는 것, 영상 또는 음성과 제어 데이터를 합성하는 것을, 영상 또는 음성과 제어 데이터를 관련시킨다고 말한다.

제 29도는 본 실시예의 플랜트 제어 감시시스템의 구성을 나타낸다.

공장의 현장에 있어서 감시 대상물인 장치(이하, 간단하게 제어대상 장치라 부른다)(2101)는 각 시각에서의 운전상항을 표시하는 프로세스 데이터를 케이블(2135)을 통해서 제 1 입력수단인 제어용 계산기(2102)로 보낸다.

제어용 계산기(2102)에서는 프로세스 데이터를 분석하고, 제어대상 장치(2101)에 제어신호를 케이블(2136)을 통해 보낸다. 또한, 케이블(2137)을 통해 LAN(2120)에 프로세스 데이터를 보내고, 케이블(2138)을 통해서 LAN(2120)으로부터 들어오는 조작원 명령을 수취하여 처리한다. 이상과 같이, 제어용 계산기(2102)의 주된 기능은 프로세스 데이터의 수집, 프로세스 데이터의 LAN으로의 출력, 조작원 명령의 LAN로부터의 입력, 제어대상 장치(2101)로의 프로세스 제어신호의 출력이다.

LAN(2120)은 Ethernet 등의 케이블로, 조작원 명령, 프로세스 데이터 등의신호를 흘린다. LAN(2120)은 제어용 계산기(2102)로부터의 출력용 케이블(2137), 제어용 계산기(2102)로의 입력용 케이블(2138), 데이터 베이스(2104)로부터의 출력용 케이블(2143), 데이터 베이스(2104)로의 입력용 케이블(2144), 워크스테이션(2103)으로부터의 출력용 케이블(2140), 워크스테이션(2103)으로의 입력용 케이블(2139)로 각 기기와 접속하고 있다.

제 1, 제 3 기억 유니트 및 제 1 재생 유니트인 데이터 베이스(2104)는 LAN(2120)에 흐르고 있는 프로세스 데이터 등을 케이블(2144)을 통해 받아, 내부에 갖고 있는 시계가 출력하는 시각 t와 함께 기록한다. 또한, 케이블(2144)을 통해 데이터 판독의 명령이 입력되었을 때에는, 판독 지정을 받은 데이터를 케이블(2143)을 통해 LAN(2120)으로 보낸다.

복수대의 ITV 카메라(2110)는 제어신호를 입력하는 것으로 팬, 틸트, 줌 등의 원격조작이 가능한 카메라 제어장치 및 카메라와 함께 움직이는 음성 마이크가 부착되어 있다. 카메라(2110)는 제어대상 장치(2101)의 영상, 음성을 케이블(2130, 2131)을 통해 스위치(2109)로 보낸다. 스위치(2109)는 워크스테이션(2103)으로부터 입력된 카메라 제어신호를 케이블(2132)을 통해 카메라(2110)로 보낸다. ITV 카메라(2110)는 제 2 입력 유니트이다.

제 2 기억 유니트 및 제 2 재생 유니트인 영상음성 기록부(2108)는, 광 디스크 등의 랜덤 액세스가 가능한 것을 사용한다. 비디오 테이프와 같은 것도 좋지만 이 경우에는 데이터의 탐색이 순차적이기 때문에, 데이터의 탐색 및 표시에 시간이 걸린다. ITV 카메라(2110)로부터의 모든 영상, 음성은 스위치(2109)를 스루아웃하여 케이블(2133)로부터 입력된다. 또한, 제어부인 워크스테이션(2103)이 스위치(2109)를 통해 케이블(2145)로 판독 명령을 입력한 경우에는, 지정된 영상, 음성 정보를 케이블(2134)를 통해 스위치(2109)로 출력한다.

스위치(2109)는 입력된 복수의 영상, 음성을 워크스테이션(2103)에 케이블(2141)을 통해 보낼 때의 영상 음성 절환 스위치인 동시에, 워크스테이션(2103)으로부터 케이블(2142)을 통해 출력되는 카메라 제어신호, 기록 영상 호출신호를 카메라(2110), 영상음성 기록부(2108)로 보낼 때의 신호 송신처 절환 스위치이다.

워크스테이션(2103)은 조작원으로의 출력 유니트로서 제 1, 제 3 출력 유니트인 표시용 디스플레이(2111), 스피커(2112), 조작원으로부터의 입력 유니트(측정 데이터 출력지정 유니트, 선택대상을 선택하는 유니트, 측정 데이터의 탐색치를 지정하는 유니트)로서 키보드(2106), 마우스(2105) 및 터치 패널(2107) 등의 입력디바이스와 접속되어 있다.

또한, 케이블(2139, 2140)로 LAN(2120)과, 케이블(2141, 2142)로 스위치(2109)와 접속된다. 워크스테이션(2103)은, 케이블(2139)로부터 입력된 프로세스 데이터를 처리하여 표시화면을 작성하고, 케이블(2141)로부터 입력된 영상 데이터와 같이 디스플레이((2111)에 표시한다. 한편, 케이블(2141)에 입력된 음성 데이터는 스피커(2112)에서 출력된다. 스피커(2112)와 표시용 디스플레이(2111)는 제 2 출력 유니트이다. 또한, 조작원으로부터의 키보드(2106)에 의한 키 입력이나 마우스(2105) 및 터치패널(2107) 등의 입력 디바이스로부터의 입력은워크스테이션(2107) 내에서 처리되어 제어대상 장치(2101)의 제어코드로서 케이블(2140)로 출력되거나, 영상, 음성의 절환 스위치(2109)로의 절환 명령이나 카메라(2110)의 제어코드, 영상, 음성기록부(2108)로의 호출 코드로서, 케이블(2142)로 출력된다.

조작원은 디스플레이(2111)상에 표시된 영상, 문자, 그래픽스로 표시된 시스템의 상항을 감시하고, 필요한 조작 및 명령을 마우스(2105), 키보드(2106), 터치 패널(2107)을 사용하여 행한다.

이하 설명상, 조작원으로부터의 입력 디바이스로서는 터치패널(2107)을 사용한다. 물론 다른 디바이스라도 구애받지 않는다.

다음에 제 30도에 있어서 워크스테이션(2103)의 내부구조를 나타낸다. 2201은 CPU, 2202는 주기억, 2203은 I/O, 2204는 디스플레이(2111)에 프로세스 데이터를 표시하기 위한 그래픽스 화면 프레임 버퍼, 2205는 입력된 비디오 신호를 디지털 신호로 바꾸는 디지타이저, 2206은 비디오용 프레임 버퍼, 2207은 그래픽스 화면과 영상을 블렌드하는 블렌드 회로이다.

제 31도에 있어서 영상, 음성 기록부(2108)의 구성을 나타낸다. 워크 스테이션(2103)으로부터의 각종 명령을 받아 처리하는 동시에 기록, 재생의 명령을 보내는 CPU(2301), 영상의 버퍼링 등에 사용되는 주기억(2302), ITV 카메라(2110)로부터의 신호를 디지털화하는 동시에, 디지털 신호를 워크스테이션(2103)으로 보내는 아날로그 신호로 바꾸는 AD/DA(아날로그·디지털/디지털·아날로그) 변환기(2303), 영상음성 기록 판독부(2304)로 이루어진다.

제 32도는 프로세스 제어 감시시스템에 있어서 디스플레이 화면을 나타내고 있다. 디스플레이 화면은, 프로세스 전체 구성도(2401)와, 주로 ITV 카메라로부터의 영상을 표시하는 동화상 표시영역(2402)과, 제어대상장치(2101)로부터의 프로세스 데이터를 표시하는 트렌드 그래프(2403)와, 시계(2406), 스위치, 헬프 정보 등을 표시하는 워크영역(2404)과, 프로세스 데이터 표시용 미터(2405)와, 메뉴영역(2407)으로 이루어진다. 메뉴 영역(2407)내에는 카메라 절환버튼(2408), 영상내 프로세스 데이터 내에 있어서의 선택대상 지정버튼(2409), 감시모드와 재생모드의 절환, 표준재생, 슬로우 재생의 절환 버튼(2410), 간단한 에디터 호출 또는 표시된 그래프의 선택버턴(2411), 표시된 데이터의 선택버튼(2412) 및 헬프 버튼(2413) 등을 표시한다.

여기서 제어대상 장치(2101)로부터의 프로세스 데이터를 표시하는 것으로서, 이 밖에, 데이터표나 스케일러 등이 있어도 좋다. 또한, 디스플레이 상에는 위에서 거론된 데이터 표시수단이 복수개 있어도 좋다.

제 33도는 프로세스 데이터를 표시하는 트렌드 그래프(2403)를 보다 상세하게 나타낸 것이다. 트렌드 그래프(2403)는 데이터 표시부(2501), 데이터 항목 표시부(2502), 시각 커서(2503), 시간축(2504), 데이터값 커서(2505), 시간축 이동 버튼(2506, 2507)으로 이루어진다.

프로세스 데이터는 데이터 표시부(2501)에 그래프로서 표시되는 동시에 데이터 항목 표시부(2502)에 그 이름을 표시한다. 데이터 및 그 이름의 대응은 선의 굵기 및 색상 또는 선의 종류로 행한다.

시각 커서(2503)는 현재 디스플레이 상에 표시되고 있는 모든 데이터[예를 들면 미터(2405)가 표시하고 있는 데이터값, 영상(2402), 시계(2406)의 시각, 트렌드 그래프(2403)의 시각 커서(2503)상의 점]의 생성 또는 기록된 시각을 시간축(2504)을 사용하여 표시한다 즉, 트렌드 그래프(2403)의 시각 커서(2503)는 현재 표시되고 있는 데이터의 기록된 시각을 표시하는 시각 표시 유니트이다.

시간축(2504)은 표시해야 할 데이터의 발생된 시각이 현재 표시되고 있는 시간축(2504)안에 없는 경우에는, 표시되고 있는 시각의 값이 우측방향(시간을 되돌리는 방향, 이하 역방향이라 부른다) 또는 좌측방향(시간을 가게하는 방향, 이하 정방향이라 부른다)으로 이동함으로써, 시간축(2504)내에 그 시각의 값을 표시한다.

또한, 시간축(2504)은 확대, 축소가 가능하고, 구간을 지정하며 확대 축소할 수 있다. 이것에 의해 상세하게 보고싶은 구간은 시간축(2504)의 확대를 행하고, 그렇지 않은 구간은 축소를 행할 수 있다.

시간축 이동버튼(2507)은 시간축(2504)에 표시되어 있는 시각의 값을 우측방향으로 이동시켜, 표시되어 있는 시각보다 앞의 시각을 표시한다. 한편, 버튼(2508)을 좌측방향으로 이동시켜, 표시하고 있는 시각보다 후의 시각을 표시한다.

데이터 값 커서(2505)는 프로세스 데이터의 탐색을 행하는 것이다. 탐색하고자 하는 프로세스 데이터를 선택한 후, 데이터값 커서를 탐색치로 가져가면, 시간축(2504) 및 시각 커서(2503)가 이동하여, 선택된 데이터가 탐색치를 취하는 시점에 시각커서(2503)가 오게 된다.

이하의 예에서는, 프로세스 데이터를 디스플레이에 표시하는 데이터 표시 유니트로서 트렌드 그래프를 사용하는 것으로 한다. 물론 트렌드 그래프 이외의 데이터 표시 유니트라도 좋다.

본 실시예의 프로세스 감시 시스템에 있어서는 이하의 기능이 있다.

(1) 기록된 영상을 재생하는 조작으로, 영상, 음성을 재생할 뿐만 아니라, 그 영상이 촬영된 시점의 프로세스 데이터를 호출하여 표시한다.

(2) 트렌드 그래프의 시각 커서(2503) 등의 시각표시 유너트를 사용하여 시각을 지정함으로써, 그 데이터가 기록된 시점의 영상 및 음성과, 그 시점에서의 프로세스 데이터를 호출하여 표시한다.

(3) 프로세스 데이터 및 그 탐색치를 지정함으로써, 그 데이터의 탐색을 행하고, 그 데이터를 호출하여 표시하는 동시에, 그 데이터가 기록된 시점의 영상과 그 시점에서의 다른 프로세스 데이터를 호출하여 표시한다.

(4) 기록된 영상을 재생할 때에, 그 재생속도에 의해 프로세스 데이터의 시간에 대한 표시빈도를 바꾼다.

(5) 프로세스 데이터의 시각에 관한 표시빈도를 사전에 지정하는 것으로, 영상 재생시에 그 표시빈도에 맞추어진 영상, 음성의 재생속도를 결정하여 재생, 표시한다.

(6) 조작원으로부터 조작정보를 기록하고, 영상 재생시에 조작원의 조작도 재생한다.

(7) 조작원으로부터 조작정보를 기록하고, 조작원의 조작 데이터를 지정함으로써, 그 조작을 탐색하고, 조작이 행해지는 시점의 영상 및 프로세스 데이터를 호출하여 표시한다.

(8) 영상내에 조작원이 터치 패널을 사용하여 선택할 수 있는 선택대상을 정의하여 놓고, 영상 재생시에 그것을 조작원이 선택함으로써, 관련된 프로 세스데이터를 표시한다.

(9) 영상내에 조작원이 터치패널을 사용하여 선택할 수 있는 선택대상을 정의하여 두고, 영상 재생시에 그것을 조작원이 선택함으로써, 관련된 프로세스 데이터를 강조 표시한다.

(10) 영상 내에 조작원이 터치 패널을 사용하여 선택할 수 있는 선택 대상을 정의해 두고, 영상 재생시에 그것을 조작원이 선택함으로써, 관련된 프로세스 데이터에 관한 선택 메뉴를 표시하고, 그 메뉴로부터 하나의 항목을 선택한 경우, 선택된 항목의 프로세스 데이터를 표시한다.

(11) 영상내에 조작원이 터치패널을 사용하여 선택할 수 있는 선택대상을 정의해 두고, 영상 재생시에 그것을 조작원이 선택함으로써, 관련된 프로세스 데이터를 영상내의 선택대상 위에 표시한다.

(12) 영상내에 조작원이 터치패널을 사용하여 선택할 수 있는 선택대상을 정의해 두고, 영상 재생시에 그것을 조작원이 선택함으로써, 관련된 프로세스 데이터를 영상 위에 컴퓨터 그래픽픽스로 겹쳐서 표시한다.

(13) 영상내에 조작원이 터치패널을 사용하여 선택할 수 있는 선택대상을 정의해 두고, 영상 재생시에 그것을 조작원이 선택함으로써, 관련된 영상내의 다른 선택대상을 강조 표시한다.

(14) 영상내에 조작원이 터치패널을 사용하여 선택할 수 있는 선택대상을 정의해 두고, 영상 재생시에 그것을 조작원이 선택함으로써, 그 선택대상의 부가정보를 표시한다.

(15) 영상내에 선택대상을 정의해 두고, 영상 재생시에 프로세스 데이터를 조작원이 선택함으로써, 선택된 프로세스 데이터에 관련된 영상으로 절환되는 동시에, 영상내의 선택대상을 표시한다.

(16) 영상내에 선택대상을 정의해 두고, 영상 재생시에 프로세스 데이터를 조작원이 선택함으로써, 선택된 프로세스 데이터에 관련된 영상으로 절환하는 동시에, 영상내의 선택대상을 표시하여 그 데이터값을 선택대상 위에 겹쳐서 표시한다.

(17) 영상내에 선택대상을 정의해 두고, 영상 재생시에 프로세스 데이터를 조작원이 선택함으로써, 선택된 프로세스 데이터에 관련된 영상으로 절환하는 동시에, 영상내의 선택대상을 표시하고 그 데이터값을 컴퓨터 그래픽스로 겹쳐서 표시한다.

이하, 기록된 프로세스 데이터, 영상 데이터, 음성 데이터의 재생에 대하여 상기 기능을 상세히 설명한다.

제 29도로부터 제 39도를 사용하여 기능 1을 설명한다. 모드절환 버튼(2410)을 터치패널을 사용하여 선택함으로써 기록정보 표준 재생모드로 된다. 재생을 하고 있을 때에는 재생에 사용되고 있는 것과는 다른 광 디스크에 기록을 행한다. 이때, 제 32도에 도시된 것과 같이, 워크 영역(2404)에 비디오 컨트롤러(2603)가 표시된다. 제 35A도에 도시된 것 같이, 비디오 컨트롤러는 순방향 2배속 재생버튼(2705), 순방향 표준속도 재생버튼(2704), 역방향 2배속 재생버튼(2701), 역방향 표준속도 재생버튼(2702) 및 영상정지 버튼(2703)을 갖는다. 또한, 모드절환 버튼(2410)으로 슬로우 모드 재생을 선택하면, 제 35B도에 표시한 것 같이 역방향 2배속 버튼, 순방향 2배속 버튼 대신에 역방향 1/2배속 재생버튼(2706), 순방향 1/2배속 재생버튼(2707)을 표시한다. 단, 여기서 표준속도로 재생하는 것은 영상, 음성을 기록했을 때와 같은 속도로 재생하는 것으로, 순방향이란 시간이 가는 방향이다.

따라서, 예를들면 역방향 2배속 재생이란, 시간의 가는 방향과는 역방향으로 기록했을 때의 2배의 속도로 재생한다고 하는 의미이다. 여기서는, 기록정보를 재생할 때에 재생모드로 표준과 슬로우를 설치하였지만, 이와 같이 나누지 않아도좋다.

순방향 표준속도 재생버튼(2704)을 터치패널로 누름으로써, 순방향, 표준속도로 영상 데이터 및 음성 데이터가 재생되어 영상 표시부(2402)에 표시된다. 이때, 이 영상에 맞추어 트렌드 그래프 내의 시각 커서(2503)가 이동하고, 표시되어 있는 영상이 기록된 시각에 있어서의 프로세스 데이터가 시각 커서(2503)상에 오도록 한다.

시각커서(2503)는 어떤 일정한 곳까지 오면, 프로세스 데이터를 데이터 베이스(2104)로부터 호출하여, 시간축(2504)에 표시되어 있는 시각치가 좌측방향(또는우측방향)으로 이동함으로써 현재 시간축(2504)상에 없는 새로운 시각의 프로세스데이터를 표시한다. 이 외에 미터(2405) 등, 다른 프로세스 데이터 표시부도 영상이 촬영되었을 때에 그 데이터가 갖고 있던 값을 영상이 표시되는 것과 동시에 계속하여 표시한다. 이상과 같이 영상을 재생하는 조작으로 영상, 음성을 재생하는 것뿐만 아니라, 그 영상이 촬영된 시점의 프로세스 데이터를 호출하여 표시한다.

이것에 의해 영상을 보면서 그 시점에 있어서의 프로세스 데이터를 참조할 수가 있다. 또한, 다른 재생버튼을 사용하는 것으로 영상정보의 빠른 전송, 역재생, 슬로우 재생 등을 프로세스 데이터를 참조하면서 행할 수 있어, 운전상황의 진단, 제어지령을 보내기 위한 보조, 이상 시점의 발견, 해석 등에 도움이 된다.

다음에 본 실시예의 실현방법에 대해 나타낸다.

우선, 본 실시예의 프로세스 데이터 및 영상, 음성 데이터의 데이터 구조 및 기록방법을 나타낸다. 제 36A도에 있어서 데이터(2800)는 제어장치(2101)로부터 제어용 계산기에 보내진 프로세스 데이터의 구조를 표시한다. 일반적으로 한 개의 케이블로 복수 종류의 데이터를 입력하므로, 프로세스 데이터의 시작을 표시하는 헤더(2801), 데이터의 종류(2802), 데이터 수(2803) 및 프로세스 데이터인 데이터 2804로부터 2806까지와 같은 구성으로 된다.

제어용 계산기(2102)는 각 케이블로부터 들어오고 있는 이 형식의 복수개의 데이터를 LAN(2120)에 흘린다. 데이터 베이스(2104)에서는 흘러온 프로세스 데이터를 분해하여, 데이터 베이스(2104)내에 있는 시계의 시각 t와 함께 데이터(2820)(제 36B도)의 구조을 갖는 배열로 기록한다. 여기서, 2821은 데이터 인덱스, 2822는데이터명, 2823은 시각, 2824는 프로세스 데이터이다.

이러한 데이터 베이스(2104)는 프로세스 데이터의 종류에 대응하는 테이블을 가지므로, 그 테이블의 요소인 배열의 최종 요소의 뒤에 최신의 데이터를 시각 t와 함께 기록한다.

한편, 워크스테이션(2103)으로부터 프로세스 데이터의 블록 호출 명령이 데이터 베이스(2104)에 입력된 경우에는, 제 36C도의 데이터(2810)에 표시된 구조를 갖는 데이터를 2103으로 보낸다. 여기서, 프로세스 데이터의 시작을 나타내는 헤더(2811), 데이터의 종류(2812), 데이터 수(2813) 및 프로세스 데이터인 데이터 2814로부터 2816까지, 및 데이터(2814)의 시각 데이터(2817), 데이터(2815)의 시각데이터(2818), 데이터(2816)의 시각 데이터(2819)로 구성된다. 물론, 블록 호출명령의 종류에 의해, 이 데이터의 길이, 시각 데이터의 간격 등은 다르다.

다음에, 영상, 음성 데이터의 기록에 대해 나타낸다. 우선, 제 36D도에 나타낸 것 같이, 기록되는 영상음성 데이터의 구조는 2830과 같다. 일반적으로, 복수개의 카메라로부터의 영상 데이터를 기록하므로, 영상음성 데이터의 인덱스(2831)(디스크 NO.)와 데이터명(2832)(카메라 NO. 또는 보일러 NO. 등)을 구비한다. 2834는 음성이 기록된 시각, 2833은 음성 정보, 2835는 영상이 기록된 시각, 2836은 영상정보이다. 여기서, 도면과 같이 영상, 음성을 별도로 기록하지 않고, 같이 기록해도 좋다. 같이 기록하는 경우에는 시각 정보를 공유하게 된다.

이상과 같은 영상, 음성 데이터에 기록 및 그것을 재생하는 방법을 제 37도를 사용하여 기술한다. 본 실시예에 있어서는, 영상기록에 관해 우선 2901로부터2903에 표시된 3단계로 이루어진 순서(스텝)를 워크스테이션(2103)내의 CPU(2201)에 의해 실행한다. 이 순서가 실행된 후, 2904에서 기록개시가 된다. 영상기록에 있어서는, 시스템의 상승시나 재생모드를 종료하고 기록 모드로 되돌아갈 때 등에 최초로 전체 영상화면의 기록을 행하고, 이하는 2905에 나타낸 것 같이 기록조건을 만족시킨 경우에만 2906에서 영상을 기록한다. 음성정보에 관해서는, 영상정보에 비해 비교적 기록에 필요한 용량이 작으므로 수시로 기록하게 한다.

이하, 오로지 영상정보의 기록 및 재생에 관해서 기술한다.

영상기록 대상 결정순서(2901)에서는, 기록해야 할 대상을 어디로 하는지를 결정한다. 구체적으로는 이하의 방법 중 하나이다.

(1) 카메라 영상화면의 전부를 기록대상으로 한다. 실현방법은 카메라로부터의 영상신호의 모든 것을 기록대상으로 한다.

(2) 프로세스 데이터를 출력하는 부분, 움직이는 부분, 변환하는 부분 등을 포함하는 영역을 사전에 지정해 두고, 그 영역만을 기록대상으로 한다.

제 36E도에 나타낸 데이터(2840)는 영상 데이터(2836)의 이 경우의 데이터 구조이다. 데이터(2840)의 요소는, 기록대상으로 하는 화상 데이터(2846) 및 그 위치정보, 즉, 그 촬영된 화상 데이터의 좌표치(2841, 2842), 화상 데이터의 크기(화면의 공간적 크기)(2843, 2844) 및 그 이전에서 가장 가까운 전체화면 데이터를 기록한 시각(또는 인덱스)(2845)으로 이루어진다. 실현방법은 ITV 카메라가 줌, 틸트, 팬 등을 행하는 경우에는 전체화면을 기록한다.

그러한 카메라 동작 후, 카메라가 정지하면 영상 데이터(2836)를 워크스테이션(2103)으로 보내 화상해석을 행하고, 기록대상을 포함하는 영역을 확정한다. 이 영역은 간단화를 위해, 예를 들면 장방형과 같은 것이 좋다. 이 영역이 결정되면, 그 영역의 좌표치, 크기 등의 위치정보를 영상, 음성 기록부(2108)로 보내, 이하 CPU(2301)가 카메라로부터 보내져 온 화상으로 부터 이 영역만을 꺼내어 기록한다. 이후 다시 카메라 동작이 행해질 때까지, 이 영역만을 기록하도록 한다. 재생시에 있어서는 시각(2845)의 영상 데이터를 호출하여 기록된 데이터(2846)를 CPU(2301)가 블렌드함으로써, 전체화면을 생성한다.

영상기록 조건 결정순서(2902)에서는 영상을 기록하는 조건을 결정한다. 구체적으로는 이하의 조건 중 어느 것이다.

(1) 정해진 시간간격으로 기록한다. 이것은 워크스테이션(2103) 또는 영상, 음성 기록 유니트(2108)내의 CPU(2201,2301)에 클록을 갖는다. 전자의 경우에는 일정한 시간마다 기록하는 명령을 영상, 음성 기록부(2108)에 보낸다. 후자의 경우에는 기록개시의 명령만이 영상, 음성 기록부(2108)에 보내져 이하 CPU(2301)가 기록시각을 관리한다.

(2) 각 카메라로 부터의 영상에 있어서, 전체화면과의 차이가 있는 한계치 이상이 되면 기록한다. 이것은 영상, 음성 기록부(2108)내의 주기억(2302)상에 기억된 화면의 영상정보와 현시점에 있어서의 영상정보와의 차이값을 CPU(2301)에서 계산하고, 그 값에 의해 기록명령을 영상, 음성 판독부(2304)로 보낸다.

(3) 각 프로세스 데이터가 그 데이터 고유의 어느 일정치를 넘으면 기록한다. 이것은 워크스테이션(2103)에 들어오는 프로세스 데이터를 CPU(2201)에서 처리하고, 특히 이상이 있는 데이터에 관한 영상을 촬영하고 있는 카메라의 영상을 기록하도록 영상음성 기록부(2108)에 명령한다.

(4) 각 프로세스 데이터가 앞의 데이터와의 차이가 그 데이터 고유의 어느 일정한 값을 넘으면 기록한다. 실현방법은 (3)과 같다.

(5) 각 프로세스 데이터의 무게 평균, 즉 무게를 wi(wi≥0), 각 프로세스 데이터를 di로 하여

e = ∑ wi * di

가 어느 일정한 값을 넘으면 기록한다. 실현방법은 (3)과 같다.

(6) 정해진 시간간격으로 기록하고 이상의 조건의 어느 것의 상태로 되면 보다 짧은 시간간격으로 기록하고 조건을 만족시키지 못하면 원래의 시간 간격으로 고친다.

영상기록 방법 결정순서(2903)에서는 기록방법을 결정한다. 구체적으로는 이하의 방법 중 어느 것이다.

(1) ITV 카메라로부터의 영상정보를 그대로 기억한다.

(2) 이전 화면과의 차이를 기록해간다. 이것은 주기억부(2302)에 버퍼링한 영상과 현재의 영상과의 차이를 CPU(2301)에서 취한다. 재생시에 있어서는 전체 기록대상을 기록하고 어떤 시점으로부터 현시점까지의 차이를 가감산 하는 것으로 기록대상의 영상을 작성한다.

이상과 같이 기록된 영상 데이터의 시각 t에서의 표시는 제 38도에 나타낸 순서로 행한다. 스텝 3001에서 영상 데이터의 인텍스(2821) 및 시각 t의 지정을 한다. 여기서, 영상 인덱스의 지정은 워크 스테이션(2103)에 의해 행해지고, 시각 t의 지정은 워크스테이션(2103)에 의한 경우와 영상, 음성 기록부(2108) 내의 CPU(2301)에 의한 경우가 있다.

영상, 음성 기록 판독부(2304)는 스텝 3002 및 3003에 나타낸 것 같이 시각 t에 있어서 영상이 기록되어 있지 않은 경우에는 시각 t보다 이전에 기록된 t에 가장 가까운 시점 s의 영상 데이터를 판독한다.

스텝 3004에서 영상 데이터가 영상정보를 그대로 기록한 것이면 그것을 사용한다. 한편, 차이를 기록한 것이면, 스텝 3005에서 시각 t에 가장 가깝고 또한 차이값이 아닌 영상정보를 판독하고 영상, 음성 기록부(2108) 내의 주기억(2302)에 기록하고, 스텝 3006에서 거기에서의 차이를 취하여 영상을 작성한다. 영상이 카메라 화상 전부일 경우에는 표시한다. 그렇지 않은 경우에는 3008에서 배경과 합성한 후 표시한다.

영상, 음성 기록부(2108)내의 CPU(2301)는 워크스테이션(2103)으로부터 재생방향, 속도를 지정한 재생명령이 보내지면, 다음 식에서 내부에 갖는 표시시각 데이터 t를 앞당긴다.

t = t + a^*v

여기서, w는 표준재생 속도에 있어서의 영상판독 속도, a는 재생 방향이 순방향일 때에는 양이고, 역방향일 때에는 음으로, 2배속일 때에는 절대치가 2이고, 표준속도일 때에는 1인 계수이다. 재생시의 영상표시는 순방향 재생의 경우에는 시각 데이터(2835)를 이 시각 데이터 t가 초월한 때 워크스테이션(2103)에 영상 데이터(2836)를 보내고, 역방향 재생의 경우에는 이 시각 데이터 t가 2835의 다음의 시각 데이터를 밑돌 때 영상 데이터(2836)를 보낸다.

워크스테이션(2103)으로부터 표시 중의 영상의 생성시각의 요구가 있는 경우에는 이 시각 t를 2103으로 보낸다.

이상의 기록, 재생방식하에서 제 39도는 제 1의 기능을 실현하기 위한 처리순서이다. 스텝 3101에 있어서 메뉴에서 재생모드가 선택된다. 이때 워크스테이션(2103)은 제 34도의 2603에서 표시된 컨트롤 버튼을 표시한다. 처리 3102에 있어서, 워크스테이션(2103)은 터치패널 등의 포인팅 디바이스에 의한 입력신호를 처리하고, 그 입력위치를 조사함으로써 버튼의 종류의 검출을 행한다. 이때, 그 버튼이 눌려진 것을 표시하기 위해 제 34도에 표시된 것 같이 눌려진 버튼의 색을 바꾸어 디스플레이상에 재표시하는 동시에, 재생방향 및 속도를 결정한다. 처리 3103에 있어서는, 결정된 방향, 속도를 근거로 다음에 표시하는 프로세스 데이터가 생성된 시각 t를 결정한다.

구체적으로는 다음과 같은 2가지 방법이 있다.

(1) 영상, 음성 기록부(2108)에 표시 중의 영상, 음성이 기록된 시각 t를 문의한다.

(2) 다음 식에 나타낸 시각 t를 다음의 표시해야 할 시각으로 한다.

t = t + a^*v

여기서, v는 현재 표시하고 있는 모든 데이터를 1회씩 고쳐쓰는 시간, a는 재생방향이 순방향일 때에는 양이고, 역방향일 때에는 음으로, 2배속일 때에는 절대치가 2이며, 표준속도일 때에는 1인 계수이다.

단, 데이터를 고쳐쓰는 시간은 계산기의 다른 부하에서 변화해 오므로, (1)의 방법도 병용한다. 이것을 사용하는 것으로, 워크스테이션(2103)이 표시에 걸리는 시간 만큼의 영상, 음성정보의 앞서가는 시간만큼, 다음의 표시정보의 시각을 앞서갈 수가 있다.

처리 3104에 있어서는 시각 t에 있어서 표시해야 할 프로세스 데이터가 워크스테이션(2103)내에 버퍼링되어 있는 데이터로 충분한가를 판단하여 충분한 경우에는 그것들을 표시한다. 단, 충분한 경우라는 것은, 시각 t에 있어서의 프로세스 데이터가 버퍼링되어 있던지 또는 시각 t에 있어서 데이터는 없지만 그 전후의 데이터가 버퍼링되어 있는 경우이다.

전후의 데이터만 버퍼링되어 있을 때에는 가장 t에 가까운 데이터로 대용하거나 전후의 데이터를 선형으로 보간(補間)하는 것으로 데이터를 작성한다. 충분하지않은 경우에는 처리 3105에 있어서, 워크스테이션(2103)은 표시속도, 방향을 기초로 데이터 베이스(2104)로부터 표시 데이터로서 읽어들일 데이터의 범위를 결정하고, 처리 3106에서, 표시되는 프로세스 데이터의 종류와 읽어들일 데이터의 범위를 LAN을 통해서 데이터 베이스(2104)로 보내며, 데이터 베이스(2104)로부터 요구된 프로세스 데이터가 워크스테이션(2103)으로 보내진다. 처리 3107에 있어서는, 영상, 음성정보를 표시 또는 출력하고, 처리 3108에 있어서는 워크스테이션(2103)에서는 보내져온 각각의 프로세스 데이터를 트렌드 그래프나 미터로 하도록, 주기억(2202)에 기록되어 있는 개개의 프로세스 데이터의 표시 방법으로 영상정보, 음성정보와 동시에 표시한다.

다음에 제 29도 내지 제 34도 및 제 40도를 사용하여 제 2 기능에 대하여 기술한다.

시각 커서(2503)는 터치 패널(2107)을 사용하여 커서(2503)위를 손가락으로 눌려질 때까지 좌우로 움직임으로써, 커서(2503)가 좌우로 움직이도록 되어 있다. 이때, 제 40도에 나타낸 것 같이, 직접 트렌드 그래프(2403)내의 시각 커서(2503)를 참조하고자 하는 시점으로 움직임으로써, 다른 트렌드 그래프(2403)내의 시각커서(3201)가 시각 커서(2503)가 지시하는 시각으로 이동하고, 시각 커서(2503)에서 결정된 시각의 영상을 호출하여 영상 표시영역(2402)에 표시한다. 또한, 이때, 제 30도에 있어서 미터(2405)등도 시각 커서(2503)가 지시하는 시각 데이터를 표시한다.

물론, 현재 트렌드 그래프(2403)의 시간축에 표시되지 않은 시각의 지정도 시간축 버튼(2506, 2507)등을 사용함으로써 행할 수 있다. 이상과 같이 표시되어있는 프로세스 데이터가 참조하고자 하는 곳을 지정하는 것으로, 그 데이터가 기록된 시점의 영상과, 그 시점에서의 다른 프로세스 데이터를 참조할 수 있다. 이것에 의해 조작원이 프로세스 데이터 등을 참조하고자 하는 시점을 트렌드 그래프(2403)등을 보고 직접 지정하는 것으로 영상의 표시가 가능하게 된다.

이것에 의해, 프로세스 데이터의 참조에 의해 구체적인 현장의 상황을 참조할 수가 있다.

이하에 이 예의 실현방법을 제 41도를 사용하여 기술한다. 제 39도의 알고리즘과는, 처리 3301에서 시각 커서가 지시하는 시각 t를 검출하는 것과, 처리 3302의 시각 t가 이미 워크 스테이션(2103)내에 버퍼링되어 있는가의 판정만이 다르다. 처리 3301에 있어서는 터치패널 등의 포인팅 디바이스에 의한 입력신호의 좌표치를 워크스테이션(2103)내의 CPU(2201)가 처리하고, 시각커서(2503)를 그 좌표상에 재묘화하는 동시에, 시각 커서(2503)가 지시하는 시각 t를 좌표치로부터 산출한다. 혹시 시각 t의 데이터가 워크 스테이션(2103)내에 버퍼링되어 있지 않은 경우에는 이하 실시예 1에 있어서의 스텝 3105, 3106을 행하여, 이하 스텝 3106, 3107에서 데이터, 영상, 음성을 표시 한다.

이하, 제 3의 기능에 관해 기술한다.

제 42도에 나타낸 것 같이, 터치패널(2107)을 사용하여 트렌드 그래프(2403)내의 데이터 항목 표시부 내의 데이터 항목(3401)을 선택한 후에, 데이터값 커서(2505)를 탐색하고자 하는 값으로 가져가 탐색치를 결정한다. 이때, 선택된 데이터가 데이터값 커서(2505)가 표시하는 값을 취한 시점으로 시각 커서(2503)가 이동하고, 다른 트렌드 그래프(2403)에 있어서도 그 시점으로 시각 커서(3402)가 이동하여, 그 시점의 영상이 영상표시부(2402)에 표시된다. 또한, 이때, 제 32도에 있어서 미터(2405) 등도 시각 커서(2503)가 지시하는 시각의 데이터를 표시한다. 여기서, 검색은 시간축에 대해 역방향으로 1회만 행해진다.

다시 검색하고자 하는 경우에는 시간축 이동버튼(2506)을 누르는 것으로 다시 역방향으로 검색이 행해진다. 한편, 순방향으로 검색하는 경우에는 버튼(2507)을 누르는 것으로 순방향으로 검색된다. 이상과 같이 표시되어 있는 프로세스 데이터에 있어서, 값을 탐색하면, 탐색결과가 표시되고 그 표시된 데이터가 기록된 시점의 영상과, 그 시점에서의 다른 프로세스 데이터를 참조할 수 있다.

이하에 이 예의 실현방법을 제 43도에서 기술한다. 처리 3501에 있어서는 터치패널(2107) 등의 포인팅 디바이스에 의한 입력신호의 좌표치를 워크스테이션(2103)이 처리하고, 데이터 항목 표시부(2502)에 있어서 탐색 대상으로 선택된 데이터값 커서(2505)에 의해 표시된 탐색치를 결정한다.

다음에, 처리 3502에 있어서 탐색의 방향, 즉 시간축에 대해 순방향 탐색 또는 역방향 탐색을 결정한다. 이것은, 예를 들면, 기본적으로는 역방향 탐색이 1회 행해지고, 다시 시간축 이동버튼의 순방향의 버튼(2507)이 눌러졌을 때에는 순방향으로 탐색을, 시간축 이동버튼의 역방향 버튼(2506)이 눌러졌을 때는 다시 역방향으로 탐색을 행하는 것으로 한다.

이 버튼이 눌러졌는지의 판단은 워크스테이션(2103)이 행한다. 처리 3503에 있어서는, 데이터 베이스(104)에 탐색대상, 탐색치, 현재 표시되고 있는 데이터작성시각, 탐색방향 등을 포함한 탐색명령을 보내고, 스텝 3504에 있어서 최초로 발견된 탐색치와 표시시각을 결정한다. 이하, 예 1의 스텝 3104로부터 3109까지와 동일하므로, 생략한다.

이 기능에 의해 어떤 프로세스 데이터가 일정치를 취하는 조건에서의 다른 프로세스 데이터값과 영상정보를 사용한 비교, 분석 등이나 극히 드물게 밖에 일어나지 않는 이상치 등의 호출이 가능하게 된다.

제 4의 기능에 대한 예를 제 44도, 제 45도, 제 46도에서 기술한다. 제 44도에서는 영상정보를 재생할 때에 순방향 2배속 버튼(2705)을 선택한 경우에, 트렌드그래프(2403)내의 시간축(2504)이 2배 범위의 시간을 표시하고, 현재 표시하고 있던 프로세스 데이터는 새로운 시간축에 맞추어 재표시되는 동시에, 표시되어 있지 않았던 데이터는 데이터 베이스로부터 판독되어 시간축에 맞추어 표시된다. 다음에, 영상 표시부(2402)에 표준속도의 2배인 속도로 영상이 표시되어, 시각커서(2503)가 이동한다.

이와 같이 2배속 재생시에는, 트렌드 그래프(2403)내에 보다 긴 시간의 데이터를 표시하는 것이 가능하게 되어, 데이터의 시간에 의한 변화를 개관할 수 있다. 이러한 표시는 데이터의 검색에 있어서 편리하다.

한편, 제 45도에 있어서는, 1/2배 속도 재생버튼(2707)을 선택한 경우에, 시간축(2504)이 표준속도일 때의 절반 범위의 시간을 표시한다. 이때, 보다 상세히 데이터를 표시할 수가 있으므로, 표준속도인 때에는 표시되지 않았던 데이터를 데이터 베이스로부터 읽어들이는데에 있었던 데이터와 병행하여 재표시한다.

즉, 영상을 재생할 때에, 재생하는 속도에 의해 프로세스 데이터의 호출방법, 표시방법을 변화한다.

이것에 의해, 재생속도를 빨리하는 경우에는, 장 시간의 데이터를 트렌드그래프(2403)에 표시할 수 있으므로 데이터의 탐색, 개관 등이 용이하게 된다. 또한, 프로세스 데이터를 호출할 때에 재생속도가 빠르면 호출하는 데이터의 생성시각의 간격이 커지지만, 이 표시를 사용하는 것에서의 호출의 실패가 눈에 띄지않게 된다. 한편, 재생 스피드를 늦게하는 경우에는 데이터를 상세히 표시할 수가 있다.따라서, 상세하게 해석하고자 하는 시점에서는, 영상을 슬로우 재생하는 것만으로 상세하게 프로세스 데이터를 표시할 수 있다.

이것에 의해, 재생속도에 의해 프로세스 데이터의 시간에 대한 표시빈도를 바꾸므로 계산기의 부담을 어느 정도 억제할 수가 있다.

이 예의 실현방법을 제 46도를 사용하여 기술한다.

스텝 3102에 있어서 조작원으로부터의 입력에 의해 영상정보, 음성정보를 재생하는 방향, 속도를 결정한다. 스텝 3801에서는 워크스테이션(2103)에 있어서, 결정된 속도에 근거하여 프로세스 데이터의 표시방법, 호출방법의 결정을 행한다. 표시방법은 트렌드 그래프(2403)등에 있어서 시간축 표시단위, 즉 어느 정도의 간격으로 시간을 구분하는지를 결정하고, 호출방법은 호출하는 블록내에 있어서 데이터 사이의 시간간격 및 1회의 불러내기 블록에 있어서의 시간의 길이를 결정한다.

스텝 3104에 있어서 버퍼링되어 있는 데이터에서는 불충분한 경우에는 스텝 3105에 있어서 이 결정한 시간간격 및 시간길이를 코드화하여 데이터 베이스로 보낸다. 데이터 베이스에서는 스텝 3105에서 보내져온 코드에 근거하여, 시간간격, 시간길이 만큼의 블록 데이터를 판독하여 워크스테이션(2103)으로 보낸다.

이하, 워크 스테이션에서는 결정된 표시방법에 근거하여 데이터 표시를 행한다. 이 부분은 상기 실시예의 스텝 3104로부터 3109까지와 동일하므로 생략한다.

제 5도의 기능을 기술한다.

제 47도에 있어서는 프로세스 데이터의 표시의 방법으로서, 트렌드 그래프(2403)의 시간축의 구간 3901에서는, 시간축(2504)을 1/2로 축소화하고, 구간 3902에서는 그대로, 구간 3903에서는 2배로 확대한 것이다. 이때, 표시되는 프로세스 데이터의 생성시각의 간격은 구간 3901에서는 구간 3902의 2배로, 구간 3903에서는 구간 3902의 1/2배가 된다. 따라서, 구간 3901에서는 이전의 실시예에 있어서의 정확히 2배속 재생일 때와 동일한 표시로, 구간 3902에서는 표준속도 재생과 동일한 표시로, 구간 3903에서는 1/2배 속도 재생과 동일한 표시로 되어 있다.

이 경우에, 비디오 컨트롤러(2603)에서 표준 순방향 재생을 버튼(2704)을 사용하여 행하면, 영상을 영상표시 영역(2402)에, 시각 커서(2503)가 구간 3901에 있는 경우에는 2배속으로, 구간 3902에 있는 경우에는 표준속도로, 구간 3903에 있는 경우에는 1/2배속으로 표시한다. 즉, 프로세스 데이터의 표시 방법을 사전에 설정해두는 것으로, 재생할 때에 영상재생시의 속도를 그 표시방법에 맞추어 설정하여 그 속도로 재생을 행한다.

이것에 의해, 조작원이 표시하는 데이터의 표시방법을 지정할 수 있을 뿐만아니라, 데이터를 자세히 보고싶은 곳은 영상을 천천히, 데이터를 넘기고 싶은 곳은 영상을 넘겨서 재생할 수 있다.

이하, 이 예의 실현방법에 대해서 제 48도에 기술한다.

스텝 4001에서 조작원으로부터의 입력에 의해, 축소, 확대해야 할 시간축의 구간을 지정한다. 스텝 4002에서 그 구간에 대하여 조작원은 확대, 축소 중 어느 것을 선택한다. 이것들의 지정, 선택은 예를 들면 메뉴로 행하여도 좋고, 이 예와같이 터치패널 등으로 구간을 지정한 후 그 구간의 끝점을 잡아서 구간을 연장 축소시켜 행할 수도 있다. 이때, 스텝 4003에서 시간축을 재표시하는 동시에, 필요하면 데이터 베이스로부터 블록 불러내기를 행하여, 프로세스 데이터를 재표시한다.

이때, 각 구간의 재생속도를 워크스테이션(2103)이 결정하여, 주기억(2202)에 기억해둔다. 다음에, 재생이 개시되고, 스텝 3103에서 표시시각 t가 결정된다.이 시각 t를 포함하는 구간을 CPU(2201)에서 결정한 후, 혹시 그곳까지의 구간과 틀린 구간이 있으면, 스텝 4004에서 영상, 음성 기록부(2108)에 재생속도, 방향 등의 재생명령을 보낸다. 이하는, 상기 실시예의 스텝 3104로부터 3109와 동일하다.

제 6의 기능에 대해 기술한다.

제 49도에 있어서는, 영상정보를 재생할 때에, 프로세스 데이터 뿐만 아니라 조작원으로부터의 조작정보도 병행하여 재생한다. 이때, 그 시점에서 디스플레이 상에 표시하고 있던 영상, 프로세스 데이터가 표시되는 동시에, 마우스 커서(4101)등으로 표시되는 조작원의 입력이 재생, 표시된다. 이때, 4102에 나타낸 것 같이 영상표시영역(2402)에 표시하는 영상을 새롭게 선택함으로써, 조작원의 조작에 의해 일어나고, 또한 기록된 시점에서는 보이지 않았던 영상정보를 참조할 수가 있다. 또한, 동일한 조작으로 표시되지 않았던 프로세스 데이터 등도 표시할 수 있다. 이것에 의해, 예를 들면 조작원의 조작 오류 등으로 일어나는 이상을 신속하게 발견할 수 있다. 또한, 제어조작의 교육에도 큰 효과를 올릴 수 있다.

또한, 조작원의 조작정보를 재생하여, 프로세스 운전상황 변화인가, 조작원의 조작명령에 의한 것인가를 안다. 또한, 이러한 조작명령을 기록, 재생하는 것으로, 조작순서의 설명에 사용하거나 교육용의 시스템, 조작원의 조작상황의 감시를행할 수 있다.

제 7의 기능은, 탐색하고자 하는 조작원으로부터의 조작정보를 입력하고, 입력된 조작정보를 탐색하여, 그 시점에서의 조작정보와 영상정보, 음성정보와 프로세스 데이터가 호출되어 표시된다. 이것에 의해, 정보의 탐색을 조작원이 행한 조작을 표적으로 하여 행할 수 있다.

따라서, 조작원의 조작명령을 검색할 수 있기 때문에, 조작원의 조작에 의해생긴 프로세스 데이터의 변화, 영상의 변화를 검색할 수 있다.

이상 2가지 예의 실현방법을 이하에 기술한다. 제 36F도에 있어서 데이터(2850)는 데이터 베이스(2104)에 기록하는 화면정보를 나타낸 것이다. 화면정보(2850)는, 시각(2851), 동화상 표시영역(2202)에 표시하는 영상을 촬영한 카메라명(2852), 트렌드 그래프(2403)에 표시하는 프로세스 데이터명(2853 내지 2855), 미터(2405)나 다른 데이터 표시 유니트에 표시되어 있는 데이터명(2856) 등으로 이루어진다. 이 데이터는 조작원이 동화상 표시영역(2402)에 표시하는 영상을 절환하거나 트렌드 그래프(2403)에 표시하는 데이터를 변경, 추가, 삭제했을 때 워크스테이션(2103)이 데이터 베이스(2104)로 보낸다.

조작원으로부터 입력된 조작 데이터의 데이터 구조는 제 36B도의 프로세스 데이터의 데이터 구조(2820)과 동일하다. 단, 프로세스 데이터값(2824)대신에 조작 데이터로서 입력된 조작명령[포인팅 디바이스를 사용하여 조작원이 입력한 좌표치를 워크스테이션(2103)이 처리하여 생성한 명령]을 넣는다. 이 데이터도 조작명령이 있던 시점에서 워크스테이션(2103)이 이 데이터를 데이터 베이스(2104)로 보낸다.

재생에 관해서는 제 39도에서 도시된 알고리즘과 동일하다. 단, 스텝 3108에있어서, 프로세스 데이터는 표시하는 데이터를 표시시각 t의 가장 가까운 시각의 데이터값과 전후의 데이터를 보간하는 것으로 데이터를 작성하였지만, 조작원의 조작 데이터의 실행은, 순방향 재생일 때에는 표시시각 t가 조작 데이터의 기록시각을 초월한 때, 역방향 재생의 경우에는 조작 데이터의 기록시각을 밑돌은 때로 한다. 또한, 시각(2851)에 기록된 화면정보 데이터의 내용을 표시하는 것은, 순방향 재생일 때에는 표시시각 t가 시각(2851) 이상으로 되었을 때, 역방향 재생의 경우에는 시각(2857) 이하로 되었을 때로 한다.

검색에 관해서는 제 43도에서 도시된 알고리즘과 동일하다. 단, 스텝 3504에서 표시시각 t를 결정한 후, 스텝 3106에서 t 이전의 t로 가장 가까운 화면정보 데이터를 호출하고, 그후 표시해야 할 프로세스 데이터를 결정하여 프로세스 데이터를 호출한다.

이하의 예는 상기 모든 실시예에 있어서, 영상, 음성, 프로세 데이터를 재생할 때에, 영상 및 프로세스 데이터의 관련 표시에 대한 것이다.

제 8의 기능은, 제 50도에 있어서 동화상 표시영역(2402)에 표시되어 있는 보일러의 창을 선택대상(4201)으로 정의해 놓고, 이것을 선택하면, 그 선택대상이 선택된 것을 나타내는 그래픽스가 표시되고, 다시 거기로부터 생성된 프로세스 데이터명(4202)이 트렌드 그래프(2403)내의 프로세스 데이터 항목에 표시되어, 프로세스 데이터(4203)가 그래프로 표시된다.

이상과 같이 영상 내의 선택대상을 포인팅 디바이스를 사용하여 선택함으로써 관련된 프로세스 데이터를 표시한다. 여기서 물론, 선택대상이 보일러의 창이 아니어도, 사전에 선택대상으로서 제어용 계산기 내에 등록되어 있으면 좋다. 또한, 트렌드 그래프(2403)에 데이터를 표시하는 이외에 미터(2405) 등으로 표시할 수도 있지만, 이하 간단화를 위해 트렌드 그래프(2403)에 데이터를 표시하는 경우만을 나타낸다.

제 9의 기능은 제 51도에 있어서 동화상 표시영역(2402)에 표시되어 있는 보일러의 상측 파이프를 선택대상(4301)으로 정의하고, 이것을 선택하면, 그 선택 대상이 선택된 것을 나타내는 그래픽스가 표시되고, 그 선택대상에 관련된 프로세스 데이터(4302)가 이미 트렌드 그래프(2403)에 표시하고 있는 증기압인 경우에, 프로세스 데이터 항목의 증기압(4302)이 하이라이트하는 동시에, 그래프(4303)가 하이라이트하여 조작원에 의해 선택된 선택대상의 관련 데이터 인 것을 나타낸다. 즉, 선택된 영상 내의 선택대상에 관한 데이터가 이미 표시되어 있는 경우에는 데이터가 하이라이트 등으로 되는 것으로 선택된 것을 나타낸다.

제 10의 기능은, 제 52도에 있어서 동화상 표시영역(2402)에 표시 되어 있는 보일러의 좌측 파이프를 선택대상(4401)으로 정의하고, 이것을 선택하면, 그것이 선택된 것을 나타내는 그래픽스가 표시되고, 그 선택대상에 관련된 프로세스 데이터가 복수개 있는 경우에, 동화상내의 선택대상의 바로 옆에 프로세스 데이터를 항목으로 하는 선택메뉴(4402)가 표시되며, 그 중에서 참조하고 싶은 프로세스 데이터를 포인팅 디바이스를 사용하여 선택함으로써, 트렌드 그래프(2403)내에 데이터를 표시한다. 즉, 선택된 영상내의 선택대상에 관련된 데이터가 복수개있는 경우에는 선택메뉴를 표시하여, 조작원이 참조하고 싶은 데이터를 선택할 수 있다.

제 11의 기능은, 제 53도에 있어서 동화상 표시영역(2402)에 표시되어 있는 보일러의 본체를 선택대상으로 정의하고, 이것을 선택하면, 그 선택대상이 선택된것을 나타내는 그래픽스(4501)가 표시되며, 그것에 관련된 프로세스 데이터(4502 내지 4504)를 동화상 각각의 데이터가 관계하는 곳에 겹쳐 표시한다. 즉, 영상내의 선택대상을 포인팅 디바이스를 사용하여 선택함으로써, 관련된 프로세스 데이터가 영상 내의 관련된 장소에 표시된다.

제 12의 기능은, 제 54도에 있어서는 동화상 표시영역(2402)에 표시되어 있는 보일러내의 전체를 선택대상으로 정의하고, 이것을 선택하면, 그것이 선택된 것을 나타내는 그래픽스(4601)가 표시되며, 그 선택대상에 관련된 온도분포 데이터를 호출하여, 컴퓨터 그래픽스(4602)로 영상에 겹쳐 표시한다. 영상내의 선택대상을 포인팅 디바이스를 사용하여 선택함으로써 그 선택대상 위에 프로세스 데이터를 컴퓨터 그래픽스로 표시한 것이 겹쳐진다.

제 13의 기능은, 제 55도에 있어서는 동화상 표시영역(2402)에 표시되어 있는 보일러 전체를 선택대상으로 정의하고, 이것을 선택하면, 그 선택대상이 선택된 것을 나타내는 그래픽스(4701)가 표시되는 동시에, 그 선택 대상과 관계가 깊은 연료 공급부에 그래픽스(4702)가 표시된다.

즉, 영상 내의 선택대상을 포인팅 디바이스를 사용하여 선택함으로써, 그 선택대상과 관련이 있는 영상 내의 선택대상을 표시한다.

제 14의 기능은, 제 56도에 있어서는 동화상 표시영역(2402)에 표시되어 있는 보일러 전체를 선택대상으로 정의하고, 이것을 선택하면, 그 선택대상이 선택된것을 나타내는 그래픽스(4801)가 표시되는 동시에, 그 선택 대상에 관한 제어방법, 메인테넌스 정보 등의 부가정보(4802)가 데이터 베이스로부터 판독되어, 영상 위에 표시된다. 즉, 영상내의 선택대상을, 포인팅 디바이스를 사용하여 선택함으로써 그 선택대상의 조작법, 제어방법, 메인 테넌스 정보등의 부가정보가 표시된다.

이와 같이 기능 8로부터 기능 14에 의해, 프로세스 데이터와 영상 정보내에 비추고 있는 장치와 관련시킬 수 있어, 프로세스 데이터에 의한 영상내의 관련된 장치로의 참조나 영상 내의 장치에 의한 프로세스 데이터로의 참조가 가능하다. 이것에 의해, 예를 들면 훈련을 쌓은 조작원이 아니더라도, 영상과 데이터를 보는 것에 의해 장치의 간단한 조작, 감시를 행할 수가 있다.

다음에, 프로세스 데이터를 사용하여 영상 내에 정보를 표시하는 것을 나타낸다.

제 15의 기능은, 제 57도에 있어서는, 트렌드 그래프(2403) 내의 프로세스 데이터 항목(4302)을 선택함으로써, 그 프로세스 데이터 항목(4302)이 하이라이트하는 것에 의해, 그 프로세스 데이터가 선택된 것을 나타내고, 다시 영상표시 영역(2402)내에 그 프로세스 데이터(4301)에 관련된 선택대상이 존재하는 것을 나타내는 그래픽스(4301)가 표시된다. 즉, 프로세스 데이터가 영상내에서 어느 선택대상과 관련이 있는가를 나타내는 그래픽스가 표시된다.

제 16의 기능은, 제 58도에 있어서는, 트렌드 그래프(2403)내의 프로세스 데이터 항목(4302)을 선택함으로써, 영상(2402)내에 그 프로세스 데이터가 관련된 선택대상에 프로세스 데이터(5001)를 겹쳐 표시한다.

제 17의 기능은, 제 59도에 있어서는, 트렌드 그래프(2403) 내의 프로세스 데이터 항목(4302)을 선택함으로써, 영상(2402)내에 그 프로세스 데이터가 관련된 선택대상에 프로세스 데이터를 컴퓨터 그래픽스(5101)로 겹쳐서 표시한다.

이상의 기능 8 내지 16의 예에 관해 그 실현방법을 제 60도를 사용하여 설명한다. 워크 스테이션(2103)내에 감시대상이 되는 제어대상 장치(5201)의 형상모델을 기록한다. 이 형상 모델의 일부를 조작으로부터의 입력을 받는 선택대상으로서 정의한다. 이 형상 모델은 CAD 모델 등의 3차원 데이터나, 프로세스의 설계도, 또는 조작원이 카메라(2110)로부터의 영상을 보고 정의한 단순한 사각형 영역이라도 좋다. 이 선택대상의 영상내에 있어서 위치, 크기를 결정하기 위해, ITV 카메라(2110)로부터 화각정보, 수직각 정보, 수평각 정보를 데이터 베이스(2104)에 시각과 함께 기록한다.

또한, ITV 카메라로 보내는 카메라 제어 커멘드(commend)와 ITV 카메라의 초기설정으로부터 화각정보, 수직각 정보, 수평각 정보를 워크스테이션(2103) 내의 CPU(2201)에서 산출하고, 결과를 데이터 베이스(2104)로 보내, 시각과 함께 기록한다. ITV 카메라나 제어대상장치는 이동하지 않으므로 카메라의 초기위치, 기록하는 카메라 정보, 형상 모델을 조합시킴으로써 화상내에 있어서 선택 대상의 위치, 크기를 알 수 있다.

프로세스 장치(5201)를 비추는 ITV 카메라(2110)는, 그 수직각 정보(5211)및 수평각 정보(5212) 및 줌 값을 부여하는 것에 의해, 화상(5202 내지 5204)을 작성한다. 여기서, 각각의 화상에 비추어진 장치(5201)의 상은 줌 값에 의해 5205, 5206, 5207로 된다. 각각의 줌 값에 맞추어 계산기 내부의 선택대상의 스케일링을 행한다. 여기서, 선택영역으로서 단순한 사각형 영역을 사용한 경우에는, 화상(5202)에 대응하는 선택대상은 5208이며, 화상 5203에 대해서는 5209, 화상 5204에 대해서는 5210이다. 스케일링은 모두 선형이기 때문에 용이하게 행할 수가 있다.

이와 같이 정의된 선택대상에 대해, 조작원으로부터의 선택이 있는 경우나 다른 선택대상으로부터 어떤 메시지 커맨드가 보내졌을 때에는, 선택대상을 표시하는, 관련 데이터를 보내는 등의 동작을 기동하도록 정의하여 놓는다.

이 선택대상의 데이터 구조는 제 36G도의 데이터(2860)로 나타낸다. 2861, 2862는 선택대상의 크기, 2863, 2864는 위치, 2865는 조작원에게 선택되었을 때 기동하는 동작, 또는 동작 테이블로의 포인터 등을 넣고, 2866에는 관련된 텍스트 정보 등을 넣는다. 이것에 의해, 영상 내의 장치와 프로세스 데이터나 관련정보를 대응시킬 수가 있다. 또한, 영상 내의 장치끼리 관련시키는 것을 행할 수도 있다. 더욱이, 프로세스 데이터나 선택대상을 간단히 표시할 뿐만 아니라, 선택된 경우에는 사전에 정의된 명령을 실행하는 것도 가능하다.

이와 같이, 영상내의 장치 상에 프로세스 데이터를 표시할 수가 있어, 조작원은 시선을 움직이지 않고 동화상, 프로세스 데이터를 볼 수 있다. 또한, 이것을 컴퓨터 그래픽스로 표시해 줌으로써, 조작원에게 직감적인 데이터값의 판단을 시킨다. 더욱이, 영상내에 있어서 배경 등, 수시로 기록할 필요가 없는 것이나 영상기록시각의 조건을 설정하는 것으로 쓸데없이 영상을 기록하는 것을 회피할 수 있다.

이와 같이하여, 영상, 음성, 프로세스 데이터를 동기시켜 재생함으로써, 보다 알기 쉬운 프로세스의 상황 파악과 신속한 이상 발견이 가능하게 된다. 또한, 조작원이 참조하고 싶은 프로세스 데이터를 영상위에서 선택하거나 참조하고 싶은 영상을 직접 프로세스 데이터 표시부 상에서 선택함으로써, 보다 직접적으로 조작이 가능하며, 프로세스의 감시성, 조작성, 확실성을 높일 수 있다. 더욱이, 영상 데이터를 사용한 프로세스 데이터의 검색이나 프로세스 데이터를 사용한 영상 데이터의 검색이 실현될 수 있다.

상기 8 내지 17의 기능은, 기록되어 있는 음성이나 영상뿐만 아니라, 실시간으로 입력되고 있는 음성이나 영상에 대해서도 상기와 동일한 실현법으로 실현할 수 있다. 이때, 표시하는 제어 데이터는 실제로 그곳에서 채취하고 있는 데이터이다. 또한, 영상의 절환은, ITV를 절환하거나 ITV를 원격 제어하여 팬, 줌시켜서 행한다.

이상과 같이, 본 실시예는 이하와 같은 효과가 있다.

(1) 프로세스 데이터값 설정시의 프리뷰

조작원이 프로세스 데이터를 어떤 값으로 설정할 때에 그 프로세스가 어떻게 되는가를 과거의 데이터로부터 영상, 프로세스 데이터를 검색 표시하는 것으로 프리뷰할 수가 있다.

(2) 운전감시에 있어서의 비교

감시하고 있는 프로세스의 운전상황을 기록하고 있는 운전상황을 촬영된 영상, 음성, 프로세스 데이터와 비교함으로써, 프로세스의 상황을 파악할 수 있다.

(3) 프로세스 데이터 설정치의 결정

어떤 프로세스 데이터값을 희망하는 값으로 설정하기 위해서는 관련된 데이터 값도 설정할 필요가 있다. 이와 같이 복수의 데이터값의 설정이 필요한 경우, 과거의 데이터 및 영상, 음성을 참조함으로써 조작원에게 설정치의 결정에 대한 지침을 부여할 수가 있다.

(4) 이상시점의 탐색, 분석

이상 시점의 탐색과, 고장 위치의 검출을, 과거의 프로세스 데이터와 영상, 음성과의 동기 재생을 사용함으로써 보다 유효하게 행할 수 있다.

(5) 교육용 시뮬레이터

조작원의 조작순서의 재생에 의해 교육용 시뮬레이터로서 사용할 수 있다.

또한, 본 실시예에서는, 측정 데이터와, 영상 또는 음성 데이터와의 동기를 취하기 위해 시간을 기록하는 것으로 하였지만, 본 발명은 이것에 한정되는 것은 아니고, 예를 들면, 측정 데이터와 영상 데이터 등에 일련 번호를 붙여놓고, 이 일련번호를 키로 하여 측정 데이터와, 영상 또는 음성데이터와의 동기를 취하는 것으로 하여도 좋다.

또한, 영상 데이터 또는 음성 데이터의 재생에 관해서, 상기한 실시예에서는, 재생속도를 파악하는 것 또는 지연시키는 것을 기술하였지만, 본 발명은 이것에 한정되지 않고, 재생 방법으로서 정지(일시정지)를 시키는 것으로 하여도 좋다.

이때에는, 정지시키는 방법으로서, 오퍼레이터의 조작에 의한 방법 또는 알람을 기록하여 놓고, 알람이 발생된 시점에서 정지하는 것으로 하여도 좋다. 이때에는, 사고의 원인해석을 할 때 등에 사고 발생시점의 화면을 신속히 검색할 수가 있다고 하는 메리트가 있다.

더욱이, 본 실시예는, 상기한 것 같은 ITV 카메라에 의한 동화상 만을 대상으로 하는 것이 아니고, 스틸 카메라에 의한 정지화상을 취급하는 것도 가능하다.

상기와 같이 본 실시예에 의해, 측정 데이터와, 영상 또는 음성을 동기하여 재생할 수 있는 감시 시스템을 제공할 수 있다.

Claims (12)

1. 감시대상에 관한 영상정보 및 음성 데이터중 적어도 한편의 재생용 정보와, 감시대상에 관한 프로세스 데이터를 기억한 기억부와,

   상기 재생용 정보를 재생하는 제 1 기능과 상기 프로세스 데이터를

   출력하는 제 2 기능을 가지는 출력부와,

   상기 출력부에 의해 재생되는 재생용 정보와 상기 출력부에 의해 출력되는 프로세스 데이터가 동일한 시각의 감시대상의 상태를 나타내도록 상기 제 1 기능과 제 2 기능 사이의 동기를 제어하는 제어부를 가지는 것을 특징으로 하는 감시 장치.
2. 감시대상에 관한 영상정보 및 음성 데이터중 적어도 한편의 재생용 정보와, 감시대상에 관한 프로세스 데이터를 기억한 기억매체에서 상기 재생용 정보 및 상기 프로세스 데이터를 독출하기 위한 데이터 독출부와,

   상기 재생용 정보를 재생하는 제 1 기능과 상기 프로세스 데이터를 출력하는 제 2 기능을 가지는 출력부와,

   상기 출력부에 의해 재생되는 재생용 정보와 상기 출력부에 의해 출력되는 프로세스 데이터가 동일한 시각의 감시대상의 상태를 나타내도록 상기 제 1 기능과 제 2 기능 사이의 동기를 제어하는 제어부를 가지는 것을 특징으로 하는 감시 장치.
3. 제 1 항에 있어서,

   상기 기억부는 상기 재생용 정보와 상기 프로세스 데이터를 대응 부가시키는 대응 부가정보를 기억하고,

   상기 제어부는 상기 대응 부가정보에 기초하여, 상기 제 1 기능과 제 2 기능사이의 동기의 제어를 행하는 것을 특징으로 하는 감시장치.
4. 제 2 항에 있어서,

   상기 기억매체는 상기 재생용 정보와 상기 프로세스 데이터를 대응 부가 시키는 대응부가 정보를 기억하고,

   상기 제어부는 상기 대응 부가정보에 기초하여, 상기 제 1 기능과 제 2 기능사이의 동기의 제어를 행하는 것을 특징으로 하는 감시장치.
5. 제 3 항 또는 제 4 항에 있어서,

   상기 대응 부가정보는 상기 재생용 정보 및 상기 프로세스 데이터가 상기 기억부에 기록된 시간에 관한 정보인 것을 특징으로 하는 감시장치.
6. 제 1 항에 있어서,

   상기 재생용 정보의 재생방향 또는 재생속도의 지정을 받아들이기 위한 지정부를 가지며,

   상기 제어부는 상기 지정부가 받은 지정에 따라서 상기 출력부를 제어하는 것을 특징으로 하는 감시장치.
7. 감시대상에 관한 영상정보 및 음성 데이터중 적어도 한편의 재생용 정보와, 상기 감시대상에 관한 데이터를 기억한 기억부와,

   상기 기억부에 기억되는 데이터중 적어도 하나의 데이터에 대한 지정을 받는 지정부와,

   상기 지정부에 의해 지정을 받은 정보는, 상기 기억부에 기억된 시각에 가장 가까운 시각에 상기 기억부에 기억된 데이터를 표시하는 표시부를 가지는 것을 특징으로 하는 감시장치.
8. 감시대상에 관한 영상정보 및 음성 데이터중 적어도 한편의 재생용 정보와, 상기 감시대상에 관한 데이터를 기억한 기억매체에서, 상기 재생용 정보를 독출하는 기능과 상기 감시대상에 관한 데이터를 독출하기 위한 기능을 가지는 데이터 독출부와,

   상기 영상정보 및 상기 음성 데이터중에서 특정정보의 지정을 받는 지정부와,

   상기 지정부에 의해 지정을 받은 정보는 상기 기억부에 기억된 시각에 가장 가까운 시각에 상기 기억부에 기억된 데이터를 표시하는 표시부를 가지는 것을 특징으로 하는 감시장치.
9. 감시대상에 관한 영상정보 및 음성 데이터중 적어도 한편의 재생용 정보와 조작입력 정보를 기억한 기억부와,

   재생용 정보를 재생하는 동시에, 조작입력 정보를 출력하는 출력부와,

   상기 출력부에 의해 재생되는 재생용 정보와 상기 출력부에 의해 출력되는 조작입력 정보가 동일한 시각의 감시대상의 상태를 나타내도록 상기 출력부의 출력을 동기시키는 제어부를 가지는 것을 특징으로 하는 감시장치.
10. 감시대상에 관한 영상정보 및 음성 데이터중 적어도 한편의 재생용 정보와, 조작입력 정보를 기록한 기억매체에서 상기 재생용 정보 및 상기 조작입력 정보를 독출하기 위한 데이터 독출부와,

    재생용 정보를 재생하는 동시에, 조작입력 정보를 출력하는 출력부와,

    상기 출력부에 의해 재생되는 재생용 정보와 상기 출력부에 의해 출력되는 조작입력 정보가 동일한 시각의 감시대상의 상태를 나타내도록 상기 출력부의 출력을 동기시키는 제어부를 가지는 것을 특징으로 하는 감시장치.
11. 감시대상에 관한 영상정보 및 음성 데이터중 적어도 어떤 한편의 재생용 정보와, 상기 감시대상의 프로세스 데이터를 기억한 기억부와,

    상기 재생용 정보를 재생하는 기능과 상기 프로세스 데이터를 나타내는 기능을 가지는 출력부와,

    상기 프로세스 데이터중에서 적어도 하나의 프로세스 데이터를 받는 지정부와,

    상기 재생용 정보중에서 상기 지정부가 지정을 받은 프로세스 데이터가 상기 기억부에 기억된 시각에 가장 가까운 시각에 상기 기억부에 기억된 재생용 정보를 검색하고, 그 검색된 재생용 정보를 상기 지정부가 지정을 받은 프로세스 데이터와 함께 상기 출력부에서 출력시키는 제어부를 구비한 것을 특징으로 하는 감시장치.
12. 감시대상에 관한 영상정보 및 음성 데이터중 적어도 어떤 한편의 재생용 정보와, 상기 감시대상의 프로세스 데이터를 기억한 기억매체에서 상기 재생용 정보 및 상기 프로세스 데이터를 독출하기 위한 데이터 독출부와,

    상기 프로세스 데이터중에서 적어도 하나의 프로세스 데이터의 지정을 받은 지정부와,

    상기 재생용 정보 및 상기 프로세스 데이터를 표시하는 출력부와,

    상기 재생용 정보중에서 상기 지정부가 지정을 받은 프로세스 데이터가 상기 기억부에 기억된 시각에 가장 가까운 시각에 상기 기억부에 기억된 재생용 정보를 검색하고, 그 검색된 재생용 정보를 지정부가 지정을 받은 프로세스 데이터와 함께 상기 출력부에서 출력시키는 제어부를 구비하는 것을 특징으로 하는 감시장치.