KR20210142630A - 보수 지원 시스템, 보수 지원 방법 및 프로그램 - Google Patents

Abstract

(과제) 보수 대상 이외의 기밀 정보 등의 누설을 방지 가능하고 또한 촬상 조건의 제약이 적은 보수 지원 시스템 등을 제공한다.
(해결 수단) 보수 지원 시스템(100)은, 촬상 수단을 구비하는 단말(1)과, 소정의 기준점을 기준으로 하여 보수 대상(T)을 포함하는 3차원 영역(TA)을 특정하는 수단과, 기준점에 대한 초기 상태의 촬상 수단의 위치(벡터 A)를 특정하는 수단과, 촬상 수단의 초기 상태로부터의 위치의 변화(벡터 B)를 특정하는 수단과, 단말이 이동한 이동 후 상태의 촬상 수단을 기준으로 하는 기준점의 위치(벡터 C)를 특정하고, 촬상 화상에 있어서의 3차원 영역에 대응하는 화소 영역을 특정하는 수단과, 상기 화소 영역 이외를 불가시로 한 가공 화상을 생성하는 수단과, 가공 화상을 보수 지원자측 단말에 송신하는 통신 수단을 구비한다.

Description

보수 지원 시스템, 보수 지원 방법 및 프로그램

본 발명은, 산업용 기기 등의 보수 대상의 보수 작업을 지원하기 위한 보수 지원 시스템, 보수 지원 방법 및 프로그램에 관한 것이다. 특히, 본 발명은, 보수 대상 이외의 기밀 정보 등의 누설을 방지 가능하고 또한 촬상 조건의 제약이 적은 보수 지원 시스템, 보수 지원 방법 및 프로그램에 관한 것이다.

종래, 일반적으로, 기판 처리 장치 등의 산업용 기기의 트러블이 발생한 경우, 보수 대상인 산업용 기기의 설치 현장에 있는 보수 작업자가, 트러블의 상황을 확인한 다음, 보수 대상의 제조 메이커측의 보수 지원자에게 전화로 트러블의 상황을 전달하고, 보수 지원자가 전화에 의해 보수 작업자에게 각종 지시를 내리는 대응을 행하고 있다.

상기의 전화 대응을 행해도 트러블이 해결되지 않는 경우에는, 제조 메이커측의 숙련 작업자의 예정이 비어 있는 타이밍에, 보수 대상의 설치 현장에 숙련 작업자를 파견하는 대응을 행하고 있다.

상기의 전화 대응의 경우, 구두에 의한 의사소통이기 때문에, 트러블의 상황이 보수 지원자에게 능숙하게 전달되지 않거나, 보수 지원자의 지시가 보수 작업자에게 능숙하게 전달되지 않아, 트러블을 해결할 수 없는 경우가 있다. 필요에 따라, 보수 작업자가 취득한 보수 대상의 촬상 화상을 전자 메일 등으로 보수 지원자에게 송신하고, 보수 지원자가 촬상 화상을 확인함으로써 트러블의 상황을 파악하는 경우도 있는데, 상황 파악에 시간이 걸린다는 문제가 있다.

또, 상기의 숙련 작업자를 파견하는 대응의 경우, 즉시 대응이 어렵다는 문제가 있다.

상기와 같은 문제를 해결하기 위해서, 촬상 수단 및 헤드 마운트 디스플레이를 구비하는 웨어러블 단말을 보수 작업자가 장착하고, 이 웨어러블 단말을 이용하여 보수 대상을 촬상하고, 이 촬상 화상(동영상)을 인터넷 등의 전기 통신 회선을 통하여 보수 지원자측 단말에 송신하는 보수 지원 시스템이 제안되고 있다.

그러나, 상기의 보수 지원 시스템에 있어서, 촬상 화상을 그대로 보수 지원자측 단말에 송신하면, 촬상 화상 중에 설치 현장의 기밀 정보가 포함될 우려가 있다. 기밀 정보가 포함되는 촬상 화상이 보수 지원자측에 송신되면, 보수 지원자가 기밀 정보를 알게 되어 문제이다.

이에, 기밀 정보의 누설을 방지 가능한 보수 지원 시스템으로서, 예를 들면, 특허문헌 1에 기재된 보수 지원 시스템(특허문헌 1에서는, 화상 처리 시스템)이 제안되고 있다.

특허문헌 1에 기재된 시스템은, 원영역(元領域)을 포착한 원화상(元畵像)을 취득하는 취득부와, 상기 원화상 중의 1개 이상의 식별자를 인식하는 인식부와, 상기 인식부로 인식된 상기 1개 이상의 식별자에 의거하여, 상기 원영역 중 제1 영역을 포착한 제1 화상 부분, 및 상기 원영역으로부터 상기 제1 영역을 제외한 제2 영역을 포착한 제2 화상 부분 중 적어도 한쪽을 특정하는 특정부와, 상기 특정부에 의한 특정 결과에 따라, 상기 제1 화상 부분을 포함하는 처리 완료 화상을 생성하는 생성부를 갖는, 화상 처리 시스템이다(특허문헌 1의 청구항 1).

특허문헌 1에 기재된 시스템에 의하면, 제1 영역을 보수 대상으로 하고, 제2 영역을 보수 대상 이외의 기밀 정보 등으로 함으로써, 기밀 정보 등의 누설을 방지 가능하다고 생각할 수 있다.

그러나, 특허문헌 1에 기재된 시스템에서는, 원화상 중에 반드시 식별자가 포함되지 않으면 안 된다는 제약이 있다. 구체적으로는, 특허문헌 1에는, 인쇄 장치(300)의 내부 영역(4개의 식별자(30)로 둘러싸인 직사각형 영역)을 보수 대상으로 하는 예를 들고 있으며, 카메라(170)를 구비하는 웨어러블 툴(100)을 장착하는 작업자(10)의 움직임에 따라 원영역이 변동하고, 다른 원영역을 포착한 원화상(171a~173a)이 취득되는데, 어느 원화상(171a~173a)에도 식별자(30)가 포함될 필요가 있는 것이 기재되어 있다(특허문헌 1의 단락 0063~0065, 도 6, 도 7 등).

따라서, 예를 들면, 보수 대상에 근접하여 보수 대상의 세부를 촬상하려고 해도, 원화상 중에 식별자가 포함되는 범위에서밖에 근접할 수 없다는 제약이 발생한다.

또, 특허문헌 1에 기재된 시스템에서는, 식별자를 기준으로 하여 2차원적으로 제1 화상 부분(보수 대상에 대응하는 부분)을 특정하는 구성이기 때문에, 식별자가 부착된 보수 대상을 식별자에 대향하는 특정 일방향으로부터 촬상하지 않으면 안 된다는 제약이 발생한다.

일본국 특허공개 2017-211766호 공보

본 발명은, 상기 종래 기술의 문제점을 해결하기 위해서 이루어진 것이며, 보수 대상 이외의 기밀 정보 등의 누설을 방지 가능하고 또한 촬상 조건의 제약이 적은 보수 지원 시스템, 보수 지원 방법 및 프로그램을 제공하는 것을 과제로 한다.

상기 과제를 해결하기 위해서, 본 발명은, 촬상 수단을 구비하고 보수 작업자가 장착하는 웨어러블 단말과, 초기 상태의 상기 촬상 수단으로 보수 대상을 촬상하여 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 상기 보수 대상을 포함하는 소정의 3차원 영역을 특정하는 제1 특정 수단과, 상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치를 특정하는 제2 특정 수단과, 상기 웨어러블 단말이 이동한 이동 후 상태에 있어서, 상기 촬상 수단의 상기 초기 상태로부터의 위치의 변화를 특정하는 제3 특정 수단과, 상기 제2 특정 수단으로 특정한 상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치와, 상기 제3 특정 수단으로 특정한 상기 이동 후 상태의 상기 촬상 수단의 상기 초기 상태로부터의 위치의 변화에 의거하여, 상기 이동 후 상태의 상기 촬상 수단을 기준으로 하는 상기 기준점의 위치를 특정하고, 상기 특정한 기준점의 위치와, 상기 제1 특정 수단으로 특정한 상기 3차원 영역에 의거하여, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 3차원 영역에 대응하는 유효 화소 영역을 특정하는 제4 특정 수단과, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 대하여, 상기 제4 특정 수단으로 특정한 상기 유효 화소 영역을 제외한 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 가공 화상 생성 수단과, 상기 가공 화상 생성 수단으로 생성한 상기 가공 화상을 보수 지원자측 단말에 송신하는 통신 수단을 구비하는 것을 특징으로 하는 보수 지원 시스템을 제공한다.

본 발명에 의하면, 제1 특정 수단에 의해, 초기 상태의 촬상 수단으로 보수 대상을 촬상하여 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 보수 대상을 포함하는 소정의 3차원 영역이 특정된다. 본 발명에 있어서의 「초기 상태의 촬상 수단」이란, 소정의 기준점이 촬상 화상 중에 위치하는 상태에 있는 촬상 수단을 의미한다. 구체적으로는, 예를 들면, 기준점이 보수 대상에 붙여진 마커에 의해 규정되어 있는 경우, 초기 상태의 촬상 수단이란, 이 마커를 촬상하여 식별할 수 있는 위치에 있는 촬상 수단을 의미한다.

다음에, 본 발명에 의하면, 제2 특정 수단에 의해, 기준점에 대한 초기 상태의 촬상 수단의 위치가 특정된다. 즉, 초기 상태의 촬상 수단의 기준점으로부터의 거리 및 방향이 특정된다. 구체적으로는, 예를 들면, 기준점이 보수 대상에 붙여진 마커에 의해 규정되어 있는 경우, 초기 상태의 촬상 수단이 어느 위치로부터 마커를 촬상했는지가 마커에 의해 규정되는 기준점을 기준으로 하여 특정된다.

다음에, 본 발명에 의하면, 제3 특정 수단에 의해, 웨어러블 단말이 이동한 이동 후 상태에 있어서, 촬상 수단의 초기 상태로부터의 위치의 변화가 특정된다. 보수 작업자가 이동하면, 보수 작업자가 장착하는 웨어러블 단말도 이동하고, 웨어러블이 구비하는 촬상 수단도 이동하게 된다. 이때, 제3 특정 수단에 의해, 이동 후 상태의 촬상 수단의 초기 상태로부터의 위치의 변화가 특정되게 된다.

다음에, 본 발명에 의하면, 제4 특정 수단에 의해, 우선, 제2 특정 수단으로 특정한 기준점에 대한 초기 상태의 촬상 수단의 위치와, 제3 특정 수단으로 특정한 이동 후 상태의 촬상 수단의 초기 상태로부터의 위치의 변화에 의거하여, 이동 후 상태의 촬상 수단을 기준으로 하는 기준점의 위치가 특정된다. 구체적으로는, 제2 특정 수단으로 특정한 기준점에 대한 초기 상태의 촬상 수단의 위치를, 기준점을 시점으로 하는 벡터 A로 하고, 제3 특정 수단으로 특정한 이동 후 상태의 촬상 수단의 초기 상태로부터의 위치의 변화를, 초기 상태의 촬상 수단을 시점으로 하는 벡터 B로 하면, 기준점을 기준으로 하는 이동 후 상태의 촬상 수단의 위치는, 벡터 A와 벡터 B의 합성 벡터로 표시되게 된다. 따라서, 이동 후 상태의 촬상 수단을 기준으로 하는 기준점의 위치는, 상기 합성 벡터의 역벡터 C로서 특정되게 된다.

그리고, 제4 특정 수단에 의해, 특정한 기준점의 위치(즉, 이동 후 상태의 촬상 수단을 기준으로 하는 상기의 역벡터 C)와, 제1 특정 수단으로 특정한 3차원 영역에 의거하여, 이동 후 상태의 촬상 수단으로 취득한 촬상 화상에 있어서의 3차원 영역에 대응하는 유효 화소 영역이 특정된다. 구체적으로는, 우선, 특정한 기준점의 위치(역벡터 C)와, 제1 특정 수단으로 특정한 3차원 영역(기준점을 기준으로 하는 3차원 영역)에 의거하여, 이동 후 상태의 촬상 수단을 기준으로 하는 3차원 영역이 특정된다. 바꾸어 말하면, 기준점을 기준으로 하는 3차원 좌표계로 표시된 3차원 영역이, 이동 후 상태의 촬상 수단을 기준으로 하는 3차원 좌표계로 표시되게 된다. 이 촬상 수단을 기준으로 하는 3차원 좌표계로 표시된 3차원 영역이, 이동 후 상태의 촬상 수단의 시야 내의 어느 부분에 비치는지, 바꾸어 말하면, 촬상 수단으로 취득한 촬상 화상에 있어서의 어느 화소 영역에 대응하는지는 기하학 연산으로 특정할 수 있기 때문에, 촬상 화상에 있어서의 3차원 영역에 대응하는 유효 화소 영역을 특정 가능하다. 그리고, 이동 후 상태의 촬상 수단으로 취득한 촬상 화상에 기준점이 포함될 필요는 없다.

다음에, 본 발명에 의하면, 가공 화상 생성 수단에 의해, 제4 특정 수단으로 특정한 유효 화소 영역을 제외한 마스크 화소 영역을 불가시로 한 가공 화상이 생성된다. 본 발명에 있어서의 「마스크 화소 영역을 불가시로 한 가공 화상」으로서는, 예를 들면, 촬상 화상과 비쳐 있는 영역은 같지만 촬상 화상에 있어서의 마스크 화소 영역을 검게 칠한 화상이나, 촬상 화상으로부터 유효 화소 영역만을 잘라낸 화상을 들 수 있다. 3차원 영역이 보수 대상을 포함하고, 유효 화소 영역이 3차원 영역에 대응하기 때문에, 3차원 영역을 보수 대상보다 과도하게 크게 설정하지 않는 한, 유효 화소 영역을 제외한 마스크 화소 영역을 불가시로 한 가공 화상에는, 보수 대상 이외의 기밀 정보 등에 대응하는 화소 영역이 포함되지 않게 된다.

마지막으로, 본 발명에 의하면, 통신 수단에 의해, 가공 화상 생성 수단으로 생성한 가공 화상이 보수 지원자측 단말에 송신된다. 따라서, 보수 지원자측 단말에서는, 유효 화소 영역에 대응하는 3차원 영역에 포함되는 보수 대상만이 시인(視認)되어, 보수 대상 이외의 기밀 정보 등의 누설을 방지 가능하다.

이상에 설명한 바와 같이, 본 발명에 의하면, 초기 상태의 촬상 수단으로 취득한 촬상 화상에 기준점이 포함되면 되고, 웨어러블 단말이 이동한 이동 후 상태의 촬상 수단으로 취득한 촬상 화상 중에 기준점이 포함될 필요는 없다. 또, 본 발명에 의하면, 보수 대상을 포함하는 소정의 3차원 영역을 특정하기 때문에, 촬상 수단의 촬상 방향에 제약을 받지 않는다. 따라서, 보수 대상 이외의 기밀 정보 등의 누설을 방지 가능하고 또한 촬상 조건의 제약이 적다.

또한, 본 발명에 있어서, 「웨어러블 단말이 이동한 이동 후 상태」란, 이동량이 0인 경우(즉, 촬상 수단이 초기 상태인 경우)도 포함하는 개념이다. 따라서, 가공 화상 생성 수단에서는, 초기 상태의 촬상 수단으로 취득한 촬상 화상에 대해서도 마스크 화소 영역을 불가시로 한 가공 화상이 생성되게 된다.

바람직하게는, 상기 기준점은, 상기 보수 대상에 붙여진 마커에 의해 규정되어 있다.

구체적으로는, 예를 들면, 촬상 화상에 있어서의 마커에 대응하는 화소 영역의 중심점이 기준점이 된다. 마커로서는, AR 마커, QR 코드(등록상표), 바코드 등을 예시할 수 있다. 또, 보수 대상에 마커를 붙이는 방법으로서는, 부착 이외에, 인쇄나 각인을 예시할 수 있다.

바람직하게는, 상기 제2 특정 수단은, 상기 초기 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 마커에 대응하는 화소 영역의 크기, 위치 및 형상에 의거하여, 상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치를 특정한다.

마커에 대한 초기 상태의 촬상 수단의 거리가 변화되면, 촬상 수단으로 취득한 촬상 화상에 있어서의 마커에 대응하는 화소 영역의 크기가 변화된다. 또, 마커에 대한 초기 상태의 촬상 수단의 방향(마커와 촬상 수단의 촬상 소자군의 중심을 연결하는 직선의 방향)이 변화되면, 촬상 수단으로 취득한 촬상 화상에 있어서의 마커에 대응하는 화소 영역의 위치나 형상이 변화된다. 따라서, 상기의 바람직한 구성에 있어서, 예를 들면, 제2 특정 수단에, 마커에 대응하는 화소 영역의 크기와 촬상 수단의 거리의 대응 관계(검량선), 및, 마커에 대응하는 화소 영역의 위치 및 형상에 관한 특징량과 촬상 수단의 방향의 대응 관계(검량선)를 미리 조사하여 기억해 두면, 이들의 대응 관계와, 촬상 화상에 있어서의 마커에 대응하는 화소 영역의 크기, 위치 및 형상에 의거하여, 기준점에 대한 초기 상태의 촬상 수단의 위치(거리 및 방향)를 특정 가능하다.

또한, 마커에 대응하는 화소 영역의 형상에 관한 특징량으로서는, 마커에 대응하는 화소 영역의 종횡비(마커가 직사각형인 경우)나, 진원도(마커가 원형인 경우) 등, 촬상 수단의 방향에 따라 상이한 마커의 비치는 방법이 반영되어, 공지의 화상 처리로 산출 가능한 다양한 특징량을 사용 가능하다.

바람직하게는, 상기 제2 특정 수단은, 상기 웨어러블 단말에 장착되며 상기 촬상 수단과 대략 동일한 시선 방향을 가지는 거리 화상 센서를 구비하고, 상기 거리 화상 센서로 취득한 거리 화상에 있어서의 상기 마커에 대응하는 화소 영역의 농도값, 위치 및 형상에 의거하여, 상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치를 특정한다.

거리 화상 센서(깊이 카메라나 3D 카메라라고도 한다)는, 예를 들면, TOF(Time Of Flight) 방식에 의해 시야 내에 있어서의 피사체까지의 거리를 측정하고, 피사체까지의 거리가 각 화소의 농도값으로 표시된 거리 화상을 취득하는 센서이다.

마커에 대한 초기 상태의 촬상 수단의 거리가 변화되면, 마커에 대한 거리 화상 센서의 거리도 마찬가지로 변화된다. 마커에 대한 거리 화상 센서의 거리가 변화되면, 거리 화상 센서로 취득한 거리 화상에 있어서의 마커에 대응하는 화소 영역의 농도값이 변화된다. 또, 마커에 대한 초기 상태의 촬상 수단의 방향이 변화되면, 마커에 대한 거리 화상 센서의 방향도 마찬가지로 변화된다. 마커에 대한 거리 화상 센서의 방향이 변화되면, 거리 화상 센서로 취득한 거리 화상에 있어서의 마커에 대응하는 화소 영역의 위치나 형상이 변화된다. 따라서, 상기의 바람직한 구성에 있어서, 예를 들면, 제2 특정 수단에, 거리 화상에 있어서의 마커에 대응하는 화소 영역의 농도값과 촬상 수단의 거리의 대응 관계(검량선), 및, 거리 화상에 있어서의 마커에 대응하는 화소 영역의 위치 및 형상에 관한 특징량과 촬상 수단의 방향의 대응 관계(검량선)를 미리 조사하여 기억해 두면, 이들의 대응 관계와, 거리 화상에 있어서의 마커에 대응하는 화소 영역의 농도값, 위치 및 형상에 의거하여, 기준점에 대한 초기 상태의 촬상 수단의 위치(거리 및 방향)를 특정 가능하다.

또한, 마커에 의해 규정된 기준점에 대한 초기 상태의 촬상 수단의 위치를 특정하려면, 제2 특정 수단으로서, M.SOFT Co., Ltd. 제조의 AR 개발 라이브러리 「ARToolKit」를 이용하는 것도 가능하다.

구체적으로는, 마커로서, 평행사변형(정사각형, 직사각형을 포함한다)의 마커를 이용한다. 그리고, 마커를 촬상한 촬상 화상에 대하여 「ARToolKit」를 이용하여, 마커의 네 변을 포함하는 사각뿔의 면을 작성한다. 그 다음에, 「ARToolKit」로, 이 사각뿔의 면이 마주본 면의 교선 벡터를 구하고, 이 교선 벡터의 외적에 의거하여 마커면에 대한 법선 방향을 산출함으로써, 마커에 의해 규정된 기준점에 대한 초기 상태의 촬상 수단의 위치를 특정 가능하다.

바람직하게는, 상기 제3 특정 수단은, 상기 웨어러블 단말에 장착된 관성 센서를 구비한다.

관성 센서는, 예를 들면, 3축의 가속도 센서와 3축의 각속도 센서(자이로 센서)로 구성되는 센서이다.

따라서, 상기의 바람직한 구성에 있어서, 관성 센서에 의해 웨어러블 단말의 가속도 및 각속도를 검출할 수 있다. 바꾸어 말하면, 웨어러블 단말이 구비하는 촬상 수단의 가속도 및 각속도를 검출할 수 있다. 이 관성 센서의 검출 결과를 이용함으로써, 제3 특정 수단은, 이동 후 상태의 촬상 수단의 초기 상태로부터의 위치의 변화를 특정 가능하다.

바람직하게는, 상기 웨어러블 단말은, 헤드 마운트 디스플레이를 구비하고, 상기 헤드 마운트 디스플레이는, 상기 헤드 마운트 디스플레이에 상기 촬상 화상을 표시하는 상태와, 상기 헤드 마운트 디스플레이에 상기 가공 화상을 인식 가능하게 표시하는 상태가 전환 가능하게 구성되어 있다.

상기의 바람직한 구성에 의하면, 헤드 마운트 디스플레이에 촬상 화상을 표시하는 상태에서는, 예를 들면, 마스크 화소 영역을 검게 칠한 가공 화상을 표시하는 경우와 달리, 보수 작업자의 시야를 가리는 부분이 없기 때문에, 보수 작업을 안전하게 행하는 것이 가능하다. 또한, 상기의 바람직한 구성에 있어서의 「촬상 화상을 표시하는 상태」란, MR 헤드 세트와 같이, 헤드 마운트 디스플레이에 촬상 수단으로 취득한 촬상 화상을 실제로 표시하는 상태(보수 작업자가 이 표시된 촬상 화상을 시인하는 상태) 이외에, 투과형의 AR 헤드 세트와 같이, 헤드 마운트 디스플레이가 투과형이며, 보수 작업자가 아무것도 표시되어 있지 않은 투과형의 헤드 마운트 디스플레이를 통하여 보수 대상을 직접 시인할 수 있는 상태도 포함하는 개념이다.

한편, 상기의 바람직한 구성에 의하면, 헤드 마운트 디스플레이에 가공 화상을 인식 가능하게 표시하는 상태에서는, 보수 작업자에게도 보수 지원자측 단말에 송신되는 가공 화상을 인식 가능하다. 이 때문에, 보수 대상 이외의 기밀 정보 등의 누설이 방지되어 있는 것을 보수 작업자도 확인 가능하여, 보수 작업자에게 안심감을 줄 수 있다. 또한, 상기의 바람직한 구성에 있어서의 「가공 화상을 인식 가능하게 표시하는 상태」에는, 보수 지원자측 단말에 송신되는 가공 화상과 같은 것(촬상 화상과 비쳐 있는 영역은 같지만 촬상 화상에 있어서의 마스크 화소 영역을 검게 칠한 화상이나, 촬상 화상으로부터 유효 화소 영역만을 잘라낸 화상 등)을 표시하는 상태 이외에, 촬상 화상에 마스크 화소 영역과 유효 영역의 경계선을 오버레이한 화상을 표시하는 상태나, 표시 화면의 일부(예를 들면 한쪽 구석)에 가공 화상을 축소하여 표시하는 상태 등도 포함된다.

바람직하게는, 상기 제1 특정 수단, 상기 제2 특정 수단, 상기 제3 특정 수단, 상기 제4 특정 수단, 상기 가공 화상 생성 수단 및 상기 통신 수단이, 상기 웨어러블 단말에 장착되어 있다.

상기의 바람직한 구성에 의하면, 촬상 수단으로 보수 대상을 촬상하여 취득한 촬상 화상에 있어서의 마스크 화소 영역을 불가시로 한 가공 화상을 생성하고, 이 가공 화상을 보수 지원자측 단말에 송신할 때까지의 일련의 동작을 실행하는 각 수단 모두가 웨어러블 단말에 장착되어 있다. 이는, 웨어러블 단말 자체에 장착된 센서(제2 특정 수단이나 제3 특정 수단)에 의해 웨어러블 단말(촬상 수단)의 위치를 검출하는 인사이드 아웃 방식의 구성이 되어 있다. 웨어러블 단말과는 별체의 외부 디바이스를 이용하여 웨어러블 단말의 위치를 검출하는 아웃사이드 인 방식의 구성(예를 들면, 웨어러블 단말이 구비하는 촬상 수단과는 별도의 외부에 설치한 촬상 수단을 이용하여, 웨어러블 단말(웨어러블 단말이 구비하는 촬상 수단)의 위치를 검출하는 구성 등)의 경우, 웨어러블 단말에 필요한 소비 전력이 저하된다는 이점이 있지만, 외부 디바이스와 웨어러블 단말 사이에 차폐물이 존재하지 않는 등의 환경면에서의 제약이나, 고정밀도의 외부 디바이스가 필요해지기 때문에 고비용이 되는 결점이 있다. 따라서, 상기의 바람직한 구성으로 함으로써, 저비용이며, 환경면에서의 제약이 적다는 이점이 얻어진다.

바람직하게는, 본 발명은, 상기 보수 지원자측 단말을 구비하고, 상기 보수 지원자측 단말은, 상기 통신 수단과 쌍방향으로 데이터 통신 가능하게 구성되어 있다.

상기의 바람직한 구성에 의하면, 보수 지원자측 단말과 통신 수단이 쌍방향으로 데이터 통신 가능하기 때문에, 통신 수단으로부터 보수 지원자측 단말에 가공 화상을 송신할 뿐만 아니라, 반대로 보수 지원자측 단말로부터 통신 수단에, 보수 작업용의 화상을 송신하거나, 보수 작업의 내용을 지시하는 음성 데이터를 송신하거나 하는 등, 본 발명에 따른 보수 지원 시스템만을 이용하여 효과적인 보수 작업을 행하는 것이 가능하다.

또한, 상기의 바람직한 구성에 더하여, 보수 대상(예를 들면, 기판 처리 장치 등의 산업용 기기)으로부터 보수 지원자측 단말에 데이터 통신 가능한 구성으로 하고, 예를 들면, 보수 대상으로 얻어지는 프로세스 로그 데이터(보수 대상의 프로세스에 관련된 측정값이나 설정값)를 보수 지원자측 단말에 송신하면, 보수 지원자는 이 프로세스 로그 데이터를 참조하면서, 보수 작업의 내용을 지시할 수 있어, 한층 더 효과적인 보수 작업을 행하는 것이 가능하다.

또한, 상기 과제를 해결하기 위해서, 본 발명은, 촬상 수단을 구비하고 보수 작업자가 장착하는 웨어러블 단말을 이용한 보수 지원 방법으로서, 제1 특정 수단에 의해, 초기 상태의 상기 촬상 수단으로 보수 대상을 촬상하여 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 상기 보수 대상을 포함하는 소정의 3차원 영역을 특정하는 제1 특정 공정과, 제2 특정 수단에 의해, 상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치를 특정하는 제2 특정 공정과, 제3 특정 수단에 의해, 상기 웨어러블 단말이 이동한 이동 후 상태에 있어서, 상기 촬상 수단의 상기 초기 상태로부터의 위치의 변화를 특정하는 제3 특정 공정과, 제4 특정 수단에 의해, 상기 제2 특정 공정에서 특정한 상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치와, 상기 제3 특정 공정에서 특정한 상기 이동 후 상태의 상기 촬상 수단의 상기 초기 상태로부터의 위치의 변화에 의거하여, 상기 이동 후 상태의 상기 촬상 수단을 기준으로 하는 상기 기준점의 위치를 특정하고, 상기 특정한 기준점의 위치와, 상기 제1 특정 공정에서 특정한 상기 3차원 영역에 의거하여, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 3차원 영역에 대응하는 유효 화소 영역을 특정하는 제4 특정 공정과, 가공 화상 생성 수단에 의해, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 대하여, 상기 제4 특정 공정에서 특정한 상기 유효 화소 영역을 제외한 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 가공 화상 생성 공정과, 통신 수단에 의해, 상기 가공 화상 생성 공정에서 생성한 상기 가공 화상을 보수 지원자측 단말에 송신하는 통신 공정을 포함하는 것을 특징으로 하는 보수 지원 방법으로서도 제공된다.

또, 상기 과제를 해결하기 위해서, 본 발명은, 상기 보수 지원 방법이 포함하는 상기 제1 특정 공정, 상기 제2 특정 공정, 상기 제3 특정 공정, 상기 제4 특정 공정, 상기 가공 화상 생성 공정 및 상기 통신 공정을, 상기 제1 특정 수단, 상기 제2 특정 수단, 상기 제3 특정 수단, 상기 제4 특정 수단, 상기 가공 화상 생성 수단 및 상기 통신 수단으로 하여금 각각 실행하게 하기 위한 프로그램으로서도 제공된다.

또한, 상기의 프로그램을 기억시킨 컴퓨터(CPU)로 판독 가능한 기억 매체로서 제공하는 것도 가능하다.

본 발명에 의하면, 보수 대상 이외의 기밀 정보 등의 누설을 방지 가능하며 또한 촬상 조건의 제약이 적다는 효과가 얻어진다.

도 1은, 본 발명의 일실시 형태에 따른 보수 지원 시스템의 개략 구성을 모식적으로 나타내는 도면이다.
도 2는, 도 1에 나타내는 보수 지원 시스템의 개략 동작을 설명하는 설명도이다.
도 3은, 도 1에 나타내는 초기 상태의 촬상 수단으로 취득한 촬상 화상 및 가공 화상 생성 수단으로 생성한 가공 화상의 일례를 나타내는 도면이다.
도 4는, 도 1에 나타내는 웨어러블 단말이 이동한 이동 후 상태의 촬상 수단으로 취득한 촬상 화상 및 가공 화상 생성 수단으로 생성한 가공 화상의 일례를 나타내는 도면이다.

이하, 첨부 도면을 참조하면서, 본 발명의 일실시 형태에 따른 보수 지원 시스템에 대하여 설명한다.

도 1은, 본 실시 형태에 따른 보수 지원 시스템의 개략 구성을 모식적으로 나타내는 도면이다. 도 1(a)는 전체 구성도이며, 도 1(b)는 웨어러블 단말 및 이것에 장착된 구성 요소를 나타내는 도면이며, 도 1(c)는 도 1(b)에 나타내는 제어 신호 처리 수단의 내부 구성을 나타내는 블록도이다.

도 1(a)에 나타내는 바와 같이, 본 실시 형태에 따른 보수 지원 시스템(100)은, 웨어러블 단말(1)과, 보수 지원자측 단말(2)과, 제어 신호 처리 수단(3)을 구비하고 있다.

웨어러블 단말(1)은, 보수 대상(기판 처리 장치 등의 산업용 기기 등)의 설치 현장에 있어서 보수 작업을 행하는 보수 작업자가 장착하는 단말이다.

도 1(b)에 나타내는 바와 같이, 본 실시 형태의 웨어러블 단말(1)은, 안경형의 웨어러블 단말로 되어 있어, 보수 작업자가 귀에 거는 프레임(11)을 구비한다. 또, 웨어러블 단말(1)은, 프레임(11)의 전측(前側) 중앙(보수 작업자가 프레임(11)을 귀에 걸었을 때에 보수 작업자의 미간 근방에 상당하는 위치)에 촬상 수단(12)을 구비한다. 본 실시 형태의 촬상 수단(12)으로서는, 컬러(RGB) 카메라가 이용되고 있다. 그리고, 촬상 수단(12)의 시선 방향은, 보수 작업자가 프레임(11)을 귀에 걸었을 때의 보수 작업자의 시선 방향과 대략 평행이 되도록 설정되어 있다. 또한, 웨어러블 단말(1)은, 프레임(11)의 전측에 장착되어, 보수 작업자가 프레임(11)을 귀에 걸었을 때에 보수 작업자의 시야 전방을 덮는 헤드 마운트 디스플레이(13)를 구비한다. 본 실시 형태의 헤드 마운트 디스플레이(13)로서는, 투과형의 것이 이용되고 있다. 따라서, 헤드 마운트 디스플레이(13)에 아무것도 표시하지 않는 경우에는, 통상의 안경과 동일하게 사용하는 것이 가능하다.

도 1(b)에 나타내는 바와 같이, 본 실시 형태의 웨어러블 단말(1)에는, 촬상 수단(12)과 대략 동일한 시선 방향을 가지는 거리 화상 센서(32a)가 장착되어 있다. 구체적으로는, 거리 화상 센서(32a)는, 프레임(11)의 전측 중앙에 있어서, 촬상 수단(12)의 하방에 장착되어 있다. 거리 화상 센서(32a)로서는, 예를 들면, TOF 방식의 거리 화상 센서가 이용된다. 또한, 거리 화상 센서(32a)는, 후술하는 제2 특정 수단(32)의 하드웨어 부분을 구성하고 있다.

또, 본 실시 형태의 웨어러블 단말(1)에는, 관성 센서(33a)가 장착되어 있다. 구체적으로는, 프레임(11)의 측방에 관성 센서(33a)가 장착되어 있다. 관성 센서(33a)는, 3축의 가속도 센서와 3축의 각속도 센서로 구성되어 있다. 또한, 관성 센서(33a)는, 후술하는 제3 특정 수단(33)의 하드웨어 부분을 구성하고 있다.

또한, 본 실시 형태의 웨어러블 단말(1)의 프레임(11)의 측방에는, 스피커(4) 및 마이크로폰(5)도 장착되어 있다.

이상에 설명한 구성을 가지는 웨어러블 단말(1)은, 예를 들면, Microsoft Corporation 제조의 스마트 글래스인 「HoloLens」를 이용하고, 이것에 개량을 추가함으로써 구성 가능하다.

보수 지원자측 단말(2)은, 인터넷 등의 전기 통신 회선(N)을 통하여, 웨어러블 단말(1)(구체적으로는, 웨어러블 단말(1)에 장착된 제어 신호 처리 수단(3))과 전기적으로 접속되어 있다. 보수 지원자측 단말(2)은, 후술하는 통신 수단(36)과 쌍방향으로 데이터 통신 가능하게 구성되어 있다. 보수 지원자측 단말(2)로서는, 예를 들면 데스크톱형의 컴퓨터를 이용할 수 있는데, 이것으로 한정되는 것은 아니고, 랩톱형의 컴퓨터, 태블릿형의 컴퓨터, 스마트폰 등, 후술과 같이 가공 화상을 표시할 수 있는 한, 다양한 단말을 이용할 수 있다.

또한, 본 실시 형태의 보수 지원자측 단말(2)은, 필수의 구성은 아니지만, 전기 통신 회선(N)을 통하여, 보수 대상(T)과도 전기적으로 접속되어 있다. 구체적으로는, 예를 들면, 보수 대상(T)의 프로세스 로그 데이터(보수 대상(T)의 프로세스에 관련된 측정값이나 설정값)를 수집하는 컴퓨터(도 1(a)에는 도시하지 않음)가 설치되고, 이 컴퓨터가, 전기 통신 회선(N)을 통하여, 보수 지원자측 단말(2)과 전기적으로 접속되어 있다. 그리고, 보수 대상(T)에서 얻어지는 프로세스 로그 데이터가 보수 지원자측 단말(2)에 순차적으로 송신되고, 보수 지원자측 단말(2)에 기억되도록 구성되어 있다.

또, 본 실시 형태의 보수 지원자측 단말(2)은, 필수의 구성은 아니지만, 전기 통신 회선(N)에 전기적으로 접속된 서버(6)를 통하여, 웨어러블 단말(1) 및/또는 보수 대상(T)에 전기적으로 접속되어 있다. 서버(6)를 설치함으로써, 보수 지원자측 단말(2)에 접속된 웨어러블 단말(1)이나 보수 대상(T)의 ID(식별 정보)의 관리나 이용 이력의 관리가 용이해진다.

제어 신호 처리 수단(3)은, 웨어러블 단말(1)(프레임(11)의 측방)에 장착되며, 촬상 수단(12), 헤드 마운트 디스플레이(13), 거리 화상 센서(32a), 관성 센서(33a), 스피커(4) 및 마이크로폰(5)의 각 구성 요소에 전기적으로 접속되어 있어, 각 구성 요소를 제어하거나, 각 구성 요소의 출력 신호를 처리하는 기능을 가진다.

제어 신호 처리 수단(3)은, 주로, CPU, ROM이나 RAM 등의 메모리, 당해 메모리에 기억되어, CPU로 하여금 후술하는 동작을 실행하게 하는 프로그램에 의해 구성되어 있다.

도 1(c)에 나타내는 바와 같이, 제어 신호 처리 수단(3)은, 제1 특정 수단(31)으로서의 동작을 CPU로 하여금 실행하게 하는 프로그램과, 제2 특정 수단(32)의 소프트웨어 부분(32b)의 동작을 CPU로 하여금 실행하게 하는 프로그램과, 제3 특정 수단(33)의 소프트웨어 부분(33b)의 동작을 CPU로 하여금 실행하게 하는 프로그램과, 제4 특정 수단(34)으로서의 동작을 CPU로 하여금 실행하게 하는 프로그램과, 가공 화상 생성 수단(35)으로서의 동작을 CPU로 하여금 실행하게 하는 프로그램을 구비한다. 또, 제어 신호 처리 수단(3)은, 통신 수단(36)을 구비한다. 통신 수단(36)은, 안테나나, 안테나를 동작시키는 프로그램 등에 의해 구성되어 있다.

또한, 상기와 같은 프로그램의 갱신은, 소정의 컴퓨터와 제어 신호 처리 수단(3)을 USB 케이블 등으로 직접 접속하여 행해도 되고, 서버(6)로부터 직접 업데이트해도 된다.

본 실시 형태에서는, 제1 특정 수단(31), 제2 특정 수단(32)(거리 화상 센서(32a), 소프트웨어 부분(32b)), 제3 특정 수단(33)(관성 센서(33a), 소프트웨어 부분(33b)), 제4 특정 수단(34), 가공 화상 생성 수단(35) 및 통신 수단(36) 모두가 웨어러블 단말(1)에 장착되어 있다. 이는, 후술과 같이, 웨어러블 단말(1) 자체에 장착된 센서에 의해 웨어러블 단말(1)(촬상 수단(12))의 위치를 검출하는, 인사이드 아웃 방식의 구성이다. 구체적으로는, 제2 특정 수단(32)에 의해 웨어러블 단말(1)(촬상 수단(12))의 초기 상태의 위치를 특정하거나, 제3 특정 수단(33)에 의해 웨어러블 단말(1)(촬상 수단(12))의 위치의 변화를 특정하는 인사이드 아웃 방식의 구성이기 때문에, 저비용이며, 환경면에서의 제약이 적다는 이점이 얻어진다.

이하, 이상에 설명한 개략 구성을 가지는 본 실시 형태에 따른 보수 지원 시스템(100)의 동작(보수 지원 방법)에 대하여, 도 1에 추가하여 도 2~도 4를 참조하면서 설명한다.

도 2는, 본 실시 형태에 따른 보수 지원 시스템(100)의 개략 동작을 설명하는 설명도이다. 도 2에서는, 웨어러블 단말(1)을 장착한 보수 작업자의 도시를 생략하고 있다. 도 3은, 초기 상태의 촬상 수단(12)으로 취득한 촬상 화상 및 가공 화상 생성 수단(35)으로 생성한 가공 화상의 일례를 나타내는 도면이다. 도 3(a)는 촬상 화상의 일례를, 도 3(b)는 가공 화상의 일례를 나타낸다. 도 4는, 웨어러블 단말(1)이 이동한 이동 후 상태의 촬상 수단(12)으로 취득한 촬상 화상 및 가공 화상 생성 수단(35)으로 생성한 가공 화상의 일례를 나타내는 도면이다. 도 4(a)는 촬상 화상의 일례를, 도 4(b)는 가공 화상의 일례를 나타낸다. 또한, 도 3(a) 및 도 3(b)에는, 설명의 편의상, 3차원 영역(TA)의 경계선을 파선으로 도시하고 있는데, 실제의 촬상 화상에 경계선은 존재하지 않는다.

도 2에 나타내는 바와 같이, 본 실시 형태의 보수 대상(T)의 전면에는, 기준점을 규정하는 마커(M)가 부착되어 있다. 보수 대상(T)의 전면에는, 부재(T1~T3)가 설치되어 있다. 보수 대상(T)의 근처에는, 기밀 정보에 관련된 장치(S)가 배치되어 있다.

우선, 웨어러블 단말(1)을 장착한 보수 작업자는, 웨어러블 단말(1)의 촬상 수단(12)으로 마커(M)를 촬상할 수 있도록, 마커(M)와 정면으로 마주보는 위치로 이동한다. 그리고, 이 초기 상태의 촬상 수단(12)(도 2에 실선으로 도시하는 웨어러블 단말(1)이 구비하는 촬상 수단(12))으로 보수 대상(T)을 촬상하여, 도 3(a)에 나타내는 촬상 화상(동영상)을 취득한다.

다음에, 제1 특정 수단(31)이, 취득한 촬상 화상에 소정의 화상 처리를 실시함으로써 마커(M)에 대응하는 화소 영역을 추출하고, 이 화소 영역으로부터 기준점(예를 들면, 화소 영역의 중심점)을 특정한다. 그리고, 제1 특정 수단(31)은, 이 기준점을 기준으로 하여, 보수 대상(T)을 포함하는 소정의 3차원 영역(예를 들면, 직육면체 형상의 3차원 영역)(TA)을 특정한다. 구체적으로는, 예를 들면, 제1 특정 수단(31)에는, 마커(M)로 표시되는 식별 정보에 관련지어, 기준점을 기준으로 하는 3차원 좌표계(도 2에 나타내는 X1축, Y1축 및 Z1축을 가지는 3차원 좌표계)로 표시된 3차원 영역(TA)의 각 꼭짓점(P1~P8)의 좌표가 기억되어 있다. 그리고, 제1 특정 수단(31)은, 마커(M)에 대응하는 화소 영역의 특징량을 연산하고, 이 특징량으로부터 마커(M)의 식별 정보를 특정하고, 특정한 식별 정보에 관련지어 기억된 각 꼭짓점(P1~P8)의 좌표에 의거하여, 기준점을 기준으로 하는 3차원 좌표계로 표시된 3차원 영역(TA)을 특정한다.

또, 제1 특정 수단(31)이, 마커(M)에 대응하는 화소 영역의 특징량을 연산함으로써, 기준점을 기준으로 하는 3차원 좌표계(X1축, Y1축 및 Z1축을 가지는 3차원 좌표계)로 표시된 3차원 영역(TA)의 각 꼭짓점(P1~P8)의 좌표를 직접 산출하는 구성을 채용하는 것도 가능하다. 즉, 마커(M)가 각 꼭짓점(P1~P8)의 좌표에 대응하는 모양 등을 가지고, 미리 결정된 이 모양 등의 특징량을 연산함으로써, 각 꼭짓점(P1~P8)의 좌표를 산출할 수 있도록 구성하는 것도 가능하다.

또한, 본 실시 형태에서는, 정밀도가 높은 특정이 가능하도록, 마커(M)를 이용하여 기준점을 규정하고, 이 기준점을 기준으로 하여 3차원 영역(TA)을 특정하는 양태에 대하여 설명했는데, 본 발명은 이것으로 한정되는 것은 아니다. 예를 들면, 헤드 마운트 디스플레이(13)에 표시된 촬상 화상의 임의의 점을 AR 커서를 이용하여 클릭하고, 클릭한 위치를 기준점으로 하는 양태를 채용하는 것도 가능하다. 또, 예를 들면, 헤드 마운트 디스플레이(13)에 표시된 촬상 화상을 AR 커서를 이용하여 클릭함으로써 3차원 영역(TA)의 각 꼭짓점(P1~P8)을 지정하고, 이들 중 어느 하나를 기준점으로 하는 양태를 채용하는 것도 가능하다. 또한, 제1 특정 수단(31)이 촬상 화상에 소정의 화상 처리를 실시함으로써, 보수 대상(T)의 특징적인 부위(모서리부 등)에 대응하는 화소 영역을 추출하고, 이 화소 영역의 중심을 기준점으로 하는 양태를 채용하는 것도 가능하다.

다음에, 제2 특정 수단(32)이, 기준점에 대한 초기 상태의 촬상 수단(12)의 위치를 특정한다. 바꾸어 말하면, 제2 특정 수단(32)은, 초기 상태의 촬상 수단(12)이 얼마나 떨어진 거리로부터 및 어느 방향으로부터 마커(M)를 촬상했는지를 마커(M)에 의해 규정되는 기준점을 기준으로 하여 특정(도 2에 나타내는 X1축, Y1축 및 Z1축을 가지는 3차원 좌표계로 특정)한다. 즉, 제2 특정 수단(32)은, 기준점을 시점으로 하고, 촬상 수단(12)을 종점으로 하는 도 2에 나타내는 벡터 A를 특정한다.

구체적으로는, 제2 특정 수단(32)을 구성하는 거리 화상 센서(32a)에 의해, 마커(M)에 대응하는 화소 영역을 포함하는 거리 화상을 취득한다. 그리고, 제2 특정 수단(32)을 구성하는 소프트웨어 부분(32b)이, 취득한 거리 화상에 소정의 화상 처리를 실시함으로써 마커(M)에 대응하는 화소 영역을 추출하고, 이 화소 영역의 농도값, 위치 및 형상에 의거하여, 기준점에 대한 초기 상태의 촬상 수단(12)의 위치(벡터 A)를 특정한다. 보다 구체적으로는, 제2 특정 수단(32)을 구성하는 메모리에, 거리 화상에 있어서의 마커(M)에 대응하는 화소 영역의 농도값과 촬상 수단(12)의 거리의 대응 관계(검량선), 및, 거리 화상에 있어서의 마커(M)에 대응하는 화소 영역의 위치 및 형상에 관한 특징량과 촬상 수단(12)의 방향의 대응 관계(검량선)가 미리 기억되어 있고, 제2 특정 수단(32)을 구성하는 소프트웨어 부분(32b)이, 이들의 대응 관계와, 거리 화상에 있어서의 마커(M)에 대응하는 화소 영역의 농도값, 위치 및 형상에 의거하여, 기준점에 대한 초기 상태의 촬상 수단(12)의 위치를 특정한다.

또한, 본 실시 형태에서는, 제2 특정 수단(32)의 구성 요소로서 거리 화상 센서(32a)를 이용하여, 기준점에 대한 초기 상태의 촬상 수단(12)의 위치(벡터 A)를 특정하고 있는데, 본 발명은 이것으로 한정되는 것은 아니다. 예를 들면, 제2 특정 수단(32)이 촬상 수단(12)으로 취득한 촬상 화상을 이용하는 양태를 채용하는 것도 가능하다.

구체적으로는, 제2 특정 수단(32)(제2 특정 수단(32)을 구성하는 소프트웨어 부분(32b))이, 초기 상태의 촬상 수단(12)으로 취득한 촬상 화상에 있어서의 마커(M)에 대응하는 화소 영역의 크기, 위치 및 형상에 의거하여, 기준점에 대한 초기 상태의 촬상 수단(12)의 위치(벡터 A)를 특정하는 것도 가능하다. 보다 구체적으로는, 제2 특정 수단(32)을 구성하는 메모리에, 마커(M)에 대응하는 화소 영역의 크기와 촬상 수단(12)의 거리의 대응 관계(검량선), 및, 마커(M)에 대응하는 화소 영역의 위치 및 형상에 관한 특징량과 촬상 수단(12)의 방향의 대응 관계(검량선)를 미리 기억시켜 두면, 제2 특정 수단(32)을 구성하는 소프트웨어 부분(32b)이, 이들의 대응 관계와, 촬상 화상에 있어서의 마커(M)에 대응하는 화소 영역의 크기, 위치 및 형상에 의거하여, 기준점에 대한 초기 상태의 촬상 수단(12)의 위치를 특정 가능하다.

다음에, 웨어러블 단말(1)을 장착한 보수 작업자가 이동함으로써, 웨어러블 단말(1)도 이동하고, 이동한 웨어러블 단말(1)이 구비하는 촬상 수단(12)(도 2에 파선으로 도시하는 웨어러블 단말(1)이 구비하는 촬상 수단(12))으로 보수 대상(T)을 촬상하여, 도 4(a)에 나타내는 촬상 화상을 취득한다. 이 촬상 화상에는, 마커(M)에 대응하는 화소 영역이 포함되어 있지 않다.

그리고, 웨어러블 단말(1)이 이동했을 때에, 제3 특정 수단(33)이, 이동 후 상태의 촬상 수단(12)의 초기 상태로부터의 위치의 변화를 특정한다. 즉, 제3 특정 수단(33)은, 초기 상태의 촬상 수단(12)을 시점으로 하고, 이동 후 상태의 촬상 수단(12)을 종점으로 하는 도 2에 나타내는 벡터 B를 특정한다.

구체적으로는, 제3 특정 수단(33)을 구성하는 관성 센서(3)에 의해, 웨어러블 단말(1)이 구비하는 촬상 수단(12)의 가속도 및 각속도를 검출한다. 그리고, 제3 특정 수단(33)을 구성하는 소프트웨어 부분(33b)이, 검출한 촬상 수단(12)의 가속도 및 각속도를 이용하여, 시간 적분 등의 연산을 행함으로써, 이동 후 상태의 촬상 수단(12)의 초기 상태로부터의 위치의 변화를 특정한다.

다음에, 제4 특정 수단(34)이, 우선, 제2 특정 수단(32)으로 특정한 기준점에 대한 초기 상태의 촬상 수단(12)의 위치(벡터 A)와, 제3 특정 수단(33)으로 특정한 이동 후 상태의 촬상 수단(12)의 초기 상태로부터의 위치의 변화(벡터 B)에 의거하여, 이동 후 상태의 촬상 수단(12)을 기준으로 하는 기준점의 위치를 특정한다. 구체적으로는, 기준점을 기준으로 하는 이동 후 상태의 촬상 수단(12)의 위치는, 벡터 A와 벡터 B의 합성 벡터로 표시되게 된다. 따라서, 이동 후 상태의 촬상 수단(12)을 기준으로 하는 기준점의 위치는, 도 2에 나타내는 상기 합성 벡터의 역벡터 C(이동 후의 촬상 수단(12)을 시점으로 하고, 기준점을 종점으로 하는 벡터)로서 특정되게 된다.

제4 특정 수단(34)은, 상기와 같이 하여 이동 후 상태의 촬상 수단(12)을 기준으로 하는 기준점의 위치(역벡터 C)를 특정한 후, 특정한 기준점의 위치(역벡터 C)와, 제1 특정 수단(31)으로 특정한 3차원 영역(TA)에 의거하여, 이동 후 상태의 촬상 수단(12)으로 취득한 촬상 화상(도 4(a) 참조)에 있어서의 3차원 영역(TA)에 대응하는 유효 화소 영역을 특정한다.

구체적으로는, 제4 특정 수단(34)은, 우선, 특정한 기준점의 위치(역벡터 C)와, 제1 특정 수단(31)으로 특정한 3차원 영역(TA)(기준점을 기준으로 하는 3차원 영역, 즉, 도 2에 나타내는 X1축, Y1축 및 Z1축을 가지는 3차원 좌표계로 표시된 3차원 영역)에 의거하여, 이동 후 상태의 촬상 수단(12)을 기준으로 하는 3차원 영역(TA)(도 2에 나타내는 X2축, Y2축 및 Z2축을 가지는 3차원 좌표계로 표시된 3차원 영역)을 특정한다. 바꾸어 말하면, 기준점을 기준으로 하는 3차원 좌표계(X1, Y1, Z1)로 표시된 3차원 영역(TA)이, 이동 후 상태의 촬상 수단(12)을 기준으로 하는 3차원 좌표계(X2, Y2, Z2)로 표시되게 된다. 이 촬상 수단(12)을 기준으로 하는 3차원 좌표계(X2, Y2, Z2)로 표시된 3차원 영역(TA)이, 이동 후 상태의 촬상 수단(12)의 시야 내의 어느 부분에 비치는지, 바꾸어 말하면, 촬상 수단(12)으로 취득한 촬상 화상에 있어서의 어느 화소 영역에 대응하는지는 기하학 연산으로 특정할 수 있기 때문에, 촬상 화상에 있어서의 3차원 영역(TA)에 대응하는 유효 화소 영역을 특정 가능하다.

다음에, 가공 화상 생성 수단(35)이, 이동 후 상태의 촬상 수단(12)으로 취득한 촬상 화상에 대하여, 제4 특정 수단(34)으로 특정한 유효 화소 영역을 제외한 마스크 화소 영역을 불가시로 한 가공 화상(동영상)을 생성한다. 도 4(b)에 나타내는 예에서는, 가공 화상으로서, 마스크 화소 영역을 검게 칠한 화상이 생성되어 있다. 단, 가공 화상으로서는, 이것으로 한정되는 것이 아니고, 촬상 화상으로부터 유효 화소 영역만을 잘라낸 화상으로 하는 것도 가능하다. 또, 마스크 화소 영역을 검게 칠하는 것 대신에, 모자이크 처리를 실시하거나, 뿌옇게 하거나 하여, 기밀 정보 등의 누설을 방지할 수 있는 한, 다양한 양태를 채용 가능하다.

마지막으로, 통신 수단(36)이, 가공 화상 생성 수단(35)으로 생성한 가공 화상을 전기 통신 회선(N)을 통하여 보수 지원자측 단말(2)에 송신한다. 따라서, 도 4(a)에 나타내는 바와 같이, 촬상 화상에서는 기밀 정보에 관련된 장치(S)를 시인할 수 있는 상태여도, 보수 지원자측 단말(2)에서는, 도 4(b)에 나타내는 바와 같이, 유효 화소 영역에 대응하는 3차원 영역(TA)에 포함되는 보수 대상(T)만이 시인되어, 보수 대상(T) 이외의 기밀 정보 등의 누설을 방지 가능하다.

또한, 도 3(a)에 나타내는 초기 상태의 촬상 수단(12)으로 취득한 촬상 화상에 대해서도 제3 특정 수단(33), 제4 특정 수단(34), 가공 화상 생성 수단(35) 및 통신 수단(36)은 동작한다. 이에 의해, 가공 화상 생성 수단(35)에서는, 초기 상태의 촬상 수단으로 취득한 촬상 화상에 대해서도 마스크 화소 영역을 불가시로 한 도 3(b)에 나타내는 가공 화상이 생성되어, 보수 지원자측 단말(2)에 송신되게 된다.

또한, 제3 특정 수단(33)을 구성하는 관성 센서(33a) 등이 고장난 경우에는, 이동 후 상태의 촬상 수단(12)의 초기 상태로부터의 위치의 변화를 올바르게 특정할 수 없게 된다. 이에 수반하여, 이동 후 상태의 촬상 수단(12)으로 취득한 촬상 화상에 있어서의 3차원 영역(TA)에 대응하는 유효 화소 영역을 올바르게 특정할 수 없게 된다. 이 결과, 생성된 가공 화상에 보수 대상(T) 이외의 기밀 정보 등이 포함될 가능성이 생긴다.

따라서, 관성 센서(33a) 등이 고장난 경우에는, 가공 화상 생성 수단(35)이 모든 화소 영역을 불가시로 한 가공 화상을 생성하거나, 혹은, 통신 수단(36)이 가공 화상의 송신을 정지하는 기능을 가지는 것이 바람직하다. 또, 이때, 관성 센서(33a) 등에 고장이 발생했음을 보수 작업자가 신속하게 파악할 수 있도록, 헤드 마운트 디스플레이(13)에 고장이 발생한 취지를 표시하거나, 혹은, 스피커(4)에 고장이 발생한 취지를 음성으로 통지하는 것이 바람직하다.

또한, 관성 센서(33a) 등으로서는, 일반적으로 소형의 MEMS 센서 등이 이용되어, 센서의 검출값(관성 센서(33a)의 경우에는 가속도 및 각속도)이 전기 신호로 변환되어 출력된다. 예를 들면, 관성 센서(33a) 등에 설치된 전기 회로가 쇼트되는 등의 고장이 발생한 경우에는, 웨어러블 단말(1)이 이동해도, 센서로부터 출력되는 전기 신호에 변화가 생기지 않는다. 따라서, 예를 들면, 출력되는 전기 신호의 단위 시간당 변화량을 소정의 역치와 비교하여, 변화량이 이 역치를 초과하지 않으면, 관성 센서(33a) 등에 고장이 발생했다고 판단하는 구성을 채용함으로써, 관성 센서(33a) 등의 고장을 자동적으로 검출 가능하다.

본 실시 형태의 헤드 마운트 디스플레이(13)는, 헤드 마운트 디스플레이(13)에 촬상 화상을 표시하는 상태(구체적으로는, 본 실시 형태에서는, 투과형의 헤드 마운트 디스플레이(13)에는 아무것도 표시되지 않고, 보수 작업자가 아무것도 표시되어 있지 않은 헤드 마운트 디스플레이(13)를 통하여 보수 대상(T)을 직접 시인할 수 있는 상태)와, 헤드 마운트 디스플레이(13)에 가공 화상을 인식 가능하게 표시하는 상태가 전환 가능하게 구성되어 있다. 구체적으로는, 예를 들면, 프레임(11)에 전환 버튼(도시하지 않음)을 설치하고, 이 전환 버튼을 누름으로써, 제어 신호 처리 수단(3)이 어느 한쪽의 상태를 선택하도록 제어하는 양태를 채용 가능하다.

헤드 마운트 디스플레이(13)에 촬상 화상을 표시하는 상태(보수 작업자가 보수 대상(T)을 직접 시인할 수 있는 상태)에서는, 보수 작업자의 시야를 가리는 부분이 없기 때문에, 보수 작업을 안전하게 행하는 것이 가능하다.

한편, 헤드 마운트 디스플레이(13)에 가공 화상을 인식 가능하게 표시하는 상태에서는, 보수 작업자에게도 보수 지원자측 단말(2)에 송신되는 가공 화상을 인식 가능하다. 이 때문에, 보수 대상(T) 이외의 기밀 정보 등의 누설이 방지되어 있음을 보수 작업자도 확인 가능하여, 보수 작업자에게 안심감을 줄 수 있다. 또한, 가공 화상을 인식 가능하게 표시하는 상태로서는, 보수 지원자측 단말(2)에 송신되는 가공 화상과 같은 것(촬상 화상과 비쳐 있는 영역은 같지만 촬상 화상에 있어서의 마스크 화소 영역을 검게 칠한 화상이나, 촬상 화상으로부터 유효 화소 영역만을 잘라낸 화상 등)을 표시하는 상태 이외에, 도 3(a)나 도 4(a)에 나타내는 바와 같이, 촬상 화상에 마스크 화소 영역과 유효 화소 영역의 경계선(3차원 영역(TA)의 경계선)을 오버레이한 화상을 표시하는 상태나, 표시 화면의 일부에 가공 화상을 축소하여 표시하는 상태 등도 포함된다.

또한, 본 실시 형태에서는, 1개의 보수 대상(T)에 1개의 3차원 영역(TA)을 특정하는 경우를 예로 들어 설명했는데, 본 발명은 이것으로 한정되는 것은 아니다. 예를 들면, 보수 대상(T)이 복수 있는 경우에는, 보수 대상(T)마다 예를 들면 마커(M)를 붙여, 보수 대상(T)마다 3차원 영역을 특정하면 된다. 예를 들면, 1개의 보수 대상(T)이 기판 처리 장치이며, 기판 처리 장치의 부품을 떼어내어 소정의 작업 책상 위에서 수리 등의 작업을 행하는 경우에는, 또 하나의 보수 대상(T)을 이 작업 책상으로 설정하고, 작업 책상에도 마커(M)를 붙이면 된다.

또, 본 실시 형태에서는, 3차원 영역(TA)으로서, 8개의 꼭짓점(P1~P8)을 가지는 직육면체 형상의 3차원 영역을 예로 들어 설명했는데, 본 발명은 이것으로 한정되는 것은 아니다. 보수 대상(T)의 형상에 따라, 8개보다 많은 점으로 특정되는 직육면체 이외의 형상의 3차원 영역(TA)을 설정하는 것도 가능하다.

또, 본 실시 형태에서는, 보수 지원자측 단말(2)에 1개의 웨어러블 단말(1)이 전기적으로 접속되어 있는 경우를 예로 들어 설명했는데, 본 발명은 이것으로 한정되는 것은 아니다. 보수 지원자측 단말(2)에 복수의 웨어러블 단말(1)이 전기적으로 접속되어 있는 구성을 채용하는 것도 가능하다.

이 경우, 복수의 웨어러블 단말(1)의 촬상 수단(12)이 같은 마커(M)를 촬상하여 같은 3차원 영역(TA)을 특정하는 구성이어도 되고, 웨어러블 단말(1)마다, 촬상해야 할 마커(M)를 상이한 것으로 하거나, 특정하는 3차원 영역(TA)을 상이한 것으로 하는 구성을 채용하는 것도 가능하다.

또, 보수 지원자측 단말(2)에서는, 복수의 웨어러블 단말(1)로부터 송신된 각 가공 화상을 나열하여 동시에 표시하거나, 혹은, 표시하는 가공 화상을 전환 가능하게 하는 등, 다양한 양태를 채용 가능하다.

또한, 웨어러블 단말(1)이 1개여도 복수여도, 웨어러블 단말(1)에 전기적으로 접속되는 보수 지원자측 단말(2)을 복수 준비하는 것도 가능하다.

또한, 본 실시 형태에서는, 도 2에 나타내는 바와 같이, 보수 대상(T)에 근접한 영역을 3차원 영역(TA)으로 설정하고 있는데, 본 발명은 이것으로 한정되는 것은 아니다. 보수 대상(T)이 존재하지 않는 영역이어도, 기밀 정보에 관련된 장치(S)가 존재하지 않는 것이 미리 결정되어 있는 영역에 대해서는, 이 영역이 포함되도록, 3차원 영역(TA)을 넓히는 것도 가능하다. 또, 3차원 영역(TA)은 연결된 1개의 영역으로 한정되는 것이 아니고, 복수의 분리된 영역을 3차원 영역(TA)으로서 설정하는 것도 가능하다.

이상에 설명한 본 실시 형태에 따른 보수 지원 시스템(100)에 의하면, 예를 들면, 이하와 같은 보수 지원을 행하는 것이 가능하다.

(1) 보수 지원자측 단말(2)에 송신된 가공 화상을 보수 지원자가 시인하고, 보수 대상(T)을 구성하는 부품의 번호를 특정한다. 혹은, 가공 화상을 시인하면서, 웨어러블 단말(1)의 스피커(4) 및 마이크로폰(5)을 이용하여 보수 작업자와 보수 지원자가 대화하여, 보수 대상(T)을 구성하는 부품의 번호를 특정한다. 혹은, 상기 대화의 음성 데이터에 의거하여, 보수 지원자측 단말(2)로 보수 대상(T)을 구성하는 부품의 번호를 자동적으로 특정한다(예를 들면, AI 기술을 이용하여 자동 인식한다). 혹은, 보수 지원자측 단말(2)로, 송신된 가공 화상의 화상 데이터에 의거하여, 예를 들면 AI 기술을 이용하여 보수 대상(T)을 구성하는 부품의 번호를 자동적으로 특정한다. 상기의 번호의 특정에 있어서는, 마커에 보수 대상(T)의 식별 정보가 표시되어 있어, 이 보수 대상(T)의 식별 정보에 연결된 부품 구성표(BOM)에 포함되는 번호(예를 들면, 부품 번호나 시리얼 번호)를 특정하는 것이 바람직하다.

그리고, 보수 지원자측 단말(2)에 접속된 재고 관리 시스템에 수동으로 또는 자동적으로 액세스하여, 특정한 번호에 대응하는 부품의 재고나 납기를 확인하고, 그 정보를 보수 지원자측 단말(2)로부터 웨어러블 단말(1)에 장착된 통신 수단(36)에 송신하고, 헤드 마운트 디스플레이(13)에 표시한다.

종래라면, 예를 들면, 스피커나 마이크로폰을 이용한 보수 작업자와 보수 지원자의 대화만으로 보수 대상(T)을 구성하는 부품의 부품 번호나 시리얼 번호를 특정하여, 그것을 수기로 메모하고, 재고 관리 시스템에 수동으로 액세스해서, 키보드로 부품 번호나 시리얼 번호를 입력하여, 대응하는 부품의 재고나 납기를 확인하는 작업이 되고 있었다. 이 종래의 작업에서는, 부품의 부품 번호나 시리얼 번호의 듣기나 받아 적음에 있어서의 인적 오류나, 재고 관리 시스템으로의 번호 입력 시의 인적 오류가 생길 가능성이 있었다. 또, 수동이기 때문에, 보수 지원에 시간을 필요로 하고 있었다.

그러나, 본 실시 형태에 따른 보수 지원 시스템(100)에 의하면, 특히, 부품의 부품 번호나 시리얼 번호를 자동적으로 특정하여, 재고 관리 시스템에 자동적으로 액세스하는 구성을 채용하는 경우, 상기의 인적 오류가 생기지 않고, 보수 지원에 필요로 하는 시간도 단축된다는 이점이 얻어진다.

(2) 상기(1)에 있어서, 교환 부품의 준비를 행했을 경우, 보수 지원자측 단말(2)이 교환 전의 부품 번호나 시리얼 번호를 전기(傳記)한 작업 보고서를 자동적으로 작성한다.

상기의 구성을 채용함으로써, 유저의 업무나 생산성의 향상(보수 지원 이외의 부가 가치)에 연결된다. 또, 교환 주기 부품의 로그 데이터 수집을 하여, 다음에 언제쯤 교환이 필요해지는가라는 리커멘드(예방 보수)도 행해지는 등의 이점도 있다.

또한, 본 실시 형태에서는, 가공 화상을 보수 지원자측 단말(2)에 송신하는 양태에 대하여 설명했는데, 필요에 따라, 촬상 화상을 그대로 보수 지원자측 단말(2)에 송신하는 것도 가능하다.

1: 웨어러블 단말 2: 보수 지원자측 단말
3: 제어 신호 처리 수단 12: 촬상 수단
13: 헤드 마운트 디스플레이 31: 제1 특정 수단
32: 제2 특정 수단 32a: 거리 화상 센서
33: 제3 특정 수단 33a: 관성 센서
34: 제4 특정 수단 35: 가공 화상 생성 수단
36: 통신 수단 100: 보수 지원 시스템
M: 마커 N: 전기 통신 회선
S: 기밀 정보에 관련된 장치 T: 보수 대상
TA: 3차원 영역

Claims (10)

1. 촬상 수단을 구비하고 보수 작업자가 장착하는 웨어러블 단말과,
   초기 상태의 상기 촬상 수단으로 보수 대상을 촬상하여 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 상기 보수 대상을 포함하는 소정의 3차원 영역을 특정하는 제1 특정 수단과,
   상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치를 특정하는 제2 특정 수단과,
   상기 웨어러블 단말이 이동한 이동 후 상태에 있어서, 상기 촬상 수단의 상기 초기 상태로부터의 위치의 변화를 특정하는 제3 특정 수단과,
   상기 제2 특정 수단으로 특정한 상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치와, 상기 제3 특정 수단으로 특정한 상기 이동 후 상태의 상기 촬상 수단의 상기 초기 상태로부터의 위치의 변화에 의거하여, 상기 이동 후 상태의 상기 촬상 수단을 기준으로 하는 상기 기준점의 위치를 특정하고, 상기 특정한 기준점의 위치와, 상기 제1 특정 수단으로 특정한 상기 3차원 영역에 의거하여, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 3차원 영역에 대응하는 유효 화소 영역을 특정하는 제4 특정 수단과,
   상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 대하여, 상기 제4 특정 수단으로 특정한 상기 유효 화소 영역을 제외한 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 가공 화상 생성 수단과,
   상기 가공 화상 생성 수단으로 생성한 상기 가공 화상을 보수 지원자측 단말에 송신하는 통신 수단
   을 구비하는 것을 특징으로 하는 보수 지원 시스템.
2. 청구항 1에 있어서,
   상기 기준점은, 상기 보수 대상에 붙여진 마커에 의해 규정되어 있는 것을 특징으로 하는 보수 지원 시스템.
3. 청구항 2에 있어서,
   상기 제2 특정 수단은, 상기 초기 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 마커에 대응하는 화소 영역의 크기, 위치 및 형상에 의거하여, 상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치를 특정하는 것을 특징으로 하는 보수 지원 시스템.
4. 청구항 2에 있어서,
   상기 제2 특정 수단은, 상기 웨어러블 단말에 장착되며 상기 촬상 수단과 대략 동일한 시선 방향을 가지는 거리 화상 센서를 구비하고, 상기 거리 화상 센서로 취득한 거리 화상에 있어서의 상기 마커에 대응하는 화소 영역의 농도값, 위치 및 형상에 의거하여, 상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치를 특정하는 것을 특징으로 하는 보수 지원 시스템.
5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
   상기 제3 특정 수단은, 상기 웨어러블 단말에 장착된 관성 센서를 구비하는 것을 특징으로 하는 보수 지원 시스템.
6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
   상기 웨어러블 단말은, 헤드 마운트 디스플레이를 구비하고,
   상기 헤드 마운트 디스플레이는, 상기 헤드 마운트 디스플레이에 상기 촬상 화상을 표시하는 상태와, 상기 헤드 마운트 디스플레이에 상기 가공 화상을 인식 가능하게 표시하는 상태가 전환 가능하게 구성되어 있는 것을 특징으로 하는 보수 지원 시스템.
7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
   상기 제1 특정 수단, 상기 제2 특정 수단, 상기 제3 특정 수단, 상기 제4 특정 수단, 상기 가공 화상 생성 수단 및 상기 통신 수단이, 상기 웨어러블 단말에 장착되어 있는 것을 특징으로 하는 보수 지원 시스템.
8. 청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
   상기 보수 지원자측 단말을 구비하고,
   상기 보수 지원자측 단말은, 상기 통신 수단과 쌍방향으로 데이터 통신 가능하게 구성되어 있는 것을 특징으로 하는 보수 지원 시스템.
9. 촬상 수단을 구비하고 보수 작업자가 장착하는 웨어러블 단말을 이용한 보수 지원 방법으로서,
   제1 특정 수단에 의해, 초기 상태의 상기 촬상 수단으로 보수 대상을 촬상하여 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 상기 보수 대상을 포함하는 소정의 3차원 영역을 특정하는 제1 특정 공정과,
   제2 특정 수단에 의해, 상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치를 특정하는 제2 특정 공정과,
   제3 특정 수단에 의해, 상기 웨어러블 단말이 이동한 이동 후 상태에 있어서, 상기 촬상 수단의 상기 초기 상태로부터의 위치의 변화를 특정하는 제3 특정 공정과,
   제4 특정 수단에 의해, 상기 제2 특정 공정에서 특정한 상기 기준점에 대한 상기 초기 상태의 상기 촬상 수단의 위치와, 상기 제3 특정 공정에서 특정한 상기 이동 후 상태의 상기 촬상 수단의 상기 초기 상태로부터의 위치의 변화에 의거하여, 상기 이동 후 상태의 상기 촬상 수단을 기준으로 하는 상기 기준점의 위치를 특정하고, 상기 특정한 기준점의 위치와, 상기 제1 특정 공정에서 특정한 상기 3차원 영역에 의거하여, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 3차원 영역에 대응하는 유효 화소 영역을 특정하는 제4 특정 공정과,
   가공 화상 생성 수단에 의해, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 대하여, 상기 제4 특정 공정에서 특정한 상기 유효 화소 영역을 제외한 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 가공 화상 생성 공정과,
   통신 수단에 의해, 상기 가공 화상 생성 공정에서 생성한 상기 가공 화상을 보수 지원자측 단말에 송신하는 통신 공정
   을 포함하는 것을 특징으로 하는 보수 지원 방법.
10. 청구항 9에 기재된 보수 지원 방법이 포함하는 상기 제1 특정 공정, 상기 제2 특정 공정, 상기 제3 특정 공정, 상기 제4 특정 공정, 상기 가공 화상 생성 공정 및 상기 통신 공정을, 상기 제1 특정 수단, 상기 제2 특정 수단, 상기 제3 특정 수단, 상기 제4 특정 수단, 상기 가공 화상 생성 수단 및 상기 통신 수단으로 하여금 각각 실행하게 하기 위한, 프로그램.

Images