KR100597942B1

KR100597942B1 - 작업 유도 시스템

Info

Publication number: KR100597942B1
Application number: KR1020047020732A
Authority: KR
Inventors: 후쿠다다카히토
Original assignee: 웨스트 유니티스 컴퍼니 리미티드
Priority date: 2002-06-20
Filing date: 2003-06-20
Publication date: 2006-07-06
Also published as: JP2004021931A; US20060090135A1; CN1313980C; KR20050021996A; JP3735086B2; CN1662934A; WO2004001677A1; AU2003244317A1

Abstract

작업 유도 시스템(1)은 가상 영상 기억 세그멘트(17A), 안경부(11), 가상 영상 재생 기능부(193A), 및 가상 영상 조절 기능부(193B)를 포함한다. 가상 영상 기억 세그멘트(17A)는, 일련의 작업 단계로 구성되는 작업에 대해, 작업 단계 각각의 내용을 설명하는 가상 영상을 기억한다. 안경부(11)는 작업자의 눈 앞에 위치되어, 상기 작업자의 앞에 있는 실제 작업 대상과 대조하여 상기 가상 영상을 표시한다. 가상 영상 재생 기능부(193A)는 상기 가상 영상을 상기 작업 단계의 순서에 따라 상기 표시 장치에 표시한다. 가상 영상 조절 기능부(193B)는 상기 가상 영상에 그려지는 가상 작업 대상이 상기 표시 장치 상에서 대응하는 상기 실제 작업 대상과 중첩되도록, 상기 가상 영상을 조절한다.

작업 유도 시스템, 가상 영상 기억 수단, 표시 장치, 가상 영상 재생 수단, 가상 영상 조절 수단, 가상 영상, 작업 대상, 음성 입력 수단, 음성 인식 수단.

Description

작업 유도 시스템{JOB GUIDING SYSTEM}

본 발명은, 일련의 작업 단계로 구성된 작업을 정확하게 수행할 수 있도록 작업자를 유도하는 작업 유도 시스템에 관한 것이다.

작업자가 제조 현장 등에서 작업을 시작할 때, 통상적으로 지시자로부터 작업의 내용을 들은 후에 작업을 시작한다.

그러나, 작업자가 일련의 작업 단계로 구성되는 작업을 수행해야만 할 때, 작업중에 불명한 점이 생기거나 작업 내용의 기억이 애매하거나 하면, 작업을 멈추거나 또는 작업을 잘 못 수행할 수 있다. 작업자는 지시자로부터 작업 내용의 설명을 들으면서 작업을 수행하는 방법도 있지만, 지시자가 항상 작업자의 주위에 있어야만 하기 때문에 비효율적이다.

상기 문제점을 고려하여, 본 발명의 목적은 지시자가 없어도 일련의 작업 단계로 구성되는 작업을 정확하게 수행할 수 있도록 작업자를 유도하는 작업 유도 시스템을 제공하는 것이다.

본 발명에 따른 작업 유도 시스템은 가상 영상 기억 수단, 표시 장치, 가상 영상 재생 수단, 및 가상 영상 조절 수단을 구비한다. 상기 가상 영상 기억 수단 은, 일련의 작업 단계로 구성되는 작업에 대해서, 각 작업 단계에서의 내용을 설명하기 위한 가상 영상을 기억하도록 구성된다. 상기 표시 장치는, 작업자의 눈앞에 배치되어, 작업자의 앞에 있는 실제 작업 대상과 대조하여 상기 가상 영상을 표시하도록 구성된다. 상기 가상 영상 재생 수단은, 상기 가상 영상을 상기 작업 단계의 순서에 따라 상기 표시 장치에 표시하도록 구성된다. 상기 가상 영상 조절 수단은, 상기 가상 영상 각각에 그려지고 상기 실제 작업 대상에 대응하는 가상 작업 대상이 상기 표시 장치에 상기 실제 작업 대상과 중첩되도록, 상기 가상 영상을 조절하도록 구성된다.

따라서 작업자는, 상기 표시 장치 상의 가상 영상을 보고, 상기 가상 영상이 중첩된 실제 작업 대상에 대해서 가상 영상에 따라 작업을 수행하기만 하면, 지시자가 없어도 일련의 작업 단계로 구성되는 작업을 정확하게 수행할 수 있다. 작업자는 작업 전체를 파악하기 위해 상기 가상 영상 전체를 본 후에 작업을 시작할 수 있다. 본 작업 유도 시스템은 가상 영상 조절 수단을 포함하기 때문에, 가상 영상에 그려진 가상 작업 대상은, 작업자의 위치 또는 눈의 높이에 관계 없이, 실제 작업 대상과 중첩될 수 있다. 따라서, 작업자는 작업을 효율적으로 수행할 수 있다.

바람직하게는, 상기 가상 영상은 상기 실제 작업 대상의 윤곽을 그린 선도와, 상기 작업 단계의 내용을 시각적으로 설명하는 시각 정보 마크를 포함한다. 상기 선도는, 실제 작업 대상과 상기 가상 작업 대상이 서로 중첩될 때, 상기 실제 작업 대상과 상기 가상 작업 대상을 보기 편리하게 하고, 시각 정보 마크는 작업자가 작업을 위해서 알아야 하는 정보를 작업자에게 시각적으로 또한 쉽게 전달할 수 있다. 따라서, 작업자는 작업을 더욱 정확하게 수행할 수 있다.

또한, 작업 유도 시스템은 바람직하게는 상기 가상 영상 기억 수단으로부터 상기 가상 영상을 호출하여, 상기 시각 정보 마크에 수정하고 및/ 또는 가상 영상에 상기 시각 정보 마크를 추가하는 시각 정보 마크 입력 수단을 포함한다. 시각 정보 마크 입력 수단을 포함하면, 작업 지시가 변경되거나, 작업자가 알아야 할 새로운 생기더라도, 시스템이 유연하게 변할 수 있게 한다. 이 경우에, 상기 가상 영상은, 상기 선도가 그려지는 층과, 상기 시각 정보 마크가 그려지는 층을 포함하는 것이 바람직하다. 그러한 가상 영상은 복잡한 선도를 잘못해 지우는 것을 방지할 수 있고, 시각 정보 마크를 안심하고 수정하고 및/또는 안심하고 추가할 수 있게 한다.

바람직하게는, 상기 가상 영상 재생 수단은, 상기 가상 영상과 상기 작업 단계를 대응시켜 기억하고, 작업자에 의해 지정된 작업 단계에 대응하는 상기 가상 영상을 호출하는 기능을 갖는다. 그러한 기능은, 작업이 다수의 작업 단계로 구성되더라도, 작업자가 필요한 가상 영상을 신속하게 재생할 수 있게 한다.

상기 가상 영상 재생 수단은, 상기 가상 영상과 상기 작업 단계를 대응시켜 기억하고, 작업자에 의해 지정된 범위 내의 작업 단계에 대응하는 상기 가상 영상을 재생하고, 재생 후에 상기 범위 내의 제1 가상 영상으로 돌아오는 기능을 갖는 것이 또한 바람직하다. 이 경우에, 작업자는 전체 작업을 이해하기 위해 필요한 범위 내의 상기 가상 영상을 볼 수 있고, 다음에는, 작업자는, 재생 후에 가상 영상이 상기 지정된 범위의 최초의 단계로 돌아와 있으므로, 가상 영상을 계속 재생 시키면서 신속하게 작업을 시작할 수 있다.

또, 작업 유도 시스템은 작업자의 음성을 입력하는 음성 입력 수단, 및 상기 음성 입력 수단을 사용하여 입력된 음성을 인식하는 음성 인식 수단을 더 포함하는 것이 바람직하다. 상기 가상 영상 재생 수단은, 작업자의 음성에 기초하여 상기 가상 영상의 재생을 제어한다. 이 경우에, 작업자는 손에 공구 등을 잔뜩 가진 채로도 상기 가상 영상의 재생을 제어할 수 있어, 작업 효율이 더욱 향상될 수 있다.

또, 작업 유도 시스템은 작업 단계의 내용을 설명하는 음성 데이터를 기억하는 음성 기억 수단, 및 상기 음성 데이터를 출력하는 음성 출력 수단을 포함하는 것이 바람직하다. 상기 가상 영상 재생 수단은 상기 가상 영상의 재생과 동기하여 상기 음성 데이터를 상기 음성 출력 수단으로 출력한다. 이 경우에, 작업자는 상기 가상 영상에 더하여 작업에 대한 음성 설명을 얻을 수 있어, 작업의 내용을 더욱 정확하게 이해할 수 있다. 음성 데이터는 가상 영상이 표현될 수 없는 정보를 설명할 수 있다.

상기 가상 영상 조절 수단은, 상기 실제 작업 대상의 영상을 픽업하는 영상 픽업 수단, 및 상기 영상 픽업 수단에 의해 촬상된 상기 영상으로부터, 상기 작업 대상에 대해 미리 결정된 특징점을 추출하도록 구성된 특징점 추출 수단을 포함하고, 상기 가상 영상 조절 수단은, 상기 특징점 추출 수단에 의해 추출된 특징점에 대응하는 상기 가상 작업 대상의 점이 상기 특징점의 위치와 일치하도록, 상기 표시 장치에 표시된 상기 가상 영상 각각의 위치 및/ 또는 치수를 자동적으로 변화시킬 수 있다. 이 경우에, 작업자가 가상 영상의 재생 중에 그의 위치를 변경하더라 도, 가상 영상은 자동적으로 조절되어, 가상 작업 대상은 실제 작업 대상과 중첩될 수 있다.

또는, 상기 가상 영상 조절 수단은 상기 표시 장치 상에 표시된 상기 가상 영상의 위치 및/ 또는 치수를 작업자가 수동으로 변화시킬 수 있는 수동 컨트롤러를 포함할 수 있다. 이 경우에, 작업자는 손에 의해서도 상기 가상 작업 대상을 실제 작업 대상과 중첩시킬 수 있다. 이 경우에, 작업 유도 시스템은 작업자의 머리의 움직임을 트랙킹하는 헤드 트랙킹 수단을 포함하는 것이 바람직하고, 상기 가상 영상 조절 수단은, 상기 헤드 트랙킹 수단의 출력에 기초하여, 상기 표시 장치에 표시된 가상 영상의 위치를 보정한다. 헤드 트랙킹 수단을 포함함으로써, 작업자가 일단 상기 수동 컨트롤러에 의해 상기 가상 작업 대상을 상기 실제 작업 대상과 중첩시키면, 상기 가상 영상 내의 가상 작업 대상은, 작업자가 그의 머리를 움직여도, 실제 작업 대상과 중첩된 상태를 유지할 수 있다.

도 1은 본 발명의 제1의 실시예에 따른 작업 유도 시스템의 블록도이다.

도 2a 내지 도 2c는, 상기 작업 유도 시스템에 이용되는 가상 영상의 일례를 도시한 도면이다.

도 3은 상기 작업 유도 시스템에 있어서 작업 대상으로서의 엔진의 특징점을 도시한 영상을 프린터로 인쇄 출력하여 얻은 도면을 대신하는 사진이다.

도 4a 내지 도 4b는 상기 작업 유도 시스템에 있어서 표시 장치에 표시된 영상을 프린터로 인쇄 출력하여 얻은 도면을 대신하는 사진이다.

도 5는 상기 작업 유도 시스템에 있어서 표시 장치에 표시된 영상을 프린터로 인쇄 출력하여 얻은 도면을 대신하는 사진이다.

도 6은 상기 작업 유도 시스템에 있어서 표시 장치에 표시된 영상을 프린터로 인쇄 출력하여 얻은 도면을 대신하는 사진이다.

도 7은 안경부의 다른 구성을 도시한 도면이다.

도 8은 본 발명의 제2의 실시예에 따른 작업 유도 시스템의 블록도이다.

도 9는 상기 작업 유도 시스템에 있어서 표시 장치에 표시된 영상을 프린터로 인쇄 출력하여 얻은 도면을 대신하는 사진이다.

도 10은 상기 작업 유도 시스템에 있어서 표시 장치에 표시된 영상을 프린터로 인쇄 출력하여 얻은 도면을 대신하는 사진이다.

도 11은 상기 작업 유도 시스템에 있어서 표시 장치에 표시된 영상을 프린터로 인쇄 출력하여 얻은 도면을 대신하는 사진이다.

본 발명을 첨부한 도면에 따라 상세하게 설명한다.

도 1에 본 발명의 제1 실시예에 따른 작업 유도 시스템(1)을 도시한다. 본 실시예에서는, 작업 유도 시스템(1)을 엔진의 제조 현장에 적용하고, 작업자가 엔진의 조립 작업을 정확하게 행할 수 있도록 작업자를 유도한다.

작업 유도 시스템(1)은, 헤드 마운트형의 AV 장치(10)와, 이 AV 장치(10)와 케이블(C1)을 통하여 전기적으로 접속되는 작업 유도 제어 장치(15)를 구비하고 있다.

AV 장치(10)는 표시 장치로서의 안경부(11), 음성 출력 수단으로서의 헤드폰부(12), 음성 입력 수단으로서의 마이크부(13), 및 영상 픽업 수단으로서의 CCD 카메라(100)의 일체화된 조합으로 구성된다. 안경부(11)는 이른바 시스루형(see-through) 헤드 마운트 디스플레이와 같으며, 한 쌍의 투광형 액정 패널(111)을 구비한다. 헤드폰부(12)는 한 쌍의 헤드폰 스피커(121)를 구비한다. 마이크부(13)는 마이크로폰(131)을 구비한다. CCD 카메라(100)는 작업자의 시선으로부터 작업 대상으로서의 엔진의 영상을 촬상한다. 작업자는, 가상 영상이, 후술하듯이, 액정 패널(111) 상에 표시된 상태로, 투광 형태의 액정 패널(11l)을 통해 실제의 대상을 볼 수 있다. 즉, 안경부(11)는 실제 영상과 대조하여 가상 영상을 표시할 수 있다.

작업 유도 제어 장치(15)는 인터페이스부(16), 기억부(17), 전원 공급부(18), 및 제어부(19)를 포함한다.

인터페이스부(16)는 음성 입력 인터페이스(161), 영상 입력 인터페이스(162), 가상 영상 출력 인터페이스(163), 및 음성 출력 인터페이스(164)를 포함한다. 음성 입력 인터페이스(161)는 마이크로폰(131)으로부터의 아날로그 음성 신호를 증폭하고, 디지털 음성 데이터로 변환하여 제어부(19)로 출력한다. 영상 입력 인터페이스(162)는 CCD 카메라(100)로부터의 아날로그 영상 신호를 디지털 영상 데이터로 변환하여 제어부(19)로 출력한다. 가상 영상 출력 인터페이스(163)는 DVI(Digital Visual lnterface)규격에 기초하며, 제어부(19)와 액정 패널(111) 사이를 연결한다. 음성 출력 인터페이스(164)는 제어부(19)로부터의 음성 데이터를 아날로그 음성 신호로 변환하고, 음량 제어(도시하지 않음)의 위치에 대응하는 이득에 기초하여 증폭하여 헤드폰 스피커(121)로 출력한다.

기억부(17)는 하드 디스크 장치 등의 기억 장치이며, 가상 영상 기억 세그멘트(17A)와 음성 기억 세그멘트(17B)를 포함한다. 가상 영상 기억 세그멘트(17A)는, 일련의 복수의 작업 단계로 구성되는 엔진의 조립 작업에 관해서, 각 작업 단계의 내용을 설명하기 위한 가상 영상을 기억한다. 가상 영상 각각은, 작업 대상의 윤곽을 그린 선도(線圖)를 기초로 하고, 작업 내용을 시각적으로 설명하는 시각 정보 마크를 필요에 따라 부가하였다. 시각 정보 마크는, 예를 들면, 작업 순서를 나타내는 번호, 작업이 수행되는 방향을 나타내는 화살표, 텍스트 정보, 파선으로 나타낸 작업의 완성도 등이다. 도 2a 내지 도 2c는 가상 영상의 예를 도시한다. 그 도면들은, 작업자가 엔진 블록에 볼트를 고정하고 다음에는 엔진 블럭에 엔진 커버를 부착하는 엔진 조립 작업 중 한 작업을 설명하기 위한 것이다. 도 2a는 작업 전의 엔진 블록의 윤곽을 그린 가상 영상이다. 도 2b는 작업자가 볼트를 고정하는 단계에 대응하는 가상 영상이다. 도 2c는 작업자가 엔진 커버를 장착하는 단계에 대응하는 가상 영상이다. 예로서 도 2b를 참조하면, 가상 영상은 작업 대상으로서의 엔진의 윤곽을 그린 선도를 기초로 하여 형성되고, 번호와 텍스트 정보로 구성되는 시각 정보 마크(I1 내지 I13)가 부가되었다. 시각 정보 마크(I1 내지 I12)는, 작업자가 볼트를 고정하는 순서를 나타내고, 가상 정보 마크(I13)는 볼트의 조임 토크를 나타내고 있다. 음성 기억 세그멘트(17B)는, 작업 순서, 제품 손해 배상법 관련 정보, 주의사항 등 각 작업 단계에서의 내용을 설명하는 음성 데이 터를 기억한다. 예를 들면, 도 2b와 동기하여 재생되는 음성 데이터는, 다음과 같은데, 즉, "이 단계에서는, 1로부터 6의 순서에 따라 볼트를 고정 해야 한다. 이 때, 조임 토크는 19.5±2,0Nm이다." 음성 데이터 및 시각 정보 마크를 적절하게 이용함으로써, 작업자는 작업 내용을 더욱 쉽게 이해할 수 있고 작업을 더욱 정확하게 수행할 수 있다. 작업자가 한 번 듣고 이해할 수 있는 설명(예로서, 작업의 개요)은 음성 데이터로서 생성되고, 한 번만 들어서는 이해할 수 없는 설명(예로서, 작업 순서, 상세한 수치 등)은 시각 정보 마크로서 생성되는 것이 바람직하다.

제어부(19)는, 작업 유도 시스템(1) 전체를 제어하도로 구성되고, 소정의 프로그램을 실행하는 CPU(중앙 처리장치) 및 주기억장치 등을 포함한다. 제어부(19)는 음성 인식 기능부(191), 특징점 추출 기능부(192), 가상 영상 제어 기능부(193), 및 음성 출력 기능부(194)를 구비하고 있다.

음성 인식 기능부(191)는, 마이크로폰(131)으로 입력되고 음성 입력 인터페이스(161)를 통하여 받아들여진 음성 데이터를 인식하고, 인식한 음성에 따라, 가상 영상 재생 기능부(193A)를 제어한다. 예를 들면, 음성 인식 기능부(191)는, "재생 개시"이는 말을 인식하면, 가상 영상 재생 기능부(193A)에 가상 영상의 재생을 개시하라는 명령을 발한다.

특징점 추출 기능부(192)는, CCD 카메라(l00)에 의해 촬상되고 영상 입력 인터페이스(162)를 통하여 받아들여진 영상으로부터, 작업 대상으로서의 엔진에 대해 미리 결정된 특징점을 추출한다. 예를 들면, 도 3에 도시한 바와 같이, 엔진의 특징점을 P1, P2로 결정하였으면, 특징점 추출 기능부(192)는, CCD 카메라(l00)에 의 해 촬상된 상기 영상으로부터 특징점(P1, P2)를 추출하고, 상기 영상 내의 특징점(P1, P2)의 화소의 위치를 결정한다.

가상 영상 제어 기능부(193)는 또한 가상 영상 재생 기능부(193A)와 가상 영상 조절 기능부(193B)를 더 포함한다. 가상 영상 재생 기능부(193A)는, 가상 영상 세그멘트(l7A)로부터 가상 영상을 호출하여, 엔진 조립 작업의 작업 단계의 순서에 따라 액정 패널(111) 상에 표시한다. 또, 가상 영상 재생 기능부(193A)는, 각 가상 영상과 각 작업 단계의 대응을 기억하고, 작업자가 음성 인식 기능부(191)를 사용하여 지정한 작업 단계 중 하나에 대응하는 가상 영상을 호출하는 소위 " 큐 기능(cue function)"을 구비하고, 또한, 작업자에 의해 지정된 범위 내의 작업 단계에 각각 대응하는 상기 가상 영상을 재생하고, 가상 영상의 재생 후에 상기 지정된 범위 내의 최초의 가상 영상으로 돌아가는 "지정 범위 재생 기능"을 구비한다. 물론, 가상 영상 제어 기능부(193)는 가상 영상의 빨리 감기, 되감기, 일시 정지를 행할 수 있다. 가상 영상 조절 기능부(1193B)는, 각 가상 영상에 그려진 엔진의 선도가 안경부(11)를 통해 볼 수 있는 실제의 작업 대상으로서의 엔진에 대해 중첩 관계를 갖도록, 상기 가상 영상 재생 기능부(193A)에 의해 재생되는 가상 영상을 조절한다. 조절 방법을 아래에서 설명한다. 먼저, CCD 카메라(100)에 의해 촬상된 영상 데이터의 각 화소의 위치를 액정 패널(111)의 각 화소의 위치와 관련시키는 테이블이 생성된다. 테이블은 예를 들면 제어부(19) 내의 ROM(도시하지 않음)에 기억된다. 가상 영상 조절 기능부(193B)는, 촬상된 상기 영상 데이터로부터 상기 특징점 추출 기능부(192)에 의해 추출된 특징점(P1, P2)의 상기 영상 데이터에 있어서의 화소의 위치를, 상기 테이블을 참조하여, 액정 패널(111) 내의 대응 화소의 위치로 변환한다. 다음에는, 가상 영상 조절 기능부(193B)는, 상기 액정 패널(111)에 표시된 가상 영상에 있어서의 상기 특징점(P1, P2)에 대응하는 특징점(A, B)이, 그 액정 패널(111) 상의 상기 특징점(P1, P2)의 화소의 위치에 각각 일치하도록, 가상 영상의 위치 및/ 또는 치수를 자동적으로 변화시킨다. 도 4a는, 가상 영상 조절 기능부(193)가 가상 영상을 조절하기 전에, 액정 패널(111) 상에 표시된 실제 엔진과 가상 엔진을 도시한다. 도 4a에서, 작업자의 위치 등으로 인해, 가상 영상에 그려진 엔진의 선도가 액정 패널(111)을 투과하여 보는 실제 엔진과 어긋난 상태로 액정 패널(111) 상에 표시된다. 도 4b는, 가상 영상 조절 기능부(193)가 가상 영상을 조절한 후의 상태를 도시하고 있다. 도 4b에서, 가상 영상 조절 기능부(193)에 의해, 가상 영상에 그려진 엔진의 선도가 실제 엔진에 겹쳐 표시된다. 가상 영상 조절 기능부(193)에 의한 가상 영상의 조절은 실시간으로 반복 실행된다.

음성 출력 기능부(194)는, 각 가상 영상과 음성 기억 세그멘트(17B)에 기억된 각 조각의 음성 데이터를 대응시켜 기억하고, 가상 영상 재생 기능부(193)에 의해 재생된 가상 영상에 대응하는 한 조각의 음성 데이터를 가상 영상의 재생과 동기하여 음성 출력 인터페이스(164)로 출력한다.

이제, 상기와 같이 구성된 작업 유도 시스템(1)은 다음과 같이 사용된다. 이하에서는, 이해를 위해서, 엔진의 조립 작업은, "단계 1", "단계 2",···로 대략 분류되고, 작업자는 "단계 2"라고 불리우는 작업을 행하는 것으로 한다. "단계 2"는 "단계 2a"와 "단계 2b"를 더 포함한다. 단계 2a에서, 작업자는 엔진 블록에 볼트를 고정하는 것으로 하고, 단계 2b에서, 작업자는 단계 2a 뒤에 엔진 커버를 엔진에 부착하는 것으로 한다.

먼저, 작업자는 AV 장치(10)를 장착하고, 도 3과 같이 액정 패널(111)을 통해 완성되지 않은 엔진을 본다. 작업자가 마이크로폰(131)으로 향해 "단계 2"라고 말할 때, 가상 영상 재생 기능부(193A)는 "단계 2"의 작업 전의 영상인 하나의 가상 영상(즉, 도 2a)을 "큐 기능"을 이용하여 액정 패널(111) 상에 호출한다. 이 때, 가상 영상 조절 기능부(193B)는 가상 영상을 조절하여, 도 4(b)와 같이, 엔진의 선도가 실제 엔진에 완전히 중첩된 상태로 가상 영상이 액정 패널(111) 상에 표시된다. 다음에, 작업자가 "재생 개시"라고 말하면, 가상 영상 재생 기능부(193A)는, 조립 작업의 순서(단계 2a-단계 2b)에 따라 단계 2a에 대응하는 가상 영상(즉,도 2b}을 재생한다. 음성 설명은 음성 출력 기능부(194)에 의해 헤드폰 스피커(121)로부터 흐른다. 도 5는 이 때 액정 패널(111)을 통해 본 것을 도시한다. 작업자는, 음성 설명을 들으면서 액정 패널의 표시를 보고, 가상 영상에 따라 엔진 블록에 볼트를 고정한다. 작업자가 볼트 조이기를 완료하면, 작업자는 "다음 작업"이라고 말하며, 그러면, 음성 인식 기능부(191)는 "다음 작업"이라는 말을 인식하고, 가상 영상 재생 기능부(193A)는 다음의 단계, 즉, "단계 2b"에 대응하는 가상 영상(즉, 도 2c)을 액정 패널(111) 상에 재생한다. 도 6은 이 때 액정 패널(111)을 통해 본 것을 도시한다. 다음에는, 작업자는 다시 액정 패널의 표시를 보고 음성 설명을 들으면서 엔진 블록에 엔진 커버를 부착한다.

작업자는 필요에 따라 가상 영상을 되감기, 일시 정지, 및 빨리 감기할 수 있다. 작업자는 먼저, 애니메이션을 보는 것과 같이 전체 작업을 보고 전체 작업을 이해하기 위해, 상기 "지정 범위 재생 기능"을 사용하여, 단계 2에 대응하는 모든 가상 영상(즉, 도 2a-도 2b-도 2c)을 를 연속적으로 재생할 수 있고, 다음에는 작업을 시작할 수 있다. 이 경우에, 액정 패널 상에 표시된 가상 영상은 작업자가 전체 가상 영상을 본 후에 단계 2의 최초의 단계(즉, 도 2a)로 돌아 갈 것이기 때문에, 도 2a로부터 가상 영상의 재생을 쉽게 다시 시작할 수 있고, 가상 영상의 재생을 유지하면서 작업을 행할 수 있다. 작업자는 손에 공구를 잔뜩 들고서도 음성 인식 기능부(191)에 의해 가상 영상의 재생을 제어할 수 있다. 작업자가 작업 도중에 머리를 움직여도, 가상 영상 조절 기능부(193B)는, 가상 영상 상에 그려진 엔진의 선도가 실제 엔진과의 겹침을 유지하도록 가상 영상을 보정한다. 상기와 같이, 본 작업 유도 시스템(1)은 작업자가 지시자가 없어도 정확하게 작업을 수행할 수 있게 한다.

본 실시예에서 기억부(17)가 작업 유도 제어 장치(15) 내에 제공되었지만, 기억부(17)는 무선 또는 유선 LAN에 의해 작업 유도 제어 장치(15)에 접속된 서버 내에 제공될 수 있다. 이 경우에, 작업 유도 제어 장치(15)는 무선 또는 유선 LAN 인터페이스를 구비한다. 기억부(17)는, 하드 디스크에 한정되지 않고, 예로서 광디스크 장치, 자기 광 디스크 장치, 또는 반도체 기억 장치일 수도 있다.

상기 안경부(11)는 투광 형태의 액정 패널(111)이었지만, 도 7에 도시한 바와 같은 프리즘을 사용할 수도 있다. 도 7에서, 액정 패널(111) 상의 가상 영상 은, 프리즘(1l2)에 측방으로부터 입사하고, 프리즘(112)의 후면에 설치된 반사면(112a)에 의해 전방으로 전반사되고, 다음에는 프리즘(112)의 앞면 상에서 하프 미러(112b)에 의해 후방으로 반사되고, 다음에는 반사면(112a)을 투과한다. 그 결과, 작업자는 가상 영상을 볼 수 있다. 한편, 작업자는 프리즘(112)의 전방으로부터 후방으로 투과하는 광 경로에 의해 작업 대상 자체를 볼 수 있다. 가상 영상의 배경색이 "000000" 부근의 흑색 또는 "777777" 부근의 진한 회색으로 설정되고, 가상 영상의 선도 색이 "0OFFFF" 연한 청색으로 설정되었을 때, 가상 영상은 작업 대상물 그 자체와 대조되어 매우 명확하게 된다. 유사하게, 문자나 기호의 색이 "00FFFF" 부근의 연한 청색 또는 "FFFFO0" 부근의 황색으로 설정될 때, 문자 또는 기호는 매우 명확하게 된다. 안경부(11)는 2개의 패널을 가질 필요는 없고, 하나의 패널을 가질 수도 있다. 즉, 본 발명의 표시 장치는 특정한 것에 한정되지 않고, 작업자의 앞의 실제의 작업 대상과 함께 상기 가상 영상을 작업자에게 표시하기만 하면 된다.

가상 영상 조절 기능부(193)는 가상 영상을 실시간으로 조절할 필요는 없고, 특정한 시간 간격으로 조절할 수도 있다.

"지정 범위 재생 기능"은 물론 둘 이상의 단계를 넘어 가상 영상을 재생할 수 있다.

시스템은 가상 영상에 포함된 시각 정보 마크를 수정하고 및/ 또는 가상 영상에 새로운 시각 정보 마크를 추가하기 위해 가상 영상 기억 세그멘트(17A)로부터 가상 영상을 호출하는 시각 정보 마크 입력 수단(도시하지 않음)을 더 포함하는 것 이 바람직하다. 시각 정보 마크 입력 수단은 시스템이 공장 플로어(floor) 레벨에서 생성된 작업의 최소한의 변경(예로서, 볼트의 체결 순서의 변경)에 유연에 대응할 수 있게 하여, 작업자는 작업을 더욱 효율적으로 수행할 수 있다. 이 경우에, 가상 영상이 상기 실제의 작업 대상의 개요를 보여주는 선도가 도시되는 층과, 복잡한 선도를 잘못해 지우는 것을 방지하고, 시각 정보 마크를 안심하고 수정 및/ 또는 추가하는 것을 제공하기 위해 시각 정보 마크가 그려지는 층으로 나누어 별개로 생성되는 것이 바람직하다.

본 실시예에서 작업 대상의 예로서 엔진이 취해졌지만, 작업 대상은 엔진과 같은 "물건"에 한정되지 않고 사람이나 동물일 수도 있다. 예를 들면, 본 작업 유도 시스템이 어떤 사람에게 기모노를 입는 방법을 가르치거나 사람 또는 동물의 수술의 순서를 확인하는데 사용될 수 있다.

도 9는 본 발명의 제2의 실시예에 따른 작업 유도 시스템(2)을 도시한다. 이 작업 유도 시스템(2)의 기본적 구성은, 가상 영상 조절 기능부(193B)가 가상 영상을 수동으로 조절하는 것을 제외하고는 제1의 실시예와 동일하다. 작업 유도 시스템(2)은 작업 유도 제어 장치(15)에 접속된 수동 제어기로서의 손잡이식 마우스(20)를 새롭게 포함한다. AV 장치(10)는 CCD 카메라(100) 대신에 안경부(11) 내에 헤드 트랙킹 수단으로서의 헤드 트랙커(200)를 포함한다. 헤드 트랙커(200)는 작업자의 머리의 움직임을 트랙킹한다. 작업 유도 제어 장치(15)는 인터페이스부(16) 내에 수동 컨트롤러 인터페이스(165)와 헤드 트랙커 인터페이스(166)를 새로이 포함한다. 수동 컨트롤러 인터페이스(165)는 손잡이식 마우스(20)에 접속되고, 헤드 트랙커 인터페이스(166)는 헤드 트랙커(200)에 접속된다. 영상 입력 인터페이스(162)가 인터페이스부(16)로부터 제거되었고, 특징점 추출 기능부(192)가 제어부(19)로부터 제거되었다.

이제, 가상 영상 조절 기능부(193B)에 의해 가상 영상을 조절하는 방법을 아래에서 설명한다. 제어부(19)는 가상 영상 재생 모드와 가상 영상 조절 모드를 가지며, 그 모드들은 음성 인식 기능부(191) 또는 손잡이식 마우스(20)에 의해 서로 절환될 수 있다. 상기 가상 영상 조절 모드에 있어서, 액정 패널(111) 상에, 실제 작업 대상과 가상 영상에 더하여, 가상 영상의 가상 작업 대상에 대해 미리 결정된 특징점이 표시된다. 예를 들면, 도 9에서, 실제 엔진과 가상 엔진에 더하여, 가상 영상의 엔진의 특징점(A, B)이 표시된다. 도 9에서, 실제 엔진과 가상 엔진이 어긋나게 표시되어 있다. 이와 같은 상태에서, 작업자는 손잡이식 마우스(20)를 사용하여 특징점 A의 위치를 액정 패널(111)을 통해서 보이는 실제 엔진의 대응 특징점 P1의 위치로 드래깅한다. 이 때, 가상 영상 조절 기능부(193B)는 상기 드래깅 조작에 따라 가상 영상 전체를 이동시킨다. 작업자가 드래깅 조작을 멈추면, 특징점 A의 위치가 고정된다(도 10 참조). 다음에, 작업자가 특징점 B의 위치를 실제 엔진의 대응 특징점 P2의 위치로 드래깅한다. 이 때, 가상 영상 조절 기능부(193B)는 상기 특징점 A의 위치를 기준으로 하여 가상 영상 전체의 치수를 변경한다. 작업자가 이상의 조작을 완료하면, 도 11과 같이, 실제 엔진과 가상 영상의 가상 엔진이 중첩되어 표시된다.

가상 영상 조절 모드로 실행되는 조절은, 기억부(17)에 기억되어 있는 모든 가상 영상에 적용되어, 작업자가 일단 가상 영상 조절 모드로 가상 영상을 조절하면, 작업자는 후속 가상 영상 재생 모드에서 가상 영상이 바뀔 때마다 가상 영상을 조절할 필요가 없다.

또, 작업자가 가상 영상 재생 모드에서 머리를 움직여도, 헤드 트랙커(200)는 자동적으로 가상 영상의 위치를 교정하여, 상기 가상 영상은 실제 작업 대상과 중첩된 상태를 유지한다. 구체적으로는, 헤드 트랙커(200)가 작업자의 머리가 좌측으로 이동했다고 검지하면, 가상 영상 조절 기능부(193B)는 가상 영상을 머리가 이동한 이동량만큼 우측으로 이동시킨다. 헤드 트랙커(200)로서는, 헤드 마운트 디스플레이용으로 가속도계 또는 자이로(gyro)를 응용하는 관성 계측 장치가 사용될 수 있다.

가상 영상을 조절하기 위한 방법은 전술한 방법에 한정되지 않는다. 예를 들면, 제어부(19)는 작업자가 특징점 A의 위치를 결정한 후에 자동적으로 치수 변경 모드로 이행할 수 있다. 이 치수 변경 모드에서, 가상 영상 전체의 치수는 손잡이식 마우스(20)의 이동량 및 이동 방향에 따라 특징점 A의 위치를 기준으로 하여 변경된다. 가상 영상은, 재생되는 때를 제외하고는 어느 때에도, 작업자가 가상 영상 재생 모드로부터 가상 영상 조절 모드로 전환함이 없이도 조절될 수 있다.

손잡이식 마우스(20)대신에, 조이-스틱 타입 수동 컨트롤러 또는 각종 포인팅 디바이스가 사용될 수 있다.

본 발명의 작업 유도 시스템에 의하면, 지시자가 없어도 일련의 작업 단계로 구성되는 작업을 정확하게 수행할 수 있도록 작업자를 유도할 수 있다.

Claims

일련의 작업 단계로 구성되는 작업에 대해서, 상기 작업 단계 각각의 내용을 설명하기 위한 가상 영상을 기억하도록 구성된 가상 영상 기억 수단,

작업자의 눈 앞에 위치되어, 상기 작업자의 앞에 있는 실제 작업 대상과 대조하여 상기 가상 영상을 표시하도록 구성된 표시 장치,

상기 가상 영상을 상기 작업 단계의 순서에 따라 상기 표시 장치에 표시하도록 구성된 가상 영상 재생 수단, 및

상기 가상 영상에 그려지고 상기 실제 작업 대상에 대응하는 가상 작업 대상이 상기 표시 장치 상에서 상기 실제 작업 대상과 중첩되도록, 상기 가상 영상을 조절하도록 구성된 가상 영상 조절 수단

을 포함하는 것을 특징으로 하는 작업 유도 시스템.
제1항에 있어서,

상기 가상 영상 각각은 상기 실제 작업 대상의 윤곽을 그린 선도와, 상기 작업 단계 각각의 내용을 시각적으로 설명하는 시각 정보 마크를 포함하는 것을 특징으로 하는 작업 유도 시스템.
제2항에 있어서,

상기 가상 영상 기억 수단으로부터 상기 가상 영상을 호출하여, 상기 시각 정보 마크에 수정 및/ 또는 추가하는 시각 정보 마크 입력 수단을 더 포함하는 것을 특징으로 하는 작업 유도 시스템.
제3항에 있어서,

상기 가상 영상은 각각, 선도가 그려지는 층과, 상기 시각 정보 마크가 그려지는 층을 포함하는 것을 특징으로 하는 작업 유도 시스템.
제1항에 있어서,

상기 가상 영상 재생 수단은 상기 각각의 가상 영상과 상기 각각의 작업 단계를 대응시켜 기억하고, 상기 가상 영상 재생 수단은 상기 작업자에 의해 지정된 상기 작업 단계 중 하나에 대응하는 상기 가상 영상 중 하나를 호출하는 기능을 가진 것을 특징으로 하는 작업 유도 시스템.
제1항에 있어서,

상기 가상 영상 재생 수단은 상기 각각의 가상 영상과 상기 각각의 작업 단계를 대응시켜 기억하고, 상기 가상 재생 수단은 상기 작업자에 의해 지정된 범위 내의 상기 작업 단계에 대응하는 상기 가상 영상을 재생하고, 상기 가상 영상의 재생 후에 상기 범위 내의 제1 가상 영상으로 돌아오는 기능을 가진 것을 특징으로 하는 작업 유도 시스템.
제1항에 있어서,

상기 작업자의 음성을 입력하는 음성 입력 수단, 및

상기 음성 입력 수단을 사용하여 입력된 상기 음성을 인식하도록 구성된 음성 인식 수단

을 더 포함하고,

상기 가상 영상 재생 수단은 상기 작업자의 음성에 기초하여 상기 가상 영상의 재생을 제어하는 것을 특징으로 하는 작업 유도 시스템.
제1항에 있어서,

상기 작업 단계 각각의 내용을 설명하는 음성 데이터를 기억하도록 구성된 음성 기억 수단, 및

상기 음성 데이터를 출력하도록 구성된 음성 출력 수단

을 더 포함하고,

상기 가상 영상 재생 수단은, 상기 가상 영상의 재생과 동기하여 상기 음성 데이터를 상기 음성 출력 수단으로 출력하는 것을 특징으로 하는 작업 유도 시스템.
제1항에 있어서,

상기 실제 작업 대상의 영상을 픽업하는 영상 픽업 수단, 및

상기 영상 픽업 수단에 의해 촬상된 상기 영상으로부터, 상기 작업 대상에 대해 미리 결정된 특징점(feature point)을 추출하도록 구성된 특징점 추출 수단

을 더 포함하고,

상기 가상 영상 조절 수단은, 상기 특징점 추출 수단에 의해 추출된 특징점에 대응하는 상기 가상 작업 대상의 점(point)이 상기 특징점의 위치와 일치하도록, 상기 표시 장치에 표시된 상기 가상 영상 각각의 위치 및/ 또는 치수를 자동적으로 변화시키는 것을 특징으로 하는 작업 유도 시스템.
제1항에 있어서,

상기 가상 영상 조절 수단은 상기 표시 장치 상에 표시된 상기 가상 영상 각각의 위치 및/ 또는 치수를 작업자가 수동으로 변화시킬 수 있는 수동 컨트롤러를 포함하는 것을 특징으로 하는 작업 유도 시스템.
제10항에 있어서,

상기 작업자의 머리의 움직임을 트랙킹하는 헤드 트랙킹 수단을 더 포함하며,

상기 가상 영상 조절 수단은, 상기 헤드 트랙킹 수단의 출력에 기초하여, 상기 표시 장치에 표시된 상기 가상 영상 각각의 위치를 교정하는 것을 특징으로 하는 작업 유도 시스템.