KR20150139610A

KR20150139610A - 부품 조립 작업 지원 시스템 및 부품 조립 방법

Info

Publication number: KR20150139610A
Application number: KR1020157031987A
Authority: KR
Inventors: 시게카즈 시코다; 나오히로 나카무라; 신이치 나카노; 마사히코 아카마츠; 신고 요네모토; 다이스케 도카이; 다카시 고우모토
Original assignee: 가와사끼 쥬고교 가부시끼 가이샤
Priority date: 2013-05-22
Filing date: 2014-04-23
Publication date: 2015-12-11
Also published as: CN105229705A; CN105229705B; US20160125654A1; WO2014188836A1; JP2014229057A; JP6344890B2; US10229539B2

Abstract

본 시스템은, 작업자의 시점 위치에서 그 시선 방향에 있어서의 작업 공간을, 일방의 부품을 장착해야 할 타방의 부품과 함께 촬상하는 촬상 수단(3)과, 작업자의 시점과, 작업 공간 중의 타방의 부품의 상대적인 위치 자세 관계를 나타내는 위치 자세 정보를 취득하는 위치 자세 정보 취득 수단(14, 15)과, 위치 자세 정보에 의거하여, 작업자의 시점 위치 및 그 시선 방향에 있어서의 일방의 부품의 실물 형상의 가상 화상을 생성하는 가상 화상 생성 수단(16)과, 촬상 수단(5)에 의해 촬상된 작업 공간의 현실 화상에 가상 화상을 중첩시켜 합성 화상을 생성하는 화상 합성 수단(17)과, 합성 화상을 표시하는 표시 수단(6)을 구비한다. 본 시스템에 의하면, 복합 현실감 기술을 이용하여, 부품의 조립 작업의 효율을 큰 폭으로 향상시킬 수 있다.

Description

부품 조립 작업 지원 시스템 및 부품 조립 방법{COMPONENT ASSEMBLY OPERATION ASSIST SYSTEM, AND COMPONENT ASSEMBLY METHOD}

본 발명은, 복합 현실감 기술을 이용하여 부품의 조립 작업을 지원하기 위한 부품 조립 작업 지원 시스템 및 이 시스템을 이용한 부품 조립 방법에 관한 것이다.

종래부터, 구조물 등을 제조하기 위한 부품의 조립 작업에 있어서는, 조합하는 부품(워크)들을, 조립 작업에 앞서 사전에 맞대거나 하여, 조립에 지장이 없는지, 혹은 조립하기 쉬운지 등, 조립성을 확인하고 있다.

그러나, 부품이 너무 커서 용이하게는 움직일 수 없는 경우나, 혹은 조합하는 부품이 각각 다른 장소에서 제작·저장되어 있는 경우에는, 조립 작업에 앞서 조립성을 확인하는 것이 매우 곤란 혹은 불가능하다.

그 때문에, 실제의 조립 작업을 시작하고 나서 문제점이 발견되어, 조립 작업을 일단 중지하고 부품의 수정 작업을 행할 필요가 있었다. 이와 같이 조립 작업을 일단 중지하고 부품의 수정 작업을 행함으로써, 공정에 지연이 생겨 버린다.

이러한 사태를 회피하기 위해서는, 예를 들면, 다른 공장에서 제작된 부품을 받아 들일 때의 수입(受入) 검사의 조건(검사 항목의 수 등)을 지금보다 엄격하게 하여, 부품의 수입 시점에서 문제점을 발견하도록 하는 것도 생각할 수 있다. 혹은 또, 다른 공장에 있어서의 출하 시점의 검사 조건을 지금보다 엄격하게 하는 것도 생각할 수 있다.

그러나, 출하 시점이나 수입 시점에서의 검사 조건을 너무 엄격하게 하면, 검사를 위한 비용이 증가해 버린다는 문제가 있으며, 또, 상기 다른 공장에는 애초에 검사 설비(치수 계측 수단 등)가 설치되어 있지 않은 경우도 있다.

또, 일반적으로 조립 작업에는, 조립 요령서나 작업 지시서 등이 이용된다. 이것은 종이 베이스로 도면이나 문장으로 설명되어 있는 경우가 많다. 또 최근에는, PC나 타블렛 단말을 이용하여 입체도나 동영상 등을 사용한 인터랙티브한 이해하기 쉬운 컨텐츠를 사용하는 것도 도입되고 있다.

그러나, 작업자는 조립 요령서나 작업 지시서를 옆에 두고, 그 내용을 확인하면서 작업에 대응하고 있기 때문에, 작업자의 시선 이동 거리가 커져, 불필요한 동작을 행하게 된다.

또, 컨텐츠를 연구해도, 역시 지시 내용과 현물을 비교해 보면서 작업을 행하게 되어, 컨텐츠의 이해를 위해 도면이나 문장의 이해가 필요하게 된다.

그 결과, 작업자의 육체적, 혹은 정신적인 부담이 커져 버린다는 문제가 있다.

그런데 최근, 임의 시점에 있어서의 현실 공간의 화상에, 가상 공간의 화상을 중첩하여, 이것에 의해 얻어진 합성 화상을 관찰자에게 제시하는 복합 현실감(MR： Mixed Reality) 기술이, 현실 세계와 가상 세계를 끊어짐 없이, 실시간으로 융합시키는 화상 기술로서 주목되고 있다(특허 문헌 1-4).

일본국 특허공개 2005-107968호 공보 일본국 특허공개 2005-293141호 공보 일본국 특허공개 2003-303356호 공보 일본국 특허공개 2008-293209호 공보

그래서, 본 발명은, 복합 현실감 기술을 이용하여, 부품의 조립 작업에 있어서의 상술한 문제를 해결하고, 작업 효율의 대폭적인 향상을 도모할 수 있는 부품 조립 작업 지원 시스템 및 이 시스템을 이용한 부품 조립 방법을 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위해, 본 발명은, 부품의 조립 작업을 지원하기 위한 부품 조립 작업 지원 시스템으로서, 작업자의 시점 위치에서 그 시선 방향에 있어서의 작업 공간을, 일방의 부품을 장착해야 할 타방의 부품과 함께 촬상하기 위한 촬상 수단과, 상기 작업자의 시점과, 상기 작업 공간 중의 상기 타방의 부품의 상대적인 위치 자세 관계를 나타내는 위치 자세 정보를 취득하기 위한 위치 자세 정보 취득 수단과, 상기 위치 자세 정보에 의거하여, 상기 작업자의 상기 시점 위치 및 그 시선 방향에 있어서의 상기 일방의 부품의 실물 형상의 가상 화상을 생성하기 위한 가상 화상 생성 수단과, 상기 촬상 수단에 의해 촬상된 상기 작업 공간의 현실 화상에 상기 가상 화상을 중첩시켜 합성 화상을 생성하기 위한 화상 합성 수단과, 상기 합성 화상을 표시하기 위한 표시 수단을 구비한다.

또, 바람직하게는, 상기 가상 화상 생성 수단은, 3차원 스캐너에 의해 얻어진 상기 일방의 부품의 3차원 실물 형상 데이터에 의거하여 상기 가상 화상을 생성한다.

또, 바람직하게는, 상기 위치 자세 정보 취득 수단은, 상기 타방의 부품 상의 기준점에 대한 소정의 상대 위치에 잠정적으로 설치되는 복합 현실감용 마커를 가진다.

또, 바람직하게는, 상기 위치 자세 정보 취득 수단은, 상기 작업자의 시점 위치 및 그 시선 방향, 및 상기 워크의 위치를 계측하기 위한 위치 방향 계측 장치를 가진다.

또, 바람직하게는, 상기 부품의 조립 순서에 관한 조립 순서 정보를 생성하기 위한 조립 순서 정보 생성부를 더 구비하고, 상기 조립 순서 정보 생성부에 있어서 생성된 상기 조립 순서 정보가 상기 화상 합성 수단에 의해 생성되는 상기 합성 화상 중에 편입된다.

상기 과제를 해결하기 위해, 본 발명은, 부품의 조립 작업을 지원하기 위한 부품 조립 작업 지원 시스템을 이용한 부품 조립 방법으로서, 작업자의 시점 위치에서 그 시선 방향에 있어서의 작업 공간을, 일방의 부품을 장착해야 할 타방의 부품과 함께 촬상하는 촬상 공정과, 상기 작업자의 시점과, 상기 작업 공간 중의 상기 타방의 부품의 상대적인 위치 자세 관계를 나타내는 위치 자세 정보를 취득하는 위치 자세 정보 취득 공정과, 상기 위치 자세 정보에 의거하여, 상기 작업자의 상기 시점 위치 및 그 시선 방향에 있어서의 상기 일방의 부품의 실물 형상의 가상 화상을 생성하는 가상 화상 생성 공정과, 상기 촬상 공정에 있어서 촬상된 상기 작업 공간의 현실 화상에 상기 가상 화상을 중첩시켜 합성 화상을 생성하는 화상 합성 공정과, 상기 합성 화상을 표시하는 표시 공정을 구비한다.

또, 바람직하게는, 상기 위치 자세 정보 취득 공정은, 상기 타방의 부품 상의 기준점에 대한 소정의 상대 위치에 복합 현실감용 마커를 잠정적으로 설치하는 마커 설치 공정을 포함한다.

또, 바람직하게는, 상기 일방의 부품과 상기 타방의 부품의 조립성의 양부를 판단하기 위해, 상기 표시 공정에서 비추어진 상기 합성 화상에 있어서, 상기 일방의 부품의 실물 형상의 가상 화상을 상기 타방의 부품의 현실 화상에 맞댄다. 다.

또, 바람직하게는, 상기 부품의 조립 순서에 관한 조립 순서 정보를 생성하는 조립 순서 정보 생성 공정을 더 구비하고, 상기 조립 순서 정보 생성 공정에서 생성된 상기 조립 순서 정보를, 상기 화상 합성 공정에서 생성되는 상기 합성 화상 중에 편입시킨다.

본 발명에 의한 부품 조립 작업 지원 시스템 및 이 시스템을 이용한 부품 조립 방법에 의하면, 복합 현실감 기술을 이용함으로써, 실제의 부품들을 맞대지 않고 조립성을 확인할 수 있으므로, 부품 조립의 작업 효율을 큰 폭으로 향상시킬 수 있다.

도 1은 본 발명의 일실시 형태에 의한 부품 조립 작업 지원 시스템의 개략 구성을 나타낸 블럭도.
도 2는 도 1에 나타낸 부품 조립 작업 지원 시스템의 개략 구성을 나타낸 모식도.
도 3은 도 1에 나타낸 부품 조립 작업 지원 시스템의 마커 부재를 확대해서 나타낸 사시도.
도 4는 도 1에 나타낸 부품 조립 작업 지원 시스템을 이용하여, 부품을 검사하고, 필요에 따라 수정하여, 장착하는, 일련의 조립 공정을 나타낸 모식도.
도 5는 도 1에 나타낸 부품 조립 작업 지원 시스템의 일변형예의 개략 구성을 나타낸 모식도.
도 6은 도 1에 나타낸 부품 조립 작업 지원 시스템의 다른 변형예의 개략 구성을 나타낸 블럭도.
도 7은 도 7에 나타낸 부품 조립 작업 지원 시스템의 또 다른 변형예의 개략 구성을 나타낸 모식도.
도 8은 종래의 부품 조립 작업을 설명하기 위한 모식도.
도 9는 종래의 부품 조립 작업을 설명하기 위한 다른 모식도.

이하, 본 발명의 일실시 형태에 의한 부품 조립 작업 지원 시스템 및 이 시스템을 이용한 부품 조립 방법에 대해서 설명한다.

또한, 본 시스템에 의한 지원의 대상이 되는 부품 조립 작업은, 전형적으로는, 보일러 그 외의 대형 구조물을 제조할 때의 부품 조립 작업이지만, 그 이외에도, 복수의 부품을 조립하고 완성품을 제조하기 위한 각종의 부품 조립 작업을 지원할 수 있다.

본 실시 형태에 의한 부품 조립 작업 지원 시스템은, 복합 현실감 기술을 이용하는 것이므로, 우선 먼저 복합 현실감 기술에 대해서 개설한다.

이미 서술한 바와 같이 복합 현실감 기술이란, 임의 시점에 있어서의 현실 공간의 화상에, 가상 공간의 화상을 중첩하여, 이것에 의해 얻어진 합성 화상을 관찰자에게 제시하고, 현실 세계와 가상 세계를 끊어짐 없이, 실시간으로 융합시키는 영상 기술이다.

즉, 이 복합 현실감 기술은, 현실 공간 화상과, 관찰자의 시점 위치, 시선 방향에 따라 생성되는 가상 공간 화상을 합성함으로써 얻어지는 합성 화상을, 관찰자에게 제공하는 것이다. 그리고, 가상 물체의 스케일을 관찰자에게 실제 치수 감각으로 파악하게 하여, 가상 물체가 현실 세계에 정말로 존재하고 있도록 느끼게 할 수 있다.

이 복합 현실감 기술에 의하면, 컴퓨터·그래픽(CG)을 마우스나 키보드로 조작하는 것이 아니라, 관찰자가 실제로 이동하여 임의의 위치나 각도에서 볼 수 있다. 즉, 화상 위치 맞춤 기술에 의해 CG를 지정의 장소에 두고, 예를 들면 시스루형의 헤드·마운트·디스플레이(HMD： Head Mount Display)를 사용하여, 그 CG를 다양한 각도에서 보는 것이 가능하다.

복합 현실감 공간(MR공간)을 표현하기 위해서는, 현실 공간 중에 정의한 기준 좌표계, 즉, 현실 공간에 중첩하려고 하는 가상 물체의 위치 자세를 결정하는 기준이 되는 현실 공간 중의 좌표계와, 촬상부의 좌표계(카메라 좌표계) 사이의, 상대적인 위치 자세 관계를 취득하는 것이 필요하다.

그것을 위한 적절한 화상 위치 맞춤 기술로서는, 예를 들면, 자기 센서, 광학식 센서, 또는 초음파 센서를 이용하는 것이나, 마커, 자이로를 이용하는 것 등을 들 수 있다.

여기서, 마커(「랜드마크」라고도 불린다.) 란, 화상의 위치 맞춤을 위해 사용하는 지표이며, 현실 공간 내에 배치된 마커를, HMD에 장착된 카메라(촬상 장치)로 촬상함으로써, 카메라의 위치 자세를 화상 처리에 의해 추정할 수 있다는 것이다.

즉, 현실 공간 중의 이미 알려진 3차원 좌표에 소정의 시각적 특징을 가지는 마커를 배치하고, 현실 화상 중에 포함되는 마커를 검출하고, 검출한 마커의 구성 요소(마커의 중심이나 정점 등)의 2차원 화상 위치와, 이미 알려진 3차원 좌표로부터 카메라(촬상 장치)의 위치 자세가 산출된다.

본 실시 형태에 의한 부품 조립 작업 지원 시스템은, 상술한 복합 현실감 기술을 이용한 것이며, 이하에 그 구성에 대해서, 도 1 내지 도 4를 참조하여 설명한다.

도 1 및 도 2에 나타낸 바와 같이, 본 실시 형태에 의한 부품 조립 작업 지원 시스템(1)은, 시스템 본체(2)와, 이 시스템 본체(2)와의 사이에서 데이터 통신을 행하는 헤드·마운트·디스플레이(HMD)(3)와, 마커 부재(8)를 구비하고 있다.

부품 조립 작업 지원 시스템(1)의 시스템 본체(2)는, CPU, RAM, ROM, 외부 기억 장치, 기억 매체 드라이브 장치, 표시 장치, 입력 디바이스 등을 구비한 컴퓨터에 의해 구성되어 있다.

도 2에 나타낸 바와 같이 HMD(3)는, 작업자(4)의 머리부에 장착되어 있으며, 촬상부(5) 및 표시부(6)를 구비하고 있다. 촬상부(5) 및 표시부(6)는, 각각 2개씩 설치되어 있으며, 촬상부(5R) 및 표시부(6R)는 오른쪽 눈용, 촬상부(5L) 및 표시부(6L)는 왼쪽 눈용이다. 이 구성에 의해, HMD(3)를 머리부에 장착한 작업자(4)의 오른쪽 눈과 왼쪽 눈에 대해 시차 화상을 제시할 수 있어, MR화상(합성 화상)을 3차원 표시할 수 있다.

HMD(3)의 촬상부(5)는, 마커 설치 공정에 있어서, 제1 부품(워크)(7A) 상에 잠정적으로 설치된 MR용 마커 부재(8)와 함께, 상기 제1 부품(7A)를 촬상한다(촬상 공정). 마커 부재(8)는, 제1 부품(7A) 상의 기준점에 대한 소정의 상대 위치에 설치되는 것이다.

도 3에 나타낸 바와 같이, 본 실시 형태에 의한 마커 부재(8)는, 삼각형의 틀부(9)와, 삼각형의 틀부재(9)의 각 정점의 하면에 설치된 각 지지부(10)와, 삼각형의 틀부재(9)의 각 정점의 상면에 설치된 각 복합 현실감용 마커(11)를 구비하고 있다.

도 1에 나타낸 바와 같이, HMD(3)의 촬상부(5)에 의해 취득된 현실 공간의 현실 화상은, 시스템 본체(2)의 현실 화상 취득부(12)에 입력된다. 이 현실 화상 취득부(12)는, 입력된 현실 화상의 데이터를, 시스템 본체(2)의 기억부(13)에 출력한다.

기억부(13)는, MR화상(합성 화상)의 제시 처리를 위해 필요한 정보를 유지하고, 처리에 따라 정보의 읽어내기나 갱신을 행하는 것이다.

또, 시스템 본체(2)는, 기억부(13)가 유지하고 있는 현실 화상 중으로부터, 마커 부재(8)에 설치된 마커(11)를 검출하기 위한 마커 검출부(14)를 구비하고 있다.

그리고, 현실 물체인 제1 부품(7A) 상에 배치한 마커 부재(8)의 마커(11)의 검출 결과가, 마커 검출부(14)로부터 기억부(13)를 통하여 촬상부 위치 자세 추정부(15)에 보내진다. 이 촬상부 위치 자세 추정부(15)는, 마커(11)의 검출 결과에 의거하여, 제1 부품(7A) 자신의 물체 좌표계를 기준 좌표계로 한 HMD(3)의 촬상부(5)의 위치 자세를 추정한다(위치 자세 정보 취득 공정).

여기서, 마커 부재(8), 마커 검출부(14), 및 촬상부 위치 자세 추정부(15)가, 부품 조립 작업 지원 시스템(1)에 있어서의 위치 자세 정보 취득 수단을 구성하고 있다.

촬상부 위치 자세 추정부(15)에 의해 추정된 HMD(3)의 촬상부(5)의 위치 자세는, 가상 화상 생성부(16)에 보내진다. 가상 화상 생성부(16)는, 촬상부 위치 자세 추정부(15)로부터 보내진 촬상부(5)의 위치 자세, 즉, 작업자(4)의 시점 위치 및 그 시선 방향에 의거하여, 촬상부(5)의 위치 자세로부터 보이는 타방의 부품(워크)(7B)의 3차원의 가상 화상을 생성한다(가상 화상 생성 공정).

여기서, 본 실시 형태에 의한 부품 조립 작업 지원 시스템(1)에서는, 이 가상 화상 생성부(16)에 있어서, 3차원 스캐너(18)로부터의 데이터에 의거하여, 제1 부품(7A)에 장착되어야 할 제2 부품의 가상 화상(30V)이 생성된다.

보다 구체적으로는, 도 4에 나타낸 바와 같이, 3차원 스캐너(18)에 의해 제2 부품(7B)을 3차원 계측하여, 제2 부품(7B)의 3차원 실물 형상 데이터를 취득한다. 이 때, 제2 부품(7B)는, 그 장착 대상인 제1 부품(7A)를 제조하는 공장과는 다른 공장에 보관되어 있어도 된다.

다음에, 3차원 스캐너(18)에 의해 취득된 제2 부품(7B)의 3차원 실물 형상 데이터는, 시스템 본체(2)의 기억부(13)에 보내지고, 그곳에 저장된다. 그리고, 가상 화상 생성부(16)는, 기억부(13)에 저장된 제2 부품(7B)의 3차원 실물 형상 데이터에 의거하여, 제2 부품(7B)의 가상 화상(19)을 생성한다.

즉, 가상 화상 생성부(16)에 있어서 생성되는 제2 부품(7B)의 가상 화상(19)은, 제2 부품(7B)의 이상 형상에 관한 가상 화상이 아니라, 실제의 제2 부품(7B)의 실물 형상에 관한 가상 화상이다. 따라서, 이 제2 부품(7B)의 가상 화상은, 가공 오차, 부착 오차, 뒤틀림, 변형, 가공 처리의 영향 등을 받은 실제의 형상을 나타내는 것이다.

가상 화상 생성부(16)에 있어서 생성된 제2 부품(7B)의 가상 화상(19)은, 시스템 본체(2)의 화상 합성부(17)에 보내진다. 화상 합성부(17)는, 기억부(13)가 유지하고 있는 제1 부품(7A)의 현실 화상에, 가상 화상 생성부(16)로부터 보내지는 제2 부품(7B)의 가상 화상(19)을 중첩하여, MR화상(합성 화상)을 생성한다(화상 합성 공정).

화상 합성부(17)에서 생성된 MR화상(합성 화상)은, HMD(3)의 표시부(6)에 출력된다(표시 공정). 이것에 의해, HMD(3)의 표시부(6)에는, HMD(3)의 촬상부(5)의 위치 자세에 따른 현실 공간의 화상과, 가상 공간의 화상이 중첩된 MR화상이 표시되고, 이 HMD(3)를 머리부에 장착한 작업자(4)에게, 복합 현실 공간을 체험시킬 수 있다.

그리고, 작업자(4)는, 도 4에 나타낸 바와 같이, MR화상에 표시된 제2 부품(7B)의 실물 형상에 관한 가상 화상(19)을, 마찬가지로 MR화상에 표시된 제1 부품(7A)의 현실 화상(20)에 맞대고, 그러한 부품들의 조립성의 양부를 판단한다.

작업자(4)는, 제2 부품(7B)의 실물 형상에 관한 가상 화상(19)을, 제1 부품(7A)의 현실 화상(20)에 맞댄 결과, 양부품 간의 조립성에 문제가 있다고 판단한 경우에는, 제1 부품(7A) 및 제2 부품(7B) 중 어느 한쪽, 혹은 양쪽을 수정하여, 양부품 간의 조립성을 담보한다.

이 조립성을 담보하기 위한 작업은, 제1 부품(7A)과 제2 부품(7B)이 동일한 장소(공장)에 없어도, 각각이 다른 장소(공장)에 있는 경우에도 실시할 수 있다.

제1 부품(7A)과 제2 부품(7B)와의 조립성을 담보할 수 있으면, 제2 부품(7B)을, 제1 부품(7A)이 보관되어 있는 공장에 반입하고, 여기서 양부품을 조립한다. 이 때, 상술한 바와 같이 양부품의 조립성은 이미 담보되어 있다.

이에 반해, 도 9에 나타낸 종래의 조립 방법에 있어서는, 우선 먼저, 다른 공장에서 제작된 제2 부품(7B)을, 제1 부품(7A)이 보관되어 있는 공장에 반입하고, 그곳에서 양부품의 현물들을 맞댄다.

그리고, 양부품의 조립성에 문제가 있는 경우에는, 제1 부품(7A) 및 제2 부품(7B) 중 어느 한쪽, 혹은 양쪽을 수정하여, 조립성을 담보하고, 그렇게 한 후에 양부품을 조립한다.

이와 같이 종래의 조립 방법에서는, 실제의 조립 작업에 있어서 부품의 현물들을 맞댐으로써 조립성을 확인하고 있었으므로, 조립성에 문제가 있는 경우에는 조립 작업을 중단하지 않으면 안되어, 작업 효율이 저하되어 버린다.

한편, 본 실시 형태에 의한 부품 조립 작업 지원 시스템(1)에 의하면, 제2 부품(7B)의 실물 형상에 관한 가상 화상(19)을, 제1 부품(7A)의 현실 화상(20)에 맞댐으로써, 양부품의 조립성을 확인할 수 있다.

이 때문에, 제1 부품(7A)과 제2 부품(7B)이 서로 다른 장소에 있는 경우에도 양부품의 조립성을 확인하는 것이 가능하다. 혹은 또, 부품이 너무 커서 용이하게는 움직일 수 없는 경우에도, 부품을 움직이지 않고, 부품들의 조립성을 확인할 수 있다.

이에 반해, 본 실시 형태에 의한 부품 조립 작업 지원 시스템(1)에 의하면, 제2 부품(7B)의 실물 형상에 관한 가상 화상(19)을, 제1 부품(7A)의 현실 화상(20)에 맞대도록 했으므로, 양부품의 조립성을 그 전체에 걸쳐서 검증할 수 있다.

이상으로부터, 본 실시 형태에 의한 부품 조립 작업 지원 시스템(1)에 있어서는, 실제로 양부품을 조립하기 전에 조립성이 담보되고, 그 결과, 조립 작업을 도중에 중단하지 않고, 원활히 단시간에 완료하는 것이 가능하여, 부품 조립의 작업 효율을 큰 폭으로 향상시킬 수 있다.

또한, 상기 실시 형태에 있어서는, 제2 부품(7B)의 전체를 3차원 스캐너(18)로 계측하여, 제2 부품(7B)의 전체 형상에 관한 가상 화상(19)을 생성하도록 했지만, 예를 들면, 제2 부품(7B) 전체 중, 조립성의 검증에 필요한 부위 만을 3차원 스캐너(18)로 계측하고, 상기 부위에 대해서만 가상 화상을 생성해도 된다. 요컨데, 기준 위치만 맞추면, 가상 화상을 생성하는 부위의 범위를 적절히 선택할 수 있다.

도 5는, 상기 실시 형태의 일 변형예를 나타내고 있다. 상술한 실시 형태에 있어서는, 부품 조립 작업 지원 시스템(1)에 있어서의 위치 자세 정보 취득 수단을, 마커 부재(8), 마커 검출부(14), 및 촬상부 위치 자세 추정부(15)에 의해 구성하도록 했다.

본 변형예에서는, 이것 대신에, 혹은 이것과 아울러, 도 5에 나타낸 바와 같이, 작업자(4)의 시점 위치 및 그 시선 방향, 및 제1 부품(7A)의 위치를 계측하기 위한 위치 방향 계측 장치(21)를 설치했다. 이런 종류의 위치 방향 계측 장치(21)로서는, 예를 들면, 초음파 센서나 자기식·광학식 위치 계측 센서를 이용할 수 있다.

또, 상술한 바와 같은 별도 준비하는 복합 현실감용 마커(11) 대신에, 제1 부품(7A) 자신의 일부(예를 들면, 기하학적 특징점인 각부(角部))를 위치 맞춤용의 기준점(일종의 마커)으로서 이용할 수도 있다.

도 6은, 상기 실시 형태의 다른 변형예를 나타내고 있으며, 본 변형예에 의한 부품 조립 작업 지원 시스템(1)은, 도 1에 나타낸 상기 실시 형태의 구성에 대해, 부품의 조립 순서에 관한 조립 순서 정보를 생성하기 위한 조립 순서 정보 생성부(22)가 더 추가되어 있다.

이 조립 순서 정보 생성 공정에 있어서 생성된 조립 순서 정보가, 화상 합성 수단(17)에 의해 생성되는 합성 화상 중에 편입되어, HMD(3)의 표시부(6)에 표시된다.

조립 순서 정보의 타입으로서는, 작업 순서를 문장으로 나타내는 텍스트 정보, 조립 순서를 동영상으로 나타내는 애니메이션 정보, 혹은, 다음의 부품을 점등하여 지시하는 등의 네비게이션 정보를 이용할 수 있다.

예를 들면, 도 7에 나타낸 바와 같이, 본체 부품(23)에 통형상 부품(24)을 장착하는 작업을 행할 때에는, HMD(3)의 표시부(6)에, 텍스트 정보로서 「장착한다」의 문자가 표시됨과 함께, 통형상 부품(24)의 이동 궤적(화살표)이, 장착 후의 통형상 부품의 가상 화상(25)과 함께 네비게이션 또는 애니메이션 정보로서 표시된다.

여기서, HMD(3)의 표시부(6)에 표시되는 통형상 부품(24)의 가상 화상(25)는, 3차원 스캐너(18)로 미리 취득한 통형상 부품(24)의 3차원 실물 형상 데이터에 의거하여 가상 화상 생성부(16)에서 생성한 통형상 부품(24)의 실물 형상의 가상 화상을 이용할 수 있다.

작업자(4)는, 조립 순서 정보 생성부(22)에 있어서 생성되고, HMD(3)의 표시부(6)에 표시된 조립 순서 정보를 보면서, 통형상 부품(24)을 본체 부품(23)에 장착한다.

이에 반해 종래의 조립 방법에 있어서는, 작업자(4)는, 도 8에 나타낸 바와 같이, 타블렛 단말(26) 등에 표시된 작업 순서와, 본체 부품(23)·통형상 부품(24)을 교호로 비교해 보면서 조립 작업을 행한다. 이 때문에, 작업자(4)의 육체적, 혹은 정신적인 부담이 커져 버린다.

한편, 본 변형예에 의한 부품 조립 작업 지원 시스템(1)에 있어서는, 상술한 바와 같이, 작업자(4)는, HMD(3)의 표시부(6)에 표시된 조립 순서 정보를 보면서 조립 작업을 행하므로, 작업 지시와 조립 부품을 동일한 시선으로 확인하는 것이 가능하다. 이것에 의해, 작업 중의 시선 이동이 최소한으로 억제되어, 작업자(4)의 육체적·정신적 부담을 경감할 수 있다.

또, 작업자(4)에 있어서 직감적으로 이해하기 쉬운 각종의 조립 순서 정보를, HMD(3)의 표시부(6)에 표시시킬 수 있으므로, 작업자(4)의 부담 경감이 도모될 뿐만이 아니라, 조립 미스를 방지하여 작업의 확실성을 높일 수 있다. 이것에 의해, 재작업이 작업이 불필요해져, 조립 작업의 효율을 큰 폭으로 높일 수 있다.

1 부품 조립 작업 지원 시스템 2 시스템 본체
3 헤드·마운트·디스플레이(HMD) 4 작업자
5, 5R, 5L HMD의 촬상부 6, 6R, 6 LHMD의 표시부
7A 제1 부품(일방의 부품) 7B 제2 부품(타방의 부품)
8 마커 부재(위치 자세 정보 취득 수단) 9 마커 부재의 틀부재
10 마커 부재의 지지부 11 마커
12 현실 화상 취득부 13 기억부
14 마커 검출부(위치 자세 정보 취득 수단)
15 촬상부 위치 자세 추정부(위치 자세 정보 취득 수단)
16 가상 화상 생성부(가상 화상 생성 수단) 17 화상 합성부(화상 합성 수단)
18 3차원 스캐너 19 제2 부품의 가상 화상
20 제1 부품의 현실 화상 21 위치 방향 계측 장치
22 조립 순서 정보 생성부 23 본체 부품
24 통형상 부품 25 통형상 부품의 가상 화상
26 타블렛 단말

Claims

부품의 조립 작업을 지원하기 위한 부품 조립 작업 지원 시스템으로서,
작업자의 시점 위치에서 그 시선 방향에 있어서의 작업 공간을, 일방의 부품을 장착해야 할 타방의 부품과 함께 촬상하기 위한 촬상 수단과,
상기 작업자의 시점과, 상기 작업 공간 중의 상기 타방의 부품의 상대적인 위치 자세 관계를 나타내는 위치 자세 정보를 취득하기 위한 위치 자세 정보 취득 수단과,
상기 위치 자세 정보에 의거하여, 상기 작업자의 상기 시점 위치 및 그 시선 방향에 있어서의 상기 일방의 부품의 실물 형상의 가상 화상을 생성하기 위한 가상 화상 생성 수단과,
상기 촬상 수단에 의해 촬상된 상기 작업 공간의 현실 화상에 상기 가상 화상을 중첩시켜 합성 화상을 생성하기 위한 화상 합성 수단과,
상기 합성 화상을 표시하기 위한 표시 수단을 구비한, 부품 조립 작업 지원 시스템.
청구항 1에 있어서,
상기 가상 화상 생성 수단은, 3차원 스캐너에 의해 얻어진 상기 일방의 부품의 3차원 실물 형상 데이터에 의거하여 상기 가상 화상을 생성하는, 부품 조립 작업 지원 시스템.
청구항 1 또는 청구항 2에 있어서,
상기 위치 자세 정보 취득 수단은, 상기 타방의 부품 상의 기준점에 대한 소정의 상대 위치에 잠정적으로 설치되는 복합 현실감용 마커를 가지는, 부품 조립 작업 지원 시스템.
청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
상기 위치 자세 정보 취득 수단은, 상기 작업자의 시점 위치 및 그 시선 방향, 및 상기 워크의 위치를 계측하기 위한 위치 방향 계측 장치를 가지는, 부품 조립 작업 지원 시스템.
청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
상기 부품의 조립 순서에 관한 조립 순서 정보를 생성하기 위한 조립 순서 정보 생성부를 더 구비하고, 상기 조립 순서 정보 생성부에 있어서 생성된 상기 조립 순서 정보가 상기 화상 합성 수단에 의해 생성되는 상기 합성 화상 중에 편입되는, 부품 조립 작업 지원 시스템.
부품의 조립 작업을 지원하기 위한 부품 조립 작업 지원 시스템을 이용한 부품 조립 방법으로서,
작업자의 시점 위치에서 그 시선 방향에 있어서의 작업 공간을, 일방의 부품을 장착해야 할 타방의 부품과 함께 촬상하는 촬상 공정과,
상기 작업자의 시점과, 상기 작업 공간 중의 상기 타방의 부품의 상대적인 위치 자세 관계를 나타내는 위치 자세 정보를 취득하는 위치 자세 정보 취득 공정과,
상기 위치 자세 정보에 의거하여, 상기 작업자의 상기 시점 위치 및 그 시선 방향에 있어서의 상기 일방의 부품의 실물 형상의 가상 화상을 생성하는 가상 화상 생성 공정과,
상기 촬상 공정에 있어서 촬상된 상기 작업 공간의 현실 화상에 상기 가상 화상을 중첩시켜 합성 화상을 생성하는 화상 합성 공정과,
상기 합성 화상을 표시하는 표시 공정을 구비한, 부품 조립 방법.
청구항 6에 있어서,
상기 위치 자세 정보 취득 공정은, 상기 타방의 부품 상의 기준점에 대한 소정의 상대 위치에 복합 현실감용 마커를 잠정적으로 설치하는 마커 설치 공정을 포함하는, 부품 조립 방법.
청구항 6 또는 청구항 7에 있어서,
상기 일방의 부품과 상기 타방의 부품의 조립성의 양부를 판단하기 위해, 상기 표시 공정에서 비추어진 상기 합성 화상에 있어서, 상기 일방의 부품의 실물 형상의 가상 화상을 상기 타방의 부품의 현실 화상에 맞대는, 부품 조립 방법.
청구항 6 내지 청구항 8 중 어느 한 항에 있어서,
상기 부품의 조립 순서에 관한 조립 순서 정보를 생성하는 조립 순서 정보 생성 공정을 더 구비하고, 상기 조립 순서 정보 생성 공정에서 생성된 상기 조립 순서 정보를, 상기 화상 합성 공정에서 생성되는 상기 합성 화상 중에 편입시키는, 부품 조립 방법.