KR20050049933A - 하이브리드 타입 미세 조작 방법 및 그 시스템 - Google Patents

Abstract

본 발명은 미세 조작 방법 및 그 시스템에 관한 것으로, 특히 미세 부품 조작에 있어서 수동 조작, 자동 조작 및 원격 조종 조작을 선택적으로 실시할 수 있는 하이브리드 타입 미세 조작 방법 및 그 시스템에 관한 것이다.

본 발명에 의한 하이브리드 타입 미세 조작 방법 및 그 시스템은 미세 조작에 있어서 역각 정보를 제공할 뿐만 아니라 3차원의 가상 영상을 제공함으로써, 파손되기 쉬운 미세 조작 대상물의 파손을 방지할 수 있어서 미세 조작을 보다 정밀하고 효율적으로 할 수 있도록 한다.

또한, 미세 조작 대상물 정보에 따라 조작 방법을 적절히 선택할 수 있어서, 미세 조작을 신속하게 진행하면서도 미세 조작을 안정적으로 수행할 수 있기 때문에 미세 조작의 신뢰성 및 효율성을 높일 수 있다. 또한, 본 발명은 종래의 미세 조작이 수동으로 진행됨에 따른 미세 조작 기술 습득의 어려움을 해결하며, 미세 조작 과정에 있어서 조작 미숙 등으로 인한 손떨림 등의 노이즈가 발생하는 경우 동적으로 비례 계수를 변화시켜 상기 노이즈를 제거함으로써 조작자의 숙련도에 따른 미세 조작 결과의 편차로 인한 문제점을 해결하여 보다 안정적이고 효율적으로 미세 조작을 수행할 수 있도록 한다.

Description

하이브리드 타입 미세 조작 방법 및 그 시스템 {Hybrid type micro manipulation method and the system thereof}

본 발명은 미세 조작 방법 및 그 시스템에 관한 것으로, 특히 미세 부품 조작에 있어서 수동 조작, 자동 조작 및 원격 조작을 선택적으로 실시할 수 있는 하이브리드 타입 미세 조작 방법 및 그 시스템에 관한 것이다.

미세 부품, 특히 광 부품의 조작은 해당 부품의 크기가 워낙 작을 뿐만 아니라, 부품 자체의 강도가 떨어지는 특성상 조작시 상당히 높은 정밀도를 요구한다. 따라서, 미세 부품 조작시의 높은 정밀도를 충족시키기 위해서는 시각 정보, 역각 정보 및 청각 정보 등의 다양한 부가 정보를 필요로 하는데, 현재로서는 이와 같은 요구를 충족시킬 수 있는 미세 조작 시스템이 없는 실정이어서 미세 부품 조작은 거의 수동 조작에 의해 이루어지며, 이로 인하여 미세 조작의 효율성과 신뢰성이 떨어지고 있다.

상기한 바와 같이, 미세 부품 조작이 수동 조작에 의해 이루어짐으로써, 미세 부품의 조작에 상당한 시간이 걸리게 되어 미세 부품 조작의 생산성 및 효율성이 저하되며, 미세 부품을 조작하는 조작자의 숙련도 및 조작 환경에 따른 영향을 많이 받게 되어 불량률의 관리가 힘들게 되므로 미세 부품 조작의 신뢰도 또한 떨어진다.

상기의 문제를 해결하기 위해서는 미세 부품의 조작이 수동 조작에 의해서만 이루어지도록 할 것이 아니라 자동 조작이나 원격 조작이 이루어 질 수 있도록 하여야 한다. 또한, 보다 정밀한 미세 부품 조작을 위해 시각 정보, 역각 정보 및 청각 정보 등의 다양한 부가정보의 제공이 필요할 것이다.

본 발명에 따른 하이브리드 타입 미세 조작 방법 및 그 시스템은 상기와 같은 문제를 해결하고자 하는 것으로, 본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템은 마이크로 매니퓰레이터, 마이크로 스테이지, 복수의 광학 카메라 및 조명 장치를 포함하는 부(slave) 조작단; 햅틱 디바이스 및 그래픽 사용자 인터페이스를 포함하며, 상기 부 조작단과 일련의 신호관계로 연결된 주(master) 조작단; 및 상기 주 조작단과 상기 부 조작단 간에 제공되는 정보를 변환하거나 전달하는 엔진(engine)을 포함하며, 복수의 조작 모드 중 하나의 조작 모드를 선택하여 미세 조작을 수행하는 것을 특징으로 한다. 본 명세서에서는 다른 프로그램들을 위해 핵심적이고 본질적인 일련의 기능을 수행하는 소프트웨어를 엔진(Engine)이라고 정의한다.

바람직하게는, 상기 엔진은, 상기 부 조작단의 실제 영상 정보를 제공하는 비전 엔진; 상기 비전 엔진과 연계되어 비전 엔진으로부터 제공되는 실제 영상 정보를 바탕으로 가상 영상 정보를 제공하는 그래픽 엔진; 상기 그래픽 엔진으로부터 제공되는 가상 영상 정보로부터 얻어진 역각 정보를 상기 주 조작단으로 전달하고, 상기 주 조작단으로부터 입력되는 동작 정보를 상기 부 조작단으로 전달하는 햅틱 엔진; 및 상기 주 조작단으로부터 상기 부 조작단으로 전달되는 정보의 값을 조절하는 제어 엔진을 포함하도록 구성된다.

바람직하게는, 상기 조명 장치는 유연한 소재의 평면 조명 장치를 포함하도록 구성된다.

바람직하게는, 상기 유연한 소재의 평면 조명 장치는 EL(Electroluminiscence) 시트(sheet)이다.

바람직하게는, 상기 조작 모드는 수동 조작 모드, 자동 조작 모드 및 원격 조작 모드를 포함한다.

바람직하게는, 상기 엔진에 의해 전달되는 정보를 이용하여 미세 조작 대상물을 양방향 조작한다. 즉, 본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템에 의하면, 미세 조작 대상물을 조작하는 데에 있어서, 일방적으로 조작자측에 의해 미세 조작 대상물을 조작하는 것이 아니라, 미세 조작 대상물 정보를 엔진을 통해 제공받고, 이를 참조하여 미세 조작물을 조작함으로써 보다 정밀하고 신뢰성있는 미세 조작을 가능하게 한다. 예를 들어, 광 파이버를 펌프 모듈에 조립하는 작업을 진행하는 경우에 있어서, 상기 광 파이버가 상기 펌프 모듈의 구멍에 충돌하거나 충돌할 우려가 있는 경우에는 부 조작단이 주 조작단에 설치된 스피커 등의 음향 시설을 통해 경고음을 울리도록 정보를 제공하는 동시에 소정 크기의 역각 정보를 주 조작단의 햅틱 디바이스를 통해 조작자에게 전달한다.

바람직하게는, 상기 엔진에 의해 전달되는 정보는 상기 마이크로 매니퓰레이터에 장착된 힘 센서에 의해 감지되는 역각 정보를 포함한다. 더욱 자세하게는, 힘 센서를 장착한 마이크로 그리퍼를 이용하여 미세 조작 대상물을 고정시킨 채 이동시키는 경우, 상기 미세 조작 대상물에 가해지는 힘의 크기를 상기 마이크로 그리퍼에 장착된 힘 센서가 감지하여, 역각 정보의 형태로 주 조작단에 전달한다.

아로써, 미세 조작 대상물간의 충돌 위험이 커지거나 충돌이 발생한 경우, 가상 영상으로부터 얻은 역각 정보 이외에 상기 힘 센서를 통해 얻은 역각 정보가 주 조작단으로 전달되므로, 보다 안정적인 미세 조작이 가능하다.

바람직하게는, 상기 엔진에 의해 전달되는 정보는 시각 정보, 역각 정보 및 청각 정보를 포함한다.

바람직하게는, 상기 엔진에 의해 전달되는 정보는 미세 조작 대상물의 거리 정보를 포함하며, 상기 거리 정보는 실시간으로 상기 주 조작단에 전달된다.

바람직하게는, 상기 거리 정보는 제1 미세 조작 대상물과 제2 미세 조작 대상물간의 거리(예를 들어, 펌프 모듈에 광 파이버를 조립하기 위해 이동시키는 경우의 광 파이버 및 펌프 모듈간의 거리), 제1 미세 조작 대상물의 중심과 제2 미세 조작 대상물의 중심간의 거리(예를 들어, 펌프 모듈의 구멍을 통해 광 파이버를 삽입하는 경우의 광 파이버의 중심 및 펌프 모듈의 구멍의 중심간의 거리 등) 및 제1 미세 조작 대상물의 이동 거리(예를 들어, 펌프 모듈의 구멍을 통해 광 파이버를 삽입하는 경우에 있어서, 광 파이버의 진행 방향으로의 이동 거리 또는 광 파이버의 진행 방향에 수직인 방향으로의 이동거리)에 관한 정보를 포함한다.

바람직하게는, 상기 주 조작단과 상기 부 조작단은 인터넷 등의 접속 수단에 의해 연결된다.

바람직하게는, 상기 동작 정보는 상기 부 조작단의 동작에 대한 상기 주 조작단의 동작의 크기의 비를 나타내는 비례 계수 (scaling factor)를 포함하며, 상기 비례 계수는 고정되어 있지 않고 동적으로 변한다.

바람직하게는, 상기 거리 정보는 제1 거리 값과 실시간으로 비교되며, 상기 비교 결과에 따라서 복수의 조작 모드 중 하나의 조작 모드를 선택한다. 상기 거리 정보는 제1 미세 조작 대상물(예를 들어, 광 파이버)을 제2 미세 조작 대상물(예를 들어, 펌프 모듈)측으로 이동시키는 경우, 제1 미세 조작 대상물 및 제2 미세 조작 대상물 간의 거리에 대한 정보를 뜻하며, 상기 제1 거리 값은 미리 설정된 안전 거리를 의미한다. 상기 거리 정보와 상기 제1 거리 값은 실시간으로 비교되며, 상기 비교 결과 상기 거리 정보와 상기 제1 거리 값이 같아지는 시점(예를 들어, 광 파이버가 안전 거리에 도달한 시점)부터 자동 조작 모드에서 원격 조작 모드로 변경할 수 있다.

바람직하게는, 상기 마이크로 스테이지의 동작 속도가 상기 선택된 조작 모드에 따라 각기 다른 값을 갖는다.

바람직하게는, 상기 거리 정보는 제2 거리 값과 실시간으로 비교되며, 상기 비교 결과는 상기 주 조작단으로 피드백 된다.

바람직하게는, 상기 주 조작단으로 피드백 되는 상기 비교 결과는 역각 정보, 시각 정보 및 청각 정보 중 어느 하나 이상의 형태로 피드백 된다.

바람직하게는, 역각 정보의 형태로 상기 주 조작단으로 피드백되는 상기 비교 결과와 함께 상기 마이크로 매니퓰레이터에 장착된 힘 센서에 의해 감지되는 역각 정보를 주 조작단으로 전달한다.

바람직하게는, 상기 제2 거리 값은 제2 미세 조작 대상물의 반지름과 제1 미세 조작 대상물의 반지름의 차(difference)이며, 상기 거리 정보는 제1 미세 조작 대상물(예를 들어, 광 파이버)의 중심과 제2 미세 조작 대상물(예를 들어, 펌프 모듈)의 중심 간의 거리이다.

바람직하게는, 상기 비례 계수의 크기는, 제1 미세 조작 대상물이 특정 영역으로부터 벗어나는 경우에 자동으로 변하며, 상기 특정 영역은 제2 미세 조작 대상물의 중심으로부터 일정 거리 이내의 영역이다. 상기 특정 영역은 상기 그래픽 사용자 인터페이스에 표시된다.

예를 들어, 광 파이버를 펌프 모듈의 구멍을 통해 삽입하는 과정에 있어서, 펌프 모듈의 구멍의 중심으로부터 일정 거리 이내의 영역을 특정 영역으로 정하여 그래픽 사용자 인터페이스에 표시한 상태로 광 파이버를 펌프 모듈의 구멍을 통해 삽입하면서 상기 광 파이버가 상기 특정 영역을 벗어나는지를 관찰한다. 여기서, 광 파이버가 상기 특정 영역을 벗어난다면, 이는 미세 조작에 있어서 노이즈가 발생했거나 조작이 미숙한 조작자에 의한 조작이 진행되고 있음을 의미하므로, 상기 비례 계수를 자동으로 증가시켜 주 조작단측에서의 정밀하지 않은 조작에도 불구하고 안정적인 조작이 가능하도록 한다.

바람직하게는, 상기 거리 정보와 상기 제2 거리 값의 비교 결과에 따라서 미세 조작 작업의 속행여부가 결정될 수 있다. 제1 미세 조작 대상물을 제2 미세 조작 대상물로 삽입하는 조작을 하는 경우에 있어서, 상기 거리 정보(예를 들어, 제1 미세 조작 대상물의 중심과 제2 미세 조작 대상물의 중심 간의 거리)와 상기 제2 거리 값(예를 들어, 상기 제1 미세 조작 대상물의 반지름과 상기 제2 미세 조작 대상물의 반지름의 차)을 비교하여, 상기 거리 정보가 상기 제2 거리 값보다 커지는 경우는 상기 제1 미세 조작 대상물과 상기 제2 미세 조작 대상물이 충돌했거나 충돌할 위험이 있는 경우를 의미하므로, 시각 정보, 역각 정보 및 청각 정보등의 여러 형태의 정보를 이용하여 피드백 할 뿐만 아니라 상기 미세 조작 작업을 일시적으로 중단한다.

바람직하게는, 상기 미세 조작 작업이 중단된 경우, 상기 마이크로 매니퓰레이터에 의해 상기 미세 조작 대상물을 미세 조작 작업이 중단되기 이전의 위치로 이동시킨다.

바람직하게는, 상기 위치 이동은 사전에 설정된 횟수만큼의 상기 마이크로 매니퓰레이터의 동작의 역궤적을 따라 이동한다.

바람직하게는, 상기 미세 조작 작업이 중단된 경우, 일정 시간이 경과된 후에 다시 미세 조작 작업이 속행된다.

바람직하게는, 상기 미세 조작은 광 부품 조립에 이용될 수 있다.

본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 방법은 미세 조작 대상물의 복수의 실제 영상을 얻고, 상기 복수의 실제 영상으로부터 가상 영상을 얻는 단계(a); 및 상기 단계(a)에서 생성된 상기 가상 영상으로부터 미세 조작 대상물 정보를 얻는 단계(b)를 포함한다.

바람직하게는, 상기 하이브리드 타입 미세 조작 방법은 상기 미세 조작 대상물 정보를 이용하여 상기 미세 조작 대상물을 조작하는 단계(c)를 더 포함한다.

바람직하게는, 상기 단계(a)의 상기 실제 영상은 복수의 광학 카메라를 이용하여 얻은 상기 미세 조작 대상물의 평면도, 측면도 및 사시도를 포함하며, 상기 가상 영상은 상기 미세 조작 대상물의 평면도, 측면도 및 사시도를 이용하여 얻은 3차원의 입체 가상 영상이다.

바람직하게는, 상기 단계(b)의 상기 미세 조작 대상물 정보는 상기 미세 조작 대상물의 거리 정보 및 상기 미세 조작 대상물의 면적 정보 중 적어도 하나를 포함한다. 예를 들어, 광 파이버를 펌프 모듈에 삽입한 상태에서 최대 광전송 효율을 얻기 위하여 회전 스테이지를 이용하여 상기 광 파이버를 회전시키는 경우에 있어서, 버티컬 광학 카메라에 의해 얻는 상기 펌프 모듈 및 상기 광 파이버의 평면도상에서 상기 광 파이버의 렌즈 부분의 면적이 최대가 되도록 상기 광 파이버의 방향을 피드백 제어한다.

바람직하게는, 상기 단계(b)에서 얻은 상기 미세 조작 대상물 정보는, 상기 미세 조작 대상물을 조작하는 방법을 선택할 때 이용된다. 즉, 상기 미세 조작 대상물 정보에 따라 상기 미세 조작 대상물을 수동 조작, 자동 조작 및 원격 조작 방법 중의 한 방법을 택하여 조작한다.

바람직하게는, 상기 단계(c)에서의 상기 미세 조작 대상물의 조작은 상기 미세 조작 대상물 정보를 이용한 상기 미세 조작 대상물의 위치, 방향 및 힘의 피드백 제어를 포함한다.

바람직하게는, 상기 미세 조작 대상물 위치의 피드백 제어는, 상기 미세 조작 대상물의 실제 영상을 획득하는 광학 카메라의 배율을 변경하는 경우에 상기 미세 조작 대상물의 특정 부분을 화면의 중앙에 오도록 수행되는 피드백 제어를 포함한다.

바람직하게는, 상기 미세 조작 대상물의 방향의 피드백 제어는, 회전 스테이지를 이용하여 미세 조작 대상물의 방향을 변경하여, 상기 미세 조작 대상물이 회전함에 따른 상기 미세 조작 대상물의 실제 평면도 상의 면적의 변화를 이용하여 수행된다.

바람직하게는, 상기 미세 조작 대상물의 힘의 피드백 제어는, 상기 마이크로 매니퓰레이터에 장착된 힘 센서를 이용하여 상기 미세 조작 대상물에 가해지는 힘의 크기를 감지하며, 사전에 설정된 적정 힘의 크기와 비교함으로써 수행된다.

바람직하게는, 상기 단계(c)는 상기 미세 조작 대상물 정보에 따라 역각 정보 또는 청각 정보 등의 형태로 피드백한다. 즉, 상기 미세 조작 대상물 정보가 일정 범위를 벗어나는 경우에는 주 조작단의 일부 구성요소로 사전에 정의된 일정 크기의 힘을 전달하거나 주 조작단에 설치된 스피커 등의 음향시설을 통해 경고음 등을 발생시킨다.

도 1a는 본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템의 구성을 나타낸 것이다.

본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템은 주 조작단(2)과 부 조작단(1)으로 구성되며, 상기 주 조작단(2)과 상기 부 조작단(1)은 인터넷으로 연결되어 있다. 이로 인하여, 조작자는 작업 현장이 아닌 원격지에서도 인터넷을 사용할 수 있는 환경만 구축되어 있다면 조작을 할 수 있으며, 한 조작자가 한 번에 여러 개의 미세 조작을 수행할 수 있다.

부 조작단(1)은 미세 조작 대상물을 조작하는 부분으로, 마이크로 매니퓰레이터(4), 복수의 광학 카메라(6) 및 마이크로 스테이지(5)로 구성되어 있다. 마이크로 매니퓰레이터(4)는 고 정밀도의 움직임으로 미세 조작 대상물을 조작하며, 복수의 광학 카메라(6)는 다양한 각도의 미세 조작 대상물의 조작 영상을 주 조작단(2)의 그래픽 사용자 인터페이스(8)로 제공한다. 상기 실시예에서는 3대의 광학 카메라가 이용되는데, 미세 조작 대상물의 평면도를 제공하는 버티컬 광학 카메라, 미세 조작 대상물의 측면도를 제공하는 래터럴 광학 카메라 및 미세 조작 대상물의 사시도를 제공하는 글로벌 광학 카메라가 이용된다.

본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템은 상기 부 조작단에 조명 장치(7)로 EL(Electroluminiscence) 시트(sheet)와 할로겐 조명을 구비하여 복수의 광학 카메라(6)가 상기 부 조작단(1)의 영상을 효율적으로 얻도록 한다. 상기 EL 시트는 일반 A4 용지 두께의 2 내지 3배 정도로서 다른 일반 조명 장치에 비해 많은 공간을 필요하지 않아 미세 조작 시스템에 적합하게 된다. 또한, 상기 EL 시트는 유연한 구조를 가지며, 일반 종이와 같이 재단하여 사용이 가능하므로 다양한 미세 조작 대상물의 관찰을 위한 광학 카메라의 광원으로서 적당하게 된다.

한편, 상기 그래픽 사용자 인터페이스는 상기 복수의 광학 카메라에 의해 얻어진 상기 미세 조작 대상물의 실제 영상과 함께 상기 실제 영상으로부터 얻어진 3차원의 가상 영상 또한 포함한다. 따라서, 조작자는 상기 실제 영상과 함께 가상 영상을 참고로 하여 상기 미세 조작을 수행함으로써 보다 정밀하고 안정적인 미세 조작을 할 수 있다.

마이크로 스테이지(5)는 큰 작업 영역을 확보하기 위한 거친 동작에 적합한 코어스(coarse) 모션 스테이지 및 정밀한 동작을 위한 미세 모션 스테이지를 포함한다. 상기 코어스 모션 스테이지는 움직임의 폭이 크며, 빠른 속도로 움직이고자 할 때 사용될 수 있어서, 움직임의 폭이 작은 미세 모션 스테이지보다 거친 동작에 적합하다. 이에 반해, 미세 모션 스테이지는 움직임의 폭이 작은 대신 정밀한 동작에 적합하게 된다. 본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템에서는 상기와 같은 마이크로 스테이지의 장점들을 살려서, 선택적으로 코어스 모션 스테이지와 미세 모션 스테이지를 사용함으로써 미세 조작의 효율성 및 신뢰성을 확보할 수 있다.

예를 들어, 광 파이버(fiber)를 펌프 모듈에 조립하는 미세 조작에 있어서 상기 광 파이버를 상기 펌프 모듈의 구멍으로 통과시키게 되는데, 상기 광 파이버 및 펌프 모듈을 배치한 후 광 파이버를 이동시킬 때, 광 파이버를 펌프 모듈의 근처 특정 거리까지 이동시키는 작업과 상기 특정 거리이후 광 파이버를 펌프 모듈에 삽입하는 작업의 속도를 달리한다. 이는 광 파이버와 펌프 모듈이 충돌하지 않을 정도의 일정 거리를 안전 거리로 정해놓고 작업을 수행함으로써 가능하며, 상기 광 파이버와 상기 펌프 모듈간의 거리를 실시간으로 측정하며, 측정된 거리를 상기 안전 거리와 비교하게 된다. 여기서, 상기 광 파이버와 상기 펌프 모듈 간의 거리가 상기 안전 거리보다 멀 때에는 다소 빠른 속도로 상기 광 파이버를 이동시키고, 상기 광 파이버를 이동시킴과 동시에 실시간으로 상기 거리와 상기 안전 거리를 비교하여, 상기 안전 거리와 상기 광 파이버 및 상기 펌프 모듈 간의 실제 거리가 같아지는 경우, 다소 느린 속도로 상기 광 파이버를 이동시킬 필요가 있다. 이와 같은 필요성에 따라, 상기 광 파이버가 안전 거리 내에 진입하기 전까지는 코어스 모션 스테이지를 사용함으로써, 빠른 속도로 작업을 진행할 수 있어서 전체 시스템의 효율성을 높이게 된다. 반대로, 상기 광 파이버가 안전 거리 내에 진입한 후에는 미세 모션 스테이지를 사용하여, 다소 속도는 느리나 정밀한 이동이 가능하도록 하여 상기 광 파이버 및 상기 펌프 모듈의 충돌로 인한 물리적 파손을 방지하면서 작업을 진행하여 전체 시스템의 효율성을 높이게 된다. 상기 안전 거리와 상기 광 파이버 및 상기 펌프 모듈간의 실제 거리의 비교에 따라, 마이크로 스테이지의 선택적 사용 이외에 조작 모드 역시 변경시키게 되는데, 이는 이하에서 별도로 설명하기로 한다.

상기 마이크로 매니퓰레이터(4)는 힘 센서를 장착한 마이크로 그리퍼(Gripper)를 포함하여, 상기 마이크로 그리퍼로 미세 조작 대상물을 고정한 채로 이동시키는 경우에 있어서 상기 미세 조작 대상물에 가해지는 힘의 크기를 감지하여 주 조작단으로 전달한다.

한편, 주 조작단(2)은 조작자가 미세 조작 대상물의 조작을 수행하는 부분으로, 주 조작단(2)은 그래픽 사용자 인터페이스(8) 및 햅틱 디바이스(9)로 구성되어 있다. 상기 햅틱 디바이스(9)와 상기 그래픽 사용자 인터페이스(8)는 조작자로부터 조작 명령을 입력받아서 부 조작단(1)으로 전달한다. 보다 구체적으로는, 상기 햅틱 디바이스(9)는 조작자가 전달하는 동작에 대한 정보를 상기 부 조작단(1)으로 전달하며, 부 조작단(1)에서 발생하는 역각 정보를 상기 조작자에게 실시간으로 전달하는 역할을 수행한다. 이 때, 부 조작단(1)의 동작의 크기에 대한 주 조작단(2)의 동작의 크기의 비를 나타내는 비례 계수(scaling factor)를 조절함으로써 상기 조작자의 숙련도에 따른 편차를 줄여 미세 조작의 신뢰성을 유지할 수 있다. 원격 조작을 수행하고자 하는 경우, 조작에 익숙하지 않은 조작자이거나 손 떨림 등의 노이즈의 영향을 배제하고자 하는 경우에 있어서 상기 비례 계수를 동적으로 조정함으로써 시스템의 신뢰성을 확보하면서 미세 조작을 수행할 수 있게 된다.

그래픽 사용자 인터페이스에는 상기 부 조작단의 복수의 광학 카메라를 통해 실시간으로 얻는 부 조작단(1)의 평면도, 측면도 및 사시도와 함께, 상기 실제 영상을 바탕으로 3차원 구현된 가상 영상을 제공함으로써 원격지에 있는 조작자가 입체적인 시각 정보를 실시간으로 확보할 수 있어 상기 미세 조작 시스템의 조작의 안정성이 한층 더해진다. 또한, 상기 3차원 가상영상으로부터 각 미세 조작 대상물간의 거리를 측정하여 실시간으로 그래픽 사용자 인터페이스(8)를 통해 조작자에게 전달한다.

본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템은 엔진(3)을 구비하여, 상기 부 조작단(1)과 상기 주 조작단(2)간에 정보를 제공하는 역할 및 상기 정보를 변환하여 전달하는 역할을 한다.

상기 엔진(3)은 비전 엔진, 그래픽 엔진, 햅틱 엔진 및 제어 엔진으로 구성되는데, 상기 비전 엔진은 상기 복수의 광학 카메라(6)로부터 부 조작단(1)의 실제 영상을 받아들여 상기 주 조작단(2)의 그래픽 사용자 인터페이스(8)로 전달하는 역할을 한다. 상기 그래픽 엔진은 상기 그래픽 사용자 인터페이스(8)가 상기 부 조작단(1)으로부터 상기 비전 엔진을 통해 전달받은 실제 영상을 이용하여 3차원의 가상 영상을 구현하는 역할을 한다. 상기 햅틱 엔진은 상기 주 조작단(2)으로부터 햅틱 디바이스(9)에 입력되는 동작 정보를 상기 부 조작단(1)으로 전달하는 역할을 하며, 상기 그래픽 엔진으로부터 제공되는 가상 영상 정보로부터 얻어진 역각 정보를 상기 주 조작단(2)으로 전달하는 역할을 한다. 또한, 상기 제어 엔진은 상기 주 조작단(2)으로부터 상기 부 조작단(1)으로 전달되는 정보의 값을 조절하는 역할을 하는데, 부 조작단(1)의 동작의 크기가 일정 범위를 벗어나는 지 여부를 실시간으로 비교하고 있다가 상기 일정 범위를 벗어났다고 판단된 순간에 비례 계수를 동적으로 변경시킴으로써, 상기 주 조작단(2)의 햅틱 디바이스(9)를 통한 동작 정보를 적절히 변화시켜 상기 부 조작단(1)으로 전달하게 된다.

도 1b는 본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템의 사용자 인터페이스와 각 엔진의 구성을 나타낸 것이다.

본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템은 도 1a에서 도시하고 있는 바와 같이 부 조작단과 주 조작단 간에 제공되는 정보를 변환하거나 전달하는 엔진을 포함하는데, 상기 엔진은 실제 영상 정보를 제공하는 비전 엔진, 상기 비전 엔진으로부터 제공되는 실제 영상 정보를 바탕으로 가상 영상 정보를 제공하는 그래픽 엔진, 상기 그래픽 엔진으로부터 제공되는 가상 영상 정보로부터 얻어진 역각 정보를 전달하는 햅틱 엔진 및 상기 엔진들에 의해 전달되는 정보의 값을 조절하는 제어 엔진으로 구성되어 있다. 본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템은 수치 기반의 원격 조작 및 시각 정보 기반의 자동 조작이 더해진 복합적 형태의 미세 조작이 수행되는데, 이는 상기 비전 엔진, 그래픽 엔진, 햅틱 엔진 및 제어 엔진으로부터 원격 조작에 필요한 수치를 제공받고, 자동 조작에 있어서는 시각 정보를 제공받음으로써 가능하게 된다. 이와 같이, 엔진으로부터 전달받는 정보를 이용하여 수치 기반의 원격 조작 및 시각 정보 기반의 자동 조작이 행해짐으로써, 하이브리드 타입 미세 조작이 수행된다.

도 2는 본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 방법을 이용하여 렌즈가 장착된 광 파이버를 펌프 모듈에 조립하는 과정을 나타낸 것이다.

광 파이버 및 광 파이버가 조립될 펌프 모듈을 배치한 상태에서(S21), 상기 렌즈가 장착된 광 파이버를 상기 펌프 모듈로 접근하도록 이동시킨다(S22). 이 경우, 상기 펌프 모듈로부터 일정 거리를 안전 거리로 정해놓고, 상기 광 파이버와 상기 펌프 모듈간의 거리를 측정하여 상기 안전 거리와 실시간으로 비교하게 된다(S23). 상기 비교 결과에 따라, 상기 광 파이버를 상기 펌프 모듈에 삽입하는 작업의 조작 모드를 변경하게 되는데(S26), 상기 조작 모드로는 자동 조작 모드, 수동 조작 모드 및 원격 조작 모드가 있다. 상기 안전 거리까지는 자동으로 상기 광 파이버를 이동시키도록 설정함으로써 수동으로 상기 광 파이버를 이동시키는데 소요되는 시간을 단축시킬 수 있는데, 상기 자동 조작은 상기 광 파이버의 영상, 즉 시각 정보를 이용하여 이루어진다. 상세하게는, 광학 카메라를 통하여 얻은 광 파이버의 실제 영상으로부터 이미지를 획득하고, 상기 획득된 이미지를 이진화시켜 상기 광 파이버와 배경을 분리한다. 상기 이진화된 이미지를 기반으로 상기 광 파이버의 윤곽선을 검출하며, 획득한 윤곽선 정보를 기반으로 상기 광 파이버의 특이점들을 구하고, 상기 특이점들을 이용하여 상기 광 파이버를 상기 펌프 모듈에 접근하도록 이동시킨다.

한편, 상기 안전 거리는 광 파이버를 상기 펌프 모듈로 이송시키는데 있어서 충돌로 인한 파손의 위험이 없다고 판단되는 정도의 거리이기 때문에 정밀한 움직임을 요하기보다는 신속한 움직임을 요구한다. 또한, 상기 안전 거리는 사전 설정에 의해 정해질 수 있다.

상기 광 파이버가 상기 안전 거리 내에 진입하는 경우에는 상기 광 파이버를 조작하는데 있어서, 충돌로 인한 파손의 위험 등을 충분히 고려하여야 하므로 자동 조작보다는 원격 조작을 택하게 된다.

이 경우, 원격 조작에 있어서 비례 계수(scaling factor)를 설정해두고 일정한 경우에 상기 비례 계수를 동적으로 변경시킬 수 있도록 함으로써 상기 광 파이버를 상기 펌프 모듈로 조립하는 작업을 보다 안정적으로 수행할 수 있도록 한다.

상기 비례 계수라 함은 부(slave) 조작단의 움직임의 크기에 대한 주(master) 조작단의 움직임의 크기의 비를 말하는 것으로서, 상기 비례 계수가 큰 값을 가질수록 정밀한 움직임에 적합하게 된다. 즉, 상기 비례 계수가 10이라면, 주 조작단에서의 움직임의 크기가 10일 때, 부 조작단의 움직임의 크기가 1인 것을 의미한다. 여기서, 상기 비례 계수를 2배인 20으로 만든다면, 주 조작단의 움직임의 크기가 20일 때, 부 조작단에서의 움직임의 크기가 1이라는 것을 의미하며, 이는 상기 비례 계수가 10인 경우와 비교할 때 주 조작단에서의 동일한 움직임에 대해 부 조작단에서의 움직임의 크기가 반으로 줄어드는 셈이므로 보다 정밀하게 조작하고자 하는 경우에 적합하다. 또한, 미세 조작에 능숙하지 않은 조작자인 경우에 상기 비례 계수를 증가시킴으로써 조작 미숙으로 인한 영향을 최소화시킬 수 있어서 미세 조작에 있어서 안정성을 높일 수 있다.

따라서, 변경된 조작 모드에 따라 상기 광 파이버를 상기 펌프 모듈에 조립하는 과정을 진행하며, 비례 계수를 변경시킬 필요가 있는 지를 판단하고(S24), 상기 판단 결과 비례 계수를 변경시킬 필요가 있을 경우에는 자동으로 비례 계수가 변경된다(S27).

상기의 과정을 거쳐 상기 광 파이버를 원격 조작을 통해 상기 펌프 모듈에 결합시킨 후, 상기 광 파이버의 방향 및 위치를 적절하게 변경시키게 되는데(S25), 상기 광 파이버가 결합된 상기 펌프 모듈을 센터링시키는 경우, 수동 조작에 의하지 않고 자동 조작에 의해 상기 광 파이버를 센터링시킨다. 자동 조작에 의한 상기 센터링은 상기 광 파이버가 결합된 상기 펌프 모듈을 올려놓은 마이크로 스테이지를 자동으로 원하는 위치에 위치할 수 있도록 제어함으로써 수행될 수 있는데, 부 조작단에 구비된 복수의 광학 카메라에 의해 제공되는 비전 정보와 패턴 매칭을 통해 상기 광 파이버가 결합된 상기 펌프 모듈을 올려놓은 마이크로 스테이지를 인식하고, 상기 마이크로 스테이지가 원하는 위치에 배치되도록 피드백 제어한다.

또한, 상기 펌프 모듈로는 980nm 레이저 펌프 모듈이 이용될 수 있는데, 상기 렌즈가 장착된 광 파이버의 방향에 따라 상기 펌프 모듈의 광전송 효율이 달라지기 때문에, 상기 광 파이버의 방향을 변경시키는 작업이 필요하다. 본 발명에 의한 하이브리드 타입 미세 조작 방법을 이용하여 렌즈가 장착된 광 파이버를 펌프 모듈에 조립하는 과정에 의하면 상기 광 파이버의 방향을 변경시키는 작업을 수동이 아닌 자동으로 수행한다.

도 3a 내지 3d는 도 2의 펌프 모듈의 구멍을 통해 광 파이버를 삽입하는 과정에 있어서, 복수의 광학 카메라를 통해 얻은 실제 영상을 바탕으로 생성된 3차원 가상 영상을 나타낸다. 도 3a는 그래픽 사용자 인터페이스를 통해 나타나는 미세 조작 대상물의 3차원 가상 영상으로서, 상기 그래픽 사용자 인터페이스는 관점(view point)을 자유롭게 변화시킬 수 있어서 상기 관점의 변화에 따른 다양한 3차원 가상 영상을 나타낼 수 있다. 도 3a의 좌측은 상기 광 파이버가 펌프 모듈의 구멍에 삽입되기 위해 진행하는 방향으로 바라본 광 파이버 및 펌프 모듈을 나타내며, 도 3a의 우측은 상기 광 파이버가 상기 펌프 모듈의 구멍에 삽입되는 모습을 다른 관점에서 바라본 것이다. 도 3a에서 도시하고 있는 바와 같이, 상기 가상 영상은 미세 조작 대상물간의 거리를 알 수 있도록 눈금이 표시되어 있으며, 특정 영역 또한 표시되어 있다. 상기 특정 영역은 조작자에 의해 사전에 설정될 수 있는데, 예를 들어 펌프 모듈의 구멍의 중심으로부터 소정의 거리 이내의 영역을 특정 영역으로 정할 수 있다.

조작자는 상기 펌프 모듈(31)의 구멍의 중심에 특정 영역(33)을 선정해 두고, 상기 광 파이버(32)가 상기 특정 영역(33)을 벗어나는 지 여부를 모니터링 한다. 상기 광 파이버(32)를 삽입하는 공정을 진행함에 있어서, 상기 광 파이버(32)가 상기 특정 영역(33) 내에서만 움직이거나 상기 특정 영역(33) 외에서 상기 특정 영역(33)내로 움직이는 경우에는 공정이 안정적으로 진행되고 있다고 판단할 수 있다.

이와는 달리, 상기 광 파이버(32)가 상기 특정 영역(33) 내에서 움직이다가 상기 특정 영역(33)을 벗어나는 경우는 노이즈가 발생했거나 미숙한 조작자에 의해 조작되고 있음을 의미하는 것이므로 상기 비례 계수를 변경시켜 손 떨림 등의 노이즈나 부주의한 조작에 의한 상기 광 파이버(32) 및 상기 펌프 모듈(31)의 파손을 막는다.

상기 비례 계수의 변경은 조작자의 선택에 의하기보다는 자동으로 변경할 수 있도록 하는데, 상기와 같이 특정 영역 내에서 움직이다가 상기 특정 영역을 벗어나는 경우에 상기 비례 계수는 더 큰 값으로 변경된다.

본 발명에 의한 하이브리드 타입 미세 조작 시스템에서는 미세 조작을 수행함에 있어서, 엔진에 의해 제공되는 정보를 이용하여 미세 조작 대상물을 양방향 조작할 수 있도록 하는데, 이하 도 3b 내지 도 3d를 참고로 하여 설명하기로 한다.

도 3b 내지 도 3d는 펌프 모듈의 구멍을 통해 광 파이버를 삽입하는 과정에 대한 가상 영상으로, 광 파이버가 삽입되는 방향에서 펌프 모듈의 구멍 및 광 파이버를 바라본 것이다. 즉, 두 개의 원 중, 큰 원은 상기 펌프 모듈(34)의 구멍을 나타낸 것이며, 작은 원은 광 파이버(35)의 단면을 나타낸 것이다. R은 상기 펌프 모듈(34)의 구멍의 반지름을, r은 상기 광 파이버(35)의 반지름을, D는 상기 펌프 모듈(34)의 구멍의 중심으로부터 상기 광 파이버(35)의 중심까지의 거리를 나타낸 것이다.

상기 R, r 및 D를 비교함으로써, 상기 광 파이버(35)가 상기 펌프 모듈(34)의 구멍에 삽입되면서 충돌없이 제대로 삽입과정이 진행되는 지를 알 수 있는데, 도 3b는 R로부터 r을 뺀 값이 D보다 큰 경우, 즉 상기 광 파이버(35)의 중심 및 상기 펌프 모듈(34)의 구멍의 중심간의 거리가 각 반지름의 차보다 작은 경우로서, 상기 광 파이버(35)가 상기 펌프 모듈(34)의 구멍에 충돌없이 삽입되고 있음을 나타내는 것이다.

도 3c는, 상기 펌프 모듈(34)의 구멍의 반지름 R로부터 상기 광 파이버(35)의 반지름 r을 뺀 값이, 상기 펌프 모듈(34)의 구멍의 중심으로부터 상기 광 파이버(35)의 중심까지의 거리인 D와 같은 경우, 즉 상기 광 파이버(35)가 상기 펌프 모듈(34)의 내면에 접해있는 경우를 나타낸 것이다. 이 경우, 상기 광 파이버(35) 및 상기 펌프 모듈(34)의 물리적 파손은 아직 일어나지 않은 상태이나, 상기 광 파이버(35)가 상기 펌프 모듈(34)과의 접점 쪽으로 계속해서 움직이는 경우는 물리적 파손이 일어날 수 있다. 이와 같은 경우에는, 주 조작단에 설치된 스피커를 통해 경고음을 울리거나, 주 조작단 측의 햅틱 디바이스로 힘 정보를 전달하는 등의 방법을 통해 주 조작단 측의 조작자에게 알림으로써 상기 조립 작업이 안정적으로 수행될 수 있도록 한다.

한편, 도 3d는 상기 펌프 모듈(34)의 구멍의 반지름 R로부터 상기 광 파이버(35)의 반지름 r을 뺀 값이 상기 펌프 모듈(34)의 중심 및 상기 광 파이버(35)의 중심간의 거리 D보다 작은 경우, 즉 상기 광 파이버(35) 및 상기 펌프 모듈(34)이 충돌한 상태이거나 곧 충돌할 상태임을 나타낸 것이다.

이 경우에는, 주 조작단에 설치된 스피커를 통해 경고음을 울리고, 주 조작단 측의 햅틱 디바이스로 힘 정보를 전달함과 동시에 상기 부 조작단 측의 조립 작업의 수행을 일시 중단시키는 등의 조치를 통해 상기 광 파이버(35) 및 상기 펌프 모듈(34)의 물리적 파손을 막는다. 이 때, 부 조작단 측의 작업이 중단되는데 그치지 않고, 상기 광 파이버(35)의 위치를 충돌 이전의 위치로 돌아가도록 하는데, 이는 상기 광 파이버(35)가 동작한 궤적을 따라 역으로 이동시키는 것으로, 역으로 이동하는 횟수, 즉 얼마만큼 역이동할 것이냐는 사전에 설정되어 프로그래밍될 수 있다. 예를 들어, 3회 만큼 역이동하도록 설정되었다면, 충돌이 발생하기 직전 3회의 이동량 만큼 역으로 이동하는 것이다. 충돌 이전의 위치로 상기 광 파이버(35)를 이동시킨 이후에는 사전에 설정된 일정 시간(예를 들어, 20초)이 경과한 후, 다시 상기 광 파이버(35)를 상기 펌프 모듈(34)에 조립하는 작업을 재개할 수 있다. 다르게는, 상기 일정 시간의 경과없이 바로 조립 작업을 재개할 수도 있다.

이상과 같이, 부 조작단에 대한 가상 영상이 제공하는 각 미세 조작 대상물간의 거리에 관한 정보로부터 충돌이 일어날 것으로 판단되는 경우에는 소리나 힘 등의 정보를 주 조작단으로 제공함으로써 미세 조작 대상물에 대한 조작이 일방적인 조작에 의하지 않고 양방향 조작에 의해 이루어질 수 있도록 한다.

안전 거리 이내에 진입하기 전에는 상기 가상 영상으로부터 얻어지는 거리 정보만을 이용하여 양방향 조작하는데 무리가 없으나, 안전 거리 이내에 진입한 이후에는 미세 조작 대상물들이 근접한 상태이어서 미세 조작 대상물간에 충돌이 발생하였는지에 대하여 시각적 관찰만으로 판단이 곤란하므로, 마이크로 매니퓰레이터, 더욱 구체적으로는 마이크로 그리퍼(Gripper)에 힘 센서를 장착하고, 상기 마이크로 그리퍼로 미세 조작 대상물을 고정한 채 이동시키는 과정에서 상기 미세 조작 대상물에 힘이 가해질 때, 상기 가해지는 힘의 크기를 감지하여 주 조작단으로역각 정보의 형태로 피드백함으로써, 상기 가상 영상이 제공하는 거리 정보로부터 발생하여 상기 주 조작단으로 전달되는 역각 정보와 더불어 미세 조작의 양방향 조작이 가능하도록 한다. 다만, 상기 마이크로 그리퍼에 장착된 힘 센서가 매우 민감한 관계로, 상기 미세 조작 대상물이 안전 거리 이내에 진입하기 전, 즉 코어스 마이크로 스테이지를 이용한 빠른 속도의 이동이 자동 조작에 의해 이루어지는 경우에는 상기 마이크로 그리퍼에 장착된 힘 센서에 의해 감지되는 정보는 무시하고, 상기 안전 거리 이내에 진입한 이후에 감지되는 정보에 대해서 상기 미세 조작에 반영하는 것이 바람직하다.

상기한 바와 같이, 본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템은, 3차원 가상 영상으로부터 얻은 미세 조작 대상물의 거리 정보를 이용하여 미세 조작 대상물간의 충돌 위험에 대한 역각 정보를 주 조작단으로 제공할 뿐만 아니라, 마이크로 매니퓰레이터에 장착된 힘 센서에 의해 감지되는 역각 정보를 주 조작단에 전달함으로써 보다 정밀하고 안정적인 미세 조작이 가능하다.

도 4는 본 발명에 의한 하이브리드 타입 미세 조작 방법을 나타낸 것이다. 본 발명에 의한 하이브리드 타입 미세 조작 방법은, 부 조작단의 미세 조작 대상물의 실제 영상을 얻고, 상기 실제 영상으로부터 가상 영상을 얻는 단계(S41); 상기 단계에서 생성된 상기 가상 영상으로부터 미세 조작 대상물 정보를 얻는 단계(S42); 및 상기 미세 조작 대상물 정보를 이용하여 상기 미세 조작 대상물을 조작하는 단계(S43)를 포함한다. 상기 실제 영상은 복수의 광학 카메라로부터 부 조작단내의 미세 조작 대상물의 평면도, 측면도 및 사시도를 포함하며, 상기 실제 영상을 이용하여 3차원의 가상 영상을 얻는다.

상기 가상 영상은 미세 조작 대상물의 영상과 함께 눈금 등을 표시하며, 상기 미세 조작 대상물의 가상 영상 정보를 제공하는 그래픽 사용자 인터페이스에 수치적으로 각 미세 조작 대상물간의 거리 정보를 표시함으로써, 사용자가 미세 조작 대상물의 가상 영상을 관찰하면서 실질적인 거리를 실시간으로 알 수 있게 해 준다.

상기 가상 영상으로부터 정보를 얻은 후, 상기 가상 영상으로부터 얻은 정보를 이용하여 상기 미세 조작 대상물을 조작한다. 상기 미세 조작 대상물의 조작에 있어서, 상기 미세 조작 대상물의 위치, 방향 및 힘 등을 피드백 제어하게 되는데, 예를 들어 미세 조작 대상물의 위치를 그래픽 사용자 인터페이스의 화면 중심에 두고자 하는 경우, 특히 상기 미세 조작 대상물의 실제 영상을 획득하는 광학 카메라는 다양한 배율을 갖기 때문에 배율을 변경하는 경우 상기 미세 조작 대상물의 위치를 새로 설정할 필요가 있는데, 이를 위하여 상기 미세 조작 대상물의 위치를 피드백 제어하게 된다. 다시 말해, 미세 조작 대상물을 고배율의 광학 카메라로 관찰하다가 저배율로 변경하는 경우, 광학 현미경으로 관찰할 수 있는 평면 범위인 초점 영역이 커지게 되므로 원하는 부분을 화면의 중심에 배치하고자 할 때에는 기준 좌표를 설정하고 피드백 제어를 통해 상기 미세 조작 대상물의 위치를 이동시키게 된다. 또한, 예를 들어, 펌프 모듈내에 광 파이버를 삽입한 경우에 있어서, 광 파이버의 배치된 형태 또는 놓여진 방향에 따라서 광전송 효율이 달라지기 때문에 회전(rotating) 스테이지를 이용하여 상기 광 파이버의 방향을 변경시킬 필요가 있는데, 이 경우에도 원하는 방향으로 상기 광 파이버를 배치하기 위하여 피드백 제어를 하게 된다. 이 때, 상기 광전송 효율을 최대로 하기 위하여 상기 펌프 모듈 및 상기 광 파이버의 평면도를 통해 상기 광 파이버의 렌즈 부분의 면적이 최대가 되는 순간, 즉 상기 광 파이버를 회전함에 따라서 나타나는 배경의 면적이 최소화되는 순간을 포착하도록 상기 회전 스테이지를 이용하여 상기 광 파이버를 회전시키는 방식으로 상기 광 파이버의 방향을 피드백 제어한다. 또한, 예를 들어, 제1 미세 조작 대상물과 제2 미세 조작 대상물을 결합하는 미세 조작이 진행되는 경우에 있어서, 상기 제1 미세 조작 대상물과 제2 미세 조작 대상물을 결합하는데 있어서 일정한 크기 정도의 힘이 가해지는 것이 적당한 경우에 있어서도 미세 조작 시스템에 구비된 힘 센서를 이용하여 피드백 제어함으로써 적절한 힘이 가해지도록 조절할 수 있다.

본 발명에 의한 하이브리드 타입 미세 조작 방법 및 그 시스템은 미세 조작에 있어서 역각 정보를 제공할 뿐만 아니라 3차원의 가상 영상을 제공함으로써, 파손되기 쉬운 미세 조작 대상물의 파손을 방지할 수 있어서 미세 조작을 보다 정밀하고 효율적으로 할 수 있도록 한다.

또한, 미세 조작 대상물 정보에 따라 조작 방법을 적절히 선택할 수 있어서, 미세 조작을 신속하게 진행하면서도 미세 조작을 안정적으로 수행할 수 있기 때문에 미세 조작의 신뢰성 및 효율성을 높일 수 있다. 또한, 본 발명은 종래의 미세 조작이 수동으로 진행됨에 따른 미세 조작 기술 습득의 어려움을 해결하며, 미세 조작 과정에 있어서 조작 미숙 등으로 인한 손떨림 등의 노이즈가 발생하는 경우 동적으로 비례 계수를 변화시켜 상기 노이즈를 제거함으로써 조작자의 숙련도에 따른 미세 조작 결과의 편차로 인한 문제점을 해결하여 보다 안정적이고 효율적으로 미세 조작을 수행할 수 있도록 한다.

도 1a는 본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템의 구성을 나타낸 것이다.

도 1b는 본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 시스템의 사용자 인터페이스와 각 엔진의 구성을 나타낸 것이다.

도 2는 본 발명의 일 실시예에 따른 하이브리드 타입 미세 조작 방법을 이용하여 렌즈가 장착된 광 섬유를 펌프 모듈에 조립하는 과정을 나타낸 것이다.

도 3a는 도 2의 펌프 모듈의 구멍을 통해 광 파이버를 삽입하는 과정에 있어서, 특정 영역과 눈금이 표시된 3차원 가상 영상을 나타낸 것이다.

도 3b 내지 3d는 도 2의 펌프 모듈의 구멍을 통해 광 파이버를 삽입하는 과정에 대한 가상 영상으로, 광 파이버가 삽입되는 방향에서 펌프 모듈의 구멍 및 광 파이버를 바라본 것이다.

도 4는 본 발명에 의한 하이브리드 타입 미세 조작 방법을 나타낸 것이다.

Claims (41)

1. 마이크로 매니퓰레이터, 마이크로 스테이지, 복수의 광학 카메라 및 조명 장치를 포함하는 부(slave) 조작단;

   햅틱 디바이스 및 그래픽 사용자 인터페이스를 포함하며, 상기 부 조작단과 일련의 신호관계로 연결된 주(master) 조작단; 및

   상기 주 조작단과 상기 부 조작단 간에 제공되는 정보를 변환하거나 전달하는 엔진(engine)을 포함하며,

   복수의 조작 모드 중 하나의 조작 모드를 선택하여 미세 조작을 수행하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
2. 제1 항에 있어서,

   상기 엔진은,

   상기 부 조작단의 실제 영상 정보를 제공하는 비전 엔진;

   상기 비전 엔진과 연계되어 상기 비전 엔진으로부터 제공되는 실제 영상 정보를 바탕으로 가상 영상 정보를 제공하는 그래픽 엔진;

   상기 그래픽 엔진으로부터 제공되는 가상 영상 정보로부터 얻어진 역각 정보를 상기 주 조작단으로 전달하고, 상기 주 조작단으로부터 입력되는 동작 정보를 상기 부 조작단으로 전달하는 햅틱 엔진; 및

   상기 주 조작단으로부터 상기 부 조작단으로 전달되는 정보의 값을 조절하는 제어 엔진을 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
3. 제1 항에 있어서,

   상기 조명 장치는 유연한 소재의 평면 조명 장치를 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
4. 제1 항에 있어서,

   상기 조작 모드는 수동 조작 모드, 자동 조작 모드 및 원격 조작 모드를 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
5. 제1 항에 있어서,

   상기 엔진에 의해 전달되는 정보를 이용하여 미세 조작 대상물을 양방향 조작하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
6. 제1 항에 있어서,

   상기 엔진에 의해 전달되는 정보는 미세 조작 대상물의 거리 정보를 포함하며, 상기 거리 정보는 실시간으로 상기 주 조작단에 전달되는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
7. 제1 항에 있어서,

   상기 엔진에 의해 전달되는 정보는 시각 정보, 역각 정보 및 청각 정보를 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
8. 제1 항에 있어서,

   상기 주 조작단과 상기 부 조작단은 인터넷 등의 접속 수단에 의해 연결되는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
9. 제1 항에 있어서,

   상기 선택된 조작 모드에 따라 상기 마이크로 스테이지의 동작 속도가 각기 다른 값을 갖는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
10. 제2 항에 있어서,

    상기 동작 정보는 상기 부 조작단의 동작에 대한 상기 주 조작단의 동작의 크기의 비를 나타내는 비례 계수(scaling factor)를 포함하며, 상기 비례 계수가 고정되어 있지 않고 동적으로 변하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
11. 제3 항에 있어서,

    상기 유연한 소재의 평면 조명 장치는 EL(Electroluminiscence) 시트인 것임을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
12. 제5 항에 있어서,

    상기 엔진에 의해 전달되는 정보는 상기 마이크로 매니퓰레이터에 장착된 힘 센서에 의해 감지되는 역각 정보를 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
13. 제6 항에 있어서,

    상기 미세 조작 대상물의 거리 정보는 제1 미세 조작 대상물과 제2 미세 조작 대상물간의 거리, 제1 미세 조작 대상물의 중심과 제2 미세 조작 대상물의 중심 간의 거리 및 제1 미세 조작 대상물의 이동 거리를 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
14. 제6 항에 있어서,

    상기 거리 정보는 제1 거리 값과 실시간으로 비교되며, 상기 비교 결과에 따라서 복수의 조작 모드 중 하나의 조작 모드를 선택하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
15. 제6 항에 있어서,

    상기 거리 정보는 제2 거리 값과 실시간으로 비교되며, 상기 비교 결과는 상기 주 조작단으로 피드백 되는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
16. 제10 항에 있어서,

    상기 비례 계수의 크기는, 제1 미세 조작 대상물이 특정 영역으로부터 벗어나는 경우에 자동으로 변하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
17. 제14 항에 있어서,

    상기 제1 거리 값은 제1 미세 조작 대상물을 제2 미세 조작 대상물 측으로 이동시키는 과정에서 사전에 설정된 안전 거리인 것임을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
18. 제14 항에 있어서,

    상기 거리 정보는 제1 미세 조작 대상물과 제2 미세 조작 대상물간의 거리인 것임을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
19. 제15 항에 있어서,

    상기 제2 거리 값은 제2 미세 조작 대상물의 반지름과 제1 미세 조작 대상물의 반지름의 차(difference)인 것임을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
20. 제15 항에 있어서,

    상기 거리 정보는 제1 미세 조작 대상물의 중심과 제2 미세 조작 대상물의 중심 간의 거리인 것임을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
21. 제15 항에 있어서,

    상기 비교 결과에 따라서 미세 조작 작업의 속행여부가 결정되는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
22. 제15 항에 있어서,

    상기 주 조작단으로 피드백 되는 상기 비교 결과는 역각 정보, 시각 정보 및 청각 정보 중 어느 하나 이상의 형태로 피드백 되는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
23. 제16 항에 있어서,

    상기 특정 영역은 제2 미세 조작 대상물의 중심으로부터 일정 거리 이내의 영역인 것임을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
24. 제16 항에 있어서,

    상기 특정 영역은 상기 그래픽 사용자 인터페이스에 표시됨을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
25. 제21 항에 있어서,

    상기 미세 조작 작업이 중단된 경우, 상기 마이크로 매니퓰레이터에 의해 상기 미세 조작 대상물을 미세 조작 작업이 중단되기 이전의 위치로 이동시키는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
26. 제21 항에 있어서,

    상기 미세 조작 작업이 중단된 경우, 일정 시간이 경과된 후에 다시 미세 조작 작업이 속행되는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
27. 제22 항에 있어서,

    역각 정보의 형태로 상기 주 조작단으로 피드백 되는 상기 비교 결과와 함께 상기 마이크로 매니퓰레이터에 장착된 힘 센서에 의해 감지되는 역각 정보를 주 조작단으로 전달하는 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
28. 제25 항에 있어서,

    상기 위치 이동은 사전에 설정된 횟수만큼의 상기 마이크로 매니퓰레이터의동작의 역궤적을 따라 이동함을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
29. 제1 항 내지 제28 항 중 어느 한 항에 있어서,

    상기 미세 조작은 광 부품 조립인 것을 특징으로 하는 하이브리드 타입 미세 조작 시스템.
30. 미세 조작 대상물의 복수의 실제 영상을 얻고, 상기 복수의 실제 영상으로부터 가상 영상을 얻는 단계(a); 및

    상기 단계(a)에서 생성된 상기 가상 영상으로부터 미세 조작 대상물 정보를 얻는 단계(b)를 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.
31. 제30 항에 있어서,

    상기 미세 조작 대상물 정보를 이용하여 상기 미세 조작 대상물을 조작하는 단계(c)를 더 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.
32. 제30 항에 있어서,

    상기 단계(a)의 상기 실제 영상은 복수의 광학 카메라를 이용하여 얻은 상기 미세 조작 대상물의 평면도, 측면도 및 사시도를 포함하며, 상기 가상 영상은 상기 미세 조작 대상물의 평면도, 측면도 및 사시도를 이용하여 얻은 3차원의 입체 가상 영상인 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.
33. 제30 항에 있어서,

    상기 단계(b)의 상기 미세 조작 대상물 정보는 상기 미세 조작 대상물의 거리 정보 및 상기 미세 조작 대상물의 면적 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.
34. 제31 항에 있어서,

    상기 단계(c)에서의 상기 미세 조작 대상물의 조작은 상기 미세 조작 대상물 정보를 이용한 상기 미세 조작 대상물 위치의 피드백 제어를 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.
35. 제31 항에 있어서,

    상기 단계(c)에서의 상기 미세 조작 대상물의 조작은 상기 미세 조작 대상물 정보를 이용한 상기 미세 조작 대상물 방향의 피드백 제어를 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.
36. 제31 항에 있어서,

    상기 단계(c)에서의 상기 미세 조작 대상물의 조작은 상기 미세 조작 대상물 정보를 이용한 상기 미세 조작 대상물 힘의 피드백 제어를 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.
37. 제31 항에 있어서,

    상기 단계(c)는 상기 미세 조작 대상물 정보에 따라 역각 정보 또는 청각 정보 등의 형태로 피드백 하는 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.
38. 제33 항에 있어서,

    상기 미세 조작 대상물의 거리 정보는, 상기 미세 조작 대상물을 조작하는 방법을 선택할 때 이용되는 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.
39. 제34 항에 있어서,

    상기 미세 조작 대상물 위치의 피드백 제어는, 상기 미세 조작 대상물의 실제 영상을 획득하는 광학 카메라의 배율을 변경하는 경우에 상기 미세 조작 대상물의 특정 부분을 화면의 중앙에 오도록 수행되는 피드백 제어를 포함하는 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.
40. 제35 항에 있어서,

    상기 미세 조작 대상물 방향의 피드백 제어는, 회전 스테이지를 이용하여 미세 조작 대상물의 방향을 변경하며, 상기 미세 조작 대상물이 화전함에 따른 상기 미세 조작 대상물의 실제 평면도 상의 면적의 변화를 이용하여 수행되는 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.
41. 제36 항에 있어서,

    상기 미세 조작 대상물 힘의 피드백 제어는, 상기 마이크로 매니퓰레이터에 장착된 힘 센서를 이용하여 상기 미세 조작 대상물에 가해지는 힘의 크기를 감지하며, 사전에 설정된 적정 힘의 크기와 비교함으로써 수행되는 것을 특징으로 하는 하이브리드 타입 미세 조작 방법.