KR20200032057A - 학습 장치, 학습 완료 모델이 저장된 비일시적인 컴퓨터 가독 매체, 및 학습 방법 - Google Patents

Abstract

절첩되어서 중첩된 상태의 유연물에 대한 적절한 파지 위치를 판별한다.
파지 장치(1)는 물체를 촬상한 화상 데이터를 취득하는 화상 데이터 취득부(16)와, 물체를 파지하는 로봇 암(11)과, 로봇 암(11)의 동작을 제어하는 제어부(12)와, 화상 데이터 취득부(16)가 취득한, 절첩되어 중첩된 상태의 유연물이 촬상된 화상 데이터를 사용하여, 당해 화상 데이터에 찍혀 있는 유연물의 부위가 파지에 적합한 부위인지 여부를 판정하는 파지 위치 판정부(18)를 갖는다. 제어부(12)는 최상단에 있는 유연물의 상면의 단을 변형시키도록 로봇 암(11)을 제어한다. 파지 위치 판정부(18)는 상면의 단이 변형된 유연물이 촬상된 화상 데이터를 사용하여, 파지에 적합한 부위인지 여부를 판정한다.

Description

학습 장치, 학습 완료 모델이 저장된 비일시적인 컴퓨터 가독 매체, 및 학습 방법{LEARNING APPARATUS, NON-TRANSITORY COMPUTER READABLE MEDIUM STORING A LEARNED MODEL, AND LEARNING METHOD}

본 발명은 파지 장치, 학습 장치, 학습 완료 모델, 파지 시스템, 판정 방법, 및 학습 방법에 관한 것이다.

기계 학습을 사용하여, 물체를 파지하는 기술이 알려져 있다. 예를 들어, Marcus Gualtieri, Andreas ten Pas, Kate Saenko, and Robert Platt, "High precision grasp pose detection in dense clutter", arXiv preprint arXiv: 1603.01564, 2016.에서는, 파지 장치는, 그리퍼와 물체의 점군이 접촉하고, 또한, 물체 점군이 충분히 그리퍼의 사이에 있는 파지 자세의 후보를 생성한다. 그리고, 이 파지 장치는, CNN(컨벌루션 뉴럴 네트워크: Convolutional Neural Network)을 이용하여, 생성한 파지 자세의 후보가 파지에 적합한지 여부를 판별한다.

절첩되어서 중첩된 상태의 유연물의 파지 위치의 결정을 위하여 화상 데이터를 사용한 기계 학습을 이용하는 경우, 적절한 파지 위치를 판별하는 것이 어려울 경우가 있다. 발명자 등은, 상기 상태의 유연물의 측면에는 규칙적인 적층 패턴 형상이 나타나 있고, 파지에 적합한 부위의 화상과 파지에 적합하지 않은 부위의 화상에 충분한 차가 없기 때문에, 적절한 파지 위치를 판별하는 것이 어려움을 알아냈다.

본 발명의 일 양태는, 물체를 촬상한 화상 데이터를 취득하는 화상 데이터 취득부와, 물체를 파지하는 파지부와, 상기 파지부의 동작을 제어하는 제어부와, 상기 화상 데이터 취득부가 취득한, 절첩되어 중첩된 상태의 유연물이 촬상된 상기 화상 데이터를 사용하여, 당해 화상 데이터에 찍혀 있는 상기 유연물의 부위가 파지에 적합한 부위인지 여부를 판정하는 파지 위치 판정부를 갖고, 상기 제어부는, 최상단에 있는 상기 유연물의 상면의 단을 변형시키도록 상기 파지부를 제어하고, 상기 파지 위치 판정부는, 상기 상면의 단이 변형된 상기 유연물이 촬상된 상기 화상 데이터를 사용하여, 파지에 적합한 부위인지 여부를 판정하는 파지 장치이다.

이 파지 장치에서는, 파지부에 의해 유연물의 상면의 단이 변형된다. 하나로 정리된 단과, 그러한 단이 아닌 단은, 변형의 양태가 상이하기 때문에, 파지에 적합한 부위의 화상과 파지에 적합하지 않은 부위의 화상에 충분한 차가 발생한다. 이 때문에, 이 파지 장치에 의하면, 적절한 파지 위치를 판별하는 것이 가능하다.

상기 일 양태에 있어서, 상기 화상 데이터 취득부가 취득한, 상기 상면의 단이 변형되기 전의 상기 유연물이 촬상된 상기 화상 데이터를 사용하여, 상기 상면의 단의 변형을 위한, 상기 유연물에 있어서의 상기 파지부와의 접촉 위치를 결정하는 접촉 위치 결정부를 더 갖고, 상기 상면의 단을 변형시키기 위해서, 상기 제어부는, 상기 접촉 위치 결정부에 의해 결정된 상기 접촉 위치에 있어서, 상기 파지부가 상기 유연물을 변위시키도록 제어해도 된다.

이와 같은 구성에 의하면, 유연물의 상면의 단을 변형시키기 위한 제어를 자율적으로 행할 수 있다.

상기 일 양태에 있어서, 상기 제어부는, 상기 파지부가 상기 유연물을 누르는 것에 의해 상기 상면의 단을 변형시키도록 상기 파지부를 제어해도 된다.

이와 같은 구성에 의하면, 용이하게 상면의 단이 변형된다.

또한, 본 발명의 일 양태는, 물체를 촬상한 화상 데이터를 포함하는 훈련 데이터를 취득하는 훈련 데이터 취득부와, 상기 훈련 데이터 취득부가 취득한 상기 훈련 데이터를 사용하여 기계 학습의 연산을 행하는 학습 연산부를 갖고, 상기 화상 데이터는, 절첩되어 중첩된 상태의 유연물이며, 당해 유연물의 상면의 단이 규칙적인 적층 패턴 형상으로부터 변형된 상태의 유연물이 찍혀 있는 제1 화상 데이터 및 제2 화상 데이터를 포함하고, 상기 제1 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리된 단인 화상 데이터이며, 상기 제2 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리되어 있지 않은 단인 화상 데이터이며, 상기 학습 연산부는, 상기 훈련 데이터를 사용하여, 유연물에 있어서의 파지에 적합한 부위를 학습하는 연산을 행하는 학습 장치이다.

이 학습 장치에서는, 규칙적인 적층 패턴 형상으로부터 변형된 상태의 유연물에 관한 화상을 사용하여 학습이 행하여진다. 하나로 정리된 단과, 그러한 단이 아닌 단은, 변형의 양태가 상이하기 때문에, 학습에 이용하는데 충분한 차가 있는 제1 화상 데이터와 제2 화상 데이터를 사용한 학습이 가능하게 된다. 따라서, 이 학습 장치에 의하면, 적절한 파지 위치의 학습을 행할 수 있다.

또한, 본 발명의 일 양태는, 물체를 촬상한 화상 데이터에 기초하여, 당해 물체의 부위에 대한 파지의 적부를 정량화한 값으로서 출력하도록, 컴퓨터를 기능시키기 위한 학습 완료 모델이며, 상기 학습 완료 모델을 구성하는 뉴럴 네트워크의 가중 계수는, 물체를 촬상한 화상 데이터를 포함하는 훈련 데이터를 사용하여 학습되고 있고, 상기 훈련 데이터에 포함되는 상기 화상 데이터는, 절첩되어 중첩된 상태의 유연물이며, 당해 유연물의 상면의 단이 규칙적인 적층 패턴 형상으로부터 변형된 상태의 유연물이 찍혀 있는 제1 화상 데이터 및 제2 화상 데이터를 포함하고, 상기 제1 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리된 단인 화상 데이터이며, 상기 제2 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리되어 있지 않은 단인 화상 데이터이며, 상기 학습 완료 모델은, 상기 뉴럴 네트워크의 입력층에 입력된, 절첩되어 중첩된 상태의 유연물이 찍혀 있는 화상 데이터에 대하여 상기 가중 계수에 따른 연산을 실행시켜, 상기 화상 데이터에 찍혀 있는 상기 유연물의 부위가 파지에 적합한지 여부를 상기 뉴럴 네트워크의 출력층으로부터 출력시키도록 컴퓨터를 기능시키는 학습 완료 모델이다.

이 모델은, 규칙적인 적층 패턴 형상으로부터 변형된 상태의 유연물에 관한 화상을 사용한 학습이 행하여지고 있다. 하나로 정리된 단과, 그러한 단이 아닌 단은, 변형의 양태가 상이하기 때문에, 제1 화상 데이터와 제2 화상 데이터에는, 학습에 이용하는데 충분한 차가 있다. 따라서, 이 학습 완료 모델에 의하면, 적절한 파지 위치를 판별하는 것이 가능하다.

또한, 본 발명의 일 양태는, 주위의 물체를 촬상하는 촬상 장치와, 상기 촬상 장치에 의한 화상 데이터를 취득하는 화상 데이터 취득부와, 물체를 파지하는 파지부와, 상기 파지부의 동작을 제어하는 제어부와, 상기 화상 데이터 취득부가 취득한, 절첩되어 중첩된 상태의 유연물이 촬상된 상기 화상 데이터를 사용하여, 당해 화상 데이터에 찍혀 있는 상기 유연물의 부위가 파지에 적합한 부위인지 여부를 판정하는 파지 위치 판정부를 갖고, 상기 제어부는, 상기 유연물의 상면의 단을 변형시키도록 상기 파지부를 제어하고, 상기 파지 위치 판정부는, 상기 상면의 단이 변형된 상기 유연물이 촬상된 상기 화상 데이터를 사용하여, 파지에 적합한 부위인지 여부를 판정하는 파지 시스템이다.

이 파지 시스템에서는, 파지부에 의해 유연물의 상면의 단이 변형된다. 하나로 정리된 단과, 그러한 단이 아닌 단은, 변형의 양태가 상이하기 때문에, 파지에 적합한 부위의 화상과 파지에 적합하지 않은 부위의 화상에 충분한 차가 발생한다. 이 때문에, 이 파지 시스템에 의하면, 적절한 파지 위치를 판별하는 것이 가능하다.

또한, 본 발명의 일 양태는, 절첩되어 중첩된 상태의 복수의 유연물의 상면의 단을 변형시키도록 파지부를 제어하고, 상기 상면의 단이 변형된 상기 유연물이 촬상된 화상 데이터를 사용하여, 당해 화상 데이터에 찍혀 있는 상기 유연물의 부위가 파지에 적합한 부위인지 여부를 판정하는 판정 방법이다.

이 판정 방법에서는, 파지부에 의해 유연물의 상면의 단이 변형된다. 하나로 정리된 단과, 그러한 단이 아닌 단은, 변형의 양태가 상이하기 때문에, 파지에 적합한 부위의 화상과 파지에 적합하지 않은 부위의 화상에 충분한 차가 발생한다. 이 때문에, 이 판정 방법에 의하면, 적절한 파지 위치를 판별하는 것이 가능하다.

또한, 본 발명의 일 양태는, 물체를 촬상한 화상 데이터를 포함하는 훈련 데이터를 취득하고, 취득한 상기 훈련 데이터를 사용하여, 유연물에 있어서의 파지에 적합한 부위를 판정하기 위한 기계 학습 연산을 행하고, 상기 화상 데이터는, 절첩되어 중첩된 상태의 유연물이며, 당해 유연물의 상면의 단이 규칙적인 적층 패턴 형상으로부터 변형된 상태의 유연물이 찍혀 있는 제1 화상 데이터 및 제2 화상 데이터를 포함하고, 상기 제1 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리된 단인 화상 데이터이며, 상기 제2 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리되어 있지 않은 단인 화상 데이터인 학습 방법이다.

이 학습 방법에서는, 규칙적인 적층 패턴 형상으로부터 변형된 상태의 유연물에 관한 화상을 사용하여 학습이 행하여진다. 하나로 정리된 단과, 그러한 단이 아닌 단은, 변형의 양태가 상이하기 때문에, 학습에 이용하는데 충분한 차가 있는 제1 화상 데이터와 제2 화상 데이터를 사용한 학습이 가능하게 된다. 따라서, 이 학습 방법에 의하면, 적절한 파지 위치의 학습을 행할 수 있다.

본 발명에 따르면, 절첩되어서 중첩된 상태의 유연물에 대한 적절한 파지 위치를 판별할 수 있는 파지 장치, 학습 장치, 학습 완료 모델, 파지 시스템, 판정 방법, 및 학습 방법을 제공할 수 있다.

본 개시의 상기 및 다른 목적, 특징 및 장점은 단지 예시의 방식으로 아래에 주어진 상세한 설명 및 주어진 첨부 도면으로부터 보다 완전히 이해되는 것이며, 따라서 이로써 본 개시를 제한하는 것으로 간주되어서는 안 된다.

도 1은 절첩된 유연물의 외관의 일례를 도시하는 모식도이다.
도 2a는 절첩되어서 중첩된 상태의 유연물에 대하여 도시하는 도면이다.
도 2b는 절첩되어서 중첩된 상태의 유연물에 대하여 도시하는 도면이다.
도 2c는 절첩되어서 중첩된 상태의 유연물에 대하여 도시하는 도면이다.
도 3은 실시 형태에 따른 파지 장치의 개략적인 구성을 도시하는 블록도이다.
도 4는 로봇 암의 개략적인 구성을 도시하는 블록도이다.
도 5는 실시 형태에 따른 파지 장치에 의한 학습 처리의 흐름을 도시하는 흐름도이다.
도 6은 실시 형태에 따른 파지 장치가 파지 대상물을 파지할 때의 처리의 흐름을 도시하는 흐름도이다.
도 7은 도 6에 도시하는 S21(접촉 위치의 결정)의 상세를 도시하는 흐름도이다.
도 8은 엔드 이펙터에 의해 유연물이 눌리는 모습을 도시하는 도면이다.
도 9는 촬상 장치와, 서버와, 파지 장치를 갖는 파지 시스템에 대하여 도시하는 모식도이다.

실시 형태에 따른 파지 장치(1)는 천 제품이나 종이 제품 등의 형상 변화되기 쉬운 물체인 유연물의 파지를 행한다. 특히, 파지 장치(1)는 절첩되어서 중첩된 상태의 복수의 유연물 중, 최상단에 적재되어 있는 유연물의 파지를 행한다. 이때 파지 장치(1)에 의해 파지되는 부위에 따라서는, 유연물의 외관의 상태가, 절첩된 상태로부터 절첩되어 있지 않은 상태로 변화되어 버린다. 즉, 파지하는 위치가 적절하지 않는 경우, 절첩된 상태를 유지한 채 들어 올릴 수 없다.

도 1은, 절첩된 유연물(90)의 외관의 일례를 도시하는 모식도이다. 또한, 도 1에서는, 일례로서 4절 접기된 유연물(90)의 외관을 도시하고 있다. 도 1에 도시되는 바와 같이, 유연물(90)의 4변의 단은 특징이 서로 다르다. 단(91)은 절첩에 의해 하나로 정리된 단이지만, 다른 단은 절첩에 의해 하나로 정리되어 있지 않은 단이다. 즉, 단(91)은 외관에 하나의 접힘선이 나타나는 단임에 반해, 다른 단은 복수의 접힘선이 나타나는 단 또는 접힘선이 나타나지 않는 단이다. 환언하면, 단(91)은 외관에 1개의 에지가 나타나는 단임에 반해, 다른 단은 2개 이상의 에지(도 1과 같은 4절 접기의 경우, 구체적으로는 2개 또는 4개의 에지)가 나타나는 단이다. 또한 환언하면, 단(91)은 폐쇄된 단임에 반해, 단(91) 이외의 단은 개구된 단이다.

파지 위치가 단(91)의 근방일 경우, 절첩된 상태를 유지하여 유연물(90)을 들어 올리는 것이 비교적 용이하지만, 파지 위치가 단(91) 이외의 단의 근방일 경우, 절첩된 상태를 유지하여 유연물(90)을 들어 올리는 것은 비교적 곤란하다. 예를 들어, 유연물(90)의 가로측으로부터 엔드 이펙터를 삽입하고, 절첩된 유연물의 상측 및 하측을 집어서 파지하는 경우, 파지 위치가 단(91)의 근방이라면, 절첩되어서 복수매가 된 시트군을 모두 파지하는 것이 용이하지만, 파지 위치가 단(91) 이외의 단의 근방이라면, 시트군의 일부만 파지해버릴 우려가 있다. 시트군의 일부만을 파지하여 들어 올려버리면, 절첩이 풀어져버린다. 이와 같이, 절첩된 상태를 유지하여 유연물을 들어 올리기 위해서는, 적절한 파지 위치를 선택할 필요가 있다. 본 실시 형태에서는, 화상에 나타나는 유연물의 부위가 적절한 파지 위치, 즉, 절첩에 의해 하나로 정리된 단의 근방인지 여부를, 화상을 사용한 기계 학습에 의해 식별한다. 이러한 방법에 의해 식별을 행하는 경우, 다음과 같은 과제가 있다.

도 2a∼도 2c는, 절첩되어서 중첩된 상태의 유연물에 대하여 도시하는 도면이다. 도 2a∼도 2c에서는, 구체적으로는, 절첩된 복수의 천 타월(92)이 적층된 모습을 도시하고 있다. 여기서, 도 2a에서는, 표시(92a)에 의해, 절첩에 의해 하나로 정리된 단이 도시되어 있고, 도 2b 및 도 2c에서는, 표시(92b, 92c)에 의해, 개구한 단(절첩에 의해 하나로 정리되어 있지 않은 단)이 도시되어 있다. 도 2a∼도 2c 모두, 유사한 규칙적인 적층 패턴이 나타나 있다. 이 때문에, 도 2a에 도시되는 단과, 도 2b 또는 도 2c에 도시되는 단을 구별하는 것이 어렵다. 이 때문에, 적절한 파지 위치의 인식이 어렵다. 즉, 파지 장치가, 절첩을 유지한 채 최상단에 적재되어 있는 유연물을 들어 올리는 것은 용이하지 않다. 그래서, 본 실시 형태에서는, 절첩된 유연물의 절첩을 유지한 채 들어 올리기 위한 이하와 같은 기술에 대하여 개시한다. 또한, 이하의 실시 형태에 있어서, 유연물은, 하나로 정리된 단을 갖도록 절첩되어 있다. 예를 들어, 유연물은, 2절 접기, 4절 접기, 8절 접기 등, 절반으로 접는 것이 1회 이상 반복되어서 절첩되어 있어도 된다. 이 경우, n+1회째의 접기 시에, n회째의 접기에 있어서 발생하는 접힘선과 직교하는 접힘선이 발생하도록 접어져도 되고, 평행하도록 접어져도 된다. 또한, 여기서 설명한 유연물의 접는 방법은 일례이며, 이들에 한정되지 않는다.

이하, 도면을 참조하여 실시 형태에 대하여 설명한다.

도 3은, 실시 형태에 따른 파지 장치(1)의 개략적인 구성을 도시하는 블록도이다. 파지 장치(1)는 도 3에 도시한 구성에 의해, [1] 유연물에 관한 화상 데이터에 기초하여 학습 완료 모델을 생성하는 학습 처리와, [2] 학습 완료 모델을 사용하여, 파지에 적합한 부위에 관한 판정을 행하는 판정 처리를 실행한다. 또한, 학습 처리를 행하는 장치로서 파지 장치(1)를 파악한 경우, 파지 장치(1)는 학습 장치라고도 칭하는 것이 가능하다.

파지 장치(1)는 촬상 장치(10)와, 로봇 암(11)과, 제어부(12)와, 훈련 데이터 취득부(13)와, 학습 연산부(14)와, 모델 기억부(15)와, 화상 데이터 취득부(16)와, 접촉 위치 결정부(17)와, 파지 위치 판정부(18)를 구비하고 있다.

촬상 장치(10)는 주위의 물체를 촬상하는 장치이며, 본 실시 형태에서는, 보다 상세하게는, 3차원 화상 정보를 생성하는 장치이다. 촬상 장치(10)의 구체적인 구성으로서는, 임의의 구성을 채용할 수 있다. 예를 들어, 촬상 장치(10)는 스테레오 카메라여도 된다. 또한, 촬상 장치(10)는 레이저 레인지 파인더 등의 Time-of-Flight 방식의 거리 센서를 구비하고 있어도 되고, 도트 패턴을 투광하여 거리를 측정하는 Light Coding 방식 등의 거리 센서를 구비하고 있어도 된다. 이와 같이, 촬상 장치(10)의 구체적인 구성은 임의이며, 어느 기술에 의한 구성에 한정되지 않는다.

로봇 암(11)은 물체를 파지하는 파지부의 일 구체예이다. 도 4에 도시한 바와 같이, 로봇 암(11)은 예를 들어, 복수의 링크(111)와, 각 링크(111)를 회동 가능하게 연결하는 관절부(손목 관절, 주관절, 견관절 등)(112)와, 대상물을 파지하는 엔드 이펙터(113)를 갖는다.

*각 관절부(112)에는, 각 관절부(112)의 회전 정보를 검출하는 인코더 등의 회전 센서(114)와, 각 관절부(112)를 구동하는 서보 모터 등의 액추에이터(115)와, 각 관절부(112)의 조작력을 검출하는 힘 센서(116)가 설치되어 있다. 힘 센서(116)는 예를 들어, 각 관절부(112)의 토크를 검출하는 토크 센서 등이다. 각 관절부(112)에는 감속 기구가 설치되어 있다. 엔드 이펙터(113)는 예를 들어, 복수의 손가락부 등으로 구성되어, 손가락부로 집음으로써 대상물을 파지할 수 있다. 엔드 이펙터(113)에는, 엔드 이펙터(113)를 구동하는 액추에이터(117)와, 엔드 이펙터(113)의 조작력을 검출하는 힘 센서(118)가 설치되어 있다.

제어부(12)는 로봇 암(11)의 동작을 제어한다. 제어부(12)는 접촉 위치 결정부(17)에 의한 처리 결과, 또는 파지 위치 판정부(18)에 의한 처리 결과에 기초하여, 로봇 암(11)의 궤도를 계산한다. 또한, 제어부(12)는 계산된 궤도에 따라서 로봇 암(11)을 움직인다. 구체적으로는, 예를 들어, 제어부(12)는 회전 센서(114), 힘 센서(116, 118)로부터의 출력에 기초하여, 액추에이터(115, 117)를 제어함으로써, 로봇 암(11)을 피드백 제어한다.

훈련 데이터 취득부(13)는 물체를 촬상한 화상 데이터를 포함하는 훈련 데이터를 취득한다. 훈련 데이터 취득부(13)는 파지 장치(1)의 메모리 등의 기억 장치에 미리 기억된 훈련 데이터를 읽어들여서 취득해도 되고, 다른 장치로부터 송신된 훈련 데이터를 취득해도 된다. 학습 연산부(14)는 훈련 데이터 취득부(13)가 취득한 훈련 데이터를 사용하여 기계 학습의 연산을 행한다. 훈련 데이터에 포함되는 화상 데이터는, 예를 들어 2차원 화상 데이터이지만, 3차원 화상 데이터여도 된다.

여기서, 본 실시 형태에서 사용되는 훈련 데이터에 대하여 설명한다. 본 실시 형태에 있어서, 훈련 데이터에 포함되는 화상 데이터는, 절첩되어 중첩된 상태의 유연물이 찍혀 있는 화상 데이터이며, 특히, 유연물의 상면의 단이 규칙적인 적층 패턴 형상으로부터 변형된 상태의 유연물이 찍혀 있는 화상 데이터이다. 보다 상세하게는, 본 실시 형태에서는, 최상단에 적재된 유연물의 상면의 단이 측면 방향으로부터 눌린 모습이 촬상된 화상 데이터가 사용된다. 또한, 훈련 데이터에 사용되는 화상 데이터는, 그러한 화상 데이터로서, 다음과 같은 2종류의 화상 데이터를 포함한다. 또한, 이들 2종류의 화상 데이터의 한쪽을 제1 화상 데이터라고 칭하고, 다른 쪽을 제2 화상 데이터라고 칭하기로 한다.

제1 화상 데이터는, 촬상되어 있는 변형된 단이, 절첩에 의해 하나로 정리된 단인 화상 데이터이다. 즉, 제1 화상 데이터는, 절첩에 의해 하나로 정리된 단에 있어서, 측면 방향으로부터의 압박에 의한 변형이 발생한 모습이 촬상된 화상 데이터이다. 훈련 데이터에 있어서, 제1 화상 데이터에 대해서는, 파지에 적합한 부위에 관한 화상인 것을 나타내는 라벨이 대응지어져 있다. 제2 화상 데이터는, 촬상되어 있는 변형한 단이, 절첩에 의해 하나로 정리되어 있지 않은 단인 화상 데이터이다. 즉, 제2 화상 데이터는, 절첩에 의해 하나로 정리된 단 이외의 단에 있어서, 측면 방향으로부터의 압박에 의한 변형이 발생한 모습이 촬상된 화상 데이터이다. 훈련 데이터에 있어서, 제2 화상 데이터에 대해서는, 파지에 적합하지 않은 부위에 관한 화상인 것을 나타내는 라벨이 대응지어져 있다. 또한, 제1 화상 데이터 및 제2 데이터는, 화상 데이터로부터 잘라내진 부분 화상 데이터여도 된다.

학습 연산부(14)는 이러한 훈련 데이터를 사용하여, 유연물에 있어서의 파지에 적합한 부위를 학습하는 연산을 행한다. 본 실시 형태에서는, 기계 학습 모델로서, CNN(컨벌루션 뉴럴 네트워크: Convolutional Neural Network)을 사용한다. 보다 구체적으로는, 파지에 적합한 부위 또는 파지에 적합하지 않은 부위의 화상 내의 좌표 위치와 함께, 파지의 적부를 출력 가능한 CNN YOLO v2를 기계 학습 모델로서 사용한다. 또한, 물체를 촬상한 화상 데이터에 기초하여, 당해 물체의 부위에 대한 파지의 적부를 정량화한 값으로서 출력하는 것이 가능한 다른 뉴럴 네트워크가 사용되어도 되고, 기타의 기계 학습 모델이 사용되어도 된다. 본 실시 형태에서는, 학습 연산부(14)는 훈련 데이터를 사용하여, 구체적으로는, 뉴럴 네트워크의 가중 계수와 같은 파라미터의 값을 계산한다. 학습 연산부(14)는 훈련 데이터를 사용한 연산 처리의 종료 후, 학습 완료의 모델을 모델 기억부(15)에 기억시킨다.

따라서, 모델 기억부(15)에는, 물체를 촬상한 화상 데이터에 기초하여, 당해 물체의 부위에 대한 파지의 적부를 정량화한 값으로서 출력하도록, 컴퓨터를 기능시키기 위한 다음과 같은 학습 완료 모델이 기억된다. 즉, 이 학습 완료 모델을 구성하는 뉴럴 네트워크의 가중 계수는, 물체를 촬상한 화상 데이터를 포함하는 훈련 데이터를 사용하여 학습되고 있다. 또한, 이 화상 데이터는, 상술한 제1 화상 데이터 및 제2 화상 데이터를 포함한다. 그리고, 이 학습 완료 모델은, 뉴럴 네트워크의 입력층에 입력된, 절첩되어 중첩된 상태의 유연물이 찍혀 있는 화상 데이터에 대하여 가중 계수에 따른 연산을 실행시켜, 이 화상 데이터에 찍혀 있는 유연물의 부위가 파지에 적합한지 여부를 뉴럴 네트워크의 출력층으로부터 출력시키도록 컴퓨터를 기능시킨다. 또한, 입력층에는, 절첩되어 중첩된 상태의 유연물이 찍혀 있지 않은 화상 데이터가 입력되는 경우도 있다. 이와 같이, 모델 기억부(15)에 기억되는 학습 완료 모델은, 프로그램 모듈로서 이용된다.

화상 데이터 취득부(16)는 물체를 촬상한 화상 데이터를 취득한다. 화상 데이터 취득부(16)는 예를 들어, 절첩되어 중첩된 상태의 유연물이 촬상된 화상 데이터를 취득한다. 본 실시 형태에서는, 화상 데이터 취득부(16)는 촬상 장치(10)에 의해 촬상된 화상 데이터를 취득하는데, 파지 장치(1)의 메모리 등의 기억 장치에 미리 기억된 화상 데이터를 읽어들여서 취득해도 되고, 다른 장치로부터 송신된 화상 데이터를 취득해도 된다. 또한, 본 실시 형태에서는, 로봇 암(11)의 제어를 행하기 위하여 3차원 화상 데이터가 취득되지만, 단지 적절한 파지 위치의 판정을 행함에 있어서는, 반드시 3차원 화상 데이터를 필요로 하지는 않는다. 즉, 2차원 화상 데이터여도, 학습 완료 모델에 의한 적절한 파지 위치의 판정은 가능하다.

접촉 위치 결정부(17)는 파지 대상물인 유연물을 로봇 암(11)(보다 상세하게는 엔드 이펙터(113))에 의해 변형시키기 위한 접촉 위치를 결정한다. 보다, 상세하게는, 접촉 위치 결정부(17)는 쌓아 올려진 유연물의 상면의 단의 변형을 위한 접촉 위치를 결정한다. 즉, 접촉 위치 결정부(17)는 로봇 암(11)이 파지 대상물에 변위를 부여할 때의 파지 대상물에 있어서의 로봇 암(11)과의 접촉 위치를 결정한다. 본 실시 형태는, 변위는, 파지 대상물을 로봇 암(11)(엔드 이펙터(113))이 누르는 것에 의해 부여된다. 이 때문에, 본 실시 형태에서는, 접촉 위치 결정부(17)는 로봇 암(11)이 파지 대상물인 유연물을 누르기 위한 접촉 위치를 결정한다. 접촉 위치 결정부(17)는 화상 데이터 취득부(16)가 취득한 화상 데이터이며, 상면의 단이 로봇 암(11)에 의해 변형되기 전의 유연물이 촬상된 화상 데이터를 사용하여 접촉 위치를 결정한다. 또한, 접촉 위치의 결정의 상세에 대해서는, 흐름도를 사용하여 후술한다.

파지 위치 판정부(18)는 화상 데이터 취득부(16)가 취득한 화상 데이터를 사용하여, 당해 화상 데이터에 찍혀 있는 유연물의 부위가 파지에 적합한 부위인지 여부를 판정한다. 즉, 파지 위치 판정부(18)는 절첩되어 중첩된 상태의 유연물이 촬상된 화상 데이터를 사용하여, 당해 화상 데이터에 찍혀 있는 유연물의 일부분이 파지에 적합한 부위인지 여부를 판정한다. 여기서, 파지 위치 판정부(18)는 보다 상세하게는, 상면의 단에 대한 변형이 행하여진 유연물이 촬상된 화상 데이터를 사용하여 판정을 행한다. 또한, 그 때, 파지 위치 판정부(18)는 모델 기억부(15)에 기억된 학습 완료 모델을 사용한다. 즉, 본 실시 형태의 파지 위치 판정부(18)는 화상 데이터 취득부(16)가 취득한 화상 데이터에 대하여 미리 가중 계수를 포함하는 파라미터가 설정된 상술한 CNN을 적용하여, 파지에 적합한 영역 및 파지에 적합하지 않은 영역을 판별하고, 파지에 적합한 영역을 출력한다.

제어부(12)는 상술한 바와 같이, 로봇 암(11)을 제어한다. 특히, 제어부(12)는 파지 위치의 판정 시, 최상단에 있는 유연물의 상면의 단을 변형시키도록 로봇 암(11)을 제어한다. 구체적으로는, 제어부(12)는 접촉 위치 결정부(17)에 의해 결정된 접촉 위치에 있어서 로봇 암(11)이 유연물을 소정의 힘으로 누르는 것에 의해 유연물의 단을 변형시키도록 로봇 암(11)을 제어한다. 본 실시 형태에서는, 제어부(12)는 접촉 위치 결정부(17)에 의해 결정된 접촉 위치인, 최상단의 유연물의 상면의 단을, 측면 방향으로부터 로봇 암(11)의 엔드 이펙터(113)에 의해 누르도록 제어한다. 변형을 발생시키기 위한 동작이 단지 누르는 동작이기 때문에 용이하게 변형을 실현할 수 있다.

또한, 본 실시 형태에서는, 이렇게 유연물의 단을 가로 방향으로부터 누르지만, 파지 위치의 판정 시, 다른 위치에 대하여 로봇 암(11)이 변위를 부여해도 된다. 예를 들어, 제어부(12)는 최상단의 유연물의 상면에 있어서, 단으로부터 소정의 거리만큼 이격된 위치를 상측으로부터 누르도록 제어해도 된다. 또한, 본 실시 형태에서는, 제어부(12)는 접촉 위치에 있어서 유연물을 누르도록 제어하지만, 제어부(12)는 유연물의 단을 변형시키기 위해서, 이러한 동작에 한하지 않고, 로봇 암(11)의 다른 동작에 의해 유연물을 변위시켜도 된다. 예를 들어, 접촉 위치 결정부(17)에 의해 결정된 접촉 위치에 있어서 유연물을 인장하거나 하는 것과 같은, 다른 동작에 의한 변위의 부여에 의해, 유연물의 단의 변형이 행하여져도 된다. 또한, 학습 완료 모델을 작성하기 위하여 사용되는 훈련 데이터(학습 연산부(14)에서 사용되는 훈련 데이터)에 포함되는 화상 데이터는, 파지 위치의 판정 시에 행하여지는 로봇 암(11)에 의한 변형 방법과 같은 변형 방법에 의해 변형된 유연물의 화상 데이터이다.

또한, 제어부(12)는 파지 위치 판정부(18)에 의해 파지에 적합한 영역이라고 판정된 부위를 파지 위치로 하고, 파지 대상의 유연물을 파지하도록 로봇 암(11)을 제어한다. 본 실시 형태에서는, 제어부(12)는 파지에 적합한 영역이라고 판정된 단을, 가로 방향으로부터 파지하여 유연물을 파지하도록 로봇 암(11)을 제어하지만, 파지에 적합하다고 판정된 단의 근방을, 임의의 방향으로부터 파지하여 유연물을 파지해도 된다.

제어부(12), 훈련 데이터 취득부(13), 학습 연산부(14), 화상 데이터 취득부(16), 접촉 위치 결정부(17), 및 파지 위치 판정부(18)는 예를 들어, 파지 장치(1)가 구비하는 메모리 등의 기억 장치에 기억된 여러가지 명령을 포함하는 프로그램이, 파지 장치(1)가 구비하는 프로세서에 의해 실행됨으로써 실현된다. 또한, 모델 기억부(15)는 파지 장치(1)가 구비하는 메모리 등의 기억 장치에 의해 구성된다. 여기서, 프로세서는, CPU(Central Processing Unit), MPU(Micro Processing Unit), 또는 GPU(Graphics Processing Unit)여도 되고, 다른 종류의 프로세서여도 된다. 메모리는, 휘발성 메모리여도 되고, 불휘발성 메모리여도 된다.

이어서, 파지 장치(1)의 동작에 대해서, 흐름도를 사용하여 설명한다.

도 5는, 파지 장치(1)에 의한 학습 처리의 흐름을 도시하는 흐름도이다.

학습 처리에서는, 먼저, 스텝 10(S10)에 있어서, 훈련 데이터 취득부(13)가 훈련 데이터를 취득한다. 스텝 10에서 취득되는 훈련 데이터는, 라벨 구비가 행하여진 상술한 제1 화상 데이터 및 제2 화상 데이터를 포함한다.

다음으로 스텝 11(S11)에 있어서, 학습 연산부(14)가 스텝 10에서 취득된 훈련 데이터를 사용하여, 파지에 적합한 부위를 판정하는 CNN의 학습을 위한 소정의 연산 처리를 행한다.

이어서, 스텝 12(S12)에 있어서, 모델 기억부(15)는 스텝 11의 연산 처리의 완료에 의해 파라미터의 값이 결정된 학습 완료 모델을 기억한다.

도 6은, 파지 장치(1)가 파지 대상물을 파지할 때의 처리의 흐름을 도시하는 흐름도이다.

파지의 실행 시에는, 먼저, 스텝 20(S20)에 있어서, 화상 데이터 취득부(16)가 촬상 장치(10)에 의해 물체가 촬상된 화상 데이터를 취득한다.

이어서, 스텝 21(S21)에 있어서, 접촉 위치 결정부(17)가 파지 대상물인 유연물을 변형시키기 위한 접촉 위치를 결정한다. 본 실시 형태에서는, 접촉 위치 결정부(17)는 구체적으로는, 도 7의 흐름도에 도시하는 처리에 의해, 접촉 위치를 결정한다.

이하, 도 7의 흐름도를 참조하여, 접촉 위치 결정부(17)의 처리의 상세에 대하여 설명한다.

먼저, 스텝 210(S210)에 있어서, 접촉 위치 결정부(17)는 파지 대상물인 유연물이 놓여 있는 평면을 검출한다. 즉, 접촉 위치 결정부(17)는 화상 데이터 취득부(16)에 의해 취득된 화상 데이터에 대하여 소정의 화상 해석 처리를 행하여, 평면을 검출한다.

이어서, 스텝 211(S211)에 있어서, 접촉 위치 결정부(17)는 스텝 210에서 검출된 평면으로부터 상측에 화상 내에 있어서 존재하는 덩어리를 소정의 화상 해석 처리를 행하여 검출하고, 당해 화상으로부터 잘라낸다.

이어서, 스텝 212(S212)에 있어서, 접촉 위치 결정부(17)는 스텝 211에서 잘라낸 덩어리의 화상에 대하여 소정의 에지 검출 처리를 행한다. 이 에지 검출 처리에 의해 검출된 에지는, 파지 대상물(쌓아 올려진 유연물)의 윤곽에 상당한다.

이어서, 스텝 213(S213)에 있어서, 접촉 위치 결정부(17)는 쌓아 올려진 유연물의 상면의 단을 접촉 위치로서 결정한다. 이것을 실현하기 위해서, 구체적으로는, 접촉 위치 결정부(17)는 스텝 212에서 검출된 에지 중 가장 높은 위치(가장 상측의 위치)에 존재하는 에지의 위치를 접촉 위치로서 결정한다.

이상과 같이 하여, 접촉 위치가 결정되면, 처리는 스텝 22(도 5 참조)로 이행한다.

스텝 22(S22)에 있어서, 파지 대상물의 단을 변형시키기 위해서, 제어부(12)는 스텝 21에서 결정한 접촉 위치를 엔드 이펙터(113)에 의해 가로 방향으로부터 누르도록 로봇 암(11)을 제어한다(도 8 참조).

이어서, 스텝 23(S23)에 있어서, 화상 데이터 취득부(16)가 촬상 장치(10)에 의해 물체가 촬상된 화상 데이터를 취득한다. 또한, 스텝 23에서 취득되는 화상 데이터에는, 스텝 22에 의한 변형이 발생한 파지 대상물이 촬상되어 있다. 천 제품 등에서는, 엔드 이펙터(113)를 이격한 후에도, 눌린 것에 의한 변형이 유지된다. 이 때문에, 스텝 23에서는, 엔드 이펙터(113)를 유연물로부터 이격한 상태에서 촬상된 화상 데이터가 취득되어도 된다.

스텝 24(S24)에 있어서, 파지 위치 판정부(18)는 파지에 적합한 위치에 대한 판정 처리를 행한다. 즉, 파지 위치 판정부(18)는 스텝 23에서 취득된 화상 데이터에 찍혀 있는 파지 대상물의 부위가 파지에 적합한 부위인지 여부를, 학습 완료 모델을 사용하여 판정한다. 파지에 적합한 위치가 발견된 경우(스텝 25(S25)에서 "예"), 처리는, 스텝 26으로 이행한다. 파지에 적합한 위치가 발견되지 않은 경우(스텝 25에서 "아니오"), 처리는 스텝 20으로 되돌아간다. 처리가 스텝 20으로 되돌아간 경우, 예를 들어, 전회와는 상이한 방향으로부터 촬영된 화상 데이터에 대해서, 스텝 20 이후의 처리가 반복되게 된다. 이에 의해, 다른 단에 대해서도, 마찬가지로, 파지에 적합한 위치에 대한 판정 처리가 행하여진다.

스텝 26(S26)에 있어서, 파지 대상물을 파지하기 위해서, 제어부(12)는 스텝 24에서 파지에 적합하다고 판정된 위치를 엔드 이펙터(113)에 의해 가로 방향으로부터 파지하도록 로봇 암(11)을 제어한다.

이렇게 구성된 파지 장치(1)에 의하면, 파지 위치의 판정 시, 로봇 암(11)에 의해 유연물의 상면의 단이 변형된다. 하나로 정리된 단과, 그러한 단이 아닌 단은, 변형의 양태는 상이하다. 즉, 파지 위치 판정부(18)는 파지에 적합한 부위인지 여부에 따라 양태가 서로 다른 화상을 사용하여 판정을 행하게 된다. 이 때문에, 파지 위치 판정부(18)는 적절한 파지 위치를 판별하는 것이 가능하다. 또한, 파지 장치(1)는 상술한 접촉 위치 결정부(17)를 갖는다. 이 때문에, 변형을 발생시키기 위한 접촉 위치를 자율적으로 결정할 수 있다. 즉, 파지 장치(1)에서는, 제어부(12)가 접촉 위치 결정부(17)에 의해 결정된 접촉 위치에 따라서 제어를 행하므로, 파지 장치(1)에 자율적으로 유연물을 변형시킬 수 있다.

또한, 본 발명은 상기 실시 형태에 한정된 것은 아니고, 취지를 일탈하지 않는 범위에서 적절히 변경하는 것이 가능하다. 예를 들어, 상기 실시 형태에서는, 파지 장치(1)가 도 3에 도시한 모든 구성 요소를 포함했지만, 이들 중 일부가 다른 장치에 포함되어도 된다. 예를 들어, 도 9에 도시한 바와 같은 시스템이 구축되어도 된다.

도 9는, 촬상 장치(10)와, 서버(3)와, 파지 장치(4)를 갖는 파지 시스템(2)에 대하여 도시하는 모식도이다. 도 9에 도시하는 파지 시스템(2)은 촬상 장치(10)가 파지 장치(4)가 아니라, 공간 내에 설치되어 있다. 또한, 도 3에 도시한 구성 요소 중, 훈련 데이터 취득부(13), 학습 연산부(14), 모델 기억부(15), 및 파지 위치 판정부(18)를 서버(3)가 구비하고, 기타의 구성 요소를 파지 장치(4)가 구비하고 있다. 이 경우, 제어부(12), 화상 데이터 취득부(16), 및 접촉 위치 결정부(17)는 예를 들어, 파지 장치(4)가 구비하는 메모리 등의 기억 장치에 기억된 여러가지 명령을 포함하는 프로그램이, 파지 장치(4)가 구비하는 프로세서에 의해 실행됨으로써 실현된다. 또한, 훈련 데이터 취득부(13), 학습 연산부(14) 및, 파지 위치 판정부(18)는 예를 들어, 서버(3)가 구비하는 메모리 등의 기억 장치에 기억된 여러가지 명령을 포함하는 프로그램이, 서버(3)가 구비하는 프로세서에 의해 실행됨으로써 실현된다. 또한, 모델 기억부(15)는 서버(3)가 구비하는 메모리 등의 기억 장치에 의해 구성된다. 촬상 장치(10)와 파지 장치(4) 간에서는, 화상 데이터의 송수신이 행하여진다. 즉, 파지 장치(4)의 화상 데이터 취득부(16)는 촬상 장치(10)로부터 송신되고, 파지 장치(4)에 의해 수신된 화상 데이터를 취득한다. 또한, 서버(3)와 파지 장치(4) 사이에서는, 파지 위치 판정부(18)의 처리에 필요한 화상 데이터의 송수신 및 파지 위치 판정부(18)에 의한 처리 결과의 송수신이 행하여진다.

또한, 도 9는 분산 처리의 일례이며, 다른 조합, 또는 다른 장치에 의해 분산 처리가 행하여져도 된다. 도 3에 도시한 구성예 및 도 9에 도시한 구성예에 한하지 않고, 예를 들어, 학습 연산부(14)에 의한 처리를 서버가 실행하고, 파지 위치 판정부(18)에 의한 처리를 파지 장치에 의해 행하도록 시스템이 구성되어도 되고, 반대로, 학습 연산부(14)에 의한 처리를 파지 장치가 실행하고, 파지 위치 판정부(18)에 의한 처리를 서버에 의해 행하도록 시스템이 구성되어도 된다.

또한, 상술한 프로그램은, 여러가지 타입의 비일시적인 컴퓨터 가독 매체(non-transitory computer readable medium)를 사용하여 저장되고, 컴퓨터에 공급할 수 있다. 비일시적인 컴퓨터 가독 매체는, 여러가지 타입의 실체가 있는 기록 매체(tangible storage medium)를 포함한다. 비일시적인 컴퓨터 가독 매체의 예는, 자기 기록 매체(예를 들어 플렉시블 디스크, 자기 테이프, 하드디스크 드라이브), 광자기 기록 매체(예를 들어 광자기 디스크), Compact Disc Read Only Memory(CD-ROM), CD-R, CD-R/W, 반도체 메모리(예를 들어, 마스크 ROM, Programmable ROM(PROM), Erasable PROM(EPROM), 플래시 ROM, Random Access Memory(RAM))를 포함한다. 또한, 프로그램은, 여러가지 타입의 일시적인 컴퓨터 가독 매체(transitory computer readable medium)에 의해 컴퓨터에 공급되어도 된다. 일시적인 컴퓨터 가독 매체의 예는, 전기 신호, 광신호, 및 전자파를 포함한다. 일시적인 컴퓨터 가독 매체는, 전선 및 광 파이버 등의 유선 통신로, 또는 무선 통신로를 통하여, 프로그램을 컴퓨터에 공급할 수 있다.

이상 설명한 본 개시에 의하면, 본 개시의 실시 형태가 여러 가지로 변형될 수 있음은 자명하다. 이러한 변형은 본 개시의 사상 및 범위로부터 벗어나는 것으로 간주되어서는 안 되며, 통상의 기술자에게 자명한 이러한 모든 변형은 아래의 청구범위 내에 포함되는 것으로 의도된다.

Claims (3)

1. 물체를 촬상한 화상 데이터를 포함하는 훈련 데이터를 취득하는 훈련 데이터 취득부와,
   상기 훈련 데이터 취득부가 취득한 상기 훈련 데이터를 사용하여 기계 학습의 연산을 행하는 학습 연산부를
   갖고,
   상기 화상 데이터는, 절첩되어 중첩된 상태의 유연물이며, 당해 유연물의 상면의 단이 규칙적인 적층 패턴 형상으로부터 변형된 상태의 유연물이 찍혀 있는 제1 화상 데이터 및 제2 화상 데이터를 포함하고,
   상기 제1 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리된 단인 화상 데이터이며,
   상기 제2 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리되어 있지 않은 단인 화상 데이터이며,
   상기 학습 연산부는, 상기 훈련 데이터를 사용하여, 유연물에 있어서의 파지에 적합한 부위를 학습하는 연산을 행하는
   학습 장치.
2. 물체를 촬상한 화상 데이터에 기초하여, 당해 물체의 부위에 대한 파지의 적부를 정량화한 값으로서 출력하도록, 컴퓨터를 기능시키기 위한 학습 완료 모델이며,
   상기 학습 완료 모델을 구성하는 뉴럴 네트워크의 가중 계수는, 물체를 촬상한 화상 데이터를 포함하는 훈련 데이터를 사용하여 학습되고 있고,
   상기 훈련 데이터에 포함되는 상기 화상 데이터는, 절첩되어 중첩된 상태의 유연물이며, 당해 유연물의 상면의 단이 규칙적인 적층 패턴 형상으로부터 변형된 상태의 유연물이 찍혀 있는 제1 화상 데이터 및 제2 화상 데이터를 포함하고,
   상기 제1 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리된 단인 화상 데이터이며,
   상기 제2 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리되어 있지 않은 단인 화상 데이터이며,
   상기 학습 완료 모델은, 상기 뉴럴 네트워크의 입력층에 입력된, 절첩되어 중첩된 상태의 유연물이 찍혀 있는 화상 데이터에 대하여 상기 가중 계수에 따른 연산을 실행시켜, 상기 화상 데이터에 찍혀 있는 상기 유연물의 부위가 파지에 적합한지 여부를 상기 뉴럴 네트워크의 출력층으로부터 출력시키도록 컴퓨터를 기능시키는
   학습 완료 모델이 저장된 비일시적인 컴퓨터 가독 매체.
3. 물체를 촬상한 화상 데이터를 포함하는 훈련 데이터를 취득하고,
   취득한 상기 훈련 데이터를 사용하여, 유연물에 있어서의 파지에 적합한 부위를 판정하기 위한 기계 학습 연산을 행하고,
   상기 화상 데이터는, 절첩되어 중첩된 상태의 유연물이며, 당해 유연물의 상면의 단이 규칙적인 적층 패턴 형상으로부터 변형된 상태의 유연물이 찍혀 있는 제1 화상 데이터 및 제2 화상 데이터를 포함하고,
   상기 제1 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리된 단인 화상 데이터이며,
   상기 제2 화상 데이터는, 상기 상면의 단이 절첩에 의해 하나로 정리되어 있지 않은 단인 화상 데이터인
   학습 방법.

Images