KR20230004506A

KR20230004506A - 두부류 검사 장치, 두부류 제조 시스템, 두부류의 검사 방법, 및 프로그램

Info

Publication number: KR20230004506A
Application number: KR1020227036201A
Authority: KR
Inventors: 토이치로 타카이; 모토나리 아마노; 유스케 세토
Original assignee: 가부시키가이샤 타카이세이사쿠쇼
Priority date: 2020-04-30
Filing date: 2021-04-30
Publication date: 2023-01-06
Also published as: CN115335855A; US20230145715A1; JP2022008924A; WO2021221176A1

Abstract

두부류 검사 장치로서, 검사 대상이 되는 두부류를 촬영하는 촬상부와, 두부류의 촬영 화상을 포함하는 학습용 데이터를 사용하여 기계 학습을 행함으로써 생성된, 입력 데이터로 나타내어지는 두부류의 품질의 판정을 행하기 위한 학습 완료 모델에 대해, 상기 촬상부에 의해 촬영된 두부류의 촬영 화상을 입력 데이터로서 입력함으로써 얻어지는 출력 데이터로서의 평가치를 이용하여, 해당 촬영 화상으로 나타내어지는 두부류의 품질을 판정하는 검사 수단을 갖는다.

Description

두부류 검사 장치, 두부류 제조 시스템, 두부류의 검사 방법, 및 프로그램

[0001] 본원 발명은, 두부류 검사 장치, 두부류 제조 시스템, 두부류의 검사 방법, 및 프로그램에 관한 것이다.

[0002] 종래, 제조물의 품질 관리로서, 제조 라인에 있어서의 제조물의 양품(良品)·불량품을 검출하고, 불량품으로서 판정된 것을 출하 대상에서 제거하는 검사 동작이 행해지고 있다. 이와 같은 검사 동작은, 제조물의 제조 라인의 자동화가 진행되는 요즈음에도, 사람의 경험이나 육안에 의존하는 경우가 많아, 그 인적 부담은 큰 것이었다.

[0003] 이와 같은 제조물의 제조 라인의 자동화에 관하여, 제조물의 품질을 향상시키기 위해 다양한 방법이 개시되어 있다. 특허문헌 1에서는, 두부나 곤약 등의 직육면체 형상의 제조물을 대상으로 하여, 광절단법을 이용해 형상 결손을 검사하는 장치가 개시되어 있다. 특허문헌 2에서는, 식품의 양품·불량품을 자동 선별하기 위해, 인공지능(AI: Artificial Intelligence)에 의한 심층 학습과 다변량 해석의 수법을 적용하는 기술이 개시되어 있다. 특허문헌 3에서는, 유부 등의 제조 기계에 있어서, 제조 시의 제어 파라미터를 학습 데이터로서 뉴로 시뮬레이터로 학습시키고, 그 학습 결과로서 얻어지는 정보를 이용하여, 그 이후의 제조 시의 제어 파라미터를 결정하는 것이 개시되어 있다. 특허문헌 4에서는, 식품의 이물질 검출에 있어서, 양품만의 화상 정규화 데이터를 콘볼루션 뉴럴 네트워크로부터 커널 화상이 추출되도록 미리 심층 학습된 식별 수단을 이용하여, 반송(搬送) 중인 실(實)화상과의 차분(差分)을 계산하고, 이물질이나 양품의 식별을 행하는 것이 기재되어 있다.

일본 특허공개공보 제2001-133233호 일본 특허공개공보 제2019-211288호 일본 특허공개공보 H06-110863호 일본 특허공개공보 제2019-174481호

[0005] 그러나, 예컨대, 두부나 유부 등은, 제조 시의 상황이나 원재료의 품질 등에 따라 미묘한 변화가 생기는 것으로 상정된다. 또한, 제조 필요수(必要數)나 폐기율 등의 제조 조건에 따라, 양품·불량품으로서 판단하기 위한 판단 기준도 적시에 변동시킬 필요가 있다. 종래, 이와 같은 판단은 사람에 의해 행해졌고, 판단 기준도 사람의 경험 등에 따라 조정되었었다. 그 때문에, 사람에 의한 작업을 필요로 하게 되어, 작업 부하는, 컸다. 상기의 선행 기술에서는, 이와 같은 두부류의 제조 시의 특성에 근거한 관점에서의 검사가 이루어지지 못하여, 사람 손(人手)에 의한 검사의 부하를 경감할 수 없었다.

[0006] 상기 과제를 감안하여, 본원 발명은, 두부류의 제조 시의 특성을 고려하면서, 사람 손에 의한 검사의 부하를 경감하는 것을 목적으로 한다.

[0007] 상기 과제를 해결하기 위해 본원 발명은 이하의 구성을 갖는다. 즉,

두부류 검사 장치로서,

검사 대상이 되는 두부류를 촬영하는 촬상부와,

두부류의 촬영 화상을 포함하는 학습용 데이터를 사용하여 기계 학습을 행함으로써 생성된, 입력 데이터로 나타내어지는 두부류의 품질의 판정을 행하기 위한 학습 완료 모델에 대해, 상기 촬상부에 의해 촬영된 두부류의 촬영 화상을 입력 데이터로서 입력함으로써 얻어지는 출력 데이터로서의 평가치를 이용하여, 해당 촬영 화상으로 나타내어지는 두부류의 품질을 판정하는 검사 수단을 갖는다.

[0008] 또한, 본원 발명의 다른 한 형태로서 이하의 구성을 갖는다. 즉,

두부류의 검사 방법으로서,

검사 대상이 되는 두부류의 촬영 화상을 취득하는 취득 공정과,

두부류의 촬영 화상을 포함하는 학습용 데이터를 사용하여 기계 학습을 행함으로써 생성된, 입력 데이터로 나타내어지는 두부류의 품질의 판정을 행하기 위한 학습 완료 모델에 대해, 상기 취득 공정에서 취득된 두부류의 촬영 화상을 입력 데이터로서 입력함으로써 얻어지는 출력 데이터로서의 평가치를 이용하여, 해당 촬영 화상으로 나타내어지는 두부류의 품질을 판정하는 검사 공정을 갖는다.

[0009] 또한, 본원 발명의 다른 한 형태로서 이하의 구성을 갖는다. 즉,

프로그램은, 컴퓨터로 하여금,

두부류의 촬영 화상을 포함하는 학습용 데이터를 사용하여 기계 학습을 행함으로써 생성된, 입력 데이터로 나타내어지는 두부류의 품질의 판정을 행하기 위한 학습 완료 모델에 대해, 상기 취득 공정에서 취득된 두부류의 촬영 화상을 입력 데이터로서 입력함으로써 얻어지는 출력 데이터로서의 평가치를 이용하여, 해당 촬영 화상으로 나타내어지는 두부류의 품질을 판정하는 검사 공정을 실행하게 한다.

[0010] 본원 발명에 의해, 두부류의 제조 시의 특성을 고려하면서, 사람 손에 의한 검사의 부하를 경감하는 것이 가능해진다.

[0011] 도 1은, 본원 발명에 따른 두부류 제조 시스템의 전체 구성의 예를 나타낸 개략 구성도이다.
도 2는, 본 실시형태에 따른 두부류의 반송을 설명하기 위한 개략도이다.
도 3은, 제1 실시형태에 따른 제어 장치의 기능 구성의 예를 나타낸 블록도이다.
도 4는, 제1 실시형태에 따른 학습 처리의 개요를 설명하기 위한 개념도이다.
도 5는, 제1 실시형태에 따른 제어 장치의 처리의 플로차트이다.
도 6은, 제2 실시형태에 따른 학습 처리의 개요를 설명하기 위한 개념도이다.

[0012] 이하에서는, 본원 발명을 실시하기 위한 형태에 대해 도면 등을 참조하여 설명한다. 또한, 이하에 설명하는 실시형태는, 본원 발명을 설명하기 위한 일 실시형태로서, 본원 발명을 한정하여 해석되는 것을 의도하는 것은 아니며, 또한, 각 실시형태에서 설명되어 있는 모든 구성이 본원 발명의 과제를 해결하는 데 필수적인 구성이라고는 할 수 없다. 또한, 각 도면에 있어서, 동일한 구성 요소에 대해서는, 동일한 참조 번호를 닮으로써 대응 관계를 나타낸다.

[0013] ＜제1 실시형태＞

이하에서는, 본원 발명의 제1 실시형태에 대해 설명을 행한다.

[0014] 우선, 본원 발명의 검사 대상으로서의 제조물인 두부류의 제조 시에 있어서의 특성에 대해 설명한다. 두부류는, 원재료나 제조 환경 등의 영향으로 인해, 제품의 형상이나 외관이 변동되기 쉽다는 특성이 있다. 예컨대, 두부류의 일종인 유부 등에서는, 생지의 팽창 상태나 튀김유의 열화의 진행 정도 등에 따라 외관이 변동될 수 있다. 또한, 두부류는, 제조 환경에도 영향을 받기 때문에, 제조 장소, 매일의 환경 변화, 제조 기계의 상태 등에 따라서도 제품의 형상이나 외관이 변동될 수 있다. 즉, 두부류는, 예컨대, 전자 기기 등의 공업 제품과 비교하여, 형상이나 외관이 다양해질 수 있다.

[0015] 또한, 두부류의 제조물을 사람 손으로 검사할 때에는, 그 날의 제조 조건(제조 필요수나 폐기율 등) 등에 입각하여, 품질의 판단 기준을 경험 등을 통해 미세 조정(微調整)하는 것 등이 행해지고 있다. 즉, 두부류의 품질의 판단 기준은, 제조자나 제조의 타이밍 등에 따라 변동시킬 필요성이 생길 수 있다. 나아가서는, 두부류는, 지역성이나, 제조자 또는 구입자의 기호성 등도 고려한 후에 제조를 행하는 경우가 있어, 이와 같은 관점에서도 품질의 판단 기준은 다양성이 생길 수 있다.

[0016] 본원 발명의 제1 실시형태에서는, 상기와 같은 두부류의 제조에 있어서의 특성을 고려한 두부류의 검사 방법에 대해 설명을 행한다.

[0017] [구성 개요]

도 1은, 본 실시형태에 따른 두부류 제조 시스템(이하, 단순히 「제조 시스템」)의 전체 구성을 나타낸 개략 구성도이다. 제조 시스템에 있어서, 제어 장치(1), 검사 장치(2), 배제 장치(5), 제1 반송 장치(6), 제2 반송 장치(7), 및 격납 장치(8)를 포함하여 구성된다. 여기서는, 제조물을 「두부류」로서 통틀어 기재하지만, 여기에 포함되는 보다 상세한 분류는 특별히 한정되는 것은 아니다. 두부류로서는, 예컨대, 유부, 유부초밥용 유부, 얇은 유부, 튀긴 두부, 설튀긴 두부, 간모도키(유부의 한 종류이며 두부를 으깨어 당근, 연근, 우엉 등과 섞어 기름에 튀긴 것) 등이 포함되어도 된다. 또한, 두부류로서, 예컨대, 충전두부, 비단두부, 목면두부, 구운 두부(grilled tofu), 또는 얼린 두부 등이 포함되어도 된다. 또한, 이들의 중간의 생지, 포장 전후의 제품, 냉각·냉동·가열 전후의 제품이어도 된다. 이하의 설명에 있어서 제조물(두부류)에 대해, 일정한 품질 이상(즉, 양품)이라고 판정된 제조물을 P로 나타내고, 일정한 품질보다 낮은 것(즉, 불량품)이라고 판정된 제조물을 P'로 나타낸다. 또한, 제조물을 포괄적으로 설명하는 경우에는 상기 부호를 생략하고 설명한다.

[0018] 제어 장치(1)는, 검사 장치(2)에서 취득한 화상에 근거하여, 배제 장치(5)의 동작을 제어한다. 검사 장치(2)는, 촬상부(3)와 조사부(照射部)(4)를 구비한다. 촬상부(3)는, CCD(Charge Coupled Device) 카메라나 CMOS(Complementary Metal-Oxide-Semiconductor) 카메라 등의 에어리어 카메라나, 라인 스캔 카메라에 의해 구성되며, 제1 반송 장치(6)에 의해 반송되고 있는 제조물을 촬영한다. 조사부(4)는, 촬상부(3)에 의한 촬영 시에, 보다 적절한 화상을 취득하기 위해 제1 반송 장치(6)(즉, 검사 대상인 제조물)에 대해 광을 조사한다. 검사 장치(2)에 의한 촬영 동작은, 제어 장치(1)로부터의 지시에 근거하여 행해져도 된다. 배제 장치(5)는, 제어 장치(1)로부터의 지시에 근거하여, 제1 반송 장치(6)에 의해 반송되고 있는 제조물 중에서 불량품으로서 특정된 제조물(P')을 집어내어, 격납 장치(8)로 운반한다.

[0019] 도 1에서는, 배제 장치(5)로서, 병렬 링크 로봇(parallel link robot)의 예를 나타내고 있지만, 직렬 링크 로봇(serial link robot)이 이용되어도 된다. 또한, 배제 장치(5)로서, 직동(直動) 실린더가 이용되어도 된다. 또한, 배제 장치(5)는, 복수의 핑거부(指部)를 구비하는 손 형상의 파지(把持) 수단이나, 진공 흡착 패드식이나 선회 기류 흡착식 등의 지지(保持) 수단 등으로 구성되어도 된다. 또한, 배제 장치(5)는, 양팔 로봇이나, 협동 로봇 등으로 구성되어도 된다. 본 실시형태에 따른 배제 장치(5)나 검사 장치(2) 등은, 두부류와 같은 식품을 취급하기 때문에, 예컨대, 전자 기기의 방수·방진의 규격인 IP 규격(Ingress Protection Standard)에서 일정한 품질을 갖는 것이 바람직하다. 구체적으로는, IP 규격이 54 이상인 방수·방진 등급이 바람직하고, IP65 이상이 보다 바람직하다.

[0020] 제1 반송 장치(6)는, 복수의 제조물을 소정의 반송 방향으로 반송한다. 여기서 반송되는 제조물은, 1열로 반송되어도 되고, 복수 열로 나열된 상태로 반송되어도 된다. 행렬 형상(行列狀) 내지는 엇갈린 형상(千鳥狀)으로 정연하게 나열된 상태가 바람직하지만, 제조물은, 겹치지 않는 상태로 랜덤으로 반송되고 있어도 된다. 제1 반송 장치(6)의 반송 경로상에, 검사 장치(2)에 의한 검사 영역(즉, 촬상부(3)에 의한 촬영 영역)이 설치된다.

[0021] 도 2는, 본 실시형태에 따른 제1 반송 장치(6)에 있어서, 제조물이 반송되고 있는 상태를 설명하기 위한 개념도이다. 도 2에 나타낸 화살표 A는, 제조물의 반송 방향을 나타낸다. 또한, 영역(R)은, 촬상부(3)에 있어서의 촬상 범위를 나타내며, 조사부(4)에 의해 광이 조사되는 영역이기도 하다. 여기서는, 3열로 제조물이 반송되고 있는 예를 나타낸다. 또한, 제조물에 대한 검사의 결과, 양품으로 판정된 제조물(P)과, 불량품으로 판정된 제조물(P')이 각각 나타나 있다. 여기서의 불량품의 예로서는, 형상에 결손이나 깨짐이 발생한 것이나, 표면 상에 이물질이 검출된 것 등을 들 수 있다.

[0022] 배제 장치(5)는, 제1 반송 장치(6)의 반송 경로상에서 제조물(P')을 집어낼 수 있도록, 3축 방향(X축, Y축, Z축) 중 어디로도 동작 가능하게 구성된다. 또한, 축 방향 및 원점의 설정은 임의이며, 도면에서는 생략한다. 본 실시형태에 따른 제1 반송 장치(6)는, 무단(無端; 이음매가 없음) 벨트로 구성되며, 이 무단 벨트가 계속적으로 회전됨으로써 제조물이 소정의 반송 방향(예컨대, 도 2의 화살표 A의 방향)으로 반송된다. 또한, 도 1에는 나타내고 있지 않지만, 제1 반송 장치(6)의 반송 방향 상류 측에는, 제조물의 제조를 행하는 기계가 설치되고, 제조된 제조물이 순차적으로 반송되어 오는 것으로 한다. 또한, 제1 반송 장치(6)에 의해 반송되는 제조물의 상태는 특별히 한정되는 것은 아니며, 예컨대, 포장 전의 제조물 자체만인 상태여도 되고, 제조물이 포장된 상태여도 된다. 즉, 본 실시형태에 따른 검사는, 포장 전의 제조물에 대해 행해져도 되고, 포장 후의 제조물에 대해 행해져도 된다. 또는, 포장 전후로 모두 검사가 행해져도 된다.

[0023] 제2 반송 장치(7)는, 제1 반송 장치(6)로부터 반송되어 온 복수의 제조물(P)을 받아, 소정의 반송 방향으로 반송한다. 도 1의 예에서는, 제1 반송 장치(6)의 반송 방향과, 제2 반송 장치(7)의 반송 방향은 직교하며, 행렬 배열에서 일렬 배열로 변경하여 반송하고 있는 예를 나타내고 있다. 제1 반송 장치(6)의 반송 속도와, 제2 반송 장치(7)의 반송 속도는, 동일해도 되고, 상이해도 된다. 제1 반송 장치(6) 및 제2 반송 장치(7)는 각각, 컨베이어식(예컨대, 벨트 컨베이어, 네트 컨베이어, 바 컨베이어, 또는 슬랫 밴드 체인 등)으로 구성되어도 되며, 특별히 한정되지 않는다. 도시하지 않지만, 제2 반송 장치(7)는 제조물(P)(양품만)을 적층(stacking)하여 반송하거나, 반전시켜 반송하거나, 정렬시켜 반송해도 된다. 그 후, 추가적인 반송 장치를 구비해도 되고, 적당한 곳에, 추가적인 검사 장치나 추가적인 배제 장치를 구비해도 된다. 이 경우에 확장되는 반송 장치, 검사 장치, 또는 배제 장치는, 상술한 제1 반송 장치(6), 제2 반송 장치(7), 검사 장치(2), 또는 배제 장치(5)와 동등한 구성이어도 되고, 상이한 구성이어도 된다.

[0024] 격납 장치(8)는, 불량품으로서 판정된 제조물(P')이 격납된다. 격납된 제조물(P')은, 격납 장치(8)를 통해 다른 장소로 반송되는 구성이어도 되고, 사람 손으로 제거되는 구성이어도 된다. 또한, 불량품으로서 판정된 제조물(P')은, 폐기되어도 되고, 다른 용도(예컨대, 생지 재생이나 잘게 썬 유부 등의 가공품)로 이용되어도 된다.

[0025] 도 1의 예에서는, 불량품으로 판정된 제조물(P')을 배제 장치(5)에 의해 배제하는 구성을 나타내었지만, 이에 한정되는 것은 아니다. 예컨대, 양품으로 판정되는 제조물(P)과, 불량품으로 판정되는 제조물(P')의 비율에 따라, 반송되고 있는 제조물 중에서 양품으로 판정된 제조물(P)을 정렬 장치(미도시)로 집어내고 후속하는 반송 장치로 운반하여 정렬시키는 구성이어도 된다. 이때, 제조물(P)의 박스 포장이나, 수직 방향 또는 수평 방향으로 소정의 수(예컨대, 유부의 경우에 10장 등)를 겹치는 정렬 등의 동작을 정렬 장치(미도시)로 하여금 행하게 해도 된다. 또는, 배제 장치(5)를 이용하여 불량품으로 판정된 제조물(P')을 배제하면서, 중계 장치(미도시)를 이용하여 양품으로 판정된 제조물(P)을 제1 반송 장치(6)로부터 제2 반송 장치(7)로 운반하는 구성이어도 된다. 혹은, 제조물을 일정 간격으로 반송하는 반송 장치에 있어서, 반송 경로상에 분기를 설치하여, 양품으로 판정된 제조물(P)과, 불량품으로 판정된 제조물(P')이 다른 경로로 진행하도록 반송을 전환하여 분류가 행해지는 구성이어도 된다. 이와 같은 판정 결과에 따라 제조물을 배제하거나 선별하는 분류 기능은, 예컨대, 플리퍼(flipper)식, 업아웃식, 드롭아웃식, 에어제트식, 트립식, 캐리어식, 푸셔식, 슈트식, 셔틀식, 채널라이저식, 터치라인 셀렉터식 등의 기구(機構)가 반송 경로상에 설치됨으로써 실현되어도 된다.

[0026] 또한, 도 1의 예에서는, 제조 시스템에 있어서, 각 장치에 의해 제조물의 반송이나 분류 등이 행해지는 구성을 나타내었지만, 이에 한정되는 것은 아니다. 예컨대, 분류의 일부에 사람 손에 의한 작업이 행해지는 구성이어도 된다. 예컨대, 불량품으로 판정된 제조물(P')을 작업자가 육안으로 확인할 수 있도록, 제조 시스템에 의해 통지(報知)하고, 작업자는 그 제조물(P')을 제거하는 작업을 행하는 구성이어도 된다. 여기서의 통지는, 예컨대, 표시 장치(미도시)에서 불량품이라고 판정된 제조물(P')의 화상을 표시함으로써 행해져도 되고, 반송 장치 상에서 제조물(P')에 대해 라이트 등으로 조명을 비춤으로써 통지해도 된다. 이때, 작업자는 제조 시스템으로부터 통지된 제조물을 확인한 후, 그 제조물을 실제로 제거할지의 여부를 판단해도 된다.

[0027] [장치 구성]

도 3은, 본 실시형태에 따른 제어 장치(1)의 기능 구성의 예를 나타낸 블록도이다. 제어 장치(1)는, 예컨대, PC(Personal Computer) 등의 정보 처리 장치 등이어도 된다. 도 3에 나타낸 각 기능은, 미도시된 제어부가, 미도시된 기억부에 기억된 본 실시형태에 따른 기능의 프로그램을 읽어내어 실행함으로써 실현되어도 된다. 기억부로서는, 휘발성의 기억 영역인 RAM(Random Access Memory)이나, 불휘발성의 기억 영역인 ROM(Read Only Memory)이나 HDD(Hard Disk Drive) 등이 포함되어도 된다. 제어부로서는, CPU(Central Processing Unit), GPU(Graphical Processing Unit), 또는 GPGPU(General-Purpose computing on Graphics Processing Units) 등이 사용되어도 된다.

[0028] 제어 장치(1)는, 검사 장치 제어부(11), 배제 장치 제어부(12), 학습용 데이터 취득부(13), 학습 처리부(14), 검사 데이터 취득부(15), 검사 처리부(16), 검사 결과 판정부(17), 및 표시 제어부(18)를 포함하여 구성된다.

[0029] 검사 장치 제어부(11)는, 검사 장치(2)를 제어하고, 촬상부(3)의 촬영 타이밍이나 촬영 설정의 제어, 조사부(4)의 조사 타이밍이나 조사 설정의 제어를 행하게 한다. 배제 장치 제어부(12)는, 제조물에 대한 양품/불량품의 판정 결과에 근거하여, 배제 장치(5)를 제어하여 제1 반송 장치(6)의 반송 경로상의 제조물(P')을 배제시킨다.

[0030] 학습용 데이터 취득부(13)는, 학습 처리부(14)에서 행해지는 학습 처리에 사용되는 학습용 데이터를 취득한다. 학습용 데이터의 상세한 내용은 후술하겠지만, 학습용 데이터는, 예컨대 제조 시스템의 관리자의 조작에 근거하여 입력되어도 된다. 학습 처리부(14)는, 취득한 학습용 데이터를 사용하여 학습 처리를 행하고, 학습 완료 모델을 생성한다. 본 실시형태에 따른 학습 처리의 상세한 내용은 후술한다. 검사 데이터 취득부(15)는, 검사 장치(2)에 의해 촬영된 화상을 검사 데이터로서 취득한다. 검사 처리부(16)는, 검사 데이터 취득부(15)에서 취득한 검사 데이터에 대해, 학습 처리부(14)에서 생성한 학습 완료 모델을 적용함으로써, 검사 데이터로 촬영되고 있는 제조물에 대한 검사를 행한다.

[0031] 검사 결과 판정부(17)는, 검사 처리부(16)에 의한 검사 결과에 근거하여, 배제 장치 제어부(12)에 대한 제어 내용을 결정한다. 그리고, 검사 결과 판정부(17)는, 결정한 제어 내용에 근거한 신호를 배제 장치 제어부(12)에 출력한다. 표시 제어부(18)는, 검사 결과 판정부(17)에 의한 판정 결과에 근거하여, 표시부(미도시)에서 표시되는 표시 화면(미도시)의 제어를 행한다. 표시 화면(미도시)에는, 예컨대, 검사 결과 판정부(17)에 의한 판정 결과에 근거하여 불량품으로서 판정된 제조물의 통계치나, 불량품으로서 판정된 제조물(P')의 실제의 화상 등이 표시되어도 된다.

[0032] [학습 처리]

본 실시형태에 있어서는, 학습 수법으로서 기계 학습 중 뉴럴 네트워크에 의한 딥 러닝(심층 학습)의 수법을 이용하고, 교사 학습(supervised learning)을 예로 들어 설명한다. 또한, 딥 러닝의 보다 구체적인 수법(알고리즘)은 특별히 한정되는 것은 아니며, 예컨대, 콘볼루션 뉴럴 네트워크(CNN: Convolutional Neural Network) 등 공지된 방법이 이용되어도 된다. 도 4는, 본 실시형태에 따른 학습 처리의 개념을 설명하기 위한 개략도이다. 본 실시형태에서 사용되는 학습용 데이터는, 입력 데이터로서의 제조물의 화상 데이터와, 교사 데이터로서의 해당 제조물에 대해 사람(두부류의 제조자)이 평가한 평가치의 쌍으로 구성된다. 여기서는, 평가치로서, 0~100의 값을 설정하고, 숫자가 클수록 평가가 보다 높은 것으로서 취급한다. 또한, 평가치의 입도(granularity)는 이에 한정되는 것은 아니며, 예컨대, A, B, C의 3단계나, 양품/불량품의 2값(2値)으로 행해져도 되고, 복수의 불량품 항목마다의 평가치로 행해져도 된다. 또한, 제조물에 대한 평가치의 정규화의 방법은 상기에 한정되는 것은 아니며, 다른 분류를 이용해도 된다. 또한, 뉴럴 네트워크 이외의 기계 학습으로서, 결정 트리(decision tree), 서포트 벡터 머신, 랜덤 포레스트, 회귀 분석(다변량 해석, 중회귀 분석) 등, 넓은 의미(廣義)에서의 기계 학습이라면, 특별히 한정되지 않는다.

[0033] 학습 모델에 대해, 학습용 데이터로서 준비된 입력 데이터(여기서는, 두부류의 화상 데이터)를 입력하면, 그 입력 데이터에 대한 출력 데이터로서, 평가치가 출력된다. 다음으로, 이 출력 데이터와, 학습용 데이터로서 준비된 교사 데이터(여기서는, 화상 데이터로 나타내어지는 두부류에 대한 평가치)를 사용하여, 손실 함수에 의해 오차를 도출한다. 그리고, 그 오차가 작아지도록, 학습 모델에 있어서의 각 파라미터가 조정된다. 파라미터의 조정에는, 예컨대, 오차 역전파법 등을 이용해도 된다. 이와 같이 하여, 복수의 학습용 데이터를 사용하여 반복 학습이 행해짐으로써, 학습 완료 모델이 생성된다.

[0034] 본 실시형태에서 이용하는 학습 모델은, 전혀 학습이 행해져 있지 않은 상태로부터 학습용 데이터를 사용하여 학습을 행하는 구성이어도 된다. 그러나, 최적의 학습 완료 모델을 얻으려면, 많은 학습용 데이터를 필요로 하고, 또한, 그 학습용 데이터를 사용한 학습 처리의 반복에 의한 처리 부하도 높다. 그 때문에, 새로운 학습용 데이터에 의한 학습 완료 모델의 갱신도 사용자(예컨대, 두부류의 제조자)에게는 부담이 되는 경우가 있다. 그 때문에, 화상을 식별하는 목적을 위해, 방대한 수의 화상 데이터에 대해, 일정 정도의 학습이 진행된 학습 모델의 파라미터를 이용해도 된다. 화상 인식이라는 점에 특화되어 딥 러닝에 의한 학습 처리가 진행된 학습 모델은, 화상 인식의 대상이 상이하더라도 공통적으로 활용할 수 있는 부분을 포함한다. 그 화상 인식에 강화된 학습 모델은, 이미 수십~수백층의 콘볼루션층(convolution layer)이나 풀링층(pooling layer)에 있어서의 파라미터의 조정이 진행되고 있다. 본 실시형태에서는, 예컨대, 그 입력 측의 대부분의 콘볼루션층의 파라미터의 값은 변경하지 않고 고정하고, 출력 측의 몇 개의 층(예컨대, 마지막 1층~몇 층만)에 대해, 신규한 학습용 데이터(ex. 두부류의 화상)를 학습시켜 파라미터의 조정을 행하는, 이른바 전이 학습(transfer learning)된 학습 모델을 이용해도 된다. 이와 같은 전이 학습 모델을 이용하면, 신규의 학습용 데이터의 수는 비교적 적은 수(少數)로 해결되어, 재학습의 처리 부하를 억제하면서, 학습 완료 모델의 갱신도 용이하게 행할 수 있다는 메리트가 있다.

[0035] 또한, 학습 처리는, 반드시 제어 장치(1)가 실행할 필요는 없다. 예컨대, 제조 시스템은, 학습용의 데이터의 제공을, 제조 시스템의 외부에 설치된 학습용의 서버(미도시)에 대해 행하고, 해당 서버 측에서 학습 처리를 행하는 구성이어도 된다. 그리고, 필요에 따라, 해당 서버가 제어 장치(1)에 학습 완료 모델을 제공하는 구성이어도 된다. 이와 같은 학습용의 서버는, 예컨대 인터넷 등의 네트워크(미도시)상에 위치해도 되고, 서버와 제어 장치(1)는, 통신 가능하게 접속되어 있는 것으로 한다.

[0036] [처리 플로(flow)]

이하에서는, 본 실시형태에 따른 제어 장치(1)의 처리 플로에 대해, 도 5를 이용하여 설명한다. 이하에 나타내는 처리는, 예컨대, 제어 장치(1)가 구비하는 CPU(미도시)나 GPU(미도시)가 HDD 등의 기억 장치(미도시)에 기억된 프로그램을 읽어내어 실행함으로써 실현된다. 또한, 이하의 처리는, 제조 시스템이 동작하고 있는 동안, 계속적으로 행해져도 된다.

[0037] S501에서, 제어 장치(1)는, 학습 처리가 행해짐으로써 생성된 학습 완료 모델 중, 최신의 학습 완료 모델을 취득한다. 학습 모델에 대해 학습 처리가 적시에 반복적으로 행해짐에 따라, 학습 완료 모델은 그때마다 갱신된다. 그 때문에, 제어 장치(1)는, 본 처리가 개시되었을 때의 최신의 학습 완료 모델을 취득하고, 이후의 처리에서 이용하는 것으로 한다.

[0038] S502에서, 제어 장치(1)는, 검사 장치(2)에 대해, 제1 반송 장치(6)의 반송 경로상의 촬영을 개시하게 한다. 또한, 제어 장치(1)는, 제1 반송 장치(6) 및 제2 반송 장치(7)을 동작시켜, 제조물의 반송을 개시하게 한다.

[0039] S503에서, 제어 장치(1)는, 제1 반송 장치(6)에 의한 제조물의 반송에 따라, 검사 장치(2)로부터 적시에 송신되어 오는 검사 데이터(제조물의 화상)를 취득한다. 또한, 반송 경로상에 있어서, 반송되어 오는 제조물 간의 반송 간격이나, 각각의 제조물이 배치되는 반송 위치가 미리 규정되어 있는 경우에는, 그 위치에 근거하여 제조물의 화상을 별개로 촬영해도 된다. 또는, 검사 장치(2)로부터 적시에 송신되어 오는 검사 데이터가 동영상인 경우에는, 그 동영상 안에서 소정 간격으로 프레임 추출을 행하고, 그 프레임을 화상 데이터로서 취급해도 된다. 제조물의 화상은, 촬영한 미가공(生; raw) 화상 데이터를 그대로 사용해도 된다. 또한, 미가공 화상 데이터에 대해, 데이터 클렌징 처리(사람이 보고 특징을 알기 어려운 데이터를 제외함)나 확장(augmentation) 처리(노이즈를 늘린 복수의 화상이나 밝기를 조정한 복수의 화상 등의 것도 학습용 데이터에 추가함)를 적절히 행함으로써, 학습용 데이터로 해도 된다. 또한, 미가공 화상 데이터에 대해 임의의 화상 처리를 적용한 가공 화상 데이터를 학습용 데이터로 사용해도 된다. 임의의 화상 처리로서는, 예컨대, 윤곽 처리(에지 처리), 위치 보정 처리(회전, 중심 위치 이동 등), 밝기 보정, 농담 보정, 콘트라스트 변환, 콘볼루션 처리, 차분(일차 미분, 이차 미분), 이진화(binarization), 노이즈 제거(평활화), 윤곽 평활화, 실시간 농담 보정, 바림 처리, 실시간 차분, 콘트라스트 확장, 필터 계수 처리(평균화, 메디안, 수축, 팽창) 등의 각종 필터 처리 등이 이용되어도 된다. 이들 전처리나 데이터 가공에 의해, 학습용 데이터의 수의 삭감이나 조정, 학습 효율 향상, 외란(外亂) 영향의 경감 등의 메리트가 있다.

[0040] S504에서, 제어 장치(1)는, S503에서 취득한 검사 데이터(제조물의 화상 데이터)를 학습 완료 모델에 입력한다. 이에 의해, 출력 데이터로서, 해당 검사 데이터로 나타내어지는 제조물의 평가치가 출력된다. 이 평가치에 따라, 검사 대상인 제조물의 양품/불량품이 판정된다.

[0041] S505에서, 제어 장치(1)는, S504에서 얻어진 평가치에 근거하여, 검사 대상인 제조물이 불량품인지의 여부를 판정한다. 불량품을 검출한 경우(S505에서 YES), 제어 장치(1)의 처리는 S506으로 진행된다. 한편, 불량품을 검출하고 있지 않은 경우(S505에서 NO), 제어 장치(1)의 처리는 S507로 진행된다.

[0042] 예컨대, 평가치를 0~100으로 평가하는 구성에 있어서는, 평가치에 대한 임계치를 설정해 두고, 이 임계치와, 학습 완료 모델로부터 출력된 평가치의 비교에 의해, 검사 대상으로 하는 제조물이 양품인지 불량품인지를 판정해도 된다. 이 경우에 있어서, 제조물의 양품/불량품의 판단 기준이 되는 임계치는, 제조 시스템의 관리자(예컨대, 두부류의 제조자)가 임의의 타이밍에 설정 화면(미도시)을 통해 설정할 수 있는 구성이어도 된다. 상술한 바와 같이, 본 실시형태에 있어서 검사 대상으로 하는 두부류는, 다양한 요인에 따라 외관이나 형상이 변화할 수 있다. 이와 같은 변화를 고려하여, 관리자가, 학습 완료 모델에서 얻어진 출력 데이터에 대한 임계치를 제어할 수 있는 구성이어도 된다. 또한, 평가치를 A, B, C로 평가하는 구성에 있어서는, 평가치 A 및 B를 양품으로 하고, 평가치 C를 불량품으로서 취급하는 구성이어도 된다. 이때, 평가치 A인 제조물을 양품으로 하고, 평가치 B인 제조물을 준(準)양품으로서 취급해도 된다. 또한, 복수의 임계치를 설정해 두고, 양품과 불량품의 중간에 위치하는 준양품을 판정할 때에 이용해도 된다.

[0043] S506에서, 제어 장치(1)는, S505에서 불량품으로서 검출된 제조물을 배제하도록, 배제 장치(5)에 지시를 하여 제어한다. 이때, 제어 장치(1)는, 불량품으로서 검출된 제조물(P')을 배제하기 위해, 검사 장치(2)로부터 취득한 검사 데이터나 제1 반송 장치(6)의 반송 속도 등으로부터, 배제 대상이 되는 제조물(P')의 위치를 특정한다. 또한, 제조물의 위치의 특정 수법은, 공지된 방법을 이용해도 되며, 여기서의 상세한 설명은 생략한다. 이 제어 장치(1)로부터의 지시에 근거하여, 배제 장치(5)는, 배제 대상이 되는 제조물(P')을 격납 장치(8)로 운반한다.

[0044] 또한, 두부류는, 외관상의 품질이 일정한 기준을 만족하고 있지 않은 경우라 하더라도, 다른 가공품의 원료로서 전용(轉用)하는 것이 가능해지는 경우가 있다. 그 때문에, 예컨대, 평가치를 A, B, C로 평가하는 구성에 있어서, 평가치 A를 양품으로 하고, 평가치 B를 가공용으로 하고, 평가치 C를 불량품으로서 취급하는 구성이어도 된다. 혹은, 가공용으로서 전용하는 경우에, 그 전용처(轉用處)에 따라, 더 많은 분류를 이용해도 된다. 이 경우, 제어 장치(1)는, 평가치 B로서 판정된 제조물을 가공품용의 격납 장치(미도시)에 격납하도록, 배제 장치(5)를 제어해도 된다. 전용하는 가공품의 예로서는, 유부로부터 잘게 썬 유부를 제조하는 것이나, 두부로부터 간모도키를 제조하거나, 곱게 페이스트상(狀)으로 한 액(재생액)을 콩액(吳液; 불린 대두를 물과 함께 간 것)이나 두유에 섞어 재이용하는 것 등을 들 수 있다.

[0045] S507에서, 제어 장치(1)는, 제조 동작이 정지하였는지의 여부를 판정한다. 제조 동작의 정지는, 제1 반송 장치(6)의 상류로부터 제조물의 공급이 행해지지 않게 되었음을 검지(檢知)한 것에 따라 판정해도 되고, 상류의 장치로부터의 통지에 근거하여 판정해도 된다. 제조 동작이 정지한 경우(S507에서 YES), 제어 장치(1)의 처리는 S508로 진행된다. 한편, 제조 동작이 정지하지 않은 경우(S507에서 NO), 제어 장치(1)의 처리는 S503으로 되돌아가서, 해당하는 처리를 반복한다.

[0046] S508에서, 제어 장치(1)는, 제1 반송 장치(6)에 의한 반송 동작을 정지시킨다. 또한, 제어 장치(1)는, S501에서 취득한 학습 완료 모델에 대해 초기화 처리를 행하는 동작을 실시해도 된다. 그리고, 본 처리 플로를 종료한다.

[0047] 또한, S503에서 취득한 검사 데이터는, 금후의 학습 처리에 사용하기 위해 기억하는 구성이어도 된다. 이 경우, 취득한 검사 데이터를 학습용의 화상 데이터가 되도록 화상 처리를 행하는 구성이어도 된다.

[0048] [표시 처리]

본 실시형태에 있어서, 두부류의 제조물에 대해 행한 검사 결과로서, 불량품으로서 판정된 제조물(P')의 화상을 표시부(미도시)에서 표시할 때, 그 불량품으로서 판정된 근거(불량 부분)를 표시하는 구성이어도 된다. 상술한 바와 같은 뉴럴 네트워크의 학습에 있어서는, GRAD-CAM이나 Guided Grad-CAM과 같은 가시화 수법이 있다. 이와 같은 수법을 이용하여, 검사 대상인 제조물이 불량품으로서 판정되었을 때 그 근거로서 착안(着目)한 영역을 특정하고, 가시화하여 표시하는 구성이어도 된다. 또한, 양품으로서 판정된 제조물의 경우라 하더라도, 그 평가치가 불량품으로서 판정되는 평가치에 가까운 경우에는, 상기와 같은 수법을 이용하여 착안한 영역을 특정하고, 표시하는 구성이어도 된다.

[0049] 이상, 본 실시형태에 의해, 두부류의 제조 시의 특성을 고려하면서, 사람 손에 의한 검사의 부하를 경감하는 것이 가능해진다.

[0050] 또한, 제조 환경이나 원재료 등에 의해 외관의 영향을 받기 쉬운 두부류에 있어서, 제조자(예컨대, 제조 시스템의 관리자)가 상황에 따라 양품·불량품을 판정할 수 있는 기준을 반영할 수 있기 때문에, 제조자에게 맞춘 품질 판정이 가능해진다.

[0051] ＜제2 실시형태＞

이하에서는, 본원 발명의 제2 실시형태에 대해 설명을 행한다. 제1 실시형태에서는, 학습 처리로서 교사 학습을 이용한 예에 대해 설명하였다. 이에 반해, 본원 발명의 제2 실시형태로서, 학습 처리로서 비교사 학습(unsupervised learning)을 이용한 예에 대해 설명한다. 또한, 제1 실시형태와 중복되는 구성에 대해서는, 설명을 생략하고, 차분에 착안하여 설명을 행한다.

[0052] [학습 처리]

본 실시형태에 있어서는, 학습 수법으로서 기계 학습 중 뉴럴 네트워크에 의한 딥 러닝(심층 학습)의 수법을 이용하고, 비교사 학습을 예로 들어 설명한다. 또한, 딥 러닝의 보다 구체적인 수법(알고리즘)은 특별히 한정되는 것은 아니며, 오토 인코더(VAE: Variational Auto-Encoder) 등 공지된 방법이 이용되어도 된다. 도 6은, 본 실시형태에 따른 학습 처리의 개념을 설명하기 위한 개략도이다.

[0053] 본 실시형태에서 사용되는 학습용 데이터는, 제조물의 화상 데이터이다. 여기서의 화상 데이터는, 제조 시스템의 관리자(예컨대, 두부류의 제조자)가 양품이라고 판단한 제조물(두부류)의 화상 데이터만이 사용된다. 종래, 불량품으로 판정되어야 할 제조물을 나타내는 베리에이션의 교사 데이터(화상 데이터) 모두를 준비하는 것은 곤란하다. 그 때문에, 본 실시형태에서는, 양품의 화상 데이터만을 사용하여 학습을 행하고, 양품인지의 여부를 판단하기 위한 학습 완료 모델을 생성한다.

[0054] 본 실시형태에 따른 학습 모델은, 인코더와 디코더로 구성된다. 인코더는, 입력 데이터를 사용하여 복수 차원으로 구성되는 벡터 데이터를 생성한다. 디코더는, 인코더로 생성된 벡터 데이터를 사용하여 화상 데이터의 복원을 행한다.

[0055] 학습 모델에 대해, 학습용 데이터로서 준비된 입력 데이터(여기서는, 두부류(양품)의 화상 데이터)를 입력하면, 인코더와 디코더의 동작에 의해, 해당 입력 데이터에 대한 출력 데이터로서, 복원된 두부류(양품)의 화상 데이터가 출력된다. 다음으로, 이 출력 데이터와, 원래의 입력 데이터(즉, 두부류(양품)의 화상 데이터)를 사용하여, 손실 함수에 의해 오차를 도출한다. 그리고, 그 오차가 작아지도록, 학습 모델에 있어서의 인코더와 디코더 각각의 파라미터가 조정된다. 파라미터의 조정에는, 예컨대, 오차 역전파법 등을 이용해도 된다. 이와 같이 하여, 복수의 학습용 데이터를 사용하여 반복 학습이 행해짐으로써, 두부류(양품)의 화상 데이터를 복원할 수 있는 학습 완료 모델이 생성된다.

[0056] 본 실시형태에 있어서는, 상기 학습 완료 모델을 이용하여 불량품의 검지를 행하는 검지 기능을 실현한다. 상기 학습 완료 모델에 대해 두부류의 화상 데이터를 입력하고, 그 출력으로서 얻어지는 복원된 화상 데이터와, 입력된 화상 데이터를 비교하여, 그 차분이 소정의 임계치보다 큰 경우에는, 입력된 화상 데이터가 나타내는 두부류는 불량품으로서 판정된다. 한편, 차분이 소정의 임계치 이하인 경우에는, 입력된 화상 데이터가 나타내는 두부류는 양품으로서 판정된다. 다시 말해, 양품으로서 판정되는 두부류의 화상 데이터로부터, 얼마나 차분이 있는지에 따라, 입력된 화상 데이터가 나타내는 제조물이 불량품인지의 여부를 판정한다. 여기서의 임계치는, 차분이 되는 영역의 사이즈(예컨대, 화소수)에 대한 임계치여도 되고, 차분이 되는 영역의 수에 대한 임계치여도 된다. 또는, 화상 상에 있어서의 화소값(RGB값)의 차이를 이용해도 된다.

[0057] 또한, 학습 모델의 중간 단계에 있어서의 벡터 데이터(잠재 변수)의 차원수는, 특별히 한정되는 것은 아니며, 제조 시스템의 관리자(예컨대, 두부류의 제조자)가 지정해도 되고, 공지된 수법을 이용하여 결정해도 된다. 차원수는, 처리 부하나 검출 정밀도에 따라 결정해도 된다.

[0058] [처리 플로]

본 실시형태에 따른 처리 플로는, 제1 실시형태에서 도 5를 이용하여 설명한 처리 플로와 기본적인 흐름은 동일하다. 이때, 도 6으로 나타낸 비교사 학습에 의한 학습 처리가 이미 행해져 있고, 학습 완료 모델이 생성되어 있는 것으로 한다. 처리의 차이로서는, S504의 처리 내용이 다르다.

[0059] S504에서, 제어 장치(1)는, 비교사 학습에 의해 생성된 학습 완료 모델에, 검사 대상인 제조물을 나타내는 화상 데이터를 입력한다. 그 결과, 복원된 화상 데이터가 얻어진다. 제어 장치(1)는, 이 재현된 화상 데이터와, 입력된 화상 데이터 간의 차분을 구한다. 그리고, 제어 장치(1)는, 그 차분이 소정의 임계치보다 큰 경우에는, 입력된 화상 데이터가 나타내는 두부류는 불량품으로서 판정한다. 한편, 제어 장치(1)는, 상기 차분이 소정의 임계치 이하인 경우에는, 입력된 화상 데이터가 나타내는 두부류는 양품으로서 판정한다. 여기서의 차분은, 도 6에 나타낸 손실 함수를 이용하여 산출해도 된다. 즉, 상기 차분이 입력된 화상 데이터에 대한 평가치로서 취급할 수 있다. 판정 시에 이용하는 소정의 임계치는, 제조 시스템의 관리자(예컨대, 두부류의 제조자)가 임의의 타이밍에 임의의 값을 설정해도 되고, 제조 시스템이 소정의 조건에 근거하여 설정해도 된다. 여기서의 설정 조건으로서는, 예컨대, 제조 필요수나, 폐기율 등에 근거하여 설정되어도 된다.

[0060] [표시 처리]

본 실시형태에 있어서, 두부류의 제조물에 대해 행한 검사 결과로서, 불량품이나 준양품 등 양품이 아닌 것으로서 판정된 제조물(P')의 화상을 표시부(미도시)에서 표시할 때, 그 불량품이나 준양품으로서 판정된 근거나 원인을 표시하는 구성이어도 된다. 상술한 바와 같은 오토 인코더에서는, 입력 데이터와 출력 데이터의 비교에 의해, 그 차분이 되는 위치를 특정할 수 있다. 이 특정된 위치에 대해, 아이콘(빨간 동그라미 등)을 부여하거나, 색구분하거나 함으로써 가시화하여 표시하는 구성이어도 된다.

[0061] 본 실시형태에서는, 두부류(양품)의 화상 데이터만을 사용하여 학습을 행하고, 그 학습 결과로서 얻어진 학습 완료 모델을 이용하여 두부류의 제조물에 대한 양품/불량품의 판정을 행한다.

[0062] 본 실시형태에 있어서, 상기 S504의 공정에서 양품으로 판정된 제조물(P)을 나타내는 화상 데이터는, 이후의 학습용 데이터로서 사용되도록 보유되어도 된다. 이 경우, 보유된 화상 데이터는, 학습용 데이터로서 사용할지의 여부를 제조 시스템의 관리자에게 선택할 수 있게 제시되어도 된다.

[0063] 이상, 본 실시형태에 의해, 비교사 학습을 이용함으로써, 제1 실시형태의 효과에 더하여, 학습용 데이터의 생성에 관련된 수고를 줄이게 하는 것이 가능해진다.

[0064] ＜기타 실시형태＞

상기의 실시형태에서는, 도 1에 나타낸 바와 같이, 검사 장치(2)는, 제조물의 한쪽 면(도 1에서는 상면)만을 촬영하고, 검사하는 구성을 나타내었다. 그러나, 이에 한정되는 것은 아니며, 예컨대, 표면에 더하여, 이면(裏面)이나 측면의 화상을 취득하여 검사하는 구성이어도 된다. 이 경우, 복수의 검사 장치(2)를 구비하고, 복수의 검사 장치(2) 각각이 구비하는 촬상부(카메라)에 의해, 복수의 방향으로부터 제조물을 촬영하는 구성이어도 된다. 예컨대, 제1 촬상부(미도시)가 제1 방향으로부터 제조물의 표면을 촬영하도록 설치되고, 제2 촬상부(미도시)가 제2 방향으로부터 해당 제조물의 이면을 촬영하도록 설치되어도 된다. 또는, 제1 반송 장치(6)에 있어서 반송 경로상에서 제조물을 반전시키는 구성(반전 기구)을 설치하여, 반전 전후로 각각 제조물을 촬영하고, 각 촬영 화상을 이용하여 검사를 행하는 구성이어도 된다. 이때, 제조물의 표면, 이면, 측면 각각에 대해 상이한 학습 완료 모델을 이용하여 검사를 행해도 된다. 즉, 제1 반송 장치(6)에 의해 반송되는 제조물의 종류나 포장 상태 등에 따라, 표면, 이면, 측면 각각의 상이한 학습용 데이터를 사용하여 학습을 행해 둠으로써 각 면에 대응한 학습 완료 모델을 생성한다. 그리고, 촬영 방향에 대응한 이들 학습 완료 모델을 이용하여 검사를 행하는 구성이어도 된다.

[0065] 또한, 상기의 실시형태에서는, 도 1에 나타낸 바와 같이 조사부(4)는, 제조물에 대해 촬상부(3)(카메라)와 동일한 방향으로부터 광을 조사하는 구성을 나타내었다. 그러나, 이 구성에 한정되는 것은 아니며, 예컨대, 촬상부(3)와 조사부(4)는 각각, 제조물에 대향하는 위치나 방향이 상이해도 된다. 이 구성인 경우, 조사부(4)는, 예컨대, 제조물에 대해 적외선의 파장을 조사하는 광원을 구비하고, 촬상부(3)는, 제조물의 투과광, 투과 반사광, 또는 투과 산란광에 근거한 화상 데이터를 취득하는 구성이어도 된다. 그리고, 그 화상 데이터가 나타내는 제조물의 내부 정보에 근거하여, 제조물의 검사를 행하는 구성이어도 된다.

[0066] 이상과 같이, 본 명세서에는 다음의 사항이 개시되어 있다.

(1) 검사 대상이 되는 두부류를 촬영하는 촬상부와,

두부류의 촬영 화상을 포함하는 학습용 데이터를 사용하여 기계 학습을 행함으로써 생성된, 입력 데이터로 나타내어지는 두부류의 품질의 판정을 행하기 위한 학습 완료 모델에 대해, 상기 촬상부에 의해 촬영된 두부류의 촬영 화상을 입력 데이터로서 입력함으로써 얻어지는 출력 데이터로서의 평가치를 이용하여, 해당 촬영 화상으로 나타내어지는 두부류의 품질을 판정하는 검사 수단을 갖는 것을 특징으로 하는 두부류 검사 장치.

이 구성에 의하면, 두부류의 제조 시의 특성을 고려하면서, 사람 손에 의한 검사의 부하를 경감할 수 있다.

[0067] (2) 상기 검사 수단은, 상기 입력 데이터에 대한 평가치와 소정의 임계치의 비교에 의해, 해당 입력 데이터로 나타내어지는 두부류의 품질을, 양품을 포함하는 복수의 분류로 판정하는 것을 특징으로 하는 (1)에 기재된 두부류 검사 장치.

이 구성에 의하면, 미리 설정된 임계치를 기준으로 하여 두부류의 품질을 양품을 포함하는 복수의 분류로 판정할 수 있다.

[0068] (3) 상기 소정의 임계치의 설정을 접수하는 설정 수단을 더 갖는 것을 특징으로 하는 (2)에 기재된 두부류 검사 장치.

이 구성에 의하면, 두부류의 양품/불량품의 판정을 행할 때에 이용되는 기준으로서의 임계치를 두부류의 제조자가 임의로 설정하는 것이 가능해진다.

[0069] (4) 두부류의 새로운(미지의, 미학습의) 촬영 화상을 이용하여 기계 학습을 반복적으로 행함으로써, 상기 학습 완료 모델을 새로 생성 및 갱신하는 학습 처리 수단을 더 갖는 것을 특징으로 하는 (1)~(3) 중 어느 하나에 기재된 두부류 검사 장치.

이 구성에 의하면, 두부류 검사 장치는, 미지(미학습)의 평가치를 갖는 새로운 촬영 화상 데이터에 대해 학습 완료 모델을 갱신해 갈 수 있어, 검사 대상이 되는 두부류에 맞는 학습 처리가 가능해진다.

[0070] (5) 상기 기계 학습은, 두부류의 촬영 화상과, 해당 촬영 화상으로 나타내어지는 두부류의 품질에 대응하는 평가치를 쌍으로 한 학습용 데이터를 사용한 교사 학습인 것을 특징으로 하는 (1)~(4) 중 어느 하나에 기재된 두부류 검사 장치.

이 구성에 의하면, 두부류의 제조자가 설정한 설정치에 근거한 학습용 데이터를 사용하여 교사 학습에 의한 검사를 행하는 것이 가능해진다.

[0071] (6) 상기 평가치는, 소정의 범위의 점수로 표현된 값인 것을 특징으로 하는 (5)에 기재된 두부류 검사 장치.

이 구성에 의하면, 두부류의 제조자가, 두부류에 대해 임의의 범위의 평가치를 정규화하여 설정해 학습용 데이터로서 사용할 수 있고, 그에 근거한 검사 결과를 취득하는 것이 가능해진다.

[0072] (7) 상기 기계 학습은, 두부류의 양품을 나타내는 촬영 화상을 학습용 데이터로서 사용한 비교사 학습인 것을 특징으로 하는 (1)~(3) 중 어느 하나에 기재된 두부류 검사 장치.

이 구성에 의하면, 두부류의 제조자는 양품인 두부류의 화상 데이터만을 준비하면 되어, 학습에 필요로 하는 데이터를 준비하기 위한 부하를 저감하는 것이 가능해진다.

[0073] (8) 상기 검사 수단에 의한 검사 결과에 근거하여, 양품과는 다른 분류로서 판정된 두부류를 나타내는 촬영 화상을 표시하는 표시 수단을 더 갖는 것을 특징으로 하는 (1)~(7) 중 어느 하나에 기재된 두부류 검사 장치.

이 구성에 의하면, 두부류의 제조자는, 양품과는 다른 분류로서 판정된 실제의 두부류의 화상을 확인하는 것이 가능해진다.

[0074] (9) 상기 표시 수단은, 불량품으로 판정된 두부류를 나타내는 촬영 화상에 있어서, 양품과는 다른 분류로서 판정된 원인이 되는 부분을 특정하여 표시하는 것을 특징으로 하는 (8)에 기재된 두부류 검사 장치.

이 구성에 의하면, 두부류의 제조자는, 보다 명확하게 양품과는 다른 분류로서 판정된 실제의 두부류의 화상 및 그 원인을 확인하는 것이 가능해진다.

[0075] (10) 상기 촬상부는,

상기 두부류를 제1 방향으로부터 촬영하는 제1 촬상부와,

상기 두부류를 상기 제1 방향과는 다른 제2 방향으로부터 촬영하는 제2 촬상부

를 포함하여 구성되고,

상기 검사 수단은, 상기 제1 촬상부 및 상기 제2 촬상부 각각에 의해 촬영된 촬영 화상을 입력 데이터로서 사용하는 것을 특징으로 하는 (1)~(9) 중 어느 하나에 기재된 두부류 검사 장치.

이 구성에 의하면, 복수의 시점(視點)에서의 두부류의 검사가 가능해져, 보다 정밀도가 높은 검사가 가능해진다.

[0076] (11) 상기 제1 방향은, 상기 두부류의 표면을 촬영하기 위한 방향이고,

상기 제2 방향은, 상기 두부류의 이면을 촬영하기 위한 방향인

것을 특징으로 하는 (10)에 기재된 두부류 검사 장치.

이 구성에 의하면, 두부류의 표면과 이면에 대한 검사를 행함으로써, 보다 정밀도가 높은 검사가 가능해진다.

[0077] (12) 상기 검사 수단에 있어서, 상기 제1 촬상부에 의해 촬영된 촬영 화상을 입력 데이터로서 사용하는 경우의 학습 완료 모델과, 상기 제2 촬상부에 의해 촬영된 촬영 화상을 입력 데이터로서 사용하는 경우의 학습 완료 모델은 상이한 것을 특징으로 하는 (10) 또는 (11)에 기재된 두부류 검사 장치.

이 구성에 의하면, 두부류의 검사 대상이 되는 방향에 따라 이용하는 학습 완료 모델을 전환함으로써, 그 방향에 맞춘 검사가 가능해져, 보다 정밀도가 높은 검사가 가능해진다.

[0078] (13) 상기 두부류는, 충전두부, 비단두부, 목면두부, 구운 두부, 얼린 두부, 유부, 유부초밥용 유부, 얇은 유부, 튀긴 두부, 설튀긴 두부, 또는, 간모도키 중 어느 것인 것을 특징으로 하는 (1)~(12) 중 어느 하나에 기재된 두부류 검사 장치.

이 구성에 의하면, 두부류로서, 구체적인 종류의 제조물에 대응한 검사가 가능해진다.

[0079] (14) (1)~(13) 중 어느 하나에 기재된 두부류 검사 장치와,

두부류를 반송하는 반송 장치와,

상기 두부류 검사 장치에 의한 검사 결과에 근거하여, 상기 반송 장치에 의해 반송되고 있는 두부류를 분류하는 분류 기구

를 구비하는 것을 특징으로 하는 두부류 제조 시스템.

이 구성에 의하면, 두부류의 제조 시의 특성을 고려하면서, 사람 손에 의한 검사 및 품질에 따른 제조물의 분류의 부하를 경감하는 두부류의 제조 시스템을 제공할 수 있다.

[0080] (15) 상기 두부류 검사 장치에 의한 검사 결과에 근거하여, 상기 분류 기구에 의해 분류된 두부류를 소정의 규칙으로 정렬시키는 정렬 장치를 더 구비하는 것을 특징으로 하는 (14)에 기재된 두부류 제조 시스템.

이 구성에 의하면, 두부류의 제조 시의 특성을 고려하면서, 사람 손에 의한 검사 및 품질에 따른 제조물의 정렬의 부하를 경감하는 두부류의 제조 시스템을 제공할 수 있다.

[0081] (16) 검사 대상이 되는 두부류의 촬영 화상을 취득하는 취득 공정과,

두부류의 촬영 화상을 포함하는 학습용 데이터를 사용하여 기계 학습을 행함으로써 생성된, 입력 데이터로 나타내어지는 두부류의 품질의 판정을 행하기 위한 학습 완료 모델에 대해, 상기 취득 공정에서 취득된 두부류의 촬영 화상을 입력 데이터로서 입력함으로써 얻어지는 출력 데이터로서의 평가치를 이용하여, 해당 촬영 화상으로 나타내어지는 두부류의 품질을 판정하는 검사 공정을 갖는 것을 특징으로 하는 두부류의 검사 방법.

[0082] (17) 컴퓨터로 하여금,

두부류의 촬영 화상을 포함하는 학습용 데이터를 사용하여 기계 학습을 행함으로써 생성된, 입력 데이터로 나타내어지는 두부류의 품질의 판정을 행하기 위한 학습 완료 모델에 대해, 상기 취득 공정에서 취득된 두부류의 촬영 화상을 입력 데이터로서 입력함으로써 얻어지는 출력 데이터로서의 평가치를 이용하여, 해당 촬영 화상으로 나타내어지는 두부류의 품질을 판정하는 검사 공정을 실행하게 하기 위한 프로그램.

[0083] 이상, 도면을 참조하면서 각종 실시형태에 대해 설명하였으나, 본 발명은 이와 같은 예에 한정되지 않음은 물론이다. 당업자라면, 청구범위에 기재된 범주 내에 있어서, 각종 변경예 또는 수정예를 생각해 낼 수 있음은 분명하며, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다. 또한, 발명의 취지를 벗어나지 않는 범위에 있어서, 상기 실시형태에 있어서의 각 구성 요소를 임의로 조합해도 된다.

[0084] 또한, 본 출원은, 2020년 4월 30일에 출원된 일본 특허출원(특허출원 제2020-080296호), 2020년 11월 18일에 출원된 일본 특허출원(특허출원 제2020-191601호)에 기초한 것이며, 그 내용은 본 출원 내에 참조로서 원용된다.

[0085] 1…제어 장치
2…검사 장치
3…촬상부
4…조사부
5…배제 장치
6…제1 반송 장치
7…제2 반송 장치
8…격납 장치
P…제조물(양품)
P'…제조물(불량품)
11…검사 장치 제어부
12…배제 장치 제어부
13…학습용 데이터 취득부
14…학습 처리부
15…검사 데이터 취득부
16…검사 처리부
17…검사 결과 판정부
18…표시 제어부

Claims

검사 대상이 되는 두부류를 촬영하는 촬상부와,
두부류의 촬영 화상을 포함하는 학습용 데이터를 사용하여 기계 학습을 행함으로써 생성된, 입력 데이터로 나타내어지는 두부류의 품질의 판정을 행하기 위한 학습 완료 모델에 대해, 상기 촬상부에 의해 촬영된 두부류의 촬영 화상을 입력 데이터로서 입력함으로써 얻어지는 출력 데이터로서의 평가치를 이용하여, 해당 촬영 화상으로 나타내어지는 두부류의 품질을 판정하는 검사 수단을 갖는 것을 특징으로 하는 두부류 검사 장치.
제1항에 있어서,
상기 검사 수단은, 상기 입력 데이터에 대한 평가치와 소정의 임계치의 비교에 의해, 해당 입력 데이터로 나타내어지는 두부류의 품질을, 양품(良品)을 포함하는 복수의 분류로 판정하는 것을 특징으로 하는 두부류 검사 장치.
제2항에 있어서,
상기 소정의 임계치의 설정을 접수하는 설정 수단을 더 갖는 것을 특징으로 하는 두부류 검사 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
두부류의 새로운 촬영 화상을 이용하여 기계 학습을 반복적으로 행함으로써, 상기 학습 완료 모델을 새로 생성 및 갱신하는 학습 처리 수단을 더 갖는 것을 특징으로 하는 두부류 검사 장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 기계 학습은, 두부류의 촬영 화상과, 해당 촬영 화상으로 나타내어지는 두부류의 품질에 대응하는 평가치를 쌍으로 한 학습용 데이터를 사용한 교사 학습(supervised learning)인 것을 특징으로 하는 두부류 검사 장치.
제5항에 있어서,
상기 평가치는, 소정의 범위의 점수로 표현된 값인 것을 특징으로 하는 두부류 검사 장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 기계 학습은, 두부류의 양품을 나타내는 촬영 화상을 학습용 데이터로서 사용한 비교사 학습(unsupervised learning)인 것을 특징으로 하는 두부류 검사 장치.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 검사 수단에 의한 검사 결과에 근거하여, 양품과는 다른 분류로서 판정된 두부류를 나타내는 촬영 화상을 표시하는 표시 수단을 더 갖는 것을 특징으로 하는 두부류 검사 장치.
제8항에 있어서,
상기 표시 수단은, 양품과는 다른 분류로서 판정된 두부류를 나타내는 촬영 화상에 있어서, 양품과는 다른 분류로서 판정된 원인이 되는 부분을 특정하여 표시하는 것을 특징으로 하는 두부류 검사 장치.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 촬상부는,
상기 두부류를 제1 방향으로부터 촬영하는 제1 촬상부와,
상기 두부류를 상기 제1 방향과는 다른 제2 방향으로부터 촬영하는 제2 촬상부
를 포함하여 구성되고,
상기 검사 수단은, 상기 제1 촬상부 및 상기 제2 촬상부 각각에 의해 촬영된 촬영 화상을 입력 데이터로서 사용하는 것을 특징으로 하는 두부류 검사 장치.
제10항에 있어서,
상기 제1 방향은, 상기 두부류의 표면을 촬영하기 위한 방향이고,
상기 제2 방향은, 상기 두부류의 이면(裏面)을 촬영하기 위한 방향인 것을 특징으로 하는 두부류 검사 장치.
제10항 또는 제11항에 있어서,
상기 검사 수단에 있어서, 상기 제1 촬상부에 의해 촬영된 촬영 화상을 입력 데이터로서 사용하는 경우의 학습 완료 모델과, 상기 제2 촬상부에 의해 촬영된 촬영 화상을 입력 데이터로서 사용하는 경우의 학습 완료 모델은 상이한 것을 특징으로 하는 두부류 검사 장치.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 두부류는, 충전두부, 비단두부, 목면두부, 구운 두부, 얼린 두부, 유부, 유부초밥용 유부, 얇은 유부, 튀긴 두부, 설튀긴 두부, 또는, 간모도키 중 어느 것인 것을 특징으로 하는 두부류 검사 장치.
제1항 내지 제13항 중 어느 한 항에 기재된 두부류 검사 장치와,
두부류를 반송(搬送)하는 반송 장치와,
상기 두부류 검사 장치에 의한 검사 결과에 근거하여, 상기 반송 장치에 의해 반송되고 있는 두부류를 분류하는 분류 기구(機構)
를 구비하는 것을 특징으로 하는 두부류 제조 시스템.
제14항에 있어서,
상기 두부류 검사 장치에 의한 검사 결과에 근거하여, 상기 분류 기구에 의해 분류된 두부류를 소정의 규칙으로 정렬시키는 정렬 장치를 더 구비하는 것을 특징으로 하는 두부류 제조 시스템.
검사 대상이 되는 두부류의 촬영 화상을 취득하는 취득 공정과,
두부류의 촬영 화상을 포함하는 학습용 데이터를 사용하여 기계 학습을 행함으로써 생성된, 입력 데이터로 나타내어지는 두부류의 품질의 판정을 행하기 위한 학습 완료 모델에 대해, 상기 취득 공정에서 취득된 두부류의 촬영 화상을 입력 데이터로서 입력함으로써 얻어지는 출력 데이터로서의 평가치를 이용하여, 해당 촬영 화상으로 나타내어지는 두부류의 품질을 판정하는 검사 공정을 갖는 것을 특징으로 하는 두부류의 검사 방법.
컴퓨터로 하여금,
검사 대상이 되는 두부류의 촬영 화상을 취득하는 취득 공정과,
두부류의 촬영 화상을 포함하는 학습용 데이터를 사용하여 기계 학습을 행함으로써 생성된, 입력 데이터로 나타내어지는 두부류의 품질의 판정을 행하기 위한 학습 완료 모델에 대해, 상기 취득 공정에서 취득된 두부류의 촬영 화상을 입력 데이터로서 입력함으로써 얻어지는 출력 데이터로서의 평가치를 이용하여, 해당 촬영 화상으로 나타내어지는 두부류의 품질을 판정하는 검사 공정을 실행하게 하기 위한 프로그램.