KR20220039707A - 정보 처리 장치, 정보 처리 방법, 조리 로봇, 조리 방법, 및 조리 기구 - Google Patents

Abstract

본 기술은, 요리의 새로운 보기 좋게 담기를 생성할 수 있도록 하는 정보 처리 장치, 정보 처리 방법, 조리 로봇, 조리 방법, 및 조리 기구에 관한 것이다. 본 기술의 일측면의 정보 처리 장치는, 요리의 보기 좋게 담기에 사용된 식재에 관한 정보인 식재 정보, 조리인의 보기 좋게 담기 동작에 관한 정보인 보기 좋게 담기 동작 정보, 및 보기 좋게 담기에 사용된 조리 툴에 관한 정보인 조리 툴 정보를 포함하는 보기 좋게 담기 정보에 기초하여, 새로운 보기 좋게 담기에 관한 정보인 새로운 보기 좋게 담기 정보를 생성한다. 본 기술은, 키친에 준비되는 컴퓨터에 적용할 수 있다.

Description

정보 처리 장치, 정보 처리 방법, 조리 로봇, 조리 방법, 및 조리 기구

본 기술은, 특히, 요리의 새로운 보기 좋게 담기를 생성할 수 있도록 한 정보 처리 장치, 정보 처리 방법, 조리 로봇, 조리 방법, 및 조리 기구에 관한 것이다.

근년, 조리 공정을 동영상으로 공유하는 서비스, 보기 좋게 담긴 요리의 사진을 공유하는 서비스 등에서의 미관을 의식하여, 요리의 보기 좋게 담기에 대한 요구가 높아졌다.

요리에 있어서, 보기 좋게 담기는, 맛, 미관, 스토리 등을 표현하는 방법이라고 할 수 있는 것이다. 예를 들어 레스토랑의 셰프에게는, 항상, 새로운 보기 좋게 담기를 창조할 것이 요구된다.

일본 특허 공표 제2017-506169호 공보 일본 특허 공표 제2017-536247호 공보

요리의 세계에 있어서의 상식이나 문화 등에 따른 고정 개념 또는 경험에 기초하는 고정 개념이 작용함으로써, 새로운 보기 좋게 담기를 계속하여 창조하는 것은 용이하지 않다.

본 기술은 이러한 상황을 감안하여 이루어진 것이며, 요리의 새로운 보기 좋게 담기를 생성할 수 있도록 하는 것이다.

본 기술의 제1 측면의 정보 처리 장치는, 요리의 보기 좋게 담기에 사용된 식재에 관한 정보인 식재 정보, 조리인의 보기 좋게 담기 동작에 관한 정보인 보기 좋게 담기 동작 정보, 및 보기 좋게 담기에 사용된 조리 툴에 관한 정보인 조리 툴 정보를 포함하는 보기 좋게 담기 정보에 기초하여, 새로운 보기 좋게 담기에 관한 정보인 새로운 보기 좋게 담기 정보를 생성하는 보기 좋게 담기 생성부를 구비한다.

본 기술의 제2 측면의 조리 로봇과 제3 측면의 조리 기구는, 요리의 보기 좋게 담기에 사용된 식재에 관한 정보인 식재 정보, 조리인의 보기 좋게 담기 동작에 관한 정보인 보기 좋게 담기 동작 정보, 및 보기 좋게 담기에 사용된 조리 툴에 관한 정보인 조리 툴 정보를 포함하는 보기 좋게 담기 정보에 기초하여 생성된, 새로운 보기 좋게 담기에 관한 정보인 새로운 보기 좋게 담기 정보에 기초하여, 상기 새로운 보기 좋게 담기의 동작을 행하는 제어부를 구비한다.

도 1은 본 기술의 일 실시 형태에 관계되는 정보 처리 장치에 의한 Plating의 제시의 예를 도시하는 도면이다.
도 2는 Plating 주관 평가의 지정에 사용되는 화면의 예를 도시하는 도면이다.
도 3은 Plating 이미지 화상의 지정에 사용되는 화면의 예를 도시하는 도면이다.
도 4는 샘플 화상의 예를 도시하는 도면이다.
도 5는 정보 처리 장치에 대한 입출력의 예를 도시하는 도면이다.
도 6은 학습 데이터의 수집의 모습을 도시하는 도면이다.
도 7은 조리 동작 정보와 Plating 동작 정보의 생성의 흐름의 예를 도시하는 도면이다.
도 8은 Plating 동작 정보를 구성하는 정보의 예를 도시하는 도면이다.
도 9는 Plating 동작의 구체예를 도시하는 도면이다.
도 10은 도 9에 계속되는 Plating 동작의 구체예를 도시하는 도면이다.
도 11은 도 10에 계속되는 Plating 동작의 구체예를 도시하는 도면이다.
도 12는 도 11에 계속되는 Plating 동작의 구체예를 도시하는 도면이다.
도 13은 도 12에 계속되는 Plating 동작의 구체예를 도시하는 도면이다.
도 14는 도 13에 계속되는 Plating 동작의 구체예를 도시하는 도면이다.
도 15는 요리 DB의 예를 도시하는 도면이다.
도 16은 Plating 생성 모델의 학습에 사용되는 정보의 예를 도시하는 도면이다.
도 17은 학습의 예를 도시하는 도면이다.
도 18은 추론 시의 Plating 생성 모델의 상태를 도시하는 도면이다.
도 19는 RNNPB를 사용한 예측의 예를 도시하는 도면이다.
도 20은 Plating 생성 모델이 출력하는 Plating 동작 정보 S(t)의 예를 도시하는 도면이다.
도 21은 정보 처리 장치의 하드웨어의 구성예를 도시하는 블록도이다.
도 22는 정보 처리 장치의 기능 구성예를 도시하는 블록도이다.
도 23은 정보 처리 장치의 처리에 대하여 설명하는 흐름도이다.
도 24는 네트워크 시스템의 구성예를 도시하는 도면이다.
도 25는 제어 시스템의 구성예를 도시하는 도면이다.
도 26은 레시피 데이터의 기술 내용의 예를 도시하는 도면이다.
도 27은 레시피 데이터에 기초하는 요리의 재현의 흐름의 예를 도시하는 도면이다.
도 28은 데이터 처리 장치의 배치예를 도시하는 도면이다.
도 29는 조리 로봇의 외관을 도시하는 사시도이다.
도 30은 조리 암의 모습을 확대하여 도시하는 도면이다.
도 31은 조리 암의 외관을 도시하는 도면이다.
도 32는 조리 암의 각 부의 가동 영역의 예를 도시하는 도면이다.
도 33은 조리 암과 컨트롤러의 접속의 예를 도시하는 도면이다.
도 34는 조리 로봇의 구성예를 도시하는 블록도이다.
도 35는 데이터 처리 장치의 기능 구성예를 도시하는 블록도이다.
도 36은 데이터 처리 장치의 처리에 대하여 설명하는 흐름도이다.
도 37은 제어 시스템의 다른 구성예를 도시하는 도면이다.

<본 기술의 개요>

본 기술은, 요리의 새로운 Plating을 생성하고, 셰프, 요리사, 쿡 등이라고 불리는 조리인에 대하여 제시하는 것이다.

Plating(Food Plating)은 요리의 보기 좋게 담기를 말한다. 조리 완료된 식재 등을 보기 좋게 담는 것에 의해 요리의 완성이 된다. 여기서, 새로운 Plating이란, Plating의 생성측에 준비되어 있는 Plating과는 다른 Plating을 의미한다. 생성측에 준비되어 있는 Plating에 대하여 보기 좋게 담기에 사용하는 식재가 다른 Plating, 보기 좋게 담기 위치가 다른 Plating, 색이 다른 Plating, 보기 좋게 담기에 사용하는 식기가 다른 Plating, 보기 좋게 담기의 순번이 다른 Plating과 같은 것처럼, 요리의 보기 좋게 담기를 구성하는 요소 중 적어도 어느 요소가 다른 Plating이, 새로운 Plating에는 포함된다.

보기 좋게 담기에 사용되는 식재에는, 불을 통과시키거나 열을 가하거나 하여 조리가 행하여진 고기나 생선 등의 식재뿐만 아니라, 부엌칼로 커트한 야채나, 향초나 토마토 등의 식재 그 자체도 포함된다. 염, 후추 등의 조미료, 복수의 조미료를 혼합하여 생성한 소스 등의 액체도, 보기 좋게 담기에 사용되는 식재에 포함된다.

즉, 보기 좋게 담기에 사용되는 식재에는, 최종적으로 완성되는 요리를 구성하는 모든 요소가 포함된다.

또한, 요리는, 조리를 거쳐서 완성되는 성과물을 의미한다. 조리는, 요리를 만드는 과정이나, 요리를 만드는 행위(작업)를 의미한다.

또한, 본 기술은, 요리의 새로운 Plating을 생성하고, 조리 로봇에 있어서 재현시키는 것이다. 조리 로봇은, 요리마다 준비되는 레시피 데이터의 기술에 따라서 조리를 행함과 함께, 그 조리에 의해 가능했던 식재를 보기 좋게 담는 것에 의해 요리를 완성시킨다.

이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 설명은 이하의 순서로 행한다.

1. Plating의 제시

2. Plating 생성 모델의 학습

3. 각 장치의 구성과 동작

4. 조리 로봇의 제어의 예

5. 기타의 예

<Plating의 제시>

도 1은, 본 기술의 일 실시 형태에 관계되는 정보 처리 장치에 의한 Plating의 제시의 예를 도시하는 도면이다.

도 1의 상단에 도시하는 상황은, 조리를 행하고 있는 셰프가, 요리의 Plating을 생각하고 있는 상황이다. 도 1의 예에 있어서는, 태블릿 단말기인 정보 처리 장치(1)가 요리를 행하고 있는 셰프의 옆에 놓여 있다. 정보 처리 장치(1)는 셰프에 의한 요구에 따라서 새로운 Plating을 제시하는 기능을 갖는다.

예를 들어, 말풍선 #1에 나타내는 바와 같이, 「밝고 우아한 이미지의 Plating」을 셰프가 바라고 있는 것으로 한다. 이 예에 있어서는, 「밝고 우아한 이미지」라고 한 것과 같은, Plating의 외견의 주관적인 평가인 Plating 주관 평가를 지정함에 따라, Plating의 제시가 행하여진다.

도 2는, Plating 주관 평가의 지정에 사용되는 화면의 예를 도시하는 도면이다.

도 2에 도시하는 Plating 주관 평가의 지정 화면은, 소정의 조작을 셰프가 행했을 때에 정보 처리 장치(1)의 디스플레이에 표시된다. 도 2의 예에 있어서는, 지정 화면의 대략 중앙에 레이더 차트(11)가 표시되어 있다. 레이더 차트(11)는 Plating 주관 평가의 지정에 사용되는 레이더 차트이다.

레이더 차트(11)는 밝음, 우아함, 거칠음, 심플함, 산뜻함, 사이즈감, 온도감, 천후, 계절감의 9종류의 요소를 축으로 하는 레이더 차트이다. 이 예에 있어서는, Plating 주관 평가가, 밝음, 우아함, 거칠음 등의 9종류의 요소에 의해 표현된다. 예를 들어, 셰프는, 레이더 차트(11) 상의 각 요소의 위치를 손가락으로 직접 접촉하거나 하여, 각각의 요소의 값을 지정한다.

도 2에 도시한 바와 같은 레이더 차트를 사용하여 Plating 주관 평가의 지정이 행해지는 것이 아니라, 음성을 사용하여 행하여지게 해도 된다. Plating 주관 평가의 지정이 음성에 의해 행해진 경우, 정보 처리 장치(1)에 있어서는, 음성 인식, 언어 해석 등이 행하여져, 셰프의 발언 내용의 의미가 특정된다.

Plating 주관 평가의 지정이 레이더 차트 상의 값을 지정함으로써 행하여지는 것이 아니라, 각각의 요소의 값을, 키보드 등을 조작하여 직접 입력하도록 해도 된다.

이러한 Plating 주관 평가의 지정과 함께, 예를 들어, 셰프가 이미지하고 있는 Plating의 화상인 Plating 이미지 화상의 지정이 행하여진다.

도 3은, Plating 이미지 화상의 지정에 사용되는 화면의 예를 도시하는 도면이다.

도 3에 도시한 바와 같이, Plating 이미지 화상의 지정 화면에는, Plating의 견본이 되는 복수의 샘플 화상이 표시된다. 도 3의 예에 있어서는, 샘플 화상(P1 내지 P3)에 3개의 샘플 화상이 표시되어 있다. 스크롤 조작 등에 의해, 더욱 많은 샘플 화상이 지정 화면에 표시된다.

셰프는, 원하는 샘플 화상을 선택함으로써, 자신이 이미지하고 있는 것에 가까운 Plating을 나타내고 있는 Plating 이미지 화상을 지정하게 된다.

도 4는, 샘플 화상의 예를 도시하는 도면이다.

도 4의 말풍선에 나타내는 바와 같이, 각각의 샘플 화상에 대해서는 속성 정보가 설정되어 있다. 속성 정보에는, Plating의 특징을 나타내는 키워드나, Plating의 주관 평가 정보가 포함된다. 속성 정보에 포함되는 주관 평가는, 셰프 자신이나, 많은 제3자가 샘플 화상의 Plating을 보았을 때의 주관 평가이다.

이와 같이, Plating의 제시를 받을 경우, 셰프는, Plating 주관 평가와 Plating 이미지 화상을 선택하게 된다.

도 1의 설명으로 되돌아가서, 셰프가 요망하는 Plating이 이상과 같이 하여 지정된 경우, 정보 처리 장치(1)에 있어서는, 셰프의 요망에 따른 Plating이 생성되어, 말풍선 #2, #3에 나타내는 바와 같이 셰프에 대하여 제시된다.

도 1의 예에 있어서는, Plating을 나타내는 화상을 표시함으로써, Plating의 제시가 행하여지고 있다. 또한, 「스트로베리 소스를 소스 디스펜서에 넣고…」라고 한 것과 같은, 그 Plating의 실현의 방법이 셰프에 대하여 제시되어 있다. 이와 같이, 셰프에게 대한 Plating의 제시는, 음성이나 화면 표시를 사용하여 행하여진다.

도 5는, 정보 처리 장치(1)에 대한 입출력의 예를 도시하는 도면이다.

도 5에 도시한 바와 같이, 정보 처리 장치(1)에는, Plating 생성 모델이 준비된다. Plating 생성 모델은, Plating 주관 평가와 Plating 이미지 화상을 입력으로 하여, 새로운 Plating(New Plating)을 출력하는 예측 모델이다. Plating 생성 모델은, 예를 들어, 심층 학습 등의 기계 학습에 의해 생성되어, 정보 처리 장치(1)에 준비된다.

셰프는, 이러한 Plating 생성 모델을 사용하여 생성된 Plating의 제시를 받고, 제시되는 대로 Plating을 행하여 보거나, 거기에서 힌트를 얻어서 새로운 Plating을 생각하거나 할 수 있다. 정보 처리 장치(1)는 새로운 Plating 그 자체, 혹은, 새로운 Plating의 힌트가 되는 정보를 셰프에게 제시하는 Plating 생성기라고 할 수 있다.

또한, 도 5에 도시한 바와 같은 Plating 생성 모델이 정보 처리 장치(1)에 준비되는 것이 아니라, 인터넷 상의 서버에 준비되게 해도 된다. 이 경우, 인터넷 상의 서버에 있어서 새로운 Plating이 생성되고, 생성된 Plating의 정보가 정보 처리 장치(1)에 의해 셰프에 대하여 제시된다.

<Plating 생성 모델의 학습>

·학습 데이터의 수집

도 6은, 학습 데이터의 수집의 모습을 도시하는 도면이다.

도 6에 도시하는 바와 같이, 셰프가 조리를 행하는 키친의 주변에는, 셰프의 동작을 측정하기 위한 각종 기기가 마련된다. 도 6의 예에 있어서는, 조리를 행하고 있는 셰프에게 화각을 향하게 한 카메라(41-1, 41-2)가 설치되어 있다. 카메라(41-1, 41-2)에 의해 촬영된 화상에 기초하여, 셰프의 동작의 해석이 행하여진다. 카메라(41-1, 41-2)에 의해 촬영되는 화상은, 동화상이어도 되고, 정지 화상이어도 된다.

셰프의 몸에는, 가속도 센서, 위치 센서, 온도 센서, 거리 센서 등의 각종 센서가 설치된다. 셰프의 동작의 해석은, 그들 센서에 의해 측정된 센서 데이터에도 기초해서 행하여진다.

셰프의 동작의 해석은, 셰프측의 장치와 인터넷을 통하여 접속되는 학습 서버(51)에 의해 행하여진다. 학습 서버(51)는 카메라(41-1, 41-2)를 포함하는 각각의 센서로부터 송신된 정보를 수신하고, 셰프의 동작을 해석한다.

또한, 동작의 해석의 대상으로 되는 셰프는, Plating의 제시를 받는 셰프뿐만 아니라, 그 이외의 많은 셰프이다. 여러가지 셰프의 동작에 기초하여, Plating 생성 모델의 학습이 행하여진다.

이러한 셰프의 동작 측정은, 예를 들어 요리가 완성될 때까지 계속된다. 하나의 요리가 완성될 때까지는 복수의 조리 공정을 거치게 되는데, 각각의 공정의 동작이 해석된다.

도 7은, 조리 동작 정보와 Plating 동작 정보의 생성의 흐름의 예를 도시하는 도면이다.

도 7의 예에 있어서는, 조리 공정 #1 내지 #N의 동작이 행하여지고, 그들 동작에 의해 만들어진 식재를 Plating 공정에 있어서 보기 좋게 담는 것에 의해, 어떤 요리가 완성되어 있다.

이 경우, 조리 공정 #1 내지 #N에 있어서 행하여진 각각의 동작이 측정(센싱)되고, 측정 결과에 기초하여, 각각의 조리 공정의 동작에 관한 정보인 조리 동작 정보 #1 내지 #N이 생성된다.

또한, Plating 공정에 있어서 행하여진 동작이 측정되고, 측정 결과에 기초하여, Plating 공정의 동작에 관한 정보인 Plating 동작 정보가 생성된다.

여기서, 조리 동작 정보에는, 예를 들어, 식재 정보와 동작 정보가 포함된다. 식재 정보는, 조리 공정에 있어서 셰프가 사용한 식재에 관한 정보이다. 식재에 관한 정보에는, 식재의 종류, 식재의 양, 식재의 크기 등을 나타내는 정보가 포함된다.

예를 들어, 어떤 조리 공정에 있어서 당근을 사용한 조리를 셰프가 행한 경우, 당근을 사용한 것을 나타내는 정보가 식재 정보에 포함된다. 물, 조미료 등의, 요리의 재료로서 셰프가 사용한 각종 음식물을 나타내는 정보 등도, 식재 정보에 포함된다. 음식물은, 사람이 먹을 수 있는 각종의 물(物)이다.

셰프가 사용한 식재는, 예를 들어, 조리를 행하고 있는 셰프를 카메라(41-1, 41-2)로 촬영한 화상을 해석함으로써 인식된다. 식재 정보는, 식재의 인식 결과에 기초하여 생성된다.

동작 정보는, 조리 공정에서의 셰프의 움직임에 관한 정보이다. 셰프의 움직임에 관한 정보에는, 셰프가 사용한 조리 툴의 종류, 손의 움직임을 포함하는, 각 시각의 셰프의 몸의 움직임, 각 시각의 셰프의 서있는 위치 등을 나타내는 정보가 포함된다.

예를 들어, 어떤 식재를, 셰프가 부엌칼을 사용하여 잘랐을 경우, 조리 툴로서 부엌칼을 사용한 것을 나타내는 정보, 자르는 위치, 자르는 횟수, 자르는 방법의 힘 가감, 각도, 스피드 등을 나타내는 정보가 동작 정보에 포함된다.

또한, 식재로서의 액체가 들어간 냄비를, 셰프가 국자를 사용하여 휘저었을 경우, 조리 툴로서 국자를 사용한 것을 나타내는 정보, 휘젓는 방법의 힘 가감, 각도, 스피드, 시간 등을 나타내는 정보가 동작 정보에 포함된다.

·Plating 동작 정보

도 8은, Plating 동작 정보를 구성하는 정보의 예를 도시하는 도면이다.

도 8에 도시하는 바와 같이, Plating 동작 정보에는, Plating에 사용된 식재를 나타내는 정보, Plating 공정에서의 셰프의 움직임에 관한 정보, Plating에 사용된 툴에 관한 정보, 식재의 배치에 관한 정보, Plating에 사용된 식기에 관한 정보가 포함된다.

Plating 공정의 각 시각에 있어서의 이들 정보에 의해, Plating 동작 정보가 구성된다. Plating 동작 정보는, 식재, 움직임, 툴, 배치, 식기 각각을 나타내는 시계열 데이터이다.

도 9 내지 도 14를 참조하여, Plating 동작 정보의 구체예에 대하여 설명한다.

도 9는, Plating 공정의 개시 시각의 동작의 예를 도시하는 도면이다.

Plating 공정의 개시 시각인 시각 t0에 있어서, 도 9의 좌측에 도시하는 바와 같은 동작이 행하여진 것으로 한다. 이 예에 있어서는, 스트로베리 소스를 충전한 소스 디스펜서(T1)를 오른손에 들고, 선단을 접시의 소정의 위치에 누르고, 그 상태에서, 소량의 소스를 압출하는 동작이 행하여지고 있다. 이 동작의 모습이 카메라(41-1, 41-2) 등에 의해 촬영된다.

이 경우, 외곽선 화살표의 끝에 나타내는 바와 같이, Plating에 사용된 식재로서, 스트로베리 소스가 사용된 것이 특정된다.

또한, 셰프의 동작으로서, 소스 디스펜서(T1)를 오른손으로 파지하거나, 소스 디스펜서(T1)를 파지한 오른손을 접시의 기준 위치로 이동시키는, 등의 동작이 특정된다.

Plating에 사용된 툴로서, 소스 디스펜서(T1)가 사용된 것이 특정된다.

Plating의 배치로서, 식기의 평면적인 위치를 나타내는 좌표와, 입체적인 위치를 나타내는 레이어가 특정된다.

Plating에 사용된 식기로서, 원형의 납작하고 평평한 접시인 소정의 ID의 식기가 사용된 것이 특정된다.

도 10은, 시각 t1에 있어서의 동작의 예를 도시하는 도면이다.

시각 t0로부터 소정 시간 경과 후의 시각 t1에 있어서, 도 10의 좌측에 도시하는 바와 같은 동작이 행하여진 것으로 한다. 이 예에 있어서는, 도트상으로 압출한 스트로베리 소스를, 접시의 중앙을 둘러싸도록 환상으로 배열하는 동작이 행하여지고 있다.

4개째의 도트를 배열한 시각 t1에 있어서는, 외곽선 화살표의 끝에 나타내는 바와 같이, 식재, 툴, 식기에 대해서는 바뀌지 않고, 셰프의 동작으로서, 오른손의 위치를 어긋나게 하는 등의 동작이 특정된다. 또한, Plating의 배치로서, 4개째의 도트의 위치가 특정된다.

도 11은, 시각 t2에 있어서의 동작의 예를 도시하는 도면이다.

시각 t1로부터 소정 시간 경과 후의 시각 t2에 있어서, 도 11의 좌측에 도시하는 바와 같은 동작이 행하여진 것으로 한다. 이 예에 있어서는, 도트상의 스트로베리 소스를 배열하는 동작이 끝나고, 그에 계속해서, 툴을 솔(T2)로 바꿔 쥐고, 어떤 도트에 누르는 동작이 행하여지고 있다.

이 경우, 외곽선 화살표의 끝에 나타내는 바와 같이, 식재, 식기에 대해서는 바뀌지 않고, 셰프의 동작으로서, 솔을 파지하거나, 솔을 파지한 오른손을 접시의 기준 위치에 있는 도트의 위치로 이동시키는, 등의 동작이 특정된다. 또한, Plating에 사용된 툴로서, 솔(T2)이 사용된 것이 특정된다. Plating의 배치로서, 1개째의 도트의 위치가 특정된다.

도 12는, 시각 t3에 있어서의 동작의 예를 도시하는 도면이다.

시각 t2로부터 소정 시간 경과 후의 시각 t3에 있어서, 도 12의 좌측에 도시하는 바와 같은 동작이 행하여진 것으로 한다. 이 예에 있어서는, 도트상의 스트로베리 소스 각각을, 솔(T2)로 접시의 중앙을 향하여 늘이는 동작이 행하여지고 있다.

1개째의 스트로베리 소스의 도트를 늘인 시각 t3에 있어서는, 외곽선 화살표의 끝에 나타내는 바와 같이, 식재, 툴, 식기에 대해서는 바뀌지 않고, 셰프의 동작으로서, 오른손의 위치를, 접시의 중앙을 향하여 슬라이드시키는 등의 동작이 특정된다. 또한, Plating의 배치로서, 슬라이드 후의 위치가 특정된다.

도 13은, 시각 t4에 있어서의 동작의 예를 도시하는 도면이다.

시각 t3으로부터 소정 시간 경과 후의 시각 t4에 있어서, 도 13의 좌측에 도시하는 바와 같은 동작이 행하여진 것으로 한다. 이 예에 있어서는, 스트로베리 소스를 늘이는 동작이 끝나고, 그에 계속해서, 툴을 터너(T3)로 바꿔 쥐고, 다 구워진 스테이크 고기를 접시의 중앙에 두는 동작이 행하여진 것으로 한다.

이 경우, 외곽선 화살표의 끝에 나타내는 바와 같이, Plating에 사용된 식재로서, 스테이크 고기가 사용된 것이 특정된다. 또한, 셰프의 동작으로서, 스테이크 고기를 얹은 터너(T3)를 파지한 오른손을 접시의 중앙으로 이동시키거나, 터너(T3)를 내리는, 등의 동작이 특정된다.

또한, Plating에 사용된 툴로서, 터너(T3)가 사용된 것이 특정된다. Plating의 배치로서, 접시의 중앙의 위치가 특정된다. 스테이크 고기가 놓여진 위치는, 스트로베리 소스가 배치된 레이어 1 상의 레이어의 위치이기 때문에, 레이어 2로서 특정된다.

도 14는, 시각 t5에 있어서의 동작의 예를 도시하는 도면이다.

시각 t4로부터 소정 시간 경과 후의 시각 t5에 있어서, 도 14의 좌측에 도시하는 바와 같은 동작이 행하여진 것으로 한다. 이 예에 있어서는, 스테이크 고기의 옆에 향초를 곁들이는 동작이 행하여지고, 이에 의해, Plating 공정이 종료되고 있다.

이 경우, 외곽선 화살표의 끝에 나타내는 바와 같이, Plating에 사용된 식재로서, 향초가 사용된 것이 특정된다. 또한, 셰프의 동작으로서, 스테이크 고기의 옆에 향초를 곁들이는 동작이 특정된다.

또한, Plating에 사용된 툴로서, 툴이 사용되고 있지 않은 것이 특정된다. Plating의 배치로서, 접시의 중앙에 놓인 스테이크 고기의 근방의 위치가 특정된다.

이상과 같은 Plating에 관한 식재, 움직임, 툴, 배치, 식기 각각을 나타내는 시계열 데이터를 포함하는 Plating 동작 정보가, Plating 공정의 동안에 촬영된 화상 등에 기초하여 학습 서버(51)에 있어서 생성된다.

또한, Plating 동작 정보와, Plating 공정 전의 조리 공정에 기초하여 생성된 조리 동작 정보가 관련지어져서, 각각의 요리의 조리 데이터가 생성된다.

도 15는, 요리 DB의 예를 도시하는 도면이다.

도 15에 도시하는 바와 같이, 학습 서버(51)가 관리하는 요리 DB에는, 각 요리의 조리 데이터로서, 조리 동작 정보와 Plating 동작 정보를 한데 묶은 정보가 축적된다. Plating 생성 모델의 학습에는, 각 요리의 조리 데이터에 포함되는 Plating 동작 정보가 사용된다.

이러한 Plating 동작 정보를 사용한 학습에 의해 생성된 Plating 생성 모델에 기초하여 생성되는 것이기 때문에, 새로운 Plating은, 식재, 동작, 툴, 배치, 식기 등의 각 정보를 포함하는 Plating 동작 정보에 기초하여 생성되어 있게 된다.

·학습에 대해서

도 16은, Plating 생성 모델의 학습에 사용되는 정보의 예를 도시하는 도면이다.

도 16에 도시하는 바와 같이, Plating 생성 모델의 학습에는, Plating 동작 정보 S(t), 주관 평가 정보 E(T), Plating 결과 정보 V(T)가 사용된다.

Plating 동작 정보 S(t)는 상술한 Plating 동작 정보의 시계열 데이터이다.

주관 평가 정보 E(T)는 Plating 공정이 완료되어 완성된 요리를 본 사람의 Plating 주관 평가를 나타내는 정보이다. 시각 T는 Plating 공정이 완료된 시각을 나타낸다.

Plating 결과 정보 V(T)는 Plating 공정이 완료되어 완성된 요리의 화상이다.

학습 서버(51)에 있어서는, 각각의 요리의 Plating 동작 정보 S(t), 주관 평가 정보 E(T), Plating 결과 정보 V(T)가 한데 묶여서 관리된다. 상술한 바와 같이, Plating 생성 모델은, Plating 주관 평가와 Plating 이미지 화상을 입력으로 하여, 새로운 Plating을 출력하는 예측 모델이다.

새로운 Plating은 Plating 동작 정보 S(t)의 결과이기 때문에, 주관 평가 정보 E(T) 및 Plating 결과 정보 V(T)와, Plating 동작 정보 S(t)의 관계가 학습되어 있으면 되게 된다.

도 17은, 학습의 예를 도시하는 도면이다.

도 17에 도시하는 바와 같이, Plating 생성 모델의 학습을 행하는 학습기(61)에 대해서는, Plating 동작 정보 S(t), 주관 평가 정보 E(T), 및 Plating 결과 정보 V(T)가 입력된다. 학습기(61)는 학습 서버(51)에 마련된다.

Plating 동작 정보 S(t)에 의해 표현되는 Plating 동작에 의해, Plating 결과 정보 V(T)에 의해 표현되는 Plating이 얻어지기 때문에, 학습기(61)에 있어서는, Plating 결과 정보 V(T)를 입력했을 때에 Plating 동작 정보 S(t)를 출력하는 뉴럴 네트워크를 구성하는 파라미터의 학습이 행하여진다.

또한, 주관 평가 정보 E(T)는 Plating 결과 정보 V(T)에 의해 표현되는 Plating에 관한 주관 평가이기 때문에, 주관 평가 정보 E(T)와 Plating 결과 정보 V(T)의 관계의 학습이 행하여진다.

어떤 요리의 주관 평가 정보 E(T)와 Plating 결과 정보 V(T)를 입력했을 때에, 도 18에 도시하는 바와 같이, 그 요리의 Plating 동작 정보 S(t)를 출력하는 뉴럴 네트워크가 Plating 생성 모델로서 학습된다.

여기서, 주관 평가 정보 E(T)를 변경하고, 변경 후의 주관 평가 정보 E(T)와, Plating 결과 정보 V(T)를 입력한 경우, Plating 생성 모델로부터는, 적어도 일부가 변경된 Plating 동작 정보 S(t)가 출력된다.

적어도 일부가 변경된 Plating 동작 정보 S(t)에 의해 실현되는 Plating은, Plating 결과 정보 V(T)에 의해 표현되는 Plating과는 다른 Plating, 즉, 새로운 Plating이 된다.

도 2를 참조하여 설명한 바와 같은 화면을 사용하여 셰프에 의해 지정된 Plating 주관 평가가, 여기에서 말하는 변경 후의 주관 평가 정보 E(T)에 대응한다. 또한, 도 3에 도시한 바와 같은 화면을 사용하여 셰프에 의해 지정된 Plating 이미지 화상이 Plating 결과 정보 V(T)에 대응한다.

셰프에 의해 지정된 Plating 주관 평가와 Plating 이미지 화상을 입력한 경우, Plating 생성 모델로부터는, Plating 이미지 화상에 의해 표현되는 Plating과는 다른 Plating을 실현하기 위한 Plating 동작 정보 S(t)가 출력되게 된다.

예를 들어, Plating 생성 모델로서, RNNPB(Recurrent Neural Network with Parametric Bias)가 사용된다. RNNPB는, 재귀 결합을 가짐으로써, 비선형의 시계열 데이터를 학습/예측할 수 있는 뉴럴 네트워크이다. 또한, 어떤 패턴에 대응하는 PB값을 입력함으로써, 원하는 패턴을 출력시킬 수 있는 것이다.

도 19는, RNNPB를 사용한 예측의 예를 도시하는 도면이다.

도 19에 도시하는 바와 같이, Plating 생성 모델을 구성하는 RNNPB는, 시각 t의 Plating 동작 정보를 입력했을 때에 시각 t+1의 Plating 동작 정보를 출력하는 하위의 계층과, 주관 평가와, Plating 결과 정보 V(T)에 대응하는 PB값(PB(t'))을 입력했을 때에, 하위의 계층 PB값(PBt)으로서 사용되는 값을 출력하는 상위의 계층으로 구성된다.

도 19의 예에 있어서는, 셰프에 의해 지정된 Plating 주관 평가로서, 밝음 5, 우아함 3, 거칠음 1, 심플함 2, …이 RNNPB에 대하여 입력되어 있다. 또한, 어떤 Plating 이미지 화상에 대응하는 PB값이 RNNPB에 대하여 입력되어 있다.

여기서, 밝음 5, 우아함 3, 거칠음 1, 심플함 2, …의 셰프에 의해 지정된 Plating 주관 평가는, Plating 이미지 화상으로서 선택된 샘플 화상에 설정되어 있는 주관 평가(도 4)와는 다른 것이다. 이에 의해, RNNPB로부터 출력되는 Plating 동작 정보 S(t)는 Plating 이미지 화상에 의해 표현되는 Plating과는 다른 Plating을 실현하기 위한 Plating 동작 정보 S(t)가 된다.

또한, Plating 생성 모델을 구성하는 뉴럴 네트워크는 RNNPB에 한정되는 것은 아니다. 주관 평가 정보 E(T) 및 Plating 결과 정보 V(T)와, Plating 동작 정보 S(t)의 관계가 학습됨으로써 생성된 각종 뉴럴 네트워크에 의해 Plating 생성 모델이 구성되도록 하는 것이 가능하다.

도 20은, Plating 생성 모델이 출력하는 Plating 동작 정보 S(t)의 예를 도시하는 도면이다.

도 20에 도시하는 바와 같이, Plating 동작 정보 S(t)는 학습 데이터가 되는 도 8의 Plating 동작 정보에 대응하는 형으로, 어느 식재를 보기 좋게 담을지에 관한 정보, 어떤 움직임으로 보기 좋게 담을지에 관한 정보, 어느 툴을 사용하여 보기 좋게 담을지에 관한 정보, 어디에 배치할지에 관한 정보, 무슨 식기에 보기 좋게 담을지에 관한 정보의 시계열 데이터가 된다.

Plating 생성 모델이 출력하는 이들 정보를 제시하는 것이, 새로운 Plating을 제시하게 된다.

<각 장치의 구성과 동작>

·정보 처리 장치(1)의 구성

도 21은, 정보 처리 장치(1)의 하드웨어의 구성예를 도시하는 블록도이다.

도 21에 도시하는 바와 같이, 정보 처리 장치(1)는 태블릿 단말기 등의 컴퓨터에 의해 구성된다. CPU(Central Processing Unit)(101), ROM(Read Only Memory)(102), RAM(Random Access Memory)(103)은, 버스(104)에 의해 서로 접속된다.

버스(104)에는, 또한, 입출력 인터페이스(105)가 접속된다. 입출력 인터페이스(105)에는, 키보드, 마우스 등을 포함하는 입력부(106), 디스플레이, 스피커 등을 포함하는 출력부(107)가 접속된다.

또한, 입출력 인터페이스(105)에는, 하드 디스크나 불휘발성의 메모리 등을 포함하는 기억부(108), 네트워크 인터페이스 등을 포함하는 통신부(109), 리무버블 미디어(111)를 구동하는 드라이브(110)가 접속된다.

CPU(101)가, 예를 들어, 기억부(108)에 기억되어 있는 프로그램을 입출력 인터페이스(105) 및 버스(104)를 통하여 RAM(103)에 로드하여 실행함으로써, 새로운 Plating의 생성 등의 각종 처리가 행하여진다.

도 22는, 정보 처리 장치(1)의 기능 구성예를 도시하는 블록도이다.

도 22에 도시하는 기능부 중 적어도 일부는, 도 21의 CPU(101)에 의해 소정의 프로그램이 실행됨으로써 실현된다.

도 22에 도시하는 바와 같이, 정보 처리 장치(1)에 있어서는 정보 처리부(151)가 실현된다. 정보 처리부(151)는 취득부(161), Plating 생성부(162), 및 제시부(163)로 구성된다.

취득부(161)는 셰프에 의해 지정된 Plating 주관 평가와 Plating 이미지 화상을 취득한다. 취득부(161)에 의해 취득된 정보는 Plating 생성부(162)에 공급된다.

Plating 생성부(162)는 Plating 생성 모델을 갖고 있다. Plating 생성부(162)는 취득부(161)로부터 공급된 Plating 주관 평가와 Plating 이미지 화상을 Plating 생성 모델에 입력하고, Plating 동작 정보 S(t)를 출력한다.

Plating 생성부(162)는 Plating 동작 정보 S(t)의 내용을 나타내는 정보를, 새로운 Plating의 정보로서 제시부(163)로 출력한다. Plating 생성 모델로부터 출력된 Plating 동작 정보 S(t)에 기초하여 실현되는 Plating의 이미지를 나타내는 화상이 Plating 생성부(162)에 있어서 생성되어, 제시부(163)에 대하여 공급되도록 해도 된다.

제시부(163)는 Plating 생성부(162)로부터 공급된 새로운 Plating의 정보를 제시한다. Plating의 제시는, 스피커로부터의 음성에 의해 행하여지게 해도 되고, 디스플레이의 화면 표시에 의해 행하여지게 해도 된다. 제시부(163)에 의해, 예를 들어, 새로운 Plating을 실현하기 위한 각 동작의 설명이 순서대로 셰프에 대하여 제시된다.

·정보 처리 장치(1)의 동작

도 23의 흐름도를 참조하여, 새로운 Plating을 생성하는 정보 처리 장치(1)의 처리에 대하여 설명한다.

스텝 S1에 있어서, 취득부(161)는 셰프가 이미지하는 Plating의 주관 평가를 취득한다.

스텝 S2에 있어서, 취득부(161)는 셰프의 Plating의 이미지를 나타내는 Plating 이미지 화상을 취득한다.

스텝 S3에 있어서, Plating 생성부(162)는 셰프에 의해 지정된 Plating 주관 평가와 Plating 이미지 화상을 Plating 생성 모델에 입력하고, Plating 동작 정보 S(t)를 출력한다.

스텝 S4에 있어서, 제시부(163)는 Plating 생성부(162)로부터 공급된 새로운 Plating의 정보를 셰프에 대하여 제시한다.

이상의 처리에 의해, 정보 처리 장치(1)는 새로운 Plating을 생성하고, 셰프에 대하여 제시할 수 있다. 정보 처리 장치(1)에 의한 Plating의 제시는, 미리 준비되어 있는 복수의 Plating 중에서 조건에 맞는 Plating을 선택함으로써 행해지는 것이 아니라, 그 때마다, 셰프에 의해 지정된 조건에 따라서 생성함으로써 행하여진다.

셰프는, 자신의 이미지에 맞는 Plating의 제시를 받고, 제시된 바와 같이 Plating을 행해 보거나, 거기에서 힌트를 얻어서 새로운 Plating을 창조하거나 할 수 있다.

이상에 있어서는, Plating 주관 평가와 Plating 이미지 화상을 셰프가 지정하는 것으로 했지만, Plating 이미지 화상 대신에, Plating에 관한 키워드를 지정할 수 있도록 해도 된다.

키워드가 지정된 경우, 그 키워드를 속성 정보에 포함하는 샘플 화상이 선택되어, Plating 이미지 화상으로서 사용된다. 도 4를 참조하여 설명한 바와 같이, 각각의 샘플 화상의 속성 정보에는 키워드가 설정되어 있다.

또한, 샘플 화상끼리의 유사도가 설정되어 있는 경우, 셰프가 선택한 샘플 화상에 유사한 샘플 화상이 Plating 이미지 화상으로서 사용되게 해도 된다.

이에 의해, 셰프가 의도하고 있지 않은 Plating이 생성되어, 제시될 가능성이 있다.

또한, 샘플 화상에 대하여 셰프가 수정을 가할 수 있도록 해도 된다. 샘플 화상의 수정은, 예를 들어, 수정하고자 하는 부분을 클릭하고, 형상이나 색을 바꾸기 위한 화면 상의 조작에 의해 행하여진다. 샘플 화상의 수정이 행해진 경우, 수정 후의 샘플 화상이 Plating 이미지 화상으로서 사용되고, Plating이 생성된다.

이에 의해, 자신의 이미지가 표현되어 있는 샘플 화상이 없는 경우에도, 셰프는, 자신의 이미지대로의 Plating 이미지 화상을 지정하고, Plating의 생성을 행하게 할 수 있다.

화면에 표시된 샘플 화상을 보고, Plating 이미지 화상으로 할 샘플 화상을 지정하는 것이 아니라, 수기로 일러스트를 그리거나 하여, Plating 이미지 화상의 지정이 행하여지게 해도 된다. 수기로 일러스트가 그려졌을 경우, 일러스트에 가까운 샘플 화상이 검색되고, 그 샘플 화상이 Plating 이미지 화상으로서 사용된다.

한번 제시된 Plating에 대하여 셰프에 의한 발화에 따른 변경이 실시되게 해도 된다. 예를 들어, 「더 밝게」, 「더 봄 느낌으로」 등과 같은 발화가 행해진 경우, 셰프의 발화 내용에 따라 Plating 주관 평가가 변경되고, 변경 후의 Plating 주관 평가를 사용하여, Plating의 생성이 행하여진다.

또한, 한번 제시된 Plating에 대하여 식재를 변경하는 것을 지정할 수 있도록 해도 된다. 예를 들어, 바닐라 소스를 사용한 Plating이 제시된 경우에 있어서, 스트로베리 소스를 사용한 Plating으로 변경하는 것이 지시되었을 때, 앞서 지정된 샘플 화상에 유사하고, 스트로베리 소스를 사용한 Plating의 샘플 화상이 검색되고, 그 샘플 화상이 Plating 이미지 화상으로서 사용된다.

이와 같이, Plating 주관 평가와 Plating 이미지 화상의 지정의 방법으로서, 각종 방법을 사용할 수 있다.

·네트워크 시스템의 구성

도 24는, 네트워크 시스템의 구성예를 도시하는 도면이다.

도 24는, 새로운 Plating의 생성이 인터넷 상의 Plating 생성 서버(171)에 있어서 행하여지는 경우의 구성을 도시하고 있다. Plating 생성 서버(171)에는, 도 22에 도시하는 정보 처리부(151)의 구성과 동일한 구성이 마련된다.

Plating 생성 서버(171)와 셰프측에 마련된 정보 처리 장치(1) 사이에서는, 인터넷을 통하여 통신이 행하여진다. 정보 처리 장치(1)로부터 Plating 생성 서버(171)에 대해서는, 셰프에 의해 지정된 Plating 주관 평가와 Plating 이미지 화상을 나타내는 정보가 송신된다.

Plating 생성 서버(171)의 취득부(161)는 정보 처리 장치(1)로부터 송신되어 온 Plating 주관 평가와 Plating 이미지 화상을 수신한다.

Plating 생성부(162)는 정보 처리 장치(1)로부터 송신되어 온 Plating 주관 평가와 Plating 이미지 화상에 기초하여, 상술한 바와 같이 하여 Plating을 생성한다.

제시부(163)는 Plating 생성부(162)에 의해 생성된 Plating의 정보를 정보 처리 장치(1)에 대하여 송신하고, 셰프에 대하여 제시시킨다.

이와 같이, 인터넷 상의 Plating 생성 서버(171)에 있어서 새로운 Plating이 생성되도록 하는 것이 가능하다.

<조리 로봇의 제어의 예>

·제어 시스템의 구성

이상에 있어서는, 사람인 셰프를 대상으로 한 Plating의 생성에 대하여 설명했지만, 조리 로봇을 대상으로 한 Plating이 생성되도록 해도 된다. 이 경우, 새롭게 생성된 Plating에 따른 Plating 동작이, 조리 로봇에 의해 행하여진다.

도 25는, 제어 시스템의 구성예를 도시하는 도면이다.

도 25에 도시하는 바와 같이, 제어 시스템은, 데이터 처리 장치(301)와 조리 로봇(302)으로 구성된다. 조리 로봇(302)은 조리 암 등의 구동계의 장치, 및 각종 센서를 갖고, 조리를 행하는 기능을 탑재한 로봇이다. 조리 로봇(302)은 예를 들어 가정 내에 설치된다.

데이터 처리 장치(301)는 조리 로봇(302)을 제어하는 장치이다. 데이터 처리 장치(301)는 컴퓨터 등에 의해 구성된다.

도 25의 좌측 단부에 도시하는 바와 같이, 데이터 처리 장치(301)에 의한 조리 로봇(302)의 제어는, 요리마다 준비되는 레시피 데이터에 기초하여 행하여진다. 레시피 데이터에는, 각각의 조리 공정과 Plating 공정에 관한 정보가 기술되어 있다. 데이터 처리 장치(301)에 공급되는 레시피 데이터는, 예를 들어, 외부로부터 입력된 조리 공정에 관한 정보와, 자신이 생성한 Plating 공정에 관한 정보를 한데 묶는 것에 의해, Plating 생성부(162)(도 22)에 있어서 생성된다. Plating 생성부(162)는 조리 로봇(302)의 제어에 사용되는 레시피 데이터를 생성하는 레시피 데이터 생성부로서도 기능한다.

데이터 처리 장치(301)는 레시피 데이터에 기초하여 조리 로봇(302)을 제어하고, 요리를 만들게 하게 된다. 도 22의 정보 처리부(151)에 의해 생성된 Plating의 정보를 포함하는 레시피 데이터가, 데이터 처리 장치(301)에 대하여 공급되어, 조리 로봇(302)의 제어에 사용된다.

예를 들어, 화살표 A1에 나타내는 바와 같이 레시피 데이터가 입력된 경우, 데이터 처리 장치(301)는 화살표 A2에 나타내는 바와 같이, 레시피 데이터의 기술에 기초하여 명령 커맨드를 출력함으로써, 조리 로봇(302)의 조리 동작을 제어한다.

조리 로봇(302)은 데이터 처리 장치(301)로부터 공급된 명령 커맨드에 따라서 조리 암 등의 각 부를 구동하고, 각 조리 공정의 동작을 행한다. 또한, 조리 로봇(302)은 데이터 처리 장치(301)로부터 공급된 명령 커맨드에 따라서 조리 암 등의 각 부를 구동하고, Plating 공정의 동작을 행한다. 명령 커맨드에는, 조리 암에 마련된 모터의 토크, 구동 방향, 구동량을 제어하는 정보 등이 포함된다.

요리가 완성될 때까지 동안, 데이터 처리 장치(301)로부터 조리 로봇(302)에 대하여 명령 커맨드가 순차 출력된다. 명령 커맨드에 따른 동작을 조리 로봇(302)이 취함으로써, 최종적으로, 요리가 완성되게 된다.

도 26은, 레시피 데이터의 기술 내용의 예를 도시하는 도면이다.

도 26에 도시하는 바와 같이, 하나의 레시피 데이터는, 복수의 조리 공정 데이터 세트로 구성된다. 도 26의 예에 있어서는, 조리 공정 #1에 관한 조리 공정 데이터 세트, 조리 공정 #2에 관한 조리 공정 데이터 세트, …, 조리 공정 #N에 관한 조리 공정 데이터 세트가 포함된다.

각 조리 공정 데이터 세트에는, 조리 공정을 실현하기 위한 조리 동작에 관한 정보인 조리 동작 정보가 포함된다. 예를 들어, 하나의 조리 공정을 실현하기 위한 조리 동작 정보의 시계열 데이터에 의해 하나의 조리 공정 데이터 세트가 구성된다.

조리 동작 정보에는, 식재 정보와 동작 정보가 포함된다.

식재 정보는, 조리 공정에 있어서 사용하는 식재에 관한 정보이다. 식재에 관한 정보에는, 식재의 종류, 식재의 양, 식재의 크기 등을 나타내는 정보가 포함된다.

또한, 식재에는, 조리가 전혀 실시되어 있지 않은 식재뿐만 아니라, 어떤 조리가 실시됨으로써 얻어진 조리 완료(예비 조리 완료)된 식재도 포함된다. 어떤 조리 공정의 조리 동작 정보에 포함되는 식재 정보에는, 그것보다 전의 조리 공정을 거친 식재의 정보가 포함된다.

동작 정보는, 조리 공정에서의 조리 암 등의 움직임에 관한 정보이다. 움직임에 관한 정보에는, 조리에 사용하는 조리 툴의 종류를 나타내는 정보 등이 포함된다.

예를 들어, 어떤 식재를 자르는 조리 공정의 동작 정보에는, 조리 툴로서 부엌칼을 사용하는 것을 나타내는 정보, 자르는 위치, 자르는 횟수, 자르는 방법의 힘 가감, 각도, 스피드 등을 나타내는 정보가 포함된다.

또한, 식재로서의 액체가 들어간 냄비를 휘젓는 조리 공정의 동작 정보에는, 조리 툴로서 국자를 사용하는 것을 나타내는 정보, 휘젓는 방법의 힘 가감, 각도, 스피드, 시간 등을 나타내는 정보가 포함된다.

어떤 식재를, 오븐을 사용하여 굽는 조리 공정의 동작 정보에는, 조리 툴로서 오븐을 사용하는 것을 나타내는 정보, 오븐의 화력, 구이 시간 등을 나타내는 정보가 포함된다.

또한, 도 26에 도시하는 바와 같이, 하나의 레시피 데이터에는, Plating 공정 데이터 세트가 포함된다. Plating 공정 데이터 세트에는, Plating 공정을 실현하기 위한 Plating 동작 정보가 포함된다. 예를 들어, Plating 공정을 실현하기 위한 Plating 동작 정보의 시계열 데이터에 의해 Plating 공정 데이터 세트가 구성된다.

도 27은, 레시피 데이터에 기초하는 요리의 재현의 흐름의 예를 도시하는 도면이다.

도 27에 도시하는 바와 같이, 조리 로봇(302)에 의한 요리의 재현은, 레시피 데이터에 기술된 조리 공정 데이터 세트에 포함되는 각 시각의 조리 동작 정보에 기초하여 조리를 행하는 것을, 조리 공정마다 반복함으로써 행하여진다. 조리 공정 #1 내지 #N의 복수의 조리 공정을 거쳐, Plating에 사용되는 식재가 준비된다.

조리 공정 #N의 종료 후, Plating 공정 데이터 세트에 포함되는 각 시각의 Plating 동작 정보에 기초하여 Plating 동작이 행해짐으로써, 요리의 완성이 된다.

도 27의 예에 있어서는 모든 조리 공정이 끝나고 나서 Plating 공정이 행하여지는 것으로 되어 있지만, Plating 공정은, 적절히, 다른 조리 공정 전의 타이밍에 행해지는 경우도 있다.

도 28은, 데이터 처리 장치(301)의 배치예를 도시하는 도면이다.

도 28의 A에 도시하는 바와 같이, 데이터 처리 장치(301)는 예를 들어 조리 로봇(302)의 외부의 장치로서 마련된다. 도 28의 A의 예에 있어서는, 데이터 처리 장치(301)와 조리 로봇(302)은 인터넷 등의 네트워크를 통하여 접속되어 있다.

데이터 처리 장치(301)로부터 송신된 명령 커맨드는, 네트워크를 통하여 조리 로봇(302)에 의해 수신된다. 조리 로봇(302)으로부터 데이터 처리 장치(301)에 대해서는, 조리 로봇(302)의 카메라에 의해 촬영된 화상, 조리 로봇(302)에 마련된 센서에 의해 계측된 센서 데이터 등의 각종 데이터가 네트워크를 통하여 송신된다.

도 28의 B에 도시하는 바와 같이, 데이터 처리 장치(301)가 조리 로봇(302)의 하우징 내부에 마련되게 해도 된다. 이 경우, 데이터 처리 장치(301)가 생성하는 명령 커맨드에 따라서, 조리 로봇(302)의 각 부의 동작이 제어된다.

이하, 주로, 데이터 처리 장치(301)가 조리 로봇(302)의 외부의 장치로서 마련되는 것으로 하여 설명한다.

·조리 로봇의 외관

도 29는, 조리 로봇(302)의 외관을 도시하는 사시도이다.

도 29에 도시하는 바와 같이, 조리 로봇(302)은 가로로 긴 직육면체상의 하우징(311)를 갖는 키친형의 로봇이다. 조리 로봇(302)의 본체가 되는 하우징(311)의 내부에 각종 구성이 마련된다.

하우징(311)의 배면측에는 조리 보조 시스템(312)이 마련된다. 박판상의 부재로 구획함으로써 조리 보조 시스템(312)에 형성된 각 스페이스는, 냉장고, 오븐 레인지, 수납 등의, 조리 암(321-1 내지 321-4)에 의한 조리를 보조하기 위한 기능을 갖는다.

천장판(311A)에는 긴 변 방향으로 레일이 마련되어 있고, 그 레일에 조리 암(321-1 내지 321-4)이 마련된다. 조리 암(321-1 내지 321-4)은, 이동 기구로서의 레일을 따라서 위치를 바꾸는 것이 가능하게 된다.

조리 암(321-1 내지 321-4)은, 원통상의 부재를 관절부로 접속함으로써 구성되는 로봇 암이다. 조리에 관한 각종 작업이 조리 암(321-1 내지 321-4)에 의해 행하여진다.

천장판(311A)의 상방의 공간이, 조리 암(321-1 내지 321-4)이 조리를 행하는 조리 공간이 된다.

도 29에 있어서는 4개의 조리 암이 나타내져 있지만, 조리 암의 수는 4개에 한정되는 것은 아니다. 이하, 적절히, 조리 암(321-1 내지 321-4) 각각을 구별할 필요가 없을 경우, 통합하여 조리 암(321)이라고 한다.

도 30은, 조리 암(321)의 모습을 확대하여 도시하는 도면이다.

도 30에 도시하는 바와 같이, 조리 암(321)의 선단에는, 각종 조리 기능을 갖는 어태치먼트가 설치된다. 조리 암(321)용의 어태치먼트로서, 식재나 식기 등을 파지하는 매니퓰레이터 기능(핸드 기능)을 갖는 어태치먼트, 식재를 커트하는 나이프 기능을 갖는 어태치먼트 등의 각종 어태치먼트가 준비된다.

도 30의 예에 있어서는, 나이프 기능을 갖는 어태치먼트인 나이프 어태치먼트(331-1)가 조리 암(321-1)에 설치되어 있다. 나이프 어태치먼트(331-1)를 사용하여, 천장판(311A) 위에 놓인 고기의 덩어리가 커트되어 있다.

조리 암(321-2)에는, 식재를 고정시키거나, 식재를 회전시키거나 하는 것에 사용되는 어태치먼트인 스핀들 어태치먼트(331-2)가 설치되어 있다.

조리 암(321-3)에는, 식재의 껍질을 벗기는 필러의 기능을 갖는 어태치먼트인 필러 어태치먼트(331-3)가 설치되어 있다.

스핀들 어태치먼트(331-2)를 사용하여 조리 암(321-2)에 의해 들어 올려져 있는 감자의 껍질이, 필러 어태치먼트(331-3)를 사용하여 조리 암(321-3)에 의해 벗겨지고 있다. 이와 같이, 복수의 조리 암(321)이 연계하여 하나의 작업을 행하는 것도 가능하게 된다.

조리 암(321-4)에는, 매니퓰레이터 기능을 갖는 어태치먼트인 매니퓰레이터 어태치먼트(331-4)가 설치되어 있다. 매니퓰레이터 어태치먼트(331-4)를 사용하여, 치킨을 얹은 프라이팬이, 오븐 기능을 갖는 조리 보조 시스템(312)의 스페이스로 운반되고 있다.

이러한 조리 암(321)에 의한 조리 동작과 Plating 동작은, 작업의 내용에 따라 어태치먼트를 적절히 바꾸어서 진행된다. 4개의 조리 암(321)의 각각에 매니퓰레이터 어태치먼트(331-4)를 설치한다고 한 것과 같이, 동일한 어태치먼트를 복수의 조리 암(321)에 설치하는 것도 가능하게 된다.

조리 로봇(302)에 의한 조리 동작과 Plating 동작은, 조리 암용의 툴로서 준비된 이상과 같은 어태치먼트를 사용하여 행하여질뿐만 아니라, 적절히, 사람이 조리에 사용하는 툴과 동일한 툴을 사용하여 행하여진다. 예를 들어, 사람이 사용하는 나이프를 매니퓰레이터 어태치먼트(331-4)에 의해 붙잡고, 나이프를 사용하여 식재의 커트 등의 조리가 행하여진다.

·조리 암의 구성

도 31은, 조리 암(321)의 외관을 도시하는 도면이다.

도 31에 도시하는 바와 같이, 조리 암(321)은 전체적으로, 가는 원통상의 부재를, 관절부가 되는 힌지부로 접속함으로써 구성된다. 각 힌지부에는, 각 부재를 구동시키기 위한 힘을 발생시키는 모터 등이 마련된다.

원통상의 부재로서, 선단으로부터 순서대로, 착탈 부재(351), 중계 부재(353), 및 베이스 부재(355)가 마련된다.

착탈 부재(351)와 중계 부재(353)는 힌지부(352)에 의해 접속되고, 중계 부재(353)와 베이스 부재(355)는 힌지부(354)에 의해 접속된다.

착탈 부재(351)의 선단에는, 어태치먼트가 탈착되는 착탈부(351A)가 마련된다. 착탈 부재(351)는 각종 어태치먼트가 탈착되는 착탈부(351A)를 갖고, 어태치먼트를 동작시킴으로써 조리를 행하는 조리 기능 암부로서 기능한다.

베이스 부재(355)의 후단에는, 레일에 설치되는 착탈부(356)가 마련된다. 베이스 부재(355)는 조리 암(321)의 이동을 실현하는 이동 기능 암부로서 기능한다.

도 32는, 조리 암(321)의 각 부의 가동 영역의 예를 도시하는 도면이다.

타원 #1로 둘러싸서 나타내는 바와 같이, 착탈 부재(351)는 원형의 단면의 중심축을 중심으로 하여 회전 가능하게 된다. 타원 #1의 중심에 나타내는 편평한 작은 원은 일점쇄선의 회전축의 방향을 나타낸다.

원 #2로 둘러싸서 나타내는 바와 같이, 착탈 부재(351)는 힌지부(352)와의 끼워 맞춤부(351B)를 통과하는 축을 중심으로 하여 회전 가능하게 된다. 또한, 중계 부재(353)는 힌지부(352)와의 끼워 맞춤부(353A)를 통과하는 축을 중심으로 하여 회전 가능하게 된다.

원 #2의 내측에 나타내는 2개의 작은 원은 각각의 회전축의 방향(지면 수직 방향)을 나타낸다. 끼워 맞춤부(351B)를 통과하는 축을 중심으로 한 착탈 부재(351)의 가동 범위와, 끼워 맞춤부(353A)를 통과하는 축을 중심으로 한 중계 부재(353)의 가동 범위는, 각각 예를 들어 90도의 범위이다.

중계 부재(353)는 선단측의 부재(353-1)와, 후단측의 부재(353-2)에 의해 분리하여 구성된다. 타원 #3으로 둘러싸서 나타내는 바와 같이, 중계 부재(353)는 부재(353-1)와 부재(353-2)의 연결부(353B)에 있어서, 원형의 단면의 중심축을 중심으로 하여 회전 가능하게 된다. 다른 가동부도, 기본적으로 동일한 가동 영역을 갖는다.

이와 같이, 선단에 착탈부(351A)를 갖는 착탈 부재(351), 착탈 부재(351)와 베이스 부재(355)를 연결하는 중계 부재(353), 후단에 착탈부(356)가 접속되는 베이스 부재(355)는 각각, 힌지부에 의해 회전 가능하게 접속된다. 각 가동부의 움직임이, 조리 로봇(302) 내의 컨트롤러에 의해 명령 커맨드에 따라서 제어된다.

도 33은, 조리 암과 컨트롤러의 접속의 예를 도시하는 도면이다.

도 33에 도시하는 바와 같이, 조리 암(321)과 컨트롤러(361)는 하우징(311)의 내부에 형성된 공간(311B) 내에 있어서 배선을 통하여 접속된다. 도 33의 예에 있어서는, 조리 암(321-1 내지 321-4)과 컨트롤러(361)는 각각, 배선(362-1 내지 362-4)을 통하여 접속되어 있다. 가요성을 갖는 배선(362-1 내지 362-4)은, 조리 암(321-1 내지 321-4)의 위치에 따라서 적절히 휘게 된다.

·조리 로봇(302)의 구성

도 34는, 조리 로봇(302)의 구성예를 도시하는 블록도이다.

조리 로봇(302)은 조리 로봇(302)의 동작을 제어하는 제어 장치로서의 컨트롤러(361)(도 33)에 대하여 각 부가 접속됨으로써 구성된다. 도 34에 도시하는 구성 중, 상술한 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.

컨트롤러(361)에 대해서는, 조리 암(321) 이외에, 카메라(401), 센서(402), 및 통신부(403)가 접속된다.

컨트롤러(361)는 CPU, ROM, RAM, 플래시 메모리 등을 갖는 컴퓨터에 의해 구성된다. 컨트롤러(361)는 CPU에 의해 소정의 프로그램을 실행하여, 조리 로봇(302)의 전체의 동작을 제어한다. 컨트롤러(361)에 의해 데이터 처리 장치(301)가 구성되게 해도 된다.

예를 들어, 컨트롤러(361)는 통신부(403)를 제어하고, 카메라(401)에 의해 촬영된 화상과 센서(402)에 의해 측정된 센서 데이터를 데이터 처리 장치(301)로 송신한다.

컨트롤러(361)에 있어서는, 소정의 프로그램이 실행됨으로써, 명령 커맨드 취득부(411), 암 제어부(412)가 실현된다.

명령 커맨드 취득부(411)는 데이터 처리 장치(301)로부터 송신되어, 통신부(403)에 있어서 수신된 명령 커맨드를 취득한다. 명령 커맨드 취득부(411)에 의해 취득된 명령 커맨드는 암 제어부(412)에 공급된다.

암 제어부(412)는 명령 커맨드 취득부(411)에 의해 취득된 명령 커맨드에 따라서 조리 암(321)의 동작을 제어한다.

카메라(401)는 조리 로봇(302)의 주위의 모습을 촬영하고, 촬영에 의해 얻어진 화상을 컨트롤러(361)로 출력한다. 카메라(401)는 조리 보조 시스템(312)의 정면, 조리 암(321)의 선단 등의 여러가지 위치에 마련된다.

센서(402)는 온습도 센서, 압력 센서, 광 센서, 거리 센서, 인체 감지 센서, 측위 센서, 진동 센서 등의 각종 센서에 의해 구성된다. 센서(402)에 의한 측정은 소정의 주기로 행하여진다. 센서(402)에 의한 측정 결과를 나타내는 센서 데이터는 컨트롤러(361)에 공급된다.

카메라(401)와 센서(402)가 조리 로봇(302)의 하우징(311)으로부터 이격된 위치에 마련되게 해도 된다.

통신부(403)는 무선 LAN 모듈, LTE(Long Term Evolution)에 대응한 휴대 통신 모듈 등의 무선 통신 모듈이다. 통신부(403)는 데이터 처리 장치(301)나, 인터넷 상의 서버 등의 외부의 장치와의 사이에서 통신을 행한다.

도 34에 도시하는 바와 같이, 조리 암(321)에는 모터(421)와 센서(422)가 마련된다.

모터(421)는 조리 암(321)의 각 관절부에 마련된다. 모터(421)는 암 제어부(412)에 의한 제어에 따라서 축 둘레의 회전 동작을 행한다. 모터(421)의 회전량을 측정하는 인코더, 모터(421)의 회전을 인코더에 의한 측정 결과에 기초하여 적응적으로 제어하는 드라이버 등도 각 관절부에 마련된다.

센서(422)는 예를 들어 자이로 센서, 가속도 센서, 터치 센서 등에 의해 구성된다. 센서(422)는 조리 암(321)의 동작 중, 각 관절부의 각속도, 가속도 등을 측정하고, 측정 결과를 나타내는 정보를 컨트롤러(361)로 출력한다. 조리 로봇(302)으로부터 데이터 처리 장치(301)에 대해서는, 적절히, 센서(422)의 측정 결과를 나타내는 센서 데이터도 송신된다.

·데이터 처리 장치(301)의 구성

도 35는, 데이터 처리 장치(301)의 기능 구성예를 도시하는 블록도이다.

도 35에 도시하는 기능부 중 적어도 일부는, 데이터 처리 장치(301)를 구성하는 컴퓨터의 CPU에 의해 소정의 프로그램이 실행됨으로써 실현된다.

도 35에 도시하는 바와 같이, 데이터 처리 장치(301)에 있어서는 커맨드 생성부(431)가 실현된다. 커맨드 생성부(431)는 레시피 데이터 취득부(451), 로봇 상태 추정부(452), 제어부(453), 및 커맨드 출력부(454)로 구성된다.

레시피 데이터 취득부(451)는 정보 처리 장치(1) 등에 있어서 새롭게 생성된 레시피 데이터를 취득하고, 제어부(453)로 출력한다. Plating을 포함하는 레시피 전체의 생성 기능을 갖는 정보 처리부(151)(도 22)가 레시피 데이터 취득부(451) 내에 마련되게 해도 된다.

로봇 상태 추정부(452)는 조리 로봇(302)으로부터 송신되어 온 화상과 센서 데이터를 수신한다. 조리 로봇(302)으로부터는, 조리 로봇(302)의 카메라에 의해 촬영된 화상과, 조리 로봇(302)의 소정의 위치에 마련된 센서에 의해 측정된 센서 데이터가 소정의 주기로 송신되어 온다. 조리 로봇(302)의 카메라에 의해 촬영된 화상에는, 조리 로봇(302)의 주위의 모습이 찍혀 있다.

로봇 상태 추정부(452)는 조리 로봇(302)으로부터 송신되어 온 화상과 센서 데이터를 해석함으로써, 조리 암(321)의 상태, 식재의 상태 등의, 조리 로봇(302)의 주위의 상태나 조리 공정의 상태를 추정한다. 로봇 상태 추정부(452)에 의해 추정된 조리 로봇(302)의 주위의 상태 등을 나타내는 정보는, 제어부(453)에 공급된다.

제어부(453)는 레시피 데이터 취득부(451)로부터 공급된 레시피 데이터에 기술되는 조리 공정 데이터 세트와 Plating 공정 데이터 세트에 기초하여, 조리 로봇(302)을 제어하기 위한 명령 커맨드를 생성한다. 예를 들어, 조리 공정 데이터 세트에 포함되는 조리 동작 정보에 의해 표현되는 바와 같은 동작을 조리 암(321)에 행하게 하기 위한 명령 커맨드가 생성된다.

명령 커맨드의 생성에는, 로봇 상태 추정부(452)에 의해 추정된 조리 로봇(302)의 주위의 상태 등도 참조된다. 제어부(453)에 의해 생성된 명령 커맨드는 커맨드 출력부(454)에 공급된다.

커맨드 출력부(454)는 제어부(453)에 의해 생성된 명령 커맨드를 조리 로봇(302)으로 송신한다.

·데이터 처리 장치(301)의 동작

도 36의 흐름도를 참조하여, 조리 로봇(302)의 동작을 제어하는 데이터 처리 장치(301)의 처리에 대하여 설명한다.

스텝 S101에 있어서, 레시피 데이터 취득부(451)는 정보 처리 장치(1) 등에 의해 생성된 레시피를 나타내는 레시피 데이터를 취득한다.

스텝 S102에 있어서, 제어부(453)는 레시피 데이터에 기술되는 조리 공정 데이터 세트에 기초하여, 소정의 조리 동작을 선택하고, 선택한 조리 동작을 행하게 하기 위한 명령 커맨드를 생성한다. 예를 들어, 조리 공정 데이터 세트가 조리 공정의 순으로 선택됨과 함께, 선택된 조리 공정에 포함되는 조리 동작이 실행순으로 선택된다.

스텝 S103에 있어서, 커맨드 출력부(454)는 명령 커맨드를 조리 로봇(302)으로 송신하여, 조리 동작을 실행시킨다.

스텝 S104에 있어서, 로봇 상태 추정부(452)는 조리 로봇(302)의 상태를 추정한다.

스텝 S105에 있어서, 제어부(453)는 모든 조리 동작이 종료되었는지의 여부를 판정한다. 모든 조리 동작이 종료되어 있지 않다고 스텝 S105에 있어서 판정한 경우, 스텝 S102로 되돌아가서, 다음 조리 동작을 선택하고, 이상의 처리가 반복된다.

모든 조리 동작이 종료되었다고 스텝 S105에 있어서 판정된 경우, 스텝 S106에 있어서, 제어부(453)는 레시피 데이터에 기술되는 Plating 공정 데이터 세트에 기초하여, Plating 동작을 행하게 하기 위한 명령 커맨드를 생성한다.

스텝 S107에 있어서, 커맨드 출력부(454)는 명령 커맨드를 조리 로봇(302)으로 송신하여, Plating 동작을 실행시킨다.

스텝 S108에 있어서, 로봇 상태 추정부(452)는 조리 로봇(302)의 상태를 추정한다.

스텝 S109에 있어서, 제어부(453)는 Plating 동작이 종료되었는지의 여부를 판정한다. Plating 동작이 종료되어 있지 않다고 스텝 S109에 있어서 판정한 경우, 스텝 S106로 되돌아가서, 이상의 처리가 반복된다.

Plating 동작이 종료되었다고 스텝 S109에 있어서 판정된 경우, 처리는 종료가 된다. 이때, 정보 처리 장치(1) 등에 의해 생성된 새로운 레시피 데이터에 기초하여, 요리가 완성되게 된다.

이와 같이, 조리 암을 사용하여 조리를 행하는 로봇을 제어하기 위한 레시피 데이터가 정보 처리 장치(1)에 의해 생성되도록 하는 것이 가능하다.

도 37은, 제어 시스템의 다른 구성예를 도시하는 도면이다.

도 37에 도시하는 제어 시스템에 있어서는, 조리 로봇(302)을 대신하여, 전자 레인지 등의 전자 조리 기구(303)가 마련되어 있다. 전자 조리 기구(303)는 데이터 처리 장치(301)로부터 공급된 명령 커맨드에 따라서 조리 동작과 Plating 동작을 행하여, 조리를 행하게 된다. 가열 기능을 갖는 전자 조리 기구(303)에 있어서는, 예를 들어, 초콜릿 등의 식재를 가열하여 요리 위에서 녹이는 등의 Plating 동작이 행하여진다.

이와 같이, 조리 동작과 Plating 동작을 자동적으로 행하는 각종 기기의 제어에 레시피 데이터가 사용되도록 하는 것이 가능하다.

<기타의 예>

조리 공정과 Plating 공정의 양쪽 공정이 조리 로봇(302)에 의해 행하여지는 것으로 했지만, 조리 공정에 대해서는 셰프에 의해 행하여지고, Plating 공정만이 조리 로봇(302)에 의해 행하여지게 해도 된다. 이 경우, 레시피 데이터에는, Plating 공정에 관한 정보만이 기술된다.

·컴퓨터의 구성예

상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는, 범용의 퍼스널 컴퓨터 등에 인스톨된다.

인스톨되는 프로그램은, 광 디스크(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc) 등)나 반도체 메모리 등을 포함하는 도 21에 도시되는 리무버블 미디어(111)에 기록하여 제공된다. 또한, 로컬 에어리어 네트워크, 인터넷, 디지털 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공되게 해도 된다. 프로그램은, ROM(102)이나 기억부(108)에 미리 인스톨해 둘 수 있다.

컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에 처리가 행하여지는 프로그램이어도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지의 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.

본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또한 다른 효과가 있어도 된다.

본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 외에, 복수의 장치에서 분담하여 실행할 수 있다.

1: 정보 처리 장치
51: 학습 서버
61: 학습기
151: 정보 처리부
161: 취득부
162: Plating 생성부
163: 제시부
171: Plating 생성 서버
301: 데이터 처리 장치
302: 조리 로봇

Claims (19)

1. 요리의 보기 좋게 담기에 사용된 식재에 관한 정보인 식재 정보, 조리인의 보기 좋게 담기 동작에 관한 정보인 보기 좋게 담기 동작 정보, 및 보기 좋게 담기에 사용된 조리 툴에 관한 정보인 조리 툴 정보를 포함하는 보기 좋게 담기 정보에 기초하여, 새로운 보기 좋게 담기에 관한 정보인 새로운 보기 좋게 담기 정보를 생성하는 보기 좋게 담기 생성부를 구비하는
   정보 처리 장치.
2. 제1항에 있어서, 상기 보기 좋게 담기 생성부는, 상기 보기 좋게 담기 정보의 시계열 데이터에 기초하여, 각 시각의 보기 좋게 담기 동작에 관한 정보를 포함하는 상기 새로운 보기 좋게 담기 정보를 생성하는
   정보 처리 장치.
3. 제1항에 있어서, 상기 보기 좋게 담기 생성부는, 보기 좋게 담긴 식재의 배치에 관한 정보인 배치 정보를 더 포함하는 상기 보기 좋게 담기 정보에 기초하여, 상기 새로운 보기 좋게 담기 정보를 생성하는
   정보 처리 장치.
4. 제1항에 있어서, 상기 보기 좋게 담기 생성부는, 보기 좋게 담기에 사용된 식기에 관한 정보인 식기 정보를 더 포함하는 상기 보기 좋게 담기 정보에 기초하여, 상기 새로운 보기 좋게 담기 정보를 생성하는
   정보 처리 장치.
5. 제1항에 있어서, 상기 새로운 보기 좋게 담기에 사용하는 식재를 준비할 때의 조리 공정에 관한 정보인 조리 공정 정보와 상기 새로운 보기 좋게 담기 정보를 한데 묶는 것에 의해, 레시피 데이터를 생성하는 레시피 생성부를 더 구비하는
   정보 처리 장치.
6. 제5항에 있어서, 소정의 요리의 상기 레시피 데이터에 기초하여, 상기 조리 공정과 상기 새로운 보기 좋게 담기의 공정을 조리 로봇에 행하게 하기 위한 명령 커맨드를 생성하는 명령 커맨드 생성부를 더 구비하는
   정보 처리 장치.
7. 제1항에 있어서, 상기 식재 정보, 상기 보기 좋게 담기 동작 정보, 및 상기 조리 툴 정보의 적어도 어느 것은, 상기 조리인에 의한 보기 좋게 담기의 모습을 촬영하여 얻어진 화상을 해석함으로써, 또는, 상기 조리인에 의한 보기 좋게 담기의 동작을 측정한 센서 데이터를 해석함으로써 얻어진 정보인
   정보 처리 장치.
8. 제2항에 있어서, 상기 보기 좋게 담기 생성부는, 상기 보기 좋게 담기 정보의 시계열 데이터와, 상기 조리인의 보기 좋게 담기에 대한 사람의 주관 평가를 나타내는 주관 정보와, 상기 조리인의 보기 좋게 담기 결과를 나타내는 화상에 기초하여 학습을 행함으로써 생성된 모델에 기초하여, 상기 새로운 보기 좋게 담기 정보를 생성하는
   정보 처리 장치.
9. 제8항에 있어서, 상기 모델은, 보기 좋게 담기에 대한 사람의 주관 평가와, 소정의 보기 좋게 담기 결과를 나타내는 화상을 입력으로 하고, 상기 새로운 보기 좋게 담기에 관한 시계열 데이터를 출력으로 하는 뉴럴 네트워크인
   정보 처리 장치.
10. 제9항에 있어서, 상기 새로운 보기 좋게 담기를 요구하는 유저에 의한 입력에 기초하여, 상기 모델의 입력이 되는 상기 주관 평가와 상기 소정의 보기 좋게 담기 결과를 나타내는 화상을 취득하는 취득부를 더 구비하는
    정보 처리 장치.
11. 정보 처리 장치가,
    요리의 보기 좋게 담기에 사용된 식재에 관한 정보인 식재 정보, 조리인의 보기 좋게 담기 동작에 관한 정보인 보기 좋게 담기 동작 정보, 및 보기 좋게 담기에 사용된 조리 툴에 관한 정보인 조리 툴 정보를 포함하는 보기 좋게 담기 정보에 기초하여, 새로운 보기 좋게 담기에 관한 정보인 새로운 보기 좋게 담기 정보를 생성하는
    정보 처리 방법.
12. 요리의 보기 좋게 담기에 사용된 식재에 관한 정보인 식재 정보, 조리인의 보기 좋게 담기 동작에 관한 정보인 보기 좋게 담기 동작 정보, 및 보기 좋게 담기에 사용된 조리 툴에 관한 정보인 조리 툴 정보를 포함하는 보기 좋게 담기 정보에 기초하여 생성된, 새로운 보기 좋게 담기에 관한 정보인 새로운 보기 좋게 담기 정보에 기초하여, 상기 새로운 보기 좋게 담기의 동작을 행하는 제어부를 구비하는
    조리 로봇.
13. 제12항에 있어서, 상기 보기 좋게 담기 정보의 시계열 데이터에 기초하여 생성된 상기 새로운 보기 좋게 담기 정보는, 각 시각의 보기 좋게 담기 동작에 관한 정보를 포함하는 정보인
    조리 로봇.
14. 제12항에 있어서, 상기 새로운 보기 좋게 담기 정보는, 보기 좋게 담긴 식재의 배치에 관한 정보인 배치 정보를 더 포함하는 상기 보기 좋게 담기 정보에 기초하여 생성된 정보인
    조리 로봇.
15. 제12항에 있어서, 상기 새로운 보기 좋게 담기 정보는, 보기 좋게 담기에 사용된 식기에 관한 정보인 식기 정보를 더 포함하는 상기 보기 좋게 담기 정보에 기초하여 생성된 정보인
    조리 로봇.
16. 제12항에 있어서, 상기 제어부는, 상기 새로운 보기 좋게 담기에 사용하는 식재를 준비할 때의 조리 공정에 관한 정보인 조리 공정 정보와 상기 새로운 보기 좋게 담기 정보를 한데 묶는 것에 의해 생성된 레시피 데이터에 기초하여, 상기 조리 공정의 동작과 상기 새로운 보기 좋게 담기의 동작을 제어하는
    조리 로봇.
17. 제16항에 있어서, 상기 레시피 데이터에 기초하여, 상기 조리 공정과 상기 새로운 보기 좋게 담기의 공정을 행하게 하는 명령 커맨드를 생성하는 명령 커맨드 생성부를 더 구비하는
    조리 로봇.
18. 조리 로봇이,
    요리의 보기 좋게 담기에 사용된 식재에 관한 정보인 식재 정보, 조리인의 보기 좋게 담기 동작에 관한 정보인 보기 좋게 담기 동작 정보, 및 보기 좋게 담기에 사용된 조리 툴에 관한 정보인 조리 툴 정보를 포함하는 보기 좋게 담기 정보에 기초하여 생성된, 새로운 보기 좋게 담기에 관한 정보인 새로운 보기 좋게 담기 정보에 기초하여, 상기 새로운 보기 좋게 담기의 동작을 행하는
    조리 방법.
19. 요리의 보기 좋게 담기에 사용된 식재에 관한 정보인 식재 정보, 조리인의 보기 좋게 담기 동작에 관한 정보인 보기 좋게 담기 동작 정보, 및 보기 좋게 담기에 사용된 조리 툴에 관한 정보인 조리 툴 정보를 포함하는 보기 좋게 담기 정보에 기초하여 생성된, 새로운 보기 좋게 담기에 관한 정보인 새로운 보기 좋게 담기 정보에 기초하여, 상기 새로운 보기 좋게 담기의 동작을 행하는 제어부를 구비하는
    조리 기구.

Images