KR20210134624A

KR20210134624A - 조리 로봇, 조리 로봇 제어 장치, 제어 방법

Info

Publication number: KR20210134624A
Application number: KR1020217025784A
Authority: KR
Inventors: 마사히로 후지타; 가오루 요시다; 마이클 시그프리드 스프랜저; 다츠시 나시다
Original assignee: 소니그룹주식회사
Priority date: 2019-03-01
Filing date: 2020-02-14
Publication date: 2021-11-10
Also published as: US20220142398A1; WO2020179402A1; JPWO2020179402A1; EP3932627B1; EP3932627A4; EP3932627A1; CN113474134A

Abstract

본 기술은, 조리 로봇이 만드는 요리를, 먹는 사람의 기호에 따라서 커스터마이즈할 수 있도록 하는 조리 로봇, 조리 로봇 제어 장치, 제어 방법에 관한 것이다. 본 기술의 일측면의 조리 로봇(1)은 요리의 식재에 관한 정보 및 식재를 사용한 조리 공정에서의 조리인의 동작에 관한 정보가 기술된 조리 동작 데이터와, 조리 공정의 진척에 연동하여 계측된 조리인의 생체 반응을 나타내는 조리인 생체 데이터를 링크시킨 데이터 세트를 포함하는 레시피 데이터를 사용하여, 조리 암(321)이 행하는 조리 동작을 제어한다. 본 기술은, 암을 동작시켜 조리를 행하는 조리 로봇에 적용할 수 있다.

Description

조리 로봇, 조리 로봇 제어 장치, 제어 방법

본 기술은, 조리 로봇, 조리 로봇 제어 장치, 제어 방법에 관한 것으로, 특히 조리 로봇이 만드는 요리를, 먹는 사람의 기호에 따라서 커스터마이즈할 수 있도록 한 조리 로봇, 조리 로봇 제어 장치, 제어 방법에 관한 것이다.

조리 중의 조리인의 움직임을 센싱하고, 센싱 결과의 데이터를 보존ㆍ송신함으로써, 조리인이 만든 요리를 조리 로봇측에 있어서 재현하는 기술이 검토되고 있다. 조리 로봇에 의한 조리 동작은, 예를 들어 조리인의 손 움직임과 동일한 움직임을 센싱 결과에 기초하여 실현하도록 하여 행해진다.

일본 특허 공표 제2017-506169호 공보 일본 특허 공표 제2017-536247호 공보

종래의 조리 로봇에 의한 조리는, 제어 데이터로서 미리 준비된 레시피대로 진행된다. 그 때문에, 완성된 요리가, 먹는 사람의 기호에 맞지 않을 수 있다.

본 기술은 이와 같은 상황을 감안하여 이루어진 것이며, 조리 로봇이 만드는 요리를, 먹는 사람의 기호에 따라서 커스터마이즈할 수 있도록 하는 것이다.

본 기술의 일측면의 조리 로봇은, 요리를 만들기 위한 조리 동작을 행하는 조리 암과, 상기 요리의 식재에 관한 정보 및 상기 식재를 사용한 조리 공정에서의 조리인의 동작에 관한 정보가 기술된 조리 동작 데이터와, 상기 조리 공정의 진척에 연동하여 계측된 상기 조리인의 생체 반응을 나타내는 조리인 생체 데이터를 링크시킨 데이터 세트를 포함하는 레시피 데이터를 사용하여, 상기 조리 암이 행하는 상기 조리 동작을 제어하는 제어부를 구비한다.

본 기술의 일측면에 있어서는, 상기 요리의 식재에 관한 정보 및 상기 식재를 사용한 조리 공정에서의 조리인의 동작에 관한 정보가 기술된 조리 동작 데이터와, 상기 조리 공정의 진척에 연동하여 계측된 상기 조리인의 생체 반응을 나타내는 조리인 생체 데이터를 링크시킨 데이터 세트를 포함하는 레시피 데이터를 사용하여, 상기 조리 암이 행하는 상기 조리 동작이 제어된다.

도 1은 본 기술의 일 실시 형태에 따른 조리 시스템에 있어서의 전체의 처리의 예를 나타내는 도면이다.
도 2는 셰프측과 재현측의 각각에 있어서 사용되는 식재의 차이에 대해서 설명하는 도면이다.
도 3은 레시피 데이터의 기술 내용의 예를 나타내는 도면이다.
도 4는 조리 공정 데이터 세트에 포함되는 정보의 예를 나타내는 도면이다.
도 5는 계측 대상이 되는 생체 반응의 예를 나타내는 도면이다.
도 6은 풍미의 구성 요소의 예를 나타내는 도면이다.
도 7은 조리 공정의 예를 나타내는 도면이다.
도 8은 정보의 생성예를 도시하는 도면이다.
도 9는 정보의 다른 생성예를 도시하는 도면이다.
도 10은 풍미의 판정에 사용되는 판정 모델의 예를 나타내는 도면이다.
도 11은 레시피 데이터의 예를 나타내는 도면이다.
도 12는 레시피 데이터의 생성의 흐름예를 나타내는 도면이다.
도 13은 레시피 데이터에 기초하는 요리의 재현의 흐름예를 나타내는 도면이다.
도 14는 재현 시의 조리 공정의 예를 나타내는 도면이다.
도 15는 레시피 데이터의 커스터마이즈의 흐름예를 나타내는 도면이다.
도 16은 식사인의 풍미를 느끼는 방식의 해석의 예를 나타내는 도면이다.
도 17은 셰프측의 흐름과 재현측의 흐름을 통합하여 도시하는 도면이다.
도 18은 레시피 데이터의 다른 기술 내용의 예를 나타내는 도면이다.
도 19는 계측 대상이 되는 생체 반응의 예를 나타내는 도면이다.
도 20은 레시피 데이터의 커스터마이즈의 흐름예를 나타내는 도면이다.
도 21은 커스터마이즈의 예를 나타내는 도면이다.
도 22는 조리 시스템의 적용예를 도시하는 도면이다.
도 23은 레시피 데이터의 다른 기술 내용의 예를 나타내는 도면이다.
도 24는 본 기술의 일 실시 형태에 따른 조리 시스템의 구성예를 도시하는 도면이다.
도 25는 조리 시스템의 다른 구성예를 도시하는 도면이다.
도 26은 제어 장치의 배치예를 도시하는 도면이다.
도 27은 셰프측의 구성예를 도시하는 블록도이다.
도 28은 데이터 처리 장치의 하드웨어의 구성예를 도시하는 블록도이다.
도 29는 데이터 처리 장치의 기능 구성예를 도시하는 블록도이다.
도 30은 조리 로봇의 외관을 도시하는 사시도이다.
도 31은 조리 암의 모습을 확대하여 도시하는 도면이다.
도 32는 조리 암의 외관을 도시하는 도면이다.
도 33은 조리 암의 각 부의 가동 영역의 예를 나타내는 도면이다.
도 34는 조리 암과 컨트롤러의 접속의 예를 나타내는 도면이다.
도 35는 조리 로봇과 주변의 구성예를 나타내는 블록도이다.
도 36은 제어 장치의 기능 구성예를 도시하는 블록도이다.
도 37은 데이터 처리 장치의 레시피 데이터 생성 처리에 대해서 설명하는 흐름도이다.
도 38은 데이터 처리 장치의 레시피 데이터 커스터마이즈 처리에 대해서 설명하는 흐름도이다.
도 39는 제어 장치의 요리 재현 처리에 대해서 설명하는 흐름도이다.
도 40은 조리 공정 데이터 세트에 포함되는 정보의 예를 나타내는 도면이다.
도 41은 미각 주관 정보의 산출예를 도시하는 도면이다.
도 42는 레시피 데이터의 생성의 흐름예를 나타내는 도면이다.
도 43은 레시피 데이터에 기초하는 요리의 재현의 흐름예를 나타내는 도면이다.
도 44는 레시피 데이터의 기술 내용의 예를 나타내는 도면이다.
도 45는 조리 시스템의 다른 구성예를 도시하는 도면이다.

<본 기술의 개요>

본 기술은, 조리인이 요리를 만들 때의 생체 반응을 센싱하고, 센싱된 생체 데이터를 레시피 데이터에 포함하여, 요리를 재현하는 조리 로봇측에 제공하도록 한 것이다.

또한, 본 기술은, 조리인이 만든 요리의 재현 시, 레시피 데이터에 포함되는 생체 데이터를 조리 로봇측에 있어서 활용하고, 조리 공정을 갱신함으로써, 먹는 사람의 기호에 따라서 풍미를 미세 조정한 요리를 재현할 수 있도록 하는 것이다.

또한, 본 기술은, 조리인이 요리를 만들 때의 감각과, 조리인이 제작한 레시피에 기초하여 조리를 행할 때의 감각의 차이(차분)에 주목하여, 식재와 조리 공정을 기술한 데이터에 대하여, 요리를 만들 때의 조리인의 감각을 데이터화한 감각 데이터를 링크시켜 레시피 데이터로서 관리하도록 한 것이다.

이하, 본 기술을 실시하기 위한 형태에 대해서 설명한다. 설명은 이하의 순서로 행한다.

1. 조리 시스템에 있어서의 레시피 데이터의 생성과 요리의 재현

2. 레시피 데이터의 기술에 대해서

3. 레시피 데이터의 생성예

4. 레시피 데이터의 생성과 요리의 재현의 흐름예

5. 레시피 데이터의 기술의 변형예

6. 조리 시스템의 구성예

7. 조리 시스템의 동작

8. 풍미 정보를 포함하는 레시피 데이터

9. 변형예

<조리 시스템에 있어서의 레시피 데이터의 생성과 요리의 재현>

도 1은, 본 기술의 일 실시 형태에 따른 조리 시스템에 있어서의 전체의 처리의 예를 나타내는 도면이다.

도 1에 도시한 바와 같이, 조리 시스템은, 조리를 행하는 셰프측의 구성과, 셰프가 만든 요리를 재현하는 재현측의 구성으로 구성된다.

셰프측의 구성은, 예를 들어 어느 레스토랑에 마련되는 구성이 되고, 재현측의 구성은, 예를 들어 일반 가정에 마련되는 구성이 된다. 재현측의 구성으로서, 조리 로봇(1)이 준비된다.

도 1의 조리 시스템은, 셰프가 만든 요리와 동일한 요리를, 재현측의 구성으로서의 조리 로봇(1)에 있어서 재현하는 시스템이다. 조리 로봇(1)은 조리 암 등의 구동계의 장치 및 각종 센서를 갖고, 조리를 행하는 기능을 탑재한 로봇이다.

셰프측의 구성으로부터, 조리 로봇(1)을 포함하는 재현측의 구성에 대해서는, 화살표로 나타낸 바와 같이 레시피 데이터가 제공된다. 이후에 상세하게 설명하는 바와 같이, 레시피 데이터에는 요리의 식재를 포함하는, 셰프가 정한 요리에 관한 정보가 기술되어 있다.

재현측의 구성에 있어서는, 조리 로봇(1)의 조리 동작을 레시피 데이터에 기초하여 제어함으로써, 요리가 재현되게 된다. 예를 들어, 셰프의 조리 공정과 동일한 공정을 실현하기 위한 조리 동작을 조리 로봇(1)에 행하게 함으로써 요리가 재현된다.

조리를 행하는 조리인으로서 셰프가 나타내어져 있지만, 요리사, 쿡 등의 호칭법, 주방에 있어서의 역할에 관계없이, 조리를 행하는 사람이라면, 어떠한 사람이 조리를 행하는 경우라도, 도 1의 조리 시스템은 적용 가능하다.

또한, 도 1에 있어서는, 1명의 셰프측의 구성만이 도시되어 있지만, 조리 시스템에는, 복수의 레스토랑 등에 각각 마련되는 복수의 셰프측의 구성이 포함된다. 재현측의 구성에 대해서는, 예를 들어 조리 로봇(1)에 의해 재현된 요리를 먹는 사람이 선택한 소정의 셰프가 만드는, 소정의 요리의 레시피 데이터가 제공된다.

또한, 요리는, 조리를 거쳐서 완성되는 성과물의 것을 의미한다. 조리는 요리를 만드는 과정이나, 요리를 만드는 행위(작업)의 것을 의미한다.

도 2는, 셰프측과 재현측의 각각에 있어서 사용되는 식재의 차이에 대해서 설명하는 도면이다.

셰프의 조리에 예를 들어 당근이 사용된 경우, 레시피 데이터에는, 식재로서 당근을 사용하는 것을 나타내는 정보가 기술된다. 또한, 당근을 사용한 조리 공정에 관한 정보가 기술된다.

재현측에 있어서도 마찬가지로, 레시피 데이터에 기초하여, 당근을 사용한 조리 동작이 행해진다.

여기서, 동일한 「당근」으로서 분류되는 식재이어도, 셰프측에서 준비되는 당근과, 재현측에서 준비되는 당근에서는, 종별의 차이, 산지의 차이, 수확 시기의 차이, 육성 상황의 차이, 수확 후의 환경의 차이 등에 의해, 맛, 향기, 질감이 다르다. 자연물인 식재에는, 완전히 동일한 것은 존재하지 않는다.

따라서, 셰프의 동작과 완전히 동일한 조리 동작을 조리 로봇(1)에 행하게 했다고 해도, 당근을 사용하여 완성된 요리의 풍미는 다른 것이 된다.

1개의 요리가 완성될 때까지는 복수의 조리 공정을 거치게 되지만, 당근을 사용한 1개의 조리 공정을 거침으로써 완성된 도중의 요리를 보아도, 그 풍미는 셰프측과 재현측은 다른 것이 된다.

셰프가 맛있다고 느끼는 요리라도, 조리 로봇(1)에 의해 재현된 요리를 먹는 사람에 따라서는, 동일하게 느낀다고는 할 수 없다.

그래서, 도 1의 조리 시스템에 있어서는, 조리를 행하고 있는 셰프의 생체 반응이 계측된다. 재현측에 제공되는 레시피 데이터에는, 셰프의 생체 반응을 데이터화한 생체 정보가, 식재나 동작의 정보와 링크하여 기술된다.

재현측에 있어서는, 모든 조리 공정이 끝날 때까지의 동안에, 조리 로봇(1)에 의해 재현된 요리를 먹는 사람 등의, 조리 로봇(1)의 주변에 있는 사람에 대하여 맛보기를 행할 것이 요구된다. 예를 들어, 셰프가 맛있다고 느낀 생체 반응이 계측된 맛보기의 타이밍이, 레시피 데이터에 포함되는 생체 정보에 기초하여 특정되고, 그에 대응하는 타이밍에, 맛보기를 행할 것이 요구된다.

또한, 맛보기를 행하고 있는 사람의 생체 반응이 계측되고, 계측 결과에 따라서, 적절히, 조리 로봇(1)의 조리 공정이 갱신된다.

사람이 음식을 입에 넣었을 때의 생체 반응은, 그 사람의 풍미를 느끼는 방식을 나타내고 있다고 말할 수 있다. 셰프의 풍미를 느끼는 방식을 나타내는 생체 정보에 기초하여 조리 로봇(1)에 의한 조리가 제어되고, 조리 로봇(1)에 의한 조리 중에 맛보기를 한 사람의 풍미를 느끼는 방식에 따라서, 레시피 데이터에 기술되어 있는 조리 공정이 갱신되게 된다.

이하, 적절히, 셰프의 생체 반응을 나타내는 생체 정보를 조리인 생체 정보라고 한다.

또한, 조리 로봇(1)에 의해 조리된 조리 완료의 식재나, 조리 완료의 식재를 사용하여 완성된(재현된) 요리를 먹는 사람을 식사인이라고 한다. 조리 로봇(1)에 의한 요구에 따라서 맛보기를 행한 식사인의 생체 반응을 나타내는 생체 정보는, 식사인 생체 정보가 된다.

<레시피 데이터의 기술에 대해서>

도 3은, 레시피 데이터의 기술 내용의 예를 나타내는 도면이다.

도 3에 도시한 바와 같이, 1개의 레시피 데이터는, 복수의 조리 공정 데이터 세트로 구성된다. 도 3의 예에 있어서는, 조리 공정 #1에 관한 조리 공정 데이터 세트, 조리 공정 #2에 관한 조리 공정 데이터 세트, …, 조리 공정 #N에 관한 조리 공정 데이터 세트가 포함된다.

이와 같이, 레시피 데이터에 있어서는, 1개의 조리 공정에 관한 정보가, 1개의 조리 공정 데이터 세트로서 기술된다.

도 4는, 조리 공정 데이터 세트에 포함되는 정보의 예를 나타내는 도면이다.

도 4의 말풍선에 나타낸 바와 같이, 조리 공정 데이터 세트는, 조리 공정을 실현하기 위한 조리 동작에 관한 정보인 조리 동작 정보와, 셰프의 생체 반응을 나타내는 조리인 생체 정보로 구성된다.

1. 조리 동작 정보

조리 동작 정보는, 식재 정보와 동작 정보로 구성된다.

1-1. 식재 정보

식재 정보는, 조리 공정에 있어서 셰프가 사용한 식재에 관한 정보이다. 식재에 관한 정보에는, 식재의 종류, 식재의 양, 식재의 크기 등을 표현하는 정보가 포함된다.

예를 들어, 어떤 조리 공정에 있어서 당근을 사용한 조리를 셰프가 행한 경우, 당근을 사용한 것을 나타내는 정보가 식재 정보에 포함된다. 물, 조미료 등의, 요리의 재료로서 셰프가 사용한 각종 음식물을 나타내는 정보 등도, 식재 정보에 포함된다. 음식물은, 사람이 먹을 수 있는 각종의 것이다.

또한, 식재에는, 조리가 전혀 실시되어 있지 않은 식재뿐만 아니라, 어떤 조리가 실시됨으로써 얻어진 조리 완료(예비 처리 완료)의 식재도 포함된다. 어떤 조리 공정의 조리 동작 정보에 포함되는 식재 정보에는, 그것보다 이전의 조리 공정을 거친 조리 완료의 식재의 정보가 포함된다.

셰프가 사용한 식재는, 예를 들어 조리를 행하고 있는 셰프를 카메라로 촬영한 화상을 해석함으로써 인식된다. 식재 정보는, 식재의 인식 결과에 기초하여 생성된다. 카메라에 의해 촬영되는 화상은 동화상이어도 되고, 정지 화상이어도 된다.

레시피 데이터의 생성 시에, 셰프에 의해, 또는, 셰프를 서포트하는 스탭 등의 다른 사람에 의해 식재 정보가 등록되도록 해도 된다.

1-2. 동작 정보

동작 정보는 조리 공정에서의 셰프의 움직임에 관한 정보이다. 셰프의 움직임에 관한 정보에는, 셰프가 사용한 조리 툴의 종류, 손의 움직임을 포함하는, 각 시각의 셰프의 몸 움직임, 각 시각의 셰프가 서 있는 위치 등을 나타내는 정보가 포함된다.

예를 들어, 어떤 식재를, 셰프가 식칼을 사용하여 잘랐을 경우, 조리 툴로서 식칼을 사용한 것을 나타내는 정보, 자르는 위치, 자르는 횟수, 자르는 방식의 힘 조정, 각도, 스피드 등을 나타내는 정보가 동작 정보에 포함된다.

또한, 식재로서의 액체가 들어간 냄비를, 셰프가 국자를 사용하여 뒤섞는 경우, 조리 툴로서 국자를 사용한 것을 나타내는 정보, 뒤섞는 방식의 힘 정도, 각도, 스피드, 시간 등을 나타내는 정보가 동작 정보에 포함된다.

어떤 식재를, 셰프가 오븐을 사용하여 구운 경우, 조리 툴로서 오븐을 사용한 것을 나타내는 정보, 오븐의 화력, 베이킹 시간 등을 나타내는 정보가 동작 정보에 포함된다.

셰프가 플레이팅을 행한 경우, 플레이팅에 사용한 식기, 식재의 배치 방식, 식재의 색감 등을 표현하는 플레이팅 방식의 정보가 동작 정보에 포함된다.

셰프의 움직임은, 예를 들어 조리를 행하고 있는 셰프를 카메라로 촬영한 화상을 해석함으로써, 또는, 셰프가 착용하고 있는 센서에 의해 계측된 센서 데이터를 해석함으로써 인식된다. 동작 정보는 셰프의 움직임의 인식 결과에 기초하여 생성된다.

2. 조리인 생체 정보

도 5는, 계측 대상이 되는 생체 반응의 예를 나타내는 도면이다.

도 5에 도시한 바와 같이, 예를 들어, 셰프의 생체 반응으로서, 뇌파, 동공, 발한, 사지의 근전, 얼굴 전체의 온도, 얼굴의 표정, 몸 전체의 모션, 심박수, 성음이 계측된다.

(1) 뇌파(Electroencephalogram:EEG)

셰프의 뇌파가, 뇌파계를 사용하여 계측된다. 셰프가 맛보기를 행했을 때의 뇌파에는, 미각 수용체나 후각 수용체로부터의 신호가 포함된다. 뇌파를 해석함으로써, 셰프의 맛을 느끼는 방식, 향기를 느끼는 방식 등을 특정하는 것이 가능하다.

(2) 동공

셰프의 동공의 변화가, 카메라에 의해 촬영된 화상을 해석함으로써 계측된다. 기뻐하거나 놀라거나 하면 동공이 열리는 식으로, 동공의 개폐도로부터 감정을 특정하는 것이 가능하다. 예를 들어, 맛보기를 행한 셰프의 동공 개폐도가 역치보다 높은 경우, 맛있다고 느낀다고 추정할 수 있다.

(3) 발한

셰프의 발한량의 변화가, 카메라에 의해 촬영된 화상을 해석함으로써, 또는, 피부의 수분량을 계측하는 피부 센서에 의한 계측 결과를 해석함으로써 계측된다. 예를 들어, 따뜻한 것이나 매운 것을 먹음으로써 혈류가 상승하고, 발한량이 많아지는 경우가 있다.

(4) 사지의 근전

셰프의 근전의 변화가, 근전계를 사용하여 계측된다. 기쁜 일이 있으면 손발에 순간적으로 힘이 들어가 근전의 변화로서 관측할 수 있는 식으로, 근전의 변화로부터 감정을 특정하는 것이 가능하다. 예를 들어, 맛보기를 행했을 때에 근전이 크게 변화된 경우, 맛있다고 느낀다고 추정할 수 있다.

(5) 얼굴 전체의 온도

셰프의 얼굴 전체의 온도가, 적외선 센서를 사용하여 계측된다. 예를 들어, 따뜻한 것이나 매운 것을 먹음으로써 혈류가 상승하고, 얼굴 전체의 온도가 높아지는 경우가 있다.

(6) 얼굴의 표정

셰프의 표정이, 카메라에 의해 촬영된 화상을 해석함으로써 계측된다. 예를 들어, 맛보기를 행했을 때의 셰프 표정이 기뻐하고 있는 표정인 경우, 맛있다고 느낀다고 추정할 수 있고, 반대로, 슬퍼하고 있는 표정인 경우, 맛없다고 느낀다고 추정할 수 있다.

(7) 몸 전체의 모션

셰프의 몸 전체의 모션(움직임)이 카메라에 의해 촬영된 화상이나, 셰프의 몸에 설치된 모션 센서의 계측 결과를 나타내는 센서 데이터를 해석함으로써 계측된다. 맛있는 것을 먹었을 때에 그대로 굳어져 버리는 사람은 별로 없기 때문에, 몸 전체의 모션은, 풍미를 느끼는 방식을 나타내고 있다고 말할 수 있다.

(8) 심박수

셰프의 심박수가, 웨어러블 활동량계를 사용하여 계측된다. 예를 들어, 맛보기를 행했을 때에 심박수가 높아진 경우, 맛있다고 느낀다고 추정할 수 있다.

(9) 성음

셰프의 성음이, 마이크로폰에 의해 집음된 음성을 해석함으로써 계측된다. 예를 들어, 맛보기를 행했을 때에 발한 셰프의 목소리의 주파수가, 맛보기를 행하기 전에 발한 목소리의 주파수보다 높은 경우, 맛있다고 느낀다고 추정할 수 있다.

셰프의 발화의 의미를 해석하고, 의미 해석의 결과에 기초하여, 맛있다고 느끼고 있는지 여부가 추정되도록 해도 된다. 예를 들어, 「맛있다」, 「솜씨 있다」, 「OK」, 「응」등의, 풍미를 긍정하는 발화가 행해진 경우, 맛있다고 느낀다고 추정할 수 있다.

셰프의 이상과 같은 생체 반응의 계측 결과에 기초하여 조리인 생체 정보가 생성되고, 레시피 데이터에 포함할 수 있다. 조리인 생체 정보에는, 셰프의 풍미를 느끼는 방식을 나타내는 데이터로서, 셰프의 뇌파의 상태를 나타내는 데이터, 동공의 상태를 나타내는 데이터, 발한의 상태를 나타내는 데이터, 사지의 근전 상태를 나타내는 데이터, 얼굴 전체의 온도의 상태를 나타내는 데이터, 얼굴의 표정 상태를 나타내는 데이터, 몸 전체의 모션의 상태를 나타내는 데이터, 심박수의 상태를 나타내는 데이터, 성음의 상태를 나타내는 데이터가 포함되게 된다.

뇌파, 동공, 발한, 사지의 근전, 얼굴 전체의 온도, 얼굴의 표정, 몸 전체의 모션, 심박수, 성음의 모두가 계측되는 것은 아니고, 그들의 생체 반응 중 적어도 어느 것의 생체 반응을 나타내는 정보가 조리인 생체 정보로서 생성되도록 해도 된다.

여기서, 풍미에 대해서 설명한다.

도 6은, 풍미의 구성 요소의 예를 나타내는 도면이다.

사람이 뇌로 느끼는 맛있다, 즉 「풍미」는, 도 6에 도시한 바와 같이, 주로, 사람의 미각에 의해 얻어지는 맛, 사람의 후각에 의해 얻어지는 향기, 사람의 촉각에 의해 얻어지는 질감을 조합하여 구성된다.

체감 온도나 식재의 색채에 의해서도 맛있다라고 느끼는 방식이 바뀌기 때문에, 풍미에는, 체감 온도와 색채도 포함된다.

풍미(flavor)의 각 구성 요소에 대해서 설명한다.

(1) 맛(taste)

맛에는, 혀ㆍ구강 내의 미각 수용체 세포로 느낄 수 있는 5종의 맛(짠맛, 신맛, 쓴맛, 단맛, 감칠맛)이 포함된다. 짠맛, 신맛, 쓴맛, 단맛, 감칠맛은, 기본 오미라고 불린다.

또한, 맛에는, 기본 오미에 추가하여, 구강내뿐만 아니라 전신의 통각인 TRP(Transient Receptor Potential) 채널 패밀리에 속하는 바닐로이드 수용체 등에서 느끼는 매운맛이 포함된다. 농도에 따라서 쓴맛과 겹치는 맛이 되지만, 떫은맛도 맛의 일종이다.

각각의 맛에 대해서 설명한다.

ㆍ짠맛

짠맛을 느끼게 하는 물질에는, 이온화 결합으로 염을 생성하는 미네랄류(Na, K, Fe, Mg, Ca, Cu, Mn, Al, Zn 등)가 있다.

ㆍ신맛

신맛을 느끼게 하는 물질에는, 시트르산, 아세트산 등의 산이 있다. 일반적으로는, pH의 저하 의존(예를 들어, pH3 정도)으로 신맛이 느껴진다.

ㆍ단맛

단맛을 느끼게 하는 물질에는, 자당이나 포도당 등의 당류, 지질류, 글리신 등의 아미노산, 인공 감미료가 있다.

ㆍ감칠맛

감칠맛을 느끼게 하는 물질에는, 글루탐산이나 아스파르트산 등의 아미노산, 이노신산, 구아닐산, 크산틸산 등의 핵산 파생물, 숙신산 등의 유기산 및 염류가 있다.

ㆍ쓴맛

쓴맛을 느끼게 하는 물질에는, 카페인 등의 알칼로이드류, 테오브로민, 니코틴, 카테킨, 테르페노이드 등의 후물론류, 리모닌, 쿠클비타신, 플라바논 배당체인 나린딘, 쓴맛 아미노산, 쓴맛 펩타이드, 담즙산, 무기염류인 칼슘염, 마그네슘염이 있다.

ㆍ떫은맛

떫은맛을 느끼게 하는 물질에는, 폴리페놀류, 탄닌, 카테킨, 다가이온(Al, Zn, Cr), 에탄올, 아세톤이 있다. 떫은맛은, 쓴맛의 일부로서 인식, 혹은 계측된다.

ㆍ매운맛

매운맛을 느끼게 하는 물질에는, 캡사이시노이드가 있다. 생체 기능으로서, 뜨겁게 느끼는 고추나 각종 향신료의 성분인 캡사이신, 냉감을 느끼는 페퍼민트의 성분인 멘톨은, 미각이 아니라, 통각으로서, TRP 채널 패밀리의 온감 수용체에 의해 인식된다.

(2) 향기(aroma)

향기는, 비강 및 상인두 내에 발현하는 후각 수용체에 의해 인식(결합)되는 분자량 300 이하의, 휘발성이 있는 저분자 유기 화합물에 의해 지각된다.

(3) 질감(texture)

질감은, 소위 식감이라고 불리는 지표이며, 딱딱함, 끈적이는 느낌, 점성, 응집성, 폴리머 함유량, 수분 함유량(moisture), 유분 함유량(greasiness) 등으로 표현된다.

(4) 체감 온도(apparent temperature)

체감 온도는, 살갗이 느끼는 온도이다. 체감 온도에는 음식물 자체의 온도뿐만 아니라, 민트와 같이 휘발성 물질을 포함하는 음식물에 의해 청량감을 느끼거나, 고추와 같이 매운맛 성분을 포함하는 음식물에 의해 온감을 느끼거나 하는 등, 피부의 표층부가 음식물의 성분에 반응하여 느껴지는 온도 감각도 포함된다.

(5) 색채(color)

음식물의 색채는, 음식물에 포함되는 색소나, 쓴맛ㆍ떫은맛의 성분을 반영한다. 예를 들어, 식물 유래의 음식물에는 광합성에 의해 생기는 색소나, 폴리페놀류의 쓴맛ㆍ떫은맛에 관계되는 성분이 포함된다. 광학적 계측법에 의해, 음식물의 색채로부터, 음식물에 포함되는 성분을 추정하는 것이 가능하게 된다.

<레시피 데이터의 생성예>

도 7은, 조리 공정의 예를 나타내는 도면이다.

통상, 셰프에 의한 조리는 식재를 사용한 조리를 행하고, 조리 완료의 식재의 맛보기를 하여, 풍미를 조정하는 것을, 조리 공정마다 반복함으로써 행해진다.

풍미의 조정은, 예를 들어 맛에 대해서는, 짠맛이 부족한 경우에는 소금을 더하는, 신맛이 부족한 경우에는 레몬즙을 짜는 등의 공정을 추가하도록 하여 행해진다. 향기에 대해서는, 예를 들어 허브를 잘라 썰어 더하는, 식재에 불을 가하는 등의 공정을 추가하도록 하여 행해진다. 질감에 대해서는, 예를 들어 식재가 딱딱한 경우에는 두드려서 유연하게 하는, 꿇이는 시간을 증가시키는 등의 공정을 추가하도록 하여 행해진다.

도 7의 조리 공정 #1에 있어서는, 시각 t1 내지 시각 t2의 동안에, 식재를 사용한 조리가 1회째의 조리로서 행해지고, 시각 t2 내지 시각 t3의 동안에, 조리 완료의 식재의 맛보기가 1회째의 맛보기로서 행해지고 있다. 또한, 시각 t3 내지 시각 t4의 동안에, 조미료 등의 식재를 사용한 풍미의 조정이 2회째의 조리로서 행해지고, 시각 t4 내지 시각 t5의 동안에, 풍미의 조정 후의 식재의 맛보기가 2회째의 맛보기로서 행해지고 있다.

시각 t3 내지 시각 t4의 동안에 2회째의 조리로서 행해지는 풍미의 조정은, 그 전의 1회째의 맛보기의 결과에 기초하여 행해지는 공정이다. 시각 t4 내지 시각 t5의 동안에 행해지는 2회째의 맛보기는, 그 전의 풍미의 조정 결과를 확인하기 위해 행해지는 공정이다.

도 7의 예에 있어서는, 1개의 조리 공정에 4개의 셰프의 공정이 포함되는 것으로 되어 있지만, 1개의 조리 공정에 포함되는 셰프의 공정 수는 임의이다. 1개의 셰프의 공정에 의해 1개의 조리 공정이 형성되도록 하는 것도 가능하다.

또한, 도 7의 예에 있어서는, 1개의 조리 공정에 2회의 맛보기의 공정이 포함되어 있지만, 1개의 조리 공정에 포함되는 맛보기의 공정이 1회이어도 되고, 맛보기의 공정이 포함되지 않도록 해도 된다. 셰프가 맛보기를 행하고 있는 것은, 예를 들어 카메라에 의해 촬영된 화상을 해석함으로써 인식된다. 셰프의 생체 반응에 기초하여, 셰프가 맛보기를 행하고 있는 것이 인식되게 해도 된다.

도 8은, 정보의 생성예를 도시하는 도면이다.

도 8에 도시한 바와 같이, 1회째의 조리가 행해지고 있는 시각 t1 내지 시각 t2의 사이, 셰프의 동작이 계측되고, 셰프가 사용하고 있는 식재나 셰프의 움직임이 인식된다. 시각 t1 내지 시각 t2의 사이의 인식 결과에 기초하여, 화살표 A1의 전방에 나타내는 바와 같이 조리 동작 정보 #1-1이 생성된다.

또한, 시각 t2에 있어서, 셰프가 맛보기를 시작한 것이 인식된 경우, 셰프의 생체 반응의 계측이 개시된다. 생체 반응의 계측은, 예를 들어 셰프가 맛보기를 종료한 것이 인식된 시각 t3까지 계속된다. 시각 t2 내지 시각 t3의 사이의 계측 결과에 기초하여, 화살표 A2의 전방에 나타내는 바와 같이 조리인 생체 정보 #1-1이 생성된다.

마찬가지로, 2회째의 조리가 행해지고 있는 시각 t3 내지 시각 t4의 사이, 셰프의 동작이 계측되고, 셰프가 사용하고 있는 식재나 셰프의 움직임이 인식된다. 시각 t3 내지 시각 t4의 사이의 인식 결과에 기초하여, 화살표 A3의 전방에 나타내는 바와 같이 조리 동작 정보 #1-2가 생성된다.

시각 t4에 있어서, 셰프가 맛보기를 시작한 것이 인식된 경우, 셰프의 생체 반응의 계측이 개시된다. 생체 반응의 계측은, 예를 들어 셰프가 맛보기를 종료한 것이 인식된 시각 t5까지 계속된다. 시각 t4 내지 시각 t5의 사이의 계측 결과에 기초하여, 화살표 A4의 전방에 나타내는 바와 같이 조리인 생체 정보 #1-2가 생성된다.

예를 들어, 조리 동작 정보 #1-1과 조리 동작 정보 #1-2를 통합함으로써, 조리 공정 #1의 조리 공정 데이터 세트를 구성하는 조리 동작 정보가 생성된다.

또한, 조리인 생체 정보 #1-1과 조리인 생체 정보 #1-2를 통합함으로써, 조리 공정 #1의 조리 공정 데이터 세트를 구성하는 조리인 생체 정보가 생성된다. 조리인 생체 정보에는, 어느 타이밍에 행해진 맛보기에 있어서의 셰프의 생체 반응에 기초하여 생성된 것인지를 나타내는 정보도 포함된다. 조리인 생체 정보는, 맛보기의 공정에 링크되어 있다.

도 9는, 정보의 다른 생성예를 도시하는 도면이다.

도 9의 예에 있어서는, 계측된 모든 생체 반응을 나타내는 조리인 생체 정보가 레시피 데이터에 포함되는 것이 아니라, 예를 들어 맛보기의 결과가 OK인 경우, 즉, 셰프가 맛있다고 판단한 경우의 생체 반응을 나타내는 조리인 생체 정보만이 레시피 데이터에 포함된다.

먹은 식재가 맛있다고 셰프가 판단하고 있는지 여부는, 키친에 마련된 버튼을 누르거나 하여 셰프에 의해 직접 입력된다.

또한, 먹은 식재가 맛있다고 셰프가 판단하고 있는지 여부가, 셰프의 생체 반응에 기초하여 판정되도록 해도 된다.

도 10은, 풍미의 판정에 사용되는 판정 모델의 예를 나타내는 도면이다.

도 10에 도시한 바와 같이, 먹은 식재가 맛있다고 셰프가 판단하고 있는지 여부는, 심층 학습 등에 의해 생성된 뉴럴 네트워크의 모델인 풍미 판정 모델을 사용하여 판단된다. 풍미 판정 모델은, 예를 들어, 어떤 식재를 셰프가 먹었을 때의 생체 반응의 계측 결과와, 그 식재가 맛있는지, 맛없는지의 풍미를 느끼는 방식을 나타내는 정보를 사용한 학습을 행함으로써 미리 생성된다.

예를 들어, 어떤 식재를 맛을 보았을 때의 생체 반응의 계측 결과를 입력한 경우, 풍미 판정 모델로부터는 풍미의 판정 결과가 출력된다. 풍미의 판정 결과는, 맛보기를 한 식재가 맛있다(OK)인지, 맛없다(NG)인지를 나타낸다.

도 9의 예에 있어서는, 화살표 A11의 전방에 나타낸 바와 같이, 시각 t2 내지 시각 t3의 동안에 행해진 1회째의 맛보기의 결과가 맛없다고 판단되어 있다. 한편, 화살표 A12의 전방에 나타낸 바와 같이, 시각 t4 내지 시각 t5의 동안에 행해진 2회째의 맛보기의 결과가 맛있다고 판단되어 있다.

이 경우, 시각 t4 내지 시각 t5의 사이의 계측 결과에 기초하여 생성된 조리인 생체 정보 #1-2가, 도 8을 참조하여 설명한 바와 같이 하여 생성된 조리 동작 정보와 함께, 조리 공정 #1의 조리 공정 데이터 세트에 포함된다.

이와 같이, 셰프가 맛있다고 판단하고 있다고 생각되는, 소정의 조건을 충족하는 생체 반응을 나타내는 조리인 생체 정보만이 레시피 데이터에 포함되도록 해도 된다.

도 8을 참조하여 설명한 바와 같이 모든 조리인 생체 정보가 레시피 데이터에 포함되는 경우, 먹은 식재가 맛있다고 셰프가 판단하고 있을 때의 생체 반응을 나타내는 조리인 생체 정보 #1-2에 대하여, 풍미 OK 플래그가 설정되도록 해도 된다. 풍미 OK 플래그는, 먹은 식재가 맛있다고 셰프가 판단하고 있는 것을 나타내는 플래그이다.

풍미 OK 플래그를 참조함으로써, 재현측에 있어서는, 셰프가 맛있다고 판단한 맛보기의 타이밍을 특정하는 것이 가능하게 된다.

또한, 도 8, 도 9의 예에 있어서는, 생체 반응의 계측이, 셰프가 맛보기를 하고 있는 동안만 행해지는 것으로 했지만, 셰프가 조리를 행하고 있는 동안, 상시 행해지도록 해도 된다. 이 경우, 레시피 데이터에는 셰프가 조리를 시작하고 나서부터 조리를 종료할 때까지의, 생체 반응의 시계열 데이터가 조리인 생체 정보로서 포함되게 된다.

이상과 같이, 레시피 데이터는, 조리 공정을 실현하기 위한 조리 동작에 관한 정보인 조리 동작 정보와, 조리 공정의 진척에 연동하여 계측된, 셰프의 생체 반응을 나타내는 정보인 조리인 생체 정보를 링크(연결)시킴으로써 구성된다.

이상과 같은 각 정보를 포함하는 레시피 데이터가, 도 11에 도시한 바와 같이 요리마다 준비된다. 어느 레시피 데이터에 기초하여 요리를 재현하는 것인지는, 예를 들어 조리 로봇(1)이 설치된 장소에 있는 식사인에 의해 선택된다.

<레시피 데이터의 생성과 요리의 재현의 흐름예>

도 12는 레시피 데이터의 생성의 흐름예를 나타내는 도면이다.

상술한 바와 같이, 조리 공정 데이터 세트를 구성하는 조리 동작 정보는, 조리를 행하는 셰프의 동작을 센싱(계측)하고, 센싱 결과에 기초하여 생성된다.

또한, 조리인 생체 정보는, 맛보기를 하고 있는 셰프의 생체 반응을 센싱하고, 센싱 결과에 기초하여 생성된다.

도 12의 예에 있어서는, 화살표 A21에 나타낸 바와 같이, 조리 공정 #1로서 셰프가 행하는 조리 동작의 센싱 결과에 기초하여, 조리 공정 #1의 조리 공정 데이터 세트를 구성하는 조리 동작 정보가 생성된다.

또한, 화살표 A22에 나타낸 바와 같이, 조리 완료의 식재의 맛보기를 행하고 있는 셰프의 생체 반응의 센싱 결과에 기초하여, 조리 공정 #1의 조리 공정 데이터 세트를 구성하는 조리인 생체 정보가 생성된다.

조리 공정 #1이 종료된 후, 다음의 조리 공정인 조리 공정 #2가 행해진다.

마찬가지로, 화살표 A31에 나타낸 바와 같이, 조리 공정 #2로서 셰프가 행하는 조리 동작의 센싱 결과에 기초하여, 조리 공정 #2의 조리 공정 데이터 세트를 구성하는 조리 동작 정보가 생성된다.

또한, 화살표 A32에 나타낸 바와 같이, 조리 완료의 식재의 맛보기를 행하고 있는 셰프의 생체 반응의 센싱 결과에 기초하여, 조리 공정 #2의 조리 공정 데이터 세트를 구성하는 조리인 생체 정보가 생성된다. 이와 같은 복수의 조리 공정을 거쳐서 1개의 요리가 완성된다. 또한, 요리가 완성됨과 함께, 각 조리 공정의 조리 공정 데이터 세트를 기술한 레시피 데이터가 생성된다.

도 13은, 레시피 데이터에 기초하는 요리의 재현의 흐름예를 나타내는 도면이다.

도 13에 도시한 바와 같이, 조리 로봇(1)에 의한 요리의 재현은, 레시피 데이터에 기술된 조리 공정 데이터 세트에 포함되는 조리 동작 정보에 기초하여 조리를 행하고, 조리 완료의 식재의 맛보기를 행한 식사인의 생체 반응에 따라서 조리 공정을 갱신하는 것을, 조리 공정마다 반복함으로써 행해진다.

조리 완료의 식재의 맛보기는, 예를 들어 조리 로봇(1)으로부터 식사인에 대하여 맛보기를 행할 것이 요구되는 것에 따라서, 식사인에 의해 행해진다. 식사인은, 조리 로봇(1)의 요구에 따라서 맛보기를 행할 수 있도록, 레시피 데이터에 기초하여 조리를 행하고 있는 조리 로봇(1)의 주변에 있게 된다.

맛보기의 요구는, 예를 들어 조리 로봇(1)의 스피커로부터 합성 음성을 출력함으로써, 또는, 조리 로봇(1)에 마련된 LED 등의 발광부를 점멸시킴으로써 행해진다. 식사인의 스마트폰 등의 휴대 단말기에 대하여 메시지를 송신함으로써 맛보기의 요구가 행해지게 해도 된다.

맛보기를 요구하는 타이밍은, 예를 들어 조리 공정 데이터 세트에 포함되는 조리인 생체 정보에 기초하여, 셰프가 맛있다고 판단한 맛보기의 타이밍에 따라서 결정된다.

도 13의 예에 있어서는, 화살표 A41에 나타낸 바와 같이, 조리 공정 #1의 조리 공정 데이터 세트를 구성하는 조리 동작 정보에 기초하여 조리 로봇(1)의 조리 동작이 제어되어, 셰프의 조리 공정 #1의 동작과 동일한 동작이 조리 로봇(1)에 의해 행해진다.

셰프의 조리 공정 #1의 동작과 동일한 동작이 조리 로봇(1)에 의해 행해진 후, 화살표 A42에 나타낸 바와 같이, 조리 완료의 식재의 맛보기가 식사인에 대하여 요구된다. 이 맛보기의 요구는, 셰프가 맛있다고 판단한 맛보기 시의 생체 반응을 나타내는 조리인 생체 정보에 기초하여 행해진다.

조리 로봇(1)에 의한 요구에 따라서 맛보기를 하고 있는 식사인의 생체 반응이 계측되고, 계측 결과에 기초하여 조리 공정이 갱신된다. 상세에 대해서는 후술하지만, 조리 완료의 식재가 맛없다고 식사인이 느낀 경우, 맛있다고 느끼는 것이 되도록 조리 공정이 갱신된다.

갱신된 조리 공정에 따른 조리가 조리 로봇(1)에 의해 행해진 경우, 조리 공정 #1은 종료가 된다. 조리 공정 #1이 종료된 후, 다음의 조리 공정인 조리 공정 #2가 행해진다.

마찬가지로, 화살표 A51에 나타낸 바와 같이, 조리 공정 #2의 조리 공정 데이터 세트를 구성하는 조리 동작 정보에 기초하여 조리 로봇(1)의 조리 동작이 제어되어, 셰프의 조리 공정 #2의 동작과 동일한 동작이 조리 로봇(1)에 의해 행해진다.

셰프의 조리 공정 #2의 동작과 동일한 동작이 조리 로봇(1)에 의해 행해진 후, 화살표 A52에 나타낸 바와 같이, 조리 완료의 식재의 맛보기가 식사인에 대하여 요구된다. 이 맛보기의 요구는, 셰프가 맛있다고 판단한 맛보기 시의 생체 반응을 나타내는 조리인 생체 정보에 기초하여 행해진다.

조리 로봇(1)에 의한 요구에 따라서 맛보기를 행하고 있는 식사인의 생체 반응이 계측되고, 계측 결과에 기초하여 조리 공정이 갱신된다.

갱신된 조리 공정에 따른 조리가 조리 로봇(1)에 의해 행해진 경우, 조리 공정 #2는 종료가 된다.

이와 같은 복수의 조리 공정을 거쳐, 셰프가 만든 요리가 조리 로봇(1)에 의해 재현된다.

도 14는, 재현 시의 조리 공정의 예를 나타내는 도면이다.

도 8을 참조하여 설명한 조리 공정 #1이 셰프에 의해 행해지고, 상술한 조리 공정 데이터 세트가 생성되어 있는 것으로 한다.

도 14에 도시한 바와 같이, 시각 t11 내지 시각 t12의 동안에 있어서, 조리 공정 데이터 세트에 포함되는 조리 동작 정보 #1-1에 기초하여, 시각 t1 내지 시각 t2(도 8)의 동안에 셰프에 의해 행해진 1회째의 조리와 동일한 조리가 조리 로봇(1)에 의해 행해진다.

또한, 시각 t12 내지 시각 t13의 동안에 있어서, 조리 공정 데이터 세트에 포함되는 조리 동작 정보 #1-2에 기초하여, 시각 t3 내지 시각 t4의 동안에 셰프에 의해 행해진 2회째의 조리와 동일한 조리가 조리 로봇(1)에 의해 행해진다.

이에 의해, 셰프에 의해 행해진 2회의 조리와 동일한 내용의 2회의 조리가, 조리 로봇(1)에 있어서도 행해진 상태가 된다.

조리 동작 정보 #1-2에 기초하는 조리가 끝난 시각 t13에 있어서는, 셰프가 풍미를 조정한 식재, 즉, 도 8의 시각 t4에 있어서 얻어지는 식재와 동일한 풍미의 식재가, 조리 완료의 식재로서 조리 로봇(1)측에 있어서도 준비된다.

셰프측에 있어서는, 2회째의 조리의 후에 행해진 2회째의 맛보기에 의해 맛있다고 판단되어 있기 때문에, 재현측에 있어서도, 그에 대응하는 2회째의 조리 후의 타이밍에 있어서, 식사인에 대하여 맛보기를 행할 것이 요구된다. 2회째의 맛보기에 의해 맛있다고 셰프에 의해 판단되어 있는 것이, 조리인 생체 정보 #1-2에 기초하여 판단된다. 상술한 바와 같이, 조리인 생체 정보 #1-2는, 셰프가 맛있다고 판단한 맛보기 시의 생체 반응에 기초하여 생성된 정보이다.

도 14의 예에 있어서는, 시각 t13에 있어서, 맛보기를 행할 것이 식사인에 대하여 요구된다. 식사인은, 조리 로봇(1)에 의한 요구에 따라서 식재의 맛보기를 행하게 된다.

식사인이 맛보기를 시작한 것이 인식된 경우, 식사인의 생체 반응의 계측이 개시된다. 계측 대상이 되는 식사인의 생체 반응도, 셰프의 생체 반응과 마찬가지이다. 식사인의 뇌파, 동공, 발한, 사지의 근전, 얼굴 전체의 온도, 얼굴의 표정, 몸 전체의 모션, 심박수, 성음이 계측된다. 생체 반응의 계측은, 예를 들어 식사인이 맛보기를 종료한 것이 인식된 시각 t14까지 계속된다.

시각 t13 내지 시각 t14의 사이의 계측 결과에 기초하여, 식사인이 맛있다고 판단하고 있는지 여부가 판정된다. 즉, 셰프가 맛있다고 판단한 조리 완료의 식재를, 식사인도 맛있다고 판단하고 있는지 여부가 판정된다.

먹은 식재가 맛있다고 식사인이 판단하고 있는지 여부는, 조리 로봇(1)에 마련된 버튼을 누르거나 하여 식사인에 의해 직접 입력된다.

먹은 식재가 맛있다고 식사인이 판단하고 있는지 여부가, 식사인의 생체 반응에 기초하여 판정되도록 해도 된다.

먹은 식재가 맛있다고 식사인이 판단하고 있는지 여부에 대해서도, 도 10을 참조하여 설명한 바와 같은 풍미 판정 모델을 사용하여 판정된다. 재현측에 준비되는 풍미 판정 모델은, 어떤 식재를 식사인이 먹었을 때의 생체 반응의 계측 결과를 사용한 학습에 의해 생성된 모델이다.

먹은 식재가 맛있다고 식사인이 판단하고 있는 경우, 조리 공정 #1은 종료가 된다.

한편, 먹은 식재가 맛없다고 식사인이 판단하고 있는 경우, 시각 t14 내지 시각 t15의 동안에 있어서, 조리 공정이 갱신되고, 갱신 후의 조리 공정에 따른 조리가 조리 로봇(1)에 의해 행해진다. 조리 공정의 갱신은 맛보기를 행한 식사인의 생체 반응에 기초하여 행해진다.

도 15는, 조리 공정의 갱신을 포함하는, 레시피 데이터의 커스터마이즈의 흐름예를 나타내는 도면이다.

도 15에 도시하는 데이터 처리 장치(11)는 이후에 상세하게 설명하는 바와 같이, 레시피 데이터를 생성하여, 조리 로봇(1)을 포함하는 재현측에 레시피 데이터를 제공하는 기능을 갖는 장치이다.

화살표 A101에 나타낸 바와 같이, 조리 로봇(1)으로부터 데이터 처리 장치(11)에 대하여 맛보기를 한 식사인의 생체 반응을 나타내는 식사인 생체 정보가 송신된다.

데이터 처리 장치(11)에 있어서는, 식사인 생체 정보에 기초하여 조리 공정을 갱신함으로써, 레시피 데이터의 커스터마이즈가 행해진다. 예를 들어, 맛보기의 대상이 된 식재의 풍미를, 어떻게 느끼고 있는지가 식사인 생체 정보에 기초하여 해석된다.

도 16은, 식사인의 풍미를 느끼는 방식의 해석의 예를 나타내는 도면이다.

도 16에 도시한 바와 같이, 식사인의 풍미를 느끼는 방식인 풍미 주관값은, 데이터 처리 장치(11)에 준비된 풍미 주관 정보 생성용 모델에 식사인 생체 정보를 입력함으로써 산출된다. 풍미 주관 정보 생성용 모델은 식사인의 생체 반응과, 풍미를 느끼는 방식을 나타내는 정보를 사용한 학습에 의해 미리 생성된 모델이다.

식사인 생체 정보에 기초하여 산출되는 풍미 주관값에 의해, 예를 들어 맛있다 / 맛없다, 짠맛이 강하다 / 약하다, 단맛이 강하다 / 약하다, 향기가 강하다 / 약하다, 딱딱하다 / 유연하다, 뜨겁다 / 미지근하다 등의, 풍미에 관한 식사인의 주관적인 느끼는 방식이 표현된다.

예를 들어, 짠맛이 약하다고 식사인이 느끼고 있는 경우, 데이터 처리 장치(11)는 짠맛을 강하게 하기 위해, 식재에 소금을 뿌리는 동작을 추가하도록, 조리 공정을 갱신한다.

또한, 식재가 딱딱하다고 식사인이 느끼고 있는 경우, 데이터 처리 장치(11)는 식재를 유연하게 하기 위해, 소정의 시간만큼 식재를 꿇이는 동작을 추가하도록, 조리 공정을 갱신한다.

또한, 식재가 미지근하다고 식사인이 느끼고 있는 경우, 데이터 처리 장치(11)는 식재를 뜨겁게 하기 위해, 소정의 시간만큼 식재를 가열하는 동작을 추가하도록, 조리 공정을 갱신한다.

갱신 후의 조리 공정의 기술을 포함하는, 커스터마이즈된 레시피 데이터가, 도 15의 화살표 A102에 나타내는 바와 같이 조리 로봇(1)에 대하여 제공된다. 조리 로봇(1)에 있어서는, 갱신된 조리 공정에 따라서, 식재의 조리가 행해진다.

이와 같은 맛보기의 요구와 조리 공정의 갱신은, 예를 들어 조리 완료의 식재를 식사인이 맛있다고 판단할 때까지 반복된다.

이상과 같이, 조리 로봇(1)을 포함하는 재현측에 있어서는, 셰프의 동작과 동일한 동작을 행함으로써 얻어진 조리 완료의 식재를, 식사인이 맛있다고 판단하고 있는지 여부를 조리 공정마다 확인하면서 조리가 진행된다.

도 17은, 셰프측의 흐름과 재현측의 흐름을 통합하여 도시하는 도면이다.

도 17의 좌측에 나타낸 바와 같이, 조리 공정 #1 내지 #N의 복수의 조리 공정을 거쳐서 1개의 요리가 완성됨과 함께, 각 조리 공정의 조리 공정 데이터 세트를 기술한 레시피 데이터가 생성된다.

한편, 재현측에 있어서는, 셰프의 조리에 의해 생성된 레시피 데이터에 기초하여, 셰프측에서 행해진 조리 공정과 동일한, 조리 공정 #1 내지 #N의 복수의 조리 공정을 거쳐, 1개의 요리가 재현된다.

조리 로봇(1)에 의한 조리가, 조리 공정마다, 셰프의 느끼는 방식과 마찬가지로 식사인이 맛있다고 느끼고 있는지 여부를 확인하고, 식사인이 맛있다고 느끼도록 조리 공정을 갱신하여 진행되기 때문에, 최종적으로 완성되는 요리는, 식사인이 맛있다고 느끼는 요리가 된다.

기본적으로는 셰프의 조리와 동일한 조리를 거쳐서 완성되는 것이기 때문에, 최종적으로 완성되는 요리는 셰프가 만든 요리를 재현한 것이기는 하지만, 식사인의 기호에 따라서 풍미가 커스터마이즈된 요리가 된다.

셰프는, 예를 들어 자신이 경영하는 레스토랑에 내점할 수 없는 사람에 대하여 자신이 만든 요리와 동일한 요리를 제공할 수 있다. 또한, 셰프는 자신이 만드는 요리를, 레시피 데이터로서 재현 가능한 형태로 남기는 것이 가능하게 된다.

한편, 조리 로봇(1)에 의해 재현된 요리를 먹는 식사인은, 셰프가 만든 요리와 동일한 요리를, 자신의 기호에 따라서 커스터마이즈하여 먹을 수 있다.

<레시피 데이터의 기술의 변형예>

도 18은, 레시피 데이터의 다른 기술 내용의 예를 나타내는 도면이다.

도 18에 도시한 바와 같이, 완성된 요리의 맛보기를 행한 셰프의 생체 반응을 나타내는 조리인 생체 정보가 레시피 데이터에 포함되도록 해도 된다. 이 경우, 조리인 생체 정보는, 전체의 조리 동작 정보에 링크된다.

이와 같이, 조리 동작 정보와 조리인 생체 정보의 연결의 관계는, 1대1일 필요는 없다.

예를 들어, 완성된 요리의 맛보기를 행한 셰프의 생체 반응을 나타내는 조리인 생체 정보가 레시피 데이터에 포함되는 경우, 레시피 데이터의 커스터마이즈는, 조리 로봇(1)에 의한 요리의 재현이 종료되고, 재현된 요리를 먹고 있는 식사인의 생체 반응에 기초하여, 식사 후 등의 타이밍에 행해진다. 식사 중에 계측된 생체 반응에 기초하여 커스터마이즈된 레시피 데이터는, 다시, 동일한 요리를 조리 로봇(1)에 있어서 재현할 때에 사용되게 된다.

도 19는, 계측 대상이 되는 생체 반응의 예를 나타내는 도면이다.

도 19에 도시하는 2명의 인물은, 조리 로봇(1)에 의해 재현된 요리를 먹고 있는 식사인이다. 도 19에 도시한 바와 같이, 식사인의 뇌파, 동공, 발한, 사지의 근전, 얼굴 전체의 온도, 얼굴의 표정, 몸 전체의 모션, 심박수, 성음이 계측되어, 식사인 생체 정보가 생성된다.

식사 중에 계측된 식사인 생체 정보는 조리 로봇(1)에 의해 재현된 요리에 대한, 식사인의 풍미를 느끼는 방식을 나타내는 정보가 된다.

도 20은, 레시피 데이터의 커스터마이즈의 흐름예를 나타내는 도면이다.

도 20의 상단에 도시한 바와 같이, 조리 로봇(1)으로부터 데이터 처리 장치(11)에 대하여 식사인의 식사 중의 생체 반응을 나타내는 식사인 생체 정보가 송신된다.

데이터 처리 장치(11)에 있어서는, 식사인 생체 정보에 기초하여 조리 공정을 갱신함으로써, 레시피 데이터의 커스터마이즈가 행해진다. 레시피 데이터의 커스터마이즈는, 상술한 바와 같이, 요리의 풍미를 식사인이 어떻게 느끼고 있는지가 식사인 생체 정보에 기초하여 해석되어, 식사인의 풍미를 느끼는 방식을 나타내는 풍미 주관값에 기초하여 행해진다.

예를 들어, 짠맛이 약하다고 식사인이 느끼고 있는 경우, 데이터 처리 장치(11)는 짠맛을 강하게 하기 위해, 소정의 타이밍에 식재에 소금을 뿌리는 동작을 추가하도록, 조리 공정을 갱신한다.

또한, 요리가 딱딱하다고 식사인이 느끼고 있는 경우, 데이터 처리 장치(11)는 요리를 유연하게 하기 위해, 소정의 타이밍에, 소정의 시간만큼 식재를 꿇이는 동작을 추가하도록, 조리 공정을 갱신한다.

또한, 요리가 미지근하다고 식사인이 느끼고 있는 경우, 데이터 처리 장치(11)는 요리를 뜨겁게 하기 위해, 소정의 타이밍에, 소정의 시간만큼 식재를 가열하는 동작을 추가하도록, 조리 공정을 갱신한다.

동일한 요리를 만드는 것이 식사인에 의해 선택된 경우, 화살표 A111의 전방에 나타낸 바와 같이, 갱신 후의 조리 공정의 기술을 포함하는, 커스터마이즈된 레시피 데이터가 조리 로봇(1)에 대하여 제공된다. 조리 로봇(1)에 있어서는, 갱신된 조리 공정에 따라서 조리가 행해진다.

커스터마이즈된 레시피 데이터에 기초하여 재현된 요리의 풍미는, 식사인의 기호에 따른 풍미가 된다.

도 20에 도시하는 조리 시스템은, 도 21에 도시한 바와 같이, 어떤 레시피 데이터를, 그 레시피 데이터에 기초하여 재현된 요리를 일단 먹은 식사인의 풍미를 느끼는 방식을 나타내는 풍미 주관값에 기초하여 커스터마이즈하여 제공하는 시스템이 된다.

도 22는, 조리 시스템의 적용예를 도시하는 도면이다.

도 22에 도시한 바와 같이, 데이터 처리 장치(11)는 1개의 레시피 데이터에 기초하여, 복수의 식사인의 각각의 기호에 따라서 커스터마이즈함으로써 복수의 레시피 데이터를 생성하여, 각각의 식사인에게 제공하는 것이 가능하게 된다.

도 22의 예에 있어서는, 어떤 레시피 데이터에 기초하여 재현된 요리를 일단 먹은 식사인인 유저 A 내지 C의 각각의 풍미를 느끼는 방식을 나타내는 풍미 주관값에 기초하여, 레시피 데이터의 커스터마이즈가 행해지고 있다.

유저 A에 대해서는, 유저 A의 기호에 따라서 커스터마이즈된 유저 A용의 레시피 데이터가 제공되고, 유저 B에 대해서는, 유저 B의 기호에 따라서 커스터마이즈된 유저 B용의 레시피 데이터가 제공된다. 유저 C에 대해서는, 유저 C의 기호에 따라서 커스터마이즈된 유저 C용의 레시피 데이터가 제공된다.

이와 같이, 상술한 기술은, 식사인마다 커스터마이즈한 레시피 데이터를 제공하는 조리 시스템에 적용 가능하다.

도 23은, 레시피 데이터의 다른 기술 내용의 예를 나타내는 도면이다.

도 23에 도시한 바와 같이, 조리인 생체 정보 대신에, 식사인 생체 정보가 커스터마이즈 후의 레시피 데이터에 포함되도록 해도 된다. 레시피 데이터에 포함되는 식사인 생체 정보는, 식사 중에 계측된 것으로서 상술한 바와 같이 하여 재현측으로부터 송신되어 온 정보이다.

커스터마이즈 후의 레시피 데이터에 기초하여 요리를 재현하는 경우, 레시피 데이터에 포함되는 식사인 생체 정보를 적절히 사용하여 조리가 진행된다.

조리인 생체 정보 대신에 식사인 생체 정보가 포함되는 것이 아니라, 조리인 생체 정보와 식사인 생체 정보의 양쪽의 생체 정보가 레시피 데이터에 포함되도록 해도 된다.

<조리 시스템의 구성예>

(1) 전체 구성

도 24는, 본 기술의 일 실시 형태에 따른 조리 시스템의 구성예를 도시하는 도면이다.

도 24에 도시한 바와 같이, 조리 시스템은, 셰프측의 구성으로서 마련되는 데이터 처리 장치(11)와, 재현측의 구성으로서 마련되는 제어 장치(12)가 인터넷 등의 네트워크(13)를 통하여 접속됨으로써 구성된다. 상술한 바와 같이, 조리 시스템에는, 이와 같은 셰프측의 구성과 재현측의 구성이 복수 마련된다.

데이터 처리 장치(11)는 상술한 레시피 데이터를 생성하는 장치이다. 데이터 처리 장치(11)는 컴퓨터 등에 의해 구성된다. 데이터 처리 장치(11)는, 예를 들어 재현된 요리를 먹는 식사인이 선택한 요리의 레시피 데이터를, 네트워크(13)를 통하여 제어 장치(12)에 송신한다.

제어 장치(12)는 조리 로봇(1)을 제어하는 장치이다. 제어 장치(12)도 컴퓨터 등에 의해 구성된다. 제어 장치(12)는 데이터 처리 장치(11)로부터 제공된 레시피 데이터를 수신하고, 레시피 데이터의 기술에 기초하여 명령 커맨드를 출력함으로써, 조리 로봇(1)의 조리 동작을 제어한다.

조리 로봇(1)은 제어 장치(12)로부터 공급된 명령 커맨드에 따라서 조리 암 등의 각 부를 구동하여, 각 조리 공정의 조리 동작을 행한다. 명령 커맨드에는 조리 암에 마련된 모터의 토크, 구동 방향, 구동량을 제어하는 정보 등이 포함된다.

요리가 완성될 때까지의 동안, 제어 장치(12)로부터 조리 로봇(1)에 대하여 명령 커맨드가 순차 출력된다. 명령 커맨드에 따른 동작을 조리 로봇(1)이 취함으로써, 최종적으로, 요리가 완성되게 된다.

도 25는, 조리 시스템의 다른 구성예를 도시하는 도면이다.

도 25에 도시한 바와 같이, 셰프측으로부터 재현측에 대한 레시피 데이터의 제공이, 네트워크 상의 서버를 통하여 행해지도록 해도 된다.

도 25에 도시하는 레시피 데이터 관리 서버(21)는 각각의 데이터 처리 장치(11)로부터 송신된 레시피 데이터를 수신하여, 데이터베이스에 기억시키거나 하여 관리한다. 레시피 데이터 관리 서버(21)는 네트워크(13)를 통하여 행해지는 제어 장치(12)로부터의 요구에 따라서, 소정의 레시피 데이터를 제어 장치(12)에 송신한다.

레시피 데이터 관리 서버(21)는 다양한 레스토랑의 셰프가 만든 요리의 레시피 데이터를 일원적으로 관리하고, 재현측으로부터의 요구에 따라서 레시피 데이터를 배신하는 기능을 갖는다.

도 26은, 제어 장치(12)의 배치예를 도시하는 도면이다.

도 26의 A에 나타낸 바와 같이, 제어 장치(12)는, 예를 들어 조리 로봇(1)의 외부의 장치로서 마련된다. 도 26의 A의 예에 있어서는, 제어 장치(12)와 조리 로봇(1)은 네트워크(13)를 통하여 접속되어 있다.

제어 장치(12)로부터 송신된 명령 커맨드는, 네트워크(13)를 통하여 조리 로봇(1)에 의해 수신된다. 조리 로봇(1)으로부터 제어 장치(12)에 대해서는, 조리 로봇(1)의 카메라에 의해 촬영된 화상, 조리 로봇(1)에 마련된 센서에 의해 계측된 센서 데이터 등의 각종 데이터가 네트워크(13)를 통하여 송신된다.

1대의 제어 장치(12)에 대하여 1대의 조리 로봇(1)이 접속되는 것은 아니고, 1대의 제어 장치(12)에 대하여 복수대의 조리 로봇(1)이 접속되도록 해도 된다.

도 26의 B에 나타낸 바와 같이, 제어 장치(12)가 조리 로봇(1)의 하우징의 내부에 마련되도록 해도 된다. 이 경우, 제어 장치(12)가 생성하는 명령 커맨드에 따라서, 조리 로봇(1)의 각 부의 동작이 제어된다.

이하, 주로, 제어 장치(12)가 조리 로봇(1)의 외부의 장치로서 마련되는 것으로 하여 설명한다.

(2) 셰프측의 구성

도 27은, 셰프측의 구성예를 도시하는 블록도이다.

도 27에 도시한 바와 같이, 데이터 처리 장치(11)에 대해서는, 카메라(41), 생체 센서(42)가 접속된다. 상술한 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.

카메라(41)는 조리를 행하고 있는 셰프의 모습, 키친의 천장판 상의 모습을 촬영하고, 촬영에 의해 얻어진 화상을 데이터 처리 장치(11)에 송신한다.

카메라(41)는 복수대의 카메라에 의해 구성된다. 카메라(41)를 구성하는 카메라 중에는, 예를 들어 셰프의 헤드부에 설치되는 것도 있다. 셰프의 헤드부에 설치된 카메라는, 조리를 행하고 있는 셰프의 주변 모습, 조리 대상으로 되어 있는 식재의 모습, 키친의 천장판 상의 모습을 촬영하고, 촬영에 의해 얻어진 화상을 데이터 처리 장치(11)에 송신한다.

생체 센서(42)는 셰프의 생체 반응을 계측하는 센서이다. 생체 센서(42)는 상술한 각각의 생체 반응을 계측하는, 뇌파계, 피부 센서, 근전계, 적외선 센서, 모션 센서, 웨어러블 활동량계, 마이크로폰 등에 의해 구성된다. 셰프의 생체 반응의 계측에는, 카메라(41)에 의해 촬영된 화상도 적절히 사용된다.

생체 센서(42)는 셰프의 생체 반응의 계측 결과를 나타내는 데이터를 데이터 처리 장치(11)에 송신한다.

카메라(41)와 생체 센서(42) 이외에도, 셰프의 몸에 설치된 자이로 센서, 셰프를 촬영하는 적외선 센서 등의, 셰프의 동작을 인식하기 위한 각종 센서가 데이터 처리 장치(11)에 대하여 접속된다.

도 28은, 데이터 처리 장치(11)의 하드웨어의 구성예를 도시하는 블록도이다.

도 28에 도시한 바와 같이, 데이터 처리 장치(11)는 컴퓨터에 의해 구성된다. CPU(Central Processing Unit)(201), ROM(Read Only Memory)(202), RAM(Random Access Memory)(203)은, 버스(204)에 의해 서로 접속된다.

버스(204)에는, 또한 입출력 인터페이스(205)가 접속된다. 입출력 인터페이스(205)에는, 키보드, 마우스 등으로 이루어지는 입력부(206), 디스플레이, 스피커 등으로 이루어지는 출력부(207)가 접속된다.

또한, 입출력 인터페이스(205)에는, 하드 디스크나 불휘발성이 메모리 등으로 이루어지는 기억부(208), 네트워크 인터페이스 등으로 이루어지는 통신부(209), 리무버블 미디어(211)를 구동하는 드라이브(210)가 접속된다.

이상과 같이 구성되는 컴퓨터에서는, CPU(201)가, 예를 들어 기억부(208)에 기억되어 있는 프로그램을 입출력 인터페이스(205) 및 버스(204)를 통하여 RAM(203)에 로드하여 실행함으로써, 각종 처리가 행해진다.

도 29는, 데이터 처리 장치(11)의 기능 구성예를 도시하는 블록도이다.

도 29에 도시하는 기능부 중 적어도 일부는, 도 28의 CPU(201)에 의해 소정의 프로그램이 실행됨으로써 실현된다.

도 29에 도시한 바와 같이, 데이터 처리 장치(11)에 있어서는 데이터 처리부(221)가 실현된다. 데이터 처리부(221)는 조리 동작 정보 생성부(231), 조리인 생체 정보 생성부(232), 레시피 데이터 생성부(233), 레시피 데이터 출력부(234) 및 식사인 생체 정보 취득부(235)에 의해 구성된다.

조리 동작 정보 생성부(231)는 식재 인식부(251), 툴 인식부(252) 및 동작 인식부(253)에 의해 구성된다.

식재 인식부(251)는 카메라(41)에 의해 촬영된 화상을 해석하여, 셰프가 조리에 사용하고 있는 식재의 종류를 인식한다. 식재 인식부(251)에 대해서는, 특징 정보 등의, 각종 식재의 종류의 인식에 사용하기 위한 인식용 정보가 부여되어 있다.

툴 인식부(252)는 카메라(41)에 의해 촬영된 화상을 해석하여, 셰프가 조리에 사용하고 있는 조리 툴의 종류를 인식한다. 툴 인식부(252)에 대해서는, 각종 조리 툴의 종류의 인식에 사용하기 위한 인식용 정보가 부여되어 있다.

동작 인식부(253)는 카메라(41)에 의해 촬영된 화상, 셰프의 몸에 설치된 센서의 계측 결과를 나타내는 센서 데이터 등을 해석하여, 조리를 행하는 셰프의 동작을 인식한다.

조리 동작 정보 생성부(231)의 각 부에 의한 인식 결과를 나타내는 정보는 레시피 데이터 생성부(233)에 공급된다.

조리인 생체 정보 생성부(232)는 생체 센서(42)를 제어함으로써, 셰프의 생체 반응의 계측을 행한다. 상술한 바와 같이, 맛보기를 하고 있는 셰프의 생체 반응이 계측된다. 조리인 생체 정보 생성부(232)는 생체 센서(42)로부터 송신된, 셰프의 생체 반응의 계측 결과를 나타내는 센서 데이터를 취득하고, 레시피 데이터 생성부(233)에 출력한다.

레시피 데이터 생성부(233)는 조리 동작 정보 생성부(231)의 각 부로부터 공급된 정보에 기초하여 조리 동작 정보를 생성한다. 즉, 레시피 데이터 생성부(233)는 식재 인식부(251)에 의한 인식 결과에 기초하여 식재 정보를 생성하고, 툴 인식부(252)와 동작 인식부(253)에 의한 인식 결과에 기초하여 동작 정보를 생성한다. 레시피 데이터 생성부(233)는 식재 정보와 동작 정보를 포함하는 조리 동작 정보를 생성한다.

또한, 레시피 데이터 생성부(233)는 조리인 생체 정보 생성부(232)로부터 공급된 센서 데이터에 기초하여 조리인 생체 정보를 생성한다. 레시피 데이터 생성부(233)는, 적절히, 셰프가 맛있다고 판단하고 있는지 여부를 풍미 판정 모델 등에 기초하여 특정하고, 풍미 OK 플래그를 설정한다.

셰프가 맛보기를 했을 때에 계측된 생체 반응을 나타내는 모든 조리인 생체 정보가 레시피 데이터에 포함되는 경우, 모든 조리인 생체 정보 중, 셰프가 맛있다고 판단하고 있는 생체 반응을 나타내는 조리인 생체 정보에 대하여 풍미 OK 플래그가 설정된다.

모든 조리인 생체 정보가 아니라, 셰프가 맛있다고 판단하고 있는 생체 반응을 나타내는 조리인 생체 정보만이 레시피 데이터에 포함되는 경우, 그 조리인 생체 정보에 대하여 풍미 OK 플래그가 설정되도록 해도 된다.

레시피 데이터 생성부(233)는, 예를 들어 셰프의 조리 공정마다, 조리 동작 정보와 조리인 생체 정보를 연결함으로써 조리 공정 데이터 세트를 생성한다. 레시피 데이터 생성부(233)는 어떤 요리의 최초의 조리 공정으로부터 최후의 조리 공정까지의 각각의 조리 공정에 관한 조리 공정 데이터 세트를 통합함으로써, 복수의 조리 공정 데이터 세트를 기술한 레시피 데이터를 생성한다.

레시피 데이터 생성부(233)는, 이와 같이 하여 생성한 레시피 데이터를 레시피 데이터 출력부(234)에 출력한다.

또한, 레시피 데이터 생성부(233)는 식사인의 생체 반응을 나타내는 식사인 생체 정보가 식사인 생체 정보 취득부(235)로부터 공급된 경우, 식사인 생체 정보에 기초하여 조리 공정을 갱신함으로써, 레시피 데이터의 커스터마이즈를 행한다. 식사인 생체 정보 취득부(235)로부터 공급되는 식사인 생체 정보에는, 어느 레시피 데이터가 재현측에 있어서 사용되고 있는지를 나타내는 정보 등이 포함된다.

레시피 데이터 생성부(233)는 커스터마이즈한 레시피 데이터를 레시피 데이터 출력부(234)에 출력한다.

레시피 데이터 출력부(234)는 통신부(209)(도 28)를 제어하여, 레시피 데이터 생성부(233)에 의해 생성된 레시피 데이터를 출력한다. 레시피 데이터 출력부(234)로부터 출력된 레시피 데이터는 네트워크(13)를 통하여, 제어 장치(12) 또는 레시피 데이터 관리 서버(21)에 공급된다.

(3) 재현측의 구성

(3-1) 조리 로봇(1)의 구성

ㆍ조리 로봇(1)의 외관

도 30은, 조리 로봇(1)의 외관을 도시하는 사시도이다.

도 30에 도시한 바와 같이, 조리 로봇(1)은 가로가 긴 직육면체 형상의 하우징(311)을 갖는 키친형의 로봇이다. 조리 로봇(1)의 본체가 되는 하우징(311)의 내부에 각종 구성이 마련된다.

하우징(311)의 배면측에는, 하우징(311)의 상면으로부터 세워 설치하는 형태로 조리 보조 시스템(312)이 마련된다. 박판형의 부재로 구획함으로써 조리 보조 시스템(312)에 형성된 각 스페이스는, 냉장고, 오븐 레인지, 수납 등의, 조리 암(321-1 내지 321-4)에 의한 조리를 보조하기 위한 기능을 갖는다.

천장판(311A)에는 길이 방향으로 레일이 마련되어 있고, 그 레일에 조리 암(321-1 내지 321-4)이 마련된다. 조리 암(321-1 내지 321-4)은 이동 기구로서의 레일을 따라서 위치를 바꾸는 것이 가능하게 된다.

조리 암(321-1 내지 321-4)은 원통상의 부재를 관절부로 접속함으로써 구성되는 로봇 암이다. 조리에 관한 각종 작업이 조리 암(321-1 내지 321-4)에 의해 행해진다.

천장판(311A)의 상방의 공간이, 조리 암(321-1 내지 321-4)이 조리를 행하는 조리 공간이 된다.

도 30에 있어서는 4개의 조리 암이 도시되어 있지만, 조리 암의 수는 4개에 한정되는 것은 아니다. 이하, 적절히, 조리 암(321-1 내지 321-4)의 각각을 구별할 필요가 없는 경우, 통합하여 조리 암(321)이라고 한다.

도 31은, 조리 암(321)의 모습을 확대하여 도시하는 도면이다.

도 31에 도시한 바와 같이, 조리 암(321)의 선단에는, 각종 조리 기능을 갖는 어태치먼트가 설치된다. 조리 암(321)용의 어태치먼트로서, 식재나 식기 등을 파지하는 매니퓰레이터 기능(핸드 기능)을 갖는 어태치먼트, 식재를 커트하는 나이프 기능을 갖는 어태치먼트 등의 각종 어태치먼트가 준비된다.

도 31의 예에 있어서는, 나이프 기능을 갖는 어태치먼트인 나이프 어태치먼트(331-1)가 조리 암(321-1)에 설치되어 있다. 나이프 어태치먼트(331-1)를 사용하여, 천장판(311A) 위에 놓인 고기 덩어리가 커트된다.

조리 암(321-2)에는 식재를 고정시키거나, 식재를 회전시키거나 하는 것에 사용되는 어태치먼트인 스핀들 어태치먼트(331-2)가 설치되어 있다.

조리 암(321-3)에는, 식재의 껍질을 벗기는 필러의 기능을 갖는 어태치먼트인 필러 어태치먼트(331-3)가 설치되어 있다.

스핀들 어태치먼트(331-2)를 사용하여 조리 암(321-2)에 의해 들어 올려져 있는 감자의 껍질이, 필러 어태치먼트(331-3)를 사용하여 조리 암(321-3)에 의해 벗겨진다. 이와 같이, 복수의 조리 암(321)이 연계하여 1개의 작업을 행하는 것도 가능하게 된다.

조리 암(321-4)에는, 매니퓰레이터 기능을 갖는 어태치먼트인 매니퓰레이터 어태치먼트(331-4)가 설치되어 있다. 매니퓰레이터 어태치먼트(331-4)를 사용하여, 치킨을 얹은 프라이팬이, 오븐 기능을 갖는 조리 보조 시스템(312)의 스페이스에 운반된다.

이와 같은 조리 암(321)에 의한 조리는, 작업의 내용에 따라서 어태치먼트를 적절히 바꿔서 진행된다. 어태치먼트의 교체는, 예를 들어 조리 로봇(1)에 의해 자동적으로 행해진다.

4개의 조리 암(321)의 각각에 매니퓰레이터 어태치먼트(331-4)를 설치하는 식으로, 동일한 어태치먼트를 복수의 조리 암(321)에 설치하는 것도 가능하게 된다.

조리 로봇(1)에 의한 조리는, 조리 암용의 툴로서 준비된 이상과 같은 어태치먼트를 사용하여 행해질 뿐만 아니라, 적절히, 사람이 조리에 사용하는 툴과 동일한 툴을 사용하여 행해진다. 예를 들어, 사람이 사용하는 나이프를 매니퓰레이터 어태치먼트(331-4)에 의해 파지하여, 나이프를 사용하여 식재의 커트 등의 조리가 행해진다.

ㆍ조리 암의 구성

도 32는, 조리 암(321)의 외관을 도시하는 도면이다.

도 32에 도시한 바와 같이, 조리 암(321)은, 전체적으로, 가는 원통상의 부재를, 관절부가 되는 힌지부로 접속함으로써 구성된다. 각 힌지부에는, 각 부재를 구동시키기 위한 힘을 발생시키는 모터 등이 마련된다.

원통상의 부재로서, 선단으로부터 차례로, 착탈 부재(351), 중계 부재(353) 및 베이스 부재(355)가 마련된다. 착탈 부재(351)는 중계 부재(353)의 길이의 대략 1/5 정도의 길이를 갖는 부재이다. 착탈 부재(351)의 길이와 중계 부재(353)의 길이를 합친 길이가, 베이스 부재(355)의 길이와 거의 동일한 길이가 된다.

착탈 부재(351)와 중계 부재(353)는 힌지부(352)에 의해 접속되고, 중계 부재(353)와 베이스 부재(355)는 힌지부(354)에 의해 접속된다. 중계 부재(353)의 양단에는 힌지부(352)와 힌지부(354)가 마련된다.

이 예에 있어서는, 3개의 원통상의 부재에 의해 조리 암(321)이 구성되어 있지만, 4개 이상의 원통상의 부재에 의해 구성되도록 해도 된다. 이 경우, 중계 부재(353)가 복수 마련된다.

착탈 부재(351)의 선단에는, 어태치먼트가 탈착되는 착탈부(351A)가 마련된다. 착탈 부재(351)는 각종 어태치먼트가 탈착되는 착탈부(351A)를 갖고, 어태치먼트를 동작시킴으로써 조리를 행하는 조리 기능 암부로서 기능한다.

베이스 부재(355)의 후단부에는, 레일에 설치되는 착탈부(356)가 마련된다. 베이스 부재(355)는 조리 암(321)의 이동을 실현하는 이동 기능 암부로서 기능한다.

도 33은, 조리 암(321)의 각 부의 가동 영역의 예를 나타내는 도면이다.

타원 #1로 둘러싸서 도시한 바와 같이, 착탈 부재(351)는 원형 단면의 중심축을 중심으로 하여 회전 가능하게 된다. 타원 #1의 중심에 나타내는 편평한 작은 원은, 일점쇄선의 회전축의 방향을 나타낸다.

원 #2로 둘러싸서 도시한 바와 같이, 착탈 부재(351)는 힌지부(352)와의 끼워 맞춤부(351B)를 지나는 축을 중심으로 하여 회전 가능하게 된다. 또한, 중계 부재(353)는 힌지부(352)와의 끼워 맞춤부(353A)를 지나는 축을 중심으로 하여 회전 가능하게 된다.

원 #2의 내측에 나타내는 2개의 작은 원은 각각의 회전축의 방향(지면 수직 방향)을 나타낸다. 끼워 맞춤부(351B)를 지나는 축을 중심으로 한 착탈 부재(351)의 가동 범위와, 끼워 맞춤부(353A)를 지나는 축을 중심으로 한 중계 부재(353)의 가동 범위는, 각각 예를 들어 90도의 범위이다.

중계 부재(353)는 선단측의 부재(353-1)와, 후단부측의 부재(353-2)에 의해 분리하여 구성된다. 타원 #3으로 둘러싸서 도시한 바와 같이, 중계 부재(353)는 부재(353-1)와 부재(353-2)의 연결부(353B)에 있어서, 원형 단면의 중심축을 중심으로 하여 회전 가능하게 된다.

다른 가동부도, 기본적으로 마찬가지의 가동 영역을 갖는다.

즉, 원 #4로 둘러싸서 도시한 바와 같이, 중계 부재(353)는 힌지부(354)와의 끼워 맞춤부(353C)를 지나는 축을 중심으로 하여 회전 가능하게 된다. 또한, 베이스 부재(355)는 힌지부(354)와의 끼워 맞춤부(355A)를 지나는 축을 중심으로 하여 회전 가능하게 된다.

베이스 부재(355)는 선단측의 부재(355-1)와, 후단부측의 부재(355-2)에 의해 분리하여 구성된다. 타원 #5로 둘러싸서 도시한 바와 같이, 베이스 부재(355)는 부재(355-1)와 부재(355-2)의 연결부(355B)에 있어서, 원형 단면의 중심축을 중심으로 하여 회전 가능하게 된다.

원 #6으로 둘러싸서 도시한 바와 같이, 베이스 부재(355)는 착탈부(356)와의 끼워 맞춤부(355C)를 지나는 축을 중심으로 하여 회전 가능하게 된다.

타원 #7로 둘러싸서 도시한 바와 같이, 착탈부(356)는 원형 단면의 중심축을 중심으로 하여 회전 가능하게 되도록 레일에 설치된다.

이와 같이, 선단에 착탈부(351A)를 갖는 착탈 부재(351), 착탈 부재(351)와 베이스 부재(355)를 연결하는 중계 부재(353), 후단부에 착탈부(356)가 접속되는 베이스 부재(355)는, 각각, 힌지부에 의해 회전 가능하게 접속된다. 각 가동부의 움직임이, 조리 로봇(1) 내의 컨트롤러에 의해 명령 커맨드에 따라서 제어된다.

도 34는, 조리 암과 컨트롤러의 접속의 예를 나타내는 도면이다.

도 34에 도시한 바와 같이, 조리 암(321)과 컨트롤러(361)는 하우징(311)의 내부에 형성된 공간(311B) 내에 있어서 배선을 통하여 접속된다. 도 34의 예에 있어서는, 조리 암(321-1 내지 321-4)과 컨트롤러(361)는, 각각, 배선(362-1 내지 362-4)을 통하여 접속되어 있다. 가요성을 갖는 배선(362-1 내지 362-4)은 조리 암(321-1 내지 321-4)의 위치에 따라서 적절히 휘게 된다.

이와 같이, 조리 로봇(1)은 조리 암(321)을 구동시킴으로써 조리에 관한 각종 작업을 행하는 것이 가능한 로봇이다.

ㆍ조리 로봇(1) 주변의 구성

도 35는, 조리 로봇(1)과 주변의 구성예를 나타내는 블록도이다.

조리 로봇(1)은 컨트롤러(361)에 대하여 각 부가 접속됨으로써 구성된다. 도 35에 도시하는 구성 중, 상술한 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.

컨트롤러(361)에 대해서는, 조리 암(321) 외에, 카메라(401), 생체 센서(402) 및 통신부(403)가 접속된다.

도 30 등에 있어서는 도시를 생략했지만, 조리 로봇(1) 자체 또는 조리 로봇(1)의 주위의 소정의 위치에는, 셰프측에 마련되는 센서와 동일한 센서가 마련된다. 카메라(401), 생체 센서(402)는, 각각, 셰프측의 카메라(41), 생체 센서(42)와 마찬가지의 기능을 갖는다.

컨트롤러(361)는 CPU, ROM, RAM, 플래시 메모리 등을 갖는 컴퓨터에 의해 구성된다. 컨트롤러(361)는 CPU에 의해 소정의 프로그램을 실행하고, 조리 로봇(1)의 전체의 동작을 제어하는 제어부로서 기능한다.

컨트롤러(361)에 있어서는, 소정의 프로그램이 실행됨으로써, 명령 커맨드 취득부(421), 암 제어부(422)가 실현된다.

명령 커맨드 취득부(421)는 제어 장치(12)로부터 송신되고, 통신부(403)에 있어서 수신된 명령 커맨드를 취득한다. 명령 커맨드 취득부(421)에 의해 취득된 명령 커맨드는 암 제어부(422)에 공급된다.

암 제어부(422)는 명령 커맨드 취득부(421)에 의해 취득된 명령 커맨드에 따라서 조리 암(321)의 동작을 제어한다.

카메라(401)는 조리 동작을 행하고 있는 조리 암(321)의 모습, 조리 대상으로 되어 있는 식재의 모습, 조리 로봇(1)의 천장판(311A) 상의 모습을 촬영하고, 촬영에 의해 얻어진 화상을 컨트롤러(361)에 출력한다. 카메라(401)는 조리 보조 시스템(312)의 정면, 조리 암(321)의 선단 등의 다양한 위치에 마련된다.

또한, 카메라(401)는 맛보기를 하고 있는 식사인의 모습, 요리를 먹고 있는 식사인의 모습을 촬영하고, 촬영에 의해 얻어진 화상을 컨트롤러(361)에 출력한다.

생체 센서(402)는 식사인의 생체 반응을 계측하는 센서이다. 생체 센서(402)는 상술한 각각의 생체 반응을 계측하는, 뇌파계, 피부 센서, 근전계, 적외선 센서, 모션 센서, 웨어러블 활동량계, 마이크로폰 등에 의해 구성된다.

생체 센서(42)는 식사인의 생체 반응의 계측 결과를 나타내는 데이터를 컨트롤러(361)에 송신한다.

통신부(403)는 무선 LAN 모듈, LTE(Long Term Evolution)에 대응한 휴대 통신 모듈 등의 무선 통신 모듈이다. 통신부(403)는 제어 장치(12)나, 인터넷 상의 레시피 데이터 관리 서버(21) 등의 외부의 장치와의 사이에서 통신을 행한다.

또한, 통신부(403)는 유저가 사용하는 스마트폰이나 태블릿 단말기 등의 휴대 단말기와 통신을 행한다. 유저는, 조리 로봇(1)에 의해 재현된 요리를 먹는 사람이다. 요리의 선택 등의, 조리 로봇(1)에 대한 유저의 조작이 휴대 단말기 상의 조작에 의해 입력되도록 해도 된다.

도 35에 도시한 바와 같이, 조리 암(321)에는 모터(431)와 센서(432)가 마련된다.

모터(431)는 조리 암(321)의 각 관절부에 마련된다. 모터(431)는 암 제어부(422)에 의한 제어에 따라서 축 둘레의 회전 동작을 행한다. 모터(431)의 회전량을 계측하는 인코더, 모터(431)의 회전을 인코더에 의한 계측 결과에 기초하여 적응적으로 제어하는 드라이버 등도 각 관절부에 마련된다.

센서(432)는 예를 들어 자이로 센서, 가속도 센서, 터치 센서 등에 의해 구성된다. 센서(432)는 조리 암(321)의 동작 중, 각 관절부의 각속도, 가속도 등을 계측하고, 계측 결과를 나타내는 정보를 컨트롤러(361)에 출력한다. 조리 로봇(1)으로부터 제어 장치(12)에 대해서는, 적절히, 센서(432)의 계측 결과를 나타내는 센서 데이터도 송신된다.

조리 암(321)의 수 등의, 조리 로봇(1)의 사양에 관한 정보는, 소정의 타이밍에 조리 로봇(1)으로부터 제어 장치(12)에 제공된다. 제어 장치(12)에 있어서는, 조리 로봇(1)의 사양에 따라서, 동작의 플래닝이 행해진다. 제어 장치(12)에 있어서 생성되는 명령 커맨드는 조리 로봇(1)의 사양에 따른 것이 된다.

(3-2) 제어 장치(12)의 구성

조리 로봇(1)의 동작을 제어하는 제어 장치(12)는 데이터 처리 장치(11)와 마찬가지로 도 28에 도시한 바와 같은 컴퓨터에 의해 구성된다. 이하, 적절히, 도 28에 도시하는 데이터 처리 장치(11)의 구성을, 제어 장치(12)의 구성으로서 인용해서 설명한다.

도 36은, 제어 장치(12)의 기능 구성예를 도시하는 블록도이다.

도 36에 도시하는 기능부 중 적어도 일부는, 제어 장치(12)의 CPU(201)(도 28)에 의해 소정의 프로그램이 실행됨으로써 실현된다.

도 36에 도시한 바와 같이, 제어 장치(12)에 있어서는 커맨드 생성부(501)가 실현된다. 커맨드 생성부(501)는 레시피 데이터 취득부(511), 레시피 데이터 해석부(512), 로봇 상태 추정부(513), 생체 정보 처리부(514), 제어부(515) 및 커맨드 출력부(516)로 구성된다.

레시피 데이터 취득부(511)는 통신부(209)를 제어하여, 데이터 처리 장치(11)로부터 송신되어 온 레시피 데이터를 수신함으로써, 또는, 레시피 데이터 관리 서버(21)와 통신을 행하거나 하여, 레시피 데이터를 취득한다. 레시피 데이터 취득부(511)가 취득하는 레시피 데이터는, 예를 들어 식사인에 의해 선택된 요리의 레시피 데이터이다.

커스터마이즈된 레시피 데이터가 데이터 처리 장치(11)로부터 송신되어 온 경우도 마찬가지로, 커스터마이즈된 레시피 데이터가 레시피 데이터 취득부(511)에 의해 취득된다.

레시피 데이터의 데이터베이스가 기억부(208)에 마련되어 있도록 해도 된다. 이 경우, 기억부(208)에 마련되는 데이터베이스로부터 레시피 데이터가 취득된다. 레시피 데이터 취득부(511)에 의해 취득된 레시피 데이터는 레시피 데이터 해석부(512)에 공급된다.

레시피 데이터 해석부(512)는 레시피 데이터 취득부(511)에 의해 취득된 레시피 데이터를 해석한다. 레시피 데이터 해석부(512)는 어떤 조리 공정의 타이밍으로 된 경우, 그 조리 공정에 관한 조리 공정 데이터 세트를 해석하고, 조리 동작 정보와 조정인 생체 정보를 추출한다. 조리 공정 데이터 세트로부터 추출된 조리 동작 정보는 제어부(515)에 공급되고, 조정인 생체 정보는 생체 정보 처리부(514)에 공급된다.

로봇 상태 추정부(513)는 통신부(209)를 제어하여, 조리 로봇(1)으로부터 송신되어 온 화상과 센서 데이터를 수신한다. 조리 로봇(1)으로부터는, 조리 로봇(1)의 카메라에 의해 촬영된 화상과, 조리 로봇(1)의 소정의 위치에 마련된 센서에 의해 계측된 센서 데이터가 소정의 주기로 송신되어 온다. 조리 로봇(1)의 카메라에 의해 촬영된 화상에는, 조리 로봇(1)의 주위 모습이 찍혀 있다.

로봇 상태 추정부(513)는 조리 로봇(1)으로부터 송신되어 온 화상과 센서 데이터를 해석함으로써, 조리 암(321)의 상태, 식재의 상태 등의, 조리 로봇(1)의 주위의 상태를 추정한다. 로봇 상태 추정부(513)에 의해 추정된 조리 로봇(1)의 주위의 상태를 나타내는 정보는, 제어부(515)에 공급된다.

생체 정보 처리부(514)는 제어부(515)와 연계하여, 레시피 데이터 해석부(512)로부터 공급된 조리인 생체 정보에 기초하여, 조리 로봇(1)의 동작을 제어한다.

예를 들어, 생체 정보 처리부(514)는 풍미 OK 플래그가 설정되어 있는 조리인 생체 정보가 있는 경우, 셰프의 맛보기 타이밍에 대응하는 타이밍에, 식사인에 대하여 맛보기를 요구한다. 상술한 바와 같이, 어떤 조리가 행해진 후에 셰프에 의해 맛보기가 행해지고, 그 맛보기 시의 셰프의 생체 반응이, 맛있다고 판단하고 있는 것인 경우, 동일한 조리가 조리 로봇(1)에 의해 행해진 후의 타이밍에, 식사인에 대하여 맛보기가 요구된다.

생체 정보 처리부(514)는 식사인이 맛을 보고 있을 때의 생체 반응을 나타내는 센서 데이터가 조리 로봇(1)으로부터 송신되어, 통신부(209)에 있어서 수신된 경우, 그것을 취득한다. 생체 정보 처리부(514)는 취득한 센서 데이터에 기초하여 식사인 생체 정보를 생성하여, 데이터 처리 장치(11)에 대하여 송신한다.

제어부(515)는 명령 커맨드를 생성하여, 커맨드 출력부(516)로부터 송신시킴으로써 조리 로봇(1)의 동작을 제어한다. 제어부(515)에 의한 조리 로봇(1)의 동작 제어는, 레시피 데이터 해석부(512)로부터 공급된 조리 동작 정보에 기초하여 행해진다.

예를 들어, 제어부(515)는 조리 동작 정보에 포함되는 식재 정보에 기초하여, 실행 대상으로 되어 있는 조리 공정에 있어서 사용하는 식재를 특정한다. 또한, 제어부(515)는 조리 동작 정보에 포함되는 동작 정보에 기초하여, 조리 공정에 있어서 사용하는 조리 툴과, 조리 암(321)에 실행시키는 동작을 특정한다.

제어부(515)는 식재 준비를 할 수 있었던 상태를 목표 상태로서 설정하고, 현재의 조리 로봇(1)의 상태인 현재 상태로부터 목표 상태까지의 동작 시퀀스를 설정한다. 제어부(515)는 동작 시퀀스를 구성하는 각각의 동작을 행하게 하기 위한 명령 커맨드를 생성하여, 커맨드 출력부(516)에 출력한다.

조리 로봇(1)에 있어서는, 제어부(515)에 의해 생성된 명령 커맨드에 따라서 조리 암(321)이 제어되어, 식재의 준비가 행해진다. 조리 암(321)의 상태를 포함하는, 각 타이밍의 조리 로봇(1)의 상태를 나타내는 정보가, 조리 로봇(1)으로부터 제어 장치(12)에 대하여 송신되어 온다.

또한, 제어부(515)는 식재 준비가 된 경우, 준비한 식재를 사용한 조리(실행 대상으로 되어 있는 1개의 조리 공정의 조리)가 끝난 상태를 목표 상태로서 설정하고, 현재 상태로부터 목표 상태까지의 동작 시퀀스를 설정한다. 제어부(515)는 동작 시퀀스를 구성하는 각각의 동작을 행하게 하기 위한 명령 커맨드를 생성하여, 커맨드 출력부(516)에 출력한다.

조리 로봇(1)에 있어서는, 제어부(515)에 의해 생성된 명령 커맨드에 따라서 조리 암(321)이 제어되어, 식재를 사용한 조리가 행해진다.

제어부(515)에 의한 조리 로봇(1)의 동작 제어는, 예를 들어 이상과 같은 명령 커맨드를 사용하여 행해진다. 제어부(515)는 명령 커맨드를 생성하는 생성부로서의 기능을 갖는다.

또한, 제어부(515)가 생성하는 명령 커맨드는, 어떤 상태 천이를 발생시키기 위한 액션 전체의 실행을 명령하는 커맨드이어도 되고, 액션의 일부분의 실행을 명령하는 커맨드이어도 된다. 즉, 1개의 액션이 1개의 명령 커맨드에 따라서 실행되도록 해도 되고, 복수의 명령 커맨드에 따라서 실행되도록 해도 된다.

커맨드 출력부(516)는 통신부(209)를 제어하여, 제어부(515)에 의해 생성된 명령 커맨드를 조리 로봇(1)에 송신한다.

<조리 시스템의 동작>

여기서, 이상과 같은 구성을 갖는 조리 시스템의 동작에 대해서 설명한다. 레시피 데이터에 있어서는, 셰프의 생체 반응을 나타내는 조리인 생체 정보가, 조리 공정마다 연결되어 있는 것으로 한다.

(1) 셰프측의 동작

처음에, 도 37의 흐름도를 참조하여, 데이터 처리 장치(11)의 레시피 데이터 생성 처리에 대해서 설명한다.

도 37의 처리는, 식재나 조리 툴의 준비가 끝나고, 셰프가 조리를 시작했을 때에 개시된다. 카메라(41)에 의한 촬영, 셰프의 몸에 설치된 센서에 의한 센싱 등도 개시된다.

스텝 S1에 있어서, 도 29의 식재 인식부(251)는 카메라(41)에 의해 촬영된 화상을 해석하여, 셰프가 사용하는 식재를 인식한다.

스텝 S2에 있어서, 동작 인식부(253)는 카메라(41)에 의해 촬영된 화상, 셰프의 몸에 설치된 센서의 계측 결과를 나타내는 센서 데이터 등을 해석하여, 셰프의 조리 동작을 인식한다.

스텝 S3에 있어서, 레시피 데이터 생성부(233)는 식재 인식부(251)에 의한 인식 결과에 기초하여 생성된 식재 정보와, 동작 인식부(253)에 의한 인식 결과에 기초하여 생성된 동작 정보에 기초하여 조리 동작 정보를 생성한다.

스텝 S4에 있어서, 레시피 데이터 생성부(233)는 맛보기가 행해졌는지 여부를 판정하고, 맛보기가 행해져 있지 않다고 판정한 경우, 스텝 S1로 되돌아가, 상술한 처리를 반복한다.

맛보기가 행해졌다고 스텝 S4에 있어서 판정한 경우, 처리는 스텝 S5로 진행한다.

스텝 S5에 있어서, 조리인 생체 정보 생성부(232)는 생체 센서(42)를 제어함으로써, 셰프의 생체 반응의 계측을 행한다. 셰프의 생체 반응의 계측 결과를 나타내는 센서 데이터는, 조리인 생체 정보 생성부(232)에 의해 취득되고, 레시피 데이터 생성부(233)에 공급된다.

스텝 S6에 있어서, 레시피 데이터 생성부(233)는 조리인 생체 정보 생성부(232)로부터 공급된 센서 데이터에 기초하여 조리인 생체 정보를 생성한다.

스텝 S7에 있어서, 레시피 데이터 생성부(233)는 조리 동작 정보와 조리인 생체 정보를 연결함으로써 조리 공정 데이터 세트를 생성한다.

스텝 S8에 있어서, 레시피 데이터 생성부(233)는 모든 조리 공정이 종료되었는지 여부를 판정하고, 모든 조리 공정이 아직 종료되지 않았다고 판정한 경우, 스텝 S1로 되돌아가, 상술한 처리를 반복한다. 다음의 조리 공정을 대상으로 하여, 마찬가지의 처리가 반복된다.

모든 조리 공정이 종료되었다고 스텝 S8에 있어서 판정한 경우, 처리는 스텝 S9로 진행한다.

스텝 S9에 있어서, 레시피 데이터 생성부(233)는 모든 조리 공정 데이터 세트를 포함하는 레시피 데이터를 생성한다.

다음에, 도 38의 흐름도를 참조하여, 레시피 데이터를 커스터마이즈하는 데이터 처리 장치(11)의 처리에 대해서 설명한다.

도 38의 처리는, 재현측에 있어서 조리 공정이 진행되고, 소정의 타이밍에 맛보기가 행해짐으로써, 식사인 생체 정보가 제어 장치(12)로부터 송신되어 왔을 때에 개시된다.

스텝 S11에 있어서, 식사인 생체 정보 취득부(235)는 제어 장치(12)로부터 송신되어 온 식사인 생체 정보를 취득한다.

스텝 S12에 있어서, 식사인 생체 정보 취득부(235)는 조리 공정의 갱신이 필요한지 여부를 식사인 생체 정보에 기초하여 판정한다.

조리 완료의 식재를 식사인이 맛있다고 판단하고 있기 때문에, 조리 공정의 갱신이 필요없다고 스텝 S12에 있어서 판정된 경우, 처리는 종료가 된다. 이 경우, 레시피 데이터의 커스터마이즈는 행해지지 않는다.

한편, 조리 완료의 식재를 식사인이 맛없다고 판단하고 있기 때문에, 조리 공정의 갱신이 필요하다고 스텝 S12에 있어서 판정된 경우, 처리는 스텝 S13으로 진행한다.

스텝 S13에 있어서, 레시피 데이터 생성부(233)는 식사인 생체 정보 취득부(235)에 의해 취득된 식사인 생체 정보를 풍미 주관 정보 생성용 모델에 입력하여, 풍미 주관값을 산출한다.

스텝 S14에 있어서, 레시피 데이터 생성부(233)는 풍미 주관값에 의해 표시되는 식사인의 풍미를 느끼는 방식에 따라서 조리 공정을 갱신한 레시피 데이터를 생성한다.

스텝 S15에 있어서, 레시피 데이터 생성부(233)는 조리 공정을 갱신함으로써 커스터마이즈한 레시피 데이터를 레시피 데이터 출력부(234)에 출력하고, 제어 장치(12)에 대하여 제공한다. 제어 장치(12)에 있어서는, 커스터마이즈된 레시피 데이터에 기초하여, 조리가 행해지게 된다.

(2) 재현측의 동작

도 39의 흐름도를 참조하여, 제어 장치(12)의 요리 재현 처리에 대해서 설명한다.

스텝 S31에 있어서, 도 36의 레시피 데이터 취득부(511)는 데이터 처리 장치(11)로부터 송신되어 온 레시피 데이터를 취득한다. 레시피 데이터 취득부(511)에 의해 취득된 레시피 데이터는, 레시피 데이터 해석부(512)에 있어서 해석되어, 조리 동작 정보와 조리인 생체 정보가 추출된다. 조리 동작 정보는 제어부(515)에 공급되고, 조리인 생체 정보는 생체 정보 처리부(514)에 공급된다.

스텝 S32에 있어서, 제어부(515)는 1개의 조리 공정을 실행 대상으로서 선택한다. 선두의 조리 공정에 관한 조리 공정 데이터 세트로부터 차례로, 실행 대상으로서 선택된다.

스텝 S33에 있어서, 제어부(515)는 조리 동작 정보의 기술에 기초하여 명령 커맨드를 생성하여, 조리 로봇(1)에 송신함으로써, 조리 암(321)에 조리 동작을 실행시킨다.

스텝 S34에 있어서, 생체 정보 처리부(514)는 풍미 OK 플래그가 설정되어 있는 조리인 생체 정보가 있는지 여부를 판정한다.

풍미 OK 플래그가 설정되어 있는 조리인 생체 정보가 있다고 스텝 S34에 있어서 판정한 경우, 스텝 S35에 있어서, 생체 정보 처리부(514)는 식사인에 대하여 맛보기를 요구한다.

스텝 S36에 있어서, 제어부(515)는 명령 커맨드를 송신함으로써, 식사인이 맛을 보고 있을 때의 생체 반응의 계측을 조리 로봇(1)에 행하게 한다.

스텝 S37에 있어서, 생체 정보 처리부(514)는 조리 로봇(1)으로부터 송신되어 온 센서 데이터에 기초하여 식사인 생체 정보를 생성하여, 데이터 처리 장치(11)에 대하여 송신한다.

데이터 처리 장치(11)에 있어서는, 도 38을 참조하여 설명한 처리가 행해지고, 필요에 따라서, 레시피 데이터의 커스터마이즈가 행해진다. 레시피 데이터의 커스터마이즈가 행해진 경우, 커스터마이즈된 레시피 데이터가 데이터 처리 장치(11)로부터 송신되어 온다.

스텝 S38에 있어서, 레시피 데이터 취득부(511)는 커스터마이즈된 레시피 데이터가 데이터 처리 장치(11)로부터 송신되어 온 것인지 여부를 판정한다.

커스터마이즈된 레시피 데이터가 송신되어 왔다고 스텝 S38에 있어서 판정 한 경우, 스텝 S39에 있어서, 레시피 데이터 취득부(511)는 데이터 처리 장치(11)로부터 송신되어 온, 커스터마이즈된 레시피 데이터를 취득한다. 레시피 데이터의 커스터마이즈가 행해진 경우, 이후의 처리는 커스터마이즈된 레시피 데이터에 기초하여 행해진다.

한편, 스텝 S34에 있어서, 풍미 OK 플래그가 설정되어 있는 조리인 생체 정보가 없다고 판정된 경우, 스텝 S35 내지 S39의 처리가 스킵된다. 또한, 스텝 S38에 있어서, 커스터마이즈된 레시피 데이터가 송신되어 오지 않았다고 판정된 경우, 스텝 S39의 처리가 스킵된다.

스텝 S40에 있어서, 제어부(515)는 모든 조리 공정이 종료되었는지 여부를 판정하고, 모든 조리 공정이 아직 종료되지 않았다고 판정한 경우, 스텝 S32로 되돌아가, 상술한 처리를 반복한다. 다음의 조리 공정을 대상으로 하여, 마찬가지의 처리가 반복된다.

한편, 모든 조리 공정이 종료되었다고 스텝 S40에 있어서 판정된 경우, 요리가 완성이 되고, 요리 재현 처리가 종료된다.

이상의 일련 처리에 의해, 셰프가 만드는 요리와 동일한 요리이며, 식사인의 기호에 따라서 풍미가 커스터마이즈된 요리가 재현된다.

식사인은, 셰프가 만든 요리와 동일한 요리를, 자신의 기호에 따라서 커스터마이즈하여 먹을 수 있다.

또한, 셰프는, 자신이 만든 요리를, 다양한 사람에게, 각각의 사람의 기호에 따라서 커스터마이즈하여 제공할 수 있다.

<풍미 정보를 포함하는 레시피 데이터>

도 40은, 조리 공정 데이터 세트에 포함되는 정보의 예를 나타내는 도면이다.

도 40의 말풍선에 나타낸 바와 같이, 상술한 조리 동작 정보와 조리인 생체 정보에다가, 식재의 풍미에 관한 정보인 풍미 정보가, 조리 공정 데이터 세트에 포함되도록 해도 된다. 상술한 설명과 중복되는 설명에 대해서는 적절히 생략한다.

풍미 정보는, 요리를 만들 때에 셰프가 감각으로서 얻은 풍미를 데이터화한 감각 데이터이다. 이하, 풍미 정보에 대해서 설명한다.

도 40에 도시한 바와 같이, 풍미 정보는 풍미 센서 정보와 풍미 주관 정보로 구성된다.

(1) 풍미 센서 정보

풍미 정보를 구성하는 풍미 센서 정보는, 식재의 풍미를 센서에 의해 계측하여 얻어진 센서 데이터이다. 조리가 전혀 실시되어 있지 않은 식재의 풍미를 센서에 의해 계측해서 얻어진 센서 데이터가 풍미 센서 정보로서 풍미 정보에 포함되도록 해도 된다.

풍미는, 맛, 향기, 질감, 체감 온도, 색채에 의해 구성되기 때문에, 풍미 센서 정보에는 맛에 관한 센서 데이터, 향기에 관한 센서 데이터, 질감에 관한 센서 데이터, 체감 온도에 관한 센서 데이터, 색채에 관한 센서 데이터가 포함된다. 모든 센서 데이터가 풍미 센서 정보에 포함되도록 해도 되고, 어느 것의 센서 데이터가 풍미 센서 정보에 포함되지 않도록 해도 된다.

풍미 센서 정보를 구성하는 각각의 센서 데이터를, 미각 센서 데이터, 후각 센서 데이터, 질감 센서 데이터, 체감 온도 센서 데이터, 색채 센서 데이터라고 하자.

미각 센서 데이터는 미각 센서에 의해 계측된 센서 데이터이다. 미각 센서 데이터는 짠맛 센서값, 신맛 센서값, 쓴맛 센서값, 단맛 센서값, 감칠맛 센서값, 매운맛 센서값, 떫은맛 센서값 중 적어도 어느 것의 파라미터에 의해 구성된다.

미각 센서에는, 예를 들어 센서부에 인공적인 지방질막을 사용한 인공 지방질막형 미각 센서가 있다. 인공 지방질막형 미각 센서는, 맛을 느끼게 하는 원인이 되는 물질인 정미 물질에 대한, 지방질막의 정전 상호 작용이나 소수성 상호 작용에 의해 발생한 막 전위의 변화를 검출하여, 센서값으로서 출력하는 센서이다.

인공 지방질막형 미각 센서가 아니라, 음식물의 맛을 구성하는 짠맛, 신맛, 쓴맛, 단맛, 감칠맛, 매운맛, 떫은맛의 각각의 요소를 데이터화하여 출력할 수 있는 장치이면, 고분자막을 사용한 미각 센서 등의 각종 장치를 미각 센서로서 사용하는 것이 가능하다.

후각 센서 데이터는, 후각 센서에 의해 계측된 센서 데이터이다. 후각 센서 데이터는, 스파이시향, 프루티향, 풋내, 곰팡내(느끼한 냄새(cheesy)), 시트러스향, 로즈향 등의 향을 표현하는 요소마다의 값에 의해 구성된다.

후각 센서에는, 예를 들어 수정 진동자 등의 센서를 무수히 마련한 센서가 있다. 인간 코의 수용체 대신에 수정 진동자가 사용되게 된다. 수정 진동자를 사용한 후각 센서는, 향기 성분이 수정 진동자에 부딪쳤을 때의, 수정 진동자의 진동 주파수의 변화를 검출하여, 진동 주파수의 변화의 패턴에 기초하여, 상술한 향기를 표현하는 값을 출력하는 것이다.

수정 진동자를 사용한 센서가 아니라, 향기를 표현하는 값을 출력할 수 있는 장치라면, 카본 등의 각종 소재로 이루어지는 센서를 인간 코의 수용체 대신에 사용한 각종 장치를 후각 센서로서 사용하는 것이 가능하다.

질감 센서 데이터는, 카메라에 의해 촬영된 화상이나, 각종 센서에 의해 계측된 센서 데이터를 해석함으로써 특정되는 센서 데이터이다. 질감 센서 데이터는, 딱딱함(경도), 끈적이는 느낌, 점성(응력), 응집성, 폴리머 함유량, 수분 함유량, 유분 함유량 등을 나타내는 정보 중 적어도 어느 것의 파라미터에 의해 구성된다.

딱딱함, 끈적이는 느낌, 점성, 응집성은, 예를 들어 셰프가 조리를 행하고 있는 식재를 카메라로 촬영한 화상을 해석함으로써 인식된다. 예를 들어, 셰프가 뒤섞고 있는 스프의 화상을 해석함으로써, 딱딱함, 끈적이는 느낌, 점성, 응집성 등의 값을 인식하는 것이 가능하게 된다. 이들 값이, 셰프가 식칼로 식재를 잘랐을 때의 응력을 계측함으로써 인식되도록 해도 된다.

폴리머 함유량, 수분 함유량, 유분 함유량은, 예를 들어 소정의 파장광을 식재에 조사하고, 그 반사광을 해석함으로써 그들의 값을 계측하는 센서에 의해 계측된다.

각각의 식재와 질감의 각 파라미터를 대응지은 데이터베이스가 준비되어 있고, 데이터베이스를 참조하여, 각각의 식재의 질감 센서 데이터가 인식되도록 해도 된다.

체감 온도 센서 데이터는, 식재의 온도를 온도 센서에 의해 계측함으로써 얻어지는 센서 데이터이다.

색채 센서 데이터는, 카메라에 의해 촬영된 화상으로부터 식재의 색채를 해석함으로써 특정되는 데이터이다.

(2) 풍미 주관 정보

풍미 주관 정보는, 조리를 행하고 있는 셰프 등의, 사람이 주관적인 풍미를 느끼는 방식을 나타내는 정보이다. 풍미 주관 정보는 풍미 센서 정보에 기초하여 산출된다.

풍미는, 맛, 향기, 질감, 체감 온도, 색채에 의해 구성되기 때문에, 풍미 주관 정보에는, 맛에 관한 주관 정보, 향기에 관한 주관 정보, 질감에 관한 주관 정보, 체감 온도에 관한 주관 정보, 색채에 관한 주관 정보가 포함된다. 맛에 관한 주관 정보, 향기에 관한 주관 정보, 질감에 관한 주관 정보, 체감 온도에 관한 주관 정보, 색채에 관한 주관 정보의 모두가 풍미 주관 정보에 포함되도록 해도 되고, 어느 것의 주관 정보가 풍미 주관 정보에 포함되지 않도록 해도 된다.

풍미 주관 정보를 구성하는 각각의 주관 정보를, 미각 주관 정보, 후각 주관 정보, 질감 주관 정보, 체감 온도 주관 정보, 색채 주관 정보라고 한다.

도 41은, 미각 주관 정보의 산출예를 도시하는 도면이다.

도 41에 도시한 바와 같이, 미각 주관 정보는 심층 학습 등에 의해 생성된 뉴럴 네트워크의 모델인 미각 주관 정보 생성용 모델을 사용하여 산출된다. 미각 주관 정보 생성용 모델은, 예를 들어 어떤 식재의 미각 센서 데이터와, 그 식재를 먹은 셰프의 맛을 느끼는 방식을 나타내는 정보(수치)를 사용한 학습을 행함으로써 미리 생성된다.

예를 들어, 도 41에 도시한 바와 같이, 어떤 식재의 미각 센서 데이터인 짠맛 센서값, 신맛 센서값, 쓴맛 센서값, 단맛 센서값, 감칠맛 센서값, 매운맛 센서값, 떫은맛 센서값의 각각을 입력한 경우, 미각 주관 정보 생성용 모델로부터는, 짠맛 주관값, 신맛 주관값, 쓴맛 주관값, 단맛 주관값, 감칠맛 주관값, 매운맛 주관값, 떫은맛 주관값의 각각이 출력된다.

짠맛 주관값은, 셰프의 짠맛을 느끼는 방식을 나타내는 값이다. 신맛 주관값은, 셰프의 신맛을 느끼는 방식을 나타내는 값이다. 쓴맛 주관값, 단맛 주관값, 감칠맛 주관값, 매운맛 주관값, 떫은맛 주관값도 마찬가지로, 각각, 셰프의, 쓴맛, 단맛, 감칠맛, 매운맛, 떫은맛을 느끼는 방식을 나타내는 값이다.

풍미 주관 정보를 구성하는 다른 주관 정보도 마찬가지로, 각각의 주관 정보 생성용의 모델을 사용하여 산출된다.

즉, 후각 주관 정보는, 후각 센서 데이터를 후각 주관 정보 생성용 모델에 입력함으로써 산출되고, 질감 주관 정보는, 질감 센서 데이터를 질감 주관 정보 생성용 모델에 입력함으로써 산출된다. 체감 온도 주관 정보는, 체감 온도 주관 센서 데이터를 체감 온도 주관 정보 생성용 모델에 입력함으로써 산출되고, 색채 주관 정보는, 색채 센서 데이터를 색채 주관 정보 생성용 모델에 입력함으로써 산출된다.

뉴럴 네트워크의 모델을 사용하는 것이 아니라, 어떤 식재의 미각 센서 데이터와, 그 식재를 먹은 셰프의 맛을 느끼는 방식을 나타내는 정보를 대응지은 테이블 정보에 기초하여 미각 주관 정보가 산출되도록 해도 된다. 풍미 센서 정보를 사용한 풍미 주관 정보의 산출 방법에 대해서는 다양한 방법을 채용할 수 있다.

이상과 같이, 레시피 데이터는 조리 공정을 실현하기 위한 조리 동작에 관한 정보인 조리 동작 정보, 조리인의 생체 반응을 나타내는 조리인 생체 정보 및 조리 공정의 진척에 연동하여 계측된, 식재나 요리의 풍미에 관한 정보인 풍미 정보를 링크(연결)시킴으로써 구성된다.

ㆍ레시피 데이터의 생성과 요리의 재현의 흐름예

도 42는, 레시피 데이터의 생성의 흐름예를 나타내는 도면이다.

또한, 도 42에는 생체 정보에 관한 처리의 도시를 생략하고 있다. 도 43에 대해서도 마찬가지이다.

도 42에 도시한 바와 같이, 조리 공정 데이터 세트를 구성하는 조리 동작 정보는, 식재를 사용한 조리를 행하는 셰프의 동작과, 풍미를 조정하는 셰프의 동작을 센싱하고, 센싱 결과에 기초하여 생성된다.

또한, 풍미 정보는, 조리 후의 식재의 풍미를 센싱하고, 센싱 결과에 기초하여 생성된다. 식재의 풍미를 계측하기 위한 상술한 각종 센서가 셰프측에는 준비된다.

도 42의 예에 있어서는, 화살표 A1, A2에 나타낸 바와 같이, 조리 공정 #1로서 셰프가 행하는 조리의 동작과, 풍미를 조정하는 셰프의 동작의 센싱 결과에 기초하여, 조리 공정 #1의 조리 공정 데이터 세트를 구성하는 조리 동작 정보가 생성된다.

또한, 화살표 A3에 나타낸 바와 같이, 조리 공정 #1에 의한 조리 후의 식재의 풍미의 센싱 결과에 기초하여, 조리 공정 #1의 조리 공정 데이터 세트를 구성하는 풍미 정보가 생성된다.

마찬가지로, 화살표 A11, A12에 나타낸 바와 같이, 조리 공정 #2로서 셰프가 행하는 조리의 동작과, 풍미를 조정하는 셰프의 동작의 센싱 결과에 기초하여, 조리 공정 #2의 조리 공정 데이터 세트를 구성하는 조리 동작 정보가 생성된다.

또한, 화살표 A13에 나타낸 바와 같이, 조리 공정 #2에 의한 조리 후의 식재의 풍미의 센싱 결과에 기초하여, 조리 공정 #2의 조리 공정 데이터 세트를 구성하는 풍미 정보가 생성된다.

이와 같은 복수의 조리 공정을 거쳐서 1개의 요리가 완성된다. 또한, 요리가 완성됨과 함께, 각 조리 공정의 조리 공정 데이터 세트를 기술한 레시피 데이터가 생성된다.

또한, 1개의 조리 공정에 포함되는 조리 동작의 단위는 임의로 설정 가능하다. 1개의 조리 공정이, 맛보기나 맛보기 후의 풍미의 조정을 수반하지 않은 조리 동작으로 구성되는 것도 있고, 풍미의 조정만으로 구성되는 것도 있다. 이 경우도 마찬가지로, 조리 공정마다 풍미의 센싱이 행해지고, 센싱 결과에 기초하여 얻어진 풍미 정보가 조리 공정 데이터 세트에 포함된다.

1개의 조리 공정이 끝날 때마다 풍미의 센싱이 행해지는 것이 아니라, 풍미의 센싱 타이밍에 대해서도 임의로 설정 가능하다. 예를 들어, 1개의 조리 공정의 동안, 풍미의 센싱이 반복 행해지도록 해도 된다. 이 경우, 조리 공정 데이터 세트에는, 풍미 정보의 시계열 데이터가 포함되게 된다.

모든 조리 공정 데이터 세트에 풍미 정보가 포함되는 것이 아니라, 풍미의 계측이 임의의 타이밍에 행해질 때마다, 풍미 정보가, 그 타이밍에 행해졌던 조리 동작의 정보와 함께 조리 공정 데이터 세트에 포함되게 해도 된다.

도 43은, 레시피 데이터에 기초하는 요리의 재현의 흐름예를 나타내는 도면이다.

도 43에 도시한 바와 같이, 조리 로봇(1)에 의한 요리의 재현은, 레시피 데이터에 기술된 조리 공정 데이터 세트에 포함되는 조리 동작 정보에 기초하여 조리를 행하고, 조리 후의 식재의 풍미를 계측하여, 풍미를 조정하는 것을, 조리 공정마다 반복함으로써 행해진다. 식재의 풍미를 계측하기 위한 각종 센서가, 조리 로봇(1)측에도 준비된다.

풍미의 조정은, 예를 들어 조리 로봇(1)측에 준비된 센서에 의해 계측된 풍미가, 풍미 정보에 의해 표현되는 풍미에 접근하도록, 작업을 추가하도록 하여 행해진다.

풍미의 계측과 조정은, 예를 들어 1개의 조리 공정에 있어서 복수회 반복되는 것도 있다. 즉, 조정이 행해질 때마다, 조정 후의 식재를 대상으로 하여 풍미의 계측이 행해지고, 계측 결과에 기초하여 풍미의 조정이 행해진다.

도 43의 예에 있어서는, 화살표 A21에 나타낸 바와 같이, 조리 공정 #1의 조리 공정 데이터 세트를 구성하는 조리 동작 정보에 기초하여 조리 로봇(1)의 조리 동작이 제어되어, 셰프의 조리 공정 #1의 동작과 동일한 동작이 조리 로봇(1)에 의해 행해진다.

셰프의 조리 공정 #1의 동작과 동일한 동작이 조리 로봇(1)에 의해 행해진 후, 조리 후의 식재의 풍미가 계측되고, 화살표 A22에 나타낸 바와 같이, 조리 공정 #1의 조리 공정 데이터 세트를 구성하는 풍미 정보에 기초하여, 조리 로봇(1)의 풍미 조정이 제어된다.

조리 로봇(1)측에 준비된 센서에 의해 계측된 풍미가, 풍미 정보에 의해 나타내어지는 풍미에 일치한 경우, 풍미의 조정이 끝나고, 조리 공정 #1도 종료가 된다. 예를 들어, 완전히 일치할 뿐만 아니라, 조리 로봇(1)측에 준비된 센서에 의해 계측된 풍미와, 풍미 정보에 의해 나타내어지는 풍미가 역치 이상 유사한 경우도, 양자가 일치하는 것으로서 판정된다.

마찬가지로, 화살표 A31에 나타낸 바와 같이, 조리 공정 #2의 조리 공정 데이터 세트를 구성하는 조리 동작 정보에 기초하여 조리 로봇(1)의 조리 동작이 제어되어, 셰프의 조리 공정 #2의 동작과 동일한 동작이 조리 로봇(1)에 의해 행해진다.

셰프의 조리 공정 #2의 동작과 동일한 동작이 조리 로봇(1)에 의해 행해진 후, 조리 후의 식재의 풍미가 계측되고, 화살표 A32에 나타낸 바와 같이, 조리 공정 #2의 조리 공정 데이터 세트를 구성하는 풍미 정보에 기초하여, 조리 로봇(1)의 풍미의 조정이 제어된다.

조리 로봇(1)측에 준비된 센서에 의해 계측된 풍미가, 풍미 정보에 의해 나타내어지는 풍미에 일치한 경우, 풍미의 조정이 끝나고, 조리 공정 #2도 종료가 된다.

조리 로봇(1)에 의한 조리는, 조리 공정마다 풍미를 조정하도록 하여 행해지기 때문에, 최종적으로 완성되는 요리는 셰프가 만든 요리와 동일하거나, 혹은, 가까운 풍미의 요리가 된다. 이와 같이, 셰프가 만든 요리와 동일한 풍미의 요리가 레시피 데이터에 기초하여 재현된다.

셰프는, 예를 들어 자신이 경영하는 레스토랑에 내점할 수 없는 사람에 대하여 자신이 만든 요리와 동일한 풍미의 요리를 제공할 수 있다. 또한, 셰프는 자신이 만드는 요리를, 레시피 데이터로서 재현 가능한 형태로 남기는 것이 가능하게 된다.

한편, 조리 로봇(1)에 의해 재현된 요리를 먹는 사람은, 셰프가 만든 요리와 동일한 풍미의 요리를 먹을 수 있다.

도 44는, 레시피 데이터의 다른 기술 내용의 예를 나타내는 도면이다.

도 44에 도시한 바와 같이, 완성된 요리의 풍미에 관한 풍미 정보가 레시피 데이터에 포함되도록 해도 된다. 이 경우, 완성된 요리의 풍미에 관한 풍미 정보는, 전체의 조리 동작 정보에 링크된다.

이와 같이, 조리 동작 정보와 풍미 정보의 연결의 관계는, 1대1일 필요는 없다.

<변형예>

레시피 데이터의 커스터마이즈가, 식사인의 생체 반응에 기초하여 행해지는 것으로 했지만, 식사인에 관한 다른 정보에 기초하여 커스터마이즈가 행해지도록 해도 된다.

예를 들어, 연령, 성별, 국적, 생활 지역 등의, 식사인의 속성에 기초하여 레시피 데이터의 커스터마이즈가 행해지도록 하는 것이 가능하다. 국적에 기초하여 레시피 데이터의 커스터마이즈가 행해지는 경우, 일본 국적의 사람에 적합한 레시피 데이터, 미국 국적의 사람에 적합한 레시피 데이터, 프랑스 국적의 사람에 적합한 레시피 데이터와 같은 식으로, 국적마다의 레시피 데이터가 생성된다.

셰프측의 조리에 관한 소리의 정보가 환경 정보로서 레시피 데이터에 포함되게 해도 된다. 조리에 관한 소리에는, 식재를 나이프로 자를 때의 소리나, 식재를 냄비로 끓일 때의 소리 등이 있다.

ㆍ구성의 변형예

레시피 데이터에 기초하여 요리를 재현하는 조리 로봇이 가정 내에 설치된 조리 로봇(1)인 것으로 했지만, 다양한 장소에 마련된 조리 로봇에 있어서 요리가 재현되게 해도 된다. 예를 들어, 공장에 마련된 조리 로봇, 레스토랑에 마련된 조리 로봇에 있어서 요리를 재현시키는 경우에도, 상술한 기술은 적용 가능하다.

또한, 레시피 데이터에 기초하여 요리를 재현하는 조리 로봇이, 조리 암을 동작시켜서 조리를 행하는 조리 로봇(1)인 것으로 했지만, 조리 암 이외의 구성에 의해 식재의 조리를 행하는 것이 가능한, 다양한 조리 로봇에 있어서 요리가 재현되게 해도 된다.

이상에 있어서는, 조리 로봇(1)의 제어가 제어 장치(12)에 의해 행해지는 것으로 했지만, 레시피 데이터를 생성하는 데이터 처리 장치(11)에 의해 직접 행해지도록 해도 된다. 이 경우, 데이터 처리 장치(11)에는, 도 36을 참조하여 설명한 커맨드 생성부(501)의 각 구성이 마련된다.

또한, 커맨드 생성부(501)의 각 구성이, 레시피 데이터 관리 서버(21)에 마련되도록 해도 된다.

레시피 데이터를 관리하여 다른 기기에 제공하는 레시피 데이터 관리 서버(21)의 서버 기능이, 레시피 데이터를 생성하는 데이터 처리 장치(11)에 마련되도록 해도 된다.

도 45는, 조리 시스템의 다른 구성예를 도시하는 도면이다.

데이터 처리 장치(11)가 갖는 레시피 데이터 관리부(11A)는 레시피 데이터를 관리하여 다른 기기에 제공하는 서버 기능을 갖는다. 레시피 데이터 관리부(11A)가 관리하는 레시피 데이터가, 복수의 조리 로봇이나, 조리 로봇을 제어하는 제어 장치에 대하여 제공된다.

ㆍ데이터의 관리

상술한 레시피 데이터, 조리 공정 데이터 세트(조리 동작 정보, 풍미 정보) 등은, 조리 공정에 대한 사상이나 감정을 창작적으로 표현한 성과물이라고 말할 수 있는 것이기 때문에, 저작물이라고 생각할 수도 있다.

예를 들어, 조리를 행하는 셰프(예를 들어 유명점을 경영하는 셰프 등)는 조리 공정에 있어서, 식재의 선택이나 맛보기 등의 시행을 반복하면서, 창작성을 갖는 맛있는 요리를 완성시킨다. 이 경우, 레시피 데이터, 조리 공정 데이터 세트(조리 동작 정보, 풍미 정보)에는, 데이터로서의 가치가 존재하게 되고, 다른 사람이 이용하는 경우에는 그 대가가 필요해지는 상황도 상정할 수 있다.

다음에, 유저가, 레시피 데이터를 이용하여 조리 로봇(1)에 조리를 행하게 하고자 하는 경우에는, 그 레시피 데이터에 대한 이용료를 유저가 지불함으로써, 예를 들어 제어 장치(12)에 다운로드된 레시피 데이터를 조리 로봇(1)에 있어서의 조리를 위해 이용하는 것이 가능하게 된다. 또한, 그 이용료는 레시피 데이터의 창작자인 셰프, 레시피 데이터를 관리하는 데이터 관리자 등으로 환원된다.

또한, 본 개시에서는, 데이터의 거래 이력을 대장으로서 서버로 분산 관리하는 블록 체인 기술을 사용하여, 개별 레시피 데이터, 조리 공정 데이터 세트를 보호하는 것도 가능하다.

이 경우, 예를 들어 도 25의 레시피 데이터 관리 서버(21)(도 45의 데이터 처리 장치(11))는 데이터의 거래 이력을 대장으로서 서버(클라우드 서버, 에지 서버 등)로 분산 관리하는 블록 체인 기술을 사용하여, 셰프와 레시피 데이터(또는 조리 공정 데이터 세트)를 연결하는 형태로 관리한다.

이와 같이, 레시피 데이터(또는 조리 공정 데이터 세트)를 셰프, 유저, 이용료의 각각의 관계를 고려하여, 창작적인 형태로 표현된 저작물로서 효율적으로 관리하는 것이 가능하다.

ㆍ프로그램에 대해서

상술한 일련의 처리는 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터 또는, 범용의 퍼스널 컴퓨터 등에 인스톨된다.

인스톨되는 프로그램은, 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등)나 반도체 메모리 등으로 이루어지는 도 28에 도시되는 리무버블 미디어(211)에 기록하여 제공된다. 또한, 로컬 에어리어 네트워크, 인터넷, 디지털 방송 등의, 유선 또는 무선의 전송 매체를 통하여 제공되도록 해도 된다. 프로그램은 ROM(202)이나 기억부(208)에, 미리 인스톨해 둘 수 있다.

컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치 및 1개의 하우징 중에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두, 시스템이다.

본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또한 다른 효과가 있어도 된다.

본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 본 기술은, 1개의 기능을 네트워크를 통하여 복수의 장치에서 분담하여, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 1개의 장치로 실행하는 것 외, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 1개의 스텝에 복수의 처리가 포함되는 경우에는, 그 1개의 스텝에 포함되는 복수의 처리는, 1개의 장치로 실행하는 것 외, 복수의 장치에서 분담하여 실행할 수 있다.

1: 조리 로봇
11: 데이터 처리 장치
12: 제어 장치
21: 레시피 데이터 관리 서버
41: 카메라
42: 생체 센서
221: 데이터 처리부
231: 조리 동작 정보 생성부
232: 조리인 생체 정보 생성부
233: 레시피 데이터 생성부
234: 레시피 데이터 출력부
235: 식사인 생체 정보 취득부
321: 조리 암
361: 컨트롤러
401: 카메라
402: 생체 센서
403: 통신부
501: 커맨드 생성부
511: 레시피 데이터 취득부
512: 레시피 데이터 해석부
513: 로봇 상태 추정부
514: 생체 정보 처리부
515: 제어부
516: 커맨드 출력부

Claims

요리를 만들기 위한 조리 동작을 행하는 조리 암과,
상기 요리의 식재에 관한 정보 및 상기 식재를 사용한 조리 공정에서의 조리인의 동작에 관한 정보가 기술된 조리 동작 데이터와, 상기 조리 공정의 진척에 연동하여 계측된 상기 조리인의 생체 반응을 나타내는 조리인 생체 데이터를 링크시킨 데이터 세트를 포함하는 레시피 데이터를 사용하여, 상기 조리 암이 행하는 상기 조리 동작을 제어하는 제어부
를 구비하는 조리 로봇.
제1항에 있어서,
상기 조리인 생체 데이터는, 상기 조리인이 맛보기를 행하는 공정인 맛보기 공정과 링크되는 조리 로봇.
제2항에 있어서,
상기 조리인 생체 데이터는, 상기 조리 공정의 진척에 연동하여 계측된 상기 조리인의 감각을 나타내는 감각 데이터와 링크되는 조리 로봇.
제2항에 있어서,
상기 조리인 생체 데이터는, 상기 조리인 생체 데이터의 내용이 소정의 조건을 충족한다고 판정된 경우의 상기 맛보기 공정과 링크되는 조리 로봇.
제1항에 있어서,
상기 조리인 생체 데이터는, 상기 조리인의 뇌파의 상태를 나타내는 뇌파 데이터를 포함하는 조리 로봇.
제1항에 있어서,
상기 조리인 생체 데이터는, 상기 조리인의 얼굴의 상태를 나타내는 얼굴 상태 데이터를 포함하는 조리 로봇.
제1항에 있어서,
상기 조리인 생체 데이터는, 상기 조리인의 심박의 상태를 나타내는 심박 데이터를 포함하는 조리 로봇.
제1항에 있어서,
상기 조리인 생체 데이터는, 상기 조리인의 동공의 상태를 나타내는 동공 데이터를 포함하는 조리 로봇.
제1항에 있어서,
상기 조리인 생체 데이터는, 상기 조리인이 맛보기를 했을 때의 반응을 나타내는 데이터인 조리 로봇.
제1항에 있어서,
상기 레시피 데이터는, 상기 조리 로봇에 의한 조리에 의해 얻어진 조리 완료의 상기 식재, 또는, 상기 조리 로봇이 조리한 상기 요리를 식사하는 식사인의 생체 반응을 나타내는 식사인 생체 데이터에 따라서 갱신되고,
상기 제어부는, 갱신된 상기 레시피 데이터를 사용하여, 상기 조리 암이 행하는 상기 조리 동작을 제어하는 조리 로봇.
제10항에 있어서,
상기 레시피 데이터는, 상기 조리 공정을 갱신함으로써, 상기 식사인마다 갱신되고,
상기 제어부는, 상기 식사인마다 갱신된 상기 레시피 데이터를 사용하여, 상기 조리 암이 행하는 상기 조리 동작을 제어하는 조리 로봇.
제10항에 있어서,
상기 레시피 데이터는, 상기 조리 공정을 갱신함으로써, 상기 식사인의 속성마다 갱신되고,
상기 제어부는, 상기 식사인의 속성마다 갱신된 상기 레시피 데이터를 사용하여, 상기 조리 암이 행하는 상기 조리 동작을 제어하는 조리 로봇.
제10항에 있어서,
상기 식사인 생체 데이터는, 상기 식사인이 식사를 했을 때의 반응을 나타내는 데이터인 조리 로봇.
제10항에 있어서,
상기 식사인 생체 데이터는, 상기 식사인이 식사를 했을 때의 음성의 상태를 나타내는 데이터인 조리 로봇.
제10항에 있어서,
상기 식사인 생체 데이터는, 상기 식사인이 식사를 했을 때의 신체의 근전의 상태를 나타내는 데이터인 조리 로봇.
제1항에 있어서,
상기 제어부는, 상기 레시피 데이터에 기초하여 생성된, 상기 조리 동작을 명령하는 명령 커맨드에 따라서 상기 조리 암을 제어하는 조리 로봇.
제16항에 있어서,
상기 조리 암은, 복수 마련되는 조리 로봇.
제17항에 있어서,
상기 제어부는, 복수의 상기 조리 암을 상기 명령 커맨드에 따라서 협동시킴으로써 조리 동작을 행하게 하는 조리 로봇.
요리를 만들기 위한 조리 동작을 행하는 조리 암을 구비하는 조리 로봇이,
상기 요리의 식재에 관한 정보 및 상기 식재를 사용한 조리 공정에서의 조리인의 동작에 관한 정보가 기술된 조리 동작 데이터와, 상기 조리 공정의 진척에 연동하여 계측된 상기 조리인의 생체 반응을 나타내는 조리인 생체 데이터를 링크시킨 데이터 세트를 포함하는 레시피 데이터를 사용하여, 상기 조리 암이 행하는 상기 조리 동작을 제어하는
제어 방법.
요리의 식재에 관한 정보 및 상기 식재를 사용한 조리 공정에서의 조리인의 동작에 관한 정보가 기술된 조리 동작 데이터와, 상기 조리 공정의 진척에 연동하여 계측된 상기 조리인의 생체 반응을 나타내는 조리인 생체 데이터를 링크시킨 데이터 세트를 포함하는 레시피 데이터를 사용하여, 조리 로봇이 구비하는 조리 암에 의해 행해지는 조리 동작을 제어하는 제어부를 구비하는
조리 로봇 제어 장치.
조리 로봇 제어 장치가,
요리의 식재에 관한 정보 및 상기 식재를 사용한 조리 공정에서의 조리인의 동작에 관한 정보가 기술된 조리 동작 데이터와, 상기 조리 공정의 진척에 연동하여 계측된 상기 조리인의 생체 반응을 나타내는 조리인 생체 데이터를 링크시킨 데이터 세트를 포함하는 레시피 데이터를 사용하여, 조리 로봇이 구비하는 조리 암에 의해 행해지는 조리 동작을 제어하는
제어 방법.
요리를 만들기 위한 조리 동작을 행하는 조리 암과,
상기 요리의 식재에 관한 정보 및 상기 식재를 사용한 조리 공정에서의 조리인의 동작에 관한 정보가 기술된 조리 동작 데이터와, 조리 로봇이 조리한 상기 요리를 식사하는 식사인의 생체 반응을 나타내는 식사인 생체 데이터를 링크시킨 데이터 세트를 포함하는 레시피 데이터를 사용하여, 상기 조리 암이 행하는 상기 조리 동작을 제어하는 제어부
를 구비하는 조리 로봇.
요리를 만들기 위한 조리 동작을 행하는 조리 암을 구비하는 조리 로봇이,
상기 요리의 식재에 관한 정보 및 상기 식재를 사용한 조리 공정에서의 조리인의 동작에 관한 정보가 기술된 조리 동작 데이터와, 상기 조리 로봇이 조리한 상기 요리를 식사하는 식사인의 생체 반응을 나타내는 식사인 생체 데이터를 링크시킨 데이터 세트를 포함하는 레시피 데이터를 사용하여, 상기 조리 암이 행하는 상기 조리 동작을 제어하는
제어 방법.