JP7227423B1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7227423B1
JP7227423B1 JP2022159617A JP2022159617A JP7227423B1 JP 7227423 B1 JP7227423 B1 JP 7227423B1 JP 2022159617 A JP2022159617 A JP 2022159617A JP 2022159617 A JP2022159617 A JP 2022159617A JP 7227423 B1 JP7227423 B1 JP 7227423B1
Authority
JP
Japan
Prior art keywords
captured image
food
information processing
processing system
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022159617A
Other languages
English (en)
Other versions
JP2023181050A (ja
Inventor
要子 木場
有輝 川村
牧子 平田
Original Assignee
セーフィー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セーフィー株式会社 filed Critical セーフィー株式会社
Priority to JP2023003379A priority Critical patent/JP7271803B1/ja
Application granted granted Critical
Publication of JP7227423B1 publication Critical patent/JP7227423B1/ja
Publication of JP2023181050A publication Critical patent/JP2023181050A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】飲食店で提供される料理の質を確認する際、遠隔地の店舗に実地で臨店する管理者の負担を軽減するための情報処理システムを提供する。【解決手段】サーバー装置100と、クライアント装置110と、撮像装置120とが、ネットワーク190を介して通信可能に接続されている情報処理システム1000において、クライアント装置は、飲食店のデシャップ130等の所定の領域を含む撮像画像を画面に表示する。画面には、撮像画像に関するタイムラインが含まれる。クライアント装置の制御部が、撮像画像に基づいて所定の領域に料理140が置かれたことを検知した場合、タイムラインに関連付けて料理が置かれたことを示すオブジェクトを表示する。【選択図】図1

Description

特許法第30条第2項適用 令和3年12月9日に(1)セーフィー株式会社のウェブサイトhttps://safie.co.jp/news/1494/、令和4年2月14日に(2)セーフィー株式会社のウェブサイトhttps://ssl4.eir-parts.net/doc/4375/tdnet/2085931/00.pdf、令和4年3月29日に(3)セーフィー株式会社のウェブサイトhttps://ssl4.eir-parts.net/doc/4375/tdnet/2100521/00.pdfにて発表 〔刊行物等〕 令和3年12月9日にEAGLYS株式会社のウェブサイトhttps://www.eaglys.co.jp/news/press-release/20211209/にて発表 〔刊行物等〕 令和3年12月9日にPR TIMESのウェブサイトhttps://prtimes.jp/main/html/rd/p/000000082.000017641.html及びhttps://prtimes.jp/main/html/rd/p/000000029.000041103.htmlにて発表 〔刊行物等〕 令和4年2月14日にオンラインのLIVE配信(https://live.irwebmeeting.com/safie/live/20220214/c)で開催された2021年12月期通期決算説明会にて発表 〔刊行物等〕 令和4年2月15日にログミーファイナンスのウェブサイトhttps://finance.logmi.jp/376824にて発表
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
特許文献1には食材を簡単に調理できるようにする調理支援装置が開示されている。
特開2010-191745号公報
すべての店舗において特許文献1に記載の調理支援装置を導入することは費用面において難しい問題がある。また、飲食店チェーンの中には冷凍食品の割合が多いところもあり、調理自体は誰でも問題なく行えるようになっているところもある。
ところで、飲食店では管理者等が臨店してデシャップ等を目視で確認し、実際にお客に提供される料理の質等(例えば、盛り付けが乱雑でないか、所定の量の料理がお皿に入れられているか、定食の場合、規定の数のおかず等が置かれているか等)を確認することが行われている。しかし、実際に臨店せずに、例えば遠隔地等にあるお店の料理の質等を確認することで、管理者の負担を減らしたいという要求がある。また、管理者等が臨店する日は予めお店に知らされているが、そのとき従業員はいいところを見せようとすることが多いため、できれば普段の料理の状況等を確認したいという要求もある。
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、飲食店の所定の領域を含む撮像画像を画面に表示する。画面には、撮像画像に関するタイムラインが含まれる。撮像画像に基づいて所定の領域に料理が置かれたことが検知された場合、タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される。
図1は、情報処理システム1000のシステム構成の一例を示す図である。 図2は、サーバー装置100のハードウェア構成の一例を示す図である。 図3は、クライアント装置110のハードウェア構成の一例を示す図である。 図4は、情報処理システム1000における情報処理の一例を示すシーケンス図である。 図5は、検知情報の一例を示す図である。 図6は、撮像画像に含まれる料理の種類に応じて撮像画像を区別可能に格納する一例を示す図である。 図7は、クライアント装置110の出力部340に表示される画面の一例を示す図(その1)である。 図8は、クライアント装置110の出力部340に表示される画面の一例を示す図(その2)である。 図9は、撮像画像に含まれる料理の質に問題がある場合に、撮像画像をフォルダに格納する一例を示す図である。 図10は、クライアント装置110の出力部340に表示される画面の一例を示す図(その3)である。 図11は、撮像画像に含まれる料理の質に問題がある場合に、その料理が含まれる撮像画像と、その料理に関係する画像と、をフォルダに格納する一例を示す図である。 図12は、クライアント装置110の出力部340に表示される画面の一例を示す図(その4)である。 図13は、クライアント装置110の出力部340に表示される画面の一例を示す図(その5)である。 図14は、クライアント装置110の出力部340に表示される画面の一例を示す図(その6)である。 図15は、クライアント装置110の出力部340に表示される画面の一例を示す図(その7)である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、0又は1で構成される2進数のビット集合体として信号値の高低によって表されるか、信号値の物理的な数値によって表されるか、又は量子的な重ね合わせによって表されるかによらず、広義の回路上で通信・演算が実行されうる。
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
また、実施形態中に登場するソフトウェアを実現するためのプログラムは、サーバーからダウンロード可能な態様で実施してもよいし、クラウドコンピュータ上でプログラムの実行がなされてもよいし、不揮発性又は揮発性の非一時的な記憶媒体に記憶させて頒布されてもよい。
1.システム構成
図1は、情報処理システム1000のシステム構成の一例を示す図である。図1に示されるように、情報処理システム1000は、システム構成として、サーバー装置100と、クライアント装置110と、撮像装置120と、を含む。サーバー装置100と、クライアント装置110と、撮像装置120と、はネットワーク190を介して通信可能に接続されている。
サーバー装置100は、撮像装置120で撮像された撮像画像を記憶し、撮像画像を解析し、解析結果をクライアント装置110等に送信する。クライアント装置110は、サーバー装置100から受け取った撮像画像を表示したり、サーバー装置100から受け取った解析結果を表示したりする。撮像装置120は、飲食店等、料理を提供する店舗に設置されているカメラである。料理を提供する店舗には、デシャップ130がある。デシャップ130とは、レストラン等の飲食店で、厨房で出来上がった料理140を配膳の前に置く場所のことである。撮像装置120は、少なくともデシャップ130全体を含む領域を撮像し、撮像画像をサーバー装置100に送信する。飲食店に複数のデシャップがある場合、複数のデシャップそれぞれに対して撮像装置を設置してもよいし、1つの撮像装置を設置し、1つの撮像装置で複数のデシャップを撮像するようにしてもよい。以下では説明の簡略化のため、飲食店においてデシャップ130は1つ、デシャップ130を撮像するカメラは撮像装置120の1台として説明を行う。
なお、図1では、説明の簡略化のため、情報処理システム1000において、クライアント装置110は1台しか図示していないが、情報処理システム1000には複数のクライアント装置110が含まれていてもよい。同様に、図1では、説明の簡略化のため、情報処理システム1000において、各種構成が限定的な数しか図示されていないが、情報処理システム1000には、図1に示されていない各種構成が含まれていてもよい。また、図1では、クライアント装置110の例としてPCを示しているが、PCに限定されるものではなく、タブレット型コンピュータ等、後述する図6等に示されるような画面を表示できるものであればどのようなものであってもよい。
ここで、特許請求の範囲に記載の情報処理システムは、複数の装置で構成されてもよいし、一つの装置で構成されてもよい。特許請求の範囲に記載の情報処理システムが一つの装置で構成され場合、その装置の一例はクライアント装置110であり、他の例としてはサーバー装置100である。特許請求の範囲に記載の情報処理システムが複数の装置で構成される場合、複数の装置の一例は、サーバー装置100及びクライアント装置110である。
2.ハードウェア構成
(サーバー装置100のハードウェア構成)
図2は、サーバー装置100のハードウェア構成の一例を示す図である。サーバー装置100は、ハードウェア構成として、制御部210と、記憶部220と、通信部230と、を含む。
制御部210は、CPU(Central Processing Unit)等であって、サーバー装置100の全体を制御する。制御部210は、記憶部220に記憶されているプログラムに基づき、処理を実行することによって、サーバー装置100の機能等が実現される。
記憶部220は、HDD(Hard Disk Drive)、ROM(Read Only Memory)、RAM(Random Access Memory)、SSD(Solid State Drive)の何れか、又はこれらの任意の組み合わせであって、プログラム及び制御部210がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。
通信部230は、NIC(Network Interface Card)等であって、サーバー装置100をネットワーク190に接続し、他の装置との通信を司る。
(クライアント装置110のハードウェア構成)
図3は、クライアント装置110のハードウェア構成の一例を示す図である。クライアント装置110は、ハードウェア構成として、制御部310と、記憶部320と、入力部330と、出力部340と、通信部350と、を含む。
制御部310は、CPU等であって、クライアント装置110の全体を制御する。
記憶部320は、HDD、ROM、RAM、SSDの何れか、又はこれらの任意の組み合わせであって、プログラム、制御部310がプログラムに基づき処理を実行する際に利用するデータ等を記憶させる。制御部310が、記憶部320に記憶されているプログラムに基づき、処理を実行することによって、クライアント装置110の機能が実現される。
入力部330は、キーボード及び/又はマウス等であって、ユーザー操作に基づいて情報をクライアント装置110に入力する。出力部340は、ディスプレイ等であって、制御部310の制御に基づいて、画面等を表示する。通信部350は、NIC等であって、クライアント装置110をネットワーク190に接続し、他の装置との通信を司る。
3.情報処理
以下、本実施形態に係る情報処理を説明する。
制御部310は、後述する図7に示されるような画面を出力部340に表示する。すなわち、後述するように、制御部310は、飲食店のデシャップ130を含む撮像画像を画面に表示する。デシャップは、所定の領域の一例である。画面には、撮像画像に関するタイムラインが含まれる。撮像画像に基づいてデシャップ130に料理が置かれたことが検知された場合、タイムラインに関連付けて料理が置かれたことを示すフラグが表示される。ここで、料理が置かれたことを示すフラグは、料理が置かれたことを示すオブジェクトの一例である。なお、本実施形態では、単に「料理」として説明を行うが、「料理」を「料理が盛られたお皿全体」等と読み替えてもよい。
図4は、情報処理システム1000における情報処理の一例を示すシーケンス図である。
シーケンスSQ501において、撮像装置120は、設定された領域、本実施形態の例ではデシャップ130を含む領域を撮像し、撮像画像(動画)をサーバー装置100に送信する。なお、撮像画像には、属性情報として、撮像日時の情報、撮像装置120を識別する識別情報等が含まれる。
シーケンスSQ502において、サーバー装置100の制御部210は、撮像装置120から撮像画像を受信すると、受信した撮像画像を202等の所定の記憶領域に一時的に記憶する。
デシャップ130に料理が置かれると、シーケンスSQ503において、制御部210は、撮像画像に基づいて、デシャップ130に料理が置かれたことを検知する。例えば、制御部210は、学習済みモデルに撮像画像を入力し、学習済みモデルから撮像画像に含まれるデシャップ130に料理が含まれること示すデータが出力されたされた場合に、デシャップ130に料理が置かれたことを検知したとする。ここで、学習済みモデルは、撮像画像を入力データ、撮像画像に含まれるデシャップ130に料理が置かれているか否かを出力データとして学習された学習済みモデルである。
デシャップ130に料理が置かれたことを検知されると、シーケンスSQ504において、制御部210は、撮像画像に基づいて、デシャップ130に置かれた料理の種類を識別する。料理の種類とは、飲食店で提供する料理を、共通の性質をもつもの毎に組分けしたものであり、例えば、サラダ、鉄板料理、鍋等、がある。料理の種類は、例えば、クライアント装置110等を介して飲食店毎に設定される。例えば、制御部210は、学習済みモデルに撮像画像を入力し、学習済みモデルから処理の種類を識別する識別情報を取得する。ここで、学習済みモデルは、撮像画像を入力データ、撮像画像に含まれる料理の種類を識別する識別情報を出力データとして学習された学習済みモデルである。
デシャップ130に置かれた料理の種類を識別すると、シーケンスSQ505において、制御部210は、デシャップ130に置かれた料理に関する検知情報を記憶部220等の所定の領域に記憶させる。
図5は、検知情報の一例を示す図である。図5に示されるように、検知情報には、デシャップIDと、日時情報と、料理種別と、が含まれる。店舗IDには、飲食店を識別する識別情報が格納される。デシャップIDには、飲食店のデシャップを識別する識別情報が格納される。日時情報には、該当するデシャップに料理が置かれたと検知された時刻(IN)、その料理がデシャップから持ち出されたと検知された時刻(OUT)、IN~OUTに要した時間を算出した値(TIME)が格納される。料理種別には、制御部210によって識別された料理の種類を識別する識別情報が格納される。料理IDには、提供される料理ごとに固有の識別情報が格納される。担当者IDには、その時の責任者、料理担当、提供担当等を識別する識別情報が格納される。図5の例では、検知情報として、レコード610、レコード620、レコード630と3つのレコードが含まれている。なお、レコードが3つなのは説明の簡略化のためであり、デシャップ130に料理が置かれたことが検知される度に、レコードは追加される。
シーケンスSQ506において、制御部210は、撮像画像をシーケンスSQ504で識別された料理の種類に応じて区別可能に記憶部220等に格納させる。より具体的に説明すると、制御部210は、動画から料理に対応する領域の静止画を切り出し、切り出した静止画を料理の種類に応じて区別可能に記憶部220等に格納させる。ここで、静止画には、デシャップ130に置かれた料理が含まれる。
図6は、撮像画像に含まれる料理の種類に応じて撮像画像を区別可能に格納する一例を示す図である。図6の例では、撮像画像910に含まれる料理がサラダであると識別されたため、制御部210は、撮像画像(静止画)910をサラダのフォルダ940に格納している。すなわち、図6に示されるように、制御部210は、撮像画像を撮像画像に含まれる料理の種類ごとにフォルダに分けて格納させる。より具体的に説明すると、制御部210は、動画から料理に対応する領域の静止画を切り出し、切り出した静止画を料理の種類ごとにフォルダに分けて格納させる。
ここで、シーケンスSQ506の処理と、シーケンスSQ507の処理と、の順序は問わない。2つの処理は同時に実行されてもよい。
シーケンスSQ507において、制御部210は、クライアント装置110からの要求等に応じて、検知情報をクライアント装置110に送信する。検知情報は、図5に示したような情報である。
シーケンスSQ508において、クライアント装置110の制御部310は、検知情報に基づいて、図7に示されるように、タイムラインに関連付けて料理が置かれたことを示すオブジェクトを表示する。
図7は、クライアント装置110の出力部340に表示される画面の一例を示す図(その1)である。図7に示されるように、画面には、表示領域710が含まれる。表示領域710には、撮像装置120で撮像された撮像画像(動画)が表示される。また、画面には、タイムライン720が含まれる。タイムライン720は、表示領域710に表示されている動画(映像)の時間を示すものである。再生位置表示オブジェクト730は、表示領域710に表示される動画の撮像日時を示すオブジェクトである。再生位置表示オブジェクト730がタイムライン720の一番左にあるときは動画の再生の開始位置であり、タイムライン720の一番右にあるときは動画の再生の終了位置となる。また、ユーザーは、再生位置表示オブジェクト730を操作して、表示領域710に表示させる動画の撮像日時を指定することもできる。フラグ740は、タイムライン720に表示される、デシャップ130に料理が置かれたこと(IN)を示すフラグである。なお、フラグ740は、その料理がデシャップから持ち出されたこと(OUT)を示すフラグとしてもよい。また、IN~OUTに要した時間(TIME)を帯状に示してもよい。制御部210は、図5で説明した日時情報(IN、OUT、TIME)を参照することにより、これらのフラグ(IN、OUT、TIME)を、タイムライン上の対応する時刻に表示する。制御部210は、ユーザーの指示に応じて、INを示すフラグ、OUTを示すフラグ及びTIMEを示すフラグのうち何れか1種類のフラグを表示してもよいし、2種類以上のフラグを組み合わせて表示してもよい。なお、SQ501~SQ507が例えば10秒毎等の所定の時間間隔で行われる場合、同じ料理がデシャップに置きっ放しになっていると、その料理を示すフラグがタイムライン上に何個も付されて見難くなってしまう。この対策として、同じ料理のフラグはグルーピングして、例えば最初に料理が置かれたタイミング(IN)のみ付したり、その料理のIN~OUTに要した時間(TIME)を帯状に示したりしてもよい。日時情報750は、表示領域710に表示されている動画の撮影日時である。
図7に示されるように、フラグ740は、デシャップ130に料理が置かれたタイミングを示す態様でタイムライン720に表示される。すなわち、フラグ740は、デシャップ130に料理が置かれたタイミングが何時なのか分かる態様で表示される。なお、図7に示されるように、フラグ740がタイムライン上に表示されるのは一例であり、デシャップ130に料理が置かれた日時が分かり、その日時の動画(映像)をすぐに確認することが可能であればどのような表示態様であってもよい。
図7の例では、ユーザーが、フラグ740を選択し、所定の操作を行う(例えばダブルクリックする)、又は再生位置表示オブジェクト730を、フラグ740の位置に移動させることによって、フラグ740に対応する時間における動画(映像)が表示領域710に表示される。ユーザーは、表示領域710に表示される、フラグ740に対応する時間におけるデシャップ130上の料理の動画(映像)を目視で確認することによって、臨店せずに、お店の料理の質(例えば、盛り付けが乱雑でないか、所定の量の料理がお皿に入れられているか、定食の場合、規定の数のおかず等が置かれているか等)を確認することができる。また、ユーザーは、前もって知られている、管理者が臨店する特定の日の料理ではなく、普段の料理の質等を確かめることができる。
本実施形態によれば、デシャップ130に料理140が置かれた場合、タイムラインに関連付けてデシャップ130に料理140が置かれたことを示すフラグが表示される。したがって、ユーザーは、フラグを操作する等して、フラグに対応する料理140の動画(映像)を表示領域710等に表示させ、確認することができる。
(変形例1)
実施形態1の変形例1を説明する。
図8は、クライアント装置110の出力部340に表示される画面の一例を示す図(その2)である。変形例1の制御部310は、検知情報に基づいて、デシャップ130に置かれた料理の種類に応じて異なる態様でフラグを表示する。図8の例では、フラグ1010、フラグ1020、フラグ1030の3種類のフラグが示されている。フラグ1010は、鉄板料理がデシャップ130に置かれたことを示すフラグである。フラグ1020は、サラダがデシャップ130に置かれたことを示すフラグである。フラグ1030は、鍋がデシャップ130に置かれたことを示すフラグである。なお、図8の例では、フラグの色(塗りつぶしの色)によって料理の種類を識別する例を示したが、これは一例である。他の例としては、例えば、制御部310は、フラグの形で料理の種類を識別可能に表示してもよい。
変形例1によれば、料理の種類に基づいて異なる態様でフラグが表示されるので、ユーザーは、確認したい料理のフラグを操作する等して、フラグに対応する種類の料理140の動画(映像)を表示領域710等に表示させ、確認することができる。
(変形例2)
実施形態1の変形例2を説明する。
変形例2の制御部310は、撮像画像に含まれる料理の質に問題がある可能性がある場合、タイムラインに関連付けてデシャップ130に置かれた料理の質に問題がある可能性があることを示すオブジェクトを表示する。すなわち、変形例2の制御部210は、撮像画像に基づいて、料理の質(クオリティ)に問題がある可能性がある料理を検出する。変形例2の制御部310は、クオリティに問題がある可能性がある料理が検出されると、クオリティに問題がある料理が提供された可能性があることを示すフラグをタイムラインに関連付けて表示する。
例えば、制御部210は、学習済みモデルに撮像画像を入力し、学習済みモデルから撮像画像に含まれる料理の質に問題がある可能性があるか否を示すデータを取得する。ここで、学習済みモデルは、撮像画像を入力データ、撮像画像に含まれる料理の質に問題がある可能性があるか否かを示すデータを出力データとして学習された学習済みモデルである。
制御部210は、学習済みモデルから取得されたデータが、撮像画像に含まれる料理の質に問題がある可能性があることを示していた場合、撮像画像を所定のフォルダに格納する。より具体的に説明すると、制御部210は、学習済みモデルから取得されたデータが、撮像画像に含まれる料理の質に問題がある可能性があることを示していた場合、撮像画像(動画)から静止画を切り出し、切り出した静止画を所定のフォルダに格納する。
図9は、撮像画像に含まれる料理の質に問題がある場合に、撮像画像(静止画)をフォルダに格納する一例を示す図である。図9に示されるように、変形例2では、写っている料理の質に問題がある可能性がある撮像画像(静止画)1210がフォルダ1220に格納される。
図10は、クライアント装置110の出力部340に表示される画面の一例を示す図(その3)である。フラグ1110は、タイムライン720に表示される、デシャップ130に置かれた料理の質に問題がある可能性があることを示すフラグである。
また、制御部210は、撮像画像に含まれる料理の質に問題がある可能性があると判断した場合、撮像画像が撮像された日時情報と、飲食店のシフト表及び/又は不図示の他の撮像装置によって撮像された撮像画像等と、に基づき、該当する料理を作った料理人を含む撮像画像、及び、該当する料理が作られた日時の厨房の撮像画像を特定する。そして、制御部210は、特定した撮像画像から切り出した静止画を所定のフォルダに格納するようにしてもよい。すなわち、制御部210は、撮像画像に含まれる料理の質に問題がある可能性がある場合、撮像画像と関連付けて、撮像画像に含まれる料理に関係する、料理が130に置かれる前の工程(例えば、料理を作る工程、料理を盛り付ける工程等)に関する撮像画像から切り出した静止画を所定の格納場所に格納させる。図11は、撮像画像に含まれる料理の質に問題がある場合に、その料理が含まれる撮像画像(静止画)と、その料理に関係する撮像画像(静止画)と、をフォルダに格納する一例を示す図である。撮像画像(静止画)1230は、該当する料理が作られているシーンの画像である。撮像画像(静止画)1240は、該当する料理が盛り付けられているシーンの画像である。制御部210は、撮像画像1210に関連する撮像画像として、撮像画像1230及び撮像画像1240を特定し、特定した撮像画像1230及び撮像画像1240を、撮像画像1210に関連付けてフォルダ1220に格納する。なお、静止画を格納するフォルダは、所定の格納場所の一例である。但し、格納場所はフォルダに限られない。制御部210がアクセス可能であり、画像を格納することができればどのようなものであってもよい。
図11に示されるように、所定のフォルダに撮像画像1210、撮像画像1230、撮像画像1240等が格納される場合、制御部310は、ユーザー操作に基づいて、図12に示されるような画面をクライアント装置110の出力部340に表示させる。図12は、クライアント装置110の出力部340に表示される画面の一例を示す図(その4)である。制御部310は、所定のフォルダに格納されている撮像画像の撮像日時の情報に基づいて、撮像画像を時系列に並べて表示している。また、画面1400には、テキスト入力領域1440が含まれている。例えば、管理者は、画面1400に含まれる画像を確認し、問題となる箇所を発見すると、テキスト入力領域1440に入力を行う。送信ボタン1450が選択されると、制御部310は、例えば、予め定められた他の管理者や該当する店舗の担当者宛に、テキスト入力領域1440に入力された情報や画面1400に含まれる画像を添付した電子メールを送付する。なお、テキスト入力領域1440には、各撮像画像をAI等により解析して、様々なコメントの情報を自動的に入力するように構成してもよい。
このようにすることによって、問題の原因を共有すると共に、撮像画像において問題の原因を分かりやすく提示することができる。
(変形例3)
実施形態1の変形例3を説明する。
上述した情報処理システム1000では、制御部310が、タイムラインやフラグを含む画面を表示した。しかし、情報処理システム1000は、撮像画像に基づき、撮像画像をフォルダに格納するだけでもよい。すなわち、変形例3の制御部210は、撮像画像(動画)に基づいてデシャップ130に料理が置かれたことが検知された場合、撮像画像(動画)からデシャップ130に料理が置かれている撮像画像(静止画)を切り出しし、切り出した料理を含む静止画を所定のフォルダ等に格納させる。デシャップ130は、所定の領域の一例である。また、制御部210は、動画に基づいてデシャップ130に料理が置かれたことを検知するようにしてもよい。また、例えば、制御部210は、静止画を静止画に含まれる料理の種類ごとに区別可能に格納させる。また、例えば、制御部210は、静止画を静止画に含まれる料理の種類ごとにフォルダに分けて格納させる。ここで、制御部210は、切り出した静止画に基づいて料理の種類を識別する。
変形例3によっても、例えば、デシャップ130に置かれた料理の種類ごとにフォルダに分けて、デシャップ130に置かれた料理の静止画が格納されるので、確認したい料理の種類のフォルダの中の写真を確かめるだけで、料理の質を確認することができる。また、大掛かりなシステムを導入する必要がないため、安価に仕組みを構築することができる。
(変形例4)
実施形態1の変形例4を説明する。
変形例4の制御部210は、不図示の飲食店の店舗のシステム等から店舗の苦情情報を受信する。苦情情報には、苦情の内容と、苦情の日時情報等が含まれる。苦情情報としては、例えば、料理の注文から料理の提供まで、予め定められた時間以上の時間がかかってしまったことによる苦情等がある。これは、店舗のシステム等でオーダーを受けてから料理が提供されたとき(お客に渡されたタイミングでもデシャップに出されたタイミングでもよい。)までに要した時間を計測し、所定の時間以上になったら大幅な遅れが発生したと見なし苦情が発生する可能性が高いと判断する。
また、変形例4の情報処理システム1000では、店舗に複数の撮像装置が含まれる。
制御部210は、クライアント装置110からの要求に基づいて、苦情情報をクライアント装置110に送信する。クライアント装置110の制御部310は、苦情情報に含まれる日時情報に基づいて、タイムラインに店舗に関する苦情に係るオブジェクトが表示する。図13は、クライアント装置110の出力部340に表示される画面の一例を示す図(その5)である。画面には、表示領域710が含まれる。表示領域710には、複数の撮像装置のうち、少なくとも一つの撮像装置で撮像された撮像画像(動画)が表示される。また、画面には、タイムライン720が含まれる。フラグ1410は、タイムライン720に表示される、苦情があったことを示すフラグである。フラグは、苦情に係る事象が起こったタイミングを示す態様でタイムライン720に関連付けて表示される。
フラグ1410が選択されると、制御部310は、フラグ1410に対応する静止画像を表示領域710等に表示するための情報を画面に表示する。図14は、クライアント装置110の出力部340に表示される画面の一例を示す図(その6)である。図14に示されるように、フラグ1410が選択されると、制御部310は、フラグ1410に対応する静止画像を表示領域710等に表示するための情報(図14の例ではURL(Uniform Resource Locator))を表示する。ボタン1590が選択されると、URLがコピーされる。
変形例4によれば、料理の提供が遅れている等の苦情を受け付けた場合において、映像で確認することができる。
(変形例5)
実施形態1の変形例5を説明する。
変形例5の情報処理システム1000は、システム構成として複数の撮像装置を含む。複数の撮像装置は、例えば、それぞれ異なる撮像領域を撮像する。例えば、複数の撮像装置に含まれる第1の撮像装置は、デシャップ130を含む撮像領域を撮像し、複数の撮像装置に含まれる第2の撮像装置は、料理を用意するキッチン全体を含む撮像領域を撮像し、複数の撮像装置に含まれる第3の撮像装置は、料理を用意するキッチンで料理をする台等を含む撮像領域を撮像し、複数の撮像装置に含まれる第4の撮像装置は飲食店のレジスターを含む撮像領域を撮像する。
変形例5の制御部310は、複数の撮像装置それぞれで撮像された撮像画像をクライアント装置110の出力部340に表示する。なお、画面において表示される複数の撮像画像それぞれは、例えば、同一時刻の撮像画像である。
図15は、クライアント装置110の出力部340に表示される画面の一例を示す図(その7)である。図15に示されるように、画面には、表示領域1510が含まれる。表示領域1510には、例えば、複数の撮像装置のうち第1の撮像装置で撮像された撮像画像(動画)が表示される。また、画面には、表示領域1520、表示領域1530、表示領域1540が含まれる。表示領域1520には、例えば、複数の撮像装置のうち第2の撮像装置で撮像された撮像画像(動画)が表示される。表示領域1530には、例えば、複数の撮像装置のうち第3の撮像装置で撮像された撮像画像(動画)が表示される。表示領域1540には、例えば、複数の撮像装置のうち第4の撮像装置で撮像された撮像画像(動画)が表示される。
ユーザーが、フラグ740を選択し、所定の操作を行う(例えばダブルクリックする)、又は再生位置表示オブジェクト730を、フラグ740の位置に移動させることによって、フラグ740に対応する時間における動画(映像)がそれぞれの表示領域に表示される。
また、画面には表示領域1550が含まれる。表示領域1550には、デシャップ130の画像の一覧が表示される。図15の例では、一覧の先頭には、デシャップ130に料理が置かれたことが検知された直近の画像(静止画)が表示され、順次、所定間隔前(図15の例では3分前)のデシャップ130の画像が表示されている。なお、これは一例であって、表示領域1550には、デシャップ130に料理が置かれたことが検知された画像の一覧が、直近の画像を先頭に順次表示されるようにしてもよい。所定間隔ごとの画像が表示されるか、デシャップ130に料理が置かれたことが検知された画像が表示されるかは、ユーザーの操作等に応じて、切り替え可能に構成されてもよい。
変形例5によれば、同時刻の複数の撮像画像を画面に表示することができる。また、デシャップ130の画像を一覧で確認することもできる。
さらに、次に記載の各態様で提供されてもよい。
(1)情報処理システムであって、飲食店の所定の領域を含む撮像画像を画面に表示し、前記画面には、前記撮像画像に関するタイムラインが含まれ、前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される、情報処理システム。
(2)上記(1)に記載の情報処理システムにおいて、前記オブジェクトは、前記料理が置かれたタイミングを示す態様で表示される、情報処理システム。
(3)上記(1)に記載の情報処理システムにおいて、前記撮像画像に基づいて前記所定の領域に料理が置かれたことを検知する、情報処理システム。
(4)上記(1)に記載の情報処理システムにおいて、前記オブジェクトは、前記料理の種類に応じて異なる態様で表示される、情報処理システム。
(5)上記(1)に記載の情報処理システムにおいて、前記撮像画像を前記料理の種類に応じて区別可能に格納させる、情報処理システム。
(6)上記(5)に記載の情報処理システムにおいて、前記撮像画像に基づいて前記料理の種類を識別する、情報処理システム。
(7)上記(1)に記載の情報処理装置において、前記所定の領域は、デシャップである、情報処理システム。
(8)上記(1)に記載の情報処理システムにおいて、前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記タイムラインに関連付けて前記所定の領域に置かれた料理の質に問題がある可能性があることを示すオブジェクトが表示される、情報処理システム。
(9)上記(7)に記載の情報処理システムにおいて、前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記撮像画像を所定の格納場所に格納させる、情報処理システム。
(10)上記(1)に記載の情報処理システムにおいて、前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記撮像画像と関連付けて、前記撮像画像に含まれる料理に関係する、前記料理が前記所定の領域に置かれる前の工程に関する撮像画像を所定の格納場所に格納させる、情報処理システム。
(11)情報処理システムであって、動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、情報処理システム。
(12)上記(11)に記載の情報処理システムにおいて、前記静止画を前記料理の種類ごとにフォルダに分けて格納させる、情報処理システム。
(13)上記(11)に記載の情報処理システムにおいて、動画に基づいて前記所定の領域に料理が置かれたことを検知する、情報処理システム。
(14)上記(11)に記載の情報処理システムにおいて、前記静止画に基づいて前記料理の種類を識別する、情報処理システム。
(15)上記(11)に記載の情報処理装置において、前記所定の領域は、デシャップである、情報処理システム。
(16)情報処理システムが実行する情報処理方法であって、飲食店の所定の領域を含む撮像画像を画面に表示し、前記画面には、前記撮像画像に関するタイムラインが含まれ、前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される、情報処理方法。
(17)情報処理システムが実行する情報処理方法であって、動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、情報処理方法。
(18)プログラムであって、コンピュータを、上記(1)から(15)までの何れか1つに記載の情報処理システムとして機能させるためのプログラム。
もちろん、この限りではない。
例えば、上述したサーバー装置100の処理の一部、又は全てをクライアント装置110で実行するようにしてもよい。
また、上述した実施形態等において、サーバー装置100の所定の領域、又はフォルダへは所定の装置、例えばクライアント装置110、からアクセス可能に構成されているものとする。
また、画面はサーバー装置100が作成してもよいし、サーバー装置100からの情報等に基づきクライアント装置110が作成してもよい。
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
100 :サーバー装置
110 :クライアント装置
120 :撮像装置
130 :デシャップ
140 :料理
190 :ネットワーク
210 :制御部
220 :記憶部
230 :通信部
310 :制御部
320 :記憶部
330 :入力部
340 :出力部
350 :通信部
610 :レコード
620 :レコード
630 :レコード
710 :表示領域
720 :タイムライン
730 :再生位置表示オブジェクト
740 :フラグ
750 :日時情報
910 :撮像画像
940 :フォルダ
1000 :情報処理システム
1010 :フラグ
1020 :フラグ
1030 :フラグ
1110 :フラグ
1210 :撮像画像
1220 :フォルダ
1230 :撮像画像
1240 :撮像画像
1400 :画面
1410 :フラグ
1440 :テキスト入力領域
1450 :送信ボタン
1510 :表示領域
1520 :表示領域
1530 :表示領域
1540 :表示領域
1550 :表示領域
1590 :ボタン

Claims (13)

  1. 情報処理システムであって、
    飲食店の所定の領域を含む撮像画像を画面に表示し、
    前記画面には、前記撮像画像に関するタイムラインが含まれ、
    前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示され、
    前記オブジェクトは、前記料理の種類に応じて異なる態様で表示される、
    情報処理システム。
  2. 情報処理システムであって、
    飲食店の所定の領域を含む撮像画像を画面に表示し、
    前記画面には、前記撮像画像に関するタイムラインが含まれ、
    前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示され、
    前記撮像画像を前記料理の種類に応じて区別可能に格納させる、
    情報処理システム。
  3. 情報処理システムであって、
    飲食店の所定の領域を含む撮像画像を画面に表示し、
    前記画面には、前記撮像画像に関するタイムラインが含まれ、
    前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示され、
    前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記撮像画像と関連付けて、前記撮像画像に含まれる料理に関係する、前記料理が前記所定の領域に置かれる前の工程に関する撮像画像を所定の格納場所に格納させる、
    情報処理システム。
  4. 請求項1乃至請求項3の何れか1項に記載の情報処理システムにおいて、
    前記オブジェクトは、前記料理が置かれたタイミングを示す態様で表示される、
    情報処理システム。
  5. 請求項1乃至請求項3の何れか1項に記載の情報処理システムにおいて、
    前記撮像画像に基づいて前記所定の領域に料理が置かれたことを検知する、
    情報処理システム。
  6. 請求項に記載の情報処理システムにおいて、
    前記撮像画像に基づいて前記料理の種類を識別する、
    情報処理システム。
  7. 請求項1乃至請求項3の何れか1項に記載の情報処理装置において、
    前記所定の領域は、デシャップである、
    情報処理システム。
  8. 請求項1乃至請求項3の何れか1項に記載の情報処理システムにおいて、
    前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記タイムラインに関連付けて前記所定の領域に置かれた料理の質に問題がある可能性があることを示すオブジェクトが表示される、
    情報処理システム。
  9. 請求項1乃至請求項3の何れか1項に記載の情報処理システムにおいて、
    前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記撮像画像を所定の格納場所に格納させる、
    情報処理システム。
  10. 情報処理システムが実行する情報処理方法であって、
    飲食店の所定の領域を含む撮像画像を画面に表示し、
    前記画面には、前記撮像画像に関するタイムラインが含まれ、
    前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示され、
    前記オブジェクトは、前記料理の種類に応じて異なる態様で表示される、
    情報処理方法。
  11. 情報処理システムが実行する情報処理方法であって、
    飲食店の所定の領域を含む撮像画像を画面に表示し、
    前記画面には、前記撮像画像に関するタイムラインが含まれ、
    前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示され、
    前記撮像画像を前記料理の種類に応じて区別可能に格納させる、
    情報処理方法
  12. 情報処理システムが実行する情報処理方法であって、
    飲食店の所定の領域を含む撮像画像を画面に表示し、
    前記画面には、前記撮像画像に関するタイムラインが含まれ、
    前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示され、
    前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記撮像画像と関連付けて、前記撮像画像に含まれる料理に関係する、前記料理が前記所定の領域に置かれる前の工程に関する撮像画像を所定の格納場所に格納させる、
    情報処理方法
  13. プログラムであって、
    コンピュータを、
    請求項1から請求項3までの何れか1項に記載の情報処理システムとして機能させるためのプログラム。
JP2022159617A 2022-06-10 2022-10-03 情報処理システム、情報処理方法及びプログラム Active JP7227423B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023003379A JP7271803B1 (ja) 2022-06-10 2023-01-12 情報処理システム、情報処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022094759 2022-06-10
JP2022094759 2022-06-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023003379A Division JP7271803B1 (ja) 2022-06-10 2023-01-12 情報処理システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP7227423B1 true JP7227423B1 (ja) 2023-02-21
JP2023181050A JP2023181050A (ja) 2023-12-21

Family

ID=85252011

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022159617A Active JP7227423B1 (ja) 2022-06-10 2022-10-03 情報処理システム、情報処理方法及びプログラム
JP2023003379A Active JP7271803B1 (ja) 2022-06-10 2023-01-12 情報処理システム、情報処理方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023003379A Active JP7271803B1 (ja) 2022-06-10 2023-01-12 情報処理システム、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (2) JP7227423B1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213319A (ja) 2002-12-27 2004-07-29 Casio Comput Co Ltd 画像データ処理システム及び画像データ処理プログラム
JP2011076323A (ja) 2009-09-30 2011-04-14 Toshiba Tec Corp 注文管理装置、注文管理システム及び制御プログラム
CN108596233A (zh) 2018-04-16 2018-09-28 上海小蚁科技有限公司 菜品监测方法及装置、存储介质、终端
US20180284091A1 (en) 2017-03-29 2018-10-04 Ido LEVANON Apparatus and method for monitoring preparation of a food product
CN109919803A (zh) 2019-01-31 2019-06-21 秒针信息技术有限公司 一种菜品检测方法及装置
CN111178274A (zh) 2019-12-30 2020-05-19 秒针信息技术有限公司 信息提示方法和装置、计算机可读的存储介质及电子装置
CN111680603A (zh) 2020-05-28 2020-09-18 浙江师范大学 一种菜品检测和识别方法
CN112052810A (zh) 2020-09-11 2020-12-08 上海明略人工智能(集团)有限公司 一种菜品质量检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061383A (ja) * 2008-09-03 2010-03-18 Nikon Corp 自動レシピ作成装置およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213319A (ja) 2002-12-27 2004-07-29 Casio Comput Co Ltd 画像データ処理システム及び画像データ処理プログラム
JP2011076323A (ja) 2009-09-30 2011-04-14 Toshiba Tec Corp 注文管理装置、注文管理システム及び制御プログラム
US20180284091A1 (en) 2017-03-29 2018-10-04 Ido LEVANON Apparatus and method for monitoring preparation of a food product
CN108596233A (zh) 2018-04-16 2018-09-28 上海小蚁科技有限公司 菜品监测方法及装置、存储介质、终端
CN109919803A (zh) 2019-01-31 2019-06-21 秒针信息技术有限公司 一种菜品检测方法及装置
CN111178274A (zh) 2019-12-30 2020-05-19 秒针信息技术有限公司 信息提示方法和装置、计算机可读的存储介质及电子装置
CN111680603A (zh) 2020-05-28 2020-09-18 浙江师范大学 一种菜品检测和识别方法
CN112052810A (zh) 2020-09-11 2020-12-08 上海明略人工智能(集团)有限公司 一种菜品质量检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
店舗管理の効率化、スタッフ育成に貢献。 レッドロブスターのセーフィーカメラ活用構想とは?!,導入事例 [オンライン],2018年11月11日,[2022年11月28日検索],インターネット:<URL: https://safie.jp/casestudy/redlobster>

Also Published As

Publication number Publication date
JP7271803B1 (ja) 2023-05-11
JP2023181050A (ja) 2023-12-21
JP2023181067A (ja) 2023-12-21

Similar Documents

Publication Publication Date Title
US10467294B2 (en) Systems and methods of using a bitmap index to determine bicliques
US9462054B2 (en) Systems and methods for providing a user with a set of interactivity features locally on a user device
US9530072B2 (en) Duplicate/near duplicate detection and image registration
US9235333B2 (en) Indicating a content preference
US20170038924A1 (en) Graphical user interface indicating virtual storage of consumable items
JP2021182411A (ja) 制御方法、情報端末、プログラム、及び記録媒体
JP7227423B1 (ja) 情報処理システム、情報処理方法及びプログラム
US9354796B2 (en) Referral slider
WO2022113188A1 (ja) 情報処理装置
US20180089447A1 (en) System, method of controlling access right, and information processing apparatus
CN113014993A (zh) 图片显示方法、装置、设备及存储介质
WO2020217415A1 (ja) 情報処理装置
JP2020009114A (ja) 画像評価装置、システム、画像評価装置の制御方法およびプログラム
US12106419B1 (en) Live updates in a networked remote collaboration session
US11893675B1 (en) Processing updated sensor data for remote collaboration
TWI428772B (zh) 技術文獻資料之管理系統及其方法
JPWO2016009551A1 (ja) 情報処理装置、情報処理方法及びプログラム
US12112435B1 (en) Collaboration spaces in extended reality conference sessions
JP2010282503A (ja) 関連情報検索表示システム及び関連情報検索表示方法,プログラム
CN112269741B (zh) 应用程序兼容性测试方法及相关设备
JP7129383B2 (ja) 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体
CN108305097A (zh) 一种数据处理方法、设备及客户端
KR102272175B1 (ko) 쇼핑몰의 특성에 따른 설정값을 이용하여 설정값을 설정하기 위한 사용자 인터페이스를 조정하는 방법, 장치, 및 시스템
JP7214327B1 (ja) 情報処理システム、情報処理方法及びプログラム
US20240070119A1 (en) Information processing apparatus and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221004

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221012

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230209

R150 Certificate of patent or registration of utility model

Ref document number: 7227423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350