JP7151176B2 - 冷蔵庫 - Google Patents

冷蔵庫 Download PDF

Info

Publication number
JP7151176B2
JP7151176B2 JP2018103800A JP2018103800A JP7151176B2 JP 7151176 B2 JP7151176 B2 JP 7151176B2 JP 2018103800 A JP2018103800 A JP 2018103800A JP 2018103800 A JP2018103800 A JP 2018103800A JP 7151176 B2 JP7151176 B2 JP 7151176B2
Authority
JP
Japan
Prior art keywords
camera
refrigerator
photographing operation
door
compartment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018103800A
Other languages
English (en)
Other versions
JP2019207091A (ja
Inventor
聡司 峯澤
雅志 神谷
創 中居
勇太 小坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018103800A priority Critical patent/JP7151176B2/ja
Publication of JP2019207091A publication Critical patent/JP2019207091A/ja
Application granted granted Critical
Publication of JP7151176B2 publication Critical patent/JP7151176B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)

Description

この発明は、冷蔵庫に関するものである。
冷蔵庫内の画像を検知するカメラを備えた冷蔵庫において、移動範囲の上端から下端へ、予め定められた一定の速度でカメラを移動させながら撮影を行うものが知られている(例えば、特許文献1参照)。
特開2016-148503号公報
しかしながら、特許文献1に示されるような冷蔵庫においては、カメラが移動範囲の終端に至る前の撮影途中に冷蔵庫の扉が開閉された場合、冷蔵庫の貯蔵室内を適切に又は完全には撮影できない可能性がある。特に、カメラが冷蔵庫の扉の内側に設けられている場合、カメラの視野から冷蔵庫内が外れてしまう可能性が高い。また、カメラが冷蔵庫の扉の内側に設けられていない場合であっても、冷蔵庫内に食品等を出し入れする使用者の手等がカメラに映り込む可能性がある。さらに、冷蔵庫内を適切に又は完全に撮影できなかった場合、扉の開閉後に撮影をやり直す必要が生じ、カメラを移動させるモーター等の機構の動作時間が長くなり、これらの機構の寿命が短くなってしまう。
この発明は、このような課題を解決するためになされたものである。その目的は、カメラを移動させながら貯蔵室内を撮影可能な冷蔵庫であって、撮影の途中に冷蔵庫の扉が開閉されても、貯蔵室内を適切に又は完全に撮影でき、カメラの無駄な移動の発生を抑制可能である冷蔵庫を得ることにある。
この発明に係る冷蔵庫は、食品を収納する貯蔵室が形成された本体と、前記貯蔵室の一側を開閉する扉と、前記貯蔵室内の画像を撮影するカメラと、前記カメラを移動させるカメラ移動装置と、前記扉の開閉を検出する扉開閉検出手段と、前記カメラ移動装置及び前記カメラの動作を制御して、開始位置から終了位置まで前記カメラが移動しながら前記貯蔵室内の画像を撮影する撮影動作を行わせる制御手段と、を備え、前記制御手段は、前記撮影動作を行っていない時に前記扉が開いた後に閉じたことを前記扉開閉検出手段が検出した場合に、前記撮影動作を開始させ、前記撮影動作を行っている時に前記扉が開いたことを前記扉開閉検出手段が検出した場合に、前記撮影動作を中断させる。
この発明に係る冷蔵庫によれば、カメラを移動させながら貯蔵室内を撮影可能であり、撮影の途中に冷蔵庫の扉が開閉されても、貯蔵室内を適切に又は完全に撮影でき、カメラの無駄な移動の発生を抑制可能であるという効果を奏する。
この発明の実施の形態1に係る冷蔵庫を備えた冷蔵庫システムの構成を示すブロック図である。 この発明の実施の形態1に係る冷蔵庫の正面図である。 この発明の実施の形態1に係る冷蔵庫の縦断面図である。 この発明の実施の形態1に係る冷蔵庫のカメラ移動装置の斜視図である。 この発明の実施の形態1に係るカメラ移動装置の要部を透視して示す拡大斜視図である。 この発明の実施の形態1に係る冷蔵庫の制御系統の構成を示すブロック図である。 図6の制御装置の構成を示すブロック図である。 この発明の実施の形態1に係る冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。 この発明の実施の形態1に係る冷蔵庫システムが備える表示端末の構成を示すブロック図である。 この発明の実施の形態1に係る冷蔵庫の撮影開始及び中断の動作の一例を示すフロー図である。 この発明の実施の形態1に係る冷蔵庫の撮影再開時の動作の一例を示すフロー図である。 この発明の実施の形態2に係る冷蔵庫の制御装置の構成を示すブロック図である。 この発明の実施の形態2に係る冷蔵庫の撮影動作の一例を示すフロー図である。 この発明の実施の形態3に係る冷蔵庫の制御装置の構成を示すブロック図である。 この発明の実施の形態3に係る冷蔵庫の撮影動作の一例を示すフロー図である。
この発明を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。なお、本発明は以下の実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。
実施の形態1.
図1から図11は、この発明の実施の形態1に係るものである。図1は冷蔵庫を備えた冷蔵庫システムの構成を示すブロック図である。図2は冷蔵庫の正面図である。図3は冷蔵庫の縦断面図である。図4は冷蔵庫のカメラ移動装置の斜視図である。図5はカメラ移動装置の要部を透視して示す拡大斜視図である。図6は冷蔵庫の制御系統の構成を示すブロック図である。図7は図6の制御装置の構成を示すブロック図である。図8は冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。図9は冷蔵庫システムが備える表示端末の構成を示すブロック図である。図10は冷蔵庫の撮影開始及び中断の動作の一例を示すフロー図である。そして、図11は冷蔵庫の撮影再開時の動作の一例を示すフロー図である。
なお、各図では各構成部材の寸法の関係や形状等が実際のものとは異なる場合がある。また、明細書中における各構成部材同士の位置関係(例えば、上下関係等)は、原則として、冷蔵庫を使用可能な状態に設置したときのものである。
図1に示すように、この発明の実施の形態1に係る冷蔵庫100を備えた冷蔵庫システムは、冷蔵庫100と、サーバ装置200と、端末装置300とを備えている。冷蔵庫100とサーバ装置200とは、相互に通信可能に接続されている。端末装置300とサーバ装置200とは、相互に通信可能に接続されている。したがって、冷蔵庫100と端末装置300とは、サーバ装置200を介して相互に通信可能に接続されている。なお、冷蔵庫100と端末装置300とを、サーバ装置200を介さず直接的に相互に通信可能に接続してもよい。
冷蔵庫100は、例えば、冷蔵庫100の使用者の家宅内に設置される。サーバ装置200は、例えば、使用者の家宅内に設置されるコンピュータ等である。サーバ装置200は、使用者の家宅外に設置されていてもよい。端末装置300は、例えば、使用者の家宅内に設置されるパソコン(パーソナル・コンピュータ)等である。他に例えば、端末装置300は、スマートフォン又はタブレット端末等の携帯端末でもよい。
サーバ装置200と通信可能に接続される冷蔵庫100の数は、1つに限られず複数であってもよい。同様に、サーバ装置200と通信可能に接続される端末装置300の数は、1つに限られず複数であってもよい。また、サーバ装置200は、複数のサーバ(サーバ群)からなるクラウドサーバであってもよい。
まず、図2から図6を参照しながら、この発明の実施の形態1に係る冷蔵庫100の構成について説明する。冷蔵庫100の本体は、図3に示すように断熱箱体1を有している。断熱箱体1は、前面(正面)が開口されて内部に貯蔵空間が形成されている。断熱箱体1は、外箱、内箱及び断熱材を有している。外箱は鋼鉄製である。内箱は樹脂製である。内箱は外箱の内側に配置される。断熱材は、例えば発泡ウレタン等であり、外箱と内箱との間の空間に充填されている。断熱箱体1の内部に形成された貯蔵空間は、1つ又は複数の仕切り部材により、食品を収納保存する複数の貯蔵室に区画されている。
図2及び図3に示すように、ここでは、冷蔵庫100の本体は、複数の貯蔵室として、例えば、冷蔵室10、切替室20、製氷室30、冷凍室40及び野菜室50を備えている。これらの貯蔵室は、断熱箱体1において上下方向に4段構成となって配置されている。
冷蔵室10は、断熱箱体1の最上段に配置されている。切替室20は冷蔵室10の下方における左右の一側に配置されている。切替室20の保冷温度帯は、複数の温度帯のうちのいずれかを選択して切り替えることができる。切替室20の保冷温度帯として選択可能な複数の温度帯は、例えば、冷凍温度帯(例えば-18℃程度)、冷蔵温度帯(例えば3℃程度)、チルド温度帯(例えば0℃程度)及びソフト冷凍温度帯(例えば-7℃程度)等である。製氷室30は、切替室20の側方に隣接して切替室20と並列に、すなわち、冷蔵室10の下方における左右の他側に配置されている。
冷凍室40は、切替室20及び製氷室30の下方に配置されている。冷凍室40は、主に貯蔵対象を比較的長期にわたって冷凍保存する際に用いるためのものである。野菜室50は、冷凍室40の下方の最下段に配置されている。野菜室50は、主に野菜や容量の大きな(例えば2L等)の大型ペットボトル等を収納するためのものである。
冷蔵室10の前面に形成された開口部には、当該開口部を開閉する回転式の冷蔵室扉7が設けられている。ここでは、冷蔵室扉7は両開き式(観音開き式)であり、右扉7a及び左扉7bにより構成されている。冷蔵室扉7は、貯蔵室である冷蔵室10の一側を開閉する扉である。冷蔵庫100の前面の冷蔵室扉7(例えば、右扉7a)の外側表面には、操作パネル6が設けられている。
冷蔵室10以外の各貯蔵室(切替室20、製氷室30、冷凍室40及び野菜室50)は、それぞれ引き出し式の扉によって開閉される。これらの引き出し式の扉は、扉に固定して設けられたフレームを各貯蔵室の左右の内壁面に水平に形成されたレールに対してスライドさせることにより、冷蔵庫100の奥行方向(前後方向)に開閉できるようになっている。
図2に示すように、冷蔵室10は、前面側(同図に向かって左側)を冷蔵室扉7によって塞がれている。なお、図3に示す断面図は、図2中の断面A-A’によるものである。冷蔵室10の内部には、1以上の冷蔵室棚板11が設けられている。ここでは、冷蔵室棚板11が複数設けられている場合を例に挙げている。冷蔵室10の内部は、これらの冷蔵室棚板11によって、上下方向に複数の空間(棚)に仕切られている。冷蔵室棚板11の上には、食品が載置される。
それぞれの冷蔵室棚板11は、棚板支持部12によって、冷蔵室10内の予め定められた位置で支持されている。棚板支持部12は、冷蔵室10の側壁内面から冷蔵室10の内側に突出して形成されている。なお、1つの冷蔵室棚板11の上下位置を変更できるように棚板支持部12を構成してもよい。
最下段の冷蔵室棚板11の下側の空間は、チルド室14である。チルド室14の内部には、チルドケース15が設置されている。チルドケース15は、レール等の案内部材(図示せず)に沿って、前方へ引き出すことができる。また、冷蔵室扉7の内側の面には、ドアポケット13が設けられている。このドアポケット13にも食品を載置、収納することができる。
冷蔵室扉7の内側の面には、カメラ9が設置されている。カメラ9は、冷蔵室扉7の側から貯蔵室(ここでは冷蔵室10)の内部の画像を撮影し、貯蔵室画像として出力する。この実施の形態に係る冷蔵庫100は、カメラ移動装置90を備えている。カメラ移動装置90は、カメラ9を上下方向に移動させる装置である。カメラ移動装置90は、例えば、冷蔵室扉7の内側の面に設けられている。
カメラ移動装置90は、カメラ9を可動範囲内で上下方向に移動させる。可動範囲は、予め設定された範囲である。ここでは、可動範囲の上端は、冷蔵室10内の上端部である。また、可動範囲の下端は、最も下にあるドアポケット13の直上の位置である。
次に、図3及び図4を参照しながら、カメラ移動装置90の構成について説明する。カメラ移動装置90は、ステッピングモータ91、ウォームギヤ92、ピニオン93、ラック94、ガイド部95及びカメラ支持部98を備えている。カメラ9は、カメラ支持部98に固定されている。ガイド部95は、冷蔵室扉7に固定されている。カメラ支持部98は、ガイド部95に対して移動可能である。ガイド部95は、少なくとも前述した可動範囲にわたって上下方向に沿って配置されている。ガイド部95は、前述した可動範囲にわたるカメラ9及びカメラ支持部98の移動を案内する。
図4に示すように、カメラ支持部98には、ステッピングモータ91、ウォームギヤ92及びピニオン93が取り付けられている。ガイド部95には、ラック94が取り付けられている。ラック94は、前述した可動範囲にわたって上下方向に沿って配置されている。
ステッピングモータ91は、カメラ9の移動を駆動する。ステッピングモータ91の駆動軸には、ウォームギヤ92が固定されている。ピニオン93は、大ギヤと小ギヤとが一体に構成されている。ピニオン93の大ギヤと小ギヤとは回転軸が同一となるように固定されている。ピニオン93の大ギヤは、ウォームギヤ92と噛み合っている。ピニオン93の小ギヤは、ラック94と噛み合っている。
ステッピングモータ91によりウォームギヤ92を回転させると、ピニオン93が回転する。ラック94と噛み合った状態のピニオン93が回転することで、ピニオン93の回転軸がラック94に沿って直線状に移動する。ピニオン93の回転軸は、カメラ支持部98に回転可能に支持されている。したがって、このようなラック・アンド・ピニオン機構により、カメラ移動装置90は、ステッピングモータ91の回転運動をガイド部95に対するカメラ支持部98の直線運転に変換し、冷蔵室扉7に対してカメラ9を上下方向に移動させる。
図3に示すように、冷蔵庫100は、制御装置8を備えている。制御装置8は、例えば、冷蔵庫100の背面側の上部に収容されている。制御装置8には、冷蔵庫100の動作に必要な各種の制御を実施するための制御回路等が備えられている。
次に、図6を参照しながら、冷蔵庫100の制御系統の構成を説明する。制御装置8は、例えばマイクロコンピュータを備えており、プロセッサ8a及びメモリ8bを備えている。制御装置8は、メモリ8bに記憶されたプログラムをプロセッサ8aが実行することにより、予め設定された処理を実行し、冷蔵庫100を制御する。
冷蔵庫100は、各貯蔵室へ供給する空気を冷却する冷凍サイクル回路を備えている。冷凍サイクル回路は、圧縮機2と、いずれも図示しない凝縮器、絞り装置及び冷却器等とによって構成されている。圧縮機2は、冷凍サイクル回路内の冷媒を圧縮し吐出する。凝縮器は、圧縮機2から吐出された冷媒を凝縮させる。絞り装置は、凝縮器から流出した冷媒を膨張させる。冷却器は、絞り装置で膨張した冷媒によって各貯蔵室へ供給する空気を冷却する。圧縮機2は、例えば、冷蔵庫100の背面側の下部に配置される。
冷蔵庫100には、冷凍サイクル回路によって冷却された空気を各貯蔵室へ供給するための図示しない風路が形成されている。この風路は、主に冷蔵庫100内の背面側に配置されている。冷凍サイクル回路の冷却器は、この風路内に設置される。また、風路内には、冷却器で冷却された空気を各貯蔵室へ送るための送風ファン4も設置されている。
送風ファン4が動作すると、冷却器で冷却された空気(冷気)が風路を通って冷凍室40、切替室20、製氷室30及び冷蔵室10へと送られ、これらの貯蔵室内を冷却する。野菜室50は、冷蔵室10からの戻り冷気を冷蔵室用帰還風路を介して野菜室50内に導入することで冷却される。野菜室50を冷却した冷気は、野菜室用帰還風路を通って冷却器のある風路内へと戻される(これらの帰還風路は図示していない)。そして、冷却器によって再度冷却されて、冷蔵庫100内を冷気が循環される。
風路からそれぞれの貯蔵室へと通じる中途の箇所には、図示しないダンパが設けられている。各ダンパは、風路の各貯蔵室へと通じる箇所を開閉する。ダンパの開閉状態を変化させることで、各貯蔵室へと供給する冷気の送風量を調節することができる。また、冷気の温度は圧縮機2の運転を制御することで調節することができる。
以上のようにして設けられた圧縮機2及び冷却器からなる冷凍サイクル回路、送風ファン4、風路及びダンパは、貯蔵室の内部を冷却する冷却手段を構成している。
操作パネル6は、操作部6a、表示部6b及びスピーカ6cを備えている。操作部6aは、各貯蔵室の保冷温度及び冷蔵庫100の動作モード(解凍モード等)を設定するための操作スイッチである。表示部6bは、各貯蔵室の温度等の各種情報を表示する液晶ディスプレイである。また、操作パネル6は、操作部6aと表示部6bを兼ねるタッチパネルを備えていてもよい。スピーカ6cは、冷蔵庫100の周囲、特に冷蔵室扉7の前に立つ使用者に対して、音声を鳴らすための音声出力装置である。
冷蔵庫100は、サーミスタ81及び扉開閉検知スイッチ82を備えている。サーミスタ81は、各貯蔵室内の温度を検出する。サーミスタ81は、それぞれの貯蔵室に設置される。扉開閉検知スイッチ82は、貯蔵室の扉の開閉を検知する開閉検知手段である。扉開閉検知スイッチ82は、例えば、冷蔵室10の冷蔵室扉7の開閉を検知する。扉開閉検知スイッチ82は、例えば、一般的なマグネット方式のスイッチである。すなわち、扉開閉検知スイッチ82は、例えば、冷蔵室扉7に埋め込まれた磁石の近接を、冷蔵庫100本体側に設置された一対のリードスイッチによって検出する。
制御装置8には、サーミスタ81から各貯蔵室の内部の温度の検知信号が入力される。また、制御装置8には、操作パネル6の操作部6aからの操作信号も入力される。さらに、制御装置8には、扉開閉検知スイッチ82からの検知信号も入力される。
制御装置8は、入力された信号に基づいて、各貯蔵室の内部が設定された温度に維持されるように、圧縮機2及び送風ファン4等の動作を制御する処理を実行する。すなわち、制御装置8は前述した冷却手段等を制御して、冷蔵庫100の動作を制御する。また、制御装置8は、カメラ9の撮影動作及びカメラ移動装置90によるカメラ9の移動についても制御する。カメラ9が撮影した画像データは、制御装置8に入力される。
次に、図6に加えて図7から図9も参照して、以上のように構成された冷蔵庫100を備えた冷蔵庫システムの構成について説明する。前述したように、冷蔵庫システムは、冷蔵庫100、サーバ装置200及び端末装置300を備えている。図7に示すように、冷蔵庫100の制御装置8は、カメラ制御部101、扉開閉検出部102、撮影中断部103、画像アップロード部104及び冷蔵庫通信部110を備えている。また、図8に示すように、サーバ装置200は、画像保存部201及びサーバ通信部210を備えている。そして、図9に示すように、端末装置300は、画面表示部301及び端末通信部310を備えている。
冷蔵庫通信部110は、冷蔵庫100とサーバ装置200との間で、データを双方向に通信するためのものである。また、端末通信部310は、端末装置300とサーバ装置200との間で、データを双方向に通信するためのものである。そして、サーバ通信部210は、サーバ装置200と冷蔵庫100との間、及び、サーバ装置200と端末装置300との間のそれぞれで、データを双方向に通信するためのものである。
冷蔵庫100の制御装置8が備えるカメラ制御部101は、カメラ9とカメラ移動装置90の動作を制御する。カメラ制御部101は、例えば、冷蔵室扉7が開閉された時にカメラ9に冷蔵室10内を撮影させる。冷蔵室扉7が開閉されると、冷蔵室10内の食品が出し入れされ、冷蔵室10内の収納状態が変化する可能性があるためである。
扉開閉検出部102は、扉開閉検知スイッチ82から出力された信号に基づいて、冷蔵室扉7の開閉を検出する。扉開閉検出部102は、閉じていた冷蔵室扉7が開かれたこと、及び、開いていた冷蔵室扉7が閉じられたことを検出可能である。このようにして、扉開閉検知スイッチ82及び扉開閉検出部102は、冷蔵室扉7の開閉を検出する扉開閉検出手段を構成している。カメラ制御部101は、例えば、開かれていた冷蔵室扉7が閉じられたことを扉開閉検出部102が検知した後、冷蔵室10内が照明されている間にカメラ9に撮影を行わせる。
カメラ制御部101は、カメラ9による冷蔵室10内の撮影を、カメラ移動装置90によるカメラ9の移動と連係して行わせる。次に、カメラ9とカメラ移動装置90とが連係した撮影動作について説明する。ここでいう「撮影動作」とは、開始位置から終了位置までカメラ9が移動しながら冷蔵室10内の画像を撮影する動作である。この撮影動作において、カメラ移動装置90は、開始位置から終了位置までカメラ9を移動させる。開始位置は、例えば前述の可動範囲の一端である。終了位置は、例えば前述の可動範囲の他端である。
具体例を挙げると、開始位置を前述の可動範囲の上端とする。そして、終了位置を前述の可動範囲の下端とする。この例では、撮影動作において、カメラ移動装置90は、カメラ9を前述の可動範囲の上端から下端までカメラ9を下方向に移動させる。そして、カメラ9は、この移動中において特定の位置を通過する時に撮影を行う。または、カメラ移動装置90は、特定の位置でカメラ9を停止させ、この停止中にカメラ9が撮影を行うようにしてもよい。カメラ9が撮影を行う特定の位置は、1回の撮影動作により冷蔵室10内の全体が撮影できるように設定される。このような特定の位置は、例えば隣合う冷蔵室棚板11同士の間である。
なお、カメラ9の移動方向は、以上で説明した下方向に限られない。すなわち、カメラ制御部101は、カメラ移動装置90によりカメラ9を前述の可動範囲の下端から上端までカメラ9を上方向に移動させながら、カメラ9による撮影を行ってもよい。この場合には、開始位置を前述の可動範囲の下端とし、終了位置を前述の可動範囲の上端とする。
カメラ9の移動量はステッピングモータ91の回転量に比例する。そして、ステッピングモータ91の回転量は、ステップ数を用いて制御することができる。この実施の形態では、カメラ制御部101は、カメラ移動装置90のステッピングモータ91のステップ数を用いてカメラ9の移動量を制御している。すなわち、カメラ制御部101は、カメラ9による撮影を行う特定の位置を、ステッピングモータ91のステップ数を計数することで特定できる。
以上のようにして構成された制御装置8は、カメラ移動装置90及びカメラ9の動作を制御して、前述の撮影動作を行わせる制御手段を構成している。この制御手段である制御装置8による前述した撮影動作の開始、中断及び再開について次に説明する。まず、制御装置8のカメラ制御部101は、前述の撮影動作を行っていない時に冷蔵室扉7が開いてから閉じたことを前述の扉開閉検出手段が検出した場合に、撮影動作を開始させる。また、制御装置8の撮影中断部103は、前述の撮影動作を行っている時に冷蔵室扉7が開いたことを前述の扉開閉検出手段が検出した場合に、撮影動作を中断させる。
そして、カメラ制御部101は、前述した撮影動作の中断中に冷蔵室扉7が閉じたことを前述の扉開閉検出手段が検出した場合に、撮影動作を再開させる。この際、撮影動作の再開前にカメラ制御部101は、カメラ移動装置90によりカメラ9を前述の開始位置に戻させる。すなわち、カメラ移動装置90は、撮影動作の再開前にカメラ9を前述の開始位置に戻す。そして、カメラ制御部101は、前述の開始位置からカメラ9による撮影を再開させる。前述の撮影動作中に冷蔵室扉7が開かれて撮影動作を中断した場合、この中断前後で冷蔵室10内に食品が出し入れされた可能性がある。そこで、カメラ9を前述の開始位置に戻してから撮影動作を再開することで、最新の冷蔵室10内の状況をカメラ9で撮影できる。
ここで、この実施の形態に係る冷蔵庫100では、前述した撮影動作が中断中であるか否かを例えば撮影中断フラグを用いて管理している。撮影中断フラグは、例えば、制御装置8のメモリ8bに変数として保持される。撮影動作が中断中でない場合、メモリ8bの撮影中断フラグを示す変数に例えば0の値をセットする。そして、撮影中断部103は、撮影動作を中断する際に、メモリ8bの撮影中断フラグを示す変数に例えば1の値をセットする。この撮影中断フラグを示す変数に1の値がセットされた状態を、以降の説明では「撮影中断フラグが立つ」と表現することがある。また、カメラ制御部101は、中断していた撮影動作を再開する際に、メモリ8bの撮影中断フラグを示す変数を0に戻す。
冷蔵庫通信部110は、カメラ9が撮影した冷蔵室10内の画像を画像データとしてサーバ装置200へと送信する。サーバ装置200のサーバ通信部210は、冷蔵庫100から送信された画像データを受信する。画像保存部201は、サーバ通信部210が受信した画像データを記憶して保存する。
また、サーバ通信部210は、例えば端末装置300からの要求に応じて、画像保存部201に記憶されている画像データを、端末装置300へと送信する。端末装置300の端末通信部310は、サーバ装置200から送信された画像データを受信する。端末装置300の画面表示部301は、各種内容の画面を表示可能な表示装置である。画面表示部301は、例えば液晶ディスプレイ等である。端末装置300は、端末通信部310が受信した画像データを画面表示部301に表示できる。
次に、図10及び図11を参照しながら、以上のように構成された冷蔵庫100の主要な動作の例について説明する。まず、図10に示すのは、冷蔵庫100の撮影開始及び中断の動作の一例である。
ステップS11において、前述の撮影動作を行っていない時に冷蔵室扉7が開いた後に閉じたことを扉開閉検出部102が検出すると、処理はステップS12へと進む。ステップS12においては、庫内撮影を開始する。すなわち、カメラ制御部101は、カメラ9及びカメラ移動装置90の動作を制御して、前述した撮影動作を開始させる。ステップS12の後、処理はステップS13へと進む。
ステップS13において、冷蔵室扉7が開かれると、撮影動作を行っている時に冷蔵室扉7が開いたことを扉開閉検出部102が検出する。したがって、処理はステップS14へと進み、庫内撮影を中断する。すなわち、撮影中断部103は、ステップS12で開始した撮影動作を中断する。この際、撮影中断部103は、撮影中断フラグを示す変数に1の値をセットする。ステップS14の処理が完了すれば、一連の動作は終了となる。
次に、図11に示すのは、冷蔵庫100の撮影再開の動作の一例である。ステップS21において、冷蔵室扉7が閉じたことを扉開閉検出部102が検出すると、処理はステップS22へと進む。ステップS22においては、カメラ制御部101は、冷蔵室扉7が開く前は庫内撮影中であったか否かを確認する。すなわち、カメラ制御部101は、前述した撮影動作が中断中であるか否かを確認する。この確認においては、カメラ制御部101は、撮影中断フラグを示す変数の値を確認する。そして、この変数の値が0であれば、撮影動作は中断中でないと判断する。一方、この変数の値が1であれば、撮影動作は中断中であると判断する。前述した撮影動作が中断中でなければ、一連の動作は終了とする。一方、撮影動作が中断中の場合、処理はステップS23へと進む。
ステップS23においては、カメラ移動装置90は、カメラ9を前述した開始位置へと戻す。そして、処理はステップS24へと進み、カメラ制御部101は、撮影動作を再開させる。この際、カメラ制御部101は、撮影中断フラグを示す変数の値を0にリセットする。ステップS24の処理が完了すれば、一連の動作は終了となる。
以上のように構成された冷蔵庫によれば、カメラを移動させながら貯蔵室内を撮影可能である。そして、撮影動作の途中に冷蔵庫の扉が開閉されても、撮影動作を中断、再開することで、貯蔵室内を適切に又は完全に撮影できる。さらに、扉の開閉後に撮影をやり直す必要が生じないため、カメラの無駄な移動の発生を抑制できる。したがって、カメラを移動させるモーター等の機構の動作時間が長くなることを抑制でき、これらの機構の長寿命化を図ることが可能である。
なお、撮影動作の開始又は再開は、冷蔵室扉が閉じたことを扉開閉検出部が検出した後、予め設定した一定時間が経過してから行うようにしてもよい。買い物等の後に冷蔵庫に食品を収納する場合、一定の時間内に何度も冷蔵室扉が開閉されることがある。冷蔵室扉が閉じたことを扉開閉検出部が検出した後、予め設定した一定時間が経過してから撮影動作を開始又は再開することで、このような場合に撮影動作が何度も中断されてしまうことを抑制できる。
実施の形態2.
図12及び図13は、この発明の実施の形態2に係るものである。図12は冷蔵庫の制御装置の構成を示すブロック図である。そして、図13は冷蔵庫の撮影動作の一例を示すフロー図である。
ここで説明する実施の形態2は、前述した実施の形態1の構成において、貯蔵室内における食品収納状態の変化の有無を検出し、撮影動作の中断前後での食品収納状態の変化の有無に応じて、撮影動作再開時のカメラの位置を変えるようにしたものである。以下、この実施の形態2に係る冷蔵庫について、実施の形態1との相違点を中心に説明する。説明を省略した他の構成については実施の形態1と基本的に同様である。
この実施の形態に係る冷蔵庫100においては、図12に示すように、冷蔵庫100の制御装置8には、庫内変化検出部105及びカメラ位置判定部106が設けられている。庫内変化検出部105は、前述した貯蔵室である冷蔵室10内における食品収納状態の変化の有無を検出する収納変化検出手段である。庫内変化検出部105は、例えば、前述した撮影動作の中断前後においてカメラ9が撮影した画像を比較し、撮影動作の中断前後で食品収納状態の変化があるか否かを検出する。
他に例えば、それぞれの冷蔵室棚板11に重量センサを設置し、庫内変化検出部105は、重量センサの検出結果に基づいて食品収納状態の変化の有無を検出してもよい。また、重量センサの他に、赤外線センサ、距離センサ等を用いても、食品収納状態の変化の有無を検出できる。
前述した撮影動作の中断前後で食品収納状態の変化があることを庫内変化検出部105が検出した場合、カメラ制御部101は、カメラ移動装置90により撮影動作の再開前にカメラ9を前述の開始位置に戻させる。すなわち、カメラ移動装置90は、撮影動作の中断前後で食品収納状態の変化があることを庫内変化検出部105が検出した場合、撮影動作の再開前にカメラ9を前述の開始位置に戻す。そして、カメラ制御部101は、前述の開始位置からカメラ9による撮影を再開させる。
一方、前述した撮影動作の中断前後で食品収納状態の変化がないことを庫内変化検出部105が検出した場合、カメラ制御部101は、カメラ移動装置90により撮影動作の中断時の位置からカメラ9の移動を再開させる。すなわち、カメラ移動装置90は、撮影動作の中断前後で食品収納状態の変化がないことを庫内変化検出部105が検出した場合、撮影動作の中断時の位置からカメラ9の移動を再開させる。
なお、カメラ移動装置90は、前述した撮影動作の再開前に、カメラ9を前述の開始位置及び終了位置のうちのいずれか近い方に移動させるようにしてもよい。カメラ9を終了位置に移動させた場合、撮影動作を再開する際に、カメラ制御部101は、終了位置と開始位置とを交換する。すなわち、撮影動作の再開後は、撮影動作の中断前の終了位置から中断前の開始位置へとカメラ移動装置90によりカメラ9を移動させながら、撮影を行う。
このため、カメラ位置判定部106は、撮影動作が中断された時のカメラ9の位置が、前述の開始位置及び終了位置のうちのいずれに近いのかを判定する。そして、撮影動作の再開前に、カメラ移動装置90は、前述の開始位置及び終了位置のうちでカメラ位置判定部106により中断時のカメラ9の位置に最も近いと判定された方に移動させる。
次に、図13を参照しながら、冷蔵庫100の撮影動作の一例を説明する。まず、ステップS31において、制御装置8は、冷蔵室扉7が閉じたことを扉開閉検出部102が検出したか否かを確認する。冷蔵室扉7が閉じたことを扉開閉検出部102が検出しない場合、撮影は行われず一連の動作は終了となる。一方、冷蔵室扉7が閉じたことを扉開閉検出部102が検出した場合、処理はステップS32へと進む。
ステップS32においては、カメラ制御部101は、撮影中断フラグが立っているか否か、すなわち、撮影中断フラグを示す変数に1がセットされているか否かを確認する。撮影中断フラグが立っている場合、処理はステップS33へと進む。
ステップS33においては、カメラ制御部101は、カメラ9に現在の位置から冷蔵室10内を撮影させる。続くステップS34において、庫内変化検出部105は、ステップS33で撮影した現在の画像と前回の画像すなわち撮影動作の中断前に撮影された画像とを比較する。そして、庫内変化検出部105は、現在の画像と前回の画像とで変化があるか否かを確認する。現在の画像と前回の画像とで変化がある場合、すなわち、撮影動作の中断前後で食品収納状態に変化がある場合、処理はステップS35へと進む。
ステップS35においては、カメラ移動装置90は、最寄りの終端にカメラ9を移動させる。すなわち、まず、カメラ位置判定部106は、現在のカメラ9の位置が、前述の開始位置及び終了位置のうちのいずれに近いのかを判定する。そして、カメラ移動装置90は、前述の開始位置及び終了位置のうちでカメラ位置判定部106により現在のカメラ9の位置に最も近いと判定された方に移動させる。ステップS35の後、処理はステップS36へと進む。
一方、ステップS32で、撮影中断フラグが立っていない場合、処理はステップS32からステップS36へと進む。また、ステップS34で、現在の画像と前回の画像とで変化がない場合、すなわち、撮影動作の中断前後で食品収納状態に変化がない場合、処理はステップS34からステップS36へと進む。
ステップS36においては、カメラ制御部101は、カメラ移動装置90によりカメラ9を移動させつつ、カメラ9による冷蔵室10の内部の撮影を開始(又は再開)させる。ステップS36の後、処理はステップS37へと進む。ステップS37においては、制御装置8は、ステップS36で開始(又は再開)した撮影動作中に、冷蔵室扉7が開閉したことを扉開閉検出部102が検出したか否かを確認する。撮影動作中に冷蔵室扉7の開閉を扉開閉検出部102が検出した場合、処理はステップS38へと進む。
ステップS38においては、撮影中断部103は、撮影動作を中断させカメラ9を停止させる。この際、撮影中断部103は、撮影中断フラグを示す変数に1の値をセットする。ステップS38の処理が完了すれば、一連の動作は終了となる。
一方、ステップS37で撮影動作中に冷蔵室扉7の開閉を扉開閉検出部102が検出しない場合、処理はステップS39へと進む。ステップS39においては、カメラ制御部101は、カメラ移動装置90によりカメラ9を前述の終了位置にまで移動させ、撮影動作を終了させる。なお、終了位置は、ステップS35でのカメラ位置判定部106の判定結果に応じて変化する。ステップS39の後、処理はステップS40へと進む。ステップS40においては、カメラ制御部101は、撮影中断フラグを示す変数に0の値をリセットする。ステップS40の処理が完了すれば、一連の動作は終了となる。
以上のように構成された冷蔵庫においても、実施の形態1と同様の効果を奏することができる。さらに、撮影動作の中断前後での食品収納状態の変化の有無に応じて、撮影動作再開時のカメラの位置を変えるようにすることで、撮影動作の中断前後で食品収納状態の変化がなかった場合に、無駄にカメラを移動させることがないため、カメラ移動機構のさらなる長寿命化を図ることができる。また、撮影動作の中断前後で食品収納状態の変化があった場合に、カメラを移動可能範囲の端部のいずれか近い方に移動させてから撮影動作を再開することで、さらにカメラの移動距離を短縮できる。
なお、庫内変化検出部105は、前述した撮影動作の中断時だけでなく、撮影動作が終了する毎にカメラ9が撮影した冷蔵室10内の画像について、前回の撮影時から変化があったか否かを判定するようにしてもよい。この場合、制御装置8のメモリ8bには、少なくとも前回にカメラ9が撮影した冷蔵室10内の画像が保持される。庫内変化検出部105は、前回の画像と、今回カメラ9が撮影した画像とを比較し、前回の撮影時から変化があったか否かを判定する。そして、画像アップロード部104は、前回の撮影時からカメラ9が撮影した画像が変化したことを庫内変化検出部105が検出した場合に、今回カメラ9が撮影した画像をサーバ装置200にアップロードする。このようにすることで、貯蔵室内の画像を冷蔵庫の外部に送信する際の通信負荷の軽減を図ることが可能である。
実施の形態3.
図14及び図15は、この発明の実施の形態3に係るものである。図14は冷蔵庫の制御装置の構成を示すブロック図である。そして、図15は冷蔵庫の撮影動作の一例を示すフロー図である。
ここで説明する実施の形態3は、前述した実施の形態1又は実施の形態2の構成において、撮影動作の中断前後で食品収納状態が変化した箇所を特定し、撮影動作の再開後には、食品収納状態が変化した箇所を撮影するようにしたものである。以下、この実施の形態3に係る冷蔵庫について、実施の形態2の構成を元にした場合を例に挙げ、実施の形態2との相違点を中心に説明する。説明を省略した構成については実施の形態1又は実施の形態2と基本的に同様である。
この実施の形態に係る冷蔵庫100においては、図14に示すように、冷蔵庫100の制御装置8には、庫内変化位置判定部107が設けられている。庫内変化位置判定部107は、庫内変化検出部105により冷蔵室10内における食品収納状態の変化があることが検出された場合に、食品収納状態が変化した位置を判定する。庫内変化検出部105及び庫内変化位置判定部107は、貯蔵室である冷蔵室10内において食品収納状態が変化した位置を検出する収納変化検出手段を構成している。庫内変化位置判定部107は、例えば、前述した撮影動作の中断前後においてカメラ9が撮影した画像を比較して、食品収納状態が変化した位置を判定する。
他に例えば、それぞれの冷蔵室棚板11に重量センサを設置し、庫内変化位置判定部107は、それぞれの重量センサの検出結果に基づいて食品収納状態が変化した位置を検出してもよい。また、重量センサの他に、赤外線センサ、距離センサ等を用いても、食品収納状態が変化した位置を検出できる。
前述した撮影動作の中断前後で食品収納状態の変化があることを庫内変化検出部105が検出した場合、カメラ制御部101は、庫内変化位置判定部107により判定された、食品収納状態が変化した位置に応じて、前述した撮影動作の再開後のカメラ9の移動経路を設定する。このカメラ9の移動経路は、少なくとも食品収納状態が変化した位置がカメラ9により最短の移動距離で撮影できるように設定される。例えば、カメラ制御部101は、食品収納状態が変化した位置と、撮影動作の中断前には撮影していない箇所とを含むように、撮影動作再開後のカメラ9の移動経路を設定する。そして、カメラ制御部101は、この設定したカメラ9の移動経路に従って、カメラ9による撮影を再開させる。
次に、図15を参照しながら、冷蔵庫100の撮影動作の一例を説明する。まず、ステップS51において、冷蔵室扉7が閉じたことを扉開閉検出部102が検出すると、処理はステップS52へと進む。ステップS52においては、まず、庫内変化検出部105は、冷蔵室10内における食品収納状態の変化の有無を検出する。そして、食品収納状態に変化があることが検出された場合、庫内変化位置判定部107は、食品収納状態が変化した位置を特定する。ステップS52の後、処理はステップS53へと進む。
ステップS53においては、カメラ制御部101は、庫内変化位置判定部107により判定された、食品収納状態が変化した位置に応じて、カメラ9の移動経路を設定する。この移動経路は、前述したように、食品収納状態が変化した位置がカメラ9により最短の移動距離で撮影できるように設定される。ステップS53の後、処理はステップS54へと進む。
ステップS54においては、カメラ制御部101は、ステップS53で設定したカメラ9の移動経路に従って、カメラ9による撮影を開始させる。ステップS54の処理が完了すれば、一連の動作は終了となる。
以上のように構成された冷蔵庫においても、実施の形態1又は実施の形態2と同様の効果を奏することができる。さらに、冷蔵室扉の開閉後に、食品収納状態が変化した箇所を撮影するようにすることで、カメラを移動距離を、より短縮することができ、カメラ移動機構のさらなる長寿命化を図ることができる。
1 断熱箱体
2 圧縮機
4 送風ファン
6 操作パネル
6a 操作部
6b 表示部
6c スピーカ
7 冷蔵室扉
7a 右扉
7b 左扉
8 制御装置
8a プロセッサ
8b メモリ
9 カメラ
10 冷蔵室
11 冷蔵室棚板
12 棚板支持部
13 ドアポケット
14 チルド室
15 チルドケース
20 切替室
30 製氷室
40 冷凍室
50 野菜室
81 サーミスタ
82 扉開閉検知スイッチ
90 カメラ移動装置
91 ステッピングモータ
92 ウォームギヤ
93 ピニオン
94 ラック
95 ガイド部
98 カメラ支持部
100 冷蔵庫
101 カメラ制御部
102 扉開閉検出部
103 撮影中断部
104 画像アップロード部
105 庫内変化検出部
106 カメラ位置判定部
107 庫内変化位置判定部
110 冷蔵庫通信部
200 サーバ装置
201 画像保存部
210 サーバ通信部
300 端末装置
301 画面表示部
310 端末通信部

Claims (6)

  1. 食品を収納する貯蔵室が形成された本体と、
    前記貯蔵室の一側を開閉する扉と、
    前記貯蔵室内の画像を撮影するカメラと、
    前記カメラを移動させるカメラ移動装置と、
    前記扉の開閉を検出する扉開閉検出手段と、
    前記カメラ移動装置及び前記カメラの動作を制御して、開始位置から終了位置まで前記カメラが移動しながら前記貯蔵室内の画像を撮影する撮影動作を行わせる制御手段と、を備え、
    前記制御手段は、
    前記撮影動作を行っていない時に前記扉が開いた後に閉じたことを前記扉開閉検出手段が検出した場合に、前記撮影動作を開始させ、
    前記撮影動作を行っている時に前記扉が開いたことを前記扉開閉検出手段が検出した場合に、前記撮影動作を中断させる冷蔵庫。
  2. 前記制御手段は、前記撮影動作の中断中に前記扉が閉じたことを前記扉開閉検出手段が検出した場合に、前記撮影動作を再開させる請求項1に記載の冷蔵庫。
  3. 前記カメラ移動装置は、前記撮影動作の再開前に前記カメラを前記開始位置に戻す請求項2に記載の冷蔵庫。
  4. 前記カメラ移動装置は、前記撮影動作の再開前に前記カメラを前記開始位置及び前記終了位置のうちのいずれか近い方に移動させる請求項2に記載の冷蔵庫。
  5. 前記貯蔵室内における食品収納状態の変化の有無を検出する収納変化検出手段をさらに備え、
    前記カメラ移動装置は、
    前記撮影動作の中断前後で食品収納状態の変化があることを前記収納変化検出手段が検出した場合、前記撮影動作の再開前に前記カメラを前記開始位置に戻し、
    前記撮影動作の中断前後で食品収納状態の変化がないことを前記収納変化検出手段が検出した場合、前記撮影動作の中断時の位置から前記カメラの移動を再開させる請求項2に記載の冷蔵庫。
  6. 前記貯蔵室内において食品収納状態が変化した位置を検出する収納変化検出手段をさらに備え、
    前記制御手段は、前記収納変化検出手段により検出された、食品収納状態が変化した位置に応じて、前記撮影動作の再開後の前記カメラの移動経路を設定する請求項2に記載の冷蔵庫。
JP2018103800A 2018-05-30 2018-05-30 冷蔵庫 Active JP7151176B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018103800A JP7151176B2 (ja) 2018-05-30 2018-05-30 冷蔵庫

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018103800A JP7151176B2 (ja) 2018-05-30 2018-05-30 冷蔵庫

Publications (2)

Publication Number Publication Date
JP2019207091A JP2019207091A (ja) 2019-12-05
JP7151176B2 true JP7151176B2 (ja) 2022-10-12

Family

ID=68767055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018103800A Active JP7151176B2 (ja) 2018-05-30 2018-05-30 冷蔵庫

Country Status (1)

Country Link
JP (1) JP7151176B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114294885B (zh) * 2021-06-23 2023-04-07 海信视像科技股份有限公司 冰箱及图像采集方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320647A1 (en) 2013-04-25 2014-10-30 Lg Electronics Inc. Refrigerator and control method for the same
JP2015065630A (ja) 2013-08-27 2015-04-09 株式会社東芝 カメラシステム、冷蔵庫
JP2016148503A (ja) 2015-02-05 2016-08-18 日本電産コパル株式会社 冷蔵庫、冷蔵庫管理方法及びプログラム
JP2017126819A (ja) 2016-01-12 2017-07-20 オリンパス株式会社 撮像装置および撮像装置の制御方法
WO2017199439A1 (ja) 2016-05-20 2017-11-23 三菱電機株式会社 冷蔵庫

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320647A1 (en) 2013-04-25 2014-10-30 Lg Electronics Inc. Refrigerator and control method for the same
JP2015065630A (ja) 2013-08-27 2015-04-09 株式会社東芝 カメラシステム、冷蔵庫
JP2016148503A (ja) 2015-02-05 2016-08-18 日本電産コパル株式会社 冷蔵庫、冷蔵庫管理方法及びプログラム
JP2017126819A (ja) 2016-01-12 2017-07-20 オリンパス株式会社 撮像装置および撮像装置の制御方法
WO2017199439A1 (ja) 2016-05-20 2017-11-23 三菱電機株式会社 冷蔵庫

Also Published As

Publication number Publication date
JP2019207091A (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
JP2019168134A (ja) 冷蔵庫システム
JP7139709B2 (ja) 冷蔵庫
JP2012251724A (ja) 冷蔵庫
JP6117565B2 (ja) 冷蔵庫庫内モニタリングシステムの動作方法
KR101130638B1 (ko) 냉각 저장고 및 그 압축기의 제어 방법
JP2003042626A (ja) 冷蔵庫
EP3441700A1 (en) Refrigerator and partition control method and partition control device for compartments of same
JP2015081762A (ja) 冷蔵庫
JP2015169412A (ja) 冷蔵庫及び冷蔵庫を備えたネットワークシステム
JPWO2016162956A1 (ja) 冷蔵庫
JP6592970B2 (ja) 冷蔵庫
JP6723828B2 (ja) 冷蔵庫
JP7151176B2 (ja) 冷蔵庫
US10670328B2 (en) Refrigerator and method for controlling the same
JP2000055533A (ja) 冷却貯蔵庫及びその管理システム
JP2005214544A (ja) 冷凍冷蔵庫
JP2011080696A (ja) 冷蔵庫
JP7313156B2 (ja) 冷蔵庫
JP7067312B2 (ja) 冷蔵庫システム
JP2001280830A (ja) 冷蔵庫等の食品貯蔵装置
JP6292174B2 (ja) 冷蔵庫
JP7480500B2 (ja) 冷蔵庫
JP6314956B2 (ja) 冷蔵庫
US20220187008A1 (en) Domestic appliance with a digital camera, and method for operating a domestic appliance comprising a digital camera
JP6641109B2 (ja) 冷蔵庫

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R150 Certificate of patent or registration of utility model

Ref document number: 7151176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150