JP6681816B2 - 空気調和機 - Google Patents
空気調和機 Download PDFInfo
- Publication number
- JP6681816B2 JP6681816B2 JP2016197599A JP2016197599A JP6681816B2 JP 6681816 B2 JP6681816 B2 JP 6681816B2 JP 2016197599 A JP2016197599 A JP 2016197599A JP 2016197599 A JP2016197599 A JP 2016197599A JP 6681816 B2 JP6681816 B2 JP 6681816B2
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- room
- person
- unit
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
<空気調和機の構成>
図1は、第1実施形態に係る空気調和機Sが備える室内機100、室外機200、及びリモコン300の正面図である。
空気調和機Sは、ヒートポンプサイクルで冷媒を循環させることによって空調(冷房運転、暖房運転、除湿運転等)を行う機器である。図1に示すように、空気調和機Sは、室内機100と、室外機200と、リモコン300と、を備えている。
リモコン送受信部13は、リモコン300との間で信号を送受信するものである。例えば、運転/停止指令、設定温度の変更、タイマの設定、運転モードの変更等の信号が、リモコン300からリモコン送受信部13に送信される。また、例えば、室内の温湿度の検出値が、リモコン送受信部13からリモコン300に送信され、前記した検出値がリモコン300に表示される。
室外機200は、次に説明する圧縮機21(図2参照)と、四方弁22と、室外熱交換器23と、膨張弁24と、室外ファン25と、を備えている。
図2に示すように、空気調和機Sは、圧縮機21と、四方弁22と、室外熱交換器23と、膨張弁24と、室内熱交換器11と、が環状に順次接続されてなる冷媒回路Qにおいて、周知のヒートポンプサイクルで冷媒を循環させるようになっている。また、室外熱交換器23の付近には室外ファン25が設置され、室内熱交換器11の付近には室内ファン12が設置されている。
室内機100は、図1で説明したリモコン送受信部13(図1参照)と、撮像部14(図1参照)の他に、室内熱交換器11と、室内ファン12と、筐体ベース15と、塵埃フィルタ16と、前面パネル17と、左右風向板18と、上下風向板19と、を備えている。
室内ファン12は、例えば、円筒状のクロスフローファンであり、室内ファンモータ12a(図2参照)によって回転するようになっている。
上下風向板19は、空調室に向かって吹き出される空気の通流方向を、上下方向において調整するための板状部材である。この上下風向板19は、室内ファン12の下流側に配置され、上下風向板用モータ19a(図4参照)によって上下方向に回動するようになっている。
室内機100は、前記した撮像部14等の機器の他に、制御部3と、環境検出部4と、を備えている。
光学レンズ14aは、撮像部14の撮像範囲(画角)やピントを調整するためのレンズである。
撮像素子14bは、光学レンズ14aを介して入射する光を光電変換することによって、撮像画像情報を生成する素子である。なお、撮像素子14bとして、CCDセンサ(Charge Coupled Device)やCMOSセンサ(Complementary Metal Oxide Semiconductor)を用いることができる。
在室者識別部312bは、在室者検出部312aによって検出された在室者の服の色や頭頂部の色等に基づいて、その在室者を識別する機能を有している。
学習処理部312dは、在室者によるリモコン300(図1参照)の操作に応じて設定値(設定温度等)を変更する「通常モード」の実行中、在室者の好みの設定値を学習する学習処理を実行する。また、学習処理部312dは、在室者の好みに合わせた「おまかせモード」において、前記した学習処理の結果に基づいて、設定値を変更する機能も有している。
記憶部321は、図示はしないが、演算処理部322や駆動制御部323のプログラムが格納されるROMと、前記したプログラムが展開されるRAMと、を含んで構成される。
ステップS101において制御部3は、室内機100が設置されている室内の在室者(人体)を検出する。具体的に説明すると、制御部3は、撮像部14の撮像結果に基づき、在室者検出部312aによって、在室者の顔の位置(座標)を特定する。
図6に示す例では、在室者検出部312aによって、在室者A,Bの顔中心の位置(つまり、顔の位置)が検出されている。つまり、在室者Aの顔中心rAの位置(XA,YA)と、在室者Bの顔中心rBの位置(XB,YB)と、が検出されている。ちなみに、在室者の検出は、周知のパターンマッチングを用いて、在室者の頭部や肩部を検出することで行われる。
次に、図5のステップS103おいて制御部3は、在室者識別部312bによって、在室者識別処理を実行する。詳細については、図11〜図12を参照して後記する。
次に、図5のステップS104において制御部3は、在室時間算出部312cによって、各在室者の在室時間を算出する。詳細については、図13を参照して後記する。
そして、図5のステップS104において各在室者の在室時間を算出した後、ステップS105において制御部3は、演算処理部322(図4参照)及び駆動制御部323(図4参照)によって、空調制御変更処理を実行する。詳細については、図14を参照して後記する。
図7は、空気調和機Sの在室者識別部312bが実行する特徴量抽出処理のフローチャートである。
ステップS1021において在室者識別部312bは、在室者の頭部の大きさに関する情報を記憶部311から読み出す。つまり、在室者識別部312bは、在室者の頭部の縦幅Lfa(図8(a)参照)の値を記憶部311から読み出す。
図8(a)に示す例では、顔中心rAを基準として長さLcrだけ下側に、矩形状の下側画像領域Uが設定されている。この下側画像領域Uの色に基づいて、在室者の服の色を特定できる。
図8(b)の横軸は、前記した色空間における色区分である。図8(b)に示す例では、服の色の特定に用いられる色空間が、白・赤・青・黒の四つの色区分に区分けされている。なお、仮に、下側画像領域Uに在室者の首もと等(つまり、皮膚の色)が含まれていたとしても、これを服と混同しないように、図8(b)に示す色区分から肌色を除去している。また、図8(b)の縦軸は、下側画像領域Uの全画素数に対して、各色区分に含まれる色の画素数が占める比率である。
ステップS1023において在室者の服の色を特定した後、ステップS1024において在室者識別部312bは、上側画像領域P(図9(a)参照)を特定する。この上側画像領域Pは、在室者の頭頂部の色の特定(S1025)に用いられる領域であり、顔中心rAよりも上側(つまり、在室者の顔の上方)に位置している。つまり、撮像画像情報の画像上において、在室者の頭頂部に含まれると推定される領域が上側画像領域Pである。
図9(a)に示す例では、顔中心rAを基準として長さLheだけ上側に、矩形状の上側画像領域Pが設定されている。この上側画像領域Pの色に基づいて、在室者の頭頂部の色を特定できる。なお、図9に示す距離Lheは、在室者の顔中心rAと上側画像領域Pの中心rPとの距離(画素数)である。
図9(b)の横軸は、前記した色空間における色の色区分である。図9(b)に示す例では、頭頂部の色の特定に用いられる色空間が、肌色(皮膚の色)・赤・青・灰・黒の五つの色区分に区分けされている。また、図9(b)の縦軸は、上側画像領域Pの全画素数に対して、各色区分に含まれる色の画素数が占める比率である。
なお、在室者の髪型や髪の多さによっては、頭頂部の皮膚が露出していることがあるので、色区分として肌色を含めている。また、在室者の髪に白髪が含まれている場合も考慮し、色区分として灰色も含めている。
なお、在室者の服の色、及び、在室者の頭頂部の色を含む色特徴量は、記憶部311に記憶される。
ステップS1025において在室者の頭頂部の色を特定した後、ステップS1026において在室者識別部312bは、在室者の他の特徴量を抽出する。
在室者識別部312bは、例えば、以下に示す(a)〜(f)のうち少なくとも一つを在室者の「他の特徴量」として特定する。
(a)在室者の顔の皮膚の色
(b)在室者の頭部の形状
(c)在室者の体型
(d)在室者の目の大きさ
(e)在室者の両目間の距離
(f)在室者の唇の横幅
(b)在室者の頭部の形状は、例えば、在室者の頭部の横幅Lbe(画素数)に対して、頭部の縦幅Lfa(画素数)が占める比率(Lfa/Lbe)で表される。
(c)在室者の体型は、例えば、在室者の頭部の横幅Lbeに対して、肩幅Ltiが占める比率(Lti/Lbe)で表される。
(d)在室者の目の大きさは、例えば、在室者の顔の全画素数Nfiに対して、在室者の目の画素数Neyが占める比率(Ney/Nfi)で表される。
(e)在室者の両目間の距離は、例えば、在室者の頭部の横幅Lbeに対して、在室者の両目間の距離Leyが占める比率(Ley/Lbe)で表される。
(f)在室者の唇の横幅は、例えば、在室者の頭部の横幅Lbeに対して、在室者の唇の横幅Lmoが占める比率(Lmo/Lbe)で表される。
図11は、空気調和機Sの在室者識別部312bが実行する在室者識別処理のフローチャートである。
ステップS1031において在室者識別部312bは、ステップS101(図5参照)で検出した在室者のうち一人を指定する。
ステップS1032において在室者識別部312bは、ステップS1031で指定した在室者の特徴量の検出値と、記憶部311に既に登録されている各人の特徴量の登録値と、の比較に基づいて、評価関数fの値を算出する。前記した評価関数fとは、在室者の識別に用いられる関数であり、以下の(数式1)で表される。
ws1×|s1-S1|+ws2×|s2-S2|+…+wsm×|sm-Sm| ・・・(数式1)
ステップS1036において在室者識別部312bは、ステップS101で検出した在室者が、記憶部311にまだ登録されていない新たな在室者であると判定する。
ステップS1035又はステップS1037の処理を行った後、在室者識別部312bの処理は、ステップS1038に進む。
このような一連の処理(S1031〜S1038)を行うことで、在室者識別部312bは、前記した在室者識別処理(S103:図5参照)を実行する。
図5のステップS104において制御部3は、前記したように、在室時間算出部312cによって、各在室者の在室時間を算出する。すなわち、在室時間算出部312cは、在室者識別部312bによって識別された在室者が記憶部311に既に登録されている場合、この在室者の在室時間を1カウントする。また、在室時間算出部312cは、記憶部311に登録されている各人について、所定時間(例えば、30分)以内に検出できない場合には、外出しているとみなして在室時間をゼロにリセットする。
なお、図13の横軸は時刻である。また、図13の○印は、在室者識別部312bによって在室者が識別された時刻を表している。また、所定時間Δt(例えば、30分)は、室内機100が設置されている部屋から在室者がいなくなったか否かの判定基準となる時間である。
また、在室者Bは、時刻t6以後に検出されていない。したがって、時刻t6から所定時間Δtが経過した時刻t7において「在室時間ゼロ」としてリセットされる。
また、時刻t2に外出した後、時刻t4に室内に戻ってきた在室者Cは、この時刻t4から新たに在室時間が算出される。
図14は、空気調和機Sの制御部3が実行する空調制御変更処理のフローチャートである。
ステップS1051において制御部3は、各在室者の在室時間の長さを順序づける。
例えば、図13に示す例では、現在時刻t8における在室者Aの在室時間は(Δt×7)であり、在室者Bの在室時間はゼロであり、在室者Cの在室時間は(Δt×4)である。したがって、ステップS1051において制御部3は、在室時間の長さは在室者Aが最も長く、次いで在室者C,Bの順に長いという順序づけを行う。
本実施形態では、前記したように、在室者の服の色や頭頂部の色等に基づいて、在室者を識別できる。したがって、在室者を顔のみで識別する従来技術と比べて、在室者の識別精度を高めることができる。例えば、撮像部14に対して在室者が後ろを向いた状態であったり、逆光で在室者の顔を識別しにくい状態であっても、本実施形態によれば、服の色等に基づいて在室者を適切に識別できる。また、例えば、室内機100が設置された部屋が比較的広く、撮像部14の視野の内外を在室者が行き来する場合でも、在室者が撮像部14の視野内に入った直後に服の色等に基づいて、在室者を適切に識別できる。
第2実施形態は、第1実施形態で説明した構成(図4参照)に重み係数補正部312e(図15参照)を追加した点が第1実施形態とは異なっているが、その他については第1実施形態と同様である。したがって、第1実施形態と異なる部分について説明し、重複する部分については説明を省略する。
図15に示すように、画像処理部312Aは、在室者検出部312aと、在室者識別部312bと、在室時間算出部312cと、学習処理部312dと、重み係数補正部312eと、を備えている。
ステップS101において在室者を検出し、ステップS102において特徴量抽出処理を行った後、制御部3の処理はステップS201に進む。
図17の横軸は、環境検出値の変化量である。つまり、横軸は、現時点での環境検出値と、前回の環境検出値の差の絶対値である。図17の縦軸は、第1実施形態で説明した重み係数(色重み係数wck及び形状重み係数wsj)である。
本実施形態によれば、前記したように、環境検出値の変化量が大きいほど、色特徴量よりも形状特徴量を重視するように重み係数wck,wsjが変更される。これによって、照明の点灯時・消灯時や、使用される照明の種類が変わったときでも在室者を適切に識別し、ひいては、在室者にとって快適な空調を継続できる。
第1実施形態、第2実施形態では、在室者の色特徴量及び形状特徴量に基づいて、在室者の識別を行う場合について説明したが、これに限定されるわけではない。第3実施形態では、在室者を識別する識別パラメータを、在室者の位置の変化量に基づいて選択して、在室者の識別を行う場合である。ここでは、在室者を識別する識別パラメータとしては、第1実施形態、第2実施形態で説明した在室者の服の色、在室者の頭頂部の色、在室者の顔の色を例にして説明する。
以下、図19〜図21を参照して詳細に説明する。
ステップS101において在室者を検出し、制御部3はステップS301に進む。
ステップS301において制御部3は、在室者の位置の変化量を算出する。つまり、制御部3は、現時点での在室者の位置(座標)と、前回に識別した在室者の位置(座標)と、に基づいて、在室者の位置の変化量を算出する。
そして、ステップS305において、第1識別部は、識別パラメータのうち変化しないパラメータに基づいて、在室者の識別を行い(第1在室者識別処理)、ステップS104に進む。
そして、ステップS307において、第2識別部は、識別パラメータのうち変化する識別パラメータを含めて、在室者の識別を行い(第2在室者識別処理)、ステップS104に進む。
そして、ステップS104において各在室者の在室時間を算出した後、ステップS105において、空調制御変更処理が実行される。
c1ab:ab空間における在室者の服の色の評価値
c2ab:ab空間における在室者の頭頂部の色の評価値
c3ab:ab空間における在室者の顔の色の評価値
wc1:c1abの重み係数
wc2:c2abの重み係数
wc3:c3abの重み係数
とすると、
第3実施形態の評価関数f10の一般式は、
f10=wc1×c1ab+wc2×c2ab+wc3×c3ab ・・・(数式4)
で示すことができる。
f11=wc2×c2ab+wc3×c3ab ・・・(数式5)
となる。すなわち、第1在室者識別処理においては、wc1の評価値を算出する時間が短縮することができる。
f12=f10 ・・・(数式6)
となる。
ここで、評価関数f11の場合は、服の色が変わっても、常に同一の在室者と判定される。すなわち、図18(a)から図18(b)の状態変化の場合に、同一の在室者(同一人)となる。
f12=0.6× 5+0.2×10+0.2×10= 7 <8 (別の在室者)
f12=0.6× 8+0.2×10+0.2×10= 8.8≧8 (同一の在室者)
f12=0.6×10+0.2×10+0.2×10=10≧8 (同一の在室者)
本実施形態によれば、在室者識別部312bは、在室者検出部で検出された在室者の移動距離が所定距離以下にある場合、識別パラメータのうち変化しない識別パラメータに基づいて、在室者の識別を行う第1識別部と、在室者検出部で検出された在室者の移動距離が所定距離を超える場合、識別パラメータのうち変化する識別パラメータを含めて、在室者の識別を行う第2識別部と、を備えている。これにより、在室者が、例えば、その場で、服を脱いだり、着替えた場合においても、同一の在室者として識別することができる。
以上、本発明に係る空気調和機Sについて各実施形態により説明したが、本発明はこれらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、各実施形態では、在室者を識別するための特徴量として、在室者の服の色、頭頂部の色、顔の皮膚の色、頭部の形状、体型、目の大きさ、両目間の距離、及び唇の横幅を用いる場合について説明したが、これに限らない。例えば、在室者の識別に用いる特徴量として、単位時間当たりの在室者の移動距離である「移動量」を追加してもよいし、他の特徴量よりも「移動量」を優先的に用いるようにしてもよい。このように「移動量」を用いることで、例えば、一方は静止しており、他方は動いている二人の在室者を見分けやすくなる。
在室者の姿勢を表す特徴量は、例えば、在室者の顔中心rCと体中心rDとの距離Lp(画素数)と、在室者の体中心rDと足の位置rFとの距離Lq(画素数)と、の和(Lq+Lp)で表される。
在室者が座っている姿勢は、立っている姿勢(図22(a)参照)と比較して、在室者の体中心rDと足の位置rFとの距離Lqが短くなる。その結果、在室者が座っているときの和(Lq+Lp)は、在室者が立っているときの和(Lq+Lp)よりも小さくなる。このように、在室者の姿勢の変化に伴って、前記した和(Lq+Lp)の大きさが変化する。このように、在室者の姿勢を表す特徴量として、和(Lq+Lp)を用いることができる。なお、前記した和(Lq+Lp)に代えて、比率(Lp/Lq)を用いてもよいし、また、姿勢を特定する他の周知の方法を用いてもよい。
また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。
4 環境検出部
14 撮像部
31 カメラマイコン
32 メインマイコン
100 室内機
300 リモコン
311 記憶部
312,312A 画像処理部
312a 在室者検出部
312b 在室者識別部
312c 在室時間算出部
312d 学習処理部
312e 重み係数補正部
321 記憶部
322 演算処理部(空調制御部)
323 駆動制御部(空調制御部)
P 上側画像領域
S 空気調和機
U 下側画像領域
Claims (5)
- 室内を撮像する撮像部と、
前記撮像部の撮像結果に基づいて、前記室内の在室者を検出する在室者検出部と、
前記在室者検出部によって検出される在室者の識別パラメータに基づいて、在室者の識別を行う在室者識別部と、
前記在室者識別部の識別結果に基づいて、空調制御を変更する空調制御部と、を備え、
前記在室者識別部は、
前記在室者検出部で検出された在室者の第1の時点での位置と前記第1の時点より後の第2の時点での位置とに基づいた移動距離が所定距離以下にある場合、前記識別パラメータのうち前記第1の時点と前記第2の時点との間には変化しない識別パラメータに基づいて、在室者の識別を行う第1識別部と、
前記在室者検出部で検出された在室者の移動距離が所定距離を超える場合、前記識別パラメータのうち変化する識別パラメータを含めて、在室者の識別を行う第2識別部と、を備える
ことを特徴とする空気調和機。 - 前記在室者識別部は、前記撮像部の撮像結果に基づく前記識別パラメータの検出値に重み係数を乗算した値を算出し、それぞれの前記識別パラメータについて加算した値を算出し、該加算した値に基づき、在室者の識別を行うに際し、
前記第1識別部における前記変化しない識別パラメータに対する重み係数は、前記第2識別部における前記変化しない識別パラメータに対する重み係数よりも大きくする
ことを特徴とする請求項1に記載の空気調和機。 - 前記変化する識別パラメータは、在室者の服の色である
ことを特徴とする請求項1又は請求項2に記載の空気調和機。 - 前記変化しない識別パラメータは、在室者の頭頂部の色、及び/又は、在室者の顔の色である
ことを特徴とする請求項1又は請求項2に記載の空気調和機。 - 前記変化する識別パラメータは、在室者の姿勢である
ことを特徴とする請求項1又は請求項2に記載の空気調和機。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016197599A JP6681816B2 (ja) | 2016-10-05 | 2016-10-05 | 空気調和機 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016197599A JP6681816B2 (ja) | 2016-10-05 | 2016-10-05 | 空気調和機 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018059672A JP2018059672A (ja) | 2018-04-12 |
JP6681816B2 true JP6681816B2 (ja) | 2020-04-15 |
Family
ID=61907573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016197599A Active JP6681816B2 (ja) | 2016-10-05 | 2016-10-05 | 空気調和機 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6681816B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108895603B (zh) * | 2018-06-19 | 2020-06-19 | 芜湖美智空调设备有限公司 | 送风设备及其送风控制方法、装置和可读存储介质 |
JP2022531259A (ja) * | 2019-05-02 | 2022-07-06 | エルジー エレクトロニクス インコーポレイティド | 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機 |
WO2021234770A1 (ja) * | 2020-05-18 | 2021-11-25 | 三菱電機株式会社 | 制御システム、設備機器システム及び設備機器の制御方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3453870B2 (ja) * | 1994-09-21 | 2003-10-06 | 松下電器産業株式会社 | 画像処理装置と画像処理装置を用いた応用機器 |
JP2011137589A (ja) * | 2009-12-28 | 2011-07-14 | Mitsubishi Electric Corp | 空気調和機、空気調和機の制御装置 |
JP5511477B2 (ja) * | 2010-04-09 | 2014-06-04 | 三菱電機株式会社 | 空気調和機 |
US8929592B2 (en) * | 2012-03-13 | 2015-01-06 | Mitsubishi Electric Research Laboratories, Inc. | Camera-based 3D climate control |
JP6368571B2 (ja) * | 2014-07-17 | 2018-08-01 | 日立ジョンソンコントロールズ空調株式会社 | 空気調和機 |
-
2016
- 2016-10-05 JP JP2016197599A patent/JP6681816B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018059672A (ja) | 2018-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107166657B (zh) | 一种空调控制方法、装置及空调 | |
JP6671201B2 (ja) | 空気調和機 | |
JP6681816B2 (ja) | 空気調和機 | |
JP5484205B2 (ja) | 空気調和機 | |
JP5511477B2 (ja) | 空気調和機 | |
JP5697583B2 (ja) | 部屋形状認識方法および装置、ならびにこれを用いた空気調和機 | |
KR102121785B1 (ko) | 인공지능을 이용하여 지시된 위치로 풍향을 제어하는 에어컨 및 이를 제어하는 방법 | |
CN107883541A (zh) | 空调控制方法及装置 | |
JP2016171526A (ja) | 画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラム | |
US20090115597A1 (en) | Energy saving and security system | |
JP2011137589A (ja) | 空気調和機、空気調和機の制御装置 | |
CN105571066B (zh) | 空调送风控制方法及装置 | |
WO2019119470A1 (zh) | 空调控制方法、系统及空调 | |
JP2005172288A (ja) | 空気調和装置の制御システム | |
JP2011174648A (ja) | 画像処理装置、画像処理方法および空調制御装置 | |
CN113108437A (zh) | 一种空调控制方法、装置、存储介质及空调 | |
CN107152768A (zh) | 空调控制方法及其设备 | |
CN109654657A (zh) | 空调器送风的控制方法、空调器、控制终端及存储介质 | |
JP2013024534A (ja) | 状況認識装置 | |
CN108622778A (zh) | 电梯系统 | |
JP2017053603A (ja) | 空気調和機 | |
JP2007078283A (ja) | 空気調和機及び空気調和方法 | |
JP2015137836A (ja) | 空気調和機、およびその室内ユニット | |
JP2012037102A (ja) | 人物識別装置、人物識別方法及び人物識別装置を備えた空気調和機 | |
US20210232834A1 (en) | Device for identifying a clothing family index |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20161130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190313 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6681816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |