JP6796525B2 - 画像処理装置、画像処理システム及び画像処理方法 - Google Patents
画像処理装置、画像処理システム及び画像処理方法 Download PDFInfo
- Publication number
- JP6796525B2 JP6796525B2 JP2017057356A JP2017057356A JP6796525B2 JP 6796525 B2 JP6796525 B2 JP 6796525B2 JP 2017057356 A JP2017057356 A JP 2017057356A JP 2017057356 A JP2017057356 A JP 2017057356A JP 6796525 B2 JP6796525 B2 JP 6796525B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- pupil
- image processing
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、外光の影響を受けた画像の補正を行う画像処理装置、画像処理システム及び画像処理方法の技術に関する。
車両の自動運転、安全技術の向上に伴い、ドライバの状態検知技術が必要となっている。
すなわち、自動運転から手動運転に切り替わる際に、ドライバの健康状態を検知することが必要になってくる。
そして、大学や、企業等の多様な機関が、カメラや、センサを用いた状態監視の技術を研究している。ここで、監視される状態は、心拍、姿勢、眠気等である。
すなわち、自動運転から手動運転に切り替わる際に、ドライバの健康状態を検知することが必要になってくる。
そして、大学や、企業等の多様な機関が、カメラや、センサを用いた状態監視の技術を研究している。ここで、監視される状態は、心拍、姿勢、眠気等である。
また、非接触で人の状態を検知する技術として、カメラ画像での画像処理やドップラセンサを用いたものが報告されている。これらの技術では、カメラで撮像した人の画像から人の生体情報（心拍、呼吸、脈波、血圧等）を取得することができる。
また、特許文献１には、「脈波検出装置１は、動画のフレーム画像をＲＧＢ成分からＹＩＱ成分に色変換し、予めＱ成分で用意してあるユーザの目の色を用いて、目の部分を特定する。そして、脈波検出装置１は、目の部分のＹ値によって撮影環境の明度を検出する。次に、脈波検出装置１は、フレーム画像の皮膚の部分のＱ値の平均から脈波信号Ｑｍを検出し、更に、これから目の部分のＹ値の平均値Ｙｅを減算することにより明度の変化分を補正して、明度補正後のＱｍを出力する。これにより、ユーザが車両などで移動することにより明度が変化するような場合でも、良好に脈波を検出することができる」脈波検出装置、及び脈波検出プログラムが開示されている（要約参照）。
しかしながら、前記した状態監視技術は、判定精度や、機器の装着に伴う負担感等から普及していない。
特に、外光の影響を受けることで、生体情報を正しく測定できないという課題がある。つまり、前記した生体情報は、顔画像の特定色成分の揺らぎから算出するため、光の当たり方が異なると、人の顔色が変化したのか、外部環境が変化したのかを区別することが難しい。このようなことが計測精度向上の妨げとなっている。
特に、外光の影響を受けることで、生体情報を正しく測定できないという課題がある。つまり、前記した生体情報は、顔画像の特定色成分の揺らぎから算出するため、光の当たり方が異なると、人の顔色が変化したのか、外部環境が変化したのかを区別することが難しい。このようなことが計測精度向上の妨げとなっている。
特許文献１に記載の技術は、画像における人の瞳孔の輝度情報（ＹＩＱ表色系のＹ成分）を用いて皮膚の輝度調整を行っている。しかし、暗いところや、サングラスを使用している場合には使用できない。
このような背景に鑑みて本発明がなされたのであり、本発明は、外光の影響を受けた画像の補正精度を向上させることを課題とする。
前記した課題を解決するため、本発明は、可視光領域から赤外線領域によって、少なくとも目の画像を含むとともに、肌の画像を含む顔画像を撮像するカメラと、前記カメラで撮像された前記顔画像を基に、瞳孔の大きさに関する情報を取得する瞳孔情報取得部と、前記瞳孔情報取得部で取得された前記瞳孔の大きさに関する情報を基に、前記カメラで撮像された前記顔画像の補正を行う画像補正部と、補正された顔画像における前記肌の画像を基に、脈拍及び血圧を少なくとも含む生体情報を抽出する生体情報抽出部と、を有し、前記画像補正部は、前記瞳孔の大きさが大きくなればなるほど、前記顔画像の全体の濃度を明るくし、前記瞳孔の大きさが小さくなればなるほど、前記顔画像の全体の濃度を暗くすることを特徴とする。
その他の解決手段は実施形態中で適宜記載する。
その他の解決手段は実施形態中で適宜記載する。
本発明によれば、外光の影響を受けた画像の補正精度を向上させることができる。
次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。なお、各図において、同様の構成については同一の符号を付して説明を省略する。
［第１実施形態］
＜処理概要＞
図１は、本実施形態で行われる画像補正処理の概要を示す図である。
まず、カメラ１０５により顔画像１２が撮像される。その後、顔画像１２のうちの瞳孔画像１１から瞳孔サイズＰが抽出される。
そして、その瞳孔サイズＰを基に、カメラ１０５で撮像された顔画像１２の濃度が補正される。そして、補正された顔画像１２のうち、肌画像１３の部分を基に、血圧や、脈拍等の生体情報が抽出される。なお、濃度とは色の濃淡を示すものである。濃度の代わりに、輝度や、明度等が使用されてもよい。
なお、カメラ１０５は、一般的な可視光カメラとしてもよいが、赤外線カメラ１０６とすることで、夜間や、サングラス装着時にも瞳孔サイズＰを取得できる。
なお、黒目サイズＫ１、目頭から目尻までの距離Ｋ２については後記する。
＜処理概要＞
図１は、本実施形態で行われる画像補正処理の概要を示す図である。
まず、カメラ１０５により顔画像１２が撮像される。その後、顔画像１２のうちの瞳孔画像１１から瞳孔サイズＰが抽出される。
そして、その瞳孔サイズＰを基に、カメラ１０５で撮像された顔画像１２の濃度が補正される。そして、補正された顔画像１２のうち、肌画像１３の部分を基に、血圧や、脈拍等の生体情報が抽出される。なお、濃度とは色の濃淡を示すものである。濃度の代わりに、輝度や、明度等が使用されてもよい。
なお、カメラ１０５は、一般的な可視光カメラとしてもよいが、赤外線カメラ１０６とすることで、夜間や、サングラス装着時にも瞳孔サイズＰを取得できる。
なお、黒目サイズＫ１、目頭から目尻までの距離Ｋ２については後記する。
＜画像補正＞
次に、図２〜図５を参照して、瞳孔サイズＰを用いた画像補正について説明する。
（濃度変換マップ）
図２は、第１実施形態で用いられる濃度変換マップの例を示す図である。
図２では、横軸が入力濃度を示し、縦軸が出力濃度を示している。それぞれの濃度は２５６諧調である。
濃度は、値が小さければ小さいほど暗く、大きければ大きいほど明るくなる。
図２に示すような濃度変換マップにより、瞳孔サイズ比Ｐ／Ｐｒによって濃度が変換される。なお、Ｐは瞳孔サイズの現在値、Ｐｒは基準となる瞳孔サイズ（基準瞳孔サイズ）である。基準瞳孔サイズとは、所定の明るさにおける瞳孔のサイズである。なお、瞳孔サイズは、瞳孔の直径でもよいし、瞳孔の面積でもよい。
次に、図２〜図５を参照して、瞳孔サイズＰを用いた画像補正について説明する。
（濃度変換マップ）
図２は、第１実施形態で用いられる濃度変換マップの例を示す図である。
図２では、横軸が入力濃度を示し、縦軸が出力濃度を示している。それぞれの濃度は２５６諧調である。
濃度は、値が小さければ小さいほど暗く、大きければ大きいほど明るくなる。
図２に示すような濃度変換マップにより、瞳孔サイズ比Ｐ／Ｐｒによって濃度が変換される。なお、Ｐは瞳孔サイズの現在値、Ｐｒは基準となる瞳孔サイズ（基準瞳孔サイズ）である。基準瞳孔サイズとは、所定の明るさにおける瞳孔のサイズである。なお、瞳孔サイズは、瞳孔の直径でもよいし、瞳孔の面積でもよい。
そして、図２に示すように瞳孔サイズ比Ｐ／Ｐｒ＝１である場合、濃度変換マップの対角線上に変換線（変換情報）２１が配置されている。これは、ある濃度が同じ濃度に変換され、出力されることを意味している。
次に、瞳孔サイズ比Ｐ／Ｐｒ＞１の場合について説明する。瞳孔サイズ比Ｐ／Ｐｒ＞１の場合とは、現在の瞳孔サイズＰが基準瞳孔サイズＰｒより大きい場合であり、外部環境が暗い場合である。
このような場合の変換線（変換情報）２２は、変換線２１より下に配置される。この変換線２２は、濃度６３〜２５５が、濃度０〜２５５に変換されることを意味している。すなわち、画像のうち、明るい部分だけが抽出される。これにより、画像全体が明るくなるよう変換される。
このような場合の変換線（変換情報）２２は、変換線２１より下に配置される。この変換線２２は、濃度６３〜２５５が、濃度０〜２５５に変換されることを意味している。すなわち、画像のうち、明るい部分だけが抽出される。これにより、画像全体が明るくなるよう変換される。
また、瞳孔サイズ比Ｐ／Ｐｒ＜１の場合について説明する。瞳孔サイズ比Ｐ／Ｐｒ＜１の場合とは、現在の瞳孔サイズＰが基準瞳孔サイズＰｒより小さい場合であり、外部環境が明るい場合である。
このような場合の変換線（変換情報）２３は、変換線２１より上に配置される。この変換線２３は、濃度０〜１５７が、濃度０〜２５５に変換されることを意味している。すなわち、画像のうち、暗い部分だけが抽出される。これにより、画像全体が暗くなるよう変換される。
このような濃度変換マップは、予め作成され、設定されている。
このような場合の変換線（変換情報）２３は、変換線２１より上に配置される。この変換線２３は、濃度０〜１５７が、濃度０〜２５５に変換されることを意味している。すなわち、画像のうち、暗い部分だけが抽出される。これにより、画像全体が暗くなるよう変換される。
このような濃度変換マップは、予め作成され、設定されている。
ちなみに、基準瞳孔サイズＰｒの代わりに、図１に示す黒目サイズＫ１が用いられてもよい。この他にも、基準瞳孔サイズＰｒの代わりに、目頭から目尻までの距離Ｋ２を用いる等、大きさや、距離が一定のものを用いることが可能である。このようにすることで、顔が動くことによって顔画像１２中における瞳孔サイズＰに変化が生じても適切な補正を行うことができる。また、基準瞳孔サイズＰｒの代わりに、黒目サイズＫ１や、目頭から目尻までの距離Ｋ２を用いることにより、予め基準瞳孔サイズＰｒが設定される必要がなくなる。これにより、ユーザの負担を軽減することができる。
瞳孔サイズ比Ｐ／Ｐｒ＞１の状態で、瞳孔サイズ比Ｐ／Ｐｒが大きくなればなるほど、変換線２１は変換線２２の方向へ移動し、その傾きは大きくなる。
同様に、瞳孔サイズ比Ｐ／Ｐｒ＜１の状態で、瞳孔サイズ比Ｐ／Ｐｒが小さくなればなるほど、変換線２１は変換線２３の方向へ移動し、その傾きは大きくなる。
同様に、瞳孔サイズ比Ｐ／Ｐｒ＜１の状態で、瞳孔サイズ比Ｐ／Ｐｒが小さくなればなるほど、変換線２１は変換線２３の方向へ移動し、その傾きは大きくなる。
（コントラスト変換マップ）
図３は、第１実施形態で用いられるコントラスト変換マップの例を示す図である。
図３では、横軸が入力濃度を示し、縦軸が出力濃度を示している。それぞれの濃度は２５６諧調である。
そして、コントラスト変換曲線３１が図３に示すように設定されている。このコントラスト変換曲線３１は、画像のうち、暗い部分がより暗くよう、明るい部分がより明るくなるよう濃度を変換する。
これにより、画像のコントラストが高くなる。
なお、図３のコントラスト変換マップによる画像変換は一般的な画像処理で行われているものである。
図３は、第１実施形態で用いられるコントラスト変換マップの例を示す図である。
図３では、横軸が入力濃度を示し、縦軸が出力濃度を示している。それぞれの濃度は２５６諧調である。
そして、コントラスト変換曲線３１が図３に示すように設定されている。このコントラスト変換曲線３１は、画像のうち、暗い部分がより暗くよう、明るい部分がより明るくなるよう濃度を変換する。
これにより、画像のコントラストが高くなる。
なお、図３のコントラスト変換マップによる画像変換は一般的な画像処理で行われているものである。
（実際の画像変換：外部環境が暗い場合）
図４は、外部環境が暗い（Ｐ／Ｐｒ＞１）場合における画像変換例を示す図である。
図４は、肌画像１３（図１参照）の濃度ヒストグラムを示しており、横軸が濃度、縦軸が画素数を示している。なお、図４、図５における濃度ヒストグラムは緑光の濃度ヒストグラムである。
そして、図４の上段には変換前の濃度ヒストグラムを示し、下段には変換後の濃度ヒストグラムを示している。なお、変換とは、図２の濃度変換マップによる変換、及び、図３のコントラスト変換マップによる変換が含まれる。
特に、図２の濃度変換マップにより、変換前（上段）の濃度範囲４１が変換後（下段）の濃度０〜２５５まで広げられている。つまり、明るい部分が抽出されている。これにより、画像全体が明るくなる。
図４は、外部環境が暗い（Ｐ／Ｐｒ＞１）場合における画像変換例を示す図である。
図４は、肌画像１３（図１参照）の濃度ヒストグラムを示しており、横軸が濃度、縦軸が画素数を示している。なお、図４、図５における濃度ヒストグラムは緑光の濃度ヒストグラムである。
そして、図４の上段には変換前の濃度ヒストグラムを示し、下段には変換後の濃度ヒストグラムを示している。なお、変換とは、図２の濃度変換マップによる変換、及び、図３のコントラスト変換マップによる変換が含まれる。
特に、図２の濃度変換マップにより、変換前（上段）の濃度範囲４１が変換後（下段）の濃度０〜２５５まで広げられている。つまり、明るい部分が抽出されている。これにより、画像全体が明るくなる。
（実際の画像変換：外部環境が明るい場合）
図５は、外部環境が明るい（Ｐ／Ｐｒ＜１）場合における画像変換例を示す図である。
図５は、肌画像１３の濃度ヒストグラムを示しており、横軸が濃度、縦軸が画素数を示している。
そして、図５の上段には変換前の濃度ヒストグラムを示し、下段には変換後の濃度ヒストグラムを示している。なお、変換とは、図２の濃度変換マップによる変換、及び、図３のコントラスト変換マップによる変換が含まれる。
特に、図２の濃度変換マップにより、変換前（上段）の濃度範囲４２が変換後（下段）の濃度０〜２５５まで広げられている。つまり、暗い部分が抽出されている。これにより、画像全体が暗くなる。
図５は、外部環境が明るい（Ｐ／Ｐｒ＜１）場合における画像変換例を示す図である。
図５は、肌画像１３の濃度ヒストグラムを示しており、横軸が濃度、縦軸が画素数を示している。
そして、図５の上段には変換前の濃度ヒストグラムを示し、下段には変換後の濃度ヒストグラムを示している。なお、変換とは、図２の濃度変換マップによる変換、及び、図３のコントラスト変換マップによる変換が含まれる。
特に、図２の濃度変換マップにより、変換前（上段）の濃度範囲４２が変換後（下段）の濃度０〜２５５まで広げられている。つまり、暗い部分が抽出されている。これにより、画像全体が暗くなる。
このように、図２に示す濃度変換マップを用いることにより、外部環境が暗い場合、つまり、画像が暗い場合、画像全体を明るくする。また、外部環境が明るい場合、つまり、画像が明るい場合、画像全体を暗くする。
このようにして、画像の明るさを適切な明るさにすることができる。
このようにして、画像の明るさを適切な明るさにすることができる。
このように濃度変換マップを使用することで、顔画像１２の濃度補正が容易となる。
＜画像処理装置１＞
図６は、第１実施形態に係る画像処理装置１の構成例を示す図である。適宜、図１を参照する。
図６に示すように、画像処理装置１はメモリ１０１、ＣＰＵ（Central Processing Unit）１０２、送受信装置１０３を有している。また、画像処理装置１はカメラ１０５（赤外線カメラ１０６）及び記憶装置１０４のそれぞれを有している。
メモリ１０１は、ＲＯＭ（Read Only Memory）等であり、記憶装置１０４はＲＡＭ（Random Access Memory）等である。
メモリ１０１には、プログラムが格納されており、このプログラムがＣＰＵ１０２によって実行される。これにより、処理部１００及び処理部１００を構成する各部１００〜１１２，１２０〜１２２，１３１（図８、図９で後記）が具現化している。
図６は、第１実施形態に係る画像処理装置１の構成例を示す図である。適宜、図１を参照する。
図６に示すように、画像処理装置１はメモリ１０１、ＣＰＵ（Central Processing Unit）１０２、送受信装置１０３を有している。また、画像処理装置１はカメラ１０５（赤外線カメラ１０６）及び記憶装置１０４のそれぞれを有している。
メモリ１０１は、ＲＯＭ（Read Only Memory）等であり、記憶装置１０４はＲＡＭ（Random Access Memory）等である。
メモリ１０１には、プログラムが格納されており、このプログラムがＣＰＵ１０２によって実行される。これにより、処理部１００及び処理部１００を構成する各部１００〜１１２，１２０〜１２２，１３１（図８、図９で後記）が具現化している。
カメラ１０５は顔画像１２を撮像するためのカメラである。また、前記したように、カメラ１０５として赤外線カメラ１０６が用いられることにより、夜や、トンネル等の暗い場所や、ユーザがサングラスを装着している場合でも瞳孔サイズＰを取得することが可能となる。
なお、暗いところでは赤外線カメラ１０６によって瞳孔画像１１が取得され、明るいところでは可視光カメラによって瞳孔画像１１が取得されてもよい。
なお、暗いところでは赤外線カメラ１０６によって瞳孔画像１１が取得され、明るいところでは可視光カメラによって瞳孔画像１１が取得されてもよい。
図７は後記する。
＜処理部１００＞
図８は、第１実施形態で用いられる処理部１００の詳細な構成を示す図である。適宜、図１を参照する。
処理部１００は、瞳孔サイズ関連処理部（瞳孔情報取得部）１２０、画像処理部１１０、生体情報抽出処理部１３１を有している。
瞳孔サイズ関連処理部１２０は、瞳孔サイズＰに関する処理を行い、有効判定処理部１２１及び瞳孔サイズ比算出処理部１２２を有している。
有効判定処理部１２１は、カメラ１０５で撮像された顔画像１２が瞳孔サイズ比Ｐ／Ｐｒを算出するのに適しているか（有効であるか）否かを判定する。有効判定処理部１２１による判定の詳細は後記する。
瞳孔サイズ比算出処理部１２２は、カメラ１０５で撮像された顔画像１２中の瞳孔画像１１から瞳孔サイズ比Ｐ／Ｐｒを算出する。
図８は、第１実施形態で用いられる処理部１００の詳細な構成を示す図である。適宜、図１を参照する。
処理部１００は、瞳孔サイズ関連処理部（瞳孔情報取得部）１２０、画像処理部１１０、生体情報抽出処理部１３１を有している。
瞳孔サイズ関連処理部１２０は、瞳孔サイズＰに関する処理を行い、有効判定処理部１２１及び瞳孔サイズ比算出処理部１２２を有している。
有効判定処理部１２１は、カメラ１０５で撮像された顔画像１２が瞳孔サイズ比Ｐ／Ｐｒを算出するのに適しているか（有効であるか）否かを判定する。有効判定処理部１２１による判定の詳細は後記する。
瞳孔サイズ比算出処理部１２２は、カメラ１０５で撮像された顔画像１２中の瞳孔画像１１から瞳孔サイズ比Ｐ／Ｐｒを算出する。
画像処理部１１０は、瞳孔サイズ比算出処理部１２２で算出された瞳孔サイズ比Ｐ／Ｐｒを基に、図２〜図５で説明した手法によりカメラ１０５で撮像された顔画像１２の濃度が補正される。画像処理部１１０の詳細は後記する。
生体情報抽出処理部１３１は、補正された顔画像１２の中の肌画像１３から脈拍値や、血圧値等の生体情報を抽出する。
生体情報抽出処理部１３１は、補正された顔画像１２の中の肌画像１３から脈拍値や、血圧値等の生体情報を抽出する。
＜画像処理部１１０＞
図９は、第１実施形態で用いられる画像処理部１１０の詳細な構成を示す図である。適宜、図１、図８を参照する。
画像処理部１１０は、濃度ヒストグラム生成部１１１及び画像補正部１１２を有している。
濃度ヒストグラム生成部１１１は、カメラ１０５で撮像された顔画像１２の濃度ヒストグラムを生成する。
画像補正部１１２は、瞳孔サイズ関連処理部１２０（瞳孔サイズ比算出処理部１２２（図８参照））で算出された瞳孔サイズ比Ｐ／Ｐｒを基に、図２、図４、図５に示す手法を用いて濃度ヒストグラムを変換する。その後、画像補正部１１２は、変換した濃度ヒストグラムに基づいて顔画像１２の濃度を補正する。また、画像補正部１１２は、コントラストや、シャープネス等の補正を適宜行う。
図９は、第１実施形態で用いられる画像処理部１１０の詳細な構成を示す図である。適宜、図１、図８を参照する。
画像処理部１１０は、濃度ヒストグラム生成部１１１及び画像補正部１１２を有している。
濃度ヒストグラム生成部１１１は、カメラ１０５で撮像された顔画像１２の濃度ヒストグラムを生成する。
画像補正部１１２は、瞳孔サイズ関連処理部１２０（瞳孔サイズ比算出処理部１２２（図８参照））で算出された瞳孔サイズ比Ｐ／Ｐｒを基に、図２、図４、図５に示す手法を用いて濃度ヒストグラムを変換する。その後、画像補正部１１２は、変換した濃度ヒストグラムに基づいて顔画像１２の濃度を補正する。また、画像補正部１１２は、コントラストや、シャープネス等の補正を適宜行う。
（フローチャート）
図１０は、第１実施形態で行われる画像補正処理の手順を示すフローチャートである。適宜、図１、図６、図８、図９を参照する。
図１０の処理は、画像処理装置１の電源がＯＮされると開始され、ＯＦＦになるまで繰り返される。
まず、カメラ１０５がユーザの顔画像１２を撮像する。
そして、画像処理部１１０は、撮像された顔画像１２を基に、サングラスが装着されているか否かを判定する（Ｓ１０１）。サングラスが装着されているか否かは、一般的な画像認識処理で可能である。
ステップＳ１０１の結果、サングラスが装着されている場合（Ｓ１０１→Ｙｅｓ）、瞳孔サイズ関連処理部１２０はステップＳ１０１の前撮像された瞳孔画像１１から瞳孔サイズを取得する。そして、瞳孔サイズ関連処理部１２０は、この瞳孔サイズを基準瞳孔サイズＰｒとする（Ｓ１０２）。
その後、処理部１００は、ステップＳ１１１へ処理を進める。
図１０は、第１実施形態で行われる画像補正処理の手順を示すフローチャートである。適宜、図１、図６、図８、図９を参照する。
図１０の処理は、画像処理装置１の電源がＯＮされると開始され、ＯＦＦになるまで繰り返される。
まず、カメラ１０５がユーザの顔画像１２を撮像する。
そして、画像処理部１１０は、撮像された顔画像１２を基に、サングラスが装着されているか否かを判定する（Ｓ１０１）。サングラスが装着されているか否かは、一般的な画像認識処理で可能である。
ステップＳ１０１の結果、サングラスが装着されている場合（Ｓ１０１→Ｙｅｓ）、瞳孔サイズ関連処理部１２０はステップＳ１０１の前撮像された瞳孔画像１１から瞳孔サイズを取得する。そして、瞳孔サイズ関連処理部１２０は、この瞳孔サイズを基準瞳孔サイズＰｒとする（Ｓ１０２）。
その後、処理部１００は、ステップＳ１１１へ処理を進める。
ステップＳ１０１の結果、サングラスが装着されていない場合（Ｓ１０１→Ｎｏ）、カメラ１０５がユーザの顔画像１２を撮像する（Ｓ１１１）。
その後、有効判定処理部１２１が、撮像した顔画像１２から有効判定情報を抽出する（Ｓ１１２）。有効判定情報は、顔画像１２における影部分の場所の情報、まぶた状態の情報、光量変化の情報である。なお、光量変化は、前回の顔画像１２と比較した光量変化である。従って、図１０の処理が開始されて最初の処理では光量変化の抽出は行われない。
その後、有効判定処理部１２１が、撮像した顔画像１２から有効判定情報を抽出する（Ｓ１１２）。有効判定情報は、顔画像１２における影部分の場所の情報、まぶた状態の情報、光量変化の情報である。なお、光量変化は、前回の顔画像１２と比較した光量変化である。従って、図１０の処理が開始されて最初の処理では光量変化の抽出は行われない。
そして、有効判定処理部１２１は、ステップＳ１１２で抽出された有効判定情報を基にステップＳ１１１で撮像された顔画像１２が有効であるか否かを判定する（Ｓ１１３）。
有効判定処理部１２１は、以下の（Ａ１）〜（Ａ３）の条件のうち、少なくとも１つが成立している場合、顔画像１２が有効でない（Ｓ１１３→Ｎｏ）と判定する。
（Ａ１）図７に示すように影が目にかかっており、かつ、その他の部分に影がかかっていない。これは、影が目にかかっていると瞳孔サイズＰが正確に測定できないためである。すなわち、影が目にかかっていると、肌にあたっている光の量と、瞳孔サイズＰとが対応付けられないためである。影が目にかかっている場合、処理が行われないようにすることで、瞳孔サイズＰの測定の精度を向上させることができる。
（Ａ２）まぶたが閉じている。これは、まぶたが閉じていると瞳孔サイズＰを計測することができないためである。
（Ａ３）光量変化が所定値以上である。これは、光量変化が大きいと、光量の瞳孔の縮小・拡大が光量の変化に追いつかず、適切な瞳孔サイズを取得することができないためである。
有効判定処理部１２１は、以下の（Ａ１）〜（Ａ３）の条件のうち、少なくとも１つが成立している場合、顔画像１２が有効でない（Ｓ１１３→Ｎｏ）と判定する。
（Ａ１）図７に示すように影が目にかかっており、かつ、その他の部分に影がかかっていない。これは、影が目にかかっていると瞳孔サイズＰが正確に測定できないためである。すなわち、影が目にかかっていると、肌にあたっている光の量と、瞳孔サイズＰとが対応付けられないためである。影が目にかかっている場合、処理が行われないようにすることで、瞳孔サイズＰの測定の精度を向上させることができる。
（Ａ２）まぶたが閉じている。これは、まぶたが閉じていると瞳孔サイズＰを計測することができないためである。
（Ａ３）光量変化が所定値以上である。これは、光量変化が大きいと、光量の瞳孔の縮小・拡大が光量の変化に追いつかず、適切な瞳孔サイズを取得することができないためである。
ステップＳ１１３の結果、顔画像１２が有効ではない場合（Ｓ１１３→Ｎｏ）、処理部１００はステップＳ１１１へ処理を戻す。
ステップＳ１１３の結果、顔画像１２が有効である場合（Ｓ１１３→Ｙｅｓ)、瞳孔サイズ関連処理部１２０は顔画像１２から瞳孔サイズＰを抽出する（Ｓ１２１）。このとき、瞳孔サイズ比算出処理部１２２は、一方（例えば、左目等）の瞳孔サイズＰを抽出してもよいし、両目の瞳孔サイズを平均したものを瞳孔サイズＰとしてもよい。
ステップＳ１１３の結果、顔画像１２が有効である場合（Ｓ１１３→Ｙｅｓ)、瞳孔サイズ関連処理部１２０は顔画像１２から瞳孔サイズＰを抽出する（Ｓ１２１）。このとき、瞳孔サイズ比算出処理部１２２は、一方（例えば、左目等）の瞳孔サイズＰを抽出してもよいし、両目の瞳孔サイズを平均したものを瞳孔サイズＰとしてもよい。
次に、瞳孔サイズ比算出処理部１２２が、瞳孔サイズ比Ｐ／Ｐｒを算出する（Ｓ１２２）。
続いて、濃度ヒストグラム生成部１１１が、顔画像１２の濃度ヒストグラムを生成する（Ｓ１２３）。
そして、画像補正部１１２は、算出された瞳孔サイズ比Ｐ／Ｐｒを基に、図２〜図５で説明した手法で濃度ヒストグラムの補正を行う（Ｓ１２４）。
そして、画像補正部１１２は、ステップＳ１２４で補正された濃度ヒストグラムを基に顔画像１２の補正を行う（Ｓ１２５）。
続いて、濃度ヒストグラム生成部１１１が、顔画像１２の濃度ヒストグラムを生成する（Ｓ１２３）。
そして、画像補正部１１２は、算出された瞳孔サイズ比Ｐ／Ｐｒを基に、図２〜図５で説明した手法で濃度ヒストグラムの補正を行う（Ｓ１２４）。
そして、画像補正部１１２は、ステップＳ１２４で補正された濃度ヒストグラムを基に顔画像１２の補正を行う（Ｓ１２５）。
生体情報抽出処理部１３１は、補正された顔画像１２を基に血圧、脈拍数等の生体情報を取得する（Ｓ１３１）。生体情報抽出処理部１３１は、生体情報の抽出を、特許文献１に記載の手法によって行ってもよい。なお、特許文献１に記載の手法では、肌画像１３における特定の波長域（緑等）の時間変動等から血圧、脈拍等の生体情報が抽出されている。その他、波長スペクトルの変動から脈波等を検出するもので生体情報が取得されてもよい。
カメラ１０５が赤外線カメラである場合、肌画像１３における赤外領域での時間変動等から血圧、脈拍等の生体情報が抽出可能である。
また、カメラ１０５として、赤外線カメラと、可視光カメラとが使用されている場合、他の車のライト等で照らしだされた可視光の肌画像１３から前記した手法で生体情報が抽出されてもよい。
そして、生体情報抽出処理部１３１は、抽出した生体情報を記憶装置１０４に保存し（Ｓ１３２）、処理部１００はステップＳ３０１へ処理を戻す。
カメラ１０５が赤外線カメラである場合、肌画像１３における赤外領域での時間変動等から血圧、脈拍等の生体情報が抽出可能である。
また、カメラ１０５として、赤外線カメラと、可視光カメラとが使用されている場合、他の車のライト等で照らしだされた可視光の肌画像１３から前記した手法で生体情報が抽出されてもよい。
そして、生体情報抽出処理部１３１は、抽出した生体情報を記憶装置１０４に保存し（Ｓ１３２）、処理部１００はステップＳ３０１へ処理を戻す。
第１実施形態によれば、画像処理装置１は瞳孔のサイズに関する情報を基にカメラ１０５で撮像された顔画像１２（肌画像１３）を補正する。これにより、精度の高い画像補正を行うことが可能となる。特に、周囲が暗い場合や、ユーザがサングラスをかけている場合でも画像補正を行うことが可能となる。この結果、生体情報の抽出精度を向上させることができる。
なお、周囲が暗い場合や、サングラスがかけられている場合でも、瞳孔は周囲の明暗に反応する。
特許文献１に記載の技術は、瞳孔の色を用いているので、周囲が暗い場合や、サングラスがかけられている場合では使用することができない。
なお、周囲が暗い場合や、サングラスがかけられている場合でも、瞳孔は周囲の明暗に反応する。
特許文献１に記載の技術は、瞳孔の色を用いているので、周囲が暗い場合や、サングラスがかけられている場合では使用することができない。
また、第１実施形態では、肌の色の濃度が補正されることで、生体情報の抽出精度を向上させることができる。
そして、第１実施形態では、補正された画像を基に脈拍、血圧が抽出されることで、精度よく脈拍、血圧を取得することができる。
そして、第１実施形態では、補正された画像を基に脈拍、血圧が抽出されることで、精度よく脈拍、血圧を取得することができる。
また、本実施形態では、濃度ヒストグラムが平坦化されている（図４、図５参照）。画像補正部１１２は、濃度が平坦化された顔画像１２に対してアンシャープマスク処理を行うことで、顔画像１２を鮮鋭化することができる。
また、過去における環境の明るさと、瞳孔の大きさとを保管しておき、環境の明るさの割に瞳孔が大きい場合、交感神経が働いていると判定されてもよい。逆に、環境の明るさの割に瞳孔が小さい場合、副交感神経が働いていると判定されてもよい。
また、瞳孔の収縮速度が、これまでの平均値よりも所定値以上大きいである場合、副交感神経が働いている判定されてもよい。逆に、瞳孔の散大速度が、これまでの平均値よりも所定値以上大きいである場合、交感神経が働いている判定されてもよい。
また、瞳孔の収縮速度が、これまでの平均値よりも所定値以上大きいである場合、副交感神経が働いている判定されてもよい。逆に、瞳孔の散大速度が、これまでの平均値よりも所定値以上大きいである場合、交感神経が働いている判定されてもよい。
［第２実施形態］
＜処理部１００ａ＞
図１１は、第２実施形態で用いられる処理部１００ａの詳細な構成を示す図である。
図１１において、図８と同様の構成については同一の符号を付して説明を省略する。
図１１に示す処理部１００ａが図８に示す処理部１００と異なる点は、肌情報処理部１３２を有している点である。
肌情報処理部１３２は、予め記憶装置１０４（図６参照）に格納されている肌情報のベース値と、撮像された肌画像１３における肌情報の差（ベース差分値）を算出する。そして、肌情報処理部１３２は、算出したベース差分値を画像処理部１１０にわたす。
＜処理部１００ａ＞
図１１は、第２実施形態で用いられる処理部１００ａの詳細な構成を示す図である。
図１１において、図８と同様の構成については同一の符号を付して説明を省略する。
図１１に示す処理部１００ａが図８に示す処理部１００と異なる点は、肌情報処理部１３２を有している点である。
肌情報処理部１３２は、予め記憶装置１０４（図６参照）に格納されている肌情報のベース値と、撮像された肌画像１３における肌情報の差（ベース差分値）を算出する。そして、肌情報処理部１３２は、算出したベース差分値を画像処理部１１０にわたす。
＜フローチャート＞
図１２は、第２実施形態で行われる画像補正処理の手順を示すフローチャートである。
なお、図１２において、図１０と同様の処理については同一のステップ番号を付して説明を省略する。
ステップＳ１２２で瞳孔サイズ比Ｐ／Ｐｒが算出された後、肌情報処理部１３２が肌情報を抽出する（Ｓ２０１）。肌情報とは、肌の色に関する情報である。具体的には、肌のＲＧＢ各値が抽出される。
図１２は、第２実施形態で行われる画像補正処理の手順を示すフローチャートである。
なお、図１２において、図１０と同様の処理については同一のステップ番号を付して説明を省略する。
ステップＳ１２２で瞳孔サイズ比Ｐ／Ｐｒが算出された後、肌情報処理部１３２が肌情報を抽出する（Ｓ２０１）。肌情報とは、肌の色に関する情報である。具体的には、肌のＲＧＢ各値が抽出される。
次に、肌情報処理部１３２は、予め取得されている肌情報のベース値と、ステップＳ１１１で撮像された顔画像１２における肌情報の差（ベース差分値）を算出する（Ｓ２０２）。
そして、画像補正部１１２は、瞳孔サイズ比Ｐ／Ｐｒと、ステップＳ１０２で算出された肌情報のベース差分値とを基に、濃度ヒストグラムを補正する（Ｓ１２４ａ）。
以下のような処理が行われることによって、肌情報のベース値との差を基に濃度ヒストグラムが補正される。
例えば、Ｒ（Red）値が少なくなっている場合、肌情報処理部１３２は、Ｒ値についてベース差分値を算出する。そして、画像補正部１１２は、ベース差分値分濃度を顔画像１２（肌画像１３）のＲ値分多くする。
ステップＳ１２５以降は、図１０の処理と同様の処理が行われる。
そして、画像補正部１１２は、瞳孔サイズ比Ｐ／Ｐｒと、ステップＳ１０２で算出された肌情報のベース差分値とを基に、濃度ヒストグラムを補正する（Ｓ１２４ａ）。
以下のような処理が行われることによって、肌情報のベース値との差を基に濃度ヒストグラムが補正される。
例えば、Ｒ（Red）値が少なくなっている場合、肌情報処理部１３２は、Ｒ値についてベース差分値を算出する。そして、画像補正部１１２は、ベース差分値分濃度を顔画像１２（肌画像１３）のＲ値分多くする。
ステップＳ１２５以降は、図１０の処理と同様の処理が行われる。
第２実施形態によれば、貧血等を起こして肌が白くなっている場合でも、顔画像１２（肌画像１３）の濃度を適切にすることができる。
また、第２実施形態によれば、個人差による肌の色の違いによる影響を抑制することができる。
また、第２実施形態によれば、個人差による肌の色の違いによる影響を抑制することができる。
［第３実施形態］
＜システム概略＞
図１３は、第３実施形態で用いられる異常検知システムＺａの構成例を示す図である。
第３実施形態に示す異常検知システム（画像処理システム）Ｚａは、以下の処理を行う。すなわち、車両５２に搭載された異常検知装置５１がドライバの異常を検知すると、クラウドサービス５５を介して、管理会社サーバ５３や、保険会社サーバ５４へ異常を検知した旨を通知する。
なお、管理会社サーバ５３は管理会社に設置されているサーバである。管理会社とは、ドライバの異常検知が通知されると、オペレータ等が該ドライバに対して呼びかけを行ったり、救急車の手配等をサービスしたりする会社である。
また、保険会社サーバ５４は保険会社に設置されているサーバである。
＜システム概略＞
図１３は、第３実施形態で用いられる異常検知システムＺａの構成例を示す図である。
第３実施形態に示す異常検知システム（画像処理システム）Ｚａは、以下の処理を行う。すなわち、車両５２に搭載された異常検知装置５１がドライバの異常を検知すると、クラウドサービス５５を介して、管理会社サーバ５３や、保険会社サーバ５４へ異常を検知した旨を通知する。
なお、管理会社サーバ５３は管理会社に設置されているサーバである。管理会社とは、ドライバの異常検知が通知されると、オペレータ等が該ドライバに対して呼びかけを行ったり、救急車の手配等をサービスしたりする会社である。
また、保険会社サーバ５４は保険会社に設置されているサーバである。
＜異常検知装置５１＞
図１４は、第３実施形態で用いられる異常検知装置５１の構成例を示す図である。
図１４において、図６と同様の構成については図６と同一の符号を付して説明を省略する。
異常検知装置５１は、画像処理装置１ｂと、車両機器２とで構成される。ここでは、画像処理装置１ｂと車両機器２が互いに接続されている関係となっているが、画像処理装置１ｂが車両機器２に搭載される形式となっていてもよい。
図１４は、第３実施形態で用いられる異常検知装置５１の構成例を示す図である。
図１４において、図６と同様の構成については図６と同一の符号を付して説明を省略する。
異常検知装置５１は、画像処理装置１ｂと、車両機器２とで構成される。ここでは、画像処理装置１ｂと車両機器２が互いに接続されている関係となっているが、画像処理装置１ｂが車両機器２に搭載される形式となっていてもよい。
（画像処理装置１ｂ）
画像処理装置１ｂは、処理部１００で抽出された生体情報を基に、ドライバの異常を検知する異常検知処理部１４１がＣＰＵ１０２によって実行されている点が図６と異なっている。異常検知処理部１４１が行う処理については後記する。なお、異常検知処理部１４１が車両機器２に搭載されてもよい。
画像処理装置１ｂは、処理部１００で抽出された生体情報を基に、ドライバの異常を検知する異常検知処理部１４１がＣＰＵ１０２によって実行されている点が図６と異なっている。異常検知処理部１４１が行う処理については後記する。なお、異常検知処理部１４１が車両機器２に搭載されてもよい。
（車両機器２）
車両機器２は車両５２（図１３参照）に標準的に搭載されている機器である。車両機器２は、ＣＰＵ２０１、スピーカ２０２、表示装置２０３を有している。また、車両機器２は、時計２０４、ＧＰＳ（Global Positioning System）信号受信装置２０５、ジャイロセンサ２０６及び車両制御装置２０７及び送受信装置２０８を有している。
このうちＧＰＳ信号受信装置２０５はＧＰＳ用人工衛星（不図示）から発信されるＧＰＳ信号を受信する。
ジャイロセンサ２０６は車両５２の姿勢を検知する。
車両制御装置２０７は、画像処理装置１ｂがドライバの異常を検知すると、自律運転によって車両５２を安全な場所に停車させる。
車両機器２は車両５２（図１３参照）に標準的に搭載されている機器である。車両機器２は、ＣＰＵ２０１、スピーカ２０２、表示装置２０３を有している。また、車両機器２は、時計２０４、ＧＰＳ（Global Positioning System）信号受信装置２０５、ジャイロセンサ２０６及び車両制御装置２０７及び送受信装置２０８を有している。
このうちＧＰＳ信号受信装置２０５はＧＰＳ用人工衛星（不図示）から発信されるＧＰＳ信号を受信する。
ジャイロセンサ２０６は車両５２の姿勢を検知する。
車両制御装置２０７は、画像処理装置１ｂがドライバの異常を検知すると、自律運転によって車両５２を安全な場所に停車させる。
＜フローチャート＞
図１５は、第３実施形態で行われる異常検知処理の手順を示すフローチャートである。適宜、図１３及び図１４を参照する。
異常検知処理部１４１は、過去Ｎ回の生体値の平均値を算出する（Ｓ３０１）。生体値とは、生体情報に含まれる血圧値、脈拍値等である。
次に、処理部１００が図１０又は図１２の処理を行い、生体情報を取得する（Ｓ３０２）。
そして、異常検知処理部１４１は生体値が正常であるか否かを判定する（Ｓ３０３）。生体値が正常であるか否かは、ステップＳ３０２で取得した生体値がステップＳ３０１に対して所定値以上離れているか否か等である。所定値とは、例えば、２σ（σは標準偏差）等である。
図１５は、第３実施形態で行われる異常検知処理の手順を示すフローチャートである。適宜、図１３及び図１４を参照する。
異常検知処理部１４１は、過去Ｎ回の生体値の平均値を算出する（Ｓ３０１）。生体値とは、生体情報に含まれる血圧値、脈拍値等である。
次に、処理部１００が図１０又は図１２の処理を行い、生体情報を取得する（Ｓ３０２）。
そして、異常検知処理部１４１は生体値が正常であるか否かを判定する（Ｓ３０３）。生体値が正常であるか否かは、ステップＳ３０２で取得した生体値がステップＳ３０１に対して所定値以上離れているか否か等である。所定値とは、例えば、２σ（σは標準偏差）等である。
ステップＳ３０３の結果、正常である場合（Ｓ３０３→Ｙｅｓ）、異常検知処理部１４１はステップＳ３０１へ処理を戻す。
ステップＳ３０３の結果、正常ではない場合（Ｓ３０３→Ｎｏ）、異常検知処理部１４１はステップＳ３０２で所得された生体をＮＧ値として記憶装置１０４に保存する（Ｓ３１１）。
そして、異常検知処理部１４１は、ステップＳ３０３で正常ではないと判定されたのがＮ回連続であるか否かを判定する（Ｓ３１２）。
ステップＳ３１２の結果、ステップＳ３０３で正常ではないと判定されたのがＮ回連続ではない場合（Ｓ３１２→Ｎｏ）、異常検知処理部１４１はステップＳ３０１へ処理を戻す。
ステップＳ３０３の結果、正常ではない場合（Ｓ３０３→Ｎｏ）、異常検知処理部１４１はステップＳ３０２で所得された生体をＮＧ値として記憶装置１０４に保存する（Ｓ３１１）。
そして、異常検知処理部１４１は、ステップＳ３０３で正常ではないと判定されたのがＮ回連続であるか否かを判定する（Ｓ３１２）。
ステップＳ３１２の結果、ステップＳ３０３で正常ではないと判定されたのがＮ回連続ではない場合（Ｓ３１２→Ｎｏ）、異常検知処理部１４１はステップＳ３０１へ処理を戻す。
ステップＳ３１２の結果、ステップＳ３０３で正常ではないと判定されたのがＮ回連続である場合（Ｓ３１２→Ｙｅｓ）、異常検知処理部１４１は車両機器２にドライバの状態が異常である旨を通知する。
車両機器２のＣＰＵ２０１は、ドライバの状態が異常である旨を表示装置２０３に出力（警告出力）させる（Ｓ３２１）。出力は、スピーカ２０２からの呼びかけ等としてもよい。
さらに、ＣＰＵ２０１は車両制御装置２０７に車両５２に対して緊急停止処理を行わせる（Ｓ３２２）。緊急停止処理は、路肩等へ移動後停止する処理等である。
そして、ＣＰＵ２０１は、送受信装置２０８を介してクラウド経由で管理会社サーバ５３や、保険会社サーバ５４へ異常発生情報を送信する（Ｓ３２３）。
その後、管理会社のオペレータによる状態確認が行われる（Ｓ３２４）。オペレータによる状態確認とは、テレビ電話等を介してオペレータがドライバに話しかけることである。
車両機器２のＣＰＵ２０１は、ドライバの状態が異常である旨を表示装置２０３に出力（警告出力）させる（Ｓ３２１）。出力は、スピーカ２０２からの呼びかけ等としてもよい。
さらに、ＣＰＵ２０１は車両制御装置２０７に車両５２に対して緊急停止処理を行わせる（Ｓ３２２）。緊急停止処理は、路肩等へ移動後停止する処理等である。
そして、ＣＰＵ２０１は、送受信装置２０８を介してクラウド経由で管理会社サーバ５３や、保険会社サーバ５４へ異常発生情報を送信する（Ｓ３２３）。
その後、管理会社のオペレータによる状態確認が行われる（Ｓ３２４）。オペレータによる状態確認とは、テレビ電話等を介してオペレータがドライバに話しかけることである。
また、保険会社は、異常発生情報を基に保険の設定見直し等を行う。
第３実施形態によれば、画像処理装置１ｂが用いられることにより、異常検知の精度を向上させることができる。また、ステップＳ３１２で、画像処理装置１ｂはＮ回連続した場合、異常検知を出力することによって、生体情報が偶然異常となったときに異常検知の出力を行うことを防止することができる。
また、画像処理装置１ｂが車両５２に搭載されることにより、ドライバの健康状態を監視することが可能となる。
また、画像処理装置１ｂが車両５２に搭載されることにより、ドライバの健康状態を監視することが可能となる。
［第４実施形態］
＜ストレス環境管理システムＺｂ＞
図１６は、第４実施形態で用いられるストレス環境管理システムＺｂの構成を示す図である。
ストレス環境管理システム（画像処理システム）Ｚｂは、複数の車両５２それぞれに搭載されている異常検知装置５１ａが検知したストレス情報がクラウドサービス５５を介して管理会社サーバ５３や、保険会社サーバ５４に集められる。
ここで、ストレス情報は、位置情報と対応付けられており、管理会社や、保険会社は、どこで多くの人がストレスを感じているかを把握することができる。このような情報は、警告区間の設定や、保険料の設定に利用される。
＜ストレス環境管理システムＺｂ＞
図１６は、第４実施形態で用いられるストレス環境管理システムＺｂの構成を示す図である。
ストレス環境管理システム（画像処理システム）Ｚｂは、複数の車両５２それぞれに搭載されている異常検知装置５１ａが検知したストレス情報がクラウドサービス５５を介して管理会社サーバ５３や、保険会社サーバ５４に集められる。
ここで、ストレス情報は、位置情報と対応付けられており、管理会社や、保険会社は、どこで多くの人がストレスを感じているかを把握することができる。このような情報は、警告区間の設定や、保険料の設定に利用される。
＜異常検知装置５１ａ＞
図１７は、第４実施形態で用いられる異常検知装置５１ａの構成例を示す図である。
図１７において、図１４と同様の構成については図１４と同一の符号を付して説明を省略する。
異常検知装置５１ａは、画像処理装置１ｃと、車両機器２とで構成される。ここでは、画像処理装置１ｃと車両機器２が互いに接続されている関係となっているが、画像処理装置１ｃが車両機器２に搭載される形式となっていてもよい。
図１７は、第４実施形態で用いられる異常検知装置５１ａの構成例を示す図である。
図１７において、図１４と同様の構成については図１４と同一の符号を付して説明を省略する。
異常検知装置５１ａは、画像処理装置１ｃと、車両機器２とで構成される。ここでは、画像処理装置１ｃと車両機器２が互いに接続されている関係となっているが、画像処理装置１ｃが車両機器２に搭載される形式となっていてもよい。
（画像処理装置１ｃ）
画像処理装置１ｃは、ストレス度処理部１４２及び外部環境処理部１４３がＣＰＵ１０２によって実行されている点が図６と異なっている。また、画像処理装置１ｃは、異常検知処理部１４１（図１４参照）の代わりにストレス度処理部１４２及び外部環境処理部１４３がＣＰＵ１０２が備わっている点が図１４と異なっている。
ストレス度処理部１４２は、処理部１００で抽出された生体情報を基に、ドライバの疲労度や、緊張度といったストレス度を算出する。
外部環境処理部１４３は、ストレス度処理部１４２がストレス度を算出したときの車両５２の位置等を検出する。
ストレス度処理部１４２及び外部環境処理部１４３が行う処理については後記する。
また、車両機器２は図１４に示すものと同じであるので、ここでの説明を省略する。
なお、ストレス度処理部１４２及び外部環境処理部１４３が車両機器２に搭載されてもよい。
画像処理装置１ｃは、ストレス度処理部１４２及び外部環境処理部１４３がＣＰＵ１０２によって実行されている点が図６と異なっている。また、画像処理装置１ｃは、異常検知処理部１４１（図１４参照）の代わりにストレス度処理部１４２及び外部環境処理部１４３がＣＰＵ１０２が備わっている点が図１４と異なっている。
ストレス度処理部１４２は、処理部１００で抽出された生体情報を基に、ドライバの疲労度や、緊張度といったストレス度を算出する。
外部環境処理部１４３は、ストレス度処理部１４２がストレス度を算出したときの車両５２の位置等を検出する。
ストレス度処理部１４２及び外部環境処理部１４３が行う処理については後記する。
また、車両機器２は図１４に示すものと同じであるので、ここでの説明を省略する。
なお、ストレス度処理部１４２及び外部環境処理部１４３が車両機器２に搭載されてもよい。
＜フローチャート＞
図１８は、第４実施形態で行われる異常処理の手順を示すフローチャートである。
まず、図１０又は図１２の処理が行われることで生体情報が取得される（Ｓ４０１）。
次に、外部環境処理部１４３が、ＧＰＳ信号受信装置２０５が受信したＧＰＳ信号や、ジャイロセンサ２０６から受信したジャイロ信号等を共に、車両５２の現在情報を特定する（Ｓ４０２）。現在情報は、現在時刻、車両５２の現在位置、車両５２の向き等を含む情報である。なお、車両５２の現在位置及び向きは、すなわちカメラ１０５で撮像される人物の現在位置及び向きである。
そして、ストレス度処理部１４２は、ステップＳ４０１及びステップＳ４０２の処理がＭ回以上実施されたか否かを判定する（Ｓ４０３）。
ステップＳ４０３の結果、ステップＳ４０１及びステップＳ４０２の処理がＭ回以上行われていない場合（Ｓ４０３→Ｎｏ）、ストレス度処理部１４２はステップＳ４０１へ処理を戻す。
図１８は、第４実施形態で行われる異常処理の手順を示すフローチャートである。
まず、図１０又は図１２の処理が行われることで生体情報が取得される（Ｓ４０１）。
次に、外部環境処理部１４３が、ＧＰＳ信号受信装置２０５が受信したＧＰＳ信号や、ジャイロセンサ２０６から受信したジャイロ信号等を共に、車両５２の現在情報を特定する（Ｓ４０２）。現在情報は、現在時刻、車両５２の現在位置、車両５２の向き等を含む情報である。なお、車両５２の現在位置及び向きは、すなわちカメラ１０５で撮像される人物の現在位置及び向きである。
そして、ストレス度処理部１４２は、ステップＳ４０１及びステップＳ４０２の処理がＭ回以上実施されたか否かを判定する（Ｓ４０３）。
ステップＳ４０３の結果、ステップＳ４０１及びステップＳ４０２の処理がＭ回以上行われていない場合（Ｓ４０３→Ｎｏ）、ストレス度処理部１４２はステップＳ４０１へ処理を戻す。
ステップＳ４０３の結果、ステップＳ４０１及びステップＳ４０２の処理がＭ回以上行われている場合（Ｓ４０３→Ｙｅｓ）、ストレス度処理部１４２はストレス度を算出する（Ｓ４１１）。ストレス度は蓄積された生体値から疲労度、緊張度等から算出される。ストレス度の算出は、脈拍及び／又は血圧が所定値以上となった場合にドライバが強いストレスを感じているとする。
そして、外部環境処理部１４３は、ステップＳ４０２で特定した現在位置と、地図データとのマッチングを行うことで、疲労、緊張の高い外部環境を特定する（Ｓ４１２）。
その後、ストレス度処理部１４２はステップＳ４１２で特定した外部環境に関する情報（外部環境情報）と、ストレス度をクラウド経由で管理会社サーバ５３や、保険会社サーバ５４へ送信する（Ｓ４１３）。この送信は、画像処理装置１ｃの送受信装置１０３が行ってもよいし、車両機器２の送受信装置２０８が行ってもよい。
そして、管理会社サーバ５３は、他の車両５２から収集した疲労、緊張の高い外部環境等を基に、疲労、緊張が高い傾向にある外部環境を情報共有レポートとして出力する（Ｓ４１４）。
そして、外部環境処理部１４３は、ステップＳ４０２で特定した現在位置と、地図データとのマッチングを行うことで、疲労、緊張の高い外部環境を特定する（Ｓ４１２）。
その後、ストレス度処理部１４２はステップＳ４１２で特定した外部環境に関する情報（外部環境情報）と、ストレス度をクラウド経由で管理会社サーバ５３や、保険会社サーバ５４へ送信する（Ｓ４１３）。この送信は、画像処理装置１ｃの送受信装置１０３が行ってもよいし、車両機器２の送受信装置２０８が行ってもよい。
そして、管理会社サーバ５３は、他の車両５２から収集した疲労、緊張の高い外部環境等を基に、疲労、緊張が高い傾向にある外部環境を情報共有レポートとして出力する（Ｓ４１４）。
例えば、管理会社は、複数の車両５２に搭載されている異常検知装置５１ａから収集する。そして、管理会社は、収集したストレス度と、ストレスを感じた位置情報とを基に、多くのドライバがストレスを強く感じる区間等を特定する。そして、管理会社は、この区間をドライバに配布することで、ストレスを強く感じる区間に対する警戒を促すことができる。
また、保険会社は、ストレスを強く感じる区間を多く走るドライバの保険料を高く設定する。
このように、第４実施形態によれば、ストレスを感じる区間を特定することができる。
また、保険会社は、ストレスを強く感じる区間を多く走るドライバの保険料を高く設定する。
このように、第４実施形態によれば、ストレスを感じる区間を特定することができる。
［第５実施形態］
＜在宅監視装置６１＞
図１９は第５実施形態で用いられる在宅監視装置６１の構成を示す図である。
図１９において、図１４と同様の構成については同一の符号を付して説明を省略する。
在宅監視装置（画像処理システム）６１は、画像処理装置１ｂ及び家電機器３を有する。ここでは、画像処理装置１ｂと家電機器３とが接続されているが、家電機器３に画像処理装置１ｂが搭載されている形式としてもよい。
ここで、画像処理装置１ｂは図１４に示すものと同じであるので、ここでの説明を省略する。
＜在宅監視装置６１＞
図１９は第５実施形態で用いられる在宅監視装置６１の構成を示す図である。
図１９において、図１４と同様の構成については同一の符号を付して説明を省略する。
在宅監視装置（画像処理システム）６１は、画像処理装置１ｂ及び家電機器３を有する。ここでは、画像処理装置１ｂと家電機器３とが接続されているが、家電機器３に画像処理装置１ｂが搭載されている形式としてもよい。
ここで、画像処理装置１ｂは図１４に示すものと同じであるので、ここでの説明を省略する。
（家電機器３）
家電機器３は、エアコンや、インタフォン等といった家電製品である。
家電機器３は、メモリ３０１、ＣＰＵ３０２、カメラ３０３、時計３０４、スピーカ３０５、表示装置３０６、機器制御装置３０７及び送受信装置３０８を有する。なお、家電機器３は、カメラ３０３、時計３０４、スピーカ３０５、表示装置３０６のすべてを備えたものでなくてもよい。また、家電機器３にカメラ３０３が備えられている場合、画像処理装置１ｂのカメラ１０５（赤外線カメラ１０６）が省略されてもよい。
家電機器３は、エアコンや、インタフォン等といった家電製品である。
家電機器３は、メモリ３０１、ＣＰＵ３０２、カメラ３０３、時計３０４、スピーカ３０５、表示装置３０６、機器制御装置３０７及び送受信装置３０８を有する。なお、家電機器３は、カメラ３０３、時計３０４、スピーカ３０５、表示装置３０６のすべてを備えたものでなくてもよい。また、家電機器３にカメラ３０３が備えられている場合、画像処理装置１ｂのカメラ１０５（赤外線カメラ１０６）が省略されてもよい。
なお、第５実施形態の在宅監視装置６１の処理は、図１５の処理において、ステップＳ３２２の処理が省略され、車両機器２（図１４参照）の処理が家電機器３に置き換わったものであるので、ここでの説明を省略する。
画像処理装置１ｂが異常を検知すると、家電機器３は管理会社への通知等を行う。
画像処理装置１ｂが異常を検知すると、家電機器３は管理会社への通知等を行う。
第５実施形態によれば、家電機器３を利用した居住者の健康監視が可能となる。また、例えば、家電機器３が空調であれば、画像処理装置１ｂが異常を検知すると機器制御装置３０７が温度調節を行う等といった処理を行ってもよい。
生体情報は、呼吸状態等が含まれてもよい。
なお、補正は所定時間毎に行われるのが望ましい。例えば、図１０のステップＳ１２５において補正情報が得られると、画像補正部１１２は、それ以降取得される顔画像１２に対して、得られた補正情報を適用し続ける。そして、所定時間経過後、新たな補正情報が得られると、画像補正部１１２は、それ以降取得される顔画像１２に対して、得られた補正情報を適用し続ける。
なお、補正は所定時間毎に行われるのが望ましい。例えば、図１０のステップＳ１２５において補正情報が得られると、画像補正部１１２は、それ以降取得される顔画像１２に対して、得られた補正情報を適用し続ける。そして、所定時間経過後、新たな補正情報が得られると、画像補正部１１２は、それ以降取得される顔画像１２に対して、得られた補正情報を適用し続ける。
また、本実施形態では、瞳孔の大きさに関する情報として、瞳孔サイズ比Ｐ／Ｐｒが用いられているが、これに限らない。例えば、Ｐｒ／Ｐが用いられてもよいし、現在の瞳孔サイズＰが用いられてもよい。また、Ｐ（ｔ）−Ｐ（ｔ−１）が瞳孔の大きさに関する情報として用いられてもよい。ここで、Ｐ（ｔ）は時刻ｔにおける瞳孔の大きさである。
また、図１０や、図１２のステップＳ１１３で有効判定処理部１２１は「まぶたが閉じているか否か」で取得された顔画像１２が有効か否かを判定しているが、これに加えて、以下の判定が行われてもよい。すなわち、有効判定処理部１２１は「所定時間まぶたが閉じたままか否か」を判定することによって、ドライバ（ユーザ）が眠気を催しているか否かを判定してもよい。ドライバ（ユーザ）が眠気を催していると判定した場合、スピーカ２０２等の音量を大きくする等の処理が行われてもよい。
本発明は前記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を有するものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、前記した各構成、機能、各部１〜３、記憶部５等は、それらの一部又はすべてを、例えば集積回路で設計すること等によりハードウェアで実現してもよい。また、図４に示すように、前記した各構成、機能等は、ＣＰＵ１０２等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、ＨＤ（Hard Disk）に格納すること以外に、メモリ１０１や、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カードや、ＳＤ（Secure Digital）カード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に格納することができる。
また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。
また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。
１，１ｂ，１ｃ 画像処理装置
２ 車両機器
３ 家電機器
１１ 瞳孔画像
１２ 顔画像
１３ 肌画像
２１〜２３ 変換線（変換情報）
５１，５１ａ 異常検知装置
５２ 車両
５３ 管理会社サーバ
５４ 保険会社サーバ
５５ クラウドサービス
６１ 在宅監視装置（画像処理システム）
１００ 処理部
１０４ 記憶装置
１０５，３０３ カメラ
１０６ 赤外線カメラ（カメラ）
１１０ 画像処理部
１１１ 濃度ヒストグラム生成部
１１２ 画像補正部
１２０ 瞳孔サイズ関連処理部（瞳孔情報取得部）
１２１ 瞳孔サイズ比算出処理部
１２２ 有効判定処理部
１３１ 生体情報抽出部
１３２ 肌情報処理部
２０２，３０５ スピーカ
２０３，３０６ 表示装置
２０５ ＧＰＳ信号受信装置
２０６ ジャイロセンサ
２０７ 車両制御装置
３０７ 機器制御装置
Ｚａ，Ｚｂ 異常検知システム（画像処理システム）
２ 車両機器
３ 家電機器
１１ 瞳孔画像
１２ 顔画像
１３ 肌画像
２１〜２３ 変換線（変換情報）
５１，５１ａ 異常検知装置
５２ 車両
５３ 管理会社サーバ
５４ 保険会社サーバ
５５ クラウドサービス
６１ 在宅監視装置（画像処理システム）
１００ 処理部
１０４ 記憶装置
１０５，３０３ カメラ
１０６ 赤外線カメラ（カメラ）
１１０ 画像処理部
１１１ 濃度ヒストグラム生成部
１１２ 画像補正部
１２０ 瞳孔サイズ関連処理部（瞳孔情報取得部）
１２１ 瞳孔サイズ比算出処理部
１２２ 有効判定処理部
１３１ 生体情報抽出部
１３２ 肌情報処理部
２０２，３０５ スピーカ
２０３，３０６ 表示装置
２０５ ＧＰＳ信号受信装置
２０６ ジャイロセンサ
２０７ 車両制御装置
３０７ 機器制御装置
Ｚａ，Ｚｂ 異常検知システム（画像処理システム）
Claims (12)
- 可視光領域から赤外線領域によって、少なくとも目の画像を含むとともに、肌の画像を含む顔画像を撮像するカメラと、
前記カメラで撮像された前記顔画像を基に、瞳孔の大きさに関する情報を取得する瞳孔情報取得部と、
前記瞳孔情報取得部で取得された前記瞳孔の大きさに関する情報を基に、前記カメラで撮像された前記顔画像の補正を行う画像補正部と、
補正された顔画像における前記肌の画像を基に、脈拍及び血圧を少なくとも含む生体情報を抽出する生体情報抽出部と、
を有し、
前記画像補正部は、
前記瞳孔の大きさが大きくなればなるほど、前記顔画像の全体の濃度を明るくし、前記瞳孔の大きさが小さくなればなるほど、前記顔画像の全体の濃度を暗くする
ことを特徴とする画像処理装置。 - 前記瞳孔の大きさに関する情報と、画素の濃度の変換情報とが対応付けられて記憶部に格納されており、
前記画像補正部は、
前記取得された瞳孔の大きさに関する情報を基に、前記瞳孔の大きさに関する情報と、画素の濃度の変換情報とに基づいて、前記顔画像の画素の濃度を変換する
ことを特徴とする請求項１に記載の画像処理装置。 - 予め取得された肌の色の濃度に関する情報が記憶部に格納されており、
前記肌の色の濃度に関する情報と、前記顔画像の肌の濃度に関する情報を基に、前記顔画像の濃度を補正する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記顔画像を基に、まぶたが閉じている場合、前記瞳孔情報取得部と、前記画像補正部は処理を行わない
ことを特徴とする請求項１に記載の画像処理装置。 - 過去において検出された前記生体情報を記憶する記憶部と、
前記過去の生体情報と、取得された前記生体情報とを比較することで前記生体情報の異常を検知する異常検知部と、
を有することを特徴とする請求項１に記載の画像処理装置。 - 前記異常検知部は、
前記生体情報の異常を所定回数にわたって、連続して検知した場合、前記異常の検知を出力する
ことを特徴とする請求項５に記載の画像処理装置。 - 前記カメラによる撮像対象となる人物の位置情報を取得する位置情報取得部と、
前記異常を検知した際の前記位置情報を前記記憶部に記憶する位置記憶部と、
を有することを請求項５に記載の画像処理装置。 - 可視光領域から赤外線領域によって、少なくとも目の画像を含むとともに、肌の画像を含む顔画像を撮像するカメラと、
前記カメラで撮像された前記顔画像を基に、瞳孔の大きさに関する情報を取得する瞳孔情報取得部と、
前記瞳孔情報取得部で取得された前記瞳孔の大きさに関する情報を基に、前記カメラで撮像された前記顔画像の補正を行う画像補正部と、
補正された顔画像における前記肌の画像を基に、脈拍及び血圧を少なくとも含む生体情報を抽出する生体情報抽出部と、
を有し、
前記画像補正部は、
前記瞳孔の大きさが大きくなればなるほど、前記顔画像の全体の濃度を明るくし、前記瞳孔の大きさが小さくなればなるほど、前記顔画像の全体の濃度を暗くする
ことを特徴とする画像処理システム。 - 過去において検出された前記生体情報を記憶する記憶部と、
前記過去の生体情報と、取得された前記生体情報とを比較することで前記生体情報の異常を検知する異常検知部と、
検知した前記異常を通知する通知部と、
を有することを特徴とする請求項８に記載の画像処理システム。 - 前記カメラは、車両に備えられている
ことを特徴とする請求項８に記載の画像処理システム。 - 前記カメラは、家電機器に備えられている
ことを特徴とする請求項８に記載の画像処理システム。 - 可視光領域から赤外線領域によって、少なくとも目の画像を含むとともに、肌の画像を含む顔画像を撮像するカメラを有する画像処理装置が、
前記カメラで撮像された前記顔画像を基に、瞳孔の大きさに関する情報を取得し、
前記瞳孔の大きさが大きくなればなるほど、前記顔画像の全体の濃度を明るくし、前記瞳孔の大きさが小さくなればなるほど、前記顔画像の全体の濃度を暗くすることで、取得された前記瞳孔の大きさに関する情報を基に、前記カメラで撮像された前記顔画像の補正を行い、
補正された顔画像における前記肌の画像を基に、脈拍及び血圧を少なくとも含む生体情報を抽出する
ことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017057356A JP6796525B2 (ja) | 2017-03-23 | 2017-03-23 | 画像処理装置、画像処理システム及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017057356A JP6796525B2 (ja) | 2017-03-23 | 2017-03-23 | 画像処理装置、画像処理システム及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018160128A JP2018160128A (ja) | 2018-10-11 |
| JP6796525B2 true JP6796525B2 (ja) | 2020-12-09 |
Family
ID=63796673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017057356A Active JP6796525B2 (ja) | 2017-03-23 | 2017-03-23 | 画像処理装置、画像処理システム及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6796525B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7372210B2 (ja) | 2020-06-03 | 2023-10-31 | ヤフー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| CN112616227B (zh) * | 2020-12-17 | 2023-05-16 | 内蒙古农业大学 | 基于驾驶员瞳孔变化特征的隧道灯光调节系统及方法 |
| JPWO2022264218A1 (ja) * | 2021-06-14 | 2022-12-22 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012104879A (ja) * | 2010-11-05 | 2012-05-31 | Canon Inc | 画像撮像装置、画像表示装置、画像処理方法、画像処理プログラム、および画像撮像表示装置 |
| JP2014180305A (ja) * | 2013-03-18 | 2014-09-29 | Funai Electric Co Ltd | 情報端末装置 |
| JP6308161B2 (ja) * | 2015-03-31 | 2018-04-11 | 株式会社エクォス・リサーチ | 脈波検出装置、及び脈波検出プログラム |
| WO2016163019A1 (ja) * | 2015-04-10 | 2016-10-13 | 株式会社日立製作所 | 生体情報分析システム |
-
2017
- 2017-03-23 JP JP2017057356A patent/JP6796525B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018160128A (ja) | 2018-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107427242B (zh) | 脉波检测装置、以及脉波检测程序 | |
| US8369608B2 (en) | System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions | |
| US7336804B2 (en) | Method and apparatus for detection of drowsiness and quantitative control of biological processes | |
| CN112016457A (zh) | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 | |
| WO2016006027A1 (ja) | 脈波検出方法、脈波検出プログラム及び脈波検出装置 | |
| US10478079B2 (en) | Pulse estimation device, pulse estimation system, and pulse estimation method | |
| JP6796525B2 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
| KR100822476B1 (ko) | 원격 응급상황 모니터링 시스템 및 방법 | |
| CN114648749A (zh) | 一种生理状态检测方法、装置、电子设备及存储介质 | |
| JP2016193022A (ja) | 脈波検出装置、及び脈波検出プログラム | |
| JP2021019940A (ja) | 生体情報抽出装置 | |
| CN114863399A (zh) | 一种生理状态检测方法、装置、电子设备及存储介质 | |
| CN114663865A (zh) | 一种生理状态检测方法、装置、电子设备及存储介质 | |
| JP6400258B1 (ja) | 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム | |
| JP2022012829A (ja) | ドライバモニタ装置及びドライバモニタ方法 | |
| US20220167880A1 (en) | Patient position monitoring methods and systems | |
| JPWO2020255238A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| US20240071107A1 (en) | System and method for non-invasive operator health monitoring | |
| WO2023103295A1 (zh) | 生理状态检测方法、装置、电子设备、存储介质和计算机程序产品 | |
| EP4328871A1 (en) | System and method for non-invasive operator health monitoring | |
| CN113879321B (zh) | 驾驶员监视装置及驾驶员监视方法 | |
| KR102473744B1 (ko) | 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법 | |
| US20230300296A1 (en) | Watching monitoring device and watching monitoring method | |
| US20220415513A1 (en) | System and method for predicting diabetic retinopathy progression | |
| US20240153285A1 (en) | Prediction of human subject state via hybrid approach including ai classification and blepharometric analysis, including driver monitoring systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190325 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200407 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201116 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6796525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |