JP7453192B2 - ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法 - Google Patents
ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP7453192B2 JP7453192B2 JP2021156306A JP2021156306A JP7453192B2 JP 7453192 B2 JP7453192 B2 JP 7453192B2 JP 2021156306 A JP2021156306 A JP 2021156306A JP 2021156306 A JP2021156306 A JP 2021156306A JP 7453192 B2 JP7453192 B2 JP 7453192B2
- Authority
- JP
- Japan
- Prior art keywords
- image area
- user
- information
- size
- predetermined range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 10
- 239000004984 smart glass Substances 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 25
- 230000001133 acceleration Effects 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000000474 nursing effect Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 5
- 208000024891 symptom Diseases 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 229940079593 drug Drugs 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 235000012054 meals Nutrition 0.000 description 4
- 238000003287 bathing Methods 0.000 description 3
- 230000036571 hydration Effects 0.000 description 3
- 238000006703 hydration reaction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 235000021152 breakfast Nutrition 0.000 description 2
- 230000013872 defecation Effects 0.000 description 2
- 230000029142 excretion Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明は、物体認識に基づく情報をユーザに提示する技術に関する。特に、スマートグラスやスマートフォンに適する。
スマートグラスは、拡張現実(Augmented Reality)ウェアラブルコンピュータとしてのシースルー型の眼鏡である。これは、ユーザ（装着者）の視界前方に装着され、レンズに対する投射型ディスプレイを搭載する。装着者から見ると、非現実空間を表示する仮想現実(Virtual Reality)と異なって、現実空間の視界に重畳的に情報が表示される。
近年、高齢者介護施設や医療機関では、被介護者の増加や介護者の人手不足に伴って、介護サービスの質の低下が社会的課題となっている。特に介護者は、被介護者毎に異なる応対をする必要がある。特に、多数の被介護者が入居する施設では、介護者が、被介護者各々の個人情報（例えば介護に必要な症状等の情報）を覚えきれないことは当然である。
これに対し、介護者がスマートグラスを装着し、そのレンズに、ハンズフリーで被介護者の個人情報を表示する技術がある（例えば非特許文献１参照）。この技術によれば、スマートグラスのカメラで撮影された被介護者の顔画像から、その被介護者を同定し、その被介護者の個人情報をレンズに直ぐに映し出すことができる。そのために、被介護者は、個人認識用の無線タグやマーカを装着する必要もない。
図１は、スマートグラスを通した視界を表す説明図である。
例えば介護現場で、介護者がスマートグラス１を装着しているとする。このとき、介護者（装着者）は、スマートグラス１のレンズを通した視界に、被介護者を見ると同時に、レンズに映し出されたその被介護者の「個人情報」を見ることができる。これによって、介護者は、ハンズフリーで被介護者の個人情報を読み取りながら、介護作業を進めることができる。
KDDI総合研究所・善光会 ニュースリリース「KDDI総合研究所と善光会、ARメガネを活用したハンズフリー介護作業支援システムを開発」(2021年2月2日)、[online]、［令和３年８月３０日検索］、インターネット＜URL:https://www.kddi-research.jp/newsrelease/2021/020201.html＞
「内部パラメータ(焦点距離)の単位の話 ～pixelとmmの変換～」、[online]、［令和３年９月１７日検索］、インターネット＜URL:https://mem-archive.com/2018/02/25/post-201/＞
「画像から3次元データを復元する技術の調査 三次元座標の算出の原理 ～エピポーラ幾何＆カメラ姿勢の推定～」、[online]、［令和３年９月１７日検索］、インターネット＜URL: https://qiita.com/akaiteto/items/f5857c7774794a6e5f5e＞
前述した非特許文献１に記載の技術によれば、カメラによって撮影された映像に、複数の対人や対象物が映り込んでいる場合、画像領域のサイズが最も大きい物体画像、又は、正面に映り込む物体画像について、その物体を認識しようとするものである。
これに対し、本願の発明者らは、カメラを搭載した携帯装置の動的状態によっては、映像に映り込む複数の物体の中で、ユーザが注目すべき物体が異なるのではないか、と考えた。即ち、携帯装置の動的状態と連動して、ユーザが注目すべき物体を選択し、その上で、その物体に関連する情報をユーザに表示すべきではないか、と考えた。
これに対し、本願の発明者らは、カメラを搭載した携帯装置の動的状態によっては、映像に映り込む複数の物体の中で、ユーザが注目すべき物体が異なるのではないか、と考えた。即ち、携帯装置の動的状態と連動して、ユーザが注目すべき物体を選択し、その上で、その物体に関連する情報をユーザに表示すべきではないか、と考えた。
そこで、本発明は、ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法を提供することを目的とする。
本発明によれば、ユーザの視界の映像を撮影するカメラと、ユーザの視界に提示情報を映し出すシースルー型のディスプレイとを有するスマートグラスの携帯装置において、
物体ＩＤ（識別子）毎に、提示情報を対応付けて予め記憶した提示情報記憶手段と、
映像から物体の画像領域を認識し、当該画像領域のサイズを検出し、当該画像領域から物体ＩＤを特定する物体認識手段と、
当該携帯装置が移動中か否かを検知する移動検知手段と、
停止中の場合、画像領域のサイズが第１の所定範囲以上となる物体ＩＤを選択し、移動中の場合、画像領域のサイズが第２の所定範囲以下となる物体ＩＤを選択する物体ＩＤ選択手段と、
選択された物体ＩＤに対応する提示情報を、ユーザに提示する提示手段と
を有することを特徴とする。
物体ＩＤ（識別子）毎に、提示情報を対応付けて予め記憶した提示情報記憶手段と、
映像から物体の画像領域を認識し、当該画像領域のサイズを検出し、当該画像領域から物体ＩＤを特定する物体認識手段と、
当該携帯装置が移動中か否かを検知する移動検知手段と、
停止中の場合、画像領域のサイズが第１の所定範囲以上となる物体ＩＤを選択し、移動中の場合、画像領域のサイズが第２の所定範囲以下となる物体ＩＤを選択する物体ＩＤ選択手段と、
選択された物体ＩＤに対応する提示情報を、ユーザに提示する提示手段と
を有することを特徴とする。
本発明の携帯装置における他の実施形態によれば、
物体ＩＤは、個人ＩＤであり、
提示情報は、個人情報であり、
物体認識手段における画像領域は、顔領域である
ことも好ましい。
物体ＩＤは、個人ＩＤであり、
提示情報は、個人情報であり、
物体認識手段における画像領域は、顔領域である
ことも好ましい。
本発明の携帯装置における他の実施形態によれば、
第１の所定範囲及び第２の所定範囲は、被写体との間の距離に基づくものであり、被写体との間の距離が遠いほど画像領域のサイズが小さくなり、被写体との間の距離が近いほど画像領域のサイズが大きくなる
ことも好ましい。
第１の所定範囲及び第２の所定範囲は、被写体との間の距離に基づくものであり、被写体との間の距離が遠いほど画像領域のサイズが小さくなり、被写体との間の距離が近いほど画像領域のサイズが大きくなる
ことも好ましい。
本発明の携帯装置における他の実施形態によれば、
移動検知手段は、加速度センサであって、歩行中か否かを検知する
ことも好ましい。
移動検知手段は、加速度センサであって、歩行中か否かを検知する
ことも好ましい。
本発明の携帯装置における他の実施形態によれば、
音声出力するスピーカを更に有し、
提示手段は、文の提示情報を読み上げて、スピーカから音声出力する
ことも好ましい。
音声出力するスピーカを更に有し、
提示手段は、文の提示情報を読み上げて、スピーカから音声出力する
ことも好ましい。
本発明の携帯装置における他の実施形態によれば、
スピーカは、骨伝導スピーカである
ことも好ましい。
スピーカは、骨伝導スピーカである
ことも好ましい。
本発明によれば、ユーザの視界の映像を撮影するカメラと、ユーザの視界に提示情報を映し出すシースルー型のディスプレイとを有するスマートグラスの携帯装置に搭載されたコンピュータを機能させるプログラムにおいて、
物体ＩＤ（識別子）毎に、提示情報を対応付けて予め記憶した提示情報記憶手段と、
映像から物体の画像領域を認識し、当該画像領域のサイズを検出し、当該画像領域から物体ＩＤを特定する物体認識手段と、
当該携帯装置が移動中か否かを検知する移動検知手段と、
停止中の場合、画像領域のサイズが第１の所定範囲以上となる物体ＩＤを選択し、移動中の場合、画像領域のサイズが第２の所定範囲以下となる物体ＩＤを選択する物体ＩＤ選択手段と、
選択された物体ＩＤに対応する提示情報を、ユーザに提示する提示手段と
してコンピュータを機能させることを特徴とする。
物体ＩＤ（識別子）毎に、提示情報を対応付けて予め記憶した提示情報記憶手段と、
映像から物体の画像領域を認識し、当該画像領域のサイズを検出し、当該画像領域から物体ＩＤを特定する物体認識手段と、
当該携帯装置が移動中か否かを検知する移動検知手段と、
停止中の場合、画像領域のサイズが第１の所定範囲以上となる物体ＩＤを選択し、移動中の場合、画像領域のサイズが第２の所定範囲以下となる物体ＩＤを選択する物体ＩＤ選択手段と、
選択された物体ＩＤに対応する提示情報を、ユーザに提示する提示手段と
してコンピュータを機能させることを特徴とする。
本発明によれば、ユーザの視界の映像を撮影するカメラと、ユーザの視界に提示情報を映し出すシースルー型のディスプレイとを有するスマートグラスの携帯装置の情報提示方法において、
携帯装置は、
物体ＩＤ（識別子）毎に、提示情報を対応付けて予め記憶しており、
映像から物体の画像領域を認識し、当該画像領域のサイズを検出し、当該画像領域から物体ＩＤを特定する第１のステップと、
当該携帯装置が移動中か否かを検知する第２のステップと、
停止中の場合、画像領域のサイズが第１の所定範囲以上となる物体ＩＤを選択し、移動中の場合、画像領域のサイズが第２の所定範囲以下となる物体ＩＤを選択する第３のステップと、
選択された物体ＩＤに対応する提示情報を、ユーザに提示する第４のステップと
を実行することを特徴とする。
携帯装置は、
物体ＩＤ（識別子）毎に、提示情報を対応付けて予め記憶しており、
映像から物体の画像領域を認識し、当該画像領域のサイズを検出し、当該画像領域から物体ＩＤを特定する第１のステップと、
当該携帯装置が移動中か否かを検知する第２のステップと、
停止中の場合、画像領域のサイズが第１の所定範囲以上となる物体ＩＤを選択し、移動中の場合、画像領域のサイズが第２の所定範囲以下となる物体ＩＤを選択する第３のステップと、
選択された物体ＩＤに対応する提示情報を、ユーザに提示する第４のステップと
を実行することを特徴とする。
本発明の携帯装置、プログラム及び方法によれば、ユーザの動的状態に応じて物体認識に基づく情報を提示することができる。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
図２は、本発明におけるスマートグラスの機能構成図である。
スマートグラス１は、ユーザの視界に装着可能なシースルー型のものである。
図２によれば、スマートグラス１は、ハードウェアとして、レンズに情報を映し出すディスプレイ１０１と、対人や対象物を撮影するカメラ１０２と、装着者に音声を出力するスピーカ１０３とを搭載する。
また、スマートグラス１は、ソフトウェアとして、提示情報記憶部１００と、物体認識部１１と、移動検知部１２と、物体ＩＤ選択部１３と、提示部１４とを有する。これら機能構成部は、スマートグラスに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
図２によれば、スマートグラス１は、ハードウェアとして、レンズに情報を映し出すディスプレイ１０１と、対人や対象物を撮影するカメラ１０２と、装着者に音声を出力するスピーカ１０３とを搭載する。
また、スマートグラス１は、ソフトウェアとして、提示情報記憶部１００と、物体認識部１１と、移動検知部１２と、物体ＩＤ選択部１３と、提示部１４とを有する。これら機能構成部は、スマートグラスに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
［ディスプレイ１０１］
ディスプレイ１０１は、スマートグラス１の装着者の視界を通すレンズに、提示情報を映し出すことができる。これによって、装着者は、提示情報を視覚的に認識することができる。提示情報としては、一般的には文字であるが、勿論、画像や映像であってもよい。
ディスプレイ１０１は、スマートグラス１の装着者の視界を通すレンズに、提示情報を映し出すことができる。これによって、装着者は、提示情報を視覚的に認識することができる。提示情報としては、一般的には文字であるが、勿論、画像や映像であってもよい。
［カメラ１０２］
カメラ１０２は、スマートグラス１と一体的に構成されたものであってもよいし、又は、スマートグラス１の外部に接続されたものであってもよい。カメラ１０２は、装着者の視界の映像を撮影する。映像には、対人（例えば被介護者）が映り込む場合もあれば、物体（例えば施設設備）が映り込む場合もある。カメラ１０２は、撮影した映像を常時、物体認識部１１へ出力する。
カメラ１０２は、スマートグラス１と一体的に構成されたものであってもよいし、又は、スマートグラス１の外部に接続されたものであってもよい。カメラ１０２は、装着者の視界の映像を撮影する。映像には、対人（例えば被介護者）が映り込む場合もあれば、物体（例えば施設設備）が映り込む場合もある。カメラ１０２は、撮影した映像を常時、物体認識部１１へ出力する。
［スピーカ１０３］
スピーカ１０３は、スマートグラス１の装着者の聴覚へ、音声信号を出力するものである。音声信号は、ディスプレイ１０１に表示すべき文字を、音声合成して変換したものであってもよい。
また、スピーカ１０３は、例えば骨伝導スピーカであってもよい。装着者のこめかみに接して振動させることによって、対人に聞こえることなく、装着者に聴覚的に音声を認識させることができる。
スピーカ１０３は、スマートグラス１の装着者の聴覚へ、音声信号を出力するものである。音声信号は、ディスプレイ１０１に表示すべき文字を、音声合成して変換したものであってもよい。
また、スピーカ１０３は、例えば骨伝導スピーカであってもよい。装着者のこめかみに接して振動させることによって、対人に聞こえることなく、装着者に聴覚的に音声を認識させることができる。
［提示情報記憶部１００］
提示情報記憶部１００は、物体ＩＤ（識別子）毎に、提示情報を対応付けて予め記憶したものである。
物体ＩＤは、個人ＩＤであり、提示情報は、個人情報であってもよい。例えば介護現場を想定する場合、個人ＩＤは、被介護者毎に付与されたＩＤであり、提示情報は、その被介護者の介護情報であってもよい。
提示情報記憶部１００は、物体ＩＤ（識別子）毎に、提示情報を対応付けて予め記憶したものである。
物体ＩＤは、個人ＩＤであり、提示情報は、個人情報であってもよい。例えば介護現場を想定する場合、個人ＩＤは、被介護者毎に付与されたＩＤであり、提示情報は、その被介護者の介護情報であってもよい。
スマートグラス１は、個人ＩＤ毎の個人情報を、予め記憶したものであってもよいし（スタンドアロン型）、ネットワークを介してサーバにアクセスしてダウンロードする（サーバ－クライアント型）ものであってもよい。
被介護者の個人情報としては、例えば以下のようなものがある。
（基本情報）
氏名、年齢、介護度、生年月日、部屋番号、ケアプラン、等。
（行動情報）
起床時間、食事（済／未）、水分補給（済／未）、服薬（済／未）、排泄（有／無）、入浴（済／未）、等。
（申し送り情報）
健康状態、体温、血圧（上・下）、脈拍、処置情報、症状、治療情報、未排泄日数、排泄時刻、排泄異常（有／無）、朝／昼／夜食時刻、朝／昼／夜食量、水分補給時刻、水分量、服薬時刻、入浴時刻、入浴異常（有／無）、等。
被介護者の個人情報としては、例えば以下のようなものがある。
（基本情報）
氏名、年齢、介護度、生年月日、部屋番号、ケアプラン、等。
（行動情報）
起床時間、食事（済／未）、水分補給（済／未）、服薬（済／未）、排泄（有／無）、入浴（済／未）、等。
（申し送り情報）
健康状態、体温、血圧（上・下）、脈拍、処置情報、症状、治療情報、未排泄日数、排泄時刻、排泄異常（有／無）、朝／昼／夜食時刻、朝／昼／夜食量、水分補給時刻、水分量、服薬時刻、入浴時刻、入浴異常（有／無）、等。
［物体認識部１１］
物体認識部１１は、カメラ１０２によって撮影された映像から、対象物を認識する。
物体認識部１１は、映像から１つ以上の物体の画像領域を認識し、各画像領域のサイズを検出し、各画像領域から物体ＩＤを特定するものである。物体認識部１１は、深層学習に基づく画像分類や顔認識に適用される、一般的な機械学習エンジンである。これは、映像に映り込んでいる特定のクラス（人や物のようなカテゴリ）を認識する。
尚、画像領域は、人の顔画像であり、認識対象は、人の同定であってもよい。
物体認識部１１は、カメラ１０２によって撮影された映像から、対象物を認識する。
物体認識部１１は、映像から１つ以上の物体の画像領域を認識し、各画像領域のサイズを検出し、各画像領域から物体ＩＤを特定するものである。物体認識部１１は、深層学習に基づく画像分類や顔認識に適用される、一般的な機械学習エンジンである。これは、映像に映り込んでいる特定のクラス（人や物のようなカテゴリ）を認識する。
尚、画像領域は、人の顔画像であり、認識対象は、人の同定であってもよい。
物体認識部１１は、物体の画像領域を検出する＜画像領域検出機能＞と、その画像領域の物体を検出する＜物体検出機能＞とを有する。
＜画像領域検出機能＞
画像領域検出機能は、映像から、対象物の画像領域を検出する。これは、映像フレームの画像から、物体領域（例えばバウンディングボックス）を切り出す。具体的には、Ｒ－ＣＮＮ(Regions with Convolutional Neural Networks)やＳＳＤ(Single Shot Multibox Detector)を用いる。
Ｒ－ＣＮＮは、四角形の物体領域を畳み込みニューラルネットワークの特徴と組み合わせて、物体領域のサブセットを検出する（領域提案）。次に、領域提案からＣＮＮ特徴量を抽出する。そして、ＣＮＮ特徴量を用いて予め学習したサポートベクタマシンによって、領域提案のバウンディングボックスを調整する。
ＳＳＤは、機械学習を用いた一般物体検知のアルゴリズムであって、デフォルトボックス(default boxes)という長方形の枠（バウンディングボックス）を決定する。１枚の画像上に、大きさの異なるデフォルトボックスを多数重畳させ、そのボックス毎に予測値を計算する。各デフォルトボックスについて、自身が物体からどのくらい離れていて、どのくらい大きさが異なるのか、とする位置の予測をすることができる。
画像領域検出機能は、映像から、対象物の画像領域を検出する。これは、映像フレームの画像から、物体領域（例えばバウンディングボックス）を切り出す。具体的には、Ｒ－ＣＮＮ(Regions with Convolutional Neural Networks)やＳＳＤ(Single Shot Multibox Detector)を用いる。
Ｒ－ＣＮＮは、四角形の物体領域を畳み込みニューラルネットワークの特徴と組み合わせて、物体領域のサブセットを検出する（領域提案）。次に、領域提案からＣＮＮ特徴量を抽出する。そして、ＣＮＮ特徴量を用いて予め学習したサポートベクタマシンによって、領域提案のバウンディングボックスを調整する。
ＳＳＤは、機械学習を用いた一般物体検知のアルゴリズムであって、デフォルトボックス(default boxes)という長方形の枠（バウンディングボックス）を決定する。１枚の画像上に、大きさの異なるデフォルトボックスを多数重畳させ、そのボックス毎に予測値を計算する。各デフォルトボックスについて、自身が物体からどのくらい離れていて、どのくらい大きさが異なるのか、とする位置の予測をすることができる。
＜物体検出機能＞
物体検出機能は、画像領域から、対象物を検出する。対象物としては、人体や顔であってもよいし、例えば設備のような物であってもよい。
本発明の実施形態としては、介護現場を想定しているので、物体検出機能は、映像から人の顔領域を認識し、その顔領域から個人ＩＤを特定する。
物体検出機能は、識別すべき実際の個人の顔画像の特徴量を予め蓄積している。例えば、被介護者の顔画像の特徴量を蓄積している。
その上で、物体検出機能は、切り出された画像領域となる顔領域を、顔認識モデルを用いて、128/256/512次元の特徴量（ユークリッド距離）に変換する。顔認識モデルとしては、具体的にはGoogle（登録商標）のFacenet（登録商標）アルゴリズムを用いることもできる。これによって、顔領域から多次元ベクトルの特徴量に変換することができる。
そして、物体認識部１１は、個人の顔の特徴量の集合と照合し、最も距離が短い又は所定閾値以下となる特徴量となる個人ＩＤを特定する。
物体検出機能は、画像領域から、対象物を検出する。対象物としては、人体や顔であってもよいし、例えば設備のような物であってもよい。
本発明の実施形態としては、介護現場を想定しているので、物体検出機能は、映像から人の顔領域を認識し、その顔領域から個人ＩＤを特定する。
物体検出機能は、識別すべき実際の個人の顔画像の特徴量を予め蓄積している。例えば、被介護者の顔画像の特徴量を蓄積している。
その上で、物体検出機能は、切り出された画像領域となる顔領域を、顔認識モデルを用いて、128/256/512次元の特徴量（ユークリッド距離）に変換する。顔認識モデルとしては、具体的にはGoogle（登録商標）のFacenet（登録商標）アルゴリズムを用いることもできる。これによって、顔領域から多次元ベクトルの特徴量に変換することができる。
そして、物体認識部１１は、個人の顔の特徴量の集合と照合し、最も距離が短い又は所定閾値以下となる特徴量となる個人ＩＤを特定する。
物体認識部１１は、小型ＩｏＴデバイスに実装できるように、学習モデルが軽量化されている。学習済みモデルの中間層特徴の選別（レイヤの削除）と、軽量化アーキテクチャの置換とによって、計算量を大幅に削減している。具体的には、Ｃ＋＋Nativeライブラリを用いて、スマートグラスのような小型デバイスであっても、１万人を１秒で識別可能となっている。
ここで、対象物が映る画像領域のサイズと、対象物との間の距離との関係について説明する。
対象物を人の顔である場合、顔の横幅は１５ｃｍ程度であるので、認識された顔の画像領域の横幅のピクセル数から、その人との間の距離を推測することができる（例えば非特許文献２参照）。カメラによっては、例えば１０ピクセルが１ｃｍであるとする仮定することもできる。勿論、特定の対象物のサイズを計っておき、その対象物を特定の距離から撮影し、その画像領域のサイズ（ピクセル数）から固定的にサイズと距離との比を算出しておくものであってもよい。
尚、画像領域のピクセル数は、カメラの解像度とは正比例する。そのために、カメラの解像度に応じて、距離に応じた画像領域のピクセル数を決定しておくこともできる。
また、他の実施形態として、特定の対象物のサイズを計ることなく、カメラからの映像の複数の画像を用いて距離を推測する技術もある（例えば非特許文献３参照）。この場合、複数の単眼カメラ画像から、３三次元座標を算出することでき、そのＺ軸を、カメラから対象物までの距離として推測することもできる。
対象物を人の顔である場合、顔の横幅は１５ｃｍ程度であるので、認識された顔の画像領域の横幅のピクセル数から、その人との間の距離を推測することができる（例えば非特許文献２参照）。カメラによっては、例えば１０ピクセルが１ｃｍであるとする仮定することもできる。勿論、特定の対象物のサイズを計っておき、その対象物を特定の距離から撮影し、その画像領域のサイズ（ピクセル数）から固定的にサイズと距離との比を算出しておくものであってもよい。
尚、画像領域のピクセル数は、カメラの解像度とは正比例する。そのために、カメラの解像度に応じて、距離に応じた画像領域のピクセル数を決定しておくこともできる。
また、他の実施形態として、特定の対象物のサイズを計ることなく、カメラからの映像の複数の画像を用いて距離を推測する技術もある（例えば非特許文献３参照）。この場合、複数の単眼カメラ画像から、３三次元座標を算出することでき、そのＺ軸を、カメラから対象物までの距離として推測することもできる。
［移動検知部１２］
移動検知部１２は、スマートグラス１自体が「移動中」か否かを検知する。デバイスとしては、加速度センサであってもよい。特に、加速度センサによって検知される周期から、移動中か否かとして、「歩行中」か否かを検知するものであってもよい。
また、移動検知部１２は、「移動速度」を検知可能なものであってもよい。例えばスマートグラス１自体を測位可能なものであって、単位時間における移動距離から、移動速度を導出するものであってもよい。
移動検知部１２は、スマートグラス１自体が「移動中」か否かを検知する。デバイスとしては、加速度センサであってもよい。特に、加速度センサによって検知される周期から、移動中か否かとして、「歩行中」か否かを検知するものであってもよい。
また、移動検知部１２は、「移動速度」を検知可能なものであってもよい。例えばスマートグラス１自体を測位可能なものであって、単位時間における移動距離から、移動速度を導出するものであってもよい。
［物体ＩＤ選択部１３］
物体ＩＤ選択部１３は、移動中の有無と、画像領域のサイズとに基づいて、物体ＩＤを選択する。
物体ＩＤ選択部１３は、移動中の有無と、画像領域のサイズとに基づいて、物体ＩＤを選択する。
＜移動中／停止中と画像領域のサイズとに基づく物体ＩＤの選択＞
図３は、物体ＩＤ選択部のフローチャートである。
図３は、物体ＩＤ選択部のフローチャートである。
（Ｓ１）物体ＩＤ選択部１３は、移動検知部１２によって「停止中」と検知された場合、画像領域のサイズが第１の所定範囲以上となる物体ＩＤを選択する。
所定範囲は、被写体との間の距離に基づくものである。被写体との間の距離が遠いほど画像領域のサイズが小さくなり、被写体との間の距離が近いほど画像領域のサイズが大きくなる。
所定範囲は、被写体との間の距離に基づくものである。被写体との間の距離が遠いほど画像領域のサイズが小さくなり、被写体との間の距離が近いほど画像領域のサイズが大きくなる。
図４は、停止中にスマートグラスに提示された情報を表す説明図である。
図４によれば、例えば介護現場で、介護者（装着者）は、スマートグラス１を装着した視界に、被介護者「Ａさん」と「Ｂさん」との２人が見えている。また、物体認識部１１は、物体検出機能によって顔領域から被介護者「Ａさん」と「Ｂさん」両方の個人ＩＤを既に同定している。
ここで、介護者自身が停止中であるということは、介護者は、近い距離にある対人又は対象物に注目していると想定できる。例えば、介護者は、距離が近い被介護者との間で、対面して会話することが想定される。
ここで、介護者自身が停止中であるということは、介護者は、近い距離にある対人又は対象物に注目していると想定できる。例えば、介護者は、距離が近い被介護者との間で、対面して会話することが想定される。
介護者が停止中であって、物体認識部１１によって、画像領域のサイズが第１の所定範囲以上となる物体ＩＤとして、被介護者「Ａさん」が認識されたとする。即ち、被介護者「Ａさん」との間の距離が近いと判定する。
このとき、スマートグラス１のレンズのディスプレイ１０１には、被介護者「Ａさん」の「個人情報」が映り込むように表示される。個人情報としては、例えば被介護者Ａさんの介護に必要な症状などの情報である。
これによって、介護者は、停止中に、比較的近くに位置する被介護者Ａさんに対して、適切な声かけをすることができる。
このとき、スマートグラス１のレンズのディスプレイ１０１には、被介護者「Ａさん」の「個人情報」が映り込むように表示される。個人情報としては、例えば被介護者Ａさんの介護に必要な症状などの情報である。
これによって、介護者は、停止中に、比較的近くに位置する被介護者Ａさんに対して、適切な声かけをすることができる。
（Ｓ２）物体ＩＤ選択部１３は、移動検知部１２によって「移動中」と検知された場合、画像領域のサイズが第２の所定範囲以下となる物体ＩＤを選択する。
図５は、移動中にスマートグラスに提示された情報を表す説明図である。
図５によれば、図４と同様に、介護者（装着者）は、スマートグラス１を装着した視界に、被介護者「Ａさん」と「Ｂさん」との２人が見えている。また、物体認識部１１は、物体検出機能によって顔領域から被介護者「Ａさん」と「Ｂさん」両方の個人ＩＤを既に同定している。
ここで、介護者自身が移動中であるということは、介護者は、遠い距離にある対人又は対象物に注目していると想定できる。例えば距離が近い被介護者からは、直ぐに通り過ぎてしまうことが想定される。
ここで、介護者自身が移動中であるということは、介護者は、遠い距離にある対人又は対象物に注目していると想定できる。例えば距離が近い被介護者からは、直ぐに通り過ぎてしまうことが想定される。
介護者が移動中であって、物体認識部１１によって、画像領域のサイズが第２の所定範囲以下となる物体ＩＤとして、被介護者「Ｂさん」が認識されたとする。即ち、被介護者「Ｂさん」との間の距離が遠いと判定する。
このとき、スマートグラス１のレンズのディスプレイ１０１には、被介護者「Ｂさん」の「個人情報」が映り込むように表示される。個人情報としては、例えば被介護者Ｂさんの介護に必要な症状などの情報である。
これによって、介護者は、移動中に、比較的遠くに位置する被介護者Ｂさんに近づく前に、予め適切な情報を知っておくことができる。
このとき、スマートグラス１のレンズのディスプレイ１０１には、被介護者「Ｂさん」の「個人情報」が映り込むように表示される。個人情報としては、例えば被介護者Ｂさんの介護に必要な症状などの情報である。
これによって、介護者は、移動中に、比較的遠くに位置する被介護者Ｂさんに近づく前に、予め適切な情報を知っておくことができる。
具体的には、画像領域のサイズの第２の所定範囲に応じた距離としては、例えば4m程度とするものであってもよい。勿論、人によって異なるが、人の歩幅は、おおよそ身長×0.45と考えられている。そうすると、身長170cmの人の歩幅は、およそ77cmとなる。即ち、4m程度の距離とは、およそ5歩先を意味する。この場合、装着者は、5歩先よりも遠い距離にある対人に移動しながら近づいていることなるので、その対人の個人情報を予め知らせるようにする。
＜移動速度と画像領域のサイズとに基づく物体ＩＤの選択＞
他の実施形態として、物体ＩＤ選択部１３は、移動速度と画像領域のサイズとに基づいて、物体ＩＤを選択するものであってもよい。
物体ＩＤ選択部１３は、移動速度が速いほど、画像領域のサイズが小さい物体ＩＤを選択するように制御する。具体的には、移動速度が速いほど、第２の所定範囲が小さくなるように可変とすることが好ましい。装着者としては、移動速度が速いほど、遠くの距離にある対人や対象物に注目している可能性が高いためである。
他の実施形態として、物体ＩＤ選択部１３は、移動速度と画像領域のサイズとに基づいて、物体ＩＤを選択するものであってもよい。
物体ＩＤ選択部１３は、移動速度が速いほど、画像領域のサイズが小さい物体ＩＤを選択するように制御する。具体的には、移動速度が速いほど、第２の所定範囲が小さくなるように可変とすることが好ましい。装着者としては、移動速度が速いほど、遠くの距離にある対人や対象物に注目している可能性が高いためである。
［提示部１４］
提示部１４は、選択された物体ＩＤに対応する提示情報を、ユーザに提示する。
提示部１４は、物体ＩＤに対応する提示情報を、ディスプレイ１０１に表示するものであってもよいし、スピーカ１０３から音声合成によって出力するものであってもよい。
提示部１４は、選択された物体ＩＤに対応する提示情報を、ユーザに提示する。
提示部１４は、物体ＩＤに対応する提示情報を、ディスプレイ１０１に表示するものであってもよいし、スピーカ１０３から音声合成によって出力するものであってもよい。
提示情報は、提示情報記憶部１００に予め記憶されたものであって、文字や画像、映像であってもよい。物体ＩＤが個人ＩＤであって、被介護者を同定するものである場合、提示情報は、その被介護者の個人情報となる。例えば、以下のような個人情報が、提示情報として表示される。
［基本情報］：名前、年齢、要介護度、生年月日、部屋番号
［行動情報］：起床時間、食事有無、水分補給有無、服薬有無
［申し送り］：健康状態、体温、血圧、脈拍、症状、服薬情報、リハビリ情報
［基本情報］：名前、年齢、要介護度、生年月日、部屋番号
［行動情報］：起床時間、食事有無、水分補給有無、服薬有無
［申し送り］：健康状態、体温、血圧、脈拍、症状、服薬情報、リハビリ情報
提示情報が文字である場合、音声合成によって、音声としてスピーカ１０３から出力することができる。音声合成については、IoT・組み込み向けマイコンボード単体に搭載されるような、軽量な日本語音声読み上げ機能を用いる。
即ち、音声合成に基づく音声は、装着者と対人又は対象物との間の距離に応じて、異なった情報が読み上げられるようになる。即ち、停止中であれば、近い距離の対人等の情報が読み上げられ、移動中であれば、遠い距離の対人等の情報が読み上げられることとなる。
即ち、音声合成に基づく音声は、装着者と対人又は対象物との間の距離に応じて、異なった情報が読み上げられるようになる。即ち、停止中であれば、近い距離の対人等の情報が読み上げられ、移動中であれば、遠い距離の対人等の情報が読み上げられることとなる。
図６は、移動中にスマートフォンに表示された情報を表す説明図である。
前述した実施形態によれば、本発明の携帯装置は、シースルー型のスマートグラスであるとして説明したが、それに限られず、スマートフォンのような携帯端末であってもよい。スマートフォンの場合、カメラ及び／又はディスプレイが、一体的に構成されている。
以上、詳細に説明したように、本発明の携帯装置、プログラム及び方法によれば、ユーザの動的状態に応じて物体認識に基づく情報を提示することができる。
本発明によれば、携帯装置の動的状態と、カメラに映る対人や対象物との間の距離に応じて、ユーザに提示すべき情報を動的に変化させることができる。例えば介護現場の場合、介護者の視界に複数の被介護者が映り込む場合、介護者の動的状態と、被介護者との間の距離とに応じて、介護者に必要と思われる被介護者の個人情報を提示することができる。
本発明によれば、携帯装置の動的状態と、カメラに映る対人や対象物との間の距離に応じて、ユーザに提示すべき情報を動的に変化させることができる。例えば介護現場の場合、介護者の視界に複数の被介護者が映り込む場合、介護者の動的状態と、被介護者との間の距離とに応じて、介護者に必要と思われる被介護者の個人情報を提示することができる。
尚、これにより、例えば「介護現場における介護者が、スマートグラスやスマートフォンを装着することによって、その動的状態に応じて適切な被介護者の個人情報をハンズフリーで認識させることができる」ことから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標３「あらゆる年齢のすべての人々の健康的な生活を確保し、福祉を推進する」に貢献することが可能となる。
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ スマートグラス
１００ 提示情報記憶部
１０１ ディスプレイ
１０２ カメラ
１０３ スピーカ
１１ 物体認識部
１２ 移動検知部
１３ 物体ＩＤ選択部
１４ 提示部
１００ 提示情報記憶部
１０１ ディスプレイ
１０２ カメラ
１０３ スピーカ
１１ 物体認識部
１２ 移動検知部
１３ 物体ＩＤ選択部
１４ 提示部
Claims (8)
- ユーザの視界の映像を撮影するカメラと、ユーザの視界に提示情報を映し出すシースルー型のディスプレイとを有するスマートグラスの携帯装置において、
物体ＩＤ（識別子）毎に、提示情報を対応付けて予め記憶した提示情報記憶手段と、
映像から物体の画像領域を認識し、当該画像領域のサイズを検出し、当該画像領域から物体ＩＤを特定する物体認識手段と、
当該携帯装置が移動中か否かを検知する移動検知手段と、
停止中の場合、画像領域のサイズが第１の所定範囲以上となる物体ＩＤを選択し、移動中の場合、画像領域のサイズが第２の所定範囲以下となる物体ＩＤを選択する物体ＩＤ選択手段と、
選択された物体ＩＤに対応する提示情報を、ユーザに提示する提示手段と
を有することを特徴とする携帯装置。 - 物体ＩＤは、個人ＩＤであり、
提示情報は、個人情報であり、
物体認識手段における画像領域は、顔領域である
ことを特徴とする請求項１に記載の携帯装置。 - 第１の所定範囲及び第２の所定範囲は、被写体との間の距離に基づくものであり、被写体との間の距離が遠いほど画像領域のサイズが小さくなり、被写体との間の距離が近いほど画像領域のサイズが大きくなる
ことを特徴とする請求項１又は２に記載の携帯装置。 - 移動検知手段は、加速度センサであって、歩行中か否かを検知する
ことを特徴とする請求項１から３のいずれか１項に記載の携帯装置。 - 音声出力するスピーカを更に有し、
提示手段は、文の提示情報を読み上げて、スピーカから音声出力する
ことを特徴とする請求項１から４のいずれか１項に記載の携帯装置。 - スピーカは、骨伝導スピーカである
ことを特徴とする請求項５に記載の携帯装置。 - ユーザの視界の映像を撮影するカメラと、ユーザの視界に提示情報を映し出すシースルー型のディスプレイとを有するスマートグラスの携帯装置に搭載されたコンピュータを機能させるプログラムにおいて、
物体ＩＤ（識別子）毎に、提示情報を対応付けて予め記憶した提示情報記憶手段と、
映像から物体の画像領域を認識し、当該画像領域のサイズを検出し、当該画像領域から物体ＩＤを特定する物体認識手段と、
当該携帯装置が移動中か否かを検知する移動検知手段と、
停止中の場合、画像領域のサイズが第１の所定範囲以上となる物体ＩＤを選択し、移動中の場合、画像領域のサイズが第２の所定範囲以下となる物体ＩＤを選択する物体ＩＤ選択手段と、
選択された物体ＩＤに対応する提示情報を、ユーザに提示する提示手段と
してコンピュータを機能させることを特徴とするプログラム。 - ユーザの視界の映像を撮影するカメラと、ユーザの視界に提示情報を映し出すシースルー型のディスプレイとを有するスマートグラスの携帯装置の情報提示方法において、
携帯装置は、
物体ＩＤ（識別子）毎に、提示情報を対応付けて予め記憶しており、
映像から物体の画像領域を認識し、当該画像領域のサイズを検出し、当該画像領域から物体ＩＤを特定する第１のステップと、
当該携帯装置が移動中か否かを検知する第２のステップと、
停止中の場合、画像領域のサイズが第１の所定範囲以上となる物体ＩＤを選択し、移動中の場合、画像領域のサイズが第２の所定範囲以下となる物体ＩＤを選択する第３のステップと、
選択された物体ＩＤに対応する提示情報を、ユーザに提示する第４のステップと
を実行することを特徴とする情報提示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021156306A JP7453192B2 (ja) | 2021-09-27 | 2021-09-27 | ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021156306A JP7453192B2 (ja) | 2021-09-27 | 2021-09-27 | ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023047410A JP2023047410A (ja) | 2023-04-06 |
| JP7453192B2 true JP7453192B2 (ja) | 2024-03-19 |
Family
ID=85779144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021156306A Active JP7453192B2 (ja) | 2021-09-27 | 2021-09-27 | ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7453192B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3910593A4 (en) * | 2019-01-09 | 2022-01-19 | Fuji Corporation | IMAGE PROCESSING DEVICE, WORKING ROBOT, SUBSTRATE INSPECTION DEVICE AND SAMPLE INSPECTION DEVICE |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013054494A (ja) | 2011-09-02 | 2013-03-21 | Sony Corp | 情報処理装置、情報処理方法、プログラム、記録媒体、及び情報処理システム |
| JP2013137413A (ja) | 2011-12-28 | 2013-07-11 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| JP2015213226A (ja) | 2014-05-02 | 2015-11-26 | コニカミノルタ株式会社 | ウエアラブルディスプレイ及びその表示制御プログラム |
| JP2017016467A (ja) | 2015-07-02 | 2017-01-19 | 富士通株式会社 | 表示制御方法、表示制御プログラム及び情報処理端末 |
| JP2018097437A (ja) | 2016-12-08 | 2018-06-21 | 株式会社テレパシージャパン | ウェアラブル情報表示端末及びこれを備えるシステム |
| WO2019003360A1 (ja) | 2017-06-28 | 2019-01-03 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
-
2021
- 2021-09-27 JP JP2021156306A patent/JP7453192B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013054494A (ja) | 2011-09-02 | 2013-03-21 | Sony Corp | 情報処理装置、情報処理方法、プログラム、記録媒体、及び情報処理システム |
| JP2013137413A (ja) | 2011-12-28 | 2013-07-11 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| JP2015213226A (ja) | 2014-05-02 | 2015-11-26 | コニカミノルタ株式会社 | ウエアラブルディスプレイ及びその表示制御プログラム |
| JP2017016467A (ja) | 2015-07-02 | 2017-01-19 | 富士通株式会社 | 表示制御方法、表示制御プログラム及び情報処理端末 |
| JP2018097437A (ja) | 2016-12-08 | 2018-06-21 | 株式会社テレパシージャパン | ウェアラブル情報表示端末及びこれを備えるシステム |
| WO2019003360A1 (ja) | 2017-06-28 | 2019-01-03 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023047410A (ja) | 2023-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271832B (zh) | 人流分析方法、人流分析装置以及人流分析系统 | |
| US11089985B2 (en) | Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders | |
| US20210378554A1 (en) | Method and system for privacy-preserving health monitoring | |
| JP5863423B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Jafri et al. | Computer vision-based object recognition for the visually impaired in an indoors environment: a survey | |
| JP2023171650A (ja) | プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法 | |
| US20150063640A1 (en) | Image processing apparatus and image processing method | |
| US20150320343A1 (en) | Motion information processing apparatus and method | |
| CN112181152A (zh) | 基于mr眼镜的广告推送管理方法、设备及应用 | |
| JP6109288B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20150324634A1 (en) | Monitoring a waiting area | |
| KR20190118965A (ko) | 시선 추적 시스템 및 방법 | |
| US11670157B2 (en) | Augmented reality system | |
| JP7453192B2 (ja) | ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法 | |
| Healy et al. | Detecting demeanor for healthcare with machine learning | |
| Iosifidis et al. | The MOBISERV-AIIA Eating and Drinking multi-view database for vision-based assisted living. | |
| Liu et al. | Automatic fall risk detection based on imbalanced data | |
| KR20210141197A (ko) | 원격 진료를 위한 증강현실 인터페이스 제공 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
| JP7360775B2 (ja) | スマートグラス、プログラム及び表示制御方法 | |
| Jarraya | Computer vision-based fall detection methods using the kinect camera: A survey | |
| Youm et al. | Development of a methodology to predict and monitor emergency situations of the elderly based on object detection | |
| JP7453193B2 (ja) | ユーザの周辺状況に連動して音声合成に基づく音声を制御する携帯装置、プログラム及び方法 | |
| Safarzadeh et al. | Real-time fall detection and alert system using pose estimation | |
| JP7453490B2 (ja) | ユーザ属性推定装置およびユーザ属性推定方法 | |
| Mule et al. | In-house object detection system for visually impaired |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240131 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240307 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7453192 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |