JP6699665B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6699665B2 JP6699665B2 JP2017538876A JP2017538876A JP6699665B2 JP 6699665 B2 JP6699665 B2 JP 6699665B2 JP 2017538876 A JP2017538876 A JP 2017538876A JP 2017538876 A JP2017538876 A JP 2017538876A JP 6699665 B2 JP6699665 B2 JP 6699665B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- information processing
- feedback target
- target range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C17/00—Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
- G01C17/02—Magnetic compasses
- G01C17/28—Electromagnetic compasses
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/56—Display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
- A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
- A61H2201/5084—Acceleration sensors
Description
1.構成例
1.1.ハードウェア構成例
1.2.機能構成例
2.処理の流れ
3.フィードバック対象範囲の設定例
4.まとめ
まず、図1〜図3を参照して、本開示の一実施形態に係る情報処理装置の構成例を説明する。
<1.1.ハードウェア構成例>
図1は、本実施形態に係る情報処理装置1の外観構成の一例を説明するための説明図である。図1に示した例では、情報処理装置1は、メガネ90と一体的に形成されて、ユーザの頭に装着される。情報処理装置1は、測距センサ10、電子回路20、バイブレータ30、バッテリー40を含む。
図3は、本実施形態に係る情報処理装置1の論理的な機能構成の一例を示すブロック図である。図3に示すように、情報処理装置1は、入力部110、出力部120、記憶部130、及び処理部140を含む。
情報処理装置1(例えば、取得部141)は、入力情報を取得する。入力情報は、センサ情報に関する情報を含んでいてもよい。センサ情報に関する情報とは、生のセンサ情報の他、生のセンサ情報を加工又は解釈した情報も含む。例えば、入力情報は、ユーザから前記オブジェクトまでの距離(即ち、相対距離)に関する情報であってもよい。そして、この相対距離に関する情報は、測距センサ10により得られた、相対距離を示す情報そのものであってもよいし、相対距離を微分したオブジェクトの相対速度であってもよいし、相対距離を2回微分したオブジェクトの相対加速度であってもよい。
情報処理装置1(例えば、設定部143)は、フィードバック対象範囲を設定する。フィードバック対象範囲とは、その内部に存在するオブジェクトをユーザへのフィードバック対象とする範囲(例えば、空間)である。後に詳しく説明するように、情報処理装置1は、入力情報に基づいてフィードバック対象範囲を設定する。これにより、情報処理装置1は、ユーザの状況(例えば、ユーザの状態、ユーザの行動、又は周辺の環境等)に応じて柔軟にフィードバック対象範囲を変更することが可能となり、適切なフィードバック(例えば、警告)が可能となる。なお、フィードバック対象範囲の設定とは、フィードバック対象範囲の大きさ又は形状等の設定のみならず、フィードバック機能自体のON/OFFも含む概念である。さらに、フィードバック対象範囲の設定は、フィードバック(例えば、警告)の対象となるオブジェクトの指定又は除外を含む概念であってもよい。情報処理装置1がフィードバック対象範囲を可変に設定可能であるため、ユーザは、手動でフィードバック対象範囲を設定するための煩雑な手間を省くことが可能である。
情報処理装置1(例えば、出力制御部145)は、設定したフィードバック対象範囲に関する情報を出力部120へ出力し、当該情報を出力部120によりユーザへフィードバックする。
情報処理装置1(例えば、設定部143)は、ユーザとオブジェクトとの距離を測定する測距センサ10(即ち、測定部)に、距離測定を行う範囲を示す測距範囲に関する情報を出力してもよい。この測距範囲は、オブジェクトを検出可能な範囲とも捉えることが可能である。例えば、情報処理装置1は、フィードバック対象範囲を少なくとも含むことを条件として、より狭い範囲で距離測定を行うよう、測距範囲(例えば、送信機11による送信波が到達する範囲)の設定情報を出力してもよい。これにより、測距センサ10は、フィードバック対象範囲を超えて測距する必要がなくなるので、省電力化が可能となる。
以下、図6を参照して、本実施形態に係る情報処理装置1による処理の流れを説明する。
以下では、情報処理装置1により可変に設定されるフィードバック対象範囲の、具体的な設定例を説明する。
例えば、情報処理装置1は、ユーザの移動速度に応じてフィードバック対象範囲を設定してもよい。ここで、入力情報は、ユーザの移動速度に関する情報を含み得る。ユーザの移動速度は、例えば加速度センサからの出力結果から、1歩が検出される時間間隔の長短、又は振幅の大きさ等に基づき推定され得る。
例えば、情報処理装置1は、ユーザの姿勢に応じてフィードバック対象範囲を設定してもよい。ここで、入力情報は、ユーザの姿勢に関する情報を含み得る。ユーザの姿勢は、例えばジャイロセンサ又は地磁気センサからの出力結果から推定され得る。情報処理装置1がユーザの頭に装着されることを想定すると、ユーザの姿勢とはユーザの頭の向きであるとも捉えることができる。
例えば、情報処理装置1は、オブジェクトとユーザとの相対速度に応じてフィードバック対象範囲を設定してもよい。ここで、入力情報は、オブジェクトとユーザとの相対速度に関する情報を含み得る。ユーザの移動速度は、例えば測距センサにより得られたオブジェクトとユーザとの距離の微分値に基づき推定され得る。
・ユーザに関する入力情報に関して
例えば、情報処理装置1は、ユーザの行動情報に応じてフィードバック対象範囲を設定してもよい。例えば、情報処理装置1は、ユーザが歩いている場合には上限距離を小さく設定し、走っている場合には上限距離を大きく設定してもよい。また、情報処理装置1は、ユーザが歩行中であれば水平方向にフィードバック対象範囲を設定し、ユーザが階段を下りている場合は水平方向よりも地面側にフィードバック対象範囲を設定し、ユーザが階段を上っている場合は水平方向よりも天井側にフィードバック対象範囲を設定してもよい。
例えば、情報処理装置1は、オブジェクトの固さに応じてフィードバック対象範囲を設定してもよい。例えば、情報処理装置1は、固いオブジェクトに関しては衝突した際の影響が大きいため、回避運動のための十分な時間的余裕を持たせるために、上限距離を大きく設定してもよい。
例えば、情報処理装置1は、ユーザがいる場所に応じてフィードバック対象範囲を設定してもよい。例えば、情報処理装置1は、ユーザが電車に乗っている場合、混みあう車内での過剰な警告を防止すべく、上限距離を小さく設定してもよい。
例えば、情報処理装置1は、バッテリー残量に応じてフィードバック対象範囲を設定してもよい。例えば、情報処理装置1は、バッテリー残量が多ければ大きい上限距離を設定し、少なければ小さい上限距離を設定してもよい。
例えば、情報処理装置1は、緊急度に応じてフィードバックを制御してもよい。例えば、情報処理装置1は、緊急度の高低に応じて、バイブレータ30による振動の強弱、振動の間隔、複数のバイブレータ30のうち振動させるバイブレータ30を変化させてもよい。なお、緊急度は、相対距離、相対速度、オブジェクトの固さ等に基づいて推定され得る。例えば、相対距離が短いほど、オブジェクトがユーザへ接近する速度が速いほど、オブジェクトが固い程、高い緊急度が推定され得る。
以上、図1〜図10を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置1は、内部に存在するオブジェクトをユーザへのフィードバック対象とするフィードバック対象範囲を、取得した入力情報に基づいて設定し、設定したフィードバック対象範囲に関する情報を出力部へ出力する。これにより、ユーザは、衝突する可能性が高い障害物に関する警告を受けることが可能となり、また衝突する可能性が低い障害物に関する不要な警告を受けずにすむ。また、適切なフィードバック対象範囲が自動的に設定されるので、ユーザは、自身の状況に応じた手動でのフィードバック対象範囲の設定を省略することが可能となり、利便性が向上する。
(1)
内部に存在するオブジェクトをユーザへのフィードバック対象とするフィードバック対象範囲を、取得した入力情報に基づいて設定する処理部を備え、
前記処理部は、設定した前記フィードバック対象範囲に関する情報を出力部へ出力する、情報処理装置。
(2)
前記処理部は、前記フィードバック対象範囲に存在する前記オブジェクトに関する情報を出力する、前記(1)に記載の情報処理装置。
(3)
前記処理部は、設定した前記フィードバック対象範囲を示す情報を出力する、前記(1)又は(2)に記載の情報処理装置。
(4)
前記入力情報は、センサ情報に関する情報を含む、前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(5)
前記入力情報は、前記ユーザと前記オブジェクトとの距離に関する情報を含む、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記処理部は、第1の閾値を設定し、前記ユーザからの距離が前記第1の閾値以下、又は前記第1の閾値より下の範囲を前記フィードバック対象範囲とする、前記(5)に記載の情報処理装置。
(7)
前記入力情報は、前記ユーザに関する情報、前記オブジェクトに関する情報、デバイスに関する情報、又は環境に関する情報の少なくともいずれかを含む、前記(6)に記載の情報処理装置。
(8)
前記ユーザに関する情報は、前記ユーザの移動速度に関する情報を含む、前記(7)に記載の情報処理装置。
(9)
前記処理部は、前記ユーザの移動速度が速いほど前記第1の閾値を大きく設定し、前記ユーザの移動速度が遅いほど前記第1の閾値を小さく設定する、前記(8)に記載の情報処理装置。
(10)
前記ユーザに関する情報は、前記ユーザの姿勢に関する情報を含む、前記(7)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記処理部は、前記ユーザが水平方向よりも地面側を向くほど前記第1の閾値を小さく設定する、前記(10)に記載の情報処理装置。
(12)
前記ユーザに関する情報は、前記オブジェクトと前記ユーザとの相対速度に関する情報を含む、前記(7)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記処理部は、前記オブジェクトが前記ユーザに接近する速度が速いほど前記第1の閾値を大きく設定し、前記オブジェクトが前記ユーザに接近する速度が遅いほど前記第1の閾値を小さく設定する、前記(12)に記載の情報処理装置。
(14)
前記デバイスに関する情報は、バッテリー残量に関する情報を含む、前記(7)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記環境に関する情報は、前記ユーザの周辺の前記オブジェクトの密度に関する情報を含む、前記(7)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記処理部は、第2の閾値を設定し、前記ユーザからの距離が前記第2の閾値以上、又は前記第2の閾値より上の範囲を前記フィードバック対象範囲とする、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記処理部は、前記フィードバック対象範囲を段階的に変更する、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記処理部は、前記入力情報の変化と前記フィードバック対象範囲の変更との時間間隔を可変に設定する、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
前記処理部は、前記ユーザと前記オブジェクトとの距離を測定する測定部に距離測定を行う範囲を示す測距範囲に関する情報を出力する、前記(1)〜(18)のいずれか一項に記載の情報処理装置。
(20)
内部に存在するオブジェクトをユーザへのフィードバック対象とするフィードバック対象範囲を、取得した入力情報に基づいてプロセッサにより設定することと、
設定した前記フィードバック対象範囲に関する情報を出力部へ出力することと、
を含む情報処理方法。
(21)
コンピュータを、
内部に存在するオブジェクトをユーザへのフィードバック対象とするフィードバック対象範囲を、取得した入力情報に基づいて設定する処理部を備え、
前記処理部は、設定した前記フィードバック対象範囲に関する情報を出力部へ出力する、情報処理装置として機能させるためのプログラム。
(22)
取得した入力情報に基づいて、ユーザの位置から任意のオブジェクトまでの距離測定を行う範囲を示す測距範囲を設定する制御部を備え、
前記制御部は、前記設定された測距範囲に関する情報を測距部に出力する、情報処理装置。
(23)
前記入力情報は、センサ情報に関連する情報を含む、前記(22)に記載の情報処理装置。
(24)
前記入力情報は、ユーザの移動速度に関する情報である、前記(22)または(23)に記載の情報処理装置。
(25)
前記測距範囲は、前記ユーザの位置からの最大測距距離に基づいて設定され、前記ユーザの移動速度が所定の速度よりも早い場合に、前記最大測距距離を第一の値に設定し、前記ユーザの移動速度が前記所定の速度よりも遅い場合に、前記最大測距距離を前記第一の値とは異なる第二の値に設定する、前記(24)に記載の情報処理装置。
(26)
前記第一の値は、前記第二の値よりも大きい、前記(25)に記載の情報処理装置。
(27)
前記入力情報は、前記ユーザの姿勢に関する情報である、前記(22)または(23)に記載の情報処理装置。
(28)
前記測距範囲は、前記ユーザ位置からの最大測距距離に基づいて設定され、前記ユーザが下方を向いている場合には、前記最大測距距離を第三の値に設定する、前記(27)に記載の情報処理装置。
(29)
設定された前記測距範囲に関する情報を前記ユーザに通知する通知部を更に備える、前記(22)に記載の情報処理装置。
(30)
設定された前記測距範囲内で測距を行う測距部を更に備える、前記(22)に記載の情報処理装置。
10 測距センサ
20 電子回路
30 バイブレータ
40 バッテリー
50 加速度センサ
60 地磁気センサ
90 メガネ
110 入力部
120 出力部
130 記憶部
140 処理部
141 取得部
143 設定部
145 出力制御部
Claims (23)
- 内部に存在するオブジェクトをユーザへのフィードバック対象とするフィードバック対象範囲を、取得した入力情報に基づいて設定する処理部を備え、
前記入力情報は、前記ユーザの姿勢に関する姿勢情報を含み、
前記処理部は、
前記姿勢情報に応じた第1の閾値、及び、第2の閾値を設定し、前記ユーザからの距離が前記第1の閾値以下、又は前記第1の閾値より下の範囲、及び、前記ユーザからの距離が前記第2の閾値以上、又は前記第2の閾値より上の範囲を前記フィードバック対象範囲とし、
設定した前記フィードバック対象範囲に関する情報を出力部へ出力する
情報処理装置。 - 前記処理部は、
前記出力部へ出力した前記フィードバック対象範囲に存在する前記オブジェクトを検出し、
検出した前記オブジェクトに関する情報を前記出力部へ出力する、
請求項1に記載の情報処理装置。 - 前記処理部は、設定した前記フィードバック対象範囲を示す情報を出力する、請求項1又は2に記載の情報処理装置。
- 前記処理部は、前記ユーザの進行方向、顔が向く方向、又は道路の方向の少なくともひとつの方向に応じた前記第1の閾値を設定する、請求項1〜3のいずれか一項に記載の情報処理装置。
- 前記処理部は、センサが検出した情報を該センサから取得し、
前記入力情報は、前記センサから取得した情報を含む、請求項1〜4のいずれか一項に記載の情報処理装置。 - 前記入力情報は、前記ユーザと前記オブジェクトとの距離に関する情報を含む、請求項1〜5のいずれか一項に記載の情報処理装置。
- 前記入力情報は、前記ユーザに関する情報、前記オブジェクトに関する情報、前記情報処理装置に関する情報、又は前記オブジェクトが存在する環境に関する情報の少なくともいずれかを含む、請求項1〜6のいずれか一項に記載の情報処理装置。
- 前記ユーザに関する情報は、前記ユーザの移動速度に関する情報を含む、請求項7に記載の情報処理装置。
- 前記処理部は、前記ユーザの移動速度が速いほど前記第1の閾値を大きく設定し、前記ユーザの移動速度が遅いほど前記第1の閾値を小さく設定する、請求項8に記載の情報処理装置。
- 前記処理部は、前記ユーザが水平方向よりも地面側を向くほど前記第1の閾値を小さく設定する、請求項1〜9のいずれか一項に記載の情報処理装置。
- 前記処理部は、前記第1の閾値を前記ユーザの身長に応じて設定する、請求項10に記載の情報処理装置。
- 前記ユーザに関する情報は、前記オブジェクトと前記ユーザとの相対速度に関する情報を含む、請求項7〜11のいずれか一項に記載の情報処理装置。
- 前記処理部は、前記オブジェクトが前記ユーザに接近する速度が速いほど前記第1の閾値を大きく設定し、前記オブジェクトが前記ユーザに接近する速度が遅いほど前記第1の閾値を小さく設定する、請求項12に記載の情報処理装置。
- 前記環境に関する情報は、前記ユーザの周辺の前記オブジェクトの密度に関する情報を含む、請求項7〜9のいずれか一項に記載の情報処理装置。
- 前記オブジェクトに関する情報は、前記オブジェクトのサイズ、位置、姿勢、固さ、状態、または、属性の少なくとも1つを含む、請求項7〜14のいずれか一項に記載の情報処理装置。
- 前記処理部は、前記フィードバック対象範囲を段階的に変更する、請求項1〜15のいずれか一項に記載の情報処理装置。
- 前記処理部は、前記入力情報の変化と前記フィードバック対象範囲の変更との時間間隔を可変に設定する、請求項1〜16のいずれか一項に記載の情報処理装置。
- 前記処理部は、前記ユーザと前記オブジェクトとの距離を測定する測定部に距離測定を行う範囲を示す測距範囲に関する情報を出力する、請求項1〜17のいずれか一項に記載の情報処理装置。
- 前記処理部は、前記フィードバック対象範囲の設定として、フィードバック機能のオン/オフを設定する、請求項1〜18のいずれか一項に記載の情報処理装置。
- 前記処理部は、前記出力部へ出力する前記情報の種類に応じて前記フィードバック対象範囲を設定する、請求項1〜19のいずれか一項に記載の情報処理装置。
- 前記処理部は、前記出力部へ出力する前記情報の出力タイミングを前記入力情報に基づいて制御する、請求項1〜20のいずれか一項に記載の情報処理装置。
- 内部に存在するオブジェクトをユーザへのフィードバック対象とするフィードバック対象範囲を、取得した入力情報に基づいてプロセッサにより設定することを含み、
前記入力情報は、前記ユーザの姿勢に関する姿勢情報を含み、
前記プロセッサによって
前記姿勢情報に応じた第1の閾値、及び、第2の閾値を設定し、前記ユーザからの距離が前記第1の閾値以下、又は前記第1の閾値より下の範囲、及び、前記ユーザからの距離が前記第2の閾値以上、又は前記第2の閾値より上の範囲を前記フィードバック対象範囲とすることと、
設定した前記フィードバック対象範囲に関する情報を出力部へ出力することと、
を含む情報処理方法。 - コンピュータを、
内部に存在するオブジェクトをユーザへのフィードバック対象とするフィードバック対象範囲を、取得した入力情報に基づいて設定する処理部を備え、
前記入力情報は、前記ユーザの姿勢に関する姿勢情報を含み、
前記処理部は、
前記姿勢情報に応じた第1の閾値、及び、第2の閾値を設定し、前記ユーザからの距離が前記第1の閾値以下、又は前記第1の閾値より下の範囲、及び、前記ユーザからの距離が前記第2の閾値以上、又は前記第2の閾値より上の範囲を前記フィードバック対象範囲とし、
設定した前記フィードバック対象範囲に関する情報を出力部へ出力する、
情報処理装置として機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562215311P | 2015-09-08 | 2015-09-08 | |
US62/215,311 | 2015-09-08 | ||
PCT/JP2016/054954 WO2017043101A1 (ja) | 2015-09-08 | 2016-02-19 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017043101A1 JPWO2017043101A1 (ja) | 2018-06-21 |
JP6699665B2 true JP6699665B2 (ja) | 2020-05-27 |
Family
ID=58239390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017538876A Active JP6699665B2 (ja) | 2015-09-08 | 2016-02-19 | 情報処理装置、情報処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (3) | US10806658B2 (ja) |
JP (1) | JP6699665B2 (ja) |
WO (1) | WO2017043101A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU224760U1 (ru) * | 2023-08-28 | 2024-04-02 | Общество с ограниченной ответственностью "Социальные решения" | Насадка на тактильную трость для ориентации в пространстве незрячих людей |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3292853A1 (en) * | 2016-09-09 | 2018-03-14 | ams AG | Portable environment sensing device |
US10383786B2 (en) * | 2017-12-18 | 2019-08-20 | International Business Machines Corporation | Utilizing a human compound eye using an internet of things (“HCEI”) for obstacle protection of a user |
US11451656B2 (en) * | 2018-08-03 | 2022-09-20 | International Business Machines Corporation | Intelligent notification mode switching in user equipment |
JP7093894B2 (ja) * | 2018-10-15 | 2022-06-30 | ノキア テクノロジーズ オーユー | 流体ゾーンを処理するための装置及び方法 |
JP7080492B2 (ja) * | 2019-02-27 | 2022-06-06 | 康宏 和田 | 視覚障害者用歩行補助装置及び視覚障害者用歩行補助方法 |
US10576011B1 (en) * | 2019-04-12 | 2020-03-03 | Nethra Krishnan | LiDAR based sensing for visually impaired |
JP7388297B2 (ja) * | 2020-06-11 | 2023-11-29 | オムロン株式会社 | コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム |
CN113975109A (zh) * | 2021-10-19 | 2022-01-28 | 苏州炳旭工业产品设计有限公司 | 视障智能识别的方法及应用 |
Family Cites Families (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2524807A (en) * | 1947-03-28 | 1950-10-10 | Heinz E Kallmann | Optical automatic range determining device |
US2825044A (en) * | 1949-08-02 | 1958-02-25 | Peterson Glen | Method of and apparatus for investigating subterranean strata |
US3321737A (en) * | 1965-02-03 | 1967-05-23 | Russell Lindsay | Sonar-type sensory aids |
US3546467A (en) * | 1967-04-21 | 1970-12-08 | Bionic Instr Inc | Typhlocane with range extending obstacle sensing devices |
US3654477A (en) * | 1970-06-02 | 1972-04-04 | Bionic Instr Inc | Obstacle detection system for use by blind comprising plural ranging channels mounted on spectacle frames |
US3746778A (en) * | 1971-10-26 | 1973-07-17 | Singer Co | Limited visibility simulation for a vehicle trainer visual system |
DE2966789D1 (en) * | 1978-08-21 | 1984-04-19 | Leslie Kay | Method of and apparatus for providing information as to the existence or position of objects |
JPS5594169A (en) * | 1979-01-11 | 1980-07-17 | Nec Corp | Apparatus for catching moving target |
US4280204A (en) * | 1979-06-05 | 1981-07-21 | Polaroid Corporation | Mobility cane for the blind incorporating ultrasonic obstacle sensing apparatus |
JPS56119248A (en) * | 1980-02-22 | 1981-09-18 | Matsushita Electric Ind Co Ltd | Sound output apparatus of obstacle detector for blind person |
JPS57191144A (en) * | 1981-05-16 | 1982-11-24 | Yagihashi Seisakusho:Kk | Inter-vehicle distance detecting alarm equipment |
JPS59105587A (ja) * | 1982-12-09 | 1984-06-18 | Fujitsu Ten Ltd | 車両衝突警報装置 |
US4858125A (en) * | 1983-04-26 | 1989-08-15 | Sharp Kabushiki Kaisha | Electronic cone with environmental and human body condition sensors and alarm for indicating existence of undesirable conditions |
US4712003A (en) * | 1983-07-27 | 1987-12-08 | Itsuki Ban | Blind person guide device |
JP2958013B2 (ja) * | 1989-02-15 | 1999-10-06 | 日本無線株式会社 | 車両用衝突警報装置 |
JPH03263199A (ja) * | 1990-03-13 | 1991-11-22 | Mazda Motor Corp | 車間距離表示器 |
US5107467A (en) * | 1990-04-13 | 1992-04-21 | Jorson Enterprises, Inc. | Echo location system for vision-impaired persons |
US5060062A (en) * | 1990-05-02 | 1991-10-22 | Dotson Robert S | Electronic vision aid device |
JP2998512B2 (ja) * | 1993-09-22 | 2000-01-11 | 松下電器産業株式会社 | 視聴覚障害者用案内システム |
DE19529173C1 (de) * | 1995-08-08 | 1997-01-09 | Siemens Ag | Radargerät mit reduzierter abgestrahlter Leistung |
DE19542678A1 (de) * | 1995-11-16 | 1997-05-22 | Jens Schrader | Orientierungshilfe |
US5724313A (en) * | 1996-04-25 | 1998-03-03 | Interval Research Corp. | Personal object detector |
US5760950A (en) * | 1996-07-25 | 1998-06-02 | Advanced Scanning, Ltd. | Scanning confocal microscope |
US5973618A (en) * | 1996-09-25 | 1999-10-26 | Ellis; Christ G. | Intelligent walking stick |
ES2212314T3 (es) * | 1997-04-30 | 2004-07-16 | Maria Ritz | Aparato para ayuda de orientacion para deficientes visuales. |
US6198395B1 (en) * | 1998-02-09 | 2001-03-06 | Gary E. Sussman | Sensor for sight impaired individuals |
US6055048A (en) * | 1998-08-07 | 2000-04-25 | The United States Of America As Represented By The United States National Aeronautics And Space Administration | Optical-to-tactile translator |
US5977906A (en) * | 1998-09-24 | 1999-11-02 | Eaton Vorad Technologies, L.L.C. | Method and apparatus for calibrating azimuth boresight in a radar system |
DE29902241U1 (de) * | 1999-02-02 | 2000-08-17 | Woeste Ludger | Zusatzeinrichtung zum Blindenstock |
US6469956B1 (en) * | 1999-03-29 | 2002-10-22 | Xing Zeng | Ultrasonic distance detection for visually impaired pedestrians |
JP2000298800A (ja) | 1999-04-13 | 2000-10-24 | Takata Corp | 車間距離測定装置及び衝突警報装置 |
US7308314B2 (en) * | 2002-06-06 | 2007-12-11 | Advanced Medical Electronics | Method and apparatus for sensory substitution, vision prosthesis, or low-vision enhancement utilizing thermal sensing |
US7598976B2 (en) * | 2002-06-13 | 2009-10-06 | I See Tech Ltd. | Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired |
DE10258097A1 (de) * | 2002-12-11 | 2004-07-01 | Robert Bosch Gmbh | Einrichtung zur Abstands- und Geschwindigkeitsmessung von Objekten |
US8120521B2 (en) * | 2003-10-28 | 2012-02-21 | Preco Electronics, Inc. | Radar echolocater with audio output |
CA2648286A1 (en) * | 2003-11-26 | 2005-06-09 | Wicab, Inc. | Systems and methods for altering vestibular biology |
US20050208457A1 (en) * | 2004-01-05 | 2005-09-22 | Wolfgang Fink | Digital object recognition audio-assistant for the visually impaired |
DE102005000820B4 (de) * | 2004-12-08 | 2007-07-05 | Carl Zeiss Ag | Verfahren zum Verbessern der Sehfähigkeit einer sehbehinderten Person und Sehhilfe |
US7467746B2 (en) * | 2005-06-27 | 2008-12-23 | Pete Olmos | Magnetically activated guiding device and method |
JP4887842B2 (ja) * | 2006-03-09 | 2012-02-29 | オムロン株式会社 | レーダ装置 |
US20090028003A1 (en) * | 2007-07-24 | 2009-01-29 | International Business Machines Corporation | Apparatus and method for sensing of three-dimensional environmental information |
US20100152600A1 (en) * | 2008-04-03 | 2010-06-17 | Kai Sensors, Inc. | Non-contact physiologic motion sensors and methods for use |
JP5311389B2 (ja) | 2009-01-09 | 2013-10-09 | 公立大学法人秋田県立大学 | 視覚障害者用歩行支援装置及び視覚障害者用歩行支援システム |
US9801778B2 (en) * | 2009-06-19 | 2017-10-31 | Andrew Mahoney | System and method for alerting visually impaired users of nearby objects |
US9201143B2 (en) * | 2009-08-29 | 2015-12-01 | Echo-Sense Inc. | Assisted guidance navigation |
EP2487906B1 (en) | 2009-10-07 | 2020-05-27 | Panasonic Intellectual Property Management Co., Ltd. | Control device and vehicle surrounding monitoring device |
AU2010305323B2 (en) * | 2009-10-09 | 2015-02-12 | National Ict Australia Limited | Vision enhancement for a vision impaired user |
JP2011087046A (ja) * | 2009-10-14 | 2011-04-28 | Nec Saitama Ltd | 障害物検知端末、障害物検知端末を用いた障害物検知方法及び障害物検知端末を用いた障害物検知プログラム |
US9230419B2 (en) * | 2010-07-27 | 2016-01-05 | Rite-Hite Holding Corporation | Methods and apparatus to detect and warn proximate entities of interest |
JP5779816B2 (ja) * | 2010-10-25 | 2015-09-16 | オプテックス株式会社 | 検知エリア表示装置、検知エリア表示方法、検知エリア表示プログラムおよび検知エリア表示プログラムを記録した記録媒体 |
US20120124470A1 (en) * | 2010-11-17 | 2012-05-17 | The Johns Hopkins University | Audio display system |
CN201870912U (zh) * | 2010-11-25 | 2011-06-22 | 河南科技大学 | 具有发电和蓄电的导盲杖 |
US20140055229A1 (en) * | 2010-12-26 | 2014-02-27 | Amir Amedi | Infra red based devices for guiding blind and visually impaired persons |
CN102133143B (zh) * | 2011-03-22 | 2013-02-27 | 深圳典邦科技有限公司 | 一种手视感知装置及手视感知手套 |
JP5821307B2 (ja) * | 2011-06-13 | 2015-11-24 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US8803699B2 (en) * | 2011-08-18 | 2014-08-12 | George Brandon Foshee | Object detection device |
US8467674B1 (en) * | 2011-09-21 | 2013-06-18 | Google Inc. | Walking stick with IMU |
CN108014002A (zh) * | 2011-11-04 | 2018-05-11 | 马萨诸塞眼科耳科诊所 | 自适应视觉辅助装置 |
US20130250078A1 (en) * | 2012-03-26 | 2013-09-26 | Technology Dynamics Inc. | Visual aid |
JP6015101B2 (ja) * | 2012-04-27 | 2016-10-26 | 株式会社ニデック | 空間認識装置 |
US9384679B2 (en) * | 2012-11-14 | 2016-07-05 | Ishraq ALALAWI | System, method and computer program product to assist the visually impaired in navigation |
AT513882A2 (de) * | 2013-01-08 | 2014-08-15 | Pajestka Kevin | Vorrichtung zur Detektierung einer Umgebung |
EP2842529A1 (en) * | 2013-08-30 | 2015-03-04 | GN Store Nord A/S | Audio rendering system categorising geospatial objects |
US9460635B2 (en) * | 2013-09-06 | 2016-10-04 | At&T Mobility Ii Llc | Obstacle avoidance using mobile devices |
US9936916B2 (en) * | 2013-10-09 | 2018-04-10 | Nedim T. SAHIN | Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device |
US9629774B2 (en) * | 2014-01-14 | 2017-04-25 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US10130513B2 (en) * | 2014-03-19 | 2018-11-20 | Schepens Eye Research Institute | Active confocal imaging systems and methods for visual prostheses |
JP6388957B2 (ja) * | 2014-04-11 | 2018-09-12 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 近接感知システムおよび方法 |
US11137490B2 (en) * | 2014-09-16 | 2021-10-05 | Teknologian Tutkimuskeskus Vtt | Navigational aid with adaptive radar |
US9922236B2 (en) * | 2014-09-17 | 2018-03-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable eyeglasses for providing social and environmental awareness |
US9618611B2 (en) * | 2014-09-24 | 2017-04-11 | Nxp B.V. | Personal radar assistance |
US9826806B2 (en) * | 2014-11-10 | 2017-11-28 | Pranav Challa | Assistive support systems and devices for automatic feedback |
US9530058B2 (en) * | 2014-12-11 | 2016-12-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Visual-assist robots |
US9677901B2 (en) * | 2015-03-10 | 2017-06-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing navigation instructions at optimal times |
US10799154B2 (en) * | 2015-03-11 | 2020-10-13 | Vanderbilt University | Walking aid and system and method of gait monitoring |
US9953547B2 (en) * | 2015-03-18 | 2018-04-24 | Aditi B. Harish | Wearable device to guide a human being with at least a partial visual impairment condition around an obstacle during locomotion thereof |
US10113877B1 (en) * | 2015-09-11 | 2018-10-30 | Philip Raymond Schaefer | System and method for providing directional information |
CN105250119B (zh) * | 2015-11-16 | 2017-11-10 | 深圳前海达闼云端智能科技有限公司 | 一种导盲方法、装置及设备 |
US10024680B2 (en) * | 2016-03-11 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Step based guidance system |
US10338589B2 (en) * | 2016-03-25 | 2019-07-02 | Panasonic Intellectual Property Corporation Of America | Controller, driving control method, and non-transitory computer-readable recording medium storing a program |
US11568566B2 (en) * | 2016-07-08 | 2023-01-31 | Toyota Motor Engineering & Manufacturing North America. Inc. | Aligning vision-assist device cameras based on physical characteristics of a user |
US11369543B2 (en) * | 2016-09-17 | 2022-06-28 | Noah E Gamerman | Non-visual precision spatial awareness device |
US10117802B2 (en) * | 2016-10-26 | 2018-11-06 | Hunter K Kasravi | Blind dog navigation system |
CN106726379A (zh) * | 2016-12-21 | 2017-05-31 | 英业达科技有限公司 | 智能导盲系统和智能导盲方法 |
US10360746B1 (en) * | 2016-12-30 | 2019-07-23 | Alarm.Com Incorporated | Controlled indoor access using smart indoor door knobs |
US10347063B1 (en) * | 2017-03-01 | 2019-07-09 | Alarm.Com Incorporated | Authorized smart access to a monitored property |
US10332383B1 (en) * | 2017-05-12 | 2019-06-25 | Alarm.Com Incorporated | Connected door hinge |
US10733822B1 (en) * | 2017-06-23 | 2020-08-04 | Alarm.Com Incorporated | Connected outdoor gate lock |
US10845079B1 (en) * | 2017-06-28 | 2020-11-24 | Alarm.Com Incorporated | HVAC analytics |
US10134304B1 (en) * | 2017-07-10 | 2018-11-20 | DISH Technologies L.L.C. | Scanning obstacle sensor for the visually impaired |
US10656652B2 (en) * | 2017-08-10 | 2020-05-19 | Patroness, LLC | System and methods for sensor integration in support of situational awareness for a motorized mobile system |
US10551940B2 (en) * | 2017-11-22 | 2020-02-04 | Microsoft Technology Licensing, Llc | Apparatus for use in a virtual reality system |
US10726716B2 (en) * | 2018-05-24 | 2020-07-28 | Aptiv Technologies Limited | Vehicle to person communication with interaction-modes selected based on hesitation by the person |
-
2016
- 2016-02-19 US US15/752,928 patent/US10806658B2/en active Active
- 2016-02-19 JP JP2017538876A patent/JP6699665B2/ja active Active
- 2016-02-19 WO PCT/JP2016/054954 patent/WO2017043101A1/ja active Application Filing
-
2020
- 2020-09-25 US US17/033,222 patent/US11406557B2/en active Active
-
2022
- 2022-07-07 US US17/859,515 patent/US11801194B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU224760U1 (ru) * | 2023-08-28 | 2024-04-02 | Общество с ограниченной ответственностью "Социальные решения" | Насадка на тактильную трость для ориентации в пространстве незрячих людей |
Also Published As
Publication number | Publication date |
---|---|
US11801194B2 (en) | 2023-10-31 |
WO2017043101A1 (ja) | 2017-03-16 |
US11406557B2 (en) | 2022-08-09 |
US20220331193A1 (en) | 2022-10-20 |
US20180243157A1 (en) | 2018-08-30 |
JPWO2017043101A1 (ja) | 2018-06-21 |
US20210015696A1 (en) | 2021-01-21 |
US10806658B2 (en) | 2020-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6699665B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11705018B2 (en) | Personal navigation system | |
US11027608B2 (en) | Driving assistance apparatus and driving assistance method | |
JP6699831B2 (ja) | 運転意識推定装置 | |
CN109074748B (zh) | 图像处理设备、图像处理方法和可移动体 | |
US10571715B2 (en) | Adaptive visual assistive device | |
US10024679B2 (en) | Smart necklace with stereo vision and onboard processing | |
US10470971B2 (en) | Garment with remote controlled vibration array | |
JP2017529521A (ja) | 社会的且つ環境的認識を提供する装用可能イヤピース | |
US20200078260A1 (en) | Garment with remote controlled vibration array | |
US20180089893A1 (en) | Virtual guard rails | |
CN113491519A (zh) | 基于情感-认知负荷的数字助理 | |
WO2016181670A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
GB2487672A (en) | Active sensory augmentation device | |
KR20110101558A (ko) | 감성정보를 포함하는 시각장애인용 안내 시스템 및 그를 이용한 안내방법 | |
CN116829906A (zh) | 用于辅助视觉损伤用户移动的计算机实现方法、可穿戴设备、非暂时性计算机可读存储介质、计算机程序和系统 | |
KR20150119636A (ko) | 노티피케이션을 제공하는 hmd 디바이스 및 그 제어 방법 | |
WO2016143415A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20220289229A1 (en) | Control device and presentation system | |
US20200281771A1 (en) | Movement Aid for the Visually Impaired | |
KR20170079703A (ko) | 장면을 연출하는 시각장애인용 네비게이션 시스템 | |
CN116270147A (zh) | 用于狭窄视野的障碍物提示方法、装置、设备及存储介质 | |
JP2020137580A (ja) | 視覚障害者用歩行補助装置及び視覚障害者用歩行補助方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190115 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190115 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200413 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6699665 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |