JP7456211B2 - 移動支援装置、移動支援方法、及びプログラム - Google Patents

移動支援装置、移動支援方法、及びプログラム Download PDF

Info

Publication number
JP7456211B2
JP7456211B2 JP2020043948A JP2020043948A JP7456211B2 JP 7456211 B2 JP7456211 B2 JP 7456211B2 JP 2020043948 A JP2020043948 A JP 2020043948A JP 2020043948 A JP2020043948 A JP 2020043948A JP 7456211 B2 JP7456211 B2 JP 7456211B2
Authority
JP
Japan
Prior art keywords
user
safety
control unit
degree
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020043948A
Other languages
English (en)
Other versions
JP2021142211A (ja
Inventor
和夫 山本
智浩 籔内
直人 岩本
ラマ・エンドリ
典雄 吉川
陽平 新美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2020043948A priority Critical patent/JP7456211B2/ja
Priority to US17/908,403 priority patent/US20230338223A1/en
Priority to EP21768482.8A priority patent/EP4119114A4/en
Priority to PCT/JP2021/004984 priority patent/WO2021181992A1/ja
Priority to CN202180017507.6A priority patent/CN115551456A/zh
Publication of JP2021142211A publication Critical patent/JP2021142211A/ja
Application granted granted Critical
Publication of JP7456211B2 publication Critical patent/JP7456211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0157—Constructive details portable
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0173—Means for preventing injuries
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12—Driving means
    • A61H2201/1207—Driving means with electric or magnetic drive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12—Driving means
    • A61H2201/1253—Driving means driven by a human being, e.g. hand driven
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1657—Movement of interface, i.e. force application means
    • A61H2201/1659—Free spatial automatic movement of interface within a working area, e.g. Robot
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5025—Activation means
    • A61H2201/503—Inertia activation, i.e. activated by movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5048—Audio interfaces, e.g. voice or music controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5092—Optical sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Description

本開示は、ユーザの移動を支援する移動支援装置に関する。
特許文献１は、視覚障がい者用歩行支援システムを開示する。このシステムは、ステレオ画像から障害物の存在やその位置に関する情報を抽出し、その情報を情報伝達装置が音声情報または触覚情報によって発する。これにより、ユーザである視覚障がい者等は、障害物の存在やその位置や距離など、ナビゲーションに関する情報を、より具体的に把握することが可能となる。
特開２００１－３１８５９４号公報
しかしながら、特許文献１に記載の発明は、ユーザが所望する行動の入力を受け付けず、ナビゲーションのみを行う。また、特許文献１に記載の発明は、画像に基づいてユーザに関する安全性の程度を示す安全度を算出しない。
本開示の一態様に係る移動支援装置は、
ユーザの移動を支援する移動支援装置であって、
前記ユーザの周囲の環境を撮像して撮像画像を取得する撮像部と、
前記撮像画像に基づいて、前記ユーザに関する安全性の程度を示す安全度を算出する制御部と、
前記ユーザが実行し得る行動として予め定められた行動候補と、前記予め定められた行動候補が示す行動を前記ユーザが安全に行うために必要な安全性の程度を示す必要安全度と、を対応させて格納する必要安全度テーブルを記憶する記憶部と、
前記予め定められた行動候補の中から前記ユーザが所望するものを選択する、前記ユーザによる選択操作の入力を受け付ける入力部と、
出力部とを備え、
前記制御部は、
前記選択操作の入力があった場合は、前記必要安全度テーブルから、選択された行動候補に対応する必要安全度を取得し、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満である場合は、前記選択された行動候補を前記ユーザが実現することを支援せず、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度以上である場合は、前記選択された行動候補を前記ユーザが実現することを支援するように前記出力部を制御する。
本開示の一態様に係る移動支援装置は、ユーザの安全を担保し、安全度に応じて、ユーザが所望する行動の実現を支援することができる。
本開示の実施形態に係る移動支援装置の適用例を示す模式図である。 本実施形態に係る移動支援装置の構成例を示すブロック図である。 通常モードにおける移動支援装置の動作例を示すフローチャートである。 必要安全度テーブルの一例を示す図である。 要求実行モードにおける移動支援装置の動作例を示すフローチャートである。 通常モードにおける移動支援装置の動作の変形例を示すフローチャートである。
以下、添付の図面を参照して本開示に係る移動支援装置の実施の形態を説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
１．適用例
図１は、本実施形態に係る移動支援装置１００の適用例を示す模式図である。移動支援装置１００は、例えばユーザ９０が行きたい場所まで自走して先導することにより、ユーザ９０の移動を支援するナビゲーション動作を行う。ナビゲーションとは、ユーザ９０を目的地まで導くことのみならず、ユーザ９０を安全な場所まで導くことをも含む。
移動支援装置１００は、例えば、ＣＰＵ等の制御部４と、ボタン等の入力部１と、カメラ２と、ヘッドホン等の音声出力部３２とを備える。カメラ２は、本開示の撮像部の一例である。制御部４は、例えば、自走可能に駆動されるロボット９１に搭載される。ロボット９１は、図示のようなスーツケース型の形状を有してもよい。入力部１、カメラ２、及び音声出力部３２は、制御部４に有線接続又は無線接続されている。
ユーザ９０は、移動中に、目的地へ辿り着くことだけでなく、様々な行動要求を持ち得る。例えば、ユーザ９０は、知人と話をすること等のコミュニケーションを所望することがある。ロボット９１が目的地へ向かうことだけを常に実行すると、例えば道中で立ち止まって知人と話をするというユーザ９０の行動要求を実現することができない。このような行動要求を実現するためには、移動支援装置１００は、例えば、移動中に知人等に出会った場合に、自動で停止し又は当該知人の近くにユーザ９０を誘導することが求められる。他方で、ユーザ９０が横断歩道にいる場合等、危険な状況にあっても常にユーザ９０の行動要求を実現することを優先すると、ユーザ９０の身体の安全が担保されない。
そこで、移動支援装置１００は、入力部１を介して、ユーザ９０の行動要求を受け付ける。ユーザ９０は、例えば入力部１を操作して、予め定められた行動候補の中から、「知人と話をする」旨の行動を選択する。あるいは、ユーザ９０が「知人と話をしたい」旨を入力部１を用いて入力した場合、制御部４が、記憶部に格納されたテーブルの中から入力された情報に応じた行動を選択してもよい。移動支援装置１００の制御部４は、カメラ２によって撮像された画像に基づいて、ユーザ９０に関する安全性の程度を示す安全度Ｓを算出する。制御部４は、算出された安全度Ｓが、ユーザ９０が「知人と話をすること」を安全に実現するために必要な安全性の程度を示す必要安全度Ｔ未満である場合には、「知人と話をすること」の実現を支援せず、例えばそのままナビゲーションを継続する。制御部４は、安全度Ｓが必要安全度Ｔ以上である場合には、自動で停止し又は当該知人の近くにユーザ９０を誘導して、「知人と話をすること」の実現を支援してもよい。このようにして、移動支援装置１００は、ユーザ９０の安全を担保しつつ、ユーザ９０の行動要求の実現を図る。
本開示は、例えば視覚障がい者であるユーザ９０の移動を支援する移動支援装置１００に適用可能である。例えば、移動支援装置１００は、カメラ２の撮像画像に基づいて、予め登録された知人を発見し、音声出力部３２を介して知人の存在をユーザ９０に報知する。ユーザ９０は、当該知人と会話がしたい旨の行動要求情報を入力部１を操作して制御部４に入力する。制御部４は、安全度Ｓが、その場で知人と会話をするために必要な必要安全度Ｔ未満である場合には、行動要求の実現を支援しない。制御部４は、安全度Ｓが必要安全度Ｔ以上である場合には、「知人と話をすること」の実現を支援してもよい。このようにして、移動支援装置１００は、ユーザ９０の安全を担保しつつ、ユーザ９０のコミュニケーション等の社会活動の実現を図る。
ユーザ９０は、自律移動可能なロボットであってもよい。この場合、カメラ２、制御部４、及び音声出力部３２等の移動支援装置１００の構成要素は、ロボットに組み込まれてもよい。この場合、ロボットは、原則として目的地まで自走するが、カメラ２の撮像画像及び安全度Ｓに応じて、予め定められた行動候補の中から実際に実行するものを選択してもよい。これにより社会で人間とロボットが共存する場合でも、ロボットの安全を担保しつつ、ロボットと人間が円滑にコミュニケーションを取ることができる。
２．構成例
図２は、本実施形態に係る移動支援装置１００の構成例を示すブロック図である。移動支援装置１００は、入力部１と、カメラ２と、出力部３と、制御部４と、記憶部５と、通信インタフェース（Ｉ／Ｆ）６とを備える。
入力部１は、例えば、キーボード、タッチパッド、タッチパネル、ボタン、スイッチ、音声入力装置等の入力装置である。例えば、ユーザ９０は、入力部１を操作して、後述の行動要求情報を入力することができる。
カメラ２は、ユーザ９０の周囲の環境を撮像して撮像画像を形成する撮像装置である。カメラ２は、例えば、ＣＭＯＳ（Complementary MOS）、ＣＣＤ（Charge Coupled Device）等の固体撮像素子によって撮像画像を形成する。カメラ２は、例えば、ユーザ９０が装着できるウェアラブルカメラである。カメラ２は、ロボット９１及びリュックサック等のユーザ９０の荷物等に搭載されてもよい。
出力部３は、制御部４による制御に従って出力を行う出力装置である。出力部３は、例えば、表示部３１、音声出力部３２、及び駆動部３３を含む。表示部３１は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、及びプロジェクタ等の表示装置である。音声出力部３２は、例えば、スピーカ、イヤホン、及びヘッドホン等のオーディオ機器を含む。駆動部３３は、例えば、移動支援装置１００を移動させるためのモータ、車輪、及びステアリング等の駆動装置を含む。
制御部４は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて移動支援装置１００の各構成要素の制御を行う情報処理装置である。制御部４は、例えば、画像取得部４１と、画像解析部４２と、安全度算出部４３と、必要安全度決定部４４と、判断部４５と、出力制御部４６とを備える。画像取得部４１、画像解析部４２、安全度算出部４３、必要安全度決定部４４、判断部４５、及び出力制御部４６は、制御部４が必要なプログラムを実行することによって、それぞれが担当する処理を実行してもよい。このようなプログラムは、記憶部５に記憶されていてもよい。制御部４が必要なプログラムを実行する際は、記憶部５に記憶された対象となるプログラムをＲＡＭに展開する。制御部４は、ＲＡＭに展開された当該プログラムをＣＰＵにより解釈及び実行して、各構成要素を制御する。各構成要素の動作例については後述する。
記憶部５は、コンピュータその他の装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶部５は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部５は、例えば、必要安全度テーブル５１、判断結果情報５２、及び制御部４が実行するプログラム等を記憶する。記憶部５は、目的地までの移動支援のために用いる地図データを記憶していてもよい。記憶部５は、ＲＡＭ等の主記憶装置を含んでもよい。
通信インタフェース６は、移動支援装置１００と外部機器との通信接続を可能とするためのインタフェース回路を含む。通信インタフェース６は、例えば、ＩＥＥＥ８０２．３、ＩＥＥＥ８０２．１１又はＷｉ－Ｆｉ（登録商標）、ＬＴＥ、３Ｇ、４Ｇ、５Ｇ等の規格に従って通信を行う。通信インタフェース６は、ＵＳＢ(Universal Serial Bus)、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に従って通信を行うインタフェース回路であってもよい。例えば、制御部４は、通信インタフェース６及びネットワークを介して、外部サーバから地図データを取得することができる。
移動支援装置１００は、例えばスーツケース、自走式のロボット等に搭載される。移動支援装置１００は、背負うなどしてユーザ９０が身に着けるウェアラブルな装置であってもよい。移動支援装置１００は、リュックサック等のバッグに取り付けられてもよい。
本実施形態では、制御部４の各機能がＣＰＵによって実現される例について説明する。しかしながら、以上の機能の一部又は全部は、１又は複数の専用のプロセッサにより実現されてもよい。また、制御部４の構成要素に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。制御部４は、ＣＰＵ、ＭＰＵ、ＧＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
３．動作例
移動支援装置１００は、原則として、道案内等を行うことによってユーザ９０の移動を支援する通常モードで動作する。通常モードは、「ナビゲーションモード」とも呼ばれ得る。移動支援装置１００は、安全度Ｓ及びユーザ９０からの行動要求情報の入力等に応じて、通常モードと要求実行モードとを切り替えて動作する。以下、各モードにおける動作及びモードの切替えについて、図３及び図４を用いて説明する。
３－１．通常モード
図３は、通常モードにおける移動支援装置１００の動作例を示すフローチャートである。図３に示した各処理は、例えば制御部４によって実行される。
（ＳＴ１１）
まず、画像取得部４１は、カメラ２によって撮像された画像を取得する（ＳＴ１１）。カメラ２は、例えば所定のフレームレートでユーザ９０の周辺を撮影し、逐次、画像データを生成する。例えば、制御部４は、フレーム毎に図３のフローチャートに示した処理を実行する。
（ＳＴ１２）
次に、画像解析部４２は、ステップ（ＳＴ）１１で取得された画像を解析して、画像内の障害物、目標物、人等の物体を検出する（ＳＴ１２）。画像解析部４２は、検出された物体の位置及び状態等を分析してもよい。例えば、画像解析部４２は、自動車等の移動体の進行方向、及び人の目線の向き等を検出する。
（ＳＴ１３）
次に、安全度算出部４３は、画像に基づいて、安全度Ｓを算出する（ＳＴ１３）。具体的には、安全度算出部４３は、ＳＴ１２の画像解析の結果に基づいて、安全度Ｓを算出する。例えば、安全度算出部４３は、第１～第５の指標Ｓ１～Ｓ５を総合的に勘案して安全度Ｓを算出する。ここで、第１～第５の指標Ｓ１～Ｓ５は、例えば０から１までの値を取り得るものであり、安全度算出部４３によって以下のようにして決定される。
例えば、第１の指標Ｓ１は、ユーザ９０の周囲の環境の天候、明るさ等に基づいて決定される。例えば、安全度算出部４３は、天候が雪で周囲が暗い場合に第１の指標Ｓ１を０とし、天候が晴れで周囲が明るい場合には第１の指標Ｓ１を１とする。第１の指標Ｓ１は、周囲が明るければ明るい程高い値を取るものに限定されない。例えば、周囲の環境が明るすぎてユーザ９０が眩しいと感じると想定される場合、安全度算出部４３は、第１の指標Ｓ１を低レベル値、例えば０．１に設定してもよい。
例えば、第２の指標Ｓ２は、ユーザ９０の足元の状態に基づいて算出される。例えば、安全度算出部４３は、ユーザ９０の足元が濡れている場合や階段である場合には第２の指標Ｓ２を小さい値に設定し、ユーザ９０の足元が乾いた平らな地面である場合には第２の指標Ｓ２を大きい値に設定する。
例えば、第３の指標Ｓ３は、ユーザ９０の周囲の環境における障害物の有無及び障害物の性質に基づいて算出される。例えば、安全度算出部４３は、ユーザ９０の周囲の環境に障害物がない場合に第３の指標Ｓ３を１とする。これに対して、ユーザ９０の周囲の環境に重機等の危険な障害物がある場合には、安全度算出部４３は、第３の指標Ｓ３を小さい値に設定する。
例えば、第４の指標Ｓ４は、ユーザ９０の周囲の環境における移動体の有無、性質、移動速度及び移動方向等に基づいて算出される。例えば、安全度算出部４３は、ユーザ９０の周囲の環境に移動体がない場合に第４の指標Ｓ４を１とする。これに対して、安全度算出部４３は、ユーザ９０の周囲の環境に移動する自動車等の移動体がある場合には、第４の指標Ｓ４を小さい値に設定し、このような移動体が高速でユーザ９０の方向に向かっている場合には、第４の指標Ｓ４を更に小さい値に設定する。
例えば、第５の指標Ｓ５は、ユーザ９０の周囲の人々の有無、移動速度、移動方向に基づいて算出される。例えば、安全度算出部４３は、ユーザ９０が混雑する路上や交差点内にいる場合には第５の指標Ｓ５を小さい値に設定する。
以上のような第１～第５の指標Ｓ１～Ｓ５に基づいて、安全度算出部４３は、安全度Ｓを算出する。例えば、安全度算出部４３は、第１～第５の指標Ｓ１～Ｓ５の総和を安全度Ｓとしてもよい。安全度Ｓは、０～１の値を取るように正規化されてもよい。例えば、安全度算出部４３は、第１～第５の指標Ｓ１～Ｓ５の総和に１／５を乗じて正規化した値を安全度Ｓとしてもよい。あるいは、安全度算出部４３は、第１～第５の指標Ｓ１～Ｓ５のそれぞれに異なる重み付けをし、重み付けされた後の指標の総和を安全度Ｓとしてもよい。なお、安全度算出部４３は、必ず第１～第５の指標Ｓ１～Ｓ５のすべてを用いて安全度Ｓを算出しなければならないわけではなく、これらの指標のうちの１つ以上を用いて安全度Ｓを算出するものであってもよい。また、安全度算出部４３は、５つを超える数の指標を用いて安全度Ｓを算出してもよい。
（ＳＴ１４，ＳＴ１５）
ＳＴ１３の次に、必要安全度決定部４４は、行動要求情報の入力があった場合（ＳＴ１４でＹｅｓ）、必要安全度テーブル５１から、行動要求情報が示す行動要求を安全に実現するために必要な必要安全度Ｔを取得する（ＳＴ１５）。
ここで、必要安全度Ｔは、行動要求情報が示す行動をユーザ９０が安全に行うために必要な安全性の程度を示す指標である。また、行動要求情報の入力があった場合（ＳＴ１４でＹｅｓの場合）とは、ユーザ９０が実行し得る行動として予め定められた行動候補の中から、ユーザ９０が所望するものを選択する、ユーザ９０による選択操作の入力があった場合を含む。ユーザ９０が自律移動可能なロボットである場合には、行動要求情報の入力があった場合（ＳＴ１４でＹｅｓの場合）とは、ユーザ９０が、実行し得る行動として予め定められた行動候補の中から、１つ又は複数のものを選択する処理を行った場合を含む。また、必要安全度テーブル５１から、行動要求情報が示す行動要求を安全に実現するために必要な必要安全度Ｔを取得すること（ＳＴ１５）は、必要安全度テーブル５１から、選択操作の入力によって選択された行動候補に対応する必要安全度Ｔを取得することを含む
行動要求情報は、ユーザ９０によって、入力部１を介して制御部４に入力される。ユーザ９０は、例えばキーボード、タッチパッド、タッチパネル、ボタン、スイッチ、音声入力装置等の入力部１を操作して、所望の行動を示す行動要求情報を入力する。あるいは、ユーザ９０は、入力部１を操作して、ユーザ９０が実行し得る行動として予め定められた行動候補の中から、所望の行動に対応するものを選択する。例えば、行動要求情報又は予め定められた行動候補は、「立ち止まって知人と話をしたい」、「休憩したい」、「ベンチに座りたい」、「トイレに行きたい」、「現在地を確認したい」、「知人を探してほしい」、「バスに間に合いたい」等の情報を含む。
図４は、必要安全度テーブル５１の一例を示す図である。必要安全度テーブル５１には、予め定められた行動候補と、予め定められた行動候補が示す行動をユーザ９０が安全に行うために必要な安全性の程度を示す必要安全度と、が対応付けられて格納されている。図４の例示した必要安全度テーブル５１には、「立ち止まって話をする」、「休憩をする」、「ベンチに座る」、「トイレに行く」、「現在地を確認する」、「知人を探す」、「希望時刻のバスに乗る」という予め定められた行動候補が格納されている。各行動候補には、必要安全度Ｔ１～Ｔ７がそれぞれ対応付けられている。
必要安全度Ｔ１～Ｔ７は、例えば、対応する行動候補をユーザ９０が安全に実行することの困難の程度、及び／又は、ＳＴ１３において安全度Ｓを算出したのと同様の指標に基づいて予め定められる。例えば、現在地を確認することを実現するには、音声出力部３２を用いてユーザ９０に情報を提供するのみで足り、安全に実行することの困難の程度は小さいため、現在地を確認するために必要な必要安全度Ｔ５は、低レベルの値に設定される。また、例えば、発車間近の希望時刻のバスに乗ることを実現するには、ユーザ９０の高速移動が必要であり、安全に実行することの困難の程度が大きい。したがって、発車間近の希望時刻のバスに乗るために必要な必要安全度Ｔ７は、高レベルの値に設定される。また、例えば、立ち止まって話をすることは、周囲に自動車、自転車等の移動体がない限り安全に実行できると考えられる。したがって、立ち止まって話をするために必要な必要安全度Ｔ１は、前述のユーザ９０の周囲の環境における移動体の有無、性質、移動速度及び移動方向等に基づいて算出される第４の指標Ｓ４のみについての閾値として設定されてもよい。このように、行動候補の性質に応じて、必要安全度Ｔに含まれる前述のような５つの指標についての閾値がそれぞれ異なる態様で重み付けされてもよい。
（ＳＴ１６～１８）
ＳＴ１５の次に、判断部４５は、ＳＴ１３において安全度算出部４３によって算出された安全度Ｓが、ＳＴ１５で取得された必要安全度Ｔ以上であるか否かを判断する（ＳＴ１６）。安全度Ｓが必要安全度Ｔ以上である場合（ＳＴ１６でＹｅｓ）、制御部４の動作モードは、現状の通常モードから、ＳＴ１４で選択された行動候補をユーザ９０が実現することを支援する要求実行モードへ移行する（ＳＴ１７）。要求実行モードは、ＳＴ１４で入力された行動要求情報に対応する行動をユーザ９０が実現することを支援する動作を行う。安全度Ｓが必要安全度Ｔ未満である場合（ＳＴ１６でＮｏ）、制御部４の動作モードは、現状の通常モードから変わらず、制御部４は、道案内等を行うことによってユーザ９０の移動を支援する通常動作を行う（ＳＴ１８）。
通常動作は、例えば出力制御部４６によって制御される。例えば、出力制御部４６は、出力部３の表示部３１を制御して、ディスプレイ等の表示部３１に表示された地図の中に、目的地と目的地までの経路とを表示する。これにより、ユーザ９０は、目的地及び経路を確認することができる。出力制御部４６は、出力部３の音声出力部３２を制御して、音声により道案内を行ってもよい。出力制御部４６は、モータ、車輪、及びステアリング等の出力部３の駆動部３３を制御して、移動支援装置１００を目的地に向けて移動させてもよい。
このように、安全度Ｓが必要安全度Ｔ未満である場合（ＳＴ１６でＮｏ）、制御部４は、ＳＴ１４で選択された行動候補をユーザ９０が実現することを支援しない。言い換えれば、安全度Ｓが必要安全度Ｔ未満である場合（ＳＴ１６でＮｏ）、移動支援装置１００は、ユーザ９０の要求に従った出力を実行しない。このような場合にユーザ９０の要求に従った出力を実行すると、ユーザ９０の安全が担保されないおそれがある。移動支援装置１００は、ユーザ９０の要求に従った出力を実行しないことにより、ユーザ９０の安全を担保することができる。
制御部４は、ＳＴ１８を実行した後は、ＳＴ１１に戻り、図３に示したフローを繰り返す。すなわち、図３に示したフローは、ＳＴ１７に進んで要求実行モードに移行しない限り、一定の周期で繰り返される。このようにして、ＳＴ１１の画像取得ステップが所定のフレームレートで繰り返される。
ＳＴ１４で判断される行動要求情報の入力は、移動支援装置１００によるナビゲーション中にユーザ９０の操作によって行われてもよいが、本開示はこれに限定されない。例えば、行動要求情報の入力は、ナビゲーション動作の前に行われてもよい。例えば、ユーザ９０は、自宅において、「友人にあった場合には通知してほしい」旨の行動要求情報を予め移動支援装置１００に入力しておいてもよい。入力された行動要求情報は、例えば記憶部５に記憶される。
３－２．要求実行モード
図５は、要求実行モードにおける移動支援装置１００の動作例を示すフローチャートである。図５に示した各処理は、例えば制御部４によって実行される。
図５のＳＴ２１～２３は、図４のＳＴ１１～１３と同様である。すなわち、画像取得部４１は、カメラ２によって撮像された画像を取得する（ＳＴ２１）。画像解析部４２は、ＳＴ２１で取得された画像を解析して、画像内の障害物、目標物、人等の物体を検出する（ＳＴ２２）。安全度算出部４３は、画像に基づいて、安全度Ｓを算出する（ＳＴ２３）。具体的には、安全度算出部４３は、ＳＴ１２の画像解析の結果に基づいて、安全度Ｓを算出する。
次に、判断部４５は、ＳＴ２３において安全度算出部４３によって算出された安全度Ｓが、図４のＳＴ１４で選択された行動候補を安全に実現するために必要な必要安全度Ｔ以上であるか否かを判断する（ＳＴ２４）。必要安全度Ｔは、例えば、図４の通常モードのＳＴ１５で取得されたものである。安全度Ｓが必要安全度Ｔ未満である場合（ＳＴ２４でＮｏ）、制御部４は、動作モードを、現状の要求実行モードから通常モードへ移行させる（ＳＴ２７）。安全度Ｓが必要安全度Ｔ以上である場合（ＳＴ２４でＹｅｓ）、次のＳＴ２５に進む。
ＳＴ２５では、制御部４は、図４のＳＴ１４で選択された行動候補の実行が完了したか否かを判断する（ＳＴ２５）。このようにして、制御部４は、現在実行している行動要求が完了したか否かを判断する。行動要求の実行が完了したと判断した場合（ＳＴ２５でＹｅｓ）、制御部４は、動作モードを、現状の要求実行モードから通常モードへ移行させる（ＳＴ２７）。動作モードの変更は、ユーザ９０が入力部１を操作することによって、手動で変更されてもよい。
ＳＴ２５において行動要求の実行が完了していないと判断した場合（ＳＴ２５でＮｏ）、制御部４は、行動要求を実現するための処理を実行し、又は現在実行している当該処理を継続する（ＳＴ２６）。
制御部４は、ＳＴ２６を実行した後は、ＳＴ２１に戻り、図３に示したフローを繰り返す。すなわち、図３に示したフローは、ＳＴ２７に進んで要求実行モードに移行しない限り、一定の周期で繰り返される。このようにして、ＳＴ２１の画像取得ステップが所定のフレームレートで繰り返される。
以上の説明では、図４の通常モード及び図５の要求実行モードの両方で画像取得ステップ、画像解析ステップ、及び安全度Ｓの算出ステップが行われる例について説明した。しかしながら、本開示はこれに限定されない。例えば、制御部４は、画像取得ステップ、画像解析ステップ、及び安全度Ｓの算出ステップについては常に所定の周期で実行する一方で、通常モードと要求実行モードとの間の移行を制御するステートマシン等の状態遷移処理を並列に実行してもよい。
４．作用・効果
以上のように、本実施形態では、ユーザ９０の移動を支援する移動支援装置１００が提供される。移動支援装置１００は、カメラ２と、制御部４と、記憶部５と、入力部１と、出力部３とを備える。カメラ２は、ユーザ９０の周囲の環境を撮像して撮像画像を取得する（ＳＴ１１）。制御部４は、撮像画像に基づいて、ユーザ９０に関する安全性の程度を示す安全度Ｓを算出する（ＳＴ１３）。記憶部５は、必要安全度テーブル５１を記憶する。必要安全度テーブル５１には、ユーザ９０が実行し得る行動として予め定められた行動候補と、予め定められた行動候補が示す行動をユーザ９０が安全に行うために必要な安全性の程度を示す必要安全度Ｔと、が対応付けられて格納される。入力部１は、ユーザ９０による選択操作の入力を受け付ける。ユーザ９０は、選択操作により、予め定められた行動候補の中からユーザ９０が所望するものを選択する。制御部４は、選択操作の入力があった場合（ＳＴ１４でＹｅｓの場合）は、必要安全度テーブル５１から、選択された行動候補に対応する必要安全度Ｔを取得する（ＳＴ１５）。制御部４は、算出された安全度Ｓが、選択された行動候補に対応する必要安全度Ｔ未満である場合（ＳＴ１４でＮｏの場合）は、選択された行動候補をユーザ９０が実現することを支援しない。制御部４は、算出された安全度Ｓが、選択された行動候補に対応する必要安全度Ｔ以上である場合（ＳＴ１４でＹｅｓの場合）は、選択された行動候補をユーザ９０が実現することを支援するように出力部３を制御する。
この安全度Ｓが必要安全度Ｔ未満である場合に選択された行動候補をユーザ９０が実現すると、ユーザの安全が担保されないおそれがある。移動支援装置１００は、上記のような構成により、安全度Ｓが必要安全度Ｔ未満である場合には、選択された行動候補をユーザ９０が実現することを支援せず、ユーザ９０の安全を担保することができる。その一方で、移動支援装置１００は、安全度Ｓが必要安全度Ｔ以上である場合には、選択された行動候補をユーザ９０が実現することを支援する。このようにして、移動支援装置１００は、ユーザ９０の安全を担保しつつ、ユーザ９０の要求の実現を図る。
制御部４は、ユーザ９０の移動を支援するように出力部３を制御する通常モードと、選択された行動候補をユーザ９０が実現することを支援するように出力部３を制御する要求実行モードとを切替可能に動作してもよい。制御部４は、通常モードで動作している場合において、算出された安全度Ｓが、選択された行動候補に対応する必要安全度Ｔ未満であるときは、要求実行モードに動作を切り替えなくてもよい。その一方で、制御部４は、算出された安全度Ｓが、選択された行動候補に対応する必要安全度Ｔ以上であるときは、要求実行モードに動作を切り替えてもよい。制御部４は、要求実行モードで動作している場合において、算出された安全度Ｓが、選択された行動候補に対応する必要安全度Ｔ未満であるときは、通常モードに動作を切り替えてもよい。
移動支援装置１００は、このようにモードを切り替えて動作することにより、ユーザ９０の安全を担保しつつ、ユーザ９０の要求の実現を図ることができる。
制御部４は、ユーザ９０の周囲の環境の天候、明るさ、ユーザ９０の足元の状態、ユーザ９０の周囲の環境における障害物の有無、障害物の性質、ユーザ９０の周囲の環境における移動体の有無、及び周囲の環境における移動体の性質のうちの少なくとも１つに基づいて、安全度Ｓを算出してもよい。
このようにユーザ９０の周囲の環境の具体的な状況に即して安全度Ｓを算出することにより、具体的な状況に応じて適切にユーザ９０の安全を確保することができる。また、安全度Ｓが高く適切な場合にユーザ９０の要求の実現を図ることができる。
５．変形例
以上、本開示の実施形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略する。
５－１．第１変形例
図６は、通常モードにおける移動支援装置１００の動作の変形例を示すフローチャートである。図６のフローチャートは、図３のフローチャートと比較して、ＳＴ３１～３３を更に含む。図６では、ＳＴ１３の後、制御部４は、予め定められた情報を撮像画像から検出したか否かを判断する（ＳＴ３１）。予め定められた情報は、例えば、知人の顔、目的地の目印、信号機、道路標識等の種々の情報を含む。このような情報は、例えば記憶部５に予め格納されている。
予め定められた情報を検出した場合（ＳＴ３１でＹｅｓの場合）は、制御部４は、安全度Ｓが充分に高いか否かを判断する（ＳＴ３２）。例えば、制御部４は、安全度Ｓが予め定められた閾値以上であるか否かを判断する。安全度Ｓが充分に高い場合（ＳＴ３２でＹｅｓの場合）は、制御部４は、出力部３を制御して、予め定められた情報を検出した旨及びその情報の内容をユーザ９０に対して報知させる（ＳＴ３３）。報知した後は、ＳＴ１４に進む。
このように、制御部４は、予め定められた情報を撮像画像から検出した場合（ＳＴ３１でＹｅｓの場合）であって、算出された安全度Ｓが予め定められた閾値以上であるとき（ＳＴ３２でＹｅｓのとき）に、ユーザ９０に対して報知を行う（ＳＴ３３）ように出力部３を制御するものであってもよい。予め定められた情報は、例えば記憶部５に格納されている。
これにより、ユーザ９０は、報知により予め定められた情報を知ることができ、この情報に基づいて、選択操作により、予め定められた行動候補の中からユーザ９０が所望するものを選択することができる。
ＳＴ３１において予め定められた情報を検出しなかった場合（ＳＴ３１でＮｏの場合）は、ＳＴ１４に進む。
ＳＴ３２において安全度Ｓが充分に高いと判断しなかった場合（ＳＴ３２でＮｏの場合）は、報知を行わずにＳＴ１４に進む。このような場合は、制御部４は、例えば安全度Ｓが高くなるように安全な場所への移動等を優先する。また、安全度Ｓが充分に高くない場合に報知を行うと、ユーザ９０が危険に対する意識を逸らすことがあり、ユーザ９０に危害が及ぶ可能性が高まる。このようなおそれを防止するために、制御部４は、安全度Ｓが充分に高くない限り、ユーザ９０に対する報知を行わない。
５－２．第２変形例
図２に示すように、制御部４の判断部４５は、判断結果情報５２を記憶部５に格納してもよい。判断結果情報５２は、判断部４５による判断に用いられた要素及び判断の結果を示す情報を含んでもよい。例えば、判断結果情報５２は、周囲環境の状況と、その状況におけるユーザ９０の行動要求情報と、安全度Ｓと、必要安全度Ｔと、を対応付けて格納する判断結果テーブルである。周囲環境の状況は、例えば、画像取得部４１によって取得された撮像画像及び画像解析部４２による解析結果が有する情報である。
制御部４による図３のＳＴ１６又は図５のＳＴ２４の判断は、人が行うもの異なる場合がある。例えば、ユーザ９０の同伴者からみるとユーザ９０の要求を実現しても安全であることが明白であるにもかかわらず、判断部４５が図３のＳＴ１６又は図５のＳＴ２４において安全度Ｓが必要安全度Ｔ未満であると判断する（Ｎｏと判断する）ことがある。このような場合、制御部４は、判断結果テーブル内の情報と、ユーザ９０の同伴者による判断とを用いて機械学習を行い、学習済みモデルを生成してもよい。ユーザ９０の同伴者による判断は、例えば入力部１を用いて制御部４に入力される。
このような学習済みモデルは、例えば、制御部４が、畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）等のモデル（学習アルゴリズム）に対して、機械学習を行うことによって生成される。機械学習の一例は、ユーザ９０の同伴者による判断を教師データとし、画像取得部４１によって取得された撮像画像と、安全度Ｓとの関係を学習させる教師あり学習である。ＣＮＮのようなモデルの教師あり学習は、例えば誤差逆伝播法を利用して、制御部４によって行われる。
このように、機械学習を行うことにより、安全度Ｓが適切に算出されるようになり、判断部４５による判断結果が正確になる。例えば、ユーザ９０の要求を実現しても安全であることが明白である場合に、判断部４５が図３のＳＴ１６又は図５のＳＴ２４において安全度Ｓが必要安全度Ｔ未満であると判断することがなくなる。
他の機械学習の例として、制御部４は、周囲環境の状況と、ＳＴ１４で入力された行動要求情報との関係を学習してもよい。これにより、移動支援装置１００がユーザ９０の嗜好に合うように最適化でき、使用をし続けることによってユーザ９０による要求の入力回数を減少させることができる。例えば、ユーザ９０が特定の時刻に発車するバスに乗りたいと毎朝要求し続けたとする。その場合、制御部４は、学習の結果、朝の特定の範囲内の時刻にユーザ９０が自宅から外に出たとき、そのバスに間に合うようにナビゲーションを行うようになる。
学習済みモデル等の機械学習による生成結果は、例えば記憶部５に格納される。
（付記）
以下、本開示の種々の態様を説明する。以下に記載する参照符号は例示に過ぎない。
本開示の第１態様の移動支援装置１００は、
ユーザ９０の移動を支援する移動支援装置１００であって、
前記ユーザ９０の周囲の環境を撮像して撮像画像を取得する撮像部２と、
前記撮像画像に基づいて、前記ユーザ９０に関する安全性の程度を示す安全度Ｓを算出する制御部４と、
前記ユーザ９０が実行し得る行動として予め定められた行動候補と、前記予め定められた行動候補が示す行動を前記ユーザ９０が安全に行うために必要な安全性の程度を示す必要安全度Ｔと、を対応させて格納する必要安全度テーブルを記憶する記憶部５と、
前記予め定められた行動候補の中から前記ユーザ９０が所望するものを選択する、前記ユーザ９０による選択操作の入力を受け付ける入力部１と、
出力部３とを備え、
前記制御部４は、
前記選択操作の入力があった場合は、前記必要安全度テーブルから、選択された行動候補に対応する必要安全度Ｔを取得し、
算出された前記安全度Ｓが、前記選択された行動候補に対応する必要安全度Ｔ未満である場合は、前記選択された行動候補を前記ユーザ９０が実現することを支援せず、
算出された前記安全度Ｓが、前記選択された行動候補に対応する必要安全度Ｔ以上である場合は、前記選択された行動候補を前記ユーザ９０が実現することを支援するように前記出力部３を制御する。
本開示の第２態様では、
前記制御部４は、前記ユーザ９０の移動を支援するように前記出力部３を制御する通常モードと、前記選択された行動候補を前記ユーザ９０が実現することを支援するように前記出力部３を制御する要求実行モードとを切替可能に動作し、
前記制御部４は、前記通常モードで動作している場合において、算出された前記安全度Ｓが、前記選択された行動候補に対応する必要安全度Ｔ未満であるときは、前記要求実行モードに動作を切り替えない一方で、算出された前記安全度Ｓが、前記選択された行動候補に対応する必要安全度Ｔ以上であるときは、前記要求実行モードに動作を切り替え、
前記制御部４は、前記要求実行モードで動作している場合において、算出された前記安全度Ｓが、前記選択された行動候補に対応する必要安全度Ｔ未満であるときは、前記通常モードに動作を切り替える、第１態様の移動支援装置１００が提供される。
本開示の第３態様では、
前記制御部４は、前記ユーザ９０の周囲の環境の天候、明るさ、前記ユーザ９０の足元の状態、前記ユーザ９０の周囲の環境における障害物の有無、前記障害物の性質、前記ユーザ９０の周囲の環境における移動体の有無、及び前記移動体の性質のうちの少なくとも１つに基づいて、前記安全度Ｓを算出する、第１態様又は第２態様の移動支援装置１００が提供される。
本開示の第４態様では、
前記制御部は、予め定められた情報を前記撮像画像から検出した場合であって、算出された前記安全度が予め定められた閾値以上であるときに、前記ユーザ９０に対して報知を行うように前記出力部を制御する、第１～第３態様のいずれか１つの移動支援装置が提供される。
本開示の第５態様では、
ユーザ９０の移動を支援する移動支援方法であって、
制御部４が、前記ユーザ９０の周囲の環境を撮像して得られた撮像画像を取得するステップＳＴ１１と、
制御部４が、前記撮像画像に基づいて、前記ユーザ９０に関する安全性の程度を示す安全度を算出するステップＳＴ１３と、
制御部４が、前記予め定められた行動候補の中から前記ユーザ９０が所望するものを選択する、前記ユーザ９０による選択操作の入力を受け付けるステップと、
前記制御部４が、選択操作の入力があった場合に、前記ユーザ９０が実行し得る行動として予め定められた行動候補と、前記予め定められた行動候補が示す行動を前記ユーザ９０が安全に行うために必要な安全性の程度を示す必要安全度と、を対応させて格納した必要安全度テーブルから、選択された行動候補に対応する必要安全度を取得するステップＳＴ１５とを含み、
前記制御部４は、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満である場合は、前記選択された行動候補を前記ユーザ９０が実現することを支援せず、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度以上である場合は、前記選択された行動候補を前記ユーザ９０が実現することを支援するように出力を行う、
移動支援方法が提供される。
本開示の第６態様では、本開示の第５態様の移動支援方法をコンピュータに実行させるためのプログラムが提供される。
１ 入力部
２ カメラ（撮像部）
３ 出力部
４ 制御部
５ 記憶部
６ 通信インタフェース
３１ 表示部
３２ 音声出力部
３３ 駆動部
４１ 画像取得部
４２ 画像解析部
４３ 安全度算出部
４４ 必要安全度決定部
４５ 判断部
４６ 出力制御部
５１ 必要安全度テーブル
５２ 判断結果情報
９０ ユーザ
９１ ロボット
１００ 移動支援装置

Claims (6)

  1. 自走可能に駆動されるロボットに搭載され、ユーザの移動を支援する移動支援装置であって、
    前記ユーザの周囲の環境を撮像して撮像画像を取得する撮像部と、
    前記撮像画像に基づいて、前記ユーザに関する安全性の程度を示す安全度を算出する制御部と、
    前記ユーザが実行し得る行動として予め定められた行動候補と、前記予め定められた行動候補が示す行動を前記ユーザが安全に行うために必要な安全性の程度を示す必要安全度と、を対応させて格納する必要安全度テーブルを記憶する記憶部と、
    前記予め定められた行動候補の中から前記ユーザが所望するものを選択する、前記ユーザによる選択操作の入力を受け付ける入力部と、
    出力部とを備え、
    前記制御部は、
    前記選択操作の入力があった場合は、前記必要安全度テーブルから、選択された行動候補に対応する必要安全度を取得し、
    算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満である場合は、前記選択された行動候補を前記ユーザが実現することを支援せず、
    算出された前記安全度が、前記選択された行動候補に対応する必要安全度以上である場合は、前記選択された行動候補を前記ユーザが実現することを支援するように前記出力部を制御する、
    移動支援装置。
  2. 前記制御部は、前記ユーザの移動を支援するように前記出力部を制御する通常モードと、前記選択された行動候補を前記ユーザが実現することを支援するように前記出力部を制御する要求実行モードとを切替可能に動作し、
    前記制御部は、前記通常モードで動作している場合において、算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満であるときは、前記要求実行モードに動作を切り替えない一方で、算出された前記安全度が、前記選択された行動候補に対応する必要安全度以上であるときは、前記要求実行モードに動作を切り替え、
    前記制御部は、前記要求実行モードで動作している場合において、算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満であるときは、前記通常モードに動作を切り替える、
    請求項１に記載の移動支援装置。
  3. 前記制御部は、前記ユーザの周囲の環境の天候、明るさ、前記ユーザの足元の状態、前記ユーザの周囲の環境における障害物の有無、前記障害物の性質、前記ユーザの周囲の環境における移動体の有無、及び前記移動体の性質のうちの少なくとも１つに基づいて、前記安全度を算出する、請求項１又は２に記載の移動支援装置。
  4. 前記制御部は、予め定められた情報を前記撮像画像から検出した場合であって、算出された前記安全度が予め定められた閾値以上であるときに、前記ユーザに対して報知を行うように前記出力部を制御する、請求項１～３のいずれか１項に記載の移動支援装置。
  5. 自走可能に駆動されるロボットに搭載された制御部によって実行され、ユーザの移動を支援する移動支援方法であって、
    前記制御部が、前記ユーザの周囲の環境を撮像して得られた撮像画像を取得するステップと、
    前記制御部が、前記撮像画像に基づいて、前記ユーザに関する安全性の程度を示す安全度を算出するステップと、
    前記制御部が、前記予め定められた行動候補の中から前記ユーザが所望するものを選択する、前記ユーザによる選択操作の入力を受け付けるステップと、
    前記制御部が、選択操作の入力があった場合に、前記ユーザが実行し得る行動として予め定められた行動候補と、前記予め定められた行動候補が示す行動を前記ユーザが安全に行うために必要な安全性の程度を示す必要安全度と、を対応させて格納した必要安全度テーブルから、選択された行動候補に対応する必要安全度を取得するステップとを含み、
    前記制御部は、
    算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満である場合は、前記選択された行動候補を前記ユーザが実現することを支援せず、
    算出された前記安全度が、前記選択された行動候補に対応する必要安全度以上である場合は、前記選択された行動候補を前記ユーザが実現することを支援するように出力を行う、
    移動支援方法。
  6. 請求項５に記載の移動支援方法をコンピュータに実行させるためのプログラム。
JP2020043948A 2020-03-13 2020-03-13 移動支援装置、移動支援方法、及びプログラム Active JP7456211B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020043948A JP7456211B2 (ja) 2020-03-13 2020-03-13 移動支援装置、移動支援方法、及びプログラム
US17/908,403 US20230338223A1 (en) 2020-03-13 2021-02-10 Movement supporting device, movement supporting method, and program
EP21768482.8A EP4119114A4 (en) 2020-03-13 2021-02-10 MOTION SUPPORT DEVICE, MOTION SUPPORT METHOD AND PROGRAM
PCT/JP2021/004984 WO2021181992A1 (ja) 2020-03-13 2021-02-10 移動支援装置、移動支援方法、及びプログラム
CN202180017507.6A CN115551456A (zh) 2020-03-13 2021-02-10 移动辅助装置、移动辅助方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020043948A JP7456211B2 (ja) 2020-03-13 2020-03-13 移動支援装置、移動支援方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021142211A JP2021142211A (ja) 2021-09-24
JP7456211B2 true JP7456211B2 (ja) 2024-03-27

Family

ID=77671419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020043948A Active JP7456211B2 (ja) 2020-03-13 2020-03-13 移動支援装置、移動支援方法、及びプログラム

Country Status (5)

Country Link
US (1) US20230338223A1 (ja)
EP (1) EP4119114A4 (ja)
JP (1) JP7456211B2 (ja)
CN (1) CN115551456A (ja)
WO (1) WO2021181992A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078320A (ja) 2002-08-09 2004-03-11 Mitsui Sumitomo Insurance Co Ltd 危険度報知サーバ、危険度報知システム、及び経路案内装置
JP2007102488A (ja) 2005-10-04 2007-04-19 Toyota Motor Corp 自律移動装置
JP2011115460A (ja) 2009-12-04 2011-06-16 Saga Univ 視線制御装置、視線制御方法、及びそのプログラム
JP2019005591A (ja) 2016-04-08 2019-01-17 Ｇｒｏｏｖｅ Ｘ株式会社 人見知りする自律行動型ロボット

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11221259A (ja) * 1998-02-09 1999-08-17 Mitsubishi Electric Corp 盲導装置
JP4375879B2 (ja) 2000-05-11 2009-12-02 財団法人くまもとテクノ産業財団 視覚障害者用歩行支援システムおよび情報記録媒体
WO2013069110A1 (ja) * 2011-11-09 2013-05-16 三菱電機株式会社 ナビゲーション装置及び操作制限方法
US10488220B2 (en) * 2016-09-12 2019-11-26 Telenav, Inc. Navigation system with device operation mechanism and method of operation thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078320A (ja) 2002-08-09 2004-03-11 Mitsui Sumitomo Insurance Co Ltd 危険度報知サーバ、危険度報知システム、及び経路案内装置
JP2007102488A (ja) 2005-10-04 2007-04-19 Toyota Motor Corp 自律移動装置
JP2011115460A (ja) 2009-12-04 2011-06-16 Saga Univ 視線制御装置、視線制御方法、及びそのプログラム
JP2019005591A (ja) 2016-04-08 2019-01-17 Ｇｒｏｏｖｅ Ｘ株式会社 人見知りする自律行動型ロボット

Also Published As

Publication number Publication date
EP4119114A4 (en) 2024-04-03
JP2021142211A (ja) 2021-09-24
WO2021181992A1 (ja) 2021-09-16
US20230338223A1 (en) 2023-10-26
EP4119114A1 (en) 2023-01-18
CN115551456A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
US9316502B2 (en) Intelligent mobility aid device and method of navigating and providing assistance to a user thereof
Lin et al. Deep learning based wearable assistive system for visually impaired people
Tomari et al. Development of smart wheelchair system for a user with severe motor impairment
US10024667B2 (en) Wearable earpiece for providing social and environmental awareness
US8326456B2 (en) Behavior control apparatus, method, and program
Honig et al. Toward socially aware person-following robots
US20160078278A1 (en) Wearable eyeglasses for providing social and environmental awareness
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10689021B2 (en) Automatic load mover
KR102519064B1 (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
EP3726328A1 (en) Information processing device and information processing method
JPWO2020129309A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
CN114391777A (zh) 清洁机器人的障碍躲避方法、装置、电子设备及介质
JP7456211B2 (ja) 移動支援装置、移動支援方法、及びプログラム
JPWO2020129312A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
Tomari et al. Enhancing wheelchair manoeuvrability for severe impairment users
US20230298340A1 (en) Information processing apparatus, mobile object, control method thereof, and storage medium
JPWO2020129310A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
KR20210017357A (ko) 로봇 및 그의 제어 방법
EP4269037A1 (en) Robot control method, robot, and program
JP7468332B2 (ja) 自律移動システム、自律移動方法及び自律移動プログラム
Sato et al. A maneuverable robotic wheelchair able to move adaptively with a caregiver by considering the situation
Aziz et al. Smart Wheelchairs: A Review on Control Methods
Rönnbäck et al. A semi-autonomous wheelchair towards user-centered design
Kusakari et al. A deep neural model for pedestrians detection with danger estimation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240226

R150 Certificate of patent or registration of utility model

Ref document number: 7456211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150