JP5346115B1 - 携帯型移動支援装置 - Google Patents

携帯型移動支援装置 Download PDF

Info

Publication number
JP5346115B1
JP5346115B1 JP2012275188A JP2012275188A JP5346115B1 JP 5346115 B1 JP5346115 B1 JP 5346115B1 JP 2012275188 A JP2012275188 A JP 2012275188A JP 2012275188 A JP2012275188 A JP 2012275188A JP 5346115 B1 JP5346115 B1 JP 5346115B1
Authority
JP
Japan
Prior art keywords
guide
user
display
moving speed
heart rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012275188A
Other languages
English (en)
Other versions
JP5346115B6 (ja
JP2014120006A (ja
JP2014120006A6 (ja
Inventor
治幸 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2012275188A priority Critical patent/JP5346115B6/ja
Priority claimed from JP2012275188A external-priority patent/JP5346115B6/ja
Application granted granted Critical
Publication of JP5346115B1 publication Critical patent/JP5346115B1/ja
Priority to PCT/JP2013/083633 priority patent/WO2014098033A1/ja
Publication of JP2014120006A publication Critical patent/JP2014120006A/ja
Publication of JP2014120006A6 publication Critical patent/JP2014120006A6/ja
Publication of JP5346115B6 publication Critical patent/JP5346115B6/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112Global tracking of patients, e.g. by using GPS
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4866Evaluating metabolism
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head

Abstract

【課題】拡張現実技術を用い、平常時は、ウォーキング等におけるペースメーカー、携帯型ナビゲーションシステムとして、災害発生時等は、避難誘導用の携帯型ナビゲーションシステムとして機能する携帯型移動支援装置を提供する。
【解決手段】携帯端末又は光学透過方式のHMD等からなる端末であって、現実空間に重ね合わせて、ユーザーを先導するための電子ペット等のガイド、それに加えて前記ユーザーと前記ガイドとを繋ぐリードを表示する表示手段と、ユーザー移動速度検出手段と、前記ユーザーの心拍数等に応じて前記ガイドの現実空間における想定移動速度を決定するガイド移動速度決定手段と、前記ガイドを表示する大きさや位置を変更する変更手段、又はそれに加えてリード弛み量決定手段とを備え、前記ユーザーが前記ガイドに追随するように移動することによって、自己の移動速度を直感的に認識でき、調整できるようにした携帯型移動支援装置。
【選択図】図4

Description

本発明は、ウォーキング運動におけるペースメーカーや携帯型ナビゲーションシステム等として使用することができる、拡張現実(AR:
Augmented Reality)技術を用いた携帯型移動支援装置に関する。
尚、本発明における移動には、徒歩(ウォーキング、ジョギング等)による移動の他に、自転車等の使用による移動も含まれるものとする。
近年、有酸素運動による脂肪燃焼効果が、ダイエットだけでなく健康増進に非常に有効であるとされている。有酸素運動によって血液中に取り込まれる酸素が脂肪燃焼を促進させるからである。又、継続的な運動によって筋肉が増加し、基礎代謝量が増加することで、更に脂肪を燃焼させるという好循環が生じるからである。有酸素運動には、ジョギングや水泳等、様々な方法があるが、手軽に取り組めるという点において、特にウォーキングは人気がある。しかし、ウォーキングにおいては、横断歩道を渡る際の信号見落とし等による交通事故の危険性がある。特に高齢者は、視力低下をはじめとする危険察知能力の低下が起こるため、高齢化が急速に進む中にあって、その移動をサポートできる技術の必要性が高まっている。
有酸素運動によって、効率よく脂肪を燃焼させるという観点からは、酸素を血液中に取り込むことが最も重要であり、オーバーペースによって無酸素運動にならないように注意しなければならない。そこで、運動による負荷を知ることが、まず求められるところ、運動による負荷は、体力等による個人差があるため、客観的な運動量ではなく、個人の生体情報である心拍数(脈拍数)を目安にすることが効果的である。多くのアスリート達が心拍数を見ながらトレーニングをするのは、このためである。そして、脂肪燃焼に適した心拍数としては、年齢等にもよるが、一般的には最大心拍数の7割程度、120前後がよいとされている。
このため、心拍数等の生体情報を測定することができる様々な携帯端末が提案されている。例えば、特許文献1には、心拍数等の生体情報を測定可能な携帯電話機等の情報通信端末及び生体情報システムに関する技術が記載されている。
この技術では、情報通信端末で測定することができない生体情報についても情報通信端末に保存して管理できる。
又、特許文献2には、携帯型生体情報モニタに係り、特に、生体組織からの散乱光を利用して対象生体組織における血流に関する情報を測定する血流計を利用した携帯型生体情報モニタに関する技術が記載されている。
心拍計機能を有する腕時計も提案されている。例えば、特許文献3には、腕時計型のものであって、腕に装着した状態で、運動強度や心拍数を計測できる運動計測装置に関する技術が記載されている。
この技術は、一対の電極による心電位に基づいて心拍数を計測するものであり、同様の原理を携帯端末に適用することも可能である。
心拍計を備えた移動支援装置も提案されている。例えば、特許文献4には、持ち運び可能な携帯型ナビゲーションシステムに関し、特に、健康増進に寄与できる情報を提供する技術に関する技術が記載されている。
この技術によれば、心拍数から求められるカロリー消費量を地図データに対応付けて、道路の区間毎に表示でき、その結果、より楽しく、かつ、効果的に屋外でのフィットネス活動をサポートできるが、「地図上のどの辺りがカロリー消費に貢献したか、大変だったか」などを表示するものであり、運動によるカロリー消費を事後的に評価するためのものであった。又、地図を表示するものであり、本発明のように拡張現実技術を用いるものではなかった。
一方、拡張現実技術を用いた携帯端末装置も提案されている。例えば、特許文献5には、携帯端末の移動速度に応じて、携帯端末に表示するアノテーション情報の情報量を変更することのできるアノテーション表示システム及び方法に関する技術が記載されている。
携帯端末の移動速度に応じてアノテーション情報の情報量を変更するものであったが、電子ペットや仮想人物等のガイドを表示するものではなかった。又、アノテーション情報の情報量を変更するという技術であり、ガイドが移動することによってユーザーを追随させ、あるいは誘導するという本発明とは、発明の技術的思想の特徴(解決しようとする課題、その解決手段、効果)において異なるものであった。
本発明に係る携帯型移動支援装置は、携帯型のナビゲーションシステムとして使用することができる。この点、拡張現実技術を用いるものではないが、携帯型のナビゲーションシステムとしては、例えば、特許文献6に、携帯電話などの携帯端末装置と経路探索サーバを備えて構成され、経路探索サーバによって出発地から目的地までの最適な案内経路を探索し、携帯端末装置の表示手段に、地図上に現在位置と案内経路とを表示して経路案内するナビゲーションシステムに関するものであり、特に、携帯端末装置と経路探索サーバとからなる歩行者用のナビゲーションシステムにおいて、歩行者の歩行履歴から平均速度を求めて、歩行者の歩行速度として自動的に設定するようにしたナビゲーションシステムに関する技術が記載されている。
この技術は、経路探索条件設定としての「徒歩速度」を自動設定することができるようにしたものであり、本発明のように、ユーザーが自己の移動速度を直感的に認識しながら調整できるようにするための技術ではなかった。又、サーバに保管されている利用者の過去の徒歩履歴(ログ)に基づいて平均速度を求め、利用者の徒歩速度を自動設定するのであり、リアルタイムに検出するユーザーの移動速度を用いる技術でもなかった。更に、案内経路を携帯端末に表示するものであって、拡張現実技術を用いて電子ペットや仮想人物等のガイドを携帯端末に表示するものではなかった。
一方、本発明と同様に災害時にも活用できる技術としては、特許文献7に、拡張現実技術を利用する防災情報提供システム及び防災情報配信サーバに関する技術が記載されている。
この技術は、災害情報と避難経路を表すARタグが表示されるもので、狭いエリアに存在するユーザーに対して、適格な防災情報をリアルタイムで提供することが可能であったが、避難経路は矢印のARタグで表示されるものであり、電子ペットや仮想人物等のガイドを表示し、更に、このガイドが、ユーザーの心拍数や移動速度に応じて、遠ざかったり近づいたりして表示され、ユーザーが直感的に避難経路や最適な移動速度を認識できるという本発明とは、発明の技術的思想の特徴(解決しようとする課題、その解決手段、効果)において異なるものであった。
特許第4119862号公報 特許第4685705号公報 特許第4822208号公報 特開2007−292505号公報 特開2011−123807号公報 特許第4767816号公報 特開2011−186681号公報
しかしながら、従来技術には、以下のような問題点がある。
まず、ペースメーカーとして使用する場合の問題点について述べる。
特許文献1ないし特許文献3に記載されている技術のように、心拍数等の生体情報を数字で表示する方法は、ユーザーが自己のペースを直感的に認識するのに適さないだけでなく、測定した生体情報をユーザーにフィードバックして運動負荷を制御できるようにするためには、連続的に測定結果を確認しなければならない。このため、ユーザーが表示部を目で確認する時間が長くなるだけでなく、本発明のように拡張現実技術を用いる場合とは異なり、携帯端末によって視界が遮られてしまうため、足元や周囲に対する不注意による思わぬ事故につながる恐れがある。
又、心拍数等の生体情報を確認できたとしても、その結果を受けて、ユーザーが、自己のペースを速くしたり遅くしたりしようとする場合、特許文献4ないし特許文献7に記載されている方法では、自己の移動速度が速いのか遅いのか、あるいは、どれだけ速いのか遅いのかを、直感的に、かつ、リアルタイムに認識することは難しい。
又、携帯端末を見ながら移動するのは味気なく楽しさに欠ける。一方、ペットや他の人と一緒に歩く方が一人で歩くよりも楽しく継続が容易になるが、現実のペットを飼育することは大変であるし、他の人と一緒に歩く場合には、体力の差がある場合に有酸素運動に適した自己のペースを維持することが難しい。
次に、携帯型ナビゲーションシステムとして使用する場合の問題点について述べる。
特許文献4又は特許文献6に記載されている技術のように地図を表示する方法や、特許文献5又は特許文献7に記載されている技術のように矢印等を表示する方法は、進行方向を見失ったときに誘導経路に復帰するための操作が必要となる。
又、地図上に自己位置を表示する方法の場合、地図判読能力が不十分な子供や目の不自由な人々にとって、直感的に進行方向を認識することが難しい。
更に、長距離を移動するような場合に、途中で挫折することなく目標地点まで到達するためには、どの区間をどのくらいの時間で移動するといったペース配分ないし行進計画が欠かせない。しかし、従来のナビゲーションシステムは、本発明のようにガイドがユーザーを先導ないし誘導するものではなく、最適な移動ペースないし計画された移動速度をリアルタイムに提示できるようなものではなかった。
そこで、本発明は、かかる従来技術の問題点を解決して、拡張現実技術を用いて、電子ペットや仮想人物等のガイドがユーザーを先導することによって、平常時は、楽しみながら有酸素運動等を継続するためのペースメーカーとして機能し、災害発生時においては、避難誘導のための携帯型ナビゲーションシステムとして機能するようにした、携帯型移動支援装置を提供することを課題とするものである。
上記課題を解決するために、請求項1記載の携帯型移動支援装置は、カメラを備える携帯端末(スマートフォン(多機能携帯電話機)・携帯電話機・PHS、タブレット型端末、ビデオ透過(Video
See-Through)方式のヘッドマウントディスプレイからなる端末、携帯型ゲーム機等)であって、拡張現実(AR:
Augmented Reality)技術を用いて、前記携帯端末のディスプレイに、前記カメラで撮影する画像(静止画像又は動画像)に重ね合わせて、ユーザーを先導するためのガイド(電子ペットや仮想人物等)を表示する表示手段と、前記ガイドを表示する大きさや位置を変更する変更手段とを備え、前記ユーザーが、前記ガイドに追随するようにして移動することによって、自己の移動速度を直感的に認識できるとともに調整できるようにしたことを特徴とする。
本発明では、拡張現実技術を用いて仮想のガイドを表示することによって、あたかもガイドが現実空間に存在するかのようにユーザーが知覚することができる。本発明では、そのガイドがあたかも存在するかのように見える現実空間における位置を“想定位置”、そのガイドがあたかも移動しているかのように見える現実空間における移動速度を“想定移動速度”と定義する。
本発明で使用する携帯端末は、カメラで撮影した画像(静止画像又は動画像)を表示できるディスプレイを備えている。このディスプレイは、スマートフォンやタブレット型端末等のディスプレイに限定されず、ビデオ透過(Video
See-Through)方式のヘッドマウントディスプレイのように、頭部やメガネに装着するタイプのディスプレイが含まれる。つまり、拡張現実技術を利用できるディスプレイであれば、その形態を問わない。
ヘッドマウントディスプレイを用いる場合には、ユーザーは、両手がハンズフリーになるので、自転車等を使用する移動が可能になり、ウォーキング等だけでなくサイクリング等においても使用できるようになる。この際、ガイドが仮想人物である場合には、ユーザーと同様に自転車等を使用して移動させることが望ましい。又、電子ペットである場合には、必要な運動能力を有する動物をモデルにすることが望ましい。尚、ガイドは、仮想人物や犬等の実在の動物でもよいし、空想上のキャラクターでもよい。
まず、表示手段は、ユーザーを先導するための電子ペットや仮想人物等のガイドを携帯端末のディスプレイに表示する。ガイドは、電子ペットや仮想人物等のキャラクターを模った簡単なアイコンから、リアリティをより高めた三次元コンピューターグラフィックスアニメーションまで、様々な方法によって生成することができる。
尚、本発明における拡張現実技術は、マーカーを用いる技術や画像処理によって抽出した特徴点を用いる技術ではない。
次に、変更手段は、ユーザーの心拍数等の生体情報、又はユーザーの移動速度若しくは移動ペースに応じて、ガイドを表示する大きさや位置を変更する。
ユーザーの心拍数等の生体情報に応じて変更する場合には、例えば、心拍数が高く運動負荷が大きいときには、ユーザーに近い位置がガイドの想定位置になるように、ガイドを大きくディスプレイの中央ないし下部に表示し、心拍数が低く運動負荷が小さいときには、ユーザーから遠い位置がガイドの想定位置になるように、ガイドを小さくディスプレイの上部に表示する。
尚、心拍数の他には、血圧や体温等の生体情報を用いることも考えられる。
心拍数を計測するための心拍計等は携帯端末に一体化してもよいし、携帯端末に外付けしたり、又は腕時計に内蔵したり、若しくはバンドで胸部に装着したりして、それと携帯端末とをケーブルや省電力近距離無線技術等を用いて連接してもよい。又、ヘッドマウントディスプレイやヘッドアップディスプレイと一体化することによって、頭部の脈拍を計測することもできる。
心拍数に応じてガイドの大きさや位置を変更する場合には、例えば、有酸素運動に適したユーザーの心拍数をターゲット心拍数とする。ウォーキングをするユーザーの心拍数がターゲット心拍数よりも小さい場合には、ユーザーから遠い位置がガイドの想定位置になるようにガイドを小さく上部に表示する。反対に、ターゲット心拍数よりも大きい場合には、ユーザーに近い位置がガイドの想定位置になるように、ガイドを大きく中央ないし下部に表示する。これによって、ガイドに追随しようとするユーザーの心拍数をターゲット心拍数の近傍に維持できるようにする。腕時計タイプの心拍計等に表示した心拍数を見ながら歩く場合に比べて、より直感的に移動速度を調整することができる。又、ユーザーとガイドとの間の距離が遠ざかったり近づいたりするのを確認しながら移動速度を調整することができるので、数字を見ながらの急激な調整ではなく、緩やかにターゲット心拍数に近づけるように調整することができる。
尚、本発明は、心拍数等の目に見えない体内の状態を数字として可視化して、それをトレーニングに活用する一般的なバイオフィードバックとは異なり、ユーザーの目標となる具象化された存在としてのガイドをユーザーの前方に呈示し、ガイドの想定位置をユーザーの心拍数に応じて変化させ、ユーザーがガイドに追随することによって、ユーザーの心拍数をコントロールできるようにするものであり、バイオフィードバックの新たな手法を提供するという技術的意義をも有する。
ユーザーの移動速度や移動ペースに応じて、ガイドを表示する大きさや位置を変更する場合には、例えば、ユーザーの移動速度が速く運動負荷が大きいときには、ユーザーに近い位置がガイドの想定位置になるように、ガイドを大きくディスプレイの中央ないし下部に表示する。反対に、ユーザーの移動速度が遅く運動負荷が小さいときには、ユーザーから遠い位置がガイドの想定位置になるように、ガイドを小さくディスプレイの上部に表示する。ユーザーの移動速度や移動ペースは、GPS(Global Positioning
System)や歩数計を用いて検出する。自転車で移動する場合には、車輪の回転数からこれを検出することもできる。
これによって、ガイドを表示する大きさや位置から、ユーザーがガイドに比べて速いのか遅いのかを直感的に認識することができるとともに、ユーザーがガイドに追随するようにして移動することによって、自己の運動負荷を調整することができるようになる。
尚、ガイドを表示する大きさや位置を変化させるのに加えて、ガイドの足の運び等の動作に緩急をつける等、様々な表現方法を追加することもできる。
一方、ウェアラブルコンピューターの構成技術として、ユーザーの視界を遮らない光学透過(Optical
See-Trough)方式のヘッドマウントディスプレイ(HMD:
Head-Mounted Display)やヘッドアップディスプレイ(HUD:
Head-Up Display)が普及しつつある。これらのディスプレイは、携帯端末と異なりハンズフリーとなるので運動に適しているだけでなく、現実空間を肉眼で見ることができるので安全性が高い。又、ビデオ透過(Video
See-Through)方式のヘッドマウントディスプレイと異なり、システムトラブルによって視界が遮られる心配がない。
そこで、請求項2記載の携帯型移動支援装置は、光学透過(Optical See-Trough)方式のヘッドマウントディスプレイ(HMD:
Head-Mounted Display)又はヘッドアップディスプレイ(HUD:
Head-Up Display)からなる端末であって、拡張現実(AR:
Augmented Reality)技術を用いて、現実空間に重ね合わせて、ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示手段と、前記ガイドを表示する大きさや位置を変更する変更手段とを備え、前記ユーザーが、前記ガイドに追随するようにして移動することによって、自己の移動速度を直感的に認識できるとともに調整できるようにしたことを特徴とする。
尚、光学透過方式のヘッドマウントディスプレイやヘッドアップディスプレイは、ユーザーが目の前の現実空間とガイドを同時に見ることができるものであれば、メガネ型のものやゴーグル型のもの等、その形態を問わない。
まず、表示手段は、光学透過方式のヘッドマウントディスプレイ又はヘッドアップディスプレイを通して見える現実空間に重ね合わせて、請求項1記載の携帯型移動支援装置と同様のユーザーを先導するための電子ペットや仮想人物等のガイドを表示する。
次に、ガイドを表示する大きさや位置を変更する変更手段については、請求項1記載の携帯型移動支援装置と同様の手段を採用する。
これによって、ユーザーは、現実空間を肉眼で見ることができるとともに、システムトラブルによって視界が遮られる心配がなくなるので、より安全に移動することができるようになる。又、ユーザーは、両手がハンズフリーになるので、自転車等を使用する移動が可能となり、サイクリング等においても使用できるようになる。
請求項1及び請求項2に記載の携帯型移動支援装置においては、カメラの位置・姿勢・方位に関わりなく、ガイドをディスプレイに表示する場合、本来存在し得ないような想定位置に表示されてしまうことがある。例えば、カメラを空に向けている場合にガイドが宙に浮いているように表示されたり、カメラを川に向けた場合にガイドが水上に存在するように表示されたりしてしまう場合がある。
そこで、この問題を解決して、あたかもガイドが現実空間に存在するかのように、一層現実感を増して表示するためには、まず、ガイドの現実空間における想定位置を存在し得る合理的な位置に決定してから、そのガイドをカメラの位置・姿勢・方位において撮影するとすれば見えるであろう、その大きさや位置を決定することが必要になる。
このため、請求項3記載の携帯型移動支援装置は、カメラを備えるスマートフォン等の携帯端末であって、拡張現実(AR:
Augmented Reality)技術を用いて、前記携帯端末のディスプレイに、前記カメラで撮影する画像に重ね合わせて、ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示手段と、前記ユーザーの移動速度を検出するユーザー移動速度検出手段と、前記ガイドの現実空間における想定移動速度を決定するガイド移動速度決定手段と、前記ユーザーの位置と前記ガイドの現実空間における想定位置との間の位置関係に基づき、前記ガイドを表示する大きさや位置を変更する変更手段とを備え、前記ユーザーが、前記ガイドに追随するようにして移動することによって、自己の移動速度を直感的に認識できるとともに調整できるようにしたことを特徴とする。
尚、請求項3に記載の携帯型移動支援装置で用いる拡張現実技術は、マーカーを用いる技術や画像処理によって抽出した特徴点を用いる技術ではなく、GPS(Global
Positioning System)等のセンサーによって得られる位置情報を用いる技術である。
まず、ユーザーの移動速度を検出するユーザー移動速度検出手段としては、歩数計機能付きのスマートフォン等の携帯端末を用いて測定したユーザーの歩数から自動的に検出する方法、加速度センサー・地磁気センサー・ジャイロセンサー等の各種センサーを用いる方法、GPS測位を用いる方法等を用いることができる。
次に、ガイドの現実空間における想定移動速度を決定するガイド移動速度決定手段として、最も簡単な方法は、ユーザーが、あらかじめ手動で設定できるようにする方法である。このためには、ユーザーがタッチパネル等を操作して速度を選択設定できるようにしてもよいし、移動経路上の区間毎の移動速度をあらかじめ移動計画として設定できるようにしてもよい。
又、ガイドの想定移動速度を自動的に決定することもできる。例えば、ユーザーの心拍数等の生体情報に基づき自動的に決定できるようにする。
ユーザーの心拍数等の生体情報に応じて決定する場合には、例えば、心拍数が高く運動負荷が大きいときには、ガイドの想定移動速度を遅くすることによって、ガイドに追随するユーザーの運動負荷を軽減できるようにする。反対に、心拍数が低く運動負荷が小さいときには、ガイドの想定移動速度を速くすることによって、ガイドに追随するユーザーの運動負荷を加重できるようにする。
尚、心拍数の他には、血圧、体温、呼吸数等の生体情報を用いることも考えられる。
ガイドの想定移動速度をユーザーの移動速度や移動ペースに応じて決定する場合には、例えば、ユーザーの移動速度が速く運動負荷が大きいときには、ガイドの想定移動速度を遅くすることによって、ガイドに追随するユーザーの運動負荷を軽減できるようにする。反対に、ユーザーの移動速度が遅く運動負荷が小さいときには、ガイドの想定移動速度を速くすることによって、ガイドに追随するユーザーの運動負荷を加重できるようにする。
更に、坂道等の地形データに基づきガイドの想定移動速度を増減することもできる。例えば、上り坂では運動負荷が大きいので、ガイドの想定移動速度を遅くすることによって、ガイドに追随するユーザーの運動負荷を軽減できるようにする。反対に、下り坂では運動負荷が小さいので、ガイドの想定移動速度を速くすることによって、ガイドに追随するユーザーの運動負荷を加重できるようにする。
以上の少なくとも一つ以上を用いることによって、ガイドの想定移動速度を自動的に決定することができる。
心拍計は携帯端末に一体化してもよいし、携帯端末に外付けしたり、又は腕時計に内蔵したり、若しくはバンドで胸部に装着したりして、それと携帯端末とをケーブルや省電力近距離無線技術等を用いて連接してもよい。又、ヘッドマウントディスプレイやヘッドアップディスプレイと一体化することによって、頭部の脈拍を計測することもできる。
ガイドの想定移動速度をユーザーの心拍数に応じて決定する場合には、例えば、有酸素運動に適したユーザーの心拍数をターゲット心拍数とする。ウォーキングをするユーザーの心拍数がターゲット心拍数よりも小さい場合には、ガイドの想定移動速度を増加させ、大きい場合には、ガイドの想定移動速度を減少させる。これによって、ガイドに追随しようとするユーザーの心拍数をターゲット心拍数の近傍に維持できるようにする。腕時計タイプの心拍計を見ながら歩く場合に比べて、より直感的に移動速度を調整することができる。又、ガイドの想定移動速度を変化させることによって、ユーザーとガイドとの間の距離が遠ざかったり近づいたりするのを確認しながら移動速度を調整することができるので、数字を見ながらの急激な調整ではなく、緩やかにターゲット心拍数に近づけるように調整することができる。
尚、本発明は、心拍数等の目に見えない体内の状態を数字として可視化して、それをトレーニングに活用する一般的なバイオフィードバックとは異なり、ユーザーの目標となる具象化された存在としてのガイドをユーザーの前方に呈示し、ガイドの想定移動速度をユーザーの心拍数に応じて変化させ、ユーザーがガイドに追随することによって、ユーザーの心拍数をコントロールできるようにするものであり、バイオフィードバックの新たな手法を提供するという技術的意義をも有する。
又、本発明は、災害発生時においては、例えば、津波の接近に対してガイドの想定移動速度を最大値にしたり、ユーザーの体調に応じてガイドの想定移動速度を増減させたりすることによって、ユーザーが迅速かつ安全に移動することを支援できるので、生命・身体の安全確保に役立てることもできる。
次に、変更手段は、携帯端末の位置・姿勢・方位、及びガイドの現実空間における想定位置に基づき、ガイドを表示する大きさや位置を変更する。
携帯端末の位置は、GPSを用いることによって検出する。
携帯端末の姿勢は、加速度センサーやジャイロセンサーを用いることによって検出する。
携帯端末の方位は、地磁気センサーを用いることによって検出する。又、加速度センサーと組み合わせることによって精度を向上させることができる。更に、地磁気センサーは、周辺磁場の影響を受けることがあるので、ジャイロセンサーを併用することも考えられる。
ガイドの想定位置は、ガイドの初期位置を基点として、想定移動速度を時間積分して求めた距離を加えることによって決定することもできる。ガイドの初期位置は、ユーザーのスタート位置又はその周辺に設定する。ガイドの進行方向は、ユーザーの進行方向と一致するようにする。後述の携帯型ナビゲーションシステムとして使用する場合におけるガイドの進行方向は、探索した移動経路に沿う方向にする。
又、ユーザーの位置、すなわち携帯端末の位置を基準として、ユーザーの移動速度とガイドの想定移動速度との差に基づきガイドの想定位置を決定するようにしてもよい。この他にも、自己の移動速度がガイドの想定移動速度に比して、速いのか遅いのかを直感的に認識できるような方法であれば様々な方法が考えられる。
特に、ガイドの想定移動速度を時間積分した値を用いて想定位置を決定する方法では、ガイドがユーザーから離れすぎてしまう場合が想定される。そこで、このような場合には、両者の間の離隔距離に上限を設定したり、ガイドの想定移動速度を決定する際に、ユーザーとガイドとの離隔距離に応じて減衰係数を乗じたりする等の対策が考えられる。又、離れ過ぎたガイドをあたかも呼び戻すかのごとく、ユーザーの近くに再表示するという方法も考えられる。
ガイドがペースメーカーとして機能する場合に、ユーザーが進行する方向にガイドを表示する手段は上記のとおりである。他方、ガイドがナビゲーターとして機能する場合には、ナビゲーションシステムによって探索した経路に沿って、ユーザーが進行すべき方向にガイドを表示する。
以上の方法で得られた、携帯端末の位置・姿勢・方位、及びガイドの想定位置に基づき、ガイドを表示する大きさや位置を変更する。尚、表示手段については、請求項1記載の携帯型移動支援装置と同様の手段を採用する。
これによって、あたかも現実空間に存在するかのように見えるガイドを表示する大きさや位置から、ユーザーがガイドに比べて速いのか遅れているのかを直感的に認識することができるようになり、ユーザーがガイドに追随しようとすることによって、自己の運動負荷を調整することができるようになる。
尚、ガイドを表示する大きさや位置を変化させるのに加えて、ガイドの足の運び等の動作に緩急をつける等、様々な表現方法を追加することもできる。
一方、ウェアラブルコンピューターの構成技術として、ユーザーの視界を遮らない光学透過(Optical
See-Trough)方式のヘッドマウントディスプレイ(HMD:
Head-Mounted Display)やヘッドアップディスプレイ(HUD: Head-Up
Display)が普及しつつある。これらのディスプレイは、携帯端末と異なりハンズフリーとなるので、運動に好適であるだけでなく、現実空間を肉眼で見ることができる。又、ビデオ透過(Video
See-Through)方式のヘッドマウントディスプレイと異なり、システムトラブルによって視界が遮られる心配がない。
このため、請求項4記載の携帯型移動支援装置は、光学透過(Optical See-Trough)方式のヘッドマウントディスプレイ(HMD:
Head-Mounted Display)又はヘッドアップディスプレイ(HUD:
Head-Up Display)からなる端末であって、拡張現実(AR:
Augmented Reality)技術を用いて、現実空間に重ね合わせて、ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示手段と、前記ユーザーの移動速度を検出するユーザー移動速度検出手段と、前記ガイドの現実空間における想定移動速度を決定するガイド移動速度決定手段と、前記ユーザーの位置と前記ガイドの現実空間における想定位置との間の位置関係に基づき、前記ガイドを表示する大きさや位置を変更する変更手段とを備え、前記ユーザーが、前記ガイドに追随するようにして移動することによって、自己の移動速度を直感的に認識できるとともに調整できるようにしたことを特徴とする。
本発明における拡張現実技術は、マーカーを用いる技術や画像処理によって抽出した特徴点を用いる技術ではなく、GPS(Global
Positioning System)等のセンサーによって得られる位置情報を用いる技術である。
光学透過(Optical See-Trough)方式のヘッドマウントディスプレイ(HMD:
Head-Mounted Display)又はヘッドアップディスプレイ(HUD:
Head-Up Display)については、請求項2記載の携帯型移動支援装置と同様のものを採用する。表示手段についても、請求項2記載の携帯型移動支援装置と同様の手段を採用する。ユーザー移動速度検出手段、ガイド移動速度決定手段、変更手段については、請求項3記載の携帯型移動支援装置と同様の手段を採用する。ただし、各種センサーは、ヘッドマウントディスプレイ又はヘッドアップディスプレイに一体化されているか、あるいは、別に携帯して、ケーブル又は省電力近距離無線技術等でシステムに連接されているものとする。
これによって、ガイドの表示につき現実感が向上するだけでなく、ユーザーは、現実空間を肉眼で見ることができるとともに、システムトラブルによって視界が遮られる心配がなくなるので、より安全に移動することができるようになる。又、ユーザーは、両手がハンズフリーになるので、自転車等を使用する移動が可能になり、ウォーキング等の他にサイクリング等においても活用できるようになる。
ガイドを表示する大きさや位置から、ガイドとユーザーの離隔量を直感的に認識することができるが、例えば、ユーザーの移動速度が遅い場合、ガイドが遠く離れてしまい、カメラの撮影範囲から外れてしまう場合が想定される。又、誘導経路に沿って進行方向を変える場合などにも、カメラの撮影範囲から外れてしまう場合が想定される。更に、より効率的な有酸素運動によるトレーニングを目的とするような場合には、より直感的に自己の移動速度を認識できることが望ましい。
そこで、請求項5記載の携帯型移動支援装置は、請求項1から請求項4のいずれかに記載の携帯型移動支援装置において、表示手段が、ガイドを表示するとともに、ユーザーと前記ガイドとを繋ぐリードを表示し、前記ユーザーの位置と前記ガイドの現実空間における想定位置との間の位置関係に基づき、前記リードの弛み量を決定するリード弛み量決定手段とを備え、前記ユーザーが、前記リードの弛み量を見ながら前記ガイドに追随するようにして移動することによって、自己の移動速度を直感的に認識できるとともに調整できるようにしたことを特徴とする。
ユーザーとガイドとを繋ぐリードを携帯端末のディスプレイに表示する表示手段は、リードの弛み具合に応じて幾つかの形状モデルを用意する方法から、リードの三次元コンピューターグラフィックスモデルをリアルタイムで変形させる方法まで、様々な方法が考えられる。
リードの弛み量を決定するリード弛み量決定手段は、ユーザーとガイドの位置関係を算出することによって決定することができる。又、それに加えて、リードの材質や伸縮性を加味して決定することもできる。更に、後述の振動モーターによるバイブレーション機能を用いてガイドに引っ張られている感覚を付与したり、リードの太さを変化させる等して伸縮性を視覚的に表現したりすれば、一層現実感を増すことができる。
これによって、ユーザーがリードの弛み量等を見て、ユーザーの移動速度を直感的に認識しながら移動できるようになる。
又、ガイドがカメラの撮影範囲から外れてしまうような場合においても、リードを頼りに、ガイドが存在する方向を概ね推定できるようになる。そして、推定した方向に携帯端末のカメラを指向し直すことによって、ガイドを携帯端末のディスプレイに再び表示することができる。
ユーザーと電子ペット等のガイドとを繋ぐリードを表示し、カメラの撮影範囲にガイドが存在せず、ガイドがディスプレイに表示されていないような場合であっても、リードの一端がユーザー側から常に延びているように表示することによって、リードを頼りに、ガイドが存在すると考えられる位置が直ぐに分かるようにする。又、バイブレーション機能による振動やリードの太さ等を基に、ユーザーとガイドの離隔量を概ね推定することもできる。
リードのユーザー側の一端については、スマートフォン等の携帯端末を手に持っている場合には、手元から延びているように表示することができる。又、ヘッドマウントディスプレイ等を装着する場合には、ユーザーの手元に位置する腕時計、スマートフォン等の携帯端末、コントローラー等を、ケーブルや省電力近距離無線技術等を用いてシステムに連接することによって、リードがユーザーの手元から延びているように表示することができるし、ユーザーの直前の空中の固定点から延びているように表示することもできる。あるいは、マーカー式の拡張現実技術を用いてマーカーを付けたユーザーの手元の位置を認識して、それとガイドとを繋ぐリードをヘッドマウントディスプレイに表示することもできる。
そして、携帯端末をリードが延びている方向へ向けることによって、容易に、ガイドがカメラの撮影範囲内に入り、ディスプレイに表示されるようにする。
これによって、ユーザーを先導するガイドがディスプレイの表示範囲から外れた場合であっても直ぐに発見することができるようにする。
ウォーキングをはじめとする有酸素運動によって脂肪燃焼効果を得るためには、運動を継続することが必要である。電子ペットや仮想人物等のガイドを、拡張現実技術によってユーザーの前方に表示することによって、楽しさが増し、飽きることなく運動を継続できるようになる。
又、ウォーキングを楽しみながら継続するための方策として、周囲の風景や季節の変化を楽しみながら歩くことが推奨されている。現実のペットを散歩させる場合においては、ペットが道端の草花等に関心を示して立ち止まったりすることが多い。
そこで、請求項6記載の携帯型移動支援装置は、請求項1から請求項4のいずれかに記載の携帯型移動支援装置において、カメラで撮影する画像中の物体を画像認識し、認識した前記物体にガイドが反応して、前記ガイドの声や動きが変化するようにしたことを特徴とする。尚、請求項6記載の携帯型移動支援装置は、カメラを必要的に備えているものとする。
画像認識は、まず、撮影したデジタル画像に対して、ノイズ除去、エッジ強調、拡大・縮小、回転等の補正を施し、特徴抽出をした後に、抽出した特徴パターンについて、標準パターンとのパターンマッチングを行う。又、動く物体にガイドが反応するようにする場合には、フレーム間の差分画像を用いて特徴抽出を行うことが有効である。
これによって、電子ペットや仮想人物等のガイドが、道端の草花等に関心を示して立ち止まったりする様子を表示できるようになり、ユーザーも、周囲の風景や季節の変化を楽しみながら歩くことができるようになる。
脂肪燃焼効果を増大させるためには、酸素を血液中に取り込みながら行う有酸素運動が必要であり、それに適した心拍数がある。年齢や体力等による個人差はあるものの、心拍数を概ね120前後に維持することが望ましいとされている。この点、心拍数を常に確認しながら運動することができるように、腕時計タイプや胸部にバンドで装着するタイプ等の心拍計が市販されている。しかし、心拍数を数字で表示する方法は、測定結果を直感的に理解することが難しい。又、心拍数を確認している間は、視界が遮られるため危険である。更に、心拍数の増減を確認することによって移動速度をコントロールすることは難しい。
そこで、請求項7記載の携帯型移動支援装置は、請求項1から請求項4のいずれかに記載の携帯型移動支援装置において、心拍計を備え、変更手段が、前記心拍計で計測したユーザーの心拍数に応じてガイドを表示する大きさや位置を変更できるようにしたことを特徴とする。
心拍計は、スマートフォン等の携帯端末に一体となったものだけでなく、腕時計や胸部に装着するバンドに内蔵したものを用いることができる。この場合には、ケーブルや省電力近距離無線技術によってシステムに連接するものとする。又、心拍計を別に保持することもでき、心拍数を計測して測定結果をシステムに送信できるものであれば、その形態を問わない。尚、ヘッドマウントディスプレイやヘッドアップディスプレイの場合、これと一体的に構成した心拍計(脈拍計)によって、頭部の脈拍を計測することができる。
この際、ガイドの想定移動速度を変化させるとともに、ガイドが声を発するようにしてもよい。例えば、電子ペットであれば、鳴き声を発するようにしたり、仮想人物であれば、「もっと早く」、「もっとゆっくり」、「ペースをあげましょう」、「ペースを落としましょう」等と声を発するようにしたりする。
これによって、心拍数の増減を数字で確認して、移動速度をコントロールする場合と異なり、最適な心拍数を維持するための移動速度を直感的に認識することが可能になる。
光学透過方式のヘッドマウントディスプレイやヘッドアップディスプレイの場合、ユーザーは前を見ながら移動することができるので、前方に位置する人物や自動車に気付くことができる。又、スマートフォン等の携帯端末を見ながら移動する場合についても、拡張現実技術によってディスプレイに現実の映像が映し出されるため、視界が遮られる危険はない。しかし、携帯端末の向きによっては、前方に位置する人物や自動車に気付くことができず危険を生じる場合も想定される。
そこで、請求項8記載の携帯型移動支援装置は、請求項1から請求項4のいずれかに記載の携帯型移動支援装置において、赤外線センサー、超音波センサー、ミリ波レーダーセンサー等の物体検出センサーを備え、前記物体検出センサーによってユーザーの前方に位置する人物や自動車を検出し、検出した前記人物や前記自動車にガイドが反応して、前記ガイドの声や動きが変化するようにしたことを特徴とする。
例えば、検出した前記人物にガイドが反応する場合には、ガイドがユーザーの前方において、前記人物を避けるようにして前進する動作を表示する。又、「前方に人がいます。注意してください。」等と発音するようにもできる。
これによって、屋外で行うウォーキング運動等の安全性を増大させることができる。
ユーザーは、拡張現実技術によって映し出される現実の映像を見ることができるので、横断歩道における交通信号を識別することができる。しかし、ユーザーが高齢者や目の不自由な方である場合、交通信号を識別することが困難である場合が想定される。
そこで、請求項9記載の携帯型移動支援装置は、請求項1から請求項4のいずれかに記載の携帯型移動支援装置において、ガイドの想定位置と地図情報との照合、又は交通信号等の画像認識によって、前記ガイドが横断歩道の手前で一時停止するようにしたことを特徴とする。
ガイドの現実空間における想定位置と地図情報とを照合することによって、一時停止の要否を判定する。この際、ガイドは、ユーザーに対して注意喚起するのに必要な時間的余裕をもって、横断歩道の手前で停止するようにする。又、ガイドとして仮想人物を表示する場合には、その手を横にして、ユーザーを制止するかのような動きをさせることもできる。更に、携帯端末のバイブレーション機能を併用すれば、一層効果的に注意喚起することができる。
画像認識によって、歩行者用交通信号が止まれを示していることを認識したり、自動車の往来や道路の存在を認識したりする。又、地図情報との照合精度を向上させることもできる。更には、画像認識によって歩行者用交通信号が進めの状態になったことを識別して、一時停止後の発進を促すようにすることもできる。但し、誤認識の虞があるので、道路を横断する前には、常に一時停止するように設定することが望ましい。
これによって、携帯端末によって視界を遮られることなく、拡張現実技術によって前方を見ながら移動できるのに加え、ガイドが横断歩道の手前で一時停止することによって、ユーザーに注意喚起したり制止したりするので、道路を横断する際の事故防止につながる。
近年、ソーシャルネットワーキングサービスの進歩に伴い、データ通信を活用したコミュニケーションが可能になっている。しかし、サイバー空間におけるコミュニケーションに偏ることによる様々な弊害が危惧されている。
そこで、請求項10記載の携帯型移動支援装置は、請求項1から請求項4のいずれかに記載の携帯型移動支援装置において、赤外線通信や短距離無線通信等のデータ通信を用いて、他のユーザーを先導するガイドの現実空間における想定位置情報やガイドの形態等に関する情報を取得し、前記他のユーザーを先導するガイドを表示できるようにしたことを特徴とする。
他のユーザーを先導するガイドに関する情報を取得して、その現実空間における想定位置にあたかも存在するかのように、ユーザーの携帯型移動支援装置のディスプレイに表示する。このガイドの現実空間における想定位置及びガイドの種類・形態・方向等に関する情報を、当該他のユーザーと共有する。
これによって、携帯型移動支援装置のユーザー同士で、自己を先導するガイドに関する情報を共有して、拡張現実空間を介したコミュニケーションが可能になる。この結果、単調になりがちなウォーキング運動等の楽しさを増すことができる。又、サイバー空間に偏ることのない健全なソーシャルネットワーキングサービスの提供が可能になる。
災害発生時には、消防団員等の冷静な誘導員による避難誘導が重要である。特に、子供や高齢者は、地図判読を苦手とする場合が想定されるので単独での避難は困難であり、誰かが先導・誘導する必要がある。
そこで、請求項11記載の携帯型移動支援装置は、請求項1から請求項4のいずれかに記載の携帯型移動支援装置において、データ通信を用いて、災害発生時における避難経路に関する情報を取得し、ガイドが前記避難経路に関する情報に従ってユーザーを誘導できるようにしたことを特徴とする。
避難経路は、ナビゲーションシステムによって経路探索をするか、あるいは、データ通信によって、最新情報を取得する。そして、避難経路に沿って、ユーザーを先導・誘導するようにガイドを表示する。ガイドは、ユーザーの移動速度や運動負荷を考慮して、可能な限り速く移動するようにする。
これによって、最新の避難経路を最適な速さで避難させることができるようになる。
ユーザーとガイドを繋ぐリードを表示する場合、リードの弛み量に応じて、ガイドの声や動きが変化するようにできれば、一層直感的になる。
そこで、請求項12記載の携帯型移動支援装置は、請求項に記載の携帯型移動支援装置において、リードの弛み量に応じて、ガイドの声や動きが変化するようにしたことを特徴とする。
ガイドの声や動きは、リードが緊張しているときにのみ変化するようにするか、あるいは、リードの緊張の度合いに応じて段階的に変化するようにする。
これによって、自己の移動速度を一層直感的に認識できるとともに調整できるようになる。
ユーザーとガイドを繋ぐリードを表示する場合、緊張状態を携帯端末等のバイブレーション機能によって提示できれば、一層直感的になる。
そこで、請求項13記載の携帯型移動支援装置は、請求項に記載の携帯型移動支援装置において、振動モーターを用いて、リードが緊張している状態をユーザーが認識できるようにしたことを特徴とする。
振動モーターの振動は、リードが緊張しているときにのみ振動するようにするか、あるいは、リードの緊張の度合いに応じて段階的に変化するようにする。
これによって、自己の移動速度を一層直感的に認識できるとともに調整できるようになる。
ユーザーと電子ペット等のガイドとを繋ぐリードを表示することによって、ガイドの想定位置の方向を直感的に認識することが可能であるが、更に、ガイドの想定位置からガイドの声が聴こえるようにできれば、一層容易に、ガイドの想定位置にカメラを指向することができる。
そこで、請求項14記載の携帯型移動支援装置は、請求項1から請求項4のいずれかに記載の携帯型移動支援装置において、ステレオのヘッドホン又はイヤホンを備え、ガイドの声をステレオ音でユーザーが聴くことによって、前記ユーザーが前記ガイドの現実空間における想定位置の方向を直感的に認識できるようにしたことを特徴とする。
周囲の音が遮断されるのは、交通安全上好ましくないので、ステレオのヘッドホン又はイヤホンとして骨伝導スピーカーや超指向性スピーカーを用いることによって、周辺音を同時に聴くことができるようにする。尚、ヘッドマウントディスプレイやヘッドアップディスプレイを用いる場合には、耳にかけるフレーム部に、これらのスピーカーを備えることができる。
ガイドの現実空間における想定位置を音源位置と仮定して、ガイドの声を電子的に生成する。
これによって、ガイドの声が聴こえる方向、すなわち、ガイドの想定位置の方向に、カメラを容易に指向することができるようになる。
特に、長距離移動において目的地まで到達するためには、単に矢印等で方向を指示するだけでなく、最適な移動速度で誘導することが必要である。
そこで、請求項15記載の携帯型移動支援装置は、請求項1から請求項4のいずれかに記載の携帯型移動支援装置において、ガイドの現実空間における想定位置と地図情報との照合によって、予め指定する目的地まで、ガイドがユーザーを誘導できるようにしたことを特徴とする。
経路探索の条件として移動速度を設定するのではなく、探索した経路に沿ってユーザーを誘導するガイドの想定移動速度をリアルタイムで、かつ、直感的に提示するものである。ガイドの想定移動速度は、ユーザーの移動速度、ユーザーの心拍数等の生体情報、ユーザーの現在位置における道路勾配、移動計画等に基づき決定する。
これによって、ペース配分を維持しながら、途中で挫折することなく目的地まで到着することができる。
カロリー摂取量が多い日には、より運動負荷を高めることによってカロリー消費量を増やしたい場合も考えられる。
そこで、請求項16記載の携帯型移動支援装置は、請求項1から請求項4のいずれかに記載の携帯型移動支援装置において、変更手段が、ユーザーのカロリー摂取量や運動量に応じて、ガイドを表示する大きさや位置を変更できるようにしたことを特徴とする。
ユーザーのカロリー摂取量については、ユーザーがタッチパネル等を操作することによって、日々摂取したカロリー値を直接入力したり、ユーザーが食べる実際の食事をカメラで撮影して、その画像を処理することによって、自動的にカロリー摂取量を算出したりするようにする。そして、日々のカロリー摂取量を蓄積記憶しておき、カロリー摂取量が過多のときには、請求項1又は請求項2に記載の携帯型移動支援装置におけるガイドの想定位置が通常よりも遠くになるようにして、請求項3又は請求項4に記載の携帯型移動支援装置におけるガイドの想定移動速度が増加するようにする。反対に、カロリー摂取量が少ないときには、請求項1又は請求項2に記載の携帯型移動支援装置におけるガイドの想定位置が通常よりも近くになるようにして、請求項3又は請求項4に記載の携帯型移動支援装置におけるガイドの想定移動速度が減少するようにする。
ユーザーの運動量については、ユーザーがタッチパネル等を操作することによって、日々の運動量を直接入力したり、ユーザーが通勤等で歩いた歩数や運動量を自動的に検出したりするようにする。そして、これらの日々の運動量を蓄積記憶しておき、運動不足のときには、請求項1又は請求項2に記載の携帯型移動支援装置におけるガイドの想定位置が通常よりも遠くになるようにして、請求項3又は請求項4に記載の携帯型移動支援装置におけるガイドの想定移動速度が増加するようにする。反対に、運動量が十分に足りているときには、請求項1又は請求項2に記載の携帯型移動支援装置におけるガイドの想定位置が通常よりも近くになるようにして、請求項3又は請求項4に記載の携帯型移動支援装置におけるガイドの想定移動速度が減少するようにする。
ガイドの体型に、カロリー摂取量や運動量を反映させることによって、ユーザーは客観的に自己を見直す機会を得ることができる。
そこで、請求項17記載の携帯型移動支援装置は、請求項1から請求項4のいずれかに記載の携帯型移動支援装置において、ユーザーのカロリー摂取量や運動量に応じて、ガイドの体型が変化するようにしたことを特徴とする。
ユーザーのカロリー摂取量や運動量については、請求項16と同様の方法によって取得する。
ガイドの体型を変化させるには、ユーザーのカロリー摂取量と運動量に基づき、実際の動物をモデルにした複雑な演算を行うことも可能であるが、最も簡単な方法は、カロリー摂取量に比例して少しずつ太らせ、運動量に比例して少しずつ痩せさせるという方法である。
これによって、電子ペットの体型は、ユーザーの日々の食事量や運動量を反映したものとなり、前記電子ペットの体型を見ることによって、ユーザーが客観的に自らの生活習慣を見直す機会が得られ、自身のカロリーの摂り過ぎに注意したり運動を心がけたりできるようになる。
スマートフォン等の携帯端末又は光学透過方式のヘッドマウントディスプレイ若しくはヘッドアップディスプレイからなる端末において、携帯型移動支援装置に必要な一連の処理を実行させるためにはプログラムが必要である。
そこで、まず、請求項18記載のプログラムは、カメラを備えるスマートフォン等の携帯端末において、拡張現実(AR:
Augmented Reality)技術を用いて、前記携帯端末のディスプレイに、前記カメラで撮影する画像に重ね合わせて、ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示処理と、前記ガイドを表示する大きさや位置を変更する変更処理を、前記ユーザーが、前記ガイドに追随するように移動することによって、自己の移動速度を直感的に認識できるとともに調整できるように、コンピュータに実行させるためのプログラムである。
これによって、請求項1記載の携帯型移動支援装置に必要な一連の処理を実行させることができる。
次に、請求項19記載のプログラムは、光学透過(Optical
See-Trough)方式のヘッドマウントディスプレイ(HMD:
Head-Mounted Display)又はヘッドアップディスプレイ(HUD:
Head-Up Display)からなる端末において、拡張現実(AR:
Augmented Reality)技術を用いて、現実空間に重ね合わせて、ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示処理と、前記ガイドを表示する大きさや位置を変更する変更処理を、前記ユーザーが、前記ガイドに追随するように移動することによって、自己の移動速度を直感的に認識できるとともに調整できるように、コンピュータに実行させるためのプログラムである。
これによって、請求項2記載の携帯型移動支援装置に必要な一連の処理を実行させることができる。
次に、請求項20記載のプログラムは、カメラを備えるスマートフォン等の携帯端末において、拡張現実(AR:
Augmented Reality)技術を用いて、前記携帯端末のディスプレイに、前記カメラで撮影する画像に重ね合わせて、ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示処理と、前記ユーザーの移動速度を検出するユーザー移動速度検出処理と、前記ガイドの現実空間における想定移動速度を決定するガイド移動速度決定処理と、前記ユーザーの位置と前記ガイドの現実空間における想定位置との間の位置関係に基づき、前記ガイドを表示する大きさや位置を変更する変更処理を、前記ユーザーが、前記ガイドに追随するようにして移動することによって、自己の移動速度を直感的に認識できるとともに調整できるように、コンピュータに実行させるためのプログラムである。
これによって、請求項3記載の携帯型移動支援装置に必要な一連の処理を実行させることができる。
最後に、請求項21記載のプログラムは、光学透過(Optical
See-Trough)方式のヘッドマウントディスプレイ(HMD:
Head-Mounted Display)又はヘッドアップディスプレイ(HUD:
Head-Up Display)からなる端末において、拡張現実(AR:
Augmented Reality)技術を用いて、現実空間に重ね合わせて、ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示処理と、前記ユーザーの移動速度を検出するユーザー移動速度検出処理と、前記ガイドの現実空間における想定移動速度を決定するガイド移動速度決定処理と、前記ユーザーの位置と前記ガイドの現実空間における想定位置との間の位置関係に基づき、前記ガイドを表示する大きさや位置を変更する変更処理を、前記ユーザーが、前記ガイドに追随するようにして移動することによって、自己の移動速度を直感的に認識できるとともに調整できるように、コンピュータに実行させるためのプログラム。
これによって、請求項4記載の携帯型移動支援装置に必要な一連の処理を実行させることができる。
電子ペットや仮想人物を見ながらウォーキング等を楽しむことができるようになる。これによって、単調になりがちな有酸素運動等を継続することが容易になり、現代人の健康維持増進につながる。そして、高齢化社会において、医療費増大の抑制や、社会の活性化に貢献できる。
ユーザーを先導・誘導するガイドが、ユーザーに対して、交差点等における危険を直感的に知らせることができるので、交通安全に貢献できる。特に、高齢者をはじめとする視力低下による信号見落としの防止に効果がある。
災害発生時等の避難経路を、ガイドが分かり易く案内することによって、子供から高齢者までが、直感的に避難経路や避難する際の移動速度を認識することが容易になるので、災害発生時の生命・身体の安全、被害の局限に貢献することができる。
図1は、携帯型移動支援装置のハードウェア構成の一例を示すブロック図である。 図2は、ガイド(近距離にいる仮想人物)の表示の一例を示す説明図である。 図3は、ガイド(遠距離にいる仮想人物)の表示の一例を示す説明図である。 図4は、ガイド(横断歩道を渡る手前で停止している電子ペット)の表示の一例を示す説明図である。 図5は、ガイド(横断歩道を渡っている電子ペット)の表示の一例を示す説明図である。 図6は、ガイド(歩道を歩く電子ペット)をつなぐリードが弛んでいる状態の表示の一例を示す説明図である。 図7は、ガイド(歩道を歩く電子ペット)をつなぐリードが緊張している状態の表示の一例を示す説明図である。 図8は、ガイド(歩道を歩く電子ペット)をつなぐリードが引っ張られて伸びている状態の表示の一例を示す説明図である。 図9は、ガイド(歩道を歩く電子ペット)が、カメラの撮影範囲から外れてディスプレイに表示されなくなった状態の一例を示す説明図である。 図10は、リードを頼りにカメラの方向を変えることによって、再びガイド(歩道を歩く電子ペット)を表示したときの状態の一例を示す説明図である。 図11は、ガイド(歩道を歩く電子ペット)が、道端に咲く花に反応している状態の一例を示す説明図である。 図12は、ガイド(歩道を歩く電子ペット)が、他のユーザーを先導するガイド(電子ペット)に反応している状態の一例を示す説明図である。 図13は、光学透過方式のヘッドマウントディスプレイを用いた場合のガイド(近距離にいる仮想人物)の表示の一例を示す説明図である。 図14は、携帯型移動支援装置上で実行する処理手順の一例を示すフローチャートである。
以下に、本発明の最良の実施の形態に係る携帯型移動支援装置の実施例について説明する。尚、可能な限り、同一部分には同一符号を付し、重複する説明を省略する。
図1は、携帯型移動支援装置の最も基本的なハードウェア構成の一例を模式的に示すブロック図である。
CPU7は、RAM(Random-Access Memory)5をワーク領域として、ROM(Read-Only Memory)4に記憶した制御プログラムをロードして実行する。
ユーザーインターフェース(User
Interface)1は、タッチパネル、リモコンスイッチ、音声認識装置等から構成され、アプリケーションの初期設定や起動・終了等に用いる。
カメラ(Camera)2はデジタル方式であり、拡張現実技術を用いて、カメラ(Camera)2で撮影した実写映像に仮想人物や電子ペット等のガイドを重ね合わせてディスプレイ(Display)6に表示する。又、請求項2又は請求項4に記載の携帯型移動支援装置のように光学透過方式のヘッドマウントディスプレイやヘッドアップディスプレイを用いる場合には、ユーザーの視界に仮想人物や電子ペット等のガイドを重ね合わせてディスプレイ(Display)6に表示する。
このためには、携帯端末や光学透過方式のヘッドマウントディスプレイ等の位置・姿勢・方位を検出する必要がある。そこで、GPS3で位置を検出し、加速度センサー(Accelerometer)10及びジャイロセンサー(Gyro
Sensor)11で姿勢を検出し、地磁気センサー(Magnetic
field sensor)12で方位を検出する。
データ記憶装置(Data
storage)8には、仮想人物や電子ペット等のガイドに関するデータ、画像認識に用いる標準パターンに関するデータ、地図データ等を記憶しておく。又、ナビゲーションシステムによって探索した経路や、移動した経路に関するデータ等を保存することもできる。
心拍計(Heart rate
monitor)9は、ガイドの想定位置を決定するために用い、ユーザーの心拍数がターゲット心拍数よりも高い場合には、ガイドを近くに表示して、低い場合には、ガイドを遠くに表示する。これによって、ユーザーは、ガイドが遠くに表示されている場合には、これに追い付こうとして歩行ペースを上げる結果、その心拍数が上がる。反対に、ガイドが目前に表示されている場合には、これにぶつからないようにして歩行ペースを下げる結果、その心拍数が下がる。その結果、ユーザーの心拍数をターゲット心拍数の近傍に調整できるようになる。又、請求項3又は請求項4に記載の携帯型移動支援装置のようにガイドの想定移動速度から想定位置を算出する場合には、心拍計9は想定移動速度を決定するために用い、ユーザーの心拍数がターゲット心拍数よりも高い場合には、ガイドの想定移動速度を減速し、低い場合には、ガイドの想定移動速度を加速する。
尚、図1は、最も基本的なハードウェア構成の一例であり、例えば、請求項10又は請求項11に記載の携帯型移動支援装置のようにデータ通信ネットワークを使用する場合には、ネットワークインターフェース等の必要な構成を追加する。データ通信によって、他のユーザーとガイドに関する情報を共有することができるようになる。
図2は、近距離にいるガイド(仮想人物)の表示の一例を示す説明図であり、カメラを備えるスマートフォン13において、拡張現実技術を用いて、スマートフォン13のディスプレイ14に、前記カメラで撮影したユーザー15の前方の実写映像に重ね合わせて、ユーザー15を先導する仮想人物を表すガイド(近距離にいる仮想人物)16を表示した状態を示している。ユーザー15の前方には横断歩道があり、拡張現実技術によって表示されたガイドが、横断歩道を渡ろうとしている瞬間の状態であり、この時の歩行者用交通信号は進めの状態である。想定位置と地図情報とを照合するとともに、歩行者用交通信号が止まれの状態の場合には、それを画像認識することによって、ガイドが横断歩道の手前で停止するようにする。又、赤外線センサー、超音波センサー、ミリ波レーダーセンサー等の物体検出センサーによって往来する自動車を検出し、検出した自動車にガイドが反応して声や動きが変化するようにする。
拡張現実技術には、カメラで撮影する画像に対して、仮想の画像を合成するものと情報を付加するものの二種類があるが、本発明の表示手段では前者を用いる。
携帯型移動支援装置の使用においては、予め移動経路に沿ってガイドがユーザーを誘導する場合と、予め移動経路を定めることなく、ユーザーが選択した移動方向に沿ってガイドがユーザーを先導する場合とがある。
予め移動経路を定める場合、ユーザーの位置を基準としてガイドの位置を決定する。具体的には、ガイドの想定移動速度に比してユーザーの移動速度が遅れている場合には、ガイドが遠距離に存在するように表示し、進んでいる場合には、ガイドが近距離に存在するように表示する。この表示方法は、直感的に分かり易く、予め移動経路を定める場合のウォーキングや災害時の避難誘導において有効である。
ユーザーが、予め移動経路を定めることなく、移動経路を自由に選択しながら移動する場合、ユーザーが進行方向を変換するのに伴い、ガイドの位置を不連続的に移動させる必要が生じる。この場合には、例えば、ユーザーが進行方向を変換した直後に、ガイドが慌ててユーザーの前方まで走って移動するように表示すれば、自然なかたちで継続的にユーザーを先導することができる。ガイドの想定移動速度に比してユーザーの移動速度が遅れている場合には、ガイドが遠距離に存在するように表示し、進んでいる場合には、ガイドが近距離に存在するように表示する点は、予め移動経路を定める場合と同様である。この表示方法は、特に、予め移動経路を定めない場合のウォーキングにおいて有効である。
ユーザー15の進行方位は、地磁気センサーと加速度センサーを組み合わせて検出する方位を平均化する方法、GPSで測位する2地点の座標から方位を求める方法、あるいは、これらの方法を組み合わせた方法によって検出する。
ユーザー15の移動速度は、GPS3や加速度センサー10等を用いて検出する。GPS3を用いる方法では、スマートフォン13に搭載されたGPS3によって標定できるユーザー15の位置情報を用いる。具体的には、一定時間間隔をおいたときの2地点におけるユーザー15の自己位置をGPS3で標定して、その2地点間の距離を前記一定時間で除することによって、移動速度を検出する。又、建物やトンネル内等、GPS衛星を捕捉できない場所においては、スマートフォン13の歩数計機能を用い、搭載された加速度センサーによって得られるユーザー15の歩数に、予め入力するユーザー15の歩幅を乗ずることによって、移動速度を検出する。又、検出精度を向上させるために、ジャイロセンサー11を組み合わせて使用することも考えられる。
ガイド16の移動速度決定手段としては、予めプログラムした速度とする方法やユーザー15の心拍数等に基づき決定した速度とする方法を用いる。具体的には、予め一定の速度に設定する方法、地図情報を用いて移動経路上の勾配分布から自動的に決定する方法、ユーザー15の移動速度をその心拍数に応じて増減する方法、あるいは、それらを組み合わせた方法等によってガイドの想定移動速度を決定する。
ガイド16の大きさや位置を変更する変更手段は、携帯端末13の位置・姿勢・方位、及びガイド16の現実空間における想定位置に基づき、ガイド16を表示する大きさや位置を変更する。
携帯端末13の位置は、GPSを用いることによって検出する。携帯端末13の姿勢は、加速度センサーやジャイロセンサーを用いることによって検出する。携帯端末13の方位は、地磁気センサーを用いることによって検出する。又、加速度センサーと組み合わせることによって精度を向上させることができる。更に、地磁気センサーは、周辺磁場の影響を受けることがあるので、ジャイロセンサーを併用することも考えられる。
ガイド16の想定位置は、ガイドの初期位置を基点として、想定移動速度を時間積分して求めた距離を加えることによって決定する。ガイドの初期位置は、ユーザーのスタート位置に設定する。ガイドの進行方向は、探索した移動経路に沿う方向にする。
ガイドの想定移動速度を時間積分した値を用いて想定位置を決定する方法では、ガイドがユーザーから離れすぎてしまう場合が想定される。そこで、両者の間の離隔距離に上限を設定したり、ガイドの想定移動速度を決定する際に、ユーザーとガイドとの離隔距離に応じて減衰係数を乗じたりできるようにする。
図3は、ガイド(遠距離にいる仮想人物)の表示の一例を示す説明図であり、図2の状態に引き続いて、交通信号が進めに変わった後にガイドが前進を再開し、横断歩道手前で停止していたことによって低くなっていたユーザーの心拍数を上昇させるべく、ガイドの想定移動速度が速くなり、その結果、ガイドは、ユーザーから離れた位置に存在するように表示される。
ガイド(遠距離にいる仮想人物)17を表示する大きさや位置は、携帯端末13の位置・姿勢・方位、及びガイド(遠距離にいる仮想人物)17の現実空間における想定位置に基づき決定する。
図4は、ガイド(横断歩道を渡る手前で停止している電子ペット)の表示の一例を示す説明図であり、ガイド(横断歩道を渡る手前で停止している電子ペット)18とともに、ユーザー15とガイド(横断歩道を渡る手前で停止している電子ペット)18とを繋ぐリード(弛んでいる状態)19を表示している。リード(弛んでいる状態)19のユーザー側の一端は、ディスプレイ14の最下部中央にあり、あたかも携帯端末を保持するユーザー15の手から伸びているように表示する。
図5は、ガイド(横断歩道を渡っている電子ペット)の表示の一例を示す説明図であり、図4の状態に引き続いて、交通信号が進めに変わった後にガイドが前進を再開し、横断歩道手前で停止していたことによって低くなっていたユーザーの心拍数を上昇させるべく、ガイドの想定移動速度が速くなり、その結果、ガイドは、ユーザーから離れた位置に存在するように表示される。
ユーザー15とガイド(横断歩道を渡っている電子ペット)20とを繋ぐリード(緊張している状態)21は、直線で細く表示する等、ガイドがユーザー15を引っ張ることによって緊張しているかのごとく表示する。この際、携帯端末13のバイブレーション機能を用いれば、ユーザー15は、リードの緊張状態を触覚的に疑似体験することができる。
図6から図10は、携帯型ナビゲーションシステムとして使用する際に、ガイドがカメラの撮影範囲から外れてしまうような場合においても、リードを頼りに、ガイドが存在する方向を概ね推定できるようになり、推定した方向にカメラを指向し直すことによって、ガイドを携帯端末のディスプレイに再び表示することができるようになる一連の状態の表示を説明するものである。
まず、図6は、ガイド(歩道を歩く電子ペット)をつなぐリードが弛んでいる状態の表示の一例を示す説明図であり、ユーザー15の移動速度は、ガイド(歩道を歩いている電子ペット)22の想定移動速度と同じか速い状態である。
次に、図7は、ガイド(歩道を歩く電子ペット)をつなぐリードが緊張している状態の表示の一例を示す説明図であり、ガイド(歩道を歩いている電子ペット)22の想定移動速度が速くなったか、あるいは、ユーザーの移動速度が遅くなったことによって、ガイドがユーザーから遠ざかり、リード(緊張している状態)21が緊張している。
次に、図8は、ガイド(歩道を歩く電子ペット)をつなぐリードが引っ張られて伸びている状態の表示の一例を示す説明図であり、更に、ガイドがユーザーから遠ざかることによって、リード(引っ張られて伸びている状態)23で繋がれたガイド(歩道を歩く電子ペット)22の頭部の一部がカメラの撮影範囲から外れて、ディスプレイ14に表示できなくなっている。
次に、図9は、ガイド(歩道を歩く電子ペット)が、カメラの撮影範囲から外れてディスプレイに表示されなくなった状態の一例を示す説明図であり、ガイド(カメラの撮影範囲から外れてディスプレイに表示されなくなった電子ペット)24は、ディスプレイ14に全く表示できなくなっている。しかし、リード(左前方に引っ張られて、一部がディスプレイに表示されていない状態)25は、ユーザー側の一端がディスプレイ14の最下部中央に固定されているので、リードの延びる方向にガイドが存在することを推定することが可能である。
図10は、リードを頼りにカメラの方向を変えることによって、再びガイド(歩道を歩く電子ペット)を表示したときの状態の一例を示す説明図である。ガイド(再びディスプレイに表示されるようになった電子ペット)26は、リード(再び全体がディスプレイに表示されている状態)27によってユーザー15と繋がり、ユーザー15を進むべき方向に誘導することができる。
図11は、ガイド(歩道を歩く電子ペット)が、道端に咲く花に反応している状態の一例を示す説明図である。カメラで撮影した道端に咲く花28を画像認識し、予めプログラムされた動作をガイド(道端に咲く花に反応している電子ペット)29が行っている。この際、認識対象が一般に存在する高さを登録しておくことによって、携帯端末の位置・姿勢・方位から、認識対象の現実空間における位置を推定することができる。これによって、推定した認識対象の位置とガイドの想定位置との位置関係に基づく、より現実的な動作を表現することが可能となる。例えば、道端に咲く花28にガイド(道端に咲く花に反応している電子ペット)29が鼻を近づけて匂いを嗅ぐ動作等を表現することができるようになる。
図12は、ガイド(歩道を歩く電子ペット)が、他のユーザーを先導するガイド(電子ペット)に反応している状態の一例を示す説明図である。赤外線通信や短距離無線通信等のデータ通信を用いて、他のユーザー30を先導するガイド(電子ペット)31に関する情報を取得して、その現実空間における想定位置にあたかも存在するかのように、ユーザー15の携帯型移動支援装置のディスプレイ14に表示する。このガイドの現実空間における想定位置及びガイドの種類・形態・方向等に関する情報を、他のユーザー30と共有することによって、ガイド(他のユーザーを先導するガイド(電子ペット)に反応している電子ペット)32が喜ぶ動作等を表示することができる。
図13は、光学透過方式のヘッドマウントディスプレイ33を用いた場合のガイド(近距離にいる仮想人物)16の表示の一例を示す説明図であり、光学透過方式のヘッドマウントディスプレイ33は心拍計(脈拍計)付きのメガネ型である。これには各種センサーも内蔵されている。メガネを通して見える現実世界に重ね合わせて、ガイド(近距離にいる仮想人物)16が、現実に存在するかのように表示される。ユーザーの頭部の脈拍を計測し、これがターゲット心拍数より低い場合にはガイド16が遠ざかり、高い場合には近づくようにする。このガイド16にユーザーが追随して歩くことによって、ユーザーの運動負荷が変化し、心拍数(脈拍数)がターゲット心拍数に近づくようになる。
更に、GPSを備える場合には、ユーザーの自己位置を測位して、測位した位置を基準に推定したガイドの想定位置と、光学透過方式のヘッドマウントディスプレイ33の位置・姿勢・方位に基づき、ガイド16を表示する大きさや位置を決定することができる。これによって、空中や水上等の存在し得ない位置にガイドが表示されることを回避できるので、より現実的な表示が可能となる。
図14は、携帯型移動支援装置の基本的な処理の流れの一例を示すフローチャートである。
まず、先導・誘導を開始する地点において、携帯端末の位置(ユーザーの初期位置であり、ガイドの初期想定位置はその近傍とする。)・姿勢・方位を検出する(S1)。次に、ガイドをディスプレイに表示する位置・大きさ等を決定し(S2)、実写映像に重ね合わせてガイドをディスプレイに表示する(S3)。
次に、ユーザーの位置及び移動速度を検出する(S4)。
次に、ユーザーの心拍数(H)を検出する(S5)。そして、H>ターゲット心拍数を判定し(S6)、S6の結果がYESならば、ガイドの想定移動速度を減少し(S7)、S6の結果がNOならば、ガイドの想定移動速度を増加する(S8)。
次に、ガイドの想定移動速度を時間で積分した値を用いることによって、ガイドの想定位置を算定し、変更する(S9)。この際、携帯型ナビゲーションシステムとして使用する場合には、ガイドは探索した経路に沿う方向に移動するようにする。
次に、携帯端末の位置・姿勢・方位を検出して(S10)、ユーザーの位置とガイドの想定位置との位置関係に基づきガイドを表示する位置・大きさ等を変更し(S11)、実写映像(現実空間)に重ね合わせてガイドをディスプレイに再表示する(S12)。
最後に、ガイドによる先導・誘導を終了するか否かを判定し(S13)、S13の結果がNOならば、S4から繰り返し処理を実行し、S13の結果がYESならば、処理を終了する。
拡張現実(AR: Augmented Reality)技術の活用分野が拡がり、スマートフォンやヘッドマウントディスプレイ等の普及と相俟って新たな産業を創出できる可能性がある。
1 ユーザーインターフェース(User
Interface)
2 カメラ(Camera)
3 GPS(Global Positioning
System)
4 ROM(Read-Only Memory)
5 RAM(Random-Access Memory)
6 ディスプレイ(Display)
7 CPU(Central Processing Unit)
8 データ記憶装置(Data
storage)
9 心拍計(Heart rate
monitor)
10 加速度センサー(Accelerometer)
11 ジャイロセンサー(Gyro
Sensor)
12 地磁気センサー(Magnetic
field sensor)
13 カメラを備えるスマートフォン等の携帯端末
14 携帯端末のディスプレイ
15 ユーザー
16 ガイド(近距離にいる仮想人物)
17 ガイド(遠距離にいる仮想人物)
18 ガイド(横断歩道を渡る手前で停止している電子ペット)
19 リード(弛んでいる状態)
20 ガイド(横断歩道を渡っている電子ペット)
21 リード(緊張している状態)
22 ガイド(歩道を歩いている電子ペット)
23 リード(引っ張られて伸びている状態)
24 ガイド(カメラの撮影範囲から外れてディスプレイに表示されなくなった電子ペット)
25 リード(左前方に引っ張られて、一部がディスプレイに表示されていない状態)
26 ガイド(再びディスプレイに表示されるようになった電子ペット)
27 リード(再び全体がディスプレイに表示されている状態)
28 道端に咲く花
29 ガイド(道端に咲く花に反応している電子ペット)
30 他のユーザー
31 他のユーザーを先導するガイド(電子ペット)
32 ガイド(他のユーザーを先導するガイド(電子ペット)に反応している電子ペット)
33 光学透過方式のヘッドマウントディスプレイ

Claims (21)

  1. カメラを備えるスマートフォン等の携帯端末であって、
    拡張現実(AR: Augmented Reality)技術を用いて、
    前記携帯端末のディスプレイに、
    前記カメラで撮影する画像に重ね合わせて、
    ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示手段と、
    前記ユーザーの心拍数等の生体情報、又は前記ユーザーの移動速度若しくは移動ペース等に基づき、前記ガイドを表示する大きさや位置を変更する変更手段と、
    を備えた携帯型移動支援装置。
  2. 光学透過(Optical See-Trough)方式のヘッドマウントディスプレイ(HMD: Head-Mounted Display)又はヘッドアップディスプレイ(HUD: Head-Up Display)からなる端末であって、
    拡張現実(AR: Augmented Reality)技術を用いて、
    現実空間に重ね合わせて、
    ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示手段と、
    前記ユーザーの心拍数等の生体情報、又は前記ユーザーの移動速度若しくは移動ペース等に基づき、前記ガイドを表示する大きさや位置を変更する変更手段と、
    を備えた携帯型移動支援装置。
  3. カメラを備えるスマートフォン等の携帯端末であって、
    拡張現実(AR: Augmented Reality)技術を用いて、
    前記携帯端末のディスプレイに、
    前記カメラで撮影する画像に重ね合わせて、
    ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示手段と、
    前記ユーザーの移動速度を検出するユーザー移動速度検出手段と、
    前記ユーザーの心拍数等の生体情報、又は前記ユーザーの移動速度若しくは移動ペース等に基づき、前記ガイドの現実空間における想定移動速度を決定するガイド移動速度決定手段と、
    前記ユーザーの位置と前記ガイドの現実空間における想定位置との間の位置関係に基づき、前記ガイドを表示する大きさや位置を変更する変更手段と、
    を備えた携帯型移動支援装置。
  4. 光学透過(Optical See-Trough)方式のヘッドマウントディスプレイ(HMD: Head-Mounted Display)又はヘッドアップディスプレイ(HUD: Head-Up Display)からなる端末であって、
    拡張現実(AR: Augmented Reality)技術を用いて、
    現実空間に重ね合わせて、
    ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示手段と、
    前記ユーザーの移動速度を検出するユーザー移動速度検出手段と、
    前記ユーザーの心拍数等の生体情報、又は前記ユーザーの移動速度若しくは移動ペース等に基づき、前記ガイドの現実空間における想定移動速度を決定するガイド移動速度決定手段と、
    前記ユーザーの位置と前記ガイドの現実空間における想定位置との間の位置関係に基づき、前記ガイドを表示する大きさや位置を変更する変更手段と、
    を備えた携帯型移動支援装置。
  5. 表示手段が、
    ガイドとともに、
    ユーザーと前記ガイドとを繋ぐリードを表示し、
    前記ユーザーの位置と前記ガイドの現実空間における想定位置との間の位置関係に基づき、前記リードの弛み量を決定するリード弛み量決定手段を備えたことを特徴とする請求項1から請求項4のいずれかに記載の携帯型移動支援装置。
  6. カメラで撮影する画像中の物体を画像認識し、認識した前記物体にガイドが反応して、前記ガイドの声や動きが変化するようにしたことを特徴とする請求項1から請求項4のいずれかに記載の携帯型移動支援装置。
  7. 心拍計を備え、変更手段が、前記心拍計で計測したユーザーの心拍数に応じてガイドを表示する大きさや位置を変更できるようにしたことを特徴とする請求項1から請求項4のいずれかに記載の携帯型移動支援装置。
  8. 赤外線センサー、超音波センサー、ミリ波レーダーセンサー等の物体検出センサーを備え、前記物体検出センサーによってユーザーの前方に位置する人物や自動車を検出し、検出した前記人物や前記自動車にガイドが反応して、前記ガイドの声や動きが変化するようにしたことを特徴とする請求項1から請求項4のいずれかに記載の携帯型移動支援装置。
  9. ガイドの現実空間における想定位置と地図情報との照合、又は交通信号等の画像認識によって、前記ガイドが横断歩道の手前で一時停止するようにしたことを特徴とする請求項1から請求項4のいずれかに記載の携帯型移動支援装置。
  10. データ通信を用いて、他のユーザーを先導するガイドの現実空間における想定位置情報を取得し、前記他のユーザーを先導するガイドを表示できるようにしたことを特徴とする請求項1から請求項4のいずれかに記載の携帯型移動支援装置。
  11. データ通信を用いて、災害発生時における避難経路に関する情報を取得し、ガイドが前記避難経路に関する情報に従ってユーザーを誘導できるようにしたことを特徴とする請求項1から請求項4のいずれかに記載の携帯型移動支援装置。
  12. リードの弛み量に応じて、ガイドの声や動きが変化するようにしたことを特徴とする請求項に記載の携帯型移動支援装置。
  13. 振動モーターを用いて、リードが緊張している状態をユーザーが認識できるようにしたことを特徴とする請求項に記載の携帯型移動支援装置。
  14. ステレオのヘッドホン又はイヤホンを備え、ガイドの声をステレオ音でユーザーが聴くことできるようにしたことを特徴とする請求項1から請求項4のいずれかに記載の携帯型移動支援装置。
  15. ガイドの現実空間における想定位置と地図情報との照合によって、予め指定する目的地まで、ガイドがユーザーを誘導できるようにしたことを特徴とする請求項1から請求項4のいずれかに記載の携帯型移動支援装置。
  16. 変更手段が、ユーザーのカロリー摂取量や運動量に応じて、ガイドを表示する大きさや位置を変更できるようにしたことを特徴とする請求項1から請求項4のいずれかに記載の携帯型移動支援装置。
  17. ユーザーのカロリー摂取量や運動量に応じて、ガイドの体型が変化するようにしたことを特徴とする請求項1から請求項4のいずれかに記載の携帯型移動支援装置。
  18. カメラを備えるスマートフォン等の携帯端末において、
    拡張現実(AR: Augmented Reality)技術を用いて、
    前記携帯端末のディスプレイに、
    前記カメラで撮影する画像に重ね合わせて、
    ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示処理と、
    前記ユーザーの心拍数等の生体情報、又は前記ユーザーの移動速度若しくは移動ペース等に基づき、前記ガイドを表示する大きさや位置を変更する変更処理を、
    請求項1記載の携帯型移動支援装置に実行させるためのプログラム。
  19. 光学透過(Optical See-Trough)方式のヘッドマウントディスプレイ(HMD: Head-Mounted Display)又はヘッドアップディスプレイ(HUD: Head-Up Display)からなる端末において、
    拡張現実(AR: Augmented Reality)技術を用いて、
    現実空間に重ね合わせて、
    ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示処理と、
    前記ユーザーの心拍数等の生体情報、又は前記ユーザーの移動速度若しくは移動ペース等に基づき、前記ガイドを表示する大きさや位置を変更する変更処理を、
    請求項2記載の携帯型移動支援装置に実行させるためのプログラム。
  20. カメラを備えるスマートフォン等の携帯端末において、
    拡張現実(AR: Augmented Reality)技術を用いて、
    前記携帯端末のディスプレイに、
    前記カメラで撮影する画像に重ね合わせて、
    ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示処理と、
    前記ユーザーの移動速度を検出するユーザー移動速度検出処理と、
    前記ユーザーの心拍数等の生体情報、又は前記ユーザーの移動速度若しくは移動ペース等に基づき、前記ガイドの現実空間における想定移動速度を決定するガイド移動速度決定処理と、
    前記ユーザーの位置と前記ガイドの現実空間における想定位置との間の位置関係に基づき、前記ガイドを表示する大きさや位置を変更する変更処理を、
    請求項3記載の携帯型移動支援装置に実行させるためのプログラム。
  21. 光学透過(Optical See-Trough)方式のヘッドマウントディスプレイ(HMD: Head-Mounted Display)又はヘッドアップディスプレイ(HUD: Head-Up Display)からなる端末において、
    拡張現実(AR: Augmented Reality)技術を用いて、
    現実空間に重ね合わせて、
    ユーザーを先導するための電子ペットや仮想人物等のガイドを表示する表示処理と、
    前記ユーザーの移動速度を検出するユーザー移動速度検出処理と、
    前記ユーザーの心拍数等の生体情報、又は前記ユーザーの移動速度若しくは移動ペース等に基づき、前記ガイドの現実空間における想定移動速度を決定するガイド移動速度決定処理と、
    前記ユーザーの位置と前記ガイドの現実空間における想定位置との間の位置関係に基づき、前記ガイドを表示する大きさや位置を変更する変更処理を、
    請求項4記載の携帯型移動支援装置に実行させるためのプログラム。
JP2012275188A 2012-12-17 2012-12-17 携帯型移動支援装置 Expired - Fee Related JP5346115B6 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012275188A JP5346115B6 (ja) 2012-12-17 携帯型移動支援装置
PCT/JP2013/083633 WO2014098033A1 (ja) 2012-12-17 2013-12-16 携帯型移動支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012275188A JP5346115B6 (ja) 2012-12-17 携帯型移動支援装置

Publications (4)

Publication Number Publication Date
JP5346115B1 true JP5346115B1 (ja) 2013-11-20
JP2014120006A JP2014120006A (ja) 2014-06-30
JP2014120006A6 JP2014120006A6 (ja) 2014-08-21
JP5346115B6 JP5346115B6 (ja) 2014-10-01

Family

ID=

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017508200A (ja) * 2014-01-24 2017-03-23 ピーシーエムエス ホールディングス インコーポレイテッド 現実世界の場所と関連する現実を拡張するための方法、装置、システム、デバイス、およびコンピュータプログラム製品
JP2019074953A (ja) * 2017-10-17 2019-05-16 株式会社コロプラ 仮想体験をユーザに提供するための方法、プログラム及びコンピュータ
CN111035394A (zh) * 2014-09-02 2020-04-21 苹果公司 身体活动和健身监视器
WO2022004422A1 (ja) * 2020-07-02 2022-01-06 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2022025296A1 (ja) * 2020-07-31 2022-02-03 株式会社Jvcケンウッド 表示装置、表示方法及びプログラム
US11564103B2 (en) 2020-02-14 2023-01-24 Apple Inc. User interfaces for workout content
US11580867B2 (en) 2015-08-20 2023-02-14 Apple Inc. Exercised-based watch face and complications
US11660503B2 (en) 2016-06-11 2023-05-30 Apple Inc. Activity and workout updates
US11712179B2 (en) 2018-05-07 2023-08-01 Apple Inc. Displaying user interfaces associated with physical activities
US11791031B2 (en) 2019-05-06 2023-10-17 Apple Inc. Activity trends and workouts
US11900795B2 (en) 2019-05-20 2024-02-13 Panasonic Intellectual Property Management Co., Ltd. Pedestrian device and traffic safety assistance method
US11896871B2 (en) 2022-06-05 2024-02-13 Apple Inc. User interfaces for physical activity information
US11931625B2 (en) 2021-05-15 2024-03-19 Apple Inc. User interfaces for group workouts
US11977729B2 (en) 2022-06-05 2024-05-07 Apple Inc. Physical activity information user interfaces
US11979467B2 (en) 2019-06-01 2024-05-07 Apple Inc. Multi-modal activity tracking user interface
US11985506B2 (en) 2022-09-23 2024-05-14 Apple Inc. User interfaces for workout content

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114820A (ja) * 1997-06-18 1999-01-12 Ee D K:Kk 健康管理装置
JP2001141495A (ja) * 1999-11-10 2001-05-25 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2003254764A (ja) * 2002-03-01 2003-09-10 Matsushita Electric Ind Co Ltd 走行位置表示装置
JP2005075190A (ja) * 2003-09-01 2005-03-24 Nissan Motor Co Ltd 車両用表示装置
JP2005127995A (ja) * 2003-09-30 2005-05-19 Mazda Motor Corp 経路誘導装置、経路誘導方法及び経路誘導プログラム
JP2006284195A (ja) * 2005-03-31 2006-10-19 Denso Corp 経路案内システム
JP2008501956A (ja) * 2004-06-03 2008-01-24 メイキング バーチャル ソリッド,エル.エル.シー. ヘッドアップ表示を使用する途上ナビゲーション表示方法および装置
JP2008037167A (ja) * 2006-08-02 2008-02-21 Mazda Motor Corp 車両用情報表示装置
WO2012090325A1 (ja) * 2010-12-28 2012-07-05 トヨタ自動車株式会社 ナビゲーション装置
JP2012155654A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114820A (ja) * 1997-06-18 1999-01-12 Ee D K:Kk 健康管理装置
JP2001141495A (ja) * 1999-11-10 2001-05-25 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2003254764A (ja) * 2002-03-01 2003-09-10 Matsushita Electric Ind Co Ltd 走行位置表示装置
JP2005075190A (ja) * 2003-09-01 2005-03-24 Nissan Motor Co Ltd 車両用表示装置
JP2005127995A (ja) * 2003-09-30 2005-05-19 Mazda Motor Corp 経路誘導装置、経路誘導方法及び経路誘導プログラム
JP2008501956A (ja) * 2004-06-03 2008-01-24 メイキング バーチャル ソリッド,エル.エル.シー. ヘッドアップ表示を使用する途上ナビゲーション表示方法および装置
JP2006284195A (ja) * 2005-03-31 2006-10-19 Denso Corp 経路案内システム
JP2008037167A (ja) * 2006-08-02 2008-02-21 Mazda Motor Corp 車両用情報表示装置
WO2012090325A1 (ja) * 2010-12-28 2012-07-05 トヨタ自動車株式会社 ナビゲーション装置
JP2012155654A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017508200A (ja) * 2014-01-24 2017-03-23 ピーシーエムエス ホールディングス インコーポレイテッド 現実世界の場所と関連する現実を拡張するための方法、装置、システム、デバイス、およびコンピュータプログラム製品
US11854130B2 (en) 2014-01-24 2023-12-26 Interdigital Vc Holdings, Inc. Methods, apparatus, systems, devices, and computer program products for augmenting reality in connection with real world places
CN111035394A (zh) * 2014-09-02 2020-04-21 苹果公司 身体活动和健身监视器
US11798672B2 (en) 2014-09-02 2023-10-24 Apple Inc. Physical activity and workout monitor with a progress indicator
US11580867B2 (en) 2015-08-20 2023-02-14 Apple Inc. Exercised-based watch face and complications
US11908343B2 (en) 2015-08-20 2024-02-20 Apple Inc. Exercised-based watch face and complications
US11918857B2 (en) 2016-06-11 2024-03-05 Apple Inc. Activity and workout updates
US11660503B2 (en) 2016-06-11 2023-05-30 Apple Inc. Activity and workout updates
JP2019074953A (ja) * 2017-10-17 2019-05-16 株式会社コロプラ 仮想体験をユーザに提供するための方法、プログラム及びコンピュータ
US11712179B2 (en) 2018-05-07 2023-08-01 Apple Inc. Displaying user interfaces associated with physical activities
US11791031B2 (en) 2019-05-06 2023-10-17 Apple Inc. Activity trends and workouts
US11972853B2 (en) 2019-05-06 2024-04-30 Apple Inc. Activity trends and workouts
US11900795B2 (en) 2019-05-20 2024-02-13 Panasonic Intellectual Property Management Co., Ltd. Pedestrian device and traffic safety assistance method
US11979467B2 (en) 2019-06-01 2024-05-07 Apple Inc. Multi-modal activity tracking user interface
US11564103B2 (en) 2020-02-14 2023-01-24 Apple Inc. User interfaces for workout content
US11611883B2 (en) 2020-02-14 2023-03-21 Apple Inc. User interfaces for workout content
US11716629B2 (en) 2020-02-14 2023-08-01 Apple Inc. User interfaces for workout content
US11638158B2 (en) 2020-02-14 2023-04-25 Apple Inc. User interfaces for workout content
WO2022004422A1 (ja) * 2020-07-02 2022-01-06 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2022025296A1 (ja) * 2020-07-31 2022-02-03 株式会社Jvcケンウッド 表示装置、表示方法及びプログラム
US11931625B2 (en) 2021-05-15 2024-03-19 Apple Inc. User interfaces for group workouts
US11938376B2 (en) 2021-05-15 2024-03-26 Apple Inc. User interfaces for group workouts
US11896871B2 (en) 2022-06-05 2024-02-13 Apple Inc. User interfaces for physical activity information
US11977729B2 (en) 2022-06-05 2024-05-07 Apple Inc. Physical activity information user interfaces
US11985506B2 (en) 2022-09-23 2024-05-14 Apple Inc. User interfaces for workout content

Also Published As

Publication number Publication date
WO2014098033A1 (ja) 2014-06-26
JP2014120006A (ja) 2014-06-30

Similar Documents

Publication Publication Date Title
WO2014098033A1 (ja) 携帯型移動支援装置
US11150738B2 (en) Wearable glasses and method of providing content using the same
US11748959B2 (en) Device for simulating a virtual fitness partner and methods for use therewith
CN106502388B (zh) 一种互动式运动方法及头戴式智能设备
CN108428473B (zh) 基于装置确定的信息改变运动路线
US10809530B2 (en) Information processing apparatus and information processing method
US11037532B2 (en) Information processing apparatus and information processing method
CN112204640B (zh) 针对视觉受损者的辅助设备
EP3723391A1 (en) Information processing device, information processing method, and program
Marshall et al. Interaction in motion: designing truly mobile interaction
KR20160016540A (ko) 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법
JP2018503415A (ja) 取り外し可能なモジュールを備える運動バンド
US20170352226A1 (en) Information processing device, information processing method, and program
US10471305B2 (en) Modification of an exercise plan
JPWO2017043101A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10636261B2 (en) Intuitive tactile devices, systems and methods
EP3254121B1 (en) Center of gravity shifting force device
JP6500139B1 (ja) 視覚支援装置
US20120021393A1 (en) Method for Operating a Training Device and Training Device
WO2018092486A1 (ja) 情報処理装置、方法及びプログラム
JP5346115B6 (ja) 携帯型移動支援装置
JP2014120006A6 (ja) 携帯型移動支援装置
US20220289229A1 (en) Control device and presentation system

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R150 Certificate of patent or registration of utility model

Ref document number: 5346115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees