JP7432130B2 - 方向提示装置、方向提示方法、プログラム - Google Patents

方向提示装置、方向提示方法、プログラム Download PDF

Info

Publication number
JP7432130B2
JP7432130B2 JP2023095278A JP2023095278A JP7432130B2 JP 7432130 B2 JP7432130 B2 JP 7432130B2 JP 2023095278 A JP2023095278 A JP 2023095278A JP 2023095278 A JP2023095278 A JP 2023095278A JP 7432130 B2 JP7432130 B2 JP 7432130B2
Authority
JP
Japan
Prior art keywords
vector
angle
force sense
coordinate system
presentation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023095278A
Other languages
English (en)
Other versions
JP2023120257A (ja
Inventor
裕章 五味
諒真 棚瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2023095278A priority Critical patent/JP7432130B2/ja
Publication of JP2023120257A publication Critical patent/JP2023120257A/ja
Application granted granted Critical
Publication of JP7432130B2 publication Critical patent/JP7432130B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01Constructive details
    • A61H2201/0119Support for the device
    • A61H2201/0153Support for the device hand-held
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • A61H2201/5092Optical sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/04Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
    • G01C21/08Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means involving use of the magnetic field of the earth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Pain & Pain Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Navigation (AREA)
  • Rehabilitation Tools (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Description

本発明は、力覚提示デバイスを用いて被誘導者に方向を提示する技術に関する。
例えば、言語の異なる人や眼の不自由な人(以下、被誘導者という)の歩行ナビゲーションにおいて、力覚提示デバイスを用いた直感的な歩行方向の提示は有効であると考えられている(非特許文献1)。ここで、力覚提示デバイスとは、当該デバイスを把持する者に力覚そのものまたは力覚を擬似的に知覚させる刺激(例えば、振動による刺激)を与えるデバイスである。
Tomohiro Amemiya, Hiroaki Gomi, "Buru-Navi3: Behavioral Navigations Using Illusory Pulled Sensation Created by Thumb-sized Vibrator", In Proc. of ACM SIGGRAPH 2014 Emerging Technologies, Vancouver, Canada, August 2014.
被誘導者に歩行方向や注意を向けて欲しい方向などを提示する場合、例えば、被誘導者の前方を撮影するライブカメラの映像(例えば、スマートホンに搭載されたカメラで撮影された映像)を遠隔地にいる誘導者が見ながら、通信を介して、被誘導者が把持する力覚提示デバイスに対して方向を指示することが考えられる。この場合、必ずしもカメラの向いている方角と力覚提示デバイスの向いている方角は一致しないため、カメラの向きに対する力覚提示デバイスの相対的な向きを考慮して力覚提示デバイスに対して指示する方向を決める必要がある。しかし、従来、カメラの向きに対する力覚提示デバイスの相対的な向きを簡易に計測することは困難であった。
そこで本発明では、カメラの向きに対する力覚提示デバイスの相対的な向きを考慮して被誘導者に方向を提示する技術を提供することを目的とする。
本発明の一態様は、被誘導者の前方を撮影するカメラの向きを表す外界座標系における第1角度と、被誘導者に所定の方向を提示する力覚提示デバイスの向きを表す外界座標系における第2角度とを用いて、力覚提示デバイスに指示する方向を表すカメラ座標系における指示力覚ベクトル(以下、第1指示力覚ベクトルという)から、力覚提示デバイスに指示する方向を表す力覚提示デバイス座標系における指示力覚ベクトル(以下、第2指示力覚ベクトルという)を計算する指示方向計算部と、を含み、前記第1角度は、前記カメラに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、前記第2角度は、前記力覚提示デバイスに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、前記指示方向計算部は、地磁気の歪に起因する誤差が前記第1角度と前記第2角度とに含まれる場合であっても前記被誘導者に正確な方向を示すことができるように、前記第2指示力覚ベクトルを計算する。
本発明の一態様は、外界座標系における第1の方位に対応するカメラ座標系における方位ベクトルである第1ベクトルと、外界座標系における第2の方位に対応する力覚提示デバイス座標系における方位ベクトルである第2ベクトルと、前記カメラにかかる重力の向きを表すカメラ座標系における第3ベクトルと、前記力覚提示デバイスにかかる重力の向きを表す力覚提示デバイス座標系における第4ベクトルと、前記カメラの向きを表す外界座標系における第1角度と、前記力覚提示デバイスの向きを表す外界座標系における第2角度とを用いて、力覚提示デバイスに指示する方向を表すカメラ座標系における指示力覚ベクトル(以下、第1指示力覚ベクトルという)から、力覚提示デバイスに指示する方向を表す力覚提示デバイス座標系における指示力覚ベクトル(以下、第2指示力覚ベクトルという)を計算する指示方向計算部と、を含み前記第1角度は、前記カメラに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、前記第2角度は、前記力覚提示デバイスに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、前記指示方向計算部は、地磁気の歪に起因する誤差が前記第1角度と前記第2角度とに含まれる場合であっても被誘導者に正確な方向を示すことができるように、前記第2指示力覚ベクトルを計算する。
本発明によれば、カメラの向きに対する力覚提示デバイスの相対的な向きを考慮して被誘導者に方向を提示することが可能となる。
歩行ナビゲーションシステムの一例を示す図である。 方向提示装置100の構成の一例を示すブロック図である。 方向提示装置100の動作の一例を示すフローチャートである。 外界座標の一例を示す図である。 方向提示装置200の構成の一例を示すブロック図である。 方向提示装置200の動作の一例を示すフローチャートである。 本発明の実施形態における各装置を実現するコンピュータの機能構成の一例を示す図である。
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
図1は、歩行ナビゲーションシステムの一例を示す図である。被誘導者は、スマートホンを身に付け、力覚提示デバイスを把持し、街中を歩行する。力覚提示デバイスが被誘導者に与える力覚または力覚を擬似的に知覚させる刺激により、力覚提示デバイスは被誘導者を所定の歩行方向に誘導する。一方、誘導者が操作する端末には当該スマートホンのカメラが撮影した映像や当該スマートホンの位置情報が表示され、誘導者は映像や位置情報を見ながら被誘導者の歩行方向に関する指示を出す。
誘導者が歩行方向に関する指示を正確に出せるようにするためには、カメラの向きに対する力覚提示デバイスの相対的な向きを正確に知る必要がある。そのために、まず、カメラの向き、力覚提示デバイスの向きをそれぞれカメラに付属する地磁気センサ、力覚提示デバイスに付属する地磁気センサを用いて取得する。そして、これらの向きを用いて算出したカメラの向きに対する力覚提示デバイスの相対的な向きを考慮して、力覚提示デバイスによる力覚または力覚を擬似的に知覚させる刺激により被誘導者に感得させる方向を決定する。
つまり、カメラに付属する地磁気センサ、力覚提示デバイスに付属する地磁気センサにより計測される外部空間に対するそれぞれの方位から、相対方位を計算することにより、カメラの向きに対する力覚提示デバイスの相対的な向きを求め、それを用いて被誘導者を所定の歩行方向に誘導する。これにより、カメラの向きに対して力覚提示デバイスがどの方角を向いていたとしても、カメラの向きを基準にした指示方向を指定することで、力覚提示デバイスが被誘導者に対して知覚させる方向を求めることができる。
また、例えば、屋内空間のように地磁気に歪が生じる場所では、地磁気センサから求める方位に誤差が生ずることがあるが、カメラと力覚提示デバイスの両方の地磁気センサから求める方位に同程度の誤差がのるため、相対方位に誤差は生じず、被誘導者の歩行方向を正確に誘導することができる。
なお、力覚提示デバイスの水平角度検出を同時に行い、当該デバイスの水平角度が許容範囲に入らない場合には、アラーム音やアラーム振動などで被誘導者にその旨を知らせるなどの手段を併用することにより、力覚提示デバイスの水平角度を許容範囲内に収めるように被誘導者に促すようにしてもよい。
また、カメラや力覚提示デバイスにかかる重力を計測する重力センサも組み合わせることで、3次元空間における被誘導者の歩行方向の誘導も可能となる。
<第1実施形態>
方向提示装置100は、被誘導者に対して所定の方向をリアルタイムに提示するための装置であり、誘導者が操作するものである。ここで、所定の方向とは、被誘導者の歩行を誘導したい方向や被誘導者の注意を向けたい方向などである。
以下、図2~図3を参照して、方向提示装置100を説明する。図2は、方向提示装置100の構成を示すブロック図である。図3は、方向提示装置100の動作を示すフローチャートである。図2に示すように方向提示装置100は、第1角度算出部110と、第2角度算出部120と、指示方向計算部150と、記録部190を含む。記録部190は、方向提示装置100の処理に必要な情報を適宜記録する構成部である。
以下、図3を参照し、方向提示装置100の動作について説明する。S110において、第1角度算出部110は、被誘導者の前方を撮影するカメラの向きに関するデータを入力とし、当該データからカメラの向きを表す外界座標系における第1角度を算出し、出力する。ここで、被誘導者の前方を撮影するカメラの向きに関するデータは、例えば、被誘導者が身に着けているスマートホンのカメラに付属する地磁気センサを用いて取得されるデータであり、被誘導者とは異なる地点にある方向提示装置100は、通信部(図示しない)を介して当該データを受信し、第1角度算出部110に入力する。被誘導者の前方を撮影するカメラの向きに関するデータとして、外界座標系におけるカメラの方向角度を用いることができ、この場合、当該方向角度を第1角度とすることができる。また、外界座標とは、東西南北を表すことができる2次元の座標であり、図4はその一例を示す。図4のE, W, S, Nは、それぞれ東、西、南、北を表す。図4の座標は、東西方向をx軸、南北方向をy軸とし、東を示す方向がx軸の正方向、北を示す方向がy軸の正方向に対応し、東を示す方向を0degとする座標である。
S120において、第2角度算出部120は、被誘導者に所定の方向を提示する力覚提示デバイスの向きに関するデータを入力とし、当該データから力覚提示デバイスの向きを表す外界座標系における第2角度を算出し、出力する。ここで、所定の方向とは、被誘導者の歩行を誘導したい方向や被誘導者の注意を喚起したい方向のことである。また、被誘導者に所定の方向を提示する力覚提示デバイスの向きに関するデータは、例えば、被誘導者が把持している力覚提示デバイスに付属する地磁気センサを用いて取得されるデータであり、方向提示装置100は、通信部(図示しない)を介して当該データを受信し、第2角度算出部120に入力する。被誘導者に所定の方向を提示する力覚提示デバイスの向きに関するデータとして、外界座標系における力覚提示デバイスの方向角度を用いることができ、この場合、当該方向角度を第2角度とすることができる。
S150において、指示方向計算部150は、S110で算出した第1角度とS120で算出した第2角度を入力とし、第1角度と第2角度を用いて、力覚提示デバイスに指示する方向を表すカメラ座標系における指示力覚ベクトル(以下、第1指示力覚ベクトルという)から、力覚提示デバイスに指示する方向を表す力覚提示デバイス座標系における指示力覚ベクトル(以下、第2指示力覚ベクトルという)を計算し、出力する。ここで、第1指示力覚ベクトルは、遠隔地にいる誘導者やプログラムにより指定されるものであり、被誘導者の歩行を誘導したい方向や被誘導者の注意を喚起したい方向(つまり、所定の方向)に対応するものである。以下、θc wを第1角度、θd wを第2角度、fcを第1指示力覚ベクトル、fdを第2指示力覚ベクトルとし、計算手順を説明する。まず、指示方向計算部150は、第1角度θc wと第2角度θd wを用いて、カメラの向きに対する力覚提示デバイスの相対的な向きを表すカメラ座標系における相対角度θd cを次式により求める。
Figure 0007432130000001

次に、指示方向計算部150は、相対角度θd cを用いて定義される回転行列dPcを用いて、次式により、第1指示力覚ベクトルfcから第2指示力覚ベクトルfdを求める。
Figure 0007432130000002

(変形例)
上述の説明では、指示方向計算部150は、誘導者やプログラムにより第1指示力覚ベクトルfcが指定されるものとしたが、第1指示力覚ベクトルfcの代わりに、力覚提示デバイスに指示する方向を表すカメラ座標系における指示角度θi c(以下、第1指示角度という)を指定するようにしてもよい。以下、この場合の計算手順を説明する。まず、指示方向計算部150は、第1角度θc wと第2角度θd wを用いて、カメラの向きに対する力覚提示デバイスの相対的な向きを表すカメラ座標系における相対角度θd cを式(1)により求める。次に、指示方向計算部150は、相対角度θd cを用いて、次式により、第1指示角度θi cから力覚提示デバイスに指示する方向を表す力覚座標系における指示角度θf d(以下、第2指示角度という)を求める。
Figure 0007432130000003

つまり、S150において、指示方向計算部150は、S110で算出した第1角度とS120で算出した第2角度を入力とし、第1角度と第2角度を用いて、力覚提示デバイスに指示する方向を表すカメラ座標系における指示角度(第1指示角度)から、力覚提示デバイスに指示する方向を表す力覚提示デバイス座標系における指示角度(第2指示角度)を計算し、出力する。
なお、指示力覚ベクトル、指示角度のことを指示方向という。
最後に、方向提示装置100は、通信部(図示しない)を介して指示方向(第2指示力覚ベクトルfdまたは第2指示角度θf d)を力覚提示デバイスに送信し、力覚提示デバイスは、受信した指示方向に基づいて力覚または力覚を擬似的に知覚させる刺激により被誘導者に所定の方向を提示する。なお、指示方向として第2指示角度θf dを用いる場合、力覚の大きさを別途与える必要があるが、例えば、予め決めた大きさを用いるのでよい。
本実施形態の発明によれば、カメラの向きに対する力覚提示デバイスの相対的な向きを考慮して被誘導者に方向を提示することが可能となる。
<第2実施形態>
方向提示装置200は、被誘導者に対して所定の方向をリアルタイムに提示するための装置であり、誘導者が操作するものである。ここで、所定の方向とは、被誘導者の歩行を誘導したい方向や被誘導者の注意を向けたい方向などである。
以下、図5~図6を参照して、方向提示装置200を説明する。図5は、方向提示装置200の構成を示すブロック図である。図6は、方向提示装置200の動作を示すフローチャートである。図5に示すように方向提示装置200は、第1ベクトル算出部210と、第2ベクトル算出部220と、第3ベクトル算出部230と、第4ベクトル算出部240と、第1角度算出部110と、第2角度算出部120と、指示方向計算部250と、記録部190を含む。記録部190は、方向提示装置200の処理に必要な情報を適宜記録する構成部である。
以下、図6を参照し、方向提示装置200の動作について説明する。S210において、第1ベクトル算出部210は、外界座標系における第1の方位を計測する第1方位センサで取得したデータを入力とし、当該方位に対応するカメラ座標系における方位ベクトルである第1ベクトルを算出し、出力する。ここで、外界座標系における第1の方位を計測する第1方位センサとは、例えば地磁気センサであり、この場合第1ベクトルは、地磁気の方向を表すカメラ座標系での地磁気ベクトルである。被誘導者とは異なる地点にある方向提示装置200は、通信部(図示しない)を介して第1方位センサで取得したデータを受信し、第1ベクトル算出部210に入力する。
S220において、第2ベクトル算出部220は、外界座標系における第2の方位を計測する第2方位センサで取得したデータを入力とし、当該方位に対応する力覚提示デバイス座標系における方位ベクトルである第2ベクトルを算出し、出力する。ここで、所定の方向とは、被誘導者の歩行を誘導したい方向や被誘導者の注意を喚起したい方向のことである。また、外界座標系における第2の方位を計測する第2方位センサとは、例えば地磁気センサであり、この場合第2ベクトルは、地磁気の方向を表す力覚提示デバイス座標系での地磁気ベクトルである。方向提示装置200は、通信部(図示しない)を介して第2方位センサで取得したデータを受信し、第2ベクトル算出部220に入力する。
S230において、第3ベクトル算出部230は、カメラにかかる重力の向きに関するデータを入力とし、当該データからカメラにかかる重力の向きを表すカメラ座標系における第3ベクトルを算出し、出力する。ここで、カメラにかかる重力の向きに関するデータは、例えば、被誘導者が身に着けているスマートホンのカメラに付属する重力センサ(または加速度センサ)を用いて取得されるデータであり、方向提示装置200は、通信部(図示しない)を介して当該データを受信し、第3ベクトル算出部230に入力する。
S240において、第4ベクトル算出部240は、力覚提示デバイスにかかる重力の向きに関するデータを入力とし、当該データから力覚提示デバイスにかかる重力の向きを表す力覚提示デバイス座標系における第4ベクトルを算出し、出力する。ここで、力覚提示デバイスにかかる重力の向きに関するデータは、例えば、被誘導者が把持している力覚提示デバイスに付属する重力センサ(または加速度センサ)を用いて取得されるデータであり、方向提示装置200は、通信部(図示しない)を介して当該データを受信し、第4ベクトル算出部240に入力する。
S110において、第1角度算出部110は、カメラの向きに関するデータを入力とし、当該データからカメラの向きを表す外界座標系における第1角度を算出し、出力する。
S120において、第2角度算出部120は、力覚提示デバイスの向きに関するデータを入力とし、当該データから力覚提示デバイスの向きを表す外界座標系における第2角度を算出し、出力する。
S250において、指示方向計算部250は、S210で算出した第1ベクトルとS220で算出した第2ベクトルとS230で算出した第3ベクトルとS240で算出した第4ベクトルとS110で算出した第1角度とS120で算出した第2角度とを入力とし、第1ベクトルと第2ベクトルと第3ベクトルと第4ベクトルと第1角度と第2角度とを用いて、力覚提示デバイスに指示する方向を表すカメラ座標系における指示力覚ベクトル(以下、第1指示力覚ベクトルという)から、力覚提示デバイスに指示する方向を表す力覚提示デバイス座標系における指示力覚ベクトル(以下、第2指示力覚ベクトルという)を計算し、出力する。ここで、第1指示力覚ベクトルは、遠隔地にいる誘導者やプログラムにより指定されるものであり、被誘導者の歩行を誘導したい方向や被誘導者の注意を喚起したい方向(つまり、所定の方向)に対応するものである。以下、θc wを第1角度、θd wを第2角度、fcを第1指示力覚ベクトル、fdを第2指示力覚ベクトルとし、計算手順を説明する。まず、指示方向計算部250は、第3ベクトルの大きさと基準ベクトルの大きさとの差が小さいことを示す所定の範囲にあるか否かを判定する。ここで、差が小さいことを示す所定の範囲にあるとは、差が所定の閾値より小さいことまたは所定の閾値以下であることをいう。また、基準ベクトルとは、例えば、静止時の第3ベクトルであり、第3ベクトルに基づいて加速度の変化を測るために基準となるベクトルである。なお、第3ベクトルの代わりに第4ベクトルを用いることとしてもよい。
また、指示方向計算部250は、第4ベクトルの大きさと基準ベクトルの大きさとの差が小さいことを示す所定の範囲にあるか否かを判定する。ここで、基準ベクトルとは、例えば、静止時の第4ベクトルであり、第4ベクトルに基づいて加速度の変化を測るために基準となるベクトルである。
このような判定処理が必要になるのは、被誘導者が加速度に変化がある運動をしている場合、第3ベクトルや第4ベクトルの算出にカメラにかかる重力の向きに関するデータや力覚提示デバイスにかかる重力の向きに関するデータをそのまま用いることができないためである。したがって、上記閾値は、加速度の大きさの差(つまり、加速度の変化量)として許容できる値である。
以下、第3ベクトルの大きさとその基準ベクトルの大きさとの差のことを第3ベクトルに基づく加速度の変化量、第4ベクトルの大きさとその基準ベクトルの大きさとの差のことを第4ベクトルに基づく加速度の変化量という。
第3ベクトル及び第4ベクトルに基づく加速度の変化量が小さいことを示す所定の範囲にある場合、指示方向計算部250は、以下の処理を実行する。
(1)まず、指示方向計算部250は、第1ベクトルと第3ベクトルを用いて、第1ベクトル、第3ベクトル、第1ベクトルと第3ベクトルとの外積ベクトルの3つのベクトルを用いて構成される合成行列rcを求める。同様に、指示方向計算部250は、第2ベクトルと第4ベクトルを用いて、第2ベクトル、第4ベクトル、第2ベクトルと第4ベクトルとの外積ベクトルの3つのベクトルを用いて構成される合成行列rdを求める。
(2)次に、指示方向計算部250は、合成行列rcと合成行列rdを用いて定義される回転行列dRcを用いて、次式により、第1指示力覚ベクトルfcから第2指示力覚ベクトルfdを求める。
Figure 0007432130000004

一方、第3ベクトル及び第4ベクトルに基づく加速度の変化量が小さいことを示す所定の範囲にない場合、指示方向計算部250は、以下の処理を実行する。
(1)まず、指示方向計算部250は、第1角度θc wと第2角度θd wを用いて、カメラの向きに対する力覚提示デバイスの相対的な向きを表すカメラ座標系における相対角度θd cを次式により求める。
Figure 0007432130000005

(2)次に、指示方向計算部250は、相対角度θd cを用いて定義される回転行列dPcを用いて、次式により、第1指示力覚ベクトルfcから第2指示力覚ベクトルfdを求める。
Figure 0007432130000006

なお、指示力覚ベクトルのことを指示方向という。
最後に、方向提示装置200は、通信部(図示しない)を介して指示方向(第2指示力覚ベクトルfd)を力覚提示デバイスに送信し、力覚提示デバイスは、受信した指示方向に基づいて力覚または力覚を擬似的に知覚させる刺激により被誘導者に所定の方向を提示する。
なお、第3ベクトル及び第4ベクトルに基づく加速度の変化量が小さいことを示す所定の範囲にない場合における指示方向計算部250の処理を第1実施形態の(変形例)に示した指示方向計算部150処理と同一の処理として実行してよいのはもちろんである。
本実施形態の発明によれば、カメラの向きに対する力覚提示デバイスの相対的な向きを考慮して被誘導者に方向を提示することが可能となる。
<補記>
図7は、上述の各装置を実現するコンピュータの機能構成の一例を示す図である。上述の各装置における処理は、記録部2020に、コンピュータを上述の各装置として機能させるためのプログラムを読み込ませ、制御部2010、入力部2030、出力部2040などに動作させることで実施できる。
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD-ROMなどの記録媒体を読み書きできる装置(ドライブ)などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている(外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるROMに記憶させておくこととしてもよい)。また、これらのプログラムの処理によって得られるデータなどは、RAMや外部記憶装置などに適宜に記憶される。
ハードウェアエンティティでは、外部記憶装置(あるいはROMなど)に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にCPUで解釈実行・処理される。その結果、CPUが所定の機能(上記、…部、…手段などと表した各構成要件)を実現する。
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
既述のように、上記実施形態において説明したハードウェアエンティティ(本発明の装置)における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD-RAM(Random Access Memory)、CD-ROM(Compact Disc Read Only Memory)、CD-R(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto-Optical disc)等を、半導体メモリとしてEEP-ROM(Electronically Erasable and Programmable-Read Only Memory)等を用いることができる。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
上述の本発明の実施形態の記載は、例証と記載の目的で提示されたものである。網羅的であるという意思はなく、開示された厳密な形式に発明を限定する意思もない。変形やバリエーションは上述の教示から可能である。実施形態は、本発明の原理の最も良い例証を提供するために、そして、この分野の当業者が、熟考された実際の使用に適するように本発明を色々な実施形態で、また、色々な変形を付加して利用できるようにするために、選ばれて表現されたものである。すべてのそのような変形やバリエーションは、公正に合法的に公平に与えられる幅にしたがって解釈された添付の請求項によって定められた本発明のスコープ内である。

Claims (6)

  1. 被誘導者の前方を撮影するカメラの向きを表す外界座標系における第1角度と、被誘導者に所定の方向を提示する力覚提示デバイスの向きを表す外界座標系における第2角度とを用いて、力覚提示デバイスに指示する方向を表すカメラ座標系における指示力覚ベクトル(以下、第1指示力覚ベクトルという)から、力覚提示デバイスに指示する方向を表す力覚提示デバイス座標系における指示力覚ベクトル(以下、第2指示力覚ベクトルという)を計算する指示方向計算部と、
    を含む方向提示装置であって、
    前記第1角度は、前記カメラに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、
    前記第2角度は、前記力覚提示デバイスに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、
    前記指示方向計算部は、地磁気の歪に起因する誤差が前記第1角度と前記第2角度とに含まれる場合であっても前記被誘導者に正確な方向を示すことができるように、前記第2指示力覚ベクトルを計算する
    方向提示装置。
  2. 請求項1に記載の方向提示装置であって、
    θc wを前記第1角度、θd wを前記第2角度、fcを前記第1指示力覚ベクトル、fdを前記第2指示力覚ベクトルとし、
    前記指示方向計算部は、次式により、前記第2指示力覚ベクトルfdを計算する
    Figure 0007432130000007

    ことを特徴とする方向提示装置。
  3. 外界座標系における第1の方位に対応するカメラ座標系における方位ベクトルである第1ベクトルと、外界座標系における第2の方位に対応する力覚提示デバイス座標系における方位ベクトルである第2ベクトルと、前記カメラにかかる重力の向きを表すカメラ座標系における第3ベクトルと、前記力覚提示デバイスにかかる重力の向きを表す力覚提示デバイス座標系における第4ベクトルと、前記カメラの向きを表す外界座標系における第1角度と、前記力覚提示デバイスの向きを表す外界座標系における第2角度とを用いて、力覚提示デバイスに指示する方向を表すカメラ座標系における指示力覚ベクトル(以下、第1指示力覚ベクトルという)から、力覚提示デバイスに指示する方向を表す力覚提示デバイス座標系における指示力覚ベクトル(以下、第2指示力覚ベクトルという)を計算する指示方向計算部と、
    を含む方向提示装置であって、
    前記第1角度は、前記カメラに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、
    前記第2角度は、前記力覚提示デバイスに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、
    前記指示方向計算部は、地磁気の歪に起因する誤差が前記第1角度と前記第2角度とに含まれる場合であっても被誘導者に正確な方向を示すことができるように、前記第2指示力覚ベクトルを計算する
    方向提示装置。
  4. 方向提示装置が、被誘導者の前方を撮影するカメラの向きを表す外界座標系における第1角度と、被誘導者に所定の方向を提示する力覚提示デバイスの向きを表す外界座標系における第2角度とを用いて、力覚提示デバイスに指示する方向を表すカメラ座標系における指示力覚ベクトル(以下、第1指示力覚ベクトルという)から、力覚提示デバイスに指示する方向を表す力覚提示デバイス座標系における指示力覚ベクトル(以下、第2指示力覚ベクトルという)を計算する指示方向計算ステップと、
    を含む方向提示方法であって、
    前記第1角度は、前記カメラに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、
    前記第2角度は、前記力覚提示デバイスに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、
    前記指示方向計算ステップは、地磁気の歪に起因する誤差が前記第1角度と前記第2角度とに含まれる場合であっても前記被誘導者に正確な方向を示すことができるように、前記第2指示力覚ベクトルを計算する
    方向提示方法。
  5. 方向提示装置が、外界座標系における第1の方位に対応するカメラ座標系における方位ベクトルである第1ベクトルと、外界座標系における第2の方位に対応する力覚提示デバイス座標系における方位ベクトルである第2ベクトルと、前記カメラにかかる重力の向きを表すカメラ座標系における第3ベクトルと、前記力覚提示デバイスにかかる重力の向きを表す力覚提示デバイス座標系における第4ベクトルと、前記カメラの向きを表す外界座標系における第1角度と、前記力覚提示デバイスの向きを表す外界座標系における第2角度とを用いて、力覚提示デバイスに指示する方向を表すカメラ座標系における指示力覚ベクトル(以下、第1指示力覚ベクトルという)から、力覚提示デバイスに指示する方向を表す力覚提示デバイス座標系における指示力覚ベクトル(以下、第2指示力覚ベクトルという)を計算する指示方向計算ステップと、
    を含む方向提示方法であって、
    前記第1角度は、前記カメラに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、
    前記第2角度は、前記力覚提示デバイスに付属する地磁気センサを用いて取得されるデータから算出される外界座標系における角度であり、
    前記指示方向計算ステップは、地磁気の歪に起因する誤差が前記第1角度と前記第2角度とに含まれる場合であっても被誘導者に正確な方向を示すことができるように、前記第2指示力覚ベクトルを計算する
    方向提示方法。
  6. 請求項1ないし3のいずれか1項に記載の方向提示装置としてコンピュータを機能させるためのプログラム。
JP2023095278A 2019-06-12 2023-06-09 方向提示装置、方向提示方法、プログラム Active JP7432130B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023095278A JP7432130B2 (ja) 2019-06-12 2023-06-09 方向提示装置、方向提示方法、プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/023257 WO2020250336A1 (ja) 2019-06-12 2019-06-12 方向提示装置、方向提示方法、プログラム
JP2021525469A JP7342947B2 (ja) 2019-06-12 2019-06-12 方向提示装置
JP2023095278A JP7432130B2 (ja) 2019-06-12 2023-06-09 方向提示装置、方向提示方法、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021525469A Division JP7342947B2 (ja) 2019-06-12 2019-06-12 方向提示装置

Publications (2)

Publication Number Publication Date
JP2023120257A JP2023120257A (ja) 2023-08-29
JP7432130B2 true JP7432130B2 (ja) 2024-02-16

Family

ID=73781692

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021525469A Active JP7342947B2 (ja) 2019-06-12 2019-06-12 方向提示装置
JP2023095278A Active JP7432130B2 (ja) 2019-06-12 2023-06-09 方向提示装置、方向提示方法、プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021525469A Active JP7342947B2 (ja) 2019-06-12 2019-06-12 方向提示装置

Country Status (4)

Country Link
US (1) US20220254277A1 (ja)
EP (1) EP3985354A4 (ja)
JP (2) JP7342947B2 (ja)
WO (1) WO2020250336A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016031118A1 (ja) 2014-08-29 2016-03-03 ソニー株式会社 力覚提示デバイス、力覚提示システム、および力覚提示方法
WO2018025531A1 (ja) 2016-08-05 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018084920A (ja) 2016-11-22 2018-05-31 コニカミノルタ株式会社 作業補助システム、画像形成装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4002970B2 (ja) * 2002-11-29 2007-11-07 独立行政法人産業技術総合研究所 力覚型ヒューマンナビゲーションシステム及びそれに用いるデバイス
JP5072093B2 (ja) * 2007-12-26 2012-11-14 Kddi株式会社 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法
JP5640716B2 (ja) * 2010-12-15 2014-12-17 ソニー株式会社 情報処理装置及び情報処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016031118A1 (ja) 2014-08-29 2016-03-03 ソニー株式会社 力覚提示デバイス、力覚提示システム、および力覚提示方法
WO2018025531A1 (ja) 2016-08-05 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018084920A (ja) 2016-11-22 2018-05-31 コニカミノルタ株式会社 作業補助システム、画像形成装置

Also Published As

Publication number Publication date
EP3985354A1 (en) 2022-04-20
WO2020250336A1 (ja) 2020-12-17
US20220254277A1 (en) 2022-08-11
JPWO2020250336A1 (ja) 2020-12-17
EP3985354A4 (en) 2023-02-08
JP2023120257A (ja) 2023-08-29
JP7342947B2 (ja) 2023-09-12

Similar Documents

Publication Publication Date Title
JP7079231B2 (ja) 情報処理装置及び情報処理システム及び制御方法、プログラム
CN1318942C (zh) 数据转换方法和装置以及姿势测量装置
US10249052B2 (en) Stereo correspondence model fitting
US20160180589A1 (en) Selectively Pairing an Application Presented in Virtual Space with a Physical Display
KR101867020B1 (ko) 박물관/미술관용 증강 현실 구현 방법 및 장치
JP6534974B2 (ja) 画面制御のための効率的なインタフェースを提供するシステムおよび方法
JP2010014540A (ja) 方位追従表示装置、方位追従表示方法および方位追従表示プログラム
RU2612572C2 (ru) Система обработки изображений и способ
KR102088991B1 (ko) Mr 지원 망원경 장치, 방법 및 이를 이용한 mr 지원 망원경 운영 시스템 및 방법
US11532138B2 (en) Augmented reality (AR) imprinting methods and systems
JP2010511228A (ja) 3d面上の2dコンテンツとのインタラクト
US11410330B2 (en) Methods, devices, and systems for determining field of view and producing augmented reality
WO2017041740A1 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
CN114972689A (zh) 执行增强现实姿态确定的方法和装置
JP7432130B2 (ja) 方向提示装置、方向提示方法、プログラム
KR101877901B1 (ko) Vr영상을 제공하는 방법 및 그 전자 장치
WO2021121061A1 (zh) 用于设置虚拟对象的空间位置的方法和电子设备
JP7046813B2 (ja) 触覚提示装置、触覚提示システム及び触覚提示方法
KR101904489B1 (ko) 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램
Basori et al. Intelligence Context Aware Mobile Navigation using Augmented Reality Technology
JP5122508B2 (ja) 3次元空間データ作成方法及び3次元空間データ作成装置
Etzold et al. MIPos: towards mobile image positioning in mixed reality web applications based on mobile sensors
JP6734537B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
Hemayed et al. A lightweight approach to in-place authoring for mobile world browsers
Takatori et al. Panoramic movie-rendering method with superimposed computer graphics for immersive walk-through system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240117

R150 Certificate of patent or registration of utility model

Ref document number: 7432130

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150