JP3655033B2 - 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 - Google Patents
携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 Download PDFInfo
- Publication number
- JP3655033B2 JP3655033B2 JP34452896A JP34452896A JP3655033B2 JP 3655033 B2 JP3655033 B2 JP 3655033B2 JP 34452896 A JP34452896 A JP 34452896A JP 34452896 A JP34452896 A JP 34452896A JP 3655033 B2 JP3655033 B2 JP 3655033B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- input
- location
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
Description
【発明の属する技術分野】
この発明は携帯型情報処理装置及び携帯型情報処理装置の場所識別方法、特に簡単な構成による携帯型情報処理装置を携帯する使用者の場所の自動的な認識に関するものである。
【0002】
【従来の技術】
携帯型情報処理装置に複数の機能を付加したものが開発されてきている。例えば、特開平6-301446号公報に掲載されたGPS(Global Positioning System)受信機能内蔵携帯型コンピュータでは、GPS衛星から送られたGPS信号を受信し、GPS信号による緯度、経度及び海抜高度等のデータを表示している。
【0003】
また、特開平3-55655号公報に掲載された携帯用情報処理装置では、入力装置として、キー入力装置と画像入力装置を備えている。
【0004】
【発明が解決しようとする課題】
しかしながら、例えば特開平6-301446号公報に掲載されたGPS受信機能内蔵携帯型コンピュータではGPS信号による緯度、経度及び海抜高度等のデータを表示することにより、GPS受信機能内蔵携帯型コンピュータの場所をユーザが知ることができ、その移動履歴を残すこともできるが、GPS受信機能内蔵ため、高価なものとなっている。
【0005】
また、特開平3-55655号公報に掲載された携帯用情報処理装置では、場所を判別することができず、その移動履歴を残すことができない。
【0006】
この発明はかかる短所を解消するためになされたものであり、簡単な構成で携帯型情報処理装置の使用者の場所を判別し、移動履歴等をとることができるようにすることを目的とする。
【0007】
【課題を解決するための手段】
この発明に係る携帯型情報処理装置は、画像入力装置と移動成分3次元形状算出装置と絶対移動成分算出装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分3次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力して、使用者の周辺環境の画像を基に使用者の場所を識別する。
【0008】
また、携帯型情報処理装置は、画像入力装置と移動成分3次元形状算出装置と絶対移動成分算出装置と移動成分記憶装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分3次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状と移動成分記憶装置に時系列に記憶した各画像入力の際の基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力して、使用者の周辺環境の画像から算出した時系列な情報を基に使用者の現在の場所を判別する。
【0009】
また、携帯型情報処理装置は、標準3次元形状記憶装置と画像入力装置と3次元形状算出装置と形状識別装置と判別装置を有し、標準3次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した3次元形状とその場所を示す場所コードを予め記憶し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、3次元形状算出装置は画像入力装置から入力した画像を基に使用者の周辺環境の3次元形状を算出し、形状識別装置はRBFニューラルネットワーク演算部から成り、RBFニューラルネットワーク演算部は3次元形状算出装置が算出した使用者の周辺環境の3次元形状を基にRBFを基底関数として使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている場所の3次元形状を標準3次元形状記憶装置に記憶した3次元形状の中から探し出し、その場所を示す場所コードを出力して、使用者の周辺環境の3次元形状から使用者の場所を判別する。
【0010】
また、携帯型情報処理装置は、画像入力装置と移動成分3次元形状算出装置と第1場所認識装置と第2場所認識装置と判断基準テーブルと最終判定装置とを有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分3次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、第1場所認識装置は絶対移動成分算出装置と場所識別装置を有し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、場所識別装置はニューラルネットワーク演算部から成り、場所識別装置のニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、第2場所認識装置は標準3次元形状記憶装置と形状識別装置と判別装置を有し、標準3次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した3次元形状及びその場所を示す場所コードを予め記憶し、形状識別装置はRBFニューラルネットワーク演算部から成り、形状識別装置のRBFニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状を基にRBFを基底関数として使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を標準3次元形状記憶装置に記憶した3次元形状の中から探し出し、その場所を示す場所コードを出力し、判断基準テーブルは第1場所認識装置の識別結果と第2場所認識装置の識別結果との組合せに対応する場所を示す場所コードを予め記憶し、最終判定装置は第1場所認識装置が出力した場所コードと第2場所認識装置が出力した場所コードを基に判断基準テーブルから使用者の現在の場所を示す場所コードを読み出して出力して、2種類の場所認識結果を基に使用者の現在の場所を正確に判定する。
【0011】
また、携帯型情報処理装置は、画像入力装置と移動成分3次元形状算出装置と第1場所認識装置と第2場所認識装置と判断基準テーブルと最終判定装置とを有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分3次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、第1場所認識装置は絶対移動成分算出装置と移動成分記憶装置と場所識別装置を有し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状と移動成分記憶装置に時系列に記憶した各画像入力の際の基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、第2場所認識装置は標準3次元形状記憶装置と形状識別装置と判別装置を有し、標準3次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した3次元形状及びその場所を示す場所コードを予め記憶し、形状識別装置はRBFニューラルネットワーク演算部から成り、形状識別装置のRBFニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状を基に使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を標準3次元形状記憶装置に記憶した3次元形状の中から探し出し、その場所を示す場所コードを出力し、判断基準テーブルは第1場所認識装置の識別結果と第2場所認識装置の識別結果との組合せに対応する場所を示す場所コードを予め記憶し、最終判定装置は第1場所認識装置が出力した場所コードと第2場所認識装置が出力した場所コードを基に判断基準テーブルから使用者の現在の場所を示す場所コードを読み出して出力する。
【0012】
また、画像入力装置と移動成分3次元形状算出装置と絶対移動成分算出装置と移動成分記憶装置と3次元形状記憶装置と場所識別手順記憶装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分3次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の3次元形状を算出して3次元形状記憶装置に記憶し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、3次元形状記憶装置は各画像入力の際の使用者の周辺環境の3次元形状を時系列に記憶し、場所識別手順記憶装置は脱着可能に構成され、場所識別演算装置が使用者の場所の場所識別処理を行う際に用いる場所識別手順を予め記憶し、場所識別装置は場所識別手順記憶装置に予め記憶した場所識別手順を用いて、画像入力装置から入力した画像を基に各画像入力の際の使用者の場所を識別して、各画像入力の際に時系列に記憶した基準点からの使用者の移動成分と使用者の周辺環境の3次元形状を基に各画像入力の際に使用者の位置を識別する。
【0013】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回画像を入力した際における基準点からの使用者の移動成分と前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力する際における基準点からの使用者の移動成分を算出し、算出した使用者の周辺環境の3次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する。
【0014】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回画像を入力した際における基準点からの使用者の移動成分と前回画像入力してから今回画像入力するまでの使用者の移動成分を基に今回画像入力する際における基準点からの使用者の移動成分を算出し、算出した基準点からの使用者の移動成分を画像入力毎に時系列に記憶し、算出した使用者の周辺環境の3次元形状と各画像入力の際の時系列な使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する。
【0015】
また、携帯型情報処理装置の場所識別方法は、複数の場所に対して予め定めた標準位置から撮影した3次元形状及びその場所を示す場所コードを予め記憶し、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に入力した画像に写し出された使用者の周辺環境の3次元形状を算出し、算出した使用者の周辺環境の3次元形状を基に今回入力した画像に写し出された使用者の周辺環境の3次元形状を基にRBFを基底関数として用いたニューラルネットワーク演算をして使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を予め記憶した3次元形状から探し出し、その場所を示す場所コードを出力する。
【0016】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回画像入力してから今回画像入力するまでの使用者の移動成分を基に今回の画像入力の際における基準点から使用者の移動成分を算出し、算出した使用者の周辺環境の3次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を識別し、その識別結果を示す場所コードを出力し、今回入力した画像に写し出された使用者の周辺環境の3次元形状を基にRBFを基底関数として用いたニューラルネットワーク演算をして、使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を予め記憶した3次元形状から探し出し、その場所を示す場所コードを出力し、上記2つの場所コードの組合せを基にその組合せに対応する場所を探し出し、その場所を示す場所コードを出力する。
【0017】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回の画像入力から今回の画像入力までの使用者の移動成分を基に今回画像入力の際における基準点からの使用者の移動成分を算出し、算出した基準点からの使用者の移動成分を画像入力毎に時系列に記憶し、算出した使用者の周辺環境の3次元形状と画像入力毎に時系列に記憶した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、今回入力した画像に写し出された使用者の周辺環境の3次元形状を基にRBFを基底関数として用いてニューラルネットワーク演算をして、使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を予め記憶した3次元形状から探し出し、その場所を示す場所コードを出力し、上記2つの場所コードの組合せを基にその組合せに対応する場所を探し出し、その場所を示す場所コードを出力する。
【0018】
【発明の実施の形態】
この発明の携帯型情報処理装置は、使用者の周辺環境の画像を基に使用者の現在の場所を予め定めた範囲内で識別するものである。
【0019】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の動画を基に使用者の現在の場所を予め定めた範囲内で識別する方法に関するものである。
【0020】
携帯型情報処理装置は、例えば画像入力装置、移動成分3次元形状算出装置、移動成分記憶装置、絶対移動成分算出装置及び場所識別装置を有する。画像入力装置は、例えばCCDカメラとA/D変換部を備え、CCDカメラで画像を撮影し、A/D変換部でCCDカメラからのアナログ画像信号をデジタル画像信号に変換する。移動成分3次元形状算出装置は、例えば画像記憶部とレンジファインダと演算部を備える。画像記憶部は画像入力装置から入力した画像を記憶する。レンジファインダは、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部は、例えばエッジ検出法などを用い、前回入力した画像と今回入力した画像の対応する点を複数組抽出し、それらの点の比較結果及びレンジファインダの計測結果より得たスケール因子を用いて、前回画像入力してから今回画像入力するまでの使用者の移動成分を算出する。また、演算部は上記複数組の点のうち今回入力した画像上の点及び上記スケール因子を用いてそれらの点の使用者自身を基準とした3次元座標を算出して、今回入力した画像を基に使用者の周辺環境の3次元形状を算出する。上記スケール因子を用いたのは、前回入力した画像と今回入力した画像の対応する点を比較しただけでは、相対的な移動距離を求めることしかできないためである。
【0021】
移動成分記憶装置は前回の場所識別処理で画像入力装置から画像を入力した際における使用者の基準点からの移動成分を記憶する。絶対移動成分算出装置は移動成分記憶装置に記憶した前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出する。また、絶対移動成分算出装置は算出した移動成分を移動成分記憶装置に記憶して、次回の場所識別処理において今回の画像入力の際における基準点からの使用者の移動成分を読み出すことができるようにする。
【0022】
場所識別装置は誤差逆伝播法で学習した結果を用いてニューラルネットワーク演算を行うたニューラルネットワーク演算部から成る。ニューラルネットワーク演算部は、移動成分3次元形状算出装置が算出した上記複数の点の3次元座標と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その場所コードを出力する。ここで、ニューラルネットワークは協調、競合作用及び自己組織化能力に基づいて入力信号をいくつかの特徴に分析すると共にそれらを統合するものである。例えばニューラルネットワークは予め認識させたい情報を実際に入力し、そのデータをサンプリングしこれらのデータを入力層に入力し、出力層に分類したいパターン数分のニューロンを用意し、各パターンとニューロンを対応させておく。ある情報を入力したときそれに対応するニューロンの出力が「1」となり、それ以外のニューロンの出力が「0」となるように誤差逆伝搬法で学習しておく。ニューラルネットワークはこのようにして得られた結合係数と同じ結合係数でニューラルネットワーク演算を行なう。誤差逆伝播法の学習においては、入力及びその入力に対する望ましい出力(目標出力)のパターン(ベクトル)をニューラルネットワークに提示する。ニューラルネットワークは、入力層に入力した入力パターンを出力層へ伝播しながら変換して出力パターンを出し、それを目標出力パターンと比較する。ニューラルネットワークの出力パターンと目標出力パターンとが一致している場合には学習は起こらない。ニューラルネットワークの出力パターンと目標出力パターンとが一致していない場合にはその差(誤差)を減らすようにネットワークの結合の重みを調整することにより学習する。このような学習をすることにより、基準点からの移動成分を入力することにより使用者の場所を正確に演算できる。
【0023】
また、上記移動成分記憶装置は前回画像を入力するまでの各画像入力の際における基準点からの使用者の移動成分を時系列に記憶し、絶対移動成分算出装置は移動成分記憶装置に記憶した前回画像入力の際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置に記憶し、ニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した画像に写し出された複数の点の3次元座標と移動成分記憶装置に時系列に記憶した各画像入力の際における基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力するようにしても良い。
【0024】
また、携帯型情報処理装置は、例えば標準3次元形状記憶装置、画像入力装置、3次元形状算出装置、形状識別装置及び判別装置を有するようにしても良い。標準3次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した3次元形状とその場所を示す場所コードを予め記憶する。3次元系所算出装置は、例えば上記移動成分3次元形状算出装置と同様にレンジファインダと演算部を備え、画像入力装置から使用者の周辺環境の画像を入力し、画像入力装置から入力した画像に写し出された複数の点の使用者自身を基準とした3次元座標を算出して、使用者の周辺環境の3次元形状を算出する。形状識別装置は、例えばRBF(Radial Basis Functions)関数族を基底関数として用いたRBFニューラルネットワーク演算部から成る。RBFニューラルネットワーク演算部は3次元形状算出装置が算出した上記複数の点の使用者の周辺環境の3次元形状を基に使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果を算出する。判別装置は使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を標準3次元形状記憶装置に記憶した3次元形状から探しだし、その場所を示す場所コードを出力する。
【0025】
ここで、RBFニューラルネットワークは、学習を例題からの写像の近似であると考え、正則化理論に基づき、回転対象のガウス関数に代表されるRBFと呼ばれる関数族を基底関数として用いたものである。RBFニューラルネットワークの場合は正規化理論を背景としているために、データ数と同数のユニットを用意することにより、ニューラルネットワークの未知パラメータを線形計算によって得ることができる。さらに、RBFの代表的関数であるガウス関数等により、入力空間中で局所的な反応を持つような基底を生成すれば、この局所性に基づく学習の高速化などが可能になる。このように、RBFニューラルネットワークを用い、例えば対象物の典型的な視点からの像(プロトタイプ)を記憶しておき、他の視点からの像に関する出力をプロトタイプの場合の出力を補間して得ることにより、対象物を認識することができる。したがって、上記のように3次元形状算出装置が算出した複数の点の使用者自身を基準とした3次元座標をRBFニューラルネットワーク演算部に入力することにより、使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果を正確に算出することができる。
【0026】
さらに、上記場所認識結果を組み合わせても良い。
【0027】
【実施例】
図1はこの発明の一実施例の携帯型情報処理装置の斜視図である。図に示すように、携帯型情報処理装置は、画像入力装置1、移動成分3次元形状算出装置2、移動成分記憶装置3、絶対移動成分算出装置4及び場所識別装置5を有する。
【0028】
画像入力装置1は、例えばCCDカメラ11とA/D変換部12を備える。CCDカメラ11は画像を撮影し、A/D変換部12はCCDカメラ11からのアナログ画像信号をデジタル画像信号に変換する。
【0029】
移動成分3次元形状算出装置2は、画像記憶部21、レンジファインダ22及び演算部23を備える。画像記憶部21は画像入力装置1から入力した使用者の周辺環境の画像を記憶する部分であり、前回入力した画像及び今回入力した画像を記憶する。レンジファインダ22は画像入力装置1から入力した画像を基に使用者の周辺環境の一点までの距離を、例えば三角測量法又は写真測量法等を用いて計測して、画像入力装置1から今回入力した画像のスケール因子を得る。演算部23は、例えば図2に示すように移動領域検出部231、移動成分検出部232及び3次元座標算出部233を有する。移動領域検出部231は、例えばエッジ検出法を用い、図3に示すように前回入力した画像の点P11,P21,P31,P41,P51,P61,P71と今回入力した画像のそれらの点に対応する点P12,P22,P32,P42,P52,P62,P72を複数組抽出する。移動成分検出部232は移動領域検出部231が抽出した点(P11,P12,P21,P22等)を各組毎に比較し、それらの点の比較結果及びレンジファインダ22の計測結果より得たスケール因子を用いて、前回の画像入力から今回の画像入力までの使用者の移動成分を算出する。ここで、点P11と点P12が組であり、点P12は点P11が移動した点である。同様に点P21と点P22、点P31と点P32、点P41と点P42、点P51と点P52、点P61と点P62、点P71と点P72が組である。3次元座標算出部233は上記複数組の点(P11,P12等)のうち今回入力した画像上の点P12,P22,P32,P42,P52,P62,P72の使用者自身を基準とした3次元座標を上記スケール因子を用いて算出する。
【0030】
移動成分記憶装置3は前回画像入力装置1から画像を入力した際における基準点からの使用者の移動成分を記憶する。絶対移動成分算出装置4は移動成分記憶装置3に記憶した前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置2が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置3に記憶する。絶対移動成分算出装置4は移動成分記憶装置3に記憶した前回画像入力の際における基準点からの使用者の移動成分と移動成分3次元形状算出装置2が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置3に記憶する。
【0031】
場所識別装置5はニューラルネットワーク演算部51から成る。ニューラルネットワーク演算部51は、図4に示すようにニューラルネットワーク51aと場所コード変換器51bを備える。ニューラルネットワーク51aは誤差逆伝播法で学習した結果を用いてニューラルネットワーク演算を行う部分であり、移動成分3次元形状算出装置2が算出した上記複数の点の3次元座標P1(t)〜Pn(t)と絶対移動成分算出装置4が算出した基準点からの使用者の移動成分Q(t)を基にニューラルネットワーク演算を行い、使用者の現在の場所を識別し、その場所を示す出力層のニューロンをオンにする。ここで、上記Pnは今回入力した画像上の点の数だけあり、この例ではnは7である。また、tは場所認識処理を実行した回数を示す。場所コード変換器51bはニューラルネットワーク51aの出力を基にニューラルネットワーク51aが識別した場所を示す場所コードを出力する。
【0032】
上記構成の携帯型情報処理装置の動作について、図5のフローチャートを参照して説明する。
【0033】
移動成分3次元形状算出装置2の演算部23は、例えば一定間隔毎に画像入力装置1から画像データを入力し、入力した画像データを画像記憶部21に今回入力の画像データとして記憶する(ステップS1)。ここで、演算部23は画像記憶部21にそれ迄今回入力した画像データとして記憶していた画像データを前回入力した画像データとして記憶する。レンジファインダ22は画像記憶部21から記憶した今回入力した画像データを読み出し、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部23は、例えばエッジ検出法などを用い、前回入力した画像と今回入力した画像の対応する点(P11,P12等)を複数組抽出し、それらの点(P11,P12等)の比較結果及びレンジファインダ22の計測結果より得たスケール因子を用いて、前回画像入力してから今回画像入力するまでの装置の移動成分d(t)を算出する。また、演算部23は上記複数組の点(P11,P12,P22等)のうち今回入力した画像上の点(P12,P22等)及び上記スケール因子を用いてそれらの点の使用者自身を基準とした3次元座標P1(t)〜Pn(t)を算出して、使用者の周辺環境の3次元形状を算出する(ステップS2)。
【0034】
その後、絶対移動成分算出装置4は移動成分記憶装置3から前回画像を入力した際における基準点からの使用者の移動成分Q(t-1)を読み出し(ステップS3)、前回画像を入力した際における基準点からの使用者の移動成分Q(t-1)と移動成分3次元形状算出装置2が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分d(t)を基に今回画像を入力した際における基準点からの使用者の移動成分Q(t)を算出し(ステップS4)、算出した移動成分Q(t)を移動成分記憶装置3に記憶する(ステップS5)。このように、基準点からの移動成分を算出するので、基準点の場所を予め入力しておくことにより現在の使用者の場所を算出することができる。
【0035】
ニューラルネットワーク演算部51は移動成分3次元形状算出装置2が算出した上記複数の点(P12,P22等)の3次元座標P1(t)〜Pn(t)と絶対移動成分算出装置4が算出した基準点からの移動成分Q(t)と予め学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する(ステップS6)。このように、移動成分Q(t)だけでなく、計測した複数の点の座標P1(t)〜Pn(t)(その複数の点が成す3次元形状)を入力して場所を算出するので、正確に使用者の現在の場所を算出することができる。
【0036】
また、携帯型情報処理装置は、図6に示すように画像入力装置1、移動成分3次元形状算出装置2、移動成分記憶装置3、絶対移動成分算出装置4a及び場所識別装置5aを有しても良い。
【0037】
移動成分記憶装置3は前回画像を入力するまでの各画像入力の際における基準点からの使用者の移動成分を時系列に記憶する。絶対移動成分算出装置4aは移動成分記憶装置3に記憶した前回画像入力の際における基準点からの使用者の移動成分と移動成分3次元形状算出装置2が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に、今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置3に記憶する。場所識別装置5aはニューラルネットワーク演算部51aから成り、ニューラルネットワーク演算部51aは移動成分3次元形状算出装置2が算出した画像に写し出された複数の点の3次元座標と移動成分記憶装置3に時系列に記憶した各画像入力の際における基準点からの装置の移動成分と予め学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する。このように、各画像入力の際の基準点からの移動成分をニューラルネットワーク演算部51aに時系列に入力することにより、使用者の移動軌跡から現在の場所を算出することができ、検出誤差を少なくすることができる。
【0038】
また、携帯型情報処理装置は、図7に示すように画像入力装置1、3次元形状算出装置2a、形状識別部6、標準3次元形状記憶装置7及び判別装置8を有しても良い。
【0039】
3次元形状算出装置2aは、レンジファインダ22及び演算部23aを備える。演算部23aは画像入力装置1から入力した画像上の点(P12,P22等)及びレンジファインダ22が検出したスケール因子を用いてそれらの点の装置を基準とした3次元座標P1(t)〜Pn(t)を算出する。形状識別装置6は、例えばRBFニューラルネットワーク演算部61から成る。RBFニューラルネットワーク演算部61は、図8に示すようなRBF関数族を基底関数として用いたRBFニューラルネットワークから成る。RBFニューラルネットワーク演算部61は3次元形状算出装置2aが算出した上記複数の点の使用者を基準とした3次元座標(P12,P22等)を基に使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果Sn(t)を算出する。標準3次元形状記憶装置7は複数の場所に対して予め定めた標準位置から撮影した3次元形状とその場所を示す場所コードを予め記憶する。判別装置8は形状識別装置6による画像に写し出された上記複数の点(P12,P22等)が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている場所の形状を標準3次元形状記憶装置7に記憶した3次元形状から探し出し、その場所を示す場所コードを出力する。
【0040】
上記構成の携帯型情報処理装置の動作を、図9のフローチャートを参照して説明する。
【0041】
3次元形状算出装置2aの演算部23aは、例えば一定間隔毎に画像入力装置1から画像データを入力する(ステップS11)。レンジファインダ22は、既に説明したように画像記憶部21から記憶した今回入力した画像データを読み出し、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部23は、今回入力した画像上の点(P12,P22等)及び上記スケール因子を用いてそれらの点の使用者を基準とした3次元座標P1(t)〜Pn(t)を算出する(ステップS12)。RBFニューラルネットワーク演算部61は3次元形状算出装置2aが算出した複数の点の使用者を基準とした3次元座標P1(t)〜Pn(t)を基に画像に写し出された上記複数の点が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果Sn(t)を算出する(ステップS13)。判別装置8は形状識別装置6による画像に写し出された複数の点が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果Sn(t)と標準3次元形状記憶装置7に記憶した3次元形状を比較し(ステップS14)、形状識別装置6による画像に写し出された複数の点が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果Sn(t)に最も似ている3次元形状を標準3次元形状記憶装置7に記憶した3次元形状から探し出し、その場所を示す場所コードを出力する(ステップS15)。このように周囲の形状から携帯型情報処理装置を携帯する使用者の場所を演算するので累積誤差が発生せず、正確に使用者の場所を認識できる。
【0042】
さらに、例えば上記装置を組み合わせて、さらに正確に使用者の場所を演算しても良い。携帯情報処理装置は、例えば図10に示すように画像入力装置1、移動成分3次元形状算出装置2、第1場所認識装置9a、第2場所認識装置9b、判断基準テーブル91及び最終判定装置92を有する。第1場所認識装置9aは移動成分記憶装置3、絶対移動成分算出装置4及び場所識別装置5を備える。第2場所認識装置9bは形状識別装置6、標準3次元形状記憶装置7及び判別装置8を備える。判断基準テーブル91は、例えば図11に示すように第1場所認識装置9aの識別結果と第2場所認識装置9bの算出結果との組合せに対応する場所を示す場所コードを予め記憶する。最終判定装置92は第1場所認識装置9aが出力したコードと第2場所認識装置9bが出力したコードとを基に判断基準テーブル91から使用者の場所を示す場所コードを読み出して出力する。
【0043】
上記構成の携帯型情報処理装置の動作を、図11のフローチャートを参照して説明する。
【0044】
移動成分3次元形状算出装置2の演算部23は、既に説明したように一定間隔毎に画像入力装置1から使用者の周辺環境の画像を入力し、入力した画像を画像記憶部21に記憶する(ステップS21)。レンジファインダ22は画像記憶部21から記憶した今回入力した画像を読み出し、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部23は、前回入力した画像と今回入力した画像の対応する点(P11,P12等)を複数組抽出し、それらの点(P11,P12等)の比較結果及びレンジファインダ22が得たスケール因子を用いて、前回画像入力してから今回画像入力するまでの装置の移動成分d(t)を算出する。また、演算部23は上記複数組の点(P11,P12等)のうち今回入力した画像上の点(P12,P22等)及び上記スケール因子を用いてそれらの点の使用者を基準とした3次元座標P1(t)〜Pn(t)を算出する(ステップS22)。
【0045】
その後、第1場所認識装置9aの絶対移動成分算出装置4は移動成分記憶装置3から前回画像を入力した際における基準点からの使用者の移動成分Q(t-1)を読み出し(ステップS23)、前回画像を入力した際における基準点からの使用者の移動成分Q(t-1)と移動成分3次元形状算出装置2が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分d(t)を基に、今回画像を入力した際における基準点からの使用者の移動成分Q(t)を算出し(ステップS24)、算出した基準点からの移動成分Q(t)を移動成分記憶装置3に記憶する(ステップS25)。場所識別装置5のニューラルネットワーク演算部51は移動成分3次元形状算出装置2が算出した上記複数の点(P12,P22等)の3次元座標P1(t)〜Pn(t)と絶対移動成分算出装置4が算出した基準点からの移動成分Q(t)と予め学習した結果を基に使用者の場所を識別し、その識別結果を示す場所コードを出力する(ステップS26)。
【0046】
次ぎに、第2場所認識装置9bの形状識別装置6のRBFニューラルネットワーク演算部61は、移動成分3次元形状算出装置2が算出した複数の点の使用者を基準とした3次元座標P1(t)〜Pn(t)を基に画像に写し出された上記複数の点が成す形状が示す使用者の周辺形状を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果Sn(t)を算出する(ステップS27)。判別装置8は形状識別装置6による画像に写し出された複数の点が成す形状が示す使用者の周辺形状を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果Sn(t)と標準3次元形状記憶装置7に記憶した3次元形状を比較し、形状識別装置6による画像に写し出された複数の点が成す形状が示す使用者の周辺形状を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果Sn(t)に最も似ている3次元形状を標準3次元形状記憶装置7に記憶した3次元形状から探し出し、その場所を示す場所コードを出力する(ステップS28)。
【0047】
最終判定装置装置92は第1場所認識装置9aが出力したコードと第2場所認識9bが出力したコードを基に判断基準テーブル10から使用者の場所を示す場所コードを読み出して出力する(ステップS29)。このように、2つの検出結果の組合せを基に最終的に場所を認識するので、それぞれの検出方法の特性によらず常に正確な場所の認識を行うことができる。
【0048】
なお、上記第1場所認識装置9aの代わりに、図13に示すような第1場所認識装置9cを用いても良い。第1場所認識装置9cは移動成分記憶装置3、絶対移動成分算出装置4a及び場所識別装置5aを備える。第1場所認識装置9cは上記のような構成を備えることにより、時系列な基準点からの移動成分を用いて使用者の場所を認識することができる。
【0049】
また、図14に示すように携帯型情報処理装置は画像入力装置1、移動成分3次元形状算出装置2、移動成分記憶装置3、絶対移動成分算出装置4、3次元形状記憶装置93、場所識別手順記憶装置94及び場所識別演算装置95を有しても良い。移動成分記憶装置3は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶する。3次元形状記憶装置93は各画像入力の際の使用者の周辺環境の3次元形状を時系列に記憶する。場所識別手順記憶装置94は脱着可能に構成され、場所識別演算装置95が使用者の場所の場所識別処理を行う際に用いる場所識別手順を予め記憶する。場所識別演算装置95は場所識別手順記憶装置94に予め記憶した場所識別手順を用いて、画像入力装置1から入力した画像を基に各画像入力の際の使用者の場所を識別して、各画像入力の際に時系列に記憶した基準点からの使用者の移動成分と使用者の周辺環境の3次元形状を基に各画像入力の際の使用者の位置を識別する。これにより、移動中は場所識別手順記憶装置94を取外し、後に場所識別手順記憶装置94を取付け、移動中に収集した移動成分等を用いて各画像入力の際の使用者の位置を識別するができる。
【0050】
【発明の効果】
この発明は以上説明したように、今回入力した画像を基に使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像を基に前回の画像入力から今回の画像入力までの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回の画像入力から今回の画像入力までの装置の移動成分を基に今回の画像入力の際における基準点からの使用者の移動成分を算出し、算出した移動成分を記憶するので、撮影した画像を基に基準点からの使用者の移動成分及び周辺の3次元形状を調べることができる。
【0051】
さらに、使用者の周辺環境の3次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を認識し、その認識結果を示す場所コードを出力するので、2つの入力項目から使用者の場所を正確に認識することができる。
【0052】
また、前回画像入力の際における基準点からの使用者の移動成分と算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を時系列に記憶し、算出した画像に写し出された使用者の周辺環境の3次元形状と時系列に記憶した各画像入力の際における基準点からの使用者の移動成分を基に使用者の場所を認識し、その認識結果を示す場所コードを出力するので、使用者の時系列な動きを加味して正確に使用者の場所を判断できる。
【0053】
また、入力した画像に写し出された使用者の周辺環境の3次元形状を算出し、算出した使用者の周辺環境の3次元形状を基にRBFを基底としたニューラルネットワーク演算をして、使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果を算出し、算出した使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を予め標準位置から撮影した3次元形状の中から探し出し、その場所を示す場所コードを出力するので、携帯型情報処理装置を携帯する使用者の周辺環境の3次元形状を基に使用者の場所を判断することができる。
【0054】
また、入力した画像を基に使用者の周辺環境の3次元形状を算出し、前回画像を入力した際における基準点からの装置の移動成分と前回入力した画像と今回入力した画像を基に今回画像を入力した際における基準点からの装置の移動成分を算出し、使用者の周辺環境の3次元形状と基準点からの装置の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を認識してその場所コードを出力し、さらに、使用者の周辺環境の3次元形状を基に使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果を算出し、算出した使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を予め標準位置から撮影した3次元形状の中から探し出し、その場所を示す場所コードを出力し、両場所コードを基に最終的に場所を判断するので、さらに正確に使用者の場所を判断することができる。
【0055】
また、入力した画像を基に使用者の周辺環境の3次元形状を算出し、前回画像を入力した際における基準点からの装置の移動成分と前回入力した画像と今回入力した画像を基に今回画像を入力した際における基準点からの装置の移動成分を算出し、算出した移動成分を画像入力毎に時系列に記憶し、使用者の周辺環境の3次元形状と画像入力毎に時系列に記憶した基準点からの装置の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を認識してその場所コードを出力し、さらに、使用者の周辺環境の3次元形状を基に使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果を算出し、算出した使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を予め標準位置から撮影した3次元形状の中から探し出し、その場所を示す場所コードを出力し、両場所コードを基に最終的に場所を判断するので、時系列な情報を用いてさらに正確に使用者の場所を判断することができる。
【0056】
さらに、場所識別手順を脱着可能な装置に記憶し、脱着可能な装置に記憶した場所識別手順を用いて各画像入力の際の使用者の場所を識別するので、移動中は場所識別手順を記憶した装置を取外し、後に場所識別手順を記憶した装置を取付け、移動中に収集した移動成分等を用いて各画像入力の際の使用者の位置を識別するができる。
【図面の簡単な説明】
【図1】周辺形状と移動成分から場所を判断する装置の構成図である。
【図2】演算部の構成部である。
【図3】画像の変化を示す説明図である。
【図4】ニューラルネットワークの構成図である。
【図5】周辺形状と移動成分から場所を判断する動作を示すフローチャートである。
【図6】周辺形状と時系列な移動成分から場所を判断する装置の構成図である。
【図7】周辺形状から場所を判断する装置の構成図である。
【図8】RBFニューラルネットワークの構成図である。
【図9】周辺形状から場所を判断するフローチャートである。
【図10】2種類の場所識別結果を基に最終的に場所を判断する装置の構成図である。
【図11】判断基準テーブルの構成図である。
【図12】2種類の場所認識結果を基に最終的に場所を判断するフローチャートである。
【図13】2種類の認識結果を基に最終的な場所を判断する装置の他の構成図である。
【図14】場所識別手順記憶装置を備える携帯型情報処理装置の構成図である。
【符号の説明】
1 画像入力装置
2 移動成分3次元形状算出装置
21 画像記憶部
22 レンジファインダ
23 演算部
3 移動成分記憶装置
4 絶対移動成分算出装置
5 場所識別装置
51 ニューラルネットワーク演算部
6 形状識別装置
61 RBFニューラルネットワーク演算部
7 標準3次元形状記憶装置
8 判別装置
9a 第1場所認識装置
9b 第2場所認識装置
91 判断基準テーブル
92 最終判定装置
93 3次元形状記憶装置
94 場所識別手順記憶装置
95 場所識別演算装置
Claims (11)
- 画像入力装置と移動成分3次元形状算出装置と絶対移動成分算出装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分3次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力することを特徴とする携帯型情報処理装置。
- 画像入力装置と移動成分3次元形状算出装置と絶対移動成分算出装置と移動成分記憶装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分3次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状と移動成分記憶装置に時系列に記憶した各画像入力の際の基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力することを特徴とする携帯型情報処理装置。
- 標準3次元形状記憶装置と画像入力装置と3次元形状算出装置と形状識別装置と判別装置を有し、標準3次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した3次元形状とその場所を示す場所コードを予め記憶し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、3次元形状算出装置は画像入力装置から入力した画像を基に使用者の周辺環境の3次元形状を算出し、形状識別装置はRBFニューラルネットワーク演算部から成り、RBFニューラルネットワーク演算部は3次元形状算出装置が算出した使用者の周辺環境の3次元形状を基にRBFを基底関数として使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている場所の3次元形状を標準3次元形状記憶装置に記憶した3次元形状の中から探し出し、その場所を示す場所コードを出力することを特徴とする携帯型情報処理装置。
- 画像入力装置と移動成分3次元形状算出装置と第1場所認識装置と第2場所認識装置と判断基準テーブルと最終判定装置とを有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分3次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、第1場所認識装置は絶対移動成分算出装置と場所識別装置を有し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、場所識別装置はニューラルネットワーク演算部から成り、場所識別装置のニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、第2場所認識装置は標準3次元形状記憶装置と形状識別装置と判別装置を有し、標準3次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した3次元形状及びその場所を示す場所コードを予め記憶し、形状識別装置はRBFニューラルネットワーク演算部から成り、形状識別装置のRBFニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状を基にRBFを基底関数として使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を標準3次元形状記憶装置に記憶した3次元形状の中から探し出し、その場所を示す場所コードを出力し、判断基準テーブルは第1場所認識装置の識別結果と第2場所認識装置の識別結果との組合せに対応する場所を示す場所コードを予め記憶し、最終判定装置は第1場所認識装置が出力した場所コードと第2場所認識装置が出力した場所コードを基に判断基準テーブルから使用者の現在の場所を示す場所コードを読み出して出力することを特徴とする携帯型情報処理装置。
- 画像入力装置と移動成分3次元形状算出装置と第1場所認識装置と第2場所認識装置と判断基準テーブルと最終判定装置とを有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分3次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、第1場所認識装置は絶対移動成分算出装置と移動成分記憶装置と場所識別装置を有し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状と移動成分記憶装置に時系列に記憶した各画像入力の際の基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、第2場所認識装置は標準3次元形状記憶装置と形状識別装置と判別装置を有し、標準3次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した3次元形状及びその場所を示す場所コードを予め記憶し、形状識別装置はRBFニューラルネットワーク演算部から成り、形状識別装置のRBFニューラルネットワーク演算部は移動成分3次元形状算出装置が算出した使用者の周辺環境の3次元形状を基にRBFを基底関数として使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を予め定めた標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を標準3次元形状記憶装置に記憶した3次元形状の中から探し出し、その場所を示す場所コードを出力し、判断基準テーブルは第1場所認識装置の識別結果と第2場所認識装置の識別結果との組合せに対応する場所を示す場所コードを予め記憶し、最終判定装置は第1場所認識装置が出力した場所コードと第2場所認識装置が出力した場所コードを基に判断基準テーブルから使用者の現在の場所を示す場所コードを読み出して出力することを特徴とする携帯型情報処理装置。
- 画像入力装置と移動成分3次元形状算出装置と絶対移動成分算出装置と移動成分記憶装置と3次元形状記憶装置と場所識別手順記憶装置と場所識別演算装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分3次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の3次元形状を算出して3次元形状記憶装置に記憶し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分3次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、3次元形状記憶装置は各画像入力の際の使用者の周辺環境の3次元形状を時系列に記憶し、場所識別手順記憶装置は脱着可能に構成され、場所識別演算装置が使用者の場所の識別処理を行う際に用いる場所識別手順を予め記憶し、場所識別演算装置は場所識別手順記憶装置に予め記憶した場所識別手順を用いて、画像入力装置から入力した画像を基に各画像入力の際の使用者の場所を識別することを特徴とする携帯型情報処理装置。
- 使用者の周辺環境の画像を撮影して入力し、入力した画像を基に使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回画像を入力した際における基準点からの使用者の移動成分と前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力する際における基準点からの使用者の移動成分を算出し、算出した使用者の周辺環境の3次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力することを特徴とする携帯型情報処理装置の場所識別方法。
- 使用者の周辺環境の画像を撮影して入力し、入力した画像を基に使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回画像を入力した際における基準点からの使用者の移動成分と前回画像入力してから今回画像入力するまでの使用者の移動成分を基に今回画像入力する際における基準点からの使用者の移動成分を算出し、算出した基準点からの使用者の移動成分を画像入力毎に時系列に記憶し、算出した使用者の周辺環境の3次元形状と各画像入力の際の時系列な使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力することを特徴とする携帯型情報処理装置の場所識別方法。
- 複数の場所に対して予め定めた標準位置から撮影した3次元形状及びその場所を示す場所コードを予め記憶し、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に使用者の周辺環境の3次元形状を算出し、算出した使用者の周辺環境の3次元形状を基に今回入力した画像に写し出された使用者の周辺環境の3次元形状を基にRBFを基底関数として用いたニューラルネットワーク演算をして使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を予め記憶した3次元形状から探し出し、その場所を示す場所コードを出力することを特徴とする携帯型情報処理装置の場所識別方法。
- 使用者の周辺環境の画像を撮影して入力し、入力した画像を基に使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回画像入力してから今回画像入力するまでの使用者の移動成分を基に今回の画像入力の際における基準点からの使用者の移動成分を算出し、算出した使用者の周辺環境の3次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を識別し、その識別結果を示す場所コードを出力し、今回入力した画像に写し出された使用者の周辺環境の3次元形状を基にRBFを基底関数として用いてニューラルネットワーク演算をして、使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を予め記憶した3次元形状から探し出し、その場所を示す場所コードを出力し、上記2つの場所コードの組合せを基にその組合せに対応する場所を探し出し、その場所を示す場所コードを出力することを特徴とする携帯型情報処理装置の場所識別方法。
- 使用者の周辺環境の画像を撮影して入力し、入力した画像を基に使用者の周辺環境の3次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回の画像入力してから今回画像入力するまでの使用者の移動成分を基に今回画像入力の際における基準点からの使用者の移動成分を算出し、算出した基準点からの使用者の移動成分を画像入力毎に時系列に記憶し、算出した使用者の周辺環境の3次元形状と画像入力毎に時系列に記憶した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、今回入力した画像に写し出された使用者の周辺環境の3次元形状を基にRBFを基底関数として用いたニューラルネットワーク演算をして、使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の3次元形状の中間認識結果に最も似ている3次元形状を予め記憶した3次元形状から探し出し、その場所を示す場所コードを出力し、上記2つの場所コードの組合せを基にその組合せに対応する場所を探し出し、その場所を示す場所コードを出力することを特徴とする携帯型情報処理装置の場所識別方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34452896A JP3655033B2 (ja) | 1996-12-10 | 1996-12-10 | 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34452896A JP3655033B2 (ja) | 1996-12-10 | 1996-12-10 | 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10170299A JPH10170299A (ja) | 1998-06-26 |
JP3655033B2 true JP3655033B2 (ja) | 2005-06-02 |
Family
ID=18369982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34452896A Expired - Fee Related JP3655033B2 (ja) | 1996-12-10 | 1996-12-10 | 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3655033B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000097720A (ja) * | 1998-09-25 | 2000-04-07 | Toshiba Corp | 位置検出システム |
AU2018208816B2 (en) * | 2017-01-23 | 2022-06-16 | Oxford University Innovation Limited | Determining the location of a mobile device |
EP3571664B1 (en) * | 2017-01-23 | 2021-05-12 | Oxford University Innovation Limited | Determining the location of a mobile device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266404A (ja) * | 1993-03-12 | 1994-09-22 | Toshiba Corp | 非線形対象制御システム及び同システム構築用ニューラルネットワークの学習システム |
JP2799943B2 (ja) * | 1993-06-18 | 1998-09-21 | 謙二 松井 | 空間認識装置,車両の危険状態検知装置,盲人用危険状態警告装置および盲人用歩行補助装置ならびに空間認識方法 |
JPH089264A (ja) * | 1994-06-22 | 1996-01-12 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
JP3560670B2 (ja) * | 1995-02-06 | 2004-09-02 | 富士通株式会社 | 適応的認識システム |
-
1996
- 1996-12-10 JP JP34452896A patent/JP3655033B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10170299A (ja) | 1998-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4672175B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
US7697749B2 (en) | Stereo image processing device | |
JP5148669B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
JP4984728B2 (ja) | 被写体照合装置および被写体照合方法 | |
CN111664848B (zh) | 一种多模态室内定位导航方法及系统 | |
CN101086600A (zh) | 成像设备、成像设备控制方法以及计算机程序 | |
CN111028358A (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
KR101438377B1 (ko) | 이동체의 위치 판단 장치 및 위치 판단 방법 | |
JP6959888B2 (ja) | 物体認識情報及び受信電磁波情報に係るモデルを用いて端末位置を推定する装置、プログラム及び方法 | |
US6272237B1 (en) | Image processing apparatus | |
CN111935641B (zh) | 一种室内自定位的实现方法、智能移动设备和存储介质 | |
Brunnström et al. | Active fixation for scene exploration | |
CN110290455A (zh) | 基于场景识别的目标场景确定方法及系统 | |
CN108256563B (zh) | 基于距离度量的视觉词典闭环检测方法与装置 | |
JP2011113398A (ja) | 姿勢推定装置 | |
JP2021077039A (ja) | 画像処理装置、画像処理方法、及びプログラム。 | |
JP3655033B2 (ja) | 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 | |
CN110967667A (zh) | 一种基于众包Wi-Fi指纹定位的室内轨迹采集方法 | |
CN117990105A (zh) | 一种基于云平台的智能医疗服务方法 | |
Milioris | Efficient indoor localization via reinforcement learning | |
CN111836188B (zh) | 一种基于Wi-Fi RSS的在线协同定位及系统 | |
Wietrzykowski et al. | Adopting the FAB-MAP algorithm for indoor localization with WiFi fingerprints | |
KR102407802B1 (ko) | 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치 | |
CN116051636A (zh) | 位姿计算方法、装置和设备 | |
CN113916223A (zh) | 定位方法及装置、设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050302 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |