JP3655033B2 - 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 - Google Patents
携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 Download PDFInfo
- Publication number
- JP3655033B2 JP3655033B2 JP34452896A JP34452896A JP3655033B2 JP 3655033 B2 JP3655033 B2 JP 3655033B2 JP 34452896 A JP34452896 A JP 34452896A JP 34452896 A JP34452896 A JP 34452896A JP 3655033 B2 JP3655033 B2 JP 3655033B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- input
- location
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Navigation (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は携帯型情報処理装置及び携帯型情報処理装置の場所識別方法、特に簡単な構成による携帯型情報処理装置を携帯する使用者の場所の自動的な認識に関するものである。
【０００２】
【従来の技術】
携帯型情報処理装置に複数の機能を付加したものが開発されてきている。例えば、特開平６-301446号公報に掲載されたＧＰＳ（Global Positioning System）受信機能内蔵携帯型コンピュータでは、ＧＰＳ衛星から送られたＧＰＳ信号を受信し、ＧＰＳ信号による緯度、経度及び海抜高度等のデータを表示している。
【０００３】
また、特開平３-55655号公報に掲載された携帯用情報処理装置では、入力装置として、キー入力装置と画像入力装置を備えている。
【０００４】
【発明が解決しようとする課題】
しかしながら、例えば特開平６-301446号公報に掲載されたＧＰＳ受信機能内蔵携帯型コンピュータではＧＰＳ信号による緯度、経度及び海抜高度等のデータを表示することにより、ＧＰＳ受信機能内蔵携帯型コンピュータの場所をユーザが知ることができ、その移動履歴を残すこともできるが、ＧＰＳ受信機能内蔵ため、高価なものとなっている。
【０００５】
また、特開平３-55655号公報に掲載された携帯用情報処理装置では、場所を判別することができず、その移動履歴を残すことができない。
【０００６】
この発明はかかる短所を解消するためになされたものであり、簡単な構成で携帯型情報処理装置の使用者の場所を判別し、移動履歴等をとることができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る携帯型情報処理装置は、画像入力装置と移動成分３次元形状算出装置と絶対移動成分算出装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力して、使用者の周辺環境の画像を基に使用者の場所を識別する。
【０００８】
また、携帯型情報処理装置は、画像入力装置と移動成分３次元形状算出装置と絶対移動成分算出装置と移動成分記憶装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と移動成分記憶装置に時系列に記憶した各画像入力の際の基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力して、使用者の周辺環境の画像から算出した時系列な情報を基に使用者の現在の場所を判別する。
【０００９】
また、携帯型情報処理装置は、標準３次元形状記憶装置と画像入力装置と３次元形状算出装置と形状識別装置と判別装置を有し、標準３次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した３次元形状とその場所を示す場所コードを予め記憶し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、３次元形状算出装置は画像入力装置から入力した画像を基に使用者の周辺環境の３次元形状を算出し、形状識別装置はＲＢＦニューラルネットワーク演算部から成り、ＲＢＦニューラルネットワーク演算部は３次元形状算出装置が算出した使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている場所の３次元形状を標準３次元形状記憶装置に記憶した３次元形状の中から探し出し、その場所を示す場所コードを出力して、使用者の周辺環境の３次元形状から使用者の場所を判別する。
【００１０】
また、携帯型情報処理装置は、画像入力装置と移動成分３次元形状算出装置と第１場所認識装置と第２場所認識装置と判断基準テーブルと最終判定装置とを有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、第１場所認識装置は絶対移動成分算出装置と場所識別装置を有し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、場所識別装置はニューラルネットワーク演算部から成り、場所識別装置のニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、第２場所認識装置は標準３次元形状記憶装置と形状識別装置と判別装置を有し、標準３次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した３次元形状及びその場所を示す場所コードを予め記憶し、形状識別装置はＲＢＦニューラルネットワーク演算部から成り、形状識別装置のＲＢＦニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を標準３次元形状記憶装置に記憶した３次元形状の中から探し出し、その場所を示す場所コードを出力し、判断基準テーブルは第１場所認識装置の識別結果と第２場所認識装置の識別結果との組合せに対応する場所を示す場所コードを予め記憶し、最終判定装置は第１場所認識装置が出力した場所コードと第２場所認識装置が出力した場所コードを基に判断基準テーブルから使用者の現在の場所を示す場所コードを読み出して出力して、２種類の場所認識結果を基に使用者の現在の場所を正確に判定する。
【００１１】
また、携帯型情報処理装置は、画像入力装置と移動成分３次元形状算出装置と第１場所認識装置と第２場所認識装置と判断基準テーブルと最終判定装置とを有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、第１場所認識装置は絶対移動成分算出装置と移動成分記憶装置と場所識別装置を有し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と移動成分記憶装置に時系列に記憶した各画像入力の際の基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、第２場所認識装置は標準３次元形状記憶装置と形状識別装置と判別装置を有し、標準３次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した３次元形状及びその場所を示す場所コードを予め記憶し、形状識別装置はＲＢＦニューラルネットワーク演算部から成り、形状識別装置のＲＢＦニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状を基に使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を標準３次元形状記憶装置に記憶した３次元形状の中から探し出し、その場所を示す場所コードを出力し、判断基準テーブルは第１場所認識装置の識別結果と第２場所認識装置の識別結果との組合せに対応する場所を示す場所コードを予め記憶し、最終判定装置は第１場所認識装置が出力した場所コードと第２場所認識装置が出力した場所コードを基に判断基準テーブルから使用者の現在の場所を示す場所コードを読み出して出力する。
【００１２】
また、画像入力装置と移動成分３次元形状算出装置と絶対移動成分算出装置と移動成分記憶装置と３次元形状記憶装置と場所識別手順記憶装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出して３次元形状記憶装置に記憶し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、３次元形状記憶装置は各画像入力の際の使用者の周辺環境の３次元形状を時系列に記憶し、場所識別手順記憶装置は脱着可能に構成され、場所識別演算装置が使用者の場所の場所識別処理を行う際に用いる場所識別手順を予め記憶し、場所識別装置は場所識別手順記憶装置に予め記憶した場所識別手順を用いて、画像入力装置から入力した画像を基に各画像入力の際の使用者の場所を識別して、各画像入力の際に時系列に記憶した基準点からの使用者の移動成分と使用者の周辺環境の３次元形状を基に各画像入力の際に使用者の位置を識別する。
【００１３】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回画像を入力した際における基準点からの使用者の移動成分と前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力する際における基準点からの使用者の移動成分を算出し、算出した使用者の周辺環境の３次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する。
【００１４】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回画像を入力した際における基準点からの使用者の移動成分と前回画像入力してから今回画像入力するまでの使用者の移動成分を基に今回画像入力する際における基準点からの使用者の移動成分を算出し、算出した基準点からの使用者の移動成分を画像入力毎に時系列に記憶し、算出した使用者の周辺環境の３次元形状と各画像入力の際の時系列な使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する。
【００１５】
また、携帯型情報処理装置の場所識別方法は、複数の場所に対して予め定めた標準位置から撮影した３次元形状及びその場所を示す場所コードを予め記憶し、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、算出した使用者の周辺環境の３次元形状を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として用いたニューラルネットワーク演算をして使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め記憶した３次元形状から探し出し、その場所を示す場所コードを出力する。
【００１６】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回画像入力してから今回画像入力するまでの使用者の移動成分を基に今回の画像入力の際における基準点から使用者の移動成分を算出し、算出した使用者の周辺環境の３次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を識別し、その識別結果を示す場所コードを出力し、今回入力した画像に写し出された使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として用いたニューラルネットワーク演算をして、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め記憶した３次元形状から探し出し、その場所を示す場所コードを出力し、上記２つの場所コードの組合せを基にその組合せに対応する場所を探し出し、その場所を示す場所コードを出力する。
【００１７】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回の画像入力から今回の画像入力までの使用者の移動成分を基に今回画像入力の際における基準点からの使用者の移動成分を算出し、算出した基準点からの使用者の移動成分を画像入力毎に時系列に記憶し、算出した使用者の周辺環境の３次元形状と画像入力毎に時系列に記憶した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、今回入力した画像に写し出された使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として用いてニューラルネットワーク演算をして、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め記憶した３次元形状から探し出し、その場所を示す場所コードを出力し、上記２つの場所コードの組合せを基にその組合せに対応する場所を探し出し、その場所を示す場所コードを出力する。
【００１８】
【発明の実施の形態】
この発明の携帯型情報処理装置は、使用者の周辺環境の画像を基に使用者の現在の場所を予め定めた範囲内で識別するものである。
【００１９】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の動画を基に使用者の現在の場所を予め定めた範囲内で識別する方法に関するものである。
【００２０】
携帯型情報処理装置は、例えば画像入力装置、移動成分３次元形状算出装置、移動成分記憶装置、絶対移動成分算出装置及び場所識別装置を有する。画像入力装置は、例えばＣＣＤカメラとＡ／Ｄ変換部を備え、ＣＣＤカメラで画像を撮影し、Ａ／Ｄ変換部でＣＣＤカメラからのアナログ画像信号をデジタル画像信号に変換する。移動成分３次元形状算出装置は、例えば画像記憶部とレンジファインダと演算部を備える。画像記憶部は画像入力装置から入力した画像を記憶する。レンジファインダは、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部は、例えばエッジ検出法などを用い、前回入力した画像と今回入力した画像の対応する点を複数組抽出し、それらの点の比較結果及びレンジファインダの計測結果より得たスケール因子を用いて、前回画像入力してから今回画像入力するまでの使用者の移動成分を算出する。また、演算部は上記複数組の点のうち今回入力した画像上の点及び上記スケール因子を用いてそれらの点の使用者自身を基準とした３次元座標を算出して、今回入力した画像を基に使用者の周辺環境の３次元形状を算出する。上記スケール因子を用いたのは、前回入力した画像と今回入力した画像の対応する点を比較しただけでは、相対的な移動距離を求めることしかできないためである。
【００２１】
移動成分記憶装置は前回の場所識別処理で画像入力装置から画像を入力した際における使用者の基準点からの移動成分を記憶する。絶対移動成分算出装置は移動成分記憶装置に記憶した前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出する。また、絶対移動成分算出装置は算出した移動成分を移動成分記憶装置に記憶して、次回の場所識別処理において今回の画像入力の際における基準点からの使用者の移動成分を読み出すことができるようにする。
【００２２】
場所識別装置は誤差逆伝播法で学習した結果を用いてニューラルネットワーク演算を行うたニューラルネットワーク演算部から成る。ニューラルネットワーク演算部は、移動成分３次元形状算出装置が算出した上記複数の点の３次元座標と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その場所コードを出力する。ここで、ニューラルネットワークは協調、競合作用及び自己組織化能力に基づいて入力信号をいくつかの特徴に分析すると共にそれらを統合するものである。例えばニューラルネットワークは予め認識させたい情報を実際に入力し、そのデータをサンプリングしこれらのデータを入力層に入力し、出力層に分類したいパターン数分のニューロンを用意し、各パターンとニューロンを対応させておく。ある情報を入力したときそれに対応するニューロンの出力が「１」となり、それ以外のニューロンの出力が「０」となるように誤差逆伝搬法で学習しておく。ニューラルネットワークはこのようにして得られた結合係数と同じ結合係数でニューラルネットワーク演算を行なう。誤差逆伝播法の学習においては、入力及びその入力に対する望ましい出力（目標出力）のパターン（ベクトル）をニューラルネットワークに提示する。ニューラルネットワークは、入力層に入力した入力パターンを出力層へ伝播しながら変換して出力パターンを出し、それを目標出力パターンと比較する。ニューラルネットワークの出力パターンと目標出力パターンとが一致している場合には学習は起こらない。ニューラルネットワークの出力パターンと目標出力パターンとが一致していない場合にはその差（誤差）を減らすようにネットワークの結合の重みを調整することにより学習する。このような学習をすることにより、基準点からの移動成分を入力することにより使用者の場所を正確に演算できる。
【００２３】
また、上記移動成分記憶装置は前回画像を入力するまでの各画像入力の際における基準点からの使用者の移動成分を時系列に記憶し、絶対移動成分算出装置は移動成分記憶装置に記憶した前回画像入力の際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置に記憶し、ニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した画像に写し出された複数の点の３次元座標と移動成分記憶装置に時系列に記憶した各画像入力の際における基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力するようにしても良い。
【００２４】
また、携帯型情報処理装置は、例えば標準３次元形状記憶装置、画像入力装置、３次元形状算出装置、形状識別装置及び判別装置を有するようにしても良い。標準３次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した３次元形状とその場所を示す場所コードを予め記憶する。３次元系所算出装置は、例えば上記移動成分３次元形状算出装置と同様にレンジファインダと演算部を備え、画像入力装置から使用者の周辺環境の画像を入力し、画像入力装置から入力した画像に写し出された複数の点の使用者自身を基準とした３次元座標を算出して、使用者の周辺環境の３次元形状を算出する。形状識別装置は、例えばＲＢＦ（Radial Basis Functions）関数族を基底関数として用いたＲＢＦニューラルネットワーク演算部から成る。ＲＢＦニューラルネットワーク演算部は３次元形状算出装置が算出した上記複数の点の使用者の周辺環境の３次元形状を基に使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出する。判別装置は使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を標準３次元形状記憶装置に記憶した３次元形状から探しだし、その場所を示す場所コードを出力する。
【００２５】
ここで、ＲＢＦニューラルネットワークは、学習を例題からの写像の近似であると考え、正則化理論に基づき、回転対象のガウス関数に代表されるＲＢＦと呼ばれる関数族を基底関数として用いたものである。ＲＢＦニューラルネットワークの場合は正規化理論を背景としているために、データ数と同数のユニットを用意することにより、ニューラルネットワークの未知パラメータを線形計算によって得ることができる。さらに、ＲＢＦの代表的関数であるガウス関数等により、入力空間中で局所的な反応を持つような基底を生成すれば、この局所性に基づく学習の高速化などが可能になる。このように、ＲＢＦニューラルネットワークを用い、例えば対象物の典型的な視点からの像（プロトタイプ）を記憶しておき、他の視点からの像に関する出力をプロトタイプの場合の出力を補間して得ることにより、対象物を認識することができる。したがって、上記のように３次元形状算出装置が算出した複数の点の使用者自身を基準とした３次元座標をＲＢＦニューラルネットワーク演算部に入力することにより、使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果を正確に算出することができる。
【００２６】
さらに、上記場所認識結果を組み合わせても良い。
【００２７】
【実施例】
図１はこの発明の一実施例の携帯型情報処理装置の斜視図である。図に示すように、携帯型情報処理装置は、画像入力装置１、移動成分３次元形状算出装置２、移動成分記憶装置３、絶対移動成分算出装置４及び場所識別装置５を有する。
【００２８】
画像入力装置１は、例えばＣＣＤカメラ１１とＡ／Ｄ変換部１２を備える。ＣＣＤカメラ１１は画像を撮影し、Ａ／Ｄ変換部１２はＣＣＤカメラ１１からのアナログ画像信号をデジタル画像信号に変換する。
【００２９】
移動成分３次元形状算出装置２は、画像記憶部２１、レンジファインダ２２及び演算部２３を備える。画像記憶部２１は画像入力装置１から入力した使用者の周辺環境の画像を記憶する部分であり、前回入力した画像及び今回入力した画像を記憶する。レンジファインダ２２は画像入力装置１から入力した画像を基に使用者の周辺環境の一点までの距離を、例えば三角測量法又は写真測量法等を用いて計測して、画像入力装置１から今回入力した画像のスケール因子を得る。演算部２３は、例えば図２に示すように移動領域検出部２３１、移動成分検出部２３２及び３次元座標算出部２３３を有する。移動領域検出部２３１は、例えばエッジ検出法を用い、図３に示すように前回入力した画像の点Ｐ11，Ｐ21，Ｐ31，Ｐ41，Ｐ51，Ｐ61，Ｐ71と今回入力した画像のそれらの点に対応する点Ｐ12，Ｐ22，Ｐ32，Ｐ42，Ｐ52，Ｐ62，Ｐ72を複数組抽出する。移動成分検出部２３２は移動領域検出部２３１が抽出した点（Ｐ11，Ｐ12，Ｐ21，Ｐ22等）を各組毎に比較し、それらの点の比較結果及びレンジファインダ２２の計測結果より得たスケール因子を用いて、前回の画像入力から今回の画像入力までの使用者の移動成分を算出する。ここで、点Ｐ11と点Ｐ12が組であり、点Ｐ12は点Ｐ11が移動した点である。同様に点Ｐ21と点Ｐ22、点Ｐ31と点Ｐ32、点Ｐ41と点Ｐ42、点Ｐ51と点Ｐ52、点Ｐ61と点Ｐ62、点Ｐ71と点Ｐ72が組である。３次元座標算出部２３３は上記複数組の点（Ｐ11，Ｐ12等）のうち今回入力した画像上の点Ｐ12，Ｐ22，Ｐ32，Ｐ42，Ｐ52，Ｐ62，Ｐ72の使用者自身を基準とした３次元座標を上記スケール因子を用いて算出する。
【００３０】
移動成分記憶装置３は前回画像入力装置１から画像を入力した際における基準点からの使用者の移動成分を記憶する。絶対移動成分算出装置４は移動成分記憶装置３に記憶した前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置２が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置３に記憶する。絶対移動成分算出装置４は移動成分記憶装置３に記憶した前回画像入力の際における基準点からの使用者の移動成分と移動成分３次元形状算出装置２が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置３に記憶する。
【００３１】
場所識別装置５はニューラルネットワーク演算部５１から成る。ニューラルネットワーク演算部５１は、図４に示すようにニューラルネットワーク５１ａと場所コード変換器５１ｂを備える。ニューラルネットワーク５１ａは誤差逆伝播法で学習した結果を用いてニューラルネットワーク演算を行う部分であり、移動成分３次元形状算出装置２が算出した上記複数の点の３次元座標Ｐ1(t)〜Ｐn(t)と絶対移動成分算出装置４が算出した基準点からの使用者の移動成分Ｑ(t)を基にニューラルネットワーク演算を行い、使用者の現在の場所を識別し、その場所を示す出力層のニューロンをオンにする。ここで、上記Ｐnは今回入力した画像上の点の数だけあり、この例ではｎは７である。また、ｔは場所認識処理を実行した回数を示す。場所コード変換器５１ｂはニューラルネットワーク５１ａの出力を基にニューラルネットワーク５１ａが識別した場所を示す場所コードを出力する。
【００３２】
上記構成の携帯型情報処理装置の動作について、図５のフローチャートを参照して説明する。
【００３３】
移動成分３次元形状算出装置２の演算部２３は、例えば一定間隔毎に画像入力装置１から画像データを入力し、入力した画像データを画像記憶部２１に今回入力の画像データとして記憶する（ステップＳ１）。ここで、演算部２３は画像記憶部２１にそれ迄今回入力した画像データとして記憶していた画像データを前回入力した画像データとして記憶する。レンジファインダ２２は画像記憶部２１から記憶した今回入力した画像データを読み出し、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部２３は、例えばエッジ検出法などを用い、前回入力した画像と今回入力した画像の対応する点（Ｐ11，Ｐ12等）を複数組抽出し、それらの点（Ｐ11，Ｐ12等）の比較結果及びレンジファインダ２２の計測結果より得たスケール因子を用いて、前回画像入力してから今回画像入力するまでの装置の移動成分ｄ(t)を算出する。また、演算部２３は上記複数組の点（Ｐ11，Ｐ12，Ｐ22等）のうち今回入力した画像上の点（Ｐ12，Ｐ22等）及び上記スケール因子を用いてそれらの点の使用者自身を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を算出して、使用者の周辺環境の３次元形状を算出する（ステップＳ２）。
【００３４】
その後、絶対移動成分算出装置４は移動成分記憶装置３から前回画像を入力した際における基準点からの使用者の移動成分Ｑ(t-1)を読み出し（ステップＳ３）、前回画像を入力した際における基準点からの使用者の移動成分Ｑ(t-1)と移動成分３次元形状算出装置２が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分ｄ(t)を基に今回画像を入力した際における基準点からの使用者の移動成分Ｑ(t)を算出し（ステップＳ４）、算出した移動成分Ｑ(t)を移動成分記憶装置３に記憶する（ステップＳ５）。このように、基準点からの移動成分を算出するので、基準点の場所を予め入力しておくことにより現在の使用者の場所を算出することができる。
【００３５】
ニューラルネットワーク演算部５１は移動成分３次元形状算出装置２が算出した上記複数の点（Ｐ12，Ｐ22等）の３次元座標Ｐ1(t)〜Ｐn(t)と絶対移動成分算出装置４が算出した基準点からの移動成分Ｑ(t)と予め学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する（ステップＳ６）。このように、移動成分Ｑ(t)だけでなく、計測した複数の点の座標Ｐ1(t)〜Ｐn(t)（その複数の点が成す３次元形状）を入力して場所を算出するので、正確に使用者の現在の場所を算出することができる。
【００３６】
また、携帯型情報処理装置は、図６に示すように画像入力装置１、移動成分３次元形状算出装置２、移動成分記憶装置３、絶対移動成分算出装置４ａ及び場所識別装置５ａを有しても良い。
【００３７】
移動成分記憶装置３は前回画像を入力するまでの各画像入力の際における基準点からの使用者の移動成分を時系列に記憶する。絶対移動成分算出装置４ａは移動成分記憶装置３に記憶した前回画像入力の際における基準点からの使用者の移動成分と移動成分３次元形状算出装置２が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に、今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置３に記憶する。場所識別装置５ａはニューラルネットワーク演算部５１ａから成り、ニューラルネットワーク演算部５１ａは移動成分３次元形状算出装置２が算出した画像に写し出された複数の点の３次元座標と移動成分記憶装置３に時系列に記憶した各画像入力の際における基準点からの装置の移動成分と予め学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する。このように、各画像入力の際の基準点からの移動成分をニューラルネットワーク演算部５１ａに時系列に入力することにより、使用者の移動軌跡から現在の場所を算出することができ、検出誤差を少なくすることができる。
【００３８】
また、携帯型情報処理装置は、図７に示すように画像入力装置１、３次元形状算出装置２ａ、形状識別部６、標準３次元形状記憶装置７及び判別装置８を有しても良い。
【００３９】
３次元形状算出装置２ａは、レンジファインダ２２及び演算部２３ａを備える。演算部２３ａは画像入力装置１から入力した画像上の点（Ｐ12，Ｐ22等）及びレンジファインダ２２が検出したスケール因子を用いてそれらの点の装置を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を算出する。形状識別装置６は、例えばＲＢＦニューラルネットワーク演算部６１から成る。ＲＢＦニューラルネットワーク演算部６１は、図８に示すようなＲＢＦ関数族を基底関数として用いたＲＢＦニューラルネットワークから成る。ＲＢＦニューラルネットワーク演算部６１は３次元形状算出装置２ａが算出した上記複数の点の使用者を基準とした３次元座標（Ｐ12，Ｐ22等）を基に使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)を算出する。標準３次元形状記憶装置７は複数の場所に対して予め定めた標準位置から撮影した３次元形状とその場所を示す場所コードを予め記憶する。判別装置８は形状識別装置６による画像に写し出された上記複数の点（Ｐ12，Ｐ22等）が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている場所の形状を標準３次元形状記憶装置７に記憶した３次元形状から探し出し、その場所を示す場所コードを出力する。
【００４０】
上記構成の携帯型情報処理装置の動作を、図９のフローチャートを参照して説明する。
【００４１】
３次元形状算出装置２ａの演算部２３ａは、例えば一定間隔毎に画像入力装置１から画像データを入力する（ステップＳ１１）。レンジファインダ２２は、既に説明したように画像記憶部２１から記憶した今回入力した画像データを読み出し、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部２３は、今回入力した画像上の点（Ｐ12，Ｐ22等）及び上記スケール因子を用いてそれらの点の使用者を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を算出する（ステップＳ１２）。ＲＢＦニューラルネットワーク演算部６１は３次元形状算出装置２ａが算出した複数の点の使用者を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を基に画像に写し出された上記複数の点が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)を算出する（ステップＳ１３）。判別装置８は形状識別装置６による画像に写し出された複数の点が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)と標準３次元形状記憶装置７に記憶した３次元形状を比較し（ステップＳ１４）、形状識別装置６による画像に写し出された複数の点が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)に最も似ている３次元形状を標準３次元形状記憶装置７に記憶した３次元形状から探し出し、その場所を示す場所コードを出力する（ステップＳ１５）。このように周囲の形状から携帯型情報処理装置を携帯する使用者の場所を演算するので累積誤差が発生せず、正確に使用者の場所を認識できる。
【００４２】
さらに、例えば上記装置を組み合わせて、さらに正確に使用者の場所を演算しても良い。携帯情報処理装置は、例えば図１０に示すように画像入力装置１、移動成分３次元形状算出装置２、第１場所認識装置９ａ、第２場所認識装置９ｂ、判断基準テーブル９１及び最終判定装置９２を有する。第１場所認識装置９ａは移動成分記憶装置３、絶対移動成分算出装置４及び場所識別装置５を備える。第２場所認識装置９ｂは形状識別装置６、標準３次元形状記憶装置７及び判別装置８を備える。判断基準テーブル９１は、例えば図１１に示すように第１場所認識装置９ａの識別結果と第２場所認識装置９ｂの算出結果との組合せに対応する場所を示す場所コードを予め記憶する。最終判定装置９２は第１場所認識装置９ａが出力したコードと第２場所認識装置９ｂが出力したコードとを基に判断基準テーブル９１から使用者の場所を示す場所コードを読み出して出力する。
【００４３】
上記構成の携帯型情報処理装置の動作を、図１１のフローチャートを参照して説明する。
【００４４】
移動成分３次元形状算出装置２の演算部２３は、既に説明したように一定間隔毎に画像入力装置１から使用者の周辺環境の画像を入力し、入力した画像を画像記憶部２１に記憶する（ステップＳ２１）。レンジファインダ２２は画像記憶部２１から記憶した今回入力した画像を読み出し、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部２３は、前回入力した画像と今回入力した画像の対応する点（Ｐ11，Ｐ12等）を複数組抽出し、それらの点（Ｐ11，Ｐ12等）の比較結果及びレンジファインダ２２が得たスケール因子を用いて、前回画像入力してから今回画像入力するまでの装置の移動成分ｄ(t)を算出する。また、演算部２３は上記複数組の点（Ｐ11，Ｐ12等）のうち今回入力した画像上の点（Ｐ12，Ｐ22等）及び上記スケール因子を用いてそれらの点の使用者を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を算出する（ステップＳ２２）。
【００４５】
その後、第１場所認識装置９ａの絶対移動成分算出装置４は移動成分記憶装置３から前回画像を入力した際における基準点からの使用者の移動成分Ｑ(t-1)を読み出し（ステップＳ２３）、前回画像を入力した際における基準点からの使用者の移動成分Ｑ(t-1)と移動成分３次元形状算出装置２が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分ｄ(t)を基に、今回画像を入力した際における基準点からの使用者の移動成分Ｑ(t)を算出し（ステップＳ２４）、算出した基準点からの移動成分Ｑ(t)を移動成分記憶装置３に記憶する（ステップＳ２５）。場所識別装置５のニューラルネットワーク演算部５１は移動成分３次元形状算出装置２が算出した上記複数の点（Ｐ12，Ｐ22等）の３次元座標Ｐ1(t)〜Ｐn(t)と絶対移動成分算出装置４が算出した基準点からの移動成分Ｑ(t)と予め学習した結果を基に使用者の場所を識別し、その識別結果を示す場所コードを出力する（ステップＳ２６）。
【００４６】
次ぎに、第２場所認識装置９ｂの形状識別装置６のＲＢＦニューラルネットワーク演算部６１は、移動成分３次元形状算出装置２が算出した複数の点の使用者を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を基に画像に写し出された上記複数の点が成す形状が示す使用者の周辺形状を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)を算出する（ステップＳ２７）。判別装置８は形状識別装置６による画像に写し出された複数の点が成す形状が示す使用者の周辺形状を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)と標準３次元形状記憶装置７に記憶した３次元形状を比較し、形状識別装置６による画像に写し出された複数の点が成す形状が示す使用者の周辺形状を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)に最も似ている３次元形状を標準３次元形状記憶装置７に記憶した３次元形状から探し出し、その場所を示す場所コードを出力する（ステップＳ２８）。
【００４７】
最終判定装置装置９２は第１場所認識装置９ａが出力したコードと第２場所認識９ｂが出力したコードを基に判断基準テーブル１０から使用者の場所を示す場所コードを読み出して出力する（ステップＳ２９）。このように、２つの検出結果の組合せを基に最終的に場所を認識するので、それぞれの検出方法の特性によらず常に正確な場所の認識を行うことができる。
【００４８】
なお、上記第１場所認識装置９ａの代わりに、図１３に示すような第１場所認識装置９ｃを用いても良い。第１場所認識装置９ｃは移動成分記憶装置３、絶対移動成分算出装置４ａ及び場所識別装置５ａを備える。第１場所認識装置９ｃは上記のような構成を備えることにより、時系列な基準点からの移動成分を用いて使用者の場所を認識することができる。
【００４９】
また、図１４に示すように携帯型情報処理装置は画像入力装置１、移動成分３次元形状算出装置２、移動成分記憶装置３、絶対移動成分算出装置４、３次元形状記憶装置９３、場所識別手順記憶装置９４及び場所識別演算装置９５を有しても良い。移動成分記憶装置３は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶する。３次元形状記憶装置９３は各画像入力の際の使用者の周辺環境の３次元形状を時系列に記憶する。場所識別手順記憶装置９４は脱着可能に構成され、場所識別演算装置９５が使用者の場所の場所識別処理を行う際に用いる場所識別手順を予め記憶する。場所識別演算装置９５は場所識別手順記憶装置９４に予め記憶した場所識別手順を用いて、画像入力装置１から入力した画像を基に各画像入力の際の使用者の場所を識別して、各画像入力の際に時系列に記憶した基準点からの使用者の移動成分と使用者の周辺環境の３次元形状を基に各画像入力の際の使用者の位置を識別する。これにより、移動中は場所識別手順記憶装置９４を取外し、後に場所識別手順記憶装置９４を取付け、移動中に収集した移動成分等を用いて各画像入力の際の使用者の位置を識別するができる。
【００５０】
【発明の効果】
この発明は以上説明したように、今回入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回の画像入力から今回の画像入力までの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回の画像入力から今回の画像入力までの装置の移動成分を基に今回の画像入力の際における基準点からの使用者の移動成分を算出し、算出した移動成分を記憶するので、撮影した画像を基に基準点からの使用者の移動成分及び周辺の３次元形状を調べることができる。
【００５１】
さらに、使用者の周辺環境の３次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を認識し、その認識結果を示す場所コードを出力するので、２つの入力項目から使用者の場所を正確に認識することができる。
【００５２】
また、前回画像入力の際における基準点からの使用者の移動成分と算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を時系列に記憶し、算出した画像に写し出された使用者の周辺環境の３次元形状と時系列に記憶した各画像入力の際における基準点からの使用者の移動成分を基に使用者の場所を認識し、その認識結果を示す場所コードを出力するので、使用者の時系列な動きを加味して正確に使用者の場所を判断できる。
【００５３】
また、入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、算出した使用者の周辺環境の３次元形状を基にＲＢＦを基底としたニューラルネットワーク演算をして、使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果を算出し、算出した使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め標準位置から撮影した３次元形状の中から探し出し、その場所を示す場所コードを出力するので、携帯型情報処理装置を携帯する使用者の周辺環境の３次元形状を基に使用者の場所を判断することができる。
【００５４】
また、入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回画像を入力した際における基準点からの装置の移動成分と前回入力した画像と今回入力した画像を基に今回画像を入力した際における基準点からの装置の移動成分を算出し、使用者の周辺環境の３次元形状と基準点からの装置の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を認識してその場所コードを出力し、さらに、使用者の周辺環境の３次元形状を基に使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果を算出し、算出した使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め標準位置から撮影した３次元形状の中から探し出し、その場所を示す場所コードを出力し、両場所コードを基に最終的に場所を判断するので、さらに正確に使用者の場所を判断することができる。
【００５５】
また、入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回画像を入力した際における基準点からの装置の移動成分と前回入力した画像と今回入力した画像を基に今回画像を入力した際における基準点からの装置の移動成分を算出し、算出した移動成分を画像入力毎に時系列に記憶し、使用者の周辺環境の３次元形状と画像入力毎に時系列に記憶した基準点からの装置の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を認識してその場所コードを出力し、さらに、使用者の周辺環境の３次元形状を基に使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果を算出し、算出した使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め標準位置から撮影した３次元形状の中から探し出し、その場所を示す場所コードを出力し、両場所コードを基に最終的に場所を判断するので、時系列な情報を用いてさらに正確に使用者の場所を判断することができる。
【００５６】
さらに、場所識別手順を脱着可能な装置に記憶し、脱着可能な装置に記憶した場所識別手順を用いて各画像入力の際の使用者の場所を識別するので、移動中は場所識別手順を記憶した装置を取外し、後に場所識別手順を記憶した装置を取付け、移動中に収集した移動成分等を用いて各画像入力の際の使用者の位置を識別するができる。
【図面の簡単な説明】
【図１】周辺形状と移動成分から場所を判断する装置の構成図である。
【図２】演算部の構成部である。
【図３】画像の変化を示す説明図である。
【図４】ニューラルネットワークの構成図である。
【図５】周辺形状と移動成分から場所を判断する動作を示すフローチャートである。
【図６】周辺形状と時系列な移動成分から場所を判断する装置の構成図である。
【図７】周辺形状から場所を判断する装置の構成図である。
【図８】ＲＢＦニューラルネットワークの構成図である。
【図９】周辺形状から場所を判断するフローチャートである。
【図１０】２種類の場所識別結果を基に最終的に場所を判断する装置の構成図である。
【図１１】判断基準テーブルの構成図である。
【図１２】２種類の場所認識結果を基に最終的に場所を判断するフローチャートである。
【図１３】２種類の認識結果を基に最終的な場所を判断する装置の他の構成図である。
【図１４】場所識別手順記憶装置を備える携帯型情報処理装置の構成図である。
【符号の説明】
１ 画像入力装置
２ 移動成分３次元形状算出装置
２１ 画像記憶部
２２ レンジファインダ
２３ 演算部
３ 移動成分記憶装置
４ 絶対移動成分算出装置
５ 場所識別装置
５１ ニューラルネットワーク演算部
６ 形状識別装置
６１ ＲＢＦニューラルネットワーク演算部
７ 標準３次元形状記憶装置
８ 判別装置
９ａ 第１場所認識装置
９ｂ 第２場所認識装置
９１ 判断基準テーブル
９２ 最終判定装置
９３ ３次元形状記憶装置
９４ 場所識別手順記憶装置
９５ 場所識別演算装置
【発明の属する技術分野】
この発明は携帯型情報処理装置及び携帯型情報処理装置の場所識別方法、特に簡単な構成による携帯型情報処理装置を携帯する使用者の場所の自動的な認識に関するものである。
【０００２】
【従来の技術】
携帯型情報処理装置に複数の機能を付加したものが開発されてきている。例えば、特開平６-301446号公報に掲載されたＧＰＳ（Global Positioning System）受信機能内蔵携帯型コンピュータでは、ＧＰＳ衛星から送られたＧＰＳ信号を受信し、ＧＰＳ信号による緯度、経度及び海抜高度等のデータを表示している。
【０００３】
また、特開平３-55655号公報に掲載された携帯用情報処理装置では、入力装置として、キー入力装置と画像入力装置を備えている。
【０００４】
【発明が解決しようとする課題】
しかしながら、例えば特開平６-301446号公報に掲載されたＧＰＳ受信機能内蔵携帯型コンピュータではＧＰＳ信号による緯度、経度及び海抜高度等のデータを表示することにより、ＧＰＳ受信機能内蔵携帯型コンピュータの場所をユーザが知ることができ、その移動履歴を残すこともできるが、ＧＰＳ受信機能内蔵ため、高価なものとなっている。
【０００５】
また、特開平３-55655号公報に掲載された携帯用情報処理装置では、場所を判別することができず、その移動履歴を残すことができない。
【０００６】
この発明はかかる短所を解消するためになされたものであり、簡単な構成で携帯型情報処理装置の使用者の場所を判別し、移動履歴等をとることができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る携帯型情報処理装置は、画像入力装置と移動成分３次元形状算出装置と絶対移動成分算出装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力して、使用者の周辺環境の画像を基に使用者の場所を識別する。
【０００８】
また、携帯型情報処理装置は、画像入力装置と移動成分３次元形状算出装置と絶対移動成分算出装置と移動成分記憶装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と移動成分記憶装置に時系列に記憶した各画像入力の際の基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力して、使用者の周辺環境の画像から算出した時系列な情報を基に使用者の現在の場所を判別する。
【０００９】
また、携帯型情報処理装置は、標準３次元形状記憶装置と画像入力装置と３次元形状算出装置と形状識別装置と判別装置を有し、標準３次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した３次元形状とその場所を示す場所コードを予め記憶し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、３次元形状算出装置は画像入力装置から入力した画像を基に使用者の周辺環境の３次元形状を算出し、形状識別装置はＲＢＦニューラルネットワーク演算部から成り、ＲＢＦニューラルネットワーク演算部は３次元形状算出装置が算出した使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている場所の３次元形状を標準３次元形状記憶装置に記憶した３次元形状の中から探し出し、その場所を示す場所コードを出力して、使用者の周辺環境の３次元形状から使用者の場所を判別する。
【００１０】
また、携帯型情報処理装置は、画像入力装置と移動成分３次元形状算出装置と第１場所認識装置と第２場所認識装置と判断基準テーブルと最終判定装置とを有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、第１場所認識装置は絶対移動成分算出装置と場所識別装置を有し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、場所識別装置はニューラルネットワーク演算部から成り、場所識別装置のニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、第２場所認識装置は標準３次元形状記憶装置と形状識別装置と判別装置を有し、標準３次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した３次元形状及びその場所を示す場所コードを予め記憶し、形状識別装置はＲＢＦニューラルネットワーク演算部から成り、形状識別装置のＲＢＦニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を標準３次元形状記憶装置に記憶した３次元形状の中から探し出し、その場所を示す場所コードを出力し、判断基準テーブルは第１場所認識装置の識別結果と第２場所認識装置の識別結果との組合せに対応する場所を示す場所コードを予め記憶し、最終判定装置は第１場所認識装置が出力した場所コードと第２場所認識装置が出力した場所コードを基に判断基準テーブルから使用者の現在の場所を示す場所コードを読み出して出力して、２種類の場所認識結果を基に使用者の現在の場所を正確に判定する。
【００１１】
また、携帯型情報処理装置は、画像入力装置と移動成分３次元形状算出装置と第１場所認識装置と第２場所認識装置と判断基準テーブルと最終判定装置とを有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、第１場所認識装置は絶対移動成分算出装置と移動成分記憶装置と場所識別装置を有し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と移動成分記憶装置に時系列に記憶した各画像入力の際の基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、第２場所認識装置は標準３次元形状記憶装置と形状識別装置と判別装置を有し、標準３次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した３次元形状及びその場所を示す場所コードを予め記憶し、形状識別装置はＲＢＦニューラルネットワーク演算部から成り、形状識別装置のＲＢＦニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状を基に使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を標準３次元形状記憶装置に記憶した３次元形状の中から探し出し、その場所を示す場所コードを出力し、判断基準テーブルは第１場所認識装置の識別結果と第２場所認識装置の識別結果との組合せに対応する場所を示す場所コードを予め記憶し、最終判定装置は第１場所認識装置が出力した場所コードと第２場所認識装置が出力した場所コードを基に判断基準テーブルから使用者の現在の場所を示す場所コードを読み出して出力する。
【００１２】
また、画像入力装置と移動成分３次元形状算出装置と絶対移動成分算出装置と移動成分記憶装置と３次元形状記憶装置と場所識別手順記憶装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出して３次元形状記憶装置に記憶し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、３次元形状記憶装置は各画像入力の際の使用者の周辺環境の３次元形状を時系列に記憶し、場所識別手順記憶装置は脱着可能に構成され、場所識別演算装置が使用者の場所の場所識別処理を行う際に用いる場所識別手順を予め記憶し、場所識別装置は場所識別手順記憶装置に予め記憶した場所識別手順を用いて、画像入力装置から入力した画像を基に各画像入力の際の使用者の場所を識別して、各画像入力の際に時系列に記憶した基準点からの使用者の移動成分と使用者の周辺環境の３次元形状を基に各画像入力の際に使用者の位置を識別する。
【００１３】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回画像を入力した際における基準点からの使用者の移動成分と前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力する際における基準点からの使用者の移動成分を算出し、算出した使用者の周辺環境の３次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する。
【００１４】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回画像を入力した際における基準点からの使用者の移動成分と前回画像入力してから今回画像入力するまでの使用者の移動成分を基に今回画像入力する際における基準点からの使用者の移動成分を算出し、算出した基準点からの使用者の移動成分を画像入力毎に時系列に記憶し、算出した使用者の周辺環境の３次元形状と各画像入力の際の時系列な使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する。
【００１５】
また、携帯型情報処理装置の場所識別方法は、複数の場所に対して予め定めた標準位置から撮影した３次元形状及びその場所を示す場所コードを予め記憶し、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、算出した使用者の周辺環境の３次元形状を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として用いたニューラルネットワーク演算をして使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め記憶した３次元形状から探し出し、その場所を示す場所コードを出力する。
【００１６】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回画像入力してから今回画像入力するまでの使用者の移動成分を基に今回の画像入力の際における基準点から使用者の移動成分を算出し、算出した使用者の周辺環境の３次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を識別し、その識別結果を示す場所コードを出力し、今回入力した画像に写し出された使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として用いたニューラルネットワーク演算をして、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め記憶した３次元形状から探し出し、その場所を示す場所コードを出力し、上記２つの場所コードの組合せを基にその組合せに対応する場所を探し出し、その場所を示す場所コードを出力する。
【００１７】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回の画像入力から今回の画像入力までの使用者の移動成分を基に今回画像入力の際における基準点からの使用者の移動成分を算出し、算出した基準点からの使用者の移動成分を画像入力毎に時系列に記憶し、算出した使用者の周辺環境の３次元形状と画像入力毎に時系列に記憶した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、今回入力した画像に写し出された使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として用いてニューラルネットワーク演算をして、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め記憶した３次元形状から探し出し、その場所を示す場所コードを出力し、上記２つの場所コードの組合せを基にその組合せに対応する場所を探し出し、その場所を示す場所コードを出力する。
【００１８】
【発明の実施の形態】
この発明の携帯型情報処理装置は、使用者の周辺環境の画像を基に使用者の現在の場所を予め定めた範囲内で識別するものである。
【００１９】
また、携帯型情報処理装置の場所識別方法は、使用者の周辺環境の動画を基に使用者の現在の場所を予め定めた範囲内で識別する方法に関するものである。
【００２０】
携帯型情報処理装置は、例えば画像入力装置、移動成分３次元形状算出装置、移動成分記憶装置、絶対移動成分算出装置及び場所識別装置を有する。画像入力装置は、例えばＣＣＤカメラとＡ／Ｄ変換部を備え、ＣＣＤカメラで画像を撮影し、Ａ／Ｄ変換部でＣＣＤカメラからのアナログ画像信号をデジタル画像信号に変換する。移動成分３次元形状算出装置は、例えば画像記憶部とレンジファインダと演算部を備える。画像記憶部は画像入力装置から入力した画像を記憶する。レンジファインダは、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部は、例えばエッジ検出法などを用い、前回入力した画像と今回入力した画像の対応する点を複数組抽出し、それらの点の比較結果及びレンジファインダの計測結果より得たスケール因子を用いて、前回画像入力してから今回画像入力するまでの使用者の移動成分を算出する。また、演算部は上記複数組の点のうち今回入力した画像上の点及び上記スケール因子を用いてそれらの点の使用者自身を基準とした３次元座標を算出して、今回入力した画像を基に使用者の周辺環境の３次元形状を算出する。上記スケール因子を用いたのは、前回入力した画像と今回入力した画像の対応する点を比較しただけでは、相対的な移動距離を求めることしかできないためである。
【００２１】
移動成分記憶装置は前回の場所識別処理で画像入力装置から画像を入力した際における使用者の基準点からの移動成分を記憶する。絶対移動成分算出装置は移動成分記憶装置に記憶した前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出する。また、絶対移動成分算出装置は算出した移動成分を移動成分記憶装置に記憶して、次回の場所識別処理において今回の画像入力の際における基準点からの使用者の移動成分を読み出すことができるようにする。
【００２２】
場所識別装置は誤差逆伝播法で学習した結果を用いてニューラルネットワーク演算を行うたニューラルネットワーク演算部から成る。ニューラルネットワーク演算部は、移動成分３次元形状算出装置が算出した上記複数の点の３次元座標と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その場所コードを出力する。ここで、ニューラルネットワークは協調、競合作用及び自己組織化能力に基づいて入力信号をいくつかの特徴に分析すると共にそれらを統合するものである。例えばニューラルネットワークは予め認識させたい情報を実際に入力し、そのデータをサンプリングしこれらのデータを入力層に入力し、出力層に分類したいパターン数分のニューロンを用意し、各パターンとニューロンを対応させておく。ある情報を入力したときそれに対応するニューロンの出力が「１」となり、それ以外のニューロンの出力が「０」となるように誤差逆伝搬法で学習しておく。ニューラルネットワークはこのようにして得られた結合係数と同じ結合係数でニューラルネットワーク演算を行なう。誤差逆伝播法の学習においては、入力及びその入力に対する望ましい出力（目標出力）のパターン（ベクトル）をニューラルネットワークに提示する。ニューラルネットワークは、入力層に入力した入力パターンを出力層へ伝播しながら変換して出力パターンを出し、それを目標出力パターンと比較する。ニューラルネットワークの出力パターンと目標出力パターンとが一致している場合には学習は起こらない。ニューラルネットワークの出力パターンと目標出力パターンとが一致していない場合にはその差（誤差）を減らすようにネットワークの結合の重みを調整することにより学習する。このような学習をすることにより、基準点からの移動成分を入力することにより使用者の場所を正確に演算できる。
【００２３】
また、上記移動成分記憶装置は前回画像を入力するまでの各画像入力の際における基準点からの使用者の移動成分を時系列に記憶し、絶対移動成分算出装置は移動成分記憶装置に記憶した前回画像入力の際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置に記憶し、ニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した画像に写し出された複数の点の３次元座標と移動成分記憶装置に時系列に記憶した各画像入力の際における基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力するようにしても良い。
【００２４】
また、携帯型情報処理装置は、例えば標準３次元形状記憶装置、画像入力装置、３次元形状算出装置、形状識別装置及び判別装置を有するようにしても良い。標準３次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した３次元形状とその場所を示す場所コードを予め記憶する。３次元系所算出装置は、例えば上記移動成分３次元形状算出装置と同様にレンジファインダと演算部を備え、画像入力装置から使用者の周辺環境の画像を入力し、画像入力装置から入力した画像に写し出された複数の点の使用者自身を基準とした３次元座標を算出して、使用者の周辺環境の３次元形状を算出する。形状識別装置は、例えばＲＢＦ（Radial Basis Functions）関数族を基底関数として用いたＲＢＦニューラルネットワーク演算部から成る。ＲＢＦニューラルネットワーク演算部は３次元形状算出装置が算出した上記複数の点の使用者の周辺環境の３次元形状を基に使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出する。判別装置は使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を標準３次元形状記憶装置に記憶した３次元形状から探しだし、その場所を示す場所コードを出力する。
【００２５】
ここで、ＲＢＦニューラルネットワークは、学習を例題からの写像の近似であると考え、正則化理論に基づき、回転対象のガウス関数に代表されるＲＢＦと呼ばれる関数族を基底関数として用いたものである。ＲＢＦニューラルネットワークの場合は正規化理論を背景としているために、データ数と同数のユニットを用意することにより、ニューラルネットワークの未知パラメータを線形計算によって得ることができる。さらに、ＲＢＦの代表的関数であるガウス関数等により、入力空間中で局所的な反応を持つような基底を生成すれば、この局所性に基づく学習の高速化などが可能になる。このように、ＲＢＦニューラルネットワークを用い、例えば対象物の典型的な視点からの像（プロトタイプ）を記憶しておき、他の視点からの像に関する出力をプロトタイプの場合の出力を補間して得ることにより、対象物を認識することができる。したがって、上記のように３次元形状算出装置が算出した複数の点の使用者自身を基準とした３次元座標をＲＢＦニューラルネットワーク演算部に入力することにより、使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果を正確に算出することができる。
【００２６】
さらに、上記場所認識結果を組み合わせても良い。
【００２７】
【実施例】
図１はこの発明の一実施例の携帯型情報処理装置の斜視図である。図に示すように、携帯型情報処理装置は、画像入力装置１、移動成分３次元形状算出装置２、移動成分記憶装置３、絶対移動成分算出装置４及び場所識別装置５を有する。
【００２８】
画像入力装置１は、例えばＣＣＤカメラ１１とＡ／Ｄ変換部１２を備える。ＣＣＤカメラ１１は画像を撮影し、Ａ／Ｄ変換部１２はＣＣＤカメラ１１からのアナログ画像信号をデジタル画像信号に変換する。
【００２９】
移動成分３次元形状算出装置２は、画像記憶部２１、レンジファインダ２２及び演算部２３を備える。画像記憶部２１は画像入力装置１から入力した使用者の周辺環境の画像を記憶する部分であり、前回入力した画像及び今回入力した画像を記憶する。レンジファインダ２２は画像入力装置１から入力した画像を基に使用者の周辺環境の一点までの距離を、例えば三角測量法又は写真測量法等を用いて計測して、画像入力装置１から今回入力した画像のスケール因子を得る。演算部２３は、例えば図２に示すように移動領域検出部２３１、移動成分検出部２３２及び３次元座標算出部２３３を有する。移動領域検出部２３１は、例えばエッジ検出法を用い、図３に示すように前回入力した画像の点Ｐ11，Ｐ21，Ｐ31，Ｐ41，Ｐ51，Ｐ61，Ｐ71と今回入力した画像のそれらの点に対応する点Ｐ12，Ｐ22，Ｐ32，Ｐ42，Ｐ52，Ｐ62，Ｐ72を複数組抽出する。移動成分検出部２３２は移動領域検出部２３１が抽出した点（Ｐ11，Ｐ12，Ｐ21，Ｐ22等）を各組毎に比較し、それらの点の比較結果及びレンジファインダ２２の計測結果より得たスケール因子を用いて、前回の画像入力から今回の画像入力までの使用者の移動成分を算出する。ここで、点Ｐ11と点Ｐ12が組であり、点Ｐ12は点Ｐ11が移動した点である。同様に点Ｐ21と点Ｐ22、点Ｐ31と点Ｐ32、点Ｐ41と点Ｐ42、点Ｐ51と点Ｐ52、点Ｐ61と点Ｐ62、点Ｐ71と点Ｐ72が組である。３次元座標算出部２３３は上記複数組の点（Ｐ11，Ｐ12等）のうち今回入力した画像上の点Ｐ12，Ｐ22，Ｐ32，Ｐ42，Ｐ52，Ｐ62，Ｐ72の使用者自身を基準とした３次元座標を上記スケール因子を用いて算出する。
【００３０】
移動成分記憶装置３は前回画像入力装置１から画像を入力した際における基準点からの使用者の移動成分を記憶する。絶対移動成分算出装置４は移動成分記憶装置３に記憶した前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置２が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置３に記憶する。絶対移動成分算出装置４は移動成分記憶装置３に記憶した前回画像入力の際における基準点からの使用者の移動成分と移動成分３次元形状算出装置２が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置３に記憶する。
【００３１】
場所識別装置５はニューラルネットワーク演算部５１から成る。ニューラルネットワーク演算部５１は、図４に示すようにニューラルネットワーク５１ａと場所コード変換器５１ｂを備える。ニューラルネットワーク５１ａは誤差逆伝播法で学習した結果を用いてニューラルネットワーク演算を行う部分であり、移動成分３次元形状算出装置２が算出した上記複数の点の３次元座標Ｐ1(t)〜Ｐn(t)と絶対移動成分算出装置４が算出した基準点からの使用者の移動成分Ｑ(t)を基にニューラルネットワーク演算を行い、使用者の現在の場所を識別し、その場所を示す出力層のニューロンをオンにする。ここで、上記Ｐnは今回入力した画像上の点の数だけあり、この例ではｎは７である。また、ｔは場所認識処理を実行した回数を示す。場所コード変換器５１ｂはニューラルネットワーク５１ａの出力を基にニューラルネットワーク５１ａが識別した場所を示す場所コードを出力する。
【００３２】
上記構成の携帯型情報処理装置の動作について、図５のフローチャートを参照して説明する。
【００３３】
移動成分３次元形状算出装置２の演算部２３は、例えば一定間隔毎に画像入力装置１から画像データを入力し、入力した画像データを画像記憶部２１に今回入力の画像データとして記憶する（ステップＳ１）。ここで、演算部２３は画像記憶部２１にそれ迄今回入力した画像データとして記憶していた画像データを前回入力した画像データとして記憶する。レンジファインダ２２は画像記憶部２１から記憶した今回入力した画像データを読み出し、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部２３は、例えばエッジ検出法などを用い、前回入力した画像と今回入力した画像の対応する点（Ｐ11，Ｐ12等）を複数組抽出し、それらの点（Ｐ11，Ｐ12等）の比較結果及びレンジファインダ２２の計測結果より得たスケール因子を用いて、前回画像入力してから今回画像入力するまでの装置の移動成分ｄ(t)を算出する。また、演算部２３は上記複数組の点（Ｐ11，Ｐ12，Ｐ22等）のうち今回入力した画像上の点（Ｐ12，Ｐ22等）及び上記スケール因子を用いてそれらの点の使用者自身を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を算出して、使用者の周辺環境の３次元形状を算出する（ステップＳ２）。
【００３４】
その後、絶対移動成分算出装置４は移動成分記憶装置３から前回画像を入力した際における基準点からの使用者の移動成分Ｑ(t-1)を読み出し（ステップＳ３）、前回画像を入力した際における基準点からの使用者の移動成分Ｑ(t-1)と移動成分３次元形状算出装置２が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分ｄ(t)を基に今回画像を入力した際における基準点からの使用者の移動成分Ｑ(t)を算出し（ステップＳ４）、算出した移動成分Ｑ(t)を移動成分記憶装置３に記憶する（ステップＳ５）。このように、基準点からの移動成分を算出するので、基準点の場所を予め入力しておくことにより現在の使用者の場所を算出することができる。
【００３５】
ニューラルネットワーク演算部５１は移動成分３次元形状算出装置２が算出した上記複数の点（Ｐ12，Ｐ22等）の３次元座標Ｐ1(t)〜Ｐn(t)と絶対移動成分算出装置４が算出した基準点からの移動成分Ｑ(t)と予め学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する（ステップＳ６）。このように、移動成分Ｑ(t)だけでなく、計測した複数の点の座標Ｐ1(t)〜Ｐn(t)（その複数の点が成す３次元形状）を入力して場所を算出するので、正確に使用者の現在の場所を算出することができる。
【００３６】
また、携帯型情報処理装置は、図６に示すように画像入力装置１、移動成分３次元形状算出装置２、移動成分記憶装置３、絶対移動成分算出装置４ａ及び場所識別装置５ａを有しても良い。
【００３７】
移動成分記憶装置３は前回画像を入力するまでの各画像入力の際における基準点からの使用者の移動成分を時系列に記憶する。絶対移動成分算出装置４ａは移動成分記憶装置３に記憶した前回画像入力の際における基準点からの使用者の移動成分と移動成分３次元形状算出装置２が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に、今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を移動成分記憶装置３に記憶する。場所識別装置５ａはニューラルネットワーク演算部５１ａから成り、ニューラルネットワーク演算部５１ａは移動成分３次元形状算出装置２が算出した画像に写し出された複数の点の３次元座標と移動成分記憶装置３に時系列に記憶した各画像入力の際における基準点からの装置の移動成分と予め学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力する。このように、各画像入力の際の基準点からの移動成分をニューラルネットワーク演算部５１ａに時系列に入力することにより、使用者の移動軌跡から現在の場所を算出することができ、検出誤差を少なくすることができる。
【００３８】
また、携帯型情報処理装置は、図７に示すように画像入力装置１、３次元形状算出装置２ａ、形状識別部６、標準３次元形状記憶装置７及び判別装置８を有しても良い。
【００３９】
３次元形状算出装置２ａは、レンジファインダ２２及び演算部２３ａを備える。演算部２３ａは画像入力装置１から入力した画像上の点（Ｐ12，Ｐ22等）及びレンジファインダ２２が検出したスケール因子を用いてそれらの点の装置を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を算出する。形状識別装置６は、例えばＲＢＦニューラルネットワーク演算部６１から成る。ＲＢＦニューラルネットワーク演算部６１は、図８に示すようなＲＢＦ関数族を基底関数として用いたＲＢＦニューラルネットワークから成る。ＲＢＦニューラルネットワーク演算部６１は３次元形状算出装置２ａが算出した上記複数の点の使用者を基準とした３次元座標（Ｐ12，Ｐ22等）を基に使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)を算出する。標準３次元形状記憶装置７は複数の場所に対して予め定めた標準位置から撮影した３次元形状とその場所を示す場所コードを予め記憶する。判別装置８は形状識別装置６による画像に写し出された上記複数の点（Ｐ12，Ｐ22等）が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている場所の形状を標準３次元形状記憶装置７に記憶した３次元形状から探し出し、その場所を示す場所コードを出力する。
【００４０】
上記構成の携帯型情報処理装置の動作を、図９のフローチャートを参照して説明する。
【００４１】
３次元形状算出装置２ａの演算部２３ａは、例えば一定間隔毎に画像入力装置１から画像データを入力する（ステップＳ１１）。レンジファインダ２２は、既に説明したように画像記憶部２１から記憶した今回入力した画像データを読み出し、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部２３は、今回入力した画像上の点（Ｐ12，Ｐ22等）及び上記スケール因子を用いてそれらの点の使用者を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を算出する（ステップＳ１２）。ＲＢＦニューラルネットワーク演算部６１は３次元形状算出装置２ａが算出した複数の点の使用者を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を基に画像に写し出された上記複数の点が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)を算出する（ステップＳ１３）。判別装置８は形状識別装置６による画像に写し出された複数の点が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)と標準３次元形状記憶装置７に記憶した３次元形状を比較し（ステップＳ１４）、形状識別装置６による画像に写し出された複数の点が成す形状が示す使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)に最も似ている３次元形状を標準３次元形状記憶装置７に記憶した３次元形状から探し出し、その場所を示す場所コードを出力する（ステップＳ１５）。このように周囲の形状から携帯型情報処理装置を携帯する使用者の場所を演算するので累積誤差が発生せず、正確に使用者の場所を認識できる。
【００４２】
さらに、例えば上記装置を組み合わせて、さらに正確に使用者の場所を演算しても良い。携帯情報処理装置は、例えば図１０に示すように画像入力装置１、移動成分３次元形状算出装置２、第１場所認識装置９ａ、第２場所認識装置９ｂ、判断基準テーブル９１及び最終判定装置９２を有する。第１場所認識装置９ａは移動成分記憶装置３、絶対移動成分算出装置４及び場所識別装置５を備える。第２場所認識装置９ｂは形状識別装置６、標準３次元形状記憶装置７及び判別装置８を備える。判断基準テーブル９１は、例えば図１１に示すように第１場所認識装置９ａの識別結果と第２場所認識装置９ｂの算出結果との組合せに対応する場所を示す場所コードを予め記憶する。最終判定装置９２は第１場所認識装置９ａが出力したコードと第２場所認識装置９ｂが出力したコードとを基に判断基準テーブル９１から使用者の場所を示す場所コードを読み出して出力する。
【００４３】
上記構成の携帯型情報処理装置の動作を、図１１のフローチャートを参照して説明する。
【００４４】
移動成分３次元形状算出装置２の演算部２３は、既に説明したように一定間隔毎に画像入力装置１から使用者の周辺環境の画像を入力し、入力した画像を画像記憶部２１に記憶する（ステップＳ２１）。レンジファインダ２２は画像記憶部２１から記憶した今回入力した画像を読み出し、今回入力した画像のある一点までの距離を計測し、スケール因子を得る。演算部２３は、前回入力した画像と今回入力した画像の対応する点（Ｐ11，Ｐ12等）を複数組抽出し、それらの点（Ｐ11，Ｐ12等）の比較結果及びレンジファインダ２２が得たスケール因子を用いて、前回画像入力してから今回画像入力するまでの装置の移動成分ｄ(t)を算出する。また、演算部２３は上記複数組の点（Ｐ11，Ｐ12等）のうち今回入力した画像上の点（Ｐ12，Ｐ22等）及び上記スケール因子を用いてそれらの点の使用者を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を算出する（ステップＳ２２）。
【００４５】
その後、第１場所認識装置９ａの絶対移動成分算出装置４は移動成分記憶装置３から前回画像を入力した際における基準点からの使用者の移動成分Ｑ(t-1)を読み出し（ステップＳ２３）、前回画像を入力した際における基準点からの使用者の移動成分Ｑ(t-1)と移動成分３次元形状算出装置２が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分ｄ(t)を基に、今回画像を入力した際における基準点からの使用者の移動成分Ｑ(t)を算出し（ステップＳ２４）、算出した基準点からの移動成分Ｑ(t)を移動成分記憶装置３に記憶する（ステップＳ２５）。場所識別装置５のニューラルネットワーク演算部５１は移動成分３次元形状算出装置２が算出した上記複数の点（Ｐ12，Ｐ22等）の３次元座標Ｐ1(t)〜Ｐn(t)と絶対移動成分算出装置４が算出した基準点からの移動成分Ｑ(t)と予め学習した結果を基に使用者の場所を識別し、その識別結果を示す場所コードを出力する（ステップＳ２６）。
【００４６】
次ぎに、第２場所認識装置９ｂの形状識別装置６のＲＢＦニューラルネットワーク演算部６１は、移動成分３次元形状算出装置２が算出した複数の点の使用者を基準とした３次元座標Ｐ1(t)〜Ｐn(t)を基に画像に写し出された上記複数の点が成す形状が示す使用者の周辺形状を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)を算出する（ステップＳ２７）。判別装置８は形状識別装置６による画像に写し出された複数の点が成す形状が示す使用者の周辺形状を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)と標準３次元形状記憶装置７に記憶した３次元形状を比較し、形状識別装置６による画像に写し出された複数の点が成す形状が示す使用者の周辺形状を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果Ｓn(t)に最も似ている３次元形状を標準３次元形状記憶装置７に記憶した３次元形状から探し出し、その場所を示す場所コードを出力する（ステップＳ２８）。
【００４７】
最終判定装置装置９２は第１場所認識装置９ａが出力したコードと第２場所認識９ｂが出力したコードを基に判断基準テーブル１０から使用者の場所を示す場所コードを読み出して出力する（ステップＳ２９）。このように、２つの検出結果の組合せを基に最終的に場所を認識するので、それぞれの検出方法の特性によらず常に正確な場所の認識を行うことができる。
【００４８】
なお、上記第１場所認識装置９ａの代わりに、図１３に示すような第１場所認識装置９ｃを用いても良い。第１場所認識装置９ｃは移動成分記憶装置３、絶対移動成分算出装置４ａ及び場所識別装置５ａを備える。第１場所認識装置９ｃは上記のような構成を備えることにより、時系列な基準点からの移動成分を用いて使用者の場所を認識することができる。
【００４９】
また、図１４に示すように携帯型情報処理装置は画像入力装置１、移動成分３次元形状算出装置２、移動成分記憶装置３、絶対移動成分算出装置４、３次元形状記憶装置９３、場所識別手順記憶装置９４及び場所識別演算装置９５を有しても良い。移動成分記憶装置３は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶する。３次元形状記憶装置９３は各画像入力の際の使用者の周辺環境の３次元形状を時系列に記憶する。場所識別手順記憶装置９４は脱着可能に構成され、場所識別演算装置９５が使用者の場所の場所識別処理を行う際に用いる場所識別手順を予め記憶する。場所識別演算装置９５は場所識別手順記憶装置９４に予め記憶した場所識別手順を用いて、画像入力装置１から入力した画像を基に各画像入力の際の使用者の場所を識別して、各画像入力の際に時系列に記憶した基準点からの使用者の移動成分と使用者の周辺環境の３次元形状を基に各画像入力の際の使用者の位置を識別する。これにより、移動中は場所識別手順記憶装置９４を取外し、後に場所識別手順記憶装置９４を取付け、移動中に収集した移動成分等を用いて各画像入力の際の使用者の位置を識別するができる。
【００５０】
【発明の効果】
この発明は以上説明したように、今回入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回の画像入力から今回の画像入力までの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回の画像入力から今回の画像入力までの装置の移動成分を基に今回の画像入力の際における基準点からの使用者の移動成分を算出し、算出した移動成分を記憶するので、撮影した画像を基に基準点からの使用者の移動成分及び周辺の３次元形状を調べることができる。
【００５１】
さらに、使用者の周辺環境の３次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を認識し、その認識結果を示す場所コードを出力するので、２つの入力項目から使用者の場所を正確に認識することができる。
【００５２】
また、前回画像入力の際における基準点からの使用者の移動成分と算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、算出した移動成分を時系列に記憶し、算出した画像に写し出された使用者の周辺環境の３次元形状と時系列に記憶した各画像入力の際における基準点からの使用者の移動成分を基に使用者の場所を認識し、その認識結果を示す場所コードを出力するので、使用者の時系列な動きを加味して正確に使用者の場所を判断できる。
【００５３】
また、入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、算出した使用者の周辺環境の３次元形状を基にＲＢＦを基底としたニューラルネットワーク演算をして、使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果を算出し、算出した使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め標準位置から撮影した３次元形状の中から探し出し、その場所を示す場所コードを出力するので、携帯型情報処理装置を携帯する使用者の周辺環境の３次元形状を基に使用者の場所を判断することができる。
【００５４】
また、入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回画像を入力した際における基準点からの装置の移動成分と前回入力した画像と今回入力した画像を基に今回画像を入力した際における基準点からの装置の移動成分を算出し、使用者の周辺環境の３次元形状と基準点からの装置の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を認識してその場所コードを出力し、さらに、使用者の周辺環境の３次元形状を基に使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果を算出し、算出した使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め標準位置から撮影した３次元形状の中から探し出し、その場所を示す場所コードを出力し、両場所コードを基に最終的に場所を判断するので、さらに正確に使用者の場所を判断することができる。
【００５５】
また、入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回画像を入力した際における基準点からの装置の移動成分と前回入力した画像と今回入力した画像を基に今回画像を入力した際における基準点からの装置の移動成分を算出し、算出した移動成分を画像入力毎に時系列に記憶し、使用者の周辺環境の３次元形状と画像入力毎に時系列に記憶した基準点からの装置の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を認識してその場所コードを出力し、さらに、使用者の周辺環境の３次元形状を基に使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果を算出し、算出した使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め標準位置から撮影した３次元形状の中から探し出し、その場所を示す場所コードを出力し、両場所コードを基に最終的に場所を判断するので、時系列な情報を用いてさらに正確に使用者の場所を判断することができる。
【００５６】
さらに、場所識別手順を脱着可能な装置に記憶し、脱着可能な装置に記憶した場所識別手順を用いて各画像入力の際の使用者の場所を識別するので、移動中は場所識別手順を記憶した装置を取外し、後に場所識別手順を記憶した装置を取付け、移動中に収集した移動成分等を用いて各画像入力の際の使用者の位置を識別するができる。
【図面の簡単な説明】
【図１】周辺形状と移動成分から場所を判断する装置の構成図である。
【図２】演算部の構成部である。
【図３】画像の変化を示す説明図である。
【図４】ニューラルネットワークの構成図である。
【図５】周辺形状と移動成分から場所を判断する動作を示すフローチャートである。
【図６】周辺形状と時系列な移動成分から場所を判断する装置の構成図である。
【図７】周辺形状から場所を判断する装置の構成図である。
【図８】ＲＢＦニューラルネットワークの構成図である。
【図９】周辺形状から場所を判断するフローチャートである。
【図１０】２種類の場所識別結果を基に最終的に場所を判断する装置の構成図である。
【図１１】判断基準テーブルの構成図である。
【図１２】２種類の場所認識結果を基に最終的に場所を判断するフローチャートである。
【図１３】２種類の認識結果を基に最終的な場所を判断する装置の他の構成図である。
【図１４】場所識別手順記憶装置を備える携帯型情報処理装置の構成図である。
【符号の説明】
１ 画像入力装置
２ 移動成分３次元形状算出装置
２１ 画像記憶部
２２ レンジファインダ
２３ 演算部
３ 移動成分記憶装置
４ 絶対移動成分算出装置
５ 場所識別装置
５１ ニューラルネットワーク演算部
６ 形状識別装置
６１ ＲＢＦニューラルネットワーク演算部
７ 標準３次元形状記憶装置
８ 判別装置
９ａ 第１場所認識装置
９ｂ 第２場所認識装置
９１ 判断基準テーブル
９２ 最終判定装置
９３ ３次元形状記憶装置
９４ 場所識別手順記憶装置
９５ 場所識別演算装置
Claims (11)
- 画像入力装置と移動成分３次元形状算出装置と絶対移動成分算出装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力することを特徴とする携帯型情報処理装置。
- 画像入力装置と移動成分３次元形状算出装置と絶対移動成分算出装置と移動成分記憶装置と場所識別装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と移動成分記憶装置に時系列に記憶した各画像入力の際の基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力することを特徴とする携帯型情報処理装置。
- 標準３次元形状記憶装置と画像入力装置と３次元形状算出装置と形状識別装置と判別装置を有し、標準３次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した３次元形状とその場所を示す場所コードを予め記憶し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、３次元形状算出装置は画像入力装置から入力した画像を基に使用者の周辺環境の３次元形状を算出し、形状識別装置はＲＢＦニューラルネットワーク演算部から成り、ＲＢＦニューラルネットワーク演算部は３次元形状算出装置が算出した使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている場所の３次元形状を標準３次元形状記憶装置に記憶した３次元形状の中から探し出し、その場所を示す場所コードを出力することを特徴とする携帯型情報処理装置。
- 画像入力装置と移動成分３次元形状算出装置と第１場所認識装置と第２場所認識装置と判断基準テーブルと最終判定装置とを有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、第１場所認識装置は絶対移動成分算出装置と場所識別装置を有し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出し、場所識別装置はニューラルネットワーク演算部から成り、場所識別装置のニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と絶対移動成分算出装置が算出した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、第２場所認識装置は標準３次元形状記憶装置と形状識別装置と判別装置を有し、標準３次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した３次元形状及びその場所を示す場所コードを予め記憶し、形状識別装置はＲＢＦニューラルネットワーク演算部から成り、形状識別装置のＲＢＦニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を標準３次元形状記憶装置に記憶した３次元形状の中から探し出し、その場所を示す場所コードを出力し、判断基準テーブルは第１場所認識装置の識別結果と第２場所認識装置の識別結果との組合せに対応する場所を示す場所コードを予め記憶し、最終判定装置は第１場所認識装置が出力した場所コードと第２場所認識装置が出力した場所コードを基に判断基準テーブルから使用者の現在の場所を示す場所コードを読み出して出力することを特徴とする携帯型情報処理装置。
- 画像入力装置と移動成分３次元形状算出装置と第１場所認識装置と第２場所認識装置と判断基準テーブルと最終判定装置とを有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、第１場所認識装置は絶対移動成分算出装置と移動成分記憶装置と場所識別装置を有し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、場所識別装置はニューラルネットワーク演算部から成り、ニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状と移動成分記憶装置に時系列に記憶した各画像入力の際の基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基に使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、第２場所認識装置は標準３次元形状記憶装置と形状識別装置と判別装置を有し、標準３次元形状記憶装置は複数の場所に対して予め定めた標準位置から撮影した３次元形状及びその場所を示す場所コードを予め記憶し、形状識別装置はＲＢＦニューラルネットワーク演算部から成り、形状識別装置のＲＢＦニューラルネットワーク演算部は移動成分３次元形状算出装置が算出した使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、判別装置は形状識別装置による使用者の周辺環境を予め定めた標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を標準３次元形状記憶装置に記憶した３次元形状の中から探し出し、その場所を示す場所コードを出力し、判断基準テーブルは第１場所認識装置の識別結果と第２場所認識装置の識別結果との組合せに対応する場所を示す場所コードを予め記憶し、最終判定装置は第１場所認識装置が出力した場所コードと第２場所認識装置が出力した場所コードを基に判断基準テーブルから使用者の現在の場所を示す場所コードを読み出して出力することを特徴とする携帯型情報処理装置。
- 画像入力装置と移動成分３次元形状算出装置と絶対移動成分算出装置と移動成分記憶装置と３次元形状記憶装置と場所識別手順記憶装置と場所識別演算装置を有し、画像入力装置は使用者の周辺環境の画像を撮影して入力し、移動成分３次元形状算出装置は今回画像入力装置から入力した画像を基に使用者の周辺環境の３次元形状を算出して３次元形状記憶装置に記憶し、前回入力した画像と今回入力した画像を基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、絶対移動成分算出装置は前回画像を入力した際における基準点からの使用者の移動成分と移動成分３次元形状算出装置が算出した前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力した際における基準点からの使用者の移動成分を算出して移動成分記憶装置に記憶し、移動成分記憶装置は各画像入力の際の基準点からの使用者の移動成分を時系列に記憶し、３次元形状記憶装置は各画像入力の際の使用者の周辺環境の３次元形状を時系列に記憶し、場所識別手順記憶装置は脱着可能に構成され、場所識別演算装置が使用者の場所の識別処理を行う際に用いる場所識別手順を予め記憶し、場所識別演算装置は場所識別手順記憶装置に予め記憶した場所識別手順を用いて、画像入力装置から入力した画像を基に各画像入力の際の使用者の場所を識別することを特徴とする携帯型情報処理装置。
- 使用者の周辺環境の画像を撮影して入力し、入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回画像を入力した際における基準点からの使用者の移動成分と前回画像を入力してから今回画像を入力するまでの使用者の移動成分を基に今回画像を入力する際における基準点からの使用者の移動成分を算出し、算出した使用者の周辺環境の３次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力することを特徴とする携帯型情報処理装置の場所識別方法。
- 使用者の周辺環境の画像を撮影して入力し、入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回画像を入力した際における基準点からの使用者の移動成分と前回画像入力してから今回画像入力するまでの使用者の移動成分を基に今回画像入力する際における基準点からの使用者の移動成分を算出し、算出した基準点からの使用者の移動成分を画像入力毎に時系列に記憶し、算出した使用者の周辺環境の３次元形状と各画像入力の際の時系列な使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力することを特徴とする携帯型情報処理装置の場所識別方法。
- 複数の場所に対して予め定めた標準位置から撮影した３次元形状及びその場所を示す場所コードを予め記憶し、使用者の周辺環境の画像を撮影して入力し、入力した画像を基に使用者の周辺環境の３次元形状を算出し、算出した使用者の周辺環境の３次元形状を基に今回入力した画像に写し出された使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として用いたニューラルネットワーク演算をして使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め記憶した３次元形状から探し出し、その場所を示す場所コードを出力することを特徴とする携帯型情報処理装置の場所識別方法。
- 使用者の周辺環境の画像を撮影して入力し、入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回画像入力してから今回画像入力するまでの使用者の移動成分を基に今回の画像入力の際における基準点からの使用者の移動成分を算出し、算出した使用者の周辺環境の３次元形状と基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の場所を識別し、その識別結果を示す場所コードを出力し、今回入力した画像に写し出された使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として用いてニューラルネットワーク演算をして、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め記憶した３次元形状から探し出し、その場所を示す場所コードを出力し、上記２つの場所コードの組合せを基にその組合せに対応する場所を探し出し、その場所を示す場所コードを出力することを特徴とする携帯型情報処理装置の場所識別方法。
- 使用者の周辺環境の画像を撮影して入力し、入力した画像を基に使用者の周辺環境の３次元形状を算出し、前回入力した画像と今回入力した画像とを基に前回画像を入力してから今回画像を入力するまでの使用者の移動成分を算出し、前回の画像入力の際における基準点からの使用者の移動成分と前回の画像入力してから今回画像入力するまでの使用者の移動成分を基に今回画像入力の際における基準点からの使用者の移動成分を算出し、算出した基準点からの使用者の移動成分を画像入力毎に時系列に記憶し、算出した使用者の周辺環境の３次元形状と画像入力毎に時系列に記憶した基準点からの使用者の移動成分と予め誤差逆伝播法で学習した結果を基にニューラルネットワーク演算して使用者の現在の場所を識別し、その識別結果を示す場所コードを出力し、今回入力した画像に写し出された使用者の周辺環境の３次元形状を基にＲＢＦを基底関数として用いたニューラルネットワーク演算をして、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果を算出し、使用者の周辺環境を標準位置から撮影した場合の３次元形状の中間認識結果に最も似ている３次元形状を予め記憶した３次元形状から探し出し、その場所を示す場所コードを出力し、上記２つの場所コードの組合せを基にその組合せに対応する場所を探し出し、その場所を示す場所コードを出力することを特徴とする携帯型情報処理装置の場所識別方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34452896A JP3655033B2 (ja) | 1996-12-10 | 1996-12-10 | 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34452896A JP3655033B2 (ja) | 1996-12-10 | 1996-12-10 | 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10170299A JPH10170299A (ja) | 1998-06-26 |
| JP3655033B2 true JP3655033B2 (ja) | 2005-06-02 |
Family
ID=18369982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34452896A Expired - Fee Related JP3655033B2 (ja) | 1996-12-10 | 1996-12-10 | 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3655033B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000097720A (ja) * | 1998-09-25 | 2000-04-07 | Toshiba Corp | 位置検出システム |
| EP3571664B1 (en) * | 2017-01-23 | 2021-05-12 | Oxford University Innovation Limited | Determining the location of a mobile device |
| EP3571665B1 (en) | 2017-01-23 | 2023-06-07 | Oxford University Innovation Limited | Determining the location of a mobile device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06266404A (ja) * | 1993-03-12 | 1994-09-22 | Toshiba Corp | 非線形対象制御システム及び同システム構築用ニューラルネットワークの学習システム |
| JP2799943B2 (ja) * | 1993-06-18 | 1998-09-21 | 謙二 松井 | 空間認識装置，車両の危険状態検知装置，盲人用危険状態警告装置および盲人用歩行補助装置ならびに空間認識方法 |
| JPH089264A (ja) * | 1994-06-22 | 1996-01-12 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
| JP3560670B2 (ja) * | 1995-02-06 | 2004-09-02 | 富士通株式会社 | 適応的認識システム |
-
1996
- 1996-12-10 JP JP34452896A patent/JP3655033B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10170299A (ja) | 1998-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4672175B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
| US7697749B2 (en) | Stereo image processing device | |
| JP5148669B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
| JP4984728B2 (ja) | 被写体照合装置および被写体照合方法 | |
| US20040136574A1 (en) | Face image processing apparatus and method | |
| CN111664848B (zh) | 一种多模态室内定位导航方法及系统 | |
| CN101086600A (zh) | 成像设备、成像设备控制方法以及计算机程序 | |
| CN111028358A (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
| KR101438377B1 (ko) | 이동체의 위치 판단 장치 및 위치 판단 방법 | |
| JP6959888B2 (ja) | 物体認識情報及び受信電磁波情報に係るモデルを用いて端末位置を推定する装置、プログラム及び方法 | |
| US6272237B1 (en) | Image processing apparatus | |
| CN111935641B (zh) | 一种室内自定位的实现方法、智能移动设备和存储介质 | |
| CN110290455A (zh) | 基于场景识别的目标场景确定方法及系统 | |
| CN108256563B (zh) | 基于距离度量的视觉词典闭环检测方法与装置 | |
| JP2011113398A (ja) | 姿勢推定装置 | |
| JP2021077039A (ja) | 画像処理装置、画像処理方法、及びプログラム。 | |
| JP3655033B2 (ja) | 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 | |
| CN110967667A (zh) | 一种基于众包Wi-Fi指纹定位的室内轨迹采集方法 | |
| Milioris | Efficient indoor localization via reinforcement learning | |
| CN111836188B (zh) | 一种基于Wi-Fi RSS的在线协同定位及系统 | |
| Wietrzykowski et al. | Adopting the FAB-MAP algorithm for indoor localization with WiFi fingerprints | |
| KR102407802B1 (ko) | 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치 | |
| CN116051636A (zh) | 位姿计算方法、装置和设备 | |
| CN113916223B (zh) | 定位方法及装置、设备、存储介质 | |
| Cielniak et al. | Appearance-based tracking of persons with an omnidirectional vision sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050302 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |