JP5182879B2

JP5182879B2 - 情報端末装置

Info

Publication number: JP5182879B2
Application number: JP2008247936A
Authority: JP
Inventors: 晴久加藤; 暁夫米山
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2008-09-26
Filing date: 2008-09-26
Publication date: 2013-04-17
Anticipated expiration: 2028-09-26
Also published as: JP2010079643A

Description

本発明は、カメラが搭載された携帯電話等の情報端末装置に関し、物体画像及びこれに対応する処理情報を予め情報端末装置側に登録し、撮影された画像との同定によって対応する情報を入力することができる情報端末装置に関する。

超高齢化社会と情報化社会を迎え、高齢者はその好むと好まざるとに係わらず様々な情報端末（券売機、ＡＴＭ等）と付き合わざるを得ない状況になってきている。今後ますますその傾向が強まると考えられることから、高齢者が無理なく使いこなせる操作インタフェースを提供することが喫緊の課題となっている。
特に、携帯型情報端末において、電子機器回路の集積化に伴って小型・軽量化が進んでいるため、キーパッドの面積を十分に確保できないまま細かな操作を強いられている。その一方、処理性能の向上および記録容量の増大に伴い、情報端末が扱えるサービスやメニュー、アプリケーションの操作は複雑化の一途を辿っている。

このような状況下において、２次元バーコードを読み取ることで、認識された内容に基づいて所定の処理が実行される技術が存在する（特許文献１）。すなわち特許文献１では、カメラ付きの携帯電話においてバーコード撮影モードを有し、バーコード撮影モードでバーコードの認識を行うとともに、認識された結果を携帯電話の表示部に表示し、認識された内容に基づいて所定の処理を実行するものである。
特開２００７−３１８７７５

また、情報端末における操作を簡単にして情報を入力したり、情報端末の表示部に情報を表示させる技術については、種々の手法が提案されている。
例えば、特許文献２では、携帯端末装置に加速度センサを備えることで、手書き文字を認識し表示させる装置が記載されている。

特許文献３には、携帯電話に搭載されたカメラにより本体の傾きを検出することで、文字入力を行う技術が開示されている。

特許文献４には、携帯端末装置に内蔵するカメラにより、眼球の動きの回数を検出し、その回数により携帯端末装置に対する操作を行う技術が開示されている。

特許文献５には、携帯端末装置に内蔵するカメラにより、口唇の形状や動きを検出して文字の入力を行う技術が開示されている。
特開２００７−１９４９５８号特開２００８−９７２２０号特開２００７−３１０８１５号特開２００７−８７２９１号

しかしながら、特許文献１に記載の携帯電話機によれば、バーコードを見ただけでは何に関する情報が含まれているのか、その意味するところを把握できないため、複数のバーコードが存在している場合に区別することが困難であり、バーコードの表示から所望の機能を認識して起動させることができないという問題点があった。

特許文献２に記載の携帯端末装置によれば、直感的かつ容易な操作で表示範囲の変更が実現可能であるが、高価な３軸加速度センサを組み込まなければならないだけでなく、センサの追加に伴う消費電力が増加するという問題点がある。

特許文献３に記載の携帯電話機によれば、利用者の顔部画像に基づいて表示部を見ているか否かを認識することで傾き誤検出を防止するため複雑な処理が必要であり、顔検出における検出精度や処理速度について問題が生じる。また、入力文字種を切り替えるだけで文字入力には従前通りキー入力が必要であった。

特許文献４及び特許文献５によれば、眼球や口唇を忙しなく動かす必要があるため、入力方法として利用できる状況やユーザが限定されるという問題点がある。

本発明は上記実情に鑑みて提案されたもので、情報端末装置に対して提示された物体の画像を入力することで、対応する登録処理により各種操作を行うことが可能となる情報端末装置の構造を提供することを目的とする。

上記目的を達成するため請求項１の情報端末装置は、画像を入力する撮影部と情報を表示する表示部を有する携帯電話に代表される情報端末装置であって、前記撮影部に対する空間的位置を考慮した１以上の物体の各登録画像及びこれらに対応させた前記情報端末装置の操作処理を情報として登録するメモリと、提示された物体に対して前記撮影部から入力された画像を解析して撮影対象領域画像を切り出した上で前記メモリ内の前記登録画像と一致するかどうかを認識する認識部と、前記撮影対象領域画像に一致すると認識された登録画像に対応する操作処理を前記メモリから読み出して前記表示部に表示する情報制御部とを備え、前記操作処理に基づいて操作が実行されることを特徴としている。

請求項２の情報端末装置は、請求項１において、前記認識部は、前記メモリに登録された登録画像を用いて、前記撮影部により入力された画像から対応関係にある領域を撮影対象領域画像として抽出し、前記登録画像と前記撮影対象領域画像との間の空間的位置関係を推定する機能を備えて成ることを特徴としている。

請求項３の情報端末装置は、請求項２において、前記認識部は、矩形形状の形状特徴量を算出する場合に、前記撮影部により入力された画像から複数のエッジ座標を抽出し、エッジ座標の並びから提示された物体の周囲の一部を構成する線分を推定し、複数の線分を延長した交点から領域の正規化に必要な変換係数を推定する機能を備えて成ることを特徴としている。

請求項４の情報端末装置は、請求項２において、前記認識部は、多角形形状の形状特徴量を算出する場合に、前記撮影部により入力された画像から複数のエッジ座標を抽出し、エッジ座標の並びから提示された物体の周囲の一部を構成する線分を推定し、複数の線分を延長した交点から頂点画像を抽出し、登録された画像の頂点画像と抽出された画像の頂点画像とを一致させる変換係数を推定する機能を備えて成ることを特徴としている。

請求項５の情報端末装置は、請求項４において、前記認識部は、エッジ座標の並びにHough変換を適用して、提示された矩形物体の辺を構成する線分を推定する機能を備えて成ることを特徴としている。

請求項６の情報端末装置は、請求項４において、前記認識部は、複数の直線から凸状閉領域を形成し、４点の情報から予め登録された物体と一致する変換係数を推定する機能を備えて成ることを特徴としている。

請求項７の情報端末装置は、請求項６において、前記認識部は、４点の情報を正規化しておくことによって、変換係数の推定にかかる計算量を低減する機能を備えて成ることを特徴としている。

請求項８の情報端末装置は、請求項２において、楕円形状の形状特徴量を算出する場合に、前記認識部は、前記撮影部により入力された画像から複数のエッジ領域を検出し、任意のエッジ座標の並びから楕円の接線を推定し、複数の接線の組み合わせから楕円形状の物体を識別する機能を備えて成ることを特徴としている。

請求項９の情報端末装置は、請求項８において、前記認識部は、任意の接線の交点と該接点の中点を結ぶ延長線を算出し、複数の延長線の交点が楕円形状の中心座標と推定する機能を備えて成ることを特徴としている。

請求項１０の情報端末装置は、請求項８において、前記認識部は、エッジ座標の並びに一般化Hough 変換を適用して、提示された楕円形状を長軸、短軸、回転角を推定する機能を備えて成ることを特徴としている。

請求項１１の情報端末装置は、請求項８において、前記認識部は、推定された楕円形状の係数を正規化することで予め登録された物体と同一の形状に変形する機能を備えて成ることを特徴としている。

請求項１２の情報端末装置は、請求項３において、前記認識部は、色ヒストグラム及びエッジヒストグラムによる比較、及び、テクスチャによるマッチングを用いて、正規化された提示物体の画像が一致する予め登録された登録画像の物体の種類および向きを推定する機能を備えて成ることを特徴としている。

本発明によれば、予め情報端末装置に対して登録画像及び対応する登録処理を登録し、撮影部に提示物体の画像を入力することで、提示物体の画像から抽出した撮影対象領域画像とメモリに登録された登録画像との同定を行い、同定された登録画像に対応する登録処理を実行することで、情報端末装置に対して各種操作を行うことができる。
したがって、情報端末装置のキーを操作することなく、撮影部で提示物体の画像の入力を行うだけで、情報端末装置の各種操作が可能となるので、複数のキーを押下することによる情報の入力を不要とし、情報端末装置に対して簡単な操作で所望の処理を実行させることができる。

以下、本発明の情報端末装置の一実施形態について、図面を参照しながら説明する。
図１は本発明の情報端末装置の実施形態を示す機能ブロック図である。図２は情報端末装置の外観図であり、通常の携帯電話の外観を有して構成されている。

情報端末装置１は、図１及び図２に示すように、画像を取り込む撮影部１１と、情報を表示する表示部１２と、表示する情報を記録するメモリ１３と、撮影部１１により入力された画像を解析して撮影対象と予め登録されている登録画像とが一致しているかどうかの認識を行う認識部１４と、認識部１４により認識された登録画像に対応する登録処理の情報をメモリ１３から読み出して表示部１２に表示させ、この登録処理の機能を実行する制御を行う制御部（情報制御部）１５とを備えている。

メモリ１３には、登録画像及びこれに対応する登録処理が情報として登録されている。登録画像は、予め利用者が物体等の任意の被写体を撮影し、これに対応する処理内容（例えば、所定の電話番号に電話をかける）が登録処理として記録されている。

撮影部１１は、情報端末装置１に内蔵されたカメラで構成され、一定間隔で任意の画像を入力し、入力画像を認識部１４に出力するようになっている。利用者が予め登録しておいた物体について、情報端末装置１の撮影部１１にかざすことで、撮影対象として提示物体の画像が入力される。

認識部１４は、抽出手段１４１と同定手段１４２から構成され、撮影部１１で撮影された提示物体の画像を解析して抽出される撮影対象領域画像と、予め利用者によりメモリ１３に登録されている登録画像とが一致するかどうかを認識する。
抽出手段１４１は、撮影部１１で取得された提示物体の画像を入力し、この入力画像を解析することで提示物体を切り出した撮影対象領域画像を抽出し、この撮影対象領域画像から画像特徴量を得る。

同定手段１４２は、撮影対象領域画像の画像特徴量と予め登録されている登録画像（例えば、物体の画像）の特徴量とを比較して評価することにより、提示物体の画像が登録画像として登録されている物体のいずれであるかを同定する。撮影部１１から入力された画像を解析して撮影対象領域画像を切り出した上で前記メモリ内の前記登録画像と一致するかどうかを認識する方法の具体的な手順については後述する。

制御部１５は、認識部１４で認識された物体画像の情報に応じてメモリ１３上の該当する登録画像に対応する登録処理の情報を読み出し、表示部１２に送る。
また、メモリ１３において、同じ登録画像であっても、空間的位置関係が異なることにより（例えば、上下逆の画像）、異なる登録処理を対応させているような場合には、制御部１５は、同定された物体の種類と空間的位置関係の組み合わせに対して、予め登録された機能を適用できるようになっている。

表示部１２は、制御部１５から送出されてきた登録画像に対応する登録処理に関する情報を表示する。この登録処理は、例えばキーパッド部の十字キー２１を押下する等の操作により実行されるようになっている。

上記構成により、利用者が情報端末装置１の撮影部１１を被写体にかざすことで提示物体の画像を入力し、利用者においてこの画像が既に登録されている登録画像と一致する場合には、その画像に対応する登録処理（例えば「○○さんへ電話する」）を実行させることができるので、キー操作を行うことなく、画像の取り込みのみで情報端末装置１に対して所望の処理を行わせることができる。

次に、認識部１４において、撮影部１１で入力する提示物体の入力画像と、メモリ１３に登録されている登録画像との類似性を判断するための手順について、図３のフローチャート及び図１のブロック図を参照しながら説明する。
画像同士の類似性を判断するための特徴量としては、入力画像から抽出した撮影対象領域画像からの色、形状、テクスチャ情報を用いる。

提示物体が写真、ＣＤ・ＤＶＤのジャケット、マッチ箱、カード類など矩形で構成される物体である場合、撮影部１１に入力される画像から以下のように撮影対象領域画像を抽出することが行われる。

先ず、撮影部１１により提示物体（撮影対象物体）の読み取り作業を行う（ステップ３１）。
この読み取りは、Canny などのエッジ検出によりエッジを検出し、細線化処理を施す。検出されたN個のエッジの座標（ｘi，ｙi）（i＝１，…，Ｎ）に対して数１を満足するようにHough 変換で極座標(ρ，θ)に変換する。

極座標に変換される点の個数を数え上げ、頻度が多い極座標を選択する。選択された極座標毎に逆Hough 変換で数２に示した直線の式を算出する。

数２に示した直線の式によって各辺の線分を抽出し、線分を延長した先で交差する点を算出して矩形領域を切り出す（ステップ３２）。

次に、抽出した矩形領域に対して領域の正規化を行う（ステップ３３）。
複数の直線で囲まれる最大の凸形状矩形領域を登録されている物体と比較するため、前記４点の座標を登録されている物体の矩形形状の四隅に一致させる変換係数を算出する。
まず、前記４点の座標（ｘj，ｙj）（１≦ｊ≦４）とし、射影変換によって矩形の四隅の座標（ｘj，ｙj）（１≦ｊ≦４）に一致する次式（数３）を満足する変換係数ak（１≦ｋ≦８）を求める。

前記４点の座標を使うと、８元連立方程式として解くことができる。例えば、図４に示すように、登録されている矩形物体の四隅の座標が（０，０）、（ｕ，０）、（ｕ，ｖ）、（０，ｖ）で与えられており、前記４点の座標がそれぞれ（０，０）、（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）に対応している場合、正規化するための変換係数は次式（数４）で求められる。

ただし、数４における、ｚ₁₂、ｚ₂₃、ｚ₁₃、ｚ₂₁の値は次式（数５）を満足するものである。

これら変換係数と変換式とを用いて、凸形状矩形領域を登録された物体の形状に変形し、マッチングにより物体を同定する。
以上の作業により、記撮影部１１により入力された画像から複数のエッジ座標を抽出し、エッジ座標の並びから提示された物体の周囲の一部を構成する線分を推定し、複数の線分を延長した交点から領域の正規化に必要な変換係数を推定することが行われる。

提示物体が矩形でなく、コインやメダル、ＣＤやＤＶＤ、牛乳瓶のふた、円柱、ボール類など円状または球状で構成される物体の場合は、入力画像では楕円に見えるため、撮影部１１に入力される画像から以下のように撮影対象領域画像を抽出することが行われる。

先ず、撮影部１１により提示物体（撮影対象物体）の読み取り作業を行う（ステップ３１）。
この読み取りは、Canny などのエッジ検出によりエッジを検出し、細線化処理を施す。検出されたN個のエッジの座標（ｘi，ｙi）（i＝１，…，Ｎ）ごとに接線を求める。接線は、当該エッジ座標を通り、かつ近傍の小領域に存在する他のエッジ座標との誤差を最小化する直線となるように最小二乗法で求める。該エッジ座標とそれに対応する接線を用いて領域の中心と半径を求める。

すなわち、図５に示すように、任意の２組のエッジ座標に対して中点を算出し、同時にそれぞれの接線が交わる点を算出する。該中点と該交点を結ぶ直線を算出する。他のエッジ座標の組み合わせに対しても同様に直線を算出し、当該直線が交差する座標を中心座標とする。
すなわち、撮影部１１により入力された画像から複数のエッジ領域を検出し、任意のエッジ座標の並びから楕円の接線を推定し、複数の接線の組み合わせから楕円形状の物体を識別することが行われる。

次に、該中心座標を原点として一般化Hough 変換で３次元座標（ａ1；ａ2；ａ3) に変換する。

３次元座標に変換される平面が共有する座標を選択し、選択された座標を逆一般化Hough 変換で楕円の式を算出することで楕円形領域を切り出す（ステップ３２）。ｘｙ項の係数ａ2が０でない場合は、楕円が傾いていることを表すため、ｘｙ項をなくすような回転角度θで標準楕円方程式に変形する。なお、回転角度θは次式（数７）で算出する。

次に、長軸と短軸との比を短軸方向に乗じることで、抽出された領域を登録されている円形状に一致させることで楕円形領域を正規化する（ステップ３３）。

上記例では、撮影部１１により入力された入力画像が矩形又は楕円である場合の正規化についてそれぞれ説明したが、入力画像が多角形である場合も考えられる。説明を簡単にするため正多角形に限定すると、多角形を内包する円と考えることで楕円形領域を抽出する要領で多角形についての撮影対象領域画像を抽出することも可能となる。

抽出手段１４１は、前述の方法で入力画像から抽出された領域（矩形領域、多角形領域又は楕円領域）を前記変換式で登録されている物体（登録画像）と同等の形状に変換し、同定手段１４２に出力する。
入力画像から抽出された領域（撮影対象領域画像）が矩形領域である場合、抽出手段１４１では、上述したように、エッジ座標の並びにHough変換を適用して、提示された矩形物体の辺を構成する線分を推定する機能を備えている。
また、複数の直線から凸状閉領域を形成し、４点の情報から予め登録された物体と一致する変換係数を推定する機能を備え、更に、４点の情報を正規化しておくことによって、変換係数の推定にかかる計算量を低減する機能を備えている。

入力画像から抽出された領域（撮影対象領域画像）が楕円領域である場合、抽出手段１４１では、上述したように、任意の接線の交点と該接点の中点を結ぶ延長線を算出し、複数の延長線の交点が楕円形状の中心座標と推定する機能を備えている。
また、エッジ座標の並びに一般化Hough 変換を適用して、提示された楕円形状を長軸、短軸、回転角を推定する機能を備え、更に、推定された楕円形状の係数を正規化することで予め登録された物体と同一の形状に変形する機能を備えている。

同定手段１４２では、メモリ１３から登録画像を読み出し、複数の同一形状物体が登録されている場合に、画像同士を比較することにより、その中から一致する物体画像を同定する（ステップ３４）。
画像同士が一致しているかどうかの類似性の判断は、次のようにして行われる。
抽出手段１４１で抽出・変形された領域（撮影対象領域画像）に対して、色のヒストグラムおよびエッジ方向のヒストグラムを算出し、同様に登録されている物体（登録画像）から算出された色ヒストグラム及びエッジヒストグラムとの相違を計算する。抽出された物体（撮影対象領域画像）及び登録された物体（登録画像）の色ヒストグラムはそれぞれ総和が１となるように正規化しておき、正規化された度数をそれぞれｃi、ｃ′ｉで表す。ヒストグラムのｂｉｎ数をｍで表すと、ヒストグラム間距離ｄｃは次式（数８）で求められる。

同様にそれぞれのエッジヒストグラムも正規化しておき、正規化された度数をそれぞれｅi、ｅ′ｉで表す。ヒストグラムのｂｉｎ数をｎで表すと、ヒストグラム間距離ｄｅは次式（数９）で求められる。

このとき、ヒストグラム間距離d が最も大きな物体の登録画像を提示された物体画像と同定する。λはヒストグラム間距離の重みに相当する。

ただし、最大のヒストグラム間距離d が予め設定しておいた閾値Ｔ以下である場合は、どれにも一致しないと判断する。
さらに、一致した物体は回転させながらテクスチャのマッチングを行い、差分二乗和が最小となる回転角度を算出する。

同定手段１４２は、前述の方法で抽出手段１４１から入力された提示物体に対する撮影対象領域画像から物体の登録画像を同定するとともに回転角度を空間的位置関係として算出し、登録画像に対応する登録処理をメモリ１３から読み取って情報として制御部１５へ出力する（ステップ３５）。
制御部１５では、登録処理情報が読み取られると、その内容を表示部１２に表示させ（ステップ３６）、キーパッド部の十字キー２１の押下等により表示部１２に表示された処理が実行される（ステップ３７）。

続いて、上述した情報端末装置（例えば、携帯端末）を使用した具体的な操作例について説明する。
物体の種類と空間的位置関係の対応関係の一例として、写真を用いた操作インタフェースが挙げられる。例えば、利用者が高齢者である場合、矩形状の孫の写真を予め登録画像としてメモリ１３に登録すると共に、図６（ａ）〜（ｃ）に示すように、登録画像（写真）の向きに応じて、正面写真画像（図６（ａ））が「電話をかける」、上下逆画像（図６（ｂ））が「メールを送る」、左向き画像（図６（ｃ））が「URL を開く」などの機能及びそれらに対応する電話番号、メールアドレス、ＵＲＬなど関連情報を登録処理の情報として割り付けメモリ１３に登録しておく。

操作時には、情報端末装置（携帯端末）１のカメラ（撮影部１１）の前に登録された向きで写真（提示物体）を提示するだけで、認識部１４が提示された写真を同定し、空間的位置関係に応じた機能（登録処理）を呼び出し表示部１２に表示する。
これにより、情報端末装置（携帯端末）１の小さなキーを何度も押すことなく、直感的かつ素早く情報端末装置（携帯端末）１を操作することができる。
また、写真に限らず、思い出の品々の物体を登録画像として登録することで、登録画像と登録処理との対応関係を明確にすることが可能となり、入力操作の学習時間が短縮される。

上述した情報端末装置によれば、ＲＦＩＤリーダや赤外線センサなど特別なハードウェアを組み込むことなく、情報端末装置の撮影部に提示された提示物体を登録画像から同定することで、対応づけられた機能を操作することが可能となる。

本発明の情報端末装置の実施形態の一例を示す機能ブロック図である。情報端末装置の外観を示す平面説明図である。認識部の動作の一例を示すフローチャートである。認識部において抽出された矩形形状を正規化する場合の説明図である。認識部において楕円領域を抽出する場合の説明図である。（ａ）〜（ｃ）は登録画像とその空間的位置関係を説明するための説明図である。

符号の説明

１…情報端末装置、１１…撮影部、１２…表示部、１３…メモリ、１４…推定部、１５…制御部（情報制御部）、２１…十字キー、１４１…抽出手段、１４２…同定手段。

Claims

画像を入力する撮影部と情報を表示する表示部を有する携帯電話に代表される情報端末装置であって、
前記撮影部に対する空間的位置を考慮した１以上の物体の各登録画像及びこれらに対応させた前記情報端末装置の操作処理を情報として登録するメモリと、
提示された物体に対して前記撮影部から入力された画像を解析して撮影対象領域画像を切り出した上で前記メモリ内の前記登録画像と一致するかどうかを認識する認識部と、
前記撮影対象領域画像に一致すると認識された登録画像に対応する操作処理を前記メモリから読み出して前記表示部に表示する情報制御部とを備え、
前記操作処理に基づいて操作が実行されることを特徴とする情報端末装置。
前記認識部は、前記メモリに登録された登録画像を用いて、前記撮影部により入力された画像から対応関係にある領域を撮影対象領域画像として抽出し、前記登録画像と前記撮影対象領域画像との間の空間的位置関係を推定する機能を備えて成る請求項１に記載の情報端末装置。
前記認識部は、矩形形状の形状特徴量を算出する場合に、前記撮影部により入力された画像から複数のエッジ座標を抽出し、エッジ座標の並びから提示された物体の周囲の一部を構成する線分を推定し、複数の線分を延長した交点から領域の正規化に必要な変換係数を推定する機能を備えて成る請求項２に記載の情報端末装置。
前記認識部は、多角形形状の形状特徴量を算出する場合に、前記撮影部により入力された画像から複数のエッジ座標を抽出し、エッジ座標の並びから提示された物体の周囲の一部を構成する線分を推定し、複数の線分を延長した交点から頂点画像を抽出し、登録された画像の頂点画像と抽出された画像の頂点画像とを一致させる変換係数を推定する機能を備えて成る請求項２に記載の情報端末装置。
前記認識部は、エッジ座標の並びにHough変換を適用して、提示された矩形物体の辺を構成する線分を推定する機能を備えて成る請求項４に記載の情報端末装置。
前記認識部は、複数の直線から凸状閉領域を形成し、４点の情報から予め登録された物体と一致する変換係数を推定する機能を備えて成る請求項４に記載の情報端末装置。
前記認識部は、４点の情報を正規化しておくことによって、変換係数の推定にかかる計算量を低減する機能を備えて成る請求項６に記載の情報端末装置。
前記認識部は、楕円形状の形状特徴量を算出する場合に、前記撮影部により入力された画像から複数のエッジ領域を検出し、任意のエッジ座標の並びから楕円の接線を推定し、複数の接線の組み合わせから楕円形状の物体を識別する機能を備えて成る請求項２に記載の情報端末装置。
前記認識部は、任意の接線の交点と該接点の中点を結ぶ延長線を算出し、複数の延長線の交点が楕円形状の中心座標と推定する機能を備えて成る請求項８に記載の情報端末装置。
前記認識部は、エッジ座標の並びに一般化Hough 変換を適用して、提示された楕円形状を長軸、短軸、回転角を推定する機能を備えて成る請求項８に記載の情報端末装置。
前記認識部は、推定された楕円形状の係数を正規化することで予め登録された物体と同一の形状に変形する機能を備えて成る請求項８に記載の情報端末装置。
前記認識部は、色ヒストグラム及びエッジヒストグラムによる比較、及び、テクスチャによるマッチングを用いて、正規化された提示物体の画像が一致する予め登録された登録画像の物体の種類および向きを推定する機能を備えて成る請求項３に記載の情報端末装置。