JP5319867B2

JP5319867B2 - 情報端末装置

Info

Publication number: JP5319867B2
Application number: JP2005282595A
Authority: JP
Inventors: 晴久加藤; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2005-09-28
Filing date: 2005-09-28
Publication date: 2013-10-16
Anticipated expiration: 2025-09-28
Also published as: JP2007094708A

Description

本発明は、情報を提示する情報端末装置に関し、特に、撮影部と撮影対象との間の空間的位置関係を変化させることによって表示部に表示される情報を制御できる情報端末装置に関する。

電子機器回路の集積化に伴って携帯電話やＰＤＡなどの情報端末装置の小型・軽量化が進み、それらの情報端末装置が備える表示デバイスも高精細なものとなってきている。表示デバイスの高精細化により一度に表示する情報量を増大させることができる。小型・軽量化が図られた情報端末装置では、情報を表示する表示部が確保できる面積は限られている。

このような情報端末装置で、表示部の面積を十分に確保しないまま膨大な量の情報を表示させた場合、情報の読み取りが困難になる。例えば、地図とともに地名などを文字で表示させた場合、地名などが微細な文字で表示されるため読み取りが困難となる。

表示部に表示される情報を読み取りやすくするため、表示画面に表示される表示領域や表示倍率を変更するようにすることは公知である。

例えば、特許文献１には、画面上に仮想的な縮尺選択ボタンや縮尺変更ボタンを装備し、ユーザによるこれらのボタン操作に応じて画面上に表示される地図の表示領域や縮尺を変化させる地図データ提供装置が記載されている。

特許文献２には、タッチパネル付きの表示部に第１および第２の領域を設け、第１の領域が一定時間以上継続して押圧操作された場合には第１の領域の表示の倍率を段階的に変化させ、第２の領域が押圧操作されつつスライドされた場合には第１の領域の表示をスライドさせる携帯端末装置が記載されている。

特許文献３には、表示部近傍に３軸加速度センサなどのセンサを内蔵させ、機器本体を持って表示部がその表示画面に対して垂直方向および水平方向へ移動されたときの移動量を検出し、垂直方向への移動量に応じて情報表示サイズを動的に変更させ、水平方向への移動量に応じて情報表示範囲を動的に変更するようにした電子機器が記載されている。

特許文献４には、携帯電話機において、撮像部が異なるタイミングで撮像した複数の画像を解析して携帯電話機の向きの変化すなわち表示部(撮像部)の方向の変化を算出し、算出した表示部の方向の変化を表示制御装置(サーバ)に送信し、表示制御装置では、携帯電話機から送信された表示部の方向の変化に基づいて、表示すべき表示画像を選択して携帯電話機に送信し、携帯電話機では表示制御装置から送信された表示画像に更新することにより、表示部の方向によって表示している画像を切り換える画像表示システムが記載されている。
特開２００２−２７７２７７号公報特開２００５−１８２３６７号公報特開２００５−２５１７０号公報特開２００５−１２２１００号公報

しかしながら、特許文献１、２に記載されている地図データ提供装置や携帯端末装置では、所望の表示領域および倍率に至るまでのボタン操作やタッチパネル操作が煩雑であるばかりでなく、小さなボタンやタッチパネルの領域を正しく押圧操作する必要があるため操作性に難がある。指先での細かな操作が求められるこのようなインタフェースは、特に、倍率を大きくして情報表示することを望む高齢者にとって使いづらいという課題がある。

特許文献１に記載されている地図データ提供装置では、画面上に縮尺選択ボタンや縮尺変更ボタンを特別に装備しなければならず、また、それらのボタンの表示領域により本来の情報表示領域が制限されてしまうという課題もある。

特許文献２に記載されている携帯端末装置では、表示部にタッチパネルを組み込まなければならず、また、表示情報をスライド操作させるためにだけ設けられる第２の領域により情報表示の領域が狭められてしまうという課題もある。

特許文献３に記載されている電子機器では、直感的かつ容易な操作で倍率の変更が実現可能であるが、高価な３軸加速度センサなどのセンサを組み込まなければならず、機器の高価格化を招くという課題がある。また、センサの追加に伴い消費電力が増加するという課題もある。

特許文献４に記載されている画像表示システムでは、利用者が携帯電話機を操作する度に表示制御装置(サーバ)への通信が発生するためコストが増大するという課題がある。また、表示制御装置との通信を行うためレスポンスが遅いという課題もある。

本発明の目的は、上記の課題を解決し、加速度センサなどの付加的なハードウェアを搭載することなく、撮影部と撮影対象との間の空間的位置関係を変化させることによって表示部に表示させる情報を制御できる情報端末装置を提供することにある。

上記目的を達成するため、本発明は、一定間隔で画像を入力する撮影部と、表示する情報を保持するメモリと、情報を表示する表示部と、前記撮影部により入力された画像を解析して該撮影部と撮影対象との間の空間的位置関係の変化を推定する推定部と、前記メモリから読み出して前記表示部に表示させる情報の表示形態を、前記推定部により推定された空間的位置関係の変化を元に制御する制御部を備え、前記推定部は、前記撮影部により入力された画像から検出された動き情報から信頼性の高い順に所定数の動き情報を選択する動き情報選択手段と、前記動き情報選択手段により選択された動き情報の信頼度に応じた数値を重みとし、変換前後での各対応画素の位置についての２乗誤差の重み付き総和を最小化する変換係数を算出する係数算出手段と、前記算出手段により算出された変換係数から前記撮影部と撮影対象との間の空間的位置関係の変化を推定する推定手段を備え、前記制御部は、情報の表示形態を制御するために、前記推定部により推定された空間的位置関係の変化における水平あるいは垂直移動量に対し所定定数を掛けた画素数分だけ前記表示部に表示させる情報を水平あるいは垂直移動させる機能を備え、前記所定定数は、任意に設定可能であることを特徴としている。

また、本発明は、前記撮像部により入力される画像は、マーカを含み、さらに、前記撮影部により入力された画像におけるマーカを解析し、該解析の結果に従って前記メモリに保持された情報を選択的に読み出す読取部を備え、前記制御部は、前記読取部により前記メモリから読み出された情報を前記表示部に表示させる情報とし、該情報の表示形態を、前記推定部により推定された空間的位置関係の変化を元に制御することを特徴としている。

本発明では、撮影部により入力された画像を解析して撮影部と撮影対象との間の空間的位置関係の変化を推定し、表示部で表示される情報を、この推定結果を元に制御するので、ユーザは情報端末装置の空間的位置を変化させるという直観的な操作で、表示される情報を制御できる。

また、撮影部により入力された画像におけるマーカを解析し、該解析の結果に従ってメモリに保持された情報を選択的に読み出すようにすることにより、入力画像に基づいて、表示部に表示される情報を選択し、その表示を制御することができる。

表示部で表示される情報の制御は、入力された画像を解析することにより推定される撮影部と撮影対象との間の空間的位置関係の変化を元に行うのでソフトウエアで可能であり、加速度センサなどの特別なハードウェアを組み込む必要はない。

以下、図面を参照して本発明を説明する。図１は、本発明の第１の実施形態を示す機能ブロック図である。第１の実施形態の情報端末装置は、撮影部11、推定部12、制御部13、メモリ14および表示部15を備える。

撮像部11は、一定間隔で任意の画像を入力する。撮像部11は情報端末装置内に備えられているので、利用者が情報端末装置を撮像部11の撮像面に対して垂直方向や水平方向などに移動させると、撮影部11と撮影対象との間の空間的位置関係が同じように変化することになる。

推定部12は、撮影部11により入力された画像を解析して撮影部11と撮影対象との間の空間的位置関係の変化を推定する。この推定の手法については後述する。

メモリ14上には表示部15で表示する表示情報が予め展開されている。制御部13は、推定部12で推定された撮影部11と撮影対象との間の空間的位置関係の変化に合わせてメモリ14上の該当する表示情報を読み出し、表示部15に送出する。表示部15は、制御部13から送出されてきた表示情報を表示する。

利用者が情報端末装置を、例えば空間的奥行き方向に距離変化させれば表示倍率が変化し、空間的位置を上下左右方向に変化させれば表示位置が変化するので、表示のスクロールや倍率変化などの操作を直感的に行うことができる。また、利用者が情報端末の空間的位置を連続的に変化させれば、表示もそれに応じて連続的に変化するように切り替えられる。

次に、推定部12で撮影部11と撮影対象との間の空間的位置関係の変化を推定する動作について説明する。撮影部11と撮影対象との間の空間的位置関係の変化は、利用者が情報端末装置を持ってそれを移動させる動作に基づくので、以下ではそれを利用者の動作として説明する。

利用者の動作は、撮影部11で入力された画像から動き情報を検出し、検出される動き情報の分布に基づいて推定できる。入力された画像から検出される動き情報は、例えば、利用者が情報端末装置を横に振った場合、図２に示されるようになり、情報端末装置を遠ざけるように奥行き方向へ移動させた場合には図３に示されるようになる。

局所的に検出される動き情報(動きベクトル)に基づいて利用者の動作を推定する場合、特願２００４−１７３０２号(先願)の局所的動き情報の集合から大域的動き情報を予測する技術を利用することができる。

図４は、上記先願の技術を利用した推定部12の構成を示す機能ブロック図である。推定部12は、動き情報検出手段41、動き情報選択手段42、係数算出手段43、適合度算出手段44および推定手段45を備える。

動き情報検出手段41は、撮像部11により一定間隔で取得された画像から動き情報を検出し、動き情報選択手段42は、動き情報検出手段41で検出された動き情報のうち利用者の動作の推定に使用する動き情報を必要に応じて選択する。撮像部11により取得された画像が既に符号化されていて動き情報を含んでいる場合には、動き情報検出手段41は省略でき、画像に含まれている動き情報を動き情報選択手段42で抽出すればよい。

利用者の動作は、一般的に６自由度のアフィン変換でモデル化でき、６組の動き情報があれば6個のアフィン変換係数を算出できる。大域的動き情報としてアフィン変換係数を算出する場合、係数算出手段43は、動き情報選択手段42で選択された動き情報を少なくとも６組用いて６個のアフィン変換係数を算出する。なお、動き情報選択手段42によって選択された動き情報が係数算出に必要な個数に満たない場合には、利用者の動作を推定するのに十分な信頼性を持った動き情報が存在しないとして、利用者の動作はないと判断する。

逆に、動き情報選択手段42によって十分な個数の動き情報が選択された場合には、これらの動き情報を用いて利用者の動作を推定する。選択された動き情報が多い場合には、動き情報を信頼性の高い順に選択するなどして、モデルにおける係数算出に使用する動き情報を制限すれば計算負荷を削減できる。動き情報選択手段131は、係数算出に使用する動き情報を制限する。信頼性の高い動き情報を選択する場合、選択する動き情報の個数はモデルにおける係数を算出するのに十分であれば任意の個数でよい。

動き情報の信頼性は、適度なエッジを持った領域ほど高いと判断できる。この判断基準には、発生符号量やDCT係数を利用することができる。例えば、可変長符号化されているDCT係数のビット量、DCT係数の最高次係数まで連続する０の長さ、DCT係数のAC成分絶対値和のうちの少なくとも１つをこの判断基準に用いることができる。また、複数フレームに渡って同位置の動き情報の変動が小さいほど動き情報の信頼性が高いと判断することもできる。

係数算出手段43では以下のようにしてアフィン変換係数を算出することができる。フレーム画像を構成する画素を走査順に並べたとき、i番目の画素の座標とそれに付随する局所的動き情報をそれぞれ(x_ｉ,y_ｉ)および(u_ｉ,v_ｉ)(i=1,2,・・・,n)で表すと、動き補償された後の座標(x_ｉ',y_ｉ')は、式(1),(2)で与えられる。

一方、６個のアフィン変換係数g_ｊ(1≦j≦6)を用いて変換された後の座標(x_ｉ",y_ｉ")は、式(3),(4)で与えられる。

各成分の２乗誤差の和を最小にする係数g_ｊを求めるとき、アフィン変換係数はx，y成分ごとに互いに独立であるので、x,y成分ごとに最小値を求めればよい。

各成分の２乗誤差の重み付き総和e_ｘ,e_ｙをそれぞれ式(5),(6)と定義し、この総和e_ｘ,e_ｙを最小にする係数g_ｊを最適なアフィン変換係数として求める。なお、w_ｋは重み係数であり、動き情報の信頼性に応じた数値を用いる。

２乗誤差の重み付き総和e_ｘ,e_ｙを最小化する係数g_ｊを求めるには、式(5),(6)をg_ｊで偏微分した値を０にして得られる式(7),(8)を解けばよい。

ただし、[x] は式(9)で表される和である。

ここで、Dを式(10)で定義すると、アフィン変換係数g_ｊは、式(11)で求めることができる。

適合度算出手段44は、係数算出手段43で算出された係数g_ｊを用いたときの変換が他の動き情報に対しても十分に適合するか検証し、十分に適合する係数g_ｊを選択する。係数算出手段43で算出された係数g_ｊを用いた変換が他の動き情報に対しても十分に適合している場合には該係数g_ｊを選択し、適合していない場合には動き情報を選択し直して係数算出手段43に与え、係数g_ｊを再度算出させる。

算出された係数g_ｊを用いた変換が他の動き情報に対しても十分に適合するまで上記一連の処理を繰り返し、適合したときの係数g_ｊを選択する。あるいは予め設定した一定回数だけ上記一連の処理を繰り返し、その中で最適な係数g_ｊを選択するようにしてもよい。

推定手段45は、適合度算出手段44で選択された係数g_ｊから利用者の動作の存在と種類を推定する。

アフィン変換を利用した場合、利用者が情報端末装置の空間的位置を変えたときの回転角度θ、水平方向の移動量m_ｘ、垂直方向の移動量m_ｙ、水平方向の拡大率s_ｘ、垂直方向の拡大率s_ｙはそれぞれ、式(12)で与えられる。

図５は、制御部13の動作の一例を示すフローチャートである。ここでは、パン(水平移動)、チルト(垂直移動)あるいはズーム(拡大縮小)を組み合わせた態様で表示部15の表示情報を制御できる例を示すが、単一の制御でもよく、また、回転させたり視点を変えたりするなど、さらに他の態様を組み合わせた制御でもよい。

図５において、まず、大域的動き情報の水平移動量xの絶対値|x|が閾値t1以上であるか否かを判定する(S51)。ここで|x|が閾値t1以上であると判定した場合、対応する移動方向に所定の画素数だけ水平移動した情報をメモリ14から読み出す(S52)。これにより表示部15の表示情報が所定の画素数だけ水平移動する。

ステップ(S52)の処理後、あるいは|x|が閾値t1以上でないと判定した場合には、大域的動き情報の垂直移動量yの絶対値|y|が閾値t2以上であるか否かを判定する(S53)。ここで|y|が閾値t2以上であると判定した場合、対応する移動方向に所定の画素数だけ垂直移動した情報をメモリ14から読み出す(S54)。これにより表示部15の表示情報が所定の画素数だけ垂直移動する。

ステップ(S54)の処理後、あるいは|y|が閾値t2以上でないと判定した場合には、大域的動き情報の倍率zについての値|z-1|が一定値以上あるいは一定値以下であるかを判定する。ここでは、倍率１を基準として|z-1|が閾値t3以上であるか否かを判定する(S55)。|z-1|が閾値t3以上であると判定した場合、メモリ14から読み出している情報を拡大縮小処理する(S56)。これにより表示部15の情報表示が拡大縮小する。

ステップ(S56)での拡大縮小に際し、表示情報の種類や形態に応じて、自動または手動で拡大縮小する領域を選択(S57)することができる。例えば、電子書籍などの文章を表示する場合、表示情報の全領域あるいは一部領域を選択して表示倍率を変化させることを可能とする。

表示倍率を変化させる場合、図６に示すように、通常表示(a)に対し、全領域を拡大して表示させたり(b)、一部領域を拡大して表示させたり(c)することができる。また、図７に示すように、横書きの文章の場合には横長の一部領域を拡大して表示し(a)、縦書きの文書の場合には縦長の一部領域を拡大して表示する(b)ようにすることもできる。これによって、文章全体における拡大部分の位置を容易に把握可能としつつ必要な部分だけを拡大表示させることができる。

上記のように、|x|が閾値t1以上、|y|が閾値t2以上または|z-1|が閾値t3以上の場合だけ表示部15の情報表示を移動または拡大縮小することにより、手振れによる情報表示の過剰な移動または拡大縮小を抑制できる。

利用者の明確な動作が存在するとき、|x|あるいは|y|に任意の定数を掛けた画素数分だけ表示部15の情報表示を移動させることもでき、この場合の任意の定数を設定可能にすることもできる。定数を小さく設定すれば利用者の大きな動作でも情報表示をきめ細かく移動させることができ、逆に定数を大きく設定すれば、利用者の小さな動作で情報表示を大きく移動させて広い領域の情報を概観することができる。

また、定数を情報表示の倍率に連動させることも可能である。例えば、|x|あるいは|y|に表示倍率の逆数を掛けた画素数分だけ表示部15の情報表示を移動させれば、表示倍率が大きいときは移動する画素数が少なくなり、表示倍率が小さいときは移動する画素数が多くなって表示制御を直感的なものにすることができる。

拡大縮小時においても任意の定数を掛けた倍率で表示情報を拡大縮小させることができ、その定数を設定可能にすることもできる。

図８は、本発明の第２の実施形態を示す機能ブロック図である。第２の実施形態の情報端末装置は、撮影部81、推定部82、制御部83、メモリ84、表示部85および読取部86を備える。第２の実施形態では、撮影されたマーカに基づいて利用者の動作を推定可能にし、推定可能な動作の種類を増やすとともに推定の精度を高めることを可能にしている。第２の実施形態によれば、撮影部81と撮影対象との間の空間的位置関係に加えて傾きの変化なども推定し、この傾きの変化に応じて画像の俯瞰角度を変更することなどもできる。

読取部86は、撮影部81により入力された画像におけるマーカを解析し、該解析結果に従ってメモリ84に保持された情報を選択的に読み出す。また、読み出した情報にリンクした情報がサーバなどの外部記憶手段87にあれば、該情報を取得してメモリ84に保存し、該情報も選択的に表示可能とする。

推定部82は、撮影部81により入力された画像からマーカの形状を取得し、マーカの形状変化から利用者の動作を推定できる。例えば、マーカの形状変化から利用者の動作を推定する場合、推定部82は、まず、撮影部81により入力された画像におけるマーカの位置を初期位置として設定する。次に、図９に示すように、一定間隔で入力される画像におけるマーカと初期位置のマーカの座標(x_ｉ',y_ｉ'),(x_ｉ,y_ｉ)の対応関係から射影変換係数を算出する。

この射影変換係数の算出には、特願２００４−１７３０２号で開示した技術を利用できる。ここには、局所的動き情報(u_ｉ,v_ｉ)(i=1,2,・・・,n)を用いて式(1),(2)で表される動き補償された後の座標(x_ｉ',y_ｉ')と、j(j=1,2,・・・,m)をパラメータとし、大局的動き情報g_ｊと射影変換関数fおよびhを用いて式(13),(14)表される射影変換された後の座標(x_ｉ",y_ｉ")との各成分の２乗誤差の総和が最小となる射影変換係数g₁,g₁,・・・,g_ｍを算出する手法が記載されており、この技術を利用すれば局所的動き情報から射影変換係数を算出できる。

図１０は、局所的動き情報から大域的動き情報(射影変換係数)を算出する処理手順の例を示すフローチャートである。まず、マーカの局所的動き情報から大域的動き情報の初期値〈g^０〉を推定する(S11)。なお、〈〉付き小文字はベクトルを表す。この初期値〈g^０〉には、局所的動き情報の中央値、さらには周囲の局所的動き情報の重み付け平均値などを用いることができる。

次に、射影変換関数f,hを用いて、推定された大域的動き情報〈g^０〉の補正値〈Δg〉を導出し(S12)、この補正値〈Δg〉を用いて大域的動き情報〈g^０〉を補正する(S13)。次に、補正された大域的動き情報〈g^ａ〉を評価し(S14)、さらにS12以降の処理を行うか否かを判定する(S15)。

S12では、まず、射影変換関数f,hを大域的動き情報の各成分g_１,g_２,・・・,g_ｍでそれぞれ偏微分して得られる複数の導関数f_１′,f_２′,・・・,f_ｍ′、h_１′,h_２′,・・・,h_ｍ′を２つずつ掛け合わせた関数に、大域的動き情報g_ｊ ^０(推定による近似値)及び大域的動き情報を推定するのに用いる局所的動き情報を持つ対象画像データの座標x_ｉ,y_ｉを代入し、それぞれの総和を要素とした導関数行列〈N〉を算出する(S121)。なお、〈〉付き大文字は行列を表す。

次に、局所的動き情報による参照位置x_ｉ ^０,y_ｉ ^０と大域的動き情報の推定による参照位置の差分に、射影変換関数の導関数f_１′,f_２′,・・・,f_ｍ′、h_１′,h_２′,・・・,h_ｍ′を掛け合わせた関数を算出し、該関数に大域的動き情報g_ｊ ^０及び複数の処置対象画像データの座標(x_ｉ,y_ｉ)を代入して得られる値の総和を要素とする導関数ベクトル〈m〉を算出する(S122)。最後に、導関数行列〈N〉の逆行列に導関数ベクトル〈m〉を乗算して補正値を算出する(S123)。

S13では、推定された大域的動き情報に補正値を加算することにより、推定された大域的動き情報の精度を向上させることができ、S14では、S123で算出された補正値が所定閾値以下であるか否かや、補正された大域的動き情報と局所的動き情報の２乗誤差が所定閾値以下であるか否かなどに基づいて、大域的動き情報を評価できる。

射影変換関数fおよびhとして、m＝8とした式(15),(16)で表される射影変換関数fおよびhを与えた場合の、S12での算出処理は以下のとおりである。

最小二乗法によって求められる大域的動き情報g_ｊの最適値をg_ｊ ^ａとし、近似値g_ｊ ^０に加えるべき未知の補正値をΔg_ｊとすると、式(17)が成り立つ。

射影変換関数f,hを大域的動き情報の各成分g_１,g_２,・・・,g_８でそれぞれ偏微分して得られる導関数f_１′,f_２′,・・・,f_８′、h_１′,h_２′,・・・,h_８′は、式(18),(19)で与えられる。

これらの導関数を２つずつ掛け合わせた積に、大域的動き情報g_ｊ ^０(推定による近似値)及び複数の処置対象画像データの座標x_ｉ,y_ｉを適用して得られる値の総和を要素とする導関数行列〈N〉は、式(20)で与えられる。ただし、式(20)の［］は、ガウス(Gauss)の和の記号で式(21)で表され、偏微分された射影変換関数f_ｊ′に個々の座標(x_ｉ,y_ｉ)を代入して和を計算した項になる。

一方、導関数ベクトル〈m〉は、式(22)で与えられる。

大域的動き予測情報(射影変換係数)の補正値〈Δg〉は、−〈N〉^−１〈m〉を計算することで得ることができる。射影変換係数の算出は、上記手法に限らず、他の手法によって算出してもよい。

制御部83は、表示情報を射影変換係数で変換して表示部85へ送出する。この場合にも、情報端末装置とマーカの相対的な水平方向の距離xまたは垂直方向の距離yが閾値以上の場合だけ表示情報を移動させ続けることにより、手振れによる表示情報の過剰な移動を抑制するとともに、利用者の明確な動作で表示を移動制御することができる。情報端末装置とマーカの水平方向および垂直方向の相対的な位置関係が初期位置に戻ったとき表示情報の移動を停止させる。

情報端末装置の奥行き方向距離zが、初期位置を基準として一定以上あるいは一定以下にある場合には、表示情報を拡大または縮小させ続けることにより、手振れによる表示情報の過剰な拡大縮小を抑制するとともに、利用者の明確な動作で表示情報を拡大縮小させることができる。情報端末装置の奥行き方向距離zが初期位置に戻ったとき、表示情報の倍率変化を停止させる。奥行き方向距離zに任意に設定可能な定数を掛けた倍率で表示情報を拡大縮小させ続けさせることもできる。

また、３次元地図などの立体物を表示する場合には、利用者の動作を立体物に対する視点の前進、後退、上昇、下降などに対応づけることもできる。例えば、情報端末装置とマーカの相対的距離に従って立体物の表示倍率を変化させ、相対的位置関係に従って立体物の表示位置を変更させ、情報端末装置の向きや傾きから立体物の表示回転角度を変化させることができる。

また、表示情報を固定する機能を持たせたボタン、情報表示装置の現在位置を初期位置として設定する機能を持たせたボタン、初期位置での表示に復帰させる機能を持たせたボタンなどを設けておけば、不意の動きに対して表示情報を変化させないようにしたり、適宜の位置での情報表示に戻したりすることができる。

情報端末装置の相対的位置を推定するためのマーカとして図１１に示すようなバーコードを利用することもできる。バーコードは表示情報を埋め込み可能であるので、バーコードに埋め込まれた情報を表示情報として直接読み取り、表示させることもできる。この場合には、メモリ84や外部記憶手段87から情報を読み出す必要がないので、通信手段が使えない環境でも情報表示とその制御が可能となる。３次元情報などがバーコードに埋め込まれている場合には、埋め込まれた３次元情報などを表示するともに利用者の動作に応じて表示情報における視点を移動させたり、表示倍率を変化させたりすることができる。

また、バーコードと表示情報の対応表を予め入手するようにして、同一のバーコードでもメモリ84から異なる情報が読み出されるようにすることができる。例えば、博物館、美術館、展覧会などの会場において、各箇所に予め配置されたバーコードに位置情報を持たせておくことで会場のレイアウトが変更されても対応表だけを更新することでその時々の順路に沿った情報を表示させて案内することができる。

また、機器のパーツごとにバーコードを印刷しておけば、複数のバーコードを組み合わせて機器の操作説明などを順次表示させることも可能である。

図１２および図１３は、表示部で表示させることができる画面の例である。図１２は地図情報の例であり、利用者が情報端末装置の奥行き方向の距離を変えることにより、元の画像(a)を拡大して表示(b)させることができる。図１３は、３次元の立体地図情報の例であり、利用者が情報端末装置の向きや傾きなどを変えることにより、元の画像(a)を向きを変えて表示(b)させたり、視点(俯瞰角度)を移動して表示(c)させたり、その状態でさらに拡大して表示(d)させたりすることができる。

本発明の第１の実施形態を示す機能ブロック図である。入力画像から検出される動きベクトルの例(端末を横に振った場合)を示す図である。入力画像から検出される動きベクトルの他の例(端末を遠ざけた場合)を示す図である。推定部の構成を示す機能ブロック図である。制御部の動作の一例を示すフローチャートである。倍率変化の表示画像の例を示す図である。倍率変化の表示画像の例(横書きの文章，縦書きの文章の場合)を示す図である。本発明の第２の実施形態を示す機能ブロック図である。射影変換係数の算出の説明図である。局所的動き情報から大域的動き情報(射影変換係数)を算出する処理手順の例を示すフローチャートである。空間的位置関係の推定に利用し得るバーコードの例を示す図である。表示部で表示される画像の例を示す図である。表示部で表示される画像の他の例を示す図である。

符号の説明

11,81・・・撮影部、12,82・・・推定部、13,83・・・制御部、14,84・・・メモリ、15,85・・・表示部、41・・・動き情報検出手段、42・・・動き情報選択手段、43・・・係数算出手段、44・・・適合度算出手段、45・・・推定手段、86・・・読取部、87・・・外部記憶手段

Claims

一定間隔で画像を入力する撮影部と、
表示する情報を保持するメモリと、
情報を表示する表示部と、
前記撮影部により入力された画像を解析して該撮影部と撮影対象との間の空間的位置関係の変化を推定する推定部と、
前記メモリから読み出して前記表示部に表示させる情報の表示形態を、前記推定部により推定された空間的位置関係の変化を元に制御する制御部を備え、
前記推定部は、前記撮影部により入力された画像から検出された動き情報から信頼性の高い順に所定数の動き情報を選択する動き情報選択手段と、前記動き情報選択手段により選択された動き情報の信頼度に応じた数値を重みとし、変換前後での各対応画素の位置についての２乗誤差の重み付き総和を最小化する変換係数を算出する係数算出手段と、前記算出手段により算出された変換係数から前記撮影部と撮影対象との間の空間的位置関係の変化を推定する推定手段を備え、
前記制御部は、情報の表示形態を制御するために、前記推定部により推定された空間的位置関係の変化における水平あるいは垂直移動量に対し所定定数を掛けた画素数分だけ前記表示部に表示させる情報を水平あるいは垂直移動させる機能を備え、前記所定定数は、任意に設定可能であることを特徴とする情報端末装置。
前記推定部は、前記撮影部により入力された画像から検出された局所的な動き情報から算出された大域的動き情報を用いて前記撮影部と撮影対象との間の空間的位置関係の変化を推定する機能を備えたことを特徴とする請求項１に記載の情報端末装置。
前記制御部は、前記推定部で推定された前記撮影部と撮影対象との間の空間的位置関係の変化あるいはその組み合わせに応じて前記表示部での情報の表示形態での変化の態様を異ならせる機能を備えたことを特徴とする請求項１に記載の情報端末装置。
前記制御部は、前記推定部で推定された前記撮影部と撮影対象との間の空間的位置関係の変化が空間的な奥行きの距離変化である場合、前記表示部に表示させる情報の表示倍率を変化させる機能を備えたことを特徴とする請求項３に記載の情報端末装置。
前記制御部は、前記推定部で推定された前記撮影部と撮影対象との間の空間的位置関係の変化が空間的な上下左右変化である場合、前記表示部に表示させる情報の表示位置を変化させる機能を備えたことを特徴とする請求項３に記載の情報端末装置。
前記制御部は、前記推定部で推定された前記撮影部と撮影対象との間の空間的位置関係の変化が連続した場合、該連続した位置変化に応じて前記表示部での情報の表示形態を連続的に変化させる機能を備えたことを特徴とする請求項３に記載の情報端末装置。
前記撮像部により入力される画像は、マーカを含み、
さらに、前記撮影部により入力された画像におけるマーカを解析し、該解析の結果に従って前記メモリに保持された情報を選択的に読み出す読取部を備え、
前記制御部は、前記読取部により前記メモリから読み出された情報を前記表示部に表示させる情報とし、該情報の表示形態を、前記推定部により推定された空間的位置関係の変化を元に制御することを特徴とする請求項１に記載の情報端末装置。
前記読取部は、前記撮影部により入力された画像におけるマーカとしてバーコードを解析し、該解析の結果に従って前記メモリに保持された情報を選択的に読み出す機能を備えたことを特徴とする請求項７に記載の情報端末装置。
前記読取部は、バーコードに埋め込まれた情報が外部記憶装置への識別情報を保持していれば該外部記憶装置に記憶された情報も取得する機能を備えたことを特徴とする請求項８に記載の情報端末装置。
前記読取部において、バーコードに対応して前記メモリから読み出される情報は差し替え可能であることを特徴とする請求項８に記載の情報端末装置。
前記推定部は、前記撮影部と撮影対象との間の空間的位置および傾きの変化を推定する機能を備えたことを特徴とする請求項７に記載の情報端末装置。
前記推定部は、前記撮影部と撮影対象との間の空間的位置および傾きの変化の推定をマーカを用いて行うことを特徴とする請求項１１に記載の情報端末装置。
前記推定部が用いるマーカは、前記読取部が用いるマーカと兼用されていることを特徴とする請求項１２に記載の情報端末装置。
前記制御部は、前記推定部により推定された前記撮影部と撮影対象との間の空間的位置および傾きの変化に応じて、前記表示部で表示される情報の位置、倍率、俯瞰角度を変更させる機能を備えたことを特徴とする請求項１１に記載の情報端末装置。