JP3918053B2 - 小型携帯端末 - Google Patents
小型携帯端末 Download PDFInfo
- Publication number
- JP3918053B2 JP3918053B2 JP2003008857A JP2003008857A JP3918053B2 JP 3918053 B2 JP3918053 B2 JP 3918053B2 JP 2003008857 A JP2003008857 A JP 2003008857A JP 2003008857 A JP2003008857 A JP 2003008857A JP 3918053 B2 JP3918053 B2 JP 3918053B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- camera
- portable terminal
- image
- small portable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Telephonic Communication Services (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、小型携帯端末に関するものであり、特に、作業空間を動き回りつつ作業をする利用者に、作業空間にある作業対象や作業空間の特定の場所を直接的に指し示しながら作業手順や指示を与えることができる小型携帯端末に関するものである。
【０００２】
【従来の技術】
携帯電話やＰＤＡ（Personal Digital Assistant）、ウェアラブルコンピュータなどの小型携帯端末は、大型の表示装置やプロジェクタを搭載することができないため、従来においては、携帯電話やＰＤＡに備わっているような、小型の液晶表示装置や、ウェアラブルコンピュータでしばしば用いられるような頭部装着型表示装置などを出力装置として採用することが多かった。
【０００３】
レーザ光源を用いる出力装置、いわゆるレーザポインタを用いた出力装置や、それを含むシステム（例えば、特許文献１、非特許文献１）においては、利用者が何かの作業をしている時に、利用者に対して、次に何を作業対象にすべきか、どちらを見ていれば作業が円滑に進むかなどを、レーザ光源から照射されたレーザスポットにより、作業空間中の特定の対象や場所を直接指し示して伝達することが可能である。このため、利用者が作業空間から目を離さずに効率的に作業を進行できるという利点を有する。この利点は、例えば、先の述べた液晶表示装置などの表示装置にはない優れたものである。頭部装着型表示装置は、表示部と作業空間が同じ視野に入るため、利用者が作業空間から目を話さずに表示を見ることができるという同様の利点を持っているが、利用者の視野を狭くする、不快感を伴うなどの欠点がある。
【０００４】
レーザ光源を用いた出力装置は、小型化しやすく、また、液晶表示装置や頭部装着型表示装置にはない利点を備える上、音声や、文字情報、映像情報などを提示できる、スピーカや小型の液晶表示装置を併用することによって、より効果的に情報を伝えることが可能となる。
【０００５】
小型携帯端末の入力装置については、小型化がしやすく、作業環境の状況をすばやく取り込めるという点から、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）を用いたカメラが使われることが多い。実際、携帯電話やＰＤＡ、ウェアラブルコンピュータの多くに、カメラが搭載されている。これらの装置では、レーザ光源から照射されたレーザスポットの位置と作業環境との両方を画像として取得することができる。
【０００６】
以上のことから、レーザ光源とカメラを用いた小型の入出力装置を含む小型携帯端末がいくつか研究開発されている（例えば、特許文献２、特許文献３、非特許文献２）。
【０００７】
コミュニケーション端末は、２組の回転台を有し、その一方にカメラ、もう一方にレーザ光源を搭載した可搬性のよい小型端末である。未使用時は携帯して移動し、使用時は作業空間にいる利用者（被指示者）の傍らに設置する。遠隔地の指示者はカメラとレーザポインタを独立、または同期させて制御しつつ、映像を見ながら音声とレーザポインタで、小型端末の利用者に指示を送ることができる（特許文献２、特許文献３を参照）。
【０００８】
小型端末（Telepointer）は、可動レーザポインタ（２軸制御可能）と固定カメラ、スピーカなどを搭載し、首から下げて使用する装着型のコミュニケーション端末である（非特許文献２）。カメラは身体の正面方向を撮影しており、レーザポインタはその視野内の特定の位置にレーザスポットを照射することができる。遠隔地の指示者はレーザポインタを制御しつつ、映像を見ながら音声とレーザポインタで、小型端末の利用者に指示を送ることができる。
【特許文献１】
特開平９−４６７７６号公報
【特許文献２】
特開平２０００−１２５０２４号公報
【特許文献３】
特開２００１−４５４５１号公報
【非特許文献１】
K. Yamazaki, A. Yamazaki, H. Kuzuoka, S. Oyama, H. Kato, H. Suzuki, and H. Miki, "GestureLaser and Gesturelaser Car: Development of an embodied space to support remote instruction", In Proc. European Conference on Computer Supported Cooperative Work (ECSCW'99), pp.239-258, 1999
【非特許文献２】
S. Mann, "Telepointer: Hands-free completely self contained wearable visual augmented reality without headwear and without any infrastructure reliance", In Proc. IEEE International Symposium on Wearable Computers (ISWC00), pp. 177-178, 2000
【０００９】
【発明が解決しようとする課題】
これらの従来の技術には、次のような問題点がある。コミュニケーション端末は、カメラ、レーザポインタそれぞれを独立させて動かすことができるように、回転台を２組備えている。カメラやレーザポインタを搭載した状態で高速に回転台を制御するには、回転台の性能が高いこと、例えば、トルクが大きいこと、静止時から動き始めるまでの時間が短いこと、どのくらい回転したかやどのくらいの速度で回転しているかを検出し制御する能力が高いことなどが要求される。このため、その駆動部（例えば、モータ）を小型化するには限界がある。結果として、２組の回転台を有することは端末の小型化を妨げることとなる。
【００１０】
プロセス技術が向上するのに伴って省電力化が進む電子回路とは異なり、回転台の駆動部の省電力化を急激に推進するのは困難である。このため、２組の回転台を備えることは、小型携帯端末のバッテリ容量や重量が増加する原因となる。このため、例えば、コミュニケーション端末は、未使用時は携帯して移動して、使用時は利用者の傍らに設置して使用するように設計がなされている。
【００１１】
さらに、設置した上での使用しか想定されていないので、例えば、手に持ち、または、利用者の身体の一部に装着して動きながら使用した場合、カメラで撮影したい対象を撮影し、レーザポインタで指し示したい対象にレーザスポットを照射するためには、遠隔地とコミュニケーション端末が用いる無線通信網の通信状態が良好であるような状態にして、その上、遠隔地側の指示者が常にカメラとレーザポインタを制御しなければならない。
【００１２】
回転台で回転するカメラでは、撮影したい対象だけではなく周辺状況も同時に撮影することが困難であるため、遠隔地の指示者が作業空間全体を把握しづらくなる。結果として、回転台のカメラを回転させたい方向を決めるための情報を得にくいという問題点がある。
【００１３】
前述した小型端末では、カメラは固定で利用者の前方を撮影しており、レーザポインタのみ２軸の制御が可能である。この場合には、機構は単純なため小型軽量化しやすく、携帯して、あるいは装着して利用することができる。しかし、装着した利用者の動きによりレーザポインタで照射されるレーザスポットの位置が安定しない。また、カメラから得られる映像がその利用者の動きに依存するため、必ずしも撮影したい対象をカメラが撮影するとは限らないという問題点がある。
【００１４】
また、この小型端末のカメラは、利用者の胸の中央辺りに固定され、そこから利用者の前方を撮影している。このため、両手で作業しているとカメラの視界が両手で覆われてしまい、カメラで作業空間を撮影しづらくなるという問題点がある。
【００１５】
レーザポインタは、人物の顔面、特に目に照射されると目に障害を与える危険性があるが、コミュニケーション端末や、カメラ付きの小型端末には、そのような誤照射を防止する手段は備えられていない。
【００１６】
本発明は、上述のような問題点を解決するためになされたものであり、本発明の目的は、物体や人物が存在する作業空間を動き回りつつ作業をする利用者に、作業空間にある作業対象や作業空間の特定の場所を直接的に指し示しながら作業手順や指示を与えることができる小型携帯端末を提供することにある。
【００１７】
【課題を解決するための手段】
上記のような目的を達成するために、本発明による小型携帯端末は、基本的な構成として、レーザ光によりレーザスポットを照射するレーザ光源と前記レーザ光とほぼ同じ光軸の視野方向を有するカメラとが一体に構成されたヘッド部、前記ヘッド部を回転させる回転部、および前記回転部を駆動制御して前記カメラの視野方向および前記レーザスポットの照射位置を制御する制御部から構成される回転入出力装置と、前記回転入出力装置と外部端末との間でデータを無線送受信する無線通信部と、前記回転入出力装置に組み込まれた運動計測部により前記回転部の運動データを計測すると共に前記回転部の内部状態および前記運動データに基づいて前記制御部により制御される前記回転部の駆動制御において前記ヘッド部の姿勢を安定させる姿勢安定化手段と、前記回転入出力装置を利用者の肩部に載置する装着具とを備え、前記レーザスポットにより実環境中の特定の対象や場所を安定して指し示す構成とされる。これにより、例えば、本発明の小型携帯端末が、装着具により、前記回転入出力装置が利用者の肩部に載置された場合に、前記姿勢安定化手段により前記レーザスポットの照射で実環境中の特定の対象または場所を安定して指し示すことができる。
【００１８】
また、本発明による小型携帯端末は、上記の構成に加えて、さらに、前記レーザ光源でレーザスポットを照射したい対象が撮影された基準画像と前記カメラにより各時点において撮影される入力画像を用いて２画像間の２次元アファン変換パラメータまたは２次元射影変換パラメータを幾何学的位置合わせパラメータとして算出する画像位置合わせ手段が備えられ、前記姿勢安定化手段が、前記幾何学的位置合わせパラメータ、前記回転部の内部状態、および前記運動データに基づいて、前記制御部により前記回転部を制御し前記ヘッド部の姿勢を安定させるように構成される。また、この場合に、前記無線通信部を介して受信する前記外部端末からの制御命令によって、前記回転部を制御して前記ヘッド部の向きを変更した後に前記カメラで画像を撮影し、この撮影された画像を前記基準画像とし、前記レーザスポットを照射する対象を変更することができるように構成されている。
【００１９】
また、本発明による小型携帯端末は、上記の構成に加えて、さらに、前記カメラにより撮影された画像から顔の色と形状によるモデル近似で顔画像を検出する顔画像検出処理を行い、前記画像に写った人物の顔を検出する顔画像検出手段と、前記顔画像検出手段により顔が検出された場合に、前記レーザ光源を消灯する誤照射防止手段とを備えるように構成される。
【００２０】
また、本発明による小型携帯端末は、上記の構成に加えて、さらに、利用者の位置および向きを計測する利用者位置方位計測部と、前記利用者位置方位計測部から得られる前記利用者の位置および向きに基づいて、前記回転入出力装置の回転部を制御し、進路方向にヘッド部が向くようにして、進路方向前方の通路または天井にレーザスポットを照射し、前記利用者の移動に応じて目的地までの行程を前記レーザスポットによって指し示す直接ナビゲーション手段とを備えるようにも構成される。ここでの利用者位置方位計測部は、例えば、利用者の周囲状況を撮影するカメラ、加速度センサ、ジャイロ、磁気センサ、ＧＰＳ、利用者の周辺に取り付けられた超音波マイクと対になる超音波スピーカ、利用者の周辺に取り付けられた赤外線発光部と対になる赤外線受光部、または、それらの組み合わせで構成され、前記利用者の位置および向きを計測する。
【００２１】
また、本発明による小型携帯端末は、上記の構成に加えて、さらに、前記回転入出力装置に固定された魚眼カメラ、全方位カメラ、または複数カメラ群のいずれかの高視野カメラを備え、前記高視野カメラにより周辺状況を撮影し、撮影された周辺状況の画像を前記無線通信部により外部端末に送信するようにも構成される。これにより、前記回転部によるヘッド部の回転により前記カメラの撮影方向が変化した場合に前記カメラでは一部しか写らない周辺状況を撮影して、撮影された周辺状況の画像を指示者の外部端末に送信することができる。
【００２２】
本発明による小型携帯端末は、装着具を備えているが、この装着具には、前記回転入出力装置、またはマルチメディア入出力装置、またはその両方を利用者の肩部に固定することができる。マルチメディア入出力装置は、画像を表示し、音声を入出力するマルチメディア入出力装置を有するものであり、このマルチメディア入出力装置を小型携帯端末に備えることにより、マルチメディア入出力装置を用いて、利用者に対して指示を与えることができる。
【００２３】
上記のような構成を有する本発明の小型携帯端末によれば、ヘッド部のカメラとレーザ光源は一体となっており、レーザ光源が制御されて、レーザ光によりレーザスポットが照射される位置が制御されるが、同時に制御されるレーザ光源と一体化されたカメラは、レーザ光とほぼ同じ光軸の視野方向を有するようにレーザ光源と一体に構成されているので、１組の回転部で、カメラとレーザ光源の両方の方向を同期させて変更することができる。そのため、カメラで作業空間を撮影しながらレーザ光源で作業空間を直接指示する入出力装置を備えた小型携帯端末の小型軽量化、および省電力化を容易に実現することができる。
【００２４】
さらに、小型軽量端末において、姿勢安定化手段が備えられており、姿勢安定化手段は、回転部の内部状態、及び運動計測部の運動データに基づいて回転部を制御するため、小型携帯端末を携帯、または装着して利用する際に、小型携帯端末の向きが変わってしまっても、カメラが同じ方向を撮影する、つまり、レーザ光源が同じ方向にレーザスポットを照射するように、自動的に制御することができる。
【００２５】
また、別の特徴によれば、姿勢安定化手段は、画像位置合わせ手段により得られるレーザスポットを照射したい対象やその周辺が撮影された基準画像とヘッド部のカメラで撮影した画像との幾何学的位置合わせパラメータ、回転部の内部状態、及び運動計測部の運動データに基づいて回転部を制御するため、その小型携帯端末を、携帯したり、装着したり、一時的に机や地面などに置いたりして利用しても、なるべく安定して、カメラが同じ対象を撮影することができるようになる。つまり、レーザ光源が同じ対象にレーザスポットを照射するように自動的に制御することができる。
【００２６】
また、本発明の小型携帯端末では、無線通信部で受信する外部端末からの制御命令によって回転部を制御してヘッド部の向きを変更した後に、ヘッド部のカメラで画像を撮影することにより、基準画像を更新することができる。基準画像を更新し、姿勢安定化手段を適用することで、カメラで撮影しつつ前記レーザスポットを照射したい対象を変更することができる。
【００２７】
これにより、例えば、外部端末の利用者が小型携帯端末の利用者に指示を送る場合、無線ＬＡＮや携帯電話通信網などの無線通信によって伝達される外部端末から発信される制御命令を無線通信部で受信して基準画像を更新し、小型携帯端末の利用者に作業空間の特定の対象や場所をレーザポインタで直接指し示すことができる。このため、常に無線通信が良好でなくても、基準画像を変更するときのみ通信ができれば、撮影し指示する対象を変更する場合においても、安定して、カメラがその対象を撮影し、レーザ光源がその対象にレーザスポットを照射することができる。
【００２８】
また、別の特徴として、本発明の小型携帯端末は、顔画像検出手段および誤照射防止手段を備える。顔画像検出手段は、カメラにより撮影された画像から顔の色と形状によるモデル近似で顔画像を検出する顔画像検出処理を行い、前記画像に写った人物の顔を検出するので、顔画像検出手段により、カメラで撮影された画像の中心付近において顔が検出された場合に、誤照射防止手段により、レーザ光源を消灯して人物に前記レーザスポットが照射されないようにする。
【００２９】
これにより、例えば、小型携帯端末の利用者以外の人物が存在する作業空間では、誤ってその人物の目に障害を与える危険性が減少する。そのため、利用者以外の人物が存在する作業空間において、安心して小型携帯端末のレーザポインタによる指示を受けながら作業をすることができるようになる。
【００３０】
また、別の特徴として、本発明による小型携帯端末によれば、利用者位置方位計測部から得られる利用者の位置や向きに基づいて、利用者の目的地までの行程をレーザスポットによって指し示す直接ナビゲーションを行うことができる。
【００３１】
これにより、例えば、利用者が目的地に向けて移動している間は、直接ナビゲーションを用いることにより、レーザスポットを地面や、天井、壁などに照射しながら、利用者を目的地まで案内し、到着した後は、すでに小型携帯端末に登録してある参照画像や、外部端末からの指示により更新される参照画像に基づき、姿勢安定化手段を適用することができる。このため、良好な状態を保つことが必ずしも容易ではない無線通信を使用する頻度を少なくしつつ、作業空間を動き回りつつ作業をする小型携帯端末の利用者に、目的地までの行程や作業対象をレーザポインタで指し示すことができる。
【００３２】
また、別の特徴として、本発明による小型携帯端末によれば、魚眼カメラ、全方位カメラ、または複数カメラ群のいずれかの高視野カメラを用いて、回転部によって撮影方向が変化するヘッド部のカメラでは撮影しきれない周辺状況についても撮影することができる。
【００３３】
これにより、例えば、高視野カメラで撮影された高視野画像を外部端末に送信すれば、外部端末の利用者（指示者）はこの高視野画像を見て作業空間の周辺状況をよく把握することができる。このため、あらかじめ、指示者はどの方向に作業対象が存在するかを理解してから、外部端末を用いて、回転部を制御し基準画像を更新する制御命令を小型携帯端末に送信することができる。
【００３４】
また、本発明の小型携帯端末は、利用者の肩部に載置可能な装着具を備えており、この装着具により、回転入出力装置、または画像を表示し、音声を入出力するマルチメディア入出力装置、またはその両方を肩部に固定することができる。このため、利用者は作業空間を動き回りながら作業を実施する際には、小型携帯端末を装着して、両手で作業をすることができる。さらに、カメラは利用者の頭部に近いため、利用者の両手で作業していても、小型端末のカメラのように両手でカメラの視界が覆われてしまうという問題を軽減できる。
【００３５】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本発明の一実施例の小型携帯端末の典型的な利用例を説明するための図である。図１を参照して説明する。小型携帯端末１１の回転入出力装置１０１に備えられたヘッド部２０１は、レーザ光源３０１からレーザスポット３０４を照射すると共に、レーザ光とほぼ同じ光軸の視野方向となっているカメラ３０２により映像を撮影する。小型携帯端末１１に備えられたマルチメディア入出力装置１０２は、小型携帯端末１１の利用者１やその周辺の音声を音声入出力部２０５で録音すると共に、指示者側によって送られてくる映像や音声を映像出力部２０６及び音声入出力部２０５で出力する。
【００３６】
図１において、別の場所にいる指示者２は大型の表示装置４０３を備えた指示用端末１２を用いて、小型携帯端末１１から送信される映像や音声を視聴しながら、作業空間の指し示したい作業対象にレーザスポット３０４が照射されるように小型携帯端末１１に制御命令を送る。もちろん、指示用端末１２としては、携帯電話やＰＤＡのような小型端末を用いる構成としても良い。
【００３７】
この例では、指示者２は、指示用端末１２の表示装置４０３に表示されている小型端末１１から送信された映像の特定の位置を、表示装置４０３の表示画面に表示されているカーソル４０２を移動させる操作を行い、このカーソル４０２の位置で指定することにより、小型携帯端末１１に対して、その指定された位置にレーザスポットを照射させる制御命令を送り、また、その位置で基準画像を更新させる制御命令を送る。
【００３８】
ここでは、カーソル４０２は、指示用端末１２のポインティング装置４０６を用いて移動させることができる。ポインティング装置４０６としては、マウスやトラックボール、非特許文献１にあるような手振りを画像処理で認識する装置などを用いることができる。
【００３９】
利用者１は、指示用端末１２におけるカメラ４０４で撮影された映像、また、あらかじめ準備された作業内容を示す映像、音声入出力装置４０５で録音された指示者側の音声、及びレーザスポット３０４の照射地点を参考にしながら作業を実施することができる。
【００４０】
図１において、小型携帯端末１１は、利用者１の肩部に載置可能な装着具１０３を有し、装着具１０３により、回転入出力装置１０１、またはマルチメディア入出力装置１０２、またはその両方を肩部に固定することができるように構成されている。このため、利用者は作業空間を動き回りながら作業を実施する際、小型携帯端末１１を装着して、両手で作業をすることが可能となる。
【００４１】
図２は、小型携帯端末１１の構成例を示すブロック図であり、図３は、指示用端末１２の構成例を示すブロック図である。図２に示すように、小型携帯端末１１は、回転入出力装置１０１、マルチメディア入出力装置１０２、無線通信部２０７から構成されており、回転入出力装置１０１は、レーザ光源３０１およびカメラ３０２から構成されるヘッド部２０１と、サーボモータ３０３から構成される回転部２０２と、運動計測部２０３と、制御部２０４とから構成されている。また、マルチメディア入出力装置１０２は、映像出力部２０６，音声入出力部２０５，制御部から構成されている。図３に示すように、指示用端末１２には、表示装置４０３、カメラ４０４、音声入出力装置４０５、ポインティング装置４０６、無線通信部３０６が備えられている。
【００４２】
小型携帯端末１１と指示用端末１２の通信は、それぞれの無線通信部２０７と無線通信部３０６の間で行われる。無線通信部２０７と無線通信部３０６の間の無線通信の種類としては、無線ＬＡＮや、Bluetooth、携帯電話網などの通信チャネルを利用することができる。これらの通信チャネルを利用する場合には、その対応の通信制御部が備えられる。無線通信部２０７は、回転入出力装置１０１やマルチメディア入出力装置１０２とは独立して示してあるが、回転入出力装置１０１、またはマルチメディア入出力装置１０２に内蔵されていてもよい。
【００４３】
図４は、小型携帯端末１１の回転入出力装置１０１の外観図である。この例では、ヘッド部２０１を左右（パン）、上下（チルト）方向の２軸回転のために、回転部２０２には各軸にサーボモータ３０３が取り付けてある。このように、カメラとレーザ光源とで別々の回転部を必要としない構造のため、小型携帯端末１１の小型軽量化、および省電力化に寄与する構成となっている。また、回転入出力装置１０１は、加速度センサ、またはジャイロ、または磁気センサ、またはそれらの組み合わせにより、回転部２０２の土台部分の運動データを計測する運動計測部２０３、回転入出力装置１０１の各部を制御する制御部２０４を有するものとなっている。
【００４４】
図５は、ヘッド部２０１に固定されているレーザ光源３０１とカメラ３０２の光軸の関係を説明する図である。図５に示すように、レーザ光源３０１とカメラ３０２とは一体にして固定され、レーザ光の光軸とカメラの視野方向とはほぼ同じになるように構成されている。この例では、カメラ３０２の光軸とレーザ光源３０１の光軸はカメラの焦点から１ｍの距離で交差するように固定してある。つまり、１ｍの距離にある対象にレーザスポットが照射されているとき、カメラ３０１で撮影される画像の中心にレーザスポットが写ることになる。もちろん、この距離は適当に設定してもよい。
【００４５】
図６は、本発明の一実施例による姿勢安定化手段の処理を説明するフローチャートである。姿勢安定化手段は、制御部に組み込まれており、例えば、回転部のサーボモータを制御する。利用者１が動き回りつつ作業を実施する際、小型携帯端末１１を携帯したり、装着したり、一時的に机や地面などに置いたりしても、なるべく安定して、カメラ３０２が同じ場所を撮影し、また、レーザスポット３０４が同じ場所に照射されるようにする制御される。
【００４６】
次に、姿勢安定化手段の処理について説明する。まず、カメラ３０２で撮影しつつレーザ光源３０１でレーザスポット３０４を照射したい対象が撮影された基準画像を取得しておく（ステップＳ１００）。次に、運動計測部２０３から得られる運動データを取得する（ステップＳ１０１）。運動データの種類としては、運動計測部２０３に備わるセンサの種類や組み合わせに応じて、回転部２０２の土台部分の姿勢変化を表す角度情報や、加速度情報を取得する。
【００４７】
次に、回転部２０２の内部状態の情報を取得する（ステップＳ１０２）。ここでの内部状態の情報とは、具体的には、各サーボモータの回転数や回転方向、回転角度などの情報である。次に、得られた運動データと回転部２０２の内部状態の情報を用いて、現在のヘッド部２０１の姿勢が、１ループ前のステップＳ１０１の時点での姿勢に近づくように回転部２０２を制御する（ステップＳ１０３）。
【００４８】
次に、カメラ３０２から入力画像を取得し（ステップＳ１０４）、基準画像と入力画像とを用いて画像位置合わせ処理を実行する（ステップＳ１０５）。ステップＳ１０５で用いる画像位置合わせとしては、例えば、２画像間の２次元アフィン変換パラメータや２次元射影変換パラメータを推定する手法を適用することができる。本実施の形態において、２画像のうちの１つは、基準画像であり、もう１つは入力画像となる。この場合、２次元の幾何学的位置合わせパラメータが得られることになる。
【００４９】
また、別の画像位置合わせ処理としては、基準画像と、基準画像の付加情報として、対象の３次元モデル、具体的には、基準画像中に写っている対象上のいくつかの特徴点の基準画像座標上での２次元座標と、各特徴点の空間中での３次元座標の組を用いて、基準画像と入力画像との３次元的な位置合わせを行う手法を適用することができる。この場合、３次元の幾何学的位置合わせパラメータが得られることになる。
【００５０】
次に、ステップＳ１０５で得られた幾何学的位置合わせパラメータを用いて、入力画像の中心付近に、基準画像の中心付近に写っている対象ないしは特定の場所が写るように、回転部２０２の各サーボモータ３０３の制御角を決定して回転部２０２を制御する（ステップＳ１０６）。次に基準画像を変更する必要があるかどうかを判定する（ステップＳ１０７）。これには、例えば、指示用端末２から基準画像を更新するための制御命令が到着しているかどうか確認する処理があてはまる。もし、基準画像を変更する必要があれば、カメラ３０２が基準画像を撮影できるように回転部２０２を制御して（ステップＳ１０８）、基準画像を取得する（ステップＳ１００）。基準画像を変更する必要がなければ、同じ基準画像に対してステップＳ１０１以降の処理を繰り返す。
【００５１】
なお、画像を用いず、回転部２０２の内部状態、及び運動計測部２０３からのデータのみに基づいて、姿勢安定化処理を処理する場合のフローは、図６のステップＳ１０１、ステップＳ１０２、ステップＳ１０３のみのフローとなる。
【００５２】
図７は、本発明の一実施例による回転入出力装置１０１に固定された高視野カメラの一例を説明する図である。ここでは、高視野カメラ３０５として、魚眼カメラを用いた例、全周囲カメラを用いた例や、複数カメラを異なる方向に固定配置した例を示してある。これらの高視野カメラ３０５によって得られた映像を指示者２に送信することで、指示者２は、利用者１の周辺状況をさらに明確に把握することができる。
【００５３】
図８は、本発明の一実施例による誤照射防止手段の処理を説明するフローチャートである。前処理として、すでにカメラ３０２から入力画像が取得されているものとする（ステップＳ２００）。まず、顔画像検出処理を実行する（ステップＳ２０１）。顔画像検出処理としては、顔の色と形状を単純なモデルで近似して検出する方法を用いることができる。次に、顔画像が検出されていれば、レーザ光源を消灯する（ステップＳ２０３）。逆に検出されていなければ点灯する（ステップＳ２０４）。
【００５４】
図９は、本発明の一実施例による直接ナビゲーションの利用例を説明する図である。この例では、利用者１が、回転入出力装置１０１を手に持ち、携帯しながら移動している。もちろん、図１のように、肩部に固定してもよい。また、この例のように、利用者１は、レーザスポット３０４を見ながら、レーザスポット３０４の方向に移動していけば、誘導されて目的地に到達することができる。頭部着用型表示装置や液晶端末などで地図や案内情報を見ながら移動するよりも直感的であり、また、作業空間を実際に見ながら移動するので、安全であるといえる。
【００５５】
図１０は、本発明の一実施例による直接ナビゲーションの処理を説明するフローチャートである。ここでの前処理として、まず、レーザ光源３０１を点灯しておく（ステップＳ３００）。そして、利用者位置方位計測部（図示せず）から現在の利用者１の位置・方位を取得する（ステップＳ３０１）。利用者位置方位計測部には、例えば、ＧＰＳ（Global Positioning System）レシーバ、または利用者の周辺に取り付けられた超音波マイクと対になる超音波スピーカ、または利用者の周辺に取り付けられた赤外線発光部と対になる赤外線受光部、加速度センサ、ジャイロ、及び磁気センサから成るセンサモジュールとカメラの組み合わせによる位置方位取得装置を用いることができる。
【００５６】
次に、得られた位置方位を地図情報と対応付け、目的地までの経路探索をする（ステップＳ３０２）。経路探索としては、カーナビゲーションシステムや、ＫＤＤＩ社のＧＰＳ携帯電話で提供されているパーソナルナビゲーションなどで用いられている経路探索を用いることができる。
【００５７】
次に、進路方向にヘッド部２０１が向くように回転部２０２のパンおよびチルトのうちのパン制御を行うとともに、進路方向前方の通路にレーザスポット３０４が照射されるようにチルト制御を行い、ヘッド部２０１を斜め下方向に向ける（ステップＳ３０３）。なお、天井を見ながら移動したい場合は、このチルト制御でヘッド部２０１を斜め上に向ければよい。
【００５８】
以上に説明したように、小型携帯端末によれば、様々な利点が得られるが、その特徴点をまとめれば、次のようになる。
（１）カメラとレーザ光源を備えた小型携帯端末の小型軽量化、および省電力化を、ヘッド部のカメラとレーザ光源を一体とし、１組の回転部でその方向を変更することで解決している。
（２）携帯したり、装着したり、一時的に机や地面などに置いたりして利用しても、なるべく安定して、カメラが同じ対象を撮影する、つまり、レーザ光源が同じ対象にレーザスポットを照射するように、姿勢安定化手段を備えている。
（３）無線通信部が常に良好ではなくても、基準画像を変更するときのみ通信ができれば、撮影し指示する対象を変更しつつ、安定して、カメラがその対象を撮影し、レーザ光源がその対象にレーザスポットを照射することができるようになっている。この効果は、直接ナビゲーションを利用する場合に顕著になる。
（４）レーザポインタが人物の顔面、特に目に誤照射される問題を、人面誤照射防止手段を備えることにより軽減している。
（５）回転台で回転するカメラでは周囲の状況を把握しづらいという問題を、高視野カメラを備えることにより解決している。
（６）作業空間を動き回りながら両手で作業を実施できるように、利用者の肩部に載置可能な装着具を備えている。そのため、両手で作業をしているとカメラの視界が両手で覆われてしまい、カメラで作業空間を撮影しづらくなるという問題を、利用者の頭部に近い肩部にカメラを配置することで軽減している。
【００５９】
【発明の効果】
以上に説明したように、本発明にかかる小型携帯端末によれば、例えば、作業空間を動き回りつつ作業をする利用者に、作業空間にある作業対象や作業空間の特定の場所を直接的に指し示しながら作業手順や指示を与えることができるという効果を奏することができる。
【図面の簡単な説明】
【図１】 本発明の一実施例の小型携帯端末の典型的な利用例を説明するための図である。
【図２】 小型携帯端末１１の構成例を示すブロック図である。
【図３】 指示用端末１２の構成例を示すブロック図である。
【図４】 型携帯端末１１の回転入出力装置１０１の外観図である。
【図５】 ヘッド部２０１に固定されているレーザ光源３０１とカメラ３０２の光軸の関係を示す図である。
【図６】 本発明の一実施例による姿勢安定化手段の処理を説明するフローチャートである。
【図７】 回転入出力装置１０１に固定された高視野カメラの例を説明するである。
【図８】 人面誤照射防止手段の処理を説明するフローチャートである。
【図９】 本発明の一実施例による直接ナビゲーションの利用例を説明する図である。
【図１０】 本発明の一実施例による直接ナビゲーションの処理を説明するフローチャートである。
【符号の説明】
１…利用者
２…指示者
３…指示コンピュータ
１１…小型携帯端末
１２…指示用端末
１３…固定設置端末
１０１…回転入出力装置
１０２…マルチメディア入出力装置
１０３…装着具
２０１…ヘッド部
２０２…回転部
２０３…運動計測部
２０４…制御部
２０５…音声入出力部
２０６…映像出力部
２０７…無線通信部
２０８…利用者位置方位計測部
３０１…レーザ光源
３０２…カメラ
３０３…サーボモータ
３０４…レーザスポット
３０５…高視野カメラ
３０６…無線通信部
４０１…画像中のレーザスポット
４０２…カーソル
４０３…表示装置
４０４…カメラ
４０５…音声入出力装置
４０６…ポインティング装置
【発明の属する技術分野】
本発明は、小型携帯端末に関するものであり、特に、作業空間を動き回りつつ作業をする利用者に、作業空間にある作業対象や作業空間の特定の場所を直接的に指し示しながら作業手順や指示を与えることができる小型携帯端末に関するものである。
【０００２】
【従来の技術】
携帯電話やＰＤＡ（Personal Digital Assistant）、ウェアラブルコンピュータなどの小型携帯端末は、大型の表示装置やプロジェクタを搭載することができないため、従来においては、携帯電話やＰＤＡに備わっているような、小型の液晶表示装置や、ウェアラブルコンピュータでしばしば用いられるような頭部装着型表示装置などを出力装置として採用することが多かった。
【０００３】
レーザ光源を用いる出力装置、いわゆるレーザポインタを用いた出力装置や、それを含むシステム（例えば、特許文献１、非特許文献１）においては、利用者が何かの作業をしている時に、利用者に対して、次に何を作業対象にすべきか、どちらを見ていれば作業が円滑に進むかなどを、レーザ光源から照射されたレーザスポットにより、作業空間中の特定の対象や場所を直接指し示して伝達することが可能である。このため、利用者が作業空間から目を離さずに効率的に作業を進行できるという利点を有する。この利点は、例えば、先の述べた液晶表示装置などの表示装置にはない優れたものである。頭部装着型表示装置は、表示部と作業空間が同じ視野に入るため、利用者が作業空間から目を話さずに表示を見ることができるという同様の利点を持っているが、利用者の視野を狭くする、不快感を伴うなどの欠点がある。
【０００４】
レーザ光源を用いた出力装置は、小型化しやすく、また、液晶表示装置や頭部装着型表示装置にはない利点を備える上、音声や、文字情報、映像情報などを提示できる、スピーカや小型の液晶表示装置を併用することによって、より効果的に情報を伝えることが可能となる。
【０００５】
小型携帯端末の入力装置については、小型化がしやすく、作業環境の状況をすばやく取り込めるという点から、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）を用いたカメラが使われることが多い。実際、携帯電話やＰＤＡ、ウェアラブルコンピュータの多くに、カメラが搭載されている。これらの装置では、レーザ光源から照射されたレーザスポットの位置と作業環境との両方を画像として取得することができる。
【０００６】
以上のことから、レーザ光源とカメラを用いた小型の入出力装置を含む小型携帯端末がいくつか研究開発されている（例えば、特許文献２、特許文献３、非特許文献２）。
【０００７】
コミュニケーション端末は、２組の回転台を有し、その一方にカメラ、もう一方にレーザ光源を搭載した可搬性のよい小型端末である。未使用時は携帯して移動し、使用時は作業空間にいる利用者（被指示者）の傍らに設置する。遠隔地の指示者はカメラとレーザポインタを独立、または同期させて制御しつつ、映像を見ながら音声とレーザポインタで、小型端末の利用者に指示を送ることができる（特許文献２、特許文献３を参照）。
【０００８】
小型端末（Telepointer）は、可動レーザポインタ（２軸制御可能）と固定カメラ、スピーカなどを搭載し、首から下げて使用する装着型のコミュニケーション端末である（非特許文献２）。カメラは身体の正面方向を撮影しており、レーザポインタはその視野内の特定の位置にレーザスポットを照射することができる。遠隔地の指示者はレーザポインタを制御しつつ、映像を見ながら音声とレーザポインタで、小型端末の利用者に指示を送ることができる。
【特許文献１】
特開平９−４６７７６号公報
【特許文献２】
特開平２０００−１２５０２４号公報
【特許文献３】
特開２００１−４５４５１号公報
【非特許文献１】
K. Yamazaki, A. Yamazaki, H. Kuzuoka, S. Oyama, H. Kato, H. Suzuki, and H. Miki, "GestureLaser and Gesturelaser Car: Development of an embodied space to support remote instruction", In Proc. European Conference on Computer Supported Cooperative Work (ECSCW'99), pp.239-258, 1999
【非特許文献２】
S. Mann, "Telepointer: Hands-free completely self contained wearable visual augmented reality without headwear and without any infrastructure reliance", In Proc. IEEE International Symposium on Wearable Computers (ISWC00), pp. 177-178, 2000
【０００９】
【発明が解決しようとする課題】
これらの従来の技術には、次のような問題点がある。コミュニケーション端末は、カメラ、レーザポインタそれぞれを独立させて動かすことができるように、回転台を２組備えている。カメラやレーザポインタを搭載した状態で高速に回転台を制御するには、回転台の性能が高いこと、例えば、トルクが大きいこと、静止時から動き始めるまでの時間が短いこと、どのくらい回転したかやどのくらいの速度で回転しているかを検出し制御する能力が高いことなどが要求される。このため、その駆動部（例えば、モータ）を小型化するには限界がある。結果として、２組の回転台を有することは端末の小型化を妨げることとなる。
【００１０】
プロセス技術が向上するのに伴って省電力化が進む電子回路とは異なり、回転台の駆動部の省電力化を急激に推進するのは困難である。このため、２組の回転台を備えることは、小型携帯端末のバッテリ容量や重量が増加する原因となる。このため、例えば、コミュニケーション端末は、未使用時は携帯して移動して、使用時は利用者の傍らに設置して使用するように設計がなされている。
【００１１】
さらに、設置した上での使用しか想定されていないので、例えば、手に持ち、または、利用者の身体の一部に装着して動きながら使用した場合、カメラで撮影したい対象を撮影し、レーザポインタで指し示したい対象にレーザスポットを照射するためには、遠隔地とコミュニケーション端末が用いる無線通信網の通信状態が良好であるような状態にして、その上、遠隔地側の指示者が常にカメラとレーザポインタを制御しなければならない。
【００１２】
回転台で回転するカメラでは、撮影したい対象だけではなく周辺状況も同時に撮影することが困難であるため、遠隔地の指示者が作業空間全体を把握しづらくなる。結果として、回転台のカメラを回転させたい方向を決めるための情報を得にくいという問題点がある。
【００１３】
前述した小型端末では、カメラは固定で利用者の前方を撮影しており、レーザポインタのみ２軸の制御が可能である。この場合には、機構は単純なため小型軽量化しやすく、携帯して、あるいは装着して利用することができる。しかし、装着した利用者の動きによりレーザポインタで照射されるレーザスポットの位置が安定しない。また、カメラから得られる映像がその利用者の動きに依存するため、必ずしも撮影したい対象をカメラが撮影するとは限らないという問題点がある。
【００１４】
また、この小型端末のカメラは、利用者の胸の中央辺りに固定され、そこから利用者の前方を撮影している。このため、両手で作業しているとカメラの視界が両手で覆われてしまい、カメラで作業空間を撮影しづらくなるという問題点がある。
【００１５】
レーザポインタは、人物の顔面、特に目に照射されると目に障害を与える危険性があるが、コミュニケーション端末や、カメラ付きの小型端末には、そのような誤照射を防止する手段は備えられていない。
【００１６】
本発明は、上述のような問題点を解決するためになされたものであり、本発明の目的は、物体や人物が存在する作業空間を動き回りつつ作業をする利用者に、作業空間にある作業対象や作業空間の特定の場所を直接的に指し示しながら作業手順や指示を与えることができる小型携帯端末を提供することにある。
【００１７】
【課題を解決するための手段】
上記のような目的を達成するために、本発明による小型携帯端末は、基本的な構成として、レーザ光によりレーザスポットを照射するレーザ光源と前記レーザ光とほぼ同じ光軸の視野方向を有するカメラとが一体に構成されたヘッド部、前記ヘッド部を回転させる回転部、および前記回転部を駆動制御して前記カメラの視野方向および前記レーザスポットの照射位置を制御する制御部から構成される回転入出力装置と、前記回転入出力装置と外部端末との間でデータを無線送受信する無線通信部と、前記回転入出力装置に組み込まれた運動計測部により前記回転部の運動データを計測すると共に前記回転部の内部状態および前記運動データに基づいて前記制御部により制御される前記回転部の駆動制御において前記ヘッド部の姿勢を安定させる姿勢安定化手段と、前記回転入出力装置を利用者の肩部に載置する装着具とを備え、前記レーザスポットにより実環境中の特定の対象や場所を安定して指し示す構成とされる。これにより、例えば、本発明の小型携帯端末が、装着具により、前記回転入出力装置が利用者の肩部に載置された場合に、前記姿勢安定化手段により前記レーザスポットの照射で実環境中の特定の対象または場所を安定して指し示すことができる。
【００１８】
また、本発明による小型携帯端末は、上記の構成に加えて、さらに、前記レーザ光源でレーザスポットを照射したい対象が撮影された基準画像と前記カメラにより各時点において撮影される入力画像を用いて２画像間の２次元アファン変換パラメータまたは２次元射影変換パラメータを幾何学的位置合わせパラメータとして算出する画像位置合わせ手段が備えられ、前記姿勢安定化手段が、前記幾何学的位置合わせパラメータ、前記回転部の内部状態、および前記運動データに基づいて、前記制御部により前記回転部を制御し前記ヘッド部の姿勢を安定させるように構成される。また、この場合に、前記無線通信部を介して受信する前記外部端末からの制御命令によって、前記回転部を制御して前記ヘッド部の向きを変更した後に前記カメラで画像を撮影し、この撮影された画像を前記基準画像とし、前記レーザスポットを照射する対象を変更することができるように構成されている。
【００１９】
また、本発明による小型携帯端末は、上記の構成に加えて、さらに、前記カメラにより撮影された画像から顔の色と形状によるモデル近似で顔画像を検出する顔画像検出処理を行い、前記画像に写った人物の顔を検出する顔画像検出手段と、前記顔画像検出手段により顔が検出された場合に、前記レーザ光源を消灯する誤照射防止手段とを備えるように構成される。
【００２０】
また、本発明による小型携帯端末は、上記の構成に加えて、さらに、利用者の位置および向きを計測する利用者位置方位計測部と、前記利用者位置方位計測部から得られる前記利用者の位置および向きに基づいて、前記回転入出力装置の回転部を制御し、進路方向にヘッド部が向くようにして、進路方向前方の通路または天井にレーザスポットを照射し、前記利用者の移動に応じて目的地までの行程を前記レーザスポットによって指し示す直接ナビゲーション手段とを備えるようにも構成される。ここでの利用者位置方位計測部は、例えば、利用者の周囲状況を撮影するカメラ、加速度センサ、ジャイロ、磁気センサ、ＧＰＳ、利用者の周辺に取り付けられた超音波マイクと対になる超音波スピーカ、利用者の周辺に取り付けられた赤外線発光部と対になる赤外線受光部、または、それらの組み合わせで構成され、前記利用者の位置および向きを計測する。
【００２１】
また、本発明による小型携帯端末は、上記の構成に加えて、さらに、前記回転入出力装置に固定された魚眼カメラ、全方位カメラ、または複数カメラ群のいずれかの高視野カメラを備え、前記高視野カメラにより周辺状況を撮影し、撮影された周辺状況の画像を前記無線通信部により外部端末に送信するようにも構成される。これにより、前記回転部によるヘッド部の回転により前記カメラの撮影方向が変化した場合に前記カメラでは一部しか写らない周辺状況を撮影して、撮影された周辺状況の画像を指示者の外部端末に送信することができる。
【００２２】
本発明による小型携帯端末は、装着具を備えているが、この装着具には、前記回転入出力装置、またはマルチメディア入出力装置、またはその両方を利用者の肩部に固定することができる。マルチメディア入出力装置は、画像を表示し、音声を入出力するマルチメディア入出力装置を有するものであり、このマルチメディア入出力装置を小型携帯端末に備えることにより、マルチメディア入出力装置を用いて、利用者に対して指示を与えることができる。
【００２３】
上記のような構成を有する本発明の小型携帯端末によれば、ヘッド部のカメラとレーザ光源は一体となっており、レーザ光源が制御されて、レーザ光によりレーザスポットが照射される位置が制御されるが、同時に制御されるレーザ光源と一体化されたカメラは、レーザ光とほぼ同じ光軸の視野方向を有するようにレーザ光源と一体に構成されているので、１組の回転部で、カメラとレーザ光源の両方の方向を同期させて変更することができる。そのため、カメラで作業空間を撮影しながらレーザ光源で作業空間を直接指示する入出力装置を備えた小型携帯端末の小型軽量化、および省電力化を容易に実現することができる。
【００２４】
さらに、小型軽量端末において、姿勢安定化手段が備えられており、姿勢安定化手段は、回転部の内部状態、及び運動計測部の運動データに基づいて回転部を制御するため、小型携帯端末を携帯、または装着して利用する際に、小型携帯端末の向きが変わってしまっても、カメラが同じ方向を撮影する、つまり、レーザ光源が同じ方向にレーザスポットを照射するように、自動的に制御することができる。
【００２５】
また、別の特徴によれば、姿勢安定化手段は、画像位置合わせ手段により得られるレーザスポットを照射したい対象やその周辺が撮影された基準画像とヘッド部のカメラで撮影した画像との幾何学的位置合わせパラメータ、回転部の内部状態、及び運動計測部の運動データに基づいて回転部を制御するため、その小型携帯端末を、携帯したり、装着したり、一時的に机や地面などに置いたりして利用しても、なるべく安定して、カメラが同じ対象を撮影することができるようになる。つまり、レーザ光源が同じ対象にレーザスポットを照射するように自動的に制御することができる。
【００２６】
また、本発明の小型携帯端末では、無線通信部で受信する外部端末からの制御命令によって回転部を制御してヘッド部の向きを変更した後に、ヘッド部のカメラで画像を撮影することにより、基準画像を更新することができる。基準画像を更新し、姿勢安定化手段を適用することで、カメラで撮影しつつ前記レーザスポットを照射したい対象を変更することができる。
【００２７】
これにより、例えば、外部端末の利用者が小型携帯端末の利用者に指示を送る場合、無線ＬＡＮや携帯電話通信網などの無線通信によって伝達される外部端末から発信される制御命令を無線通信部で受信して基準画像を更新し、小型携帯端末の利用者に作業空間の特定の対象や場所をレーザポインタで直接指し示すことができる。このため、常に無線通信が良好でなくても、基準画像を変更するときのみ通信ができれば、撮影し指示する対象を変更する場合においても、安定して、カメラがその対象を撮影し、レーザ光源がその対象にレーザスポットを照射することができる。
【００２８】
また、別の特徴として、本発明の小型携帯端末は、顔画像検出手段および誤照射防止手段を備える。顔画像検出手段は、カメラにより撮影された画像から顔の色と形状によるモデル近似で顔画像を検出する顔画像検出処理を行い、前記画像に写った人物の顔を検出するので、顔画像検出手段により、カメラで撮影された画像の中心付近において顔が検出された場合に、誤照射防止手段により、レーザ光源を消灯して人物に前記レーザスポットが照射されないようにする。
【００２９】
これにより、例えば、小型携帯端末の利用者以外の人物が存在する作業空間では、誤ってその人物の目に障害を与える危険性が減少する。そのため、利用者以外の人物が存在する作業空間において、安心して小型携帯端末のレーザポインタによる指示を受けながら作業をすることができるようになる。
【００３０】
また、別の特徴として、本発明による小型携帯端末によれば、利用者位置方位計測部から得られる利用者の位置や向きに基づいて、利用者の目的地までの行程をレーザスポットによって指し示す直接ナビゲーションを行うことができる。
【００３１】
これにより、例えば、利用者が目的地に向けて移動している間は、直接ナビゲーションを用いることにより、レーザスポットを地面や、天井、壁などに照射しながら、利用者を目的地まで案内し、到着した後は、すでに小型携帯端末に登録してある参照画像や、外部端末からの指示により更新される参照画像に基づき、姿勢安定化手段を適用することができる。このため、良好な状態を保つことが必ずしも容易ではない無線通信を使用する頻度を少なくしつつ、作業空間を動き回りつつ作業をする小型携帯端末の利用者に、目的地までの行程や作業対象をレーザポインタで指し示すことができる。
【００３２】
また、別の特徴として、本発明による小型携帯端末によれば、魚眼カメラ、全方位カメラ、または複数カメラ群のいずれかの高視野カメラを用いて、回転部によって撮影方向が変化するヘッド部のカメラでは撮影しきれない周辺状況についても撮影することができる。
【００３３】
これにより、例えば、高視野カメラで撮影された高視野画像を外部端末に送信すれば、外部端末の利用者（指示者）はこの高視野画像を見て作業空間の周辺状況をよく把握することができる。このため、あらかじめ、指示者はどの方向に作業対象が存在するかを理解してから、外部端末を用いて、回転部を制御し基準画像を更新する制御命令を小型携帯端末に送信することができる。
【００３４】
また、本発明の小型携帯端末は、利用者の肩部に載置可能な装着具を備えており、この装着具により、回転入出力装置、または画像を表示し、音声を入出力するマルチメディア入出力装置、またはその両方を肩部に固定することができる。このため、利用者は作業空間を動き回りながら作業を実施する際には、小型携帯端末を装着して、両手で作業をすることができる。さらに、カメラは利用者の頭部に近いため、利用者の両手で作業していても、小型端末のカメラのように両手でカメラの視界が覆われてしまうという問題を軽減できる。
【００３５】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本発明の一実施例の小型携帯端末の典型的な利用例を説明するための図である。図１を参照して説明する。小型携帯端末１１の回転入出力装置１０１に備えられたヘッド部２０１は、レーザ光源３０１からレーザスポット３０４を照射すると共に、レーザ光とほぼ同じ光軸の視野方向となっているカメラ３０２により映像を撮影する。小型携帯端末１１に備えられたマルチメディア入出力装置１０２は、小型携帯端末１１の利用者１やその周辺の音声を音声入出力部２０５で録音すると共に、指示者側によって送られてくる映像や音声を映像出力部２０６及び音声入出力部２０５で出力する。
【００３６】
図１において、別の場所にいる指示者２は大型の表示装置４０３を備えた指示用端末１２を用いて、小型携帯端末１１から送信される映像や音声を視聴しながら、作業空間の指し示したい作業対象にレーザスポット３０４が照射されるように小型携帯端末１１に制御命令を送る。もちろん、指示用端末１２としては、携帯電話やＰＤＡのような小型端末を用いる構成としても良い。
【００３７】
この例では、指示者２は、指示用端末１２の表示装置４０３に表示されている小型端末１１から送信された映像の特定の位置を、表示装置４０３の表示画面に表示されているカーソル４０２を移動させる操作を行い、このカーソル４０２の位置で指定することにより、小型携帯端末１１に対して、その指定された位置にレーザスポットを照射させる制御命令を送り、また、その位置で基準画像を更新させる制御命令を送る。
【００３８】
ここでは、カーソル４０２は、指示用端末１２のポインティング装置４０６を用いて移動させることができる。ポインティング装置４０６としては、マウスやトラックボール、非特許文献１にあるような手振りを画像処理で認識する装置などを用いることができる。
【００３９】
利用者１は、指示用端末１２におけるカメラ４０４で撮影された映像、また、あらかじめ準備された作業内容を示す映像、音声入出力装置４０５で録音された指示者側の音声、及びレーザスポット３０４の照射地点を参考にしながら作業を実施することができる。
【００４０】
図１において、小型携帯端末１１は、利用者１の肩部に載置可能な装着具１０３を有し、装着具１０３により、回転入出力装置１０１、またはマルチメディア入出力装置１０２、またはその両方を肩部に固定することができるように構成されている。このため、利用者は作業空間を動き回りながら作業を実施する際、小型携帯端末１１を装着して、両手で作業をすることが可能となる。
【００４１】
図２は、小型携帯端末１１の構成例を示すブロック図であり、図３は、指示用端末１２の構成例を示すブロック図である。図２に示すように、小型携帯端末１１は、回転入出力装置１０１、マルチメディア入出力装置１０２、無線通信部２０７から構成されており、回転入出力装置１０１は、レーザ光源３０１およびカメラ３０２から構成されるヘッド部２０１と、サーボモータ３０３から構成される回転部２０２と、運動計測部２０３と、制御部２０４とから構成されている。また、マルチメディア入出力装置１０２は、映像出力部２０６，音声入出力部２０５，制御部から構成されている。図３に示すように、指示用端末１２には、表示装置４０３、カメラ４０４、音声入出力装置４０５、ポインティング装置４０６、無線通信部３０６が備えられている。
【００４２】
小型携帯端末１１と指示用端末１２の通信は、それぞれの無線通信部２０７と無線通信部３０６の間で行われる。無線通信部２０７と無線通信部３０６の間の無線通信の種類としては、無線ＬＡＮや、Bluetooth、携帯電話網などの通信チャネルを利用することができる。これらの通信チャネルを利用する場合には、その対応の通信制御部が備えられる。無線通信部２０７は、回転入出力装置１０１やマルチメディア入出力装置１０２とは独立して示してあるが、回転入出力装置１０１、またはマルチメディア入出力装置１０２に内蔵されていてもよい。
【００４３】
図４は、小型携帯端末１１の回転入出力装置１０１の外観図である。この例では、ヘッド部２０１を左右（パン）、上下（チルト）方向の２軸回転のために、回転部２０２には各軸にサーボモータ３０３が取り付けてある。このように、カメラとレーザ光源とで別々の回転部を必要としない構造のため、小型携帯端末１１の小型軽量化、および省電力化に寄与する構成となっている。また、回転入出力装置１０１は、加速度センサ、またはジャイロ、または磁気センサ、またはそれらの組み合わせにより、回転部２０２の土台部分の運動データを計測する運動計測部２０３、回転入出力装置１０１の各部を制御する制御部２０４を有するものとなっている。
【００４４】
図５は、ヘッド部２０１に固定されているレーザ光源３０１とカメラ３０２の光軸の関係を説明する図である。図５に示すように、レーザ光源３０１とカメラ３０２とは一体にして固定され、レーザ光の光軸とカメラの視野方向とはほぼ同じになるように構成されている。この例では、カメラ３０２の光軸とレーザ光源３０１の光軸はカメラの焦点から１ｍの距離で交差するように固定してある。つまり、１ｍの距離にある対象にレーザスポットが照射されているとき、カメラ３０１で撮影される画像の中心にレーザスポットが写ることになる。もちろん、この距離は適当に設定してもよい。
【００４５】
図６は、本発明の一実施例による姿勢安定化手段の処理を説明するフローチャートである。姿勢安定化手段は、制御部に組み込まれており、例えば、回転部のサーボモータを制御する。利用者１が動き回りつつ作業を実施する際、小型携帯端末１１を携帯したり、装着したり、一時的に机や地面などに置いたりしても、なるべく安定して、カメラ３０２が同じ場所を撮影し、また、レーザスポット３０４が同じ場所に照射されるようにする制御される。
【００４６】
次に、姿勢安定化手段の処理について説明する。まず、カメラ３０２で撮影しつつレーザ光源３０１でレーザスポット３０４を照射したい対象が撮影された基準画像を取得しておく（ステップＳ１００）。次に、運動計測部２０３から得られる運動データを取得する（ステップＳ１０１）。運動データの種類としては、運動計測部２０３に備わるセンサの種類や組み合わせに応じて、回転部２０２の土台部分の姿勢変化を表す角度情報や、加速度情報を取得する。
【００４７】
次に、回転部２０２の内部状態の情報を取得する（ステップＳ１０２）。ここでの内部状態の情報とは、具体的には、各サーボモータの回転数や回転方向、回転角度などの情報である。次に、得られた運動データと回転部２０２の内部状態の情報を用いて、現在のヘッド部２０１の姿勢が、１ループ前のステップＳ１０１の時点での姿勢に近づくように回転部２０２を制御する（ステップＳ１０３）。
【００４８】
次に、カメラ３０２から入力画像を取得し（ステップＳ１０４）、基準画像と入力画像とを用いて画像位置合わせ処理を実行する（ステップＳ１０５）。ステップＳ１０５で用いる画像位置合わせとしては、例えば、２画像間の２次元アフィン変換パラメータや２次元射影変換パラメータを推定する手法を適用することができる。本実施の形態において、２画像のうちの１つは、基準画像であり、もう１つは入力画像となる。この場合、２次元の幾何学的位置合わせパラメータが得られることになる。
【００４９】
また、別の画像位置合わせ処理としては、基準画像と、基準画像の付加情報として、対象の３次元モデル、具体的には、基準画像中に写っている対象上のいくつかの特徴点の基準画像座標上での２次元座標と、各特徴点の空間中での３次元座標の組を用いて、基準画像と入力画像との３次元的な位置合わせを行う手法を適用することができる。この場合、３次元の幾何学的位置合わせパラメータが得られることになる。
【００５０】
次に、ステップＳ１０５で得られた幾何学的位置合わせパラメータを用いて、入力画像の中心付近に、基準画像の中心付近に写っている対象ないしは特定の場所が写るように、回転部２０２の各サーボモータ３０３の制御角を決定して回転部２０２を制御する（ステップＳ１０６）。次に基準画像を変更する必要があるかどうかを判定する（ステップＳ１０７）。これには、例えば、指示用端末２から基準画像を更新するための制御命令が到着しているかどうか確認する処理があてはまる。もし、基準画像を変更する必要があれば、カメラ３０２が基準画像を撮影できるように回転部２０２を制御して（ステップＳ１０８）、基準画像を取得する（ステップＳ１００）。基準画像を変更する必要がなければ、同じ基準画像に対してステップＳ１０１以降の処理を繰り返す。
【００５１】
なお、画像を用いず、回転部２０２の内部状態、及び運動計測部２０３からのデータのみに基づいて、姿勢安定化処理を処理する場合のフローは、図６のステップＳ１０１、ステップＳ１０２、ステップＳ１０３のみのフローとなる。
【００５２】
図７は、本発明の一実施例による回転入出力装置１０１に固定された高視野カメラの一例を説明する図である。ここでは、高視野カメラ３０５として、魚眼カメラを用いた例、全周囲カメラを用いた例や、複数カメラを異なる方向に固定配置した例を示してある。これらの高視野カメラ３０５によって得られた映像を指示者２に送信することで、指示者２は、利用者１の周辺状況をさらに明確に把握することができる。
【００５３】
図８は、本発明の一実施例による誤照射防止手段の処理を説明するフローチャートである。前処理として、すでにカメラ３０２から入力画像が取得されているものとする（ステップＳ２００）。まず、顔画像検出処理を実行する（ステップＳ２０１）。顔画像検出処理としては、顔の色と形状を単純なモデルで近似して検出する方法を用いることができる。次に、顔画像が検出されていれば、レーザ光源を消灯する（ステップＳ２０３）。逆に検出されていなければ点灯する（ステップＳ２０４）。
【００５４】
図９は、本発明の一実施例による直接ナビゲーションの利用例を説明する図である。この例では、利用者１が、回転入出力装置１０１を手に持ち、携帯しながら移動している。もちろん、図１のように、肩部に固定してもよい。また、この例のように、利用者１は、レーザスポット３０４を見ながら、レーザスポット３０４の方向に移動していけば、誘導されて目的地に到達することができる。頭部着用型表示装置や液晶端末などで地図や案内情報を見ながら移動するよりも直感的であり、また、作業空間を実際に見ながら移動するので、安全であるといえる。
【００５５】
図１０は、本発明の一実施例による直接ナビゲーションの処理を説明するフローチャートである。ここでの前処理として、まず、レーザ光源３０１を点灯しておく（ステップＳ３００）。そして、利用者位置方位計測部（図示せず）から現在の利用者１の位置・方位を取得する（ステップＳ３０１）。利用者位置方位計測部には、例えば、ＧＰＳ（Global Positioning System）レシーバ、または利用者の周辺に取り付けられた超音波マイクと対になる超音波スピーカ、または利用者の周辺に取り付けられた赤外線発光部と対になる赤外線受光部、加速度センサ、ジャイロ、及び磁気センサから成るセンサモジュールとカメラの組み合わせによる位置方位取得装置を用いることができる。
【００５６】
次に、得られた位置方位を地図情報と対応付け、目的地までの経路探索をする（ステップＳ３０２）。経路探索としては、カーナビゲーションシステムや、ＫＤＤＩ社のＧＰＳ携帯電話で提供されているパーソナルナビゲーションなどで用いられている経路探索を用いることができる。
【００５７】
次に、進路方向にヘッド部２０１が向くように回転部２０２のパンおよびチルトのうちのパン制御を行うとともに、進路方向前方の通路にレーザスポット３０４が照射されるようにチルト制御を行い、ヘッド部２０１を斜め下方向に向ける（ステップＳ３０３）。なお、天井を見ながら移動したい場合は、このチルト制御でヘッド部２０１を斜め上に向ければよい。
【００５８】
以上に説明したように、小型携帯端末によれば、様々な利点が得られるが、その特徴点をまとめれば、次のようになる。
（１）カメラとレーザ光源を備えた小型携帯端末の小型軽量化、および省電力化を、ヘッド部のカメラとレーザ光源を一体とし、１組の回転部でその方向を変更することで解決している。
（２）携帯したり、装着したり、一時的に机や地面などに置いたりして利用しても、なるべく安定して、カメラが同じ対象を撮影する、つまり、レーザ光源が同じ対象にレーザスポットを照射するように、姿勢安定化手段を備えている。
（３）無線通信部が常に良好ではなくても、基準画像を変更するときのみ通信ができれば、撮影し指示する対象を変更しつつ、安定して、カメラがその対象を撮影し、レーザ光源がその対象にレーザスポットを照射することができるようになっている。この効果は、直接ナビゲーションを利用する場合に顕著になる。
（４）レーザポインタが人物の顔面、特に目に誤照射される問題を、人面誤照射防止手段を備えることにより軽減している。
（５）回転台で回転するカメラでは周囲の状況を把握しづらいという問題を、高視野カメラを備えることにより解決している。
（６）作業空間を動き回りながら両手で作業を実施できるように、利用者の肩部に載置可能な装着具を備えている。そのため、両手で作業をしているとカメラの視界が両手で覆われてしまい、カメラで作業空間を撮影しづらくなるという問題を、利用者の頭部に近い肩部にカメラを配置することで軽減している。
【００５９】
【発明の効果】
以上に説明したように、本発明にかかる小型携帯端末によれば、例えば、作業空間を動き回りつつ作業をする利用者に、作業空間にある作業対象や作業空間の特定の場所を直接的に指し示しながら作業手順や指示を与えることができるという効果を奏することができる。
【図面の簡単な説明】
【図１】 本発明の一実施例の小型携帯端末の典型的な利用例を説明するための図である。
【図２】 小型携帯端末１１の構成例を示すブロック図である。
【図３】 指示用端末１２の構成例を示すブロック図である。
【図４】 型携帯端末１１の回転入出力装置１０１の外観図である。
【図５】 ヘッド部２０１に固定されているレーザ光源３０１とカメラ３０２の光軸の関係を示す図である。
【図６】 本発明の一実施例による姿勢安定化手段の処理を説明するフローチャートである。
【図７】 回転入出力装置１０１に固定された高視野カメラの例を説明するである。
【図８】 人面誤照射防止手段の処理を説明するフローチャートである。
【図９】 本発明の一実施例による直接ナビゲーションの利用例を説明する図である。
【図１０】 本発明の一実施例による直接ナビゲーションの処理を説明するフローチャートである。
【符号の説明】
１…利用者
２…指示者
３…指示コンピュータ
１１…小型携帯端末
１２…指示用端末
１３…固定設置端末
１０１…回転入出力装置
１０２…マルチメディア入出力装置
１０３…装着具
２０１…ヘッド部
２０２…回転部
２０３…運動計測部
２０４…制御部
２０５…音声入出力部
２０６…映像出力部
２０７…無線通信部
２０８…利用者位置方位計測部
３０１…レーザ光源
３０２…カメラ
３０３…サーボモータ
３０４…レーザスポット
３０５…高視野カメラ
３０６…無線通信部
４０１…画像中のレーザスポット
４０２…カーソル
４０３…表示装置
４０４…カメラ
４０５…音声入出力装置
４０６…ポインティング装置
Claims (6)
- レーザ光によりレーザスポットを照射するレーザ光源と前記レーザ光とほぼ同じ光軸の視野方向を有するカメラとが一体に構成されたヘッド部、前記ヘッド部を回転させる回転部、および前記回転部を駆動制御して前記カメラの視野方向および前記レーザスポットの照射位置を制御する制御部から構成される回転入出力装置と、
前記回転入出力装置と外部端末との間でデータを無線送受信する無線通信部と、
前記回転入出力装置に組み込まれた運動計測部により前記回転部の運動データを計測すると共に前記回転部の内部状態および前記運動データに基づいて前記制御部により制御される前記回転部の駆動制御において前記ヘッド部の姿勢を安定させる姿勢安定化手段と、
前記回転入出力装置を利用者の肩部に載置する装着具と、
を備え、前記レーザスポットにより実環境中の特定の対象や場所を安定して指し示すことを特徴とする小型携帯端末。 - 請求項１に記載の小型携帯端末において、さらに、
前記レーザ光源でレーザスポットを照射したい対象が撮影された基準画像と前記カメラにより各時点において撮影される入力画像とを照合して幾何学的位置合わせパラメータを算出する画像位置合わせ手段を備え、
前記姿勢安定化手段が、
前記幾何学的位置合わせパラメータ、前記回転部の内部状態、及び前記運動データに基づいて、前記制御部により前記回転部を駆動制御し前記ヘッド部の姿勢を安定させる
ことを特徴とする小型携帯端末。 - 請求項２に記載の小型携帯端末において、
前記無線通信部を介して受信する前記外部端末からの制御命令によって、前記回転部を制御して前記ヘッド部の向きを変更した後に前記カメラで画像を撮影し、この撮影された画像を前記基準画像とし、前記レーザスポットを照射する対象を変更する
ことを特徴とする小型携帯端末。 - 請求項１または請求項２に記載の小型携帯端末において、さらに、
前記カメラにより撮影された画像から顔の色と形状によるモデル近似で顔画像を検出する顔画像検出処理を行い、前記画像に写った人物の顔を検出する顔画像検出手段と、
前記顔画像検出手段により顔が検出された場合に、前記レーザ光源を消灯する誤照射防止手段とを備える
ことを特徴とする小型携帯端末。 - 請求項１ないし請求項３のいずれかに記載の小型携帯端末において、さらに、
利用者の位置や向きを計測する利用者位置方位計測部と、
前記利用者位置方位計測部から得られる前記利用者の位置や向きに基づいて、前記回転入出力装置の回転部を制御し、進路方向にヘッド部が向くようにして、進路方向前方の通路または天井にレーザスポットを照射し、前記利用者の目的地までの行程を前記レーザスポットによって指し示す直接ナビゲーション手段と
を備えることを特徴とする小型携帯端末。 - 請求項１ないし４のいずれかに記載の小型携帯端末において、さらに、
前記回転入出力装置に固定された魚眼カメラ、全方位カメラ、または複数カメラ群のいずれかの高視野カメラを備え、
前記高視野カメラにより周辺状況を撮影し、撮影された周辺状況の画像を前記無線通信部により外部端末に送信する
こと特徴とする小型携帯端末。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003008857A JP3918053B2 (ja) | 2003-01-16 | 2003-01-16 | 小型携帯端末 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003008857A JP3918053B2 (ja) | 2003-01-16 | 2003-01-16 | 小型携帯端末 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004219847A JP2004219847A (ja) | 2004-08-05 |
| JP3918053B2 true JP3918053B2 (ja) | 2007-05-23 |
Family
ID=32898522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003008857A Expired - Lifetime JP3918053B2 (ja) | 2003-01-16 | 2003-01-16 | 小型携帯端末 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3918053B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070200917A1 (en) * | 2006-02-27 | 2007-08-30 | Mediatek Inc. | Methods and systems for image transmission |
| JP2016187130A (ja) * | 2015-03-27 | 2016-10-27 | Ｎｅｃソリューションイノベータ株式会社 | ウェアラブル端末 |
| JP6356318B2 (ja) * | 2016-06-14 | 2018-07-11 | 株式会社クリューシステムズ | 点検装置、点検システム及び点検方法 |
| JP7036363B2 (ja) * | 2017-09-22 | 2022-03-15 | 株式会社シンコネクト | 建設分野用システム |
| CN113408737A (zh) * | 2021-05-12 | 2021-09-17 | 联合汽车电子有限公司 | 移动终端姿态识别方法、装置和可读存储介质 |
| JP7437642B2 (ja) | 2022-07-22 | 2024-02-26 | 株式会社ソフトシーデーシー | 遠隔指示制御システム |
-
2003
- 2003-01-16 JP JP2003008857A patent/JP3918053B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004219847A (ja) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9311883B2 (en) | Recalibration of a flexible mixed reality device | |
| KR102550731B1 (ko) | 수평 자세 유지 장치 및 자세 유지 장치 구동 방법 | |
| US10523871B2 (en) | Imaging system and imaging control method with display of image with vertical alignment | |
| US9736368B2 (en) | Camera in a headframe for object tracking | |
| JP5659304B2 (ja) | 画像生成装置および画像生成方法 | |
| JP5659305B2 (ja) | 画像生成装置および画像生成方法 | |
| JP5865388B2 (ja) | 画像生成装置および画像生成方法 | |
| JP5769813B2 (ja) | 画像生成装置および画像生成方法 | |
| JP2008227877A (ja) | 映像情報処理装置 | |
| KR20150127674A (ko) | 주밍 제스처의 검출 | |
| TW201537977A (zh) | 全景景象拍攝及瀏覽之行動裝置、系統及方法 | |
| CN109922253B (zh) | 镜头防抖方法及装置、移动设备 | |
| JP2013258614A (ja) | 画像生成装置および画像生成方法 | |
| US10771707B2 (en) | Information processing device and information processing method | |
| JP7400882B2 (ja) | 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム | |
| KR102190743B1 (ko) | 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법 | |
| CN113645410B (zh) | 图像采集方法、设备及机器可读存储介质 | |
| KR20170105334A (ko) | 카메라 모듈 | |
| JP3918053B2 (ja) | 小型携帯端末 | |
| US9438805B2 (en) | Terminal device and image capturing method | |
| CN111369684B (zh) | 目标跟踪方法、装置、设备及存储介质 | |
| WO2023065126A1 (zh) | 拍摄控制方法、设备、拍摄系统及存储介质 | |
| US11831976B2 (en) | Display apparatus | |
| WO2022085127A1 (ja) | 携帯端末装置 | |
| JP2016018448A (ja) | 入力装置およびその制御方法、制御プログラム、並びに入力システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040818 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060919 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3918053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |