JP4190935B2

JP4190935B2 - Mobile terminal device

Info

Publication number: JP4190935B2
Application number: JP2003107361A
Authority: JP
Inventors: 亮宏内田; 賢明小柴
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-09-27
Filing date: 2003-04-11
Publication date: 2008-12-03
Anticipated expiration: 2023-04-11
Also published as: JP2004164559A

Description

【０００１】
【発明の属する技術分野】
本発明は、携帯端末装置に関し、特に詳しくは、携帯端末装置の表示画面上におけるポインタやカーソル等の指示記号の位置制御に関するものである。
【０００２】
【従来の技術】
近年、携帯電話やモバイルコンピュータなどの携帯端末装置が利用されている。これらの携帯端末装置には、通常、表示部が備えられており、表示部の画面上には、画像や各種情報および処理対象を指示する指示記号などが表示される。指示記号を移動させるためには、ユーザが操作できる何らかの手段が必要になるが、このような手段として、装置本体に備えられたキーを用いるもの（例えば、特許文献１参照）、ジョイスティックやトラックボールを用いるもの（例えば、特許文献２参照）、また、本体から取り外した操作部をマウスとして用いるもの（例えば、特許文献３参照）が提案されている。
【０００３】
【特許文献１】
特開２００２−１４９３１４号公報
【０００４】
【特許文献２】
特開２００１−１６６３５号公報
【０００５】
【特許文献３】
特開２００１−３６６１９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、キーやジョイスティック、トラックボールを用いるものは、瞬時に意図した位置を指示する操作が難しく、操作性があまりよくない。また、本体から取り外した操作部をマウスとして用いるものは、操作性は良いが、マウス部分を着脱する機構が必要であったり、マウスを構成する部品、例えば、トラックボールなどを収容するスペースを確保しなければならなかったりするため、結果的に装置のサイズや重量が増すことになり、携帯性を損なうという問題があった。
【０００７】
本発明は、上記問題点に鑑み、携帯端末装置において、装置の携帯性を損なうことなく、表示画面上での指示記号の移動に際し操作性のより良い携帯端末装置を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明による携帯端末装置は、被写体の画像を撮像する撮像手段と、移動する指示記号を含む画面を表示する表示手段とを本体上に備えた携帯端末装置において、撮像手段により被写体を撮像するカメラモードと、指示記号の表示位置を制御するポインティングモードのいずれかを設定する第１のモード設定手段と、ポインティングモードにおいて、撮像手段により撮像された画像の、本体を動かすことにより生じる変位に連動して、指示記号を画面上で移動させるポインティング手段とを備えたことを特徴とするものである。
【０００９】
ここで、「指示記号」とは、表示画面上での座標位置を示す記号であり、例えば、文字入力画面や項目選択画面におけるポインタまたはカーソル、ゲーム画面におけるキャラクタやターゲットマークなどが挙げられる。
【００１０】
「カメラモード」とは、デジタルカメラを用いた一般的な撮像と同様に、被写体の画像を撮像手段により取り込むモードであり、このカメラモードにおいては、例えば、表示画面には撮像手段により撮像された被写体の画像がほぼリアルタイムで表示され、ユーザからの撮像を指示する入力により、その時点で撮像された画像が画像データとしてメモリやメディアに格納される。
【００１１】
一方、「ポインティングモード」とは、表示画面上のポインタなどの指示記号を装置本体の動きに連動して移動させるモードであり、このポインティングモードにおいては、例えば、撮像手段により撮像された被写体の画像をほぼリアルタイムでモニタリングし、画像の動き（変位）から装置本体の位置または角度の変化を求め、ユーザが本体を動かした向きまたは傾けた向きに、変化した量に比例した距離だけ、指示記号を画面上で移動させる。
【００１２】
上記本発明による携帯端末装置においては、撮像手段は、第１のモード設定手段によるポインティングモードの設定に応答して、本体を載置する操作台面の画像を撮像できるよう、撮像手段が有する撮像レンズの焦点距離を短くするものであってもよい。
【００１３】
ここで、「操作台」とは、本体を載置してその本体を面移動することができるような台であり、例えば、事務机、テーブル、床、壁などが挙げられる。なお、この「操作台」の面は必ずしも平面でなくてもよく、また、地面に平行でなくてもよい。
【００１４】
また、被写体を撮像する際に自動焦点検出のための補助光を被写体に向けて発光する補助光発光手段をさらに備え、補助光発光手段は、第１のモード設定手段によるポインティングモードの設定に応答して、操作台面上に補助光を照射するものであってもよい。
【００１５】
また、補助光発光手段は、第１のモード設定手段によるポインティングモードの設定に応答して、撮像手段が撮像する操作台面上の特定の領域に向けて、補助光を照射するよう照射方向が制御されるものであってもよい。なお、この照射方向の制御は、補助光の発光部を回動する構造にして、その発光部の回動により行ってもよいし、補助光の発光光路中に反射板を設けて、その反射板の角度を変えることにより行ってもよい。
【００１６】
上記本発明による携帯端末装置においては、ポインティングモードにおいて、本体を操作台から離して動かすノンマウスモードと、本体を操作台面上に載置して動かすマウスモードとを切り替えて設定する第２のモード設定手段をさらに備え、撮像手段は、第２のモード設定手段によるマウスモードの設定に応答して、本体を載置する操作台面の画像を撮像できるよう、撮像手段が有する撮像レンズの焦点距離を短くするものであってもよい。
【００１７】
ここで、「ノンマウスモード」とは、本体を操作台から離して動かすモードであり、このノンマウスモードにおいては、例えば、ユーザが本体を空中で手に持った状態で、本体から離れた被写体（人物や風景）の画像を撮像し、その画像の変位に基づいて、指示記号を移動させる。
【００１８】
一方、「マウスモード」とは、本体を操作台面上に載置して動かすモードであり、このマウスモードにおいては、例えば、操作台面のような本体に近接した被写体の画像を撮像するために、撮像レンズを焦点距離の短い構成に切り替え、撮像した操作台面の画像の変位に基づいて、指示記号を移動させる。つまり本体そのものをマウスのようにして使用する。
【００１９】
また、被写体を撮像する際に自動焦点検出のための補助光を被写体に向けて発光する補助光発光手段をさらに備え、補助光発光手段は、第２のモード設定手段によるマウスモードの設定に応答して、操作台面上に補助光を照射するものであってもよい。
【００２０】
また、補助光発光手段は、第２のモード設定手段によるマウスモードの設定に応答して、撮像手段が撮像する操作台面上の特定の領域に向けて、補助光を照射するよう照射方向が制御されるものであってもよい。なお、この照射方向の制御は、補助光の発光部を回動する構造にして、その発光部の回動により行ってもよいし、補助光の発光光路中に反射板を設けて、その反射板の角度を変えることにより行ってもよい。
【００２１】
さらに、上記本発明による携帯端末装置においては、撮像手段の光学的開口部および補助光発光手段の発光部は、本体を操作台面上に載置したとき操作台面に塞がれるように形成された本体の凹みの内部に設置されたものであってもよい。
【００２２】
また、上記本発明による携帯端末装置においては、撮像手段は、第１のモード設定手段によるカメラモードの設定に応答して、本体を載置する操作台面の画像を撮像できるよう、撮像手段が有する撮像レンズの焦点距離を短くするよう変更可能なものであるとともに、撮像した画像を所定倍率により拡大するものであってもよい。
【００２３】
また、本体は、本体上の、操作台面に載置された本体を把持するユーザの片手の人差指または中指で操作できる位置に、指示記号に関連する所定の機能が割り当てられた１または２以上のボタンをさら備えたものであってもよい。
【００２４】
「指示記号に関連する所定の機能」としては、例えば、ボタンをクリックすることにより、ポインタによって指示された位置にカーソルを移動させる機能や、ボタンを押しながらポインタでなぞった部分を選択する機能などが考えられる。
【００２５】
【発明の効果】
本発明の携帯端末装置によれば、上述のように、被写体の画像を撮像する撮像手段と、移動する指示記号を含む画面を表示する表示手段とを本体上に備えた携帯端末装置において、撮像手段により被写体を撮像するカメラモードと、指示記号の表示位置を制御するポインティングモードのいずれかを設定する第１のモード設定手段と、ポインティングモードにおいて、撮像手段により撮像された画像の、本体を動かすことにより生じる変位に連動して、指示記号を画面上で移動させるポインティング手段とを備えた構成としたので、カメラモードとポインティングモードとが設定でき、ポインティングモード設定時に、本体に既に備わっている撮像手段により撮像された画像の、装置本体を動かすことにより生じる変位に連動して、指示記号を表示画面上で移動させることができる。これにより、本体のサイズが増すような部品をほぼ追加することなく、携帯端末装置の本体を上下左右または前後左右に移動または傾けるだけで指示記号を制御することができ、また、ユーザの手の動きに連動して指示記号を移動させることができるので、装置の携帯性を損なわない構成で、表示画面上での指示記号の移動を操作性良く行うことができる。
【００２６】
上記本発明による携帯端末装置において、撮像手段を、第１のモード設定手段によるポインティングモードの設定に応答して、本体を載置する操作台面の画像を撮像できるよう、撮像手段が有する撮像レンズの焦点距離を短くするものとすれば、操作台の面上の画像を撮像して、その画像の変位から表示画面上の指示記号を制御することができるので、本体を操作台上に置きながら面移動させることにより指示記号を移動させることができ、より安定した操作が可能となる。
【００２７】
また、被写体を撮像する際に自動焦点検出のための補助光を被写体に向けて発光する補助光発光手段をさらに備え、補助光発光手段を、第１のモード設定手段によるポインティングモードの設定に応答して、操作台面上に補助光を照射するものとすれば、室内などの比較的暗い場所で操作する場合や、本体そのものが操作台面への光を遮ってしまうような場合でも、操作台面の撮像のために必要な光を補うことができ、暗所において、より好ましい状況で操作ができる。
【００２８】
また、補助光発光手段を、第１のモード設定手段によるポインティングモードの設定に応答して、撮像手段が撮像する操作台面上の特定の領域に向けて、補助光を照射するよう照射方向が制御されるものとすれば、撮像する領域に直接、補助光を照射することができるので、暗所において、さらに好ましい状況で操作ができる。
【００２９】
上記本発明による携帯端末装置において、ポインティングモードにおいて、本体を操作台から離して動かすノンマウスモードと、本体を操作台面上に載置して動かすマウスモードとを切り替えて設定する第２のモード設定手段をさらに備え、撮像手段を、第２のモード設定手段によるマウスモードの設定に応答して、本体を載置する操作台面の画像を撮像できるよう、撮像手段が有する撮像レンズの焦点距離を短くするものとすれば、ノンマウスモードでは、操作台のない場所でも、本体から離れた被写体の画像を撮像して、その画像の変位から表示画面上の指示記号を制御することができ、またマウスモードでは、操作台の面上の画像を撮像して、その画像の変位から表示画面上の指示記号を制御することができるので、場所に応じて適した操作形態で、指示記号の制御をすることができる。
【００３０】
また、被写体を撮像する際に自動焦点検出のための補助光を被写体に向けて発光する補助光発光手段をさらに備え、補助光発光手段を、第２のモード設定手段によるマウスモードの設定に応答して、操作台面上に補助光を照射するものとすれば、室内などの比較的暗い場所で操作する場合や、本体そのものが操作台面への光を遮ってしまうような場合でも、操作台面の撮像のために必要な光を補うことができ、暗所において、より好ましい状況で操作ができる。
【００３１】
また、補助光発光手段を、第２のモード設定手段によるマウスモードの設定に応答して、撮像手段が撮像する操作台面上の特定の領域に向けて、補助光を照射するよう照射方向が制御されるものとすれば、撮像する領域に直接、補助光を照射することができるので、暗所において、さらに好ましい状況で操作ができる。
【００３２】
さらに、上記本発明による携帯端末装置においては、撮像手段の光学的開口部および補助光発光手段の発光部を、本体を操作台面上に載置したとき操作台面に塞がれるように形成された本体の凹みの内部に設置されたものとすれば、本体から撮像手段および補助光発光手段が張り出すことがなく、より持ちやすい形状となる。
【００３３】
また、上記本発明による携帯端末装置においては、撮像手段を、第１のモード設定手段によるカメラモードの設定に応答して、本体を載置する操作台面の画像を撮像できるよう、撮像手段が有する撮像レンズの焦点距離を短くするよう変更可能なものとするとともに、撮像した画像を所定倍率により拡大するものとすれば、操作台の面上の画像を撮像して、撮像した画像を拡大して表示手段に表示することができる。このため、操作台面に雑誌や新聞を載置して撮像すれば、雑誌や新聞の小さな文字を拡大して表示手段に表示でき、これにより、本発明による携帯端末装置を電子ルーペとして用いることができる。
【００３４】
また、本体を、その本体上の、操作台面に載置された本体を把持するユーザの片手の人差指または中指で操作できる位置に、指示記号に関連する所定の機能が割り当てられた１または２以上のボタンをさら備えたものとすれば、よりマウスに近い感覚で多彩な操作ができる。
【００３５】
【発明の実施の形態】
以下、本発明の携帯端末装置の実施の形態を図面に基づいて説明する。図１は、本発明による携帯端末装置の実施形態としてのデジタルカメラ付き携帯電話１００（以下、カメラ付き形態電話という）の構成を示す概略図、図２はその概観図である。なお、図２の（Ａ），（Ｂ），（Ｃ）は、それぞれ、本実施形態によるカメラ付き携帯電話１００の正面図、裏面図、側面図を示している。
【００３６】
本実施形態によるカメラ付き携帯電話１００は、被写体を撮像する撮像装置１０と、撮像した画像や各種処理画面とともに処理対象を指示するポインタを表示するための液晶パネルや有機ＥＬなどからなる表示部２０とを備えた携帯電話に、自動焦点検出（ＡＦ）のための補助光Ｌを被写体に向けて発光するＡＦ補助光発光装置３０と、各種操作用のボタンが配置されている操作部４０と、モードの設定や表示部２０の表示制御、その他各種演算や各部の制御を行う制御部５０と、各種データを記憶するメモリ６０とを備えている。
【００３７】
撮像装置１０は、さらに、被写体からの反射光を集光して後述の撮像素子１２に被写体の像を結像させる撮像レンズ１１と、撮像レンズ１１により結像された被写体の像を電気信号として出力する撮像素子１２と、撮像素子１２からの電気信号を画像データに変換する変換器１３とからなる。
【００３８】
ＡＦ補助光発光装置３０は、さらに、発光面を有する発光部３１と、補助光のＬの光量および照射方向を制御するための駆動部３２とからなる。なお、発光部３１は、照射方向を変えるために回動可能な構造となっている。
【００３９】
操作部４０は、さらに、機能を切り替えるためのメニューボタン４１、ポインタＳに関連した所定の機能が割り当てられたクリックボタン４２ａ，４２ｂ、電源をＯＮ／ＯＦＦするための電源ボタンやダイヤルボタンなどのその他のボタンからなる。
【００４０】
なお、表示部２０は、本体蓋部１ｂの内面に、撮像レンズ１１および補助光発光部３１は、本体主要部１ａの裏面にある凹み内に、操作部４０は、本体主要部１ａの前面に（特にクリックボタン４１ａ，４１ｂは、操作台５に載置された本体１をユーザが片手で把持したときに手の人差指と中指で操作できる位置に）、その他は本体の主要部１ａまたは蓋部１ｂの内部にそれぞれ設置されている。
【００４１】
このカメラ付き携帯電話１００に設定されるモードには、カメラモードとポインティングモードがあり、使用する機能に応じて、制御部５０が、これらのモードを自動で設定する。カメラモードとは、通常のデジタルカメラを用いて被写体を撮像する場合と同様に、被写体の画像を取り込む際に設定するモードであり、また、ポインティングモードとは、表示部２０上に処理画面とともに処理対象を指示するためのポインタＳが表示されている場合に、本体１をテーブルなどの適当な操作台５に置いて平面移動させることにより、本体１そのものをマウスのように操作し、ポインタＳの表示位置を制御する際に設定するモードである。
【００４２】
このポインタＳの表示位置の制御は、特開２０００−２０２３０号公報の「マウススキャナ」において開示されている、撮像素子により撮像された画像の動きから表示画面上における座標位置を動かす手法を用いることにより実現できる。すなわち、操作台５の操作面上の画像を、撮像レンズ１１、撮像素子１２、変換器１３を通してリアルタイムで連続的に撮像し、撮像した画像中のパターンの動き（変位）から本体の移動方向および移動量を検出し、この検出結果に基づいてポインタＳを移動させる。
【００４３】
撮像レンズ１１は、カメラモードが設定されると、制御部５０からの制御により焦点距離の長い設定に切り替わり、ポインティングモードが設定されると、焦点距離の短い設定に切り替わる。これにより、カメラモードでは、本体１から離れた被写体の画像が撮像可能に、ポインティングモードでは、本体１に近接した被写体、つまり、本体１を載置する操作台面の画像が撮像可能になる。
【００４４】
撮像素子１２は、撮像レンズ１１により結像された被写体の像を電気信号として出力している。
【００４５】
変換器１３は、制御部５０からの画像データの読取り命令を受けると、撮像素子１２からの電気信号を読み取り、画像データに変換する。
【００４６】
ＡＦ補助光発光装置３０は、その発光部３１が、撮像レンズ１１の画角内において撮像レンズ１１から比較的遠方と撮像レンズ１１の近傍とを向くことができるよう、回動する構造になっている。駆動部３２は、カメラモードが設定されると、制御部５０からの制御により、自動焦点検出のための補助光Ｌが被写体に向けて発光されるよう、発光部３１を回動制御して発光面を撮像レンズ１１から離れた遠方に向けるとともに、適正な光量にセットする。また、ポインティングモードが設定されると、発光面を撮像レンズ１１の近傍に向けて、操作台５の操作面上の撮像を助けるための補助光Ｌが操作台面に向けて照射されるよう、駆動部３２は、制御部５０からの制御を受け、発光部３１を回動制御して発光面を撮像レンズ１１近傍に向けるとともに、適正な光量にセットする。
【００４７】
クリックボタン４２ａ，４２ｂは、ポインタＳに関連した機能が割り当てられたボタンであり、その機能としては、例えば、表示部２０上に文字を入力する画面が表示されている場合において、クリックボタン４２ａをワンクリックすると、その時点でポインタＳが指し示している位置にカーソル位置を移動させたり、また、表示部２０上に項目を選択する画面が表示されている場合においては、クリックボタン４２ａをダブルクリックすると、その時点でポインタＳが指し示している項目が選択・実行されたりするような機能が考えられる。さらに、クリックボタン４２ｂをワンクリックすると、サブメニューが表示されるような機能も考えられる。このようなクリックボタンを設けることにより、コンピュータのアクセサリとしてのマウスに近い感覚で操作ができる。
【００４８】
制御部５０は、表示部２０上に、画像、処理画面およびポインタＳを表示させたり、また、ポインティングモードが設定されているときには、被写体に適正な補助光Ｌを照射させるために、ＡＦ補助光発光装置３０の駆動部３２を制御したり、本体１の移動方向および移動量に基づいてポインタＳの表示位置を移動させるために、撮像素子１２や変換器１３にリアルタイムで画像を連続的に撮像させ、それらの画像データをメモリ１４に記憶させる。記憶された画像データの中で、最新の２つの画像データを読み出して比較し、この２つの画像間で、重複する画像パターンの相対的な位置を検出し、このパターンの移動方向および移動量を検出する。本体１の移動方向は、このパターンの移動方向と反対の方向であり、本体１の移動量は、パターンの移動量に比例するので、パターンの移動方向および移動量からカメラ付き携帯電話１００の本体１の移動方向および移動量を求めることができ、ポインタＳを、この本体１の移動方向と同じ方向に、そして、本体１の移動量に応じた幅で移動するように制御する。
【００４９】
メモリ６０は、変換器１３で変換された画像データや、設定されたモードを記憶するものであり、カメラモードでは、個々の撮像・変換された画像データを記憶し、ポインティングモードでは、リアルタイムで連続的に撮像された画像のうち少なくとも最新の２つの画像を表す画像データを記憶しておく。この最新の２つの画像は、上述の通り、カメラ付き携帯電話１００の本体１の移動方向および移動量を検出するために、制御部５０により利用される。
【００５０】
なお、本実施形態によるデジタルカメラ付き携帯電話の電話機能については説明を省略する。
【００５１】
次に、本実施形態によるカメラ付き携帯電話１００の作用について説明する。図３は、カメラ付き携帯電話１００の処理フローを示したフローチャートである。
【００５２】
まず、ユーザはカメラ付き携帯電話１００の使用したい機能を選択する。ユーザにより操作部４０のメニューボタン４１が押されると、制御部５０により表示部２０上に機能一覧を表したメニュー画面が表示され、ユーザはその一覧の中から所望の機能を選択する（ステップＳ１）。
【００５３】
制御部５０は、選択された機能に応じてモードを設定する（ステップＳ２）。例えば、カメラ撮像機能が選択された場合にはカメラモードが、アドレス帳管理機能が選択された場合にはポインティングモードが設定される。そして、設定されたモード別に処理を行う（ステップＳ３）。
【００５４】
カメラモードが設定されると、図４に示すように、制御部５０は、ＡＦ補助光発光装置３０の駆動部３２を制御して、発光部３１の発光面がカメラ撮像用の向き、つまり撮像レンズ１１の画角内の遠方に向くよう回動させるとともに、補助光Ｌの光量もカメラ撮像用の光量にセットされる（ステップＳ４）。そして、ユーザによる撮像指示の有無を判定し（ステップＳ５）、撮像指示が有れば撮像処理を行う（ステップＳ６）。次に、使用する機能の切替え操作が発生したか否かを確認し（ステップＳ７）、機能の切替え操作があればステップＳ１に戻り、なければステップＳ５に戻って、ユーザからの撮像指示を待つ。なお、撮像処理は、以下の手順で行われる。始めに、必要に応じてＡＦ補助光発光装置３０の発光部３１より被写体に向けて補助光Ｌが発光され、自動焦点検出および焦点合わせが行われて、撮像レンズ１１によって被写体の像が撮像素子１２に結像される。そして、撮像素子１２から出力される被写体の像に対応した電気信号を変換器１３が画像データに変換し、変換された画像データがメモリ１４に記憶・保存される。
【００５５】
一方、ポインティングモードが設定されると、図５に示すように、制御部５０は、本体１を操作台５に載置したときに操作台面が撮像できるように、撮像レンズ１１を焦点距離の短い設定に切り替え、さらに、ＡＦ補助光発光装置３０の駆動部３１を制御して、発光部３１の発光面がポインタＳの表示位置制御用の向き、つまり撮像する操作台５の操作面上がある、撮像レンズ１１の画角内の撮像レンズ１１近傍に向くよう回動させるとともに、適正な光量の補助光Ｌを照射する（ステップＳ８）。そして、図６に示すように、ユーザが本体を操作台５に載置して前後左右に移動させると、操作台５面上の画像が、撮像レンズ１１、撮像素子１２、変換器１３を通して画像データとして連続的に撮像され、そのうち少なくとも最新の２画像が常にメモリ６０に記憶される。制御部５０は、メモリ６０からこの最新の２画像の画像データを読み出し、これらを比較して画像の時間的な変位を検出する（ステップＳ９）。そして、変位があるかないかを判定し（ステップＳ１０）、変位がある場合には、その変位から本体１の移動方向及び移動量を求めてこれらに対応した分だけ、ポインタＳを移動させる（ステップＳ１１）。次に、使用する機能の切替え操作が発生したか否かを確認し（ステップＳ１２）、機能の切替え操作があればステップＳ１に戻り、なければステップＳ９に戻って、再び画像の変位を検出する。
【００５６】
なお、ポインティングモードにおいて、本体１を把持した片手の人差指および中指の位置にあるクリックボタン４２ａ，４２ｂを押すことにより、ポインタＳが指示している位置にカーソルを移動させたり、ポインタＳが指示している項目を選択したり、サブメニューを表示させたりすることができる。
【００５７】
このような本実施形態のカメラ付き携帯電話１００によれば、カメラモードとポインティングモードとが設定でき、ポインティングモード設定時に、カメラ付き携帯電話１００の本体１に既に備わっている撮像装置１０により撮像された画像の、本体１を動かすことにより生じる変位に連動して、ポインタＳを表示画面上で移動させることができる。これにより、本体１のサイズが増すような部品をほぼ追加することなく、本体１を前後左右に移動させるだけでポインタＳを制御することができ、また、ユーザの手の動きに連動してポインタＳを移動させることができるので、装置の携帯性を損なわない構成で、表示画面上でのポインタＳの移動を操作性良く行うことができる。
【００５８】
また、ポインティングモードが設定されると、カメラ付き携帯電話１００の本体１を操作台５面上に載置したときに、操作台５面上が撮像できるように、撮像レンズ１１の焦点距離を短くしているので、本体１を操作台５上に置きながら面移動させることによりポインタＳを移動させることができ、安定した操作が可能である。
【００５９】
また、ポインティングモードが設定されると、ＡＦ補助光発光装置３０は、制御部５０からの制御を受けて、発光部３１の発光面が撮像レンズ１１側に向くよう発光部３１を回動させ、操作台５面上の撮像される特定の領域に補助光Ｌを照射できるようにしているので、被写体としての操作台５面上を撮像するために必要な光を補うことができ、より好ましい状況で操作ができる。
【００６０】
また、ＡＦ補助光発光装置３０の発光部３１と撮像装置１０の撮像レンズ１１とを、本体１を操作台５面上に載置したとき操作台面に塞がれるように形成された凹みの内部に設置しているので、撮像装置１０やＡＦ補助光発光装置３０が本体の外部に張り出すことがなく、ユーザが持ちやすい形状となっている。さらに、カメラ付き携帯電話１００の本体１上に、操作台５面上に載置された本体１を把持するユーザの片手の人差指または中指で操作できる位置に、ポインタＳに関連する所定の機能が割り当てられたクリックボタン４２ａ，４２ｂを備えているので、よりマウスに近い感覚で多彩な操作ができる。
【００６１】
ところで、カメラ付き携帯電話１００の本体１を操作台５上で操作してポインタＳを移動させるとき、ユーザは、操作台５上での本体１の位置が操作しにくい位置に移動してしまった際に、その位置を修正したいと考えることが予想される。しかしながら、常に画像の変位を見てポインタＳを移動させるようにすると、本体１の位置を元の位置に戻したと同時に、ポインタＳの位置も元に戻ってしまうことになる。そこで、押している間だけポインタＳの移動を停止させる移動停止ボタンを本体１上にさらに設け、ユーザはこのボタンを押しながら本体１の位置を変えるようにすれば、ポインタＳを不必要に移動させることなく、本体１の位置を修正することができる。これとは逆に、押されている間だけポインタＳの移動を可能にする移動許可ボタンを設け、ユーザはこのボタンを押しながら本体１を操作するようにしてもよい。また、別の方法として、撮像レンズ１１の焦点を操作台５面上に固定にするとともに、撮像した画像のピンぼけの度合いを検出し、ピンぼけ度が所定のしきい値を超えている間は、ポインタＳの移動を停止させるようにしてもよい。このようにすれば、ユーザがカメラ付き携帯電話１００の本体１を所望の位置に移動させようと本体１を持ち上げて移動させている間は画像がピンぼけになるので、その間、ポインタＳも移動せず、本体１の位置の修正を行うことができる。
【００６２】
なお、上記ポインティングモードにおいて、上述のような、カメラ付き携帯電話１００の本体１を操作台５面上に載置して動かすモード（以下、マウスモードと称する）の他に、さらに、本体１を操作台５から離して動かすモード（以下、ノンマウスモードと称する）とを切替えて設定できるようにしてもよい。ノンマウスモードとは、表示部２０上に処理画面とともに処理対象を指示するためのポインタＳが表示されている場合に、本体１を操作台５などに載置せずに、本体１を手で把持し、空中で前後左右に移動または傾けることにより、ポインタＳの表示位置を制御するモードのことである。このノンマウスモードにおいては、図７に示すように、撮像レンズ１１の焦点距離はカメラモードと同じく長く設定した状態で、本体１から離れた被写体の画像を撮像装置１０により撮像し、その画像の変位からポインタＳの表示位置を制御する。
【００６３】
このように、ポインティングモードにおいて、さらにノンマウスモードとマウスモードを設定できるようにすれば、操作台５のない場所では、ノンマウスモードに設定して、カメラ付き携帯電話１００の本体１から離れた被写体の画像を撮像し、その画像の変位から表示画面上のポインタＳを制御することができ、操作台５がある場所では、マウスモードを設定して、操作台５面上の画像を撮像し、その画像の変位から表示画面上のポインタＳを制御することができるので、場所に応じて適した操作形態で、ポインタＳの制御をすることができる。
【００６４】
なお、ノンマウスモードにおいても、マウスモードと同様に、カメラ付き携帯電話１００の本体１の位置や角度が元に戻ったときに、ポインタＳの位置も元に戻ってしまうので、上記移動停止ボタンや移動許可ボタンを本体１上に備えることが望ましい。
【００６５】
なお、本実施形態において、モードの設定については、使用する機能に応じて、制御部５０が自動で設定するようにしているが、もちろん、ユーザがマニュアル操作でモードを設定するようにしても構わない。
【００６６】
また、本実施形態において、カメラモードが設定された際に、撮像レンズ１１を焦点距離の短い設定に切り替え、本体１に近接した被写体、すなわち本体１を載置する操作台面の画像を撮像可能としてもよい。この際、制御部５０は撮像装置１０が撮像した画像を所定の倍率により拡大して表示部２０に表示する。これにより、図８に示すように、操作台面上に載置した文字を拡大して表示部２０に表示でき、本実施形態のカメラ付き携帯電話１００を電子ルーペとして用いることができる。
【００６７】
この場合、制御部５０において撮像装置１０が撮像した画像が明るすぎたり暗すぎたりしないかを判定し、表示部２０に表示される画像が適切な明るさとなるように発光部３１の光量を調整してもよい。
【００６８】
また、制御部５０において撮像装置１０が撮像した画像のコントラスト（すなわち文字と背景との輝度の差）をしきい値と比較することによりコントラストが大きいか小さいかを判定し、コントラストが小さいと判定された場合に、表示部２０に表示される画像が適切なコントラストを有するものとなるように、撮像装置１０が撮像した画像に対して画像処理を施すようにしてもよい。具体的には、コントラストが小さいと判定された場合に、撮像装置１０が撮像した画像を二値化処理して高輝度の画像と低輝度の画像とに分離し、高輝度および低輝度の各画像をあらかじめ定めた適切なコントラストを有する二種類の輝度値のそれぞれにより表示部２０に表示すればよい。
【００６９】
また、表示部２０に表示する文字のサイズをあらかじめ設定しておき、撮影する文字のサイズに拘わらず、同一サイズの文字が表示部２０に表示されるようにしてもよい。また、クリックボタン４２ａをクリックすることにより表示する画像の倍率を上げ、クリックボタン４２ｂをクリックすることにより倍率を下げるようにしてもよい。
【図面の簡単な説明】
【図１】本発明の一実施形態によるデジタルカメラ付き携帯電話の構成を示す概略図
【図２】本発明の一実施形態によるデジタルカメラ付き携帯電話の概観図
【図３】本実施形態によるデジタルカメラ付き携帯電話の処理フローを示すフローチャート
【図４】カメラモードにおける被写体撮像時のデジタルカメラ付き携帯電話を示す図
【図５】ポインティングモードにおけるポインタ移動時のデジタルカメラ付き携帯電話を示す図
【図６】デジタルカメラ付き携帯電話の本体を操作して、ポインタを移動させる様子を示した図
【図７】ノンマウスモードにおいて、デジタルカメラ付き携帯電話の本体を操作して、ポインタを移動させる様子を示した図
【図８】カメラモードにおいて操作台面上の文字を撮影する様子を示した図
【符号の説明】
１デジタルカメラ付き携帯電話の本体
１ａデジタルカメラ付き携帯電話の主要部
１ｂデジタルカメラ付き携帯電話の蓋部
５操作台
１０撮像装置
１１撮像レンズ
１２撮像素子
１３変換器
２０表示部
３０ＡＦ補助光発光装置
３１発光部
３２駆動部
４０操作部
４１メニューボタン
４２ａ，４２ｂクリックボタン
５０制御部
６０メモリ
１００デジタルカメラ付き携帯電話
Ｌ補助光
Ｓポインタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a mobile terminal device, and more particularly to position control of instruction symbols such as a pointer and a cursor on a display screen of the mobile terminal device.
[0002]
[Prior art]
In recent years, mobile terminal devices such as mobile phones and mobile computers have been used. These portable terminal devices are usually provided with a display unit, and an image, various information, an instruction symbol indicating a processing target, and the like are displayed on the screen of the display unit. In order to move the instruction symbol, some means that can be operated by the user is required. As such a means, a key provided on the apparatus main body (for example, see Patent Document 1), a joystick or a trackball is used. Have been proposed (for example, see Patent Document 2), and those using an operation unit removed from the main body as a mouse (for example, see Patent Document 3).
[0003]
[Patent Document 1]
JP 2002-149314 A
[0004]
[Patent Document 2]
JP 2001-16635 A
[0005]
[Patent Document 3]
JP 2001-36619 A
[0006]
[Problems to be solved by the invention]
However, those using keys, joysticks, and trackballs are difficult to operate instructing the intended position instantaneously, and the operability is not so good. A mouse that uses an operation unit that has been removed from the main body has good operability, but requires a mechanism for attaching and detaching the mouse part, and secures a space for housing the components that make up the mouse, such as a trackball. As a result, the size and weight of the apparatus are increased, resulting in a problem that portability is impaired.
[0007]
In view of the above problems, an object of the present invention is to provide a portable terminal device that has better operability when moving an instruction symbol on a display screen without impairing the portability of the device. Is.
[0008]
[Means for Solving the Problems]
A mobile terminal device according to the present invention is a mobile terminal device that includes an imaging unit that captures an image of a subject and a display unit that displays a screen including a moving instruction symbol on the main body. A first mode setting means for setting one of a mode and a pointing mode for controlling the display position of the instruction symbol; and in the pointing mode, the movement of the image picked up by the image pickup means is interlocked with the displacement caused by moving the main body. And pointing means for moving the instruction symbol on the screen.
[0009]
Here, the “instruction symbol” is a symbol indicating a coordinate position on the display screen, and examples thereof include a pointer or cursor on a character input screen or an item selection screen, and a character or target mark on a game screen.
[0010]
The “camera mode” is a mode in which an image of a subject is captured by an imaging unit, as in general imaging using a digital camera. In this camera mode, for example, the display screen is captured by the imaging unit. An image of a subject is displayed almost in real time, and an image picked up at that time is stored in a memory or a medium as image data by an input instructing image pickup from the user.
[0011]
On the other hand, the “pointing mode” is a mode in which an instruction symbol such as a pointer on the display screen is moved in conjunction with the movement of the apparatus main body. In this pointing mode, for example, an image of a subject imaged by an imaging unit Is monitored almost in real time, and the change in the position or angle of the device body is obtained from the movement (displacement) of the image, and the indication symbol is displayed by a distance proportional to the amount of change in the direction in which the user moves or tilts the body. Move on the screen.
[0012]
In the portable terminal device according to the present invention, the imaging unit has an imaging lens so that the imaging unit can capture an image of the operation table on which the main body is placed in response to the setting of the pointing mode by the first mode setting unit. The focal length may be shortened.
[0013]
Here, the “operation table” is a table on which the main body can be placed and the main body can be moved on the surface, and examples thereof include an office desk, a table, a floor, and a wall. The surface of the “operation console” does not necessarily have to be a flat surface, and does not have to be parallel to the ground.
[0014]
Further, the apparatus further includes auxiliary light emitting means for emitting auxiliary light for automatic focus detection toward the subject when the subject is imaged, and the auxiliary light emitting means responds to the setting of the pointing mode by the first mode setting means. Then, the auxiliary light may be irradiated on the operation table surface.
[0015]
The auxiliary light emitting means controls the irradiation direction so as to irradiate the auxiliary light toward a specific area on the operation table surface imaged by the imaging means in response to the setting of the pointing mode by the first mode setting means. It may be done. The control of the irradiation direction may be performed by rotating the light emitting portion of the auxiliary light and rotating the light emitting portion, or by providing a reflector in the light emitting optical path of the auxiliary light and reflecting the light. You may carry out by changing the angle of a board.
[0016]
In the portable terminal device according to the present invention, in the pointing mode, the second mode is set by switching between the non-mouse mode in which the main body is moved away from the operating table and the mouse mode in which the main body is moved on the operating table. The imaging unit further includes a setting unit, and the imaging unit sets the focal length of the imaging lens included in the imaging unit so that an image of the operation table on which the main body is placed can be captured in response to the setting of the mouse mode by the second mode setting unit. It may be shortened.
[0017]
Here, the “non-mouse mode” is a mode in which the main body is moved away from the operation console. In this non-mouse mode, for example, a subject that is away from the main body while the main body is held in the hand. An image of (person or landscape) is taken, and the instruction symbol is moved based on the displacement of the image.
[0018]
On the other hand, the “mouse mode” is a mode in which the main body is placed and moved on the operation table surface. In this mouse mode, for example, in order to capture an image of a subject close to the main body such as the operation table surface, The imaging lens is switched to a configuration with a short focal length, and the instruction symbol is moved based on the displacement of the captured image of the operation table. In other words, the main body itself is used like a mouse.
[0019]
Further, the apparatus further includes auxiliary light emitting means for emitting auxiliary light for automatic focus detection toward the subject when imaging the subject, and the auxiliary light emitting means responds to the setting of the mouse mode by the second mode setting means. Then, the auxiliary light may be irradiated on the operation table surface.
[0020]
In addition, the auxiliary light emitting means controls the irradiation direction so as to irradiate the auxiliary light toward a specific area on the operation table imaged by the imaging means in response to the setting of the mouse mode by the second mode setting means. It may be done. The control of the irradiation direction may be performed by rotating the light emitting portion of the auxiliary light and rotating the light emitting portion, or by providing a reflector in the light emitting optical path of the auxiliary light and reflecting the light. You may carry out by changing the angle of a board.
[0021]
Furthermore, in the portable terminal device according to the present invention, the optical opening of the imaging unit and the light emitting unit of the auxiliary light emitting unit are formed so as to be blocked by the operation table surface when the main body is placed on the operation table surface. It may be installed inside the recess of the main body.
[0022]
In the portable terminal device according to the present invention, the imaging means has an imaging means so that an image of the operation table on which the main body is placed can be taken in response to the setting of the camera mode by the first mode setting means. While changing the focal length of the imaging lens to be short, the captured image may be enlarged by a predetermined magnification.
[0023]
In addition, the main body has one or more predetermined functions related to the instruction symbols assigned to positions on the main body that can be operated with the index finger or middle finger of the user's one hand holding the main body placed on the operation table surface. It may be further provided with a button.
[0024]
Examples of the “predetermined function related to the instruction symbol” include a function for moving the cursor to a position indicated by the pointer by clicking a button, a function for selecting a portion traced with the pointer while pressing the button, and the like. Can be considered.
[0025]
【The invention's effect】
According to the mobile terminal device of the present invention, as described above, in the mobile terminal device provided on the main body with the imaging means for capturing the image of the subject and the display means for displaying the screen including the moving instruction symbol, A first mode setting means for setting one of a camera mode for picking up an image of the subject by the means and a pointing mode for controlling the display position of the instruction symbol; and moving the main body of the image picked up by the image pickup means in the pointing mode The camera is equipped with a pointing means that moves the instruction symbol on the screen in conjunction with the displacement caused by this, so the camera mode and pointing mode can be set. The instruction symbol is linked with the displacement caused by moving the main body of the image taken by the means. It can be moved on the display screen. Accordingly, the instruction symbol can be controlled by simply moving or tilting the main body of the mobile terminal device up, down, left, right, front, back, left, or right without adding components that increase the size of the main body. Since the instruction symbol can be moved in conjunction with the movement, the instruction symbol can be moved on the display screen with good operability with a configuration that does not impair the portability of the apparatus.
[0026]
In the portable terminal device according to the present invention, the imaging unit includes an imaging lens included in the imaging unit so that the imaging unit can capture an image of the operation table on which the main body is placed in response to the setting of the pointing mode by the first mode setting unit. If the focal length is to be shortened, an image on the surface of the operation table can be taken, and the instruction symbols on the display screen can be controlled from the displacement of the image. By moving it, the instruction symbol can be moved, and a more stable operation is possible.
[0027]
Further, it further comprises auxiliary light emitting means for emitting auxiliary light for automatic focus detection toward the subject when the subject is imaged, and the auxiliary light emitting means responds to the setting of the pointing mode by the first mode setting means. If the operation table surface is irradiated with auxiliary light, even when operating in a relatively dark place such as indoors, or when the main unit itself blocks the light to the operation table surface, Light necessary for imaging can be supplemented, and operation can be performed in a more preferable situation in a dark place.
[0028]
Further, in response to the setting of the pointing mode by the first mode setting means, the irradiation direction of the auxiliary light emitting means is controlled so as to irradiate the auxiliary light toward a specific area on the operation table surface imaged by the imaging means. If it is to be performed, the auxiliary light can be directly applied to the area to be imaged, so that the operation can be performed in a more preferable situation in a dark place.
[0029]
In the portable terminal device according to the present invention, in the pointing mode, the second mode setting is set by switching between the non-mouse mode in which the main body is moved away from the operation table and the mouse mode in which the main body is placed on the operation table surface and moved. Means for shortening the focal length of the imaging lens of the imaging means so that the imaging means can take an image of the operation table on which the main body is placed in response to the setting of the mouse mode by the second mode setting means. In non-mouse mode, you can take an image of a subject away from the main unit even in a place where there is no operating console, and control the indication symbols on the display screen from the displacement of the image. In mode, it is possible to take an image on the surface of the operation console and control the indication symbols on the display screen from the displacement of the image. In the control mode, it is possible to control the indication symbol.
[0030]
Further, the apparatus further includes auxiliary light emitting means for emitting auxiliary light for automatic focus detection toward the subject when imaging the subject, and the auxiliary light emitting means responds to the setting of the mouse mode by the second mode setting means. If the operation table surface is irradiated with auxiliary light, even when operating in a relatively dark place such as indoors, or when the main unit itself blocks the light to the operation table surface, Light necessary for imaging can be supplemented, and operation can be performed in a more preferable situation in a dark place.
[0031]
Further, in response to the setting of the mouse mode by the second mode setting unit, the irradiation direction of the auxiliary light emitting unit is controlled so as to irradiate the auxiliary light toward a specific area on the operation table surface imaged by the imaging unit. If it is to be performed, the auxiliary light can be directly applied to the area to be imaged, so that the operation can be performed in a more preferable situation in a dark place.
[0032]
Further, in the portable terminal device according to the present invention, the optical opening of the imaging unit and the light emitting unit of the auxiliary light emitting unit are formed so as to be blocked by the operation table surface when the main body is placed on the operation table surface. If it is installed inside the dent of the main body, the imaging means and the auxiliary light emitting means do not protrude from the main body, and the shape becomes easier to hold.
[0033]
In the portable terminal device according to the present invention, the imaging unit has the imaging unit so that an image of the operation table on which the main body is placed can be captured in response to the setting of the camera mode by the first mode setting unit. If the focal length of the imaging lens can be changed and the captured image is enlarged by a predetermined magnification, the image on the surface of the operation table is captured and the captured image is enlarged. It can be displayed on the display means. For this reason, if a magazine or newspaper is placed on the operation table and imaged, a small character of the magazine or newspaper can be enlarged and displayed on the display means, whereby the portable terminal device according to the present invention can be used as an electronic loupe. it can.
[0034]
Also, one or more predetermined functions related to the instruction symbols are assigned to positions where the main body can be operated with the index finger or middle finger of the user's one hand holding the main body placed on the operation table surface on the main body. If the button is further provided, various operations can be performed as if it were a mouse.
[0035]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of a mobile terminal device of the present invention will be described with reference to the drawings. FIG. 1 is a schematic diagram showing a configuration of a mobile phone 100 with a digital camera (hereinafter referred to as a camera-equipped phone) as an embodiment of a mobile terminal device according to the present invention, and FIG. 2 is an overview thereof. 2A, 2B, and 2C respectively show a front view, a back view, and a side view of the camera-equipped mobile phone 100 according to the present embodiment.
[0036]
The camera-equipped mobile phone 100 according to the present embodiment includes an imaging device 10 that captures an image of a subject, and a display unit 20 that includes a captured image and various processing screens, a liquid crystal panel for displaying a pointer that indicates a processing target, an organic EL, and the like. An AF auxiliary light emitting device 30 that emits auxiliary light L for automatic focus detection (AF) toward a subject, an operation unit 40 in which buttons for various operations are arranged, A control unit 50 that performs mode setting, display control of the display unit 20, other various calculations and control of each unit, and a memory 60 that stores various data are provided.
[0037]
The imaging apparatus 10 further collects reflected light from the subject and forms an image of the subject on an imaging element 12 described later, and the subject image formed by the imaging lens 11 as an electrical signal. The image sensor 12 to output and the converter 13 which converts the electric signal from the image sensor 12 into image data.
[0038]
The AF auxiliary light emitting device 30 further includes a light emitting unit 31 having a light emitting surface, and a driving unit 32 for controlling the L light amount and the irradiation direction of the auxiliary light. The light emitting unit 31 has a structure that can be rotated to change the irradiation direction.
[0039]
The operation unit 40 further includes a menu button 41 for switching functions, click buttons 42a and 42b to which a predetermined function related to the pointer S is assigned, a power button for turning on / off the power, a dial button, and the like. It consists of buttons.
[0040]
The display unit 20 is on the inner surface of the main body lid 1b, the imaging lens 11 and the auxiliary light emitting unit 31 are in a recess on the back surface of the main body main portion 1a, and the operation unit 40 is on the front surface of the main body main portion 1a. (Especially, the click buttons 41a and 41b are located at positions where the user can operate with the index finger and middle finger when the user grips the main body 1 placed on the operation table 5 with one hand). Each is installed inside 1b.
[0041]
The mode set for the camera-equipped mobile phone 100 includes a camera mode and a pointing mode, and the control unit 50 automatically sets these modes according to the function to be used. The camera mode is a mode that is set when capturing an image of a subject, as in the case of capturing a subject using a normal digital camera. The pointing mode is a process that is performed on the display unit 20 together with a processing screen. When a pointer S for indicating a target is displayed, the main body 1 is placed on an appropriate operation table 5 such as a table and moved in a plane to operate the main body 1 itself like a mouse. This mode is set when the display position is controlled.
[0042]
The control of the display position of the pointer S uses a method of moving the coordinate position on the display screen from the movement of the image picked up by the image pickup device, which is disclosed in “Mouse Scanner” of Japanese Patent Application Laid-Open No. 2000-20230. Can be realized. That is, an image on the operation surface of the operation console 5 is continuously captured in real time through the imaging lens 11, the image sensor 12, and the converter 13, and the movement direction of the main body and the movement direction of the main body are determined from the pattern movement (displacement) in the captured image. The amount of movement is detected, and the pointer S is moved based on the detection result.
[0043]
When the camera mode is set, the imaging lens 11 is switched to a setting with a long focal length under the control of the control unit 50, and when the pointing mode is set, the imaging lens 11 is switched to a setting with a short focal length. As a result, in the camera mode, an image of a subject away from the main body 1 can be captured, and in the pointing mode, a subject close to the main body 1, that is, an image of the operation table on which the main body 1 is placed can be captured.
[0044]
The image sensor 12 outputs an image of the subject formed by the imaging lens 11 as an electrical signal.
[0045]
When receiving the image data read command from the control unit 50, the converter 13 reads the electrical signal from the image sensor 12 and converts it into image data.
[0046]
The AF auxiliary light emitting device 30 has a structure that rotates so that the light emitting unit 31 can face relatively far from the imaging lens 11 and in the vicinity of the imaging lens 11 within the angle of view of the imaging lens 11. Yes. When the camera mode is set, the drive unit 32 controls the rotation of the light emitting unit 31 so that the auxiliary light L for automatic focus detection is emitted toward the subject under control of the control unit 50 to emit light. The surface is directed far away from the imaging lens 11 and set to an appropriate amount of light. Further, when the pointing mode is set, driving is performed so that the light emitting surface is directed toward the vicinity of the imaging lens 11 and the auxiliary light L for assisting imaging on the operation surface of the operation table 5 is irradiated toward the operation table surface. The unit 32 receives control from the control unit 50 and controls the rotation of the light emitting unit 31 so that the light emitting surface is directed to the vicinity of the imaging lens 11 and is set to an appropriate amount of light.
[0047]
The click buttons 42a and 42b are buttons to which a function related to the pointer S is assigned. For example, when the screen for inputting characters is displayed on the display unit 20, the click button 42a is used. When one click is performed, the cursor position is moved to the position pointed to by the pointer S at that time, or when a screen for selecting an item is displayed on the display unit 20, double clicking the click button 42a. A function can be considered in which the item pointed to by the pointer S at that time is selected and executed. Furthermore, a function is also conceivable in which a submenu is displayed when the click button 42b is clicked once. By providing such a click button, operation can be performed with a feeling close to that of a mouse as an accessory of a computer.
[0048]
The control unit 50 displays an image, a processing screen, and a pointer S on the display unit 20, and when the pointing mode is set, in order to irradiate the subject with appropriate auxiliary light L, AF auxiliary light In order to control the drive unit 32 of the light emitting device 30 and to move the display position of the pointer S based on the moving direction and moving amount of the main body 1, images are continuously captured in real time on the image sensor 12 and the converter 13. The image data is stored in the memory 14. Among the stored image data, the latest two image data are read and compared, the relative position of the overlapping image pattern is detected between the two images, and the movement direction and movement amount of this pattern are determined. To detect. The movement direction of the main body 1 is opposite to the movement direction of the pattern, and the movement amount of the main body 1 is proportional to the movement amount of the pattern. Therefore, the main body of the camera-equipped mobile phone 100 is determined from the movement direction and movement amount of the pattern. 1 can be obtained, and the pointer S is controlled to move in the same direction as the movement direction of the main body 1 and with a width corresponding to the movement amount of the main body 1.
[0049]
The memory 60 stores the image data converted by the converter 13 and the set mode. In the camera mode, each image / converted image data is stored. In the pointing mode, the image data is continuously recorded in real time. Image data representing at least the latest two images among the images picked up automatically is stored. As described above, the latest two images are used by the control unit 50 to detect the moving direction and moving amount of the main body 1 of the camera-equipped mobile phone 100.
[0050]
A description of the telephone function of the mobile phone with a digital camera according to the present embodiment is omitted.
[0051]
Next, the operation of the camera-equipped mobile phone 100 according to the present embodiment will be described. FIG. 3 is a flowchart showing a processing flow of the camera-equipped mobile phone 100.
[0052]
First, the user selects a function that the mobile phone with camera 100 wants to use. When the user presses the menu button 41 of the operation unit 40, the control unit 50 displays a menu screen representing a function list on the display unit 20, and the user selects a desired function from the list (step S1). ).
[0053]
The control unit 50 sets a mode according to the selected function (step S2). For example, the camera mode is set when the camera imaging function is selected, and the pointing mode is set when the address book management function is selected. Then, processing is performed for each set mode (step S3).
[0054]
When the camera mode is set, as shown in FIG. 4, the control unit 50 controls the drive unit 32 of the AF auxiliary light emitting device 30 so that the light emitting surface of the light emitting unit 31 is oriented for camera imaging, that is, imaging. The lens 11 is rotated so as to face far away within the angle of view, and the light amount of the auxiliary light L is also set to the light amount for camera imaging (step S4). Then, the presence / absence of an imaging instruction by the user is determined (step S5), and if there is an imaging instruction, an imaging process is performed (step S6). Next, it is confirmed whether or not a function switching operation to be used has occurred (step S7). If there is a function switching operation, the process returns to step S1, and if not, the process returns to step S5 to wait for an imaging instruction from the user. . The imaging process is performed according to the following procedure. First, auxiliary light L is emitted toward the subject from the light emitting unit 31 of the AF auxiliary light emitting device 30 as necessary, automatic focus detection and focusing are performed, and the image of the subject is imaged by the imaging lens 11. 12 is imaged. The converter 13 converts the electrical signal corresponding to the image of the subject output from the image sensor 12 into image data, and the converted image data is stored and saved in the memory 14.
[0055]
On the other hand, when the pointing mode is set, as shown in FIG. 5, the control unit 50 causes the imaging lens 11 to have a short focal length so that the operation table surface can be imaged when the main body 1 is placed on the operation table 5. Switching to the setting and further controlling the driving unit 31 of the AF auxiliary light emitting device 30 so that the light emitting surface of the light emitting unit 31 is in the direction for controlling the display position of the pointer S, that is, on the operation surface of the operation console 5 for imaging. Then, the imaging lens 11 is rotated so as to face the vicinity of the imaging lens 11 within the angle of view, and the auxiliary light L with an appropriate amount of light is irradiated (step S8). Then, as shown in FIG. 6, when the user places the main body on the operation table 5 and moves it back and forth and right and left, an image on the surface of the operation table 5 passes through the imaging lens 11, the image sensor 12, and the converter 13. Images are continuously captured as data, and at least the latest two images are always stored in the memory 60. The control unit 50 reads out the latest two image data from the memory 60 and compares them to detect temporal displacement of the image (step S9). Then, it is determined whether or not there is a displacement (step S10). If there is a displacement, the movement direction and the movement amount of the main body 1 are obtained from the displacement, and the pointer S is moved by an amount corresponding to these (step S10). S11). Next, it is confirmed whether or not a function switching operation to be used has occurred (step S12). If there is a function switching operation, the process returns to step S1, and if not, the process returns to step S9 to detect the displacement of the image again. .
[0056]
In the pointing mode, the cursor is moved to the position indicated by the pointer S by pressing the click buttons 42a and 42b at the positions of the index finger and middle finger of one hand holding the main body 1, or the pointer S indicates The selected item can be selected and a submenu can be displayed.
[0057]
According to the camera-equipped mobile phone 100 of the present embodiment, the camera mode and the pointing mode can be set, and when the pointing mode is set, the image is picked up by the imaging device 10 already provided in the main body 1 of the camera-equipped mobile phone 100. The pointer S can be moved on the display screen in conjunction with the displacement of the captured image caused by moving the main body 1. Accordingly, the pointer S can be controlled by merely moving the main body 1 back and forth and right and left without adding parts that increase the size of the main body 1, and the pointer is linked to the movement of the user's hand. Since S can be moved, the pointer S can be moved on the display screen with good operability with a configuration that does not impair the portability of the apparatus.
[0058]
Further, when the pointing mode is set, the focal length of the imaging lens 11 is shortened so that when the main body 1 of the mobile phone 100 with a camera is placed on the surface of the operation table 5, the surface of the operation table 5 can be imaged. Therefore, the pointer S can be moved by moving the surface while placing the main body 1 on the operation table 5, and stable operation is possible.
[0059]
When the pointing mode is set, the AF auxiliary light emitting device 30 receives the control from the control unit 50 and rotates the light emitting unit 31 so that the light emitting surface of the light emitting unit 31 faces the imaging lens 11 side. Since the auxiliary light L can be irradiated to a specific region to be imaged on the surface of the operation table 5, it is possible to supplement the light necessary for imaging the surface of the operation table 5 as a subject. Can be operated with.
[0060]
Further, the inside of a dent formed so that the light emitting unit 31 of the AF auxiliary light emitting device 30 and the imaging lens 11 of the imaging device 10 are closed by the operation table surface when the main body 1 is placed on the operation table 5 surface. Therefore, the imaging device 10 and the AF auxiliary light emitting device 30 do not stick out of the main body, and the user can easily hold them. Furthermore, a predetermined function related to the pointer S is provided on the main body 1 of the camera-equipped mobile phone 100 at a position where it can be operated with the index finger or middle finger of the user's one hand holding the main body 1 placed on the surface of the operation table 5. Since the assigned click buttons 42a and 42b are provided, various operations can be performed with a sense closer to that of a mouse.
[0061]
By the way, when the main body 1 of the camera-equipped mobile phone 100 is operated on the operation console 5 to move the pointer S, the user has moved the position of the main body 1 on the operation console 5 to a position where it is difficult to operate. At that time, it is expected that the position will be corrected. However, if the pointer S is moved while always seeing the displacement of the image, the position of the main body 1 is returned to the original position, and the position of the pointer S is also returned to the original position. Therefore, if a movement stop button for stopping the movement of the pointer S only while the button is pressed is further provided on the main body 1 and the user changes the position of the main body 1 while pressing this button, the pointer S is moved unnecessarily. The position of the main body 1 can be corrected without any problem. On the contrary, a movement permission button that allows the pointer S to move only while being pressed may be provided, and the user may operate the main body 1 while pressing this button. As another method, the focus of the imaging lens 11 is fixed on the surface of the operation table 5 and the degree of defocusing of the captured image is detected. While the degree of defocusing exceeds a predetermined threshold value, The movement of the pointer S may be stopped. In this way, the image is out of focus while the user lifts and moves the main body 1 of the camera-equipped mobile phone 100 to a desired position, and the pointer S also moves during that time. First, the position of the main body 1 can be corrected.
[0062]
In the pointing mode, in addition to the mode in which the main body 1 of the camera-equipped mobile phone 100 is placed on the operation table 5 and moved (hereinafter referred to as mouse mode), the main body 1 is further moved. It may be possible to switch and set a mode (hereinafter referred to as a non-mouse mode) that moves away from the operation console 5. In the non-mouse mode, when the pointer S for instructing a processing target is displayed on the display unit 20 together with the processing screen, the main body 1 is not placed on the operation console 5 or the like and the main body 1 is moved by hand. This is a mode in which the display position of the pointer S is controlled by gripping and moving or tilting forward, backward, left and right in the air. In this non-mouse mode, as shown in FIG. 7, an image of a subject away from the main body 1 is picked up by the image pickup device 10 with the focal length of the image pickup lens 11 set as long as the camera mode. The display position of the pointer S is controlled from the displacement.
[0063]
As described above, if the non-mouse mode and the mouse mode can be further set in the pointing mode, the non-mouse mode is set in a place where the operation console 5 is not provided, and the camera-equipped mobile phone 100 is separated from the main body 1. An image of the subject can be captured, and the pointer S on the display screen can be controlled based on the displacement of the image. When the operation console 5 is present, the mouse mode is set and the image on the operation console 5 is captured. Since the pointer S on the display screen can be controlled from the displacement of the image, the pointer S can be controlled with an operation mode suitable for the place.
[0064]
In the non-mouse mode, as in the mouse mode, when the position and angle of the main body 1 of the camera-equipped mobile phone 100 are restored, the position of the pointer S is also restored. It is desirable to provide a movement permission button on the main body 1.
[0065]
In the present embodiment, the mode setting is automatically set by the control unit 50 in accordance with the function to be used. Of course, the user may set the mode manually. Absent.
[0066]
In the present embodiment, when the camera mode is set, the imaging lens 11 is switched to a setting with a short focal length so that an object close to the main body 1, that is, an image of the operation table on which the main body 1 is placed can be captured. Also good. At this time, the control unit 50 enlarges the image captured by the imaging device 10 with a predetermined magnification and displays the image on the display unit 20. As a result, as shown in FIG. 8, characters placed on the operation table can be enlarged and displayed on the display unit 20, and the camera-equipped mobile phone 100 of the present embodiment can be used as an electronic loupe.
[0067]
In this case, the control unit 50 determines whether the image captured by the imaging device 10 is too bright or too dark, and adjusts the light amount of the light emitting unit 31 so that the image displayed on the display unit 20 has appropriate brightness. May be.
[0068]
Further, the controller 50 determines whether the contrast is large or small by comparing the contrast of the image captured by the imaging device 10 (that is, the difference in brightness between the character and the background) with a threshold value, and determines that the contrast is small. In such a case, image processing may be performed on the image captured by the imaging device 10 so that the image displayed on the display unit 20 has an appropriate contrast. Specifically, when it is determined that the contrast is small, the image captured by the imaging device 10 is binarized and separated into a high-luminance image and a low-luminance image. What is necessary is just to display an image on the display part 20 by each of two types of brightness | luminance values which have a predetermined appropriate contrast.
[0069]
In addition, the size of characters to be displayed on the display unit 20 may be set in advance, and characters of the same size may be displayed on the display unit 20 regardless of the size of characters to be photographed. Alternatively, the magnification of an image to be displayed may be increased by clicking the click button 42a, and the magnification may be decreased by clicking the click button 42b.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a configuration of a mobile phone with a digital camera according to an embodiment of the present invention.
FIG. 2 is an overview of a mobile phone with a digital camera according to an embodiment of the present invention.
FIG. 3 is a flowchart showing a processing flow of the mobile phone with a digital camera according to the present embodiment.
FIG. 4 is a diagram showing a mobile phone with a digital camera when shooting an object in camera mode.
FIG. 5 is a diagram showing a mobile phone with a digital camera when the pointer is moved in the pointing mode.
FIG. 6 is a diagram showing a state where the pointer is moved by operating the main body of the mobile phone with a digital camera.
FIG. 7 is a diagram showing how the pointer is moved by operating the main body of the mobile phone with a digital camera in the non-mouse mode.
FIG. 8 is a diagram showing a state where characters on the operation table are photographed in the camera mode.
[Explanation of symbols]
1 Mobile phone with digital camera
1a Main part of mobile phone with digital camera
1b Mobile phone cover with digital camera
5 Operation table
10 Imaging device
11 Imaging lens
12 Image sensor
13 Converter
20 display
30 AF auxiliary light emitting device
31 Light emitting part
32 Drive unit
40 Operation unit
41 Menu button
42a, 42b Click button
50 Control unit
60 memory
100 Mobile phone with digital camera
L Auxiliary light
S pointer

Claims

In a mobile terminal device provided with an image pickup means for picking up an image of a subject and a display means for displaying a screen including a moving instruction symbol on the main body,
First mode setting means for setting one of a camera mode for picking up an image of a subject by the image pickup means and a pointing mode for controlling a display position of the instruction symbol;
In the pointing mode, pointing means for moving the instruction symbol on the screen in conjunction with the displacement caused by moving the main body of the image captured by the imaging means ;
Auxiliary light emitting means for emitting auxiliary light for automatic focus detection toward the subject when imaging the subject ,
The main body has a recess formed so as to be covered with the operation table surface when the main body is placed on the operation table surface, and an optical opening of the imaging means and the inside of the depression A portable terminal device in which a light emitting unit of the auxiliary light emitting means is installed .

In response to the pointing mode setting by the first mode setting means, the imaging means shortens the focal length of the imaging lens of the imaging means so that the image of the operation table on which the main body is placed can be taken. The mobile terminal device according to claim 1, wherein the mobile terminal device is a device.

Said auxiliary light emitting means, the first mode setting means in response to the setting of the pointing mode by the portable terminal according to claim 2, characterized in that for irradiating the auxiliary light onto the operating table surface apparatus.

Irradiating the auxiliary light emitting means to irradiate the auxiliary light toward a specific region on the operation table surface imaged by the imaging means in response to the setting of the pointing mode by the first mode setting means. 4. The portable terminal device according to claim 3, wherein the direction is controlled.

In the pointing mode, further comprising a second mode setting means for switching between a non-mouse mode in which the main body is moved away from the operation table and a mouse mode in which the main body is placed on the operation table surface and moved.
In order to capture the image of the operation table on which the main body is placed in response to the setting of the mouse mode by the second mode setting unit, the imaging unit shortens the focal length of the imaging lens included in the imaging unit. The portable terminal device according to claim 1, wherein:

An auxiliary light emitting means for emitting auxiliary light for automatic focus detection toward the subject when imaging the subject;
6. The portable terminal according to claim 5, wherein the auxiliary light emitting means irradiates the auxiliary light on the operation table surface in response to the setting of the mouse mode by the second mode setting means. apparatus.

Irradiating so that the auxiliary light emitting means emits the auxiliary light toward a specific area on the operation table surface imaged by the imaging means in response to the setting of the mouse mode by the second mode setting means. The portable terminal device according to claim 6, wherein the direction is controlled.

Switchable between a setting for placing the main body on the operation surface and capturing an image of the operation surface and a setting for capturing an image of a subject without placing the main body on the operation surface. The mobile terminal device according to claim 1, wherein the mobile terminal device is provided.