JP6104707B2 - 電子機器、操作入力方法および操作入力プログラム - Google Patents

電子機器、操作入力方法および操作入力プログラム Download PDF

Info

Publication number
JP6104707B2
JP6104707B2 JP2013108485A JP2013108485A JP6104707B2 JP 6104707 B2 JP6104707 B2 JP 6104707B2 JP 2013108485 A JP2013108485 A JP 2013108485A JP 2013108485 A JP2013108485 A JP 2013108485A JP 6104707 B2 JP6104707 B2 JP 6104707B2
Authority
JP
Japan
Prior art keywords
movement
operation key
user
key
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013108485A
Other languages
English (en)
Other versions
JP2014229086A (ja
Inventor
佐藤 隆雄
隆雄 佐藤
静夫 神林
静夫 神林
文秋 保木
文秋 保木
倫太郎 黒田
倫太郎 黒田
晴彦 中辻
晴彦 中辻
海 林
海 林
隆 城ヶ滝
隆 城ヶ滝
直樹 三枝
直樹 三枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2013108485A priority Critical patent/JP6104707B2/ja
Priority to US14/171,016 priority patent/US10061505B2/en
Publication of JP2014229086A publication Critical patent/JP2014229086A/ja
Application granted granted Critical
Publication of JP6104707B2 publication Critical patent/JP6104707B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895Guidance during keyboard input operation, e.g. prompting

Description

本発明は、車両等に搭載されて利用者の操作入力を行う電子機器、操作入力方法および操作入力プログラムに関する。
従来から、利用者の手の形状と動作をカメラで撮像してジェスチャー認識を行い、認識されたジェスチャーに基づいて操作入力を行うようにしたジェスチャー入力装置が知られている(例えば、特許文献1参照。)。このジェスチャー入力装置では、ジェスチャー認識とタッチパネル等を用いた接触検知とを組み合わせることにより、複雑な操作入力を行うことができる。また、このジェスチャー入力装置では、表示する機能選択ボタンに、機能に対応するジェスチャーのアニメーションを含ませることで、操作に慣れていない状態であっても、機能操作に対応したジェスチャーがどのようなものか機能選択ボタンを確認するだけで分かり、所望の機器操作を直ちにすることができる利点がある。
特開2009−42796号公報
ところで、特許文献1に開示されたジェスチャー入力装置では、機能選択ボタンに含まれるアニメーションを見ることでこの機能選択ボタンを選択するために利用者が行うジェスチャーの内容を知ることができるためため便利であるが、以下に示す問題があった。
(1)利用者は、機能選択ボタンを選択するために必要なジェスチャーの内容を覚えていない場合には、このボタンに含まれるアニメーションを見ることになるが、機能選択ボタン自体は表示画面の一部に表示されるものであって一般には小さいため、アニメーションの内容が見にくく、操作方法(ジェスチャーの内容)が分かりにくく、しかも、操作方法を理解するまでに時間がかかるという問題があった。
(2)一般に、機能選択ボタンには、操作指示内容(実行する機能)を概略的に示す文字や絵が含まれるが、機能操作ボタンにアニメーションを含ませるため、これらの文字や絵の表示が阻害され、この機能操作ボタンによって選択可能な操作指示内容が分かりにくいという問題があった。
本発明は、このような点に鑑みて創作されたものであり、その目的は、操作方法を容易かつ短時間で知ることができとともに、操作指示内容を容易に知ることができる電子機器、操作入力方法および操作入力プログラムを提供することにある。
上述した課題を解決するために、本発明の電子機器は、利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きによって操作入力可能な電子機器において、特定の動作を行わせるための操作キーが含まれる操作画面を表示する操作画面表示手段と、操作キーを所定方向に移動させる操作キー移動手段と、利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きを検出する動き検出手段と、操作キー移動手段による操作キーの移動方向と、動き検出手段によって検出した動きの方向とが一致したときに、操作キー移動手段による移動の対象となっている操作キーを選択する操作選択手段とを備えている。
また、本発明の操作入力方法は、利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きによって操作入力可能な電子機器の操作入力方法において、特定の動作を行わせるための操作キーが含まれる操作画面を操作画面表示手段によって表示する操作画面表示ステップと、操作キー移動手段によって操作キーを所定方向に移動させる操作キー移動ステップと、利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きを動き検出手段によって検出する動き検出ステップと、操作キー移動手段による操作キーの移動方向と、動き検出手段によって検出した動きの方向とが一致したときに、操作キー移動手段による移動の対象となっている操作キーを操作選択手段によって選択する操作選択ステップとを有している。
また、本発明の操作入力プログラムは、利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きによって操作入力可能な電子機器の操作入力プログラムにおいて、電子機器を、特定の動作を行わせるための操作キーが含まれる操作画面を表示する操作画面表示手段と、操作キーを所定方向に移動させる操作キー移動手段と、利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きを検出する動き検出手段と、操作キー移動手段による操作キーの移動方向と、動き検出手段によって検出した動きの方向とが一致したときに、操作キー移動手段による移動の対象となっている操作キーを選択する操作選択手段として機能させる。
操作画面に含まれる操作キーの表示位置を所定方向に移動させることで、この操作キーを選択するために必要な操作の向き(所定方向)を示しているため、利用者は、必要な操作方法を容易かつ短時間で知ることができる。また、操作キーの表示内容自体は特に制約を受けないため、操作指示内容を示す文字や絵を操作キーに重ねて表示することが可能となり、操作指示内容を容易に知ることができる。
また、上述した操作画面表示手段によって表示される操作画面に複数の操作キーが含まれている場合に、操作キー移動手段は、複数の操作キーのそれぞれを異なる方向に移動させることが望ましい。これにより、利用者は複数の操作指示を使い分けることが可能となる。
また、上述した操作選択手段は、操作キー移動手段による操作キーの移動動作中に操作キーの選択を行うことが望ましい。これにより、操作可能なタイミングとその時点で操作可能な操作キーを明らかにすることができる。
また、上述した操作画面表示手段によって表示される操作画面は、割込処理によって所定のタイミングで新たに表示されることが望ましい。具体的には、携帯端末装置を接続する接続手段を備え、操作画面は、携帯端末装置が着信したときに割込処理によって表示される着信操作画面であることが望ましい。また、目的地までの経路を探索して案内するナビゲーション手段を備え、操作画面は、ナビゲーション手段によって経路を探索したときに割込処理によって表示される経路設定画面であることが望ましい。これより、操作が必要になった場合に操作画面を表示させることができ、それ以外の表示画面では操作キーが動いて視認性を悪化させることを防止することができる。
また、上述した操作キー移動手段は、操作キーを構成する画像全体を所定方向に移動させることが望ましい。移動対象となる領域を大きく設定することができ、操作対象となる操作キーが目立つようにすることができる。
また、上述した操作キー移動手段は、操作キーを構成する画像の一部を所定方向に移動させることが望ましい。操作キーの一部を移動させることにより、この移動によって操作キーの周囲に配置された画像の表示を阻害することを防止することができる。
また、上述した操作キー移動手段は、操作キーを繰り返し移動させることが望ましい。また、上述した操作キー移動手段は、操作キーを往復移動させることが望ましい。これにより、操作キーが移動していることを確実に利用者に知らせることが可能となる。
また、上述した動き検出手段は、利用者の身体の一部分あるいは利用者が所持する操作部材を撮像する撮像手段と、撮像手段による撮像によって得られた画像に基づいて、利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きを検出する画像認識手段とを有することが望ましい。これにより、利用者は、操作画面から離れた位置で操作することが可能になり、操作の自由度を増して操作性を向上させることができる。
また、上述した動き検出手段は、表示装置の表示画面に重ねて配置されており、利用者の身体の一部分あるいは利用者が所持する操作部材の動きを検出するタッチパネルを有することが望ましい。これにより、高価な部品を用いることなく利用者の動きを容易に検出することができる。
また、操作選択手段によって選択された操作キーに対応する機能を実行する機能実行手段を備えることが望ましい。これにより、電子機器に対する操作を行う際に、利用者は、必要な操作方法を容易かつ短時間で知ることができる。
車載装置の構成を示す図である。 携帯端末装置の構成を示す図である。 車両走行中であって地図画像の表示中に外部から電話がかかってきた場合の動作手順を示す流れ図である。 電話着信用の特定操作画面の表示例を示す図である。 操作画面の変形例を示す図である。
以下、本発明を適用した一実施形態の車載システムについて、図面を参照しながら説明する。図1は、車載装置100の構成を示す図である。車載装置100は、ナビゲーション装置やハンズフリー電話装置としての機能を有する電子機器であって、少なくとも一部の操作については、利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きによって指示することができる。
車載装置100は、制御部110、GPS受信機120、カメラ122、受話回路130、スピーカ132、送話回路140、マイクロホン142、操作部150、タッチパネル151、入力処理部152、表示部153、表示処理部154、ブルートゥース・インタフェース部(BT IF)160を備えている。
制御部110は、車載装置100の全体を制御するためのものであり、ROMやRAMなどに格納された所定のプログラムをCPUで実行するコンピュータの構成により実現される。GPS受信機120は、複数のGPS衛星からの電波を受信して車両の現在位置(自車位置)を検出する。
カメラ122は、車両の所定位置(例えばダッシュボードや車載装置100の筐体、ハンドルなど)に取り付けられており、利用者(車両の運転席や助手席に搭乗している利用者)を撮影する。本実施形態では、カメラ122の前に利用者が手をかざしてその動きを撮影することを想定しており、例えば、カメラ122の前方20cm程度の位置にある利用者の手を鮮明に撮影することが可能となるように焦点距離や被写界深度が設定されている。なお、手の動きの検出は、一例であって、手以外の利用者の身体の一部分の動き(顔や目の動きなど)あるいは利用者が所持する操作部材(特定形状、特定模様を有する操作部材)の動きを検出するようにしてもよい。
受話回路130は、電話の通話相手の音声信号(本実施形態では、車載装置100と接続された携帯端末装置200から送られてくる)をスピーカ132から出力する。送話回路140は、電話の通話相手と通話を行う際にマイクロホン142を介して利用者(車両の運転者等)の音声を入力する処理を行う。
操作部150は、車載装置100の筐体に備わった各種のキーやスイッチ、操作つまみ等を含んでいる。タッチパネル151は、表示部153の画面の一部が利用者によって指し示されたときにその指示位置を検出する。利用者は、タッチパネル151あるいは操作部150を用いて、各種の操作指示や各種の入力を行うことができる。
入力処理部152は、操作部150およびタッチパネル151の操作状況を監視し、利用者による操作内容を検出する。表示部153は、LCD等で構成されており、各種の情報を表示する。表示処理部154は、複数の操作アイコンが含まれる操作画面や制御部110によって作成された各種の情報が含まれる画面を表示部153に表示する。
ブルートゥース・インタフェース部160は、ブルートゥース(Bluetooth、登録商標)によって車載装置100と携帯端末装置200との間で各種データの送受信を行う通信装置(ブルートゥース機器)である。
また、上述した制御部110は、ナビ処理部111、HF(ハンズフリー)処理部112、操作画面表示部113、操作キー移動部114、動き認識部115、操作選択部116を有する。
ナビ処理部111は、GPS受信機120を用いて検出した自車位置に基づいて各種のナビゲーション動作を行う。例えば、自車位置周辺の地図画像を描画したり、目的地までの走行経路を決定して誘導する経路探索や経路誘導、検索条件を指定して行う施設検索などが行われる。なお、これらの動作に必要な地図データは、図示しないハードディスク装置や半導体メモリに格納しておいてもよいが、外部の地図配信サーバから通信で取得するようにしてもよい。
HF処理部112は、車載装置100に備わったマイクロホン142を用いて音声入力を行い、携帯端末装置200の電話機能を利用して通話相手と通話を行う車載装置100側の一連のハンズフリー処理を行う。
操作画面表示部113は、車載装置100に特定の動作を行わせるための操作キーが含まれる操作画面(以後、「特定操作画面」と称する)を表示する。例えば、本実施形態では、外部から電話がかかってきた状態で通話あるいは切断を指示するための特定操作画面が操作画面表示部113によって作成されて表示される。操作キー移動部114は、特定操作画面に含まれる一あるいは複数の操作キーを所定方向に移動させる。
動き認識部115は、カメラ122による撮影によって所定の時間間隔で得られる画像に基づいて、利用者の手の動き(具体的には手の動きの向き)を検出する。操作選択部116は、操作キー移動部114による操作キーの移動方向と、動き認識部115によって検出した手の動きの方向とが一致したときに、操作キー移動部114による移動の対象となっている操作キーを選択する。特定操作画面や操作キーの移動内容の具体例については後述する。
図2は、携帯端末装置200の構成を示す図である。携帯端末装置200は、携帯電話機と携帯情報端末の機能を有しており、制御部210、操作部220、タッチパネル221、入力処理部222、表示部223、表示処理部224、送話器230、受話器232、送受信部234、ブルートゥース・インタフェース部(BT IF)240を備えている。
制御部210は、携帯端末装置200の全体を制御するためのものであり、ROMやRAMなどに格納された所定のプログラム(基本プログラムや各種アプリケーションプログラム等)をCPUで実行することにより実現される。操作部220は、各種のスイッチを含んでいる。タッチパネル221は、表示部223の画面の一部が利用者によって指し示されたときにその指示位置を検出する。利用者は、タッチパネル221あるいは操作部220を用いて、各種の操作指示や各種の入力を行うことができる。入力処理部222は、操作部220およびタッチパネル221の操作内容を監視し、利用者による入力内容を検出する。
表示部223は、LCD(液晶表示装置)等で構成されており、各種の情報を表示する。表示処理部224は、複数の操作アイコンが含まれる操作画面や制御部210によって作成された各種の情報が含まれる画面を表示部223に表示する。
送話器230は、利用者(話者)の音声を入力する。受話器232は、通話相手の音声を出力する。なお、一般には送話器230はマイクロホンにより構成され、受話器232はイヤホンあるいはスピーカによって構成される。送受信部234は、操作部220等の通話ボタン(図示せず)が押されたときに動作し、受信時に、アンテナ236を介して受信した無線信号をベースバンド信号に変換し、受信信号に含まれる制御データを制御部210に入力するとともに音声信号を受話器232に入力する。また、送受信部234は、送信時に、制御部210から入力される制御データや送話器230から入力される音声信号を無線信号に変換してアンテナ236から基地局(図示せず)に向けて送信する。このようにして、送受信部234は、基地局との間で発着信処理を行って通話処理やインターネット接続処理等を行う。
ブルートゥース・インタフェース部240は、ブルートゥースによって携帯端末装置200と車載装置100やその他の装置との間で各種データの送受信を行う通信装置(ブルートゥース機器)である。
また、上述した制御部210は、HF(ハンズフリー)処理部211を有する。HF処理部211は、車載装置100に備わったマイクロホン142を用いて音声入力を行い、携帯端末装置200の電話機能を利用して通話相手と通話を行う携帯端末装置200側の一連のハンズフリー処理を行う。このHF処理部211は所定のアプリケーションプログラム(HFアプリ)を実行することにより実現することができる。
上述した操作画面表示部113が操作画面表示手段に、操作キー移動部114が操作キー移動手段に、動き認識部115、カメラ122が動き検出手段に、動き認識部115が画像認識手段に、カメラ122が撮像手段に、操作選択部116が操作選択手段に、ナビ処理部111、HF処理部112が機能実行手段にそれぞれ対応する。また、ブルートゥース・インタフェース部160が接続手段に、ナビ処理部111、GPS受信機120がナビゲーション手段にそれぞれ対応する。
本実施形態の車載装置100はこのような構成を有しており、次に、その動作を説明する。図3は、車両走行中であって地図画像の表示中に外部から電話がかかってきた場合の動作手順を示す流れ図である。
ナビ処理部111による地図画像の表示動作(ステップ100)と並行して、操作画面表示部113は、割り込み発生か否かを判定する(ステップ102)。割り込みが発生していない場合には否定判断が行われ、ステップ100に戻って地図画像の表示が継続される。
また、外部から携帯端末装置200に電話がかかってきてHF処理部112からの割り込みが発生するとステップ102の判定において肯定判断が行われる。次に、操作画面表示部113は、電話着信用の特定操作画面を表示する(ステップ104)。
図4は、電話着信用の特定操作画面の表示例を示す図である。特定操作画面Sは、表示中の地図画像に重ねて表示される。この特定操作画面Sには、着信中であることを示す文字列「着信中」と、着信相手の電話番号「03−××××−△△△△」と、通話を指示する操作キーAと、切断を指示する操作キーBとが含まれている。
また、操作キー移動部114は、表示された特定操作画面Sに移動対象キーが含まれているか否かを判定する(ステップ106)。図4に示す例では、操作キーA、Bが移動対象キーであり、肯定判断が行われる。次に、操作キー移動部114は、移動対象キーとしての2つの操作キーA、Bのそれぞれを異なる向きに移動させる(ステップ108)。図4に示す例では、矢印aが一方の操作キーAの移動方向を、矢印bが他方の操作キーBの移動方向をそれぞれ示している。すなわち、操作キーAの全体が左右方向に繰り返し往復移動している。また、操作キーBの全体が上下方向に繰り返し往復移動している。
このような操作キーA、Bの移動動作と並行して、動き認識部115は、利用者の手の動きを検出したか否かを判定する(ステップ110)。検出しない場合には否定判断が行われ、ステップ108に戻って操作キーA、Bの移動動作が継続される。
また、利用者の手の動きを検出した場合には、ステップ110の判定において肯定判断が行われる。次に、操作選択部116は、操作キー移動部114による操作キーA、Bの移動方向と、動き認識部115によって検出した手の動きの方向とが一致したか否かを判定する(ステップ112)。一致しない場合には否定判断が行われ、ステップ108に戻って操作キーA、Bの移動動作が継続される。
また、操作キーAの移動方向あるいは操作キーBの移動方向のいずれかと、検出された利用者の手の動きの方向とが一致した場合には、ステップ112の判定において肯定判断が行われる。次に、操作選択部116は、この動きの方向が一致した操作キーAあるいはBを選択する(ステップ114)。この選択結果はHF処理部112に送られ、HF処理部112による対応動作が実施される(ステップ116)。例えば、操作キーAが選択された場合には、HF処理部112による通話処理が行われ、利用者は、着信相手と通話を行うことができる。また、操作キーBが選択された場合には、HF処理部112によって回線切断が行われる。
なお、表示された特定操作画面Sに移動対象キーが含まれていない場合には、ステップ106の判定において否定判断が行われ、操作部150やタッチパネル151を用いた操作が行われたか否かが判定され(ステップ118)、何らかの操作が行われるとその操作に対応する動作が実施される(ステップ116)。
このように、本実施形態の車載装置100では、特定操作画面Sに含まれる操作キーの表示位置を所定方向に移動させることで、この操作キーを選択するために必要な操作の向き(所定方向)を示しているため、利用者は、必要な操作方法を容易かつ短時間で知ることができる。また、操作キーの表示内容自体は特に制約を受けないため、操作指示内容を示す文字や絵を操作キーに重ねて表示することが可能となり、操作指示内容を容易に知ることができる。
また、上述した表示される特定操作画面Sに複数の操作キーが含まれている場合に、操作キー移動手段は、複数の操作キーのそれぞれを異なる方向に移動させているため、利用者は複数の操作指示を使い分けることが可能となる。
また、操作キーの移動動作中に操作キーの選択を行うことにより、操作可能なタイミングとその時点で操作可能な操作キーを明らかにすることができる。
また、特定操作画面Sは、割込処理によって所定のタイミングで表示される。これより、操作が必要になった場合に特定操作画面Sを表示させることができ、それ以外の表示画面では操作キーが動いて視認性を悪化させることを防止することができる。
また、操作キーを構成する画像全体を所定方向に移動させることにより、移動対象となる領域を大きく設定することができ、操作対象となる操作キーが目立つようにすることができる。また、操作キーを繰り返し移動、往復移動させることにより、操作キーが移動していることを確実に利用者に知らせることが可能となる。
また、カメラ122を利用した利用者の動きを検出しているため、利用者は、特定操作画面Sから離れた位置で操作することが可能になり、操作の自由度を増して操作性を向上させることができる。
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、図4に示したように、特定操作画面Sに含まれる操作キーA、Bの全体を左右あるいは上下に移動させたが、操作キーA、Bを構成する画像の一部を所定方向に移動させるようにしてもよい。例えば、図5に示すように、操作キーAに含まれる操作キーマークA1のみを左右方向に繰り返し往復移動させたり、操作キーBに含まれる操作キーマークB1のみを上下方向に繰り返し往復移動させるようにしてもよい。操作キーの一部を移動させることにより、この移動によって操作キーの周囲に配置された画像の表示を阻害することを防止することができる。
また、移動方向は、左右や上下だけでなく、任意の方向を用いることができる。例えば、斜め方向に移動させたり、一定方向に円を描くように移動させてもよい。また、特定操作画面Sに含まれる操作キーA、Bを所定方向に繰り返し往復移動させたが、所定方向に1回だけ移動させるようにしてもよい。
また、上述した実施形態では、カメラ122を用いて利用者の動きを検出したが、その他の検出方法を用いてもよい。例えば、タッチパネル151を用いて、利用者の指先の動きの方向を検出するようにしてもよい。これにより、高価な部品を用いることなく利用者の動きを容易に検出することができる。
また、上述した実施形態では、特定操作画面S内に移動対象キーとして2つの操作キーA、Bが含まれる場合について説明したが、移動対象キーとしての操作キーの数は1あるいは3以上であってもよい。但し、操作キーの数が多い場合に各操作キーを異なる向きに動かすと、操作画面の内容が見にくくなるため、所定個数以上(例えば4個以上)の操作キーが含まれる場合には操作キーを移動させずに操作部150やタッチパネル151を用いて操作することが望ましい。
また、上述した実施形態では、地図画像表示中に電話がかかってきて割り込みが発生する場合について説明したが、電話以外の処理に必要な割り込みが発生する場合についても本発明を適用することができる。例えば、目的地に向かって経路誘導中に、現在走行中の道路とは異なる迂回経路が見つかって、その迂回経路に経路を変更することを提案する割り込みが発生する場合などが考えられる。また、必ずしも地図表示等のナビゲーション動作中に発生する割り込みだけでなく、他の動作中に割り込みが発生する場合にも本発明を適用することができる。また、割り込み発生時に表示する特定操作画面Sについて説明したが、常時表示されている操作画面や、利用者の操作にしたがって表示される操作画面に、移動対象キーとしての操作キーを含ませるようにしてもよい。
上述したように、本発明によれば、操作画面に含まれる操作キーの表示位置を所定方向に移動させることで、この操作キーを選択するために必要な操作の向き(所定方向)を示しているため、利用者は、必要な操作方法を容易かつ短時間で知ることができる。
100 車載装置
110 制御部
111 ナビ処理部
112 HF(ハンズフリー)処理部
113 操作画面表示部
114 操作キー移動部
115 動き認識部
116 操作選択部
120 GPS受信機
122 カメラ
150 操作部
151 タッチパネル
152 入力処理部
153 表示部
154 表示処理部

Claims (15)

  1. 利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きによって操作入力可能な電子機器において、
    特定の動作を行わせるための操作キーが含まれる操作画面を表示する操作画面表示手段と、
    前記操作キーを所定方向に移動させる操作キー移動手段と、
    利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きを検出する動き検出手段と、
    前記操作キー移動手段による前記操作キーの移動方向と、前記動き検出手段によって検出した動きの方向とが一致したときに、前記操作キー移動手段による移動の対象となっている前記操作キーを選択する操作選択手段と、
    を備えることを特徴とする電子機器。
  2. 請求項1において、
    前記操作画面表示手段によって表示される前記操作画面に複数の前記操作キーが含まれている場合に、前記操作キー移動手段は、複数の前記操作キーのそれぞれを異なる方向に移動させることを特徴とする電子機器。
  3. 請求項1または2において、
    前記操作選択手段は、前記操作キー移動手段による前記操作キーの移動動作中に前記操作キーの選択を行うことを特徴とする電子機器。
  4. 請求項1〜3のいずれか一項において、
    前記操作画面表示手段によって表示される前記操作画面は、割込処理によって所定のタイミングで新たに表示されることを特徴とする電子機器。
  5. 請求項4において、
    携帯端末装置を接続する接続手段を備え、
    前記操作画面は、前記携帯端末装置が着信したときに割込処理によって表示される着信操作画面である、
    ことを特徴とする電子機器。
  6. 請求項4において、
    目的地までの経路を探索して案内するナビゲーション手段を備え、
    前記操作画面は、前記ナビゲーション手段によって前記経路を探索したときに割込処理によって表示される経路設定画面である、
    ことを特徴とする電子機器。
  7. 請求項1〜6のいずれか一項において、
    前記操作キー移動手段は、前記操作キーを構成する画像全体を所定方向に移動させることを特徴とする電子機器。
  8. 請求項1〜6のいずれか一項において、
    前記操作キー移動手段は、前記操作キーを構成する画像の一部を所定方向に移動させることを特徴とする電子機器。
  9. 請求項1〜8のいずれか一項において、
    前記操作キー移動手段は、前記操作キーを繰り返し移動させることを特徴とする電子機器。
  10. 請求項1〜9のいずれか一項において、
    前記操作キー移動手段は、前記操作キーを往復移動させることを特徴とする電子機器。
  11. 請求項1〜10のいずれか一項において、
    前記動き検出手段は、
    利用者の身体の一部分あるいは利用者が所持する前記操作部材を撮像する撮像手段と、
    前記撮像手段による撮像によって得られた画像に基づいて、利用者の身体の一部分の動きあるいは利用者が所持する前記操作部材の動きを検出する画像認識手段と、
    を有することを特徴とする電子機器。
  12. 請求項1〜10のいずれか一項において、
    前記動き検出手段は、表示装置の表示画面に重ねて配置されており、利用者の身体の一部分あるいは利用者が所持する前記操作部材の動きを検出するタッチパネルを有することを特徴とする電子機器。
  13. 請求項1〜12のいずれか一項において、
    前記操作選択手段によって選択された前記操作キーに対応する機能を実行する機能実行手段を備えることを特徴とする電子機器。
  14. 利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きによって操作入力可能な電子機器の操作入力方法において、
    特定の動作を行わせるための操作キーが含まれる操作画面を操作画面表示手段によって表示する操作画面表示ステップと、
    操作キー移動手段によって前記操作キーを所定方向に移動させる操作キー移動ステップと、
    利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きを動き検出手段によって検出する動き検出ステップと、
    前記操作キー移動手段による前記操作キーの移動方向と、前記動き検出手段によって検出した動きの方向とが一致したときに、前記操作キー移動手段による移動の対象となっている前記操作キーを操作選択手段によって選択する操作選択ステップと、
    を有することを特徴とする操作入力方法。
  15. 利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きによって操作入力可能な電子機器の操作入力プログラムにおいて、
    電子機器を、
    特定の動作を行わせるための操作キーが含まれる操作画面を表示する操作画面表示手段と、
    前記操作キーを所定方向に移動させる操作キー移動手段と、
    利用者の身体の一部分の動きあるいは利用者が所持する操作部材の動きを検出する動き検出手段と、
    前記操作キー移動手段による前記操作キーの移動方向と、前記動き検出手段によって検出した動きの方向とが一致したときに、前記操作キー移動手段による移動の対象となっている前記操作キーを選択する操作選択手段と、
    して機能させるための操作入力プログラム。
JP2013108485A 2013-05-23 2013-05-23 電子機器、操作入力方法および操作入力プログラム Active JP6104707B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013108485A JP6104707B2 (ja) 2013-05-23 2013-05-23 電子機器、操作入力方法および操作入力プログラム
US14/171,016 US10061505B2 (en) 2013-05-23 2014-02-03 Electronic device and operation input method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013108485A JP6104707B2 (ja) 2013-05-23 2013-05-23 電子機器、操作入力方法および操作入力プログラム

Publications (2)

Publication Number Publication Date
JP2014229086A JP2014229086A (ja) 2014-12-08
JP6104707B2 true JP6104707B2 (ja) 2017-03-29

Family

ID=51935055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013108485A Active JP6104707B2 (ja) 2013-05-23 2013-05-23 電子機器、操作入力方法および操作入力プログラム

Country Status (2)

Country Link
US (1) US10061505B2 (ja)
JP (1) JP6104707B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052079B (zh) * 2017-12-12 2021-01-15 北京小米移动软件有限公司 设备控制方法、装置、设备控制装置及存储介质
JP7247851B2 (ja) * 2019-10-11 2023-03-29 トヨタ自動車株式会社 運転者支援装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7761801B2 (en) * 2005-04-26 2010-07-20 Lg Electronics Inc. Mobile terminal providing graphic user interface and method of providing graphic user interface using the same
JP2009042796A (ja) 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
DE102007023290A1 (de) * 2007-05-16 2008-11-20 Volkswagen Ag Multifunktionsanzeige- und Bedienvorrichtung und Verfahren zum Betreiben einer Multifunktionsanzeige- und Bedienvorrichtung mit verbesserter Auswahlbedienung
TW201009650A (en) * 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
US8503932B2 (en) * 2008-11-14 2013-08-06 Sony Mobile Comminications AB Portable communication device and remote motion input device
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
JP2010277319A (ja) * 2009-05-28 2010-12-09 Tokai Rika Co Ltd 操作方法提示装置
US20110063425A1 (en) * 2009-09-15 2011-03-17 Delphi Technologies, Inc. Vehicle Operator Control Input Assistance
US8202161B2 (en) * 2009-10-23 2012-06-19 Disney Enterprises, Inc. Virtual game instructor
JP4947500B2 (ja) * 2009-12-03 2012-06-06 株式会社デンソー 車両用操作システム
EP2530432B1 (en) 2010-01-26 2019-05-01 Clarion Co., Ltd. In-vehicle information device
WO2011136458A1 (en) * 2010-04-28 2011-11-03 Lg Electronics Inc. Image display apparatus and method for operating the same
JP5556515B2 (ja) * 2010-09-07 2014-07-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2012068542A2 (en) * 2010-11-18 2012-05-24 Google Inc. Orthogonal dragging on scroll bars
KR20150115365A (ko) * 2014-04-04 2015-10-14 삼성전자주식회사 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치

Also Published As

Publication number Publication date
JP2014229086A (ja) 2014-12-08
US20140347288A1 (en) 2014-11-27
US10061505B2 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
US8433336B2 (en) Method for guiding route using augmented reality and mobile terminal using the same
KR101602221B1 (ko) 이동 단말 및 그 제어 방법
US9411459B2 (en) Mobile terminal and control method thereof
JP6119658B2 (ja) タッチ式入力システム
US20170060315A1 (en) Mobile terminal and method for controlling the same
KR101495190B1 (ko) 영상표시장치 및 그 영상표시장치의 동작 방법
EP2667339A1 (en) Mobile terminal and control method thereof
EP2597557B1 (en) Mobile terminal and control method thereof
KR20160019145A (ko) 이동 단말기 및 그 제어 방법
EP3110022B1 (en) Mobile terminal and method for controlling same
EP2658225A2 (en) Mobile terminal and control method thereof
KR20150087680A (ko) 이동단말기 및 그 제어방법
JP2012124578A (ja) 車載装置、車載システム及び携帯端末
JP6104707B2 (ja) 電子機器、操作入力方法および操作入力プログラム
JP2014026413A (ja) 電子装置、通信システム、携帯通信端末、通信方法及びプログラム
KR20160027784A (ko) 이동 단말기 및 이의 제어 방법
EP2685427A2 (en) Mobile Terminal and Control Method Thereof
KR101871275B1 (ko) 터치 스크린용 입력 장치 및 터치 스크린을 구비한 디스플레이 장치
KR101677643B1 (ko) 이동 단말기 및 그 제어 방법
KR101302363B1 (ko) 전자 기기 및 전자 기기의 제어 방법
KR20170013062A (ko) 이동 단말기 및 그 제어 방법
EP2731012A2 (en) Mobile terminal and method of controlling the mobile terminal
KR20150094243A (ko) 이동 단말기 및 그 제어 방법
KR20170041038A (ko) 차량용 표시장치 및 그것의 제어방법
KR20170045639A (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170301

R150 Certificate of patent or registration of utility model

Ref document number: 6104707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150