JP7203436B2 - ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム - Google Patents
ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム Download PDFInfo
- Publication number
- JP7203436B2 JP7203436B2 JP2020189577A JP2020189577A JP7203436B2 JP 7203436 B2 JP7203436 B2 JP 7203436B2 JP 2020189577 A JP2020189577 A JP 2020189577A JP 2020189577 A JP2020189577 A JP 2020189577A JP 7203436 B2 JP7203436 B2 JP 7203436B2
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- state
- user interface
- instruction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
特許文献1には、ユーザの指先がタッチパネルに触れていなくても、指先の動きに応じてタッチパネル上に表示される画面を変更できるユーザインターフェイス装置が記載されている。具体的には、特許文献1には、ユーザインターフェイス装置が、ディスプレイに表示される表示画像を出力可能な画像出力手段と、ディスプレイの周辺の周辺画像を撮像する撮像手段と、撮像された周辺画像に基づいて、ユーザの指の状態を解析する解析手段と、解析された指の状態に基づいて、ユーザの操作意図を推測する推測手段と、ユーザの指先がディスプレイの表面に触れる前に、推測された操作意図に応じて、表示画像を変更するように画像出力手段を制御する制御手段とを備えていることが記載されている。
本発明は、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することができるユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラムを提供することを目的とする。
前記カメラ画像を2値化した画像について、前記カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め2方向にサーチする検出部と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備えたユーザインターフェイス装置である。
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステムである。
(3) 本発明の第3の態様は、コンピュータに、
カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め2方向にサーチする検出機能と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し機能と、
前記部分画像が、前記対象物として、指示のために形態が変わる指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択機能と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成機能と、
を実行させる、ユーザインターフェイス用プログラムである。
図1は、本発明の一実施形態の、ユーザインターフェイスシステムを示すブロック図である。図2は親指と人差し指とのピンチで数字キーを選択する動作を示す説明図である。図3は、ユーザインターフェイス装置の構成を示すブロック図である。図4は、右手を含むカメラ画像を示す図である。図5は、右手の形を抽出した画像の上で指先をサーチする方法を説明する図である。図6は、左手の形を抽出した画像の上で指先をサーチする方法を説明する図である。
図1に示すユーザインターフェイスシステム1は、黒色プレート上で、指示体となる親指と人差し指とを含むユーザの手をカメラ20で撮影し、パーソナルコンピュータ10が表示装置30の表示画面のテンキー(数値入力用キー)上に親指と人差し指とを半透明にして表示する。
対象検出部11には、カメラ20で撮影されたカメラ画像が入力される。図4は、右手を含むカメラ画像を示す図である。図4では図示されていないが、右手以外の部分は背景色(ここでは黒色プレートの黒色)となっている。
図5に示すように、2値化された右手の画像を第1サーチ軸でサーチすると、指先を抽出でき、図6に示すように、2値化された左手の画像を第2サーチ軸でサーチすると、指先を抽出できる。このように2軸でサーチを行うと、右手及び左手のいずれであっても指先を検出することできる(図5及び図6において、指先の検出位置を黒点で示す)。
図5及び図6に示すように、右手又は左手の画像を第1サーチ軸と第2サーチ軸の2軸でサーチすると、一方のサーチ軸では指先を抽出できるが、もう一方のサーチ軸の側で、指先ではない箇所(検出位置を黒点で示す)を抽出してしまう(誤検出する)。しかし、認識情報を使って後段のポインタ選択部14で指先ではない箇所を除外できる。
指先をサーチするには、サーチ方向を下向きから30°前後の方向に設定する(図5及び図6の角度θ1及び角度θ2を30度前後とする)のが好適である。
なお、サーチ軸を斜め2方向の2軸としたが、3軸以上としてもよい。
なお、カメラ画像の代わりに、前記2値化した画像から部分画像を取り出しても類似した効果が得られる。
図7に示すように、クラス0では、親指と人差し指とが離れ、ポインタが非選択状態にあり、クラス1では、親指と人差し指とが付き、ポインタが選択状態にある。親指と人差し指とは指示体となり、非選択状態が指示前の形態、選択状態が指示の形態となる。
クラス2、3では、親指又は人差し指の一本で、ポインタでない状態(非ポインタ)にある。クラス4、5では、人差し指と中指との二本で、ポインタでない状態(非ポインタ)にあるが、クラス4では隙間があり、クラス5では隙間のない状態にある。クラス6、7では、人差し指と中指と薬指の三本で、ポインタでない状態(非ポインタ)にあるが、クラス6では隙間があり、クラス7では隙間のない状態にある。クラス8では、人差し指と中指と薬指と小指の四本で、ポインタでない状態(非ポインタ)にある。クラス9では指の付け根の横からのアングルであり、ポインタでない状態(非ポインタ)にある。クラス10では手を握ったげんこつの状態であり、ポインタでない状態(非ポインタ)にある。クラス11ではクラス0~10以外の指の形状を示し、ポインタでない状態(非ポインタ)にある。クラス12では指以外の形状を示し、ポインタでない状態(非ポインタ)にある。
なお図7ではクラス0、クラス1は右手の親指と人差し指の部分画像を示しているが、左手の親指と人差し指の部分画像も同様にクラス分けされる。
ポインタ情報送信部16は、部分画像の位置とポインタの状態を示す情報を、パーソナルコンピュータ10に含まれる呼び出し元のアプリケーションや、ユーザインターフェイス装置10Aの外部のホストデバイスに出力する。
これらの機能ブロックを実現するために、ユーザインターフェイス装置10A又はユーザインターフェイス装置10Aを含むパーソナルコンピュータ10は、CPU(Central Processing Unit)等の演算処理装置を備えたコンピュータ等で構成される。また、ユーザインターフェイス装置10Aは、プログラムやOS(Operating System)等の各種の制御用プログラムを格納したHDD(Hard Disk Drive)等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのRAM(Random Access Memory)といった主記憶装置も備える。
第1の実施形態のユーザインターフェイスシステムにおいて、ポインタが移動状態にある場合がある。この場合、表示装置30の表示画面のポインタの移動が速いと、ユーザがポインタの操作が難しくなる。
例えば、親指と人差し指とが離れ、ポインタが非選択状態にあるときには、ポインタが移動状態にある場合がある。具体的には、図1に示すように、親指と人差し指のピンチ動作で、数字キー「2」を選択して表示装置30の表示画面の数字入力欄に数字「2」を入力した後に、数字「2」を削除する場合には、ポインタは数字キー「2」上から削除キー「DEL」上に移動する。
図9は本発明の第2の実施形態のユーザインターフェイス装置のポインタ情報生成部を示すブロック図である。本実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成は、ポインタ情報生成部の構成が異なる点を除いて第1の実施形態のユーザインターフェイス装置及びユーザインターフェイスシステムの構成と同じである。
本実施形態のユーザインターフェイス装置では、図3に示すポインタ情報生成部15がポインタ情報生成部15Aに置き換わっている。
移動平均演算部1502は、ポインタ選択部14から出力される、ポインタの位置を示す座標を、座標記憶部1503にポインタ座標の履歴として順次記憶する。移動平均演算部1502は、ポインタ選択部14からポインタの位置を示す座標が入力されると、座標記憶部1503に記憶されたポインタ座標の履歴を読み出して移動平均値を取り、補正後のポインタの座標(ポインタの部分画像の位置を示す情報)を出力する。
ステップS17では、移動平均演算部1502は、ポインタ選択部14からポインタの位置を示す座標が入力されると、座標記憶部1503に記憶されたポインタ座標の履歴を読み出して移動平均値を取り、補正後のポインタの座標を出力する。ステップS17はステップS15と同時に行われてもよく、ステップS15の前に行われてもよい。
第1の実施形態のユーザインターフェイスシステムにおいて、ユーザの操作で形態(ポインタ状態)が変わる際に、ユーザが意図せずポインタの座標がぶれる場合がある。例えば、図1に示すように、表示装置30の表示画面の数字入力欄に入力した数字「2」を削除するために、親指と人差し指とが開いた状態で、ポインタが削除キー「DEL」上に移動し、削除キー「DEL」上で停止し、親指と人差し指のピンチする場合に、ユーザが意図せずポインタの座標がぶれる場合がある。また、親指と人差し指のピンチした状態から親指と人差し指とを開く場合に、ユーザが意図せずポインタの座標がぶれる場合がある。
本実施形態では、ポインタ状態が変化する際にポインタの位置をロックし、選択状態が変わる直前の座標を維持する。
本実施形態のユーザインターフェイス装置では、図3に示すポインタ情報生成部15がポインタ情報生成部15Bに置き換わっている。
座標変化量検出部1511は、ポインタ選択部14からポインタの位置を示す座標(ポインタ座標)が入力されると、座標記憶部1512に記憶されたポインタ座標を読み出して座標変化量を検出し、座標ロック制御部1514に出力する。
座標ロック制御部1514は、座標変化量検出部1511から出力される直前の座標からの変化量(移動量に対応する)が、入力される所定の変化量(移動量に対応する)を超える場合はロック制御信号を出力しない。親指と人差し指のピンチした状態から親指と人差し指とを開き、別なキーに移動するために移動量が所定の移動量を超える場合には、ポインタの位置をロックする必要ないからである。
座標ロック制御部1514は、ロック制御信号を出力後に、座標変化量検出部1511から出力される直前の座標からの変化量(移動量に対応する)が、入力される所定の変化量を超える場合はロック解除制御信号を座標選択部1515に出力する。
一方、座標選択部1515は、ロック制御信号が入力された場合には、座標記憶部1512に記憶された、ロックする直前のポインタ座標を読み出し、このポインタ座標を座標記憶部1512及びポインタ情報送信部16に出力する。こうして、ロック解除制御信号が入力されるまで、ポインタ状態が変化する際にポインタの位置がロックされる。
座標選択部1515は、ロック解除制御信号が入力された場合は、ポインタの位置のロックを解除し、ポインタ選択部14から入力された、ポインタの位置を示す座標(ポインタ座標)をポインタ情報送信部16に出力する。
また、ポインタ状態情報生成部1513から出力されるポインタの状態を示す情報に基づいて、ポインタ状態の変化を検出したときに、カウンタ1516を動作させ、所定の時間経過したときに、入力される所定の変化量を小さい値に書き換えてもよい。こうすることで、ロック解除制御信号を出力する基準となる所定の変化量が小さくなり、座標選択部1515でのロックが外れやすい状態となる。
ポインタ状態の変化を検出したときからの経過時間をカウンタ1516で測定しない場合には、カウンタ1516を設けなくともよい。
一方、座標選択部1515は、ロック制御信号が入力された場合には、座標記憶部1512に記憶された、ロックする直前のポインタ座標を読み出し、このポインタ座標を選択して、ポインタ情報送信部16に出力する。そして、ロック解除制御信号が入力されるまで、選択状態が変わる直前のポインタ座標が維持(ロック)される。また、ポインタ状態情報生成部1513は、ポインタの状態を示す情報を生成して、ポインタ情報送信部16に出力する。
第1の実施形態のユーザインターフェイスシステムにおいて、ノイズ等により、瞬間的にポインタの状態の情報が失われる場合がある。ポインタの状態の情報が失われる問題への対応のため、本実施形態では、ポインタの状態の切り替えを、同じ変更状態の形態が所定の回数連続した場合に初めて行う。
本実施形態のユーザインターフェイス装置では、図3に示すポインタ情報生成部15がポインタ情報生成部15Cに置き換わっている。
状態選択部1524は、ポインタ状態情報生成部1521から出力されるポインタ状態と、選択状態記憶部1525から読み出したポインタ状態とが同じであれば、そのポインタ状態を示す情報をポインタ情報送信部16に出力するとともに、選択状態記憶部1525に記憶する。
一方、状態選択部1524は、ポインタ状態情報生成部1521から出力されるポインタ状態が、選択状態記憶部1525から読み出したポインタ状態と異なる場合は、連続状態検出部1523からポインタの状態の切り替え制御信号を受けたときのみ、ポインタ状態を、ポインタ状態情報生成部1521から出力されるポインタ状態に切り替えて、切り替えたポインタ状態を、ポインタ情報送信部16に出力するとともに、選択状態記憶部1525に記憶する。状態選択部1524は、ポインタの状態の切り替え制御信号を受けない場合は、ポインタ状態情報生成部1521から出力されるポインタ状態に切り替えることなく、選択状態記憶部1525から読み出したポインタ状態を、ポインタ情報送信部16に出力するとともに、選択状態記憶部1525に記憶する。
カメラ画像とその認識の状態をディスプレイに表示しないようなアプリケーションでは、ユーザがうっかり手をカメラの視野から外してしまってユーザインターフェイス装置で認識されなくなっても、その異常に気づきにくい。
本実施形態では、音や光でユーザに認識状況を報知する報知部を設ける。
本実施形態のユーザインターフェイス装置では、図3に示すユーザインターフェイス装置10Aにポインタ有無判断部17と報知部18とが追加されている。
報知部18は、鳴動デバイスを用いる場合、ポインタの認識状況に応じて、ユーザインターフェイス動作音を変えたり、あるいはユーザインターフェイス動作音をオン/オフすることで、ユーザに認識状況を報知する。
報知部18は、LED等の発光素子を用いる場合、ユーザインターフェイス装置10AにLEDを取り付けて、発光色を、あるいは発光をオン/オフすることで点滅させて、ユーザに認識状況を報知する。
図16は本実施形態のユーザインターフェイス装置の一部の動作を示すフローチャートである。
ステップS27では、報知部18がユーザに認識状況を報知する。その後、処理を終了する。
本実施形態では、クラス0とクラス1の2種類のみをポインタに割り当てて選択、非選択の2つの状態を表しているが、他の実施形態として、4つの形態をポインタに割り当てて、ボタンAの選択/非選択、ボタンBの選択/非選択といった応用も可能である。
例えば、図7において、クラス0とクラス1の他に、クラス4とクラス5をポインタに割り当てて、ボタンAの選択/非選択についてはクラス1とクラス0、ボタンBの選択/非選択についてはクラス5とクラス4をポインタとすることができる。
クラス0とクラス1の2種類によるポインタの代わりに、クラス4とクラス5の2種類によるポインタを用いてもよい。
また、本発明は指示体が含まれているカメラ画像に対して適用でき、指示体は親指と人差し指に限定されない。例えば、手首から先の画像でジャンケンなどの形態を利用することで非選択、選択を表すことができる。
さらに、遠く離れたところからのアングルでカメラで撮像し、カメラ画像における人の立ち位置で位置を示し、手の上げ下げ(万歳、水平開き)で状態を示すことができる。
本発明の第2~第5の実施形態は、2つの実施形態又は3つ以上の実施形態を適宜組み合わせることができる。例えば、ポインタの移動を滑らかなものとし、且つユーザの操作で形態(ポインタ状態)が変わる際に、ユーザが意図せずポインタの座標がぶれることを抑制するために、第2の実施形態と第3の実施形態を組み合わせることができる。
また、第5の実施形態は第1~第4の実施形態のいずれかを前提としているが、第5の実施形態は指示体がカメラ画像から外れた場合に報知するための構成であって、特に第1~第4の実施形態の構成に限定されない。
(1) 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像を2値化した画像について、前記カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め2方向にサーチする検出部と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備えたユーザインターフェイス装置。
このユーザインターフェイス装置によれば、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することができる。
前記選択部は、クラス分けされた部分画像から前記指示体が指示前の形態を示す部分画像と指示後の形態を示す部分画像とを選択する、上記(1)に記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、機械的な2軸のサーチによる画像認識と、画像のディープラーニングとを組み合わせることで、計算コストの低減と柔軟性の高い認識を両立させることができる。
前記指示前の形態は、前記親指と前記人差し指が開いた状態であり、前記指示の形態は前記親指と前記人差し指が付いた状態である、上記(1)又は(2)に記載のユーザインターフェイス装置。
前記指示体の位置を示す座標を記憶する座標記憶部と、
前記指示体の位置を示す座標が入力されると、前記座標記憶部に記憶された前記座標の履歴を読み出して移動平均値を取り、該移動平均値を用いて入力された前記座標を補正して出力する移動平均値演算部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、上記(1)から(3)のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、指示体の移動を滑らかなものとすることができる。
前記指示体の位置を示す座標を記憶する座標記憶部と、
生成した、前記指示体が指示前の形態か指示の形態かを示す情報に基づいて、前記指示体の形態の変化を検出し、形態が変化する際に前記指示体の位置をロックするためのロック制御信号を出力する座標ロック制御部と、
前記ロック制御信号が入力されない場合には、入力された、前記指示体の位置を示す座標を出力し、ロック制御信号が入力された場合には、前記座標記憶部に記憶された、ロックする直前の前記指示体の座標を読み出し、形態が変わる直前の前記指示体の座標を維持し、該指示体の座標を出力する座標選択部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、上記(1)から(4)のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザの操作で指示体の形態が変わる際に、ユーザが意図せず指示体の座標がぶれることを抑えることができる。
前記座標ロック制御部は、前記指示体の形態の変化を検出した場合に、前記直前の座標からの変化量が、入力される所定の変化量を超えないときは前記ロック制御信号を出力し、入力される所定の変化量を超えるときは前記ロック制御信号を出力せず、前記ロック制御信号を出力後に、前記直前の座標からの変化量が、入力される所定の変化量を超えたときはロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記(5)に記載のユーザインターフェイス装置。
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記(5)に記載のユーザインターフェイス装置。
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報を記憶する記憶部と、
前記記憶部から前記指示体の状態を読み出し、前記指示体の状態が変化し、変化後の前記指示体の状態が所定の回数連続して検出した場合に、前記指示体の状態の切り替え制御信号を出力する連続状態検出部と、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報が入力され、入力された情報が示す状態と、入力前に出力した状態と異なる場合に、前記切り替え制御信号を受けたときに、前記入力前に出力した状態を前記入力された情報が示す状態に切り替えて出力する状態選択部と、
前記入力前に出力した状態を記憶する選択状態記憶部と、
を備えた、
上記(1)から(8)のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ノイズ等により、瞬間的にポインタ情報が失われることを抑制できる。
前記指示体の位置が前記カメラ画像の領域から外れている場合に、ユーザに報知する報知部と、
を備えた、上記(1)から(9)のいずれかに記載のユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザに指示体の位置が前記カメラ画像の領域から外れた状況を報知することができる。
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステム。
このユーザインターフェイスシステムによれば、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出して、検出結果に基づいて表示装置の表示画面を操作することができる。
カメラ画像に含まれる対象物の端部を検出するために、方向の異なる、少なくとも斜め2方向にサーチする検出機能と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し機能と、
前記部分画像が、前記対象物として、指示のために形態が変わる指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択機能と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成機能と、
を実行させる、ユーザインターフェイス用プログラム。
このユーザインターフェイス用プログラムによれば、指示体がカメラ画像のどの位置にあり、どのような形態となっているかを正確に検出することができる。
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
前記指示体の位置を示す座標が入力されると、前記座標記憶部に記憶された前記座標の履歴を読み出して移動平均値を取り、該移動平均値を用いて入力された前記座標を補正して出力する移動平均値演算部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、指示体の移動を滑らかなものとすることができる。
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
生成した、前記指示体が指示前の形態か指示の形態かを示す情報に基づいて、前記指示体の形態の変化を検出し、形態が変化する際に前記指示体の位置をロックするためのロック制御信号を出力する座標ロック制御部と、
前記ロック制御信号が入力されない場合には、入力された、前記指示体の位置を示す座標を出力し、ロック制御信号が入力された場合には、前記座標記憶部に記憶された、ロックする直前の前記指示体の座標を読み出し、形態が変わる直前の前記指示体の座標を維持し、この指示体の座標を出力する座標選択部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザの操作で指示体の形態が変わる際に、ユーザが意図せず指示体の座標がぶれることを抑えることができる。
前記座標ロック制御部は、前記指示体の形態の変化を検出した場合に、前記直前の座標からの変化量が、入力される所定の変化量を超えないときは前記ロック制御信号を出力し、入力される所定の変化量を超えるときは前記ロック制御信号を出力せず、前記ロック制御信号を出力後に、前記直前の座標からの変化量が、入力される所定の変化量を超えたときはロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記(14)に記載のユーザインターフェイス装置。
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、上記(14)に記載のユーザインターフェイス装置。
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記情報生成部は、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報を記憶する記憶部と、
前記記憶部から前記指示体の状態を読み出し、前記指示体の状態が変化し、変化後の前記指示体の状態が所定の回数連続して検出した場合に、前記指示体の状態の切り替え制御信号を出力する連続状態検出部と、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報が入力され、入力された情報が示す状態と、入力前に出力した状態と異なる場合に、前記切り替え制御信号を受けたときに、前記入力前に出力した状態を前記入力された情報が示す状態に切り替えて出力する状態選択部と、
前記入力前に出力した状態を記憶する選択状態記憶部と、
を備えた、
ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ノイズ等により、瞬間的にポインタ情報が失われることを抑制できる。
前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備え、
前記指示体の位置が前記カメラ画像の領域から外れているかどうかを判断する判断部と、
前記指示体の位置が前記カメラ画像の領域から外れている場合に、ユーザに報知する報知部と、
を備えた、ユーザインターフェイス装置。
このユーザインターフェイス装置によれば、ユーザに指示体の位置が前記カメラ画像の領域から外れた状況を報知することができる。
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステム。
10 ユーザインターフェイス装置
11 対象検出部
12 画像切り出し部
13形態認識部
14 ポインタ選択部
15 ポインタ情報生成部
16 ポインタ情報送信部
20 カメラ
30 表示装置
Claims (12)
- 指示のために形態が変わる指示体を撮像したカメラ画像に基づいて、該指示体の形態を識別することで指示を特定するユーザインターフェイス装置であって、
前記カメラ画像を2値化した画像について、前記カメラ画像に含まれる対象物の端部を検出するために、前記2値化した画像上で方向の異なる、少なくとも斜め2方向にサーチする検出部と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し部と、
前記部分画像が、前記対象物として前記指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択部と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成部と、
を備えたユーザインターフェイス装置。 - 前記部分画像をディープラーニングによりクラス分けする形態認識部を備え、
前記選択部は、クラス分けされた部分画像から前記指示体が指示前の形態を示す部分画像と指示後の形態を示す部分画像とを選択する、請求項1に記載のユーザインターフェイス装置。 - 前記指示体は、ユーザの親指と人差し指であり、
前記指示前の形態は、前記親指と前記人差し指が開いた状態であり、前記指示の形態は前記親指と前記人差し指が付いた状態である、請求項1又は2に記載のユーザインターフェイス装置。 - 前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
前記指示体の位置を示す座標が入力されると、前記座標記憶部に記憶された前記座標の履歴を読み出して移動平均値を取り、該移動平均値を用いて入力された前記座標を補正して出力する移動平均値演算部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、請求項1から3のいずれか1項に記載のユーザインターフェイス装置。 - 前記情報生成部は、
前記指示体の位置を示す座標を記憶する座標記憶部と、
生成した、前記指示体が指示前の形態か指示の形態かを示す情報に基づいて、前記指示体の形態の変化を検出し、形態が変化する際に前記指示体の位置をロックするためのロック制御信号を出力する座標ロック制御部と、
前記ロック制御信号が入力されない場合には、入力された、前記指示体の位置を示す座標を出力し、ロック制御信号が入力された場合には、前記座標記憶部に記憶された、ロックする直前の前記指示体の座標を読み出し、形態が変わる直前の前記指示体の座標を維持し、該指示体の座標を出力する座標選択部と、を備え、
前記指示体の位置を示す座標は前記選択部から出力される、請求項1から4のいずれか1項に記載のユーザインターフェイス装置。 - 前記指示体の位置を示す座標が入力されると、前記座標記憶部から、ロックする直前の前記指示体の位置を示す座標を読み出して座標変化量を検出する座標変化量検出部を備え、
前記座標ロック制御部は、前記指示体の形態の変化を検出した場合に、前記直前の座標からの変化量が、入力される所定の変化量を超えないときは前記ロック制御信号を出力し、入力される所定の変化量を超えるときは前記ロック制御信号を出力せず、前記ロック制御信号を出力後に、前記直前の座標からの変化量が、入力される所定の変化量を超えたときはロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、請求項5に記載のユーザインターフェイス装置。 - 前記座標ロック制御部は、前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、ロック解除制御信号を出力し、
座標選択部は、前記ロック解除制御信号を受けた場合は、前記指示体の座標の維持を解除し、入力された、前記指示体の位置を示す座標を出力する、請求項5に記載のユーザインターフェイス装置。 - 前記座標ロック制御部が前記指示体の形態の変化を検出し前記ロック制御信号を出力したときから、所定の時間経過したときに、入力される前記所定の変化量を前記所定の変化量より小さい値に書き換える、請求項6に記載のユーザインターフェイス装置。
- 前記情報生成部は、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報を記憶する記憶部と、
前記記憶部から前記指示体の状態を読み出し、前記指示体の状態が変化し、変化後の前記指示体の状態が所定の回数連続して検出した場合に、前記指示体の状態の切り替え制御信号を出力する連続状態検出部と、
生成した、前記指示体が指示前の形態の状態か指示の形態の状態かを示す情報が入力され、入力された情報が示す状態と、入力前に出力した状態と異なる場合に、前記切り替え制御信号を受けたときに、前記入力前に出力した状態を前記入力された情報が示す状態に切り替えて出力する状態選択部と、
前記入力前に出力した状態を記憶する選択状態記憶部と、
を備えた、
請求項1から8のいずれか1項に記載のユーザインターフェイス装置。 - 前記指示体の位置が前記カメラ画像の領域から外れているかどうかを判断する判断部と、
前記指示体の位置が前記カメラ画像の領域から外れている場合に、ユーザに報知する報知部と、
を備えた、請求項1から9のいずれか1項に記載のユーザインターフェイス装置。 - 請求項1から請求項10のいずれか1項に記載のユーザインターフェイス装置と、
指示のために形態が変わる指示体を撮像する撮像装置と、
前記ユーザインターフェイス装置から出力される前記指示体が指示前の形態か指示の形態かを示す情報に基づいて操作される表示画面を表示する表示装置と、
を備えた、ユーザインターフェイスシステム。 - コンピュータに、
カメラ画像に含まれる対象物の端部を検出するために、前記カメラ画像上で方向の異なる、少なくとも斜め2方向にサーチする検出機能と、
検出された前記端部に基づいて前記カメラ画像から部分画像を切り出す画像切り出し機能と、
前記部分画像が、前記対象物として、指示のために形態が変わる指示体を撮像した部分画像である場合に、前記指示体が指示前の形態を示す部分画像と指示の形態を示す部分画像とを選択する選択機能と、
前記指示体が指示前の形態か指示の形態かを示す情報を生成する情報生成機能と、
を実行させる、ユーザインターフェイス用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020189577A JP7203436B2 (ja) | 2020-11-13 | 2020-11-13 | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020189577A JP7203436B2 (ja) | 2020-11-13 | 2020-11-13 | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022078706A JP2022078706A (ja) | 2022-05-25 |
JP7203436B2 true JP7203436B2 (ja) | 2023-01-13 |
Family
ID=81707076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020189577A Active JP7203436B2 (ja) | 2020-11-13 | 2020-11-13 | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7203436B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023214451A1 (ja) * | 2022-05-02 | 2023-11-09 | ディープインサイト株式会社 | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178887A (ja) | 2013-03-14 | 2014-09-25 | Sharp Corp | 情報処理装置、タッチパネル付ディスプレイ装置、情報処理方法及びプログラム |
JP2015069369A (ja) | 2013-09-27 | 2015-04-13 | 株式会社Jvcケンウッド | 操作入力装置、操作入力方法およびプログラム |
WO2015104919A1 (ja) | 2014-01-10 | 2015-07-16 | コニカミノルタ株式会社 | ジェスチャー認識装置、操作入力装置およびジェスチャー認識方法 |
WO2015108112A1 (ja) | 2014-01-15 | 2015-07-23 | 株式会社Juice Design | 操作判定装置、操作判定方法、および、プログラム |
JP2016167268A (ja) | 2015-03-06 | 2016-09-15 | 国立大学法人 筑波大学 | ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム |
JP2019121191A (ja) | 2018-01-05 | 2019-07-22 | ラピスセミコンダクタ株式会社 | 操作判定装置及び操作判定方法 |
JP2020057139A (ja) | 2018-10-01 | 2020-04-09 | トヨタ自動車株式会社 | 機器制御装置 |
-
2020
- 2020-11-13 JP JP2020189577A patent/JP7203436B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178887A (ja) | 2013-03-14 | 2014-09-25 | Sharp Corp | 情報処理装置、タッチパネル付ディスプレイ装置、情報処理方法及びプログラム |
JP2015069369A (ja) | 2013-09-27 | 2015-04-13 | 株式会社Jvcケンウッド | 操作入力装置、操作入力方法およびプログラム |
WO2015104919A1 (ja) | 2014-01-10 | 2015-07-16 | コニカミノルタ株式会社 | ジェスチャー認識装置、操作入力装置およびジェスチャー認識方法 |
WO2015108112A1 (ja) | 2014-01-15 | 2015-07-23 | 株式会社Juice Design | 操作判定装置、操作判定方法、および、プログラム |
JP2016167268A (ja) | 2015-03-06 | 2016-09-15 | 国立大学法人 筑波大学 | ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム |
JP2019121191A (ja) | 2018-01-05 | 2019-07-22 | ラピスセミコンダクタ株式会社 | 操作判定装置及び操作判定方法 |
JP2020057139A (ja) | 2018-10-01 | 2020-04-09 | トヨタ自動車株式会社 | 機器制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022078706A (ja) | 2022-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11137834B2 (en) | Vehicle system and method for detection of user motions performed simultaneously | |
US10001838B2 (en) | Feature tracking for device input | |
US11294470B2 (en) | Human-to-computer natural three-dimensional hand gesture based navigation method | |
JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
JP4575829B2 (ja) | 表示画面上位置解析装置及び表示画面上位置解析プログラム | |
US9405373B2 (en) | Recognition apparatus | |
WO2014045953A1 (ja) | 情報処理装置および方法、並びにプログラム | |
JPH0844490A (ja) | インターフェイス装置 | |
JP6314251B2 (ja) | 操作入力装置、操作入力方法及びプログラム | |
KR100663515B1 (ko) | 휴대 단말 장치 및 이를 위한 데이터 입력 방법 | |
JP2004246578A (ja) | 自己画像表示を用いたインタフェース方法、装置、およびプログラム | |
JP7203436B2 (ja) | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム | |
US20130229348A1 (en) | Driving method of virtual mouse | |
WO2023214451A1 (ja) | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム | |
JP7489048B2 (ja) | ジェスチャ認識装置、システム及びそのプログラム | |
JP2015122124A (ja) | 仮想マウスによるデータ入力機能を有する情報装置 | |
JP5928628B2 (ja) | 仮想キーボード入力方法 | |
JP2016122475A (ja) | 仮想キーボードを有する情報装置 | |
KR101911676B1 (ko) | 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법 | |
CN109710075B (zh) | 一种在vr场景中显示内容的方法及装置 | |
JP5733056B2 (ja) | 仮想マウスによるデータ入力方法 | |
KR20130128143A (ko) | 손동작에 의한 인터페이스 조작 장치 및 방법, 그리고 컴퓨터로 읽을 수 있는 기록매체 | |
JP5118663B2 (ja) | 情報端末装置 | |
CN116740737A (zh) | 手势识别方法、装置、设备及存储介质 | |
JP2013222317A (ja) | 数値制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220428 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7203436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |