JP6008904B2

JP6008904B2 - 表示制御装置、表示制御方法、及び、プログラム

Info

Publication number: JP6008904B2
Application number: JP2014137627A
Authority: JP
Inventors: 怜央海保
Original assignee: NEC Personal Computers Ltd
Current assignee: NEC Personal Computers Ltd
Priority date: 2014-07-03
Filing date: 2014-07-03
Publication date: 2016-10-19
Anticipated expiration: 2034-07-03
Also published as: JP2016015078A

Description

本発明は、表示制御装置、表示制御方法、及び、プログラムに関する。

従来から、パーソナルコンピュータ（以下「ＰＣ」という。）等の情報処理装置に対する操作に関し、マウス等のポインティングデバイスを用いて画面上の所望の位置にカーソルを移動させる操作が広く行われている。例えば、画面表示されたアイコン上にカーソルを移動させ、マウスクリックによりそのアイコンを選択したり、マウスによるドラッグ＆ドロップによってそのアイコンを移動させたり、文字入力位置をカーソルによって指定する操作等が行われている。

ところで、マウスによるカーソルの移動操作においては、しばしば、ユーザーがカーソルを見失うことがある。このことは、特に、例えば、水平２０４８ピクセル×垂直２０４８ピクセルといった、大画面かつ高解像度の表示装置において、表示されるカーソルは相対的に小さくなるため、視認性が悪くなることに起因する。

これに対し、例えば特許文献１には、マウスの変位量からカーソルの位置のみならず、その移動速度をも求め、ユーザーはカーソルの位置を把握したい場合、計算機への合図動作としてマウスを素早く動かす動作を行い、その移動速度が所定の速度閾値を超えたことを検知したとき、カーソルイメージを拡大させる等の表示強調処理を行うカーソル表示位置制御装置が開示されている。

特開平１０−２０７４４１号公報

特許文献１によれば、確かに、見失ったカーソルを見つけやすくなる。しかし、特許文献１では、カーソルサイズを、通常サイズの倍程度のサイズといった一定の大きさへ拡大しているにすぎず、カーソルサイズを自由に変更することはできない。

本発明は、このような実情に鑑みてなされたものであって、操作対象となる表示画像の表示サイズをユーザーの意のままに自由に変更することができる表示制御装置を提供することを目的とする。

上記の課題を解決するため、本発明の表示制御装置は、座標変位量の入力に応じて表示画像を操作する操作手段と、操作手段により入力された座標変位量に応じて入力された座標変位量を表示画像の表示位置の変位量に変換するための変換係数と表示画像の表示属性とを制御する制御手段と、を備え、操作手段は、３Ｄカメラで取得されたユーザーの身体を含む画像におけるユーザーの第１の部位の位置に基づいて座標情報を出力するポインティングデバイスであって、制御手段は、第１の部位と該第１の部位と異なる第２の部位との３次元空間における距離に応じて変換係数と表示属性とを制御する、ことを特徴とする。

本発明によれば、操作対象となる表示画像の表示サイズをユーザーの意のままに自由に変更することができる。

本発明の実施形態における表示制御装置の一例としてのパーソナルコンピュータを用いた動作説明概略図である。本発明の実施形態における表示制御処理に係る表示画面例を示す模式図である。本発明の実施形態における表示制御装置のハードウェア構成例を示す図である。本発明の実施形態における表示制御装置の機能ブロック図である。本発明の実施形態における表示制御処理の一例を説明する模式図である。本発明の実施形態における表示制御処理手順の一例を示すフローチャートである。

本発明の実施形態における表示制御装置について図面を用いて以下説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。なお、以下では、本実施形態における表示制御装置を説明する上で、一例として、ノート型のパーソナルコンピュータ（以下「ＰＣ」という。）を用いているが、これに限定されず、例えば、デスクトップ型のＰＣでも、多機能型携帯電話（スマートフォン）、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、携帯電話等の携帯端末でも、情報処理機能を有するテレビジョン（ＴＶ）でも、あるいは、情報処理機能を有する、例えば冷蔵庫や洗濯機等の家庭用電化製品等、さらには自家用車等に本実施形態の表示制御装置が適用されるものであってもよい。

本実施形態においては、例えばディスプレイ等の表示画面に表示されるアイコン等の表示画像を選択等するカーソルのサイズ等を変更するために行われる操作内容を、その操作に用いられる操作手段の動作状態を所定の方法で認識することによって判断するものである。操作手段としては、いわゆるジェスチャー操作によって、所望の機能を実行させるための人の手指であったり、マウスやタッチパッド等のポインティングデバイスであったりしてよい。なお、本実施形態では、主として、ジェスチャー操作を行う人の手指を操作手段の例として以下に説明する。なお、認識されるジェスチャーとしては、手指に限らず、身体の少なくとも一部を用いたジェスチャーであればよい。例えば、腕や脚、顔、あるいは全身を用いたあらゆるジェスチャーを認識し、認識された各ジェスチャーに基づいて各種処理を実現するものであってもよい。

本実施形態における表示制御装置の一例であるノート型ＰＣ（以下、単に「ＰＣ」という。）１の概略について図１を参照して説明する。ＰＣ１は、例えば、ジェスチャーを認識するためのカメラ１１と、ディスプレイ１２と、キーボード１３と、タッチパッド１４、マウス１５等を備えている。

カメラ１１は、例えば、図１に示すようなジェスチャーＲを撮影して、撮影画像を装置内に取り込む。ＰＣ１は、取り込まれた撮影画像を解析して、解析結果に基づいて所望の処理を実行する。なお、本図においては、カメラ１１はＰＣ１のディスプレイ１２の上方に設けられているが、これに限定されず、ジェスチャー等を撮影することができる位置であれば、どこに設けてもよい。また、カメラ１１が不図示の回転機構により、その取付位置を基点として装置筐体の背面側に回転し、背面側のジェスチャー等を撮影するようにしてもよい。

キーボード１３、タッチパッド１４、及びマウス１５は、これらが操作されることにより、それぞれにおいて生成される操作制御信号をＰＣ１内に実装されるＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）に入力するポインティングデバイスである。

なお、図１における３次元空間を説明する指標として、水平方向をＸ軸と、垂直方向をＹ軸と、奥行き方向をＺ軸とする。本実施形態におけるカメラ１１は、Ｘ軸及びＹ軸からなる平面的な画像を撮影するカメラだけでなく、Ｚ軸方向の長さを認識するため、例えば物体の温度分布を画像化するＩＲカメラを組み合わせて用いることが好ましい。また、所謂ステレオカメラ等の３Ｄカメラを用いてもよい。これらにより、ジェスチャーの向きに関わらず、ジェスチャーを正確に認識することができる。

次に、本実施形態における表示制御処理に係る表示画面の動作例について図２を参照して説明する。本図は、例えば、図１におけるディスプレイ１２に表示される表示画面の例を示している。ディスプレイ１２には、アイコンＡ、選択画像Ｂ、カーソルＣが表示されている。

例えば、ユーザーは、手指を用いたジェスチャー操作により、カーソルＣを動かし、アイコンＡや選択画像ＢにカーソルＣを移動させる。この際、ユーザーは、例えば、人差し指と親指の間隔を広げたり狭めたりする。ユーザーによるこうしたジェスチャー操作をカメラ１１が撮影すると、ＰＣ１は、手の位置を把握するとともに、撮影した手指の画像を解析して、人差し指と親指の間隔つまり、距離を認識する。この距離は、例えば、撮影画像において、親指の位置を基準座標として設定した場合における、親指の座標位置から人差し指の座標位置までの距離である。そして、ＰＣ１は、認識された間隔の大小あるいは、長短に応じて例えばカーソルＣのサイズや移動速度等を変更する処理を行う。これにより、例えば、本図に示すように、アイコンＡを選択するときは、カーソルＣは小さいサイズで表示され、選択画像Ｂを選択するときは、カーソルＣは大きいサイズで表示される。また、サイズ変更処理と共に、又は、別個に、カーソルの移動速度を変更してもよい。例えば、アイコンＡのような画面全体に対して相対的に小さい表示画像を選択するときは、カーソルの移動速度を遅くし、選択画像Ｂのような画面全体に対して相対的に大きい表示画像を選択するときは、カーソルの移動速度を速くする。小さいサイズの表示画像を選択するときは、慎重な操作を要するため、カーソルの移動速度は遅いほうが好ましく、大きいサイズの表示画像を選択するときは、選択がし易いため、カーソルの移動速度は速いほうが好ましい。

次に、本実施形態における表示制御装置のハードウェア構成について図３を参照して説明する。本実施形態における表示制御装置は、例えば、ＣＰＵ２１と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２２と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２３と、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）２４と、撮影部２５と、表示部２６と、入力部２７と、出力部２８と、を備える。

ＣＰＵ２１は、表示制御装置の全体制御を行う。また、ＣＰＵ２１は、本実施形態における、認識したジェスチャーからユーザーの手指間の距離を認識し、認識された距離に応じてカーソルサイズを変更するといった処理を実現させるために、上述した各デバイスを制御する。

ＲＡＭ２２は、例えば、ＣＰＵ２１の作業用領域として利用されるとともに、各種データの一時記憶領域として利用されるものであればよい。また、ＲＯＭ２３は、例えば、ＣＰＵ２１が実行するＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔＯｕｔｐｕｔＳｙｓｔｅｍ）等の制御プログラムのほか、制御に必要な各種データ等が格納されるものであればよい。

ＨＤＤ２４は、例えば、ジェスチャー認識のための基準となる手指間の距離データ等を記憶する大容量記憶装置である。なお、本実施形態においては、例えば、ＨＤＤ２４はＰＣ１に内蔵されているが、ＨＤＤ２４は外付けであってもよい。また、手指間の距離データ等をＳＤカード等の外部メディアに記憶させ、ＳＤカード等から当該データを読み込んでもよい。さらに、手指間の距離データ等を、不図示のネットワークを介して接続された外部のＰＣ等に記憶させておき、ジェスチャー認識が必要なタイミングでネットワークを経由してＰＣ１に読み込む、例えば、クラウド等に対応することとしてもよい。

撮影部２５は、図１に示したジェスチャーＲのような人の手指を撮影する、例えばデジタルカメラ等の撮影手段である。上述したように、本実施形態では、ジェスチャー等の物体の３軸方向の距離を測定することが好ましいため、例えば、２軸方向、つまり上述した図１におけるＸ−Ｙ軸平面の画像を撮影するカメラに加え、物体の奥行き方向、つまり上述した図１におけるＺ軸方向の距離を測定するＩＲ（赤外線）カメラを備えることが好ましい。なお、撮影部２５として、３Ｄ映像を取得することができるものであれば、例えばステレオカメラ等の視差カメラであってもよい。なお、以下では、これら３軸方向の距離を測定するための撮影画像を得るカメラを総称して「３Ｄカメラ」として説明する。

表示部２６は、例えば図２で示したアイコンＡや選択画像Ｂ等の表示画像を表示する、例えば液晶ディスプレイや有機ＥＬディスプレイ等の表示デバイスであり、例えば図１に示したディスプレイ１２に相当する。本実施形態においては、例えば、表示部２６にアイコンＡ等のユーザーインタフェースを表示させ、アイコンＡが、ＰＣ１に実装される所定機能を実現するための操作キーとなっている場合に、ユーザーは表示部２６に表示されたアイコンＡを見ながら、ジェスチャー操作によって、あたかもアイコンＡを直接操作しているかのような感覚を体感することができる。

入力部２７は、例えば、図１に示したキーボード１３、タッチパッド１４、及びマウス１５等のポインティングデバイスである。例えば、本発明における操作手段として、マウス１５を用いる場合に、マウス１５を用いた動作認識処理の概略について説明する。マウス１５を卓上で移動させると、例えば、マウス内のエンコーダが、マウス下面に設けられたボールの回転量に応じた数のパルスを生成する。ＰＣ１に設けた不図示のマウスインタフェースは、このパルスをカウントし、例えば、一定時間間隔ごとにその間のカウント数をデジタルデータに変換して、マウスの座標変位量としてＣＰＵ２１に送信する。この座標変位量は、二次元的な変位量であって、画面の水平、垂直方向にそれぞれ対応するＸ方向の座標変位量と、Ｙ方向の座標変位量という２成分で表される。なお、マウスの座標変位量として、水平方向、又は、垂直方向のいずれか一方のみが変位する場合、Ｘ方向またはＹ方向の単一の座標変位量を用いてもよい。本実施形態においては、これらの座標変位量を表示画像を操作するための操作制御信号とし、操作制御信号としてのこれらの座標変位量を、例えば、ＰＣ１のＨＤＤ２４等に記憶させた距離データと比較する。その結果、これらの座標変位量から算出した距離データが、記憶された距離データと一致するか、又は、記憶された距離データを基準として、これから短くなったか長くなったかを判定することで、マウス１５の移動距離を認識する。タッチパッド１４についても、その構造やパルス発生原理等を除き、マウス１５と同様に機能させることが可能である。なお、タッチパッド１４は、静電式でも感圧式でもいずれでもよい。また、タッチパッド１４に代えて、ディスプレイ１２等に重畳させた所謂タッチパネルを用いてもよい。

出力部２８は、例えば、音声を出力するスピーカー等の音声出力部や、光を出力するＬＥＤ等の光出力部等である。出力部２８は、例えば、処理が完了したり、処理中であったり等の処理状態をユーザーに知らせるため等に、音声や光等を出力する。

次に、本実施形態における表示制御装置の機能ブロックについて、図４を参照して説明する。本実施形態における表示制御装置は、機能ブロックとして、表示部２６と、操作部３１と、制御部３２と、を含み構成されている。なお、表示部２６については、図３を用いて説明したため、ここでの説明を省略する。

操作部３１は、図１を用いて上述したジェスチャーやマウス等のような、座標変位量の入力に応じて、図２に示したカーソルＣ等の表示画像を操作する操作手段である。なお、ジェスチャーを、便宜的に、３Ｄカメラで取得されたユーザーの身体を含む画像におけるユーザーの第１の部位の位置に基づいて座標情報を出力するポインティングデバイスとする。

制御部３２は、操作部３１により入力された座標変位量に応じて入力された座標変位量を表示画像の表示位置の変位量に変換するための変換係数ｋと表示画像の表示属性ｐとを制御する制御手段であり、例えば、図３で説明したＣＰＵ２１によってその機能が実行される。そして、例えば、制御部３２は、以下の式（１）を用いて表示位置の変位量を算出し、以下の式（２）を用いて表示画像のサイズ等を決定する。表示画像の表示位置とは、例えば、図２に示したカーソルＣが表示される位置をいう。
［表示位置の変位量］＝ｋ×［入力された座標変位量］・・・（１）
［表示画像のサイズ］＝ｐ×［入力された座標変位量］・・・（２）

例えば、ジェスチャーを操作部３１とする場合、ジェスチャーの撮影画像において第１の部位としての親指の位置を基準座標位置とする。制御部３２は、親指と異なる第２の部位としての例えば人差し指との３次元空間における距離に応じて変換係数と表示属性とを制御する。表示属性とは、例えば、図２に示したカーソルＣのサイズや、色や、形状等を決定するためのパラメータである。

より具体的には、制御部３２は、単位時間あたりの入力された座標変位量が小さいと同一の入力座標変位量に対して表示画像の表示位置が少なく変位するように変換係数を制御する。また、制御部３２は、単位時間あたりの入力された座標変位量が小さいと表示画像が小さくなるように表示属性を制御する。制御部３２による制御の詳細については図５を参照しながら後述する。

次に、本実施形態における、表示制御処理の一例について、図４に示した操作部３１及び制御部３２による処理と共に、図５を参照して説明する。また、以下では、操作部３１を、手指を用いたジェスチャーとして説明する。

図５においては、上段に、撮影部２５により撮影された手指を用いたジェスチャーの例を示している。図の左から順に、「手を一杯に開いた状態」であるジェスチャー、「手を少し開いた状態」であるジェスチャー、「完全ではないが手の指先を閉じ気味に開いた状態」であるジェスチャー、「手の指先を閉じた状態」であるジェスチャーを示している。また、カーソルサイズ」として、手指間の距離に対応して、図の左から順に、「大」、「中」、「小」、「極小」と示している。「カーソル移動速度」については、図の左方に「速」、図の右方に「遅」と示し、速度が連続的に切り替わることを「速」と「遅」のポイントを線分で結ぶことにより示している。

制御部３２は、例えば、親指と人差し指との距離が近いと同一の入力座標変位量に対してカーソルＣの表示位置が少なく変位するように変換係数を制御する。また、制御部３２は、例えば、親指と人差し指との距離が近いと表示画像が小さくなるよう表示属性を制御する。

本実施形態では、例えば、「手を一杯に開いた状態」であるジェスチャーにおける親指と人差し指間の距離が「１」、「手を少し開いた状態」であるジェスチャーにおける親指と人差し指間の距離が「０．５〜０．８」、「完全ではないが手の指先を閉じ気味に開いた状態」であるジェスチャーにおける親指と人差し指間の距離が「０．２〜０．４」、「手の指先を閉じた状態」であるジェスチャーにおける親指と人差し指間の距離が「０」として、それぞれ入力座標変位量を示している。なお、これらの距離については、一例であり、示した数値に限定されるものではない。また、任意の数値を距離として設定しているものであり、よって、特定の単位に限定されるものでもないため、単位の表記は省略している。さらに、数値として、「０．１」や「０．９」、ジェスチャーとして、図に示した各ジェスチャーの動きの変化の過程を示す変化途中のジェスチャーを示していないが、図示上における便宜のために省略しているにすぎず、これらを排除しているものではない。つまり、本実施形態における制御部３２は手指間の距離をリニアに認識することができる。

そして、制御部３２は、例えば、親指と人差し指間の距離が近い場合、カーソルＣの表示位置が小さく変位、例えばゆっくりと移動されるように変換係数ｋを制御する。具体的には、図５に示すように、例えば、制御部３２は、親指と人差し指間の距離が「０」の場合、カーソルの移動速度が遅くなるように変換係数ｋを制御する。なお、移動速度として「速」、「遅」のみ記載しているが、この間に、「やや速い」や「やや遅い」等が含まれていてもよいことは言うまでもない。

また、制御部３２は、図５に示すように、例えば、親指と人差し指間の距離が近い場合、カーソルＣのサイズが小さくなるように表示属性を制御する。なお、本実施形態においては、例えばカーソルサイズの変更について説明しているが、これに限定されず、例えば、カーソルの色や形状等を変更させることとしてもよい。これにより、表示されるカーソルの表示態様のバリエーションが増えるため、より一層ユーザーの自由な意思を反映した操作を実現することが可能となる。なお、カーソルの形状は円状、矢印形状、四角形状、その他の形状に変更できるものであってよい。

次に、本実施形態における表示制御処理手順について、図５の例を用いつつ、図６を参照して説明する。まず、表示制御装置は、例えば、撮影部２５によりユーザーの手指を撮影すると、撮影画像の入力をキーとしてジェスチャー認識処理を開始する（ステップＳ１）。なお、これは一例であって、ジェスチャー認識処理のトリガーは、撮影画像の入力に限らず、ユーザーによるキーボード１３等の入力部２７を介した操作入力信号をキーとしても、マイク等を用いて音声入力信号をキーとしても、その他ＰＣ１に備わるデバイス等を利用して何らかのトリガーを装置が認識できる信号等であればよい。

次に、制御部３２は、撮影画像から、例えば、人差し指と親指間の距離を認識する（ステップＳ２）。認識された距離が「０」であるとき（ステップＳ２、距離：０）、制御部３２は、カーソルサイズ「小」に変更されるように表示属性ｐを制御するとともに、カーソルの移動速度が遅くなるように変換係数ｋを制御する（ステップＳ３）。なお、本実施形態においては、入力された座標変位量が小さいときの制御について説明しているが、これに限定されず、入力された座標変位量が大きいと同一の入力座標変位量に対して表示画像の表示位置が多く変位するように変換係数ｋを制御し、表示画像が大きくなるように表示属性ｐを制御するものであってもよいことは言うまでもない。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の表示制御装置における各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリ等の記憶部にインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

１ノート型ＰＣ
１１カメラ
１２ディスプレイ
１３キーボード
１４タッチパッド
１５マウス
２１ＣＰＵ
２２ＲＡＭ
２３ＲＯＭ
２４ＨＤＤ
２５撮影部
２６表示部
２７入力部
２８出力部
３１操作部
３２制御部

Claims

操作対象となる表示画像を表示する表示手段と、
座標変位量の入力に応じて前記表示画像を操作する操作手段と、
前記操作手段により入力された座標変位量に応じて前記入力された座標変位量を前記表示画像の表示位置の変位量に変換するための変換係数と前記表示画像の表示属性とを制御する制御手段と、
を備え、
前記操作手段は、３Ｄカメラで取得されたユーザーの身体を含む画像におけるユーザーの第１の部位の位置に基づいて座標情報を出力するポインティングデバイスであって、
前記制御手段は、前記第１の部位と該第１の部位と異なる第２の部位との３次元空間における距離に応じて変換係数と表示属性とを制御する、
ことを特徴とする表示制御装置。
前記制御手段は、単位時間あたりの前記入力された座標変位量が小さいと同一の入力座標変位量に対して前記表示画像の表示位置が少なく変位するように前記変換係数を制御することを特徴とする請求項１記載の表示制御装置。
前記制御手段は、単位時間あたりの前記入力された座標変位量が小さいと前記表示画像が小さくなるように前記表示属性を制御することを特徴とする請求項１又は２記載の表示制御装置。
前記制御手段は、前記第１の部位と前記第２の部位との距離が近いと同一の入力座標変位量に対して前記表示画像の表示位置が少なく変位するように変換係数を制御することを特徴とする請求項１から３の何れか１項に記載の表示制御装置。
前記制御手段は、前記第１の部位と前記第２の部位との距離が近いと表示画像が小さくなるよう表示属性を制御することを特徴とする請求項１から４の何れか１項に記載の表示制御装置。
所定の表示手段に表示された表示画像に対する所定の操作手段による操作に伴い座標変位量を入力する工程と、
前記入力された座標変位量に応じて前記入力された座標変位量を前記表示画像の表示位置の変位量に変換するための変換係数と前記表示画像の表示属性とを制御する工程と、
を備え、
前記操作手段は、３Ｄカメラで取得されたユーザーの身体を含む画像におけるユーザーの第１の部位の位置に基づいて座標情報を出力するポインティングデバイスであって、
前記制御する工程は、前記第１の部位と該第１の部位と異なる第２の部位との３次元空間における距離に応じて変換係数と表示属性とを制御する、
ことを特徴とする表示制御方法。
所定の表示手段に表示された表示画像に対する所定の操作手段による操作に伴い座標変位量を入力する処理と、
前記入力された座標変位量に応じて前記入力された座標変位量を前記表示画像の表示位置の変位量に変換するための変換係数と前記表示画像の表示属性とを制御する処理と、
をコンピュータに実行させ、
前記操作手段は、３Ｄカメラで取得されたユーザーの身体を含む画像におけるユーザーの第１の部位の位置に基づいて座標情報を出力するポインティングデバイスであって、
前記制御する処理は、前記第１の部位と該第１の部位と異なる第２の部位との３次元空間における距離に応じて変換係数と表示属性とを制御する、
ことを特徴とするプログラム。