JP4609543B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置及び情報処理方法に関する。

表示装置には、液晶ディスプレイなどの表示部の表面に静電容量方式や抵抗膜方式のタッチセンサーを設けるタッチパネル（タッチスクリーン）がある。タッチパネルによれば、表示部の画面に触れることで情報処理装置の入力が可能となり、ユーザが容易に情報処理装置を扱うことができるようになる。

また、表示部近傍の操作を検出する表示装置として、タッチパネル以外の技術が開示されている。例えば特許文献１には、表示装置が発光と受光とを同時に行う技術が開示されている。また、特許文献２には、操作者の手や人体などの動作に応じてコンピュータ装置を操作する技術が開示されている。更に、特許文献３には、パネル上の入力点に関して、複数の点の情報を出力できるパネルの技術が開示されている。

特開２００６−２７６２２３号公報 特開平１１−２４８３９号公報（特許第３９６８４７７号公報） 特開２００８−１４６１６５号公報

ところで、従来のタッチパネルに設けられるタッチセンサー等のユーザインタフェースは、ユーザの指又はスタイラス等が接触しているか、又は非接触であるかのみを検知していた。この場合、ユーザの操作方法に応じて実現できるインタラクションは、例えば、ボタンの押圧、解除（ボタンアップ、ボタンダウン）、クリック、ダブルクリック、接触、ドラッグ・アンド・ドロップ、素早いスクロール（フリック）に限定されていた。

また、タッチパネルには、複数点の接触を検出できるものがある。この場合、ユーザの操作方法に応じて実現できるインタラクションは、拡大・縮小（ピンチオープン・ピンチクローズ）、２点接触しながらスクロール（two finger scroll）、２点接触しながら回転（two finger rotation）に限定されていた。

上記の各インタラクションは、マウスやタッチパッドを用いた操作の延長上にあり、画面に表示されてユーザによって操作される対象は、画面内をさらさらと滑るような印象の表現であった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、表示部に表示される画像とユーザの操作の関係を現実の動作により近くすることが可能な、新規かつ改良された情報処理装置及び情報処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像を表示部に表示する表示制御部と、操作体と表示部の表面との間の接触又は近接に関する接近値を取得する接近値取得部と、接近値を３値化処理し、３値化処理された接近値に応じて、第１の領域と、第１の領域と異なる第２の領域を検出する領域検出部と、第１の領域及び第２の領域それぞれの重心の位置を算出する重心位置算出部とを有する情報処理装置が提供される。

上記接近値取得部は、外部から表示部の表示面に入射する光を受光し、受光した光を電気信号に変換する受光部と、電気信号から画素毎の輝度値を接近値として算出する輝度値算出部とを有してもよい。

上記接近値取得部は、操作体と表示部の表面との間の静電容量を検出する静電容量検出部と、静電容量の変化を接近値として算出する接近値算出部とを有してもよい。

上記重心位置算出部で算出された第１の領域の重心である第１の重心と、第２の領域の重心である第２の重心とを結ぶ直線の方向を算出する直線方向算出部を有してもよい。

上記重心位置算出部で算出された第１の領域の重心である第１の重心と、第２の領域の重心である第２の重心の移動を検出する移動検出部を有してもよい。

上記第１の領域を、表示部近傍の操作体が表示部の表示面に最も接近している領域と判断し、第２の領域を、操作体が表示部の表示面から第１の領域より離れている領域と判断する判断部を有してもよい。

上記表示制御部は、直線方向算出部で算出された直線の方向に基づいて、表示部に表示する画像を表示してもよい。

上記表示制御部は、移動検出部で検出された第１の重心と第２の重心の移動に基づいて、表示部に表示する画像を表示してもよい。

上記表示制御部は、判断部で判断された領域に基づいて、表示部に表示する画像を表示してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、表示制御部が画像を表示部に表示するステップと、接近値取得部が操作体と表示部の表面との間の接触又は近接に関する接近値を取得するステップと、領域検出部が接近値を３値化処理し、３値化処理された接近値に応じて、第１の領域と、第１の領域と異なる第２の領域を検出するステップと、重心位置算出部が第１の領域及び第２の領域それぞれの重心の位置を算出するステップとを有する情報処理方法が提供される。

本発明によれば、表示部に表示される画像とユーザの操作の関係を現実の動作により近くすることができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

まず、本発明の一実施形態に係る情報処理装置１００について説明する。図１は、本実施形態に係る情報処理装置１００を示すブロック図である。
本実施形態の情報処理装置１００は、例えば、制御部１０２と、メモリ１０４と、画像信号処理部１０６と、ディスプレイパネル１０８と、表示駆動部１１２と、受光処理部１２２などを有する。なお、本実施形態では、情報処理装置１００にディスプレイパネル１０８が一体的に設けられる場合について説明するが、本発明は、情報処理装置１００と、ディスプレイパネル１０８とが別体の装置として設けられる場合にも適用することができる。

情報処理装置１００は、例えば、パーソナルコンピュータ、オーディオプレイヤー、メディアプレイヤー、ＰＤＡ（personal digital assistant）、携帯電話などである。

制御部１０２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などが組み合わされて構成されるマイクロコンピュータなどを有する。制御部１０２は、プログラムによって演算処理装置及び制御装置として機能し、情報処理装置１００における上記各構成要素などを制御する。

また、制御部は、輝度値算出部、領域検出部、重心位置算出部、直線方向算出部、移動検出部、判断部等を有する。

輝度値算出部は、受光処理部１２２から受けた画像信号について、画素毎に輝度値を算出する。領域検出部は、輝度値を３値化処理し、３値化処理された輝度値に応じて、検出された対象について、第１の領域と、第１の領域と異なる第２の領域を検出する。重心位置算出部は、第１の領域及び第２の領域それぞれの重心の位置を算出する。

直線方向算出部は、重心位置算出部で算出された第１の領域の重心である第１の重心と、第２の領域の重心である第２の重心とを結ぶ直線の方向を算出する。移動検出部は、重心位置算出部で算出された第１の領域の重心である第１の重心と、第２の領域の重心である第２の重心の移動を検出する。判断部は、第１の領域を、表示部近傍の操作体が表示部の表示面に最も接近している領域と判断し、第２の領域を、操作体が表示部の表示面から第１の領域より離れている領域と判断する。

メモリ１０４は、例えば、ＲＡＭ、ＲＯＭ、キャッシュメモリなどの記憶部で構成されており、制御部１０２のＣＰＵの処理に関するデータ、ＣＰＵの動作プログラムなどを一時的に記憶する機能を有する。

画像信号処理部１０６は、受光処理部１２２で生成された画像信号に対して画像信号処理をする。画像信号処理部１０６は、画像信号について、表示部１１０の画素数に変換する解像度変換、輝度補正、色補正、ガンマ補正など各種所要の信号処理を実行する。

ディスプレイパネル１０８は、例えば表示部１１０と、受光センサー１２０などからなり、受光センサー１２０がユーザの指、手などの操作体を検知することで、ユーザの操作を受け付ける。本実施形態のディスプレイパネル１０８は、タッチパネルと異なり、画面上の接触は不要であり、画面への近接を検知することで、ユーザの操作を受け付ける。そして、ディスプレイパネル１０８は、ユーザの動作に応じて、画面に表示された項目を選択したり、画面のスクロール、拡大又は縮小表示など表示を変化させたりする。

表示部１１０は、例えば、液晶ディスプレイであり、表示駆動部１１２によって制御される。表示部１１０は、各種メニュー画面や、画像データによる画像を表示する。受光センサー１２０は、受光部の一例であり、外部から表示部１１０の表示面に入射する光を受光し、受光した光を電気信号に変換する。受光センサー１２０は、生成した電気信号を受光処理部１２２に送る。なお、受光センサー１１０と、制御部１０２の輝度値算出部との組み合わせは、接近値取得部の一例であり、接近値取得部は、操作体と表示部の表面との間の接触又は近接に関する接近値（本実施形態では輝度値）を取得する。

図２は、本実施形態に係るディスプレイパネル１０８の画素部分を示す説明図である。ディスプレイパネル１０８には、複数の画素セット１３０が例えばマトリクス状に配置される。そして、画素セット１３０には、発光素子である赤色表示画素１１０Ｒ、緑色表示画素１１０Ｇ、青色表示画素１１０Ｂと、受光センサー１２０が設けられる。１つの画素１３０セット内では、表示画素１１０Ｒ、１１０Ｇ、１１０Ｂと受光センサー１２０が隣接して配置される。なお、画素の配列は図２に示す例に限定されず、他の配列であってもよい。

本実施形態のディスプレイパネル１０８により、ユーザの指、手などの操作体が表示面に近接したとき、情報処理装置１００は操作体を検出することができる。

表示駆動部１１２は、表示制御部の一例であり、入力された画像信号を利用して表示部１１０を駆動する。表示駆動部１１２は、画像信号処理部１０６から受けた画像信号の表示処理をする。また、表示駆動部１１２は、表示データの合成処理をして、表示部１１０でユーザが視聴可能となるデータを生成する。表示駆動部１１２で生成されたデータは、表示部１１０に出力される。

受光処理部１２２は、受光センサー１２０から電気信号を受けて、アナログデジタル変換処理などを行い、画素毎の画像信号を生成する。これにより、画像信号処理部１０６で画像信号処理が可能となり、制御部１０２における画像信号に基づいた各演算を行うことができる。

次に、図３〜図６を参照して、本実施形態に係る情報処理装置１００の動作について説明する。図３は、本実施形態に係る情報処理装置１００の動作を示すフローチャートである。図４及び図５は、表示部１１０に表示された画像とユーザによる操作を示す説明図（Ａ）と、受光センサー１２０で検出され３値化処理された輝度値による領域を示す説明図（Ｂ）ある。図６は、輝度値（光強度）の分布を示すグラフである。図６（Ａ）は、図４（Ｂ）のＡ−Ａ線上の輝度値の分布を示し、図６（Ｂ）は、図４（Ｂ）のＢ−Ｂ線上の輝度値の分布を示す。

まず、情報処理装置１００は、画像データに基づいてユーザインタフェースとしてのディスプレイパネル１０８に画像やメニュー画面などの各種表示をする（ステップＳ１０１）。図４（Ａ）に示す例では、表示部１１０にダイヤル１４０が表示されている例を示す。

そして、ユーザによって、図４（Ａ）に示すように、指１０や手、スタイラス等が表示部１１０の画面に近接されると、受光センサー１２０が検出した光に基づいて、受光処理部１２２が受光処理をする（ステップＳ１０２）。画面上の操作対象（例えばダイヤル１４０や、後述する図７のボタン１７０など）をユーザが指示する場合、指１０や手、スタイラスの一端側が画面に近接し、他端側が一端側に比べて画面から離隔する状態となる。以下では、指１０の先端（指先）が最も画面に接近し、手のひら側の指１０が指先より画面から離れている場合について、説明する。

次に、制御部１０２は、受光処理部１２２で生成された画像信号の各画素の輝度値を算出し、輝度値を３値化処理する。３値化処理は、所定の閾値を２つ設定しておき、図６に示すような様々な分布を有している輝度値を閾値に応じて３つの値に集約する。なお、閾値は種々の条件に応じて設定可能である。

そして、ユーザが画面を指１０で指示している状況では、図４（Ｂ）に示すような輝度値の分布を得ることができる。領域１５２は、輝度値が強い領域であり、領域１５６は、輝度値が中間の領域である。輝度値が弱い領域は、領域１５２、領域１５６以外の領域である。領域１５２は、指１０の先端など最も操作体が画面に近接している領域であり、領域１５６は、指１０の先端より画面から離れた指１０に対応する領域である。

情報処理装置１００は、強い閾値を超える輝度値が検出されれば（ステップＳ１０３）、ユーザによる操作があり、画面への近接があったと判断できる。そして、引き続き、情報処理装置１００は、弱い閾値での近接を検出する（ステップＳ１０４）。弱い閾値での近接が検出されれば、ユーザが所定の方向から指１０等で画面を指示していると判断できる。

そして、重心位置算出部が、領域１５２、領域１５６それぞれの重心位置を算出する。図４（Ｂ）に示す重心位置１５４は、領域１５２の重心位置であり、重心位置１５８は、領域１５６の重心位置である。これらの重心位置１５４、１５８に基づいて、直線方向算出部は、重心位置１５４と重心位置１５８を結ぶ直線の方向を算出する（ステップＳ１０５）。例えば、直線方向算出部は、画面内に仮想的に設けられた座標軸における直線の角度を算出する。図４に示す例では、直線方向の角度は、表示部１１０の画面の上下方向に対してほぼ平行である。

次に、ユーザが指１０などを回転させた場合、領域１５２、領域１５６の分布位置が例えば図４から図５に示すように変化する。このときも、重心位置算出部が、領域１５２、領域１５６それぞれの重心位置を算出する。そして、直線方向算出部が、重心位置１５４と重心位置１５８を結ぶ直線の方向を算出する。図５に示す例では、直線方向の角度は、表示部１１０の画面の上下方向（又は水平方向）に対して傾斜している。

更に、移動検出部が、重心位置１５４と重心位置１５８の移動を検出する（ステップＳ１０６）。例えば、重心位置１５４と重心位置１５８を結ぶ直線の方向の変位を算出する。その結果、情報処理装置１００の表示駆動部１１２は、ユーザによる操作に応じて、画面に表示されたダイヤル１４０を変化させることができ、図５（Ａ）に示すようにダイヤル１４０の方向を変化させる表示処理をする（ステップＳ１０７）。

このように、図４及び図５に示す例では、画面上に配置されたダイヤルを指１０でひねるようにして回転させることができる。

上述したとおり、本実施形態は、受光センサー１２０が画素毎に配置された、非接触でも指１０等の画面への接近を検知できるディスプレイパネル１０８を用いる。そして、ディスプレイパネル１０８によれば、画面に対する指１０の操作を２次元のビットマップ画像として検出することができる。その後、取得した画像に対してノイズ除去などの画像処理をし、所定の２段階の閾値で３値化処理をしてクラスタリング（領域分け）をする。そして、領域毎の重心位置を算出することで、閾値が強い輝度値の領域について、操作体が画面に最も接近した領域であると判断し、閾値が弱い輝度値の領域について、操作体が画面から少し離れた領域であると判断する。そして、重心位置の時間変化を追跡することで、指１０の回転を検出することができる。

次に、本実施形態によって実現できる表示部に表示される画像に対するユーザ操作について説明する。図７〜図１０は、表示部１１０に表示された画像とユーザによる操作を示す説明図である。

図７に示す例では、表示部１１０にボタン１５０が表示されている例を示す。通常、ボタン１５０には、図７（Ａ）に示すようにボタン１５０の機能を示す文字１５２が配置される。そして、ユーザが画面に表示されたボタン１５０を押そうとすると、本実施形態の情報処理装置１００は、指１０の第１の領域、第２の領域を検出し、それぞれの重心位置を算出する。従って、指１０の指示角度が分かる。情報処理装置１００は、その結果から指１０の位置を推定でき、ユーザに対して、指１０によって文字１５２が隠れない角度に文字１５２を移動させることができる。

このように本実施形態によれば、ユーザが表示部１１０を触るとき、自身の指１０でボタン１５０上の文字を覆い隠してしまうという問題が発生しないため、ユーザに対してより使いやすい表示を実現することができる。

図８に示す例では、表示部１１０に写真等のオブジェクト１６０が表示されている例を示す。本実施形態によれば、図４及び図５を参照して説明したダイヤル１４０と同様に、指１０の回転を検出することができ、オブジェクト１６０を指１０の操作で回転させることができる。このようなオブジェクト１６０の回転といった動きは、従来の対象の移動（ドラッグ・アンド・ドロップ）等と同様に、ユーザが事前学習なしに直感的に行うことができる操作である。従って、ユーザは、オブジェクト１６０の位置を変える、あるいは回転するといった動作を非常に簡単に行うことができる。

図９に示す例では、表示部１１０にキーボード１７０が表示されている例を示す。キーボード１７０には、例えばＱＷＥＲＴＹ配列のキー１７２が複数配置されている。キー１７２には、図９（Ａ）に示すようにそれぞれのキーを示す文字が配置される。そして、ユーザが画面に表示されたキー１７２を押そうとすると、本実施形態の情報処理装置１００は、指１０の第１の領域、第２の領域を検出し、それぞれの重心位置を算出する。従って、指１０の指示角度が分かる。

そして、図７で説明した例のように、情報処理装置１００は、その結果から指１０の位置を推定でき、ユーザに対して、図９（Ａ）に示すように指１０によって文字が隠れない角度にキー１７４を移動させることができる。また、本実施形態によれば、図４及び図５を参照して説明したダイヤル１４０と同様に、指１０の回転を検出することができる。従って、表示部１１０にキーボード１７０を表示するアプリケーションにおいて、例えば指１０の回転が検出される前は、アルファベットの小文字１７６を打鍵でき、指１０の回転が検出されたとき大文字１７８を打鍵できる機能を持たせることができる。

図１０に示す例では、表示部１１０に任意のオブジェクト１８０が表示されている例を示す。本実施形態では、指１０の回転を検出することができることから、図８に示すようにオブジェクト１６０を表示させるアプリケーションにおいて、指１０の回転とオブジェクト１６０の回転を関連付けることができる。また、本実施形態はかかる例に限定されず、図１０に示すように、指１０の回転とオブジェクト１８０の拡大又は縮小表示を関連付けてもよい。指１０の回転が検出される前は図１０（Ａ）に示すように通常表示であり、指１０の回転が検出されたとき、図１０（Ｂ）に示すようにその回転角度に応じてオブジェクト１８０を拡大表示させてもよい。また、反対に回転角度に応じてオブジェクト１８０を縮小表示することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、接近値取得部の一例として、接近値取得部が、受光センサー１１０と、制御部１０２の輝度値算出部との組み合わせである例について説明したが、本発明はかかる例に限定されない。例えば、接近値取得部は、例えば、静電容量方式のタッチパネルであり、静電容量検出部と接近値算出部からなるとしてもよい。静電容量検出部は、ユーザの指（操作体）と表示部の表面との間の静電容量を検出する。接近値算出部は、検出した静電容量の変化を接近値として算出する。例えば、静電容量の変化に応じて、指と表示部の表面とが接触しているか否か、又はどの程度離隔しているかを算出できる。そして、算出した接近値をもとに、上述した実施形態と同様に、制御部１０２の領域算出部が、接近値を３値化処理して、第１の領域と第２の領域を算出する。

また、接近値取得部は、感圧式のタッチパネルでもよく、検出した圧力に応じて、接近値を算出してもよい。圧力の程度に応じて、接近値を３値化処理して、第１の領域と第２の領域を算出する。例えば、ユーザの指の画面に対する接触圧力に応じて、指の接触方向を知ることができる。

また、上記実施形態では、算出した第１の領域と第２の領域それぞれの重心を算出するとしたが、本発明はかかる例に限定されない。例えば、２つの領域を結ぶ方向を算出できる領域を代表する値であれば、重心以外でもよく、領域の一端から他端を結ぶ線分の中心などでもよい。

本発明の一実施形態に係る情報処理装置を示すブロック図である。 同実施形態に係るディスプレイパネルの画素部分を示す説明図である。 同実施形態に係る情報処理装置の動作を示すフローチャートである。 表示部に表示された画像とユーザによる操作を示す説明図（Ａ）と、受光センサーで検出され３値化処理された輝度値による領域を示す説明図（Ｂ）ある。 表示部に表示された画像とユーザによる操作を示す説明図（Ａ）と、受光センサーで検出され３値化処理された輝度値による領域を示す説明図（Ｂ）ある。 輝度値（光強度）の分布を示すグラフである。 表示部に表示された画像とユーザによる操作を示す説明図である。 表示部に表示された画像とユーザによる操作を示す説明図である。 表示部に表示された画像とユーザによる操作を示す説明図である。 表示部に表示された画像とユーザによる操作を示す説明図である。

符号の説明

１００ 情報処理装置
１０２ 制御部
１０４ メモリ
１０６ 画像信号処理部
１０８ ディスプレイパネル
１１０ 表示部
１１２ 表示駆動部
１２０ 受光センサー
１２２ 受光処理部

Claims (10)

1. 画像を表示部に表示する表示制御部と、
   操作体と前記表示部の表面との間の接触又は近接に関する接近値を取得する接近値取得部と、
   前記接近値を３値化処理し、前記３値化処理された接近値に応じて分けられた３つの領域のうちの第１の領域と、前記第１の領域と異なる第２の領域を検出する領域検出部と、
   前記第１の領域及び前記第２の領域それぞれの重心の位置を算出する重心位置算出部と
   を有し、
   前記表示制御部は、前記重心位置算出部により算出された前記重心の位置に基づいて、前記表示部に表示された画像を変化させる、情報処理装置。
2. 前記接近値取得部は、
   外部から前記表示部の表示面に入射する光を受光し、受光した前記光を電気信号に変換する受光部と、
   前記電気信号から画素毎の輝度値を前記接近値として算出する輝度値算出部と
   を有する、請求項１に記載の情報処理装置。
3. 前記接近値取得部は、
   前記操作体と前記表示部の表面との間の静電容量を検出する静電容量検出部と、
   前記静電容量の変化を前記接近値として算出する接近値算出部と
   を有する、請求項１に記載の情報処理装置。
4. 前記重心位置算出部で算出された前記第１の領域の重心である第１の重心と、前記第２の領域の重心である第２の重心とを結ぶ直線の方向を算出する直線方向算出部を有する、請求項１〜３のいずれかに記載の情報処理装置。
5. 前記重心位置算出部で算出された前記第１の領域の重心である第１の重心と、前記第２の領域の重心である第２の重心の移動を検出する移動検出部を有する、請求項１〜４のいずれかに記載の情報処理装置。
6. 前記第１の領域を、前記表示部近傍の操作体が前記表示部の表示面に最も接近している領域と判断し、前記第２の領域を、前記操作体が前記表示部の表示面から前記第１の領域より離れている領域と判断する判断部を有する、請求項１〜５のいずれかに記載の情報処理装置。
7. 前記表示制御部は、前記直線方向算出部で算出された前記直線の方向に基づいて、前記表示部に表示する画像を表示する、請求項４に記載の情報処理装置。
8. 前記表示制御部は、前記移動検出部で検出された前記第１の重心と前記第２の重心の移動に基づいて、前記表示部に表示する画像を表示する、請求項５に記載の情報処理装置。
9. 前記表示制御部は、前記判断部で判断された領域に基づいて、前記表示部に表示する画像を表示する、請求項６に記載の情報処理装置。
10. 表示制御部が画像を表示部に表示するステップと、
    接近値取得部が操作体と前記表示部の表面との間の接触又は近接に関する接近値を取得するステップと、
    領域検出部が前記接近値を３値化処理し、前記３値化処理された接近値に応じて分けられた３つの領域のうちの第１の領域と、前記第１の領域と異なる第２の領域を検出するステップと、
    重心位置算出部が前記第１の領域及び前記第２の領域それぞれの重心の位置を算出するステップと、
    前記表示制御部は、前記重心位置算出部により算出された前記重心の位置に基づいて、前記表示部に表示された画像を変化させるステップと
    を有する、情報処理方法。
    

Images