JP5424475B2 - 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器 - Google Patents

Description

本発明は、物体の接触や近接により情報入力を行う情報入力装置、情報入力方法、情報入力プログラム、情報入出力装置および電子機器に関する。
本発明は、

近年、指等を用いてディスプレイの表示画面に直接タッチすることにより、情報入力を行うことが可能なタッチパネルの開発が進んでいる。タッチパネルには、電極の接触位置を検知する接触式や、静電容量の変化を利用した静電容量式のほか、光学的に指等を検知する光学式のもの等がある。例えば、光学式のタッチパネルでは、画像表示光等を利用して表示画面に近接する物体を照らし、その物体において反射された光に基づいて、近接物体の有無や位置等の検出を行う（例えば、特許文献１参照）。

特開２００８−１４６１６５号公報

上記のようなタッチパネルでは、近接物体の位置情報を取得するために、近接物体からの反射光を受光素子によって受光した後、その受光信号に対し、所定の閾値を用いた２値化処理を施すことによって撮像画像を生成する。ところが、この手法では、近接物体が手のひらである場合、次のような理由により、その検出が困難となる。

即ち、指表面に比べ、手のひらの表面は面積が広くかつ凹凸が多いため、面内における反射率が均一ではない。そのため、手のひら全体ではなく、その局所的な部分のみが画像として検出され易い。このような手のひらの撮像画像は、指の撮像画像、特に複数本の指をパネルに近接させた場合の撮像画像と酷似しており、それらを見分けることは難しい。

他方、タッチパネルでは、入力対象が指の場合と手のひらの場合とによって、互いに異なる処理を実行させたいといったニーズや、指入力のみを処理実行の対象としたい（手のひらの場合は動作させたくない）といったニーズがある。このようなニーズに対し、上記のように手のひらの検出が困難であると、処理の誤動作を招いてしまう。従って、近接物体として指だけでなく手のひらの検出もできるようなタッチパネルの実現が望まれている。

本発明はかかる問題点に鑑みてなされたもので、その目的は、近接物体として指および手のひらの双方を検出することが可能な情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器を提供することにある。

本発明の情報入力装置は、近接物体から検出信号を取得するための入力パネルと、入力パネルにより得られた検出信号に対し、所定の閾値を用いた比較処理を施すことにより、近接物体に関する情報を検出する物体情報検出部とを備えたものである。物体情報検出部は、閾値として、入力パネルの表面近傍における物体を検出するための第１の閾値と、第１の閾値よりも低い第２の閾値とを用いる。尚、ここでいう「近接物体」とは、文字通り「近接」している物体には限られず、「接触」している物体をも含む意味である。

本発明の情報入力方法は、入力パネルにより得られた近接物体の検出信号に対し、入力パネルの表面近傍における物体を検出するための第１の閾値と、第１の閾値よりも低い第２の閾値とをそれぞれ用いた比較処理を施すことにより、近接物体に関する情報を検出するようにしたものである。

本発明の情報入出力装置は、近接物体から検出信号を取得すると共に、画像表示機能を有する入出力パネルと、入出力パネルにより得られた検出信号に対し所定の閾値を用いた比較処理を施すことにより、近接物体に関する情報を検出する物体情報検出部とを備えたものである。物体情報検出部は、閾値として、入出力パネルの表面近傍における物体を検出するための第１の閾値と、第１の閾値よりも低い第２の閾値とを用いるものである。

本発明の情報入力プログラムは、入力パネルにより得られた近接物体の検出信号に対し、入力パネルの表面近傍における物体を検出するための第１の閾値と、第１の閾値よりも低い第２の閾値とをそれぞれ用いた比較処理を施すことにより、近接物体に関する情報を検出するステップをコンピュータに実行させるようにしたものである。

本発明の電子機器は、上記本発明の情報入力装置を備えたものである。

本発明の情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器では、近接物体の検出信号に対し、パネル表面近傍における物体検出のための第１の閾値と、この第１の閾値よりも低い第２の閾値とをそれぞれ用いた比較処理が施され、これにより近接物体に関する情報が取得される。例えば、近接物体が指である場合、第１の閾値を用いた比較処理により、その近接の有無や位置等の情報が取得される。一方、この第１の閾値よりも低い第２の閾値を用いた比較処理により、近接物体が手のひらであるのか否か、即ち手のひらの近接の有無についての情報が取得される。

本発明の情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器によれば、近接物体の検出信号に対し、所定の閾値を用いた比較処理を施すことにより、近接物体に関する情報を取得する。この際、パネル表面近傍における物体検出のための第１の閾値と、この第１の閾値よりも低い第２の閾値とをそれぞれ用いた比較処理を施すようにしたので、指だけでなく手のひらの近接の有無をも検出することができる。よって、近接物体として指および手のひらの双方を検出可能となる

本発明の一実施の形態に係る情報入出力装置の構成を表すブロック図である。 図１の入出力パネルの構成をより詳細に表すブロック図である。 入出力パネルの一部を拡大した断面図である。 情報入出力装置による物体検出処理の一例を表す流れ図である。 比較例に係る物体検出処理の一例を表す流れ図である。 近接物体の各パターンにおける受光信号および２値化後の撮像画像（比較例）を表した図であり、（Ａ）は指（シングル）、（Ｂ）は手のひら、（Ｃ）は指（マルチ）を示す。 近接物体の各パターンにおける受光信号および２値化後の撮像画像（実施例）を表した図であり、（Ａ）は指（シングル）、（Ｂ）は手のひら、（Ｃ）は指（マルチ）を示す。 変形例１に係る物体検出処理を表す流れ図である。 変形例２に係る情報入出力装置の構成を表すブロック図である。 本発明の情報入出力装置の適用例１の外観を表す斜視図である。 （Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。 適用例３の外観を表す斜視図である。 適用例４の外観を表す斜視図である。 （Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
１．実施の形態（指検出用および手のひら検出用の２つの閾値を用いて物体検出を行う情報入力処理の例）
２．変形例１（物体情報検出処理の他の例）
３．変形例２（情報入力装置の他の例）
４．適用例１〜５（電子機器への適用例）

＜実施の形態＞
［情報入出力装置１の全体構成］
図１は、本発明の一実施の形態に係る情報入出力装置（情報入出力装置１）の概略構成を表すものである。図２は、ディスプレイ１０の詳細構成を表すものであり、図３は、入出力パネル１１の断面の一部を拡大して示したものである。情報入出力装置１は、例えば指やスタイラス等を用いて情報入力を行う、いわゆるタッチパネル機能を有する表示装置である。この情報入出力装置１は、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３および画像処理部１４を有しており、電子機器本体２０は、制御部２１を有している。尚、本発明の一実施の形態に係る情報入力方法および情報入力プログラムについては、本実施の形態の画像入出力装置１において具現化されるため、それらの説明を省略する。

（入出力パネル１１）
入出力パネル１１は、例えば図２に示したように、複数の画素１６がマトリクス状に配列されてなる液晶ディスプレイパネルであり、各画素１６は、表示要素１１ａ（表示セルＣＷ）および受光要素１１ｂ（受光セルＣＲ）を含んでいる。表示要素１１ａは、図示しないバックライトから出射された光を利用して、画像を表示するための液晶素子である。受光要素１１ｂは、受光した光を電気信号として出力する、例えばフォトダイオード等の受光素子であり、ここでは、パネルに近接する物体によって反射された後パネル内部へ戻ってきた反射光を受光して、受光信号（検出信号）を出力するようになっている。尚、各画素１６では、１つの表示セルＣＷに対応して１つの受光セルＣＲを設けられていてもよいし、複数の表示セルＣＷに対応して１つの受光セルＣＲが設けられていてもよい。

この入出力パネル１１は、複数の画素１６として、例えば次のような複数の表示受光セルＣＷＲを含んでいる。即ち、複数の表示受光セルＣＷＲは、図３に示したように、１対の透明基板３０Ａ，３０Ｂ間に液晶層３１が狭持されてなり、それぞれが隔壁３２によって互いに分離されている。各表示受光セルＣＷＲ内の一部に受光素子ＰＤが設けられており、この受光素子ＰＤに対応する領域が受光セルＣＲ（ＣＲ１，ＣＲ２，ＣＲ３，…））となっており、その他の領域が、表示セルＣＷ（ＣＷ１，ＣＷ２，ＣＷ３，…）となっている。尚、受光セルＣＲには、バックライトから出射された光ＬＢの入射を防止するために、透明基板３０Ａと受光素子ＰＤとの間に、遮光層３３が設けられている。これにより、各受光素子ＰＤでは、バックライト光ＬＢの影響を受けず、透明基板３０Ａの側から入射した光（近接物体からの反射光）のみが検出される。このような入出力パネル１１の前段には表示信号処理部１２、後段には受光信号処理部１３がそれぞれ接続されている。

（表示信号処理部１２）
表示信号処理部１２は、表示データに基づく画像表示動作および受光動作を行うように入出力パネル１１を駆動する回路であり、例えば、表示信号保持制御部４０、表示側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている（図２）。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を、例えばＳＲＡＭ（Static Random Access Memory）等のフィールドメモリに格納して保持すると共に、表示側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３の動作を制御するものである。具体的には、表示側スキャナ４１に表示タイミング制御信号、受光側スキャナ４３には受光タイミング制御信号をそれぞれ出力すると共に、表示信号ドライバ４２には、フィールドメモリに保持された表示信号に基づく１水平ライン分の表示信号を出力する。これにより、入出力パネルにおいて、線順次表示動作および受光動作が行われる。

表示側スキャナ４１は、表示信号保持制御部４０から出力される表示タイミング制御信号に応じて、駆動対象の表示セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された表示用ゲート線を介して表示用選択信号を供給し、表示素子選択スイッチを制御する。つまり、表示用選択信号によりある画素１６の表示素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の表示動作がなされるようになっている。

表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の表示セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して、前述の表示側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。

受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて、駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の表示側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある表示セルＣＷから表示光として出射させた光を、近接物体において反射させ、その反射光を受光セルＣＲにおいて受光、検出することが可能となる。このような受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、受光動作に寄与するブロックを制御する機能も有する。尚、本実施の形態では、前述の表示用ゲート線および受光用ゲート線はそれぞれ各表示受光セルＣＷＲに対して別個に接続され、表示側スキャナ４１および受光側スキャナ４３は互いに独立して動作可能となっている。

（受光信号処理部１３）
受光信号処理部１３は、受光要素１１ｂからの受光信号を取り込み、信号の増幅やフィルタ処理等を行うものであり、例えば、受光信号レシーバ４５および受光信号保持部４６を備えている（図２）。

受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。

受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を、例えばＳＲＡＭ等のフィールドメモリに格納、保持するものである。受光信号保持部４６に格納された受光信号のデータは、画像処理部１４へ出力される。尚、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。

（画像処理部１４）
画像処理部１４は、受光信号処理部１３の後段に接続されており、受光信号処理部１３から撮像画像を取り込んで２値化や孤立点除去、ラベリング等の処理を行い、近接物体に関する情報（物体情報）を検出する回路である。物体情報としては、詳細は後述するが、近接物体が手のひらであるのか否かについての情報や、近接物体の位置情報等を含んでいる。

（電子機器本体２０）
電子機器本体２０は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から上記物体情報が入力されるようになっている。この電子機器本体２０には、例えばＣＰＵ（Central Processing Unit）等によりなる制御部２１が設けられている。制御部２１は、表示データを生成したり、入力された物体情報に基づいて表示画像を変化させたりするようになっている。

［情報入出力装置１の作用・効果］
（１．画像表示動作、受光動作）
電子機器本体２０から出力された表示データが、表示信号処理部１２に入力されると、表示信号処理部１２は、その表示データに基づいて入出力パネル１１を表示駆動および受光駆動する。これにより、入出力パネル１１では、バックライト（図示せず）からの出射光を用いた表示要素１１ａ（表示セルＣＷ）による画像表示が行われる。また一方で、入出力パネル１１では、受光要素１１ｂ（受光セルＣＲ）が駆動されて受光が行われる。

このように画像表示動作および受光動作がなされている状態で、入出力パネル１１の表示画面（入力画面）に、指等の物体が接触または近接すると、各表示要素１１ａから画像表示のために出射された光の一部が、近接物体の表面において反射される。反射された光は、入出力パネル１１の内部へ取り込まれ、受光要素１１ｂにおいて受光される。これにより、受光要素１１ｂから近接物体の受光信号が出力される。その受光信号に対し、受光信号処理部１３は、増幅等の処理を行うことにより受光信号を処理し、撮像画像を生成する。生成された撮像画像は、撮像画像データＤ０として画像処理部１４へ出力される。

（２．物体情報検出処理）
図４は、画像処理部１４における画像処理（物体情報検出処理）全体の流れを表すものである。画像処理部１４は、受光信号処理部１３から撮像画像データＤ０を取得し（ステップＳ１０）、この撮像画像データＤ０に対し、所定の閾値を用いた比較処理（２値化処理等）を経て、物体情報を検出する。本実施の形態では、画像処理部１４が、上記閾値として予め設定された２つの閾値Ｓｆ，Ｓｈを記憶しており、これらのうち閾値Ｓｆ（第１の閾値）を用いて指等の検出点に関する情報（点情報）、閾値Ｓｈ（第２の閾値）を用いて手のひら情報をそれぞれ取得する。ここで、点情報とは、近接物体として主に指やスタイラス等を想定した場合における近接物体の接触の有無、位置座標、面積等に関する情報である。手のひら情報とは、近接物体が手のひらであるか否かについての判定結果であり、具体的には「手のひらである」または「手のひらではない」のどちらかを示すものである。以下、点情報または手のひら情報を取得するための各ステップの一例について、比較例と比較しつつ説明する。

（比較例）
図５は、比較例に係る画像処理（物体情報検出処理）全体の流れを表すものである。比較例では、画像処理部（図示せず）が、近接物体の撮像画像データを取得し（ステップＳ１０１）、この撮像画像データに対し閾値Ｓ₁₀₀を用いた２値化処理を施す（ステップＳ１０２）。続いて、孤立点除去処理（ステップＳ１０３）およびラベリング処理（ステップＳ１０４）を順次実行することにより、物体情報を検出する。即ち、比較例においては、２値化閾値として予め設定された１つの閾値Ｓ₁₀₀のみが記憶されており、物体検出時には一義的にその閾値Ｓ₁₀₀を用いる。この閾値Ｓ₁₀₀は、例えば入力画面近傍において物体を検出できるように設定された閾値である。

ここで、図６（Ａ）〜（Ｃ）に、近接物体の各パターンにおける撮像画像データおよび２値化後の撮像画像を示す。近接物体のパターンとしては、指１本（シングル）の場合（図６（Ａ））、手のひらの場合（図６（Ｂ））および指複数本（マルチ：ここでは３本）の場合（図６（Ｃ））を想定するものとする。

図６（Ａ）に示したように、近接物体が１本の指（例えば人指し指）である場合には、例えば撮像画像データＤｓ０が取得される。この撮像画像データＤｓ０に対し、閾値Ｓ₁₀₀を用いた２値化処理を施すと、指の接触部分の画像として、領域１０１ｓ（後述の「１」の集合領域に相当）を１つ有する撮像画像Ｄｓ１０１が生成される。従って、検出対象が１本の指である場合には、その領域１０１ｓを検出点として、所望の点情報を取得することができる。

一方、図６（Ｂ）に示したように、近接物体が手のひらである場合には、例えば撮像画像データＤｈ０が取得される。ところが、手のひらの表面は面積が広くかつ凹凸が多いため、検出面内における反射率が均一とならない。従って、撮像画像データＤｈ０では、面内の位置によって信号強度にむらが生じる（複数の強度ピークが生じる）。このような撮像画像データＤｈ０に対し、上記と同じ閾値Ｓ₁₀₀を用いた２値化処理を施すと、撮像画像データＤｈ０における信号強度むらに対応して複数（ここでは３つ）の領域１０１ｈ（後述の「１」の集合領域に相当）を有する撮像画像Ｄｈ１０１が生成される。即ち、手のひら全体ではなく、その局所的な部分のみが画像として検出されてしまう。

他方、図６（Ｃ）に示したように、近接物体が３本の指（例えば人指し指、中指、薬指）である場合には、例えば撮像画像データＤｍ０が取得される。この撮像画像データＤｍ０に対し、閾値Ｓ₁₀₀を用いた２値化処理を施すと、各指の接触部分の画像として、領域１０１ｍ（後述の「１」の集合領域に対応）を３つ有する撮像画像Ｄｓ１０１が生成される。

つまり、近接物体が手のひらである場合と、複数本の指である場合とにおける２値化処理後の撮像画像Ｄｈ１０１，Ｄｍ１０１は酷似しており（図６（Ｂ），（Ｃ））、それらを精確に判別することは難しい。このため、検出対象が指の場合と手のひらの場合とによって、互いに異なる処理を実行させる場合や、指のみを処理実行の対象とする（手のひらの場合は処理を実行させない）場合等に、処理の誤動作を招くこととなる。特に、入出力パネル１１において、複数本の指を用いて情報入力を行う、いわゆるマルチタッチ方式を採用する場合には、手のひらの接触や近接による誤動作を防止することは極めて困難である。

これに対し、本実施の形態では、上述のように２値化処理等の比較処理において、２つの閾値Ｓｆ，Ｓｈを用い、以下に説明するように、点情報および手のひら情報を取得する。

（２−１．点情報の取得：ステップＳ１１〜Ｓ１５）
点情報取得のために用いる閾値Ｓｆは、上記比較例における閾値Ｓ₁₀₀と同様、入出力パネル１１の表面（入力画面）近傍において指やスタイラス等の物体を検出できるように設定された閾値、換言すると、物体の近接等を検出できるように設定された閾値である。点情報を取得する際には、閾値Ｓｆ，Ｓｈのうち閾値Ｓｆを選択し（または切り替え）（ステップＳ１１）、撮像画像データＤ０に対して、閾値Ｓｆを用いた２値化処理を施す（ステップＳ１２）。即ち、撮像画像データＤ０を構成する画素毎の信号値をそれぞれ閾値Ｓｆと比較し、例えば閾値Ｓｆ以下であれば「０（ゼロ）」、閾値Ｓｆ以上であれば「１」に設定する。これにより、近接物体において反射された光を受光した部分が「１」、他の部分が「０」となる。

続いて、画像処理部１４は、上記のような２値化後の撮像画像から、孤立点（ノイズ）を除去する（ステップＳ１３）。即ち、近接物体がある場合の２値化後の撮像画像では、「１」に設定された部分の集合領域（近接物体に相当）が形成されることになるが、その「１」の集合領域から孤立して「１」に設定された部分がある場合には、この孤立部分を除去する処理を行う。

この後、画像処理部１４は、孤立点除去後の撮像画像に対し、ラベリング処理を施す（ステップＳ１４）。即ち、撮像画像のうち「１」の集合領域に対してラベリング処理を行い、そのラベリング処理後の「１」の集合領域を近接物体の検出点（検出領域）とする。この検出点における位置座標や面積等を算出することにより、近接物体の点情報を取得する（ステップＳ１５）。

（２−２．手のひら情報の取得：ステップＳ１６〜Ｓ２０）
手のひら情報を取得するために使用する閾値Ｓｈは、点情報を取得するために使用する閾値Ｓｆよりも低い値に設定されている。換言すると、閾値Ｓｈは、上記点情報を検出する際の高さよりも、より高い位置（パネル表面からより離れた位置）で物体検出が可能となるように設定された閾値である。手のひら情報を取得する際には、閾値Ｓｆ，Ｓｈのうち閾値Ｓｈを選択し（または切り替え）（ステップＳ１６）、撮像画像データＤ０において、選択した閾値Ｓｈを用いた比較処理を行う。即ち、撮像画像データＤ０を構成する画素毎の信号値をそれぞれ閾値Ｓｈと比較し、閾値Ｓｈ以上となる画素数をカウントする（ステップＳ１７）。

続いて、画像処理部１４は、閾値Ｓｈ以上となる画素数の全画素数に対する比率を算出する（ステップＳ１８）。そして、算出した比率に基づいて、近接物体が手のひらであるか否かの判定を行う（ステップＳ１９）。具体的には、入出力パネル１１における全画素数をＡ、閾値Ｓｈ以上を示した画素の数をＢとして「（Ｂ／Ａ）×１００」で表される比率（％）を算出し、この比率が所定の閾値（％）以上となる場合には、近接物体が「手のひらである」と判定する。逆に、上記比率が所定の閾値未満となる場合には、近接物体が「手のひらではない」と判定する。即ち、そのような判定結果を含む手のひら情報を取得する（ステップＳ２０）。尚、手のひら判定に使用する上記閾値は、入出力パネル１１における有効画素領域のサイズ（全画素数）に応じて設定すればよい。例えば、電子機器本体２０が、ディスプレイサイズの比較的小さい携帯電話機等である場合には、閾値を例えば４０〜１００％程度の値に設定すればよい。

ここで、図７（Ａ）〜（Ｃ）に、本実施の形態における近接物体のパターン毎の撮像画像データおよび２値化処理後の撮像画像（以下、２値化画像という）を示す。近接物体のパターンとしては、上記比較例と同様、指１本（シングル）の場合（図７（Ａ））、手のひらの場合（図７（Ｂ））および指複数本（マルチ：ここでは３本）の場合（図７（Ｃ））を想定している。尚、上述の手のひら情報取得ステップでは、２値化画像を生成せずに、撮像画像データＤ０から直接画素数の比率を算出したが、図７（Ａ）〜（Ｃ）では、比較のため閾値Ｓｈを用いた場合の２値化画像を示している。

（点情報を取得する場合（閾値Ｓｆ））
まず、近接物体の点情報を取得するために、閾値Ｓｆを選択した場合の２値化画像（撮像画像Ｄｓ１，Ｄｍ１）について説明する。近接物体が指１本の場合の撮像画像Ｄｓ１では、例えば領域１ｓ（「１」の集合領域に相当）が１つ検出され（図７（Ａ））、近接物体が指３本の場合の撮像画像Ｄｍ１では、例えば領域１ｍ（「１」の集合領域に相当）が３つ検出される（図７（Ｃ））。従って、孤立点除去処理およびラベリング処理の後、各領域１ｓ，１ｍを検出点として、所望の点情報を取得することができる。尚、撮像画像Ｄｈ１には、閾値Ｓｆを用いた場合に検出される領域１ｈについても示している。

（手のひら情報を取得する場合（閾値Ｓｈ））
一方、近接物体の手のひら情報を取得するために、閾値Ｓｆよりも低い閾値Ｓｈを選択した場合の２値化画像（撮像画像Ｄｓ１，Ｄｈ１，Ｄｍ１）について説明する。即ち、近接物体が指１本である場合の撮像画像Ｄｓ１では、例えば領域２ｓが１つ検出され（図７（Ａ））、近接物体が指３本である場合の撮像画像Ｄｍ１では、例えば領域２ｍが３つ検出される（図７（Ｃ））。他方、近接物体が手のひらである場合の撮像画像Ｄｈ１では、手のひら全体に対応する領域２ｈが１つ検出される（図７（Ｂ））。そして、各パターンにおいて検出された領域２ｓ，２ｈ，２ｍに対応する画素の数をカウントし、その画素数のパネル全画素数に対する比率を算出する。これらの比率をそれぞれ所定の閾値と比較することにより、領域２ｈを含む撮像画像Ｄｈ１では「手のひらである」と判定され、領域２ｆ，２ｍを含む撮像画像Ｄｓ１，Ｄｍ１では「手のひらではない」と判定される。即ち、閾値Ｓｆよりも低い閾値Ｓｈを用いて算出した各比率（２値化画像における「１」の集合領域）は、近接物体が手のひらである場合には相対的に大きく、指である場合には相対的に小さくなるため、近接物体が手のひらであるのか否かを判定することができる。

尚、上述した点情報取得ステップ（Ｓ１１〜Ｓ１５）および手のひら情報取得ステップ（Ｓ１６〜Ｓ２０）は、ユーザ（外部入力命令）によりどちらか一方を選択的に実行できるようにしてもよいし、両者のステップを互いに並行して実行するようにしてもよい。例えば、前者の場合には、まず点情報の検出モードおよび手のひら情報の検出モードのどちらのモードかを外部入力命令等により決定し、その決定に基づいて、各モードに対応する上記ステップを実行すればよい。一方、後者の場合には、同一の撮像画像データＤ０（あるフィールドにおける撮像画像データ）に対し、点情報取得ステップおよび手のひら情報取得ステップの双方を並行して実行し、点情報および手のひら情報の両方を物体情報として取得することができる。

上記のようにして、画像処理部１４は、入力された撮像画像データＤ０に基づき、近接物体の物体情報として点情報および手のひら情報のうちの一方または両方を取得し、取得した物体情報を電子機器本体２０へ出力する。電子機器本体２０では、その物体情報に基づいて、制御部２１が表示データを生成し、例えば入出力パネル１１に表示されている現画像が変化するように、入出力パネル１１の表示駆動を行う。

以上のように本実施の形態では、近接物体の撮像画像データＤ０に対し、パネル表面近傍における物体を検出するための閾値Ｓｆと、この閾値Ｓｆよりも低い閾値Ｓｈとをそれぞれ用いた比較処理が施される。例えば、近接物体が指である場合、閾値Ｓｆを用いた２値化処理により、その近接（接触）の有無や位置座標等に関する点情報を取得することができる。一方、上記閾値Ｓｆよりも低い閾値Ｓｈを用いた比較処理（検出領域の比率の算出）により、近接物体が手のひらであるのか否か、即ち手のひらの近接（接触）の有無に関する手のひら情報を取得することができる。よって、近接物体として指および手のひらの双方を検出可能となる。

また、これにより、入出力パネル１１において、例えば指やスタイラスのみを情報入力（処理実行）の対象とする場合等に、手のひらの接触や近接等による処理の誤動作を防ぐことができる。これは特に、入出力パネル１１において、複数本の指を用いて情報入力を行う、いわゆるマルチタッチ方式を採用する場合に有効である。

尚、上記実施の形態では、手のひら情報取得ステップ（Ｓ１６〜Ｓ２０）において、取得した撮像画像データＤ０から直接比率を算出して、手のひらの近接の有無を判定する場合について説明したが、これに限定されず、上記点情報取得ステップと同様に、閾値Ｓｈを用いた２値化処理を行うようにしてもよい。これにより、手のひらの検出点（検出領域）が得られ、手のひらの近接の有無だけでなく、その位置情報や面積情報についても取得することができる。このように、指だけでなく、手のひらの点情報をも取得することにより、入力画面に指を近接させる場合と手のひらを近接させる場合とによって、互いに異なる処理を実行させることもできるようになる。

次に、本発明の変形例（変形例１〜４）について説明する。以下では、上記実施の形態の情報入出力装置１と同様の構成要素については、同一の符号を付し、適宜説明を省略する。

＜変形例１＞
図８は、変形例１に係る画像処理部の画像処理（物体情報検出処理）全体の流れを表したものである。本変形例の画像処理部は、上記実施の形態の画像処理部１４と同様、情報入出力装置１におけるディスプレイ１０内に設けられ、受光信号処理部１３から撮像画像データＤ０を取得して物体情報を検出し、検出した物体情報を電子機器本体２０へ出力するものである。また、物体検出の際の閾値としては２つの閾値Ｓｆ，Ｓｈを記憶しており、これらのうち閾値Ｓｆを指等の点情報を取得するために用い、閾値Ｓｈを手のひら情報を取得するために用いる。

但し、本変形例では、手のひら情報と点情報とを外部入力命令等により選択的に取得する、あるいは並行して取得する上記実施の形態と異なり、手のひら判定の後に点情報を取得する流れとなる。

具体的には、本変形例の画像処理部は、（受光信号処理部１３から）撮像画像データＤ０を取得する（ステップＳ１０）と、まず、この撮像画像データＤ０に対し、２つの閾値Ｓｆ，Ｓｈのうちの閾値Ｓｈを選択する（ステップＳ２１）。そして、上述のステップＳ１７と同様の手順により、閾値Ｓｈを用いた比較処理を行い、閾値Ｓｈ以上を示す画素数をカウントする（ステップＳ２２）。続いて、上述のステップＳ１８と同様の手順により、比率を算出する（ステップＳ２３）。但し、本変形例では、このようにして得られた比率に基づいて、近接物体が手のひらであるか否かの判定を行い（ステップＳ２４）、「手のひらである」場合（ステップＳ２４のＮ）には、処理を終了する。一方、近接物体が「手のひらでない」場合（ステップＳ２４のＹ）には、次のステップＳ２５へ移行する。

続くステップＳ２５では、閾値ｓｈから閾値Ｓｆへの切り替えを行う。そして、上述のステップＳ１２〜Ｓ１５と同様の手順により、閾値Ｓｆを用いた２値化処理（ステップＳ２６）、孤立点除去処理（ステップＳ２７）、ラベリング処理（ステップＳ２８）を順次行い、近接物体の点情報を取得する（ステップＳ２９）。

このように、本変形例では、取得した撮像画像データＤ０に対し、まず閾値Ｓｈを用いた比較処理（比率の算出）により、近接物体が手のひらであるか否かについて判定（手のひら情報を取得）し、その結果が手のひらでなかった場合に、閾値Ｓｆを用いた２値化処理を行い、点情報を取得する。即ち、近接物体のパターン（指やスタイラスであるか、手のひらであるか）に関わらず、手のひらによる情報入力を排除して、指やスタイラスについての点情報のみを得ることができる。よって、上記実施の形態と同等の効果を得ることができる共に、入出力パネル１１において、例えば指やスタイラスのみを情報入力（処理実行）の対象とする場合等に、手のひらの近接等による処理の誤動作を、より確実に防止することができる。

＜変形例２＞
図９は、変形例２に係る情報入出力装置２のブロック構成を表したものである。情報入出力装置２は、上記実施の形態の情報入出力装置１と同様、ディスプレイ１０と電子機器本体２０とを備えたものであるが、ディスプレイ１０には表示信号処理部１２、入出力パネル１１および受光信号処理部１３が設けられている。電子機器本体２０には、制御部２１および画像処理部１４が設けられている。即ち、本変形例では、画像処理部１４が、ディスプレイ１０ではなく、電子機器本体２０に設けられている。このように、画像処理部１４は、電子機器本体２０に設けられていてもよく、このような場合であっても、上記実施の形態の情報入出力装置１と同等の効果を得ることができる。

＜適用例＞
次に、図１０〜図１４を参照して、上記実施の形態および変形例で説明した情報入出力装置の適用例について説明する。上記実施の形態等の情報入出力装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなどのあらゆる分野の電子機器に適用することが可能である。言い換えると、上記実施の形態等の情報入出力装置は、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。

（適用例１）
図１０は、テレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例２）
図１１は、デジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例３）
図１２は、ノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例４）
図１３は、ビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有している。そして、その表示部５４４は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例５）
図１４は、携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態等に係る情報入出力装置により構成されている。

以上、いくつかの実施の形態、変形例および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されず、種々の変形が可能である。例えば、上記実施の形態等では、物体の検出方式として、入出力パネル１１に設けた受光要素１１ｂにより、近接物体からの反射光を利用して検出を行う光学式を例に挙げて説明したが、他の検出方式、例えば接触式や静電容量式等を利用することも可能である。

また、上記実施の形態等では、制御部２１が電子機器本体２０内に設けられている場合について説明したが、制御部２１をディスプレイ１０内に設けるようにしてもよい。

更に、上記実施の形態等では、表示機能と検出機能（受光機能）とが一体化された入出力パネルを備えた情報入出力装置を例に挙げて説明したが、本発明はこれに限らず、例えば表示装置にタッチセンサが外付けされてなる情報入出力装置にも適用可能である。

加えて、上記実施の形態等では、入出力パネルとして、液晶ディスプレイパネルを用いた場合を例に挙げたが、これに限定されず、有機エレクトロルミネッセンス（ＥＬ）パネル等であってもよい。入出力パネルとして有機ＥＬパネルを用いる場合には、例えば基板上に、表示要素としての複数の有機ＥＬ素子を設けると共に、受光要素としてのフォトダイオードを各有機ＥＬ素子毎に配置するか、あるいは２以上の有機ＥＬ素子に対して１つ配置すればよい。また、この有機ＥＬ素子は、順方向バイアス電圧の印加によって発光する一方、逆方向バイアス電圧の印加によって受光し電流を発生するという性質を有している。従って、そのような有機ＥＬ素子特有の性質を利用すれば、フォトダイオードのような受光素子を別途設けなくとも、表示機能と検出機能とを一体化してなる入出力パネルを実現することができる。

また、上記実施の形態等では、表示機能および検出機能（表示要素および受光要素）を有する入出力パネルを備えた情報入出力装置を例に挙げて本発明を説明したが、本発明は、必ずしも表示機能（表示要素）を有していなくともよい。即ち、検出機能（受光要素）のみを有する入力パネルを備えた情報入力装置（撮像装置）にも適用可能である。また、そのような入力パネルと、表示機能を有する出力パネル（表示パネル）とを、別々に設けるようにしてもよい。

更に、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。

１，２…情報入出力装置、１０…ディスプレイ、１１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１２…表示信号処理部、１３…受光信号処理部、１４…画像処理部、１６…画素、２０…電子機器本体、２１…制御部、ＣＷＲ…表示受光セル、ＣＷ…表示セル、ＣＲ…受光セル。

Claims (10)

1. 近接物体から検出信号を取得するための複数の検出素子を有する入力パネルと、
   前記入力パネルにより得られた検出信号に対し、所定の閾値を用いた比較処理を施すことにより、近接物体に関する情報を検出する物体情報検出部とを備え、
   前記物体情報検出部は、前記閾値として、前記入力パネルの表面近傍における物体を検出するための指検出用の第１の閾値と、前記第１の閾値よりも低い手のひら検出用の第２の閾値とを用い、前記第２の閾値を用いた比較処理の際に、前記入力パネルにおける全検出素子に対する、前記第２の閾値よりも大きな信号値を取得した検出素子の比率を求め、
   前記比率に基づいて、近接物体が手のひらであるか否かを判定する
   情報入力装置。
2. 前記近接物体による情報入力に基づいて所定の処理動作を実行する場合において、
   前記物体情報検出部が近接物体を手のひらであると判定した場合には、前記処理動作を実行しないようにする
   請求項１に記載の情報入力装置。
3. 前記物体情報検出部は、
   前記第１および第２の閾値を用いた比較処理をそれぞれ並行して行い、
   前記第１の閾値を用いた比較処理の際に、前記第１の閾値を用いて前記検出信号を２値化することにより２値化画像を生成し、
   前記２値化画像に基づいて、近接物体の位置情報を取得する
   請求項１または２に記載の情報入力装置。
4. 前記物体情報検出部は、
   前記第２の閾値を用いた比較処理において近接物体が手のひらでないと判定した場合に、前記第１の閾値を用いた比較処理を行い、
   前記第１の閾値を用いた比較処理の際に、前記第１の閾値を用いて前記検出信号を２値化することにより２値化画像を生成し、前記２値化画像に基づいて近接物体の位置を検出する
   請求項１または２に記載の情報入力装置。
5. 前記検出信号は、近接物体で反射された光に基づく受光信号である
   請求項１に記載の情報入力装置。
6. 複数の検出素子を有する入力パネルにより得られた近接物体の検出信号に対し、前記入力パネルの表面近傍における物体を検出するための指検出用の第１の閾値と、前記第１の閾値よりも低い手のひら検出用の第２の閾値とをそれぞれ用いた比較処理を施し、前記第２の閾値を用いた比較処理の際に、前記入力パネルにおける全検出素子に対する、前記第２の閾値よりも大きな信号値を取得した検出素子の比率を求め、
   前記比率に基づいて、前記近接物体が手のひらであるか否かを判定する
   情報入力方法。
7. 近接物体から検出信号を取得するための複数の検出素子を有すると共に、画像表示機能を有する入出力パネルと、
   前記入出力パネルにより得られた検出信号に対し、所定の閾値を用いた比較処理を施すことにより、近接物体に関する情報を検出する物体情報検出部とを備え、
   前記物体情報検出部は、前記閾値として、前記入出力パネルの表面近傍における物体を検出するための指検出用の第１の閾値と、前記第１の閾値よりも低い手のひら検出用の第２の閾値とを用い、
   前記第２の閾値を用いた比較処理の際に、前記入力パネルにおける全検出素子に対する、前記第２の閾値よりも大きな信号値を取得した検出素子の比率を求め、
   前記比率に基づいて、前記近接物体が手のひらであるか否かを判定する
   情報入出力装置。
8. 前記入出力パネルは、
   画像データに基づいて画像を表示する複数の表示要素と、
   近接物体で反射された光を受光する複数の受光要素とを有するものである
   請求項７に記載の情報入出力装置。
9. 複数の検出素子を有する入力パネルにより得られた近接物体の検出信号を取得するステップと、
   前記検出信号に対し、前記入力パネルの表面近傍における物体を検出するための指検出用の第１の閾値と、前記第１の閾値よりも低い手のひら検出用の第２の閾値とをそれぞれ用いた比較処理を施し、前記第２の閾値を用いた比較処理の際に、前記入力パネルにおける全検出素子に対する、前記第２の閾値よりも大きな信号値を取得した検出素子の比率を求め、
   前記比率に基づいて、近接物体が手のひらであるか否かを判定することにより、近接物体に関する情報を検出するステップと
   をコンピュータに実行させる情報入力プログラム。
10. 近接物体から検出信号を取得するための複数の検出素子を有する入力パネルと、
    前記入力パネルにより得られた検出信号に対し、所定の閾値を用いた比較処理を施すことにより、近接物体に関する情報を検出する物体情報検出部とを備え、
    前記物体情報検出部は、前記閾値として、前記入力パネルの表面近傍における物体を検出するための指検出用の第１の閾値と、前記第１の閾値よりも低い手のひら検出用の第２の閾値とを用い、
    前記第２の閾値を用いた比較処理の際に、前記入力パネルにおける全検出素子に対する、前記第２の閾値よりも大きな信号値を取得した検出素子の比率を求め、
    前記比率に基づいて、前記近接物体が手のひらであるか否かを判定する
    情報入力装置を備えた電子機器。

Images