WO2006013783A1

WO2006013783A1 - 入力装置

Info

Publication number: WO2006013783A1
Application number: PCT/JP2005/013866
Authority: WO
Inventors: Atsushi Yamashita; Atsushi Iisaka; Takuya Hirai
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-08-04
Filing date: 2005-07-28
Publication date: 2006-02-09

Abstract

　ユーザーの手元に操作用のタッチパッド（４）が設置され、タッチパッド（４）の上方にはカメラ（１）が設置される。ディスプレー（２）には、ユーザーが所望の命令や情報を入力するための１つ以上のＧＵＩ部品（３）が表示される。ユーザーがＧＵＩ部品（３）を選択するためにタッチパッド（４）上に手（６）を移動させると、タッチパッド（４）を背景とした手（６）の画像がカメラ（１）によって撮像される。カメラ（１）から出力された画像データから、形状補正処理を経て手画像（７）が作成され、ディスプレー（２）に表示される。ユーザーは、ディスプレー（２）に表示された手画像（７）を見ながら、手画像（７）の指先が所望のＧＵＩ部品（３）上に来るように手（６）を移動させてからタッチパッド（４）を押す。

Description

入力装置

技術分野

[0001] 本発明は、ユーザーが機器に対して命令や情報を入力するための入力装置に関し

、より特定的には、ディスプレー等に表示された情報をもとにユーザーが手などの身体を用いて命令や情報を入力することのできる入力装置に関する。

背景技術

[0002] 従来、ディスプレー等の表示画面に表示された情報をもとにユーザーが指などを用いて命令や情報を入力する入力装置として、タツチパネルディスプレーがある。タツチパネルディスプレーは、ディスプレーの表示画面上にタツチパネルを設けた構成である。画面に表示される GUI (Graphical User Interface)には、メニューやボタンスイッチに代表される表示部品（以下では、 GUI部品と呼ぶ）が含まれる。ユーザーは、画面上で所望の GUI部品に触れることによって、その GUI部品に関連付けられた命令や情報を入力することができる。このように、タツチパネルディスプレーを利用すれば、簡単かつ直感的に命令や情報を入力することができるため、入力操作に不慣れな者にも分力りやすい入力インターフェースを実現できる。そのため、タツチパネルディスプレーは、銀行の ATM (Automated Teller Machine)やカーナビゲーシヨン装置などに広く採用されている。

[0003] しかしながら、タツチパネルディスプレーは、表示画面に直接触れることによって入力を行うため、表示画面の設置位置に関して一種のジレンマが生じる。

[0004] ユーザーが指でタツチパネルディスプレーに触れるためには表示画面を身体の近くに置かなければならない。人間工学では、 VDT (Video Display Terminal)の操作などに関する入力インターフェースの最適な配置条件が定められており、身体力半径 50cm以内がよ!、とされて!/、る。

[0005] 一方で、表示画面はなるべく遠くに設置した方がよ!、場合がある。その一例が、家庭に設置される大型テレビや、車内に設置されるカーナビゲーシヨン装置である。テレビを 30cm程度の近距離で見ることは、目にとつて良くない。また、車の運転中に用いるカーナビゲーシヨン装置では、運転者が目の焦点距離を調節するのにかかる時間が、運転に対する注意の妨げになることが報告されている。つまり、運転中の焦点距離 (数 m先)とカーナビゲーシヨン装置の表示画面を見るときの焦点距離との差はより小さい方がより安全である。ところで、表示画面を見るときの焦点距離を離すことのできる表示装置として、レンズや鏡を用いた HUD (Head Up Display)に代表される遠焦点ディスプレーが存在するが、この遠焦点ディスプレーではユーザーが表示画面に触れることができないため、タツチパネルを適用することができない。

[0006] さらに、タツチパネルディスプレーは、ユーザーの入力操作によって表示画面に指紋がっくため表示の視認性が悪ィ匕するという本質的な問題も抱えている。

[0007] 一方、タツチパネルディスプレーのようにユーザーが表示画面に触れるのではなぐ表示画面から離れた場所にある操作部を利用して入力を行うことのできる入力インタ一フェースとして、タツチトレーサーや、 PC (Personal Computer)の入力装置として一般的に利用されているタブレットなどがある（例えば、特許文献 1参照)。これらの入力インターフェースでは、表示画面に矢印などの形状のカーソルが表示され、ユーザ一が指またはペンを操作部に設けられた所定の操作面に接触させた状態で移動させると、その動きに対応して画面上のカーソルが移動する。ユーザーは、カーソルが所望の GUI部品上に移動したことを確認して力所定の確定動作 (例えばクリック操作)を行うことによって、その GUI部品に関連づけられた命令や情報を入力することがでさる。

[0008] タツチトレーサーやタブレットでは、表示画面と操作部が分離しているため、表示画面を遠くに、操作部を近くに置くことが可能である。またユーザーが画面を触ることがな、ので画面に指紋が付く心配もな!/、。

[0009] しかし、表示画面と操作部が分離された入力インターフェースは、操作部の操作面上で指やペンをスライドさせることによって画面に表示されたカーソルを移動させる必要があるため、タツチパネルディスプレーのように所望の GUI部品をワンタッチで選択することはできない。すなわち、カーソルの現在位置を確認してから、指を操作面上でスライドさせてカーソルを所望の GUI部品上に移動させる操作が必要になるので、タツチパネルディスプレーのような素早い入力は困難である。このように、表示画面と操作部が分離された入力インターフェースはタツチパネルディスプレーのような直感的な入力が不可能であり、タツチパネルディスプレーよりも操作性に劣る。

[0010] そこで、上記のような入力装置の問題点を解消するものとして、ディスプレイとタツチパネルを分離して配置するとともに、タツチパネルを操作中のユーザの指をカメラで撮像して、その出力画像をディスプレーの表示画像と合成して表示する入力装置も考えられている（例えば、特許文献 2参照)。このような入力装置を用いれば、ユーザは、ディスプレーに表示されている自分の指を見ながら入力操作を行えるので、視線をディスプレーに固定したまま、手元に配置されたタツチパネルを用いて正確な入力操作を行うことができる。

特許文献 1：特開平 11 3169号公報

特許文献 2：特開平 10— 269012号公報

発明の開示

発明が解決しょうとする課題

[0011] し力しながら、上記のようなカメラを利用した入力装置では、カメラの設置位置に制約があるという問題がある。

[0012] タツチパネルを操作中のユーザの指を撮影するためには、タツチパネルの操作面に対して垂直な方向にカメラを設置しなくてはならない。例えば、上記の特許文献 2 に記載されて、る情報表示装置では、操作面の真下にカメラが設けられて、る。

[0013] ところが、このような入力装置を車載装置に適用する場合には、タツチパネルやカメラの設置スペースが限られて、るため、適切な位置にカメラを設置できな、場合がある。また、カメラの設置スペースが十分に存在する場合でも、美観上の理由などから、適切な位置にカメラを設置することが望まれない場合もある。

[0014] それゆえに本発明の目的は、表示画面と操作部が分離していても、タツチパネルのようにあた力も画面に直接触れて入力しているかのような、直感的かつ正確な入力が可能であり、かつ設置の自由度が高い入力装置を提供することである。

課題を解決するための手段

[0015] 上記目的を達成するために、本発明は以下の構成を採用した。なお、括弧内の参照符号や図番号は、本発明の理解を助けるために、図面との対応関係を示したものであって、本発明の範囲を何ら限定するものではない。

[0016] 本発明の第 1の局面は、ユーザーによって操作され、当該操作に対応した操作信号を出力する操作部（300)と、ユーザーによる操作の補助となる表示画像を作成する表示情報作成部（700)と、前記操作に関わるユーザーの身体部分を撮像するカメラを含み、当該撮影の結果として得られた画像データを出力する身体形状入力部（1 00)と、前記身体形状入力部から出力される画像データに基づいて前記身体部分の形状および位置を検出し、当該検出された身体部分の形状および位置を補正するための形状補正処理を行って、前記身体部分を表す身体画像を作成する身体形状抽出部 (600)と、前記表示情報作成部が作成した表示画像と前記身体形状抽出部が作成した身体画像を合成する画像合成部（800)と、前記画像合成部が合成した画像を表示する表示部（200)とを備えた入力装置である。身体形状入力部としては、代表的にはカメラや複数の受光部やラインセンサなどの任意の光学的な撮像デバイスを利用することができる。さらには、光学的な手法以外の手法によって、ユーザーの身体部分の形状および位置を特定するための情報を取得するものであっても構わない。

[0017] 本発明の第 2の局面は、第 1の局面において、前記身体形状抽出部は、前記形状補正処理として、前記カメラと前記操作部の相対的な位置関係を考慮した視点変換処理（図 26、図 27)を行うものであることを特徴とする。これにより、身体部分の形状をより実際に近い形で表示することができる。

[0018] 本発明の第 3の局面は、第 1の局面において、前記身体形状抽出部は、前記身体形状入力部から出力される画像データから検出された形状が身体部分の形状である力どうかを、予め保持しておいた身体部分の形状パターンを用いたパターンマツチングによって判定するものであることを特徴とする。これにより、検出された形状が身体部分の形状であるかどうかを判定することができるので、判定結果に応じた任意の制御が可能となる。

[0019] 本発明の第 4の局面は、第 3の局面において、前記身体形状抽出部は、前記身体形状入力部から出力される画像データから検出された身体部分の形状を前記形状パターンに基づいて補正するものであることを特徴とする。これにより、例えば爪にマニキユアを塗って、、た場合など、画像認識によって得られた身体部分の形状の一部が欠けてヽる場合でも、違和感のなヽ身体画像を表示することができる。

[0020] 本発明の第 5の局面は、第 1の局面において、前記操作部の所定位置には、前記形状補正処理で利用される目印が付されており、前記身体形状抽出手段は、前記力メラから出力された画像データ中の前記目印の位置が前記表示部の画面上の所定位置に変換されるように形状補正処理を行うものであることを特徴とする。これにより、カメラと操作部の相対位置に左右されずに、違和感のなヽ身体画像を生成することができる。

[0021] 本発明の第 6の局面は、第 1の局面において、前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像の輪郭を強調するものであることを特徴とする。これにより、身体画像を表示することによって表示情報が隠れてしまうことを回避できる。

[0022] 本発明の第 7の局面は、第 1の局面において、前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像の透明度を変化させ、かつ当該身体画像の輪郭を強調するものであることを特徴とする（図 42C)。これにより、身体画像を表示することによって表示情報が隠れてしまうことを回避できる。

[0023] 本発明の第 8の局面は、第 1の局面において、前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像におけるユーザーの指先部分を検出し、当該指先部分を強調するものであることを特徴とする（図 42D)。これにより、入力操作に大きく関わる指先部分にユーザーの注意を向けることができる。

[0024] 本発明の第 9の局面は、第 1の局面において、前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像の影を付すものであることを特徴とする（図 42E)。これにより、身体画像をよりリアルに表示することができる。

[0025] 本発明の第 10の局面は、第 1の局面において、前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像によって隠れてしまう前記表示画像中の表示情報を、当該身体画像によって隠れてしまわな、ような領域にポップアップ表示させるものであることを特徴とする（図 42F)。これにより、ユーザーは、身体画像を表示することによって隠れてしまった表示情報も確認することができる。 [0026] 本発明の第 11の局面は、第 1の局面において、前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像によって隠れてしまう前記表示画像中の表示情報を、当該身体画像よりも前面に表示させるものであることを特徴とする（図 42G)。これにより、ユーザーは、身体画像を表示することによって隠れてしまつた表示情報も確認することができる。

[0027] 本発明の第 12の局面は、第 1の局面において、前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像におけるユーザーの指先部分を検出し、当該指先部分に重なる前記表示画像中の表示情報を強調するものであることを特徴とする（図 42H)。これにより、ユーザーは、自分の指先の位置に対応する表示情報がどれかを容易に確認することができる。

[0028] 本発明の第 13の局面は、第 12の局面において、前記画像合成部は、前記指先部分に重なる前記表示画像中の表示情報を拡大する、もしくは当該表示情報の色を変ィ匕させる、もしくは当該表示情報を立体的に見えるように変化させる、もしくは当該表示情報に関する補助情報をポップアップ表示させることによって、当該表示情報を強調するものであることを特徴とする。これにより、ユーザーは、現在の自分の指先の位置に対応する表示情報がどれかを容易に確認することができる。

[0029] 本発明の第 14の局面は、第 1の局面において、前記表示情報作成部は、前記身体形状抽出部における前記身体部分の形状の検出結果に応じて、作成すべき表示画像を変更するものであることを特徴とする。これにより、状況に応じた表示情報を作成することができる。

[0030] 本発明の第 15の局面は、第 14の局面において、前記表示情報作成部は、前記身体形状抽出部において前記身体部分の形状が検出されたときにのみ表示画像を作成するものであることを特徴とする。これにより、身体部分が検出されない場合に画像表示処理を行わな!/、ようにして、消費電力を抑えることができる。

[0031] 本発明の第 16の局面は、第 14の局面において、前記表示情報作成部は、前記身体形状抽出部において前記身体部分の形状が検出された場合に、作成すべき表示画像中の GUI部品を強調するものであることを特徴とする（図 38B、図 39B)。これにより、身体部分が検出されない場合には GUI部品を目立たないように表示し、 GUI 部品以外の表示情報を見やすくしたり、その情報量を増やしたりすることができる。

[0032] 本発明の第 17の局面は、第 14の局面において、前記身体形状抽出部は、前記身体形状入力部が取得した情報に基づ、て検出した形状が、身体部分の形状かどうかを判断するものであり、前記表示情報作成部は、前記身体形状抽出部の判断結果に応じて、作成すべき表示情報を変更するものであることを特徴とする。これにより、例えば身体以外のものが検出された場合に画像表示処理を行わないようにして、消費電力を抑えるといったことが可能となる。

[0033] 本発明の第 18の局面は、第 14の局面において、前記身体形状抽出部は、検出した身体部分の形状に基づいて当該身体部分が右手力左手かを判断するものであり、前記表示情報作成部は、前記身体形状抽出部の判断結果に応じて、作成すべき表示画像を変更するものであることを特徴とする（図 40A、図 40B)。

[0034] 本発明の第 19の局面は、第 18の局面において、前記表示情報作成手段は、前記身体形状抽出部において検出された身体部分の形状が右手または左手のものの場合にのみ表示情報を作成するものであることを特徴とする。これにより、例えばユーザ一が操作部の右側から入力操作をしてヽる場合にのみ表示情報を表示したり、ユーザ一が操作部の左側から入力操作をして、る場合にのみ表示情報を表示したりとヽつたことが可能である。

[0035] 本発明の第 20の局面は、第 18の局面において、前記表示情報作成部は、前記身体形状抽出部において検出された身体部分の形状が右手または左手のものの場合に、作成すべき表示画像中の GUI部品を強調表示、もしくは当該 GUI部品の位置を変更、もしくは当該 GUI部品の有効性を変更するものであることを特徴とする。これにより、ユーザーが操作部の右側（または左側）から入力操作をしている場合にのみ、 G UI部品を強調したり、 GUI部品を有効にしたり、 GUI部品が無効化されていることを表示したりすることができる。また、ユーザーの位置に合わせて GUI部品の位置を入力操作のしゃすい位置に変更することができる。

[0036] 本発明の第 21の局面は、第 14の局面において、前記身体形状抽出部は、検出した身体部分の形状に基づいて当該身体部分が大人のものか子供のものかを判断するものであり、前記表示情報作成部は、前記身体形状抽出部の判断結果に応じて、作成すべき表示画像を変更するものであることを特徴とする（図 41A、図 41B)。

[0037] 本発明の第 22の局面は、第 21の局面において、前記表示情報作成部は、前記身体形状抽出部において検出された身体部分の形状が大人または子供のものの場合にのみ表示情報を作成するものであることを特徴とする。これにより、例えばユーザーが大人の場合にのみ表示情報を表示したり、ユーザーが子供の場合にのみ表示情報を表示したりといったことが可能である。

[0038] 本発明の第 23の局面は、第 21の局面において、前記表示情報作成部は、前記身体形状抽出部において検出された身体部分の形状が大人または子供のものの場合に、作成すべき表示画像中の GUI部品を強調表示、もしくは当該 GUI部品の位置を変更、もしくは当該 GUI部品の有効性を変更するものであることを特徴とする。これにより、ユーザーが大人 (または子供)の場合にのみ、 GUI部品を強調したり、 GUI部品を有効にしたり、 GUI部品が無効化されていることを表示したりすることができる。また、ユーザーが大人か子供かによつて、 GUI部品の位置を入力操作のしゃすい位置に変更することができる。

[0039] 本発明の第 24の局面は、第 1の局面において、当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの 2つの動作モードを有し、前記画像合成部は、ユーザーによる入力操作が可能なモードのときには、前記表示情報作成部が作成した表示画像を、前記身体画像と合成することなしに、そのまま前記表示部に表示させるものであることを特徴とする。これにより、ユーザーによる入力操作が不可能なモードであるときに、それをユーザーに示唆することができる。

[0040] 本発明の第 25の局面は、第 1の局面において、当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの 2つの動作モードを有し、前記画像合成部は、前記動作モードに応じて、前記表示情報作成部が作成した表示画像と前記身体画像との合成方法を変更するものであることを特徴とする。これにより、例えばュ一ザ一による入力操作が不可能なモードであるときに、その旨を画面に表示するといつたことが可能である。

[0041] 本発明の第 26の局面は、第 25の局面において、前記画像合成部は、ユーザーによる入力操作が可能なモードのときには前記身体画像が半透明で表示、もしくは輪郭を強調して表示、もしくは半透明でかつ輪郭を強調して表示され、ユーザーによる入力操作が不可能なモードのときには当該身体画像が不透明で表示されるように、前記表示画像と前記身体画像を合成するものであることを特徴とする。これにより、ュ一ザ一による入力操作が不可能なモードであるときに、それをユーザーに示唆することがでさる。

[0042] 本発明の第 27の局面は、第 1の局面において、前記画像合成部は、前記表示画像の各部分によって、合成方法を変更することを特徴とする。これにより、表示画像の各部分によって操作の形態、結果が異なることを、ユーザに知らせることが出来る。

[0043] 本発明の第 28の局面は、第 27の局面において、前記表示画像は、操作可能な領域と不可能な領域を有し、前記画像合成部は、前記表示画像の操作可能な領域では前記身体画像を合成し、前記操作不可能な領域では前記身体画像を合成しな、ことを特徴とする。これにより、表示画像の操作可能領域と操作不可能領域を、表示画像を変化させることなぐユーザに知らせることが出来る。また、操作不可能領域では、手を合成しないので、合成したときと比較して、表示画像が見やすくなるという効果を持つ。

発明の効果

[0044] 以上のような本発明により、表示画面と操作部が分離して!/、ても、タツチパネルディスプレーのようにあた力も画面に直接触れて入力しているかのような、直感的かつ正確な入力が可能となる。また、リアルな身体画像を表示することができ、より直感的な入力操作が可能となる。また、操作部の操作面に対して垂直な位置にカメラを正確に配置しなくても身体部分の形状をより実際に近い形で表示できるので、カメラの設置位置の自由度が高い。

図面の簡単な説明

[0045] [図 1]図 1は、本発明の一実施形態に力かる入力装置の概念図である。

[図 2]図 2は、入力装置の構成を示すブロック図である。

[図 3]図 3は、車内における入力装置の設置例である。

[図 4]図 4は、車内における入力装置の設置例である。

[図 5]図 5は、車内における入力装置の設置例である。 [図 6]図 6は、車内における入力装置の設置例である。

[図 7]図 7は、身体形状入力部 100の設置例である。

[図 8]図 8は、身体形状入力部 100の設置例である。

[図 9]図 9は、身体形状入力部 100と操作部 300を一体的に構成した例である。

[図 10]図 10は、身体形状入力部 100を操作部 300の下方に設置した例の側面図である。

[図 11]図 11は、身体形状入力部 100を操作部 300の下方に設置した例の上面図である。

[図 12]図 12は、光源 110の点滅規則の一例である。

[図 13]図 13は、光源 110が点灯しているときに撮像される手の像の例である。

[図 14]図 14は、光源 110が消灯しているときに撮像される手の像の例である。

[図 15]図 15は、外光の影響を取り除、た手の像の例である。

[図 16]図 16は、身体形状入力部 100として複数の受光部 150を用、た構成例である

[図 17]図 17は、発光部 160の発光範囲を示す図である。

[図 18]図 18は、受光部 150の受光範囲を示す図である。

[図 19]図 19は、感度範囲 171を示す図である。

[図 20]図 20は、発光部 160を操作部 300の上方に配置した例である。

[図 21]図 21は、身体形状入力部 100としてラインセンサを用いた構成例である。

[図 22]図 22は、身体形状抽出部 600の処理の流れを示すフローチャートである。

[図 23]図 23は、身体形状抽出部 600で処理される画像データの例である。

[図 24]図 24は、身体形状抽出部 600で抽出される身体領域 607の例である。

[図 25]図 25は、身体形状抽出部 600で抽出される輪郭 609の例である。

[図 26]図 26は、形状補正処理の例である。

[図 27]図 27は、形状補正処理の例である。

[図 28]図 28は、身体形状抽出部 600で作成される身体画像の例である。

[図 29]図 29は、身体形状抽出部 600で処理されるドット画像データの例である。

[図 30]図 30は、身体形状抽出部 600で輪郭部分のドットを抽出した結果の例である [図 31]図 31は、身体形状抽出部 600で抽出される輪郭の例である。

[図 32]図 32は、身体形状抽出部 600で処理されるライン画像データの例である。

[図 33]図 33は、身体形状抽出部 600で抽出される輪郭の例である。

[図 34]図 34は、操作部 300の例である。

[図 35]図 35は、ユーザーによる操作方法の例である。

[図 36]図 36は、操作部 300の例である。

[図 37]図 37は、身体画像を表示するための制御部 500の処理の流れを示すシーケンス図である。

[図 38A]図 38Aは、身体形状が検出されていない場合に表示情報作成部 700によつて作成される表示情報の例である。

圆 38B]図 38Bは、身体形状が検出された場合に表示情報作成部 700によって作成される表示情報の例である。

[図 39A]図 39Aは、身体形状が検出されていない場合に表示情報作成部 700によつて作成される表示情報の例である。

圆 39B]図 39Bは、身体形状が検出された場合に表示情報作成部 700によって作成される表示情報の例である。

[図 40A]図 40Aは、右手が検出された場合に表示情報作成部 700によって作成される表示情報の例である。

[図 40B]図 40Bは、左手が検出された場合に表示情報作成部 700によって作成される表示情報の例である。

[図 41A]図 41Aは、比較的大きい手が検出された場合に表示情報作成部 700によつて作成される表示情報の例である。

[図 41B]図 41Bは、比較的小さい手が検出された場合に表示情報作成部 700によつて作成される表示情報の例である。

[図 42A]図 42Aは、画像合成部 800によって合成された画像例である。

[図 42B]図 42Bは、画像合成部 800によって合成された画像例である。

[図 42C]図 42Cは、画像合成部 800によって合成された画像例である。 [図 42D]図 42Dは、画像合成部 800によって合成された画像例である。

[図 42E]図 42Eは、画像合成部 800によって合成された画像例である。

[図 42F]図 42Fは、画像合成部 800によって合成された画像例である。

[図 42G]図 42Gは、画像合成部 800によって合成された画像例である。

[図 42H]図 42Hは、画像合成部 800によって合成された画像例である。

[図 421]図 421は、画像合成部 800によって合成された画像例である。

[図 42J]図 42Jは、画像合成部 800によって合成された画像例である。

[図 43]図 43は、ユーザーによる入力操作が検知されたときの制御部 500の処理の流れを示すシーケンス図である。

[図 44A]図 44Aは、ユーザーによる入力操作があった時に表示情報作成部 700によつて作成される表示情報の例である。

[図 44B]図 44Bは、ユーザーによる入力操作があった時に表示情報作成部 700によつて作成される表示情報の例である。

符号の説明

1 カメラ

2 ディスプレー

3 GUI部品

4 タツチパッド

6 手

7 手画像

100 身体形状入力部

110 光源

120 ミラー

130 筐体

140 可視光カットフィルター

150 受光部

160 発光部

171 感度範囲 200 表示部

300 操作部

400 演算部

500 制御部

600 身体形状抽出部

700 表示情報作成部

800 画像合成部

1000 入力装置

発明を実施するための最良の形態

[0047] 以下に、本発明の実施形態について詳しく説明する。

[0048] 図 1は、本発明の一実施形態に力かる入力装置の概念図である。

[0049] 図 1において、ユーザーの手元に操作用のタツチパッド 4が設置され、ユーザーから離れた位置にディスプレー 2が設置されている。タツチパッド 4の上方にはカメラ 1が設置されている。ディスプレー 2には、ユーザーが所望の命令や情報を入力するための 1つ以上の GUI部品 3が表示されている。

[0050] タツチパッド 4の操作面の各点は、ディスプレー 2の表示画面の各点と一対一で対応しており、ユーザーがタツチパッド 4の操作面のある点を指で押すと、その接触位置を示す座標データ (絶対座標データ）がタツチパッド 4力も制御部へと出力され、この座標データに基づいて、その接触位置に対応する GUI部品 3が特定され、その GUI 部品 3に関連付けられた命令や情報が入力される。

[0051] ユーザーが GUI部品 3を選択するためにタツチパッド 4上に手 6を移動させると、タツチパッド 4を背景とした手 6の画像がカメラ 1によって撮像される。制御部は、カメラ 1 から出力された画像データに画像認識処理を施して画像全体から手 6の部分だけを抽出し、抽出した手 6の画像をスーパーインポーズによってディスプレー 2に手画像 7 として表示する。ユーザーは、ディスプレー 2に表示された手画像 7を見ながら、手画像 7の指先が所望の GUI部品 3上に来るように手 6を移動させてカもタツチパッド 4を押す。するとその接触位置に対応する GUI部品 3 (すなわち、手画像 7の指先に位置する GUI部品 3)に関連付けられた命令や情報が入力される。 [0052] なお、仮に手画像 7が画面に表示されなヽ場合を想定してみる。この場合、ユーザ一は例えば画面の中央に表示されている GUI部品 3を選択しょうとするときに、タツチノッド 4の操作面に視線を移してタツチパッド 4の中央位置を確かめて力も指で押す必要があり不便である。特に車の運転中では視線を手元に移すことは危険である。しかし本発明の入力装置によれば、ディスプレー 2に表示された手画像 7を見ることによって、現在の指の位置が画面上のどの位置に対応しているのかを確認することができる。よって、ユーザーはタツチパッド 4に視線を移すことなくディスプレー 2だけを見ながら GUI部品 3を選択することができる。

[0053] また、本発明の入力装置では、ユーザーが指をタツチパッド 4の操作面力少し浮力している状態でも手画像 7が画面に表示されるため、ユーザーは、タツチパッド 4に指を実際に接触させてスライドさせてみることなしに、現在の指の位置が画面上のどの位置に対応しているのかを確認することができる。よって、タツチパッド 4を一押しするだけと、う単純かつ素早、入力操作が可能となる。

[0054] なお、ここではタツチパッド 4力座標データが出力されるとした力後述するように、タツチパッド 4は必ずしも接触位置の座標データを出力する機能を備えている必要はなぐ単にユーザーがタツチパッド 4を押したかどうかだけを検出するものでも構わない。この場合、カメラ 1で撮像された画像カゝら指先の位置を検出し、検出された指先の位置力ユーザーがどの GUI部品 3を選択したかを判断すればよい。

[0055] 以下、入力装置についてより詳細に説明する。

[0056] 図 2は、入力装置の構成を示すブロック図である。図 2において、入力装置 1000は、身体形状入力部 100、表示部 200、操作部 300および演算部 400からなる。演算部 400は、演算部 400全体を制御する制御部 500、身体形状入力部 100の出力を処理して身体形状を抽出する身体形状抽出部 600、ユーザーによる命令や情報の入力に必要となる表示情報 (すなわち GUI部品 3を含む画像)を作成する表示情報作成部 700、および、操作部 300を操作するユーザーの身体部分を表す画像と表示情報作成部 700によって作成された表示情報とを合成する画像合成部 800とからなる。以下、各部の構成について詳細に説明する。

[0057] (身体形状入力部 100) まず、身体形状入力部 100について説明する。

[0058] 身体形状入力部 100は、ユーザーが操作に用いる手など身体部分の形状と位置を装置に入力するための手段であり、可視光，近赤外線などを受光するカメラを用いる場合と、ラインセンサ'フォトダイオードなどの個別のセンサを用いる場合とがある。以下に、それぞれの場合について説明する。

[0059] まず、身体形状入力部 100としてカメラを用いた例について、図 3〜図 11を参照しながら説明する。

[0060] 身体形状入力部 100としては、例えば可視光力メラ、近赤外カメラ、赤外線カメラ、超音波カメラを利用することができる。身体形状入力部 100は、操作部 300を撮像することのできる位置に配置され、操作部 300を撮影してその画像データを出力する。ユーザーが操作部 300を手 6で操作しているときには、身体形状入力部 100によつて撮影される画像に手 6が含まれることとなる。身体形状入力部 100は、好ましくは、操作部 300の操作面の中央を通る法線上に配置され、かつレンズの光軸が法線と平行になるように設置される。

[0061] 身体形状入力部 100が可視光力メラの場合には、夜間でも手 6が明瞭に撮影されるように、可視光を照射する光源 110を設けることが好ましぐまた、身体形状入力部 100から出力された画像データ力も手の形状を抽出し易くするために、操作部 300 の操作面は均一色であるのが好ましぐ特に黒や青であるのが好ましい。

[0062] 身体形状入力部 100が近赤外カメラの場合には、常に手 6が明瞭に撮影されるように、近赤外光を照射する光源 110を設けることが好ましぐまた、操作部 300の操作面は黒であるのが好まし、。

[0063] また、身体形状入力部 100から出力された画像データ力も手の形状を抽出し易くするためにも、操作部 300や操作中の手 6に日光、車のヘッドライト、街灯などが直接照射されな、様にするのが好ま、。

[0064] 図 3〜図 6を用いて車内における設置例を説明する。

[0065] 図 3は第 1の設置例を示している。この設置例では、操作部 300がセンターコンソ一ルの延長上であって、運転者が肘置きに肘をお、た状態で操作できるような位置に設置される。身体形状入力部 100は、操作部 300が撮像できる位置に設置される。身体形状入力部 100は、操作部 300の法線上である Bの位置（車両の天井など）に設置されるのが好ましいが、 Bの位置よりも前方 (Aの位置）にあるマップランプゃルームミラーに組み込まれていても良い。また、 Bの位置よりも後方（Cの位置）にあるルームランプユニットに組み込まれて、てもよ、。

[0066] なお、図 3の Aの位置や Cの位置のように、操作部 300の操作面に対して斜め方向

(すなわち垂直方向とは異なる方向）に身体形状入力部 100が設置される場合には、身体形状入力部 100によって撮像された手 6の形状力操作面に対して垂直な方向から見たときの手 6の形状とは異なる可能性があり、手画像 7を作成する際に後述する視点変換処理 (操作面に対して斜め方向から見た画像を、操作面に対して垂直方向から見た画像に変換する画像処理)が必要となる場合がある。

[0067] 図 4は第 2の設置例を示している。この設置例では、操作部 300がステアリングの中央部に斜め上向きに設置される。身体形状入力部 100は、操作部 300が撮像できる位置（車両の天井など）に設置される。この場合、身体形状入力部 100によって撮影される画像はステアリングの蛇角に応じて回転することになるが、身体形状入力部 10 0から出力される画像データを補正することによって、この回転による影響を除去することができる。画像データの補正方法の一例として、ステアリングの蛇角を検出する手段を設けて、検出された蛇角に応じて画像データに回転処理を施すことが考えられる。また、他の例として、操作部 300の操作面に 1つ以上の基準となる目印を付しておき、画像データからこの目印の位置を検出することによってステアリングの蛇角を検出し、検出された蛇角に応じて画像データに回転処理を施すことが考えられる。

[0068] 図 5は第 3の設置例を示している。この設置例では、操作部 300が運転席のドアの内側であって、運転者が肘置きに肘をおいた状態で操作できるような位置に設置される。身体形状入力部 100は、操作部 300が撮像できる位置（車両の天井など）に設置される。

[0069] 図 6は第 4の設置例を示している。この設置例では、操作部 300が後部座席の中央にある肘掛け上に設置される。身体形状入力部 100は、操作部 300が撮像できる位置（車両の天井やルームランプ）に設置される。

[0070] 図 3〜図 6の例では、身体形状入力部 100を車両の天井等、操作部 300から離れた位置に設置しているが、身体形状入力部 100と操作部 300とを一体的に構成することも考えられる。以下、図 7〜図 9を参照して、身体形状入力部 100と操作部 300とを一体的に構成した例を説明する。

[0071] 図 7は、操作部 300の上方の所定位置に身体形状入力部 100を設置した例を示している。身体形状入力部 100の近傍に必要に応じて光源 110を設置してもよい。光源 110は、身体形状入力部 100が色画像を作成するものであれば可視光で有る必要があるが、身体形状入力部 100が白黒画像を作成するものであれば近赤外光でもよい。

[0072] 図 8は、操作部 300の上方の所定位置にミラー 120を設置し、このミラー 120に映る操作部 300および手 6を身体形状入力部 100で撮像するようにした例である。

[0073] 図 7や図 8のような構成を実現するには、例えば図 9のような筐体 130を用いて操作部 300に対する身体形状入力部 100の相対位置を固定すればよい。

[0074] このように身体形状入力部 100と操作部 300とを一体的に構成することにより、身体形状入力部 100の光軸調整が簡単になるという利点がある。また、操作部 300を図 9 のような筐体 130で遮蔽することにより、外部力もの光 (太陽光など）が操作部 300に当たりにくくなると、う利点もある。

[0075] 図 3〜図 9の例では、操作部 300および手 6を上方 (すなわち操作部 300の操作面側）から身体形状入力部 100で撮像してヽるが、操作部 300および手 6を下方 (すなわち操作部 300の操作面とは反対の面側)から身体形状入力部 100で撮像することも考えられる。以下、図 10および図 11を参照して、身体形状入力部 100で操作部 3 00を下方力ゝら撮像するようにした構成例を説明する。

[0076] 図 10は、操作部 300として透明なタツチパネルを採用し、その下方に身体形状入力部 100と光源 110を設置した例である。図 11は、図 10において操作部 300を上方力も見た図である。この例ではタツチパネルの下側の面に重ねて可視光カットフィルター 140が配置されている。また、光源 110は近赤外光を照射するものであり、身体形状入力部 100は近赤外光に感度のある撮像装置である。

[0077] また、図 10および図 11に示した構成において、外光に含まれる近赤外線による影響を除去するために、光源 110から発せられる近赤外光を、ある時間的規則に則つて点滅させるという方法も考えられる。これについて、図 12〜図 15を用いて説明する

[0078] 図 12では、光源 110の点滅における最も単純な規則の例として、一定の期間ごとに点灯と消灯を繰り返すパターンを示した。図 13は、光源 110が点灯しているときに身体形状入力部 100が撮像した身体部分 (ここでは手)の像の例である。一方、図 1 4は、光源 110が消灯しているときの身体部分 (手)の像の例である。光源 110が点灯している場合は、図 13に示すように、光源 110および外光による像が重なることが考えられる。また、光源 110が消灯している場合は、図 14に示すように、外光による像が撮像されることが考えられる。後述する身体形状抽出部 600 (または身体形状入力部 100)は、撮像結果に含まれる各画素について、図 13から図 14を引く引き算の処理を行うことにより、図 15に示すような光源 110による像のみを取り出すことができる。このようにすることにより、外光の影響を取り除くことができる。

[0079] なお、上記のように光源を所定の規則で点滅させることによって外光の影響を取り除く手法は、後述のように身体形状入力部 100にカメラ以外のセンサを用いる場合にも適用することができる。また、この手法と図 9の筐体 130とを組み合わせることにより、さらに効果的に外光の影響を取り除くことができる。

[0080] 次に、身体形状入力部 100に、フォトダイオードやラインセンサなど、カメラ以外のセンサを用いた 2つの例にっ、て説明する。

[0081] まず、第 1の例について図 16〜図 19を参照して説明する。第 1の例は、フォトダイオードなどの複数の受光部を二次元的に配置することによってドットセンサとして機能させる例である。

[0082] 図 16において、操作部 300としてタツチパネルが採用され、その下方にはそれぞれ受光部 150と発光部 160からなる複数の対が 2次元的に配置されて、る。発光部 1 60は、図 17の斜線の範囲 151に光を発し、受光部 150は、図 18の斜線の範囲 161 に対して感度を有する（すなわち斜線範囲 161からの光を受光することができる)。よつて、範囲 151と範囲 161とが交わる範囲、すなわち図 19の斜線の感度範囲 171にユーザーの手 ₆が存在すれば、発光部 160から発せられた光が手 6に反射し、その反射光が受光部 150で受光される。このことから、反射光を受光した受光部 150の上には手 6が存在し、反射光を受光して、な、受光部 150の上には手 6が存在しな、ことが分かる。身体形状入力部 100は、各受光部 150で反射光を受光した力否かを示すデータを演算部 400に出力する。なお、図 19に示す感度範囲 171は、受光部 15 0と発光部 160の設置の仕方によって任意に設定することが可能であるが、操作面から 10cm程度の距離に設定するのが好ましい。これにより、ユーザーが操作以外の意図で操作部 300の上方に手 6を移動させたときに、手 6の位置および形状を無駄に検出してしまうことを防止できる。

[0083] なお、上記第 1の例の変形例として、図 20のように、操作部 300の上方に 1つまたは複数の発光部 160を設け、この発光部 160からの光を操作部 300の下方に二次元的に配置された複数の受光部 150で受光するようにしても良い。この場合、発光部 160からの光を受光した受光部 150の上には手 6が存在せず、発光部 160からの光を受光した受光部 150の上には手 6が存在することが分かる。

[0084] 次に、第 2の例について図 21を参照して説明する。第 2の例は、ラインセンサを単数または複数個用いる例である。

[0085] 図 21において、操作部 300の上方には身体形状入力部 100としてラインセンサが配置されている。ラインセンサは、操作部 300の操作面上のある 1ラインからの光 (操作部 300で反射した光もしくは操作部 300を透過した光）を検出するように構成されたセンサである。ラインセンサを操作部 300と平行に移動させることによって操作面全体を走査することができる。この場合、設置場所等の制約から必要であれば、ラインセンサを直線的に移動させるだけではなく回転させてもよい。ただし、ラインセンサを回転させたときの走査結果に基づいて操作部 300の上方力見た手 6の位置および形状を特定するには、ラインセンサの移動パターンに応じた補正処理が必要となる。

[0086] なお、複数のラインセンサを設ける力、操作面上の複数のライン力の光を同時に検出することのできるラインセンサを用いることによって、ラインセンサを移動させることなく操作面全体を走査することも可能である。この場合、ラインセンサを移動させる場合と比較して操作面全体を高速に走査することができる。

[0087] なお、検出精度の向上のために、操作部 300の操作面の色は均一にするのが好ましい。 [0088] なお、図 21の例では操作部 300の操作面に対して垂直方向にラインセンサを設置しているが、操作部 300の操作面に対して斜め方向（すなわち垂直方向とは異なる方向）にラインセンサを設置してもよい。ただし、この場合にはラインセンサによって検出される手 6の形状が、操作面に対して垂直な方向から見たときの手 6の形状とは異なる可能性があり、手画像 7を作成する際に後述する視点変換処理が必要となる場合がある。

[0089] また、ラインセンサを操作部 300の下方に配置してもよヽ。この場合、操作部 300として透明のものを採用したり、操作部 300からの光をミラーで反射させてラインセンサに導いたり、操作部 300に複数の穴を開けてそこ力手 6の位置および形状をラインセンサで検知したりするなどの工夫が必要になる。

[0090] (身体形状抽出部 600)

次に、身体形状抽出部 600について説明する。

[0091] 身体形状抽出部 600は、身体形状入力部 100の出力に基づいて身体形状データを抽出する。身体形状データとは、例えばユーザーが操作部 300の操作面に載せて V、る (操作面力も浮、て、ても良、)身体部分 (すなわち手や足など）の形状とその位置を示すデータである。身体形状抽出部 600の具体的な動作は、身体形状入力部 1 00としてカメラを用いた場合とカメラ以外のセンサを用いた場合とで異なる。以下、各場合における身体形状抽出部 600の動作を説明する。

[0092] まず、身体形状入力部 100としてカメラを用いた場合の身体形状抽出部 600の動作について説明する。

[0093] 図 22は、身体形状抽出部 600による身体形状抽出処理の流れを示すフローチヤートである。

[0094] 身体形状抽出部 600は、まず身体形状入力部 100 (ここではカメラ）から出力された画像データをフレームメモリに取り込む（S602)。図 23は、フレームメモリに取り込まれた画像データの一例を示している。図 23の画像データ 601において、 603は操作部 300の操作面であり、 605はユーザーの手 6である。

[0095] 続いて身体形状抽出部 600は、ステップ S602でフレームメモリに取り込んだ画像データから、図 24のようにユーザーの身体 (ここでは手 6)に対応する領域を身体領域 607として抽出する（S604)。画像データから身体領域を抽出する方法としては、例えば以下の 3つの方法が考えられる。

[0096] 第 1の抽出方法は、背景差分法である。背景差分法では、まず、身体形状入力部 1 00と操作部 300との間に何も存在しない状態で身体形状入力部 100によって操作部 300を撮影し、その結果を背景画像データとして記憶しておく。そして、身体形状入力部 100から出力された画像データと背景画像データとを画素毎またはブロック毎に比較し、両者間で異なる部分を身体領域として抽出する。背景差分法は、操作部 300の操作面を単一色にする必要が無いという点で有利である。なお、背景画像データは、予めメモリーに記憶しておいても良いし、身体形状入力部 100から出力される画像データが一定時間以上変化しな力つた場合にその画像データを背景画像データとして記憶するようにしても良、。

[0097] 第 2の抽出方法は、輝度閾値法である。輝度閾値法では、身体形状入力部 100から出力された画像データの各画素の輝度値を所定の閾値と比較することによって身体領域を抽出する。よって、身体形状入力部 100から出力された画像データにおいて、手 6の部分と操作部 300の操作面の部分との輝度差が大きくなるように、操作部 300の操作面を黒な、し黒に近、色とし、かつ操作面につや消し処理を施して光の反射を極力無くすことが好ましい。閾値は、身体形状入力部 100から出力される画像データにぉ、て操作部 300に対応する、ずれの画素の輝度値よりも大き!/、値に設定される。このようにして設定された閾値よりも高い輝度値を有する領域を抽出することにより、身体領域を抽出することができる。なお、夜間など暗い場合にも安定した身体領域の抽出を行うためには、身体形状入力部 100の画角の範囲に可視光や近赤外光を照射するなどして、身体領域が閾値よりも明るく映るようにする必要がある。

[0098] 第 3の抽出方法は、クロマキ一処理法である。クロマキ一処理法は、テレビ放送などで一般的に利用されている方法であって、単色の背景を用いて人物や物体を撮影し、撮影によって得られた画像データ力背景の色の部分を除去することによって人物だけを抽出するものである。よって、クロマキ一処理法を本発明に適用するためには、操作部 300の操作面を単一色 (例えば青色）とする必要がある。なお、夜間など暗い場合にも安定した身体領域の抽出を行うためには、身体形状入力部 100の画角の範囲に可視光を照射する必要がある。

[0099] 本実施例では処理負荷が最も少な、輝度閾値法を用いるものとして以下の説明を行う。

[0100] なお、操作部 300の操作面には必ずしもユーザーの身体部分が載せられるとは限らず、例えば荷物などが載せられる場合もある。この場合、荷物が身体部分として認識されてしまうため、表示部 200に荷物の画像が表示されてしまい、表示情報の表示の妨げとなってしまう。そこで、ステップ S606で抽出された形状が身体部分の形状かどうかを判定し、身体部分でなければ以降の処理を行わないようにすれば、このような問題を回避することができる。ステップ S606で抽出された形状が身体部分の形状カゝどうかを判定するには、身体部分の形状パターンを予め保持しておき、ステップ S6 06で抽出された形状をこの形状パターンと比較 (パターンマッチング)すればよ、。なお、このパターンマッチングの結果を制御部 500に通知することによって、ステップ S606で抽出された形状が身体部分の形状だと判明した場合にだけ操作部 300による入力操作を有効にすることも考えられる。これにより、操作部 300の操作面に載せられた荷物などによる誤動作を防止することができる。

[0101] ところで、ユーザーが爪に操作部 300の操作面と同一の色のマ-キュアを塗っていた場合などには、ステップ S606において、爪の部分が欠けたような手の形状が検出されることになるが、上記のような形状パターンを用意しておけば、この形状パターンを参照して、検出された身体部分の形状において部分的に欠けた部分を補完するができる。

[0102] 身体領域の抽出が完了すると、次に身体形状抽出部 600は、ステップ S604で抽出した身体領域 607に基づいて、図 25に示すようにその輪郭 609を抽出する（S60 6)。この輪郭抽出処理は、身体領域 607に含まれる画素の中から、身体領域 607以外の領域の画素と接している画素を抽出することにより行われる。より具体的には、身体領域 607に含まれる全ての画素の中から、その上下左右の 4近傍画素 (もしくは注目画素の右上 ·左上 ·右下 ·左下の画素をさらに加えた 8近傍画素）の中に身体領域 607以外の領域の画素が含まれているような画素を抽出する。なお、必要に応じて、抽出した輪郭 609に平滑ィ匕処理を施してもよい。平滑ィ匕処理を行うことにより、輪郭 6 09に生じるエイリアシングを解消することができる。

[0103] 次に身体形状抽出部 600は、形状補正処理を行う (S608)。形状補正処理では、身体形状入力部 100から出力された画像データの画素のうち、ステップ S606で抽出した輪郭 609および輪郭 609内の画素について、カメラレンズの歪み補正処理や視点変換処理やその他の補正処理を行う。

[0104] カメラレンズの歪み補正処理は、特に身体形状入力部 100で広角レンズを用いた場合に、レンズの歪曲収差データを用いて補正するものである。よって、身体形状入力部 100で歪みの小さいレンズ (例えば標準レンズや望遠レンズ)を用いた場合にはカメラレンズの歪み補正は不要である。

[0105] 視点変換処理は、設置位置の制約などで所望の視点 (本実施例の場合は、操作部 300の真上方向からの視点）に身体形状入力部 100を設置できな力つた場合に行うものである。視点変換技術は周知の技術である。図 26および図 27を参照して、視点変換処理の例を説明する。

[0106] 図 26は、身体形状入力部 100が図 3の位置 Aのような位置に設置されている場合に適用される視点変換処理の例である。身体形状入力部 100から出力された画像データ 601における操作部 300の 4隅（a, b, c, d)が、表示部 200の画面の 4隅に対応する位置となるように画像が引き延ばされる。このとき、身体形状入力部 100と操作部 300の相対位置が固定であれば、画像データ 601における操作部 300の 4隅（a, b, c, d)の位置も固定であるため、これら 4隅の位置をその都度検出しなくても図 26のような視点変換処理を施すことが可能である。しかし、身体形状入力部 100と操作部 3 00の相対位置が固定でない場合には、身体形状入力部 100から出力された画像データ 601から操作部 300の 4隅の位置を検出する必要がある。この場合、操作部 300 の 4隅に何らかの目印を付けておけば、 4隅の位置をより正確に検出することができる。なお、操作部 300の操作面内の任意の領域を表示部 200の画面に対応させることもできる。この場合にも、その任意の領域の 4隅に基準となる目印を付けておけば、その 4隅が表示部 200の画面の 4隅に対応する位置となるように画像を引き延ばすことができる。

[0107] 図 27は、身体形状入力部 100が図 4の位置に設置されている場合に適用される視点変換処理の例である。図 4の例では操作部 300がステアリングとともに回転するため、ステアリングの回転に応じて、身体形状入力部 100から出力された画像データ 6 01内の操作部 300も回転することとなる。この場合も、身体形状入力部 100から出力された画像データ 601における操作部 300の 4隅（a, b, c, d)が検出され、これらの 4隅力表示部 200の画面の 4隅に対応する位置となるように画像が引き延ばされる

[0108] なお、ステップ S608では、必要に応じて、カメラレンズの歪み補正処理や視点変換処理以外の形状補正処理も行われる。例えば、身体形状入力部 100から出力された画像データの解像度およびアスペクト比を、表示部 200の画面の解像度およびァスぺクト比に変換する処理が適宜行われる。

[0109] なお、本実施例では、身体形状入力部 100でレンズ歪み補正の必要のな、標準レンズを用い、身体形状入力部 100は操作部 300の操作面の中央を通る法線上に設置され、身体形状入力部 100の光軸はその法線と平行になるように設置され、身体形状入力部 100の画角は操作部 300の操作面全体が画像内にちょうど収まるよう〖こ設定されているものと仮定する。この場合、ステップ S608の形状補正処理は不要である。

[0110] ステップ S608の形状補正処理の結果、図 28のような手画像 611が得られる。

[0111] 次に身体形状抽出部 600は、身体画像作成処理を行う (S610) _oこのステップでは、表示部 200に表示すべき身体画像を作成するステップである。ステップ S608で作成した身体画像 (例えば図 28の手画像 611)をそのまま表示部 200に表示する場合には、このステップで特に何らかの処理を行う必要はない。ここでは、ステップ S608 で作成した身体画像が暗い場合に明度を上げたり、手の細かなしわなどを目立たなくするために身体画像に平滑ィヒ処理を施したり、身体画像の色調を補正して手がより綺麗に表示されるようにしたり、輪郭の内側の領域に予め用意したテクスチャー画像を貼り付けたりといった処理を行う。テクスチャーの例としては、動物の皮、木、コンクリート、金属、人工的な模様などが挙げられる。

[0112] 次に、身体形状入力部 100としてカメラ以外のセンサを用いた場合の身体形状抽出部 600の動作にっ、て説明する。 [0113] まず、図 29〜図 31を参照して、身体形状入力部 100としてフォトダイオードなどのセンサを図 16のように二次元的に配置したドットセンサを用いた場合の身体形状抽出部 600の動作を説明する。

[0114] 身体形状抽出部 600は、まず身体形状入力部 100から出力されるデータを取り込んで図 29のようなドット画像データを作成する。ドット画像データにおける各ドットの値は 0か 1のいずれかであり、図 29では値が 1であるドットを黒丸で示している。

[0115] 次に身体形状抽出部 600は、ドット画像データに対して輪郭ドット抽出処理を行う。

具体的には、値が 1である全てのドットの中から、その上下左右の 4近傍ドットの中に値が 0であるドットが含まれているようなドットを抽出する。図 29のドット画像データに対する輪郭ドット抽出処理の結果を図 30に示す。

[0116] 次に身体形状抽出部 600は、輪郭ドット抽出処理によって選択されたドットをスプライン曲線などで近似することにより、図 31のような輪郭画像を作成する。

[0117] 次に身体形状抽出部 600は、必要に応じて、作成した輪郭画像の解像度およびァスぺタト比を、表示部 200の画面の解像度およびアスペクト比に変換する処理を実行し、さらに必要に応じて、輪郭画像に対して平滑化処理を施したり、輪郭の内側の領域に予め用意したテクスチャー画像を貼り付けたりといった処理を行う。テクスチャーの例としては、人間の手、動物の皮、木、コンクリート、金属、人工的な模様などが挙げられる。

[0118] 次に、図 32および図 33を参照して、身体形状入力部 100として図 21のようにラインセンサを用いた場合の身体形状抽出部 600の動作を説明する。

[0119] 身体形状抽出部 600は、まず身体形状入力部 100から出力されるデータを取り込んで図 32のようなライン画像データを作成する。

[0120] 次に身体形状抽出部 600は、ライン画像データに対して輪郭抽出処理を行う。具体的には、ライン画像データに含まれる各ラインの端点をスプライン曲線などで近似することにより、図 33のような輪郭画像を作成する。

[0121] 次に身体形状抽出部 600は、必要に応じて、作成した輪郭画像の解像度およびァスぺタト比を、表示部 200の画面の解像度およびアスペクト比に変換する処理を実行し、さらに必要に応じて、輪郭画像に対して平滑化処理を施したり、輪郭の内側の領域に予め用意したテクスチャー画像を貼り付けたりといった処理を行う。テクスチャーの例としては、人間の手、動物の皮、木、コンクリート、金属、人工的な模様などが挙げられる。

[0122] (表示部 200)

次に、表示部 200について説明する。

[0123] 表示部 200は、画像合成部 800が合成した画像を画面に表示するものであり、表示部 200としては、液晶ディスプレー、 CRT (Cathode Ray Tube)ディスプレー、 EL (Electronic Luminescence)ディスプレーなどが利用できる。

[0124] なお、表示部 200は、例えば HUD (Head Up Display)や HMD (Head Mou nted Display)のように、画像合成部 800が合成した画像をハーフミラー、鏡、レンズなどを用いて空中に結像させるディスプレーであってもよい。この場合、例えば車両のフロントボンネットの上方のように、表示部 200の設置が困難な位置にも画像を表示することが可能となる。

[0125] また、表示部 200としてプロジェクターを利用してもよい。この場合、画像合成部 80 0が合成した画像がプロジェクターによってスクリーンに投影されるため、安価に大画面表示を実現することができる。

[0126] このように、表示部 200の構成は、設置場所や表示目的などに応じて適宜に選択すればよい。

[0127] (操作部 300)

次に、操作部 300について説明する。

[0128] 操作部 300は、ユーザーによる入力操作を検知し、その入力操作に対応する信号を出力するものである。操作部 300としては、例えばタツチパネルゃタツチパッドなどの座標入力デバイスや、ボタンスィッチ ·ジョグダイヤルなどのスィッチ（ノヽ一ドウエアとしてのスィッチ）が利用できる。もちろん、操作部 300が座標入力デバイスとスィッチを両方含んでいてもよい。以下に、操作部 300として座標入力デバイスを用いる例とスイッチを用いる例についてそれぞれ説明する。

[0129] まず、操作部 300として座標入力デバイスを用いる例について図 34を参照して説明する。 [0130] 図 34にお、て、操作部 300はタツチパッドゃタツチパネルのような座標入力デバイスであり、ユーザーが触れた (または押した)位置を示す座標データを、予め定められたタイミングで出力する。

[0131] ここで、操作部 300で検知するユーザーの入力操作としては、ユーザーが操作部 3 00の操作面に触れる操作、または操作面を押す操作が一般的であるが、これは座標入力デバイスの種類や設定にも依存する。例えば、静電容量式のタツチパッドの場合は、一般的には、ユーザーが操作面に触れたカゝどうかを検知する。一方、感圧式のタツチパッドの場合は、操作面に触れたかどうかではなぐユーザーが操作面を一定値以上の圧力で押したかどうかを検知する。圧力の閾値を大きくすれば、ユーザ一が操作面を強く押したときにだけ入力操作として検知することもできる。なお、ュ一ザ一の入力操作としては、操作面に触れる操作や操作面を押す操作以外にも、例えば、ダブルクリック (短い間隔で操作面に 2度触れる、または操作面を 2度押す）、ドラッグ (操作面に触れた状態で指を移動させる）、長押し (一定時間以上操作面に触れる、または操作面を押す）、操作面に近づける、操作面から離す、などの種々の入力操作が考えられる。これらの入力操作は、必ずしも操作部 300のみで検知する必要はなぐ例えば、操作部 300が出力する座標データに基づいて、制御部 500がダブルクリックやドラッグなどの入力操作を検知してもよい。

[0132] また、図 34に示すように、表示部 200に例えば音量調節用のロータリースィッチを GUI部品によって模擬的に表示し、操作部 300の操作面に円を描くようなドラッグ操作を検知したときに、そのドラッグ操作に応じて音量を変化させるようにしてもよい。これにより、あた力も実際にロータリースィッチを回しているかのような直感的な入力操作が可能となる。

[0133] このように、操作部 300として座標入力デバイスを用いれば、表示部 200に表示する GUI部品の形、位置、機能、数を、必要に応じていつでも任意に変更することができる。また、例えば表示部 200に表示された地図上の任意の地点を指定することも簡単にできる。よって、非常に汎用的な入力装置を実現することができる。

[0134] なお、前述したように、操作部 300は、一般的なタツチパッドゃタツチパネルが備えて、るような座標データを出力する機能を必ずしも備えて、る必要はな、。すなわち、ユーザーが操作面に触れたかどうか、もしくは押した力どうかだけを信号として出力するようなものでも構わない。この場合、操作部 300の出力からはユーザーが触れた (または押した)位置を検出することができないため、身体形状入力部 100から出力されるデータに基づいてその位置を検出する必要がある。例えば、ユーザーに図 1のように人差し指を立てた状態で GUI部品を選択するように制約を課し、身体形状抽出部 600で得られた手画像力も人差し指の指先の位置を検出すれば、ユーザーがどの GUI部品を選択したかが分かる。ただし、上記のように何らかの制約を課さなければ、身体形状入力部 100から出力されるデータに基づいてユーザーが押した位置を正確に判定することは困難である。しかし、操作部 300が座標データを出力する機能を備えていれば、例えば図 35のように予め複数の指を複数の GUI部品上にそれぞれ位置させておき、手 6を移動させることなぐこれらの GUI部品の中力も所望の GUI 部品を適宜選択するような使!ヽ方も可能である。

[0135] 次に、操作部 300としてスィッチを用いる例について説明する。

[0136] 図 36において、操作部 300は、ベース部 301と複数のスィッチ 310からなる。スイツチ 310の例としては、ボタンスィッチ 311、トグルスイッチ、ロータリースィッチ 312、ジョグダイヤル 313、ジョイスティック 314が挙げられる。

[0137] 表示部 200には、操作部 300に設置されたスィッチ 310の位置に対応して GUI部品が表示される。これらの GUI部品の形状は、スィッチ 310の形状とほぼ同一とするのが好ましい。

[0138] なお、表示部 200に表示される GUI部品の機能は、必要に応じていつでも任意に変更することができる。例えば、オーディオモードではロータリースィッチ 312を音量調節手段として利用し、ナビゲーシヨンモードではロータリースィッチ 312を地図の表示倍率変更手段として利用することができる。

[0139] このように、操作部 300としてスィッチを用いれば、ユーザーはスィッチの挙動を触覚で感知しながら入力操作を行うことができるため、タツチパッドのように視覚だけを頼りにした入力操作と比較して、より直感的かつ確実な入力が可能となる。

[0140] もちろん、操作部 300が座標入力デバイスとスィッチを両方とも備えていても構わない。例えば、図 36のベース部 301の中央に座標入力デバイスをさらに配置してもよい。座標入力デバイスとスィッチを組み合わせることにより、例えば、ユーザーの使用頻度が高く表示部 200に固定的に表示されるような GUI部品については対応するスイッチを操作部 300に設けておくことでその選択操作を容易にすると同時に、それ以外の GUI部品については座標入力デバイスを用いて選択させることで GUI部品の配置を柔軟にし、画面を有効に利用することができる。

[0141] (演算部 400)

次に、演算部 400について説明する。なお、演算部 400に含まれる身体形状抽出部 600についてはすでに説明したため、ここではその説明を省略する。

[0142] 演算部 400の処理は、大きく分けて、ユーザーの身体部分の画像を表示部 200に表示するために実行される処理と、ユーザーの入力操作があつたときに実行される処理とに分けられる。

[0143] まず、ユーザーの身体部分の画像を表示部 200に表示するために実行される制御部 500の処理の流れを、図 37のシーケンス図を参照して説明する。

[0144] ステップ S501において身体形状抽出部 600が身体形状を検出すると、身体形状抽出部 600は制御部 500に身体形状を検出した旨のメッセージを送る。ここで必要であれば、身体形状抽出部 600は身体形状に関する特性 (手の大きさ、左手か右手かなど）を検出し、その特性をメッセージと共に制御部 500に送っても良い。

[0145] ステップ S502において、制御部 500は、その時点での操作モードをチェックする。

ここでは、操作モードとして、ユーザーによる入力操作が許可されているモードと、ュ一ザ一による入力操作が禁止されているモードの 2通りのモードが用意されているものとする。カーナビゲーシヨン装置では、運転者が移動中にカーナビゲーシヨン装置を操作することは危険につながるため、移動中はユーザーによる入力操作が禁止されるのが普通である。

[0146] ステップ S502のチェックによってユーザーによる入力操作が許可されていると判断されると、制御部 500はステップ S503において、表示情報作成部 700に対して表示部 200に表示すべき表示情報を変更するように指示する。表示情報作成部 700はこの指示に従って表示情報を変更する。ここでの表示情報作成部 700による表示情報の変更例を以下に説明する。 [0147] 図 38Aおよび図 38Bは、身体形状抽出部 600が身体形状を検出した場合 (すなわちユーザーの身体部分が操作部 300上に存在する場合)と検出していない場合 (すなわちユーザーの身体部分が操作部 300上に存在しな、場合)とで表示情報を変更する第 1の例である。図 38Aは、身体形状抽出部 600が身体形状を検出していない場合の画面表示例である。ここでは、ユーザーが選択することのできる GUI部品（ここではボタン)の輪郭が、「目的地まで 24分」と書かれた単なるメッセージ表示用の欄と同じ線種で表示されている。図 39Bは、身体形状抽出部 600が身体形状を検出した場合の、図 38Aに対応する画面表示例である。ここでは、ボタンが立体的に表示されるため、ユーザーは選択の対象となる領域がどこかを一目で認識することができる。このように表示情報を変更することによって、ユーザーが入力操作をしょうとしていないときには表示情報を簡素化して表示情報の視認性を向上し、ユーザーが入力操作をしょうとしているときには選択対象を強調表示して操作性を向上することができる。

[0148] 図 39Aおよび図 39Bは、身体形状抽出部 600が身体形状を検出した場合 (すなわちユーザーの身体部分が操作部 300上に存在する場合)と検出していない場合 (すなわちユーザーの身体部分が操作部 300上に存在しな、場合)とで表示情報を変更する第 2の例である。図 39Aは、身体形状抽出部 600が身体形状を検出していない場合の別の画面表示例である。ここでは、ユーザーが選択することのできる GUI部品（ここではボタン）が比較的小さい大きさで表示されている。図 39Bは、身体形状抽出部 600が身体形状を検出した場合の、図 38Aに対応する画面表示例である。ここでは、ボタンが図 39Aと比較してより大きく表示されるため、ユーザーはボタンを選択し易くなる。このように表示情報を変更することによって、ユーザーが入力操作をしようとしてヽな、ときにはボタン以外の情報を見易くし、ユーザーが入力操作をしょうとしているときにはボタンを拡大表示して操作性を向上することができる。

[0149] 図 40Aおよび図 40Bは、身体形状抽出部 600が右手を検出した場合と左手を検出した場合とで表示情報を変更する例である。この場合、身体形状抽出部 600は、検出された身体形状が右手のもの力左手のものかを判定し、その判定結果を身体形状に関する特性として制御部 500に通知する。制御部 500はこの判定結果に基づいて表示情報作成部 700に表示情報の変更を指示する。検出された身体形状が右手のものか左手のものかは、図 24や図 25のようなデータから既存の種々のァルゴリズムを用いて判定することができる。図 40Aは、身体形状抽出部 600が右手を検出した場合の画面表示例であり、図 40Bは、身体形状抽出部 600が左手を検出した場合の画面表示例である。ここでは、車内の運転席と助手席の間に操作部 300が設置されている場合のように、操作部 300が左右両側に 2人のユーザーが存在し、操作部 3 00の右側に存在するユーザーは操作部 300を左手で操作し、操作部 300の左側に存在するユーザーは操作部 300を右手で操作するとヽぅ状況を想定して!/ヽる。つまり、身体形状抽出部 600が右手を検出したということは、操作部 300を操作しているュ一ザ一は操作部 300の左側にいると考えられる。このとき、仮に GUI部品（ここではボタン）が画面の右上に表示されていると、ユーザーがそのボタンを押そうとするときに操作部 300の中央付近がユーザーの手のひらで覆われてしまい、その結果として表示画面の中央付近が手画像で覆われることとなり、画面が見づらくなつてしまう。そこで、このような問題を避けるために、身体形状抽出部 600が右手を検出した場合には、図 40Aのようにボタンが画面の左側に表示され、逆に、身体形状抽出部 600が左手を検出した場合には、図 40Bのようにボタンが画面の右側に表示される。

なお、上の例では、身体形状抽出部 600が右手を検出した場合と左手を検出した場合とでボタンの配置位置を変更するようにしたが、ボタンの機能や形や大きさや数などを変更するようにしても良い。例えば、操作部 300が右ハンドル車の運転席と助手席の間に設置されて!、る場合に、車両の移動中に右手 (すなわち助手席の搭乗者の手)が検出された場合には、文字入力のように比較的複雑な入力操作を要するボタンも画面スクロールのように比較的簡単な入力操作を要するボタンも表示するが、車両の移動中に左手 (すなわち運転者の手）が検出された場合には、安全のために比較的簡単な入力操作を要するボタンだけを表示することが考えられる。同様に、操作部 300が左ハンドル車の運転席と助手席の間に設置されている場合に、車両の移動中に左手 (すなわち助手席の搭乗者の手)が検出された場合には、比較的複雑な入力操作を要するボタンも比較的簡単な入力操作を要するボタンも表示するが、車両の移動中に右手 (すなわち運転者の手)が検出された場合には、比較的簡単な入力操作を要するボタンだけを表示することが考えられる。

[0151] 図 41Aおよび図 41Bは、身体形状抽出部 600が比較的大きい手 (すなわち大人の手)を検出した場合と比較的小さい手 (すなわち子供の手)を検出した場合とで表示情報を変更する例である。この場合、身体形状抽出部 600は、検出された身体形状が比較的大きい手か比較的小さい手かを判定し、その判定結果を身体形状に関する特性として制御部 500に通知する。制御部 500はこの判定結果に基づ、て表示情報作成部 700に表示情報の変更を指示する。検出された身体形状が比較的大きい手のものか比較的小さい手のものかは、例えば図 24の身体領域 607の面積や幅を所定の閾値と比較することにより判定することができる。図 41Aは、身体形状抽出部 6 00が比較的大き、手を検出した場合の画面表示例である。身体形状抽出部 600が比較的大き、手を検出したと、うことは、大人が操作しょうとして、ると考えられるので、入力操作は特に制限されない。図 40Bは、身体形状抽出部 600が比較的小さい手を検出した場合の画面表示例である。身体形状抽出部 600が比較的大き、手を検出したということは、子供が操作しょうとしていると考えられるので、一部または全てのボタンを無効化して入力操作を制限し、さらにボタンが無効化されていることがユーザ一に分力るように、ボタンの色を変化させたり目印を付けたりする。

[0152] なお、上の例では、身体形状抽出部 600が比較的小さい手を検出した場合にボタンの色を変えたり目印を付けたりするとしたが、これに限らず、種々の表示情報の変更例が考えられる。例えば、表示情報に含まれる難しい単語を易しい単語に変更したり、画面構成や色遣いを子供風に変更したりすることも考えられる。

[0153] なお、表示情報の変更の他の例として、表示情報作成部 700は、身体形状抽出部

600によって身体部分の形状が検出された場合にのみ表示情報を生成するようにしてもよい。これにより、ユーザーが入力操作を行わないときに画像表示に係る処理を中断するため、消費電力を抑えることができる。同様に、表示情報作成部 700は、身体形状抽出部 600によって右手 (または左手）が検出された場合にのみ表示情報を生成するよう〖こしてもよい。同様に、表示情報作成部 700は、身体形状抽出部 600によって大人の手 (または子供の手)が検出された場合にのみ表示情報を生成するようにしてもよい。 [0154] なお、身体形状抽出部 600によって検出された形状が必ずしも身体部分の形状であるとは限らない。そこで、身体形状抽出部 600によって検出された形状が身体部分の形状力どうかを判定し、身体部分の形状だった場合と、身体部分以外のものの形状だった場合とで表示情報を変更するようにしても構わない。例えば、身体形状抽出部 600によって検出された形状が身体部分の形状でな力つた場合には、表示情報作成部 700は GUI部品を生成しなヽようにしてもょヽ。これにより身体部分の形状でない場合は、 GUI部品が表示されない分、その他の表示面積が広くなるという利点がある。一方で、身体部分の形状を検出した場合は、ユーザーが GUI部品を操作しようとしていることが予想されるため、表示情報作成部 700は GUI部品を生成するようにする。身体形状抽出部 600によって検出された形状が身体部分の形状かどうかの判定は、前述したパターンマッチングにより可能である。

[0155] 表示情報が変更されると、制御部 500はステップ S504において、画像合成部 800 に対して、身体形状抽出部 600によって作成された身体画像と表示情報作成部 700 によって作成 (変更)された表示情報とを合成するように指示する。画像合成部 800 はこの指示に従って身体画像と表示情報を合成する。画像合成部 800によって合成された画像例を以下に説明する。

[0156] 図 42Aは、身体形状抽出部 600が作成した身体画像 (例えば図 28)を、表示情報作成部 700が作成した表示情報に上書きした場合の画面例である。このようにリアルな手画像を表示することにより、実際に画面に触れているかのような感覚をユーザーに与えることができ、直感的な入力操作が可能となる。

[0157] 図 42Bは、身体形状抽出部 600が作成した輪郭画像 (例えば図 25、図 31、図 33) を身体画像として、表示情報作成部 700が作成した表示情報に上書きした場合の画面例である。このような画像合成により、身体部分の形状と位置が表示されると同時に、身体画像の内側の表示情報も表示されるので、操作中にも表示情報を確認し易くなる。

[0158] 図 42Cは、身体形状抽出部 600が作成した身体画像を、輪郭を不透明にして内部を半透明にするように加工してから、表示情報作成部 700が作成した表示情報に上書きした場合の画面例である。このような画像合成により、直感的な入力操作が可能となると同時に、操作中にも表示情報を確認し易くなる。

[0159] 図 42Dは、身体形状抽出部 600が作成した輪郭画像を、指先部分が強調表示されるように加工してから、表示情報作成部 700が作成した表示情報に上書きした場合の画面例である。このような画像合成により、ユーザーは自分が押そうとしている位置を素早く確認することができ、なおかつ身体画像の内側の表示情報も表示されるので、操作中にも表示情報を確認し易くなる。なお、指先部分を検出する方法としては、例えば輪郭の形状からパターンマッチング手法を用いて指先部分を特定したり、図 23のような画像データ力も爪の部分を抽出したりといった方法が考えられる。また、強調表示の例としては、印を表示したり、色を変更したり、透明度を変更したり、さらには、指先に行くほど徐々に輪郭の色を濃くしたり、指先に行くほど徐々に輪郭の透明度を小さくしたりすることが挙げられる。

[0160] 図 42Eは、身体形状抽出部 600が作成した身体画像を、半透明または不透明の影を付加してから、表示情報作成部 700が作成した表示情報に上書きした場合の画面例である。このような画像合成により、実際に画面に触れているかのような感覚をユーザ一に与えることができる。

[0161] 上記の図 42A〜図 42Eの例は、身体画像を必要に応じてカ卩ェして力表示情報作成部 700が作成した表示情報に上書きするものであるが、画像合成の際に手画像以外を加工することも考えられる。以下、そのような例について説明する。

[0162] 図 42Fは、身体形状抽出部 600が作成した身体画像を表示情報に上書きするとその一部または全体が隠れてしまうような GUI部品について、その近傍に補助情報 (G UI部品のラベルや補助説明などの情報）をポップアップ表示した例である。この表示を実現するために、画像合成部 800はまず、表示情報作成部 700が作成した表示情報に含まれる各 GUI部品が身体画像と重なるかどうかを既知のアルゴリズムを用いて判断する。そして、身体画像と重なる GUI部品があれば、その GUI部品の位置から所定の方向（右方向や上方向など）に離れて存在する身体画像と重ならないような領域を見つけ、その領域にその GUI部品の補助情報を表示する。このような画像合成により、ユーザーは、画面に表示された任意の GUI部品に関する情報を、その GUI 部品に身体画像を重ねることによって簡単に取得することができる。また、身体画像によって隠れてしまった GUI部品を、手を移動させることなく識別することができ、操作性が向上する。

[0163] 図 42Gは、身体形状抽出部 600が作成した身体画像を表示情報に上書きするとその一部または全体が隠れてしまうような GUI部品について、その GUI部品のラベルを身体画像に上書きした例である。なお、図 42Gの例では、隠れた GUI部品のラベルのみを身体画像に上書きしている力隠れた GUI部品の形状もあわせて上書きしても良い。このような画像合成により、ユーザーは、身体画像によって隠れてしまった G UI部品を、手を移動させることなく識別することができ、操作性が向上する。

[0164] 図 42Hは、身体形状抽出部 600が作成した身体画像を表示情報に上書きしたときに身体画像の指先部分に重なる GUI部品を強調表示した例である。このような画像合成により、ユーザーは身体画像の指先がどの GUI部品の上にあるのかを容易に確認することができる。なお、指先部分の位置を検出する方法としては、例えば輪郭の形状からパターンマッチング手法を用いて指先部分を特定したり、図 23のような画像データ力も爪の部分を抽出したりといった方法が考えられる。また、強調表示は、例えば、色の変更、透明度の変更、形状の変更、線種 '線の太さの変更、文字書式の変更、アイコンの変更、色や透明度の連続的な変更 (グラデーション)など、種々の方法により可能である。

[0165] なお、画面の領域によって手画像の合成方法を変更することも考えられる。以下、図 421および図 42Jを参照して、そのような例について説明する。

[0166] 図 421の例では、画面が地図領域とテレビ領域に分割されており、ユーザーの手は両方の領域にまたがった位置に存在している力地図領域でのみ合成され、テレビ領域では合成されない。これは、例えばテレビ領域では操作する対象のボタンがないため、手画像を合成する必要がないためである。このようにすることで、テレビ領域の視認性を高めつつ、テレビ領域では操作する対象がな、ことをユーザーに知らせることがでさる。

[0167] 図 42Jの例では、図 421の例と同様に、画面が地図領域とテレビ領域に分割されており、ユーザーの手が両方の領域にまたがった位置に存在している力地図領域では不透明のまま合成され、テレビ領域では輪郭のみが合成されている。これは例えば、図 421の例では、完全に非表示になるために、手が切れた形で表示されるのを嫌い、より自然な形で手形状を表示しつつ、テレビ領域の視認性の低下を最低限におさえるためである。

[0168] 次に、ユーザーの入力操作があつたときに実行される制御部 500の処理の流れを、図 43のシーケンス図を参照して説明する。

[0169] ステップ S511において、操作部 300は、ユーザーによる接触操作もしくは押圧操作を検出すると制御部 500にメッセージを送る。ただし前述のように、操作部 300が単に座標データだけを制御部 500に出力し、この座標データに基づいて制御部 500 が接触操作などを検知するようにしても構わな、。

[0170] ステップ S512において、制御部 500は、表示情報作成部 700に対して表示情報を変更するように指示する。表示情報作成部 700は、制御部 500の指示に従って表示情報を変更する。ここでの表示情報の変更例を図 44Aおよび図 44Bを用いて説明する。

[0171] 図 44Aは、ユーザーが触れた (または押した)操作部 300上の点に対応する GUI 部品（すなわちユーザーによって選択された GUI部品）を強調表示する例である。図 44Aの例では、ユーザーによって選択された GUI部品（ここではボタン）力ボタンが押し込まれたような画像に変更されている。なお図 44Aでは便宜上、手画像が図示されているが、実際には、表示情報作成部 700が作成する表示情報に手画像は含まれない。このような表示情報の変更により、ユーザーは、自分が選択しょうとした GUI 部品を正しく選択できたかどうかを容易に確認することができ、操作性が向上する。

[0172] 図 44Bは、ユーザーが触れた (または押した)操作部 300上の点に対応する画面上の点を強調表示する例である。図 44Bの例では、ユーザーが触れた (または押した）操作部 300上の点に対応する画面上の点に、あた力も指紋が残ったかのように、円形の目印が上書きされている。この円形の目印は、この目印が表示されてから一定時間が経過するか、ユーザーが再び操作部 300に触れる（または押す)までの間表示される。このような表示情報の変更により、ユーザーは、自分が指定しょうとした画面上の点を正しく指定できた力どうかを容易に確認することができる。特に、自分が指定しょうとした点と実際に指定された点とがずれていた場合に、ずれた方向と距離を確認することができる。

[0173] 表示情報が変更されると、制御部 500はステップ S513において、画像合成部 800 に対して、身体形状抽出部 600によって作成された身体画像と表示情報作成部 700 によって作成された表示情報とを合成するように指示する。画像合成部 800はこの指示に従って身体画像と表示情報を合成する。

[0174] 以上のように、本実施形態の入力装置によれば、ユーザーが画面に直接触れることなぐし力も操作時に手元を見ることなしに、 GUIを利用した直感的な入力操作を行うことができる。

産業上の利用可能性

[0175] 本発明の入力装置は、タツチパネルディスプレーのような直感的な入力操作を、画面に直接触れることなしに行えるようにしたものであり、ディスプレーから離れた位置で入力操作を行う場合や、表示手段として遠焦点ディスプレーを利用する場合に好適である。また、入力操作時に手元を見る必要がないため、カーナビゲーシヨン装置の入力装置としても好適である。

Claims

請求の範囲

[1] ユーザーが機器に対して命令や情報を入力するための入力装置であって、

ユーザーによって操作され、当該操作に対応した操作信号を出力する操作部と、ユーザーによる操作の補助となる表示画像を作成する表示情報作成部と、前記操作に関わるユーザーの身体部分を撮像するカメラを含み、当該撮影の結果として得られた画像データを出力する身体形状入力部と、

前記身体形状入力部から出力される画像データに基づいて前記身体部分の形状および位置を検出し、当該検出された身体部分の形状および位置を補正するための形状補正処理を行って、前記身体部分を表す身体画像を作成する身体形状抽出部と、

前記表示情報作成部が作成した表示画像と前記身体形状抽出部が作成した身体画像を合成する画像合成部と、

前記画像合成部が合成した画像を表示する表示部とを備えた入力装置。

[2] 前記身体形状抽出部は、前記形状補正処理として、前記カメラと前記操作部の相対的な位置関係を考慮した視点変換処理を行うものであることを特徴とする、請求項 1に記載の入力装置。

[3] 前記身体形状抽出部は、前記身体形状入力部から出力される画像データから検出された形状が身体部分の形状であるかどうかを、予め保持してお!、た身体部分の形状パターンを用いたパターンマッチングによって判定するものであることを特徴とする、請求項 1に記載の入力装置。

[4] 前記身体形状抽出部は、前記身体形状入力部から出力される画像データから検出された身体部分の形状を前記形状パターンに基づいて補正するものであることを特徴とする、請求項 3に記載の入力装置。

[5] 前記操作部の所定位置には、前記形状補正処理で利用される目印が付されており前記身体形状抽出手段は、前記カメラから出力された画像データ中の前記目印の位置が前記表示部の画面上の所定位置に変換されるように形状補正処理を行うものであることを特徴とする、請求項 1に記載の入力装置。

[6] 前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像の輪郭を強調するものであることを特徴とする、請求項 1に記載の入力装置。

[7] 前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像の透明度を変化させ、かつ当該身体画像の輪郭を強調するものであることを特徴とする、請求項 1に記載の入力装置。

[8] 前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像におけるユーザーの指先部分を検出し、当該指先部分を強調するものであることを特徴とする、請求項 1に記載の入力装置。

[9] 前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像の影を付すものであることを特徴とする、請求項 1に記載の入力装置。

[10] 前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像によって隠れてしまう前記表示画像中の表示情報を、当該身体画像によって隠れてしまわな!/、ような領域にポップアップ表示させるものであることを特徴とする、請求項 1に記載の入力装置。

[11] 前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像によって隠れてしまう前記表示画像中の表示情報を、当該身体画像よりも前面に表示させるものであることを特徴とする、請求項 1に記載の入力装置。

[12] 前記画像合成部は、前記表示画像と前記身体画像を合成するときに、当該身体画像におけるユーザーの指先部分を検出し、当該指先部分に重なる前記表示画像中の表示情報を強調するものであることを特徴とする、請求項 1に記載の入力装置。

[13] 前記画像合成部は、前記指先部分に重なる前記表示画像中の表示情報を拡大する、もしくは当該表示情報の色を変化させる、もしくは当該表示情報を立体的に見えるように変化させる、もしくは当該表示情報に関する補助情報をポップアップ表示させることによって、当該表示情報を強調するものであることを特徴とする、請求項 12 に記載の入力装置。

[14] 前記表示情報作成部は、前記身体形状抽出部における前記身体部分の形状の検出結果に応じて、作成すべき表示画像を変更するものであることを特徴とする、請求項 1に記載の入力装置。

[15] 前記表示情報作成部は、前記身体形状抽出部において前記身体部分の形状が検出されたときにのみ表示画像を作成するものであることを特徴とする、請求項 14に記載の入力装置。

[16] 前記表示情報作成部は、前記身体形状抽出部において前記身体部分の形状が検出された場合に、作成すべき表示画像中の GUI部品を強調するものであることを特徴とする、請求項 14に記載の入力装置。

[17] 前記身体形状抽出部は、前記身体形状入力部が取得した情報に基づいて検出した形状が、身体部分の形状力どうかを判断するものであり、

前記表示情報作成部は、前記身体形状抽出部の判断結果に応じて、作成すべき表示情報を変更するものであることを特徴とする、請求項 14に記載の入力装置。

[18] 前記身体形状抽出部は、検出した身体部分の形状に基づいて、当該身体部分が右手か左手かを判断するものであり、

前記表示情報作成部は、前記身体形状抽出部の判断結果に応じて、作成すべき表示画像を変更するものであることを特徴とする、請求項 14に記載の入力装置。

[19] 前記表示情報作成手段は、前記身体形状抽出部において検出された身体部分の形状が右手または左手のものの場合にのみ表示情報を作成するものであることを特徴とする、請求項 18に記載の入力装置。

[20] 前記表示情報作成部は、前記身体形状抽出部において検出された身体部分の形状が右手または左手のものの場合に、作成すべき表示画像中の GUI部品を強調表示、もしくは当該 GUI部品の位置を変更、もしくは当該 GUI部品の有効性を変更するものであることを特徴とする、請求項 18に記載の入力装置。

[21] 前記身体形状抽出部は、検出した身体部分の形状に基づいて当該身体部分が大人のものか子供のものかを判断するものであり、

[22] 前記表示情報作成部は、前記身体形状抽出部において検出された身体部分の形状が大人または子供のものの場合にのみ表示情報を作成するものであることを特徴とする、請求項 21に記載の入力装置。

[23] 前記表示情報作成部は、前記身体形状抽出部において検出された身体部分の形状が大人または子供のものの場合に、作成すべき表示画像中の GUI部品を強調表示、もしくは当該 GUI部品の位置を変更、もしくは当該 GUI部品の有効性を変更するものであることを特徴とする、請求項 21に記載の入力装置。

[24] 当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの 2 つの動作モードを有し、

前記画像合成部は、ユーザーによる入力操作が可能なモードのときには、前記表示情報作成部が作成した表示画像を、前記身体画像と合成することなしに、そのまま前記表示部に表示させるものであることを特徴とする、請求項 1に記載の入力装置。

[25] 当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの 2 つの動作モードを有し、

前記画像合成部は、前記動作モードに応じて、前記表示情報作成部が作成した表示画像と前記身体画像との合成方法を変更するものであることを特徴とする、請求項 1に記載の入力装置。

[26] 前記画像合成部は、ユーザーによる入力操作が可能なモードのときには前記身体画像が半透明で表示、もしくは輪郭を強調して表示、もしくは半透明でかつ輪郭を強調して表示され、ユーザーによる入力操作が不可能なモードのときには当該身体画像が不透明で表示されるように、前記表示画像と前記身体画像を合成するものであることを特徴とする、請求項 25に記載の入力装置。

[27] 前記画像合成部は、前記表示画像の各部分によって、合成方法を変更することを特徴とする、請求項 1に記載の入力装置。

[28] 前記表示画像は、操作可能な領域と不可能な領域を有し、

前記画像合成部は、前記表示画像の操作可能な領域では前記身体画像を合成し、前記操作不可能な領域では前記身体画像を合成しないことを特徴とする、請求項 27に記載の入力装置。