JP6596501B2 - 映像表示装置およびこれに用いる操作検出方法 - Google Patents

Description

本発明は、表示面又は投射面に映像を出力する映像表示装置およびこれに用いる操作検出方法に関する。

映像の表示面あるいは投射面を操作面としてユーザが行う操作を検出するために、カメラにより操作面を撮像し、その撮像画像からユーザの手や指の動きを検出する方法が知られる。その際、操作面に２つの照明光を照射し、これにより生じる２つの影の形状から操作面への手や指の接近度や接触点を検出することができる。

これに関し特許文献１には、複数の光源から光を照射して形成された複数の影を１つのカメラで撮像する場合、カメラは所定のフレームレートで撮像し、複数の光源は、カメラのフレームレートに同期させてフレームごとに異なる光源を選択して光を照射する構成が記載されている。

特開２０１２−６８６９０号公報

影の撮像による操作検出方式では、影のコントラストが低下すると操作検出の精度が悪化する。例えば、図１７（ａ）（ｂ）に示すように２つの照明１０２，１０３を同時に点灯すると、第１の照明１０２によって生じた指３００の影３０２を第２の照明１０３が照らすことで、カメラ１０１によって撮像される影が薄くなり、コントラストが低下してしまう。比較のために（ｃ）（ｄ）は片側の照明１０３のみを点灯させた場合であり、影３０１のコントラストの低下は生じない。

特許文献１の構成によれば、カメラのフレームレートに同期させてフレーム毎に異なる光源を選択して光を照射するので、影は選択された１つの照明のみで生じるものとなりコントラストの低下を回避できる。しかしながら、使用するカメラのイメージセンサ（撮像素子）が一般的に多く用いられるローリングシャッター方式の場合には、露光タイミングのずれにより１つのフレーム画像に複数の照明による影が混在して生じる場合がある。

例えば図１８（ａ）に示すイメージセンサ４００を用いて、（ｂ）のように２つの照明１０２，１０３をフレームごとに交互に点灯させた場合を想定する。イメージセンサ４００の走査ライン４０１によって露光開始タイミングがずれているため、各フレーム４０２，４０３では、２つの照明１０２，１０３によって照射された画像が混在することになる。すなわち、カメラにより撮像される影は、（ｃ）のように、同一フレーム内でそれぞれの照明による影３０１，３０２が混在し、指３００の両側に発生する。

図１９も同様であり、２つの照明１０２，１０３を交互に点灯させ、ローリングシャッター方式のカメラ１０１で撮像した影を示す。（ａ）（ｂ）は指３００が操作面２０１から離れているとき、（ｃ）（ｄ）は指３００が操作面２０１に接触しているときである。いずれの場合も、同一フレーム内で２の照明が切り替わるため、撮像画像では指３００の両側にそれぞれの照明による影３０１，３０２が分離して発生する。

これに関し、操作検出においてはカメラで撮像した動画像を解析する訳であるが、解析精度の観点から、扱う画像はフレーム単位に完結していることが望ましい。よって、１つのフレーム内で２つの影画像が混在し、言い換えれば１つの影画像が２つのフレームに分断されることは、解析の妨げになる。このようにローリングシャッター方式のカメラで撮像するときには、本来抽出したい１つの照明のみによる影の画像が得られない場合があり、操作検出結果の信頼性が低下する。

本発明は上記の課題を鑑み、ローリングシャッター方式のカメラで撮像する場合であっても、複数の照明の影が混在せず影のコントラスト低下のない操作検出方法とこれを用いた映像表示装置を提供することを目的とする。

上記課題を解決するために、本発明の映像表示装置は、操作面にそれぞれ異なる方向から操作検出用の照明光を照射する第１の照明と第２の照明と、照明光が照射された操作面をユーザの操作オブジェクトとともに撮像するローリングシャッター方式の撮像素子を用いる撮像部と、撮像部の撮像画像に基づいてユーザの操作オブジェクトが操作面に接触した接触点を検出する接触点検出部と、を備える。ここに接触点検出部の接触点検出処理は、第１の照明と第２の照明とが交互に点灯を繰り返すことにより生じるユーザの操作オブジェクトの影の撮像画像を利用するものであり、第１の照明と第２の照明の交互点灯における一方の照明の点灯期間が、撮像部の１フレームの撮像周期よりも長いことを特徴とする。

また、本発明の操作検出方法は、第１の照明と第２の照明により操作面にそれぞれ異なる方向から操作検出用の照明光を照射するステップと、ローリングシャッター方式の撮像素子を用いる撮像部により、照明光が照射された操作面をユーザの操作オブジェクトとともに撮像するステップと、撮像部の撮像画像に基づいてユーザの操作オブジェクトが操作面に接触した接触点を検出するステップと、を備える。ここに接触点を検出するステップは、第１の照明と第２の照明とが交互に点灯を繰り返すことにより生じるユーザの操作オブジェクトの影の撮像画像を利用するものであり、照明光を照射するステップは、第１の照明と第２の照明の交互点灯における一方の照明の点灯期間が、撮像部の１フレームの撮像周期よりも長いことを特徴とする。

本発明によれば、カメラにより撮像した影により操作検出を行う場合、複数の照明の影が混在せず、また影のコントラストを低下せずに撮像することができる。これにより操作検出処理が安定し、映像表示装置の操作性が向上する。

実施例１における映像表示装置の全体構成を示す図。 操作検出部の概観、及び操作中のユーザの様子の一例を示す図。 指が操作面に非接触時の指の影の一例を示す図。 指が操作面に接触時の指の影の一例を示す図。 指と操作面と距離に応じた影の変化を示す図。 指の接触点を検出する方法を示す図。 実施例１における照明の切り替えと利用するフレーム画像を示す図。 照明の点灯制御とフレーム画像の取得処理を示すフロー図。 照明切り替え時間を考慮した照明の切り替え制御を示す図。 実施例２における照明の切り替えと利用するフレーム画像を示す図。 照明の点灯制御とフレーム画像の取得処理を示すフロー図。 実施例３における照明の切り替えと利用するフレーム画像を示す図。 照明の点灯制御とフレーム画像の取得処理を示すフロー図。 実施例４における照明の切り替えと利用するフレーム画像を示す図。 実施例５における撮像動作を示す図。 実施例６における撮像動作を示す図。 ２つの照明を同時に点灯した場合の影の例を示す図。 ローリングシャッター方式により各照明の影が混在する理由を示す図。 各照明の影が混在する例を示す図。

以下、本発明の実施例を図面を用いて説明する。各実施例では、１つのローリングシャッター方式のカメラと２つの照明とを用いてユーザの操作を検出し、検出結果に基づいて映像表示部を制御する構成について説明する。

図１は、実施例１における映像表示装置の全体構成を示す図である。映像表示装置は、操作検出部１００と映像表示部１１２を接続して構成している。操作検出部１００は、操作オブジェクトであるユーザの指と操作面の接近度合や接触点等を検出し、検出結果データ１１１を映像表示部１１２に転送する。

映像表示部１１２は、映像を投射面に投射して表示するプロジェクタや、映像を表示面に表示するディスプレイ、あるいはヘッドマウントディスプレイ等であり、操作検出部１００から転送された検出結果データ１１１に基づき、表示する映像の切り替えや表示状態等を制御する。

操作検出部１００において、１０１はカメラ、１０２及び１０３は照明、１０４はスイッチ、１０５はフレーム検出部、１０６は影領域抽出部、１０７は輪郭検出部、１０８は接触点検出部、１０９は制御部、１１０は出力部である。

なお、図１では１０１〜１１０の各部は独立しているが、必要に応じて１または複数の構成要件で構成してもよい。例えば、１０５〜１１０は１または複数の中央処理装置（ＣＰＵ）でその処理を行うように構成してもよい。また、図１では１０１〜１１０の各部を全て操作検出部１００の内部に構成しているが、１または複数の構成要件を操作検出部１００の外部に構成し、ネットワーク接続やユニバーサルシリアルバス（ＵＳＢ）接続や、その他の有線、無線接続によって操作検出部１００に結合しても良い。

カメラ（撮像部）１０１は、ローリングシャッター方式のイメージセンサ（撮像素子）、レンズ等で構成され、画像を撮像する。なお、カメラ１０１は、露光タイミングが画素ラインによって異なるイメージセンサであれば、他のシャッター方式のイメージセンサを用いても良い。本明細書では、このようなシャッター方式を全て「ローリングシャッター方式」と呼ぶことにする。

第１の照明１０２及び第２の照明１０３は、発光ダイオード、回路基盤、レンズ等で構成され、前記カメラ１０１で撮像する領域を照射する。なお、カメラ１０１、照明１０２及び照明１０３は、赤外カメラと赤外照明で構成し、赤外画像を撮像することで後述する指の状態を検出する処理を行っても良い。また、照明の光源は、レーザ等の発光ダイオード以外の光源でも良い。

スイッチ１０４は、回路基板やソフトウェア等で構成され、フレーム検出部１０５によって送られた信号を元に照明１０２及び照明１０３の点灯及び消灯を制御する。例えば、フレーム検出部１０５から信号Ａが送られていた場合には第１の照明１０２を点灯し第２の照明１０３を消灯し、フレーム検出部１０５から信号Ｂが送られていた場合には第１の照明１０２を消灯し第２の照明１０３を点灯する。

フレーム検出部１０５は、回路基板やソフトウェア等で構成され、カメラ１０１で１つのフレームの撮像が完了したことを検出し、予め設定した周期に応じてスイッチ１０４に照明切り替え用の信号を送信する。例えば、カメラ１０１で撮像されたフレーム数が２フレーム分完了した時に、スイッチ１０４に送る信号をＡとＢとで交互に切り替える。なお、フレーム検出部１０５において信号を切り替える周期は、カメラの撮像周期と照明切り替え時間に応じて定めるようにする。

影領域抽出部１０６は、回路基板やソフトウェア等で構成され、カメラ１０１で撮像したフレーム単位の画像から影の領域を検出する。影の領域は、例えば、予め撮像した背景画像と最新の撮像画像との差分から差分画像を生成し、前記差分画像を所定の輝度の閾値で二値化することで得られる。なお、影領域抽出部１０６の処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いても良い。

輪郭検出部１０７は、回路基板やソフトウェア等で構成され、影領域抽出部１０６によって得られた影の領域の輪郭を検出する。影領域の輪郭は、例えば、最初に影領域の左上端の画素を求め、逐次的に隣接する画素を探索することによって得られる。なお、輪郭検出部１０７の処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いても良い。

接触点検出部１０８は、回路基盤やソフトウェア等で構成され、影の形状や位置に基づいて、操作面に対する指の接触点を検出する。

制御部１０９は、回路基板やソフトウェア等で構成され、カメラ１０１、第１の照明１０２、第２の照明１０３、スイッチ１０４、フレーム検出部１０５、影領域抽出部１０６、輪郭検出部１０７、接触点検出部１０８、出力部１１０を制御する。

出力部１１０は、ネットワーク接続やＵＳＢ接続、超音波ユニット、赤外線通信装置等で構成され、映像表示部１１２と通信できるインタフェースである。
検出結果データ１１１は、操作検出部１００が前記出力部１１０を介して映像表示部１１２に出力するデータであり、接触状態情報や接触点座標が含まれる。

図２は、操作検出部１００の概観、及び操作中のユーザ２００の様子の一例を示す図である。（ａ）（ｂ）に示すように、カメラ１０１は操作面２０１の撮像領域２０２で示す範囲を撮像している。また操作面２０１には、図示しない映像表示部１１２により映像が表示可能となっている。すなわち、操作面２０１は映像表示面に重畳されている。第１の照明１０２と第２の照明１０３は、操作面２０１に対しそれぞれ異なる方向から操作検出用の照明光を照射している。ユーザ２００が撮像領域２０２中の操作領域２０３で操作面２０１に指を触れると、操作検出部１００は接触点を検出する。

以下、操作検出の例として指の接触点の検出処理を図面を用いて説明する。なお、操作オブジェクトはユーザの指や手に限らず、操作ペンなども同様に使用できることは言うまでもない。
図３〜図５は、照明１０２あるいは照明１０３を点灯した際に、指３００と操作面２０１との接触有無による影の形状の違いの一例を示す図である。

図３（ａ）は指３００が操作面２０１に接触していない場合の影を示す。照明１０３が点灯している場合には照明１０３によって投影される影３０１と、照明１０２が点灯している場合には照明１０２によって投影される影３０２とができ、影３０１と影３０２はそれぞれが離れた状態となる。図３（ｂ）は、図３（ａ）に示すような影ができる原理を説明している。投射面上方から見た場合、照明１０３が照射する光が指３００で遮断され、操作面２０１上に影３０１ができる。また、照明１０２が照射する光が指３００で遮断され、操作面２０１上に影３０２ができる。したがって、カメラ１０１が撮像する画像において、影３０１と影３０２はそれぞれが離れた状態となる。

一方、図４（ａ）は指３００の指先が操作面２０１に接触している場合の影を示す。影３０１と影３０２は、指３００の指先の位置で接近した状態となる。図４（ｂ）は、図４（ａ）に示すような影ができる原理を説明している。投射面上方から見た場合、照明１０３が照射する光が指３００で遮断され、操作面２０１上に影３０１ができる。また、照明１０２が照射する光が指３００で遮断され、操作面２０１上に影３０２ができる。したがって、カメラ１０１が撮像する画像において、影３０１と影３０２は指先の位置で接近した状態となる。

図５は、影３０１及び影３０２が１つの画像で得られた時の様子を仮想的に示す。指３００と操作面２０１との距離が最も近い場合では、影３０１と影３０２は指先の位置で接近した状態となる。指３００と操作面２０１が離れると、影３０１と影３０２との距離は次第に大きくなる。指３００と操作面２０１との距離が最も遠い場合では、影３０１と影３０２はそれぞれが離れた状態となる。このように、影３０１と影３０２との距離は、指３００が操作面２０１から離れるにしたがって大きくなる。

図６は操作面に対する指の接触点を検出する方法を示す。まず、輪郭検出部１０７は、指３００の影３０１の先端３１１及び影３０２の先端３１２を検出する。次に接触点検出部１０８は、影３０１の先端３１１及び影３０２の先端３１２の距離を計算し、距離が予め定めた値以下である場合は指３００が操作面２０１に接触していると判定する。そして、先端３１１と先端３１２の中点３１０を指３００と操作面２０１との接触点として検出する。

先に図１８及び図１９で述べたように、ローリングシャッター方式のイメージセンサ（撮像素子）４００を用いたカメラの場合、イメージセンサの走査ラインによって露光開始タイミングにずれが存在するため、カメラにより撮像されるフレーム単位の画像にそれぞれの照明の影が混在してしまい、本来抽出したい影の像を得られないという課題があった。

これに対し本実施例では、２フレームに１回の周期で点灯する照明を切り替えるようにし、照明を切り替えた際に撮像中のフレーム画像については利用しないように制御することで、１つの照明のみによる影の画像を利用する。すなわち、第１の照明と第２の照明の交互点灯において、一方の照明の点灯期間を、イメージセンサの１フレームの撮像周期よりも長く設定している。また、照明の切り替えは、利用しないフレーム画像に続く次のフレーム画像の露光が開始するタイミングに合わせて切り替えるよう制御する。

図７は、実施例１における照明の切り替えタイミングと利用するフレーム画像を示す図である。以下、撮像する各フレームに番号をつけて時間経過に従って説明する。イメージセンサによる１フレームの撮像周期（フレーム周期）をＴとする。

フレーム画像Ｎでは露光時間中を通じて第１の照明が点灯しており、フレーム画像Ｎでは第１の照明による影のみが写ったフレーム画像が得られる。この画像は有効であり、影領域抽出部１０６に送られ、影検出に利用される。フレーム検出部１０５がフレーム画像Ｎの撮像完了を検出すると、スイッチ１０４に点灯する照明を切り替える信号を送信し、第１の照明に替わって第２の照明が点灯される。

なお、図中の記号ｄｔは、イメージセンサがフレーム画像Ｎの撮像を完了して次々フレーム画像（Ｎ＋２）の露光を開始するまでに要する時間を示す。以下、この時間ｄｔを「露光切り替え時間」と呼ぶことにする。この露光切り替え時間ｄｔは、イメージセンサ内の上端、下端における走査ラインの露光開始タイミングのずれ量によって決まる。そこで、第２の照明の点灯開始タイミングはフレーム画像Ｎの撮像完了時点よりもｄｔだけ遅らせる。つまり、照明の切り替えタイミングを、次々フレーム画像（Ｎ＋２）に対する露光開始タイミングに合わせている。

第２の照明への切り替え時には、すでに次のフレーム画像（Ｎ＋１）の露光が開始されており、その露光途中で点灯している照明が第１の照明から第２の照明に切り替わるため、フレーム画像（Ｎ＋１）にはそれぞれの照明の影が混在してしまう。すなわちフレーム画像（Ｎ＋１）は利用しない無効な画像であり、制御部１０９は影領域抽出部１０６に対し、フレーム画像（Ｎ＋１）を利用しない（「捨てフレーム」と表記）ように制御する。その後、フレーム検出部１０５はフレーム画像（Ｎ＋１）の撮像完了を検出するが、ここではスイッチ１０４に照明の切り替え信号を送信せず、第２の照明の点灯を継続させる。

次のフレーム画像（Ｎ＋２）については、露光時間中を通じて第２の照明のみが点灯しており、フレーム画像（Ｎ＋２）では第２の照明による影のみが写ったフレーム画像が得られる。この画像は有効であり、影領域抽出部１０６に送られ、影検出に利用される。

このようにして影領域抽出部１０６は、１フレーム毎に撮像画像が間引かれた画像列、フレーム画像Ｎ，Ｎ＋２，Ｎ＋４，・・・を用いて影領域抽出を行うとともに、それに続く輪郭検出部１０７や接触点検出部１０８では輪郭検出や接触点検出を行う。この方法によれば、カメラと２つの照明が同期して撮像して影検出を行う場合に、ローリングシャッター方式などのイメージセンサを用いたカメラであっても、影のコントラストを損なわず、かつ、複数の照明の影が混在することのないフレーム画像が得られ、これを用いて影の解析を行うことができる。

図８は、実施例１における照明の点灯制御とフレーム画像の取得を示す処理フローである。これらの処理は、フレーム検出部１０５により制御される。

Ｓ１００１では、初期状態として照明１０２もしくは照明１０３を点灯させる。Ｓ１００２ではフレーム番号ｉを初期化し、ｉ＝０とする。
Ｓ１００３では、カメラがフレーム画像を１枚撮像し、フレーム検出部１０５がその撮像完了を検出する。

Ｓ１００４では、フレーム検出部１０５はフレーム番号ｉが偶数か否かを判定する。偶数の場合はＳ１００５に進み、奇数の場合はＳ１００７に進む。なお、ｉ＝０は偶数と判定する。
Ｓ１００５では、フレーム検出部１０５はスイッチ１０４へ照明の切り替え信号を送り、点灯する照明を切り替える。Ｓ１００６では、この時点で撮像完了したフレーム画像（ｉ：偶数）は、影領域抽出部１０６で利用される。

Ｓ１００７では、フレーム検出部１０５は影領域抽出部１０６に対し、この時点で撮像完了したフレーム画像（ｉ：奇数）は「捨てフレーム」として破棄するよう指示する。

Ｓ１００８では、制御部１０９からの指示等により撮像を終了するかを判定し、終了する場合は、フレーム検出部１０５は一連の処理を終了する。終了しない場合は、Ｓ１００９へ進む。
Ｓ１００９では、フレーム番号をインクリメントし、ｉ＝ｉ＋１とする。そして、上記Ｓ１００３に戻り次のフレーム画像を撮像する。

以上の処理フローにより、図７に示した照明の切り替えとフレーム画像の取得を実現できる。すなわち、フレーム番号ｉが偶数となるフレーム画像Ｎ，Ｎ＋２，Ｎ＋４・・・（Ｎ＝０とする）が利用され、それに挟まれたｉが奇数となるフレーム画像は利用されずに破棄される。

上記のように、現在のフレームの撮像完了から次々フレームの露光開始までの露光切り替え時間ｄｔは、ローリングシャッター方式における上下端の走査ラインの露光タイミングずれの大きさに依存する。一方、点灯させる照明の切り替えについても、スイッチ１０４から切り替え信号を受けて２つの照明光が瞬時に切り替わるのではなく、切り替え開始から切り替えが完了するまでにはある時間幅ｄｓが必要である。この時間ｄｓを「照明切り替え時間」と呼ぶことにする。これらの切り替え時間ｄｔ、ｄｓを考慮し、図７のような照明の切り替えを行うための条件について説明する。

図９は、照明切り替え時間ｄｓを考慮した照明の切り替えタイミングを示す図である。第１の照明から第２の照明への切り替えに要する時間をｄｓとする。そしてこの照明切り替え時間ｄｓは、フレーム画像Ｎの撮像完了からフレーム画像（Ｎ＋２）の露光開始までの露光切り替え時間ｄｔよりも短いことが必要である。なぜなら、照明切り替え時間ｄｓが露光切り替え時間ｄｔよりも長いと、利用するフレーム画像（Ｎ＋２）の露光開始部分に、第１の照明による影が混在する恐れがあるからである。このように、第２の照明への切り替えを、次のフレーム画像（Ｎ＋２）の露光開始タイミングよりも早く完了させることで、利用するフレーム画像（Ｎ＋２）の全領域において、切り替え後の照明光を確実に照射させ、２つの照明による影画像の混在を防止できる。

このように実施例１では、ローリングシャッター方式の１つのカメラと２つの照明とを用いて、指や手に関する２つの影から指の接触を検出する際に、カメラのフレーム画像の撮像完了を検出し、２フレーム分の撮像が完了する毎に点灯させる照明を交互に切り替えるようにした。言い換えれば、２つの照明を交互に点灯させるときの一方の照明の点灯期間が、カメラの１フレームの撮像周期よりも長くしている。また、撮像された２フレームのうち２つの照明による影画像が混在するフレーム画像については利用しないようにした。これにより、利用するフレーム画像には２つの照明による影が混在せず、また影のコントラストを損なうことがない。以上の結果、操作検出部１００による接触点検出処理が安定し、これを備える映像表示装置１では操作性が向上する効果がある。なお、本実施例では、利用しないフレーム画像は２フレームのうち１フレームとなるので、フレームの利用率は５０％と言える。

上記の実施例では２つの照明の場合を説明したが、照明が３個以上の複数ある場合にも適用できる。その場合は、複数の中から点灯する照明を逐次切り替えて撮像すればよい。

実施例２では、照明切り替え時間ｄｓが、フレーム画像Ｎからフレーム画像（Ｎ＋２）までの露光切り替え時間ｄｔよりも長い場合について説明する。この場合、照明の切り替えがフレーム画像（Ｎ＋２）の露光開始に間に合わないので、照明の切り替えが完了するまでの期間に撮像された２枚以上のフレーム画像を利用しない構成とする。

図１０は、実施例２における照明の切り替えタイミングと利用するフレーム画像を示す図である。この場合、照明の切り替え時間ｄｓが長く、次々フレーム画像（Ｎ＋２）の露光開始までの時間ｄｔ内に切り替えを完了できない。よって、第２の照明への切り替えは、その後の複数のフレーム画像撮像完了後に完了し、その間に撮像したフレーム画像は利用しないようにする。この例では、次に利用するのはフレーム画像（Ｎ＋ｋ）（ただし、ｋは３以上の整数）であり、その間のフレーム画像（Ｎ＋１）から（Ｎ＋ｋ−１）までの（ｋ−１）枚を利用しない。その結果、フレーム画像の利用率は、２枚当たり１枚の割合ではなく、ｋ枚当たり１枚の割合となる。なお、パラメータｋの値は、図１０から明らかなように、照明切り替え時間ｄｓとフレーム周期（撮像周期）Ｔの関係から定まる。

図１１は、実施例２における照明の点灯制御とフレーム画像の取得を示す処理フローである。前記実施例１（図８）との相違点について説明する。なお、パラメータｋ（≧３）の値は予め与えておく。

Ｓ１１０４では、フレーム検出部１０５はフレーム番号ｉがｋの倍数か否かを判定する。ｋの倍数の場合はＳ１１０５に進み照明を切り替えて、Ｓ１１０６で撮像した画像を利用する。ｋの倍数以外の場合はＳ１１０７に進み、撮像した画像を破棄する。なお、ｉ＝０はｋの倍数と判定する。他の工程は図８と同様である。
以上の処理フローにより、図１０に示した照明の切り替えとフレーム画像の取得を実現できる。すなわち、撮像したフレーム画像からｋ枚毎に１枚の割合で利用することになる。

このように実施例２では、フレーム画像撮像完了に伴う照明の切り替えが次々フレーム画像の露光開始までに完了しない場合には、利用しないフレーム画像数を複数枚に増やすようにした。この場合も、２つの照明を交互に点灯させるときの一方の照明の点灯期間が、カメラの１フレームの撮像周期よりも長くしている。これにより、実施例１と同等の効果が得られ、利用するフレーム画像には２つの照明による影が混在せず、また影のコントラストを損なうことがない。

実施例３では、照明の切り替え時間ｄｓが露光切り替え時間ｄｔよりも長くなる場合、照明の切り替えが完了するまでに撮像したフレーム画像から、２つの照明による画像が混在していない画像を適応的に選択して利用する構成とした。

図１２は、実施例３における照明の切り替えタイミングと利用するフレーム画像を示す図である。この場合、照明切り替え時間ｄｓのため第２の照明はフレーム画像（Ｎ＋ｋ）（ただしｋ≧３）から適用されるものとする。その結果、フレーム画像Ｎに後続し、第１の照明のみで露光されるフレーム画像が他にも存在することになり、本実施例ではこれを選択して利用する。本例の場合には、フレーム画像Ｎに続くフレーム画像（Ｎ＋ｋ−２）までの画像が利用できる。そして、第２の照明により露光が開始されるフレーム画像（Ｎ＋ｋ）の直前の画像（Ｎ＋ｋ−１）については、２つの照明が混在するので利用しない。この場合のパラメータｋの値も、実施例２と同様に、照明切り替え時間ｄｓとフレーム周期Ｔの関係から定まる。

図１３は、実施例３における照明の点灯制御とフレーム画像の取得を示す処理フローである。前記実施例２（図１１）との相違点について説明する。なお、パラメータｋ（≧３）の値は予め与えておく。

Ｓ１２０４では、フレーム検出部１０５はフレーム番号ｉがｋの倍数か否かを判定する。ｋの倍数の場合はＳ１２０５に進み照明の切り替えを行い、Ｓ１２０６で撮像した画像を利用する。ｋの倍数以外の場合はＳ１２０７に進む。

Ｓ１２０７では、フレーム番号（ｉ＋１）がｋの倍数か否かを判定する。ｋの倍数の場合はＳ１２０８に進み、撮像した画像を破棄する。ｋの倍数以外の場合はＳ１２０６に進み、撮像した画像を利用する。他の工程は図１１と同様である。
以上の処理フローにより、図１２に示した照明の切り替えとフレーム画像の取得を実現できる。すなわち、撮像したｋ枚のフレーム画像のうち（ｋ−１）枚画像を利用することになる。

実施例３によれば、利用するフレーム画像が、ｋ枚につき（ｋ−１）枚となり、フレーム画像の利用率が向上する。その結果、複数のフレーム画像を用いてハイダイナミックレンジ合成処理等を行うことで、コントラストをさらに向上させることが可能となる。

実施例４では、照明の切り替え時間ｄｓが露光切り替え時間ｄｔよりも長くなる場合、利用しないフレーム画像の露光時間を、利用するフレーム画像の露光時間よりも長く設定する構成とした。

図１４は、実施例４における照明の切り替えタイミングと利用するフレーム画像を示す図である。実施例１（図９）と異なる点は、イメージセンサ４００の露光時間に関し、利用するフレーム画像Ｎの露光時間Ｔ１と、利用しないフレーム画像（Ｎ＋１）の露光時間Ｔ２を異ならせ、Ｔ１よりもＴ２を長く設定している。これにより、フレーム画像Ｎの撮像完了からフレーム画像（Ｎ＋２）の露光開始までの露光切り替え時間はｄｔ’に拡大される。そして、拡大した露光切り替え時間ｄｔ’を照明の切り替え時間ｄｓ以上とすれば、フレーム画像（Ｎ＋２）の露光開始時点では第２の照明への切り替えを完了させることができる。

実施例４においても、実施例１と同等の効果が得られる。また、撮像したフレーム画像を２枚毎に１枚の割合で利用することになり、実施例１と同様のフレーム利用率を維持できる。さらに、露光時間Ｔ１とＴ２の値を、Ｔ１＋Ｔ２＝２Ｔとなるように設定すれば、イメージセンサ４００の平均的なフレームレートを変えずに撮像することができる。

実施例５では、照明の切り替え時間ｄｓが長い場合に発生する２つ照明による影の混在部分を、ユーザの操作領域外に配置させる構成とした。

図１５は、実施例５における撮像動作を示し、（ａ）は照明の切り替えタイミングと利用するフレーム画像を示し、（ｂ）は操作面上の撮像領域とユーザの操作領域を示す。

（ａ）のように、この場合も照明の切り替え時間ｄｓが露光切り替え時間ｄｔよりも長いものとする。その結果、フレーム画像（Ｎ＋２）の露光開始直後には、第１の照明と第２の照明の影が混在する領域５００が発生する。しかし本実施例では、このような混在領域５００を有するフレーム画像（Ｎ＋２）を、以下の条件のもとに利用するようにした。

（ｂ）には、操作面上での撮像領域２０２とユーザの操作領域２０３の関係を示す。撮像領域２０２はカメラにより撮像可能な領域であり、ユーザの操作領域２０３はユーザの指３００により操作可能な領域である。通常、カメラはユーザの操作領域２０３を全て撮像できるように、撮像領域２０２は操作領域２０３よりも広く設定している。言い換えれば、操作領域２０３の外側の領域２０４は、操作検出には利用されない領域（非操作領域）である。

そこで本実施例では、（ａ）で示した２つの照明が混在する領域５００を、（ｂ）の非操作領域２０４内に配置させるようにする。この混在領域５００は操作面上では三角形状となり、その大きさは照明切り替え時間ｄｓと露光切り替え時間ｄｔの差分（ｄｓ−ｄｔ）で決まる。よって、差分（ｄｓ−ｄｔ）が小さければ、混在領域５００を非操作領域２０４内に収容することが十分可能である。その結果、ユーザの操作領域２０３では１つの照明のみによる正常な画像が得られ、操作検出処理には何ら支障を及ぼさない。

実施例５によれば、照明の切り替え時間ｄｓが露光切り替え時間ｄｔよりも長い場合であっても、利用しないフレームを２枚当たり１枚とすることができ、フレーム画像の利用率の低下を防止できる。

実施例６は実施例５の変形例であり、イメージセンサの方向を適宜変更して撮像することで、２つ照明による影の混在部分を、ユーザの操作領域外に適応的に配置させる構成とした。前記図１５（ｂ）における非操作領域２０４は、カメラの撮像領域２０２とユーザの操作領域２０３の位置関係に依存して生じるものである。例えば、操作領域２０３が台形状で操作面の下端部に大きな非操作領域２０４を生じる場合に適する構成を説明する。

図１６は、実施例６における撮像動作を示し、（ａ）は照明の切り替えタイミングと利用するフレーム画像を示し、（ｂ）は操作面上の撮像領域とユーザの操作領域を示す。

この例では（ｂ）のように、ユーザの操作領域２０３は台形状であり、操作面の下端側に上端側より大きな非操作領域２０４が生じている場合を取り上げる。このような場合は、２つの照明の混在領域５００を撮像領域２０２の下部に配置するのが得策である。そのためには、混在領域５００の発生する露光開始点を撮像領域の下側に移動させればよく、この例では、図１５で使用したイメージセンサを１８０度回転させている。その結果、イメージセンサによる走査開始点は右下隅からとなる。

（ａ）は照明の切り替えタイミングを示すが、図１５（ａ）と比較すると、露光方向が見かけ上センサ下端からセンサ上端に向かって行われる点で異なり、混在領域５００はセンサ下端位置に発生する。照明の切り替えや利用するフレームについては同様である。

このように、非操作領域２０４が操作面の下側に大きく発生する場合には、イメージセンサの向きを上下逆転させることにより、照明の切り替え時間ｄｓが長く２つの照明の混在領域５００が大きくなる場合でも、これを許容できる効果がある。なお、イメージセンサの方向は、非操作領域２０４が最大となる方向に合わせて、適応的に任意の角度で回転させてもよく、これにより同様の効果が得られる。

実施例６においても、照明の切り替え時間ｄｓが露光切り替え時間ｄｔよりも長い場合であっても、利用しないフレームを２枚当たり１枚とすることができ、フレーム画像の利用率の低下を防止できる。

以上、本発明の各実施例を説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１：映像表示装置、
１００：操作検出部、
１０１：カメラ（撮像部）、
１０２：第１の照明、
１０３：第２の照明、
１０４：スイッチ、
１０５：フレーム検出部、
１０６：影領域抽出部、
１０７：輪郭検出部、
１０８：接触点検出部、
１０９：制御部、
１１０：出力部、
１１１：検出結果データ、
１１２：映像表示部、
２００：ユーザ、
２０１：操作面、
２０２：撮像領域、
２０３：操作領域、
２０４：非操作領域、
３００：指（操作オブジェクト）、
３０１，３０２：影、
３１０：接触点、
４００：イメージセンサ（撮像素子）、
５００：複数照明の混在領域、
Ｔ：フレーム周期（撮像周期）、
ｄｔ：露光切り替え時間、
ｄｓ：照明の切り替え時間。

Claims (9)

1. 映像表示面に映像を表示し、該映像表示面と重畳する操作面に対するユーザの操作オブジェクトによる操作を検出可能な映像表示装置において、
   前記操作面にそれぞれ異なる方向から操作検出用の照明光を照射する第１の照明と第２の照明と、
   前記照明光が照射された前記操作面を前記ユーザの操作オブジェクトとともに撮像するローリングシャッター方式の撮像素子を用いる撮像部と、
   前記撮像部の撮像画像に基づいて前記ユーザの操作オブジェクトが前記操作面に接触した接触点を検出する接触点検出部と、を備え、
   前記第１の照明と前記第２の照明は交互に点灯を繰り返し、一方の照明の点灯期間は前記撮像部の１フレームの撮像周期よりも長く、
   前記撮像部の１フレーム毎の画像撮像完了を検出し、２フレームの撮像完了毎に前記第１の照明と前記第２の照明の点灯を切り替えるものであって、
   前記接触点検出部の接触点検出処理は、前記第１の照明と前記第２の照明とが交互に点灯を繰り返すことにより生じる前記ユーザの操作オブジェクトの影の撮像画像を利用するものであり、
   前記接触点検出処理では、前記第１の照明と前記第２の照明の一方の照明光のみが照射されたフレーム単位の画像を利用し、照明の点灯を切り替えた際に撮像中のフレームの画像を利用しないことを特徴とする映像表示装置。
2. 請求項１に記載の映像表示装置において、
   前記撮像部は、前記接触点検出処理に利用するフレームの画像と利用しないフレームの画像に対する露光時間を異ならせ、平均のフレームレートを所定の値とすることを特徴とする映像表示装置。
3. 映像表示面に映像を表示し、該映像表示面と重畳する操作面に対するユーザの操作オブジェクトによる操作を検出可能な映像表示装置において、
   前記操作面にそれぞれ異なる方向から操作検出用の照明光を照射する第１の照明と第２の照明と、
   前記照明光が照射された前記操作面を前記ユーザの操作オブジェクトとともに撮像するローリングシャッター方式の撮像素子を用いる撮像部と、
   前記撮像部の撮像画像に基づいて前記ユーザの操作オブジェクトが前記操作面に接触した接触点を検出する接触点検出部と、を備え、
   前記第１の照明と前記第２の照明は交互に点灯を繰り返し、一方の照明の点灯期間は前記撮像部の１フレームの撮像周期よりも長く、
   前記撮像部の１フレーム毎の画像撮像完了を検出し、ｋ個（ｋは３以上の整数）のフレームの撮像完了毎に前記第１の照明と前記第２の照明の点灯を切り替えるものであって、
   前記接触点検出部の接触点検出処理は、前記第１の照明と前記第２の照明とが交互に点灯を繰り返すことにより生じる前記ユーザの操作オブジェクトの影の撮像画像を利用するものであり、
   前記接触点検出処理では、前記第１の照明と前記第２の照明の一方の照明光のみが照射されたフレーム単位の画像を利用し、前記画像撮像完了の検出による照明切り替え開始から該照明切り替えが完了するまでの間に撮像している複数のフレームの画像を利用しないことを特徴とする映像表示装置。
4. 映像表示面に映像を表示し、該映像表示面と重畳する操作面に対するユーザの操作オブジェクトによる操作を検出可能な映像表示装置において、
   前記操作面にそれぞれ異なる方向から操作検出用の照明光を照射する第１の照明と第２の照明と、
   前記照明光が照射された前記操作面を前記ユーザの操作オブジェクトとともに撮像するローリングシャッター方式の撮像素子を用いる撮像部と、
   前記撮像部の撮像画像に基づいて前記ユーザの操作オブジェクトが前記操作面に接触した接触点を検出する接触点検出部と、を備え、
   前記第１の照明と前記第２の照明は交互に点灯を繰り返し、一方の照明の点灯期間は前記撮像部の１フレームの撮像周期よりも長く、
   前記撮像部の１フレーム毎の画像撮像完了を検出し、ｋ個（ｋは３以上の整数）のフレームの撮像完了毎に前記第１の照明と前記第２の照明の点灯を切り替えるものであって、
   前記接触点検出部の接触点検出処理は、前記第１の照明と前記第２の照明とが交互に点灯を繰り返すことにより生じる前記ユーザの操作オブジェクトの影の撮像画像を利用するものであり、
   前記接触点検出処理では、前記画像撮像完了の検出による照明切り替えの開始から該照明切り替えが完了するまでに撮像が完了している複数のフレームの画像を利用し、前記照明切り替えが完了したときに撮像中のフレームの画像は利用しないことを特徴とする映像表示装置。
5. 映像表示面に映像を表示し、該映像表示面と重畳する操作面に対するユーザの操作オブジェクトによる操作を検出可能な映像表示装置において、
   前記操作面にそれぞれ異なる方向から操作検出用の照明光を照射する第１の照明と第２の照明と、
   前記照明光が照射された前記操作面を前記ユーザの操作オブジェクトとともに撮像するローリングシャッター方式の撮像素子を用いる撮像部と、
   前記撮像部の撮像画像に基づいて前記ユーザの操作オブジェクトが前記操作面に接触した接触点を検出する接触点検出部と、を備え、
   前記接触点検出部の接触点検出処理は、前記第１の照明と前記第２の照明とが交互に点灯を繰り返すことにより生じる前記ユーザの操作オブジェクトの影の撮像画像を利用するものであり、
   前記第１の照明と前記第２の照明の交互点灯における一方の照明の点灯期間が、前記撮像部の１フレームの撮像周期よりも長く、
   前記映像表示面において、前記撮像部による撮像領域内に、前記ユーザの操作オブジェクトにより操作されない非操作領域が存在する場合には、
   前記撮像部による撮像中に前記第１の照明と前記第２の照明との点灯の切り替えが完了する撮像位置を、前記非操作領域に配置させることを特徴とする映像表示装置。
6. 請求項５に記載の映像表示装置において、
   前記第１の照明、前記第２の照明、および前記撮像部は、いずれも前記映像表示面の上辺側に備えられ、
   前記ユーザによる非操作領域が前記映像表示面の下辺側に存在する場合には、
   前記撮像部の前記撮像素子を回転させ、撮像開始位置を前記映像表示面の下辺側に設定することを特徴とする映像表示装置。
7. 操作面に対するユーザの操作オブジェクトによる操作を検出する操作検出方法において、
   第１の照明と第２の照明により前記操作面にそれぞれ異なる方向から操作検出用の照明光を照射するステップと、
   ローリングシャッター方式の撮像素子を用いる撮像部により、前記照明光が照射された前記操作面を前記ユーザの操作オブジェクトとともに撮像するステップと、
   前記撮像部の撮像画像に基づいて前記ユーザの操作オブジェクトが前記操作面に接触した接触点を検出するステップと、を備え、
   前記照明光を照射するステップは、前記第１の照明と前記第２の照明とが交互に点灯を繰り返し、一方の照明の点灯期間は前記撮像部の１フレームの撮像周期よりも長く、かつ、前記撮像部の１フレーム毎の画像撮像完了を検出し、２フレームの撮像完了毎に前記第１の照明と前記第２の照明の点灯を切り替えるものであって、
   前記接触点を検出するステップは、前記第１の照明と前記第２の照明とが交互に点灯を繰り返すことにより生じる前記ユーザの操作オブジェクトの影の撮像画像を利用するものであり、かつ、前記第１の照明と前記第２の照明の一方の照明光のみが照射されたフレーム単位の画像を利用し、照明の点灯を切り替えた際に撮像中のフレームの画像を利用しないことを特徴とする操作検出方法。
8. 請求項７に記載の操作検出方法において、
   前記撮像するステップは、前記接触点を検出するステップに利用するフレームの画像と利用しないフレームの画像に対する露光時間を異ならせ、平均のフレームレートを所定の値とすることを特徴とする操作検出方法。
9. 操作面に対するユーザの操作オブジェクトによる操作を検出する操作検出方法において、
   第１の照明と第２の照明により前記操作面にそれぞれ異なる方向から操作検出用の照明光を照射するステップと、
   ローリングシャッター方式の撮像素子を用いる撮像部により、前記照明光が照射された前記操作面を前記ユーザの操作オブジェクトとともに撮像するステップと、
   前記撮像部の撮像画像に基づいて前記ユーザの操作オブジェクトが前記操作面に接触した接触点を検出するステップと、を備え、
   前記照明光を照射するステップは、前記第１の照明と前記第２の照明とが交互に点灯を繰り返し、一方の照明の点灯期間は前記撮像部の１フレームの撮像周期よりも長く、かつ、前記撮像部の１フレーム毎の画像撮像完了を検出し、ｋ個（ｋは３以上の整数）のフレームの撮像完了毎に前記第１の照明と前記第２の照明の点灯を切り替えるものであって、
   前記接触点を検出するステップは、前記第１の照明と前記第２の照明とが交互に点灯を繰り返すことにより生じる前記ユーザの操作オブジェクトの影の撮像画像を利用するものであり、かつ、前記第１の照明と前記第２の照明の一方の照明光のみが照射されたフレーム単位の画像を利用し、前記画像撮像完了の検出による照明切り替え開始から該照明切り替えが完了するまでの間に撮像している複数のフレームの画像を利用しないことを特徴とする操作検出方法。

Images