JP4858631B2 - 画像投影装置、判定方法及び判定プログラム - Google Patents

Description

本発明は画像投影装置、判定方法及び判定プログラムに関する。

近年、携帯端末にはさまざまな機能が投入されており、ビジネスライフをサポートする最もポピュラーな要素技術の１つになっている。

携帯端末メーカー各社は、メールやブラウザ閲覧はもとより、ワードプロセッサソフトや表計算ソフトの閲覧、スケジュール管理に至るまで、ビジネスユースを意識した機種を次々と市場投入しており、最新の携帯端末においては、プロジェクタ機能が搭載された携帯端末が発表された。

しかしながら、現時点でのプロジェクタ機能が搭載された携帯端末は、プロジェクタ機能がそのまま携帯端末に搭載されただけの機器であり、その操作性に関しては、使い勝手がよいものとは言いがたい。

例えば、使用者がプレゼンテーション画面の画面操作（ページ送り等）を行おうとした場合、使用者自身、もしくは、別の操作者が携帯端末、もしくは携帯端末につながれた操作機器（パーソナルコンピュータ等）を操作する必要がある。

一方で、携帯性に優れたプロジェクタの操作性の向上を目的とした以下のような文献が挙げられる。

特許文献１は、プロジェクタによって投影された映像に向けて、レーザポインタで特定の動作を行うことで、プレゼンテーション資料のページ送り、ズーミング、ハイライトなどのプレゼンテーション画面の制御を指示するシステムを提案している。

特許文献２は、大型ディスプレイシステム上に投影された、アイコンやコマンドメニューなどの画像に対して、光線ポインタを照射することで、プレゼンテーション画面への指示が可能なシステムを提案している。

特許文献３では、持ち運びが可能なカメラ付プロジェクタを搭載した作業教示サポートシステムにおいて、作業場に複数の投影目標（投影面）が存在する場合でも、カメラ付プロジェクタと複数の投影面それぞれの位置関係を把握し、適切な投影面に適切な映像を投影できるシステムを提案している。

特開２００１−１２５７３８号公報 特開平９−２２２９５１号公報 特開２００８−９０８０７号公報

しかしながら、先に挙げた特許文献１、特許文献２、特許文献３を含め、現状の技術では操作性、殊に操作のわかりやすさ、という点に関しては不十分である。

例えば、特許文献１は、プロジェクタなどで投影されたプレゼンテーション画面上で、レーザポインタを用いた指示動作を行うと、画面を直接操作することができる。しかしながら、画面操作のために、レーザポインタでジェスチャのような決められた指示動作を行う必要があるため、製造するメーカーや機種ごとに異なる指示動作を覚える必要がある。

例えば、特許文献２は、プレゼンテーション画面の上に、あらかじめ表示されているアイコンやコマンドメニューなどを、レーザポインタ（光線ポインタ）で照射すると、そのアイコンやコマンドメニューに紐付けられた操作指示を行うことができる。しかしながら、レーザポインタの移動等の際に、誤ってアイコンやコマンドメニューを指し示してしまう可能性が高く、操作の手法そのものに課題がある。

例えば、特許文献３は、複数の投影面それぞれに対して、表示内容をユーザにわかりやすく提示することは可能だが、どのようにして画面操作を行うのか、などの操作性については触れられていない。

理想的な操作感を得るには、従来技術でなされてきたような特殊な動作を使って、指示を行うような方法ではなく、実際のプレゼンテーション中に利用されている自然な動作を利用するのが好ましい。

例えば、使用者が投影されたプレゼンテーション画面のページめくりボタンに触れると、画面が次のページに遷移するなど、タッチパネルのような操作感で投影したプレゼンテーション画面を使って操作することができれば、操作性の向上につながる。

また、操作性の向上のために重要な要素としては、即応性を重視する必要がある。殊に携帯端末のような小型の処理装置を利用する場合、使用者がプレゼンテーション画面に触れたか触れていないかの判定をするための処理は、極力軽減することが望ましい。

本発明は、このような従来の問題に鑑みてなされたものであり、携帯端末などの画像投影装置を使ってプレゼンテーションなどの画像の投影を行っている使用者が、プレゼンテーションなどの画像の投影中に利用されている最も自然な動作、具体的にはプレゼンテーション画面などの投影された画像に触れるなどの接触動作を検知し、画像の投影された投影面をタッチパネルのように用いて、プレゼンテーション画面の操作などの入力の操作性を向上させようとするものである。

前記従来の課題を解決するために、本発明の入力装置は、投影面に画像を投影する投影部と、前記投影部によって投影された画像を撮像する撮像部と、前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から、指示体が指し示している前記撮像部と投影面との距離を推定する画像処理部と、実測することにより、前記撮像部と指示体との距離を測定する距離計測部と、前記画像処理部で推定した前記撮像部と投影面との距離と、前記距離計測部で測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定部と、を備えた構成を有する。

これにより、本発明における画像投影装置は、前記投影部によって投影された投影面と、使用者の指先などの体の一部、もしくは指し棒などの指示体とが、接触状態にあるか否かを判定でき、使用者がプレゼンテーション画面の操作を指示しているか否かの判断することができる。

また、本発明の判定方法は、投影部が、投影面に画像を投影する投影ステップと、撮像部が、前記投影ステップによって投影された画像を撮像する撮像ステップと、画像処理部が、前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から、指示体が指し示している前記撮像部と投影面との距離を推定する画像処理ステップと、距離計測部が、実測することにより、前記撮像部と指示体との距離を測定する距離計測ステップと、判定部が、前記画像処理ステップで推定した前記撮像部と投影面との距離と、前記距離計測ステップで測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定ステップと、を備えた構成を有する。

また、本発明の判定プログラムは、入力装置に、投影面に画像を投影する投影ステップと、撮像部が前記投影ステップによって投影された画像を撮像する撮像ステップと、前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から、指示体が指し示している前記撮像部と投影面との距離を推定する画像処理ステップと、距離計測部が実測することにより、前記撮像部と指示体との距離を測定する距離計測ステップと、前記画像処理ステップで推定した前記撮像部と投影面との距離と、前記距離計測ステップで測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定ステップと、を実行させるための判定プログラムである。

また、本発明の判定プログラムは、画像投影装置に、投影面に画像を投影する投影ステップと、撮像部が前記投影ステップによって投影された画像を撮像する撮像ステップと、前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から前記撮像部と指示体との距離を推定する画像処理ステップと、距離計測部が実測することにより、前記撮像部と指示体との距離を測定する距離計測ステップと、前記画像処理ステップで推定した前記撮像部と指示体との距離と、前記距離計測ステップで測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定ステップと、を実行させるための判定プログラムである。

これにより、本発明における判定プログラムは、前記投影ステップによって投影された投影面と、使用者の指先などの体の一部、もしくは指し棒などの指示体とが、接触状態にあるか否かを判定でき、使用者がプレゼンテーション画面の操作を指示しているか否かの判断ができるようになる。

本発明によれば、画像投影装置のプロジェクタ機能を使ってプレゼンテーションを行う使用者が、プレゼンテーション中に利用される自然な動作である、投影面と指先や指示棒などの指示体との接触動作を使って画面の操作を行うことができるようになり、画像投影装置の操作性を高めることができる。

本発明の実施の形態における画像投影装置の概略構成図 本発明の実施の形態における画像投影装置の動作を説明するフローチャート 撮像部の透視変換行列と投影部の透視変換行列を説明する図 キャリブレーション画像の投影を説明する図 投影面までの距離計測を説明する図 距離マトリクスＲdist生成を説明する図 推定距離Ｄexpと実測距離Ｄpointの比較を説明する図

（実施の形態）
以下、本発明の実施の形態を説明する。

図１は、本実施の形態における画像投影装置の概略構成を示すブロック図である。

図１において、本実施の形態における画像投影装置は、撮像部１、画像処理部２、距離計測部３、判定部４、投影部５、受信部６、送信部７、制御部８、データ記憶部９とから構成されている。

撮像部１は、例えばＣＣＤカメラを有し、使用者と投影した投影面との位置関係の監視を行う。

画像処理部２は、拡大・回転などの変形処理や、２つの画像の対応点検索、座標変換などの基本的な画像処理機能を有し、撮像部１の画像を入力値として、使用者の指示動作を検出し、使用者が指し示したポイントが、前記投影部５によって投影された投影面上にあった場合の撮像部１と投影面との距離の推定を行う。

距離計測部３は、撮像部１の出力値を入力としてカメラと画像解析を用いた距離計測方法を行い、撮像部１と使用者が指し示しているポイントとの距離を計測する。

なお、今回は撮像部１の出力値を入力としてカメラと画像解析を用いて距離計測を行っているが、撮像部１と使用者の指し示しているポイントの距離計測が可能であるならば、レンジファインダー方式による距離計測方法、音波による距離計測方法、レーザを用いた距離計測方法等を用いることにより距離を計測してもよい。

判定部４は、前記画像処理部２において推定された、使用者が指し示したポイントが、前記投影部５によって投影された投影面上にあった場合の撮像部１と投影面との距離と、距離計測部３で計測された撮像部１と使用者が指し示しているポイントとの距離を比較し、使用者が指し示しているポイントが投影面に接しているかどうかの判定を行う。

投影部５は、画像投影装置の使用時において、画像や映像を投影面に投影することにより表示する。

受信部６は、外部ネットワークと通信するためのアンテナおよび受信回路と、記録メディアに記録されたデータを読み取る機構、例えばＤＶＤやＣＤなどの光ディスクの読み書きが可能な機構と、を備え、プレゼンテーション画面の投影に必要なデータを受信する。

送信部７は、外部ネットワークと通信するためのアンテナおよび送信回路と、記録メディアにデータを書き出す機構と、を備え、使用者の指示によってデータを送信する。

制御部８は、判定部４で判定された結果によって、投影部５に対して投影する内容を決定、投影制御を行い、また、例えば、外部ネットワークと接続された環境に置かれた記憶媒体や記録メディアなどから、受信部６、送信部７を用いて投影に必要なデータの送受信を制御する。

データ記憶部９は、制御部８が指定するデータ、例えば、撮像部１、画像処理部２、距離計測部３の処理結果と、受信部６によって外部ネットワークとの通信で取得したデータと、を格納する。

次に、本実施の形態について、その動作を、図２を用いて説明する。

まず、画像投影装置の電源スイッチ等を操作し、スタートする。

制御部８は、投影部５に対して投影面上にキャリブレーション画像の投影を指示し、撮像部１に対して投影部５によって投影面上に投影されたキャリブレーション画像を監視できるように撮像部１の撮像方向を調整をする（ステップＳ１１０）。

次に、制御部８は、投影部５によって投影面上に投影されたキャリブレーション画像の座標系（ＰＲＪ座標系）と、投影部５によって投影面上に投影されたキャリブレーション画像を監視できるように設置された、撮像部１のカメラ座標系（ＣＡＭ座標系）を擬似的に変換するＰＲＪ座標系⇔ＣＡＭ座標系透視変換行列（Ｒtrs）を生成し、データ記憶部９に格納する（ステップＳ１２０）。

ここでステップＳ１１０〜ステップＳ１２０のＰＲＪ座標系⇔ＣＡＭ座標系透視変換行列（Ｒtrs）の生成処理について、図３を用いて詳しく説明する。まず、3次元空間の絶対的な座標を意味するワールド座標系とＰＲＪ座標系との透視変換行列（Ｒprj）を生成する。次にワールド座標系とＣＡＭ座標系との透視変換行列（Ｒcam）を生成する。このＣＡＭ座標系の透視変換行列（Ｒcam）とＰＲＪ座標系の透視変換行列（Ｒprj）とを変形することにより、ＰＲＪ座標系⇔ＣＡＭ座標系透視変換行列（Ｒtrs）を生成することができる。また、このＰＲＪ座標系⇔ＣＡＭ座標系透視変換行列（Ｒtrs）の生成によって、撮像部１のカメラ座標上の特定の座標は、少ないコストで、投影部５によって投影面上に投影された画像の特定の座標に、変換することができる。

次に、制御部８は、投影部５によって投影面に投影されたキャリブレーション画像中の複数の座標における、撮像部１から投影面までの距離を、距離計測部３を用いて計測し、投影部５によって投影面に投影されたキャリブレーション画像の座標を入力値として、撮像部１から投影面までの距離を推定することが可能な、距離マトリクスＲdistを生成し、データ記憶部９に格納する（ステップＳ１３０）。

ここで、このステップＳ１３０で生成される距離マトリクスＲdistの生成について、図４〜図６を用いて説明する。

まず、遮蔽物がない状態でキャリブレーション画像を投影面に投影する（図４）。ここで投影されたキャリブレーション画像は、例えば、規則正しく投影面を縦横にＭ行Ｎ列に分割する格子状の画像であるものとする。

次に、撮像部１から投影面上の代表点までの距離Ｄcを計測する。例えば、代表点はキャリブレーション画像のＫ行Ｌ列目の格子の左下の直交点とする。この際、選択する代表点は、格子の中心点、右上の直交点、右下の直交点、左下の直交点などでもよい（図５）。

次に、Ｍ行Ｎ列の行列（距離マトリクスＲdist）を用意し、投影されたキャリブレーション画像のＫ行Ｌ列の格子の左下の直交点までの距離Ｄcを、距離マトリクスＲdistのＫ行Ｌ列目の要素(ＤKL)に入れる（図６）。この計測操作をすべての格子に対して行う。すなわち、投影されるキャリブレーション画像のすべての格子の代表点に対する距離を計測し、距離マトリクスＲdistを生成する。

前記ステップＳ１３０を行い、距離マトリクスＲdistをあらかじめ生成しておくことによって、投影部５によって投影面上に投影された画像（ＰＲＪ座標系）の特定の座標値における、撮像部１とその特定の座標までの距離の期待値Ｄexpを少ないコストで推定することができる。

なお、この距離計測方法については、ステレオカメラを用いた距離計測方法、レーザーを用いた距離計測方法、レンジファインダ方式による距離計測方法、ソナーを用いた距離計測方法などの手法を用いてもよい。

次に、画像処理部２は、撮像部１の画像を入力値として、使用者の指先などの体の一部、もしくは指し棒などの指示体の探索処理を開始する（ステップＳ１４０）。

次に、画像処理部２は、ステップＳ１４０において探索された、撮像部１の座標系（ＣＡＭ座標系）における指示体の座標を入力値とし、ステップＳ１２０においてデータ記憶部９に格納されたＰＲＪ座標系⇔ＣＡＭ座標系透視変換行列Ｒtrsを用いて、ＰＲＪ座標系における指示体の位置を推定する（ステップＳ１５０）。

次に、画像処理部２は、ステップＳ１５０において推定されたＰＲＪ座標系における指示体の位置を入力値として、ステップＳ１３０においてデータ記憶部９に格納された距離マトリクスＲdistから、撮像部１と指示体が指し示している投影面までの距離の期待値Ｄexpを推定する（ステップＳ１６０）。

次に、距離計測部３は、撮像部１と指示体との距離Ｄpointを、例えば、透明板などの屈折率の違いを用いて、カメラ1台で距離を計測することにより測定する。なお、この測定方法としては、例えば、情報処理学会誌Vol47 No. SIG 10 に記載された公知の方法を用いる（ステップＳ１７０）。

なお、この距離計測方法については、ステレオカメラを用いた距離計測方法、レーザーを用いた距離計測方法、レンジファインダ方式による距離計測方法、ソナーを用いた距離計測方法などの手法を用いてもよい。

次に、図７で示すように、判定部４は、ステップＳ１６０において推定された撮像部１と指示体が指し示している投影面までの距離の期待値Ｄexpと、ステップＳ１７０において実測された撮像部１と指示体との距離Ｄpointを比較する（ステップＳ１８０）。

ここで、判定部４が、ステップＳ１６０において推定された撮像部１と指示体が指し示している投影面までの距離の期待値Ｄexpと、ステップＳ１７０において実測された撮像部１と指示体との距離Ｄpointが一致していると判断した場合（ステップＳ１８０、ＹＥＳ）、制御部８は、使用者が画面に対して、接触動作を行ったものと判断し、接触位置に紐付けられたページ送りやアニメーションなどのあらかじめ規定している動作を行う（ステップＳ２１０）。

一方、判定部４が、ステップＳ１６０において推定された撮像部１と指示体が指し示している投影面までの距離の期待値Ｄexpと、ステップＳ１７０において実測された撮像部１と指示体との距離Ｄpointが一致していないと判断した場合（ステップＳ１８０、ＮＯ）、制御部８は、あらかじめ規定している接触しない場合の動作を行う（ステップＳ３１０）。すなわち、制御部８は、前記判定部の判定結果に基づいて、例えば、前記投影部に投影する画像を制御する、などの所定の入力処理を行う。

次に、制御部８は、次の動作を行うか、行わないかを判断する（ステップＳ３２０）。

ここで、制御部８が、次の処理を行うと判断した場合（ステップＳ３２０、ＹＥＳ）、ステップＳ１４０の処理に戻り、画像処理部２は、撮像部１の画像を入力値として、使用者の指先などの体の一部、もしくは指し棒などの指示体の探索処理を再開する。一方、制御部８が、次の処理を行わないと判断した場合（ステップＳ３２０、ＮＯ）、終了処理を行い、システムを停止する。

以上で説明したように、本発明の実施の形態の画像投影装置及び画像投影方法によれば、画像投影装置のプロジェクタ機能を使ってプレゼンテーションを行う使用者が、プレゼンテーション中に利用される自然な動作である、投影面と指先や指示棒などの指示体との接触動作を使って画面の操作を行うことができるようになり、画像投影装置の操作性を高めることができる。またその判定方法における操作性を高めることができる。

また、本発明は、画像投影装置等に上記の処理を行わせるための判定プログラムに適用することもできる。

本発明は、画像投影装置のプロジェクタ機能を使ってプレゼンテーションを行う使用者が、プレゼンテーション中に利用される自然な動作である、投影面と指先や指示棒などの指示体との接触動作を使って画面の操作を行うことができるようになり、画像投影装置の操作性を高めることができる。このため、本発明は、画像投影装置、判定方法、判定プログラム等として有用である。

１ 撮像部
２ 画像処理部
３ 距離計測部
４ 判定部
５ 投影部
６ 受信部
７ 送信部
８ 制御部
９ データ記憶部

Claims (7)

1. 投影面に画像を投影する投影部と、
   前記投影部によって投影された画像を撮像する撮像部と、
   前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から、指示体が指し示している前記撮像部と投影面との距離を推定する画像処理部と、
   実測することにより、前記撮像部と指示体との距離を測定する距離計測部と、
   前記画像処理部で推定した前記撮像部と投影面との距離と、前記距離計測部で測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定部と、
   を備える入力装置。
2. 前記判定部の判定結果に基づいて、所定の入力処理を行う制御部を備える請求項１に記載の入力装置。
3. 前記距離計測部は、カメラであることを特徴とする請求項１又は請求項２に記載の入力装置。
4. 投影に必要なデータを無線により受信する受信部と、
   データを記憶するデータ記憶部と、を備え、
   前記制御部は、前記受信部で受信した受信データを復号し、復号したデータを前記データ記憶部に記憶することを特徴とする請求項２に記載の入力装置。
5. 処理結果を無線により送信する送信部を備え、
   前記制御部は、前記判定部の判断結果によって、前記投影部、前記受信部および前記送信部への制御内容を変更することを特徴とする請求項４に記載の入力装置。
6. 投影部が、投影面に画像を投影する投影ステップと、
   撮像部が、前記投影ステップによって投影された画像を撮像する撮像ステップと、
   画像処理部が、前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座
   標を変換行列を用いて求め、求めた指示体の座標から、指示体が指し示している前記撮像部と投影面との距離を推定する画像処理ステップと、
   距離計測部が、実測することにより、前記撮像部と指示体との距離を測定する距離計測ステップと、
   判定部が、前記画像処理ステップで推定した前記撮像部と投影面との距離と、前記距離計測ステップで測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定ステップと、
   を備える判定方法。
7. 入力装置に、
   投影面に画像を投影する投影ステップと、
   撮像部が前記投影ステップによって投影された画像を撮像する撮像ステップと、
   前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から、指示体が指し示している前記撮像部と投影面との距離を推定する画像処理ステップと、
   距離計測部が実測することにより、前記撮像部と指示体との距離を測定する距離計測ステップと、
   前記画像処理ステップで推定した前記撮像部と投影面との距離と、前記距離計測ステップで測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定ステップと、
   を実行させるための判定プログラム。
   

Images