JP5601083B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

情報処理装置は、表示装置内に設けられる。この表示装置は、表示部を備え、各種の画像を表示する。また、表示装置として、画像を拡大表示させる観点等から、投影面に画像を投影して表示させるプロジェクタが知られている（特許文献１参照）。特許文献１のプロジェクタは、パーソナルコンピュータから送られてくる映像信号に基づき、パーソナルコンピュータのモニター映像にキーボード映像を重畳し、床面に投影する。

特開２００９−６４３７５号公報

ところで、表示装置の中には、表示部とプロジェクタの両方を備えるものがある。しかし、このような表示装置では、表示部で画像を表示させるか、又は、投影面に画像を投影して表示させるかの一方を使用することを意図している。このため、表示部に表示された画像と、投影面に投影された画像を一緒に使用することは考慮されておらず、表示部と投影部を有効に活用されていないという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、表示部に表示される画像と投影面に投影される画像とを共に活用して利便性を向上することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、第１画像を表示する表示部と、投影面に画像を投影して表示させる投影部と、自装置が前記投影面に接触又は近接する際に、前記第１画像に関連する第２画像を前記投影面に投影させるように、前記投影部を制御する制御部とを備える情報処理装置が提供される。

前記制御部は、自装置が前記投影面に接触又は近接する際に、前記第１画像と前記第２画像を連続画像として表示させることとしても良い。

前記制御部は、前記投影面において前記第２画像が前記表示部の表示画面に隣接する位置に、前記投影部により前記第２画像を投影させることとしても良い。

前記制御部は、前記表示部による前記第１画像の表示中に前記自装置が前記投影面に接触又は近接する際に、前記投影部に前記第２画像を前記投影面に投影させることとしても良い。

自装置の底面に当該自装置の前記投影面への接触を検出する接触検出部を備え、前記制御部は、前記接触検出部による前記接触を検出した場合に、前記投影部に前記第２画像を前記投影面に投影させることとしても良い。

前記制御部は、前記投影部に前記第２画像を投影させる際に、前記投影面に対する投影領域を段階的に広げるように前記投影部を制御することとしても良い。

前記連続画像の表示中に前記第２画像上の移動体の移動を検出する移動検出部を備え、前記制御部は、前記移動検出部による前記移動を検出した場合に、前記移動に応じて前記連続画像をスクロール表示させることとしても良い。

前記表示部の表示画面上に設けられ、タッチ操作が行われるタッチパネルを備え、前記制御部は、前記連続画像の表示中に前記タッチ操作としてドラッグ操作を検知した場合に、前記ドラッグ操作に応じて前記連続画像をスクロール表示させることとしても良い。

前記投影部は、前記第２画像を前記投影面に投影する前に、識別画像を前記投影面に投影し、前記投影面に投影された前記識別画像を読み取る読取部を備え、前記制御部は、前記読取部が読み取った前記識別画像の位置に基づいて、前記自装置が前記投影面に接触又は近接しているかを判定することとしても良い。

前記第１画像は、文字を表示する文字表示領域を示す画像であり、前記第２画像は、前記文字表示領域に文字を入力するためのキーボードを示す画像であることとしても良い。

また、上記課題を解決するために、本発明の別の観点によれば、第１画像を表示部に表示させるステップと、自装置が投影面に接触又は近接する場合に、前記第１画像に関連する第２画像を投影部により前記投影面に投影させるステップとを有する情報処理方法が提供される。

また、上記課題を解決するために、本発明の更に別の観点によれば、表示部と投影部を備える情報処理装置のコンピュータに、第１画像を前記表示部に表示させるステップ、
自装置が投影面に接触又は近接する場合に、前記第１画像に関連する第２画像を前記投影部により前記投影面に投影させるステップを実行させるプログラムが提供される。

以上説明したように本発明によれば、表示部に表示される画像と投影面に投影される画像とを共に活用して利便性を向上することが可能となる。

携帯端末１０の主要部の構成を示すブロック図である。 携帯端末１０の外観を示す斜視図である。 表示部１６にＷＥＢページを表示している際に、投影面Ｓに投影される投影画像を説明するための図である。 表示部１６にテキスト表示領域を表示している際に、投影面Ｓに投影される投影画像を説明するための図である。 画像Ｐ１と投影画像Ｐ２の表示処理の第１実施例を説明するためのフローチャートである。 接触センサー２４によるテーブルＴの接触の検知を説明するための図である。 プロジェクタ１８が、投影面Ｓに段階的に投影領域を拡大して投影させる態様を説明するための図である。 画像Ｐ１と投影画像Ｐ２の表示処理の第２実施例を説明するためのフローチャートである。 タッチパネル２２上でのドラッグ操作に連動して、画像Ｐ１及び投影画像Ｐ２がスクロールする様子を説明するための図である。 投影画像Ｐ２上での指の移動操作に連動して、画像Ｐ１及び投影画像Ｐ２がスクロールする様子を説明するための図である。 ドラッグ操作に連動して、表示部１６の表示画面上のアイコンＩが投影面Ｓに移動する様子を説明するための図である。 表示部１６の表示画面と投影面を連続した表示領域として見なした際の、統合座標空間を説明するための模式図である。 携帯端末１０の投影面Ｓへの近接を検出する方法を説明する模式図である。 携帯端末１０の接触を検出する他の実施形態を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．情報処理装置の構成について
２．プロジェクタ１８による投影画像の投影について
３．投影面Ｓに投影される投影画像の態様について
４．画像Ｐ１と投影画像Ｐ２のスクロール表示について
５．画像Ｐ１と投影画像Ｐ２の表示処理の第１実施例について
６．画像Ｐ１と投影画像Ｐ２の表示処理の第２実施例について
７．画像Ｐ１と投影画像Ｐ２のスクロール表示例について
８．その他の実施形態

＜１．情報処理装置の構成について＞
情報処理装置として、本実施形態では携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯端末を例に挙げて説明する。

まず、携帯端末１０の構成について、図１及び図２を用いて説明する。図１は、携帯端末１０の主要部の構成を示すブロック図である。図２は、携帯端末１０の外観を示す斜視図である。なお、図２では、携帯端末１０のプロジェクタ１８により、テーブルＴに投影画像が投影されている様子が示されている。

携帯端末１０は、例えばＷＥＢ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サイトの閲覧を行う機能等を有する。この携帯端末１０は、図１に示すように、制御部１２と、メモリ１４と、表示部１６と、投影部の一例であるプロジェクタ１８と、カメラ２０と、タッチパネル２２と、接触検出部の一例である接触センサー２４と、通信部２８とを有する。

制御部１２は、携帯端末１０全体の制御を行っており、表示部１６、プロジェクタ１８等に対して所定の制御を行う。メモリ１４は、制御部１２で用いられる情報（例えば、制御部１２が実行するプログラム情報）を記憶する。

表示部１６は、液晶ディスプレイや有機ＥＬディスプレイ等であり、表示画面に各種画像等を表示する。例えば、表示部１６は、ＷＥＢサイト閲覧の際にＷＥＢページの画像を表示する。また、表示部１６は、携帯端末１０の前面１０ｂに設けられ、表示部１６の表示画面の大きさは、前面１０ｂの面積に比べて僅かに小さい。

プロジェクタ１８は、図２に示すように、投影面Ｓに投影画像（第２画像）を投影するためのものである。プロジェクタ１８は、光源やレンズ等の光学系を有し、光線束を出射して投影面に画像や文字（映像）を投影する。プロジェクト１８も、表示部１６と同様に携帯端末１０の前面１０ｂに設けられており、上下方向において表示部１６の上側に位置している。そして、プロジェクタ１８は、上下方向において斜め下に向かって投影画像を投影するように構成されている。

また、本実施形態におけるプロジェクタ１８は、携帯端末１０の底面１０ａが接触する接触面（投影面Ｓ）に、投影画像を投影する。プロジェクタ１８は、図２に示すように、投影画像が携帯端末１０の底面１０ａに隣接するように、投影を行う。なお、プロジェクタ１８による投影画像の投影の詳細については、後述する。

カメラ２０は、画像を撮像するためのものである。カメラ２０は、レンズと、ＣＣＤやＣＭＯＳ等の撮像素子を有する。本実施形態に係るカメラ２０は、投影面Ｓに投影された投影画像上におけるユーザによる指の移動を検出する機能を有する。この機能を実現するために、カメラ２０も、携帯端末１０の前面１０ｂに設けられており、プロジェクタ１８と同様に上下方向において表示部１６の上側に位置している。そして、カメラ２０は、上下方向の斜め下の画像を撮像するように構成されている。なお、本実施形態では、カメラ２０は、水平方向においてプロジェクタ１８の横に設けられている。

タッチパネル２２は、表示部１６に重畳して設けられている。このタッチパネル２２により、表示部１６に表示された画像上における、ユーザによるタップ操作やドラッグ操作を検出することができる。ここで、タッチパネル２２による検出方法として、いわゆる静電容量式や感圧式等のいずれかの方式を採用することができる。なお、タップ操作は、タッチパネル２２へのタッチ操作を意味し、ドラッグ操作は、タッチパネル２２に触れた指を移動させる操作を意味する。

接触センサー２４は、携帯端末１０の底面１０ａに設けられ、携帯端末１０の投影面Ｓへの接触を検出する。接触センサー２４は、接触面を検出できれば、機械式等の様々な方式のセンサーを用いることができる。

通信部２８は、アンテナを有しており、外部のサーバ等に接続するために基地局等を介してネットワークと無線通信を行う。

なお、上記においては、プロジェクタ１８及びカメラ２０は、上下方向において表示部１６の上側に位置することとしたが、これに限定されない。例えば、プロジェクタ１８及びカメラ２０は、水平方向において表示部１６の横側に位置することとしても良い。また、プロジェクタ１８とカメラ２０は、それぞれ別の位置に設けることとしても良い。

＜２．プロジェクタ１８による投影画像の投影について＞
図２に示したように、プロジェクタ１８は、携帯端末１０の底面１０ａが接触する接触面（投影面Ｓ）に、投影画像を投影する。なお、投影面Ｓ上の点線が、プロジェクタ１８による投影領域を示している。

本実施形態では、表示部１６による画像の表示と、プロジェクタ１８による投影面への画像の投影とを両方行っている。そして、表示部１６に表示された画像と、プロジェクタ１８により投影された投影画像が、あたかも一連の連続画像になるようにしている。ここで、投影画像は、表示部１６に表示された画像に関連する画像である。この結果、あたかも表示領域が拡大したことになり、ユーザは、関連する画像（連続画像）を広い表示画面で認識することができるようになる。

このような連続画像の表示は、制御部１２が、表示部１６の画像の表示と、プロジェクタ１８による画像の投影を制御することにより、実行される。すなわち、制御部１２は、携帯端末１０が投影面Ｓに接触する際に、表示部１６に表示される画像と投影面Ｓに投影される投影画像とを、一連の連続画像として表示させるように、表示部１６及びプロジェクタ１８を制御する。

具体的には、制御部１２は、表示部１６による画像の表示中に、接触センサー２４により携帯端末１０の底面１０ａが接触面（投影面Ｓ）に接触したことを検出した場合には、プロジェクタ１８に投影画像を投影面Ｓに投影させる。なお、このような連続画像の表示処理については、後述する。

また、詳細は後述するが、制御部１２は、連続画像を表示させる際に、投影される投影画像の表示面積を段階的に広げるようにプロジェクタ１８を制御する。

＜３．投影面Ｓに投影される投影画像の態様について＞
投影面Ｓに投影される投影画像の態様を、図３及び図４を用いて説明する。図３は、表示部１６にＷＥＢページを表示している際に、投影面Ｓに投影される投影画像を説明するための図である。なお、図３では、説明の便宜上、携帯端末１０の下に投影画像が示されている。

図３において、表示部１６の表示対象のＷＥＢページの画像の大きさは、表示部１６の表示画面の大きさよりも大きいものとする。このため、表示部１６には、ＷＥＢページの一部の画像Ｐ１のみが表示される。そして、ＷＥＢページのうち、表示部１６に表示されなかった画像が、プロジェクタ１８により投影面Ｓに投影画像Ｐ２として投影される。具体的には、ＷＥＢページのうち、表示部１６に表示された画像Ｐ１に続く画像Ｐ２（すなわち、表示部１６に表示されていた画像Ｐ１に関連する画像Ｐ２）が、投影面Ｓに投影される。なお、図３においては、画像Ｐ１が第１画像に該当し、投影画像Ｐ２が第２画像に該当する。

ここで、投影画像Ｐ２の投影面Ｓにおける位置は、図２及び図３を見ると分かるように、投影画像Ｐ２が携帯端末１０の底面１０ａに隣接する位置となっている。また、上述したように、表示部１６の表示画面は、携帯端末１０の前面１０ｂのほぼ全域に亘って設けられている。このため、表示部１６に表示された画像Ｐ１と、投影面Ｓ上の投影画像Ｐ２との間の切れ目が小さく、ユーザは画像Ｐ１と投影画像Ｐ２を連続画像として認識しやすくなる。

このように、表示部１６に表示された画像Ｐ１と、投影面Ｓに投影された投影画像Ｐ２は、ＷＥＢページの一連の連続画像を構成している。ユーザは、表示部１６に表示された画像と投影面Ｓに投影された画像Ｐ２を見ることにより、大きい画面サイズでＷＥＢページを閲覧することができる。このため、表示画面の切り替え等の操作が不要となり、携帯端末１０の利便性が向上することになる。

図４は、表示部１６にテキスト表示領域を表示している際に、投影面Ｓに投影される投影画像を説明するための図である。なお、図４では、説明の便宜上、携帯端末１０の下に投影画像が示されている。

図４では、表示部１６にテキスト表示領域を示す画像Ｐ１が表示されている際に、テキスト表示領域に文字を入力するための仮想キーボードを示す画像Ｐ２が、携帯端末１０の底面１０ａが接触する投影面Ｓに投影されている。携帯端末１０は、この仮想キーボードの画像Ｐ２上でタッチ操作を検出することで、タッチ操作されたキーに対応する文字をテキスト表示領域に表示する。このため、ユーザは、表示部１６に表示された画面を見ながら、投影画像Ｐ２上でタッチ操作をすることで、テキスト表示領域に容易に文字入力を行うことができる。

なお、投影面Ｓに投影される投影画像Ｐ２は、図３や図４に示す画像に限定されるものでは無く、表示部１６に表示される画像と関連性のある画像であれば、如何なる投影画像でも良い。

＜４．画像Ｐ１と投影画像Ｐ２のスクロール表示について＞
上述したように、制御部１２は、表示部１６とプロジェクタ１８を制御して、画像Ｐ１と投影画像Ｐ２の一連の連続画像を表示させる。そして、本実施形態においては、制御部１２は、表示された連続画像をスクロール表示させる際に、表示部１６とプロジェクタ１８の制御も行っている。

制御部１２は、表示部１６に画像Ｐ１が表示され、かつ投影面Ｓに投影画像Ｐ２が投影された状態で、タッチパネル２２上でのドラッグ操作や、投影画像Ｐ２上でのユーザの指の移動を検出した場合に、画像Ｐ１及び投影画像Ｐ２のスクロール表示を行う。このスクロール表示の際には、表示部１６に表示される画像Ｐ１がスクロールすると同時に、投影面Ｓに投影される投影画像Ｐ２もスクロールする。

具体的には、制御部１２は、連続画像の表示中にタッチパネル２２でのユーザによるドラッグ操作を検知した場合に、ドラッグ操作のドラッグ量に応じて画像Ｐ１及び投影画像Ｐ２を同時にスクロールさせる。また、制御部１２は、連続画像の表示中にカメラ２０によるユーザの指の移動を検出した場合に、指の移動量に応じて画像Ｐ１及び投影画像Ｐ２を同時にスクロールさせる。なお、画像Ｐ１と投影画像Ｐ２のスクロール表示例については、後述する。

＜５．画像Ｐ１と投影画像Ｐ２の表示処理の第１実施例について＞
画像Ｐ１と投影画像Ｐ２の表示処理の第１実施例について、図５を用いて説明する。図５は、画像Ｐ１と投影画像Ｐ２の表示処理の第１実施例を説明するためのフローチャートである。

第１実施例は、図３に示すような画像Ｐ１としてＷＥＢページが表示部１６に表示されている場合の表示処理に関するものである。そして、第１実施例での表示処理は、表示部１６にＷＥＢページ（画像Ｐ１）が表示されており、プロジェクタ１８による投影が行われていないときから開始される。ここでは、ＷＥＢページを例に挙げて説明するが、これに限定されるものでは無い。

まず、制御部１２は、接触センサー２４により、携帯端末１０の底面１０ａが他の物体（ここでは、一例としてテーブルＴとする）に接触しているか否かを判定する（ステップＳ２）。ここで、接触センサー２４が、どのようにテーブルＴを検出するかについて、図６を用いて説明する。

図６は、接触センサー２４によるテーブルＴの接触の検知を説明するための図である。なお、図６では、説明の便宜上、表示部１６に画像Ｐ１が表示されていないものとする。携帯端末１０の底面１０ａに設けられた接触センサー２４は、携帯端末１０がテーブルＴに対して略垂直な状態で底面１０ａがテーブルＴに接触している場合に、接触を検出する。このため、携帯端末１０がテーブルＴに対して斜めに位置する場合には、接触センサー２４はテーブルＴを検出しない。

図５に示すフローチャートに戻って、表示処理の説明を続ける。制御部１２は、接触センサー２４により底面１０ａがテーブルＴに接触していないと判定した場合には（ステップＳ２：Ｎｏ）、つまり、携帯端末１０がテーブルＴから離れて位置する場合には、プロジェクタ１８による投影面Ｓへの投影画像Ｐ２の投影が実行されない。つまり、表示部１６のみによるＷＥＢページの表示が、実行される。

一方で、制御部１２は、接触センサー２４により底面１０ａがテーブルＴに接触していると判定した場合には（ステップＳ２：Ｙｅｓ）、続いて、タッチパネル２２上でユーザの指が縦方向にドラッグ操作をしたか否かを判定する（ステップＳ４）。このドラック操作は、ＷＥＢページの表示領域を拡大することを意図した、ユーザによる操作である。

そして、制御部１２は、タッチパネル２２上でドラッグ操作が行われなかったと判定した場合には（ステップＳ４：Ｎｏ）、プロジェクタ１８による投影面Ｓへの投影画像Ｐ２の投影が実行されない。つまり、表示部１６のみによるＷＥＢページの表示が、実行される。

一方で、制御部１２は、ドラッグ操作が行われたと判定した場合には（ステップＳ４：Ｙｅｓ）、テーブルＴが底面１０ａに接触する接触面（すなわち、投影面Ｓ）にプロジェクタ１８によって投影画像Ｐ２の投影を開始する（ステップＳ６）。プロジェクタ１８は、投影画像Ｐ２が底面１０ａに隣接するように、投影面Ｓへの投影を開始する。

ここで、投影画像Ｐ２は、ＷＥＢページの画像のうち、表示部１６に表示されていなかった画像である。表示部１６の画像Ｐ１と投影面Ｓの投影画像Ｐ２は、１つのＷＥＢページを構成する画像（一連の連続画像）である。

ところで、本実施例において、プロジェクタ１８は、一瞬で図３に示すような投影画像Ｐ２を投影するのでは無い。図７に示すように、投影領域が時間の経過と共に拡大するように、プロジェクタ１８が投影画像を投影する。

図７は、プロジェクタ１８が、投影面Ｓに段階的に投影領域を拡大して投影させる態様を説明するための図である。図７においては、３段階で、投影画像Ｐ２の投影領域が拡大している。つまり、プロジェクタ１８は、まず投影画像Ｐ２ａを底面１０ａから飛び出すように投影面Ｓに投影させる。そして、プロジェクタ１８は、投影画像Ｐ２ａを一定時間だけ投影した状態を維持した後に、投影画像Ｐ２ｂを投影面Ｓに投影する。さらに、プロジェクタ１８は、投影画像Ｐ２ｂを一定時間だけ投影した状態を維持した後に、投影画像Ｐ２ｃを投影面Ｓに投影する。この投影画像Ｐ２ｃは、投影可能な最大サイズ（図３に示す画像と同じ大きさ）の投影画像である。

このように、投影面Ｓにおける投影画像Ｐ２の投影領域を段階的に拡大していくことで、ユーザは、投影面Ｓに連続画像の一部を成す画像が表示されていることを容易に認識することができる。

図５に示すフローチャートに戻って、図７に示すように３つの投影画像Ｐ２ａ〜Ｐ２ｃを投影する際の表示処理の説明を続ける。まず、制御部１２は、表示部１６に画像Ｐ１を表示させた状態で、携帯端末１０の底面１０ａから投影画像Ｐ２ａ（所定サイズの画像）が伸び出てくるように、プロジェクタ１８を制御する（ステップＳ８）。

次に、制御部１２は、投影面Ｓに投影された画像が、最大サイズの投影画像Ｐ２ｃか否かを判定する（ステップＳ１０）。ここでは、投影画像Ｐ２ａが投影されたので（ステップＳ１０：Ｎｏ）、制御部１２は、ステップＳ８を再度行い、投影画像Ｐ２ｂを投影させる。なお、投影画像Ｐ２ａから投影画像Ｐ２ｂに拡張する際には、画像の投影状態は維持されている。このように、制御部１２は、最大サイズの投影画像が投影されるまで、ステップＳ８とステップＳ１０の処理を繰り返す。

そして、制御部１２は、投影画像Ｐ２ｃを投影されると（ステップＳ１０：Ｙｅｓ）、処理を終了する。本処理表示によれば、表示部１６による画像Ｐ１の表示中に、プロジェクタ１８により画像Ｐ１に関連する投影画像Ｐ２を投影面Ｓに投影させることで、１つの大きな表示領域を形成することとなる。このため、ユーザとしては、表示画面や投影面Ｓのいずれか一方で表示された画像を見るときに比べて、大きい画面サイズでＷＥＢページを閲覧することができ、表示画面の切り替え等の煩雑な操作が不要となり、携帯端末１０の利便性を向上することになる。

また、上述した表示処理を実行することにより、表示部１６の表示画面と投影面Ｓが隣接するような配置となるため、表示画面と投影面Ｓがひとつの表示領域として扱うことができる。このため、表示画面と投影面ＳにそれぞれＷＥＢページを構成する画像Ｐ１、Ｐ２を、一連の連続画像として表示できる。この結果、ユーザにとっては、表示画面や投影面Ｓのいずれか一方で表示された画像を見るときに比べて、広範囲の画像を認識することができ、ユーザのとっての利便性が向上することとなる。

従来においては、表示部１６とプロジェクタ１８の両方を備えた装置では、いずれか一方をつかって画像を表示しているに過ぎず、本実施形態のように表示画面と投影面Ｓを１つの表示領域として扱うという技術思想自体が存在していない。このため、本表示処理によれば、表示画面と投影面Ｓを一緒に活用することで、従来よりも利便性がより改善された表示方式を実現できる。

なお、上記においては、接触センサー２４による底面１０ａの接触が検出された後にタッチパネル２２上でのドラッグ操作が行われると、投影領域を拡大しながら投影画像を投影することとしたが、これに限定されない。例えば、底面１０ａの接触が検出されたら、ドラッグ操作が有無に関わらず、投影領域を拡大することとしても良い。また、ドラッグ操作の方向に応じて、ユーザの好みの投影領域に変更できることとしても良い。これにより、最適な投影領域で投影面Ｓに投影画像を投影させることができる。

＜６．画像Ｐ１と投影画像Ｐ２の表示処理の第２実施例について＞
画像Ｐ１と投影画像Ｐ２の表示処理の第２実施例について、図８を用いて説明する。図８は、画像Ｐ１と投影画像Ｐ２の表示処理の第２実施例を説明するためのフローチャートである。

第２実施例は、図４に示すような画像Ｐ１としてテキスト表示領域が表示部１６に表示されている場合の表示処理に関するものである。そして、第２実施例での表示処理は、表示部１６にテキスト表示領域（画像Ｐ１）が表示されており、プロジェクタ１８による投影が行われていないときから開始される。

まず、制御部１２は、表示部１６にテキスト表示領域が表示されている状態で、ユーザによりテキスト表示領域へのタップ操作が行われたか否かを判定する（ステップ２２）。そして、タップ操作が行われていないと判定した場合には（ステップＳ２２：Ｎｏ）、制御部１２は、投影面Ｓへの画像Ｐ２の投影を行わず、本処理を終了する。

一方で、制御部１２は、タップ操作が行われたと判定した場合には（ステップＳ２２：Ｙｅｓ）、続いて、接触センサー２４により、携帯端末１０の底面１０ａが他の物体（例えばテーブルＴ）に接触しているか否かを判定する（ステップＳ２４）。

そして、制御部１２は、底面１０ａがテーブルＴに接触していないと判定した場合には（ステップＳ２４：Ｎｏ）、表示部１６にキーボードを表示する（不図示）。つまり、表示部１６に、テキスト表示領域とキーボードを両方表示する。これにより、表示部１６のキーボードにタッチすることで、テキスト表示領域に文字を入力できる。なお、この場合には、キーボードを表示させる分だけ、表示部１６におけるテキスト表示領域の大きさは小さくなる。

一方で、制御部１２は、底面１０ａがテーブルＴに接触していると判定した場合には（ステップＳ２４：Ｙｅｓ）、表示部１６のテキスト表示領域の大きさを変更させずに、プロジェクタ１８に図４に示す仮想キーボードを示す画像Ｐ２を投影面Ｓに投影させる（ステップＳ２６）。ここで、画像Ｐ２は、第１実施例と同様に底面１０ａに隣接するように、投影される。

この第２実施例による表示処理によれば、テキスト表示領域が表示部１６に表示されている際に、仮想キーボードを示す画像Ｐ２を投影面Ｓに投影させることで、ユーザは、仮想キーボードの画像Ｐ２上でタッチ操作をすることで、テキスト表示領域に文字を入力できる。このため、表示画面にテキスト表示領域及びキーボード領域がある場合に比べて、テキスト表示領域を大きく表示できるので、携帯端末１０の利便性が向上する。

なお、第１実施例では画像Ｐ２の投影領域を段階的に拡大しながら投影することとしたが、第２実施例では一瞬で画像Ｐ２が投影面Ｓに投影される。これにより、テキスト表示領域を広く維持したまま、文字入力を迅速に行える。

＜７．画像Ｐ１と投影画像Ｐ２のスクロール表示例について＞
表示部１６に画像Ｐ１が表示され、かつ投影面Ｓに投影画像Ｐ２が投影された状態における、画像Ｐ１及び投影画像Ｐ２のスクロール表示について、具体例を挙げて説明する。

図９は、タッチパネル２２上でのドラッグ操作に連動して、画像Ｐ１及び投影画像Ｐ２がスクロールする様子を説明するための図である。図９の左側の図が、画像をスクロールさせる前の状態を示し、右側の図が、画像をスクロールさせた後の状態を示している。なお、矢印の方向Ｄ１がドラッグ方向を示している。

図９に示されるように、タッチパネル２２上に指Ｆをタッチした状態で方向Ｄ１にドラッグすることにより、表示部１６の画像Ｐ１及び投影面Ｓの投影画像Ｐ２が方向Ｄ１に移動する。これにより、スクロール前に投影画像Ｐ２として表示されていた一部の画像が、表示部１６に表示されることになる。このように、タッチパネル２２上でドラッグ操作をすることで、表示部１６の画像Ｐ１だけで無く、投影画像Ｐ２も移動する。この結果、簡易な操作で、二つの画像Ｐ１、Ｐ２を容易にスクロールさせることができる。

図１０は、投影画像Ｐ２上での指の移動操作に連動して、画像Ｐ１及び投影画像Ｐ２がスクロールする様子を説明するための図である。図１０の左側の図が、画像をスクロールさせる前の状態を示し、右側の図が、画像をスクロールさせた後の状態を示している。なお、矢印の方向Ｄ１が指Ｆの移動方向を示している。

指Ｆの移動は、カメラ２０により検出される。つまり、カメラ２０が、移動検出部の一例に該当する。そして、図１０に示されるように、投影画像Ｐ２上でユーザの指Ｆが方向Ｄ１に移動すると、表示部１６の画像Ｐ１及び投影面Ｓの投影画像Ｐ２が方向Ｄ１に移動する。これにより、スクロール前に投影画像Ｐ２として表示されていた一部の画像が、表示部１６に表示されることになる。このように、投影画像Ｐ２上で指を移動することで、投影画像Ｐ２だけで無く、表示部１６の画像Ｐ１も移動する。この結果、簡易な操作で、二つの画像Ｐ１、Ｐ２を容易にスクロールさせることができる。

図１１は、ドラッグ操作に連動して、表示部１６の表示画面上のアイコンＩが投影面Ｓに移動する様子を説明するための図である。なお、矢印の方向Ｄ２がドラッグ方向を示している。

図１１に示されるように、表示部１６の表示画面上でアイコンＩを指Ｆでタッチした状態で方向Ｄ２に連続的にドラッグすることにより、アイコンＩが投影面Ｓまで移動して、投影画像の一部として表示される。なお、図１１の真ん中の図に示されるように、アイコンＩが移動中に表示画面と投影面Ｓの両方に跨る場合には、アイコンＩが表示画面と投影面Ｓに分けて表示される。このように、表示画面から投影面Ｓまでの一連のタッチ操作及び指の移動操作に連動して、表示画面上のアイコンが投影面Ｓに移動する。このように、簡易な操作で、互いに異なる面である表示画面と投影面Ｓの間でアイコンのドラッグ操作を行うことができる。

ここで、表示部１６の表示画面と投影面Ｓを連続した表示領域とした際の、連続的なタッチ操作を実現するための手法を、図１２を用いて説明する。図１２は、表示部１６の表示画面と投影面を連続した表示領域として見なした際の、統合座標空間を説明するための模式図である。

図１２（ａ）は、表示部１６の表示画面Ｅの座標領域を示している。表示画面Ｅの幅方向の座標は０〜ＷＬであり、高さ方向の座標は０〜ＨＬである。なお、表示画面Ｅの左上端が原点である。図１２（ｂ）は、投影面Ｓの座標領域を示している。投影面Ｓの幅方向の座標は０〜ＷＰであり、高さ方向の座標は０〜ＨＰである。なお、投影面Ｓの左上端が原点である。図１２（ｃ）は、表示画面Ｅと投影面Ｓを統合した統合座標空間を示している。

図１２（ｃ）に示す統合空間座標におけるタッチ位置の算出方法を説明する。統合空間座標における統合座標（Ｘ，Ｙ）は、以下の３つの定数ＳＬ，Ｈ１，ＳＰから求まる。まず、３つの定数を、下式（数式１〜数式３）のように定める。
ＳＬ＝Ｗ/ＷＬ・・・・・（数式１）
Ｈ１＝ＨＬ/ＳＬ・・・・・（数式２）
ＳＰ＝Ｗ/ＷＰ・・・・・（数式３）
ここで、Ｗは任意の正の固定値（統合座標空間の最大Ｘ座標）とする。

すると、表示画面Ｅ上における統合座標（Ｘ，Ｙ）は、下式（数式４、数式５）で表される。
Ｘ＝ＸＬ*ＳＬ・・・・・（数式４）
Ｙ＝ＹＬ*ＳＬ・・・・・（数式５）

また、投影面Ｓ上における統合座標（Ｘ，Ｙ）は、下式（数式６、数式７）で表される。
Ｘ＝ＸＰ*ＳＰ ・・・・・（数式６）
Ｙ＝ＹＰ*ＳＰ+Ｈ１・・・・・（数式７）

＜８．その他の実施形態＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

上記実施形態では、携帯端末１０がテーブルＴに接触したことを検出した場合に、投影面Ｓに投影画像Ｐ２を投影することとしたが、本発明はかかる例に限定されない。例えば、携帯端末１０がテーブルＴに近接したことを検出した場合に、投影面Ｓに投影画像Ｐ２を投影することとしても良い。

図１３は、携帯端末１０の投影面Ｓへの近接を検出する方法を説明する模式図である。この方法は、まず、投影面Ｓ上に識別画像としてのマークＭを投影した後に、投影されたマークＭをカメラ２０で撮影する。そして、読取部に該当するカメラ２０で撮影されたマークＭの位置に基づいて、携帯端末１０がテーブルＴに対して近接しているか否かを判定できる。

例えば、図１３（ａ）のように携帯端末１０が投影面Ｓに近接する場合には、図１３（ｂ）に示すように、カメラ２０によって撮影されたマークＭの位置が、カメラ２０の撮影領域Ｗの上辺に近い位置となる。一方で、図１３（ｃ）のように携帯端末１０が投影面Ｓから離れている場合には、図１３（ｄ）に示すように、撮影されたマークＭの位置が、撮影領域Ｗの上辺から離れた位置となる。このような方法によれば、接触センサー２４が不要となり、装置の簡略化が可能となる。なお、図１３（ｂ）と図１３（ｄ）における投影画像Ｐ２の形状が異なる理由は、図１３（ｂ）ではカメラ２０とプロジェクタ１８の光軸がほぼ一致しているのに対して、図１３（ｄ）ではカメラ２０とプロジェクタ１８の光軸がずれているためである。

また、上記実施形態では、携帯端末１０の底面１０ａに設けられた接触センサー２４により、携帯端末１０のテーブルＴへの接触を検出することとしたが、本発明はかかる例に限定されない。例えば、図１４に示すように、携帯端末１０に対して回動可能に設けられた支持軸３０の回転角によって、接触を検出することとしても良い。この支持軸３０は、携帯時は携帯端末１０内に収納されているが、テーブルＴ等に設置する際には支持軸３０を回転させることになる。このため、携帯端末１０がテーブル上に設置される際の支持軸３０の回転角を設定しておけば、支持軸３０の回転角を検出することで、携帯端末１０の接触を検出できる。なお、図１４は、携帯端末１０の接触を検出する他の実施形態を示す図である。

なお、携帯端末１０の底面１０ａがテーブルＴに接触又は近接しない場合でも、表示部１６に表示された画像Ｐ１に関連する投影画像Ｐ２を、投影面Ｓに投影させることとしても良い。例えば、画像Ｐ１の表示中に携帯端末１０を振る操作等を行った場合に、投影画像Ｐ２を投影させても良い。また、メールの着信等があった場合に、メール内容を投影画像Ｐ２として投影面Ｓに投影させても良い。

また、上記実施形態では、投影画像Ｐ２上の指の移動をカメラ２０により検出することとしたが、本発明はかかる例に限定されない。例えば、プロジェクタ１８がレーザスキャン方式である場合には、レーザに対する指の反射を検出することとしても良い。

また、上記実施形態では、情報処理装置として携帯端末１０を例に挙げて説明したが、本発明はかかる例に限定されない。例えば、デジタルフォトフレーム等のようなテーブル等の上に固定して使用する装置であっても良い。

１０ 携帯端末
１０ａ 底面
１０ｂ 前面
１２ 制御部
１４ メモリ
１６ 表示部
１８ プロジェクタ
２０ カメラ
２２ タッチパネル
２４ 接触センサー
２８ 通信部
３０ 支持軸
Ｅ 表示画面
Ｍ マーク
Ｓ 投影面
Ｐ１、Ｐ２ 画像

Claims (10)

1. 第１画像を表示する表示部と、
   投影面に画像を投影して表示させる投影部と、
   自装置が前記投影面に接触又は近接する際に、前記第１画像に連続する第２画像を前記投影面に投影させるように、前記投影部を制御する制御部と、
   前記連続する第１、第２画像の表示中に前記第２画像上の移動体の移動を検出する移動検出部と、
   を備え、
   前記制御部は、前記移動検出部による前記移動を検出した場合に、前記移動に応じて前記連続する第１、第２画像をスクロール表示させる、情報処理装置。
2. 前記制御部は、前記投影面において前記第２画像が前記表示部の表示画面に隣接する位置に、前記投影部により前記第２画像を投影させる、請求項１に記載の情報処理装置。
3. 前記制御部は、前記表示部による前記第１画像の表示中に前記自装置が前記投影面に接触又は近接する際に、前記投影部に前記第２画像を前記投影面に投影させる、請求項２に記載の情報処理装置。
4. 自装置の底面に当該自装置の前記投影面への接触を検出する接触検出部を備え、
   前記制御部は、前記接触検出部による前記接触を検出した場合に、前記投影部に前記第２画像を前記投影面に投影させる、請求項２又は３に記載の情報処理装置。
5. 前記制御部は、前記投影部に前記第２画像を投影させる際に、前記投影面に対する投影領域を段階的に広げるように前記投影部を制御する、請求項２〜４のいずれか１項に記載の情報処理装置。
6. 前記表示部の表示画面上に設けられ、タッチ操作が行われるタッチパネルを備え、
   前記制御部は、前記連続する第１、第２画像の表示中に前記タッチ操作としてドラッグ操作を検知した場合に、前記ドラッグ操作に応じて前記連続する第１、第２画像をスクロール表示させる、請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記投影部は、前記第２画像を前記投影面に投影する前に、識別画像を前記投影面に投影し、
   前記投影面に投影された前記識別画像を読み取る読取部を備え、
   前記制御部は、前記読取部が読み取った前記識別画像の位置に基づいて、前記自装置が前記投影面に接触又は近接しているかを判定する、請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記第１画像は、文字を表示する文字表示領域を示す画像であり、
   前記第２画像は、前記文字表示領域に文字を入力するためのキーボードを示す画像である、請求項１〜７のいずれか１項に記載の情報処理装置。
9. 第１画像を表示部に表示させるステップと、
   自装置が投影面に接触又は近接する場合に、前記第１画像に連続する第２画像を投影部により前記投影面に投影させるステップと、
   前記連続する第１、第２画像の表示中に前記第２画像上の移動体の移動を検出するステップと、
   前記移動を検出した場合に、前記移動に応じて前記連続する第１、第２画像をスクロール表示させるステップと、
   を有する、情報処理方法。
10. 表示部と投影部を備える情報処理装置のコンピュータに、
    第１画像を前記表示部に表示させるステップ、
    自装置が投影面に接触又は近接する場合に、前記第１画像に連続する第２画像を前記投影部により前記投影面に投影させるステップ、
    前記連続する第１、第２画像の表示中に前記第２画像上の移動体の移動を検出するステップと、
    前記移動を検出した場合に、前記移動に応じて前記連続する第１、第２画像をスクロール表示させるステップと、
    を実行させる、プログラム。

Images