JP6007490B2 - 表示システム、表示プログラムおよび表示方法 - Google Patents

Description

本発明は、表示システム、表示プログラムおよび表示方法に関する。

特許文献１には、コピー対象を正確に選択するための方法が記載されている。特許文献２には、マルチタッチパネルにおいて、指のジェスチャーにより情報を入力する方法が記載されている。特許文献３には、対象物を含む領域に注釈画像を表示する方法が記載されている。
［特許文献１］ 特許第４０５６４７７号明細書
［特許文献２］ 特表２０１０−５３２０５５号公報
［特許文献３］ 特開２００９−２９０４８８号公報

しかし、従来、例えば書類等の対象物の画像をコピーして、実空間内のユーザの指定する任意の位置に、任意のタイミングで表示させることはできなかった。

本発明の第１の態様においては、ユーザの動きから対象物を特定する対象特定部と、対象物を撮像した画像を入力する対象画像入力部と、対象物を表示すべき条件が満たされたことに応じて、対象物の画像を出力する画像出力部と、を備える表示システムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

第１の実施形態に係る表示システム１０の構成を示す。 本実施形態に係る制御装置３０の機能構成の一例を示す。 本実施形態に係る制御装置３０における、対象物を撮像する際の処理フローを示す。 本実施形態に係る制御装置３０における、対象物を撮像する際の処理フローを示す。 本実施形態に係る制御装置３０における、出力画像を表示させる際の処理フローを示す。 本実施形態に係る表示システム１０において、「案内状」を表示対象とした場合の例を示す。 第２の実施形態に係る制御装置３００の機能構成の一例を示す。 本実施形態に係るコンピュータ１９００のハードウエア構成の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る表示システム１０の構成を示す。表示システム１０は、実空間内の対象物１４をユーザの指定に応じて特定し、その画像を撮像して保存する。そして、表示システム１０は、指定された日時となったこと等の予め定められた条件が満たされたことに応じて、対象物１４の画像を表示する。このように、表示システム１０は、実空間内の対象物１４をあたかも"コピー"し、条件に応じて表示することによりあたかも"ペースト"することができる。これにより、必要な画像を必要なときに得られる環境を提供することができる。

例えば、図１に示されるように、表示システム１０は、ユーザが持つハガキを対象物１４として特定し、ハガキの画像を撮像して保存する。次に、表示システム１０は、ハガキの画像を表示させたいタイミングの指定をユーザから受ける。その後、指定されたタイミングとなったとき、表示システム１０は、対象物１４であるハガキの出力画像２０を部屋の壁に表示する。このように表示システム１０は、ユーザが表示させたい対象物１４を、ユーザの望むタイミングで表示させることができる。

表示システム１０は、１または複数の動作撮像部２２と、１または複数の対象撮像部２４と、１または複数の画像表示部２６と、制御装置３０とを備える。本実施形態のように、表示システム１０は部屋内に設けられてよい。なお、表示システム１０は、一つの部屋内のみならず複数の部屋にまたがって設けられてもよく、各部屋に動作撮像部２２、対象撮像部２４、および画像表示部２６の少なくとも１つを設けて部屋をまたがったコピーアンドペーストを実現してもよい。

１または複数の動作撮像部２２のそれぞれは、ユーザの動きを撮像する。動作撮像部２２は、スチルカメラまたはビデオカメラであってよい。ユーザの動作をより広い範囲で捉えるように、動作撮像部２２は対象撮像部２４に対して焦点距離の小さいレンズを備えてもよい。また、動作撮像部２２は、移動するユーザに合わせて、位置および／または撮影方向等を変更するために駆動部を有してよい。動作撮像部２２は、ユーザの動きを３次元で検出すべく、ステレオカメラ等の多眼カメラであってよく、これに代えて赤外線発光部および赤外線カメラを有する深度センサ等を有していてもよい。

１または複数の対象撮像部２４のぞれぞれは、ユーザが指定する対象物１４の画像（対象画像）を撮像する。対象撮像部２４は、例えば、スチルカメラまたはビデオカメラである。離れた対象画像を鮮明に撮像できるように、対象撮像部２４は、動作撮像部２２と比較して高倍率のレンズまたはズームレンズを備えてもよく、および／または、より高解像度の画像を撮像可能であってもよい。対象撮像部２４は、位置および／または撮影方向等を変更するために駆動部を有してよく、これにより指定された場所を撮像することができる。

１または複数の画像表示部２６のそれぞれは、実空間に画像を表示する。例えば、画像表示部２６は、部屋内に画像を投影表示するプロジェクタ等である。なお、画像表示部２６がプロジェクタである場合、画像表示部２６は位置および／または投影方向等を変更するために駆動部を有してよく、これにより指定された場所に画像を投影表示することができる。これに代えて、画像表示部２６は、ディスプレイ等の表示装置であってもよい。

制御装置３０は、動作撮像部２２のそれぞれ、対象撮像部２４のそれぞれ、および画像表示部２６のそれぞれに対して、有線または無線により接続され、これらの動作を制御する。より具体的には、制御装置３０は、各動作撮像部２２が撮像した画像を取得して、ユーザの動きを認識する。

次に、制御装置３０は、各対象撮像部２４が撮像したユーザの動きから対象物１４を特定して、対象画像を取得する。次に、制御装置３０は、対象画像および／またはユーザから対象画像を表示させるための条件を取得する。そして、制御装置３０は、対象画像を表示させる条件が満たされたときに、画像表示部２６に対象画像を所定の表示位置に表示させる。

なお、表示システム１０は、実空間における対象物１４の３次元位置を検出する位置検出装置を、動作撮像部２２および対象撮像部２４とは別に備えてもよい。位置検出装置は、例えば、右側カメラと左側カメラとを有するステレオカメラである。このような位置検出装置は、右側カメラにより撮像された画像と左側カメラにより撮像された画像との間の視差により、画面内の対象物１４までの距離を検出する。そして、表示システム１０は、位置検出装置によって検出された対象物１４の位置および距離情報を用いて、対象撮像部２４の向きおよびピント位置等を調整し、対象撮像部２４に鮮明な対象画像を撮像させる。また、表示システム１０は、外部に設けられた動作撮像部２２および対象撮像部２４および画像表示部２６を着脱可能な制御装置３０により構成されてもよい。

図２は、本実施形態に係る制御装置３０の機能構成の一例を、動作撮像部２２、対象撮像部２４、および画像表示部２６とともに示す。制御装置３０は、対象特定部４０と、対象画像入力部４２と、条件入力部４６と、表示位置特定部４８と、記憶部５０と、ユーザ検出部５２と、動作検出部５４と、画像出力部５６とを有する。

対象特定部４０は、動作撮像部２２が撮像した画像又は動画等を受け取り、動作撮像部２２が撮像したユーザの動きから対象物１４を特定する。具体的には、対象特定部４０は、動作撮像部２２が撮像した画像等から、ユーザの体の部分の動きを検出して、ユーザが予め定められた動きをしたかを判断する。ユーザが予め定められた動きをした場合は、対象特定部４０は、その動きから対象物１４を特定する。

次に、対象特定部４０は、対象撮像部２４を制御して対象物１４の方向に向けさせ、対象画像を撮像させる。具体的には、対象特定部４０は、動作撮像部２２および対象撮像部２４の両方から対象画像を取得して、対象物１４を画像の中心で鮮明に撮像するように対象撮像部２４の向きおよびピント位置等を制御する。そして、対象特定部４０は、対象撮像部２４の向きおよびピント位置等を対象物１４に合わせた後、対象画像入力部４２に対象画像を取得するよう指示する。

対象画像入力部４２は、対象特定部４０の指示に応じて、対象撮像部２４が対象物１４を撮像した対象画像を入力する。対象画像入力部４２は、対象画像を条件入力部４６および記憶部５０に供給する。

条件入力部４６は、対象画像を表示する条件を入力し、記憶部５０に格納する。例えば、条件入力部４６は、制御装置３０の外部のキーボード等の入力機器と接続されて、入力機器を介してユーザが入力した条件を記憶部５０に格納する。条件入力部４６は、指定された日時になったこと、指定された人物が検出されたこと、および／または指定された特定の動きを検出したことを、対象画像を表示する条件としてよい。また、条件入力部４６は、ユーザから「指定された人物」の顔画像等を入力して、人物特定用の画像としてユーザ検出部５２に供給してよい。

これに代えて、および／またはこれに加えて、条件入力部４６は、対象画像入力部４２から受け取った対象画像から日時の情報を取得し、取得した日時または日時よりも予め定められた時間前の日時を、対象画像を表示する条件としてもよい。条件入力部４６は、対象画像を表示する条件を、対象画像に対応付けて記憶部５０に格納する。

表示位置特定部４８は、ユーザが撮像された画像等を動作撮像部２２から取得して、画像等におけるユーザの動きから対象画像を表示すべき表示位置を特定する。具体的には、表示位置特定部４８は、動作撮像部２２が撮像した画像等から、ユーザの体の部分の動きを検出する。そして、検出したユーザの動きから、対象画像を表示すべき位置を特定する。表示位置特定部４８は、特定した表示位置を対象画像に対応付けて記憶部５０に格納する。

記憶部５０は、例えばハードディスク装置等の記憶装置であり、対象画像入力部４２から対象画像を取得し、条件入力部４６から対象画像を表示すべき条件を取得し、表示位置特定部４８から対象画像の表示位置を取得して、これらを対応付けて記憶する。

ユーザ検出部５２は、動作撮像部２２から画像等を取得して、予め定められた範囲内に予め定められたユーザが存在するか否かを検出する。例えば、ユーザ検出部５２は、動作撮像部２２の撮像範囲内または室内等において撮像された人物と、予め登録された人物の顔等を比較する。そして、ユーザ検出部５２は、その比較結果から、画像中に予め定められたユーザが存在するかの情報を画像出力部５６に供給する。また、ユーザ検出部５２は、条件入力部４６から新しく登録する人物の顔画像等を取得した場合は、人物と顔画像等を対応付けて保存し、以後のユーザ検出で使用する。

動作検出部５４は、動作撮像部２２の画像から、対象物１４の表示を指示するユーザの動きを検出する。具体的には、動作検出部５４は、動作撮像部２２が撮像した画像等から、ユーザの体の部分の動きを検出する。そして、ユーザの動きが予め定められた動きのパターンに該当する場合は、動作検出部５４は、ユーザの動きのパターンを示す情報を画像出力部５６に入力する。

画像出力部５６は、対象物１４を表示すべき条件が満たされたことに応じて、対象画像を、画像出力部５６に接続された画像表示部２６に出力する。具体的には、画像出力部５６は、記憶部５０にアクセスして、各対象画像に対応付けられた条件のうち、ユーザ検出部５２が検出したユーザ、動作検出部５４が検出したユーザの動きのパターン、および現在時刻に適合する条件が存在するか否か検索する。記憶部５０内のいずれかの条件が成立している場合には、画像出力部５６は、条件に対応付けられた対象画像を表示位置とともに、画像出力部５６に接続された画像表示部２６に出力する。そして、画像表示部２６は、受け取った表示位置の情報に基づき投影方向および出力画像２０の大きさ等を変更し、対象画像を指定された表示位置に表示する。

このような構成により、制御装置３０は、対象画像および対象画像を表示すべき条件を取得して保存する。そして、制御装置３０は、動作撮像部２２が撮像したユーザの画像等および日時等から対象画像を表示すべき条件が満たされたか否かを判断する。そして、対象画像を表示する条件が満たされたときに、制御装置３０は、保存した対象画像を表示させることができる。

図３および図４は、本実施形態に係る制御装置３０における、対象物を撮像する際の処理フローを示す。制御装置３０は、対象物１４を撮像する場合において、図３のステップＳ１０１からＳ１０６および図４のＳ１０７からＳ１１３までの処理を実行する。

まず、ステップＳ１０１において、動作撮像部２２がユーザを撮像する。次に、ステップＳ１０２において、対象特定部４０は、動作撮像部２２が撮像した画像または動画からユーザの動きを認識する。例えば、対象特定部４０は、撮像された画像等における対象物１４を特定するための指示を認識するために検出すべき体の部分（例えば、手、指、または腕等）の動きを追跡し、動きの方向、動きの量、および／または大きさの変化等を検出する。

次に、ステップＳ１０３において、対象特定部４０は、ユーザが予め定められた動きをしたことを検出したか否か判断する。対象特定部４０は、例えば、図１に示すようにユーザが手に持った物体を対象撮像部２４に近づける動作、ユーザが部屋内にある物体を指差す動作、またはユーザが部屋内のある物体に片手で触れるとともにもう一方の手を回す動作等のジェスチャーを検出してよい。

また、例えば、ホワイトボード、壁面またはテーブル上に記載され、または置かれた書類等を対象物１４とする場合、対象特定部４０は、ホワイトボード上の書類等をユーザが手のひら等で塗りつぶすようになぞる動作を検出してよい。対象特定部４０が予め定められた動きを検出できたとき（ステップＳ１０３のＹ）は、処理はステップＳ１０４に進み、検出できないとき（ステップＳ１０３のＮ）は、処理はステップＳ１０１に戻る。

次に、ステップＳ１０４において、対象特定部４０は、検出されたユーザの動きから、対象物１４を特定する。例えば、ユーザが手に持った物体を対象撮像部２４に近づける動作を検出した場合は、ユーザが手に持った物体を対象物１４として特定する。図１に示す例では、対象特定部４０は、ユーザが手に持って対象撮像部２４に近づけているハガキを対象物１４として特定している。

ここで、対象特定部４０は、以下に示すようなユーザの動きをもとに、対象物１４を特定してよい。例えば、対象特定部４０は、ユーザが部屋内にある物体を指差す動作を検出した場合は、ユーザが指差した対象の物体を対象物１４として特定する。また、例えば、対象特定部４０は、ユーザが部屋内のある物体に片手で触れるとともにもう一方の手を回す動作を検出した場合には、ユーザが触れている物体を対象物１４として特定する。また、例えば、対象特定部４０は、ユーザがホワイトボード上の書類等をユーザが手のひら等で塗りつぶすようになぞる動作を検出した場合は、ホワイトボード上のユーザがなぞった範囲を対象物１４として特定する。

続いて、ステップＳ１０５において、対象特定部４０は、対象撮像部２４に対象物１４の撮像を指示する。具体的には、対象特定部４０は、まず、対象撮像部２４から画像を取得した後、対象撮像部２４からの画像中における、対象物１４の占める範囲を画定する。対象撮像部２４からの画像に対象物１４が含まれていない場合には、対象撮像部２４の撮影範囲に対象物１４が含まれるように、対象特定部４０は対象撮像部２４の向きを変更させる。

次に、対象特定部４０は、対象物１４を画像の中心で捉えるように対象撮像部２４の向きを変更する。対象物１４を画像の中心で捉えたときに、対象特定部４０は対象画像入力部４２に対象画像の取得を指示する。

次に、ステップＳ１０６において、対象画像入力部４２が、対象撮像部２４から対象画像を取得する。ここで、鮮明な対象画像を取得する目的で、対象画像入力部４２は、対象撮像部２４に対象物１４を中心に入れたままズームして拡大して撮像させてもよい。

次に、図４に示すステップＳ１０７において、対象画像入力部４２は対象物１４を撮像した対象画像を入力して、条件入力部４６および記憶部５０に供給する。対象画像入力部４２は、対象物１４を撮像した画像の全体を供給してもよく、これに代えて、対象物１４が含まれる一部範囲を切り出した画像を供給してもよい。

次にステップＳ１０８において、条件入力部４６は、対象画像入力部４２から入力された対象画像を認識することにより、対象画像を表示するタイミングを決定して入力する。例えば、対象物１４が日付の記載された書類である場合、条件入力部４６は、書類に記載された日付および／または時刻を認識して、当該日付の予め定められた時間、当該時刻、または当該時刻から所定の時間を差し引いた時刻を、対象画像を表示すべきタイミングであると決定する。条件入力部４６は、対象画像を表示するタイミングを、対象画像を表示すべき条件として、対象画像と対応付けて記憶部５０に格納する。

次にステップＳ１０９において、条件入力部４６は、ステップＳ１０８において画像表示タイミングを決定したか否かについて判断する。画像表示タイミングを決定した場合（ステップＳ１０９のＹ）、処理はステップＳ１１０に進み、決定できなかった場合（ステップＳ１０９のＮ）、処理はステップＳ１１１に進む。

処理がステップＳ１１０に進んだ場合、条件入力部４６は、ユーザが対象画像を表示させるための条件入力を指示したか否かについて判断する。ユーザが条件入力をした場合（ステップＳ１１０のＹ）、処理はステップＳ１１１に進む。ユーザが条件入力をしなかった場合（ステップＳ１１０のＮ）、ステップＳ１０８で決定したタイミングのみが、対象画像を表示するための条件となる。この場合、処理はステップＳ１１２へ進む。

処理がステップＳ１１１に進んだ場合、条件入力部４６は、対象画像を表示する条件を入力し、入力した条件を記憶部５０に格納する。例えば、条件入力部４６は、入力機器を介してユーザの指示を取得し、ユーザの指示に基づいて「所定の日時および／または時刻になったこと」、「所定の人物が部屋内に存在すること」、および「ユーザが所定の動作を行ったこと」、またはこれらのＡＮＤ条件、およびＯＲ条件等による組み合わせを対象画像を表示する条件として入力する。ユーザの指示がない場合、条件入力部４６は、「ステップＳ１０１〜１０４で、対象物１４を特定したユーザが部屋内に存在すること」等の予め定められた条件を、対象画像を表示するための条件としてよい。

ステップＳ１１１において、「所定の日時および／または時刻になったこと」を条件とする場合、条件入力部４６は、入力機器を介してユーザが指定する日時等を条件として入力してよい。この場合、条件入力部４６は、ユーザが指定した日時と他の条件の組み合わせを、対象画像を表示する条件としてよい。

「所定の人物が部屋内に存在すること」を条件とする場合、条件入力部４６は、予め用意された人物の選択肢の中からユーザが選択した「所定の人物」が部屋内に存在することを、条件として入力してよい。これに代えて、条件入力部４６は、ユーザが指定する予め用意された人物以外の人物を「所定の人物」として新しく登録してもよい。この場合、条件入力部４６は、ユーザから新しく登録する人物の顔画像または全身画像等を取得し、ユーザ検出部５２に供給する。ユーザ検出部５２は、入力された人物の顔画像等を新しく登録する。

なお、「所定の人物」は、対象物１４を指定したユーザ自身であってもよく、別の人物であってもよい。「所定の人物」が対象物１４を指定したユーザ自身の場合、表示システム１０は、自分へのリマインダとして対象画像を表示させることができる。「所定の人物」が対象物１４を指定したユーザ自身でない場合、表示システム１０は、指定したユーザから「所定の人物」宛のメッセージとして対象画像を表示させることができる。

ステップＳ１１１において、「ユーザが所定の動作を行ったこと」を条件とする場合、条件入力部４６は、予め用意された動きの選択肢の中からユーザが選択した「所定の動作」を条件として入力する。例えば、図１の例では、条件入力部４６は、ユーザが壁を指さす動作を「所定の動作」として入力している。これに代えて、条件入力部４６は、ユーザがジャンプする動作、ユーザがその場で回転する動作、またはユーザが動作撮像部２２の前を通過する動作等を「所定の動作」として入力してよい。

次に、ステップＳ１１２において、表示位置特定部４８は、動作撮像部２２が撮像したユーザの動きから、対象画像を表示すべき表示位置を特定する。表示位置特定部４８は、撮像された画像等における表示位置を特定するための指示を入力するために動かすべき体の部分（例えば、手、指、または腕等）の動きを追跡し、動きの方向、動きの量、および／または大きさの変化等を検出する。

例えば、テーブルの上を手のひらで触れるまたはたたく等の動作を検出した場合、表示位置特定部４８は、そのテーブルを表示位置として特定する。また、例えば、ユーザの指先が部屋の壁を指し、または壁の領域を四角く画定する動きを検出した場合、表示位置特定部４８は、その物体の壁の画定された領域を表示位置として特定する。表示位置は、部屋の壁以外でもよく、例えば、部屋の床、天井、および家具等であってよい。

なお、ユーザが表示位置を特定する動きは、ユーザが対象物１４を指定する動きと同じであってもよいが、誤検出を防ぐためにこれらは異なる動きであることが望ましい。ユーザが表示位置を特定する動きを検出できなかったときは、表示位置特定部４８は、予め定められた位置を表示位置として特定してよい。表示位置特定部４８は、特定された表示位置を、対象画像と対応付けて記憶部５０に格納する。

次に、ステップＳ１１３において、記憶部５０は、条件入力部４６から入力された対象画像を表示するための条件および表示位置特定部４８から入力された対象画像の表示位置を、対象画像に対応付けて記憶する。例えば、記憶部５０は、複数のレコードからなるテーブルを備え、対象画像、対象画像を表示するための条件、および対象画像の表示位置を同一のレコードに対応させて格納することで、これらを記憶する。

以上により、ステップＳ２０１からＳ２０７を経ることにより、表示システム１０は、ユーザが指定する対象画像、対象画像を表示する条件、および対象画像の表示位置を取得して保存することができる。

図５は、本実施形態に係る制御装置３０における、出力画像を表示させる際の処理フローを示す。制御装置３０は、対象物１４の表示する場合において、図５のステップＳ２０１からＳ２０７の処理を実行する。

まず、ステップＳ２０１において、動作撮像部２２がユーザを撮像する。次に、ステップＳ２０２において、ユーザ検出部５２は、動作撮像部２２が撮像した画像等を取得して、予め定められた範囲内に予め定められたユーザが存在するか否かを検出する。

例えば、ユーザ検出部５２は、動作撮像部２２の画像中の一定範囲内に存在する人物の顔の特徴と、予め登録されている人物の顔の特徴とを顔認証技術を用いて比較する。顔の特徴は、例えば、目、鼻、および／または口等の位置、形状、顔面中に占める面積割合、および／または皮膚の色等であってよい。ユーザ検出部５２は、撮像された人物の特徴と、予め登録されている人物の特徴とを比較する。これに代えて、および／またはこれに加えて、ユーザ検出部５２は、ユーザの画像のうち顔以外の体のパーツおよび体型等の特徴を比較しても良い。

そして、ユーザ検出部５２は、両者の特徴が完全に一致するか、または一定程度以上一致する場合、ユーザ検出部５２は撮像された人物と予め登録された人物を同一ユーザと判断する。そして、ユーザ検出部５２は、その判断結果から画像中に予め定められたユーザが存在するかの情報を画像出力部５６に供給する。

次に、ステップＳ２０３において、動作検出部５４が、動作撮像部２２から撮像した画像を取得して、対象物１４の表示を指示するユーザの動きを検出する。例えば、動作検出部５４は、撮像された画像等におけるユーザの体の全体または部分（例えば、顔、手、または足等）の動きを追跡し、動きの方向、動きの量、および／または大きさの変化等を検出する。例えば、図１の例では「ユーザが壁を指さす動作」を検出している。ユーザが予め定められたパターンの動きしたことを検出した場合は、動作検出部５４は、ユーザの動きのパターン等の情報を画像出力部５６に供給する。

次に、ステップＳ２０４において、画像出力部５６が、記憶部５０から条件を満たす対象画像の有無を検索する。具体的には、画像出力部５６は、現在時刻、ステップＳ２０２で得られたユーザの検出結果、およびステップＳ２０３で得られた動作の検出結果と、記憶部５０に記憶された対象画像の表示すべき条件とを対比して、表示すべき条件を満たす対象画像が記憶部５０に存在するか検索する。例えば、図１の例では、画像出力部５６は、「ユーザが壁を指さす動作をしたこと」を条件とする対象画像が記憶部５０に存在するか検索し、条件を満たすハガキの画像を発見する。

次に、ステップＳ２０５において、条件を満たす対象画像が発見された場合（ステップＳ２０５のＹ）、処理はステップＳ２０６に進む。条件を満たす対象画像が発見されなかった場合（ステップＳ２０５のＮ）、処理はステップＳ２０１に戻る。

ステップＳ２０６において、画像出力部５６は、画像表示部２６を指定方向に向ける。具体的には、画像出力部５６は、記憶部５０から条件を満たす対象画像およびその対象画像の表示位置を取得する。そして、画像出力部５６は、表示位置に対象画像を表示させることができるように、画像表示部２６の投影方向、および投影画像の大きさを変更する。

次に、ステップＳ２０７において、画像出力部５６は、条件を満たす対象画像を画像表示部２６に出力して、画像表示部２６に条件を満たす対象画像を表示させる。例えば、画像出力部５６は、指定された条件に基づいて対象物１４の表示を指示するユーザの動きが検出されたことに応じて、対象画像を出力する。図１の例では、「ユーザが壁を指さす動作をしたこと」が検出されたことに応じて、画像出力部５６が対象画像としてハガキの画像を出力している。

また、例えば、画像出力部５６は、指定された条件に基づいてユーザ検出部５２が予め定められたユーザを検出したことに応じて、対象画像を出力する。また、例えば、画像出力部５６は、指定された条件に基づいて条件入力部４６が入力したタイミングに対象画像を出力する。

なお、画像出力部５６は、記憶部５０からの対象画像をそのまま出力してもよく、これに代えて、対象画像を含む画像、または対象画像を元に対象物１４の機能を付加した画像を出力してもよい。

例えば、対象画像に文字が含まれる場合、文字の内容をテキストデータに変換して文字以外の対象画像とともに出力する。また、対象物１４に時計の文字盤などの時刻を示す情報が含まれる場合、表示された時刻を時刻データに変換して時刻以外の対象画像とともに出力してよい。対象画像を含む画像、対象画像を元に対象物１４の機能を付加した画像は、コンピュータグラフィックス等により生成されてよい。

以上により、ステップＳ２０１からＳ２０７を経ることにより、表示システム１０は、ユーザの指定する条件が満たされたことに応じて、対象画像を任意の位置に表示することができる。

図６は、本実施形態に係る表示システム１０において、「案内状」を対象物１４とした場合の例を示す。例えば、対象物１４が結婚式の案内状である場合、案内状には結婚式の日時が記載されている。そこで、表示システム１０は、案内状に記載された日付を認識して、結婚式の当日の朝などの予め定められた時刻に案内状の画像を表示させる。

他の例として、対象特定部４０は、ユーザが指定した請求書または納税通知書等の書類を対象物１４として特定してよい。画像出力部５６は、書類に記載された期限から予め定められた期間前になったことに応じて、書類の対象画像を出力してよい。このように、表示システム１０は、日付が記載される書類の対象画像を当該日付が徒過する前に表示させることができる。

さらに他の例として、表示システム１０は、時刻を表す画像を当該時刻に合わせて表示してもよい。時刻を表す画像は、「午前１１時１０分」または「ＡＭ１１：１０」等の時刻を表す文字列であってよく、時刻を表示する時針、分針、および秒針等のアナログ時計の画像であってもよい。また、表示システム１０は、時刻を表す画像を、当該時刻に表示されるべき他の画像（例えば、服用する時間が決まっている薬の画像および収納場所等）とともに表示してもよい。このように、表示システム１０は、対象物が表す日付・時刻に関連したタイミングで対象物を表示させることができる。

図７は、第２の実施形態に係る制御装置３００の機能構成の一例を示す。本実施形態においては、対象撮像部２４０が動作撮像部２２および対象撮像部２４を兼ねる点が、第１の実施形態と異なっている。本実施形態によれば、対象撮像部２４０を全て同一の機器で構成できるので、機器の設置および管理の費用および煩雑さ等を低減することができる。この場合、対象撮像部２４０は、広い範囲を移動するユーザおよび細かい文字等を含む対象物１４の両方を捉えることが求められる。したがって、対象撮像部２４０は、ユーザの動きを撮像する間は広角で撮像し、対象物１４を撮像する際にはより望遠に撮像するべく、画角を調整できるズームレンズを備えてよい。

図８は、本実施形態に係るコンピュータ１９００のハードウエア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、および表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、およびＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、および入出力チップ２０７０を有するレガシー入出力部とを備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００およびグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０およびＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。例えば、通信インターフェイス２０３０は、対象特定部４０、対象画像入力部４２、条件入力部４６、表示位置特定部４８、記憶部５０、ユーザ検出部５２、動作検出部５４、および画像出力部５６にネットワークを介して接続され、ネットワーク経由で画像および制御信号を授受してもよい。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、および入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を制御装置３０として機能させるプログラムは、画像取得モジュールと、動作検出モジュールと、特定モジュールと、表示制御モジュールと、機能実行モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、対象特定部４０、対象画像入力部４２、条件入力部４６、表示位置特定部４８、記憶部５０、ユーザ検出部５２、動作検出部５４、および画像出力部５６としてそれぞれ機能させる。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウエア資源とが協働した具体的手段である対象特定部４０、対象画像入力部４２、条件入力部４６、表示位置特定部４８、記憶部５０、ユーザ検出部５２、動作検出部５４、および画像出力部５６として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の制御装置３０が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 表示システム
１４ 対象物
２０ 出力画像
２２ 動作撮像部
２４ 対象撮像部
２６ 画像表示部
３０ 制御装置
４０ 対象特定部
４２ 対象画像入力部
４６ 条件入力部
４８ 表示位置特定部
５０ 記憶部
５２ ユーザ検出部
５４ 動作検出部
５６ 画像出力部
２４０ 対象撮像部
３００ 制御装置
１９００ コンピュータ
２０００ ＣＰＵ
２０１０ ＲＯＭ
２０２０ ＲＡＭ
２０３０ 通信インターフェイス
２０４０ ハードディスクドライブ
２０５０ フレキシブルディスク・ドライブ
２０６０ ＣＤ−ＲＯＭドライブ
２０７０ 入出力チップ
２０７５ グラフィック・コントローラ
２０８０ 表示装置
２０８２ ホスト・コントローラ
２０８４ 入出力コントローラ
２０９０ フレキシブルディスク
２０９５ ＣＤ−ＲＯＭ

Claims (9)

1. ユーザの動きから対象物を特定し、特定した前記対象物の画像の撮像を指示する対象特定部と、
   前記対象特定部の指示に応じて前記対象物を撮像した画像を入力する対象画像入力部と、
   予め定められた範囲内に予め定められたユーザが存在するか否かを検出するユーザ検出部と、
   前記ユーザ検出部が前記予め定められたユーザを検出したことに応じて、前記対象物の画像を出力する画像出力部と、
   を備える表示システム。
2. ユーザの動きから、ユーザが指定した書類を対象物として特定し、特定した前記対象物の画像の撮像を指示する対象特定部と、
   前記対象特定部の指示に応じて前記対象物を撮像した画像を入力する対象画像入力部と、
   前記書類に記載された期限から予め定められた期間前になったことに応じて、前記対象物の画像を出力する画像出力部と、
   を備える表示システム。
3. ユーザの動きを撮像する動作撮像部と、
   前記動作撮像部が撮像したユーザの動きから対象物を特定し、特定した前記対象物の画像の撮像を指示する対象特定部と、
   前記対象特定部の指示に応じて前記対象物を撮像した画像を入力する対象画像入力部と、
   前記対象物の画像の表示を指示するユーザの動きを検出する動作検出部と、
   前記対象物の画像の表示を指示するユーザの動きが検出されたことに応じて、前記対象物の画像を出力する画像出力部と、
   を備える表示システム。
4. ユーザの動きから前記対象物の画像を表示する表示位置を特定する表示位置特定部を更に備え、
   前記画像出力部は、前記対象物を表示すべき条件が満たされたことに応じて、前記対象物の画像を出力して前記表示位置に表示させる
   請求項１から３のいずれか１項に記載の表示システム。
5. 前記対象物の画像を撮像して前記対象画像入力部に入力する対象撮像部と、
   前記画像出力部に接続されて、前記対象物の画像を表示する画像表示部と、
   を更に備える請求項１から４のいずれか１項に記載の表示システム。
6. 前記対象物の画像を表示する条件を入力する条件入力部を更に備え、
   前記画像出力部は、前記条件入力部が入力した条件が満たされたことに応じて、前記対象物の画像を出力する
   請求項１から４のいずれか一項に記載の表示システム。
7. 前記条件入力部は、前記対象物の画像を表示するタイミングを前記条件として入力する
   請求項６に記載の表示システム。
8. コンピュータを、
   ユーザの動きから対象物を特定し、特定した前記対象物の画像の撮像を指示する対象特定部と、
   前記対象特定部の指示に応じて前記対象物を撮像した画像を入力する対象画像入力部と、
   予め定められた範囲内に予め定められたユーザが存在するか否かを検出するユーザ検出部と、
   前記ユーザ検出部が前記予め定められたユーザを検出したことに応じて、前記対象物の画像を出力する画像出力部と、
   を備える制御装置として機能させる表示プログラム。
9. ユーザの動きから対象物を特定し、特定した前記対象物の画像の撮像を指示する対象特定ステップと、
   前記対象特定ステップにおける指示に応じて前記対象物を撮像した画像を入力する対象画像入力ステップと、
   予め定められた範囲内に予め定められたユーザが存在するか否かを検出するユーザ検出ステップと、
   前記ユーザ検出ステップで前記予め定められたユーザを検出したことに応じて、前記対象物の画像を出力する画像出力ステップと、
   を備える表示方法。

Images