JP6007496B2 - 表示システム、表示プログラムおよび表示方法 - Google Patents

Description

本発明は、表示システム、表示プログラムおよび表示方法に関する。

特許文献１には、コピー対象を正確に選択するための方法が記載されている。特許文献２には、マルチタッチパネルにおいて、指のジェスチャーにより情報を入力する方法が記載されている。特許文献３には、対象物を含む領域に注釈画像を表示する方法が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特許第４０５６４７７号明細書
［特許文献２］ 特表２０１０−５３２０５５号公報
［特許文献３］ 特開２００９−２９０４８８号公報

しかし、従来、例えばボード等に書き込みをした対象物の画像をコピーして、実空間内のユーザの指定する任意の位置に、任意のタイミングで表示させることはできなかった。

本発明の第１の態様においては、ユーザの動きから対象物を特定する対象特定部と、前記対象物を撮像した画像を入力する対象画像入力部と、撮像した前記対象物の画像を割り当てる他の物の指定を入力する割当入力部と、予め定められた範囲内に前記他の物を検出したことに応じて、当該他の物に割り当てられた前記対象物の画像を出力する画像出力部と、を備える表示システムを提供する。

本発明の第２の態様においては、コンピュータを、ユーザの動きから対象物を特定する対象特定部と、前記対象物を撮像した画像を入力する対象画像入力部と、撮像した前記対象物の画像を割り当てる他の物の指定を入力する割当入力部と、予め定められた範囲内に前記他の物を検出したことに応じて、当該他の物に割り当てられた前記対象物の画像を出力する画像出力部と、を備える表示システムとして機能させる表示プログラムを提供する。

本発明の第３の態様においては、ユーザの動きから対象物を特定する対象特定ステップと、前記対象物を撮像した画像を入力する対象画像入力ステップと、撮像した前記対象物の画像を割り当てる他の物の指定を入力する割当入力ステップと、予め定められた範囲内に前記他の物を検出したことに応じて、当該他の物に割り当てられた前記対象物の画像を出力する画像出力ステップと、を備える表示方法を提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る表示システム１０の構成を示す。 本実施形態に係る制御装置３０の機能構成の一例を示す。 本実施形態に係る制御装置３０における、対象物を撮像し、撮像した画像を表示させる際の処理フローを示す。 本実施形態に係る制御装置３０における、対象物を撮像し、撮像した画像を表示させる際の処理フローを示す。 本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る表示システム１０の構成を示す。表示システム１０は、例えばボード等に書き込みをした対象物４２をユーザ４０の指定に応じて特定し、その対象物４２を撮像した画像を他の物に対応付けて保存する。そして、表示システム１０は、例えばユーザ４０が当該他の物を特定の位置に置いたこと等に応じてユーザ４０の表示指示を検出し、保存した対象物４２の画像を表示する。このように、表示システム１０は、ボード等に書き込みをした対象物４２をあたかも"コピー"し、ユーザ４０の表示指示に応じて表示することによりあたかも"ペースト"することができる。これにより、必要な画像を必要なときに得られる環境を提供することができる。

例えば、図１に示されるように、表示システム１０は、ユーザ４０の指示に応じてホワイトボード１４上の書き込みを対象物４２として特定し、ホワイトボード１４上の書き込みを撮像して保存する。この際、表示システム１０は、対象物４２の画像を割り当てる他の物（例えばマグネット４４）の指定を受け、当該他の物に対応付けて対象物４２の画像を保存する。次に、表示システム１０は、保存した画像を表示させる指示（例えばマグネット４４をホワイトボード１４上に貼り付ける）等をユーザ４０から受ける。その後、表示システム１０は、保存した画像、すなわち対象物４２を撮像した画像を出力画像４６としてユーザ４０が指定した場所に表示する。このように表示システム１０は、ユーザ４０が表示させたい対象物４２を、ユーザ４０の望むタイミングで表示させることができる。

表示システム１０は、１または複数の動作撮像部２２と、１または複数の対象撮像部２４と、１または複数の画像表示部２６と、制御装置３０とを備える。本実施形態のように、表示システム１０は部屋内に設けられてよい。なお、表示システム１０は、一つの部屋内のみならず複数の部屋にまたがって設けられてもよく、各部屋に動作撮像部２２、対象撮像部２４、および画像表示部２６の少なくとも１つを設けて部屋をまたがったコピーアンドペーストを実現してもよい。

１または複数の動作撮像部２２のそれぞれは、ユーザ４０の動きを撮像する。動作撮像部２２は、スチルカメラまたはビデオカメラであってよい。ユーザ４０の動作をより広い範囲で捉えるように、動作撮像部２２は対象撮像部２４に対して焦点距離の小さいレンズを備えてもよい。また、動作撮像部２２は、移動するユーザ４０に合わせて、位置および／または撮影方向等を変更するために駆動部を有してよい。動作撮像部２２は、ユーザ４０の動きを３次元で検出すべく、ステレオカメラ等の多眼カメラであってよく、これに代えて赤外線発光部および赤外線カメラを有する深度センサ等を有していてもよい。

本実施形態においては、動作撮像部２２は、一例として、右側カメラと左側カメラとを有するステレオカメラを用いる。このような動作撮像部２２は、右側カメラにより撮像された画像と左側カメラにより撮像された画像との間で視差のある画像を撮像することができ、画面内のユーザおよび物体までの被写体距離を算出することができる。動作撮像部２２は、例えば、撮像したステレオ画像から、画面内に含まれる各ユーザおよび各物体の表面の各位置までの距離を示す距離画像を生成して出力する。

１または複数の対象撮像部２４のぞれぞれは、ユーザ４０が指定する対象物４２の画像（対象画像）を撮像する。１または複数の対象撮像部２４のぞれぞれは、対象物４２の画像を割り当てる他の物（例えばマグネット４４）を撮像する。なお、当該他の物は１または複数の動作撮像部２２で撮像してもよい。対象撮像部２４は、例えば、スチルカメラまたはビデオカメラである。離れた対象画像を鮮明に撮像できるように、対象撮像部２４は、動作撮像部２２と比較して高倍率のレンズまたはズームレンズを備えてもよく、および／または、より高解像度の画像を撮像可能であってもよい。対象撮像部２４は、位置および／または撮影方向等を変更するために駆動部を有してよく、これにより指定された場所を撮像することができる。

１または複数の画像表示部２６のそれぞれは、実空間に対象画像を表示する。例えば、画像表示部２６は、部屋１２内に画像を投影表示するプロジェクタ等である。なお、この場合、画像表示部２６は位置および／または投影方向等を変更するために駆動部を有してよく、これにより指定された場所に画像を投影表示することができる。これに代えて、画像表示部２６は、ディスプレイ等の表示装置であってもよい。

制御装置３０は、動作撮像部２２のそれぞれ、対象撮像部２４のそれぞれ、および画像表示部２６のそれぞれに対して、有線または無線により接続され、これらの動作を制御する。より具体的には、制御装置３０は、各動作撮像部２２が撮像した画像を取得して、ユーザ４０の動きを認識する。

次に、制御装置３０は、各動作撮像部２２が撮像したユーザ４０の動きから対象物４２を特定して、対象画像を取得する。次に、制御装置３０は、各対象撮像部２４が撮像した対象画像を割り当てる他の物の指定を受け、当該他の物に対応付けて対象画像を保存する。次に、制御装置３０は、各動作撮像部２２が撮像した画像から予め定められた範囲内に他の物が存在したことを検出し、当該他の物に対応付けられた対象画像を表示させる画像と特定する。次に、制御装置３０は、各動作撮像部２２が撮像したユーザ４０の動きから対象画像を表示させるための指示を取得する。そして、制御装置３０は、対象画像を表示させる指示を取得したときに、画像表示部２６に対象画像を所定の表示位置に表示させる。

図２は、本実施形態に係る制御装置３０の機能構成の一例を示す。制御装置３０は、対象特定部１００と、対象画像入力部１０２と、割当入力部１０４と、画像記憶部１０６と、表示位置特定部１０８と、画像出力部１１０とを有する。

対象特定部１００は、動作撮像部２２が撮像した画像又は動画等を受け取り、動作撮像部２２が撮像したユーザ４０の動きから対象物４２を特定する。具体的には、対象特定部１００は、動作撮像部２２が撮像した画像又は動画等から、ユーザ４０の腕、手、又は指等の体の部分の動きを検出して、ユーザ４０が予め定められた動きをしたかを判断する。ユーザ４０が予め定められた動きをしたことを検出した場合、対象特定部１００は、その動きから対象物４２を特定する。

対象特定部１００は、ユーザ４０が指でホワイトボード１４上の少なくとも一部の領域を囲う動き等を予め定められた動きとして検出してよい。例えば、対象特定部１００は、指がホワイトボード１４上と接触した座標を始点として指の移動を検出し、指がホワイトボード１４上から離れた座標を終点とする。この場合において、対象特定部１００は、始点座標と終点座標との距離が１０ｃｍ以内であった場合、指が移動した範囲内を対象物４２としてよい。対象特定部１００は、動作撮像部２２が撮像して生成した距離画像からユーザ４０の指とホワイトボード１４上との接触・非接触を検出する。

また、対象特定部１００は、ユーザ４０が、例えば対象画像を割り当てる物を持ちながら対象物４２を指定する動作をしたことに応じて、対象物４２を特定してもよい。例えば、対象特定部１００は、ユーザ４０がマグネット４４を持ちながら、指でホワイトボード１４上の少なくとも一部の領域を囲う動きをした場合、当該領域を対象物４２と特定する。なお、対象画像は、ホワイトボード１４上の書き込みに限らず対象撮像部２４により撮像可能な任意の画像であってよい。

対象特定部１００は、動作撮像部２２が撮像している方向および動作撮像部２２が算出する対象平面（本実施形態においてはホワイトボード１４上）までの距離を、対象平面の位置を表す平面パラメータを用いてホワイトボード１４上の平面座標に変換し、ホワイトボード１４上の座標を特定する。対象特定部１００は、動作撮像部２２の駆動部の状態（例えばギヤの回転量）から動作撮像部２２が撮像している方向を検出してもよい。

次に、対象特定部１００は、対象撮像部２４を制御して対象物４２の方向に向けさせ、対象画像を撮像させる。具体的には、対象特定部１００は、動作撮像部２２および対象撮像部２４の両方から対象画像を取得して、対象物４２を画像の中心で鮮明に撮像するように対象撮像部２４の向きおよびピント位置等を制御する。そして、対象特定部１００は、対象画像入力部１０２に対象画像を取得するよう指示する。

対象画像入力部１０２は、対象特定部１００の指示に応じて、対象撮像部２４が対象物４２を撮像した画像を入力する。一例として、対象画像入力部１０２は、手書きにより書き込みかつ消去をすることができるボード上の書き込みの画像を入力する。本実施形態では手書きにより書き込みかつ消去をすることができるボードの一例としてホワイトボード１４を用いたが、黒板など他のボードであってもよい。対象画像入力部１０２は、対象撮像部２４が対象物４２を撮像した画像を対象画像として画像記憶部１０６に供給する。

割当入力部１０４は、撮像した対象画像を割り当てる他の物の指定を入力する。割当入力部１０４は、ユーザ４０が物を持ちながら対象物４２を指定する動作からユーザ４０が手に持っている物を対象物４２の画像を割り当てる対象となる他の物として認識してよい。例えば、割当入力部１０４は、ユーザ４０がマグネット４４を手にしながら対象物４２を指定する動作をした場合、当該マグネット４４を対象物４２の画像を割り当てる他の物と認識する。他の物は、マグネット４４に限られることはなく、ホワイトボード１４に書き込むホワイトボードペンなど、ユーザ４０が手に持てるような筆記用具、グラス、書類、その他任意の有体物であれば何であってもよい。

割当入力部１０４は、対象撮像部２４が撮像した画像から他の物を検出し、検出した他の物に対象画像を割り当てもよい。この場合、対象画像入力部１０２は、対象撮像部２４が対象物４２を撮像した画像を対象画像として割当入力部１０４に供給する。例えば、割当入力部１０４は、対象撮像部２４が撮像した画像から画像認識技術を応用してユーザ４０が手にした物を他の物として検出し、検出した当該他の物の色、形、寸法から当該他の物を特定するメタ情報を作成する。そして、割当入力部１０４は、対象画像入力部１０２が画像記憶部１０６に格納した対象画像に他の物のメタ情報を対応付けて画像記憶部１０６に書き込む。

具体的には、例えば、対象撮像部２４がマグネット４４を手にしたユーザ４０の画像を撮像すると、割当入力部１０４は、対象撮像部２４が撮像した画像からマグネット４４を他の物として検出する。そして、割当入力部１０４は、色、形、寸法に基づいて検出したマグネット４４を特定するメタ情報を作成する。そして、割当入力部１０４は、対象画像入力部１０２が画像記憶部１０６に格納した対象画像にマグネット４４のメタ情報を対応付けて画像記憶部１０６に書き込む。例えば、割当入力部１０４は、作成したメタ情報に対象画像を対応付ける情報、例えば対象画像の画像ファイルの名称等の画像識別情報及び／又は撮像時刻などを書き込む。

なお、割当入力部１０４は、割り当て対象の物の異なる色及び／又は大きさ毎に対象画像を割り当ててもよい。例えば、割当入力部１０４はユーザ４０の指示に応じて、青色のマグネットにホワイトボード１４上に書き込まれた第１の書き込み（例えば１枚目の書き込み）を対象画像として割り当て、黄色のマグネットにホワイトボード１４上に書き込まれた第２の書き込み（例えば２枚目の書き込み）を対象画像として割り当て、赤色のマグネットにホワイトボード１４上に書き込まれた第３の書き込み（例えば３枚目の書き込み）を対象画像として割り当ててもよい。また、割当入力部１０４は、動作撮像部２２が撮像した画像から他の物を検出してもよい。

表示位置特定部１０８は、ユーザ４０が撮像された画像又は動画等を動作撮像部２２から取得して、画像又は動画等におけるユーザ４０の動きから対象物４２の画像を表示すべき表示位置を特定する。具体的には、表示位置特定部１０８は、動作撮像部２２が撮像した画像等から、ユーザ４０の体の部分の動きを検出する。そして、検出したユーザ４０の動きから、対象画像を表示すべき位置を特定する。

例えば、表示位置特定部１０８は、動作撮像部２２が撮像した画像又は動画等から、ユーザ４０が対象画像の表示位置を指し示す動きを検出した場合、ユーザ４０が指し示した位置を対象画像の表示位置と特定してよい。あるいは、表示位置特定部１０８は、動作撮像部２２が撮像した画像又は動画等から、ユーザ４０が指でホワイトボード１４上を叩く動きを検出した場合、ユーザ４０が叩いた位置を対象画像の表示位置と特定してもよい。表示位置特定部１０８は、対象平面の位置を表す平面パラメータを用いて、例えばホワイトボード１４上の平面座標に変換し、ホワイトボード１４上の座標を特定する。表示位置特定部１０８は、画像出力部１１０に対象画像の表示位置を入力する。

画像出力部１１０は、予め定められた範囲内に対象画像を割り当てた他の物を検出し、かつ他の物に割り当てられた対象画像を表示することを指示するユーザ４０の動きを検出したことに応じて、対象画像を出力する。具体的には、動作撮像部２２が対象画像を表示することを指示するユーザ４０の動き、例えばホワイトボード１４上をタッチする動きを検出したことに応じて画像出力部１１０は、表示位置特定部１０８が特定した表示位置に対象画像が表示されるように画像表示部２６の表示方向を制御する。そして、画像出力部１１０は、画像出力部１１０に接続された画像表示部２６に出力して、特定したホワイトボード１４上の表示位置に表示させる。

なお、画像出力部１１０は、ユーザ４０の動きの検出に代えて、予め定められた範囲内に他の物が検出されたことに応じて、当該他の物に割り当てられた対象画像を出力して表示位置に表示させてもよい。この場合、画像出力部１１０は、他の物に対し予め定められた相対位置、すなわち例えば他の物が置かれた位置が対象画像の四隅又は中心のいずれか等の基準位置となるように、当該他の物に割り当てられた対象画像を表示させる。

または、画像出力部１１０は、他の物に割り当てられたボード上の書き込みの画像を表示することを指示するユーザ４０の動きを検出したことに応じて、当該書き込みの画像をボード上に表示してもよい。具体的には、動作撮像部２２が撮像した画像又は動画等から、例えばユーザ４０がホワイトボード１４上にマグネット４４を貼り付ける動きを検出したことに応じて、画像出力部１１０はマグネット４４に割り当てられたホワイトボード１４上の書き込み内容をホワイトボード１４上に表示してもよい。

図３および図４は、本実施形態に係る制御装置３０における、対象物を撮像し、撮像した画像を表示させる際の処理フローを示す。本処理フローにおいては、ホワイトボード１４上に書かれた書き込みを対象画像として特定し、他の物としてマグネット４４に対象画像を割り当てる例を示す。表示システム１０の制御装置３０は、ホワイトボード１４上の位置を表す平面パラメータを取得する等の初期化処理を終了した後に、図３および図４に示すステップＳ１１からステップＳ２８の処理を実行する。

ステップＳ１１において、対象特定部１００は、動作撮像部２２が撮像して生成した距離画像から部屋１２内に存在するユーザ４０を検出する。対象特定部１００は、例えば、顔認識技術を用いて人間を特定することにより、部屋１２内に存在するユーザ４０を検出する。続いて、対象特定部１００は、ステップＳ１２において、部屋１２内にユーザ４０を検出したか否かを判断する。対象特定部１００は、部屋１２内にユーザ４０を検出しなかった場合（ステップＳ１２のＮｏ）、処理をステップＳ１１に戻す。

一方、部屋１２内にユーザ４０が検出された場合（ステップＳ１２のＹｅｓ）、ステップＳ１３において、対象特定部１００は、動作撮像部２２が撮像して生成した距離画像から、ユーザ４０が指でホワイトボード１４上の少なくとも一部の領域を囲う動き等（コピー操作）を検出する。対象特定部１００は、ユーザ４０がホワイトボード１４上の少なくとも一部の領域を囲う動き等を検出しなかった場合（ステップＳ１４のＮｏ）、処理をステップＳ１３に戻す。

一方、ユーザ４０がホワイトボード１４上の少なくとも一部の領域を囲う動き等が検出された場合（ステップＳ１４のＹｅｓ）、ステップＳ１５において、対象特定部１００は、対象物４２を特定する処理を実行する。例えば、対象特定部１００は、ユーザ４０が囲った領域をコピー対象とすべき対象物４２と特定する。続いて、ステップＳ１６において、対象画像入力部１０２は、対象特定部１００が対象撮像部２４を特定した対象物４２に向くように制御し、特定した領域を対象撮像部２４で撮像させた対象物４２の画像を対象画像として画像記憶部１０６に格納する。

続いて、ステップＳ１７において、割当入力部１０４は、対象撮像部２４が撮像して生成した画像又は動画等から画像認識技術を用いてユーザ４０が手に持った物を検出し、当該検出した物（本処理フローではマグネット４４）を、対象画像を割り当てる他の物ものとして指定する。ここで割当入力部１０４は、ユーザ４０が他の物を持ちながら対象物４２を指定した場合には、ステップＳ１５の対象特定処理と並行してステップＳ１７の他の物の特定する処理を行ってよい。割当入力部１０４は、対象撮像部２４が撮像して生成した画像又は動画等から他の物を検出しなかった場合（ステップＳ１８のＮｏ）、処理をステップＳ１７に戻す。

一方、他の物が検出された場合（ステップＳ１８のＹｅｓ）、ステップＳ１９において、割当入力部１０４は、対象画像入力部１０２が画像記憶部１０６に入力した対象画像と他の物のメタ情報とを対応付けて画像記憶部１０６に記憶する。

次に、ステップＳ２１において、画像出力部１１０は、動作撮像部２２が撮像して生成した距離画像から、予め定められた範囲内、すなわち例えばホワイトボード１４上に、画像記憶部１０６内に記憶された他の物の少なくとも１つであるマグネット４４が貼り付けられたかを検出する。画像出力部１１０は、ユーザ４０がホワイトボード１４上にマグネット４４を貼り付けたことを検出しなかった場合（ステップＳ２２のＮｏ）、処理をステップＳ２１に戻す。

一方、ユーザ４０がホワイトボード１４上にマグネット４４を貼り付けたことが検出された場合（ステップＳ２２のＹｅｓ）、ステップＳ２３において、表示位置特定部１０８は、動作撮像部２２が撮像して生成した距離画像から、ユーザ４０が対象画像の表示位置を特定する動きを検出する。続いて、表示位置特定部１０８は、ステップＳ２４において、対象画像の表示位置を特定したか否かを判断する。表示位置特定部１０８は、対象画像の表示位置を特定しなかった場合（ステップＳ２４のＮｏ）、処理をステップ２３に戻す。

一方、対象画像の表示位置が特定された場合（ステップＳ２４のＹｅｓ）、ステップＳ２５において、画像出力部１１０は、動作撮像部２２が撮像して生成した距離画像から、ユーザ４０が表示指示をする動き（ペースト操作）を検出する。続いて、画像出力部１１０は、ステップＳ２６において、表示指示を検出したか否かを判断する。表示位置特定部１０８は、表示指示を検出しなかった場合（ステップＳ２６のＮｏ）、処理をステップ２５に戻す。

一方、表示指示が検出された場合（ステップＳ２６のＹｅｓ）、ステップＳ２７において、画像出力部１１０は、表示位置特定部１０８が特定した対象画像の表示位置に対象画像が表示されるように画像表示部２６の表示方向を制御すると共に、画像記憶部１０６に記憶した対象画像を画像表示部２６に出力し、特定した表示位置に対象画像を表示させる。制御装置３０は、ステップＳ２８の表示処理を終了すると、処理をステップＳ１１に戻す。

以上に示した表示システム１０によれば、ユーザ４０がホワイトボード１４上の書き込み等の対象物４２の画像を対象画像としてコピーして、実空間内のユーザ４０の指定する任意の位置に、任意のタイミングで表示させることができる。また、本実施形態に係る表示システム１０によれば、他の物として検出した有体物の色、形、寸法毎に異なる対象画像を割り当てる等により複数の他の物毎に異なる対象画像を割り当て、当該他の物の操作を受けてユーザ４０が表示させたい対象画像を実空間内のユーザ４０の指定する任意の位置に、任意のタイミングで表示させることができる。

なお、上記実施形態では、ステップＳ１３において、例えば、ユーザ４０が他の物としてマグネット４４を持ちながら、指でホワイトボード１４上の少なくとも一部の領域を囲う動きをしたことに応じて、対象特定部１００は当該領域を対象物４２と特定してもよい。このような制御装置３０によれば、対象特定部１００は、対象物４２を特定すると共に、当該対象物４２の画像を割り当てる他の物も特定することができる。このため、制御装置３０は、ステップＳ１５およびステップＳ１７を一括で処理できる。

また、ステップＳ２３〜ステップＳ２６において、表示位置特定部１０８で対象画像の表示位置を特定し、画像出力部１１０で対象画像の出力指示を検出する場合を説明したが、例えば、動作撮像部２２が撮像して生成した距離画像から、表示位置特定部１０８が、ユーザ４０がマグネット４４をホワイトボード１４上に貼り付けた位置等を対象画像の表示位置として検出すると共に、画像出力部１１０が、ユーザ４０がマグネット４４をホワイトボード１４上に貼り付ける動き等を表示指示として検出してもよい。このような制御装置３０によれば、画像表示部２６は、ユーザ４０が単に有体物をボード等に貼り付けるあるいは机等の上に置くだけで、ユーザ４０が表示させたい位置に好きなタイミングで対象画像を表示させることができる。

または、動作撮像部２２が撮像して生成した距離画像から、例えばユーザ４０がマグネット４４をホワイトボード１４上に貼り付けたことを検出したことに応じて、画像出力部１１０は対象画像を予め定めた位置に表示させてもよい。このような制御装置３０によれば、画像表示部２６は、ユーザ４０が単に有体物をボード等に貼り付けるあるいは机等の上に置くだけで、ユーザ４０が好きなタイミングで対象画像を表示させることができる。

図５は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。動作撮像部２２、対象撮像部２４及び／又は画像表示部２６は、通信インターフェイス２０３０に接続され、ネットワークを介して画像等を転送してよい。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を制御装置３０として機能させるプログラムは、画像取得モジュールと、動作検出モジュールと、特定モジュールと、表示制御モジュールと、機能実行モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、対象特定部１００、対象画像入力部１０２、割当入力部１０４、画像記憶部１０６、表示位置特定部１０８、および画像出力部１１０としてそれぞれ機能させる。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である対象特定部１００、対象画像入力部１０２、割当入力部１０４、画像記憶部１０６、表示位置特定部１０８、および画像出力部１１０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の制御装置３０が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 表示システム
１２ 部屋
１４ ホワイトボード
２２ 動作撮像部
２４ 対象撮像部
２６ 画像表示部
３０ 制御装置
４０ ユーザ
４２ 対象物
４４ マグネット
４６ 出力画像
１００ 対象特定部
１０２ 対象画像入力部
１０４ 割当入力部
１０６ 画像記憶部
１０８ 表示位置特定部
１１０ 画像出力部
１９００ コンピュータ
２０００ ＣＰＵ
２０１０ ＲＯＭ
２０２０ ＲＡＭ
２０３０ 通信インターフェイス
２０４０ ハードディスクドライブ
２０５０ フレキシブルディスク・ドライブ
２０６０ ＣＤ−ＲＯＭドライブ
２０７０ 入出力チップ
２０７５ グラフィック・コントローラ
２０８０ 表示装置
２０８２ ホスト・コントローラ
２０８４ 入出力コントローラ
２０９０ フレキシブルディスク
２０９５ ＣＤ−ＲＯＭ

Claims (9)

1. ユーザの動きから対象物を特定し、特定した前記対象物を撮像した画像の入手を指示する対象特定部と、
   前記対象特定部の指示に応じて前記対象物を撮像した画像を入力する対象画像入力部と、
   撮像した前記対象物の画像を割り当てる他の物の指定を入力する割当入力部と、
   予め定められた範囲内に前記他の物を検出したことに応じて、当該他の物に割り当てられた前記対象物の画像を出力する画像出力部と、
   を備える表示システム。
2. ユーザの動きから前記対象物の画像を表示すべき表示位置を特定する表示位置特定部を更に備え、
   前記画像出力部は、予め定められた範囲内に前記他の物を検出したことに応じて、当該他の物に割り当てられた前記対象物の画像を出力して前記表示位置に表示させる
   請求項１に記載の表示システム。
3. 前記対象物の画像を撮像して前記対象画像入力部に入力する対象撮像部と、
   前記画像出力部に接続されて、前記対象物の画像を表示する画像表示部と、
   を更に備える請求項１または２に記載の表示システム。
4. ユーザが物を持ちながら前記対象物を指定する動作をしたことに応じて、前記対象特定部は前記対象物を特定し、前記割当入力部は、ユーザが持っている物を前記対象物の画像を割り当てる対象となる前記他の物として認識する
   請求項３に記載の表示システム。
5. 前記画像出力部は、前記予め定められた範囲内に前記他の物を検出し、かつ前記他の物に割り当てられた前記対象物の画像を表示することを指示するユーザの動きを検出したことに応じて、前記対象物の画像を出力する請求項３または４に記載の表示システム。
6. 前記対象画像入力部は、手書きにより書き込みかつ消去をすることができるボード上の書き込みの画像を入力し、
   前記割当入力部は、前記ボードの画像を前記他の物に割り当て、
   前記画像出力部は、前記他の物に割り当てられた前記ボード上の書き込みの画像を表示することを指示するユーザの動きを検出したことに応じて、当該書き込みの画像を前記ボード上に表示する
   請求項５に記載の表示システム。
7. ユーザの動きを撮像する動作撮像部を更に備え、
   前記対象特定部は、前記動作撮像部が撮像したユーザの動きから前記対象物を特定し、
   前記割当入力部は、前記対象撮像部が撮像した画像から前記他の物を検出する
   請求項３から６のいずれか一項に記載の表示システム。
8. コンピュータを、
   ユーザの動きから対象物を特定し、特定した前記対象物を撮像した画像の入手を指示する対象特定部と、
   前記対象特定部の指示に応じて前記対象物を撮像した画像を入力する対象画像入力部と、
   撮像した前記対象物の画像を割り当てる他の物の指定を入力する割当入力部と、
   予め定められた範囲内に前記他の物を検出したことに応じて、当該他の物に割り当てられた前記対象物の画像を出力する画像出力部と、
   を備える表示システムとして機能させる表示プログラム。
9. ユーザの動きから対象物を特定し、特定した前記対象物を撮像した画像の入手を指示する対象特定ステップと、
   前記対象特定ステップにおける指示に応じて前記対象物を撮像した画像を入力する対象画像入力ステップと、
   撮像した前記対象物の画像を割り当てる他の物の指定を入力する割当入力ステップと、
   予め定められた範囲内に前記他の物を検出したことに応じて、当該他の物に割り当てられた前記対象物の画像を出力する画像出力ステップと、
   を備える表示方法。

Images