JP6880697B2 - 表示装置、表示方法及びプログラム - Google Patents

Description

本発明は、表示装置、表示方法及びプログラムに関する。

従来、スクリーンに投影された画像上をレーザーポインタで指示すると、指示位置に応じた画像を投影するプロジェクタシステムが知られている（例えば、特許文献１参照）。

特開２００４−２６５２３５号公報

ところで、例えば、特許文献１に記載のようなプロジェクタシステムにおいて、表示画像上のポインタで指示された箇所を強調する場合、例えば、指示された箇所に文字列や図形が混在している場合は、強調する対象の抽出が困難であった。

本発明の課題は、表示画像の中から強調する対象を容易に抽出できるようにすることである。

上記課題を解決するため、本発明に係る表示装置は、画像を表示制御する表示制御手段と、前記表示制御手段により表示制御されている画像上を指すポインタ位置の軌跡を検出することにより、前記軌跡の形状及び前記軌跡が形成された前記画像内の位置を検出する検出手段と、前記検出手段により検出された前記軌跡の形状及び前記軌跡が形成された前記画像内の位置に基づいて、前記画像内における表示内容であって前記軌跡との位置関係が予め定めた位置関係にある表示内容のうち、前記形状に対応付けて予め設定されている種類の表示内容を特定する特定手段と、を備え、前記表示制御手段は、前記特定手段により前記表示内容が特定された場合に、当該特定された表示内容に対しての表示態様を、前記特定された表示内容が強調されるように当該表示内容の種類に対応付けて予め設定されている表示態様に切り替える、ことを特徴とする。
また、本発明に係る表示方法は、表示装置が実行する表示方法であって、画像を表示制御する表示制御ステップと、前記表示制御ステップで表示制御されている画像上を指すポインタ位置の軌跡を検出することにより、前記軌跡の形状及び前記軌跡が形成された前記画像内の位置を検出する検出ステップと、前記検出ステップで検出された前記軌跡の形状及び前記軌跡が形成された前記画像内の位置に基づいて、前記画像内における表示内容であって前記軌跡との位置関係が予め定めた位置関係にある表示内容のうち、前記形状に対応付けて予め設定されている種類の表示内容を特定する特定ステップと、を有し、前記表示制御ステップは、前記特定ステップで前記表示内容が特定された場合に、当該特定された表示内容に対しての表示態様を、前記特定された表示内容が強調されるように当該表示内容の種類に対応付けて予め設定されている表示態様に切り替える、ことを特徴とする。
また、本発明に係るプログラムは、表示装置のコンピュータを、画像を表示制御する表示制御手段、前記表示制御手段により表示制御されている画像上を指すポインタ位置の軌跡を検出することにより、前記軌跡の形状及び前記軌跡が形成された前記画像内の位置を検出する検出手段、前記検出手段により検出された前記軌跡の形状及び前記軌跡が形成された前記画像内の位置に基づいて、前記画像内における表示内容であって前記軌跡との位置関係が予め定めた位置関係にある表示内容のうち、前記形状に対応付けて予め設定されている種類の表示内容を特定する特定手段、として機能させ、前記表示制御手段は、前記特定手段により前記表示内容が特定された場合に、当該特定された表示内容に対しての表示態様を、前記特定された表示内容が強調されるように当該表示内容の種類に対応付けて予め設定されている表示態様に切り替える、ことを特徴とする。

本発明によれば、表示画像の中から強調する対象を容易に抽出することが可能となる。

本実施形態におけるプロジェクタの機能的構成を示すブロック図である。 強調用テーブルのデータ格納例を示す図である。 図１のＣＰＵにより実行される強調処理を示すフローチャートである。 ポインタの軌跡形状に基づく強調表示の一例を示す図である。 ポインタの軌跡形状に基づく強調表示の一例を示す図である。 ポインタの軌跡形状に基づく強調表示の一例を示す図である。

以下、添付図面を参照して本発明に係る実施形態を詳細に説明する。本発明は、図示例に限定されるものではない。

［プロジェクタ１の構成］
図１は、本発明の実施形態におけるプロジェクタ１の主制御構成を示すブロック図である。図１に示すように、プロジェクタ１は、ＣＰＵ１１、ＲＡＭ１２、投影部１３、記憶
部１４、操作部１５、撮影部１６、通信部１７等を備えて構成され、各部はバス１８を介して接続されている。

ＣＰＵ（Central Processing Unit）１１は、記憶部１４のプログラム記憶部１４１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行う。例えば、ＣＰＵ１１は、投影用データ記憶部１４２に記憶されている投影用データを所定の形式の画像データに変換して投影部１３に送信し、投影部１３によりスクリーン２（図４参照）に表示画像を表示（投影）させる。また、ＣＰＵ１１は、後述する強調処理を実行し、抽出手段、強調手段として機能するとともに、撮影部１６との協働により、軌跡形状取得手段、座標取得手段として機能する。

ＲＡＭ（Random Access Memory）１２は、揮発性の半導体メモリであり、ＣＰＵ１１により実行される各種プログラムやこれら各種プログラムに係るデータ等を格納するワークエリアを有する。

投影部１３は、ＣＰＵ１１から出力された入力された画像データを映像光に変換してスクリーン２に向けて照射することにより、スクリーン２に表示画像を表示する。投影部１３は、表示手段として機能する。

記憶部１４は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部１４には、図１に示すように、プログラム記憶部１４１が設けられている。プログラム記憶部１４１には、ＣＰＵ１１で実行されるシステムプログラムや、各種処理を実行するための処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

また、記憶部１４には、投影用データ記憶部１４２が設けられている。投影用データ記憶部１４２には、投影部１３によりスクリーン２に映像を投影するための投影用データが記憶される。投影用データは、静止画像であってもよいし、動画像であってもよい。また、プレゼンテーションソフトにより作成されたスライドであってもよい。本実施形態においては、投影用データがスライドであることとして説明する。

また、記憶部１４には、強調用テーブル記憶部１４３が設けられている。強調用テーブル記憶部１４３には、強調用テーブルＴ１が記憶されている。強調用テーブルＴ１は、図２に示すように、レーザーポインタ３（図４参照）の軌跡形状と、その軌跡形状が検出されたときに強調する対象の種類及び強調態様とが対応付けて記憶されている。

操作部１５は、複数の操作ボタン等から構成され、ユーザの操作信号をＣＰＵ１１に出力する。

撮影部１６は、スクリーン２に表示された表示画像を撮影して撮影画像を生成する。撮影部１６は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮影制御部とを備えている。カメラの光学系は、撮影部１６が投影するスクリーン２を正面から撮影可能な方向に向けられている。また、その撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を２次元の画像信号に変換する。

通信部１７は、ＰＣ（Personal Computer）等の外部装置と通信を行うためのインターフェースを有する。

［プロジェクタ１の動作］
次に、本実施形態におけるプロジェクタ１の動作について説明する。
図３は、投影部１３により投影が開始された際に、ＣＰＵ１１により実行される強調処理を示すフローチャートである。強調処理は、制御部とプログラム記憶部１４１に記憶されているプログラムとの協働により実行される。

まず、ＣＰＵ１１は、スクリーン２の表示画像上を指すポインタ位置の軌跡形状を取得する（ステップＳ１）。

ステップＳ１において、ＣＰＵ１１は、例えば、所定時間間隔で撮影部１６に撮影を行わせ、撮影部１６により取得された各撮影画像から表示画像上のポインタ位置の検出を行って、ポインタ位置が移動を開始してから移動を停止するまでの軌跡の形状及び座標の情報を取得する。
ここで、ポインタ位置が移動を開始したと判断するタイミングは、例えば、レーザーポインタ３により表示画像上にスポットが照射されたタイミングでもよい。また、レーザーポインタ３が、撮影部１６に対して撮影を開始する旨を指示する指示部を備え、該指示を通信部１７が受信したタイミングであってもよい。
また、ここで、ポインタ位置が移動を停止したと判断するタイミングは、例えば、レーザーポインタ３による表示画像上のスポットが消えたタイミングでもよい。また、レーザーポインタ３が、撮影部１６に対して撮影を停止する旨を指示する指示部を備え、該指示を通信部１７が受信したタイミングであってもよい。
ポインタ位置の検出は、例えば、撮影部１６により取得された各撮影画像において、画像内の各画素の画素値を取得し、レーザーポインタ３により照射されたスポットの色に合致する画素値の位置を各撮影画像のポインタ位置として検出することができる。或いは、撮影画像をグレースケールに変換し、画素値が最も高い位置をポインタ位置として検出することとしてもよい。

次いで、ＣＰＵ１１は、ポインタ位置の軌跡形状が閉じた形状か又は水平方向の線形状であるか否か判断する（ステップＳ２）。
ポインタ位置の軌跡形状が閉じた形状でも水平方向の線形状でもないと判断した場合（ステップＳ２；ＮＯ）、ＣＰＵ１１は、ステップＳ１に戻る。

ここで、ＣＰＵ１１は、ポインタ位置の軌跡形状が閉じた形状である場合に、表示画像中における軌跡の上端と下端との間の距離を取得し、該距離が所定の閾値以下である場合は、取得された軌跡形状を線形状として判断してもよい。このようにすることで、ユーザがポインタ位置を水平方向に往復して動かすことで正確に線形状の軌跡を描けない場合であっても、その軌跡の上下方向における上端と下端とのズレ幅が所定の数値以下であれば、線形状であると判断することができ、利便性が向上する。

ポインタ位置の軌跡形状が閉じた形状か又は水平方向の線形状であると判断した場合（ステップＳ２；ＹＥＳ）、ＣＰＵ１１は、強調用テーブルＴ１を参照し、ポインタ位置の軌跡形状に基づいて強調する対象の種類を決定する（ステップＳ３）。

次いで、ＣＰＵ１１は、強調する対象の抽出処理を行う（ステップＳ４）。
例えば、ポインタ位置の軌跡が閉じている場合、ＣＰＵ１１は、ステップＳ１で取得された撮影画像における軌跡が閉じた範囲近傍に、ステップＳ３で決定された種類の対象物が存在しているか否かを判断する。
例えば、ＣＰＵ１１は、ステップＳ１で取得された軌跡の座標に基づいて、投影対象の投影用データ上における、ポインタ位置の軌跡に対応する位置の座標を特定する。ポインタ位置の軌跡が閉じた形状である場合、ＣＰＵ１１は、投影用データにおいて、軌跡に対
応する位置の座標（例えば閉じた形状の中心点）の位置にあり、かつポインタ位置の軌跡に対応する閉じた範囲近傍に、ステップＳ３で決定された種類の対象物が存在するか否かを判断する。ステップＳ３で決定された種類の対象物が存在する場合、ＣＰＵ１１は、その対象物を強調する対象として抽出する。また、ポインタ位置の軌跡が水平方向の線形状である場合、ＣＰＵ１１は、投影用データにおいて、軌跡に対応する位置の座標（例えば線形状の中心点）の位置にあり、かつポインタ位置の軌跡に対応する水平方向の線の上部又はその線に重なる範囲近傍に、ステップＳ１３で決定された種類の対象物が存在するか否かを判断する。対象物が存在する場合、ＣＰＵ１１は、その対象物を強調する対象として抽出する。

次いで、ＣＰＵ１１は、強調する対象が存在したか否かを判断する（ステップＳ５）。強調する対象が存在しなかった場合（ステップＳ５；ＮＯ）、ＣＰＵ１１は、ステップＳ１に戻る。
強調する対象が存在した場合（ステップＳ５；ＹＥＳ）、ＣＰＵ１１は、強調用テーブルＴ１を参照し、ステップＳ１で取得したポインタ位置の軌跡形状に対応する強調態様を特定し、投影用データにおける強調する対象を特定された強調態様で強調させてその画像を投影部１３に投影させることにより、スクリーン２の表示画像上の強調する対象を強調させる（ステップＳ６）。

例えば、強調用テーブルＴ１において、軌跡形状が閉じた円である場合の強調する対象の種類として図形が設定され、強調態様として塗りつぶしが設定されている場合、図４に示すように、レーザーポインタ３によりスクリーン２に投影されている図形及び文字列を円で囲む操作を行うと、強調する対象として設定されている図形のみが塗りつぶしで強調表示される。

また、例えば、強調用テーブルＴ１において、軌跡形状が線形である場合の強調する対象の種類として文字列が設定され、強調態様として赤色表示が設定されている場合、図５に示すように、レーザーポインタ３によりスクリーン２に投影されている文字列に下線を引く操作を行うと、文字列が赤色で強調表示される。

また、例えば、強調用テーブルＴ１において、軌跡形状が閉じた矩形である場合の強調する対象の種類として画像が設定され、強調態様として矩形が設定されている場合、図６に示すように、レーザーポインタ３によりスクリーン２に投影されている画像及び文字列を矩形で囲む操作を行うと、強調する対象として設定されている画像のみが矩形で囲んで強調表示される。

このように、強調処理では、レーザーポインタ３のポインタ位置の軌跡形状に応じた種類の対象物（例えば、文字、図形、画像、数式等）を強調する対象として抽出するので、レーザーポインタ３で指定した位置に文字や図形等が混在していても、レーザーポインタ３のポインタ位置の軌跡が強調させたい対象物の種類に応じた形状となるようにユーザがレーザーポインタ３を動かすだけで、ユーザが意図した対象物を簡単に強調する対象として抽出して強調させることが可能となる。また、ポインタ位置の軌跡形状に応じて、強調態様を変更することが可能となる。

次いで、ＣＰＵ１１は、一連の投影の終了が指示されたか否かを判断する(ステップＳ７)。一連の投影の終了が指示されてしていないと判断した場合（ステップＳ７；ＮＯ）、ＣＰＵ１１は、ステップＳ１に戻る。
一連の投影の終了が指示されたと判断した場合（ステップＳ７；ＹＥＳ）、ＣＰＵ１１は、強調処理を終了する。

以上説明したように、プロジェクタ１によれば、ＣＰＵ１１は、投影部１３により投影した表示画像上を指すポインタ位置の軌跡形状を取得し、取得した軌跡形状に基づいて、表示画像内における強調する対象を抽出する。
従って、表示画像におけるレーザーポインタ３で指示された箇所に文字列や図形が混在している場合であっても、表示画像の中から強調する対象を容易に抽出することが可能となる。

例えば、ＣＰＵ１１は、取得した軌跡形状に基づいて強調する対象の種類を決定し、決定した種類に基づいて強調する対象を抽出する。従って、表示画像上を指すポインタ位置の軌跡形状に応じた種類（文字列、図形、画像、数式等）の対象物を強調する対象として容易に抽出することが可能となる。

また、ＣＰＵ１１は、表示画像上を指すポインタ位置の軌跡形状に基づいて、対象を強調する態様を変化させる。従って、ユーザがレーザーポインタ３で指示するポインタ位置の軌跡形状を変えることで、対象を強調する態様を変化させることが可能となる。

なお、上記実施形態における記述内容は、本発明に係るプロジェクタの好適な一例であり、これに限定されるものではない。

例えば、上記実施形態においては、本発明をプロジェクタからスクリーンに画像を投影することで画像の表示を行うプロジェクタに適用した場合を例にとり説明したが、例えば、液晶ディスプレイ、プラズマディスプレイ等を備える表示装置に適用しても同様の効果を奏することができ、この例に限定されない。

また、上記実施形態においては、表示画像におけるポインタ位置の軌跡形状に基づいて強調する対象の種類を決定する場合の例として、スクリーン２に投影したスライド上におけるレーザーポインタ３のポインタ位置の軌跡形状に基づいて強調する対象の種類（文字列、画像、図形、グラフ、数式、動画等）を決定することとして説明したが、例えば、ＰＣ等のディスプレイ上におけるマウスカーソルの軌跡形状に基づいて、強調するウィンドウの種類等を決定することとしてもよい。例えば、ブラウザ、フォルダ、メールソフト、ワープロソフト等の各ウィンドウのそれぞれに対応する軌跡の形状を記憶しておき、ディスプレイ上でのマウスカーソルの軌跡形状に応じて、対応する種類のウィンドウをディスプレイの前面に表示させて（或いは、アクティブにして）強調することとしてもよい。

また、上記実施形態で示したポインタ位置の軌跡形状、強調する対象の種類、強調の態様は一例であり、実施形態で示したものに限定されない。

また、上記実施形態においては、プロジェクタ１が単体で動作する例を示したが、これに限られない。プロジェクタ１がＰＣ等の外部機器と接続されており、外部機器が上記実施形態における記憶部１４の機能を持っていてもよい。つまり、軌跡形状を撮影部１６が取得し、該軌跡形状を外部機器に送信することで、外部機器が図３に示すステップＳ２からステップＳ６までの処理を行うことで、プロジェクタ１に対象を強調させてもよい。その他、上記実施形態における各機能及び動作は、各装置に適宜割り当ててもよい。

その他、プロジェクタを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。
付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
表示画像を表示する表示手段と、
前記表示画像上を指すポインタ位置の軌跡を取得し、その軌跡形状を取得する軌跡形状取得手段と、
前記軌跡形状に基づいて前記表示画像内の対象の種類を決定し、決定した種類に基づいて前記表示画像内における対象を抽出する抽出手段と、
を備える表示装置。
＜請求項２＞
前記軌跡形状と前記対象の種類とを対応付けて記憶している記憶手段をさらに備えることを特徴とする請求項１に記載の表示装置。
＜請求項３＞
前記軌跡形状取得手段は、前記ポインタ位置の軌跡形状が閉じた形状か、線形状であるかを判断することを特徴とする請求項１又は２に記載の表示装置。
＜請求項４＞
前記軌跡形状取得手段は、前記ポインタ位置の軌跡形状が閉じた形状である場合に、前記表示画像中における前記軌跡の上端と下端との間の距離を取得し、前記距離が所定の閾値以下である場合に前記軌跡形状を線形状として判断することを特徴とする請求項３に記載の表示装置。
＜請求項５＞
前記軌跡形状は、前記ポインタ位置が移動を開始してから停止するまでの前記ポインタ位置の軌跡の形状である請求項１〜４の何れか一項に記載の表示装置。
＜請求項６＞
前記表示画像における前記対象を強調する態様に変更する強調手段を備える請求項１〜５の何れか一項に記載の表示装置。
＜請求項７＞
前記強調手段は、前記軌跡形状に基づいて、前記対象を強調する態様を変化させる請求項６に記載の表示装置。
＜請求項８＞
前記ポインタ位置の軌跡に基づいて所定の座標を取得する座標取得手段をさらに備え、
前記抽出手段は、前記軌跡形状と前記座標とに基づいて前記表示画像内における対象を抽出することを特徴とする請求項１〜７の何れか一項に記載の表示装置。
＜請求項９＞
前記表示画像はスライドであり、
前記抽出手段は、前記軌跡形状取得手段により取得されたポインタ位置の軌跡形状に基づいて前記スライド内の対象の種類を決定し、決定した種類に基づいて前記スライドに含まれる対象を抽出する請求項１〜８の何れか一項に記載の表示装置。
＜請求項１０＞
表示画像を表示する工程と、
前記表示画像上を指すポインタ位置の軌跡形状を取得する工程と、
前記軌跡形状に基づいて前記表示画像内の対象の種類を決定し、決定した種類に基づいて前記表示画像内における対象を抽出する工程と、
を含む表示方法。
＜請求項１１＞
表示画像を表示する表示手段を備える表示装置に用いられるコンピュータを、
前記表示画像上を指すポインタ位置の軌跡形状を取得する軌跡形状取得手段、
前記軌跡形状に基づいて前記表示画像内の対象の種類を決定し、決定した種類に基づいて前記表示画像内における対象を抽出する抽出手段、
として機能させるためのプログラム。

１ プロジェクタ
１１ ＣＰＵ
１２ ＲＡＭ
１３ 投影部
１４ 記憶部
１４１ プログラム記憶部
１４２ 投影用データ記憶部
１４３ 強調用テーブル記憶部
１５ 操作部
１６ 撮影部
１７ 通信部
１８ バス

Claims (6)

1. 画像を表示制御する表示制御手段と、
   前記表示制御手段により表示制御されている画像上を指すポインタ位置の軌跡を検出することにより、前記軌跡の形状及び前記軌跡が形成された前記画像内の位置を検出する検出手段と、
   前記検出手段により検出された前記軌跡の形状及び前記軌跡が形成された前記画像内の位置に基づいて、前記画像内における表示内容であって前記軌跡との位置関係が予め定めた位置関係にある表示内容のうち、前記形状に対応付けて予め設定されている種類の表示内容を特定する特定手段と、
   を備え、
   前記表示制御手段は、前記特定手段により前記表示内容が特定された場合に、当該特定された表示内容に対しての表示態様を、前記特定された表示内容が強調されるように当該表示内容の種類に対応付けて予め設定されている表示態様に切り替える、
   ことを特徴とする表示装置。
2. 少なくとも文字列と図形との間で前記種類が異なるように前記表示内容が分類されている、
   ことを特徴とする請求項１に記載の表示装置。
3. 前記検出手段は、非枠としての線形状と枠として閉じた形状との違いを判別可能に構成されている、
   ことを特徴とする請求項１又は２に記載の表示装置。
4. 前記軌跡の形状は、前記ポインタ位置が移動を開始してから停止するまでの前記ポインタ位置の軌跡の形状である、
   ことを特徴とする請求項１〜３の何れか一項に記載の表示装置。
5. 表示装置が実行する表示方法であって、
   画像を表示制御する表示制御ステップと、
   前記表示制御ステップで表示制御されている画像上を指すポインタ位置の軌跡を検出することにより、前記軌跡の形状及び前記軌跡が形成された前記画像内の位置を検出する検出ステップと、
   前記検出ステップで検出された前記軌跡の形状及び前記軌跡が形成された前記画像内の位置に基づいて、前記画像内における表示内容であって前記軌跡との位置関係が予め定めた位置関係にある表示内容のうち、前記形状に対応付けて予め設定されている種類の表示内容を特定する特定ステップと、
   を有し、
   前記表示制御ステップは、前記特定ステップで前記表示内容が特定された場合に、当該特定された表示内容に対しての表示態様を、前記特定された表示内容が強調されるように当該表示内容の種類に対応付けて予め設定されている表示態様に切り替える、
   ことを特徴とする表示方法。
6. 表示装置のコンピュータを、
   画像を表示制御する表示制御手段、
   前記表示制御手段により表示制御されている画像上を指すポインタ位置の軌跡を検出することにより、前記軌跡の形状及び前記軌跡が形成された前記画像内の位置を検出する検出手段、
   前記検出手段により検出された前記軌跡の形状及び前記軌跡が形成された前記画像内の位置に基づいて、前記画像内における表示内容であって前記軌跡との位置関係が予め定めた位置関係にある表示内容のうち、前記形状に対応付けて予め設定されている種類の表示内容を特定する特定手段、
   として機能させ、
   前記表示制御手段は、前記特定手段により前記表示内容が特定された場合に、当該特定された表示内容に対しての表示態様を、前記特定された表示内容が強調されるように当該表示内容の種類に対応付けて予め設定されている表示態様に切り替える、
   ことを特徴とするプログラム。

Images