WO2010004618A1 - 情報処理装置、透過表示要素制御方法およびプログラム - Google Patents

Abstract

　ウィンドウ等の表示要素を用いて提供される機能と、この機能を提供するための処理に用いられる表示情報との関係を、視覚的にユーザに把握可能とすることを課題とし、情報処理装置１に、ディスプレイ２の表示領域の一部に表示されて所定の機能を提供するために用いられ、少なくとも一部が透過表示されることで背後の表示情報を視認可能とする透過ウィンドウを、表示位置を特定するための表示位置情報と関連付けて、ディスプレイ２に表示させる透過表示要素表示部２１と、表示された表示情報のうち、透過ウィンドウに覆われた表示情報を表示位置情報に基づいて取得する情報取得部２２と、を備え、情報取得部２２によって取得された表示情報は、透過ウィンドウを用いて提供される前記所定の機能のために用いられることとした。

Description

情報処理装置、透過表示要素制御方法およびプログラム

　本発明は、表示装置に接続された情報処理装置に関する。

　従来、ウィンドウの背面色を透明にすることで、ウィンドウの背面にある画像を見えるようにする技術がある（特許文献１から４を参照）。また、操作対象ウィンドウ内で指示された位置座標を他のウィンドウへ発行する技術があり（特許文献５を参照）、透明のコントロールパネルを、カメラの撮影位置の変化に追従して移動させる技術がある（特許文献６を参照）。
特開平６－１２４１８３号公報 特開平１０－１１６１７４号公報 特開平６－５１７３８号公報 特開平０４－０４５４８７号公報 特開２００６－２４４０７８号公報 特開平９－９１３７号公報

　従来、所謂ウィンドウシステムを有するコンピュータによって表示されるウィンドウには、このウィンドウを用いて提供される機能を有するアプリケーションが関連付けられている。ここで、アプリケーションによっては、メインウィンドウの他にサブウィンドウを表示させ、このサブウィンドウを用いてメインウィンドウに関連付けられたアプリケーションを操作することが可能なものがある。しかし、これらのサブウィンドウは、ディスプレイに一度に表示可能な情報量に制約があることから、基本的には単にメインウィンドウのみでは表示しきれない情報やアイコン、ボタン類が表示されるのみのものであった。

　即ち、従来複数のウィンドウを用いて提供されていた様々な機能は、単に情報を表示可能な領域の制限の問題に依るところが大きく、異なるウィンドウを用いてこの機能が提供されることの機能上の必然性はなかった。例えば検索等の所定の機能を提供する際に、このような機能がメインウィンドウ内で提供されるか、サブウィンドウを開いて提供されるかは、アプリケーションの設計上の問題であり、また、メインウィンドウで提供されるかまたはサブウィンドウで提供されるかを選択可能なアプリケーションにおいては、ユーザの嗜好の問題である。そして、このために、従来の情報処理装置では、サブウィンドウ等を用いて提供される機能とメインウィンドウ等に表示された情報との関係を、ユーザに視覚的に把握させることが出来ていなかった。

　本発明は、上記した問題に鑑み、ウィンドウ等の表示要素を用いて提供される機能と、この機能を提供するための処理に用いられる表示情報との関係を、視覚的にユーザに把握可能とすることを課題とする。

　本発明は、上記した課題を解決するために、透過表示領域に覆われた領域の情報を取得し、この情報に基づいて所定の機能を提供する行うことで、ウィンドウ等の表示要素を用いて提供される機能と、この機能を提供するための処理に用いられる表示情報との関係を、視覚的にユーザに把握させることを可能にした。

　詳細には、本発明は、表示装置に接続され、該表示装置の表示領域における表示位置を特定するための表示位置情報と関連付けられた表示情報を該表示装置に表示させる、情報処理装置であって、前記表示領域の一部に表示されて所定の機能を提供するために用いられる表示要素であって、該表示要素の少なくとも一部が透過表示されることで、該表示要素に覆われた表示情報を視認可能とする透過表示要素を、前記表示領域における表示位置を特定するための表示位置情報と関連付けて、該表示装置に表示させる透過表示要素表示手段と、前記表示領域に表示された表示情報のうち、前記透過表示要素に覆われた表示情報を、該情報の表示位置情報および前記透過表示要素の表示位置情報に基づいて取得する情報取得手段と、を備え、前記情報取得手段によって取得された表示情報は、前記透過表示要素を用いて提供される前記所定の機能のために用いられる、情報処理装置である。

　本発明に係る情報処理装置は、表示装置に接続可能なコンピュータである。ここで、表示装置は、情報処理装置から出力された信号を受けて情報の表示を行うものであればよい。表示装置には、従来コンピュータ用のモニタとして用いられている液晶ディスプレイやＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ等、２次元画像の表示を行う表示装置の他、３次元画像の表示を行うことでより立体的な表示を行うことが可能な表示装置が用いられてもよい。また、表示装置による表示領域としては、表示装置本体に設けられた表示領域の他、表示装置本体以外の構成が表示領域として用いられてもよい。例えば、表示装置本体以外に映像を投影するプロジェクタ等がこれにあたる。

　本発明において、表示装置によって表示される表示情報には、文字やグラフィック等、情報処理装置によって表示可能な情報全般が含まれるものとする。そして、これらの情報を情報処理装置に接続された表示装置に表示させるにあたって、表示情報は、表示領域における表示位置を特定するための表示位置情報と関連付けられる。表示位置情報とは、例えば、マルチウィンドウシステムを備える情報処理装置においてウィンドウが表示される座標や、ウィンドウのサイズ等を示す情報、デスクトップやウィンドウ内に表示される各表示要素（文字、グラフィック等）の座標、サイズを示す情報、更には画素の座標を示す情報等である。但し、表示位置情報は、座標およびサイズ以外の情報、例えばベクトルやピクセル番号等で特定されてもよい。

　本発明では、表示装置によって表示される様々な表示要素のうち、該表示要素に覆われた表示情報（換言すると、該表示要素の奥に重ねられた表示情報）を透過して視認可能な透過表示要素が用いられる。表示装置によって表示される表示要素としては、マルチウィンドウシステムを備えるコンピュータにおけるウィンドウの他、デスクトップガジェット、ウィジェット等と称されるものがあり、一般的には、マウスやキーボード等の入力装置を介して入力されたユーザの指示に従って再配置可能な表示要素である。

　即ち、本発明に係る情報処理装置は、前記透過表示要素の表示位置を指示する入力を受け付ける入力受付手段を更に備え、前記透過表示要素表示手段は、前記入力受付手段によって受け付けられた指示に基づく表示位置に、前記透過表示要素を表示させてもよい。

　透過表示要素は、従来コンピュータ用のモニタとして用いられている液晶ディスプレイやＣＲＴディスプレイ等、２次元画像の表示を行う表示装置では、実際には透過表示要素が表示される部分の色情報を、透過表示要素に覆われる部分（透過表示要素の背面にあたる部分）の画像の色情報と合成して調整することで、ユーザから背面の画像があたかも透過しているかのように表示して、表示要素に覆われた部分を視認可能とするものである。但し、透過表示要素を表示する具体的な手法としては、このような現在一般的に用いられている色情報を調整する手法以外にも、３次元表示を行う方法や、透光性の表示膜に表示することで背面を視認可能にする方法等、様々な手法が採用されてよい。

　また、本発明に係る透過表示要素は、上記例示したウィンドウやデスクトップガジェット等のように、所定の機能を提供するためのものである。透過表示要素によって提供される機能は、コンピュータによって提供可能な機能であれば特に制限されるものではない。透過表示要素によって提供される機能は、検索機能や情報の編集機能、インターネットを介した通信を行って処理結果を受信／表示する機能等、様々な機能から採用することが出来る。

　本発明は、このような透過表示要素に覆われた表示情報、即ち、ユーザから見てこの透過表示要素の下に透けて見える情報を取得して、透過表示要素によって提供される機能のために用いる点で特徴を有する。なお前記情報取得手段は、前記表示領域に表示された表示情報のうち、該表示情報に関連付けられた表示位置情報を用いて特定された表示位置が、前記透過表示要素に関連付けられた表示位置情報を用いて特定された表示位置に重なる表示情報を抽出することで、前記透過表示要素に覆われた表示情報を取得してもよい。

　このような特徴を有することで、透過表示要素の奥に表示されているウィンドウ等に係るアプリケーションが本来備えない機能を、アプリケーションの改造や変更の必要なく、透過表示要素の機能によって簡易に追加することが可能である。更に、従来、このような透過要素を表示するための技術が、専らユーザの視認可能な情報量を高める目的や、美観を高める目的にのみ用いられていたのに対して、表示要素の少なくとも一部が透過するという特性を利用して、ユーザ操作によって所望の情報の上に透過表示要素を配置させ、情報を取得して所定の機能に利用させることが可能となる。

　また、本発明に係る情報処理装置は、前記情報取得手段によって取得された表示情報に、所定の情報が含まれるか否かを判定する判定手段と、前記判定の結果に応じて、前記透過表示要素の表示を変化させる表示内容変化手段と、を更に備えてもよい。

　ここで、判定手段によって判定される所定の情報は、文字やグラフィック等、情報処理装置によって表示可能な情報の何れであってもよい。本発明によれば、透過表示要素に覆われた部分に所定の情報が含まれているか否かが、判定手段によって判定され、この判定の結果に応じて透過表示要素の表示を変化させることで、透過表示要素に覆われた情報に応じた機能を提供することが可能となる。ここで、透過表示要素の表示の変化は、色の変化の他、形状、サイズの変化であってもよいし、透過表示要素内に新たに画像が表示／非表示される変化であってもよい。

　また、本発明に係る情報処理装置は、前記判定手段によって、前記表示情報に前記所定の情報が含まれると判定された場合に、該所定の情報の表示位置を取得する表示位置取得手段を更に備え、前記表示内容変化手段は、前記透過表示要素のうち、前記表示位置取得手段によって取得された表示位置に対応する部分の表示を変化させてもよい。このようにすることで、透過表示要素に覆われた情報のうち、判定手段によって判定された所定の情報の表示位置をユーザに対して通知することが可能となる。

　また、前記判定手段は、前記情報取得手段によって取得された表示情報に、予め設定された文字列が含まれるか否かを判定し、前記表示位置取得手段は、前記文字列の表示位置を取得し、前記表示内容変化手段は、前記透過表示要素のうち、前記表示位置取得手段によって取得された表示位置に対応する部分の表示を変化させることで、前記透過表示要素のうち、前記文字列を覆う部分の表示を変化させてもよい。

　これは、透過表示要素によって提供される所定の機能として、検索機能を提供するための構成である。このような構成を備えることで、透過表示要素に覆われた部分に所定の文字列が含まれている場合には、この文字列に対応する部分の色を変化させたり、枠や下線を付加したりするように透過表示要素の表示を変化させ、ユーザに文字列の位置を通知することが可能となる。また、このような検索機能を有さないアプリケーション等であっても、本発明に係る透過表示要素によって、検索機能を提供することが可能となる。

　また、前記情報取得手段は、前記透過表示要素に覆われた表示情報を定期的に取得し、前記判定手段は、前記情報取得手段によって取得された前記表示情報を、時系列に従って比較することで、前記透過表示要素に覆われた表示情報が変化したか否かを判定してもよい。透過表示要素によって覆われた部分の表示情報を定期的に取得して時系列で比較することで、透過表示要素に覆われた表示情報の変化を検出することが出来る。即ち、このような透過表示要素は、前記所定の機能として、表示情報の監視機能を提供する。例えば、動画等、時間の経過に従って表示内容が変化する表示情報が表示されている場合、このような表示情報が表示されている部分に本発明に係る透過表示要素を重ねることで、表示情報の内容の変化を監視することが出来る。

　なお、表示情報の変化を判定するための具体的な方法として、前記判定手段は、前記比較の結果求められた変化量が、所定の基準以上である場合に、前記透過表示要素に覆われた表示情報が変化したと判定してもよい。ここで、変化量とは、取得された表示情報間での変化の度合いを示す情報であり、画像比較技術や情報比較技術を用いて算出された、複数の情報間の変化の度合いを示す情報であれば、本発明における変化量として採用することが出来る。

　また、本発明に係る情報処理装置は、上記監視機能によって検知された表示情報の変化をユーザに通知するために、前記表示内容変化手段は、前記判定手段によって、前記透過表示要素に覆われた表示情報が変化したと判定された場合に、前記透過表示要素の表示を変化させることで、表示情報の変化をユーザに通知してもよい。

　更に、本発明は、コンピュータが実行する方法、又はコンピュータを上記各手段として機能させるためのプログラムとしても把握することが可能である。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。例えば、本発明は、表示装置に接続され、該表示装置の表示領域における表示位置を特定するための表示位置情報と関連付けられた表示情報を該表示装置に表示させる、コンピュータを、前記表示領域の一部に表示されて所定の機能を提供するために用いられる表示要素であって、該表示要素の少なくとも一部が透過表示されることで、該表示要素に覆われた表示情報を視認可能とする透過表示要素を、前記表示領域における表示位置を特定するための表示位置情報と関連付けて、該表示装置に表示させる透過表示要素表示手段と、前記表示領域に表示された表示情報のうち、前記透過表示要素に覆われた表示情報を、該情報の表示位置情報および前記透過表示要素の表示位置情報に基づいて取得する情報取得手段と、として機能させ、前記情報取得手段によって取得された表示情報は、前記透過表示要素を用いて提供される前記所定の機能のために用いられる、透過表示要素制御プログラムであってもよい。

　本発明によって、ウィンドウ等の表示要素を用いて提供される機能と、この機能を提供するための処理に用いられる表示情報との関係を、視覚的にユーザに把握させることが可能となる。

第一の実施形態に係る情報処理装置の機能構成の概略を示す図である。 第一の実施形態に係る、検索機能を提供する透過ウィンドウの制御処理の流れを示すフローチャートである。 第一の実施形態において、索出された文字列が強調表示されるように、透過ウィンドウの表示が変化した場合の表示イメージを示す図である。 第二の実施形態に係る情報処理装置の機能構成の概略を示す図である。 第二の実施形態に係る、動画監視機能を提供する透過ウィンドウの制御処理の流れを示すフローチャートである。 第二の実施形態において、動画中に配置された透過ウィンドウの表示イメージを示す図である。

　本発明に係る情報処理装置、透過表示要素制御方法およびプログラムの実施の形態について、図面に基づいて説明する。

　＜第一の実施形態＞
　本実施形態に係る情報処理装置１は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ等に展開された命令及びデータを処理することでシステム全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭにロードされる各種プログラム等システムによって使用される各種データが記憶されるＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等を備えるコンピュータであり、情報処理装置１は、更に、表示装置としてのディスプレイ２、および入力装置としてのマウス３、キーボード４等に接続されている。

　図１は、本実施形態に係る情報処理装置１の機能構成の概略を示す図である。本実施形態に係るコンピュータは、ＲＡＭ又はＲＯＭに展開された透過表示要素制御プログラムをＣＰＵが解釈及び実行することで、ディスプレイ２に透過ウィンドウを表示させる透過表示要素表示部２１と、透過ウィンドウに覆われた表示情報を取得する情報取得部２２と、透過ウィンドウの表示位置を指示する入力等ユーザからの各種入力を受け付ける入力受付部２３と、取得した情報に基づく判定を行う判定部２４と、判定部２４による判定の結果に従って透過ウィンドウの表示内容を変化させる表示内容変化部２５と、透過ウィンドウに覆われた所定の情報の表示位置を取得する表示位置取得部２６と、を備える情報処理装置１として機能する。なお、本実施形態では、これらの各機能部は、透過表示要素制御プログラムに含まれる各ソフトウェアモジュールがＣＰＵによって実行されることで実現されているが、これらの各機能部は、専用のプロセッサ等によって実現されてもよい。また、本実施形態に係るコンピュータは、マルチウィンドウシステムを備えたＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）によって管理され、上記透過表示要素制御プログラムは、このコンピュータに検索アプリケーションとしてインストールされている。

　透過表示要素表示部２１は、透過表示要素制御プログラムの起動を受けて、ディスプレイ２に透過ウィンドウを表示させる。ここで、本実施形態に係る透過ウィンドウは、表示要素としてのウィンドウの一部または全部が透過表示されることで、本発明に係る透過表示要素として機能する。但し、本発明に係る透過表示要素は、何らかの機能を提供するためのユーザインターフェースとして表示されるものであればよく、通常ウィンドウと呼ばれるもの以外にも、所謂デスクトップガジェット、ウィジェットと称されるものであってもよい。なお、透過ウィンドウは、ＯＳのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍ　Ｉｎｔｅｒｆａｃｅ）や、ＯＳにインストールされたプログラム実行環境（例えば、Ａｄｏｂｅ　Ａｉｒ（登録商標）等）のＡＰＩを用いることで表示されてよい。

　また、透過ウィンドウには、ＯＳやプログラム実行環境の機能を用いて表示される他のウィンドウと同様、ウィンドウを識別するための情報（本実施形態では「ウィンドウ識別子」と称する）が付され、このウィンドウの表示位置情報が、ウィンドウ識別子と関連付けられてＲＡＭまたはＨＤＤに保存される。即ち、本実施形態では、透過ウィンドウの表示位置は、ＯＳやプログラム実行環境によって管理される。但し、透過ウィンドウの表示位置は、透過ウィンドウを表示して検索機能を提供する検索アプリケーション自身によって管理されてもよい。

　情報取得部２２は、ディスプレイ２に表示されている表示情報のうち、透過ウィンドウの透過部分に覆われた部分、即ち、ユーザから見て透過ウィンドウを介して透けて見える部分の情報を、設定された時間毎に定期的に取得する。ここで、情報取得部２２は、透過ウィンドウに覆われた部分の情報を、画像として取得してもよいし、画像として描画される前の情報として取得してもよい。上述したウィンドウの位置情報は、このような情報を取得する際に用いられる。情報を取得するより具体的な方法については、後述する。

　図２は、本実施形態に係る、検索機能を提供する透過ウィンドウの制御処理の流れを示すフローチャートである。本フローチャートに示された処理は、ユーザによって、透過ウィンドウを用いた検索アプリケーションのアイコン等がクリックされることで、情報処理装置１のＯＳにこのアプリケーションの起動が指示されたことを契機として開始される。また、以下に説明する処理順序は一例であり、具体的な処理順序は、実施の形態に応じて適宜変更されてよい。

　ステップＳ１０１では、透過ウィンドウが表示される。透過表示要素表示部２１は、ディスプレイ２の表示領域の一部領域を占めるように、透過ウィンドウを表示する。本実施形態におけるディスプレイ２は、２次元の画像を表示可能な表示領域に表示を行う表示装置であるため、透過表示要素表示部２１は、透過ウィンドウの透過部分が重なる部分の色情報を取得し、この色情報を調整することで、ユーザから見てウィンドウの一部が透過し、該部分に覆われた情報が透けて見えるような画像を、ディスプレイ２に表示させる。なお、ここで表示される透過ウィンドウの表示位置は、表示領域における表示位置を示す表示位置情報と関連付けられることで管理される。透過ウィンドウの表示位置情報は、ウィンドウを識別可能な識別子と関連付けられて、ＲＡＭまたはＨＤＤ等に記録される。その後、処理はステップＳ１０２へ進む。

　ステップＳ１０２では、検索文字列が設定される。入力受付部２３は、ディスプレイ２に、ユーザに対して検索文字列の入力を促すダイアログおよび入力ボックスを表示させ、ユーザによる検索文字列の入力を受け付ける。キーボード４等を介して入力された検索文字列は、ＲＡＭ等へ記録される。その後、処理はステップＳ１０３へ進む。

　ステップＳ１０３では、透過ウィンドウに覆われた部分の情報が取得される。具体的には、情報取得部２２は、ディスプレイ２に表示された表示情報のうち、ステップＳ１０１で表示された透過ウィンドウの表示位置に含まれる表示情報を抽出することで、透過ウィンドウに覆われた部分の情報を取得する。ここで、表示情報は、画素の集合としての画像として取得されてもよいし、画像として描画される前の情報、例えばベクトルデータやテキストコード等で取得されてもよい。

　透過ウィンドウに覆われた部分の情報を画像として取得する場合には、情報取得部２２は、ディスプレイ２出力のために描画された画像情報から、透過ウィンドウの表示位置情報（座標やサイズ等）が示す領域に相当する部分を切り出すことで取得される。なお、画像として情報が取得された場合、取得された画像は、後述する検索処理を行う前に、ＯＣＲ（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｇｉｏｎ）等で用いられる画像からの文字認識技術を用いて文字情報等へ変換される。また、文字認識技術を用いて文字情報への変換を行った場合、変換後の文字情報と、この文字情報に係る文字の画像が表示されている位置の位置情報とが関連付けられて保存される。

　また、透過ウィンドウに覆われた部分の情報を描画前の情報（本実施形態では、文字コード）として取得する場合には、ＲＡＭまたはＨＤＤに保持された、各ウィンドウの表示位置情報やデスクトップまたはウィンドウ内における各要素の表示位置情報を用いて、表示情報の表示位置が特定され、そして、特定された表示位置が透過ウィンドウの表示位置に含まれる表示情報が取得される。例えば、あるウィンドウ内に表示された特定の要素の表示位置は、該当するウィンドウの表示位置情報と、このウィンドウ内における要素の表示位置情報とを、位置情報のフォーマットを合わせて合算することで、求めることが出来る。その他、表示位置情報を指定することで、該当箇所に表示されている情報を戻り値として返すアプリケーションであれば、このアプリケーションに係るウィンドウ内の表示情報は、該アプリケーションに位置情報を指定した問い合わせを行うことで取得されてもよい。情報取得部２２によって透過ウィンドウに覆われた部分の情報が取得されると、処理はステップＳ１０４へ進む。

　ステップＳ１０４では、検索処理が行われる。判定部２４は、ステップＳ１０２で設定された検索文字列を検索クエリに含む検索処理を行うことで、ステップＳ１０３で取得された情報に、ユーザによって設定された検索文字列が含まれるか否かを判定する。検索文字列が索出された場合、即ち、取得情報に検索文字列が含まれると判定された場合、処理はステップＳ１０５へ進む。取得情報に検索文字列が含まれないと判定された場合、処理はステップＳ１０７へ進む。

　ステップＳ１０５では、索出された文字列の表示位置が取得される。表示位置取得部２６は、ステップＳ１０４で取得された索出文字列の表示位置を取得する。例えば、検索に供された情報が文字認識技術を用いて文字情報化されたものである場合には、文字情報化の際に各文字情報に関連付けられた位置情報を用いて、索出された文字列の表示位置を取得することが出来る。また、検索に供された情報が、描画前の情報であった場合には、ステップＳ１０３における説明の通り、各文字情報の表示位置を特定することが可能であるため、索出文字列に含まれる各文字の位置情報に基づいて、索出された文字列の表示位置を取得することが出来る。索出された文字列の表示位置が取得されると、処理はステップＳ１０６へ進む。

　ステップＳ１０６では、索出された文字列の強調表示処理が行われる。表示内容変化部２５は、ステップＳ１０５で取得された、索出文字列の表示位置情報に基づいて、透過ウィンドウにおける、該索出文字列に重なる部分を特定し、該当部分の色情報を変化させることで、索出文字列をユーザが発見し易いように強調表示する。本実施形態では、透過ウィンドウのうち索出された文字列に重なる部分の色味を変え、透過する赤色や透過する黄色等、目立つ色とすることとしているが、これに代えて、索出文字列を取り囲むような枠や、索出文字列に下線が付されたように見える位置に線を表示する等、その他の方法によって強調表示が行われてもよい。

　図３は、本実施形態において、索出された文字列が強調表示されるように、透過ウィンドウの表示が変化した場合の表示イメージを示す図である。ディスプレイ２には、文字列３１やグラフィック３２を含む各種表示情報が表示され、更に、透過ウィンドウ３３が表示されている。そして、表示情報のうち、透過ウィンドウ３３の透過部分が手前にある表示情報に含まれる索出文字列が強調表示されるように、透過ウィンドウ３３の一部３４の色情報が調整されている。ステップＳ１０６に示された処理が終了すると、処理はステップＳ１０７へ進む。

　ステップＳ１０７では、情報処理装置１に設けられた時計（図示は省略する）から時間情報を取得することで、所定時間の経過が監視される。例えば、時計から取得された基準となる時間情報と、その後取得された時間情報とを比較して経過時間を算出することで、所定時間の経過を監視することが出来る。所定時間が経過すると、処理はステップＳ１０３へ進む。即ち、本実施形態では、定期的に透過ウィンドウに覆われた表示情報が取得され、検索文字列を用いた検索が行われる。このようにすることで、透過ウィンドウに覆われた部分に検索文字列が有るか否かが監視され、表示情報が更新された結果透過ウィンドウに覆われた部分に検索文字列が出現した場合や、透過ウィンドウの表示位置が変更された結果透過ウィンドウに覆われた部分に検索文字列が入ることとなった場合にも、即座に文字列が索出され、強調表示によってユーザに通知される。

　なお、監視される所定時間が短く設定されるほど、即座に文字列の検出を行うことが可能となるが、情報処理装置１に掛かる負荷は大きくなる。このため、監視される所定時間は、情報処理装置１の処理能力や負荷の状況に応じて適宜設定されることが好ましい。

　また、ステップＳ１０７の説明において述べた通り、透過ウィンドウの表示位置は変更可能である。透過ウィンドウの表示位置は、マウス３等の入力装置を介して入力されたユーザ操作に応じて変更されてもよいし、予め設定されたプログラムに従って、自動的に変更されてもよい。このようにすることで、時間帯ごとに透過ウィンドウによって監視される表示領域上の部分を変更することが可能となる。

　＜第二の実施形態＞
　以下、第二の実施形態として、透過ウィンドウを用いた防犯処理について説明する。ここで、本実施形態に係る情報処理装置１ｂは、上記第一の実施形態において説明したハードウェア構成を備えるコンピュータであるが、更にカメラ５が接続されている点で、第一の実施形態と異なる（図４を参照）。即ち、本実施形態に係るコンピュータには、動画を撮像して撮像した動画情報を情報処理装置１ｂへ送信するカメラ５が接続されている。カメラ５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等の周辺機器のためのインターフェースを介して接続されるものであってよいが、インターネット等のネットワークを介して接続された所謂Ｗｅｂカメラでもよい。

　また、本実施形態に係る情報処理装置１ｂの機能構成は、上記第一の実施形態と概略同様である。但し、本実施形態における透過表示要素制御プログラムによって提供されるアプリケーションは動画監視アプリケーションであるため、各機能部の具体的な処理内容において、上記第一の実施形態と異なる。特に、動画監視のために情報取得部２２によって取得された画像の比較を行う判定部２４の処理は、第一の実施形態に比べてより複雑である。各機能部による処理の具体的な内容は、以下、フローチャートを用いて説明する。

　図５は、本実施形態に係る、動画監視機能を提供する透過ウィンドウの制御処理の流れを示すフローチャートである。本フローチャートに示された処理は、ユーザによって、透過ウィンドウを用いた動画監視アプリケーションのアイコン等がクリックされることで、情報処理装置１ｂのＯＳにこのアプリケーションの起動が指示されたことを契機として開始される。また、以下に説明する処理順序は一例であり、具体的な処理順序は、実施の形態に応じて適宜変更されてよい。

　ステップＳ２０１では、透過ウィンドウが表示される。透過表示要素表示部２１は、ディスプレイ２の表示領域の一部領域を占めるように、透過ウィンドウを表示する。透過ウィンドウを表示する具体的な手法、および透過ウィンドウが表示位置情報と関連付けられて管理されることは、上記第一の実施形態と概略同様であるため、説明を省略する。その後、処理はステップＳ２０２へ進む。

　なお、本実施形態に係る透過ウィンドウは、情報処理装置１ｂに接続されたカメラ５からの入力に基づく動画を再生するアプリケーションによって、再生動画が表示される領域に重ねて使用される。このため、透過ウィンドウが表示された後、ユーザは、マウス３等の入力装置を介して透過ウィンドウの表示位置を調整することで、透過ウィンドウを、動画が表示されている領域のうち、特に画像の変化を監視したい部分に重なる位置へ移動させる。このため、第一の実施形態と同様、透過ウィンドウの表示位置は変更可能である。透過ウィンドウの表示位置は、マウス３等の入力装置を介して入力されたユーザ操作に応じて変更されてもよいし、予め設定されたプログラムに従って、自動的に変更されてもよい。このようにすることで、監視したい領域を柔軟に設定することが可能となり、また、時間帯ごとに透過ウィンドウによって監視される表示領域上の部分を変更することが可能となる。

　図６は、本実施形態において、動画中に配置された透過ウィンドウの表示イメージを示す図である。ディスプレイ２には、カメラ５から入力された情報に従って再生される動画を表示するためのウィンドウ５１が表示され、更に、動画の表示領域のうち、変化があったことを検出したい領域を覆うように、透過ウィンドウ５２が表示されている。このように透過ウィンドウを配置することで、本実施形態に係る透過ウィンドウは、カメラ５からの動画を表示するアプリケーションと組み合わせて防犯用途の監視システムとして用いることが出来る。即ち、カメラ５を設置して所定のエリアを撮像し、ディスプレイ２上の、扉の動きや人の出入り等があったことを検知したい箇所が表示されている部分に透過ウィンドウを重ねることで、検知したい箇所において何らかの動きがあったことを検知し、ユーザに通知することが出来る。

　但し、本実施形態に係る透過ウィンドウは、防犯以外の用途、例えば、工場等における作業手順管理や、部品棚の管理、商店等における商品棚の管理、在庫管理等、様々な用途に用いることが出来る。例えば、作業手順管理に用いる場合には、生産品の各作業位置に透過ウィンドウを重ね、予め定められた作業順序通りに透過ウィンドウにおける変化が検出されているか否かを監視することで、作業手順を管理することが出来るし、部品棚の管理に用いる場合には、各部品の収納位置に透過ウィンドウを重ね、予め定められた順序通りに透過ウィンドウにおける変化が検出されているか否かを監視することで、所定の順序通りに部品が使用されていることを管理することが出来る。また、本実施形態に係る透過ウィンドウは、動画以外の情報についても用いることが出来る。例えば、文字や静止画からなるドキュメントであっても、本実施形態に係る透過ウィンドウを用いることによって、更新状況を監視することが可能である。

　ステップＳ２０２では、透過ウィンドウに覆われた部分の情報が取得される。具体的な情報の取得方法は、上記第一の実施形態において説明した内容と概略同様であるため、説明を省略する。但し、本実施形態では、動画の監視を行うため、取得される表示情報は、画素の集合としての画像として取得されることが好ましい。その後、処理はステップＳ２０３へ進む。

　ステップＳ２０３およびステップＳ２０４では、所定時間の経過が監視され、透過ウィンドウに覆われた部分の情報が取得される。ステップＳ２０３における所定時間の経過の監視方法は、上記第一の実施形態におけるステップＳ１０７で説明した処理と概略同様であり、ステップＳ２０４における情報取得方法は、上記ステップＳ２０２の処理と概略同様であるため、説明を省略する。その後、処理はステップＳ２０５へ進む。

　ステップＳ２０５およびステップＳ２０６では、時系列に沿った画像の比較が行われ、所定以上の変化があったか否かが判定される。判定部２４は、直前に取得された表示情報としての画像と、更に以前に取得された表示情報としての画像とを比較し、画像間の変化量を取得する（ステップＳ２０５）。即ち、初回の比較では、ステップＳ２０２で取得された画像とステップＳ２０４で取得された画像とが比較され、以降は、繰り返し処理によって所定時間をおいてステップＳ２０４で取得された画像同士が比較される。ここで、画像間の変化量は、単純に画像の画素に係るパラメータ（色や輝度を示す情報）同士を比較して、画素情報の差分として算出されてもよいが、より高度な情報比較技術や画像比較技術を用いて、例えば２画像間で被写体が移動していることを検出し、被写体の移動量についても、変化量として取得することとしてもよい。変化量を取得するためには、従来用いられている様々な情報比較技術や画像比較技術を用いることが出来る。

　変化量を算出するより具体的な手段としては、例えば、色重心の変化量を算出する手段を用いることが出来る。色重心の変化量の算出は、負荷が小さく、レスポンスも早いため、動画から取得された画像比較に適している。ここでは、取得された画像を３原色（赤、緑、青）に分離し、取得された画像内における各色の重心を求める。そして、比較対象となる複数の画像間でこの重心を比較することで、変化量を算出することが出来る。例えば、透明ウィンドウに覆われた部分に何らかの物が進入したり（肌色の指が進入した場合、３色のうち赤が大きく重心を変化させる）、透明ウィンドウに覆われた部分において何らかのものが移動したりした場合には、この重心が変化し、この変化の大きさを変化量として算出することが出来る。

　更に、判定部２４は、このようにして取得された変化量を、予め設定された所定値と比較し、変化量がこの所定値以上であるか否かを判定することで、画像間で所定以上の変化があったか否か、即ち透過ウィンドウに覆われた表示情報が変化したか否かを判定する（ステップＳ２０６）。即ち、判定部２４は、ステップＳ２０５で取得された、画素情報の差分や画像間における被写体の移動量等の変化量を、予め設定された所定値と比較することで、画像に変化があったと判断できる程度の画素の変化や被写体の移動があったか否かを判定する。このようにして、変化があったと判定するための閾値を設けることで、カメラのブレなどによる微かな変化を誤検知しないようにすることが出来る。変化が所定の変化量に達したと判定された場合、処理はステップＳ２０７へ進む。変化がなかったか、変化が所定の変化量に達しないと判定された場合、処理はステップＳ２０３へ進む。

　ステップＳ２０７では、変化が検出されたことがユーザに通知される。表示内容変化部２５は、透過ウィンドウの表示を変更することで、透過ウィンドウによって覆われた部分に変化が発生したことをユーザに通知する。表示内容変化部２５は、透過ウィンドウの色を例えば赤系の透過色へ変更したり、連続的に色を変化させて透過ウィンドウが点滅した状態を作り出したりすることで、ユーザへの通知を行うことが出来る。また、透過ウィンドウを表示するアプリケーションは、透過ウィンドウの表示変更によるユーザへの通知の他にも、電子メールの発信や、情報処理装置１ｂに接続されたスピーカからの警報音再生によってもユーザに通知を行うことが出来る。更に、変化が検知された時点での画像や動画をＨＤＤ等の不揮発性記憶装置に保存することで、検知された変化の内容を保存してもよい。保存されたこれらのデータは、電子メールに添付してユーザに送信することも出来る。

　ステップＳ２０７の処理が終了すると、処理はステップＳ２０３へ戻る。即ち、本フローチャートに示された処理は、ステップＳ２０３からステップＳ２０７の処理を繰り返すことで、一定時間ごとに画像を取得し、透過ウィンドウに覆われた表示情報の監視を継続する。なお、監視される所定時間が短く設定されるほど、変化を即座に検出することが可能となるが、情報処理装置１ｂに掛かる負荷は大きくなる。このため、第一の実施形態と同様、監視される所定時間は、情報処理装置１ｂの処理能力や負荷の状況に応じて適宜設定されることが好ましい。

　上記説明した第一および第二の実施形態によれば、ウィンドウ等の表示要素を用いて提供される機能と、この機能を提供するための処理に用いられる表示情報との関係を、視覚的にユーザに把握させることが可能となる。また、従来、アプリケーションが備えない機能を用いるためには、アプリケーションに新たに機能を追加するか、これらの機能を既に備えたアプリケーションを導入する必要があったところ、本発明によれば、アプリケーション本体への機能追加や、新規アプリケーションの導入を行うことなく、検索や監視等の機能を提供することが可能である。

Claims (11)

1. 　表示装置に接続され、該表示装置の表示領域における表示位置を特定するための表示位置情報と関連付けられた表示情報を該表示装置に表示させる、情報処理装置であって、
   　前記表示領域の一部に表示されて所定の機能を提供するために用いられる表示要素であって、該表示要素の少なくとも一部が透過表示されることで、該表示要素に覆われた表示情報を視認可能とする透過表示要素を、前記表示領域における表示位置を特定するための表示位置情報と関連付けて、該表示装置に表示させる透過表示要素表示手段と、
   　前記表示領域に表示された表示情報のうち、前記透過表示要素に覆われた表示情報を、該情報の表示位置情報および前記透過表示要素の表示位置情報に基づいて取得する情報取得手段と、を備え、
   　前記情報取得手段によって取得された表示情報は、前記透過表示要素を用いて提供される前記所定の機能のために用いられる、
   　情報処理装置。
2. 　前記情報取得手段は、前記表示領域に表示された表示情報のうち、該表示情報に関連付けられた表示位置情報を用いて特定された表示位置が、前記透過表示要素に関連付けられた表示位置情報を用いて特定された表示位置に重なる表示情報を抽出することで、前記透過表示要素に覆われた表示情報を取得する、
   　請求項１に記載の情報処理装置。
3. 　前記透過表示要素の表示位置を指示する入力を受け付ける入力受付手段を更に備え、
   　前記透過表示要素表示手段は、前記入力受付手段によって受け付けられた指示に基づく表示位置に、前記透過表示要素を表示させる、
   　請求項１または２に記載の情報処理装置。
4. 　前記情報取得手段によって取得された表示情報に、所定の情報が含まれるか否かを判定する判定手段と、
   　前記判定の結果に応じて、前記透過表示要素の表示を変化させる表示内容変化手段と、
   　を更に備える、請求項１から３の何れか一項に記載の情報処理装置。
5. 　前記判定手段によって、前記表示情報に前記所定の情報が含まれると判定された場合に、該所定の情報の表示位置を取得する表示位置取得手段を更に備え、
   　前記表示内容変化手段は、前記透過表示要素のうち、前記表示位置取得手段によって取得された表示位置に対応する部分の表示を変化させる、
   　請求項４に記載の情報処理装置。
6. 　前記判定手段は、前記情報取得手段によって取得された表示情報に、予め設定された文字列が含まれるか否かを判定し、
   　前記表示位置取得手段は、前記文字列の表示位置を取得し、
   　前記表示内容変化手段は、前記透過表示要素のうち、前記表示位置取得手段によって取得された表示位置に対応する部分の表示を変化させることで、前記透過表示要素のうち、前記文字列を覆う部分の表示を変化させる、
   　請求項５に記載の情報処理装置。
7. 　前記情報取得手段は、前記透過表示要素に覆われた表示情報を定期的に取得し、
   　前記判定手段は、前記情報取得手段によって取得された前記表示情報を、時系列に従って比較することで、前記透過表示要素に覆われた表示情報が変化したか否かを判定する、
   　請求項４に記載の情報処理装置。
8. 　前記表示内容変化手段は、前記判定手段によって、前記透過表示要素に覆われた表示情報が変化したと判定された場合に、前記透過表示要素の表示を変化させることで、表示情報の変化をユーザに通知する、
   　請求項７に記載の情報処理装置。
9. 　前記判定手段は、前記比較の結果求められた変化量が、所定の基準以上である場合に、前記透過表示要素に覆われた表示情報が変化したと判定する、
   　請求項７または８に記載の情報処理装置。
10. 　表示装置に接続され、該表示装置の表示領域における表示位置を特定するための表示位置情報と関連付けられた表示情報を該表示装置に表示させる、コンピュータが、
    　前記表示領域の一部に表示されて所定の機能を提供するために用いられる表示要素であって、該表示要素の少なくとも一部が透過表示されることで、該表示要素に覆われた表示情報を視認可能とする透過表示要素を、前記表示領域における表示位置を特定するための表示位置情報と関連付けて、該表示装置に表示させる透過表示要素表示ステップと、
    　前記表示領域に表示された表示情報のうち、前記透過表示要素に覆われた表示情報を、該情報の表示位置情報および前記透過表示要素の表示位置情報に基づいて取得する情報取得ステップと、を実行し、
    　前記情報取得ステップで取得された表示情報は、前記透過表示要素を用いて提供される前記所定の機能のために用いられる、
    　透過表示要素制御方法。
11. 　表示装置に接続され、該表示装置の表示領域における表示位置を特定するための表示位置情報と関連付けられた表示情報を該表示装置に表示させる、コンピュータを、
    　前記表示領域の一部に表示されて所定の機能を提供するために用いられる表示要素であって、該表示要素の少なくとも一部が透過表示されることで、該表示要素に覆われた表示情報を視認可能とする透過表示要素を、前記表示領域における表示位置を特定するための表示位置情報と関連付けて、該表示装置に表示させる透過表示要素表示手段と、
    　前記表示領域に表示された表示情報のうち、前記透過表示要素に覆われた表示情報を、該情報の表示位置情報および前記透過表示要素の表示位置情報に基づいて取得する情報取得手段と、として機能させ、
    　前記情報取得手段によって取得された表示情報は、前記透過表示要素を用いて提供される前記所定の機能のために用いられる、
    　透過表示要素制御プログラム。

Images