JP6624658B2 - 座標検出方法、座標検出プログラム、及び座標検出システム - Google Patents

Description

本発明は、座標検出方法、座標検出プログラム、及び座標検出システムに関する。

昨今、有機ＥＬを活用した透過型ディスプレイが製品化され、その透過の特徴を活かし、ショウウィンドウ等のウィンドウディスプレイ・サイネージへの応用が期待されている。また、サイネージにおいては、単にコンテンツを表示するだけではなく、タッチパネル等を利用した、インタラクティブなものが求められるようになってきた。

大型ディスプレイ用タッチパネルとして、一般的なものとしては、静電容量方式タイプ、赤外線方式タイプ等がある（特許文献１参照）。

特開２０１５−５２７１８号公報

しかしながら、静電容量方式タイプでは、表面に電極が必要であり透明性（透過性）が損なわれる。赤外線方式タイプでは、ディスプレイ枠だけなので透過性が損なわれることはない。しかしながら、ディスプレイ枠を、タッチを行う操作者側（表示面側）に設置する必要があり、タッチパネルの大きさや形に限定が出てくる。
解決しようとする問題点は、操作者側に構造物（電極やディスプレイ枠）を必要としない透過型ディスプレイに最適な透過型ディスプレイに対する指示の入力方式がないという点にある。
すなわち、本願の課題は、操作者側に構造物を必要としない透過型ディスプレイにおいて、透過性を確保しながら操作者の透過型ディスプレイに対する指示（人のタッチによる指示を含む）を検出できる座標検出方法等を提供することにある。

本発明は、映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影する撮影工程と、撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度および色度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する検出工程と、を有する、座標検出方法であって、前記検出工程において、撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、かつ、反射光の色度が前記表示面に出力される検出対象の映像の色度と等しい場合、指示があったと判断する、座標検出方法である。
また、本発明は、映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影する撮影工程と、撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する検出工程と、を有する、座標検出方法であって、前記検出工程において、撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、かつ、撮影された映像情報に、人物の映像が含まれる場合、指示があったと判断する、座標検出方法である。

本発明は、映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影する撮影処理と、撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度および色度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する検出処理と、をコンピュータに実行させるための、座標検出プログラムであって、前記検出処理において、撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、かつ、反射光の色度が前記表示面に出力される検出対象の映像の色度と等しい場合、指示があったと判断する、座標検出プログラムである。
また、本発明は、映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影する撮影処理と、撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する検出処理と、をコンピュータに実行させるための、座標検出プログラムであって、前記検出処理において、撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、かつ、撮影された映像情報に、人物の映像が含まれる場合、指示があったと判断する、座標検出プログラムである。

本発明は、映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影するカメラ部と、撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度および色度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する映像処理部と、を備える、座標検出システムであって、前記映像処理部において、撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、かつ、反射光の色度が前記表示面に出力される検出対象の映像の色度と等しい場合、指示があったと判断する、座標検出システムである。
また、本発明は、映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影するカメラ部と、撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する映像処理部と、を備える、座標検出システムであって、前記映像処理部において、撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、かつ、撮影された映像情報に、人物の映像が含まれる場合、指示があったと判断する、座標検出システムである。

本発明によれば、映像を表示する透過型表示パネルの備える面であって、映像を表示する表示面とは異なる面を撮影し、撮影された映像情報から、透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度または色度に基づいて、透過型表示パネルの表示面に対して指示された座標を検出する。これにより、操作者側に構造物を必要とせず、透過性を確保しながら操作者の透過型表示パネルに対する指示を検出できる座標検出方法等を提供することができる。

本発明の実施形態における透過型有機ＥＬディスプレイを構成するセルの構成を正面側から示す概略ブロック図である。 本発明の実施形態における透過型有機ＥＬディスプレイを構成するセルの構成を側面側から示す概略ブロック図である。 本発明の実施形態における透過型有機ＥＬディスプレイにおいて操作者がタッチしないときの、セルからの光の反射を側面側から示す概略ブロック図である。 本発明の実施形態における透過型有機ＥＬディスプレイにおいて操作者がタッチしたときの、セルからの光の反射を側面側から示す概略ブロック図である。 本発明の実施形態における透過型有機ＥＬディスプレイを背面から見たときの透過型有機ＥＬディスプレイの状態を示す図である。 本実施形態の検出システムの特徴を説明するための図である。 本発明の第１実施形態における検出システムの構成を示す概略ブロック図である。 図７に示す検出システムの処理を示すフローチャートである。 本発明の第２実施形態における検出システムの構成を示す概略ブロック図である。 図９に示す検出システムの処理を示すフローチャートである。

以下、本発明の一実施形態による検出システムについて図面を参照して説明する。図１は、本発明の実施形態における透過型有機ＥＬディスプレイ（透過型表示パネル）を構成するセル（自発光素子）の構成を正面側から示す概略ブロック図である。また、図２は、本発明の実施形態における透過型有機ＥＬディスプレイを構成するセルの構成を側面側から示す概略ブロック図である。
透過型有機ＥＬディスプレイは、図１及び図２に示すセル１が画素分複数マトリクス状に配置された構成となっている。図１は、セル１を正面側から見た図であり、図２は、セル１を側面側から見た図である。
図１に示すようにセル１は、透過部２と、ＲＧＢの発光部（Ｒ発光部３と、Ｇ発光部４と、Ｂ発光部５とからなる有機ＥＬ素子）と、を含んで構成される。
透過部２は、セル１の半分の領域を占め、向こう側（奥側）である前面が透けて見える部分である。Ｒ発光部３は、赤色を前面側へ自発光する非透過部である。また、Ｇ発光部４は、緑色を前面側へ自発光する非透過部である。また、Ｂ発光部５は、青色を前面側へ自発光する非透過部である。
セル１を横から見ると、図２に示すように、透過部２と非透過部６（図１に示すＲ発光部３、Ｇ発光部４、Ｂ発光部５）との上に、カバーガラス７が付いた構成となっている。

図３は、本発明の実施形態における透過型有機ＥＬディスプレイにおいて操作者がタッチしないときの、セルからの光の反射を側面側から示す概略ブロック図である。また、図４は、本発明の実施形態における透過型有機ＥＬディスプレイにおいて操作者がタッチしたときの、セルからの光の反射を側面側から示す概略ブロック図である。図３及び図４は、図１及び図２に示すセル１が複数マトリクス状に配置された透過型有機ＥＬディスプレイ８の構成を示している。
図３に示すように、非透過部６から出た、ほとんどの光（実線で示す）はカバーガラス７を透過し、前面、すなわち操作者側に放出される。一部の光（破線で示す）はカバーガラス７で反射し、透過部２を透過して背面に帰ってくる。
しかし、図４に示すように、カバーガラス７の表面を操作者が指Ｆ等で触れると、その部分の反射率が変化し、多くの光が透過部２を透過して背面に帰ってくることとなる。
このように、有機ＥＬディスプレイは、液晶ディスプレイのようにバックライトは不要であり、自発光するディスプレイ装置である。

図５は、本発明の実施形態における透過型有機ＥＬディスプレイを背面から見たときの透過型有機ＥＬディスプレイの状態を示す図である。
図５は、図４に示したようにカバーガラス７の表面を操作者が指Ｆで触れたときに、透過型有機ＥＬディスプレイ８を背面から見たときの透過型有機ＥＬディスプレイの状態を示している。図５に示すように、透過型有機ＥＬディスプレイ８の全体を見ると、指の触れた部分ＰＦのみ明るく見えることとなる。なお、操作者の手のうち指の触れた部分ＰＦ以外の手の部分ＰＨも、透過型有機ＥＬディスプレイの透過部２を介し、表示面とは異なる面から視認可能となっている。
なお、本実施形態において、操作者（人物）が透過型有機ＥＬディスプレイをタッチすることは、透過型有機ＥＬディスプレイに対して指示（入力）する方法の一例として説明するものであり、他の指示方法もある。すなわち、人の指による直接のタッチにより透過型有機ＥＬディスプレイに対して指示する方法だけでなく、例えば、入力デバイス（例えばタッチペン）を用いて透過型有機ＥＬディスプレイに対して指示する方法、反射光が発生する程度に指などを透過型有機ＥＬディスプレイに対して近接した状態にすることにより透過型有機ＥＬディスプレイに対して指示する方法もある。

図６は、本実施形態の検出システムの特徴を説明するための図である。検出システム１００は、透過型有機ＥＬディスプレイ８（ディスプレイ装置）と、カメラ部１１と、ＰＣ２０と、を含んで構成される。
カメラ部１１は、透過型有機ＥＬディスプレイ８（映像表示部）を背面から、すなわち、映像を表示する透過型有機ＥＬディスプレイ８の備える面であって、映像を表示する表示面とは異なる面を撮影する。
ＰＣ（Personal Computer）２０は、映像処理機能を有する映像処理部を含んで構成される。映像処理部は、カメラ部１１からの映像情報から、操作者Ｍにタッチされて明るくなった部分ＰＦを画像処理し抽出し、抽出結果から表示面における部分ＰＦのＸＹの座標位置（タッチ座標情報）を算出する。ここで、映像処理部は、カメラ部１１により撮影された映像情報から、透過型有機ＥＬディスプレイ８に含まれる発光部から発光され、反射された反射光の輝度または色度に基づいて座標を検出する。
ＰＣ２０が有する制御部は、映像処理部からのタッチ座標情報に基づき、表示する映像を変化させたり、予め決められた動作をさせたり等の制御を行う。
ＰＣ２０が有する映像出力部は、制御部からの指示にしたがい、映像を出力する。
透過型有機ＥＬディスプレイ８は、映像出力部から出力された映像を表示する。

このように、検出システム１００は、透過型有機ＥＬディスプレイ８を背面から撮影し、撮影された映像情報から、取得した反射光の輝度または色度に基づいて座標を検出する。このため、操作者側に構造物を必要としない透過型有機ＥＬディスプレイ８において、透過性を確保しながら操作者のタッチ（指示）を検出できる検出方法等を提供することができる。

［第１実施形態］
図７は、本発明の第１実施形態における検出システムの構成を示す概略ブロック図である。
検出システム１００ａは、カメラ部１１と、映像処理部２１と、制御部２２と、映像出力部２３と、映像表示部２４と、を含んで構成される。
カメラ部１１は、映像表示部２４を背面から撮影し、その映像情報を映像処理部２１に送付する。
映像処理部２１は、カメラ部１１からの映像情報から、操作者にタッチされて明るくなった部分ＰＦを画像処理し抽出し、抽出結果から表示面における部分ＰＦのＸＹの座標位置（タッチ座標情報）を算出する。ここで、映像処理部２１は、カメラ部１１により撮影された映像情報から、取得した反射光の輝度または色度に基づいて座標を検出する。

より具体的に、映像処理部２１は、操作者がタッチする前のフレームとタッチした後のフレームとの間に輝度の差分がある場合であって、その差分がある予め設定した閾値を超えた場合（第１条件）、操作者によりタッチがあったと判断する。すなわち、映像処理部２１は、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、指示の有無を判断する。
また、映像処理部２１は、タッチがあったと判断した場合のタッチした部分のＸＹの座標位置を算出し、算出結果をタッチ座標情報として制御部２２に通知する。

制御部２２は、映像処理部からのタッチ座標情報に基づき、表示する映像を変化させたり、予め決められた動作をさせたり等の制御を行う。より具体的には、制御部２２は、タッチ座標情報と、映像表示部２４に表示する指示ボタン（検出対象の映像）の座標情報が等しい場合に、上述の制御を行う。
映像出力部２３は、制御部２２からの指示にしたがい、映像表示部２４に対して映像を出力する。
映像表示部２４は、制御部２２から出力された映像を表示する。

図８は、図７に示す検出システムの処理を示すフローチャートである。
映像表示部２４は、映像を表示する（ステップＳＴ１）。具体的には、映像表示部２４は、制御部２２から出力された映像を表示する。
カメラ部１１は、映像表示部２４を背面から撮影する（ステップＳＴ２）。具体的には、カメラ部１１は、映像表示部２４を背面から撮影し、その映像情報を映像処理部２１に絶えず送付する。

映像処理部２１は、カメラ部１１から送付された映像情報に明るい部分があるか否かを判断する（ステップＳＴ３）。映像処理部２１は、上記第１条件を満たす場合、操作者によりタッチがあったと判断する。すなわち、映像処理部２１は、操作者がタッチする前のフレームとタッチした後のフレームとの間に輝度の差分がある場合であって、その差分がある予め設定した閾値を超えた場合（第１条件）、操作者によりタッチがあったと判断する。

映像処理部２１は、ＸＹの座標位置を算出し、送付する（ステップＳＴ４）。すなわち、映像処理部２１は、タッチがあったと判断した場合（ステップＳＴ３−Ｙｅｓ）、タッチした部分のＸＹの座標位置を算出し、算出結果をタッチ座標情報として制御部２２に通知する。
制御部２２は、タッチされたＸＹ座標（タッチ座標）に基づき動作する（ステップＳＴ５）。すなわち、制御部２２は、映像処理部からのタッチ座標情報に基づき、表示する映像を変化させたり、予め決められた動作をさせたり等の制御を行う。より具体的には、制御部２２は、タッチ座標情報と、映像表示部２４に表示する指示ボタンの座標情報が等しい場合に、上述の制御を行う。

本実施形態によれば、映像表示部２４を背面から撮影し、カメラ部１１により撮影された映像情報から、映像処理部２１が取得した反射光の輝度に基づいて座標を検出する。このため、操作者側に構造物を必要としない映像表示部２４において、透過性を確保しながら操作者のタッチ（指示）を検出できる検出方法等を提供することができる。

［第２実施形態］
図９は、本発明の第２実施形態における検出システムの構成を示す概略ブロック図である。
検出システム１００ｂは、カメラ部１１と、映像処理部２１ａと、制御部２２と、映像出力部２３ａと、映像表示部２４と、を含んで構成される。
検出システム１００ｂの構成は、第１実施形態における検出システム１００ａと同じ装置構成だが、下記の点が相違する。
すなわち、映像出力部２３ａから映像処理部２１ａへフィードバックがはいっているところが異なる。つまり、映像出力部２３ａからの映像は映像表示部２４のみではなく、映像処理部２１ａにも入力される。

カメラ部１１は、映像表示部２４を背面から撮影し、その映像情報を映像処理部２１ａに送付する。
映像処理部２１ａは、カメラ部１１からの映像情報から、操作者にタッチされて明るくなった部分ＰＦを画像処理し抽出し、抽出結果から表示面における部分ＰＦのＸＹの座標位置（タッチ座標情報）を算出する。ここで、映像処理部２１ａは、カメラ部１１により撮影された映像情報から、取得した反射光の輝度または色度に基づいて座標を検出する。

より具体的に、映像処理部２１ａは、操作者がタッチする前のフレームとタッチした後のフレームとの間に輝度の差分がある場合であって、その差分がある予め設定した閾値を超えた場合（第１条件）、映像情報が明るくなったと判断する。しかし、ウインドウディスプレイでは外部からの光、例えばウインドウディスプレイが道路沿いに設置されている場合、車のヘッドライトなどが外乱光として入り込む可能性がある。そのため、映像処理部２１ａは、明るくなった部分を検出した際、映像出力部２３ａから入力された映像の同じ位置の映像の色度と一致するか否かの比較を行う。そして、映像処理部２１ａは、色度が一致する場合（第２条件）、タッチされ明るくなった部分は当該部分の反射光であるため、操作者によるタッチがあったと判断する。一方、色度が全く異なる場合、明るくなった部分は外乱光によるものとみなし、操作者によるタッチがなかったと判断する。また、映像処理部２１ａは、タッチがあったと判断した場合のタッチした部分のＸＹの座標位置を算出し、算出結果をタッチ座標情報として制御部２２に通知する。

制御部２２は、映像処理部からのタッチ座標情報に基づき、表示する映像を変化させたり、予め決められた動作をさせたり等の制御を行う。より具体的には、制御部２２は、タッチ座標情報と、映像表示部２４に表示する指示ボタンの座標情報が等しい場合に、上述の制御を行う。
映像出力部２３ａは、制御部２２からの指示にしたがい、映像表示部２４に対して映像を出力する。また、映像出力部２３ａは、上述のように映像処理部２１ａがタッチ座標情報を算出するために、映像処理部２１ａに対して映像を出力する。
映像表示部２４は、制御部２２から出力された映像を表示する。

図１０は、図９に示す検出システムの処理を示すフローチャートである。
映像表示部２４は、映像を表示する（ステップＳＴ１１）。具体的には、映像表示部２４は、制御部２２から出力された映像を表示する。
カメラ部１１は、映像表示部２４を背面から撮影する（ステップＳＴ１２）。具体的には、カメラ部１１は、映像表示部２４を背面から撮影し、その映像情報を映像処理部２１ａに絶えず送付する。

映像処理部２１ａは、カメラ部１１から送付された映像情報に明るい部分があるか否かを判断する（ステップＳＴ１３）。映像処理部２１ａは、上記第１条件を満たす場合、操作者によりタッチがあったと判断する。すなわち、映像処理部２１ａは、操作者がタッチする前のフレームとタッチした後のフレームとの間に輝度の差分がある場合であって、その差分がある予め設定した閾値を超えた場合（第１条件）、映像情報に明るい部分があったと判断する。

映像処理部２１ａは、映像出力部２３ａから出力された映像の同じ部分と同じ色か否かを判断する（ステップＳＴ１４）。具体的には、映像処理部２１ａは、明るくなった部分を検出した際（ステップＳＴ１３−Ｙｅｓ）、映像出力部２３ａから入力された映像の同じ位置の映像の色度と一致するか否かの比較を行う。そして、映像処理部２１ａは、色度が一致する場合（第２条件）、タッチされ明るくなった部分は当該部分の反射光であるため、操作者によるタッチがあったと判断する。

映像処理部２１ａは、ＸＹの座標位置を算出し、送付する（ステップＳＴ１５）。すなわち、映像処理部２１ａは、タッチがあったと判断した場合（ステップＳＴ１４−Ｙｅｓ）、タッチした部分のＸＹの座標位置を算出し、算出結果をタッチ座標情報として制御部２２に通知する。
制御部２２は、タッチされたＸＹ座標（タッチ座標）に基づき動作する（ステップＳＴ１６）。すなわち、制御部２２は、映像処理部からのタッチ座標情報に基づき、表示する映像を変化させたり、予め決められた動作をさせたり等の制御を行う。より具体的には、制御部２２は、タッチ座標情報と、映像表示部２４に表示する指示ボタンの座標情報とが等しい場合に、上述の制御を行う。

本実施形態によれば、映像表示部２４を背面から撮影し、カメラ部１１により撮影された映像情報から、映像処理部２１ａが取得した反射光の輝度と色度に基づいて座標を検出するので、表示に使っている光を利用して透過性を確保し、かつ、外乱光の影響を受けにくくすることが可能となる。このため、操作者側に構造物を必要としない透過型ディスプレイにおいて、透過性を確保しながら操作者のタッチ（指示）を検出できる検出方法等を提供することができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。

例えば、第２実施形態では、「撮影された映像情報において、タッチする前のフレームとタッチした後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が予め設定された閾値を超え、かつ、反射光の色度が表示面に出力される指示ボタンの映像の色度と等しい場合、タッチがあったと判断する」構成について記載した。この構成を「撮影された映像情報において、タッチする前のフレームとタッチした後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が予め設定された閾値を超え、かつ、撮影された映像情報において、操作者（人物）の映像が含まれる場合、タッチがあったと判断する」構成としてもよい。これにより、外乱光を除外することができる。
なお、人を含む映像が表示されている場合、映像を映しているのは映像出力部であるので、操作者とは区別できる。

また、実施形態の説明では、指示ボタンは１個の場合について説明したが、指示ボタンが複数個ある、いわゆるマルチタッチ構成にしてもよい。
また、実施形態の説明では、操作者は一人の場合について説明したが、操作者は複数人いてもよい。
また、実施形態の説明では、透過型有機ＥＬディスプレイは、前面および背面のうち前面側から映像を表示する構成について説明したが、両面に映像を表示する構成であってもよい。

また、検出システム１００、１００ａ、１００ｂの機能を実現するための検出プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出システム１００、１００ａ、１００ｂにおいて、カメラ部が行う撮影工程と、映像処理部が行う検出工程と、を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

本発明によれば、ディスプレイ装置を背面から撮影し、撮影された映像情報から、取得した反射光の輝度または色度に基づいて座標を検出する。このため、操作者側に構造物を必要としない透過型ディスプレイにおいて、透過性を確保しながら操作者のタッチ（指示）を検出できる検出方法等を提供することができる。

１ セル
２ 透過部
３ Ｒ発光部
４ Ｇ発光部
５ Ｂ発光部
６ 非透過部
７ カバーガラス
８ 透過型有機ＥＬディスプレイ
１１ カメラ部
２１，２１ａ 映像処理部
２２ 制御部
２３，２３ａ 映像出力部
２４ 映像表示部
２０ ＰＣ
１００，１００ａ，１００ｂ 検出システム

Claims (9)

1. 映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影する撮影工程と、
   撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度および色度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する検出工程と、
   を有する、
   座標検出方法であって、
   前記検出工程において、
   撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、
   かつ、
   反射光の色度が前記表示面に出力される検出対象の映像の色度と等しい場合、
   指示があったと判断する、
   座標検出方法。
2. 映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影する撮影工程と、
   撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する検出工程と、
   を有する、
   座標検出方法であって、
   前記検出工程において、
   撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、
   かつ、
   撮影された映像情報に、人物の映像が含まれる場合、
   指示があったと判断する、
   座標検出方法。
3. 前記表示面に出力される映像は、検出対象の映像を複数含む、
   請求項１または請求項２に記載の座標検出方法。
4. 前記透過型表示パネルに指示を与える人物は複数人である、
   請求項１から請求項３いずれか一項に記載の座標検出方法。
5. 前記発光部は、有機ＥＬ素子を含む、
   請求項１から請求項４いずれか一項に記載の座標検出方法。
6. 映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影する撮影処理と、
   撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度および色度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する検出処理と、
   をコンピュータに実行させるための、
   座標検出プログラムであって、
   前記検出処理において、
   撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、
   かつ、
   反射光の色度が前記表示面に出力される検出対象の映像の色度と等しい場合、
   指示があったと判断する、
   座標検出プログラム。
7. 映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影する撮影処理と、
   撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する検出処理と、
   をコンピュータに実行させるための、
   座標検出プログラムであって、
   前記検出処理において、
   撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、
   かつ、
   撮影された映像情報に、人物の映像が含まれる場合、
   指示があったと判断する、
   座標検出プログラム。
8. 映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影するカメラ部と、
   撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度および色度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する映像処理部と、
   を備える、
   座標検出システムであって、
   前記映像処理部において、
   撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、
   かつ、
   反射光の色度が前記表示面に出力される検出対象の映像の色度と等しい場合、
   指示があったと判断する、
   座標検出システム。
9. 映像を表示する透過型表示パネルの備える面であって、前記映像を表示する表示面とは異なる面を撮影するカメラ部と、
   撮影された映像情報から、前記透過型表示パネルに含まれる発光部から発光され、反射された反射光の輝度に基づいて、前記透過型表示パネルの前記表示面に対して指示された座標を検出する映像処理部と、
   を備える、
   座標検出システムであって、
   前記映像処理部において、
   撮影された映像情報において、指示する前のフレームと指示した後のフレームとの間における反射光の輝度の差分を算出し、算出した差分が閾値を超えたか否かに基づいて、
   かつ、
   撮影された映像情報に、人物の映像が含まれる場合、
   指示があったと判断する、
   座標検出システム。

Images