JP4361818B2 - 画面表示領域検出装置，画面表示領域検出方法および画面表示領域検出プログラム - Google Patents

Description

本発明は，例えば大型のディスプレイ画面においてコンテンツを表示させる領域をユーザに指定させ，その指定された領域を検出する画面表示領域検出技術に係わり，特に，ディスプレイの画面表示領域のうち，ユーザの携帯カメラにより撮影された領域をコンテンツの表示領域として検出する画面表示領域検出装置，画面表示領域検出方法および画面表示領域検出プログラムに関する。

ユーザがディスプレイ画面の任意の位置に任意の大きさでコンテンツを表示しようとする場合，コンテンツを表示した後に，ウィンドウの移動やサイズの変更を行うというやり方が一般的な方法である。しかしこの方法では，ウィンドウの移動やサイズ変更の手間がかかり，さらに街頭などの公衆環境においては思わぬ位置に個人情報などが表示されてしまうおそれがあるため，他人に見せたくないプライベートな情報が見られてしまうことがあるという問題がある。

これに対し，２００３年情報科学技術フォーラムFIT2003-K-022 「ユーザによる領域指定型情報表示システムの提案」では，ユーザが予めコンテンツを表示する領域の位置・大きさ・形状を指定してから表示させる方法について講演発表されている（非特許文献１参照）。この非特許文献１に記載されているような方法を適用すれば，ユーザが表示させたい領域だけに初めからコンテンツを表示させることが可能となる。また，領域を指定する方法については，指やペンなどによる描画ストロークが示されている。

一方，指定した位置を認識する方法として，下記の特許文献１に記載された「情報表示方法及び情報表示装置」に係る発明がある（特許文献１参照）。この特許文献１では，スクリーンに表示された情報に対し，赤外レーザ光などを照射する携帯ポインタで指示したい場所を指定すると，スクリーン全体を撮影しているカメラにより赤外レーザ光の位置を取得し，表示座標へと変換する方法が示されている。
特開平７−２６１９１３号公報 ２００３年情報科学技術フォーラムFIT2003-K-022 「ユーザによる領域指定型情報表示システムの提案」渡部他（ＮＴＴ）

しかし，上記従来技術において，コンテンツを表示する領域を指定する場合には，指やペンあるいは赤外レーザ光などにより領域を描画していたため，それに必要な入力デバイスや認識カメラなどを設置しなければならなかった。

本発明は，上記従来技術の問題点を解決し，ディスプレイの全体表示領域の中からユーザがコンテンツを表示させたい領域をビデオカメラで撮影して指定するという直感的な操作により，画面表示領域を指定できるようにすることを目的とする。

上記課題を解決するため，本発明は，例えば大型のディスプレイへのコンテンツ表示領域を携帯端末のカメラの撮影にて指定させる。ディスプレイの一部の領域に試験画像を表示させては，携帯カメラ画像と比較し，一部の領域が携帯カメラでの撮影範囲か否かを判定する。撮影範囲であれば，一部の領域を細分化していき，より精度よく撮影範囲を特定していく。

図１に従って，本発明の概略を説明する。図１中，１は画面表示領域検出装置，２は大型ディスプレイなどの画像情報表示手段，３は携帯端末である。携帯端末３は，ユーザが所持する端末で，ビデオカメラなどの撮影手段３１と，撮影手段３１で撮影した動画像を送信する動画像送信手段３２とを備えている。

画面表示領域検出装置１は，コンテンツを表示する画像情報表示手段２に対し，画面の全体あるいは一部に画像を表示し，その画像と表示した表示領域情報と表示時間情報とを関連付けて記録する。

ユーザは，画像情報表示手段２の所望する領域に何らかのコンテンツを表示させたい場合，その画像情報表示手段２においてコンテンツを表示させたい領域を，携帯端末３の撮影手段３１によって撮影し，撮影された画像情報を動画像送信手段３２を用いて画面表示領域検出装置１に送信する。

画面表示領域検出装置１は，ユーザが撮影手段３１で撮影した動画像情報を，伝送媒体などを通じて取得する。画面表示領域検出装置１は，ユーザが指定した領域を判定するための画像を，例えば大きさおよび位置を変えながら画像情報表示手段２に表示し，画像情報表示手段２のどの領域に画像を表示すると，取得された動画像情報として検出されるかを判定し，検出される領域を細分化していくことにより，より正確にユーザの指定した撮影領域を抽出し，最終的に抽出された領域にコンテンツを表示する。

以上のような処理により，ユーザが撮影した領域を抽出し，その領域にコンテンツを表示させることができる。

また，撮影手段３１からの動画像情報がネットワークにより伝送される場合や，検出処理自体に時間がかかる場合には，画像情報を表示してから検出されるまでの遅延時間を予め測定しておき，この遅延時間を考慮して検出判定を行うことで対処できる。

また，検出させる画像情報を特定の単一色とし，さらに領域を検出させる前にその単一色を撮影した動画像情報を経由して予め取得しておくことにより，照明やディスプレイ表示による影響が加えられたとしても，より正しく判定することができる。

また，一旦抽出した後も継続して撮影手段３１で撮影しておき，その表示領域が変わったことを検出した場合には，改めて上記の手段により変更となった領域を検出することで，ユーザが指定する表示領域に柔軟に対応することができる。

すなわち，本発明は，ディスプレイの画面領域の中でユーザが指定した領域を検出する画面表示領域検出装置であって，前記ディスプレイの画面領域をいくつかの領域に分割し，その領域の１つを表示領域として設定する手段と，前記表示領域に表示する画像を設定する手段と，前記ディスプレイの表示領域に前記設定画像を出力する手段と，ユーザの端末により撮影された前記ディスプレイの一部の領域を動画像として取得する手段と，前記設定画像を表示したときに，その画像の前記表示領域が前記動画像中に撮影されたかを検出する検出手段と，前記検出手段による検出結果をもとに前記撮影された領域を抽出し，抽出した撮影領域をユーザが指定した領域として検出する手段とを備えることを特徴とし，特に前記表示領域を順次細分化していくことにより領域の絞り込みを行う機能を有する画面表示領域検出装置である。

また，本発明の一態様では，前記検出手段は，前記設定画像を表示した後，前記動画像を取得するまでに要する遅延時間に基づいて，前記表示領域が前記動画像中に撮影されたかを検出する手段であることを特徴とする。

また，本発明の他の一態様では，前記検出手段は，前記表示領域が前記動画像中に撮影されたかを検出するよりも前に，前記設定画像を表示したときの動画像を予め検出対象画像として取得しておき，前記表示領域が前記動画像中に撮影されたかを検出するときには，前記検出対象画像が前記撮影された動画像に現れるかを検出することを特徴とする。

本発明によれば，コンテンツを表示させたい領域を指定するためのポインタ操作やそれに必要な機器が不要となり，単にユーザがビデオカメラで撮影するだけの感覚的な操作で，ディスプレイ画面においてコンテンツを表示させたい領域を指定することができるようになる。

図２は，本発明に係る画面表示領域検出装置の構成例を示す図である。図中の１はＣＰＵやメモリと各種の手段を実現するためのソフトウェアプログラムとからなる画面表示領域検出装置，２はディスプレイなどの画像情報表示手段（以下，ディスプレイと記述する），３は携帯端末である。

画面表示領域検出装置１において，１１はディスプレイ２に表示する画像情報を生成する画像情報生成手段，１２はディスプレイ２に表示する画像を設定する画像情報設定手段，１３はディスプレイ２の画面上の画像の表示領域を設定する表示領域設定手段，１４はタイマなどから時間情報を取得する時間情報取得手段，１５は画像が表示される領域情報と画像情報とを表示履歴ＤＢ（データベース）１０１に記録する表示履歴記録手段である。

１６は携帯端末３から動画像を取得する動画像取得手段，１７は画像情報設定手段１２で設定された画像を検出対象画像として取得する検出対象設定手段，１８は携帯端末３から取得した動画像と検出対象画像との差分を取って，検出結果を検出リスト１０２へ記録する検出判定手段である。

１９は画像情報設定手段１２で設定された同期のための画像の出力パターンと動画像取得手段１６で取得された動画像のパターンとの同期を判定する同期判定手段，２０は同期判定手段１９の判定結果に基づいて，画面表示領域検出装置１により作成・表示された画像が動画像取得手段１６で取得されるまでの遅延時間を求める遅延時間計測手段，２１は所定の同期パターン情報を出力する同期パターン設定手段である。

２２は画面の表示領域を分割しユーザが撮影した領域を検出するための制御を行う実行制御手段，１０３は分割領域データが格納される分割領域ＤＢ（データベース），１０４はユーザが指定するディスプレイ２上の領域を含む領域のデータである候補領域データが格納される候補領域ＤＢ（データベース）である。

携帯端末３において，３１はユーザによって指定されるディスプレイ２上の領域を撮影する撮影手段，３２は撮影手段３１によって撮影された動画像を画面表示領域検出装置１に送信する動画像送信手段である。

〔第１の実施の形態〕
まず，本発明の第１の実施の形態について説明する。画面表示領域検出装置１の画像情報生成手段１１は，画像情報設定手段１２により設定された画像が表示領域設定手段１３により設定された領域に表示されるように画面出力データを生成する。これにより生成された画面出力データは，ディスプレイ２により表示される。

一方，ディスプレイ２の前にいるユーザは，携帯端末３を所有しており，撮影手段３１によってコンテンツを表示したい領域を動画像として撮影し，動画像送信手段３２によって，その動画像を直接あるいはネットワークを介して画面表示領域検出装置１へ伝送する。携帯端末３は，一般的には通信機能を備える携帯可能なビデオカメラ付きの装置であり，例えば，テレビ電話機能を備えたＮＴＴドコモ社のＦＯＭＡ（登録商標）端末を利用することができる。このＦＯＭＡ端末は，内蔵されたビデオカメラの動画像をＦＯＭＡ網と呼ばれるネットワークを介して相手側の端末に伝送することが可能である。この他，ビデオカメラ撮影可能なＰＤＡであれば携帯端末３として用いることができ，インターネットと接続し，画面表示領域検出装置１へ撮影した動画像をストリーミングデータとして送出してもよい。

携帯端末３と画面表示領域検出装置１とは，動画像を伝送する手段によって接続されている。上記のＦＯＭＡ網やインターネットなどでよいが，必ずしもネットワークである必要はない。

画面表示領域検出装置１の動画像取得手段１６は，携帯端末３から動画像をデジタルデータとして取得する。例えば，携帯端末３がＦＯＭＡ端末であれば，ＦＯＭＡ網を介した受側の端末として「テレビ電話機Ｍｏｐｐｅｔ」と呼ばれる製品を利用し，Ｍｏｐｐｅｔから出力されたＮＴＳＣ信号をキャプチャーすることにより，動画像をデジタルデータとして取得することができる。

以上の構成により，画面表示領域検出装置１により生成されディスプレイ２に表示された画像は，携帯端末３により撮影され，動画像取得手段１６に戻ってくる。

そこで，画面表示領域検出装置１は，ディスプレイ２の一部の領域に画像を次々と表示させていき，動画像に変化が現れるか否かを判定していく。変化した場合，携帯端末３はその領域を撮影していることを示しており，ユーザが指定する領域を含んだ候補領域となる。逆に変化がない場合には，その領域は撮影範囲外であり，ユーザの指定領域ではないことを意味する。

次に，画像の表示領域の分割を行うことによって候補領域を特定する処理について，その概略を説明する。実行制御手段２２は，動画像取得手段１６が携帯端末３からの動画像の取得を開始すると，ディスプレイ２に表示する画像の表示領域を分割する。

図３の領域(1) 〜(4) は，実行制御手段２２によって，画像の表示領域を分割したときの第１回目の分割領域を示している。例えば，領域(2) の点線で囲んだ部分をユーザが携帯端末３で撮影しているとすると，図４の（Ａ）〜（Ｄ）のように，領域(1) 〜領域(4) に順に画像を表示させていった場合に，ユーザの撮影領域と重なっている領域は領域(2) だけであるため，領域(2) に画像を表示させたときだけ撮影された動画像に変化が現れる。

そこで，画像を表示した際に，表示される領域が特定できる位置座標などの領域情報と，表示した画像情報，そして表示した時間情報を合わせて表示履歴ＤＢ１０１に記録しておき，後述するように，動画像に変化があった時間をもとにそのとき表示されていた領域を候補領域として特定する。例えば，図５の斜線で塗りつぶされた領域(2) は，分割１回で特定される候補領域を示している。なお，時間情報とは，日付と時刻やシステム起動時からの相対的な時間などである。

このようにして特定された候補領域をさらに分割し，同様の動作を繰り返していく。例えば，２回目の分割では，図５に示す候補領域の領域(2) を，図６に示す領域２−(1) 〜領域２−(4) のように分割し，これらの領域２−(1) 〜領域２−(4) に順に画像を表示して，撮影された動画像に変化が現れる領域を調べる。この場合，領域２−(3) と領域２−(4) に画像を表示したときに変化が現れるので，図６に示す領域２−(3) および領域２−(4) が，分割２回で特定される候補領域ということになる。

さらに，この領域２−(3) および領域２−(4) を，図７に示す領域２−４−(1) 〜領域２−４−(4) および領域２−３−(1) 〜領域２−３−(4) のようにそれぞれ４個に分割し，各分割領域に順に画像を表示して候補領域の絞り込みを行うと，図７にハッチングで示した領域２−４−(2) ，領域２−４−(3) および領域２−３−(1) ，２−３−(4) が，分割３回で特定される候補領域として抽出される。

このように，分割を繰り返すに従い，候補領域は次第に小さくなるため，変化の検出に高い精度が要求されるようになる。そのため，分割する回数に上限を設け，上限に達したならその時に残った全ての候補領域をユーザの指定領域として抽出することとする。図８にハッチングで示した領域は，分割する回数の上限が５回の場合に最終的に特定される候補領域を表している。

上述した方法では，ユーザが指定した領域と，抽出された領域とに誤差が生じることとなる。例えば，図８にハッチングで示した領域と点線で囲まれた範囲の差が，この場合の領域の誤差となる。しかし，ディスプレイ２の表示や照明条件，携帯端末３の撮影能力などにより検出精度は異なり，またユーザが携帯端末３を構える安定性にも影響してくるため，詳細部分に渡り領域を分割することはあまり意味を持たない。

したがって，上述のような様々な条件を勘案した上で，分割回数に上限を設ければ，誤差による利便性の低下は防ぐことができる。なお，図３〜図８では，上下左右に４等分した方法を示したが，分割方法はどのような形態であっても構わない。

以下，図２に示す画面表示領域検出装置１の内部の動作について，さらに詳しく説明する。実行制御手段２２は，携帯端末３（ＦＯＭＡ端末）からの着信などにより，動画像取得が開始されると，表示領域を分割し，分割領域ＤＢ１０３にそれぞれの分割領域データを格納する。

前述したように，第１回の分割時の分割領域は図３に示す領域(1) 〜領域(4) であり，この４個の分割領域データが，例えば図９（Ａ）に示すデータ構成で分割領域ＤＢ１０３に格納される。分割領域ＤＢ１０３における分割領域データの値Ｘ１，Ｙ１，Ｘ２，Ｙ２は，図９（Ｂ）のように，各分割領域の左上座標を（Ｘ１，Ｙ１），右下座標を（Ｘ２，Ｙ２）としたときの座標値である。

表示領域設定手段１３は，分割領域ＤＢ１０３から分割領域データを取得し，ディスプレイ２の表示座標として設定する。

画像情報設定手段１２は，領域全体に表示する画像を設定する。この画像は，動画像変化の判定に使用するため，変化が大きくなるようなものがよい。例えば，ディスプレイ２の背景が黒なのに対して，白色というように変化が大きくなるものを設定する。また，ディスプレイ２の表示・発色性能や照明条件などを考慮して，特定の対象領域以外は通常の背景色を表示し，対象領域には背景色と大きく異なる色の表示画像を設定するとより正確な判定が可能となる。あるいは，表示領域の大きさに対応させて，小さくなるに従い変化の大きい色を設定するようにしてもよい。さらに，画像は領域全体を単色にするのが簡単であるが，照明を考慮して携帯端末３からの撮影向き（仰角）に応じたグラデーションで構成してもよい。

画像情報生成手段１１は，このようにして設定された画像を，指定したディスプレイ２中の画面領域に表示する。これと同時に，表示履歴記録手段１５は，時間情報取得手段１４より表示時刻を取得し，領域情報と画像情報を表示履歴ＤＢ１０１に記録する。

図１０は，表示履歴ＤＢ１０１に格納されるデータの例を示している。図１０に示すように，表示領域ＤＢ１０１には，表示履歴データ毎のＩＤと，時間情報と，表示領域の座標情報と，表示された画像情報（例えばＲＧＢ値）とが格納される。

分割領域ＤＢ１０３の分割領域データについて，上記の動作を一通り実行する。なお，次の位置・画像に切り替えるタイミングは，予め設定された一定時間間隔Ｔで行うこととする。この一定時間間隔Ｔは，ディスプレイ２の表示性能や携帯端末３の撮影性能に合わせて設定し，表示された画像を動画像として確実に取得できる間隔以上でなければならない。

この例では，図９（Ａ）に示す分割領域ＤＢ１０３と図１０に示す表示履歴ＤＢ１０１とを対比すると明らかなように，時間「１２：３４：５６．００」から一定時間間隔Ｔ（Ｔ＝１秒）毎に，図３に示す領域(1) ，領域(2) ，領域(3) ，…の順に画像が表示されていることがわかる。

一方，動画像取得手段１６は，携帯端末３により撮影された動画像を一定時間間隔Ｔあるいはそれ以内の間隔で画像として取得する。また，検出対象設定手段１７は，画像情報設定手段１２で設定された画像を検出対象画像として取得しておく。検出判定手段１８は，取得された動画像から得られる画像と検出対象画像の差分を取り，ある一定の閾値以内であれば検出，そうでなければ非検出として検出リスト１０２へ時間情報を付けて記録していく。

図１１（Ａ）は，検出リスト１０２の一例を示している。検出リスト１０２には，ＩＤ情報と，時間情報と，検出対象画像との差分値と，検出結果が格納される。ここでは，検出結果として，取得された動画像から得られる画像と検出対象画像との差分値が閾値「１００」以下の場合に“１”のフラグを立ててある。この閾値「１００」は，例えば，検出対象画像と画素単位で比較した差の値の総和の値とする。よって，この場合，検出された領域（検出対象画像と動画像から得られる画像の重複領域）が大きくなるほど，差分値は０に近くなるという反比例の関係にある。

なお，検出する領域は検出対象画像の大きさとは関係がない。例えば，図１２のように，携帯端末３で点線枠内を撮影している場合，検出対象画像が領域(1) に表示される時の差分値が２０，領域(2) に表示される時の差分値が３４５，領域(3) に表示される時の差分値が９８７６５，領域(4) に表示される時の差分値が９８などのようになる。

この場合，領域(2) や領域(3) も細分化して，候補領域として検出してもよいが，照明条件等，他のノイズによる影響もあるため，例えば閾値「１００」と照らし合わせて差分値が大きい場合，これらは除外することとする。図１２の領域(1) ，領域(4) については，閾値「１００」以下なので，さらに細分化し領域を特定する。

なお，検出対象画像が撮影範囲よりも小さい場合，細分化されるに従い検出の割合が減少するため，閾値をそれに合わせて変化（この場合は次第に大きく）させていってもよい。

実行制御手段２２は，検出リスト１０２から検出された“１”のフラグのものについて，その時間情報から表示履歴ＤＢ１０１を参照し，検出された領域を特定し，候補領域ＤＢ１０４に格納する。

図１３（Ａ）は，分割１回目の候補領域ＤＢ１０４に格納されるデータの例を示している。図１１（Ａ）に示す検出リスト１０２で“１”のフラグが立てられたＩＤ＝ｓ２の時間情報は，「１２：３４：５７．００」である。また，図１０に示す表示履歴ＤＢ１０１中，この時間情報に対応する領域は，ＩＤ＝ｔ２であり，領域の左上座標が（４００，０），右下座標が（７９９，２９９）である領域（図４の領域(2) ）であることが特定される。よって，分割１回目の候補領域ＤＢ１０４には，図１３（Ａ）に示すように，領域(2) の座標情報が候補領域データとして格納されることになる。

実行制御手段２２は，上記候補領域の検出処理を分割領域ＤＢ１０３の分割領域データについて一通り実行すると，分割回数が設定値に達していなければ分割回数を１カウントした後，候補領域ＤＢ１０４にある候補領域データの領域をさらに分割して分割領域ＤＢ１０３に格納し，処理を繰り返す。

例えば，分割１回目の候補領域である領域(2) を図６に示す領域２−(1) 〜領域２−(4) の４領域に分割し，図９（Ｃ）のように，分割領域ＤＢ１０３に分割２回目の分割領域データとして格納する。また，検出リスト１０２のフラグ情報と表示履歴ＤＢ１０１とを参照し，図６の領域２−(3) と領域２−(4) を分割２回目の候補領域として特定し，その座標情報を，図１３（Ｂ）に示すように候補領域ＤＢ１０４に格納する。

分割回数が上限の設定値に達していたら，その時点での全ての候補領域をユーザ指定の領域として抽出する。以上に述べたように実施すれば，ユーザが撮影した領域を抽出することができる。

〔第２の実施の形態〕
次に，本発明の第２の実施の形態について説明する。第２の実施の形態では，画像を表示してからそれを撮影した動画像を取得するまでの遅延時間の測定と，撮影条件による影響を受けた検出対象画像の設定に関する点が，前述した第１の実施の形態と異なる。

画面表示領域検出装置１により作成・表示された画像が，携帯端末３により撮影され，動画像取得手段１６で取得されるまでに，伝送手段や動画像キャプチャなどの処理時間により時間的な遅れが生じることがあるため，検出判定手段１８ではこの遅延を考慮して画像を比較する必要がある。

そのため，本発明の第２の実施の形態では，携帯端末３により撮影され動画像として伝達されてくるまでの時間を遅延時間として予め計測しておく。計測方法としては，例えば，ディスプレイ２全体にある特定の画像を表示した時刻と，その画像が動画像として捉えられた時刻の時間差から遅延時間を求める方法を用いてもよい。

ただし，この方法では，携帯端末３で撮影するビデオカメラ等の撮影手段３１の性能，ディスプレイ２の表示性能，照明条件などの様々な要因により，表示させた特定の画像を動画像から正しく検出することが難しい場合がある。

そこで，例えば図１４に示すように，白と黒のように色が明確に異なる２色の画像を画面全体に規則的に表示させる“同期パターン”を用意する。ここでは，同期パターン１（黒→白→黒），同期パターン２（黒→白→黒→白→黒），同期パターン３（黒→白→黒→白→黒→白→黒），その後にまた同期パターン１，同期パターン２，…の順番で，同期パターン設定手段２１に設定された同期パターンにより，ｔ０，ｔ１，ｔ２，…の一定間隔で繰り返し画像を表示することとしている。そして，このパターンから画像の変化の有無だけを検出することにより，遅延時間の測定，さらに検出対象画像の取得を行う。

まず，実行制御手段２２は，遅延時間計測手段２０において遅延時間が計測されていないことを確認し，表示領域設定手段１３に表示領域を画面全体と設定させ，画像情報設定手段１２に上記の同期パターンに従って白黒いずれかの色画像を設定させる。設定された白黒の同期パターンは，画像情報生成手段１１およびディスプレイ２により，一定時間間隔Ｔでディスプレイ２の画面に表示される。また，表示履歴記録手段１５は，これらの設定情報と表示した時刻を表示履歴として表示履歴ＤＢ１０１に記録する。

このようにして表示された同期パターンは，携帯端末３により撮影され，動画像となって動画像取得手段１６で取得される。ここでは，図１４のｓ２の時点から取得できたとする。また，携帯端末３はそのままの位置で撮影を続けており，ｓ２以降も継続して動画像を取得できていることとする。

検出判定手段１８は，動画像取得手段１６において取得した画像の変化分をｓ２の時点から一定時間間隔Ｔで順次検査する。すなわち，１つ前の画像を検出対象画像として設定し，現在の画像との差分を取る。例えば，ｓ２の時点の画像とｓ３の時点の画像とのフレーム間差分を取り，その差分をＣ２３として算出する。以降同様に，Ｃ３４，Ｃ４５，…を求めていく。これらの差分情報は，検出した時間情報とともに検出リスト１０２に記録する。

ディスプレイ２では，黒→白→黒という同期パターン１に続いて，黒→白→黒→白→黒という同期パターン２を表示し，続いて黒→白→黒→白→黒→白→黒という同期パターン３を表示している。したがって，同期パターン２の開始時点（ｔ４）と同期パターン３の開始時点（ｔ９）においては，黒色の画像が連続（ｔ３とｔ４，ｔ８とｔ９）することとなる。

図１４の例では，動画像取得手段１６が取得した動画像について，検出判定手段１８が，白→黒⇒黒→白→黒→白→黒⇒黒→白→…（⇒は［変化なし］，→は［変化あり］）のように，黒⇒黒の［変化なし］の後，４回［変化あり］を検出し，再度［変化なし］を検出する。すなわち，Ｃ３４で［変化なし］を検出した後，Ｃ４５，Ｃ５６，Ｃ６７，Ｃ７８と４回［変化あり］であり，Ｃ８９で［変化なし］となる。

同期判定手段１９は，画像の色に変化がない２つの時点ｓ４，ｓ９を検知し，表示履歴ＤＢ１０１に記録された設定情報を参照することにより，同期パターン２が表示されている時間のｔ４〜ｔ８と，動画像取得手段１６で取得した時間のｓ４〜ｓ８とを同定することができる。

したがって，遅延時間計測手段２０において，ｓ８の時刻とｔ８の時刻の差から遅延時間を求めることができる。図１１（Ｂ）は，０．５５秒の遅延がある場合の検出リストの例を示している。

また，検出対象画像を固定にする場合には，この同期パターンの中に検出対象画像を入れておいてもよい。すなわち，図１４中の例えばｔ５時点の画像を検出対象画像とし，このときに動画像で検出されたｓ５の画像を検出対象画像として検出対象設定手段１７に設定しておくのである。このようにすることで，携帯端末３における撮影条件や伝送などによる色変化の影響を受けた検出対象画像を予め取得しておくことができるため，画像情報設定手段１２で設定した画像情報を，直接，検出対象画像として設定するよりも，検出性能を向上させることができる。

なお，ここでは同期パターンとして白黒の２値を用いた例で説明したが，正しく変化を検出できるのであればＲＧＢ（赤緑青）の３色を組み合わせた８色を順に並べても良く，その分早く測定することができる。

以上のような処理を加えることで，動画像の取得に遅延を生じる場合や検出対象画像が撮影環境に影響を受けた場合においても，ユーザが撮影した領域を抽出することができる。

図１５は，本発明の第２の実施の形態に係る処理フローチャートである。ユーザは指定したいディスプレイ２の領域を携帯端末３のビデオカメラで撮影し，それと同時に画面表示領域検出装置１にアクセスして，撮影している動画像を伝送する（ステップＳ１）。画面表示領域検出装置１は動画像を取得したならば（ステップＳ２），同期パターンに従った検出対象画像の表示により同期確認を行い（ステップＳ３），同期パターンを同定するとそれに基づいて遅延時間を算出する（ステップＳ４）。

次に，図３のように画面を分割し，各領域を表す座標などの分割領域データを作成して，分割領域ＤＢ１０３に記録する（ステップＳ５）。ここで，分割領域ＤＢ１０３に未チェックの分割領域データがあるときには，ステップＳ７以降の処理を行う（ステップＳ６）。ただし，１回目は上記のとおり必ず存在する。

まず，１つの分割領域データを取得し，それに従い表示領域と表示画像を設定する（ステップＳ７）。そして，その設定に従ってユーザが携帯端末３のビデオカメラで撮影しているディスプレイ２に表示する（ステップＳ８）。このとき，表示領域と画像情報の設定情報を時間情報と合わせて表示履歴ＤＢ１０１に記録する（ステップＳ９）。時間情報とは，日付と時刻やシステム起動時からの相対的な時間などである。

ディスプレイ２に表示した後，ステップＳ４で算出した遅延時間分の待機を行い（ステップＳ１０），表示した画像が携帯端末３からの動画像に検出されるかを判定する（ステップＳ１１）。検出された場合には，当該領域の情報を候補領域ＤＢ１０４に記録する（ステップＳ１２）。分割領域ＤＢ１０３と候補領域ＤＢ１０４においては，例えば前述した図９，図１３に示すようなデータ構成で領域情報を管理する。上記の処理を分割領域ＤＢ１０３の分割領域データを一通りチェックするまで繰り返す。

ステップＳ６の判定により，分割領域ＤＢ１０３の分割領域データを全てチェックした場合には，分割回数が既定回数に達しているかを判断し（ステップＳ１３），既定回数に達していなければ，分割回数をカウントアップして候補領域ＤＢ１０４のそれぞれの領域をさらに分割した分割領域データを作成し，それを分割領域ＤＢ１０３に格納し（ステップＳ５），上記の処理を繰り返す。

分割回数が既定回数に達していれば，その時点で残った全ての候補領域をユーザ指定領域として抽出し（ステップＳ１４），抽出されたユーザ指定領域に任意のコンテンツを表示する（ステップＳ１５）。ここで表示するコンテンツは，システムがユーザに提供する映像等のコンテンツでも，ユーザが選択したＷｅｂページやその他の画像情報などのコンテンツでも何でもよく，本発明では表示コンテンツの内容は問わない。

なお，遅延時間が大きい場合には，動画像の検出を遅延時間分待機せずに，表示処理と検出処理を並行して行ってもよい。それには，例えば，時間情報とともに検出リストに結果を記録し，遅延時間分を差し引いた時間で照合し，検出されたものだけの領域情報を候補領域ＤＢ１０４に記録していけばよい。

以上により，ユーザが撮影した領域を抽出し，コンテンツを表示することができる。以上の画面表示領域検出の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明は，例えば，公共の街頭ディスプレイに表示する位置や大きさを予め指定し，ユーザ自身のコンテンツを表示させるための画面表示領域検出技術に関し，特にユーザが携帯端末で撮影したディスプレイ上の領域を特定し，その領域にコンテンツを表示させることに利用できる。

本発明の概略を説明する図である。 本発明に係る構成例を示す図である。 第１回の分割時の分割領域を示す図である。 分割領域への画像の表示例を示す図である。 分割１回で特定される候補領域を示す図である。 分割２回で特定される候補領域を示す図である。 分割３回で特定される候補領域を示す図である。 最終的に特定される候補領域を示す図である。 分割領域ＤＢに格納されるデータの例を示す図である。 表示履歴ＤＢに格納されるデータの例を示す図である。 検出リストの一例を示す図である。 携帯端末から取得した画像と検出対象画像との差分値を説明する図である。 候補領域ＤＢに格納されるデータの例を示す図である。 遅延時間の測定を説明する図である。 本発明の第２の実施の形態に係る処理フローチャートである。

符号の説明

１ 画面表示領域検出装置
２ 画像情報表示手段（ディスプレイ）
３ 携帯端末
１１ 画像情報生成手段
１２ 画像情報設定手段
１３ 表示領域設定手段
１４ 時間情報取得手段
１５ 表示履歴記録手段
１６ 動画像取得手段
１７ 検出対象設定手段
１８ 検出判定手段
１９ 同期判定手段
２０ 遅延時間計測手段
２１ 同期パターン設定手段
２２ 実行制御手段
３１ 撮影手段
３２ 動画像送信手段
１０１ 表示履歴ＤＢ
１０２ 検出リスト
１０３ 分割領域ＤＢ
１０４ 候補領域ＤＢ

Claims (7)

1. ディスプレイの画面領域の中でユーザが指定した領域を検出する画面表示領域検出装置であって，
   前記ディスプレイの画面領域を候補領域とし，候補領域をいくつかの領域に分割し，その領域を１つずつ順番に表示領域として設定する表示領域設定手段と，
   前記表示領域に表示する画像を設定する画像情報設定手段と，
   前記ディスプレイの表示領域に前記設定画像を出力する画像情報生成手段と，
   ユーザの端末により撮影された前記ディスプレイの一部の領域を動画像として取得する動画像取得手段と，
   前記設定画像を表示したときに，その画像の前記表示領域が前記動画像中に撮影されたかを検出する検出手段と，
   前記検出手段により前記表示領域が前記動画像中に検出された場合に，前記検出された表示領域を候補領域とし，候補領域の分割回数が所定の回数に達するまで当該候補領域をさらに分割して表示領域を設定し，前記画像情報設定手段，前記画像情報生成手段，前記動画像取得手段，前記検出手段による処理を繰り返し，最終的に特定される候補領域をユーザが指定した領域として検出する制御手段とを備える
   ことを特徴とする画面表示領域検出装置。
2. ディスプレイの画面領域の中でユーザが指定した領域を検出する画面表示領域検出装置であって，
   前記ディスプレイの画面領域をいくつかの領域に分割し，その領域の１つを表示領域として設定する表示領域設定手段と，
   前記表示領域に表示する画像を設定する画像情報設定手段と，
   前記ディスプレイの表示領域に前記設定画像を出力する画像情報生成手段と，
   ユーザの端末により撮影された前記ディスプレイの一部の領域を動画像として取得する動画像取得手段と，
   前記設定画像を表示したときに，その画像の前記表示領域が前記動画像中に撮影されたかを検出する検出手段と，
   前記検出手段による検出結果をもとに前記撮影された領域を抽出し，抽出した撮影領域をユーザが指定した領域として検出する制御手段とを備え，
   前記検出手段は，
   前記設定画像を表示した後，前記動画像を取得するまでに要する遅延時間に基づいて，前記表示領域が前記動画像中に撮影されたかを検出する手段である
   ことを特徴とする画面表示領域検出装置。
3. 請求項１または請求項２に記載の画面表示領域検出装置において，
   前記検出手段は，
   前記表示領域が前記動画像中に撮影されたかを検出するよりも前に，前記設定画像を表示したときの動画像を予め検出対象画像として取得しておき，前記表示領域が前記動画像中に撮影されたかを検出するときには，前記検出対象画像が前記撮影された動画像に現れるかを検出する手段である
   ことを特徴とする画面表示領域検出装置。
4. ディスプレイの画面領域の中でユーザが指定した領域を検出する画面表示領域検出方法であって，
   前記ディスプレイの画面領域を候補領域とし，候補領域をいくつかの領域に分割し，その領域を１つずつ順番に表示領域として設定する表示領域設定ステップと，
   前記表示領域に表示する画像を設定する画像情報設定ステップと，
   前記ディスプレイの表示領域に前記設定画像を出力する画像情報生成ステップと，
   ユーザの端末により撮影された前記ディスプレイの一部の領域を動画像として取得する動画像取得ステップと，
   前記設定画像を表示したときに，その画像の前記表示領域が前記動画像中に撮影されたかを検出する検出ステップと，
   前記検出ステップにより前記表示領域が前記動画像中に検出された場合に，前記検出された表示領域を候補領域とし，候補領域の分割回数が所定の回数に達するまで当該候補領域をさらに分割して表示領域を設定し，前記画像情報設定ステップ，前記画像情報生成ステップ，前記動画像取得ステップ，前記検出ステップによる処理を繰り返し，最終的に特定される候補領域をユーザが指定した領域として検出する制御ステップとを有する
   ことを特徴とする画面表示領域検出方法。
5. ディスプレイの画面領域の中でユーザが指定した領域を検出する画面表示領域検出方法であって，
   前記ディスプレイの画面領域をいくつかの領域に分割し，その領域の１つを表示領域として設定する表示領域設定ステップと，
   前記表示領域に表示する画像を設定する画像情報設定ステップと，
   前記ディスプレイの表示領域に前記設定画像を出力する画像情報生成ステップと，
   ユーザの端末により撮影された前記ディスプレイの一部の領域を動画像として取得する動画像取得ステップと，
   前記設定画像を表示したときに，その画像の前記表示領域が前記動画像中に撮影されたかを検出する検出ステップと，
   前記検出ステップによる検出結果をもとに前記撮影された領域を抽出し，抽出した撮影領域をユーザが指定した領域として検出する制御ステップとを有し，
   前記検出ステップは，
   前記設定画像を表示した後，前記動画像を取得するまでに要する遅延時間に基づいて，前記表示領域が前記動画像中に撮影されたかを検出するステップである
   ことを特徴とする画面表示領域検出方法。
6. 請求項４または請求項５に記載の画面表示領域検出方法において，
   前記検出ステップは，
   前記表示領域が前記動画像中に撮影されたかを検出するよりも前に，前記設定画像を表示したときの動画像を予め検出対象画像として取得しておき，前記表示領域が前記動画像中に撮影されたかを検出するときには，前記検出対象画像が前記撮影された動画像に現れるかを検出するステップである
   ことを特徴とする画面表示領域検出方法。
7. 請求項４，請求項５または請求項６に記載の画面表示領域検出方法を，コンピュータに実行させるための画面表示領域検出プログラム。

Images