JP6075971B2

JP6075971B2 - 画像表示装置

Info

Publication number: JP6075971B2
Application number: JP2012122383A
Authority: JP
Inventors: 英樹氏家
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-05-29
Filing date: 2012-05-29
Publication date: 2017-02-08
Anticipated expiration: 2032-05-29
Also published as: JP2013246420A

Description

本発明は、画像を表示面に目視表示して操作者に提示可能な画像表示装置に関する。

従来、電子ホワイトボードまたは電子黒板に代表される従来技術の画像表示装置は、会議や授業などにおいて、多人数の参加者に情報を提示すべき状況下で、参加者が情報を板書するために用いられることがある。また従来技術の画像表示装置は、多人数の参加者に既存の画像を閲覧させるべき状況下で、該既存の画像を目視表示するために用いられることもある。

従来技術の画像表示装置は、画像を表示する表示面を有する表示部と、情報を入力するための操作部と、画像表示装置を制御する制御部とを含む。情報入力のために操作者が操作部を操作すると、操作によって入力された情報を制御部が画像化して表示部の表示面に表示させる。前記操作部は、たとえば、文字および図形の手書き入力が可能な操作面を有するタッチパネルによって実現される。また上述の操作部は、キーボード、マウス、ペンタブレットなどによって実現されることもある。

前記画像表示装置が会議などで用いられる場合、会議の参加者全員から表示部の表示面が閲覧可能な位置に、該画像表示装置が設置される。この画像表示装置の操作部が操作面を有するタッチパネルによって実現される場合には、前記操作部の操作面は、表示部の表示面に重なる位置に配置される。したがって、前記操作部から情報を黒板のように板書しようとする参加者は、自席から離れて画像表示装置近傍へ移動した後、文字や図形を操作面に描画する必要がある。このため、前記従来技術の画像表示装置では、情報の提示するために手間を要するという問題がある。

前記画像表示装置において、表示部の表示面から離れた場所で文字や図形を操作者に入力させるために、以下の２通りの構成例が挙げられる。

第１の従来技術では、表示部の表示面から離して移動自在な専用端末装置内に情報入力用の端末側操作部が設けられ、制御部および表示部を含む主装置と専用端末装置との間のデータ送受に有線接続あるいは無線接続が用いられる。

また、第２の従来技術では、会議の参加者が個別に所有するスマートフォンなどの汎用携帯端末を端末側操作部として用いる。すなわち、第２の従来技術では、該汎用携帯端末を用いて情報が画像化され、携帯端末から画像表示装置の制御部へ該画像のデータが送られる。

第１の従来技術の画像表示装置が会議などで用いられる場合、情報を板書しようとする参加者は、専用端末装置を自席に近付けて情報入力のための操作を行う。このような第１の従来技術の画像表示装置は、参加者全員分の専用端末装置を個別に用意することが難しいので、情報を入力しようとする参加者が交替する度に、交替後の参加者の手元へ専用端末装置を移動させる必要があるため、情報入力に時間がかかる。このため、前記状況下において、第１の従来技術を用いても、画像表示装置の使い勝手の改善は難しい。

また第１の従来技術の画像表示装置において、多くの場合、キーボード、マウス、ならびにペンタブレットなど、文字および図形を入力して画像を作成することに適した端末側操作部が、専用端末装置に備えられる。

このような第１の従来技術の画像表示装置において、デジタル写真などのデータ化された既存の画像データを操作者が表示部に表示させようとする場合がある。前述の場合、既存の画像データが記憶される記憶媒体が読取り部に接続され、該読取り部が該記憶媒体に記憶された画像データを読取り、読取られた画像データが制御部によって処理される。前記記憶媒体から画像データを読取る読取り部は、専用端末装置よりも主装置に備えられることが多い。したがって、第１の従来技術では、画像表示装置の使い勝手を改善することができないという問題がある。

第２の従来技術において、スマートフォンなどの汎用携帯端末は一般的に文字図形の汎用の入力機能や画像データの汎用の送受機能を備えているため、提示すべき情報の画像化およびその画像データの送信は容易である。

しかしながら、汎用携帯端末は、画像表示装置の表示部の表示面の大きさおよび形状などの構成が考慮されていない。したがって、制御部が受信した画像データを表示面内のどこに、どのような大きさの画像として表示するかを指定することを汎用携帯端末側で行うことは困難であり、画像表示装置本体で行う必要があるため、操作が煩雑であるという問題がある。

端末側操作部と表示部とを備えた画像表示装置に関する他の従来技術として、特許文献１，２が挙げられる。

特許文献１には、撮影した画像に文字を重ね合わせて合成可能なデジタルカメラが提案されている。この従来技術において、撮影モードが開始されると、撮影されるべき画像がＬＣＤ表示部にモニタリングされる。画像のモニタリング動作中において、タッチパネルなどへの操作者の操作に応答して合成すべき文字の文字データが作成され、該合成すべき文字がモニタリング中のＬＣＤ表示部に表示される。この状態でシャッタボタンが押下されると、デジタルカメラは、モニタリング中の画像を撮影し、撮影された画像の画像データに前記合成すべき文字の文字データを合成して、１つの画像ファイルとしてメモリカードに記憶する。

すなわち、この従来技術では、撮影される画像に入力すべき文字の文字データを、撮影前にデジタルカメラに入力可能に構成され、画像の撮影時に前記文字の文字データと撮影された画像の画像データとを合成している。この結果、デジタルカメラによって得られる画像データは、撮影後の画像データに文字データを入力する編集処理を必要とせず、該画像および文字の双方を利用する業務にそのまま用いられる。

特許文献２には、カメラを有する携帯端末と、サーバと、表示画面を有する表示装置とを備える画像表示システムが提案されている。この画像表示システムにおいて、表示装置の表示面に貼付けるべき貼付け画像が携帯端末で作成される。画像の貼付けに先立ち、表示画面内の座標を特定するための予め定める初期画像が、表示装置の表示画面に表示される。前記初期画像は、文字と数字との複数種類の組合わせが表示画面一杯に、行列状に配置された構成を有する。

前記画像表示システムの操作者は、貼付け画像を作成後、表示画面に表示中の初期画像の少なくとも一部分が写るように、表示画面に対して携帯端末を移動させ、所望の位置において該初期画像の一部分が映る画像を撮影する。撮影された画像に写る文字および数字と初期画像とに基づき、該初期画像に対する文字および数字の位置が貼付け画像の貼付け位置として算出される。また、撮影された画像に写る文字および数字の大きさに基づき、撮影時の携帯端末の位置が表示画面に近いほど、初期画像への貼付け時の貼付け画像の大きさが大きくなるように、貼付け画像のサイズが算出される。算出された貼付け画像の位置およびサイズは、貼付け画像の画像データの付属情報として付記される。

付属情報の付記後、位置およびサイズが付記された貼付け画像の画像データが、携帯端末からサーバに与えられる。サーバにおいて、貼付け画像と表示画面との縮尺ならびに貼付け画像の付属情報に基づいて、貼付け画像の表示時のサイズが算出される。サイズ算出後、初期画像が表示画面から消去され、表示画面内において付属情報に含まれる位置に、算出された表示時のサイズの貼付け画像が表示される。

特開２００３−１３４３５９号公報特開２０１０−２７６７９２号公報

前述のように、画像表示用の表示面を有する表示部と、情報入力のための端末側操作部とを含む従来技術の画像表示装置は、表示部の表示面から離れた場所から文字や図形を操作者に入力させるために、表示面から離れて端末側操作部が移動可能に構成される。たとえば、従来技術の画像表示装置は、表示部を含む主装置と、端末側操作部を有する端末装置とを備え、端末装置が主装置から離れて移動可能に構成されている。

単独で移動可能な専用の端末装置を備える第２の従来技術においては、参加者全員が個別に端末装置の端末側操作部を用いて文字・図形などを入力可能とするためには、参加者全員分の専用端末装置を個別に用意しなければならず、現実には参加者全員分の端末装置を準備することは困難である。したがって、第２の従来技術の画像表示装置においては、情報を入力しようとする参加者が交替する度に、交替後の参加者の手元へ専用端末装置を移動させる必要が生じ、情報入力に時間がかかるという問題がある。

また、前記専用の端末装置に備えられる端末側操作部は、文字および図形の入力に適した構成であることが多い。このため、第１の従来技術において、デジタル写真などのデータ化された既存の画像データを入力するためには、操作者は、前記移動可能な専用の端末装置ではなく、表示部を有する主装置側で操作を行う必要がある。このように第１の従来技術では、端末装置が有する情報であっても、その情報の入力を主装置側で行わなければならず、使い勝手が悪いという問題がある。

スマートフォンなどの汎用携帯端末を、端末側操作部を含む端末装置として用いる第２の従来技術においては、提示すべき情報のデータ化および画像データの送信が、汎用携帯端末で行われる。しかしながら、汎用携帯端末は表示部の表示画面の構成を考慮して表示し得るように構成されていないので、該表示画面内において画像を表示すべき位置の指定を汎用携帯端末側で行うことは難しく、表示部側で行う必要がある。したがって、第２の従来技術において、使い勝手を改善することができないという問題がある。

さらに、上述した特許文献１に記載される従来技術では、画像に合成すべき文字の文字データを画像の撮影に先立って入力しており、撮影時に画像の画像データに該文字の文字データが合成されて１つの画像ファイルを作成するデジタルカメラが提案されるが、撮影された画像内の文字は予め定められた位置に組込まれるように構成されているため、画像に対して文字の組込み位置を変更することができず、文字を操作者が所望する位置に表示させることができないという問題がある。

また上述した特許文献２に記載される従来技術では、表示画面の初期画像の一部分だけを携帯端末のカメラが撮影して得られる画像に基づいて、貼付け画像の貼付け時の位置およびサイズを算出する画像表示システムが提案されるが、撮影時に操作者が表示画面に対して携帯端末を近接離反させ、あるいは上下左右に移動させる必要があるため、操作者が表示画面に対して移動する必要があり、操作が煩雑であるという問題がある。

また特許文献２の画像表示システムにおいて、貼付け画像を貼付けるべき表示画面内の位置指定時に、表示画面の最新の表示内容を一旦消去して、位置指定専用の初期画像を表示画面に表示させている。このため、画像表示システムでは、表示画面の最新の表示内容を操作者が目視しながら、貼付け画像の位置指定を行うことが難しく、画像表示システムの使い勝手が悪いという問題がある。

本発明の目的は、画像を表示すべき表示部と操作者に操作される端末側操作部とが離れた位置に個別に設置可能に構成される画像表示装置において、画像のデータ入力および位置決めの操作性が向上された画像表示装置および画像表示プログラムを提供することである。

本発明は、画像を表示可能な主側表示面を備え、前記主側表示面の少なくとも一部分が追加画像を表示するための被処理領域として用いられる主側表示部、主側通信部、ならびに前記主側通信部および前記主側表示部を制御する主側制御部を含む主装置と、
画像を表示可能な端末側表示面を備える端末側表示部、前記端末側表示面内の位置を指示可能な端末側操作部、前記主側通信部と通信可能な端末側通信部、ならびに前記端末側通信部および前記端末側表示部を制御する端末側制御部を含む端末装置と、を備える画像表示装置であって、
前記端末側制御部は、前記被処理領域の形状と相似する形状の相似図形を、前記端末側表示部の端末側表示面に表示させ、前記端末側操作部から指示された前記端末側表示面内における位置と、前記端末側表示面内の前記相似図形の位置との相対関係に基づいて、前記指示された位置に対応する前記相似図形内の位置を求め、求めた位置を前記追加画像の前記主側表示面内の表示予定位置として決定し、前記表示予定位置を前記追加画像とともに、前記端末側通信部から送信させ、
前記主側制御部は、前記端末側通信部から送信された前記表示予定位置および前記追加画像を前記主側通信部に受信させ、該主側通信部によって受信した前記表示予定位置および前記追加画像に基づき、前記主側表示部の主側表示面内の被処理領域内の前記表示予定位置に、前記追加画像を表示させ、
前記端末装置は、予め定める撮影範囲内に前記主側表示面の被処理領域を含むように画像を撮影するための撮影部をさらに含み、
前記端末側制御部は、
前記撮影部によって撮影された画像から、前記被処理領域の相似図形を抽出し、
抽出された前記被処理領域の相似図形を、前記端末側表示部の端末側表示面に表示させることを特徴とする画像表示装置である。

さらにまた本発明は、前記主側表示部は、前記主側表示面の被処理領域を示す複数のマーカをさらに含み、
前記端末側制御部は、
前記撮影された画像の中から複数のマーカを検出し、
検出された複数のマーカの相互の位置関係のずれ幅が予め定める許容幅以下である場合、前記検出された複数のマーカが示す領域を前記被処理領域の相似図形であると判断することを特徴とする。

また本発明は、前記端末側制御部は、前記追加画像および前記表示予定位置のデータ送付に先立って、前記端末側表示部の端末側表示面に表示中の前記被処理領域の相似図形内の前記端末側操作部から指示された位置に、前記追加画像を重ねて表示させることを特徴とする。

さらにまた本発明は、前記端末側制御部は、前記被処理領域内の表示予定位置を、前記被処理領域の大きさに対する割合で表し、
前記主側制御部は、
前記端末装置から与えられた前記表示予定位置のデータと前記主側表示面の予め定める画面解像度とに基づいて、前記主側表示面の被処理領域内の前記表示予定位置の絶対座標を算出し、
前記主側表示面の被処理領域内の前記算出された絶対座標が示す位置に、前記追加画像を表示させることを特徴とする。

また本発明は、前記端末側制御部は、
前記端末側操作部からの前記追加画像の縮小拡大の指示に応答して、前記追加画像を縮小拡大し、
縮小拡大された前記追加画像のデータおよび前記表示予定位置のデータを、前記端末装置から前記主装置に与えることを特徴とする。

本発明によれば、画像表示装置は、主装置と端末装置とを備える。主装置は、画像を表示可能な主側表示面を備える主側表示部と、主側表示部を制御する主側制御部とを含む。端末装置は、画像を表示可能な端末側表示面を備える端末側表示部と、前記端末側表示面内の位置を指示可能な端末側操作部と、端末側表示部を制御する端末側制御部とを含む。

前記画像表示装置において、主側表示部の主側表示面の少なくとも一部分である被処理領域に表示すべき追加画像の表示に際し、まず、端末側制御部が、前述の追加画像のデータを用意する。次いで、端末側制御部が、被処理領域の相似図形を端末側表示部の端末側表示面に表示させ、端末側表示面内の相似図形内の位置を操作者が端末側操作部から指示すると、端末側制御部は、該端末側操作部からの指示に応答して、端末側表示面内の相似図形と端末側表示面内の指示された位置との相対関係に基づいて、追加画像の主側表示面内の表示予定位置を定め、追加画像のデータおよび表示予定位置のデータを、端末装置から主装置に与える。

続いて、主側制御部は、端末装置から与えられた追加画像および表示予定位置のデータに基づき、主側表示部の主側表示面内の被処理領域内の表示予定位置に、追加画像を表示させる。これによって、主装置の主側表示面内の端末装置で指定された表示予定位置に、端末装置で用意されたデータによって追加画像が表示される。

このように画像表示装置は、追加画像のデータの用意から追加画像の表示予定位置の設定までの一連の処理を端末装置が独立して実行するので、従来技術に比べて動作の独立性が高い。したがって、従来技術よりも画像表示装置の動作の自由度が高く、画像表示装置の使い勝手が向上される。たとえば、会議などにおける電子ホワイトボードシステムとして本発明の画像表示装置を利用する場合、複数の参加者に端末装置をそれぞれ配布して、各参加者に個々に情報を書込ませることが可能であり、かつ、個々の参加者が手元の端末装置に情報を書込むタイミングが参加者相互に重複ても支障が生じることはない。このように使い勝手が向上された画像表示装置を実現することができる。

また本発明の画像表示装置は、端末側表示面に表示中の被処理領域の相似図形内の位置を端末側操作部の操作によって指定するので、操作者は端末側表示面を見ながら端末側操作部を操作すればよく、端末装置を振回す必要はない。これによって、従来技術に比べて、表示予定位置指定時の操作者の操作を簡略化することができる。

さらにまた本発明の画像表示装置では、端末装置側での表示予定位置の指定手順実行中も主側表示面の直近の表示内容が保持されるため、操作者が直近の表示内容を確認しながら表示予定位置の指定手順を進めることができる。これによって、従来技術よりも使い勝手が向上された画像表示装置を実現することができる。

また本発明によれば、画像表示装置は、端末装置が予め定める撮影範囲内に前記主側表示面の被処理領域を含むように画像を撮影するための撮影部をさらに含む。このような構成において、端末側制御部が、被処理領域の相似図形の表示に先立ち、撮影された画像から、前記被処理領域の相似図形を抽出し、抽出された前記被処理領域の相似図形が、端末側表示部の端末側表示面に表示される。

これによって、直近の主側表示面の被処理領域の表示内容が、表示予定位置指定用の前記相似図形の内容として、端末側表示面に表示される。そのため、操作者が主側表示面に視線を向けることなく端末側表示面を目視するだけで、主側表示面の直近の表示内容を操作者が確認しながら追加画像の表示予定位置を指定することができ、画像表示装置の使い勝手がさらに向上される。

また画像表示装置が被処理領域の形状を随時変更可能な構成とすることよって、表示予定位置の指定時に被処理領域を撮影抽出して得られる相似図形を端末側表示面に表示させて、被処理領域の最新の形状および表示内容が端末側表示面の相似図形に常に反映させることができる。これによって、端末側表示面を目視するだけで操作者が被処理領域の形状変化に自然に対応することが可能となり、画像表示装置の使い勝手がさらに向上される。

さらにまた本発明によれば、主側表示部は、主側表示面の被処理領域を把握するための複数のマーカをさらに含む。このような構成よれば、撮影された画像からの相似図形の抽出に際し、端末側制御部が、撮影された画像の中から複数のマーカを検出し、検出された複数のマーカの相互の位置関係のずれ幅が予め定める許容幅以下であるとき、検出された複数のマーカが示す領域を前記被処理領域の相似図形であると判断して、該相似図形を抽出することができる。

これによって、主側表示面の被処理領域の実際の形状に対する歪みが許容範囲内である該被処理領域の相似図形を、表示予定位置の指定に用いることができる。したがって、主側表示面へ追加画像を実際に表示した際の追加画像の位置およびサイズなどが、操作者の希望の位置およびサイズから大きくずれることを、防止することができ、画像表示装置の使い勝手が、さらに向上される。

また本発明によれば、端末側制御部が、追加画像および表示予定位置のデータ送付に先立って、端末側表示部の端末側表示面に表示中の被処理領域の相似図形内の端末側操作部から指示された位置に、追加画像を重ねて表示させる。

これによって、主側表示面の表示予定位置に追加画像が表示される予想状態を仮表示するための所謂プレビュー表示を、端末側表示面で行うことができる。このような画像表示装置において、端末側表示面にてプレビュー表示を行う状況下では、表示予定位置の指定のために端末側表示面を見ている状態から、視線を端末側表示面から外すことなく、前記予想状態を把握することができる。これによって、主側表示面にてプレビュー表示を行う従来技術に比べて、プレビュー表示を伴う表示予定位置の指定時の視点移動が少ないため、前記従来技術に比べて画像表示装置の使い勝手が向上される。

また直近の主側表示面を撮影した画像から抽出された相似図形が端末側表示面に表示されているとき、前記状況下において、主側表示面の直近の表示状況に追加画像を仮に追加表示させたプレビュー画像が表示されるため、追加画像の追加に伴う主側表示面の表示内容の変更状況をより正確に操作者が把握することができる。これによって、追加画像の追加状態を、操作者がより的確に制御することができるため、使い勝手をさらに向上することができる。

さらにまた本発明によれば、端末側制御部が、被処理領域内の表示予定位置を、前記被処理領域の大きさに対する割合で表す。このような構成によって、主側制御部が、端末装置から与えられた表示予定位置のデータと主側表示面の予め定める画面解像度とに基づいて、主側表示面の前記被処理領域内の表示予定位置の絶対座標を算出し、主側表示面の前記被処理領域内の前記算出された絶対座標が示す位置に、追加画像を表示させる。

このように、表示予定位置のデータの表記手法として前記割合が用いられるため、主側表示面の画面解像度が端末装置からの表示予定位置のデータの表記手法に影響を与えない。これによって、主側表示面の画面解像度の変更を容易に行うことができ、汎用性を向上することができる。

また表示予定位置のデータの表記手法として前記割合が用いられるため、主側表示面の最新の画面解像度と、割合で表現されている表示予定位置のデータとに基づいて、追加画像を表示すべき絶対座標を、容易に取得可能である。これによって、前記絶対座標の取得の手間が軽減されるため、画像表示装置の使い勝手をさらに向上することができる。

さらにまた本発明によれば、端末側制御部が、端末側操作部からの追加画像の縮小拡大の指示に応答して、前記追加画像を縮小拡大する。縮小拡大された追加画像のデータおよび表示予定位置のデータは、端末装置から主装置に与えられる。

このように、本発明の画像表示装置は、端末装置側の端末側操作部への操作に応答して、追加画像の拡大縮小が可能である。これによって、所望の大きさの追加画像を主側表示部に表示させることができるので、画像表示装置の使い勝手をさらに向上することができる。また、端末装置の端末側操作部を用いた縮小拡大の指示に応答して、追加画像の縮小拡大を制御するので、操作者は端末側表示面を見ながら端末側操作部を操作すればよく、端末装置を振回す必要はない。これによって、従来技術に比べて、縮小拡大指示時の操作者の操作が簡略化されるため、画像表示装置の使い勝手がさらに向上される。

本発明の一実施形態である画像表示装置１の構成を示すブロック図である。画像表示装置１における追加画像６の表示手順を説明するための模式図である。画像表示装置１において、マーカＰの位置が許容範囲内に有るかどうかを判断する処理を説明するための模式図である。画像表示装置１における画像表示プログラム８のうちの端末側プログラム２８のメインルーチンを説明するためのフローチャートである。画像表示装置１における画像表示プログラム８のうちの主側プログラム１８のメインルーチンを説明するためのフローチャートである。画像表示装置１におけるの画像表示プログラム８内の端末側プログラム２８のうち、追加画像６のデータを用意する手順のサブルーチンを説明するためのフローチャートである。画像表示装置１におけるの画像表示プログラム８内の端末側プログラム２８のうち、被処理領域１５の相似図形２５の抽出手順のサブルーチンを説明するためのフローチャートである。図７の被処理領域１５の相似図形２５の抽出手順のサブルーチンのうち、マーカＰの検出手順のサブルーチンを説明するためのフローチャートである。図７の被処理領域１５の相似図形２５の抽出手順のサブルーチンのうち、検出されたマーカＰの位置関係の確認手順のサブルーチンを説明するためのフローチャートである。画像表示装置１におけるの画像表示プログラム８内の端末側プログラム２８のうち、被処理領域１５の相似図形２５の表示手順および被処理領域１５の表示予定位置７の指定手順のサブルーチンを説明するためのフローチャートである。画像表示装置１におけるの画像表示プログラム８内の端末側プログラム２８のうち、端末装置４から主装置３へのデータ送信手順のサブルーチンを説明するためのフローチャートである。画像表示装置１におけるの画像表示プログラム８内の主側プログラム１８のうち、主側表示面１４への追加画像６の追加表示のサブルーチンを説明するためのフローチャートである。

図１は、本実施形態の一実施形態である画像表示装置１の構成を示すブロック図である。本実施形態の画像表示装置１は、１つの主装置３、および１または複数の端末装置４を含む。画像表示装置１は、端末装置４に取り込まれた追加画像６の画像データを、主装置３によって表示することができる。図１では、画像表示装置１が１台の端末装置４を備える構成を例示しているが、２台以上の端末装置４が含んで構成されてもよい。

主装置３は、主側表示部１０と、主側制御部１２とを含む。端末装置４は、端末側表示部２０と、端末側操作部２１と、端末側制御部２２とを含み、好ましくは撮影部２３をさらに含む。主側表示部１０は、画像を表示可能な主側表示面１４を備える。主側制御部１２は、主装置３に含まれる構成要素を制御する。端末側表示部２０は、画像を表示可能な端末側表示面２４を備える。端末側操作部２１は、端末側表示面２４内の位置を指示可能に構成される。端末側制御部２２は、端末装置４に含まれる構成要素を制御する。撮影部２３は、予め定める撮影範囲内の画像を撮影する。これらの主側制御部１２および端末側制御部２２は、中央演算処理装置(Central Processing Unit：略称ＣＰＵ）によってそれぞれ実現される。

主側表示部１０は、グラフィックコントローラ３０と、主側表示面１４およびマーカＰを備える表示素子３１とを含む。主側操作部１１は、入力インタフェイス３２と、タッチパネルインタフェイス３３と、タッチパネル素子３４とを含む。主側記憶部１６は、画像表示プログラム８の主側プログラム１８と、画像表示に係る各種のデータとが記憶される。端末側表示部２０は、グラフィックコントローラ３７と、端末側表示面２４を備える表示素子３８とを含む。端末側記憶部２６には、画像表示プログラム８の端末側プログラム２８と、画像表示に係る各種のデータとが記憶される。

図１の具体例では、前記主装置３は、主装置本体４０と主側コントローラ４１とを含んで構成される。主装置本体４０は、主側操作部１１のタッチパネル素子３４と主側表示部１０の表示素子３１とを含んで構成される。主側コントローラ４１は、主側制御部１２と、主側表示部１０のグラフィックコントローラ３０と、主側操作部１１の入力インタフェイス３２およびタッチパネルインタフェイス３３と、主側記憶部１６と、主側通信部１７とを含んで構成される。前記端末装置４は、アプリケーションプログラムをインストールして実行可能な汎用の携帯端末、より具体的には携帯電話機によって実現される。

主装置本体４０は、操作者が目視可能な位置に配置され、操作者に情報を画像化して提示し、かつ操作者による操作を入力情報として受付ける機能を有する。このような主装置本体４０は、たとえば電子ホワイトボードの本体部分によって実現される。

主側コントローラ４１は、電子ホワイトボードなどとして実現される画像表示装置１の機能を主装置３に実行させるためのコントローラである。主側コントローラ４１は、たとえば、動画および静止画の表示機能と、タッチパネル素子３４から入力された文字および図形などのデータを図表化して、前述の動画および静止画との合成画像として表示させる機能と、無線通信機能とを含む各種機能を有する。主側コントローラ４１は、たとえば、専用装置でなくてもよく、一般的なパーソナルコンピュータに主側コントローラ４１を実現するためのプログラムをインストールして実行させることによって実現されてもよい。

主側表示部１０の表示素子３１は、主装置３側で情報を表示するための表示素子であり、詳しくは、主側コントローラ４１から与えられる画像データを、画像として目視表示するためのデバイス、たとえば液晶ディスプレイ素子(Liquid Crystal Display：ＬＣＤ)、有機エレクトロルミネッセンス(Electro-Luminescence：ＥＬ)素子、陰極線管、または投影型表示素子によって実現される。

主側表示部１０のグラフィックコントローラ３０は、動画および静止画などのデータを読み出して、表示素子３１で表示するための画像データに変換し、主側表示部１０の表示素子３１に転送する。このような主側表示部１０のグラフィックコントローラ３０は、たとえば、パーソナルコンピュータのグラフィックカードよって実現され、カードに実装されたＶＲＡＭ（Video Random Access Memory）から前記動画および静止画などのデータを読み出して画像データに変換し、主側表示部３０の表示素子３１に転送するように構成されている。

主側操作部１１の入力インタフェイス３２は、操作者が文字および図形などの入力ならびに画像表示装置１の動作指令などの各種の操作入力を行うためのユーザインタフェイスである。入力インタフェイス３２の具体例としては、キーボード、マウス、およびタブレットが挙げられる。

主側操作部１１のタッチパネル素子３４は、操作者によるタッチ操作を検出するためのデバイスである。主側操作部１１のタッチパネル素子３４は、たとえば、主側表示部１０の表示素子３１の主側表示面１４と重なる位置に設置される。主側操作部１１のタッチパネル素子３４は、主側表示部１０の表示素子３１の枠部分に、さらに設置されてもよい。主側操作部１１のタッチパネル素子３４は、操作者によるタッチ操作が検出可能であれば、どのような検出方式を用いてもよい。

主側操作部１１のタッチパネルインタフェイス３３は、主側操作部１１のタッチパネル素子３４からのデータを受信するためのインタフェイスである。タッチパネルインタフェイス３３は、タッチパネル素子３４からのデータを受信可能であれば、どのような方式が用いられてもよい。たとえば、タッチパネルインタフェイス３３の方式として、ＵＳＢ(
Universal Serial Bus)、およびＲＳ２３２Ｃ(Recommended Standard 232 C)が挙げられる。

主側記憶部１６は、主装置３で用いられるアプリケーションプログラム、入力された文字のデータ、静止画のデータ、および動画のデータなどを記憶する。また主側記憶部１６は、主装置３内の構成要素によって作業領域として利用されることもある。主側記憶部１６は、揮発性または不揮発性の記憶装置によって実現される。具体的には、端末装置４から与えられた、後述の図２に示す追加画像６のデータおよび表示予定位置７のデータが、主側記憶部１６に記憶される。

主側記憶部１６に記憶される主側プログラム１８は、汎用コンピュータによって主装置３を実現可能なアプリケーションプログラムとして構築される。主側プログラム１８が実行されることによって、たとえば、静止画表示機能、動画表示機能、タッチパネルによる図形および文字の描画機能、無線通信による図形および文字の描画機能、ならびに入力インタフェイス３２による図形および文字の描画機能が実現される。

前述したマーカＰは、具体的には、予め定める形状の図形であって、たとえば主側表示部１０の主側表示面１４の枠に、印刷または彫刻などの手法によって、表示される。マーカＰはまた、たとえば予め定める形状の部品として別途作成され、主側表示部１０の主側表示面１４の枠に取付けられてもよく、さらに主側表示面１４内に配置自在に画像で表示される図形によって実現されてもよい。

主側通信部１７は、端末装置４など、主装置３の外部機器との間の通信を行う。また端末側通信部２７は、主装置３など、端末装置４の外部機器との間の通信を行う。主側通信部１７および端末側通信部２７の間の通信は、たとえば、主装置３と端末装置４との間で必要なデータが送受可能な方式であれば、どのような通信方式が用いられてもよい。たとえば、主側通信部１７および端末側通信部２７の間の通信方式として、Ｗｉ−Ｆｉ(
Wireless Fidelity)方式、Bluetooth（登録商標）方式、ＮＦＣ(Near field
communication)方式が挙げられる。端末装置４の可搬性および携帯性を向上するために、主側通信部１７および端末側通信部２７の間の通信は、無線通信で行われることが好ましい。

端末側表示部２０の表示素子３８は、端末装置４側で情報を表示するための表示素子である。端末側表示部２０のグラフィックコントローラ３７は、動画および静止画などを含む入力された画像のデータを、表示素子３８で表示するための画像データに変換して、端末側表示部２０の表示素子３８に転送する。

端末側表示部２０の表示素子３８は、情報表示が可能な構成であれば、どのような表示方式が用いられてもよい。たとえば、端末側表示部２０の表示素子３８は、液晶ディスプレイ素子(Liquid Crystal Display：ＬＣＤ)、または有機エレクトロルミネッセンス(
Electro-Luminescence：ＥＬ)素子によって実現される。

端末側操作部２１は、操作者が文字および図形などの入力ならびに画像表示装置１の操作を行うためのユーザインタフェイス(User Interface：ＵＩ)である。具体的には、操作者が文字および図形などを入力するためのインタフェイスである。端末側操作部２１の具体例としては、キーボード、マウス、タブレット、およびタッチパネルが挙げられる。好ましくは、端末側操作部２１の１つであるタッチパネルは、操作者が操作すべき操作面が、端末側表示部２０の端末側表示面２４に積重して配置される。

端末側記憶部２６は、端末装置４で用いられるアプリケーションプログラム、入力された文字のデータ、静止画のデータ、および動画のデータなどを記憶する。また端末側記憶部２６は、端末装置４内の構成要素によって作業領域として利用されることもある。端末側記憶部２６は、揮発性または不揮発性の記憶装置によって実現される。具体的には、端末装置４側で画像表示に係る各種処理が実行される間、追加画像６のデータおよび表示予定位置７のデータが、端末側記憶部２６に一時記憶される。

端末側プログラム２８は、コンピュータを端末装置４として機能させるためのアプリケーションプログラムである。端末側プログラム２８が実行されることによって、たとえば、主装置本体４０の撮影機能、文字および図形を含む追加画像６の入力機能、ならびに追加画像６のデータを主装置３に送信する機能が実現する。

撮影部２３は、撮影対象を静止画および動画で撮影して、その画像データを作成することができるカメラであって、撮影方式は、どのような方式が用いられてもよい。

前記画像表示装置１における主装置３および端末装置４を用いる画像表示手順は、以下の通りである。最初に、主側表示部１０の主側表示面１４の被処理領域１５に表示すべき追加画像６のデータが、端末側制御部２２によって準備される。被処理領域１５は、主側表示部１０の主側表示面１４の少なくとも一部分である。

次いで、端末側制御部２２は、被処理領域１５の形状と相似する形状の相似図形２５を、端末側表示部２０の端末側表示面２４に表示させる。続いて、端末側制御部２２は、端末側表示面２４内の相似図形２５内に含まれる位置を、端末側操作部２１を用いて操作者に指示させる。

続いて、端末側制御部２２は、端末側表示面２４内の相似図形２５の位置と端末側表示面２４内の指示された位置との相対関係に基づいて、追加画像６の主側表示面１４内の表示予定位置７を定める。

次いで、追加画像６のデータおよび表示予定位置７のデータは、端末側制御部２２から主側制御部１２に与えられる。最後に、端末装置４から与えられた追加画像６のデータおよび表示予定位置７のデータに基づき、主側制御部１２が、主側表示部１０の主側表示面１４内の被処理領域１５内の表示予定位置７に、追加画像６を表示させる。

これによって、画像表示装置１は、主装置３の主側表示面１４内の端末装置４で指定された表示予定位置７に、端末装置４から送信された追加画像６を表示することができる。

上述した画像表示装置１において、追加画像６のデータの送信から追加画像６の表示予定位置７の設定までの一連の処理を、端末装置４が独立して実行する。これに対し、前述した特許文献２の従来技術では、追加画像６のデータの準備を端末装置４が独立して実行し、主側表示面１４への位置特定用の初期画像の表示を主装置３が実行し、初期画面の一部分の撮影および表示予定位置７である貼付け位置の設定を端末装置４が実行する。

このような従来技術に比べて、本実施形態は、主装置３に対して端末装置４が独立して実行する処理が多く、動作の独立性が高い。これによって、従来技術よりも本実施形態の画像表示装置１の操作上の自由度が高くなり、画像表示装置１の使い勝手を向上することができる。

たとえば、画像表示装置１は、１つの主装置３と複数の端末装置４とを備える構成であるとき、追加画像６の取込みおよび表示予定位置７の設定を各端末装置４がそれぞれ独立して実行し、各端末装置４で準備された追加画像６および表示予定位置７のデータを、１つの主装置３に送信して処理させることが可能である。これによって、たとえば、画像表示装置１を会議などにおける電子ホワイトボードシステムとして利用する状況下において、複数の参加者に端末装置４をそれぞれ配布して、各参加者に個々に情報を書込ませることが可能であり、かつ、個々の参加者が手元の端末装置４に情報を書込むタイミングが参加者相互に被っていても、各参加者が任意に書込み作業を支障なく行うことができるので、使い勝手が向上された電子ホワイトボードシステムを実現することができる。

また、前述の特許文献２の従来技術の画像表示システムでは、追加画像６の表示予定位置７の指定のために、操作者が主側表示面１４に対して携帯端末を近接離反させ、あるいは上下左右に移動させて、主側表示面１４に表示される初期画面の所望の一部分を、端末装置４側のカメラで撮影している。このため、操作者が表示画面に対して携帯端末を大きく移動させる必要があるため、操作者の操作が煩雑になる。

これに対して、画像表示装置１は、端末側表示面２４に表示中の被処理領域１５の相似図形２５内の位置を端末側操作部２１の操作によって指定するので、操作者は端末側表示面２４を見ながら端末側操作部２１を操作すればよく、端末装置４を振回す必要はない。これによって、従来技術に比べて本実施形態は、表示予定位置７の指定時の操作者の操作が簡略化される。

また、前述の特許文献２に記載される従来技術の画像表示システムでは、貼付け画像の表示予定位置７の指定のために、主側表示面１４の最新の表示内容を一旦消去して初期画面を表示する。これによって従来技術の画像表示システムでは、表示予定位置７の指定時に直近の主側表示面１４の表示内容を操作者が目視確認することが難しい。これに対し、本実施形態の画像表示装置１においては、端末装置４側での表示予定位置７の指定手順実行中も主側表示面１４の直近の表示内容が保持されるため、操作者が直近の表示内容を確認しながら表示予定位置７の指定手順を進めることができる。これによって、従来技術に比べて本実施形態の画像表示装置１は、使い勝手が向上される。

画像表示装置１において、表示予定位置７の指定時に端末側表示面２４に表示される被処理領域１５の相似図形２５は、たとえば、端末装置４の端末側記憶部２６に予め形状が記憶されている。端末装置４に撮影部２３が含まれるとき、好ましくは、被処理領域１５の相似図形２５として、主装置３の主側表示面１４の撮影部２３による撮影画像の中から主側表示面１４の写る部分を抽出した図形が用いられる。

このために、端末装置４に撮影部２３が含まれるとき、詳しくは、相似図形２５内の位置の指示に先立って、以下の手順で、前述した被処理領域１５の相似図形２５が表示される。最初に、端末側制御部２２が、主側表示面１４の被処理領域１５を含む撮影範囲内の画像を、撮影部２３に撮影させる。次いで、端末側制御部２２が、撮影部２３によって撮影された画像から、被処理領域１５の相似図形２５を抽出する。最後に、抽出された被処理領域１５の相似図形２５を、端末側表示部２０の端末側表示面２４に表示させる。表示後、表示された相似図形２５内の位置の指示が行われる。

これによって、画像表示装置１において、直近の主側表示面１４の被処理領域１５の表示内容が、表示予定位置７指定用の相似図形２５の内容として、端末側表示面２４に表示される。すなわち、表示予定位置７指定時に、主側表示面１４の被処理領域１５の直近の表示内容が、操作者の手元の端末側表示面２４に反映される。これによって、操作者が主側表示面１４に視線を向けることなく端末側表示面２４を目視するだけで、主側表示面１４の直近の表示内容を操作者が確認しながら追加画像６の表示予定位置７を指定することができる。したがって、画像表示装置１の使い勝手が、さらに向上される。

また画像表示装置１が被処理領域１５の形状が随時変更可能な構成であるならば、表示予定位置７の指定時に被処理領域１５を撮影抽出して得られる相似図形２５を端末側表示面２４に表示することによって、被処理領域１５の最新の形状および表示内容が端末側表示面２４の相似図形２５に常に反映される。これによって、端末側表示面２４を目視するだけで操作者が被処理領域１５の形状変化に自然に対応することが可能となり、画像表示装置１の使い勝手がさらに向上される。

また画像表示装置１において、撮影部２３による撮影画像から被処理領域１５の相似図形２５が抽出表示される状況下において、好ましくは、主装置３の主側表示部１０が、主側表示面１４の被処理領域１５を把握するための複数のマーカＰをさらに含む。前述の状況下において、主側表示面１４に複数のマーカＰが表示されるので、端末側制御部２２は、撮影部２３による撮影画像の中から複数のマーカＰを検出し、検出された複数のマーカＰが示す領域を被処理領域１５の相似図形２５として抽出することができる。

これによって、画像表示装置１において、撮影画像からの被処理領域１５の相似図形２５の抽出を、端末側制御部２２が容易かつ確実に実行することができる。たとえば、主側表示部１０の被処理領域１５が適宜変形可能であるときに、形状変更後の被処理領域１５の相似図形２５の撮影画像からの抽出が容易かつ確実になる。またたとえば、画像表示装置１の機種などの構成の変更に伴って、被処理領域１５の形状が変更されでも、機種変更後の被処理領域１５の相似図形２５の撮影画像から容易かつ確実に行うことができる。

さらにまた画像表示装置１において、撮影部２３による撮影画像から被処理領域１５の相似図形２５が抽出表示される状況下において、主側表示面１４が複数のマーカＰを含むので、端末側制御部２２は、撮影部２３による撮影画像の中から複数のマーカＰを検出し、検出された複数のマーカＰの相互の位置関係のずれ幅が予め定める許容幅以下であるとき、検出された複数のマーカＰが示す領域を被処理領域１５の相似図形２５であると判断し、該領域を相似図形２５として抽出し表示する。

これによって、画像表示装置１は、主側表示面１４の被処理領域１５の実際の形状に対する歪みが許容範囲内である該被処理領域１５の相似図形２５を、表示予定位置７の指定に用いることができる。

画像表示装置１において、主側表示面１４の相似図形２５が主側表示面１４の実際形状よりも大きく歪んでいるとき、歪んだままの相似図形２５を基準に表示可能位置や画像サイズの指定を行うと、追加画像６を実際に主側表示面１４に表示した際の位置やサイズが、操作者が望む位置やサイズに対してずれ易い。このため、画像表示装置１は、ずれを防ぐために、マーカＰを用いて相似図形２５の歪みの判定を行い、歪みが許容範囲内の相似図形２５だけを表示予定位置７の指定に用いる。これによって、主側表示面１４へ追加画像６を実際に表示した際の追加画像６の位置およびサイズなどが操作者の希望の位置およびサイズから大きくずれることを、防止することができる。これによって、画像表示装置１の使い勝手が、さらに向上される。

また画像表示装置１において、好ましくは、端末側制御部２２が、追加画像６および表示予定位置７のデータ送付に先立って、端末側表示部２０の端末側表示面２４に表示中の被処理領域１５の相似図形２５内の端末側操作部２１から指示された位置に、追加画像６を重ねて表示させる。すなわち、端末装置４において、表示予定位置７の確定前に、所謂プレビュー表示として、被処理領域１５の相似図形２５内の端末側操作部２１から指示される位置に、追加画像６が重ねて仮表示される。これによって、画像表示装置１は、主側表示面１４の表示予定位置７に追加画像６が表示される予想状態を仮表示するための所謂プレビュー表示を、端末側表示面２４で行うことができる。

画像表示装置１において、端末側表示面２４にてプレビュー表示を行う状況下では、操作者は、表示予定位置７の指定に際し、現在の位置指定に応じて主側表示部１０で追加画像６が追加表示される予想状態を把握することができるため、表示予定位置７の調整が容易であるので、画像表示装置１の使い勝手が向上する。。

また前記状況下ではプレビュー表示が端末側表示面２４で行われるので、表示予定位置７の指定のために端末側表示面２４を見ている状態から、視線を端末側表示面２４から外すことなく、前記予想状態を把握することができる。これゆえ、主側表示面１４にてプレビュー表示を行う従来技術に比べて本実施形態は、プレビュー表示を伴う表示予定位置７指定時の視点移動が少ないため、前記従来技術比べて本実施形態は、使い勝手が向上される。

また直近の主側表示面１４を撮影した画像から抽出された相似図形２５が端末側表示面２４に表示されているとき、前記状況下において、主側表示面１４の直近の表示状況に追加画像６を仮に追加表示させたプレビュー画像が表示されるため、追加画像６の追加に伴う主側表示面１４の表示内容の変更状況をより正確に操作者が把握することができる。これによって、追加画像６の追加状態を、操作者がより的確に制御することができるため、使い勝手がさらに向上される。

さらにまた画像表示装置１において、好ましくは、端末側制御部２２が、被処理領域１５内の表示予定位置７を、被処理領域１５の大きさに対する割合で表す。表示予定位置７が被処理領域１５の大きさに対する割合で表される状況下において、主側制御部１２が、端末装置４から与えられた表示予定位置７のデータと主側表示面１４の予め定める画面解像度とに基づいて、主側表示面１４の被処理領域１５内の表示予定位置７の絶対座標を算出し、主側表示面１４の被処理領域１５内の算出された絶対座標が示す位置に、追加画像６を表示させる。

このように、画像表示装置１において、表示予定位置７のデータの表記手法にとして前記割合が用いられるため、主側表示面１４の画面解像度が端末装置４からの表示予定位置７のデータの表記手法に影響を与えない。すなわち、端末側制御部２２における表示予定位置７の指定手法が、主側表示面１４の画面解像度に関わりなく、常に所定の計算手法に保たれる。これによって、主側表示面１４の画面解像度の変更が容易であるので、汎用性が向上される。

また表示予定位置７のデータの表記手法として被処理領域１５の大きさに対する割合が用いられるため、主側表示面１４の最新の画面解像度と前記割合で表現されている表示予定位置７のデータとに基づいて、追加画像６を表示すべき絶対座標を容易に取得可能である。これによって、前記絶対座標の取得の手間が軽減され、画像表示装置１の使い勝手がさらに向上される。

さらにまた画像表示装置１において、好ましくは、端末側制御部２２が、追加画像６の縮小拡大の指示を、操作者に端末側操作部２１を用いて指示させる。端末側操作部２１からの縮小拡大の指示に応答して、端末側制御部２２が、追加画像６を縮小拡大し、縮小拡大された追加画像６のデータおよび表示予定位置７のデータを、端末装置４から主装置３に与える。これによって、所望の大きさの追加画像６を主側表示部１０に表示させることができるので、画像表示装置１の使い勝手がさらに向上される。

また特許文献２に記載される従来技術の画像表示システムでは、表示予定位置７の指定のために主側表示面１４に表示される初期画面の所望の一部分を端末装置４側のカメラで撮影する際に、追加画像６の拡大縮小のために、操作者が主側表示面１４に対して携帯端末を近接離反させている。このため、操作者が表示画面に対して携帯端末を大きく移動させる必要があるため、従来技術の画像表示システムの操作がさらに煩雑になる。

これに対して、画像表示装置１は、端末側操作部２１を用いた縮小拡大の指示に応答して、追加画像６の縮小拡大を制御するので、操作者は端末側表示面２４を見ながら端末側操作部２１を操作すればよく、端末装置４を振回す必要はない。これによって、縮小拡大指示時の操作者の操作が簡略化される。これによって、画像表示装置１の使い勝手がさらに向上される。

また上述した画像表示装置１は、上述の主装置３および端末装置４を備えるコンピュータに、上述の画像表示手法を実現するための画像処理プログラムを実行させることによって、実現されてもよい。具体的は、画像表示プログラム８は、上述の追加画像６のデータを端末装置４側で撮影またはダウンロードするなどして準備させるステップと、被処理領域１５の相似図形２５を端末側表示面２４に表示させるステップと、端末側表示面２４内の相似図形２５の中の位置を端末側操作部２１から指示させるステップと、端末側表示面２４内の相似図形２５と端末側表示面２４内の指示された位置との相対関係に基づいて、追加画像６の主側表示面１４内の表示予定位置７を定めるステップと、追加画像６のデータおよび表示予定位置７のデータを端末装置４から主装置３に与えるステップと、端末装置４から与えられた追加画像６および表示予定位置７のデータに基づき、主側表示部１０の主側表示面１４内の被処理領域１５内の表示予定位置７に追加画像６を表示させるステップとを含む。

前述の画像表示プログラム８をコンピュータによって実行することによって、主側表示部１０と主側制御部１２とを備える汎用の主装置３、および端末側表示部２０と端末側操作部２１と端末側制御部２２とを備える汎用の端末装置４を含む汎用画像表示システムにおいて、画像表示装置１を実現することができる。画像表示プログラム８を汎用画像表示システムによって実行させることによって、該システムの画像表示に係る操作性を従来技術に比べて向上し、該システムの使い勝手を向上することができる。

特に、携帯電話端末などの汎用の端末装置が画像表示装置１の端末装置４として用いられるとき、操作者の手元の汎用端末装置４を用いて主装置３の主側表示面１４に表示すべき情報の入力を行うことができる。すなわち、汎用端末装置にプログラム８を実行させればよいので、専用の端末装置を用意する必要がなくなる。これによって、画像表示装置１を容易に実現することができる。

画像表示プログラム８を実行するためのコンピュータシステムとして、具体例の１つとして、たとえば、通信機能を有した電子ホワイトボード本体と通信機能を有した汎用の携帯端末とを含むコンピュータシステムが挙げられる。通信機能を有した汎用の携帯端末は、たとえば、スマートフォンなどに代表される汎用の携帯電話端末が挙げられる。

汎用の携帯端末は、一般的に、画像が表示可能な表示面を備えた表示部、表示面内の位置を指定可能な操作部、画像の撮影部２３、端末装置４内の構成要素を制御する制御部、および携帯端末の外部と通信するための通信部とを含む。このため、汎用の携帯端末に画像表示プログラム８の端末側プログラム２８をインストールして実行させることによって、端末装置４を容易に実現することができる。

また汎用の携帯端末は、表示部と撮影部と操作部とデータ送受の構成とを標準装備しているため、端末側プログラム２８実行のために構成を追加する必要がない。これによって、汎用端末装置を画像表示装置１の端末装置４として用いることは容易である。したがって、端末装置４の追加が容易であるため、画像表示装置１の使い勝手が向上される。

また同様に、汎用の電子ホワイトボード本体は、一般的に、画像が表示可能な表示面を備えた表示部、表示面内の位置を指定可能な操作部、および端末装置４内の構成要素を制御する制御部を含む。このため、本体外部と通信するための通信部を汎用の電子ホワイトボード本体にさらに備えさせ、汎用電子ホワイトボード本体に画像表示プログラム８の主側プログラム１８をインストールして実行させることによって、主装置３を容易に実現することができる。

一例としては、画像表示装置１が会議などに用いられるとき、画像表示装置１の主装置３だけが用意され、かつ、会議の参加者が個々に所有する汎用携帯端末に画像表示プログラム８の端末側プログラム２８がインストールされていれば、単一台の主装置３と会議の参加者分の端末装置４とを含む画像表示装置１が実現可能である。これによって、会議の主催側が端末装置４を参加者人数分だけ用意しなくとも、会議の参加者が個々に端末装置４を利用して、汎用端末装置を主装置３への情報入力に用いることが可能である。これによって、参加者全員分の専用端末装置４を別途用意する必要がなくなる。したがって、画像表示プログラム８の使い勝手が向上される。

画像表示装置１では、端末装置４側で用意される追加画像６のデータとして、端末装置４においてテキスト入力、手書き入力、または図形入力によって入力される文字または図形などの要素を画像化したものが用いられている。追加画像６のデータは、文字や図形などの要素を含むデータに限らず、端末装置４側で用意される画像データであれば、画像の種類や入手手法などは他のものであってもよい。たとえば、端末装置４のタッチパネルに描画された図形のデータ、端末装置４の撮影部２３で撮影された写真のデータ、外部から端末装置４にダウンロードされた既存の画像データなどが挙げられる。

図１の具体的な構成例を、以下に説明する。図１の具体例の画像表示装置１において、主装置３は、好ましくは、主側表示部１０と主側制御部１２との他に、主側操作部１１と主側記憶部１６と主側通信部１７とを含む。また端末装置４は、好ましくは、端末側表示部２０と端末側操作部２１と端末側制御部２２と撮影部２３との他に、端末側記憶部２６と端末側通信部２７とを含む。

図２は、画像表示装置１における追加画像６の貼付け手順を説明するための模式図である。

図２の貼付け手順の具体例は、画像処理プログラム８の端末側プログラム２８を汎用携帯端末にインストールして実行することによって、画像表示装置１の端末装置４が実現される構成における貼付け手順の具体例を示す。また図２の貼付け手順の具体例において、端末側操作部２１が座標を指示するための端末側操作面を有するタッチパネルによって実現されており、かつ、該端末側操作面が端末側表示部２０の端末側表示面２４に重ねられ、該タッチパネルがマルチタッチ操作に対応している構成を示す。

第１ステップとして、画像表示装置１の端末装置４が起動される。具体例としては、汎用携帯端末に予めインストールされている画像処理プログラムの端末側プログラム２８が、操作者からの指示に応答して起動される。

第２ステップとして、端末装置４起動後、画像表示装置１の主装置３に表示すべき追加画像６のデータが、端末装置４側で準備される。端末装置４側での追加画像６のデータの準備は、たとえば端末装置４が携帯電話端末である場合には、その携帯電話端末に装備されるカメラで撮像対象を撮像することによって得られた画像データであってもよく、当該携帯電話端末がインターネットを介して取得した画像データであってもよく、さらに当該該携帯電話端末に外部メモリから取り込まれた画像データであってもい。前記外部メモリは、当該該携帯電話端末と分離可能に構成される記録媒体であって、たとえば磁気テープ／カセットテープなどのテープ系の記録媒体、フロッピー（登録商標）ディスクなどの磁気ディスクのディスク系の記録媒体、フレキシブルディスク／ハードディスクなどの磁気ディスクもしくはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）／ＭＯ（Magneto
Optical disk）／ＭＤ（Mini Disk）／ＤＶＤ（Digital Versatile Disk）などの光ディスクのディスク系の記録媒体、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カードなどのカード系の記録媒体、またはマスクＲＯＭ／ＥＰＲＯＭ（Erasable
Programmable Read Only Memory）／ＥＥＰＲＯＭ（Electrically Erasable
Programmable Read Only Memory）／フラッシュＲＯＭなどの半導体メモリを含む固定的にプログラムを担持する記録媒体であってもよい。

具体例としては、図２（Ａ）に示すように、まず、操作者による端末側操作部２１の操作によって、表示すべき情報を表す文字や図形を含む図形要素が、端末装置４に入力される。図形要素の入力は、たとえば、所謂テキスト入力、手書き文字入力、および図形入力のいずれであってもよく、複数種類の入力が組合わされてもよい。図形要素の入力完了後、操作者は、図形要素入力の完了を示すために、予め用意されている決定ボタンを操作する。決定ボタンの操作に応答し、決定ボタンの操作時点までに入力された１以上の図形要素を表すデータが、追加画像６のデータとして、以後の処理で取扱われる。

追加画像６のデータは、たとえば、文字や図形を含む１以上の図形要素を表す所謂文字コードの集合であってもよく、１以上の図形要素の組合わせを画像化した画像のデータであってもよい。これらに限らず、追加画像６のデータは、端末装置４側で用意できるのであれば、たとえば、撮影部２３が撮影した画像のデータであってもよく、端末側通信部２７を介して端末装置４外部から入手した画像のデータであってもよい。この他、主側表示面１４で目視可能な画像のデータに変換可能な形式であれば、端末装置４において取扱われる追加画像６のデータの形式は、どのようなものであってもよい。

決定ボタンは、たとえば、ボタン状のアイコンとユーザインタフェイスとを組合わせたグラフィカルユーザインタフェイスで実現される。また決定ボタンは、キースイッチなどのハードウェアキーによって実現されてもよい。

第３ステップとして、追加画像６のデータ用意後、主装置３の主側表示部１０の主側表示面１４内の予め定める被処理領域１５を表す該被処理領域１５の相似図形２５が、端末装置４の端末側表示部２０の端末側表示面２４に表示される。

具体例としては、送信ボタン操作後、端末側制御部２２は、撮影部２３を自動的に起動させる。撮影部２３を起動後、たとえば図２（Ｂ）に示すように、撮影部２３が撮影可能な予め定める撮影可能範囲の画像の撮影処理と、撮影された画像からのマーカＰの検出処理とを、マーカＰが検出されるまで、端末側制御部２２が繰返し実行する。

たとえば、図２（Ｃ）に示すように、撮影部２３が撮影した最新の画像内から主側表示面１４の被処理領域１５の４隅のマーカＰが全て検出されるとき、主側表示面１４が該最新の画像内に写っていると判断され、４つのマーカＰで示される図形が被処理領域１５の相似図形２５に相当する。マーカＰの検出後、端末側制御部２２は、撮影部２３の画像撮影の更新を停止させ、撮影された最新の画像内から、４つのマーカＰで示される図形を、被処理領域１５の相似図形２５として抽出する。

相似図形２５を抽出後、端末側制御部２２は、抽出された被処理領域１５の相似図形２５を端末側表示面２４に表示させる。好ましくは、たとえば、図２（Ｄ）に示すように、端末側制御部２２は、端末側表示面２４において相似図形２５が表示可能な領域内に、該表示可能な領域内で該相似図形２５が最も大きく表示されるように、抽出された相似図形２５を縮小または拡大して表示させる。図２の例では、端末側表示面２４には前述の送信ボタンが表示されるため、該送信ボタンの表示される領域以外の残余領域が前記表示可能な領域として設定され、該表示可能な領域内で最も大きく表示される大きさで、抽出された相似図形２５が表示される。

第４ステップとして、被処理領域１５の相似図形２５の表示後、主側表示面１４内において追加画像６を貼付けるべき表示予定位置７が、操作者によって指定される。また第４ステップでは、追加画像６の縮小拡大の指定も行われる。

具体例としては、たとえば、図２（Ｅ）に示すように、主側表示面１４の被処理領域１５内の追加画像６を貼付けたい位置に当たる相似図形２５内の位置において、端末側操作部２１のタッチパネルを操作者がタップする。操作者によるタップ操作に応答して、端末側制御部２２は、タッチパネルのタップ操作された位置に対応する端末側表示面２４内の位置に、追加画像６をプレビュー表示させる。タップ操作とは、指やペンなどの指示具を用いてタッチパネルの所望の１点を押下する操作である。

追加画像６のプレビュー表示後、図２（Ｆ）に示すように、端末側制御部２２は、追加画像６のプレビュー表示に対する操作者によるドラック操作に応答して、追加画像６のプレビュー表示を端末側表示面２４内で移動させる。ドラッグ操作とは、指やペンなどの指示具を用いて、タッチパネルの１点を指示具で押下し、かつ指示具でタッチパネルの１点を押下したまま、指示具の押下位置を移動させる操作である。

また追加画像６のプレビュー表示後、図２（Ｇ）に示すように、端末側制御部２２は、追加画像６のプレビュー表示に対する操作者によるピンチ操作に応答して、追加画像６のプレビュー表示を縮小拡大させる。ピンチ操作とは、２つの指示具を用いてタッチパネルの２点をそれぞれ押下し、かつ指示具でタッチパネルの２点をそれぞれ押下したまま、各指示具の押下位置を近接または離反させる操作である。

端末側表示部２０において被処理領域１５の相似図形２５に対する追加画像６のプレビュー表示の位置および大きさが、操作者が望む被処理領域１５内の追加画像６の表示状態と相似になった時点で、操作者は、表示予定位置７および追加画像６の縮小拡大の指示完了を示すために、予め用意されている送信ボタンを操作する。

送信ボタンの操作に応答し、送信ボタンの操作時点における相似図形２５に対する追加画像６のプレビュー表示の位置が、被処理領域１５に対する追加画像６の表示予定位置７として取得される。また送信ボタンの操作時点における相似図形２５に対する追加画像６のプレビュー表示の大きさが、被処理領域１５に対する追加画像６の大きさとして取得される。取得された追加画像６の大きさには、追加画像６の縮小拡大の指示および縮小拡大の割合が反映されている。

追加画像６の表示予定位置７は、好ましくは、被処理領域１５の大きさに対する割合で示される。すなわち、被処理領域１５の内部の位置がＸ座標およびＹ座標を含む２次元座標で表される場合、被処理領域１５の左上隅の座標が（０，０）に設定され、かつ被処理領域１５の右下隅の座標が（１，１）に設定されていれば、被処理領域１５内の表示予定位置７のＸ座標データおよびＹ座標データが０以上１以下の値で表される。

第５ステップとして、表示予定位置７の指定後、追加画像６のデータおよび表示予定位置７のデータが、端末側制御部２２から主側制御部１２へ送信される。

具体例としては、たとえば、最初に、追加画像６のデータと、追加画像６の表示予定位置７のデータとが、送信すべきデータとして用意される。追加画像６のデータは、該追加画像６の内容を示す文字のコードを含むテキストデータであってもよく、画像の内容を示すベクタイメージのデータであってもよく、該追加画像６を画像化したラスタイメージのデータであってもよい。表示予定位置７のデータは、好ましくは、前述したような、被処理領域１５の大きさに対する割合で示される。

次いで端末側制御部２２は、主装置３の主側通信部１７に対する無線通信の接続要求を、端末側通信部２７を用いて無線発信する。端末側通信部２７からの無線通信の接続要求が主側通信部１７に受信されると、無線通信の接続要求に対する許可を、主側制御部１２が主側通信部１７を用いて無線発信する。これらの信号送受の結果、端末側通信部２７と主側通信部１７との間で無線通信の接続が確立される。

無線通信の接続確立後、端末側制御部２２は、追加画像６のデータおよび表示予定位置７のデータを含む送信すべきデータを、無線通信を用いて送信する。データ送信に応答し、主側制御部１２は、無線通信を用いて送信されてきた前記送信すべきデータを、受信する。

第６ステップとして、主側表示部１０の主側表示面１４の被処理領域１５内の表示予定位置７に、送信された内容および大きさの追加画像６が表示される。

具体例としては、主側制御部１２は、主側表示面１４の画面解像度と被処理領域１５の形状および大きさと送信された表示予定位置７のデータとに基づき、追加画像６を表示すべき主側表示面１４内の絶対座標を算出する。具体例としては、表示予定位置７のＸ座標データおよびＹ座標データが０以上１以下の値で表され、被処理領域１５が主側表示面１４全体である場合、表示予定位置７のＸ座標データおよびＹ座標データと主側表示面１４の画面解像度のＸ軸方向成分およびＹ方向成分との積が、表示予定位置７の絶対座標として算出される。すなわち、主側表示面１４の画面解像度が「１９２０×１０８０」であれば、表示予定位置７のＸ座標データが１９２０倍され、かつ、表示予定位置７のＹ座標データが１０８０倍される。

絶対座標算出後、主側制御部１２は、主側表示面１４内の算出された絶対座標の位置に、受信された追加画像６を、主側表示面１４に現在表示されている画像に重ねて表示する。すなわち、主側表示面１４に現在表示中の画像に追加画像６が前記絶対座標の位置で合成され、合成された画像が主側表示面に表示される。

以上の手順によって、画像表示装置１は、端末装置４で用意された追加画像６を、主装置３の主側表示面１４に表示させることができる。したがって、画像表示装置１の操作性が向上するため、画像表示装置の使い勝手が向上する。

図３は、画像表示装置１において、撮影部２３による撮影画像からマーカＰを用いて被処理領域１５の相似図形２５が抽出される状況下において、検出されたマーカＰの位置関係の判定手順を説明するための模式図である。

図３の例では、撮影部２３によって撮影された矩形の画像に、画像の四隅のいずれかを原点とするＸＹ二次元座標系が設定されており、検出されたマーカＰの位置は、撮影された画像内の二次元座標系の座標によって表されている。図３の例では、二次元座標系の原点は左上隅であり、左から右に進むほどＸ座標が増大し、上から下に進むほどＹ座標が増大する。

概略的には、撮影部２３による撮影画像から、予め定めるマーカＰの色を有する点が、マーカＰの候補点として抽出される。各候補点において、候補点を含みかつマーカＰの所定色を有する範囲の形状がマーカＰの予め定める形状であるならば、該範囲にマーカＰが写っていると判断される。４つのマーカＰが検出される場合、検出された各マーカＰの相互の位置関係のずれ幅が予め定める許容幅以下であるならば、検出された複数のマーカＰが示す領域が被処理領域１５の相似図形２５であると判断される。

詳しくは、４つのマーカＰのうち、位置を表すＸ座標Ｘ１およびＹ座標Ｙ１の両方が最小である第１マーカＰ１を基準として、残りの３つの第２〜第４マーカＰ２〜Ｐ４が以下の基準を見たす場合、第１〜第４マーカＰの相互の位置関係のずれ幅が予め定める許容幅以下であると判断される。第２マーカＰ２は、第１マーカＰ１のＸ座標Ｘ１と第２マーカＰ２のＸ座標Ｘ２とのずれ幅｜Ｘ２−Ｘ１｜が予め定めるＸ軸側ずれ幅ｄｘ以内である条件を満たす。第３マーカＰ３は、第２マーカＰ２のＹ座標Ｙ２と第３マーカＰ３のＹ座標Ｙ３とのずれ幅｜Ｙ３−Ｙ２｜が予め定めるＹ軸側ずれ幅ｄｙ以内である条件を満たす。第４マーカＰ４は、第３マーカＰ３のＸ座標Ｘ３と第４マーカＰ４のＸ座標Ｘ４とのずれ幅｜Ｘ４−Ｘ３｜が予め定めるＸ軸側ずれ幅ｄｘ以内である条件を満たす。

図３（Ａ）は、第１マーカＰ１を基準として、第２マーカＰ２〜第４マーカＰ４が全て条件を満たす例を示す模式図である。図３（Ａ）の例は、第１〜第４マーカＰ１〜Ｐ４の相互の位置関係のずれ幅が予め定める許容幅以下であると判断され、検出された第１〜第４マーカＰ１〜Ｐ４が示す領域が被処理領域１５の相似図形２５であると判断される。

これに対し、図３（Ｂ）は、第１マーカＰ１を基準として、第２マーカＰ２〜第３マーカＰ３は条件を満たすが、第４マーカＰが条件から外れている例を示す模式図である。図３（Ｂ）の例は、第１〜第４マーカＰ１〜Ｐ４の相互の位置関係のずれ幅が予め定める許容幅を超えると判断され、被処理領域１５の相似図形２５が抽出できないと判断される。

このように、画像表示装置１において、相似図形２５抽出時に、複数のマーカＰの相互の位置関係のずれ幅が許容幅以内であるときだけ、相似図形２５の抽出が許容される。すなわち、画像表示装置１は、相似図形２５の抽出時に、マーカＰを用いた相似図形２５の台形判断を行う。この結果、画像表示装置１において、主側表示面１４の実際形状よりも大きく歪んだ相似図形２５の抽出が防止される。

このような台形判断を行うのは、主側表示面１４の実際形状よりも大きく歪んでいる相似図形２５を基準に表示可能位置や画像サイズの指定を行うと、追加画像６を主側表示面１４に実際に表示する際の位置やサイズが、利用者が望む位置やサイズに対してずれ易いためである。このため、追加画像６の表示時における位置やサイズのずれを防ぐため、表示可能位置や画像サイズの指定の基準と成る相似図形２５から、歪んだ相似図形２５を排除することが好ましい。

また画像表示装置１において、マーカＰの位置関係が許容範囲外であるとき、主側表示面１４の撮影がやり直される構成になっている。撮影のやり直しに際しては、好ましくは、端末側制御部２２が、操作者に端末装置４の角度調整を促すなどの手順によって、カメラの角度調整を行う。これによって、歪んだ相似図形２５に起因する追加画像６表示時の位置などのずれが防止される。

また画像表示装置１において、マーカＰの相互の位置関係が許容範囲内にあるか否かの判定に用いられるずれの許容幅（ｄｘ，ｄｙ）は、主側表示面１４の実際形状に対して撮影画像から得られる主側表示面１４の相似図形２５の形状が歪んでいるときに、実際形状に対する相似図形２５の変形率の許容範囲などから求められる。ずれの許容幅（ｄｘ，ｄｙ）は、主装置本体４０の実際の設置状態を想定し、主装置本体４０から最も近く、かつ変形率の大きい位置から撮影部２３が主側表示面１４を撮影した状態で得られる相似図形２５を許容可能な範囲に成るように設定される。たとえば、図３（Ｃ）に示すように、主装置本体４０の前方に机などの物体４３が設置される状況下において、物体４３の側方であって主装置本体４０に最も近い位置４４から主装置本体４０を撮影して得られる相似図形２５を許容可能な許容幅が、ずれの許容幅（ｄｘ，ｄｙ）として適用される。

図４は、画像表示装置１を実現するための画像表示プログラム８において、端末装置４を実現するための端末側プログラム２８のメインルーチンを説明するためのフローチャートである。端末側プログラム２８がインストールされる端末装置４において、端末装置４で用意される追加画像６の主側表示面１４への表示が指示される状況下で、ステップＳ０からステップＳ１に進む。

ステップＳ１では、図２において第１ステップとして説明したように、操作者からの指示に応答して、画像表示装置１の端末装置４が起動される。具体例としては、汎用携帯端末に予めインストールされている画像処理プログラムの端末側プログラム２８が、操作者による操作に応答して起動される。端末側プログラム２８は、たとえば、端末装置４を実現する汎用携帯端末全体のプログラムにおいて、他のプログラムと並列実行される割込み処理として機能する。

端末装置４の起動後、ステップＳ２では、図２において第２ステップとして説明したように、画像表示装置１の主装置３に表示すべき追加画像６を、端末側制御部２２が用意する。追加画像６の用意手法としては、たとえば、図２（Ａ）で説明したように、所謂テキスト入力、手書き文字入力、および図形入力などの手法が用いられる。

追加画像６の用意後、ステップＳ３では、図２において第３ステップとして説明したように、端末側制御部２２が、主装置３の主側表示面１４内の被処理領域１５の相似図形２５を、撮影部２３が撮影した画像から抽出し、抽出された相似図形２５を端末装置４の端末側表示面２４に表示させる。相似図形２５の抽出手法としては、図２（Ｂ）〜図２（Ｃ）に示すように、撮影された画像からのマーカＰの検出と、検出されたマーカＰが示す図形の抽出とを含む。相似図形２５の表示手法としては、図２（Ｄ）に示すように、端末側表示面２４内の相似図形２５が表示可能な領域内において相似図形２５が最も大きく表示されるように、抽出された相似図形２５が縮小拡大されて表示される。

相似図形２５の抽出表示後、ステップＳ４では、図２において第４ステップとして説明したように、主側表示面１４の被処理領域１５内において追加画像６を貼付けるべき表示予定位置７を、端末側制御部２２が操作者に指定させる。また第４ステップでは、追加画像６の縮小拡大の指定も行われる。表示予定位置７の指定手順は、図２（Ｅ）〜図２（Ｇ）に示すように、端末側表示面２４に表示中の相似図形２５内で操作者が指定した位置への追加画像６のプレビュー表示と、プレビュー表示を伴う追加画像６の縮小拡大とを含む。表示予定位置７のデータは、好ましくは、被処理領域１５の大きさに対する割合で表される。

表示予定位置７の指定後、ステップＳ５では、図２において第５ステップとして説明したように、端末側制御部２２は、追加画像６のデータおよび表示予定位置７のデータを、端末側通信部２７から主装置３の主側通信部１７へ送信させる。データ送信後、ステップＳ６で端末側プログラム２８のメインルーチンが終了する。

図５は、画像表示装置１を実現するための画像表示プログラム８において、主装置３を実現するための主側プログラム１８のメインルーチンを説明するためのフローチャートである。

主装置３において、端末装置４からの追加画像６の表示が許容される状況下であれば、ステップＱ０からステップＱ１に進む。主側プログラム１８は、たとえば、主装置３全体のプログラムにおいて、他のプログラムと並列実行される割込み処理として機能する。

ステップＱ１では、主側制御部１２が、いずれかの端末装置４から送信される追加画像６のデータおよび表示予定位置７のデータを、主側通信部１７を用いて待受ける。前述の図２の第５ステップで説明したように、いずれかの端末装置４の端末側通信部２７から追加画像６のデータおよび表示予定位置７のデータが送信されたとき、送信されたデータが主側通信部１７を用いて受信される。

ステップＱ２では、主側制御部１２が、端末装置４からの追加画像６のデータおよび表示予定位置７のデータを受信したか否かを判断する。データが受信されていないと判断されるとき、ステップＱ２からステップＱ１に戻る。端末装置４からの追加画像６のデータおよび表示予定位置７のデータが受信されるまで、ステップＱ１〜ステップＱ２の処理が繰返される。ステップＱ２でデータが受信されたと判断されるとき、ステップＱ２からステップＱ３に進む。

ステップＱ３では、図２において第６ステップとして説明したように、主側制御部１２は、受信されたデータに基づき、主側表示部１０の主側表示面１４の被処理領域１５内の表示予定位置７に、送信された内容および大きさの追加画像６を、現在表示中の画像に重ねて表示させる。

画像表示後、ステップＱ３からステップＱ１に戻る。ステップＱ１からステップＱ３の処理は、端末装置４からの追加画像６の表示が許容される状況下において繰返される。この結果、１台以上の端末装置４からの追加画像６の追加表示が可能になる。以上が図５のフローチャートの処理の説明である。

以上説明した図４および図５のフローチャートの処理を端末装置４および主装置３にそれぞれ実行させることによって、画像表示装置１が機能する。これによって、画像表示装置１の動作の自由度が向上するため、画像表示装置１の使い勝手を向上させることができる。

図６は、画像表示プログラム８における図４の端末側プログラム２８のメインルーチン内のステップＳ２で実行される追加画像６の用意手順のサブルーチンを説明するためのフローチャートである。

端末側プログラム２８の実行時にステップＳ２が実行されると、ステップＢ０からステップＢ１に進む。ステップＢ１では、図２（Ａ）で説明したように、画像のデータを、端末側制御部２２が操作者に入力させる。すなわち、キーボードやタッチパネルなどの端末側操作部２１を用いて、操作者がテキストや手書き文字などを入力する。

追加画像６の入力後、ステップＢ２では、操作者は、追加画像６入力の完了を示すために、図６のサブルーチン開始時から予め用意されている決定ボタンを操作する。決定ボタンの操作に応答し、端末側制御部２２は、送信ボタンの操作時点までに入力された画像のデータを、追加画像６として、以後の処理で取扱う。追加画像６取得後、ステップＢ３でサブルーチンを終了し、図４のステップＳ３に進む。以上で、図６のサブルーチンが終了する。

図７は、画像表示プログラム８における図４の端末側プログラム２８のメインルーチン内のステップＳ３で実行される被処理領域１５の相似図形２５の抽出手順のサブルーチンを説明するためのフローチャートである。

端末側プログラム２８の実行時にステップＳ３が実行されると、ステップＣ０からステップＣ１に進む。ステップＣ１では、端末側制御部２２が、撮影部２３を起動させる。次いで、ステップＣ２では、端末側制御部２２が、撮影部２３が撮影可能な予め定める撮影可能範囲の画像を、撮影部２３に撮影される。好ましくは、図４のステップＳ２の追加画像６のデータの用意処理の後に、撮影部２３の撮影可能範囲が主装置３の主側表示面１４を含むように、操作者が撮影部２３の向きを大まかに調整しておくとよい。

ステップＣ３では、端末側制御部２２が、ステップＣ２で撮影された最新の画像から、マーカＰを検出する。ステップＣ４では、端末側制御部２２が、ステップＣ３の検出ルーチンの最新の処理結果に基づき、ステップＣ２で撮影された最新の画像からマーカＰが検出されたか否かを判断する。マーカＰが検出されていないとき、ステップＣ４からステップＣ２に戻る。マーカＰが検出されるまで、ステップＣ２〜ステップＣ４の処理が繰返される。マーカＰが検出されたとき、ステップＣ４からステップＣ５に進む。

ステップＣ５では、端末側制御部２２が、ステップＣ３で検出されたマーカＰ同士の相互の位置関係を確認する。ステップＣ６では、端末側制御部２２が、ステップＣ５の確認ルーチンの最新の処理結果に基づき、ステップＣ５で確認されたマーカＰの相互の位置関係のずれ幅が予め定める許容幅以内に有るか否かを判断する。マーカＰの相互の位置関係のずれ幅が許容幅以内であるとき、ステップＣ６からステップＣ２に戻る。マーカＰの相互の位置関係のずれ幅が許容幅以内に収まるまで、ステップＣ２〜ステップＣ６の処理が繰返される。マーカＰの相互の位置関係のずれ幅が許容幅以内に収まると判断されたとき、ステップＣ６からステップＣ７に進む。

ステップＣ７では、端末側制御部２２が、撮影部２３が撮影した最新の画像の中から、相互の位置関係が許容範囲内に収まる４つのマーカＰで示される図形を、被処理領域１５の相似図形２５として抽出する。抽出された相似図形２５は、端末側表示面２４に表示される。相似図形２５抽出後、ステップＣ８でサブルーチンを終了し、図４のステップＳ４に進む。以上で、図７のサブルーチンが終了する。これによって、現在の主装置３の表示状況を反映した相似図形２５を端末装置４が得ることができる。

図８は、画像表示プログラム８における図７の相似図形２５の抽出サブルーチン内のステップＣ３で実行されるマーカＰの検出手順のサブルーチンを説明するためのフローチャートである。端末側プログラム２８の実行時にステップＣ３が実行されると、ステップＤ０からステップＤ１に進む。

ステップＤ１では、端末側制御部２２が、ステップＣ２で撮影された最新の画像内から、色を基準にして、マーカＰの候補点を抽出する。すなわち、前記最新の画像内において、マーカＰの予め定める色を有する点が、マーカＰの候補点として抽出される。

ステップＤ２では、端末側制御部２２が、ステップＤ１で抽出された候補点に対してマーカＰの形状判定をそれぞれ行うことによって、前記最新の画像内からマーカＰを検出する。すなわち、前記最新の画像内において、候補点を含みかつマーカＰの予め定める色を有する範囲の形状がマーカＰの予め定める形状であるとき、該範囲がマーカＰであると判断される。

ステップＤ３では、端末側制御部２２が、ステップＤ２のマーカＰの検出ステップで、マーカＰが４つ以上検出されたか否かを判断する。ステップＤ３でマーカＰが４つ未満しか検出されていないと判断されるとき、ステップＤ３からステップＤ７に進む。ステップＤ７に至るとき、マーカＰが必要数検出できていないと判断されている。このとき、ステップＤ７でサブルーチンを終了し、図７のステップＣ４に進む。ステップＤ３でマーカＰが４つ以上検出されていると判断されるとき、ステップＤ３からステップＤ４に進む。

ステップＤ４において、端末側制御部２２は、検出されたマーカＰの数を判断する。検出されたマーカＰの数が４つであるとき、マーカＰが必要数検出されたと判断し、ステップＤ４からステップＤ６に進む。検出されたマーカＰの数が４つを超えるとき、マーカＰが過剰に検出されているので、ステップＤ４からステップＤ５に進む。

ステップＤ５において、端末側制御部２２は、検出された各マーカＰに対して色および形状を基準にスコアを、たとえばマーカのテンプレートを用意し、テンプレートのマーカと検出されたマーカＰとの正規化した相互相関値をスコアとしてつけ、スコアがよい上位４点のマーカＰを残し、残余の検出されたマーカＰのデータを除去する。マーカＰの絞込み後、ステップＤ５からステップＤ６に進む。ステップＤ６に至るとき、マーカＰが必要数検出できていると判断されている。必要数のマーカＰの取得後、ステップＤ６でサブルーチンを終了し、図７のステップＣ４に進む。以上で、図８のサブルーチンが終了する。

図９は、画像表示プログラム８における図７の相似図形２５の抽出サブルーチン内のステップＣ５で実行される検出されたマーカＰの位置関係の確認手順のサブルーチンを説明するためのフローチャートである。

図９の例では、図３に示すように、撮影部２３によって撮影された矩形の画像に、画像の四隅のいずれかを原点とするＸＹ二次元座標系が設定されており、検出されたマーカＰの位置は、撮影された画像内の二次元座標系の座標によって表されている。図３の例では、二次元座標系の原点は左上隅であり、左から右に進むほどＸ座標が増大し、上から下に進むほどＹ座標が増大する。

端末側プログラム２８の実行時にステップＣ５が実行されると、ステップＥ０からステップＥ１に進む。ステップＥ１では、端末側制御部２２が、検出された４つのマーカＰの中から、位置を示す２次元座標（Ｘ１，Ｙ１）のＸ座標Ｘ１およびＹ座標Ｙ１の両方が最も小さい第１マーカＰ１を探索する。

第１マーカＰ１の探索後、ステップＥ２では、検出された４つのマーカＰの中の第１マーカＰ１以外の残余のマーカＰの中から、位置を示す２次元座標（Ｘ２，Ｙ２）のＸ座標Ｘ２と第１マーカＰ１のＸ座標Ｘ１との差が予め定めるＸ軸側ずれ幅ｄｘ以内である第２マーカＰ２を、端末側制御部２２が探索する。次いでステップＥ３において、前記残余のマーカＰの中に第２マーカＰ２が存在するか否かを、端末側制御部２２が判断する。前記残余のマーカＰの中から第２マーカＰ２が探索できたとき、ステップＥ３からステップＥ４に進む。

第２マーカＰ２の探索後、ステップＥ４では、検出された４つのマーカＰの中の第１マーカＰ１および第２マーカＰ２以外の残余のマーカＰの中から、位置を示す２次元座標（Ｘ３，Ｙ３）のＹ座標Ｙ３と第２マーカＰ２のＹ座標Ｙ２との差が予め定めるＹ軸側ずれ幅ｄｙ以内である第３マーカＰ３を、端末側制御部２２が探索する。次いでステップＥ５において、前記残余のマーカＰの中に第３マーカＰ３が存在するか否かを、端末側制御部２２が判断する。前記残余のマーカＰの中から第３マーカＰ３が探索できたとき、ステップＥ５からステップＥ６に進む。

第３マーカＰ３の探索後、ステップＥ６では、検出された４つのマーカＰの中の第１マーカＰ１〜第３マーカＰ３以外の残余のマーカＰの中から、位置を示す２次元座標（Ｘ４，Ｙ４）のＸ座標Ｘ４と第３マーカＰ３のＸ座標Ｘ３との差が予め定めるＸ軸側ずれ幅ｄｘ以内である第４マーカＰ４を、端末側制御部２２が探索する。次いでステップＥ７において、前記残余のマーカＰの中に第４マーカＰ４が存在するか否かを、端末側制御部２２が判断する。前記残余のマーカＰの中から第４マーカＰ４が探索できたとき、ステップＥ７からステップＥ８に進む。ステップＥ８に至るとき、４つのマーカＰ１〜Ｐ４の相互の位置関係のずれ幅が許容幅以内であると判断される。マーカＰの位置関係の判定後、ステップＥ８でサブルーチンを終了し、図７のステップＣ６に進む。

ステップＥ３の判定においてステップＥ２時点の前記残余のマーカＰの中から第２マーカＰ２が探索されないとき、４つのマーカＰの位置関係が許容範囲外にあると判断さる。また、ステップＥ５の判定においてステップＥ４時点の前記残余のマーカＰの中から第３マーカＰ３が探索されないときも、４つのマーカＰの位置関係が許容範囲外にあると判断される。さらにまた、ステップＥ７の判定においてステップＥ６時点の前記残余のマーカＰの中から第４マーカＰ４が探索されないとき、４つのマーカＰの相互の位置関係のずれ幅が許容範囲外であると判断される。これらの場合、図９のフローチャートの以後の処理を中断して、ステップＥ３，ステップＥ５，およびステップＥ７からステップＥ９に進み、ステップＥ９で図９のフローチャートの処理が終了する。以上で、図９のサブルーチンが終了する。

以上説明したように、図８および図９のフローチャートの処理が実行されることによって、端末装置４は、歪みが許容範囲内に抑えられた相似図形２５を、マーカＰを用いて確実に得ることができる。

図１０は、画像表示プログラム８における図４の端末側プログラム２８のメインルーチン内のステップＳ４で実行される被処理領域１５の相似図形２５の表示手順および被処理領域１５の表示予定位置７の指定手順のサブルーチンを説明するためのフローチャートである。

端末側プログラム２８の実行時にステップＳ４が実行されると、ステップＦ０からステップＦ１に進む。ステップＦ１では、図２（Ｄ）に示すように、端末側表示面２４において相似図形２５が表示可能な領域内に抽出された相似図形２５が最も大きく表示されるように、端末側制御部２２が、抽出された相似図形２５を縮小または拡大して、該表示可能な領域に表示させる。

相似図形２５表示後、ステップＦ２では、相似図形２５内の位置の指示のために操作者によって端末側操作部２１が操作されたかどうかを、端末側制御部２２が確認する。たとえば端末側操作部２１が端末側表示面２４内の座標を指示するための端末側操作面を有するタッチパネルで実現されているとき、端末側操作部２１のタッチパネルの操作面がタッチされたか否かが確認される。

ステップＦ３において、端末側操作部２１への操作者による相似図形２５内の位置の指示のための操作の有無を、端末側制御部２２が判断する。相似図形２５内の位置の指示のために端末側操作部２１が操作されていないとき、ステップＦ３からステップＦ２に戻る。表示予定位置７の指示のために端末側操作部２１が操作されるまで、ステップＦ２〜ステップＦ３の処理が繰返される。ステップＦ３で相似図形２５内の位置が指示されたと判断されるとき、ステップＦ３からステップＦ４に進む。

端末側操作部２１操作後、ステップＦ４では、端末側操作部２１への操作によって指示された相似図形２５内の位置を、最新の表示予定位置７として、端末側制御部２２が保存する。たとえば、端末側表示面２４内の位置を示すための予め定める座標系が端末側表示面２４内に設定されているとき、端末側操作部２１への操作によって指示された位置を表す端末側表示面２４内の座標系の座標が、最新の表示予定位置７を示すデータとして保存される。端末側表示面２４内の座標系は、たとえば、端末側表示面２４のいずれかの隅、たとえば左上隅を原点とした２次元座標系で実現される。

表示予定位置７保存後、ステップＦ５では、追加画像６のプレビュー表示として、端末側制御部２２が、端末側操作部２１への操作によって指示された相似図形２５内の位置に、相似図形２５と重ねて、追加画像６を表示させる。追加画像６のプレビュー表示後、ステップＦ６でサブルーチンを終了し、図４のステップＳ５に進む。以上で、図１０のサブルーチンが終了する。これによって、最新の主装置３の表示状態および追加画像のプレビュー表示を端末装置４上で確認しつつ表示予定位置７を指定することができるので、画像表示装置１の使い勝手が向上する。

図１１は、画像表示プログラム８における図４の端末側プログラム２８のメインルーチン内のステップＳ５で実行される端末装置４から主装置３へのデータ送信手順のサブルーチンを説明するためのフローチャートである。

端末側プログラム２８の実行時にステップＳ５が実行されると、ステップＧ０からステップＧ１に進む。ステップＧ１では、端末側制御部２２が、端末側通信部２７を用い、図４のステップＳ３の被処理領域１５の相似図形２５の抽出処理において撮影部２３が撮影した主装置３に対して、データ送信のための通信の接続を試みる。

撮影部２３が撮影した主装置３は、たとえば、Bluetooth（登録商標）などの無指向性の通信が用いられる状況下であれば、端末装置４から見て通信が可能な範囲内に存在する主装置３を指す。撮影部２３が撮影した主装置３は、またたとえば、赤外線通信などの指向性の通信が用いられる状況下であれば、端末装置４から見て通信可能な方向かつ通信可能な範囲内に存在する主装置３を指す。

また、端末装置４の通信可能な範囲に主装置３が複数あるとき、たとえば、どの主装置３と通信を接続させるべきかを、端末側制御部２２が操作者に問合わせる。またたとえば、前述のとき、主装置３毎の固有の識別情報をマーカＰに予め埋め込んでおき、複数の主装置３のうちの前述のステップＳ３の撮影画像に写るマーカＰ内の識別情報が示す主装置３を、端末側制御部２２が選択する。識別情報には、たとえばＱＲ(Quick Response)コードに代表されるバーコードなどが用いられる。さらにまた、たとえば、前述のとき、複数の主装置３のうち前述のステップＳ３での撮影画像内の相似図形２５により似ている映像を表示しているいずれかの主装置３を、端末側制御部２２が選択する。

ステップＧ２では、端末側制御部２２が、端末側通信部２７と主側通信部１７との通信の接続に成功したか否かを判断する。通信の接続が未成功であるとき、ステップＧ３からステップＧ２に戻る。通信の接続が成功し、端末側通信部２７と主側通信部１７との間の通信が可能になるまで、ステップＧ２〜ステップＧ３の処理が繰返される。ステップＧ３で通信の接続が成功したと判断されるとき、ステップＧ３からステップＧ４に進む。

ステップＧ４では、端末側制御部２２は、追加画像６のデータおよび表示予定位置７のデータを、端末側通信部２７から主装置３の主側通信部１７へ送信させる。データ送信後、ステップＧ５でサブルーチンを終了し、図４のステップＳ６に進む。以上で、図１１のサブルーチンが終了する。これによって、画像表示装置１において、端末装置４から主装置３へのデータ送信時に、主装置３と端末装置４とが無線通信で接続される。これによって、端末装置４の自由度を向上させることができる。

図１２は、画像表示プログラム８における図５の主側プログラム１８のメインルーチン内のステップＱ３で実行される主側表示面１４への追加画像６の追加表示のサブルーチンを説明するためのフローチャートである。主側プログラム１８の実行時にステップＱ３が実行されると、ステップＨ０からステップＨ１に進む。

ステップＨ１では、表示予定位置７のデータに基づき、表示予定位置７の表現形式を、被処理領域１５の大きさに対する割合から、主側表示面１４の予め設定される座標系の絶対座標に変換する。

表示予定位置７の表現形式の変換後、ステップＨ２において、主側制御部１２が、表示面１４に現在表示中の画像の中のステップＨ１で算出された表示予定位置７の絶対座標に、端末装置４から送信された追加画像６を貼付ける。たとえば、表示予定位置７の絶対座標が示す位置で主側表示面１４に現在表示中の画像に追加画像６が重ねて表示されるように、表示予定位置７の絶対座標に基づき、現在表示中の画像のデータに追加画像６のデータが追加合成される。

データ追加後、ステップＨ３において、主側制御部１２が、主側表示部１０の主側表示面１４に表示すべき画像のデータを、追加画像６が貼付け済である前記現在表示中の画像のデータで更新する。この結果、端末装置４からのデータ受信時に表示されていた画像の表示予定位置７に追加画像６が貼付けられた状態の画像が、主側表示面１４に表示される。画像更新後、ステップＨ４で図１２のサブルーチンが終了し、図５のステップＱ３からステップＱ１に戻る。以上で、図１２のサブルーチンが終了する。

以上の処理によって、画像表示装置１は、端末装置４側で用意された追加画像６のデータを、主装置３の主側表示面１４に表示させる。これによって、画像表示装置１の操作性をさらに向上させ、使い勝手をさらに向上させることができる。

画像表示装置１および画像表示プログラム８は、本実施形態の構成要素の最良の実施形態の１つである。本実施形態の構成要素の詳細構成は、上述の作用効果が発揮可能な構成であれば、上述した構成に限らず、他の様々な構成が用いられてもよい。

１画像表示装置
３主装置
４端末装置
６追加画像
７表示予定位置
８画像処理プログラム
１０主側表示部
１１主側操作部
１２主側制御部
１４主側表示部の主側表示面
１５主側表示面の被処理領域
１６主側記憶部
１７主側通信部
１８主側プログラム
２０端末側表示部
２１端末側操作部
２２端末側制御部
２３撮影部
２４端末側表示部の端末側表示面
２５被処理領域の相似図形
２６端末側記憶部
２７端末側通信部
２８端末側プログラム
３０主側表示部のグラフィックコントローラ
３１主側表示部の表示素子
３２主側操作部の入力インタフェイス
３３主側操作部のタッチパネルインタフェイス
３４主側操作部のタッチパネル素子
３７主側表示部のグラフィックコントローラ
３８主側表示部の表示素子
４０主装置本体
４１主側コントローラ

Claims

画像を表示可能な主側表示面を備え、前記主側表示面の少なくとも一部分が追加画像を表示するための被処理領域として用いられる主側表示部、主側通信部、ならびに前記主側通信部および前記主側表示部を制御する主側制御部を含む主装置と、
画像を表示可能な端末側表示面を備える端末側表示部、前記端末側表示面内の位置を指示可能な端末側操作部、前記主側通信部と通信可能な端末側通信部、ならびに前記端末側通信部および前記端末側表示部を制御する端末側制御部を含む端末装置と、を備える画像表示装置であって、
前記端末側制御部は、前記被処理領域の形状と相似する形状の相似図形を、前記端末側表示部の端末側表示面に表示させ、前記端末側操作部から指示された前記端末側表示面内における位置と、前記端末側表示面内の前記相似図形の位置との相対関係に基づいて、前記指示された位置に対応する前記相似図形内の位置を求め、求めた位置を前記追加画像の前記主側表示面内の表示予定位置として決定し、前記表示予定位置を前記追加画像とともに、前記端末側通信部から送信させ、
前記主側制御部は、前記端末側通信部から送信された前記表示予定位置および前記追加画像を前記主側通信部に受信させ、該主側通信部によって受信した前記表示予定位置および前記追加画像に基づき、前記主側表示部の主側表示面内の被処理領域内の前記表示予定位置に、前記追加画像を表示させ、
前記端末装置は、予め定める撮影範囲内に前記主側表示面の被処理領域を含むように画像を撮影するための撮影部をさらに含み、
前記端末側制御部は、
前記撮影部によって撮影された画像から、前記被処理領域の相似図形を抽出し、
抽出された前記被処理領域の相似図形を、前記端末側表示部の端末側表示面に表示させることを特徴とする画像表示装置。
前記主側表示部は、前記主側表示面の被処理領域を示す複数のマーカをさらに含み、
前記端末側制御部は、
前記撮影された画像の中から複数のマーカを検出し、
検出された複数のマーカの相互の位置関係のずれ幅が予め定める許容幅以下であるとき、前記検出された複数のマーカが示す領域を前記被処理領域の相似図形であると判断することを特徴とする請求項１に記載の画像表示装置。
前記端末側制御部は、前記追加画像および前記表示予定位置のデータ送付に先立って、前記端末側表示部の端末側表示面に表示中の前記被処理領域の相似図形内の前記端末側操作部から指示された位置に、前記追加画像を重ねて表示させることを特徴とする請求項１または２に記載の画像表示装置。
前記端末側制御部は、前記被処理領域内の表示予定位置を、前記被処理領域の大きさに対する割合で表し、
前記主側制御部は、
前記端末装置から与えられた前記表示予定位置のデータと、前記主側表示面の予め定める画像解像度とに基づいて、前記主側表示面の被処理領域内の前記表示予定位置の絶対座標を算出し、
前記主側表示面の被処理領域内の前記算出された絶対座標が示す位置に、前記追加画像を表示させることを特徴とする請求項１〜３のいずれか１つに記載の画像表示装置。
前記端末側制御部は、
前記端末側操作部からの前記追加画像の縮小拡大の指示に応答して、前記追加画像を縮小拡大し、
縮小拡大された前記追加画像のデータおよび前記表示予定位置のデータを、前記端末装置から前記主装置に与えることを特徴とする請求項１〜４のいずれか１つに記載の画像表示装置。