JP7342501B2 - Display device, display method, program - Google Patents
Display device, display method, program Download PDFInfo
- Publication number
- JP7342501B2 JP7342501B2 JP2019141786A JP2019141786A JP7342501B2 JP 7342501 B2 JP7342501 B2 JP 7342501B2 JP 2019141786 A JP2019141786 A JP 2019141786A JP 2019141786 A JP2019141786 A JP 2019141786A JP 7342501 B2 JP7342501 B2 JP 7342501B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- area
- image
- display device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、表示装置、表示方法、及び、プログラムに関する。 The present invention relates to a display device, a display method, and a program.
タッチパネルにペンや指で手書きしたデータを表示する表示装置が知られている。表示装置には外部装置を接続できるようになっており、外部装置が出力する映像を表示できる。ユーザーは外部装置が出力する映像に重ねて又は映像の周囲にデータを手書きすることができる。映像と手書きデータはページ単位で(1画面ずつ)保存することができ、取り込まれた映像と手書きデータの画像データは、後からユーザーが再度表示することができる。 2. Description of the Related Art Display devices that display data handwritten with a pen or finger on a touch panel are known. An external device can be connected to the display device, and images output from the external device can be displayed. The user can handwrite data over or around the video output by the external device. Video and handwritten data can be saved page by page (one screen at a time), and the image data of the captured video and handwritten data can be displayed again by the user later.
表示装置に複数の外部装置を接続することも可能であり、この場合、表示装置は1つの画面を分割して生成した複数の領域に同時に複数の映像を表示する。ユーザーは領域に対し手書きすることもできるし、領域の周辺に手書きすることもできる。複数の領域に手書きした場合の手書きデータの表示方法に関する技術が知られている(例えば、特許文献1参照。)。特許文献1には、複数のドキュメントに跨って手書きされた状態で1つのドキュメントを拡大表示した場合に、書き込みの位置やサイズを調整することによって手書きデータを見切れずに表示できるようにする技術が開示されている。
It is also possible to connect a plurality of external devices to the display device, and in this case, the display device simultaneously displays a plurality of images in a plurality of areas created by dividing one screen. The user can handwrite on the area or around the area. 2. Description of the Related Art A technique related to a method of displaying handwritten data when handwritten in a plurality of areas is known (see, for example, Patent Document 1).
しかしながら、従来の技術では、複数の領域が表示されている場合にどの領域を保存するかをユーザーが選択しなければならないという問題がある。すなわち、複数の外部装置が接続された表示装置が画面を分割して同時に複数の外部装置の映像を表示した状態で映像と手書きデータを保存する場合、以下のパターンが考えられる。
(i) 外部装置の映像を1つずつ画像データとして保持する。
(ii) 表示装置が画面(ディスプレイ)に表示している全ての映像をまとめて1つの画像データとして保存する。
However, the conventional technology has a problem in that the user must select which area to save when multiple areas are displayed. That is, when a display device to which a plurality of external devices are connected divides its screen and simultaneously displays images of the plurality of external devices and stores the video and handwritten data, the following pattern can be considered.
(i) Save images from external devices one by one as image data.
(ii) All the images displayed on the screen (display) of the display device are saved together as one image data.
したがって、ユーザーが上記(i)(ii)のどちらが映像と手書きデータの保存に適しているかを検討してユーザーがパターンを選択できようにすることが考えられるが、ユーザーが選択する手間がかかるという問題がある。 Therefore, it would be possible for the user to consider which of (i) and (ii) above is more suitable for storing video or handwritten data, and then allow the user to select a pattern, but this would require a lot of effort for the user to select. There's a problem.
本発明は、上記課題に鑑み、ユーザーが選択しなくても適切な領域の映像を保存することができる表示装置等を提供することを目的とする。 SUMMARY OF THE INVENTION In view of the above-mentioned problems, it is an object of the present invention to provide a display device and the like that can store video of an appropriate area without the user having to select it.
上記課題に鑑み、本発明は、複数の外部装置から入力された映像を画面の異なる領域にそれぞれ表示する表示装置であって、前記画面に対する入力手段の接触位置に基づいてデータの入力を受け付ける接触検知部と、複数の外部装置から入力された映像を保存する場合、前記接触検知部が受け付けた前記データの位置と前記領域の位置とに基づいて、前記データが存在する前記領域を保存範囲に決定する保存範囲決定部と、前記保存範囲決定部が決定した前記保存範囲の画像データを前記画面から取得して保存するデータ保存部と、を有し、前記保存範囲決定部は、前記データが1つの前記領域にのみ存在する場合は、前記データが存在する領域のみを前記保存範囲に決定し、複数の領域に前記データが存在する場合は、前記データが存在する各領域を前記保存範囲に決定し、前記領域の外に前記データがある場合、前記データが存在する領域と前記データの外接矩形を前記保存範囲に決定し、前記画面に前記データが存在しない場合、複数の全ての領域を前記保存範囲に決定することを特徴とする。
In view of the above-mentioned problems, the present invention provides a display device that displays images input from a plurality of external devices on different areas of a screen, the display device having a touch screen that receives data input based on the contact position of an input means with respect to the screen. When storing images input from a detection unit and a plurality of external devices, the area where the data exists is set as a storage range based on the position of the data received by the contact detection unit and the position of the area. The storage range determination unit includes a storage range determination unit that determines the storage range, and a data storage unit that acquires and stores the image data of the storage range determined by the storage range determination unit from the screen, and the storage range determination unit If the data exists in only one area, only the area where the data exists is determined as the storage range; if the data exists in multiple areas, each area where the data exists is determined as the storage range. If the data exists outside the area, the area where the data exists and the circumscribing rectangle of the data are determined as the storage range, and if the data does not exist on the screen, all the multiple areas are The method is characterized in that the storage range is determined .
ユーザーが選択しなくても適切な領域の映像を保存することができる表示装置等を提供することができる。 It is possible to provide a display device or the like that can save an image of an appropriate area without the user having to select it.
<本実施形態の表示装置の表示方法>
本実施形態の表示装置は、複数の外部装置が接続された表示装置が画面を分割して同時に複数の外部装置の映像を表示した状態で映像と手書きデータを保存する場合、手書きデータが領域とどのように重なっているかによって保存範囲を決定する。
<Display method of display device of this embodiment>
In the display device of this embodiment, when a display device connected to a plurality of external devices splits the screen and simultaneously displays images of the plurality of external devices and saves the video and handwritten data, the handwritten data becomes an area. The storage range is determined based on how they overlap.
図1は、本実施形態の表示装置2が映像と手書きデータ9を保存する方法を説明する図である。図1の説明では、表示装置2に外部装置6aと外部装置6bが接続されており、画面が2つの領域に分割されている。画面に向かって左側の第1領域101に外部装置6aから入力された映像(画面A)が表示され、右側の第2領域102に外部装置6bから入力された映像(画面B)が表示されている。
FIG. 1 is a diagram illustrating how the
図1(a)では、外部装置6aから入力された映像が表示されている第1領域101にのみ手書きデータ9が存在する。この場合、表示装置2は、外部装置6aから入力された映像に対する手書きデータ9の相対位置と相対サイズを保ったまま、第1領域101の映像と手書きデータ9を保存する。例えば、第1領域101に重なっている手書きデータ9を第1領域101の映像と共に保存する。したがって、ユーザーが手書きしている領域の映像のみを保存できる。
In FIG. 1A,
なお、外部装置6bから入力された映像が表示されている第2領域102にのみ、手書きデータ9がある場合は、外部装置6bから入力された映像に対する手書きデータ9の相対位置と相対サイズを保ったまま、第2領域102の映像と手書きデータ9を保存する。
Note that if the
図1(b)では、外部装置6aから入力された映像が表示される第1領域101と外部装置6bから入力された映像が表示される第2領域102の両方に手書きデータ9が存在する。この場合、表示装置2は、第1領域101と第2領域102の映像に対する手書きデータ9の相対位置と相対サイズを保ったまま、第1領域101と第2領域102の映像と手書きデータ9を保存する。例えば、手書きデータ9を第1領域101と第2領域102の映像と共に保存する。したがって、ユーザーが手書きしている領域が複数であれば複数の映像をまとめて保存できる。
In FIG. 1B,
図1(c)では、外部装置6aから入力された映像が表示されている第1領域101、外部装置6bから入力された映像が表示されている第2領域102、及び、領域外に手書きデータ9がある。この場合、表示装置2は、第1領域101と第2領域102の映像に対する手書きデータ9の相対位置と相対サイズを保ったまま、第1領域101、第2領域102と、手書きデータ9と、を含む外接矩形602を保存する。例えば、第1領域101、第2領域102と、手書きデータ9と、を含む外接矩形602を決定して、外接矩形602内の手書きデータ9との映像を保存する。したがって、ユーザーが手書きしている領域があり、更に領域外に手書きデータ9がある場合、映像と手書きデータ9をまとめて保存できる。
In FIG. 1(c), a
このように、本実施形態の表示装置2は、
(i) 手書きデータ9が領域内に存在するかどうかを判断し、手書きデータ9が存在する領域の映像のみを保存する。
(ii) 複数の領域に手書きデータ9が存在する場合は、各領域の映像をまとめて保存する。
(iii) 領域外に手書きデータ9がある場合、映像の領域と手書きデータ9の外接矩形を保存する。
(iv) 手書きデータ9が領域内に存在しない場合、全ての映像をまとめて保存する。
In this way, the
(i) Determine whether
(ii) If
(iii) If there is
(iv) If
換言すると、表示装置2は手書きデータが存在する領域を保存範囲に決定する。こうすることで、本実施形態の表示装置2は、画面を分割して同時に複数の外部装置の映像を表示した状態で映像を保存する場合、どの映像を保存するかを選択するユーザーの手間を低減することができる。
In other words, the
<用語について>
手書きデータ9とは、ディスプレイ上でユーザーが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという。手書きデータ9は1つ以上のストロークデータを有する。
<About terms>
The
手書きデータ9には、手書きデータ9そのものだけでなく、手書きデータ9が文字認識して変換されたテキストデータ、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。
The
<システムの概要>
図2は、本実施形態の画像処理システム1の全体構成図である。なお、図2では、説明を簡略化するために、2台の表示装置2a,2b及びこれに付随する電子ペン4a,4b等を示しているだけであって、3台以上の表示装置2や電子ペン等を利用してもよい。
図2に示されているように、画像処理システム1は、複数の表示装置2a,2b、複数の電子ペン4a,4b、USBメモリ5a,5b、外部装置6a,6b、テレビ(ビデオ)会議端末7a,7b、及びPC(Personal Computer)8を有する。また、表示装置2a,2b、及びPC8は、通信ネットワークNを介して通信可能に接続されている。更に、複数の表示装置2a,2bには、それぞれディスプレイ3a,3bが設けられている。
<System overview>
FIG. 2 is an overall configuration diagram of the
As shown in FIG. 2, the
また、表示装置2aには、電子ペン4aによって生じたイベント(ディスプレイ3aに電子ペン4aのペン先、又は、電子ペン4aのペン尻のタッチ)による描画された画像を、ディスプレイ3aに表示させることができる。なお、電子ペン4aだけでなく、ユーザーの手Ha等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a上に表示されている画像を変更させることもできる。
Further, the
また、表示装置2aには、USBメモリ5aが接続可能であり、表示装置2aはUSBメモリ5aからPDF等の電子ファイルを読み出したり、表示装置2aはUSBメモリ5aに電子ファイルを記録したりすることができる。また、表示装置2aには、DisplayPort(登録商標)、DVI(Digital Visual Interface)、HDMI(登録商標。High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、外部装置6aが接続されている。ケーブル10a1はネットワークでもよい。
Further, a
そして、表示装置2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、外部装置6aに送信する。同じく、表示装置2aには、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、外部装置6a、及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、表示装置2aと通信してもよい。
Then, the
一方、表示装置2bが設置されている他の拠点では、上記と同様に、ディスプレイ3bを備えた表示装置2b、電子ペン4b、USBメモリ5b、外部装置6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。更に、ユーザーの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。
On the other hand, at other bases where the
これにより、一の拠点で表示装置2aのディスプレイ3a上に描画された画像は、他の拠点で表示装置2bのディスプレイ3b上にも表示され、逆に他の拠点で表示装置2bのディスプレイ3b上に描画された画像は、一の拠点で表示装置2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
As a result, an image drawn on the
なお、以下では、複数の表示装置2のうち任意の表示装置2を示す場合には「表示装置2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数の外部装置のうち任意の外部装置を示す場合には「外部装置6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザーの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示す。
In addition, below, when indicating
また、本実施形態では、情報処理装置の一例として、表示装置2を説明するが、これに限るものではなく、情報処理装置の他の例として、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等であってもよい。また、外部装置6の一例としてノートPCが挙げられるが、外部装置6としては、デスクトップ型PCやタブレット型PC、スマートフォン、PDA(Personal Digital Assistant)、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。なお、これら情報処理装置では表示装置2用の所定のアプリケーション(プログラム)が動作しており、アプリケーションがタッチパネルに対する接触位置に基づいて手書きデータ9を表示する。
Further, in this embodiment, the
更に、通信ネットワークNには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード(登録商標)等の各種記録メディアであってもよい。 Furthermore, the communication network N includes the Internet, a LAN (Local Area Network), a mobile phone communication network, and the like. Further, in this embodiment, a USB memory will be described as an example of a recording medium, but the present invention is not limited to this, and various recording media such as an SD card (registered trademark) may be used as other examples of the recording medium. good.
<表示装置のハードウェア構成>
図3は、表示装置2のハードウェア構成図である。図3に示されているように、表示装置2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、SSD(Solid State Drive)204、ネットワークI/F205、及び、外部機器接続I/F(Interface)206を備えている。
<Hardware configuration of display device>
FIG. 3 is a hardware configuration diagram of the
これらのうち、CPU201は、表示装置2全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、表示装置2用のプログラム等の各種データを記憶する。ネットワークI/F205は、通信ネットワークNとの通信を制御する。外部機器接続I/F206は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ5、外付け機器(マイク240、スピーカ250、カメラ260)である。
Among these, the
また、表示装置2は、キャプチャデバイス211、GPU212、ディスプレイコントローラ213、接触センサ214、センサコントローラ215、電子ペンコントローラ216、近距離通信回路219、及び近距離通信回路219のアンテナ219a、電源スイッチ222及び選択スイッチ類223を備えている。
The
これらのうち、キャプチャデバイス211は、外付けの外部装置6がディスプレイ3に表示する映像情報を静止画又は動画としてディスプレイ3に表示させる。
Among these, the
GPU(Graphics Processing Unit)212は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ213は、GPU212からの出力画像をディスプレイ3等へ出力するために画面表示の制御及び管理を行う。接触センサ214は、ディスプレイ3上に電子ペン4やユーザーの手H等が接触したことを検知する。
A GPU (Graphics Processing Unit) 212 is a semiconductor chip that specializes in graphics. The
センサコントローラ215は、接触センサ214の処理を制御する。接触センサ214は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。
接触センサ214は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ215に出力し、センサコントローラ215が、物体の接触位置である座標位置を特定する。電子ペンコントローラ216は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路219は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。
The
電源スイッチ222は、表示装置2の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類223は、例えば、ディスプレイ3の表示の明暗や色合い等を調整するためのスイッチ群である。
The
更に、表示装置2は、バスライン210を備えている。バスライン210は、図3に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
Furthermore, the
なお、接触センサ214は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部29に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ216が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
Note that the
カメラ260はテレビ会議の際に参加者を撮像するために使用されるが、参加者に限らず表示装置2の周囲の人を撮像するために使用される。カメラ260は撮像装置でなくてもよく、赤外線センサなど人検知できるセンサでもよい。また、カメラ260は周囲360度を撮像できる全天球カメラでもよい。通常の画角のカメラは比較的狭いので人の検知が困難になるおそれがあるが、全天球カメラでは広範囲の人を撮像できるので周囲の人を検知しやすい。カメラ260は人感検知センサとして使用される。
The
<表示装置の機能構成>
続いて、図4、図5を用いて、表示装置2の機能構成について説明する。なお、まずは、図4を用いて、表示装置2の全体的な機能構成について説明する。図4は、表示装置2の機能ブロック図である。
<Functional configuration of display device>
Next, the functional configuration of the
表示装置2は、図4に示されているハードウェア構成及びプログラムによって、図4に示されている各機能構成を有する。表示装置2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、表示装置2は、大きく分けて、クライアント部20及びサーバ部90の両方によって構成されている。
The
クライアント部20及びサーバ部90は、表示装置2の1台の筐体内で実現される機能である。そして、表示装置2が主催装置となる場合には、この表示装置2では、クライアント部20とサーバ部90が実現される。また、表示装置2が参加装置となる場合には、この表示装置2では、クライアント部20は実現されるが、サーバ部90は実現されない。即ち、図2において、表示装置2aが主催装置で、表示装置2bが参加装置となる場合、表示装置2aのクライアント部20は、同じ表示装置2a内に実現されたサーバ部90を介して、他の表示装置2bのクライアント部20と通信を行う。一方、表示装置2bのクライアント部20は、他の表示装置2a内に実現されたサーバ部90を介して、他の表示装置2aのクライアント部と通信を行う。
The
〔クライアント部の機能構成〕
続いて、主に図4、図5を用いて、クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有する。
[Functional configuration of client section]
Next, the functional configuration of the
このうち、映像取得部21は、ケーブル10に接続された外部装置6の出力画像(図1の映像に相当する)を取得する。映像取得部21は、外部装置6から映像を受信すると、この映像を解析して、この映像によって形成される外部装置6の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部31に出力する。
Among these, the
座標検知部22は、ディスプレイ3上でユーザーが入力手段を接触させた座標位置を検出する。ユーザーがディスプレイ3上で入力手段を連続的に移動させた軌跡が手書きデータ9である。また、この手書きデータ9をストロークという場合がある。なお、入力手段は電子ペン4又はユーザーの手Hのどちらでもよい。また、座標検知部22は、タッチされた面積も検出する。
The coordinate
自動調整部23は、表示装置2の起動時(再起動時と表現してもよい)に起動され、座標検知部22が適切な値を出力できるように、光センサ方式により座標を検知する座標検知部22がセンサーカメラの画像を処理する際のパラメータを調整する。
The
接触検知部24は、ユーザーによって生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。
The
イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、及びジェスチャ操作の各イベントに振り分ける。ここで、「ストローク描画」は、ディスプレイ3上に図5に示されている後述のストローク画像(B)が表示されている場合に、ユーザーがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
The
「UI操作」は、ディスプレイ3上に図5に示されている後述のUI画像(A)が表示されている場合に、ユーザーが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。
“UI operation” is an event in which the user presses a predetermined position with the
「ジェスチャ操作」は、ディスプレイ3上に図5に示されている後述のストローク画像(B)が表示されている場合に、ユーザーが手Hでディスプレイ3上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザーがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。
“Gesture operation” is an event in which the user touches or moves the
操作処理部26は、イベント振分部25によってUI操作と判断されたものから、イベントが発生されたUIの要素にしたがって、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断されたものに対応した操作を実行する。
The
映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として表示部29に対して表示する。表示部29はディスプレイ3により実現される表示機能を示す。また、映像重畳部28は、外部装置6等からの映像に対して、テレビ会議端末7等から送られて来た映像をピクチャーインピクチャーする。更に、映像重畳部28は、ピクチャーインピクチャーされて表示部29の一部に表示された映像を、表示部29の全体に表示させるための切り替えを行う。
The
画像処理部30は、図5に示されているような各画像レイヤの重畳処理等を行う。この画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部40、ページデータ記憶部300、及び遠隔ライセンス管理テーブル310を有している。
The
このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。画像取得部31は、この画像のデータを、ページ処理部37に出力する。この画像は、図5に示されている外部装置6等からの出力画像(C)に相当する。本実施形態では出力画像(C)を映像と称している。
Among these, the
ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、画像(手書きデータ9)を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図5に示されているストローク画像(B)に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、データ管理部80に記憶される。
The
UI画像生成部33は、表示装置2に予め設定されているUI(ユーザーインターフェース)画像を生成する。このUI画像は、図5に示されているUI画像(A)に相当する。
The UI
背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。背景生成部34は、この受信したメディアデータを表示重畳部36に出力する。また、このメディアデータによる画像は、図5に示されている背景画像(D)に相当する。背景画像(D)のパターンは、無地、グリッド表示等である。
The
レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、及びUI画像生成部33(又は背景生成部34)から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
The
表示重畳部36は、レイアウト管理部35から出力されたレイアウト情報に基づき、画像取得部31、ストローク処理部32、及びUI画像生成部33(背景生成部34)から出力された各画像のレイアウトを行う。また、表示重畳部36は、外部装置6a又は6bから入力された映像を、手書きデータ9が映像の各領域とどのように重なっているかによって保存範囲を決定する。
The
ページ処理部37は、手書きデータ9を映像とは別にストローク配列データ(座標点列)として保存することができ、また、映像と共に画像データとして保存することもできる。画像データとして保存するとは、映像と手書きデータ9が重なった(合成された)1枚の画像データを生成することをいう。本実施形態では、説明の便宜上、映像と手書きデータ9が重なった1枚の画像データを生成する場合を説明する。
The
手書きデータ9を映像とは別にストローク配列データ(座標点列)として保存する場合、ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。ストローク画像(B)のデータは、ストローク配列データ(各ストロークデータ)としてページデータの一部を成す。出力画像(C)のデータは、メディアデータとしてページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。
When saving the
また、ページ処理部37は、一旦記憶されたページデータのうちのメディアデータを、背景生成部34を介して表示重畳部36に送信することで、映像重畳部28が背景画像(D)をディスプレイ3に再表示させることができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
In addition, the
即ち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読みされる。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。
That is, the data of the output image (C) displayed on the
表示重畳部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、及び、背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトにしたがって重畳する。これにより、図5に示されているように、各画像が重なってもユーザーが見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の各レイアの構成となっている。
The
また、表示重畳部36は、図5に示されている画像(C)と画像(D)を切り替えて、画像(A)及び画像(B)に対して排他的に重畳することも可能である。例えば、当初、画像(A)、画像(B)及び画像(C)が表示されている状態で、表示装置2と外部装置6等との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、画像(C)を重畳対象から外し、画像(D)を表示させることができる。この場合に、また、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
Further, the
〔サーバ部の機能構成〕
サーバ部90は、各表示装置2に設けられており、いずれの表示装置2であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、及びデータ管理部80を有している。
[Functional configuration of server section]
The
通信制御部70は、同じ表示装置2内のクライアント部20における通信制御部70、及び通信ネットワークNを介して他の表示装置2内のクライアント部20における通信制御部70との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
The
<映像の入力に応じた画面の再構成に関する表示装置の機能>
図6は、複数の映像が入力されている場合に手書きデータと領域の画面の保存に関する表示装置2の機能を示す機能ブロック図の一例である。図6は、図4に示した画像取得部31、ストローク処理部32、表示重畳部36、及び、ページ処理部37を取り出して示している。
<Display device functions related to screen reconfiguration according to video input>
FIG. 6 is an example of a functional block diagram showing the functions of the
画像取得部31は、映像取得部21が取得した映像を入力端子1,2ごとに受け付ける。図6では入力端子の数は2つである。入力端子とは上記のHDMI(登録商標)などのケーブル10a1が接続される端子である。この入力端子に映像を出力する外部装置6がそれぞれ接続されている。したがって、画像取得部31は外部装置6の数だけ映像の入力をリアルタイムに受け付け、入力端子ごとの映像を表示重畳部36にリアルタイムに送信する。
The
表示重畳部36は映像受信部11、ストローク受信部12、画面合成部13、及び、保存範囲決定部14を有している。映像受信部11は画像取得部31から、外部装置6の数分の映像を入力端子ごとにリアルタイムに受信する。ストローク受信部12はストローク処理部32から手書きデータ9を取得し、ページ(ディスプレイの全画面分)単位に保持する。
The
映像受信部11は各映像を画面合成部13に送信する。ストローク受信部12は手書きデータ9を画面合成部13に送信する。
The
画面合成部13は、各外部装置6からの映像と手書きデータ9を合成して1つのディスプレイに表示する。画面合成部13は、映像数(分割数)に応じて画面を分割する。映像数と各領域の座標の対応は予め決まっているものとする。固定でないとしても画面合成部13にとって領域ごとの座標は既知である。
映像数1→全画面(分割なし)
映像数2→2分割
映像数3→3分割
:
映像数N→N分割
画面合成部13はこのように決定した領域数(分割数)の出力画像(C)に、ストローク画像(B)を合成する。この場合の合成とは単に重ねて表示することをいう。
The
Number of
Number of videos: 2 → divided into 2 Number of videos: 3 → divided into 3:
Number of images N→N division The
保存範囲決定部14は、ユーザーによる画面の保存操作を検出した旨の通知を操作処理部26から受けると、手書きデータ9が領域とどのように重なっているかによって、保存する範囲を決定する。簡単に言えば、保存範囲決定部14は手書きデータが存在する領域を保存範囲に決定する。なお、保存範囲決定部14は、画面合成部13から取得した入力端子ごとの領域の座標を保持している。
When the storage
保存範囲決定部14が保存範囲を決定する規則は以下のとおりである。
(i) 手書きデータ9が領域内に存在するかどうかを判断し、手書きデータ9が存在する領域の映像のみを保存する。
(ii) 複数の領域に手書きデータ9が存在する場合は、各領域の映像をまとめて保存する。
(iii) 領域外に手書きデータ9がある場合、映像の領域と手書きデータ9の外接矩形を保存する。
(iv) 手書きデータ9が領域内に存在しない場合、全ての映像をまとめて保存する。
The rules by which the storage
(i) Determine whether
(ii) If
(iii) If there is
(iv) If
保存するとは、画面のデータを取り込むこと、キャプチャーすることをいう。画面合成部13が合成した出力画像(C)とストローク画像(B)が合成された画像データのうち保存範囲を電子データで保存することをいう。
Saving refers to capturing or capturing screen data. This refers to saving a storage range of the image data in which the output image (C) and the stroke image (B) synthesized by the
保存範囲決定部14が決定した保存範囲(左上コーナーと右上コーナーの座標)はページ処理部37に送出される。ページ処理部37はデータ保存部15を有する。データ保存部15は、上記のように、映像と手書きデータ9を別々に保存するのでなく、出力画像(C)とストローク画像(B)が合成された画像データを保存する。ただし、別々に保存してもよい。また、手書きデータ9そのものはページ処理部37により別途保存されている。
The storage range (coordinates of the upper left corner and the upper right corner) determined by the storage
<動作手順>
次に、図7を参照して、複数の映像が入力されている場合に画面を保存する操作をユーザーが行った場合の表示装置2の動作について説明する。図7は、手書きデータ9が領域とどのように重なっているかによって、保存する画面の範囲を決定する方法を説明するフローチャート図の一例である。図7の説明では、表示装置2の画面が2つの領域に分割されている状態であるとして説明する。第1領域101に映像を入力する外部装置6を外部装置6a、第2領域102に映像を入力する外部装置6を外部装置6bとする。
<Operating procedure>
Next, with reference to FIG. 7, the operation of the
画面が2つの領域に分割され各領域に外部装置6から入力された映像が表示されている状態で、操作処理部26が画面を保存する操作を検出した(S1)。ユーザーの操作を契機にするのでなく自動で(例えば、定期的に)保存してもよい。
The
これにより、保存範囲決定部14は、領域に関係なく画面内に手書きデータ9が存在するか否かを判断する(S2)。保存範囲決定部14は手書きデータ9の座標や領域の座標に関係なく画面合成部13が手書きデータ9を画面に表示しているか否かを判断する。すなわち、画面に対する手書きデータ9の有無を判断すればよい。
Thereby, the storage
ステップS2の判断がNoの場合、手書きデータ9がなければ保存範囲決定部14は第1領域101と第2領域102を保存すると決定する(S3)。保存範囲決定部14は第1領域101と第2領域102を含む保存範囲の座標をデータ保存部15に送出するので、データ保存部15は第1領域101と第2領域102の座標で特定される範囲の画像を保存する。
If the determination in step S2 is No, if there is no
ステップS2の判断がYesの場合、手書きデータ9があるので、外部装置6aから入力された映像が表示されている第1領域101にのみ手書きデータ9が存在するか否かを保存範囲決定部14が判断する(S4)。保存範囲決定部14は、入力端子ごとの領域の座標を保持しているので、領域ごとに手書きデータ9の有無を判断する。
If the determination in step S2 is Yes, the
手書きデータ9が外部装置6aから入力された映像が表示されていた第1領域101にすべて収まっている場合(S4のYes)、保存範囲決定部14は第1領域101のみを保存すると決定する(S5)。保存範囲決定部14は第1領域101の座標をデータ保存部15に送出するので、データ保存部15は第1領域101の座標で特定される範囲の映像と手書きデータの画像データを保存する。これにより、映像に対する手書きデータ9の相対位置と相対サイズを保つことができる(図1(a)参照)。
If all of the
手書きデータ9が外部装置6aから入力された映像が表示されている第1領域101にすべて収まっていない場合(S4のNo)、外部装置6bから入力された映像が表示されている第2領域102内にのみ手書きデータ9が存在するか否かを保存範囲決定部14が判断する(S6)。保存範囲決定部14は、入力端子ごとの領域の座標を保持しているので、領域ごと手書きデータ9の有無を判断する。
If all of the
手書きデータ9が外部装置6bから入力された映像が表示されている第2領域102にすべて収まっている場合(S6のYes)、保存範囲決定部14は第2領域102のみを保存すると決定する(S7)。保存範囲決定部14は第2領域102の座標をデータ保存部15に送出するので、データ保存部15は第2領域102の座標で特定される範囲の映像と手書きデータの画像データを保存する。これにより、映像に対する手書きデータ9の相対位置と相対サイズを保つことができる。
If all of the
手書きデータ9が外部装置6bから入力された映像が表示されている第2領域102にすべて収まっていない場合(S6のNo)、第1領域101と第2領域102内にのみ手書きデータ9が存在するか否かを保存範囲決定部14が判断する(S8)。保存範囲決定部14は、入力端子ごとの領域の座標を保持しているので、各領域について手書きデータ9の有無を判断する。
If all of the
第1領域101と第2領域102内にのみ手書きデータ9が存在する場合(S8のYes)、保存範囲決定部14は第1領域101と第2領域102を保存すると決定する(S9)。保存範囲決定部14は第1領域101と第2領域102の座標をデータ保存部15に送出するので、データ保存部15は第1領域101と第2領域102の座標で特定される範囲の映像と手書きデータの画像データを保存する(図1(b)参照)。これにより、映像に対する手書きデータ9の相対位置と相対サイズを保つことができる。
If the
第1領域101又は第2領域102以外にも手書きデータ9が存在する場合(S8のNo)、第1領域101内のみでも、第2領域102内のみでもなく手書きデータ9が存在するので、保存範囲決定部14は手書きデータ9が存在する第1領域101及び第2領域102の少なくとも一方と手書きデータ9の外接矩形を保存すると決定する(S10)。外接矩形の求め方を図8で説明する。保存範囲決定部14は第1領域101又は第2領域102の少なくとも一方の座標と手書きデータ9の座標で決定した外接矩形の座標をデータ保存部15に送出するので、データ保存部15はこの外接矩形の座標で特定される範囲の映像と手書きデータの画像データを保存する(図1(c)参照)。これにより、映像に対する手書きデータ9の相対位置と相対サイズを保つことができる。
If the
以上の処理により、複数の外部装置6が接続された表示装置2が画面を分割して同時に複数の外部装置の映像を表示した状態で映像と手書きデータ9を保存する場合、手書きデータ9が領域とどのように重なっているかによって保存範囲を決定できる。したがって、どの映像を保存するかを選択するユーザーの手間を低減することができる。
Through the above processing, when the
<手書きデータが存在する第1領域及び第2領域の少なくとも一方と手書きデータの外接矩形>
図8は、手書きデータ9が存在する第1領域101及び第2領域102の少なくとも一方と手書きデータ9の外接矩形を説明する図である。
<At least one of the first area and the second area where handwritten data exists and the circumscribing rectangle of the handwritten data>
FIG. 8 is a diagram illustrating at least one of the
まず、図8(a)では、第1領域101と領域外に手書きデータ9が存在する。このため、保存範囲決定部14は手書きデータ9の外接矩形601を決定し、第1領域101と外接矩形601の外接矩形602を保存範囲に決定する。なお、このような外接矩形602は、第1領域101と外接矩形601のうち最も右側と左側の座標、及び、最も上側と下側の座標を決定することで特定できる。
First, in FIG. 8A,
図8(b)に示す場合も、第1領域101と領域外に手書きデータ9が存在するので同様である。外接矩形602の関係上、この場合は、第2領域102の一部も保存される。
The same applies to the case shown in FIG. 8(b) because
図8(c)では、第1領域101と第2領域102と領域外に手書きデータ9が存在する。このため、保存範囲決定部14は手書きデータ9の外接矩形601を決定し、第1領域101と第2領域102と外接矩形601の、3つの矩形の外接矩形602を保存範囲に決定する。
In FIG. 8C,
なお、図8において手書きデータ9の外接矩形601を設定したのは、説明のためであって、外接矩形601を設定しなくても外接矩形602を求めることができる。
Note that the circumscribing
<まとめ>
以上説明したように、本実施形態の表示装置2は、画面を分割して同時に複数の外部装置の映像を表示した状態で映像を保存する場合、どの映像を保存するかを選択するユーザーの手間を低減することができる。
<Summary>
As explained above, the
実施例1では決定した保存範囲のみを保存した。本実施例では、保存時に手書きデータの有無にかかわらず実施例1で説明した全てのパターンで画像を保存しておき、表示する際に表示する保存範囲を決定する。 In Example 1, only the determined storage range was stored. In this embodiment, images are saved in all the patterns described in the first embodiment regardless of the presence or absence of handwritten data, and the storage range to be displayed is determined when the images are displayed.
こうすることで、手書きデータ9が領域とどのように重なっているかに応じて適切な保存範囲の画像データを表示できる。すなわち、どれか1つの外部装置6から入力された映像に対して書き込みしたい場合、全ての映像をまとめて保存した画像データでは1つの映像のサイズが小さくなるので、書き込みづらい。この場合、本実施例では、手書きデータ9が1つの領域内にしかなければ、1つの領域の画像データのみが表示されるので、手書きしやすい。
By doing so, image data in an appropriate storage range can be displayed depending on how the
また、複数の映像にまたがって手書きしたい場合、映像ごとに保存された画像データには書き込みできない。この場合、本実施例では、画面に手書きデータ9が全くないか、又は、複数の領域に手書きデータ9があれば、複数の領域をまとめて保存した保存範囲の画像データが表示されるので、複数の映像にまたがって手書きできる。
Furthermore, if you want to write by hand across multiple videos, you cannot write to the image data saved for each video. In this case, in this embodiment, if there is no
また、表示装置2が表示した画像データが、ユーザーが所望するものでない場合、ユーザーは保存されている画像データの中から表示する画像データを選択できる。
Furthermore, if the image data displayed by the
<機能について>
なお、本実施例においては、上記の実施例にて説明した図3のハードウェア構成図を援用できるものとして説明する。
<About functions>
Note that this embodiment will be described on the assumption that the hardware configuration diagram of FIG. 3 described in the above embodiment can be used.
図9は、複数の映像が入力されている場合にパターンごとに手書きデータと領域の画面を保存しておき、再度表示する表示装置2の機能を示す機能ブロック図の一例である。本実施例において、図6において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
FIG. 9 is an example of a functional block diagram showing the function of the
本実施例の表示装置2は表示制御部16を有している。また、保存範囲決定部14の機能が実施例1と異なっている。本実施例の保存範囲決定部14は、全てのパターンで画像データを保存すると決定する。すなわち、以下の4パターンで画像データを保存すると決定する。
・第1領域のみを保存
・第2領域のみを保存
・第1領域と第2領域のみを保存
・第1領域と第2領域の少なくとも一方と手書きデータ9の外接矩形を保存
手書きデータがある場合は、手書きデータと映像を含む画像データを保存する。
表示制御部16は、以下の方針で保存された画像データをディスプレイ3に表示する。
(i) 手書きデータ9が1つの領域内にのみ存在する場合はその領域の画像データを表示する。
(ii) 複数の領域に手書きデータ9が存在する場合は、各領域の映像がまとめて保存された画像データを表示する。
(iii) 領域外に手書きデータ9がある場合、手書きデータがある領域と手書きデータ9の外接矩形が保存された画像データを表示する。
(iv) 手書きデータ9が領域内に存在しない場合、全ての映像がまとめて保存された画像データを表示する。
The
- Save only the first area - Save only the second area - Save only the first and second areas - Save at least one of the first and second areas and the circumscribed rectangle of
The
(i) If the
(ii) When
(iii) If there is
(iv) If
<動作手順>
図10は、手書きデータ9が領域とどのように重なっているかによって、表示する画像データを決定する方法を説明するフローチャート図の一例である。図10の説明では図7との相違を説明する場合がある。
<Operating procedure>
FIG. 10 is an example of a flowchart diagram illustrating a method of determining image data to be displayed based on how
画面が2つの領域に分割され各領域に外部装置6から入力された映像が表示されている状態で、操作処理部が画面を保存する操作を検出した(S11)。
In a state where the screen is divided into two areas and the video input from the
これにより、保存範囲決定部14は、
・第1領域のみを保存
・第2領域のみを保存
・第1領域と第2領域のみを保存
・第1領域と第2領域の少なくとも一方と手書きデータ9の外接矩形を保存
の4パターンで保存範囲を決定し、データ保存部15に保存範囲(座標)を指示する(S12)。
As a result, the storage
- Save only the first area - Save only the second area - Save only the first and second areas - Save at least one of the first and second areas and the circumscribed rectangle of
データ保存部15は各パターンで映像のみの画像データ、又は、手書きデータと映像の画像データを保存する。なお、領域外に手書きデータ9がない場合、外接矩形を設定できないので、4番目の「第1領域と第2領域の少なくとも一方と手書きデータ9の外接矩形を保存」は行わない。
The
以下の、ステップS13、S15、S17、S19の判断方法は図7と同様でよい。
また、ステップS14では、表示制御部16が第1領域101と第2領域102が保存された画像データを表示すると決定する(S14)。これにより、ユーザーが何も手書きしていない場合は、複数の映像のどちらかにも手書きでき、両方にまたがって手書きすることもできる。
The following determination methods in steps S13, S15, S17, and S19 may be the same as in FIG. 7.
Further, in step S14, the
ステップS16では、表示制御部16が第1領域101のみ表示すると決定する(S16)。これにより、ユーザーは1つの領域のみを大きく表示して、手書きできる。
In step S16, the
ステップS18では、表示制御部16が第2領域102のみ表示すると決定する(S18)。これにより、ユーザーは1つの領域のみを大きく表示して、手書きできる。
In step S18, the
ステップS20では、表示制御部16が第1領域101と第2領域102の画像データを表示すると決定する(S20)。これにより、ユーザーが第1領域101と第2領域102に手書きした場合は、再度、表示して、複数の映像のどちらかにも手書きでき、複数の映像にまたがって手書きすることもできる。
In step S20, the
ステップS21では、表示制御部16が第1領域101又は第2領域102の少なくとも一方と手書きデータ9の外接矩形の画像データを表示すると決定する(S21)。これにより、ユーザーが領域外に手書きした場合、手書きした第1領域101又は第2領域102の少なくとも一方と、手書きデータ9を大きく表示できる。
In step S21, the
表示装置2は例えば、ステップS12で保存した各画像データをサムネイルで表示するので、ステップS14,S16,S18,S20,S21で表示された画像でない画像を表示したい場合、ユーザーはサムネイルから表示したい画像を選択して表示できる。
For example, the
<画面の表示例>
図11を用いて、手書きデータ9を含む画像データの表示方法について補足する。図11は、第1領域101と手書きデータ9を含む外接矩形104の表示方法を説明する図である。第1領域101のみ、第2領域102のみ、又は、第1領域101と第2領域102をまとめて保存した場合も同様に説明できる。
<Screen display example>
A method for displaying image data including
表示制御部16は、まず、データ保存部15が保存した第1領域101と外接矩形103を含む外接矩形104の画像データを読み出す。
The
この外接矩形104のアスペクト比は全画面(又はディスプレイ3)のそれと同じとは限らないので、表示制御部16は縦又は横方向に余白を設定するとよい。第2領域102に手書きデータ9がない状況を考慮すると、外接矩形104は全画面よりも縦長であるため、横方向に余白が設定される場合が多い。例えば、外接矩形104の高さをH1、幅をW1とすると、W1/H1が全画面のアスペクト比と同じになるように余白を追加してW1を大きくする。
Since the aspect ratio of this circumscribed rectangle 104 is not necessarily the same as that of the entire screen (or display 3), the
図11(a)では説明の便宜上、アスペクト比が一致した状態の外接矩形104の高さをH1、幅をW1とする。また、全画面の高さをH2、幅をW2とする。したがって、最大化のための拡大率はR2=H2/H1=W2/W1である。 In FIG. 11A, for convenience of explanation, the height of the circumscribed rectangle 104 with the same aspect ratio is assumed to be H1, and the width thereof is assumed to be W1. Further, the height of the entire screen is assumed to be H2, and the width is assumed to be W2. Therefore, the magnification factor for maximization is R2=H2/H1=W2/W1.
次に、外接矩形104の座標変換を説明する。原点(0,0)を全画面の左上コーナーとし、保存時の外接矩形104の左上コーナーの座標を(E,F)とする。再表示時には外接矩形104の左上コーナーの座標が全画面の原点と一致するものとする。このため、外接矩形104内の任意の点の座標(x1,y1)を外接矩形104の左上コーナーの座標(E,F)を原点とした場合の座標に変換する。(x1,y1)の変換後の座標(X1,Y1)は以下になる。
X1=x1-E
Y1=y1-F
X1、Y1を最大化するための拡大率R2で拡大すると、分割の解除後の座標(X2,Y2)が得られる(図11(b))。
X2=R2・X1
Y2=R2・Y1
なお、図11の説明は、保存された画像データが元の座標を保持している場合の説明であり、保存された画像データが元の座標を保持していない場合(どのような外接矩形であって左上コーナーの座標が(0,0)になっている)場合、単に拡大率R2で拡大すればよい。
Next, coordinate transformation of the circumscribed rectangle 104 will be explained. The origin (0,0) is the upper left corner of the entire screen, and the coordinates of the upper left corner of the circumscribed rectangle 104 at the time of saving are (E,F). When redisplaying, it is assumed that the coordinates of the upper left corner of the circumscribed rectangle 104 coincide with the origin of the entire screen. Therefore, the coordinates (x1, y1) of an arbitrary point within the circumscribed rectangle 104 are converted into coordinates when the coordinates (E, F) of the upper left corner of the circumscribed rectangle 104 are set as the origin. The coordinates (X1, Y1) after converting (x1, y1) are as follows.
X1=x1-E
Y1=y1-F
By enlarging at the enlargement rate R2 to maximize X1 and Y1, the coordinates (X2, Y2) after the division is canceled are obtained (FIG. 11(b)).
X2=R2・X1
Y2=R2・Y1
The explanation of FIG. 11 is for the case where the saved image data retains the original coordinates, and the explanation for the case where the saved image data does not retain the original coordinates (what kind of circumscribed rectangle) (and the coordinates of the upper left corner are (0, 0)), it is sufficient to simply enlarge at the enlargement rate R2.
<まとめ>
本実施例によれば、手書きデータ9が領域とどのように重なっているかに応じて適切な保存範囲の画像データを表示できる。
<Summary>
According to this embodiment, image data in an appropriate storage range can be displayed depending on how the
本実施例では、
(条件1)
・1つのストロークが複数の領域にまたがっているか?
・複数の領域への手書きデータ9の書き込み時刻の差が一定時間内か?
に応じて、表示する画像データを変更する表示装置2について説明する。
In this example,
(Condition 1)
・Does one stroke span multiple areas?
- Is the difference in writing times of
The
また、本実施例では、
(条件2)
・最後の手書きが第2領域102の映像内に存在するか?
・最後に接続して表示したのが第2領域102の映像か?
・第2領域102の映像が変化していないか?
に応じて、表示する画像データを変更する表示装置2について説明する。
Furthermore, in this example,
(Condition 2)
- Does the last handwriting exist in the image of the
- Is the video of the
- Has the image in the
The
条件1により、第1領域101と第2領域102をまとめて表示するかどうかをより精度よく判断できる。また、第1領域101と第2領域102をまとめて表示しない場合に、条件2により、第1領域101と第2領域102のどちらの画像データを表示するかを判断できる。
なお、本実施例においては、上記の実施例にて説明した図3のハードウェア構成図、及び、図9の機能ブロック図を援用できるものとして説明する。 Note that this embodiment will be described on the assumption that the hardware configuration diagram of FIG. 3 and the functional block diagram of FIG. 9 described in the above embodiment can be used.
<動作手順>
図12は、手書きデータ9が領域とどのように重なっているかによって、表示する画像データを決定する方法を説明するフローチャート図の一例である。図12の説明では図10との相違を説明する場合がある。
<Operating procedure>
FIG. 12 is an example of a flowchart diagram illustrating a method of determining image data to be displayed based on how
図12では図10のステップS19に相当するステップS19-2の判断条件が図10と異なり、また、ステップS22の判断が追加されている。 In FIG. 12, the determination conditions in step S19-2, which corresponds to step S19 in FIG. 10, are different from those in FIG. 10, and the determination in step S22 is added.
まず、ステップS19-2で表示制御部16は、「第1領域と第2領域内のみ」という条件に加え、条件1を判断する(S19-2)。条件1は上記のように、
(i) 1つのストロークが複数の領域にまたがっているか?
(ii) 複数の領域への手書きデータ9の書き込み時刻の差が一定時間内か?
のいずれか又は両方である。
First, in step S19-2, the
(i) Does one stroke span multiple areas?
(ii) Is the difference in writing times of
Either or both.
ステップS19-2の判断がYesの場合、表示制御部16は第1領域101と第2領域102がまとめて保存された画像データを表示する(S20)。ステップS19-2の判断がNoの場合、処理はステップS22に進む。
If the determination in step S19-2 is Yes, the
(i)の判断について図13を用いて説明する。図13ではストローク611が第1領域101と第2領域102の境界613を跨いでいる。表示制御部16は、ストローク611を構成する座標点612を順番に取りだし、第1領域101と第2領域102の境界613のX座標を超えた場合に、1つのストローク611が複数の領域にまたがっていると判断する。
The determination in (i) will be explained using FIG. 13. In FIG. 13, a
手書きデータ9が複数の映像にまたがっていない場合、各映像に対して個別に手書きしたいとユーザーが考えると推測される。したがって、(i)の判断により、第1領域101と第2領域102をまとめて保存した画像データを表示してしまい、ユーザーが別の映像を選択する手間を削減できる。
If the
(ii)の判断について図14を用いて説明する。図14(a)はストローク配列データの一例を示す。図14に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。 The determination in (ii) will be explained using FIG. 14. FIG. 14(a) shows an example of stroke array data. As shown in FIG. 14, one stroke array data is represented by a plurality of stroke data. One stroke data includes a stroke data ID for identifying this stroke data, a start time indicating the time when writing one stroke starts, an end time indicating the time when writing one stroke ends, a color of the stroke, It shows coordinate array data ID for identifying the width of the stroke and the array of passing points of the stroke.
更に、この座標配列データは、図14(b)に示されているように詳細な情報を示している。図14(b)は、座標配列データを示す概念図である。図14(b)に示されているように、座標配列データは、ディスプレイ上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開始時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、図14(b)に示されている1点の集まりが、図14に示されている1つの座標配列データで示されている。例えば、ユーザーが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
Furthermore, this coordinate array data shows detailed information as shown in FIG. 14(b). FIG. 14(b) is a conceptual diagram showing coordinate array data. As shown in FIG. 14(b), the coordinate array data consists of one point (X coordinate value, Y coordinate value) on the display, and the time difference from the stroke start time when passing this one point. (ms) and information on the writing pressure of the
表示制御部16は、ストロークデータが第1領域101と第2領域102のどちらに属するかを座標に基づいて判断し、第1領域101のストロークデータの開始時刻又は終了時刻と、第2領域102のストロークデータの開始時刻又は終了時刻の差が最も小さい時間を算出する。そしてこの差が閾値未満の場合、条件1が成立すると判断する。
The
手書きデータ9を手書きした時刻が領域ごとで大きく異なる場合、ユーザーが領域ごとに手書きした可能性が高いと考えられる。したがって、(ii)の判断により、各映像に対して個別に手書きしたいと考えるユーザーに対して、第1領域101と第2領域102をまとめて保存した画像データを表示してしまい、ユーザーが別の映像を選択する手間を削減できる。
If the time at which the
条件2は上記のように、
(iii) 最後の手書きが第2領域102の映像内に存在するか?
(iv) 最後に接続して表示したのが第2領域102の映像か?
(v) 第2領域102の映像が変化していないか?
のいずれか又は2つ以上である。
(iii) Does the last handwritten note exist in the image of the
(iv) Was the video of the
(v) Has the image in the
Any one or two or more of the following.
条件2がYesの場合、表示制御部16は第2領域102のみの画像データを表示すると決定し、条件2がNoの場合、表示制御部16は第1領域101のみの画像データを表示すると決定する。
If
(iii)の判断について図14を用いて説明する。各ストロークデータは開始時刻又は終了時刻を有しているので、最も終了時刻が遅い手書きデータ9が第2領域102に存在するか否かを表示制御部16が判断する。(iii)が成立する場合、ユーザーは引き続き第2領域102に手書きしたいと考えられる。(iii)の判断がYesの場合、表示制御部16は第2領域102を表示すると決定するので、最後の手書きデータ9が存在する第2領域102の画像データを表示することができる。
The determination in (iii) will be explained using FIG. 14. Since each stroke data has a start time or an end time, the
(iv)の判断は、2つの入力端子のうち、第2領域102に表示する外部装置6aが、第1領域101に表示する外部装置6bよりも後に入力端子に接続されたか(表示されたか)という判断である。このため、映像受信部11は入力端子への外部装置6の接続順を記録しておく。ユーザーは手書きするために後から接続した外部装置6から入力された映像に手書きする場合があり、最後に接続して表示した映像に対してユーザーが手書きする場合、第2領域102の画像データを表示することができる。
The determination in (iv) is whether the
(v)の判断は、第2領域102の映像が変化しているかという判断である。映像が変化している場合は、映像に対する手書きデータ9としては意味をなさない。このため映像が変化している第2領域102に対する手書きデータ9は表示する必要性が低い。したがって第2領域102の映像が変化している場合は第1領域101のみの画像データを表示し、変化してない場合は第2領域102のみの画像データを表示することで、ユーザーが手書きしたい領域の画像データを表示することができる。
The determination (v) is a determination as to whether the image in the
なお、変化しているか否かは、時刻tとt+1の、第2領域102の映像の画素値の差の二乗和を算出し、閾値と比較することで判断できる。
Note that whether or not there has been a change can be determined by calculating the sum of squares of the difference in pixel values of the video of the
<条件1、条件2のユーザー設定>
図15に示すように、本実施例の条件1,条件2はユーザーが設定してもよい。図15は、表示装置2に表示された条件1,条件2の設定画面の一例である。
<User settings for
As shown in FIG. 15,
図15に示すように、条件1,条件2のそれぞれの先頭にチェックボックス630が表示されており、ユーザーは1つ以上の条件1を選択でき、1つ以上の条件2を選択できる。
As shown in FIG. 15, a
<まとめ>
したがって、本実施例によれば、条件1により、第1領域101と第2領域102をまとめて表示するかどうかをより精度よく判断できる。また、第1領域101と第2領域102をまとめて表示しない場合に、条件2により、第1領域と第2領域のどちらの画像データを表示するかを判断できる。
<Summary>
Therefore, according to the present embodiment, it is possible to more accurately determine whether to display the
実施例1では、タッチパネル方式の表示装置2を説明したが、本実施例ではプロジェクター投影方式の表示装置2を説明する。なお、本実施例のようなプロジェクター投影方式の表示装置2の一例については特許文献2に記載がある。
In the first embodiment, a touch panel
図16は、本実施例に係るプロジェクターを使用した表示装置2の構成例を示す図である。表示装置2は、スクリーンSCの上方に設置されたプロジェクター400に、外部装置6が接続されている。
FIG. 16 is a diagram showing a configuration example of a
プロジェクター400は、画像出力装置としての外部装置6から送信される画像データを受信して、この画像データに基づく画像を投射面としてのスクリーンSCに投射する。プロジェクター400は短焦点型であって、スクリーンSCの直上に設置され、斜め下方に向けて画像を投射する。
プロジェクター400は、外部装置6から送信された画像データに基づく画像を投射するだけでなく、プロジェクター400内部に記憶している画像データに基づく画像、及び、プロジェクター400の内部において後述するように生成した画像を、スクリーンSCに投射することができる。
The
プロジェクター400は、外部装置6から受信した画像データが静止画像データであっても動画像(映像)データであっても投射できる。また、スクリーンSCは壁面に固定された平板に限らず、壁面自体をスクリーンSCとして使用することも可能である。
The
表示装置2は、プロジェクター400が画像を投射するスクリーンSC上で、入力手段402を用いて操作を行うことが可能である。入力手段402は、例えばペン型のデバイスであり、ユーザーは入力手段402を手に持って、先端をスクリーンSCに押しつけるように使用する。入力手段402の先端には押圧操作を検出する操作スイッチ403が設けられており、ユーザーが入力手段402の先端をスクリーンSCに押し付けた場合に、操作スイッチ403がオンになる。ユーザーは、スクリーンSC上の任意の位置で入力手段402の尖端をスクリーンSCに押しつけることで、位置指示操作を行う。
The
プロジェクター400は、スクリーンSC上における入力手段402の位置を検出する機能を有する。ユーザーが位置指示操作を行った場合に、入力手段402の先端がスクリーンSCに接した位置を、指示位置として検出する。
The
表示装置2は、ユーザーが入力手段402により行った位置入力操作を受け付けて、この操作を投射画像に反映させる。具体的には、表示装置2は、ユーザーが行った位置指示操作を検出した場合に、指示位置にしたがって手書きデータ9等を描画し、描画した手書きデータ9をスクリーンSCに投射する。表示装置2は、何らかの画像をスクリーンSCに投射した状態で、この投射画像に重なるように手書きデータ9を描画することができ、何も画像を投射しない状態に移行してから画像の描画を開始することもできる。また、この機能により描画された手書きデータ9は、画像データとして保存することが可能であり、描画された画像のみを画像データとして保存することも、及び、描画時にスクリーンSCに投射されていた投射画像と共に一つの画像データとして保存することもできる。
The
ここで、表示装置2は、入力手段402の指示位置にしたがって画像を生成し、プロジェクター400により投射させる機能を、プロジェクター400が実行する「PJモード」、及び、外部装置6が実行する「PCモード」のいずれも実行可能である。「PJモード」では、プロジェクター400が入力手段402の指示位置を検出し、検出した指示位置にしたがって画像を生成し、スクリーンSCに投射する。
Here, the
また、「PCモード」では、プロジェクター400は、外部装置6から入力される画像をスクリーンSCに投射する動作を実行し、プロジェクター400は描画を行わない。PCモードでは、プロジェクター400が入力手段402の指示位置を検出して、検出した指示位置を示す操作データを外部装置6に送信する。この操作データを受信した外部装置6は、指示位置の座標に基づいて手書きデータ9を生成する描画を実行し、描画した手書きデータ9の画像を、単独で又は他の画像に重畳して表示用の画像データを生成する。外部装置6は、生成した表示用の画像データをプロジェクター400に出力する。これにより、スクリーンSCには、入力手段402の操作にしたがって描画された画像が投射される。
Furthermore, in the "PC mode", the
PJモードは、プロジェクター400を操作することにより実行可能となる。また、PCモードは、プロジェクター400をPCモードに切り換えると共に、外部装置6においてプロジェクター400を制御する機能と描画を行う機能とを実行させることで、実行可能となる。したがって、PCモードからPJモードへの切り換えはプロジェクター400の操作により行うことができ、PJモードからPCモードへの切り換えは、プロジェクター400と外部装置6の両方を操作することで行われる。
The PJ mode can be executed by operating the
また、スクリーンSCには、投射画像と共にツールバー411が投射される。ツールバー411には、プロジェクター400に各種の機能を実行させるための複数の機能ボタン412等が配置されている。入力手段402の操作により、いずれかの機能ボタン412に重なる位置が指示されると、プロジェクター400は、該当する機能ボタン412に割り当てられた機能を実行する。
Further, a
<ハードウェア構成例>
図17は、プロジェクター400のハードウェア構成図である。図17に示すように、プロジェクター400は、CPU(Central Processing Unit)801、ROM(Read Only Memory)802、RAM(Random Access Memory)803、メディアI/F(Interface)807、操作部808、電源スイッチ809、バスライン810、ネットワークI/F811、LED(Light Emitting Diode)駆動回路814、LED光源815、投写デバイス816、投写レンズ817、外部機器接続I/F(Interface)818、ファン駆動回路819、冷却ファン820を備えている。
<Hardware configuration example>
FIG. 17 is a hardware configuration diagram of the
これらのうち、CPU801は、プロジェクター400全体の動作を制御する。ROM802は、CPU801の駆動に用いられるプログラムを記憶する。RAM803は、CPU801のワークエリアとして使用される。
Of these, the
メディアI/F807は、フラッシュメモリ等の記録メディア806に対するデータの読み出し又は書き込み(記憶)を制御する。
A media I/
操作部808は、種々のキー、ボタン及びLED等が配設されており、ユーザーによるプロジェクター400の電源のON/OFF以外の各種操作を行うのに使用される。例えば、操作部808は、投写画像の大きさの調整操作、色調の調整操作、ピント調整操作、キーストン調整操作等の指示操作を受け付けて、受け付けた操作内容をCPU801に出力する。
The
電源スイッチ809は、プロジェクター400の電源のON/OFFを切り換えるためのスイッチである。
The
バスライン810は、図17に示されているCPU801等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
The
ネットワークI/F811は、インターネット等の通信ネットワークNを利用してデータ通信をするためのインターフェースである。
The network I/
LED駆動回路814は、CPU801の制御下で、LED光源815の点灯及び消灯を制御する。
The
LED光源815は、LED駆動回路814の制御によって点灯されると、投写光を投写デバイス816に照射する。
When the LED
投写デバイス816は、外部機器接続I/F818等を介して与えられた画像データに基づいて、空間光変調方式によりLED光源815からの投写光を変調して得た変調光を、投写レンズ817を通して、スクリーンの投写面へ画像として投写する。投写デバイス816としては、例えば、液晶パネル又はDMD(Digital Micromirror Device)等が用いられている。上記LED駆動回路814、LED光源815、投写デバイス816及び投写レンズ817は、全体として、画像データに基づいて投写面に投写画像を投写する投写部として機能している。
The
外部機器接続I/F818は、直接、PCが接続され、PCとの間で、制御信号や画像データを取得する。
The external device connection I/
ファン駆動回路819は、CPU801及び冷却ファン820に接続されており、CPU801からの制御信号に基づいて、冷却ファン820の駆動/駆動停止を行う。
The
冷却ファン820は、回転することで、プロジェクター400内部の空気を排気して、プロジェクター400内部を冷却する。
By rotating, the cooling
また、CPU801は、電源電力が供給されると、ROM802に予め記憶されている制御プログラムにしたがって起動し、LED駆動回路814に制御信号を与えてLED光源815を点灯させると共に、ファン駆動回路819に制御信号を与えて冷却ファン820を所定の定格回転数で回転させる。また、プロジェクター400は、電源回路からの電源電力の供給が開始されると、投写デバイス816が画像表示可能状態になり、更に、他の種々の構成要素へ電源回路から電力が供給される。
Further, when power is supplied, the
また、プロジェクター400は、電源スイッチ809がOFF操作されると、電源スイッチ809から電源OFF信号がCPU801に送られ、CPU801は、電源OFF信号を検知すると、LED駆動回路814へ制御信号を与えてLED光源815を消灯させる。CPU801は、その後、所定時間が経過すると、ファン駆動回路819へ制御信号を与えて冷却ファン820を停止させると共に、自身で自身の制御処理を終了させ、最後に電源回路へ指示を与えて電源電力の供給を停止させる。
Further, in the
<機能について>
図18は、プロジェクター型の表示装置2が有する各部の機能ブロック図である。プロジェクター400は、外部装置6やビデオ再生装置、DVD再生装置等の外部の装置に接続されるI/F(インターフェース)部405を備えている。I/F部405は、例えば、USBインターフェース、有線又は無線LANインターフェース、アナログ映像信号が入力されるVGA端子、デジタル画像データが入力されるDVI(Digital Visual Interface)、NTSC、PAL、SECAM等のコンポジット映像信号が入力されるS映像端子、コンポジット映像信号が入力されるRCA端子、コンポーネント映像信号が入力されるD端子、HDMI(登録商標)規格に準拠したHDMIコネクター等を備えている。プロジェクター400は、I/F部405が備えるLANインターフェース又はUSBインターフェースを介して外部装置6に接続される。
<About functions>
FIG. 18 is a functional block diagram of each part of the projector-
プロジェクター400は、大きく分けて光学的な画像の形成を行う投射部420と、画像データを処理する画像処理系とからなる。投射部420は、照明部421、光変調部422、及び投射部423から構成されている。照明部421は、キセノンランプ、超高圧水銀ランプ、LED(Light Emitting Diode)、レーザー光源等からなる光源を備えている。また、照明部421は、光源が発した光を光変調部422に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群(図示略)、偏光板、或いは光源が発した光の光量を光変調部422に至る経路上で低減させる調光素子等を備えたものであってもよい。
The
光変調部422は、例えばRGBの三原色に対応した3枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。照明部421からの光はRGBの3色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロックプリズム等の合成光学系によって合成され、投射部423に射出される。
The
投射部423は、投射する画像の拡大・縮小及び焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター、投射光をスクリーンSCに向けて反射する凹面鏡等を備えている。投射部423は、光変調部422で変調された画像光のズーム調整及びフォーカス調整を行って、レンズ群を通った光を凹面鏡によりスクリーンSC方向へ導き、スクリーンSC上に結像させる。投射部420には、制御部430の制御にしたがって投射部423が備える各モーターを駆動する投射光学系駆動部416、及び、制御部430の制御にしたがって照明部421が備える光源を駆動する光源駆動部414が接続されている。なお、投射部423の具体的構成は上記の例に限定されず、例えば凹面鏡を含むミラーを用いない構成により、光変調部422で変調された光をレンズによってスクリーンSCに投射し、結像させることも可能である。
The
一方、画像処理系は、プロジェクター400全体を統合的に制御する制御部430を中心に構成され、制御部430が実行する制御プログラム436、及び、制御部430が処理するデータを記憶する記憶部435、操作パネル419及びリモコン受光部418を介した操作を検出する操作検出部417、I/F部405を介して入力された入力画像を処理する画像処理部440、画像処理部440が処理した画像信号に基づいて光変調部422を駆動して描画を行う光変調装置駆動部415を備えている。
On the other hand, the image processing system is mainly configured with a
操作検出部417は、リモコン受光部418及び操作パネル419に接続されている。リモコン受光部418は、プロジェクター400のユーザーが使用するリモコンがボタン操作に対応して送信した赤外線信号を、リモコン受光部418によって受光する。リモコン受光部418は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部430に出力する。
The
操作パネル419は、プロジェクター400の外装筐体に設けられ、各種スイッチ及びインジケーターランプを有する。操作検出部417は、制御部430の制御に従い、プロジェクター400の動作状態や設定状態に応じて操作パネル419のインジケーターランプを適宜点灯或いは点滅させる。この操作パネル419のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部417から制御部430に出力される。
The
制御部430は、I/F部405から入力された映像を画像処理部440に出力する。画像処理部440は、入力された画像データをバッファリングする画像入力部441と、この画像データに対し、インターレース/プログレッシブ変換、解像度変換、色変換等の各種変換処理を適宜実行し、予め設定されたフォーマットの画像データを生成する表示制御部442と、表示制御部442により処理された画像データに基づいてフレームメモリー444にフレーム毎の画像を展開する描画処理部443と、を備えている。画像処理部440は、フレームメモリー444に展開された画像データを光変調装置駆動部415に出力する。
The
描画処理部443は、上記のPJモードにおいて、入力手段402の指示位置の座標にしたがってフレームメモリー444に展開された画像に図形の画像を加え、或いは消去する編集を行い、画像の生成又は更新を行う。これにより、入力手段402の操作に応じた図形が描画されてスクリーンSCに投射される。
In the PJ mode described above, the
一方、入力手段402は、上記した操作スイッチ403に加え、入力手段402の姿勢により出力が切り替わる姿勢スイッチ404を備えている。姿勢スイッチ404は、例えば入力手段402を水平にした状態でオフになり、入力手段402が傾いた状態でオンになるスイッチである。また、姿勢スイッチ404は、例えば、入力手段402の傾きの大きさによって抵抗値が変化するようなスイッチであってもよい。
On the other hand, the input means 402 includes, in addition to the above-mentioned
入力手段402は、赤外線信号を出力する送信部474を備えている。送信部474は、例えば赤外LED等の発光部、発光制御回路、及び電源を備えて構成される。送信部474は、入力手段402の電源がオンになっている状態で、周期的に赤外線信号を送信する。送信部474は、操作スイッチ403の操作状態(オン/オフ)、及び、姿勢スイッチ404の出力状態によって、赤外線信号を変調して送信する。送信部474は、例えば、IrDA規格に準拠した方式により操作スイッチ403のオン/オフ、及び、姿勢スイッチ404のオン/オフを示すデータを送信する。
The input means 402 includes a
プロジェクター400は、入力手段402による操作を検出する位置指示操作検出部450を備えている。位置指示操作検出部450は、撮像部451、受信部452、撮像制御部453、指示体検出部454、及び座標算出部455の各部を備えて構成される。位置指示操作検出部450は、操作検出手段、及び、姿勢検出手段として機能する。
The
撮像部451は、投射部423と同じ方向を向いて配置され、投射部423がスクリーンSC上に画像を投射する範囲をカバーする画角を有する撮像光学系、CCDやCMOSからなる撮像素子、及び、撮像素子の検出値を読み出して出力するインターフェース回路等を有する。また、撮像制御部453は、撮像部451により撮像を実行させて撮像画像データを生成する。撮像制御部453の制御により撮像部451が撮像を実行すると、スクリーンSC上に投射された画像と共に、スクリーンSC上又はその近傍で操作されている入力手段402が撮像される。
The imaging unit 451 is arranged to face the same direction as the
また、受信部452は、送信部474が送信した赤外線信号を受信してデコードし、受信データを出力する。受信部452が出力する受信データは、操作スイッチ403及び姿勢スイッチ404の操作状態を示すデータを含んでいる。
Further, the receiving
指示体検出部454は、撮像制御部453が生成する撮像画像データに基づいて、入力手段402の位置を検出する。指示体検出部454は、撮像画像データから入力手段402に似た形状を検出して入力手段402の画像を切り出す処理を実行し、入力手段402の先端が向いている方向を特定する。また、指示体検出部454は、受信部452が出力する受信データに基づいて操作スイッチ403の操作状態と入力手段402の姿勢とを検出する。これにより、指示体検出部454は、撮像画像データにおける入力手段402の位置と、入力手段402の姿勢とを特定する。
The
座標算出部455は、指示体検出部454が特定した撮像画像データにおける入力手段402の位置と入力手段402の姿勢とに基づき、入力手段402の先端がスクリーンSC上で指し示している位置の座標、すなわち指示位置の座標を算出する。ここで座標算出部455が算出する座標は、例えば、スクリーンSC上に投射部420が投射画像を投射する領域(投射領域)を基準とする座標である。座標算出部455は、算出した指示位置の座標、指示体検出部454が特定した入力手段402の姿勢、操作スイッチ403の操作状態等を示すデータを、制御部430に出力する。また、座標算出部455は、撮像部451により撮像された撮像画像データを制御部430に出力してもよい。
The coordinate
制御部430は、記憶部435に記憶された制御プログラム436を読み出して実行することにより、投射制御部431、検出制御部432、機能制御部433及び出力制御部434の各部の機能を実現し、プロジェクター400の各部を制御する。
The
投射制御部431は、操作検出部417から入力される操作データに基づいて、操作者が行った操作の内容を検出し、この操作に応じて画像処理部440、光変調装置駆動部415、投射光学系駆動部416及び光源駆動部414を制御して、スクリーンSCに画像を投射させる。また、投射制御部431は、投射光学系駆動部416を制御して、投射部423によるフォーカス調整、ズーム調整、絞り調整等を実行させる。
The
検出制御部432は、位置指示操作検出部450を制御して、入力手段402の指示位置の検出と入力手段402の姿勢の検出とを実行させ、検出された指示位置及び入力手段402の姿勢を取得する。また、検出制御部432は、位置指示操作検出部450を制御して、入力手段402が備える操作スイッチ403の操作状態を検出する。これにより、検出制御部432は、ユーザーが入力手段402を用いて操作を行ったこと、及び、操作時の入力手段402の状態を検出する。
The detection control unit 432 controls the position instruction
検出制御部432は、入力手段402の姿勢に基づき、入力手段402の操作を通常操作と特殊操作とに区別する。通常操作は、入力手段402の先端をスクリーンSCに押し当てる操作である。通常操作が行われると、指示体検出部454が撮像画像データから抽出した入力手段402の画像はスクリーンSCを向いており、かつ、操作スイッチ403がオンになる。ユーザーが描画や、ツールバー411(図16)に対する指示等を行う場合は、入力手段402による通常操作が行われる。
The detection control unit 432 distinguishes the operation of the input means 402 into a normal operation and a special operation based on the attitude of the input means 402. The normal operation is an operation of pressing the tip of the input means 402 against the screen SC. When a normal operation is performed, the image of the input means 402 extracted from the captured image data by the
特殊操作は、入力手段402を特定の姿勢にする操作である。この特定の姿勢とは、例えば、描画を行えない姿勢にする操作であり、具体的には、入力手段402の入力手段402をスクリーンSCに対して平行にする操作、入力手段402をスクリーンSCに対して平行に、かつ水平にする操作、或いは、これらの操作を行いながら入力手段402を上下あるいは左右に移動させる操作が挙げられる。他の具体的な例としては、入力手段402の末端部すなわち操作スイッチ403とは反対側の端を、スクリーンSCに向ける操作が挙げられる。これらの操作を行っている間は操作スイッチ403をスクリーンSCに押し当てることはできないので、「描画を行えない操作」に該当する。特殊操作として検出すべき入力手段402の状態と、その検出の条件は、予め設定されて記憶部435に記憶されている。
The special operation is an operation that causes the input means 402 to take a specific posture. This specific posture is, for example, an operation that makes drawing impossible, and specifically, an operation that makes the input means 402 parallel to the screen SC, and an operation that makes the input means 402 parallel to the screen SC. The input means 402 may be moved vertically or horizontally while performing these operations. Another specific example is an operation in which the distal end of the input means 402, that is, the end opposite to the
これらの操作のうち、例えば、入力手段402をスクリーンSCに対して平行にする操作、入力手段402をスクリーンSCに対して平行かつ水平にする操作は、姿勢スイッチ404の状態をもとに、通常操作と区別して検出できる。また、入力手段402の末端部をスクリーンSCに向ける操作は、撮像部451の撮像画像データから抽出した入力手段402の画像の向きに基づき、通常操作と区別して検出できる。更に、入力手段402をスクリーンSCに平行にし、或いは入力手段402をスクリーンSCに平行にして水平にした状態で、入力手段402を上下あるいは左右に移動させる操作は、姿勢スイッチ404の検出状態と、撮像部451の撮像画像データにおける入力手段402の画像とを、経時的に比較することで、通常操作とは区別して検出できる。また、特殊操作は描画ができない操作であるから、操作スイッチ403がオンになっていないことを特殊操作の検出条件に含めてもよい。このように特殊操作を検出するための具体的な条件が記憶部435に記憶されている。
Among these operations, for example, the operation of making the input means 402 parallel to the screen SC and the operation of making the input means 402 parallel and horizontal to the screen SC are normally performed based on the state of the
検出制御部432は、撮像部451の撮像画像データから指示体検出部454が検出した入力手段402の画像、操作スイッチ403や姿勢スイッチ404の検出状態等が、記憶部435に記憶された条件を満たす場合に、特殊操作を検出する。
The detection control unit 432 determines the conditions stored in the
機能制御部433は、検出制御部432が検出した入力手段402による操作と、その操作時におけるプロジェクター400の動作モードに対応して、プロジェクター400の機能の実行を制御する。
The function control unit 433 controls execution of the functions of the
表示装置2は、上記のように、入力手段402の操作に基づいてプロジェクター400が描画を行って画像を生成するPJモードと、外部装置6が描画を行って画像を生成するPCモードとを切り換えて実行する。また、PJモードにおいて、プロジェクター400は、描画を行う描画モードと、描画モードの動作に関する各種設定を行う描画設定モードとを切り換えて実行する。一方、PCモードにおいて、外部装置6は、描画を行う描画モードと、描画モードの動作に関する各種設定を行う描画設定モードと、上記のPC操作モードとを切り換えて実行する。
As described above, the
機能制御部433は、例えば、表示装置2がPJモードで動作していて、プロジェクター400が描画モードを実行中である場合に、検出制御部432が通常操作を検出すると、入力手段402の指示位置の座標を画像入力部441に出力し、描画処理部443に
よって描画を実行させる。また、プロジェクター400が描画設定モードを実行中である場合に、検出制御部432が通常操作を検出すると、機能制御部433は、入力手段402の指示位置の座標と、スクリーンSCに投射される設定用画面上のアイコン等の位置とに基づいて、この操作で指示された内容を特定して、設定等を行う。
For example, when the
機能制御部433は、表示装置2がPJモードで動作している場合に検出制御部432が特殊操作を検出すると、通常操作とは異なる機能を実行する。描画モード、及び、描画モード以外の各動作モードにそれぞれ対応づけて、特殊操作に応じて実行すべき機能が割り当てられている。これらの機能は、描画以外の機能である。機能制御部433は、特殊操作が検出されると、実行中の動作モードに対応して割り当てられた機能を実行する。
When the detection control unit 432 detects a special operation when the
また、表示装置2がPCモードで動作している場合は、機能制御部433は、検出制御部432が通常操作及び特殊操作を検出すると、位置指示操作検出部450が検出した入力手段402の指示位置を示すデータ、及び、検出された操作が特殊操作であるか通常操作であるかを示すデータを、出力制御部434により外部装置6に出力させる。
Further, when the
外部装置6は、外部装置6の各部を中枢的に制御する制御部501を備えている。制御部501は、CPU、CPUが実行する基本制御プログラム等を記憶したROM、及び、CPUが実行するプログラムやCPUが処理するデータ等を一時的に格納するRAM等により実現される。また、外部装置6は、キーボード及びマウス等のポインティングデバイスを含む入力デバイスによる入力操作を検出する入力部506と、入力部506が検出した入力操作の内容や制御部501による処理結果等をモニター508に表示する表示部507と、プロジェクター400が備えるI/F部405に対しケーブル401aを介して接続される外部インターフェース509と、制御部501が実行する制御プログラム111を含む各種のプログラム、これらのプログラムにより処理されるデータ等を記憶する記憶部510とを備えている。
The
制御部501は、制御プログラム511を実行することにより、機器制御部502、画像選択部503、画像出力部504、及び描画処理部505の機能を実現する。
The
機器制御部502は、PCモードにおいてプロジェクター400を制御する処理、及び、プロジェクター400から送信されるデータを受信する処理等を実行する。
The
画像選択部503は、プロジェクター400に対して画像データを出力する場合に、入力部506が検出した操作にしたがって、出力する画像データを選択する。例えば、画像選択部503は、記憶部510に記憶している画像データ(図示略)の中からユーザーの操作により直接指定された画像データを選択することも、予め設定された順序で記憶部510内の画像データを選択することも可能である。
When outputting image data to the
画像出力部504は、画像選択部503により選択された画像データをプロジェクター400に出力する。また、画像出力部504は、選択された画像データの解像度やフレームレートをプロジェクター400の仕様に合わせて変換する処理を行うものであってもよい。
The
また、機器制御部502は、PCモードにおいて、プロジェクター400の位置指示操作検出部450が検出した入力手段402の指示位置を示すデータ、入力手段402の姿勢に関するデータ、及び、検出された操作が特殊操作であるか通常操作であるかを示すデータを、プロジェクター400から受信する。機器制御部502は、外部装置6の動作モード及び通常操作と特殊操作の各々に予め割り当てられた機能を実行する。例えば、機器制御部502は、外部装置6が描画を行う描画モードでは、通常操作に対しては、描画処理部505に指示位置の座標データを出力して、描画を実行させる。また、描画モードにおいてプロジェクター400が特殊操作を検出した場合、描画モード以外の動作モードへの切り換えを実行する。
In addition, in the PC mode, the
描画処理部505は、PCモードにおいて、機器制御部502から入力手段402の指示位置の座標が入力された場合に、この座標にしたがって画像を生成又は更新する描画処理を実行し、画像データを出力する。描画処理部505が出力した画像データは、画像出力部504によってプロジェクター400に出力される。
In the PC mode, when the coordinates of the position indicated by the input means 402 are input from the
図19は、本実施例において、手書きデータが領域とどのように重なっているかに基づく保存範囲の決定に関する表示装置2の機能を示す機能ブロック図の一例である。図9で説明した表示装置2の機能は、図19に示すように本実施例でも援用できる。
FIG. 19 is an example of a functional block diagram showing the functions of the
すなわち、I/F部405は画像取得部31に対応する。制御部430は図9に示した映像受信部11、画面合成部13及び保存範囲決定部14を有している。また、画像処理部440は表示制御部16を有している。また、座標算出部455はストローク受信部12とストローク処理部32に相当する。
That is, the I/
<位置検出>
本実施例の表示装置2が入力手段402の指示位置を決定する方法について説明する。
<Position detection>
The method by which the
(i) 入力手段の姿勢から決定する方法
入力手段402は、ユーザーが入力手段402の先端をスクリーンSCに押し付けた場合に、オンになる操作スイッチ403に加え、入力手段402の姿勢により出力が切り替わる姿勢スイッチ404を備えている。姿勢スイッチ404は、例えば入力手段402を水平にした状態でオフになり、入力手段402が傾いた状態でオンになるスイッチである。また、姿勢スイッチ404は、例えば、入力手段402の傾きの大きさによって抵抗値が変化するようなスイッチであってもよい。
(i) Method of determining from the attitude of the input means In addition to the
入力手段402は、赤外線信号を出力する送信部474を備えている。送信部474は、例えば赤外LED等の発光部、発光制御回路、及び電源を備えて構成される。送信部474は、入力手段402の電源がオンになっている状態で、周期的に赤外線信号を送信する。送信部は、操作スイッチ403の操作状態(オン/オフ)、及び、姿勢スイッチ404の出力状態によって、赤外線信号を変調して送信する。送信部474は、例えば、IrDA規格に準拠した方式により操作スイッチ403のオン/オフ、及び、姿勢スイッチ404のオン/オフを示すデータを送信する。
The input means 402 includes a
プロジェクター400は、カメラにより、スクリーンSC上に画像を投射する範囲をカバーする画角でスクリーンSCを撮像する。プロジェクター400はカメラが撮像して生成する撮像画像データに基づいて、入力手段402の位置を検出する。プロジェクター400は撮像画像データから入力手段402に似た形状を検出して入力手段402の画像を切り出す処理を実行し、入力手段402の先端が向いている方向を特定する。また、プロジェクター400は、入力手段402から送信された受信データに基づいて操作スイッチ403の操作状態と入力手段402の姿勢とを検出する。これにより、プロジェクター400は、撮像画像データにおける入力手段402の位置と、入力手段402の姿勢とを特定する。
The
また、プロジェクター400は、撮像画像データにおける入力手段402の位置と入力手段402の姿勢とに基づき、入力手段402の先端がスクリーンSC上で指し示している位置の座標、すなわち指示位置の座標を算出する。ここでプロジェクター400が算出する座標は、例えば、スクリーンSC上に投射画像を投射する領域(投射領域)を基準とする座標である。
Furthermore, the
(ii) 音波又は電波による距離の検出とカメラによる水平位置の検出
入力手段402は、ユーザーが手書きのためにスクリーンSCに先端を押しつけると操作スイッチ403がONになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター400はカメラを有しており、発光部を撮像して画像を解析し入力手段402のスクリーンSCに平行な方向の位置を特定する。また、入力手段402は発光と共に音波を発信しており、プロジェクター400は音波の到達時間により距離を算出する。方向と距離により入力手段402の位置を特定できる。音波の代わりに電波を使用してもよい。
(ii) Detection of distance by sound waves or radio waves and detection of horizontal position by camera When the user presses the tip of the
(iii) 赤外線のカーテンを使用した入力手段の位置の検出
この場合、入力手段402は発光部や送信部を有している必要がない。例えば、ユーザーの指で手書きすることができる。プロジェクター400はスクリーンSCを覆うように赤外線を照射する。スクリーンSCには不可視の赤外線のカーテンが掛けられた状態になる。入力手段402がカーテンに触れると入力手段402が赤外線を反射するので、カメラで反射光を撮像する。これにより、入力手段402のスクリーンSCに平行な方向の位置を特定する。また、赤外線を照射してから反射するまでの時間により距離を算出する。方向と距離により入力手段402の位置を特定できる。
(iii) Detecting the position of the input means using an infrared curtain In this case, the input means 402 does not need to have a light emitting section or a transmitting section. For example, it can be handwritten with the user's finger. The
<画面が分割された映像の表示例>
図20は、本実施例において複数の外部装置6から入力された映像が表示された場合の画面の表示例を示す。図20に示すように、複数の外部装置6aが接続されているため、画面が第1領域101と第2領域102に分割して表示されている。
<Display example of video with split screen>
FIG. 20 shows a display example of a screen when videos input from a plurality of
<まとめ>
本実施例によれば、実施例1の効果に加え、プロジェクター型の表示装置2においても、複数の外部装置が接続された表示装置が画面を分割して同時に複数の外部装置の映像を表示した状態で映像と手書きデータを保存する場合、手書きデータが領域とどのように重なっているかによって保存範囲を決定することができる。
<Summary>
According to this embodiment, in addition to the effects of
なお、本実施例で説明したプロジェクター投影方式の表示装置2は一例であり、実施例1にて説明した映像入力の切断字の表示方法は、プロジェクターを使用した表示装置2に広く適用できる。
Note that the
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
Although the best mode for carrying out the present invention has been described above using examples, the present invention is not limited to these examples in any way, and various modifications can be made without departing from the gist of the present invention. and substitutions can be added.
また、図6、図9などの構成例は、表示装置2の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、表示装置2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
Further, the configuration examples shown in FIGS. 6 and 9 are divided according to main functions in order to facilitate understanding of the processing of the
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiments described above can be realized by one or more processing circuits. Here, the term "processing circuit" as used herein refers to a processor programmed to execute each function by software, such as a processor implemented by an electronic circuit, or a processor designed to execute each function explained above. This includes devices such as ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), FPGAs (field programmable gate arrays), and conventional circuit modules.
なお、表示装置2は、上記には限られない。表示装置2は、例えば、PJ(Projector:プロジェクター)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車(Connected Car)、カーナビ、ノートPC、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA、デジタルカメラ、ウェアラブルPC又はデスクトップPC等であってもよい。
Note that the
1 画像処理システム
2 表示装置
3 ディスプレイ
4 電子ペン
1
Claims (12)
前記画面に対する入力手段の接触位置に基づいてデータの入力を受け付ける接触検知部と、
複数の外部装置から入力された映像を保存する場合、前記接触検知部が受け付けた前記データの位置と前記領域の位置とに基づいて、前記データが存在する前記領域を保存範囲に決定する保存範囲決定部と、
前記保存範囲決定部が決定した前記保存範囲の画像データを前記画面から取得して保存するデータ保存部と、を有し、
前記保存範囲決定部は、
前記データが1つの前記領域にのみ存在する場合は、前記データが存在する領域のみを前記保存範囲に決定し、
複数の領域に前記データが存在する場合は、前記データが存在する各領域を前記保存範囲に決定し、
前記領域の外に前記データがある場合、前記データが存在する領域と前記データの外接矩形を前記保存範囲に決定し、
前記画面に前記データが存在しない場合、複数の全ての領域を前記保存範囲に決定することを特徴とする表示装置。 A display device that displays images input from multiple external devices in different areas of the screen,
a contact detection unit that receives data input based on the contact position of the input means with respect to the screen;
When saving images input from a plurality of external devices, a storage range in which the area where the data exists is determined as the storage range based on the position of the data received by the contact detection unit and the position of the area. A decision section,
a data storage unit that acquires and stores image data in the storage range determined by the storage range determination unit from the screen ;
The storage range determining unit includes:
If the data exists only in one area, only the area where the data exists is determined as the storage range,
If the data exists in multiple areas, each area where the data exists is determined as the storage range,
If the data exists outside the area, determining the area where the data exists and a circumscribing rectangle of the data as the storage range;
A display device characterized in that, when the data does not exist on the screen, all of a plurality of areas are determined as the storage range .
前記データ保存部は、前記領域ごとに前記領域の映像の前記画像データを保存するか、又は、前記領域に前記データがある場合は前記領域の映像と前記データの前記画像データを保存し、
複数の領域の映像の前記画像データを保存するか、又は、複数の領域に前記データがある場合は複数の領域の映像と前記データを含む画像データを保存し、
前記領域の外に存在する前記データがある場合は該データとデータが存在する1以上の前記領域との外接矩形の前記画像データを保存し、
複数の全ての領域の映像の画像データを保存しておき、
前記データが1つの前記領域にのみ存在する場合は、前記領域の映像と前記データの前記画像データを表示し、
複数の領域に前記データが存在する場合は、複数の領域の映像と前記データを含む画像データを表示し、
前記領域の外に前記データがある場合、該データとデータが存在する1以上の前記領域との外接矩形の前記画像データを表示し、
前記画面に前記データが存在しない場合、複数の全ての領域の映像の画像データを表示することを特徴とする請求項1に記載の表示装置。 When saving images input from multiple external devices,
The data storage unit stores the image data of the video of the region for each region, or if the data exists in the region, stores the video of the region and the image data of the data,
Storing the image data of images of multiple areas, or, if the data exists in multiple areas, storing image data including images of multiple areas and the data;
If the data exists outside the area, save the image data of a circumscribed rectangle between the data and one or more areas in which the data exists;
Save the image data of the video of all multiple areas,
If the data exists only in one area, displaying the image of the area and the image data of the data;
If the data exists in multiple areas, displaying image data including images of the multiple areas and the data;
If the data is outside the area, displaying the image data of a circumscribed rectangle between the data and one or more areas where the data exists;
2. The display device according to claim 1 , wherein when the data does not exist on the screen, image data of videos of all the plurality of regions is displayed.
複数の領域に前記データが存在し、各領域に前記データが入力された時刻のうち領域間の最も小さい時刻の差が閾値未満の場合、複数の領域の映像と前記データを含む画像データを表示することを特徴とする請求項2に記載の表示装置。 Record the time when the data was input,
If the data exists in multiple areas and the difference in the smallest time between the areas among the times when the data was input to each area is less than a threshold, display images of the multiple areas and image data including the data. The display device according to claim 2, characterized in that:
複数の領域に前記データが存在し、前記データが複数の領域に跨っていない場合、
入力された時刻が最も遅い前記データが存在する前記領域の映像と前記データの前記画像データを表示することを特徴とする請求項3に記載の表示装置。 Record the time when the data was input,
If the data exists in multiple areas and the data does not span multiple areas,
4. The display device according to claim 3 , wherein the display device displays an image of the area in which the data whose input time is the latest exists and the image data of the data.
複数の領域に前記データが存在し、各領域に前記データが入力された時刻のうち領域間の最も小さい時刻の差が閾値未満でない場合、入力された時刻が最も遅い前記データが存在する前記領域の映像と前記データの前記画像データを表示することを特徴とする請求項4に記載の表示装置。 Record the time when the data was input,
If the data exists in a plurality of regions, and the difference in the smallest time between the regions among the times at which the data was input to each region is not less than a threshold, the region in which the data exists at the latest input time; 5. The display device according to claim 4, wherein the display device displays the video of the image and the image data of the data.
複数の領域に前記データが存在し、前記データが複数の領域に跨っていない場合、
最後に接続された前記外部装置の前記領域の映像と前記データの前記画像データを表示することを特徴とする請求項3に記載の表示装置。 Recording the time when the external device was connected to the display device,
If the data exists in multiple areas and the data does not span multiple areas,
4. The display device according to claim 3, wherein the display device displays the video of the area of the last connected external device and the image data of the data.
前記表示装置に前記外部装置が接続された時刻を記録しておき、
複数の領域に前記データが存在し、各領域に前記データが入力された時刻のうち領域間の最も小さい時刻の差が閾値未満でない場合、最後に接続された前記外部装置の前記領域の映像と前記データの前記画像データを表示することを特徴とする請求項4に記載の表示装置。 Record the time when the data was input,
Recording the time when the external device was connected to the display device,
If the data exists in multiple areas, and the difference in the smallest time between the areas among the times when the data was input to each area is not less than a threshold, the image of the area of the external device connected last and The display device according to claim 4, wherein the display device displays the image data of the data.
前記映像が変化していない前記領域の映像と前記データの前記画像データを表示することを特徴とする請求項3に記載の表示装置。 If the data exists in multiple areas and the data does not span multiple areas,
4. The display device according to claim 3 , wherein the image data of the area and the image data of the area where the image does not change are displayed.
複数の領域に前記データが存在し、各領域に前記データが入力された時刻のうち領域間の最も小さい時刻の差が閾値未満でない場合、前記映像が変化していない前記領域の映像と前記データの前記画像データを表示することを特徴とする請求項4に記載の表示装置。 Record the time when the data was input,
If the data exists in a plurality of areas, and the difference in the smallest time between the areas among the times at which the data was input to each area is not less than a threshold, the image of the area where the image has not changed and the data 5. The display device according to claim 4 , wherein the display device displays the image data of.
接触検知部が、前記画面に対する入力手段の接触位置に基づいてデータの入力を受け付けるステップと、
複数の外部装置から入力された映像を保存する場合、前記接触検知部が受け付けた前記データの位置と前記領域の位置とに基づいて、保存範囲決定部が、前記データが存在する前記領域を保存範囲に決定するステップと、
前記保存範囲決定部が決定した前記保存範囲の画像データをデータ保存部が前記画面から取得して保存するステップと、を有し、
前記保存範囲決定部は、
前記データが1つの前記領域にのみ存在する場合は、前記データが存在する領域のみを前記保存範囲に決定し、
複数の領域に前記データが存在する場合は、前記データが存在する各領域を前記保存範囲に決定し、
前記領域の外に前記データがある場合、前記データが存在する領域と前記データの外接矩形を前記保存範囲に決定し、
前記画面に前記データが存在しない場合、複数の全ての領域を前記保存範囲に決定することを特徴とする表示方法。 A display method performed by a display device that displays images input from multiple external devices in different areas of the screen, the display method comprising:
a step in which the contact detection unit receives data input based on a contact position of the input means with respect to the screen;
When saving images input from a plurality of external devices, a storage range determining unit saves the area where the data exists based on the position of the data received by the contact detection unit and the position of the area. a step of determining a range;
a step in which a data storage unit acquires and stores image data in the storage range determined by the storage range determination unit from the screen ;
The storage range determining unit includes:
If the data exists only in one area, only the area where the data exists is determined as the storage range,
If the data exists in multiple areas, each area where the data exists is determined as the storage range,
If the data exists outside the area, determining the area where the data exists and a circumscribing rectangle of the data as the storage range;
A display method characterized in that, when the data does not exist on the screen, all of a plurality of areas are determined as the storage range .
前記画面に対する入力手段の接触位置に基づいてデータの入力を受け付ける接触検知部と、
複数の外部装置から入力された映像を保存する場合、前記接触検知部が受け付けた前記データの位置と前記領域の位置とに基づいて、前記データが存在する前記領域を保存範囲に決定する保存範囲決定部と、
前記保存範囲決定部が決定した前記保存範囲の画像データを前記画面から取得して保存するデータ保存部、として機能させ、
前記保存範囲決定部は、
前記データが1つの前記領域にのみ存在する場合は、前記データが存在する領域のみを前記保存範囲に決定し、
複数の領域に前記データが存在する場合は、前記データが存在する各領域を前記保存範囲に決定し、
前記領域の外に前記データがある場合、前記データが存在する領域と前記データの外接矩形を前記保存範囲に決定し、
前記画面に前記データが存在しない場合、複数の全ての領域を前記保存範囲に決定するプログラム。 A display device that displays images input from multiple external devices in different areas of the screen.
a contact detection unit that receives data input based on the contact position of the input means with respect to the screen;
When saving images input from a plurality of external devices, a storage range in which the area where the data exists is determined as the storage range based on the position of the data received by the contact detection unit and the position of the area. A decision section,
functioning as a data storage unit that acquires and stores image data in the storage range determined by the storage range determination unit from the screen;
The storage range determining unit includes:
If the data exists only in one area, only the area where the data exists is determined as the storage range,
If the data exists in multiple areas, each area where the data exists is determined as the storage range,
If the data exists outside the area, determining the area where the data exists and a circumscribing rectangle of the data as the storage range;
A program that determines all of a plurality of areas as the storage range when the data does not exist on the screen .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019141786A JP7342501B2 (en) | 2019-07-31 | 2019-07-31 | Display device, display method, program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019141786A JP7342501B2 (en) | 2019-07-31 | 2019-07-31 | Display device, display method, program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021027415A JP2021027415A (en) | 2021-02-22 |
JP7342501B2 true JP7342501B2 (en) | 2023-09-12 |
Family
ID=74665087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019141786A Active JP7342501B2 (en) | 2019-07-31 | 2019-07-31 | Display device, display method, program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7342501B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013114412A (en) | 2011-11-28 | 2013-06-10 | Konica Minolta Business Technologies Inc | Information browsing device and display control program |
JP2013222280A (en) | 2012-04-16 | 2013-10-28 | Seiko Epson Corp | Projector, control method for the same, program and projection system |
JP2016180942A (en) | 2015-03-25 | 2016-10-13 | セイコーエプソン株式会社 | Display device, display system, control method for display device, and program |
-
2019
- 2019-07-31 JP JP2019141786A patent/JP7342501B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013114412A (en) | 2011-11-28 | 2013-06-10 | Konica Minolta Business Technologies Inc | Information browsing device and display control program |
JP2013222280A (en) | 2012-04-16 | 2013-10-28 | Seiko Epson Corp | Projector, control method for the same, program and projection system |
JP2016180942A (en) | 2015-03-25 | 2016-10-13 | セイコーエプソン株式会社 | Display device, display system, control method for display device, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2021027415A (en) | 2021-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6297804B1 (en) | Pointing apparatus | |
US10276133B2 (en) | Projector and display control method for displaying split images | |
US11294495B2 (en) | Electronic whiteboard, method for image processing in electronic whiteboard, and recording medium containing computer program of electronic whiteboard | |
US20180082663A1 (en) | Information processing apparatus, image displaying method, and non-transitory computer readable medium | |
WO2018198703A1 (en) | Display device | |
JP2012053545A (en) | Image processing system, and method for controlling the same | |
US20150261385A1 (en) | Picture signal output apparatus, picture signal output method, program, and display system | |
US9753548B2 (en) | Image display apparatus, control method of image display apparatus, and program | |
US20160300321A1 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
US11221760B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6729028B2 (en) | Information processing device, electronic blackboard, program | |
US10795467B2 (en) | Display device, electronic blackboard system, and user interface setting method | |
JP7143642B2 (en) | shared terminal, writing method, program | |
JP7342501B2 (en) | Display device, display method, program | |
TWI653540B (en) | Display apparatus, projector, and display control method | |
US20220319081A1 (en) | Display control method and display system | |
JP6323035B2 (en) | Display device and display method | |
JP7287156B2 (en) | Display device, display method, program | |
JP7338330B2 (en) | Display device, display method, program | |
JP2003099196A (en) | Picture projection device for supporting conference or the like | |
JP2014010781A (en) | Display device, display method, control program, and recording medium | |
JP7331578B2 (en) | Display device, image display method, program | |
JP7484568B2 (en) | Display device, display method, and program | |
JP7306190B2 (en) | Display device, display method, program | |
JP3525775B2 (en) | Image display device and computer-readable recording medium recording this program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230814 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7342501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |