JP7279425B2

JP7279425B2 - DISPLAY DEVICE, DISPLAY SYSTEM, OPERATING MODE CONTROL METHOD, AND PROGRAM

Info

Publication number: JP7279425B2
Application number: JP2019044139A
Authority: JP
Inventors: 竜治中尾
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2019-03-11
Filing date: 2019-03-11
Publication date: 2023-05-23
Anticipated expiration: 2039-03-11
Also published as: JP2020149149A

Description

本発明は、表示装置、表示システム、動作モード制御方法、及び、プログラムに関する。 The present invention relates to a display device, a display system, an operation mode control method, and a program.

電子白板等の表示装置では手書き入力を受け付けて手書き情報を表示するホワイトボードアプリが動作している、このホワイトボードアプリがアクティブな状態と非アクティブな状態が存在する。アクティブとはホワイトボードアプリが動作し、アプリとして期待される動作を行うことをいう。ユーザがディスプレイを操作する場合はホワイトボードアプリがアクティブ状態となり、使用していない間は非アクティブ状態となる。 In a display device such as an electronic whiteboard, a whiteboard application that accepts handwritten input and displays handwritten information is running. This whiteboard application has an active state and an inactive state. Active means that the whiteboard application operates and performs the behavior expected of the application. The whiteboard application is active when the user operates the display, and is inactive when not in use.

この非アクティブ状態における表示装置の振る舞いはさまざまであるが、多くはユーザの操作を待っている状態となる。一例としては、非アクティブ状態ではディスプレイを消灯しておき、ディスプレイが操作される（タッチされる）までの間この状態を続ける表示装置がある。 The behavior of the display device in this inactive state varies, but most of them are in a state of waiting for user's operation. One example is a display device that turns off the display in an inactive state and keeps this state until the display is operated (touched).

また、この非アクティブ状態において表示装置をデジタルサイネージとして活用する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、表示装置が操作されない状態で所定時間放置されると、サイネージアプリが自動的に起動する表示装置が記載されている。 Also, a technique has been devised that utilizes the display device as a digital signage in this inactive state (see, for example, Patent Document 1). Patent Literature 1 describes a display device that automatically activates a signage application when the display device is left unoperated for a predetermined period of time.

しかしながら、従来の表示装置は、周辺に人が存在するか否かに応じて動作モードの遷移を制御できないという問題がある。すなわち、表示装置の周辺に人がいない場合も、表示装置がサイネージアプリを起動して情報を表示する場合があり、単に電力が消費されるだけになる状況が生じていた。 However, conventional display devices have the problem that they cannot control the transition of operation modes depending on whether or not there is a person in the vicinity. That is, even when no one is around the display device, the display device may activate the signage application and display information, resulting in a situation where power is simply consumed.

本発明は、上記課題に鑑み、周辺に人が存在するか否かに応じて動作モードの遷移を制御できる表示装置を提供することを目的とする。 SUMMARY OF THE INVENTION In view of the above problems, it is an object of the present invention to provide a display device that can control the transition of operation modes depending on whether or not there is a person in the vicinity.

上記課題に鑑み、本発明は、手書きデータを表示するホワイトボードモードと、情報をディスプレイに表示するサイネージモードと、ディスプレイを消灯するスタンバイモード、の３つのモードのいずれかで動作し、表示装置のディスプレイが操作されている場合に前記ホワイトボードモードで動作する表示装置であって、前記表示装置の周辺に人が存在するか否かを推定する人推定部と、人が存在するか否かに応じて、動作モードを遷移させる動作モード制御部と、有し、前記ホワイトボードモードで動作している場合に、前記ディスプレイの操作が検出されず、前記人推定部が前記表示装置の周辺に人が存在すると推定した場合、前記動作モード制御部は前記サイネージモードに遷移させ、前記ディスプレイの操作が検出されず、前記人推定部が前記表示装置の周辺に人が存在しないと推定した場合、前記動作モード制御部は前記スタンバイモードに遷移させ、前記スタンバイモードで動作している場合に、前記ディスプレイの操作が検出された場合、前記動作モード制御部は前記ホワイトボードモードに遷移させ、前記人推定部が前記表示装置の周辺に人が存在すると推定した場合、前記動作モード制御部は前記サイネージモードに遷移させ、前記サイネージモードで動作している場合に、前記ディスプレイの操作が検出された場合、前記動作モード制御部は前記ホワイトボードモードに遷移させ、前記人推定部が前記表示装置の周辺に人が存在しないと推定した場合、前記動作モード制御部は前記スタンバイモードに遷移させることを特徴とする。 In view of the above problems, the present invention operates in one of three modes: a whiteboard mode for displaying handwritten data, a signage mode for displaying information on a display, and a standby mode for turning off the display. A display device that operates in the whiteboard mode when the display is being operated, comprising: a person estimation unit that estimates whether or not a person exists around the display device; and an operation mode control unit that changes the operation mode according to the operation mode, and when the display device is operated in the whiteboard mode, the operation of the display is not detected and the human estimation unit detects a person in the vicinity of the display device. When it is estimated that a person exists, the operation mode control unit transitions to the signage mode, the operation of the display is not detected, and the person estimation unit estimates that there is no person around the display device, the The operation mode control unit transitions to the standby mode, and when an operation of the display is detected while operating in the standby mode, the operation mode control unit transitions to the whiteboard mode, and the human estimation. When the unit estimates that a person is present around the display device, the operation mode control unit transitions to the signage mode, and when operation of the display is detected when operating in the signage mode, The operation mode control unit transitions to the whiteboard mode, and when the person estimation unit estimates that no person exists around the display device, the operation mode control unit transitions to the standby mode. do.

周辺に人が存在するか否かに応じて動作モードの遷移を制御できる表示装置を提供することができる。 It is possible to provide a display device that can control the transition of operation modes depending on whether or not there is a person in the vicinity.

本実施形態の表示装置の概略的な動作を説明する図の一例である。It is an example of the figure explaining the schematic operation|movement of the display apparatus of this embodiment. 画像処理システムの全体構成図の一例である。1 is an example of an overall configuration diagram of an image processing system; FIG. 表示装置のハードウェア構成図の一例である。1 is an example of a hardware configuration diagram of a display device; FIG. 表示装置の機能ブロック図の一例である。1 is an example of a functional block diagram of a display device; FIG. 各画像レイヤの構成図の一例である。It is an example of the block diagram of each image layer. 動作モードの制御に関する表示装置の機能を示す機能ブロック図の一例である。FIG. 3 is an example of a functional block diagram showing functions of a display device related to control of operation modes; スタンバイモードからサイネージモードへの遷移について説明するシーケンス図の一例である。FIG. 10 is an example of a sequence diagram illustrating transition from standby mode to signage mode; サイネージモードからスタンバイモードへの遷移について説明するシーケンス図の一例である。FIG. 10 is an example of a sequence diagram illustrating transition from signage mode to standby mode; 表示システムの構成例を示す図である。It is a figure which shows the structural example of a display system.

以下、本発明を実施するための形態の一例として、表示装置と表示装置が行う動作モード制御方法について図面を参照しながら実施例を挙げて説明する。 Hereinafter, as an example of a mode for carrying out the present invention, a display device and an operation mode control method performed by the display device will be described with reference to the drawings.

＜本実施形態の表示装置の概略＞
図１は、本実施形態の表示装置の概略的な動作を説明する図の一例である。まず、本実施形態の表示装置２は３つの動作モードを有している。
(i) ホワイトボードモード：ホワイトボードアプリが動作しており、ホワイトボードアプリがアクティブ状態である。以下の(ii)(iii)は非アクティブな状態である。ホワイトボードアプリは以下の(ii)(iii)のモードでも起動したままである。
(ii) サイネージモード：サイネージアプリが動作している状態。サイネージモードが終了するとサイネージアプリも終了する。
(iii) スタンバイモード：ホワイトボード及びデジタルサイネージのどちらとしても使用されない状態。スタンバイモードはディスプレイの電源が消灯される。ホワイトボードアプリは起動したままであるが、サイネージアプリは終了している。 <Outline of the display device of the present embodiment>
FIG. 1 is an example of diagrams for explaining the schematic operation of the display device of this embodiment. First, the display device 2 of this embodiment has three operation modes.
(i) Whiteboard mode: The whiteboard app is running and the whiteboard app is active. (ii) and (iii) below are inactive states. The whiteboard application remains running even in the following modes (ii) and (iii).
(ii) Signage mode: A state in which the signage app is running. When the signage mode ends, the signage application also ends.
(iii) Standby Mode: A state in which the Whiteboard is not used as either a whiteboard or digital signage. Standby mode turns off the display. The whiteboard app is still running, but the signage app is closed.

そして、表示装置２は以下のように３つのモードを遷移させる。
・ホワイトボードモードで、ディスプレイの操作なし、かつ、周辺に人がいる場合、サイネージモードに遷移する。
・ホワイトボードモードで、ディスプレイの操作なし、かつ、周辺に人がない場合、スタンバイモードに遷移する。
・サイネージモードで、ディスプレイの操作ある場合ホワイトボードモードに遷移する。
・スタンバイモードで、ディスプレイの操作ある場合ホワイトボードモードに遷移する。
・サイネージモードで、周辺に人がいない場合スタンバイモードに遷移する。
・スタンバイモードで、周辺に人がいる場合サイネージモードに遷移する。 Then, the display device 2 transitions between the three modes as follows.
・In whiteboard mode, if the display is not operated and there are people nearby, the display will transition to signage mode.
・In whiteboard mode, if the display is not operated and there are no people in the vicinity, it transitions to standby mode.
・In signage mode, transition to whiteboard mode when the display is operated.
・Transition to whiteboard mode when the display is operated in standby mode.
・In signage mode, transition to standby mode when there are no people around.
・Transition to signage mode when there are people around in standby mode.

このように、本実施形態の表示装置２は、周辺に人がいない場合はホワイトボードモード又はサイネージモードからスタンバイモードに遷移することで消費電力を低減できる。また、スタンバイモードからサイネージモードに遷移できる。 Thus, the display device 2 of the present embodiment can reduce power consumption by transitioning from the whiteboard mode or the signage mode to the standby mode when there are no people around. In addition, it is possible to transition from the standby mode to the signage mode.

従来のサイネージ機能を有する表示装置２には、ホワイトボードモードとサイネージモードの間の状態遷移しかなく、スタンバイモードを利用することについては考慮されていない。従来の表示装置２は、一度サイネージモードに遷移すると、スタンバイモードが適切な場合(表示装置２の周辺に人が存在しない場合)にもサイネージモードで動作し続けてしまい、電力を無駄に消費してしまっていた。 The conventional display device 2 having a signage function has only state transitions between the whiteboard mode and the signage mode, and does not consider the use of the standby mode. Once the conventional display device 2 transits to the signage mode, it continues to operate in the signage mode even when the standby mode is appropriate (when there are no people around the display device 2), thus wasting power. It was gone.

＜用語について＞
また、表示装置２は、電子ペンや指先で画面をなぞるように動かして入力された画面における電子ペンや指先の座標（位置）をタッチパネルで取得し、この座標を連結したストロークをタッチパネルと一体のディスプレイに表示するいわゆる電子機器である。タッチパネルの方式はどのようなものでもよい。表示装置２は、電子黒板、電子ホワイトボード、電子情報ボード、電子白板、など商品によって呼称が異なっていてよい。また、表示装置２はコンピュータの機能を有するため、情報処理装置とよばれてもよい。また、いくつかの部品を組み合わせて実現されている場合に表示システムと呼ばれてもよい。タッチパネルを備えたタブレット端末も表示装置２として使用される場合がある。 <Terms>
Further, the display device 2 acquires the coordinates (positions) of the electronic pen or the fingertip on the screen input by moving the electronic pen or the fingertip so as to trace the screen on the touch panel, and a stroke connecting the coordinates is integrated with the touch panel. It is a so-called electronic device that displays on a display. Any type of touch panel may be used. The display device 2 may be named differently depending on the product, such as an electronic blackboard, an electronic whiteboard, an electronic information board, or an electronic whiteboard. Moreover, since the display device 2 has the function of a computer, it may be called an information processing device. Moreover, when it is realized by combining several parts, it may be called a display system. A tablet terminal having a touch panel may also be used as the display device 2 .

デジタルサイネージとは、表示と通信にデジタル技術を活用してディスプレイやプロジェクタなどによって映像や文字を表示する情報・広告媒体をいう。情報・広告を表示するアプリをサイネージアプリという。 Digital signage is an information/advertising medium that uses digital technology for display and communication to display images and characters on displays and projectors. Applications that display information and advertisements are called signage applications.

＜システムの概要＞
図２は、本実施形態の画像処理システム１の全体構成図である。なお、図２では、説明を簡略化するために、２台の表示装置２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の表示装置や電子ペン等を利用してもよい。
図２に示されているように、画像処理システム１は、複数の表示装置２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、ノートＰＣ(Personal Computer)６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ８を有する。また、表示装置２ａ，２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の表示装置２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。 <Overview of the system>
FIG. 2 is an overall configuration diagram of the image processing system 1 of this embodiment. In addition, in order to simplify the explanation, FIG. A pen or the like may be used.
As shown in FIG. 2, the image processing system 1 includes a plurality of display devices 2a, 2b, a plurality of electronic pens 4a, 4b, USB memories 5a, 5b, notebook PCs (Personal Computers) 6a, 6b, televisions ( video) has conference terminals 7a, 7b and a PC 8; Also, the display devices 2a and 2b and the PC 8 are connected via a communication network 9 so as to be able to communicate with each other. Furthermore, displays 3a and 3b are provided in the plurality of display devices 2a and 2b, respectively.

また、表示装置２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。 In addition, the display device 2a can display an image drawn by an event caused by the electronic pen 4a (touching the tip of the electronic pen 4a or the tip of the electronic pen 4a on the display 3a). can be done. It is also possible to change the image displayed on the display 3a based not only on the electronic pen 4a but also on the basis of events (gestures such as enlargement, reduction, page turning, etc.) generated by the user's hand Ha or the like.

また、表示装置２ａには、ＵＳＢメモリ５ａが接続可能であり、表示装置２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、表示装置２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、表示装置２ａには、DisplayPort（登録商標）、DVI(Digital Visual Interface)、HDMI(登録商標。High－Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、表示装置２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信する。同じく、表示装置２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、及びテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、表示装置２ａと通信してもよい。 A USB memory 5a can be connected to the display device 2a. The display device 2a can read electronic files such as PDF files from the USB memory 5a, and the display device 2a can record electronic files in the USB memory 5a. can be done. In addition, the display device 2a is provided with a cable 10a1 capable of communication according to standards such as DisplayPort (registered trademark), DVI (Digital Visual Interface), HDMI (registered trademark: High-Definition Multimedia Interface), and VGA (Video Graphics Array). A notebook PC 6a is connected via the network. Then, the display device 2a generates an event by touching the display 3a, and transmits event information indicating the event to the notebook PC 6a in the same manner as an event from an input device such as a mouse or a keyboard. Similarly, a television (video) conference terminal 7a is connected to the display device 2a via a cable 10a2 capable of communication according to the above standards. Note that the notebook PC 6a and the video conference terminal 7a may communicate with the display device 2a by wireless communication conforming to various wireless communication protocols such as Bluetooth (registered trademark).

一方、表示装置２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた表示装置２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。 On the other hand, at other bases where the display device 2b is installed, the display device 2b having the display 3b, the electronic pen 4b, the USB memory 5b, the notebook PC 6b, the video conference terminal 7b, the cable 10b1, the cable 10b2 are installed in the same manner as described above. is used. Furthermore, it is also possible to change the image displayed on the display 3b based on an event caused by the user's hand Hb or the like.

これにより、一の拠点で表示装置２ａのディスプレイ３ａ上に描画された画像は、他の拠点で表示装置２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で表示装置２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で表示装置２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。 As a result, an image drawn on the display 3a of the display device 2a at one site is also displayed on the display 3b of the display device 2b at another site, and vice versa. is displayed on the display 3a of the display device 2a at one site. As described above, the image processing system 1 can perform remote sharing processing for sharing the same image at a remote location, and is therefore very convenient when used for a conference or the like at a remote location.

なお、以下では、複数の表示装置のうち任意の表示装置を示す場合には「表示装置２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。 In addition, hereinafter, when an arbitrary display device among a plurality of display devices is indicated, it is referred to as "display device 2". When indicating an arbitrary display among a plurality of displays, it is indicated as "display 3". When indicating an arbitrary electronic pen among a plurality of electronic pens, it is indicated as "electronic pen 4". When indicating an arbitrary USB memory among a plurality of USB memories, it is indicated as "USB memory 5". When indicating an arbitrary notebook PC among a plurality of notebook PCs, it is indicated as "notebook PC 6". When indicating an arbitrary teleconference terminal among a plurality of teleconference terminals, it is indicated as "teleconference terminal 7". Also, when indicating an arbitrary hand among a plurality of users' hands, it is indicated as "hand H". When indicating an arbitrary cable among a plurality of cables, it is indicated as "cable 10".

また、本実施形態では、画像処理装置の一例として、表示装置を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、情報処理端末の一例として、ノートＰＣ６を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード等の各種記録メディアであってもよい。 In this embodiment, a display device will be described as an example of an image processing device, but the present invention is not limited to this. It may be a telestrator or a remote imaging (video) diagnostic device or the like. Also, the notebook PC 6 will be described as an example of an information processing terminal, but it is not limited to this, and other examples of information processing terminals include a desktop PC, tablet PC, PDA, digital video camera, digital camera, and game. It may be a terminal capable of supplying image frames such as a machine. Furthermore, communication networks include the Internet, LANs (Local Area Networks), mobile phone communication networks, and the like. Also, in this embodiment, a USB memory is described as an example of a recording medium, but the present invention is not limited to this, and various recording media such as an SD card may be used as other examples of the recording medium.

＜表示装置のハードウェア構成＞
図３は、表示装置２のハードウェア構成図である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ/Ｆ２０５、及び、外部機器接続Ｉ／Ｆ(Interface)２０６を備えている。 <Hardware Configuration of Display Device>
FIG. 3 is a hardware configuration diagram of the display device 2. As shown in FIG. As shown in FIG. 3, the display device 2 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an SSD (Solid State Drive) 204, a network I/ F205 and an external device connection I/F (Interface) 206 are provided.

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ２０５は、通信ネットワーク９との通信を制御する。外部機器接続Ｉ／Ｆ２０６は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ５、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。 Among these, the CPU 201 controls the operation of the entire display device 2 . The ROM 202 stores programs used to drive the CPU 201, such as the CPU 201 and an IPL (Initial Program Loader). A RAM 203 is used as a work area for the CPU 201 . The SSD 204 stores various data such as programs for display devices. A network I/F 205 controls communication with the communication network 9 . The external device connection I/F 206 is an interface for connecting various external devices. The external devices in this case are, for example, a USB (Universal Serial Bus) memory 5 and external devices (microphone 240, speaker 250, camera 260).

また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。 The display device 2 also includes a capture device 211, a GPU 212, a display controller 213, a contact sensor 214, a sensor controller 215, an electronic pen controller 216, a short-range communication circuit 219, an antenna 219a of the short-range communication circuit 219, a power switch 222 and Selection switches 223 are provided.

これらのうち、キャプチャデバイス２１１は、外付けのノートＰＣ６がディスプレイ３に表示する映像情報を静止画又は動画としてディスプレイ３に表示させる。 Among them, the capture device 211 causes the display 3 to display video information displayed by the external notebook PC 6 on the display 3 as a still image or a moving image.

ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ３等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する。 A GPU (Graphics Processing Unit) 212 is a semiconductor chip that specializes in graphics. A display controller 213 controls and manages screen display in order to output an output image from the GPU 212 to the display 3 or the like. The contact sensor 214 detects that the electronic pen 4 , the user's hand H, or the like touches the display 3 .

センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。 A sensor controller 215 controls the processing of the contact sensor 214 . The contact sensor 214 performs coordinate input and coordinate detection using an infrared shielding method. In this method of inputting coordinates and detecting coordinates, two light emitting/receiving devices installed at both ends of the upper side of the display 3 radiate a plurality of infrared rays parallel to the display 3, and are provided around the display 3. This is a method of receiving light that is reflected by a reflecting member and returns along the same optical path as that of light emitted by a light receiving element.

接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。 The contact sensor 214 outputs to the sensor controller 215 the IDs of the infrared rays emitted by the two light emitting/receiving devices blocked by the object, and the sensor controller 215 identifies the coordinate position, which is the contact position of the object. The electronic pen controller 216 communicates with the electronic pen 4 to determine whether or not the display 3 has been touched with the tip of the pen or the bottom of the pen. The short-range communication circuit 219 is a communication circuit such as NFC (Near Field Communication) or Bluetooth (registered trademark).

電源スイッチ２２２は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ３の表示の明暗や色合い等を調整するためのスイッチ群である。 The power switch 222 is a switch for switching ON/OFF of the power of the display device 2 . The selection switches 223 are, for example, a group of switches for adjusting the brightness, color, etc. of the display on the display 3 .

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Furthermore, the display device 2 has a bus line 210 . A bus line 210 is an address bus, a data bus, or the like for electrically connecting each component such as the CPU 201 shown in FIG.

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部２９に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 In addition, the contact sensor 214 is not limited to the infrared blocking type, but is a capacitive type touch panel that identifies the contact position by detecting a change in capacitance, or identifies the contact position by a voltage change of two opposing resistive films. Various detection means may be used, such as a resistive touch panel, an electromagnetic induction touch panel that identifies the contact position by detecting electromagnetic induction generated when a contact object touches the display unit 29 . Further, the electronic pen controller 216 may determine whether or not the part of the electronic pen 4 that is gripped by the user or other parts of the electronic pen is touched, in addition to the tip and the pen butt of the electronic pen 4 .

カメラ２６０はテレビ会議の際に参加者を撮像するために使用されるが、参加者に限らず表示装置の周囲の人を撮像するために使用される。カメラ２６０は撮像装置でなくてもよく、赤外線センサなど人検知できるセンサでもよい。また、カメラ２６０は周囲３６０度を撮像できる全天球カメラでもよい。通常の画角のカメラは比較的狭いので人の検知が困難になるおそれがあるが、全天球カメラでは広範囲の人を撮像できるので周囲の人を検知しやすい。カメラ２６０は人感検知センサとして使用される。 The camera 260 is used to capture an image of the participants during the video conference, but it is also used to capture an image of not only the participants but also the people around the display device. The camera 260 may not be an imaging device, and may be a sensor such as an infrared sensor that can detect a person. In addition, the camera 260 may be an omnidirectional camera capable of capturing 360-degree surroundings. A normal camera with a relatively narrow angle of view may make it difficult to detect people, but a omnidirectional camera can capture a wide range of people, so it is easy to detect people in the surroundings. Camera 260 is used as a human detection sensor.

＜表示装置の機能構成＞
続いて、図４、図５を用いて、表示装置２の機能構成について説明する。なお、先ずは、図４を用いて、表示装置２の全体的な機能構成について説明する。図４は、表示装置２の機能ブロック図である。 <Functional Configuration of Display Device>
Next, the functional configuration of the display device 2 will be described with reference to FIGS. 4 and 5. FIG. First, the overall functional configuration of the display device 2 will be described with reference to FIG. FIG. 4 is a functional block diagram of the display device 2. As shown in FIG.

表示装置２は、図４に示されているハードウェア構成及びプログラムによって、図４に示されている各機能構成を有する。表示装置２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、表示装置２は、大きく分けて、クライアント部２０及びサーバ部９０の両方によって構成されている。 The display device 2 has each functional configuration shown in FIG. 4 by the hardware configuration and programs shown in FIG. The display device 2 can be a "sponsor device" that first starts the remote sharing process, and can also be a "participating device" that later participates in the already started remote sharing process. Further, the display device 2 is roughly divided into both a client section 20 and a server section 90 .

クライアント部２０及びサーバ部９０はホワイトボードアプリ５３の機能であり、サイネージアプリ５４と表示部２９を共有している。表示部２９を使用するアプリの切り替えの詳細は図６にて説明する。 The client unit 20 and server unit 90 are functions of the whiteboard application 53 and share the display unit 29 with the signage application 54 . Details of switching between applications using the display unit 29 will be described with reference to FIG.

クライアント部２０及びサーバ部９０は、表示装置２の１台の筐体内で実現される機能である。そして、表示装置２が主催装置となる場合には、この表示装置２では、クライアント部２０とサーバ部９０が実現される。また、表示装置２が参加装置となる場合には、この表示装置２では、クライアント部２０は実現されるが、サーバ部９０は実現されない。即ち、図２において、表示装置２ａが主催装置で、表示装置２ｂが参加装置となる場合、表示装置２ａのクライアント部２０は、同じ表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ｂのクライアント部２０と通信を行う。一方、表示装置２ｂのクライアント部２０は、他の表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ａのクライアント部と通信を行う。 The client unit 20 and the server unit 90 are functions implemented within one housing of the display device 2 . When the display device 2 serves as the host device, the display device 2 implements the client section 20 and the server section 90 . Further, when the display device 2 is a participating device, the display device 2 implements the client section 20 but does not implement the server section 90 . That is, in FIG. 2, when the display device 2a is the host device and the display device 2b is the participating device, the client section 20 of the display device 2a can communicate with other devices via the server section 90 implemented in the same display device 2a. communicates with the client unit 20 of the display device 2b. On the other hand, the client section 20 of the display device 2b communicates with the client section of the other display device 2a via the server section 90 implemented in the other display device 2a.

〔クライアント部の機能構成〕
続いて、主に図４、図５を用いて、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、及び通信制御部６０を有する。 [Functional configuration of the client part]
Next, the functional configuration of the client unit 20 will be described mainly with reference to FIGS. 4 and 5. FIG. The client unit 20 includes an image acquisition unit 21, a coordinate detection unit 22, an automatic adjustment unit 23, a contact detection unit 24, an event distribution unit 25, an operation processing unit 26, a gesture processing unit 27, an image superimposition unit 28, and an image processing unit 30. , and a communication control unit 60 .

このうち、映像取得部２１は、ケーブル１０に接続された映像出力機器の出力画像を取得する。映像取得部２１は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。 Of these, the video acquisition unit 21 acquires the output image of the video output device connected to the cable 10 . When an image signal is received from the image output device, the image acquisition unit 21 analyzes the image signal, and determines the resolution of the image frame, which is the display image of the image output device formed by the image signal, and the update of the image frame. Image information such as frequency is derived and output to the image acquisition unit 31 .

座標検知部２２は、ディスプレイ３上でユーザによって生じたイベント（ディスプレイ３上に電子ペン４又はユーザの手Ｈがタッチされた動作等）の座標位置を検出する。また、座標検知部２２は、タッチされた面積も検出する。 The coordinate detection unit 22 detects the coordinate position of an event caused by the user on the display 3 (such as the action of touching the display 3 with the electronic pen 4 or the user's hand H). The coordinate detection unit 22 also detects the touched area.

自動調整部２３は、表示装置２の起動時（再起動時と表現してもよい）に起動され、座標検知部２２が適切な値を出力できるように、光センサ方式により座標を検知する座標検知部２２がセンサーカメラの画像を処理する際のパラメータを調整する。 The automatic adjustment unit 23 is started when the display device 2 is started (it may be expressed as a restart), and the coordinates are detected by an optical sensor method so that the coordinate detection unit 22 can output an appropriate value. It adjusts the parameters when the detection unit 22 processes the image of the sensor camera.

接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン４のペン尻が押下（タッチ）された動作等）を検出する。 The contact detection unit 24 detects an event caused by the user (such as an operation in which the tip of the electronic pen 4 or the tip of the electronic pen 4 is pressed (touched) on the display 3).

イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。ここで、「ストローク描画」は、ディスプレイ３上に図５に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。 The event distribution unit 25 distributes the coordinate position of the event detected by the coordinate detection unit 22 and the detection result detected by the contact detection unit 24 to stroke drawing, UI operation, and gesture operation events. Here, "stroke drawing" means that the user presses the electronic pen 4 on the display 3 when a stroke image (B), which will be described later, shown in FIG. This is an event from moving the electronic pen 4 in the state of being held to finally releasing the electronic pen 4 from the display 3 . By this stroke drawing, for example, alphabets such as “S” and “T” are drawn on the display 3 . Note that this "stroke drawing" includes not only events for drawing an image, but also events for deleting an already drawn image and editing a drawn image.

「ＵＩ操作」は、ディスプレイ３上に図５に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。 "UI operation" is an event in which the user presses a predetermined position with the electronic pen 4 or the hand H when a UI image (A) shown in FIG. 5, which will be described later, is displayed on the display 3. . By this UI operation, for example, the color, width, etc. of a line drawn with the electronic pen 4 are set.

「ジェスチャ操作」は、ディスプレイ３上に図５に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。 "Gesture operation" is an event in which the user touches or moves the display 3 with the hand H when a stroke image (B) shown in FIG. 5, which will be described later, is displayed on the display 3. be. With this gesture operation, for example, by moving the hand H while the user touches the display 3, the image can be enlarged (or reduced), the display area can be changed, or the page can be switched. can.

操作処理部２６は、イベント振分部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素にしたがって、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたものに対応した操作を実行する。 The operation processing unit 26 executes various operations according to the UI element for which the event is generated, based on the UI operation determined by the event allocation unit 25 . Elements of this UI include, for example, buttons, lists, check boxes, and text boxes. The gesture processing unit 27 executes an operation corresponding to the gesture operation determined by the event distribution unit 25 .

映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像として表示部２９に対して表示する。表示部２９はディスプレイ３により実現される表示機能を示す。また、映像重畳部２８は、映像出力機器（ノートＰＣ６等）からの映像に対して、他の映像出力機器（テレビ会議端末７等）から送られて来た映像をピクチャーインピクチャーする。更に、映像重畳部２８は、ピクチャーインピクチャーされて表示部２９の一部に表示された映像を、表示部２９の全体に表示させるための切り替えを行う。 The video superimposing unit 28 displays the image superimposed by the display superimposing unit 36, which will be described later, on the display unit 29 as a video. A display unit 29 indicates a display function realized by the display 3 . Further, the video superimposing unit 28 picture-in-pictures the video sent from the other video output device (teleconference terminal 7, etc.) on the video from the video output device (notebook PC 6, etc.). Further, the image superimposing unit 28 performs switching to display the image that has been picture-in-picture and displayed on a part of the display unit 29 on the entire display unit 29 .

画像処理部３０は、図５に示されているような各画像レイヤの重畳処理等を行う。この画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。 The image processing unit 30 performs superimposition processing and the like for each image layer as shown in FIG. The image processing unit 30 includes an image acquisition unit 31, a stroke processing unit 32, a UI image generation unit 33, a background generation unit 34, a layout management unit 35, a display superimposition unit 36, a page processing unit 37, a file processing unit 40, page data It has a storage unit 300 and a remote license management table 310 .

このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、図５に示されている映像出力機器（ノートＰＣ６等）からの出力画像（Ｃ）に相当する。 Of these, the image acquisition section 31 acquires each frame as an image from the video acquired by the video acquisition section 21 . The image acquisition section 31 outputs this image data to the page processing section 37 . This image corresponds to the output image (C) from the video output device (notebook PC 6, etc.) shown in FIG.

ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図５に示されているストローク画像（Ｂ）に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、データ管理部８０に記憶される。 The stroke processing unit 32 draws an image, deletes the drawn image, or edits the drawn image based on the stroke drawing event assigned by the event distribution unit 25 . This stroke-drawn image corresponds to the stroke image (B) shown in FIG. Further, each result of image drawing, deletion, and editing based on this stroke drawing is stored in the data management unit 80 as operation data, which will be described later.

ＵＩ画像生成部３３は、表示装置２に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。このＵＩ画像は、図５に示されているＵＩ画像（Ａ）に相当する。
背景生成部３４は、ページ処理部３７がページデータ記憶部３００から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、図５に示されている背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。 The UI image generator 33 generates a UI (user interface) image preset in the display device 2 . This UI image corresponds to the UI image (A) shown in FIG.
The background generator 34 receives from the page processor 37 the media data in the page data read by the page processor 37 from the page data storage 300 . The background generation unit 34 outputs the received media data to the display superimposition unit 36 . An image based on this media data corresponds to the background image (D) shown in FIG. The pattern of the background image (D) is plain, grid display, or the like.

レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（又は背景生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像（Ｃ）及びストローク画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。 The layout management unit 35 provides the display superimposition unit 36 with layout information indicating the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the UI image generation unit 33 (or the background generation unit 34). managing. Thereby, the layout management unit 35 instructs the display superimposition unit 36 to display the output image (C) and the stroke image (B) in the UI image (A) and the background image (D), or You can specify whether to hide it.

表示重畳部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（背景生成部３４）から出力された各画像のレイアウトを行う。 Based on the layout information output from the layout management unit 35, the display superimposition unit 36 determines the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the UI image generation unit 33 (background generation unit 34). conduct.

ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。ストローク画像（Ｂ）のデータは、ストローク配列データ（各ストロークデータ）としてページデータの一部を成す。出力画像（Ｃ）のデータは、メディアデータとしてページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。 The page processing unit 37 combines the data of the stroke image (B) and the data of the output image (C) into one page data and stores it in the page data storage unit 300 . The data of the stroke image (B) forms part of the page data as stroke arrangement data (each stroke data). The data of the output image (C) forms part of the page data as media data. Then, when this media data is read from the page data storage unit 300, it is handled as data of the background image (D).

また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製したりすることもできる。 Further, the page processing unit 37 transmits the media data of the temporarily stored page data to the display superimposing unit 36 via the background generating unit 34, so that the video superimposing unit 28 displays the background image (D). 3 can be redisplayed. Further, the page processing unit 37 can return the stroke arrangement data (each stroke data) of the page data to the stroke processing unit 32, thereby making it possible to re-edit the strokes. Furthermore, the page processing unit 37 can also delete or duplicate page data.

即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク画像（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、背景生成部３４に出力する。 That is, the data of the output image (C) displayed on the display 3 when the page processing unit 37 stores the page data in the page data storage unit 300 is temporarily stored in the page data storage unit 300, and then When read from the page data storage unit 300, it is read as media data representing the background image (D). Then, the page processing unit 37 outputs stroke array data indicating the stroke image (B) among the page data read from the page data storage unit 300 to the stroke processing unit 32 . The page processing unit 37 also outputs media data indicating the background image (D) among the page data read from the page data storage unit 300 to the background generation unit 34 .

表示重畳部３６は、画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク画像（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、及び、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトにしたがって重畳する。これにより、図５に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の各レイアの構成となっている。 The display superimposing unit 36 receives the output image (C) from the image acquisition unit 31, the stroke image (B) from the stroke processing unit 32, the UI image (A) from the UI image generation unit 33, and the background generation unit 34. background image (D) is superimposed according to the layout designated by the layout management unit 35 . As a result, as shown in FIG. 5, the UI image (A), the stroke image (B), the output image (C), and the background image (D) are displayed in the order that the user can see even if the images overlap. It is composed of Leia.

また、表示重畳部３６は、図５に示されている画像（Ｃ）と画像（Ｄ）を切り替えて、画像（Ａ）及び画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、画像（Ａ）、画像（Ｂ）及び画像（Ｃ）が表示されている状態で、表示装置２と映像出力機器（ノートＰＣ６等）との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、画像（Ｃ）を重畳対象から外し、画像（Ｄ）を表示させることができる。この場合に、また、表示重畳部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。 In addition, the display superimposing unit 36 can switch between the image (C) and the image (D) shown in FIG. 5 and superimpose exclusively on the image (A) and the image (B). . For example, when the cable 10 between the display device 2 and the video output device (notebook PC 6, etc.) is pulled out while the image (A), the image (B), and the image (C) are initially displayed, , the image (C) can be removed from the superimposition target and the image (D) can be displayed according to the designation of the layout management unit 35 . In this case, the display superimposing unit 36 also performs display enlargement, display reduction, and display area movement processing.

〔サーバ部の機能構成〕
サーバ部９０は、各表示装置２に設けられており、いずれの表示装置２であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部９０は、通信制御部７０、及びデータ管理部８０を有している。 [Functional configuration of the server part]
The server section 90 is provided in each display device 2, and any display device 2 can serve as a server section. Therefore, the server section 90 has a communication control section 70 and a data management section 80 .

通信制御部７０は、同じ表示装置２内のクライアント部２０における通信制御部７０、及び通信ネットワーク９を介して他の表示装置２内のクライアント部２０における通信制御部７０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。 The communication control unit 70 controls communication with the communication control unit 70 in the client unit 20 in the same display device 2 and with the communication control unit 70 in the client unit 20 in another display device 2 via the communication network 9 . The data management unit 80 manages operation data, image data, and the like.

＜動作モードの制御に関する表示装置の機能＞
図６は、動作モードの制御に関する表示装置２の機能を示す機能ブロック図の一例である。表示装置２は図４に示した表示部２９、ホワイトボードアプリ５３、サイネージアプリ５４、動作モード制御部５２、及び、人推定部５１を有している。 <Functions of Display Device Concerning Operation Mode Control>
FIG. 6 is an example of a functional block diagram showing functions of the display device 2 related to control of operation modes. The display device 2 has the display unit 29, the whiteboard application 53, the signage application 54, the operation mode control unit 52, and the person estimation unit 51 shown in FIG.

まず、カメラ２６０は繰り返し周辺を撮像しており、撮像して得られた画像データを人推定部５１に送出する。人推定部５１は画像処理を行い、画像データに人が写っているか否かを推定する。例えば、ディープラーニングなどの機械学習で生成した識別器を用いて、人が写っているか否かの分類を行えばよい。機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。 First, the camera 260 repeatedly images the surroundings, and sends the image data obtained by the imaging to the human estimation unit 51 . A person estimation unit 51 performs image processing and estimates whether or not a person is shown in the image data. For example, a classifier generated by machine learning such as deep learning may be used to classify whether or not a person is captured. Machine learning is a technology that enables computers to acquire human-like learning abilities. Computers autonomously generate algorithms necessary for judgments such as data identification from pre-loaded learning data. It is a technology that applies this to data and makes predictions. The learning method for machine learning may be supervised learning, unsupervised learning, semi-supervised learning, reinforcement learning, or deep learning, or may be a learning method combining these learning methods. Any learning method for

動作モード制御部５２は、ユーザによってディスプレイ３上に電子ペン４のペン先、電子ペン４のペン尻、又は、手Ｈが押下（タッチ）された動作等のイベントが生じたか否かを座標検知部２２から取得する。以下単に「ディスプレイの操作」の検出と称する。動作モード制御部５２は、周辺の人の検知結果及びディスプレイ３の操作の検出結果に応じて、動作モードを制御する。 The operation mode control unit 52 detects the coordinates of whether or not an event such as an operation of pressing (touching) the tip of the electronic pen 4, the tip of the electronic pen 4, or the hand H on the display 3 by the user has occurred. Acquired from the unit 22 . Hereinafter, this detection is simply referred to as "display operation" detection. The operation mode control unit 52 controls the operation mode according to the detection result of the surrounding people and the detection result of the operation of the display 3 .

図１にて説明したように、ホワイトボードアプリ５３は動作モードに関係なく起動しているので座標検知部２２が有効である。なお、図６では座標検知部２２がディスプレイ３の操作を検出しているが、ディスプレイ３の操作はハード的には接触センサ２１４により検出される。したがって、ホワイトボードアプリ５３は動作モードに関係なく起動するのでなく、ホワイトボードモードでなければ終了してもよい。 As described with reference to FIG. 1, the whiteboard application 53 is activated regardless of the operation mode, so the coordinate detection unit 22 is effective. Although the coordinate detection unit 22 detects the operation of the display 3 in FIG. 6, the operation of the display 3 is detected by the contact sensor 214 in terms of hardware. Therefore, the whiteboard application 53 does not start regardless of the operation mode, and may be terminated if it is not in the whiteboard mode.

Ａ．まず、ディスプレイ３の操作が検出されたか否かが優先され、ディスプレイ３の操作が検出された場合、ホワイトボードアプリ５３をアクティブにする。したがって、ホワイトボードモードになる。 A. First, priority is given to whether or not an operation of the display 3 is detected, and when an operation of the display 3 is detected, the whiteboard application 53 is activated. Therefore, it is in whiteboard mode.

Ｂ．ディスプレイ３の操作が検出されず、周辺に人がいる場合、サイネージアプリ５４を起動する。したがって、サイネージモードになる。 B. If the operation of the display 3 is not detected and there are people around, the signage application 54 is activated. Therefore, it is in signage mode.

Ｃ．ディスプレイ３の操作が検出されず、周辺に人がいない場合、表示部２９を消灯する。したがって、スタンバイモードになる。サイネージアプリ５４が起動している場合は終了させる。表示部２９を消灯するとはＬＥＤや陰極管などの表示部の光源をＯＦＦにすることをいう。図４に示したクライアント部２０やサーバ部９０は動作しているので、表示装置２はディスプレイ３の操作を検出できる。 C. When the operation of the display 3 is not detected and there are no people around, the display unit 29 is turned off. Therefore, it goes into standby mode. If the signage application 54 is running, terminate it. Turning off the display section 29 means turning off the light source of the display section such as an LED or cathode tube. Since the client section 20 and the server section 90 shown in FIG. 4 are operating, the display device 2 can detect the operation of the display 3 .

なお、ホワイトボードモードにおいてサイネージアプリ５４は停止するのでなくバックグラウンドで動作していてもよい。サイネージモードにおいてホワイトボードアプリ５３はバックグラウンドで動作するのでなく終了していてもよい。スタンバイモードにおいてサイネージアプリ５４は停止するのでなくバックグラウンドで動作していてもよい。スタンバイモードにおいてホワイトボードアプリ５３はバックグラウンドで動作するのでなく終了していてもよい。 Note that the signage application 54 may operate in the background in the whiteboard mode instead of stopping. In the signage mode, the whiteboard application 53 may be terminated instead of operating in the background. In the standby mode, the signage application 54 may operate in the background instead of stopping. In the standby mode, the whiteboard application 53 may be terminated rather than running in the background.

＜動作手順＞
図７，図８を用いて、動作モードの遷移例について説明する。まず、図７は、スタンバイモードからサイネージモードへの遷移について説明するシーケンス図の一例である。 <Operating procedure>
A transition example of the operation mode will be described with reference to FIGS. 7 and 8. FIG. First, FIG. 7 is an example of a sequence diagram explaining transition from standby mode to signage mode.

S1：ユーザが表示装置２に近づいたとする。 S1: Assume that the user approaches the display device 2 .

S2：カメラ２６０などの人感検知センサがユーザを検出するので、人推定部５１は周辺に人がいると推定する。 S2: Since the human detection sensor such as the camera 260 detects the user, the human estimator 51 estimates that there are people nearby.

S3：動作モード制御部５２は、定期的に、人の検知結果、及び、ディスプレイ３の操作の検出結果を取得する。そして、人の検知結果及びディスプレイ３の操作の検出結果に応じて以下のように動作モードを制御する。 S3: The operation mode control unit 52 periodically acquires the human detection result and the operation detection result of the display 3 . Then, the operation mode is controlled as follows according to the detection result of the person and the detection result of the operation of the display 3 .

・すでにホワイトボードモードである場合
S4：すでにホワイトボードモードであり、ユーザが検知されたので、動作モード制御部５２はホワイトボードモードを継続する。
S4－2：ホワイトボードモードにおいて周辺に人がいてもディスプレイの操作が一定時間、検出されない場合、動作モード制御部５２はサイネージモードに遷移する。・If you are already in whiteboard mode
S4: Since the whiteboard mode is already on and the user has been detected, the operation mode control unit 52 continues the whiteboard mode.
S4-2: In the whiteboard mode, if the display operation is not detected for a certain period of time even if there are people around, the operation mode control unit 52 transitions to the signage mode.

・すでにサイネージモードである場合
S5：すでにサイネージモードであり、ユーザが検知されたので、動作モード制御部５２はサイネージモードを継続する。
S5－2：サイネージモードでディスプレイ３の操作が検出されるとホワイトボードモードに遷移する。・If you are already in signage mode
S5: Since the signage mode is already set and the user has been detected, the operation mode control unit 52 continues the signage mode.
S5-2: When an operation on the display 3 is detected in the signage mode, the mode transitions to the whiteboard mode.

・スタンバイモードである場合
S6：スタンバイモードの状態でユーザが検知されたので、動作モード制御部５２はサイネージモードに遷移すると判断する。
S7：このため、動作モード制御部５２はサイネージアプリ５４を起動させる。・When in standby mode
S6: Since the user is detected in the standby mode state, the operation mode control unit 52 determines to transition to the signage mode.
S7: Therefore, the operation mode control unit 52 activates the signage application 54 .

図８は、サイネージモードからスタンバイモードへの遷移について説明するシーケンス図の一例である。 FIG. 8 is an example of a sequence diagram illustrating transition from signage mode to standby mode.

S11：ユーザが表示装置２から離れる。 S11: The user leaves the display device 2;

S12：カメラ２６０などの人感検知センサがユーザを検出しなくなるので、人推定部５１は周辺に人がいないと推定する。 S12: Since the human detection sensor such as the camera 260 stops detecting the user, the human estimation unit 51 estimates that there are no people around.

S13：動作モード制御部５２は、定期的に、人の検知結果、及び、ディスプレイ３の操作の検出結果を取得する。そして、人の検知結果及びディスプレイの操作の検出結果に応じて以下のように動作モードを制御する。 S<b>13 : The operation mode control unit 52 periodically acquires the human detection result and the detection result of the operation of the display 3 . Then, the operation mode is controlled as follows according to the detection result of the person and the detection result of the operation of the display.

・すでにホワイトボードモードである場合
S14：すでにホワイトボードモードであり、ユーザが検知されないので、動作モード制御部５２はホワイトボードモードを継続する。
S14－2：ホワイトボードモードでディスプレイ３の操作が一定時間、検出されなければ、やがてスタンバイモードに遷移する。・If you are already in whiteboard mode
S14: Since the whiteboard mode is already set and the user is not detected, the operation mode control section 52 continues the whiteboard mode.
S14-2: If the operation of the display 3 is not detected for a certain period of time in the whiteboard mode, it will soon transition to the standby mode.

・サイネージモードである場合
S15：サイネージモードであり、ユーザが検知されないので、動作モード制御部５２はスタンバイモードに遷移すると判断する。
S16：このため、動作モード制御部５２はサイネージアプリ５４を終了し、表示部２９を消灯にする。・When in signage mode
S15: Since the mode is the signage mode and the user is not detected, the operation mode control unit 52 determines to transition to the standby mode.
S16: Therefore, the operation mode control unit 52 terminates the signage application 54 and turns off the display unit 29 .

・すでにスタンバイモードである場合
S17：すでにスタンバイモードの状態でユーザが検知されないので、動作モード制御部５２はスタンバイモードを継続する。・When already in standby mode
S17: Since the user is not detected in the standby mode already, the operation mode control section 52 continues the standby mode.

＜人推定部の変形例＞
本実施形態では人推定部５１が、カメラ２６０などの人感検知センサの検出結果を利用して周辺に人が存在するか否かを推定したが、このようなハードウェアを使用せずに、現在の時刻から周辺に人が存在するか否かを推定してもよい。この場合、表示装置２には、予め周辺に人がいる時間帯が設定されている。例えば、オフィスや工場等で使用される場合は就業時間が設定される。表１は、このような時間帯が設定された時間帯設定情報の一例である。 <Modified example of human estimation unit>
In the present embodiment, the human estimating unit 51 estimates whether or not a person exists in the vicinity using the detection result of the human detection sensor such as the camera 260. However, without using such hardware, It may be estimated from the current time whether or not there is a person in the vicinity. In this case, the display device 2 is set in advance with a time period during which there are people in the vicinity. For example, when used in offices, factories, etc., working hours are set. Table 1 is an example of time zone setting information in which such time zones are set.

表１の時間帯設定情報には、「人がいる時間帯」として「９時～１８時」が設定されている。「人がいる時間帯」はサイネージモードの有効時間である。「人がいる時間帯」は複数に分けて設定されてもよいし、ユーザが任意の時間帯を設定できる。時間帯設定情報は、例えば人推定部５１が少なくとも参照できるように記憶されているか又はネットワークを介して外部から送信される。

In the time zone setting information in Table 1, "9:00 to 18:00" is set as the "time zone where people are present". "People's time period" is the effective time of the signage mode. The "time zone with people" may be divided into a plurality of settings, or the user can set an arbitrary time zone. For example, the time period setting information is stored so that the person estimation unit 51 can at least refer to it, or it is transmitted from the outside via a network.

なお、時間帯設定情報を使用する場合、図７，図８のシーケンス図は実際に人が接近するか離れるか判断されるステップS1,S11が不要になる。しかし、人推定部５１は時間帯設定情報と現在の時刻に基づいて人が存在するか否かの推定結果をステップS2,S12で動作モード制御部５２に送出すればよく、全体の手順は同様でよい。 When the time zone setting information is used, the sequence diagrams of FIGS. 7 and 8 do not require steps S1 and S11 for judging whether a person actually approaches or leaves. However, the person estimating unit 51 only needs to send the result of estimating whether or not a person exists based on the time zone setting information and the current time to the operation mode control unit 52 in steps S2 and S12, and the overall procedure is the same. OK.

＜表示装置の変形例＞
表示装置２としては図２に示したディスプレイ３を有する形態の他、プロジェクタを利用したものがある。図９を用いて表示システムを説明する。 <Modified example of display device>
As the display device 2, in addition to the form having the display 3 shown in FIG. 2, there is a form using a projector. The display system will be described with reference to FIG.

図９は、表示システムの構成例を示す図である。図９では、通常のホワイトボード４１３０の上辺にプロジェクタ４１１０が設置されている。このプロジェクタ４１１０が表示装置２に相当する。通常のホワイトボード４１３０とは、タッチパネルと一体のフラットパネルディスプレイではなく、ユーザがマーカで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。 FIG. 9 is a diagram illustrating a configuration example of a display system. In FIG. 9, a projector 4110 is installed on the upper side of a normal whiteboard 4130 . This projector 4110 corresponds to the display device 2 . The normal whiteboard 4130 is not a flat panel display integrated with a touch panel, but a whiteboard on which the user directly writes with markers. Note that the whiteboard may be a blackboard, and may be a flat surface that is large enough to project an image.

プロジェクタ４１１０は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３０に投影できる。この映像は、無線又は有線で接続されたＰＣ４００ー１から送信されてもよいし、プロジェクタ４１１０が記憶していてもよい。 The projector 4110 has an ultra-short focal length optical system, and can project an image with little distortion on the whiteboard 4130 from about 10 cm. This image may be transmitted from the PC 400 - 1 connected wirelessly or by wire, or may be stored in the projector 4110 .

ユーザは専用の電子ペン２５００を使ってホワイトボード４１３０に手書きする。電子ペン２５００は、ユーザが手書きのためにホワイトボード４１３０に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクタ４１１０はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５００の方向を特定する。また、電子ペン２５００は発光と共に音波を発信しており、プロジェクタ４１１０は音波の到達時間により距離を算出する。方向と距離により電子ペン２５００の位置を特定できる。電子ペン２５００の位置にはストロークが描画（投影）される。 The user uses the dedicated electronic pen 2500 to handwrite on the whiteboard 4130 . The electronic pen 2500 has, for example, a light-emitting portion at its tip, which is turned on and emits light when the user presses it against the whiteboard 4130 for handwriting. Since the wavelength of light is in the near infrared or infrared, it is invisible to the user's eyes. The projector 4110 has a camera, captures an image of the light emitting unit, analyzes the image, and identifies the direction of the electronic pen 2500 . Further, the electronic pen 2500 emits light and emits sound waves, and the projector 4110 calculates the distance from the arrival time of the sound waves. The position of the electronic pen 2500 can be identified by the direction and distance. A stroke is drawn (projected) at the position of the electronic pen 2500 .

プロジェクタ４１１０はメニュー４３００を投影するので、ユーザが電子ペン２５００でボタンを押下すると、プロジェクタ４１１０が電子ペン２５００の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１０が押下されると、ユーザが手書きしたストローク（座標の集合）がプロジェクタ４１１０で保存される。プロジェクタ４１１０は、予め定められたサーバ４１２０又はＵＳＢメモリ２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。 Since the projector 4110 projects the menu 4300, when the user presses a button with the electronic pen 2500, the projector 4110 identifies the pressed button based on the position of the electronic pen 2500 and the ON signal of the switch. For example, when the save button 4310 is pressed, the stroke (set of coordinates) handwritten by the user is saved by the projector 4110 . Projector 4110 stores the handwritten information in predetermined server 4120, USB memory 2600, or the like. Handwritten information is stored page by page. Since the coordinates are saved as they are instead of the image data, the user can re-edit them.

本実施形態に適用された場合、プロジェクタ４１１０は映像のインタフェースから映像を取り込み、電子ペン２５００が手書きに使用されているか否か（発光の有無、通信の有無）に応じてホワイトボードを操作中か非操作を判断する。したがって、プロジェクタ４１１０が使用された表示装置２であっても、スタンバイモードからサイネージモード、又は、サイネージモードからスタンバイモードに遷移できる。 When applied to this embodiment, the projector 4110 captures an image from an image interface, and determines whether the whiteboard is being operated according to whether the electronic pen 2500 is being used for handwriting (whether light is emitted or not, communication is being performed). Judge non-operation. Therefore, even the display device 2 using the projector 4110 can transition from the standby mode to the signage mode or from the signage mode to the standby mode.

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 <Other application examples>
Although the best mode for carrying out the present invention has been described above using examples, the present invention is by no means limited to such examples, and various modifications can be made without departing from the scope of the present invention. and substitutions can be added.

例えば、他の拠点と通信している場合に、他の拠点の動作モードを考慮して自拠点の動作モードを制御してよい。例えば、自拠点と他拠点のうち主催者端末を優先して同期させることなどが考えられる。 For example, when communicating with another site, the operation mode of the own site may be controlled in consideration of the operation mode of the other site. For example, it is conceivable to preferentially synchronize the host's terminal among the local site and the other sites.

また、図４、図６などの構成例は、表示装置２の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。 4 and 6 are divided according to main functions in order to facilitate understanding of the processing of the display device 2. FIG. The present invention is not limited by the division method or name of the unit of processing. Further, the processing of the display device 2 can be divided into more processing units according to the content of the processing. Also, one processing unit can be divided to include more processing.

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiments described above may be implemented by one or more processing circuits. Here, the "processing circuit" in this specification means a processor programmed by software to perform each function, such as a processor implemented by an electronic circuit, or a processor designed to perform each function described above. devices such as ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), FPGAs (field programmable gate arrays) and conventional circuit modules.

１画像処理システム
２表示装置
３ディスプレイ
４電子ペン
５１人推定部
５２動作モード制御部
５３ホワイトボードアプリ
５４サイネージアプリ
９０サーバ部 1 image processing system 2 display device 3 display 4 electronic pen 51 person estimation unit 52 operation mode control unit 53 whiteboard application 54 signage application 90 server unit

特許第6139854号公報Patent No. 6139854

Claims

A whiteboard mode that displays handwritten data,
A signage mode that displays information on the display,
Operates in one of three modes: standby mode, which turns off the display ,
A display device that operates in the whiteboard mode when the display of the display device is being operated,
a person estimation unit that estimates whether or not a person exists around the display device;
an operation mode control unit that changes the operation mode depending on whether a person is present;
When operating in the whiteboard mode, if the operation of the display is not detected and the person estimation unit estimates that a person exists around the display device, the operation mode control unit switches to the signage mode. If the operation of the display is not detected and the person estimation unit estimates that there is no person around the display device, the operation mode control unit makes the transition to the standby mode,
When operation of the display is detected while operating in the standby mode, the operation mode control unit transitions to the whiteboard mode, and the human estimation unit determines that a person exists around the display device. When estimated, the operation mode control unit transitions to the signage mode,
When an operation of the display is detected while operating in the signage mode, the operation mode control unit transitions to the whiteboard mode, and the human estimation unit detects that there are no people around the display device. , the operation mode control unit transitions to the standby mode .

2. The display device according to claim 1 , wherein the human estimation unit estimates whether or not a person exists around the display device using a human detection sensor.

3. The person estimating unit estimates whether or not a person exists around the display device based on a preset valid time of the signage mode and a current time. The display device according to .

A whiteboard mode that displays handwritten data,
A signage mode that displays information on the display,
Operates in one of three modes: standby mode, which turns off the display ,
A display system that operates in the whiteboard mode when the display device is operated,
a person estimation unit that estimates whether or not a person exists around the display device;
an operation mode control unit that changes the operation mode depending on whether a person is present;
When operating in the whiteboard mode, if the operation of the display is not detected and the person estimation unit estimates that a person exists around the display device, the operation mode control unit switches to the signage mode. If the operation of the display is not detected and the person estimation unit estimates that there is no person around the display device, the operation mode control unit makes the transition to the standby mode,
When operation of the display is detected while operating in the standby mode, the operation mode control unit transitions to the whiteboard mode, and the human estimation unit determines that a person exists around the display device. When estimated, the operation mode control unit transitions to the signage mode,
When an operation of the display is detected while operating in the signage mode, the operation mode control unit transitions to the whiteboard mode, and the human estimation unit detects that there are no people around the display device. , the operation mode control unit transitions to the standby mode .

A whiteboard mode that displays handwritten data,
A signage mode that displays information on the display,
Operates in one of three modes: standby mode, which turns off the display ,
An operation mode control method performed by the display device operating in the whiteboard mode when the display of the display device is being operated,
a step in which a person estimation unit estimates whether or not a person exists around the display device;
an operation mode control unit transitioning the operation mode according to whether or not a person is present;
has
When operating in the whiteboard mode, if the operation of the display is not detected and the person estimation unit estimates that a person exists around the display device, the operation mode control unit switches to the signage mode. If the operation of the display is not detected and the person estimation unit estimates that there is no person around the display device, the operation mode control unit makes the transition to the standby mode,
When operation of the display is detected while operating in the standby mode, the operation mode control unit transitions to the whiteboard mode, and the human estimation unit determines that a person exists around the display device. When estimated, the operation mode control unit transitions to the signage mode,
When an operation of the display is detected while operating in the signage mode, the operation mode control unit transitions to the whiteboard mode, and the human estimation unit detects that there are no people around the display device. The operation mode control method , wherein the operation mode control unit transitions to the standby mode when estimating that .

A whiteboard mode that displays handwritten data,
A signage mode that displays information on the display,
Operates in one of three modes: standby mode, which turns off the display ,
the display device operating in the whiteboard mode when the display of the display device is operated;
a person estimation unit that estimates whether or not a person exists around the display device;
Functioning as an operation mode control unit that transitions the operation mode depending on whether or not there is a person,
When operating in the whiteboard mode, if the operation of the display is not detected and the person estimation unit estimates that a person exists around the display device, the operation mode control unit switches to the signage mode. If the operation of the display is not detected and the person estimation unit estimates that there is no person around the display device, the operation mode control unit makes the transition to the standby mode,
When operation of the display is detected while operating in the standby mode, the operation mode control unit transitions to the whiteboard mode, and the human estimation unit determines that a person exists around the display device. When estimated, the operation mode control unit transitions to the signage mode,
When an operation of the display is detected while operating in the signage mode, the operation mode control unit transitions to the whiteboard mode, and the human estimation unit detects that there are no people around the display device. A program for causing the operation mode control unit to transition to the standby mode when it is estimated that