JP7342485B2 - Control device, method, program, and information processing system - Google Patents
Control device, method, program, and information processing system Download PDFInfo
- Publication number
- JP7342485B2 JP7342485B2 JP2019135621A JP2019135621A JP7342485B2 JP 7342485 B2 JP7342485 B2 JP 7342485B2 JP 2019135621 A JP2019135621 A JP 2019135621A JP 2019135621 A JP2019135621 A JP 2019135621A JP 7342485 B2 JP7342485 B2 JP 7342485B2
- Authority
- JP
- Japan
- Prior art keywords
- display device
- scribe
- screen
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、制御装置、方法、プログラム、および情報処理システムに関する。 The present invention relates to a control device, method, program, and information processing system.
従来、インタラクティブホワイトボード(電子黒板ともいう)等においてタッチパネルが用いられている。インタラクティブホワイトボードでは、タッチパネルに指を接触させて動作させることで資料の拡大表示を行ったり、ペンで資料への書き込みを容易に行ったりすることができる。 Conventionally, touch panels have been used in interactive whiteboards (also referred to as electronic whiteboards) and the like. With an interactive whiteboard, you can enlarge and display materials by touching the touch panel with your finger, and easily write on the materials with a pen.
タッチパネル機能を有する表示装置における表示の向きに関して、特許文献1には、入力者がペンを使用してタブレット・表示部に入力した情報が、タブレット・表示部に入力者の方向に表示されることが記載されている(特許文献1の段落[0020])。 Regarding the display orientation of a display device having a touch panel function, Patent Document 1 states that information inputted by an inputter using a pen into a tablet/display section is displayed on the tablet/display section in the direction of the inputter. is described (paragraph [0020] of Patent Document 1).
しかしながら、タッチパネル機能を有する表示装置は、特許文献1のように平置きで設置されるだけでなく、例えば縦がけで設置されることもある。平置きでない縦がけの場合には、入力者の方向に合わせて表示の向きを変更させることは不要である。 However, a display device having a touch panel function is not only installed horizontally as in Patent Document 1, but may also be installed vertically, for example. If the screen is placed vertically rather than horizontally, there is no need to change the display orientation according to the direction of the person inputting information.
そこで、本発明の一実施形態では、表示装置の設置状況に応じた表示方法を提供することを目的とする。 Therefore, an object of an embodiment of the present invention is to provide a display method depending on the installation status of a display device.
上記目的を達成するため、本発明の一実施形態は、表示装置が平置きであるかを判別する設置判別部と、前記表示装置が平置きであるとき、筆記者の位置を検出する筆記者位置検出部と、前記筆記者の位置に応じて、前記表示装置上の画面を回転する回転部とを備え、前記回転部は、前記設置判別部によって前記表示装置が平置きであると判別されなかった場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しない。 In order to achieve the above object, one embodiment of the present invention includes an installation determination unit that determines whether the display device is placed horizontally, and a scriber that detects the position of a scribe when the display device is placed horizontally. a position detection unit; and a rotation unit that rotates a screen on the display device according to the position of the scribe, and the rotation unit is configured to determine that the display device is placed flat by the installation determination unit. If not, the screen on the display device is not rotated according to the position of the scribe.
本発明の一実施形態によれば、表示装置の設置状況に応じた表示方法を提供することができる。 According to one embodiment of the present invention, it is possible to provide a display method depending on the installation status of a display device.
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。 Each embodiment will be described below with reference to the accompanying drawings. Note that, in this specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, thereby omitting redundant explanation.
<システム構成>
図1は、本発明の一実施形態に係る情報処理システム10の構成図である。図1に示されるように、情報処理システム10は、制御装置11および表示装置12を含む。なお、制御装置11と表示装置12は、図1のように別々の筐体で実装されてもよいし、1つの筐体で実装されてもよい。以下、それぞれについて説明する。
<System configuration>
FIG. 1 is a configuration diagram of an
制御装置11は、表示装置12の設置状況に応じて、表示装置1の表示方法を変更する。具体的には、制御装置11は、表示装置12が平置きであるか縦がけであるかを判別する。制御装置11は、表示装置12が平置きである場合には、筆記者の位置に応じて画面を回転させる。一方、制御装置11は、表示装置12が縦がけである場合には、画面を回転させない(つまり、筆記者の位置に関わらず、画面を固定する)。
The
表示装置12は、タッチパネルの機能を有するディスプレイである。表示装置12は、表示装置12の加速度を検知する加速度センサと、表示装置12の画面側に装着されたレンズによって撮影できるカメラとのうちの少なくとも一方を備えている。加速度センサが検知した加速度と、カメラが撮影した画像とのうちの少なくとも一方が、表示装置12が平置きであるか縦がけであるかを制御装置11が判別するために用いられる。
The
なお、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、制御装置は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。 Note that the devices described in the Examples are merely one of a plurality of computing environments for implementing the embodiments disclosed herein. In some embodiments, the controller includes multiple computing devices, such as a server cluster. The plurality of computing devices are configured to communicate with each other via any type of communication link, including a network, shared memory, etc., to perform the processes disclosed herein.
なお、情報処理システム10は、例えば、PJ(Projector:プロジェクタ)、IWB(Interactive White Board:相互通信が可能な電子式の黒板機能を有する白板)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車(Connected Car)、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPCまたはデスクトップPC等であってもよい。
The
<ハードウェア構成>
<<電子黒板>>
図2は、情報処理システム10の一例である電子黒板のハードウェア構成図である。図2に示されているように、電子黒板2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、SSD(Solid State Drive)204、ネットワークI/F205、及び、外部機器接続I/F(Interface)206を備えている。
<Hardware configuration>
<<Electronic blackboard>>
FIG. 2 is a hardware configuration diagram of an electronic whiteboard that is an example of the
これらのうち、CPU201は、電子黒板2全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の動作に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、電子黒板用のプログラム等の各種データを記憶する。ネットワークI/F205は、通信ネットワーク100との通信を制御する。外部機器接続I/F206は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ230、外付け機器(マイク240、スピーカ250、カメラ260)である。
Among these, the
また、電子黒板2は、キャプチャデバイス211、GPU212、ディスプレイコントローラ213、接触センサ214、センサコントローラ215、電子ペンコントローラ216、近距離通信回路219、及び近距離通信回路219のアンテナ219a、電源スイッチ222及び選択スイッチ類223を備えている。
The electronic whiteboard 2 also includes a
これらのうち、キャプチャデバイス211は、外付けのPC(Personal Computer))270のディスプレイの表示内容に対応する映像情報を静止画または動画として表示面に表示させる。GPU(Graphics Processing Unit)212は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ213は、GPU212からの出力画像をディスプレイ280等へ出力するために画面表示の制御及び管理を行う。接触センサ214は、ディスプレイ280上に電子ペン290やユーザの手H等が接触したことを検知する。センサコントローラ215は、接触センサ214の処理を制御する。接触センサ214は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ280の上側両端部に設置された2つ受発光装置が、ディスプレイ280に平行して複数の赤外線を放射し、ディスプレイ280の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ214は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ215に出力し、センサコントローラ215が、物体の接触位置である座標位置を特定する。電子ペンコントローラ216は、電子ペン290と通信することで、ディスプレイ280へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路219は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ222は、電子黒板2の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類223は、例えば、ディスプレイ280の表示の明暗や色合い等を調整するためのスイッチ群である。
Among these, the
更に、電子黒板2は、バスライン210を備えている。バスライン210は、図2に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
Further, the electronic whiteboard 2 includes a
なお、接触センサ214は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ216が、電子ペン290のペン先及びペン尻だけでなく、電子ペン290のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
Note that the
<<ビデオ会議端末>>
図3は、ビデオ会議端末のハードウェア構成図である。図3に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F(Interface)318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL等のCPU301の動作に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。SSD305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出し又は書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合などに操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチである。
<<Video conference terminal>>
FIG. 3 is a hardware configuration diagram of the video conference terminal. As shown in FIG. 3, the
また、ネットワークI/F311は、インターネット等の通信ネットワークを利用してデータ通信をするためのインターフェースである。CMOS(Complementary Metal Oxide Semiconductor)センサ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子I/F313は、CMOSセンサ312の動作を制御する回路である。マイク314は、音を電気信号に変える内蔵型の回路である。スピーカ315は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F316は、CPU301の制御に従ってマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御に従って外付けのディスプレイに画像データを送信する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。近距離通信回路319は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。
Further, the network I/
また、バスライン310は、図3に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
Further, the
ディスプレイは、被写体の画像や操作用アイコン等を表示する液晶や有機EL(Electro Luminescence)等によって構成された表示手段の一種である。また、ディスプレイは、ケーブルによってディスプレイI/F317に接続される。このケーブルは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
A display is a type of display means configured with a liquid crystal, an organic EL (Electro Luminescence), or the like that displays an image of a subject, operation icons, and the like. Further, the display is connected to display I/
なお、CMOS(Complementary Metal Oxide Semiconductor)センサ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等の撮像手段であってもよい。外部機器接続I/F318には、USBケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御に従って、内蔵型のCMOSセンサ312に優先して、外付けカメラが動作する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU301の制御に従って、それぞれが内蔵型のマイク314や内蔵型のスピーカ315に優先して、外付けマイクや外付けスピーカが動作する。
Note that the CMOS (Complementary Metal Oxide Semiconductor)
また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ304に限らず、EEPROM等を用いてもよい。
Furthermore, the recording medium 306 is configured to be detachable from the
<<スマートフォン>>
図4は、情報処理システム10の一例であるスマートフォンのハードウェア構成図である。図4に示されているように、スマートフォン4は、CPU401、ROM402、RAM403、EEPROM404、CMOSセンサ405、撮像素子I/F406、加速度・方位センサ407、メディアI/F409、GPS受信部411を備えている。
<<Smartphone>>
FIG. 4 is a hardware configuration diagram of a smartphone, which is an example of the
これらのうち、CPU401は、スマートフォン4全体の動作を制御する。ROM402は、CPU401やIPL等のCPU401の動作に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。EEPROM404は、CPU401の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOS(Complementary Metal Oxide Semiconductor)センサ405は、CPU401の制御に従って被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子I/F406は、CMOSセンサ405の動作を制御する回路である。加速度・方位センサ407は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F409は、フラッシュメモリ等の記録メディア408に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部411は、GPS衛星からGPS信号を受信する。
Among these, the
また、スマートフォン4は、遠距離通信回路412、CMOSセンサ413、撮像素子I/F414、マイク415、スピーカ416、音入出力I/F417、ディスプレイ418、外部機器接続I/F(Interface)419、近距離通信回路420、近距離通信回路420のアンテナ420a、及びタッチパネル421を備えている。
The smartphone 4 also includes a long-
これらのうち、遠距離通信回路412は、通信ネットワーク100を介して、他の機器と通信する回路である。CMOSセンサ413は、CPU401の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F414は、CMOSセンサ413の動作を制御する回路である。マイク415は、音を電気信号に変える内蔵型の回路である。スピーカ416は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F417は、CPU401の制御に従ってマイク415及びスピーカ416との間で音信号の入出力を処理する回路である。ディスプレイ418は、被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)などの表示手段の一種である。外部機器接続I/F419は、各種の外部機器を接続するためのインターフェースである。近距離通信回路420は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。タッチパネル421は、利用者がディスプレイ418を押下することで、スマートフォン4を操作する入力手段の一種である。
Among these, the long-
また、スマートフォン4は、バスライン410を備えている。バスライン410は、図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
The smartphone 4 also includes a
<機能ブロック>
図5は、本発明の一実施形態に係る情報処理システム10の機能ブロック図である。図5に示されるように、情報処理システム10は、メインコントローラー部110、表示部120、タッチセンサ部130、バッテリー部140、加速度センサ部151、カメラ部152を含むことができる。以下、それぞれについて説明する。
<Functional block>
FIG. 5 is a functional block diagram of the
情報処理システム10の表示装置12は、表示部120、タッチセンサ部130、バッテリー部140、加速度センサ部151、カメラ部152の機能を有することができる。
The
情報処理システム10の制御装置11は、メインコントローラー部110の機能を有する。また、情報処理システム10の制御装置11は、プログラムを実行することによって、メインコントローラー部110として機能する。
The
表示部120は、コンピュータ等から出力される静止画または動画の映像信号を表示する。
The
タッチセンサ部130は、入力手段(ペン先や筆記者の指など)によって触れられているタッチパネルの画面上の位置情報(座標情報)、および、筆記者のパーム(手のひら)によって触れられているタッチパネルの画面上の位置情報(座標情報)を検出する。
The
なお、表示装置12のタッチセンサは、入力手段(ペン先や筆記者の指など)と、筆記者のパームとの区別ができ、入力手段(ペン先や筆記者の指など)とタッチパネルとの接触点の位置情報(座標情報)を検出することができ、筆記者のパームとタッチパネルとの接触点の位置情報(座標情報)を検出することができれば、センサの種類を問わない。
Note that the touch sensor of the
具体的には、タッチパネルコントローラ131は、タッチパネルを制御する。また、タッチパネルドライバ132は、タッチパネルに電力を供給して動かす。また、タッチセンサ133は、入力手段(ペン先や筆記者の指など)によるタッチパネルへの接触、および、筆記者のパームによるタッチパネルへの接触を検知する。
Specifically,
バッテリー部140は、タッチパネルの電力を供給する。バッテリー141は電力を提供し、バッテリーコントローラ142はバッテリー部140を制御する。
The
加速度センサ部151は、表示装置12のXYZ軸の3方向の加速度を検知する。
The
カメラ部152は、表示装置12の画面側に装着されたレンズによって撮影する。
The
メインコントローラー部110は、表示装置12の設置状況に応じて、表示装置12の表示方法を変更する。メインコントローラー部110は、設置判別部111、筆記者位置検出部112、回転部113、余白制御部114を含むことができる。
The
設置判別部111は、表示装置12が平置きであるか縦がけであるかを判別する。以下、加速度センサが検知した加速度に基づく判別と、カメラが撮影した画像に基づく判別とに分けて説明する。
The
<加速度に基づく判別>
設置判別部111は、表示装置12の傾斜角度を検出する。設置判別部111は、表示装置12の加速度センサ部151から取得した、X軸、Y軸、Z軸の加速度ベクトルの合計から地面に対しての向きを測定する。設置判別部111は、傾斜角度が0°(水平)または所定の範囲内の角度であると、表示装置が平置きであると判別する。また、設置判別部111は、傾斜角度が90°(垂直)または所定の範囲内の角度であると、表示装置が縦がけであると判別する。なお、設置判別部111は、少なくとも0°(水平)および90°(垂直)の2つの状態を検出することができればよい。
<Discrimination based on acceleration>
The
<カメラ画像に基づく判別>
事前に、表示装置12が設置されうる場所の天井の画像に対応する特徴量がデータベースに保存されているものとする。設置判別部111は、表示装置12のカメラ部152から取得した画像から特徴量を算出し、データベース内の特徴量と比較し、両者の類似度が閾値よりも高ければ平置き、閾値よりも低ければ縦がけと判別することができる。すなわち、表示装置12が平置きで設置されている場合、表示装置12の画面側に装着されたレンズによって撮影した画像(つまり、天井方向を撮影した画像)の特徴量と、データベース内の特徴量とは類似しているはずであるので、設置判別部111は表示装置12の設置状況を判別することができる。
<Discrimination based on camera image>
It is assumed that the feature amount corresponding to the image of the ceiling where the
ここで、表示装置12の回転制御を有効にさせるタイミングについて説明する。
Here, the timing for enabling rotation control of the
図6は、本発明の一実施形態に係る回転制御を有効にさせるタイミングを説明するための図である。図6に示されるように、表示装置12は、平置きにして使うことも(図6の左側)、縦がけにして使うことも(図6の右側)できる。表示装置12が平置きで設置されるときには、筆記者の位置に合わせて、表示装置12に表示されている画面(つまり、コンテンツ)を回転させることが望ましい。しかし、表示装置12が縦がけで設置されるときには、どの筆記者の位置からでも画面(コンテンツ)を正面から見ることができるので、表示装置12に表示されている画面(コンテンツ)を回転させる必要はない。また、画面(コンテンツ)の回転制御の機能を有効にすると、消費電力が上がったり、CPUの処理速度が低下したりすることが懸念されるため、縦がけのときは回転制御の機能を無効にさせる。
FIG. 6 is a diagram for explaining the timing for enabling rotation control according to an embodiment of the present invention. As shown in FIG. 6, the
筆記者位置検出部112は、表示装置12のタッチパネルへの書き込みを行っている筆記者の位置を検出する。以下、図7を参照しながら、筆記者の位置の検出について説明する。
The scribe
図7は、本発明の一実施形態に係る筆記者の位置の検出を説明するための図である。上述のとおり、表示装置12のタッチセンサ部130は、入力手段(ペン先や筆記者の指など)と、筆記者のパームとを区別することができる。また、タッチセンサ部130は、入力手段(ペン先や筆記者の指など)とタッチパネルとの接触点の位置情報(座標情報)を検出することができる。また、タッチセンサ部130は、筆記者のパームとタッチパネルとの接触点の位置情報(座標情報)を検出することができる。
FIG. 7 is a diagram for explaining detection of a scribe's position according to an embodiment of the present invention. As described above, the
筆記者位置検出部112は、入力手段(ペン先や筆記者の指など)と筆記者のパームとの位置関係に基づいて、筆記者が表示装置12(ディスプレイ)のどの方向から筆記しているかを検出する。
The scribe
図7の左側の例について説明する。パームの位置の座標を(X1,Y1)、入力手段の位置の座標を(X2,Y2)とする。ディスプレイが横向きであり下側・上側(つまり、長手方向)から筆記している場合、│X1-X2│は│Y1-Y2│と比べ、比較的小さい値になると推測される。基準値を仮にD1とした場合、│X1-X2│<D1という式が成り立つ。また、Y2-Y1が正になるとき、ディスプレイの下側から書き込んでいると推測できる。基準値を仮にD2(例えば、ゼロ)とした場合、Y2-Y1>D2という式が成り立つ。なお、Y2-Y1<D2であれば、ディスプレイの上側から書き込んでいると推測できる。 An example on the left side of FIG. 7 will be explained. Let the coordinates of the palm position be (X 1 , Y 1 ) and the coordinates of the input means position be (X 2 , Y 2 ). When the display is oriented horizontally and writing is done from the bottom/top (that is, the longitudinal direction), |X 1 -X 2 | is estimated to be a relatively small value compared to |Y 1 -Y 2 |. Assuming that the reference value is D1, the formula |X 1 -X 2 |<D1 holds true. Furthermore, when Y 2 - Y 1 becomes positive, it can be inferred that writing is being performed from the bottom of the display. If the reference value is set to D2 (for example, zero), the formula Y 2 −Y 1 >D2 holds true. Note that if Y 2 −Y 1 <D2, it can be inferred that writing is performed from the top of the display.
同様に、図7の右側の例について説明する。パームの位置の座標を(X3,Y3)、入力手段の位置の座標を(X4,Y4)とする。ディスプレイが横向きであり右側・左側(つまり、短手方向)から筆記している場合、│Y3-Y4│は│X3-X4│と比べ、比較的小さい値になると推測される。基準値を仮にD1とした場合、│Y3-Y4│<D1という式が成り立つ。また、X3-X4が正になるとき、ディスプレイの右側から書き込んでいると推測できる。基準値を仮にD2(例えば、ゼロ)とした場合、X3-X4>D2という式が成り立つ。なお、X3-X4<D2であれば、ディスプレイの左側から書き込んでいると推測できる。 Similarly, the example on the right side of FIG. 7 will be explained. Let the coordinates of the palm position be (X 3 , Y 3 ) and the coordinates of the input means position be (X 4 , Y 4 ). If the display is oriented horizontally and you are writing from the right or left side (that is, from the lateral direction), |Y 3 -Y 4 | is estimated to be a relatively small value compared to |X 3 -X 4 |. Assuming that the reference value is D1, the formula |Y 3 −Y 4 |<D1 holds true. Also, when X 3 - X 4 is positive, it can be inferred that writing is being done from the right side of the display. If the reference value is set to D2 (for example, zero), the formula X 3 -X 4 >D2 holds true. Note that if X 3 -X 4 <D2, it can be inferred that writing is performed from the left side of the display.
なお、右利きと左利きを考慮して、│X1-X2│および│Y3-Y4│のように絶対値を用いている。 Note that taking right-handedness and left-handedness into consideration, absolute values are used such as |X 1 -X 2 | and |Y 3 -Y 4 |.
回転部113は、筆記者の位置に応じて画面を回転させる。具体的には、回転部113は、筆記者が表示装置12に表示される画面(コンテンツ)を正面から見ることができるように、画面を回転させる。以下、図8を参照しながら、回転制御について説明する。
The
図8は、本発明の一実施形態に係る回転制御の概要を説明するための図である。図8に示されるように、平置きに設置された表示装置12(ディスプレイ)を四方向からユーザが取り囲んで使用しているものとする。図8の左側のように、手前のユーザがディスプレイに書き込むと、手前のユーザが正面から見えるように画面(コンテンツ)が表示される。その後、図8の右側のように、奥のユーザがディスプレイに書き込むと、奥のユーザが正面から見えるように画面(コンテンツ)が表示される(つまり、筆記者の位置に応じて画面が回転される)。 FIG. 8 is a diagram for explaining an overview of rotation control according to an embodiment of the present invention. As shown in FIG. 8, it is assumed that a display device 12 (display) installed horizontally is being used by users surrounding it from four directions. As shown on the left side of FIG. 8, when the user in the foreground writes on the display, the screen (content) is displayed so that the user in the foreground can see it from the front. After that, as shown on the right side of Figure 8, when the user in the back writes on the display, the screen (content) is displayed so that the user in the back can see it from the front (that is, the screen is rotated according to the position of the scribe). ).
余白制御部114は、コンテンツに応じて余白を制御する。具体的には、余白制御部114は、ディスプレイのアスペクト比と、ディスプレイに表示される画像のアスペクト比とが一致しているか否かを判断する。余白制御部114は、両者のアスペクト比が一致していない場合、余白を制御する。以下、図9および図10を参照しながら、余白の制御について説明する。
The
図9は、本発明の一実施形態に係る余白の制御(縦長のコンテンツの場合)を説明するための図である。図9に示されるように、縦長のコンテンツの場合、コンテンツの右側と左側に余白が生じる(図9の左側)。余白制御部114は、入力手段(ペン先や筆記者の指など)によって触れられている余白(図9の例では左側の余白)側に他方の余白(図9の例では右側の余白)を移動させる(図9の右側)。そのため、筆記者は、広い余白に書き込むことができる。
FIG. 9 is a diagram for explaining margin control (in the case of vertically long content) according to an embodiment of the present invention. As shown in FIG. 9, in the case of vertically long content, margins appear on the right and left sides of the content (left side in FIG. 9). The
図10は、本発明の一実施形態に係る余白の制御(横長のコンテンツの場合)を説明するための図である。図10に示されるように、横長のコンテンツの場合、コンテンツの上側と下側に余白が生じる(図10の左側)。余白制御部114は、入力手段(ペン先や筆記者の指など)によって触れられている余白(図10の例では下側の余白)側に他方の余白(図10の例では上側の余白)を移動させる(図10の中央)。そのため、筆記者は、広い余白に書き込むことができる。なお、余白制御部114が、コンテンツの下側の余白をコンテンツの上側に移動させるようにしてもよい(図10の右側)。
FIG. 10 is a diagram for explaining margin control (in the case of horizontally long content) according to an embodiment of the present invention. As shown in FIG. 10, in the case of horizontally long content, margins appear at the top and bottom of the content (on the left side of FIG. 10). The
なお、縦長のコンテンツの場合も横長のコンテンツの場合も、コンテンツの部分に書き込みが行われているときには、余白の制御は行われない。 In addition, in the case of both vertically long content and horizontally long content, margin control is not performed when writing is performed in the content portion.
図11は、本発明の一実施形態に係る設置状況に応じた回転制御処理のフローチャートである。 FIG. 11 is a flowchart of rotation control processing according to the installation situation according to an embodiment of the present invention.
ステップ1(S1)において、表示装置12が起動されたとする。
Assume that the
ステップ2(S2)において、設置判別部111は、表示装置12が平置きであるか縦がけであるかを判別する。平置きの場合にはステップ3へ進み、縦がけの場合には再びS2を実行する。
In step 2 (S2), the
ステップ3(S3)において、筆記者位置検出部112は、入力手段(ペン先や筆記者の指など)と筆記者のパームとの位置関係に基づいて、筆記者が表示装置12(ディスプレイ)のどの方向から筆記しているかを検出する。
In step 3 (S3), the scribe
ステップ4(S4)において、回転部113は、S3に検出した筆記者の位置に応じて画面(コンテンツ)を回転させる。
In step 4 (S4), the
ステップ5(S5)において、余白制御部114は、ディスプレイのアスペクト比と、ディスプレイに表示される画像のアスペクト比とが一致しているか否かを判断する。一致していない場合にはステップ6へ進み、一致している場合には再びS5を実行する。
In step 5 (S5), the
ステップ6(S6)において、余白制御部114は、余白部分に筆記されているか否かを判断する。余白部分に筆記されている場合にはステップ7へ進み、余白部分に筆記されていない場合には再びS6を実行する。
In step 6 (S6), the
ステップ7(S7)において、余白制御部114は、表示されている画像を移動させて、余白部分を増やす。
In step 7 (S7), the
ステップ8(S8)において、余白制御部114は、表示装置12が終了されたか否かを判断する。終了された場合には処理を終了し、終了されていない場合にはS2へ戻る。
In step 8 (S8), the
このように、本発明の一実施形態では、表示装置12が平置きであるか縦がけであるかを判別し、判別結果に応じて入力情報に基づく表示情報の方向変換処理を実行させることができる。電子黒板等の設置状況や表示コンテンツに応じた制御を行い、CPUに余分な処理負荷を与えないことで、実際に必要な制御の処理速度を遅らさずに、また消費電力を抑えることができる。
As described above, in one embodiment of the present invention, it is possible to determine whether the
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiments described above can be realized by one or more processing circuits. Here, the term "processing circuit" as used herein refers to a processor programmed to execute each function by software, such as a processor implemented by an electronic circuit, or a processor designed to execute each function explained above. This includes devices such as ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), FPGAs (field programmable gate arrays), and conventional circuit modules.
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 Note that the present invention is not limited to the configurations shown here, such as combinations of other elements with the configurations listed in the above embodiments. These points can be modified without departing from the spirit of the present invention, and can be appropriately determined depending on the application thereof.
10 情報処理システム
11 制御装置
12 表示装置
110 メインコントローラー部
111 設置判別部
112 筆記者位置検出部
113 回転部
114 余白制御部
120 表示部
130 タッチセンサ部
131 タッチパネルコントローラ
132 タッチパネルドライバ
133 タッチセンサ
140 バッテリー部
141 バッテリー
142 バッテリーコントローラ
151 加速度センサ部
152 カメラ部
10
Claims (7)
前記表示装置が平置きであるとき、筆記者の位置を検出する筆記者位置検出部と、
前記筆記者の位置に応じて、前記表示装置上の画面を回転する回転部と、
前記表示装置のアスペクト比と前記表示装置上の画面のアスペクト比とが一致していない場合、前記筆記者の位置に応じて、前記表示装置上の余白を移動させる余白制御部と
を備え、
前記回転部は、前記設置判別部によって前記表示装置が平置きであると判別されなかった場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しない、制御装置。 an installation determination unit that determines whether the display device is placed horizontally;
a scribe position detection unit that detects the position of a scribe when the display device is placed horizontally;
a rotating unit that rotates a screen on the display device according to the position of the scribe ;
a margin control unit that moves a margin on the display device according to the position of the scribe when the aspect ratio of the display device and the aspect ratio of the screen on the display device do not match;
Equipped with
The control device is configured such that the rotation unit does not rotate a screen on the display device according to the position of the scribe when the installation determination unit does not determine that the display device is placed horizontally.
前記回転部は、前記設置判別部によって前記表示装置が縦がけであると判別された場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しない、請求項1に記載の制御装置。 The installation determination unit determines whether the display device is placed horizontally or vertically,
The rotating unit does not rotate the screen on the display device according to the position of the scribe when the installation determining unit determines that the display device is vertically mounted. Control device.
前記表示装置が平置きであるとき、筆記者の位置を検出するステップと、
前記筆記者の位置に応じて、前記表示装置上の画面を回転し、前記表示装置が平置きであると判別されなかった場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しないステップと、
前記表示装置のアスペクト比と前記表示装置上の画面のアスペクト比とが一致していない場合、前記筆記者の位置に応じて、前記表示装置上の余白を移動させるステップと
を含む方法。 a step of determining whether the display device is placed flat;
detecting the position of the scribe when the display device is placed flat;
The screen on the display device is rotated according to the position of the scribe, and if it is not determined that the display device is placed flat, the screen on the display device is rotated according to the position of the scribe. with a step that does not rotate ,
If the aspect ratio of the display device and the aspect ratio of the screen on the display device do not match, moving a margin on the display device according to the position of the scribe;
method including.
表示装置が平置きであるかを判別する設置判別部、
前記表示装置が平置きであるとき、筆記者の位置を検出する筆記者位置検出部、
前記筆記者の位置に応じて、前記表示装置上の画面を回転する回転部、
前記表示装置のアスペクト比と前記表示装置上の画面のアスペクト比とが一致していない場合、前記筆記者の位置に応じて、前記表示装置上の余白を移動させる余白制御部
として機能させ、
前記回転部は、前記設置判別部によって前記表示装置が平置きであると判別されなかった場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しない、プログラム。 An installation determination unit that determines whether the control device is placed flat or not;
a scribe position detection unit that detects the position of a scribe when the display device is placed horizontally;
a rotating unit that rotates a screen on the display device according to the position of the scribe ;
a margin control unit that moves a margin on the display device according to the position of the scribe when the aspect ratio of the display device and the aspect ratio of the screen on the display device do not match;
function as
The rotating unit does not rotate the screen on the display device according to the position of the scribe if the installation determining unit does not determine that the display device is placed horizontally.
前記表示装置が平置きであるかを判別する設置判別部と、
前記表示装置が平置きであるとき、筆記者の位置を検出する筆記者位置検出部と、
前記筆記者の位置に応じて、前記表示装置上の画面を回転する回転部と、
前記表示装置のアスペクト比と前記表示装置上の画面のアスペクト比とが一致していない場合、前記筆記者の位置に応じて、前記表示装置上の余白を移動させる余白制御部と
を備え、
前記回転部は、前記設置判別部によって前記表示装置が平置きであると判別されなかった場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しない、情報処理システム。 including a control device and a display device;
an installation determination unit that determines whether the display device is placed horizontally;
a scribe position detection unit that detects the position of a scribe when the display device is placed horizontally;
a rotating unit that rotates a screen on the display device according to the position of the scribe ;
a margin control unit that moves a margin on the display device according to the position of the scribe when the aspect ratio of the display device and the aspect ratio of the screen on the display device do not match;
Equipped with
The rotation unit is configured to not rotate a screen on the display device according to the position of the scribe when the installation determination unit does not determine that the display device is placed horizontally.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019135621A JP7342485B2 (en) | 2019-07-23 | 2019-07-23 | Control device, method, program, and information processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019135621A JP7342485B2 (en) | 2019-07-23 | 2019-07-23 | Control device, method, program, and information processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021018742A JP2021018742A (en) | 2021-02-15 |
JP7342485B2 true JP7342485B2 (en) | 2023-09-12 |
Family
ID=74566036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019135621A Active JP7342485B2 (en) | 2019-07-23 | 2019-07-23 | Control device, method, program, and information processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7342485B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003280817A (en) | 2002-03-22 | 2003-10-02 | Ricoh Co Ltd | User interface device for electronic board, display position correcting method for electronic board, program for making computer execute the method and computer- readable recording medium with the program recorded thereon |
JP2011065252A (en) | 2009-09-15 | 2011-03-31 | Sharp Corp | Input display board-cum-table |
US20120131488A1 (en) | 2010-11-23 | 2012-05-24 | David Karlsson | Gui controls with movable touch-control objects for alternate interactions |
JP2012529099A (en) | 2009-06-05 | 2012-11-15 | サムスン エレクトロニクス カンパニー リミテッド | User-specific UI providing method and device using the same |
JP2014134938A (en) | 2013-01-09 | 2014-07-24 | Sharp Corp | Input display device |
-
2019
- 2019-07-23 JP JP2019135621A patent/JP7342485B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003280817A (en) | 2002-03-22 | 2003-10-02 | Ricoh Co Ltd | User interface device for electronic board, display position correcting method for electronic board, program for making computer execute the method and computer- readable recording medium with the program recorded thereon |
JP2012529099A (en) | 2009-06-05 | 2012-11-15 | サムスン エレクトロニクス カンパニー リミテッド | User-specific UI providing method and device using the same |
JP2011065252A (en) | 2009-09-15 | 2011-03-31 | Sharp Corp | Input display board-cum-table |
US20120131488A1 (en) | 2010-11-23 | 2012-05-24 | David Karlsson | Gui controls with movable touch-control objects for alternate interactions |
JP2014134938A (en) | 2013-01-09 | 2014-07-24 | Sharp Corp | Input display device |
Also Published As
Publication number | Publication date |
---|---|
JP2021018742A (en) | 2021-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10401964B2 (en) | Mobile terminal and method for controlling haptic feedback | |
US10345953B2 (en) | Dynamic hover sensitivity and gesture adaptation in a dual display system | |
US9317198B2 (en) | Multi display device and control method thereof | |
CN105335001B (en) | Electronic device having curved display and method for controlling the same | |
KR102063952B1 (en) | Multi display apparatus and multi display method | |
US9406281B2 (en) | Multi-display device and method of controlling thereof | |
US11443453B2 (en) | Method and device for detecting planes and/or quadtrees for use as a virtual substrate | |
KR20200101207A (en) | Electronic device and method for modifying magnification of image using multiple cameras | |
US20120038546A1 (en) | Gesture control | |
US20120038675A1 (en) | Assisted zoom | |
JP2015506033A (en) | Full 3D interaction on mobile devices | |
CN111936951A (en) | Electronic device comprising a flexible display | |
JP2018180051A (en) | Electronic device and control method thereof | |
US10114501B2 (en) | Wearable electronic device using a touch input and a hovering input and controlling method thereof | |
JP7154789B2 (en) | Display control device, its control method, program and storage medium | |
US20150002420A1 (en) | Mobile terminal and method for controlling screen | |
JP7342485B2 (en) | Control device, method, program, and information processing system | |
JP7346977B2 (en) | Control devices, electronic equipment, control systems, control methods, and programs | |
KR102278229B1 (en) | Electronic device and its control method | |
JP7354643B2 (en) | Control device, method, program, and information processing system | |
KR102510841B1 (en) | A method for driving a plurality of pixel lines and an electronic device thereof | |
JP2018180050A (en) | Electronic device and control method thereof | |
KR20210041768A (en) | Electronic apparatus and controlling method thereof | |
US11003293B2 (en) | Electronic device that executes assigned operation in response to touch pressure, and method therefor | |
KR102508833B1 (en) | Electronic apparatus and text input method for the electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230814 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7342485 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |