JP7342485B2 - Control device, method, program, and information processing system - Google Patents

Control device, method, program, and information processing system Download PDF

Info

Publication number
JP7342485B2
JP7342485B2 JP2019135621A JP2019135621A JP7342485B2 JP 7342485 B2 JP7342485 B2 JP 7342485B2 JP 2019135621 A JP2019135621 A JP 2019135621A JP 2019135621 A JP2019135621 A JP 2019135621A JP 7342485 B2 JP7342485 B2 JP 7342485B2
Authority
JP
Japan
Prior art keywords
display device
scribe
screen
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019135621A
Other languages
Japanese (ja)
Other versions
JP2021018742A (en
Inventor
弘章 谷岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019135621A priority Critical patent/JP7342485B2/en
Publication of JP2021018742A publication Critical patent/JP2021018742A/en
Application granted granted Critical
Publication of JP7342485B2 publication Critical patent/JP7342485B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、制御装置、方法、プログラム、および情報処理システムに関する。 The present invention relates to a control device, method, program, and information processing system.

従来、インタラクティブホワイトボード(電子黒板ともいう)等においてタッチパネルが用いられている。インタラクティブホワイトボードでは、タッチパネルに指を接触させて動作させることで資料の拡大表示を行ったり、ペンで資料への書き込みを容易に行ったりすることができる。 Conventionally, touch panels have been used in interactive whiteboards (also referred to as electronic whiteboards) and the like. With an interactive whiteboard, you can enlarge and display materials by touching the touch panel with your finger, and easily write on the materials with a pen.

タッチパネル機能を有する表示装置における表示の向きに関して、特許文献1には、入力者がペンを使用してタブレット・表示部に入力した情報が、タブレット・表示部に入力者の方向に表示されることが記載されている(特許文献1の段落[0020])。 Regarding the display orientation of a display device having a touch panel function, Patent Document 1 states that information inputted by an inputter using a pen into a tablet/display section is displayed on the tablet/display section in the direction of the inputter. is described (paragraph [0020] of Patent Document 1).

しかしながら、タッチパネル機能を有する表示装置は、特許文献1のように平置きで設置されるだけでなく、例えば縦がけで設置されることもある。平置きでない縦がけの場合には、入力者の方向に合わせて表示の向きを変更させることは不要である。 However, a display device having a touch panel function is not only installed horizontally as in Patent Document 1, but may also be installed vertically, for example. If the screen is placed vertically rather than horizontally, there is no need to change the display orientation according to the direction of the person inputting information.

そこで、本発明の一実施形態では、表示装置の設置状況に応じた表示方法を提供することを目的とする。 Therefore, an object of an embodiment of the present invention is to provide a display method depending on the installation status of a display device.

上記目的を達成するため、本発明の一実施形態は、表示装置が平置きであるかを判別する設置判別部と、前記表示装置が平置きであるとき、筆記者の位置を検出する筆記者位置検出部と、前記筆記者の位置に応じて、前記表示装置上の画面を回転する回転部とを備え、前記回転部は、前記設置判別部によって前記表示装置が平置きであると判別されなかった場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しない。 In order to achieve the above object, one embodiment of the present invention includes an installation determination unit that determines whether the display device is placed horizontally, and a scriber that detects the position of a scribe when the display device is placed horizontally. a position detection unit; and a rotation unit that rotates a screen on the display device according to the position of the scribe, and the rotation unit is configured to determine that the display device is placed flat by the installation determination unit. If not, the screen on the display device is not rotated according to the position of the scribe.

本発明の一実施形態によれば、表示装置の設置状況に応じた表示方法を提供することができる。 According to one embodiment of the present invention, it is possible to provide a display method depending on the installation status of a display device.

本発明の一実施形態に係る情報処理システムの構成図である。1 is a configuration diagram of an information processing system according to an embodiment of the present invention. 本発明の一実施形態に係る電子黒板のハードウェア構成図である。FIG. 1 is a hardware configuration diagram of an electronic whiteboard according to an embodiment of the present invention. 本発明の一実施形態に係るビデオ会議端末のハードウェア構成図である。FIG. 1 is a hardware configuration diagram of a video conference terminal according to an embodiment of the present invention. 本発明の一実施形態に係るスマートフォンのハードウェア構成図である。1 is a hardware configuration diagram of a smartphone according to an embodiment of the present invention. 本発明の一実施形態に係る情報処理システムの機能ブロック図である。FIG. 1 is a functional block diagram of an information processing system according to an embodiment of the present invention. 本発明の一実施形態に係る回転制御を有効にさせるタイミングを説明するための図である。FIG. 3 is a diagram for explaining timing for enabling rotation control according to an embodiment of the present invention. 本発明の一実施形態に係る筆記者の位置の検出を説明するための図である。FIG. 3 is a diagram for explaining detection of the position of a scribe according to an embodiment of the present invention. 本発明の一実施形態に係る回転制御の概要を説明するための図である。FIG. 3 is a diagram for explaining an overview of rotation control according to an embodiment of the present invention. 本発明の一実施形態に係る余白の制御を説明するための図である。FIG. 3 is a diagram for explaining margin control according to an embodiment of the present invention. 本発明の一実施形態に係る余白の制御を説明するための図である。FIG. 3 is a diagram for explaining margin control according to an embodiment of the present invention. 本発明の一実施形態に係る設置状況に応じた回転制御処理のフローチャートである。It is a flowchart of rotation control processing according to an installation situation concerning one embodiment of the present invention.

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。 Each embodiment will be described below with reference to the accompanying drawings. Note that, in this specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, thereby omitting redundant explanation.

<システム構成>
図1は、本発明の一実施形態に係る情報処理システム10の構成図である。図1に示されるように、情報処理システム10は、制御装置11および表示装置12を含む。なお、制御装置11と表示装置12は、図1のように別々の筐体で実装されてもよいし、1つの筐体で実装されてもよい。以下、それぞれについて説明する。
<System configuration>
FIG. 1 is a configuration diagram of an information processing system 10 according to an embodiment of the present invention. As shown in FIG. 1, the information processing system 10 includes a control device 11 and a display device 12. Note that the control device 11 and the display device 12 may be implemented in separate casings as shown in FIG. 1, or may be implemented in one casing. Each will be explained below.

制御装置11は、表示装置12の設置状況に応じて、表示装置1の表示方法を変更する。具体的には、制御装置11は、表示装置12が平置きであるか縦がけであるかを判別する。制御装置11は、表示装置12が平置きである場合には、筆記者の位置に応じて画面を回転させる。一方、制御装置11は、表示装置12が縦がけである場合には、画面を回転させない(つまり、筆記者の位置に関わらず、画面を固定する)。 The control device 11 changes the display method of the display device 1 according to the installation status of the display device 12. Specifically, the control device 11 determines whether the display device 12 is placed horizontally or vertically. When the display device 12 is placed horizontally, the control device 11 rotates the screen according to the position of the scribe. On the other hand, when the display device 12 is vertically mounted, the control device 11 does not rotate the screen (that is, fixes the screen regardless of the position of the scribe).

表示装置12は、タッチパネルの機能を有するディスプレイである。表示装置12は、表示装置12の加速度を検知する加速度センサと、表示装置12の画面側に装着されたレンズによって撮影できるカメラとのうちの少なくとも一方を備えている。加速度センサが検知した加速度と、カメラが撮影した画像とのうちの少なくとも一方が、表示装置12が平置きであるか縦がけであるかを制御装置11が判別するために用いられる。 The display device 12 is a display having a touch panel function. The display device 12 includes at least one of an acceleration sensor that detects the acceleration of the display device 12 and a camera that can take pictures using a lens attached to the screen side of the display device 12. At least one of the acceleration detected by the acceleration sensor and the image captured by the camera is used by the control device 11 to determine whether the display device 12 is placed horizontally or vertically.

なお、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、制御装置は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。 Note that the devices described in the Examples are merely one of a plurality of computing environments for implementing the embodiments disclosed herein. In some embodiments, the controller includes multiple computing devices, such as a server cluster. The plurality of computing devices are configured to communicate with each other via any type of communication link, including a network, shared memory, etc., to perform the processes disclosed herein.

なお、情報処理システム10は、例えば、PJ(Projector:プロジェクタ)、IWB(Interactive White Board:相互通信が可能な電子式の黒板機能を有する白板)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車(Connected Car)、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPCまたはデスクトップPC等であってもよい。 The information processing system 10 includes, for example, a PJ (Projector), an IWB (Interactive White Board: a whiteboard with an electronic blackboard function that allows mutual communication), an output device such as a digital signage, and a HUD (Head Up Display). ) equipment, industrial machinery, imaging devices, sound collection devices, medical equipment, network appliances, connected cars, personal computers, mobile phones, smartphones, tablets, game consoles, personal digital assistants (PDAs), It may be a digital camera, a wearable PC, a desktop PC, or the like.

<ハードウェア構成>
<<電子黒板>>
図2は、情報処理システム10の一例である電子黒板のハードウェア構成図である。図2に示されているように、電子黒板2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、SSD(Solid State Drive)204、ネットワークI/F205、及び、外部機器接続I/F(Interface)206を備えている。
<Hardware configuration>
<<Electronic blackboard>>
FIG. 2 is a hardware configuration diagram of an electronic whiteboard that is an example of the information processing system 10. As shown in FIG. 2, the electronic whiteboard 2 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an SSD (Solid State Drive) 204, a network I/ F205 and an external device connection I/F (Interface) 206.

これらのうち、CPU201は、電子黒板2全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の動作に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、電子黒板用のプログラム等の各種データを記憶する。ネットワークI/F205は、通信ネットワーク100との通信を制御する。外部機器接続I/F206は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ230、外付け機器(マイク240、スピーカ250、カメラ260)である。 Among these, the CPU 201 controls the entire operation of the electronic whiteboard 2 . The ROM 202 stores programs used for the operation of the CPU 201, such as the CPU 201 and an IPL (Initial Program Loader). RAM 203 is used as a work area for CPU 201. The SSD 204 stores various data such as electronic whiteboard programs. Network I/F 205 controls communication with communication network 100. External device connection I/F 206 is an interface for connecting various external devices. The external devices in this case are, for example, a USB (Universal Serial Bus) memory 230 and external devices (microphone 240, speaker 250, camera 260).

また、電子黒板2は、キャプチャデバイス211、GPU212、ディスプレイコントローラ213、接触センサ214、センサコントローラ215、電子ペンコントローラ216、近距離通信回路219、及び近距離通信回路219のアンテナ219a、電源スイッチ222及び選択スイッチ類223を備えている。 The electronic whiteboard 2 also includes a capture device 211, a GPU 212, a display controller 213, a contact sensor 214, a sensor controller 215, an electronic pen controller 216, a short-range communication circuit 219, an antenna 219a of the short-range communication circuit 219, a power switch 222, and Selection switches 223 are provided.

これらのうち、キャプチャデバイス211は、外付けのPC(Personal Computer))270のディスプレイの表示内容に対応する映像情報を静止画または動画として表示面に表示させる。GPU(Graphics Processing Unit)212は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ213は、GPU212からの出力画像をディスプレイ280等へ出力するために画面表示の制御及び管理を行う。接触センサ214は、ディスプレイ280上に電子ペン290やユーザの手H等が接触したことを検知する。センサコントローラ215は、接触センサ214の処理を制御する。接触センサ214は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ280の上側両端部に設置された2つ受発光装置が、ディスプレイ280に平行して複数の赤外線を放射し、ディスプレイ280の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ214は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ215に出力し、センサコントローラ215が、物体の接触位置である座標位置を特定する。電子ペンコントローラ216は、電子ペン290と通信することで、ディスプレイ280へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路219は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ222は、電子黒板2の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類223は、例えば、ディスプレイ280の表示の明暗や色合い等を調整するためのスイッチ群である。 Among these, the capture device 211 displays video information corresponding to the display content of the display of an external PC (Personal Computer) 270 on the display screen as a still image or a moving image. A GPU (Graphics Processing Unit) 212 is a semiconductor chip that specializes in graphics. The display controller 213 controls and manages screen display in order to output the output image from the GPU 212 to the display 280 or the like. The contact sensor 214 detects when the electronic pen 290, the user's hand H, or the like comes into contact with the display 280. Sensor controller 215 controls processing of contact sensor 214. The contact sensor 214 performs coordinate input and coordinate detection using an infrared cutoff method. This method of inputting and detecting coordinates is such that two light receiving and emitting devices installed at both ends of the upper side of the display 280 emit a plurality of infrared rays in parallel to the display 280. This is a method of receiving light that is reflected by a reflecting member and returns along the same optical path as the light emitted by the light receiving element. The contact sensor 214 outputs the ID of the infrared rays emitted by the two light receiving and emitting devices blocked by the object to the sensor controller 215, and the sensor controller 215 identifies the coordinate position that is the contact position of the object. The electronic pen controller 216 communicates with the electronic pen 290 to determine whether the display 280 has been touched with the tip of the pen or the end of the pen. The near field communication circuit 219 is a communication circuit such as NFC (Near Field Communication) or Bluetooth (registered trademark). The power switch 222 is a switch for switching the power of the electronic whiteboard 2 ON/OFF. The selection switches 223 are, for example, a group of switches for adjusting the brightness, shade, etc. of the display on the display 280.

更に、電子黒板2は、バスライン210を備えている。バスライン210は、図2に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Further, the electronic whiteboard 2 includes a bus line 210. The bus line 210 is an address bus, a data bus, etc. for electrically connecting each component such as the CPU 201 shown in FIG. 2.

なお、接触センサ214は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ216が、電子ペン290のペン先及びペン尻だけでなく、電子ペン290のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 Note that the contact sensor 214 is not limited to the infrared cutoff type, but can also be a capacitive type touch panel that identifies the touch position by detecting changes in capacitance, or a touch sensor that identifies the touch position by voltage changes between two opposing resistive films. Various detection means may be used, such as a resistive touch panel that uses a resistive film, or an electromagnetic induction touch panel that detects electromagnetic induction caused by a contact object coming into contact with the display section to specify the contact position. Furthermore, the electronic pen controller 216 may determine whether or not a portion of the electronic pen 290 that the user grasps or other portions of the electronic pen is touched, in addition to the pen tip and pen tail of the electronic pen 290.

<<ビデオ会議端末>>
図3は、ビデオ会議端末のハードウェア構成図である。図3に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F(Interface)318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL等のCPU301の動作に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。SSD305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出し又は書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合などに操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチである。
<<Video conference terminal>>
FIG. 3 is a hardware configuration diagram of the video conference terminal. As shown in FIG. 3, the video conference terminal 3 includes a CPU 301, ROM 302, RAM 303, flash memory 304, SSD 305, media I/F 307, operation button 308, power switch 309, bus line 310, network I/F 311, Camera 312, image sensor I/F 313, microphone 314, speaker 315, sound input/output I/F 316, display I/F 317, external device connection I/F (Interface) 318, short-range communication circuit 319, short-range communication circuit 319. It is equipped with an antenna 319a. Among these, the CPU 301 controls the entire operation of the video conference terminal 3. The ROM 302 stores programs used for the operation of the CPU 301 such as IPL. RAM 303 is used as a work area for CPU 301. The flash memory 304 stores various data such as communication programs, image data, and sound data. The SSD 305 controls reading and writing of various data to the flash memory 304 under the control of the CPU 301. Note that an HDD may be used instead of the SSD. The media I/F 307 controls reading or writing (storage) of data to a recording medium 306 such as a flash memory. The operation button 308 is a button that is operated when selecting the destination of the video conference terminal 3, for example. The power switch 309 is a switch for switching the power of the video conference terminal 3 ON/OFF.

また、ネットワークI/F311は、インターネット等の通信ネットワークを利用してデータ通信をするためのインターフェースである。CMOS(Complementary Metal Oxide Semiconductor)センサ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子I/F313は、CMOSセンサ312の動作を制御する回路である。マイク314は、音を電気信号に変える内蔵型の回路である。スピーカ315は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F316は、CPU301の制御に従ってマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御に従って外付けのディスプレイに画像データを送信する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。近距離通信回路319は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。 Further, the network I/F 311 is an interface for data communication using a communication network such as the Internet. A CMOS (Complementary Metal Oxide Semiconductor) sensor 312 is a type of built-in imaging means that images a subject and obtains image data under the control of the CPU 301. Note that instead of a CMOS sensor, an imaging means such as a CCD (Charge Coupled Device) sensor may be used. The image sensor I/F 313 is a circuit that controls the operation of the CMOS sensor 312. Microphone 314 is a built-in circuit that converts sound into electrical signals. The speaker 315 is a built-in circuit that converts electrical signals into physical vibrations to produce sounds such as music and voice. The sound input/output I/F 316 is a circuit that processes input/output of sound signals between the microphone 314 and the speaker 315 under the control of the CPU 301 . The display I/F 317 is a circuit that transmits image data to an external display under the control of the CPU 301. External device connection I/F 318 is an interface for connecting various external devices. The near field communication circuit 319 is a communication circuit such as NFC (Near Field Communication) or Bluetooth (registered trademark).

また、バスライン310は、図3に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Further, the bus line 310 is an address bus, a data bus, etc. for electrically connecting each component such as the CPU 301 shown in FIG. 3.

ディスプレイは、被写体の画像や操作用アイコン等を表示する液晶や有機EL(Electro Luminescence)等によって構成された表示手段の一種である。また、ディスプレイは、ケーブルによってディスプレイI/F317に接続される。このケーブルは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。 A display is a type of display means configured with a liquid crystal, an organic EL (Electro Luminescence), or the like that displays an image of a subject, operation icons, and the like. Further, the display is connected to display I/F 317 by a cable. This cable may be a cable for analog RGB (VGA) signals, a cable for component video, HDMI (High-Definition Multimedia Interface) (registered trademark) or DVI (Digital Video Interactive). ) It may also be a signal cable.

なお、CMOS(Complementary Metal Oxide Semiconductor)センサ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等の撮像手段であってもよい。外部機器接続I/F318には、USBケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御に従って、内蔵型のCMOSセンサ312に優先して、外付けカメラが動作する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU301の制御に従って、それぞれが内蔵型のマイク314や内蔵型のスピーカ315に優先して、外付けマイクや外付けスピーカが動作する。 Note that the CMOS (Complementary Metal Oxide Semiconductor) sensor 312 is a type of built-in imaging means that images a subject and obtains image data under the control of the CPU 301. Note that instead of a CMOS sensor, an imaging means such as a CCD (Charge Coupled Device) sensor may be used. External devices such as an external camera, an external microphone, and an external speaker can be connected to the external device connection I/F 318 using a USB cable or the like. When an external camera is connected, the external camera operates under the control of the CPU 301 with priority over the built-in CMOS sensor 312. Similarly, when an external microphone or external speaker is connected, the external microphone or speaker is given priority over the built-in microphone 314 and built-in speaker 315, respectively, under the control of the CPU 301. External speakers work.

また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ304に限らず、EEPROM等を用いてもよい。 Furthermore, the recording medium 306 is configured to be detachable from the video conference terminal 3. Further, as long as it is a nonvolatile memory that reads or writes data under the control of the CPU 301, it is not limited to the flash memory 304, and an EEPROM or the like may be used.

<<スマートフォン>>
図4は、情報処理システム10の一例であるスマートフォンのハードウェア構成図である。図4に示されているように、スマートフォン4は、CPU401、ROM402、RAM403、EEPROM404、CMOSセンサ405、撮像素子I/F406、加速度・方位センサ407、メディアI/F409、GPS受信部411を備えている。
<<Smartphone>>
FIG. 4 is a hardware configuration diagram of a smartphone, which is an example of the information processing system 10. As shown in FIG. 4, the smartphone 4 includes a CPU 401, a ROM 402, a RAM 403, an EEPROM 404, a CMOS sensor 405, an image sensor I/F 406, an acceleration/direction sensor 407, a media I/F 409, and a GPS receiving section 411. There is.

これらのうち、CPU401は、スマートフォン4全体の動作を制御する。ROM402は、CPU401やIPL等のCPU401の動作に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。EEPROM404は、CPU401の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOS(Complementary Metal Oxide Semiconductor)センサ405は、CPU401の制御に従って被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子I/F406は、CMOSセンサ405の動作を制御する回路である。加速度・方位センサ407は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F409は、フラッシュメモリ等の記録メディア408に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部411は、GPS衛星からGPS信号を受信する。 Among these, the CPU 401 controls the operation of the smartphone 4 as a whole. The ROM 402 stores programs used for the operation of the CPU 401 such as the CPU 401 and IPL. RAM 403 is used as a work area for CPU 401. The EEPROM 404 reads or writes various data such as smartphone programs under the control of the CPU 401. A CMOS (Complementary Metal Oxide Semiconductor) sensor 405 is a type of built-in imaging means that images a subject (mainly a self-portrait) and obtains image data under the control of the CPU 401. Note that instead of a CMOS sensor, an imaging means such as a CCD (Charge Coupled Device) sensor may be used. The image sensor I/F 406 is a circuit that controls the operation of the CMOS sensor 405. The acceleration/direction sensor 407 is a variety of sensors such as an electronic magnetic compass, a gyro compass, and an acceleration sensor that detect geomagnetism. A media I/F 409 controls reading or writing (storage) of data to a recording medium 408 such as a flash memory. GPS receiving section 411 receives GPS signals from GPS satellites.

また、スマートフォン4は、遠距離通信回路412、CMOSセンサ413、撮像素子I/F414、マイク415、スピーカ416、音入出力I/F417、ディスプレイ418、外部機器接続I/F(Interface)419、近距離通信回路420、近距離通信回路420のアンテナ420a、及びタッチパネル421を備えている。 The smartphone 4 also includes a long-distance communication circuit 412, a CMOS sensor 413, an image sensor I/F 414, a microphone 415, a speaker 416, a sound input/output I/F 417, a display 418, an external device connection I/F (Interface) 419, and a nearby It includes a distance communication circuit 420, an antenna 420a of a short distance communication circuit 420, and a touch panel 421.

これらのうち、遠距離通信回路412は、通信ネットワーク100を介して、他の機器と通信する回路である。CMOSセンサ413は、CPU401の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F414は、CMOSセンサ413の動作を制御する回路である。マイク415は、音を電気信号に変える内蔵型の回路である。スピーカ416は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F417は、CPU401の制御に従ってマイク415及びスピーカ416との間で音信号の入出力を処理する回路である。ディスプレイ418は、被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)などの表示手段の一種である。外部機器接続I/F419は、各種の外部機器を接続するためのインターフェースである。近距離通信回路420は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。タッチパネル421は、利用者がディスプレイ418を押下することで、スマートフォン4を操作する入力手段の一種である。 Among these, the long-distance communication circuit 412 is a circuit that communicates with other devices via the communication network 100. The CMOS sensor 413 is a type of built-in imaging means that images a subject and obtains image data under the control of the CPU 401. The image sensor I/F 414 is a circuit that controls the operation of the CMOS sensor 413. Microphone 415 is a built-in circuit that converts sound into electrical signals. The speaker 416 is a built-in circuit that converts electrical signals into physical vibrations to produce sounds such as music and voice. The sound input/output I/F 417 is a circuit that processes input/output of sound signals between the microphone 415 and the speaker 416 under the control of the CPU 401 . The display 418 is a type of display means such as a liquid crystal or organic EL (Electro Luminescence) that displays images of the subject, various icons, and the like. The external device connection I/F 419 is an interface for connecting various external devices. The near field communication circuit 420 is a communication circuit such as NFC (Near Field Communication) or Bluetooth (registered trademark). The touch panel 421 is a type of input means by which the user operates the smartphone 4 by pressing the display 418.

また、スマートフォン4は、バスライン410を備えている。バスライン410は、図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 The smartphone 4 also includes a bus line 410. The bus line 410 is an address bus, a data bus, etc. for electrically connecting each component such as the CPU 401 shown in FIG. 4.

<機能ブロック>
図5は、本発明の一実施形態に係る情報処理システム10の機能ブロック図である。図5に示されるように、情報処理システム10は、メインコントローラー部110、表示部120、タッチセンサ部130、バッテリー部140、加速度センサ部151、カメラ部152を含むことができる。以下、それぞれについて説明する。
<Functional block>
FIG. 5 is a functional block diagram of the information processing system 10 according to an embodiment of the present invention. As shown in FIG. 5, the information processing system 10 can include a main controller section 110, a display section 120, a touch sensor section 130, a battery section 140, an acceleration sensor section 151, and a camera section 152. Each will be explained below.

情報処理システム10の表示装置12は、表示部120、タッチセンサ部130、バッテリー部140、加速度センサ部151、カメラ部152の機能を有することができる。 The display device 12 of the information processing system 10 can have the functions of a display section 120, a touch sensor section 130, a battery section 140, an acceleration sensor section 151, and a camera section 152.

情報処理システム10の制御装置11は、メインコントローラー部110の機能を有する。また、情報処理システム10の制御装置11は、プログラムを実行することによって、メインコントローラー部110として機能する。 The control device 11 of the information processing system 10 has the function of a main controller section 110. Furthermore, the control device 11 of the information processing system 10 functions as a main controller section 110 by executing a program.

表示部120は、コンピュータ等から出力される静止画または動画の映像信号を表示する。 The display unit 120 displays video signals of still images or moving images output from a computer or the like.

タッチセンサ部130は、入力手段(ペン先や筆記者の指など)によって触れられているタッチパネルの画面上の位置情報(座標情報)、および、筆記者のパーム(手のひら)によって触れられているタッチパネルの画面上の位置情報(座標情報)を検出する。 The touch sensor unit 130 receives positional information (coordinate information) on the screen of the touch panel that is being touched by an input means (pen tip, scribe's finger, etc.) and the touch panel that is being touched by the scribe's palm. Detect position information (coordinate information) on the screen.

なお、表示装置12のタッチセンサは、入力手段(ペン先や筆記者の指など)と、筆記者のパームとの区別ができ、入力手段(ペン先や筆記者の指など)とタッチパネルとの接触点の位置情報(座標情報)を検出することができ、筆記者のパームとタッチパネルとの接触点の位置情報(座標情報)を検出することができれば、センサの種類を問わない。 Note that the touch sensor of the display device 12 can distinguish between input means (pen tip, scribe's finger, etc.) and the scribe's palm, and can distinguish between input means (pen tip, scribe's finger, etc.) and the touch panel. The type of sensor does not matter as long as it can detect the positional information (coordinate information) of the contact point and can detect the positional information (coordinate information) of the contact point between the scribe's palm and the touch panel.

具体的には、タッチパネルコントローラ131は、タッチパネルを制御する。また、タッチパネルドライバ132は、タッチパネルに電力を供給して動かす。また、タッチセンサ133は、入力手段(ペン先や筆記者の指など)によるタッチパネルへの接触、および、筆記者のパームによるタッチパネルへの接触を検知する。 Specifically, touch panel controller 131 controls the touch panel. The touch panel driver 132 also supplies power to the touch panel to operate it. Furthermore, the touch sensor 133 detects a touch on the touch panel by an input means (such as a pen tip or a scribe's finger) and a touch on the touch panel by a scribe's palm.

バッテリー部140は、タッチパネルの電力を供給する。バッテリー141は電力を提供し、バッテリーコントローラ142はバッテリー部140を制御する。 The battery unit 140 supplies power to the touch panel. A battery 141 provides power, and a battery controller 142 controls the battery unit 140.

加速度センサ部151は、表示装置12のXYZ軸の3方向の加速度を検知する。 The acceleration sensor unit 151 detects acceleration of the display device 12 in three directions of the XYZ axes.

カメラ部152は、表示装置12の画面側に装着されたレンズによって撮影する。 The camera unit 152 takes pictures with a lens attached to the screen side of the display device 12.

メインコントローラー部110は、表示装置12の設置状況に応じて、表示装置12の表示方法を変更する。メインコントローラー部110は、設置判別部111、筆記者位置検出部112、回転部113、余白制御部114を含むことができる。 The main controller unit 110 changes the display method of the display device 12 according to the installation status of the display device 12. The main controller section 110 may include an installation determination section 111 , a scribe position detection section 112 , a rotation section 113 , and a margin control section 114 .

設置判別部111は、表示装置12が平置きであるか縦がけであるかを判別する。以下、加速度センサが検知した加速度に基づく判別と、カメラが撮影した画像に基づく判別とに分けて説明する。 The installation determining unit 111 determines whether the display device 12 is placed horizontally or vertically. Hereinafter, the determination based on the acceleration detected by the acceleration sensor and the determination based on the image captured by the camera will be explained separately.

<加速度に基づく判別>
設置判別部111は、表示装置12の傾斜角度を検出する。設置判別部111は、表示装置12の加速度センサ部151から取得した、X軸、Y軸、Z軸の加速度ベクトルの合計から地面に対しての向きを測定する。設置判別部111は、傾斜角度が0°(水平)または所定の範囲内の角度であると、表示装置が平置きであると判別する。また、設置判別部111は、傾斜角度が90°(垂直)または所定の範囲内の角度であると、表示装置が縦がけであると判別する。なお、設置判別部111は、少なくとも0°(水平)および90°(垂直)の2つの状態を検出することができればよい。
<Discrimination based on acceleration>
The installation determination unit 111 detects the tilt angle of the display device 12. The installation determination unit 111 measures the orientation with respect to the ground from the sum of the acceleration vectors of the X, Y, and Z axes acquired from the acceleration sensor unit 151 of the display device 12. The installation determining unit 111 determines that the display device is placed horizontally when the tilt angle is 0° (horizontal) or within a predetermined range. Further, the installation determining unit 111 determines that the display device is vertically mounted when the tilt angle is 90° (vertical) or within a predetermined range. Note that the installation determination unit 111 only needs to be able to detect at least two states, 0° (horizontal) and 90° (vertical).

<カメラ画像に基づく判別>
事前に、表示装置12が設置されうる場所の天井の画像に対応する特徴量がデータベースに保存されているものとする。設置判別部111は、表示装置12のカメラ部152から取得した画像から特徴量を算出し、データベース内の特徴量と比較し、両者の類似度が閾値よりも高ければ平置き、閾値よりも低ければ縦がけと判別することができる。すなわち、表示装置12が平置きで設置されている場合、表示装置12の画面側に装着されたレンズによって撮影した画像(つまり、天井方向を撮影した画像)の特徴量と、データベース内の特徴量とは類似しているはずであるので、設置判別部111は表示装置12の設置状況を判別することができる。
<Discrimination based on camera image>
It is assumed that the feature amount corresponding to the image of the ceiling where the display device 12 can be installed is stored in the database in advance. The installation determination unit 111 calculates the feature amount from the image obtained from the camera unit 152 of the display device 12, compares it with the feature amount in the database, and if the degree of similarity between the two is higher than the threshold value, it is placed horizontally, and if the similarity is lower than the threshold value, it is placed horizontally. It can be determined that it is vertically mounted. That is, when the display device 12 is installed horizontally, the feature amount of the image taken by the lens attached to the screen side of the display device 12 (that is, the image taken in the ceiling direction) and the feature amount in the database Therefore, the installation determining unit 111 can determine the installation status of the display device 12.

ここで、表示装置12の回転制御を有効にさせるタイミングについて説明する。 Here, the timing for enabling rotation control of the display device 12 will be explained.

図6は、本発明の一実施形態に係る回転制御を有効にさせるタイミングを説明するための図である。図6に示されるように、表示装置12は、平置きにして使うことも(図6の左側)、縦がけにして使うことも(図6の右側)できる。表示装置12が平置きで設置されるときには、筆記者の位置に合わせて、表示装置12に表示されている画面(つまり、コンテンツ)を回転させることが望ましい。しかし、表示装置12が縦がけで設置されるときには、どの筆記者の位置からでも画面(コンテンツ)を正面から見ることができるので、表示装置12に表示されている画面(コンテンツ)を回転させる必要はない。また、画面(コンテンツ)の回転制御の機能を有効にすると、消費電力が上がったり、CPUの処理速度が低下したりすることが懸念されるため、縦がけのときは回転制御の機能を無効にさせる。 FIG. 6 is a diagram for explaining the timing for enabling rotation control according to an embodiment of the present invention. As shown in FIG. 6, the display device 12 can be used horizontally (left side in FIG. 6) or vertically (right side in FIG. 6). When the display device 12 is installed horizontally, it is desirable to rotate the screen (that is, the content) displayed on the display device 12 in accordance with the position of the scribe. However, when the display device 12 is installed vertically, the screen (content) can be viewed from the front from any scribe's position, so it is necessary to rotate the screen (content) displayed on the display device 12. There isn't. In addition, if the screen (content) rotation control function is enabled, there is a concern that power consumption will increase or the CPU processing speed will decrease, so the rotation control function should be disabled when the screen is installed vertically. .

筆記者位置検出部112は、表示装置12のタッチパネルへの書き込みを行っている筆記者の位置を検出する。以下、図7を参照しながら、筆記者の位置の検出について説明する。 The scribe position detection unit 112 detects the position of a scribe who is writing on the touch panel of the display device 12. Detection of the scribe's position will be described below with reference to FIG.

図7は、本発明の一実施形態に係る筆記者の位置の検出を説明するための図である。上述のとおり、表示装置12のタッチセンサ部130は、入力手段(ペン先や筆記者の指など)と、筆記者のパームとを区別することができる。また、タッチセンサ部130は、入力手段(ペン先や筆記者の指など)とタッチパネルとの接触点の位置情報(座標情報)を検出することができる。また、タッチセンサ部130は、筆記者のパームとタッチパネルとの接触点の位置情報(座標情報)を検出することができる。 FIG. 7 is a diagram for explaining detection of a scribe's position according to an embodiment of the present invention. As described above, the touch sensor unit 130 of the display device 12 can distinguish between an input means (such as a pen tip or a scribe's finger) and a scribe's palm. Further, the touch sensor unit 130 can detect positional information (coordinate information) of a contact point between an input means (pen tip, scribe's finger, etc.) and the touch panel. Furthermore, the touch sensor unit 130 can detect positional information (coordinate information) of a point of contact between the scribe's palm and the touch panel.

筆記者位置検出部112は、入力手段(ペン先や筆記者の指など)と筆記者のパームとの位置関係に基づいて、筆記者が表示装置12(ディスプレイ)のどの方向から筆記しているかを検出する。 The scribe position detection unit 112 determines from which direction of the display device 12 (display) the scribe is writing based on the positional relationship between the input means (pen tip, scribe's finger, etc.) and the scribe's palm. Detect.

図7の左側の例について説明する。パームの位置の座標を(X,Y)、入力手段の位置の座標を(X2,Y2)とする。ディスプレイが横向きであり下側・上側(つまり、長手方向)から筆記している場合、│X-X2│は│Y-Y2│と比べ、比較的小さい値になると推測される。基準値を仮にD1とした場合、│X-X2│<D1という式が成り立つ。また、Y-Yが正になるとき、ディスプレイの下側から書き込んでいると推測できる。基準値を仮にD2(例えば、ゼロ)とした場合、Y-Y>D2という式が成り立つ。なお、Y-Y<D2であれば、ディスプレイの上側から書き込んでいると推測できる。 An example on the left side of FIG. 7 will be explained. Let the coordinates of the palm position be (X 1 , Y 1 ) and the coordinates of the input means position be (X 2 , Y 2 ). When the display is oriented horizontally and writing is done from the bottom/top (that is, the longitudinal direction), |X 1 -X 2 | is estimated to be a relatively small value compared to |Y 1 -Y 2 |. Assuming that the reference value is D1, the formula |X 1 -X 2 |<D1 holds true. Furthermore, when Y 2 - Y 1 becomes positive, it can be inferred that writing is being performed from the bottom of the display. If the reference value is set to D2 (for example, zero), the formula Y 2 −Y 1 >D2 holds true. Note that if Y 2 −Y 1 <D2, it can be inferred that writing is performed from the top of the display.

同様に、図7の右側の例について説明する。パームの位置の座標を(X3,Y3)、入力手段の位置の座標を(X4,Y4)とする。ディスプレイが横向きであり右側・左側(つまり、短手方向)から筆記している場合、│Y3-Y4│は│X3-X4│と比べ、比較的小さい値になると推測される。基準値を仮にD1とした場合、│Y3-Y4│<D1という式が成り立つ。また、X3-X4が正になるとき、ディスプレイの右側から書き込んでいると推測できる。基準値を仮にD2(例えば、ゼロ)とした場合、X3-X4>D2という式が成り立つ。なお、X3-X4<D2であれば、ディスプレイの左側から書き込んでいると推測できる。 Similarly, the example on the right side of FIG. 7 will be explained. Let the coordinates of the palm position be (X 3 , Y 3 ) and the coordinates of the input means position be (X 4 , Y 4 ). If the display is oriented horizontally and you are writing from the right or left side (that is, from the lateral direction), |Y 3 -Y 4 | is estimated to be a relatively small value compared to |X 3 -X 4 |. Assuming that the reference value is D1, the formula |Y 3 −Y 4 |<D1 holds true. Also, when X 3 - X 4 is positive, it can be inferred that writing is being done from the right side of the display. If the reference value is set to D2 (for example, zero), the formula X 3 -X 4 >D2 holds true. Note that if X 3 -X 4 <D2, it can be inferred that writing is performed from the left side of the display.

なお、右利きと左利きを考慮して、│X-X2│および│Y3-Y4│のように絶対値を用いている。 Note that taking right-handedness and left-handedness into consideration, absolute values are used such as |X 1 -X 2 | and |Y 3 -Y 4 |.

回転部113は、筆記者の位置に応じて画面を回転させる。具体的には、回転部113は、筆記者が表示装置12に表示される画面(コンテンツ)を正面から見ることができるように、画面を回転させる。以下、図8を参照しながら、回転制御について説明する。 The rotation unit 113 rotates the screen according to the position of the scribe. Specifically, the rotating unit 113 rotates the screen so that the scribe can view the screen (content) displayed on the display device 12 from the front. Hereinafter, rotation control will be explained with reference to FIG. 8.

図8は、本発明の一実施形態に係る回転制御の概要を説明するための図である。図8に示されるように、平置きに設置された表示装置12(ディスプレイ)を四方向からユーザが取り囲んで使用しているものとする。図8の左側のように、手前のユーザがディスプレイに書き込むと、手前のユーザが正面から見えるように画面(コンテンツ)が表示される。その後、図8の右側のように、奥のユーザがディスプレイに書き込むと、奥のユーザが正面から見えるように画面(コンテンツ)が表示される(つまり、筆記者の位置に応じて画面が回転される)。 FIG. 8 is a diagram for explaining an overview of rotation control according to an embodiment of the present invention. As shown in FIG. 8, it is assumed that a display device 12 (display) installed horizontally is being used by users surrounding it from four directions. As shown on the left side of FIG. 8, when the user in the foreground writes on the display, the screen (content) is displayed so that the user in the foreground can see it from the front. After that, as shown on the right side of Figure 8, when the user in the back writes on the display, the screen (content) is displayed so that the user in the back can see it from the front (that is, the screen is rotated according to the position of the scribe). ).

余白制御部114は、コンテンツに応じて余白を制御する。具体的には、余白制御部114は、ディスプレイのアスペクト比と、ディスプレイに表示される画像のアスペクト比とが一致しているか否かを判断する。余白制御部114は、両者のアスペクト比が一致していない場合、余白を制御する。以下、図9および図10を参照しながら、余白の制御について説明する。 The margin control unit 114 controls margins according to content. Specifically, the margin control unit 114 determines whether the aspect ratio of the display matches the aspect ratio of the image displayed on the display. The margin control unit 114 controls the margin when the aspect ratios of the two do not match. Hereinafter, margin control will be described with reference to FIGS. 9 and 10.

図9は、本発明の一実施形態に係る余白の制御(縦長のコンテンツの場合)を説明するための図である。図9に示されるように、縦長のコンテンツの場合、コンテンツの右側と左側に余白が生じる(図9の左側)。余白制御部114は、入力手段(ペン先や筆記者の指など)によって触れられている余白(図9の例では左側の余白)側に他方の余白(図9の例では右側の余白)を移動させる(図9の右側)。そのため、筆記者は、広い余白に書き込むことができる。 FIG. 9 is a diagram for explaining margin control (in the case of vertically long content) according to an embodiment of the present invention. As shown in FIG. 9, in the case of vertically long content, margins appear on the right and left sides of the content (left side in FIG. 9). The margin control unit 114 sets the other margin (the right margin in the example of FIG. 9) on the side of the margin (the left margin in the example of FIG. 9) that is touched by the input means (pen tip, scribe's finger, etc.). (right side in Figure 9). Therefore, the scribe can write in wide margins.

図10は、本発明の一実施形態に係る余白の制御(横長のコンテンツの場合)を説明するための図である。図10に示されるように、横長のコンテンツの場合、コンテンツの上側と下側に余白が生じる(図10の左側)。余白制御部114は、入力手段(ペン先や筆記者の指など)によって触れられている余白(図10の例では下側の余白)側に他方の余白(図10の例では上側の余白)を移動させる(図10の中央)。そのため、筆記者は、広い余白に書き込むことができる。なお、余白制御部114が、コンテンツの下側の余白をコンテンツの上側に移動させるようにしてもよい(図10の右側)。 FIG. 10 is a diagram for explaining margin control (in the case of horizontally long content) according to an embodiment of the present invention. As shown in FIG. 10, in the case of horizontally long content, margins appear at the top and bottom of the content (on the left side of FIG. 10). The margin control unit 114 controls the margin (the lower margin in the example of FIG. 10) that is touched by the input means (pen tip, scribe's finger, etc.) to the other margin (the upper margin in the example of FIG. 10). (center of Figure 10). Therefore, the scribe can write in wide margins. Note that the margin control unit 114 may move the margin at the bottom of the content to the top of the content (on the right side of FIG. 10).

なお、縦長のコンテンツの場合も横長のコンテンツの場合も、コンテンツの部分に書き込みが行われているときには、余白の制御は行われない。 In addition, in the case of both vertically long content and horizontally long content, margin control is not performed when writing is performed in the content portion.

図11は、本発明の一実施形態に係る設置状況に応じた回転制御処理のフローチャートである。 FIG. 11 is a flowchart of rotation control processing according to the installation situation according to an embodiment of the present invention.

ステップ1(S1)において、表示装置12が起動されたとする。 Assume that the display device 12 is activated in step 1 (S1).

ステップ2(S2)において、設置判別部111は、表示装置12が平置きであるか縦がけであるかを判別する。平置きの場合にはステップ3へ進み、縦がけの場合には再びS2を実行する。 In step 2 (S2), the installation determining unit 111 determines whether the display device 12 is placed horizontally or vertically. If it is placed horizontally, the process proceeds to step 3, and if it is placed vertically, S2 is executed again.

ステップ3(S3)において、筆記者位置検出部112は、入力手段(ペン先や筆記者の指など)と筆記者のパームとの位置関係に基づいて、筆記者が表示装置12(ディスプレイ)のどの方向から筆記しているかを検出する。 In step 3 (S3), the scribe position detection unit 112 detects whether the scribe is using the display device 12 (display) based on the positional relationship between the input means (pen tip, scribe's finger, etc.) and the scribe's palm. Detect the direction from which you are writing.

ステップ4(S4)において、回転部113は、S3に検出した筆記者の位置に応じて画面(コンテンツ)を回転させる。 In step 4 (S4), the rotation unit 113 rotates the screen (content) according to the position of the scribe detected in S3.

ステップ5(S5)において、余白制御部114は、ディスプレイのアスペクト比と、ディスプレイに表示される画像のアスペクト比とが一致しているか否かを判断する。一致していない場合にはステップ6へ進み、一致している場合には再びS5を実行する。 In step 5 (S5), the margin control unit 114 determines whether the aspect ratio of the display matches the aspect ratio of the image displayed on the display. If they do not match, proceed to step 6, and if they match, execute S5 again.

ステップ6(S6)において、余白制御部114は、余白部分に筆記されているか否かを判断する。余白部分に筆記されている場合にはステップ7へ進み、余白部分に筆記されていない場合には再びS6を実行する。 In step 6 (S6), the margin control unit 114 determines whether or not there is writing in the margin. If it is written in the margin, the process advances to step 7, and if it is not written in the margin, S6 is executed again.

ステップ7(S7)において、余白制御部114は、表示されている画像を移動させて、余白部分を増やす。 In step 7 (S7), the margin control unit 114 moves the displayed image to increase the margin area.

ステップ8(S8)において、余白制御部114は、表示装置12が終了されたか否かを判断する。終了された場合には処理を終了し、終了されていない場合にはS2へ戻る。 In step 8 (S8), the margin control unit 114 determines whether the display device 12 has been terminated. If the process has been completed, the process ends; if the process has not been completed, the process returns to S2.

このように、本発明の一実施形態では、表示装置12が平置きであるか縦がけであるかを判別し、判別結果に応じて入力情報に基づく表示情報の方向変換処理を実行させることができる。電子黒板等の設置状況や表示コンテンツに応じた制御を行い、CPUに余分な処理負荷を与えないことで、実際に必要な制御の処理速度を遅らさずに、また消費電力を抑えることができる。 As described above, in one embodiment of the present invention, it is possible to determine whether the display device 12 is placed horizontally or vertically, and to perform a direction change process of display information based on input information according to the determination result. can. By performing control according to the installation status of electronic whiteboards, etc. and display content, and by not placing an extra processing load on the CPU, it is possible to reduce power consumption without slowing down the processing speed of actually necessary control. can.

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiments described above can be realized by one or more processing circuits. Here, the term "processing circuit" as used herein refers to a processor programmed to execute each function by software, such as a processor implemented by an electronic circuit, or a processor designed to execute each function explained above. This includes devices such as ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), FPGAs (field programmable gate arrays), and conventional circuit modules.

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 Note that the present invention is not limited to the configurations shown here, such as combinations of other elements with the configurations listed in the above embodiments. These points can be modified without departing from the spirit of the present invention, and can be appropriately determined depending on the application thereof.

10 情報処理システム
11 制御装置
12 表示装置
110 メインコントローラー部
111 設置判別部
112 筆記者位置検出部
113 回転部
114 余白制御部
120 表示部
130 タッチセンサ部
131 タッチパネルコントローラ
132 タッチパネルドライバ
133 タッチセンサ
140 バッテリー部
141 バッテリー
142 バッテリーコントローラ
151 加速度センサ部
152 カメラ部
10 Information processing system 11 Control device 12 Display device 110 Main controller section 111 Installation determination section 112 Scribe position detection section 113 Rotating section 114 Margin control section 120 Display section 130 Touch sensor section 131 Touch panel controller 132 Touch panel driver 133 Touch sensor 140 Battery section 141 Battery 142 Battery controller 151 Acceleration sensor section 152 Camera section

特開2011-113128号公報Japanese Patent Application Publication No. 2011-113128

Claims (7)

表示装置が平置きであるかを判別する設置判別部と、
前記表示装置が平置きであるとき、筆記者の位置を検出する筆記者位置検出部と、
前記筆記者の位置に応じて、前記表示装置上の画面を回転する回転部と
前記表示装置のアスペクト比と前記表示装置上の画面のアスペクト比とが一致していない場合、前記筆記者の位置に応じて、前記表示装置上の余白を移動させる余白制御部と
を備え、
前記回転部は、前記設置判別部によって前記表示装置が平置きであると判別されなかった場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しない、制御装置。
an installation determination unit that determines whether the display device is placed horizontally;
a scribe position detection unit that detects the position of a scribe when the display device is placed horizontally;
a rotating unit that rotates a screen on the display device according to the position of the scribe ;
a margin control unit that moves a margin on the display device according to the position of the scribe when the aspect ratio of the display device and the aspect ratio of the screen on the display device do not match;
Equipped with
The control device is configured such that the rotation unit does not rotate a screen on the display device according to the position of the scribe when the installation determination unit does not determine that the display device is placed horizontally.
前記設置判別部は、前記表示装置が平置きであるか縦がけであるかを判別し、
前記回転部は、前記設置判別部によって前記表示装置が縦がけであると判別された場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しない、請求項1に記載の制御装置。
The installation determination unit determines whether the display device is placed horizontally or vertically,
The rotating unit does not rotate the screen on the display device according to the position of the scribe when the installation determining unit determines that the display device is vertically mounted. Control device.
前記筆記者位置検出部は、入力手段と前記筆記者のパームとの位置関係に基づいて、前記筆記者が前記表示装置のいずれの方向から筆記しているかを検出する、請求項1または2に記載の制御装置。 The scribe position detection unit detects from which direction of the display device the scribe is writing based on the positional relationship between the input means and the palm of the scribe. Control device as described. 前記設置判別部は、前記表示装置の加速度センサが検知した加速度、または、前記表示装置のカメラが撮影した画像に基づいて、前記表示装置が平置きであるかを判別する、請求項1からのいずれか一項に記載の制御装置。 3. The installation determining unit determines whether the display device is placed horizontally based on an acceleration detected by an acceleration sensor of the display device or an image taken by a camera of the display device. The control device according to any one of . 表示装置が平置きであるかを判別するステップと、
前記表示装置が平置きであるとき、筆記者の位置を検出するステップと、
前記筆記者の位置に応じて、前記表示装置上の画面を回転し、前記表示装置が平置きであると判別されなかった場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しないステップと
前記表示装置のアスペクト比と前記表示装置上の画面のアスペクト比とが一致していない場合、前記筆記者の位置に応じて、前記表示装置上の余白を移動させるステップと
を含む方法。
a step of determining whether the display device is placed flat;
detecting the position of the scribe when the display device is placed flat;
The screen on the display device is rotated according to the position of the scribe, and if it is not determined that the display device is placed flat, the screen on the display device is rotated according to the position of the scribe. with a step that does not rotate ,
If the aspect ratio of the display device and the aspect ratio of the screen on the display device do not match, moving a margin on the display device according to the position of the scribe;
method including.
制御装置を
表示装置が平置きであるかを判別する設置判別部、
前記表示装置が平置きであるとき、筆記者の位置を検出する筆記者位置検出部、
前記筆記者の位置に応じて、前記表示装置上の画面を回転する回転部
前記表示装置のアスペクト比と前記表示装置上の画面のアスペクト比とが一致していない場合、前記筆記者の位置に応じて、前記表示装置上の余白を移動させる余白制御部
として機能させ、
前記回転部は、前記設置判別部によって前記表示装置が平置きであると判別されなかった場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しない、プログラム。
An installation determination unit that determines whether the control device is placed flat or not;
a scribe position detection unit that detects the position of a scribe when the display device is placed horizontally;
a rotating unit that rotates a screen on the display device according to the position of the scribe ;
a margin control unit that moves a margin on the display device according to the position of the scribe when the aspect ratio of the display device and the aspect ratio of the screen on the display device do not match;
function as
The rotating unit does not rotate the screen on the display device according to the position of the scribe if the installation determining unit does not determine that the display device is placed horizontally.
制御装置と表示装置とを含み、
前記表示装置が平置きであるかを判別する設置判別部と、
前記表示装置が平置きであるとき、筆記者の位置を検出する筆記者位置検出部と、
前記筆記者の位置に応じて、前記表示装置上の画面を回転する回転部と
前記表示装置のアスペクト比と前記表示装置上の画面のアスペクト比とが一致していない場合、前記筆記者の位置に応じて、前記表示装置上の余白を移動させる余白制御部と
を備え、
前記回転部は、前記設置判別部によって前記表示装置が平置きであると判別されなかった場合に、前記筆記者の位置に応じて、前記表示装置上の画面を回転しない、情報処理システム。
including a control device and a display device;
an installation determination unit that determines whether the display device is placed horizontally;
a scribe position detection unit that detects the position of a scribe when the display device is placed horizontally;
a rotating unit that rotates a screen on the display device according to the position of the scribe ;
a margin control unit that moves a margin on the display device according to the position of the scribe when the aspect ratio of the display device and the aspect ratio of the screen on the display device do not match;
Equipped with
The rotation unit is configured to not rotate a screen on the display device according to the position of the scribe when the installation determination unit does not determine that the display device is placed horizontally.
JP2019135621A 2019-07-23 2019-07-23 Control device, method, program, and information processing system Active JP7342485B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019135621A JP7342485B2 (en) 2019-07-23 2019-07-23 Control device, method, program, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019135621A JP7342485B2 (en) 2019-07-23 2019-07-23 Control device, method, program, and information processing system

Publications (2)

Publication Number Publication Date
JP2021018742A JP2021018742A (en) 2021-02-15
JP7342485B2 true JP7342485B2 (en) 2023-09-12

Family

ID=74566036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019135621A Active JP7342485B2 (en) 2019-07-23 2019-07-23 Control device, method, program, and information processing system

Country Status (1)

Country Link
JP (1) JP7342485B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280817A (en) 2002-03-22 2003-10-02 Ricoh Co Ltd User interface device for electronic board, display position correcting method for electronic board, program for making computer execute the method and computer- readable recording medium with the program recorded thereon
JP2011065252A (en) 2009-09-15 2011-03-31 Sharp Corp Input display board-cum-table
US20120131488A1 (en) 2010-11-23 2012-05-24 David Karlsson Gui controls with movable touch-control objects for alternate interactions
JP2012529099A (en) 2009-06-05 2012-11-15 サムスン エレクトロニクス カンパニー リミテッド User-specific UI providing method and device using the same
JP2014134938A (en) 2013-01-09 2014-07-24 Sharp Corp Input display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280817A (en) 2002-03-22 2003-10-02 Ricoh Co Ltd User interface device for electronic board, display position correcting method for electronic board, program for making computer execute the method and computer- readable recording medium with the program recorded thereon
JP2012529099A (en) 2009-06-05 2012-11-15 サムスン エレクトロニクス カンパニー リミテッド User-specific UI providing method and device using the same
JP2011065252A (en) 2009-09-15 2011-03-31 Sharp Corp Input display board-cum-table
US20120131488A1 (en) 2010-11-23 2012-05-24 David Karlsson Gui controls with movable touch-control objects for alternate interactions
JP2014134938A (en) 2013-01-09 2014-07-24 Sharp Corp Input display device

Also Published As

Publication number Publication date
JP2021018742A (en) 2021-02-15

Similar Documents

Publication Publication Date Title
US10401964B2 (en) Mobile terminal and method for controlling haptic feedback
US10345953B2 (en) Dynamic hover sensitivity and gesture adaptation in a dual display system
US9317198B2 (en) Multi display device and control method thereof
CN105335001B (en) Electronic device having curved display and method for controlling the same
KR102063952B1 (en) Multi display apparatus and multi display method
US9406281B2 (en) Multi-display device and method of controlling thereof
US11443453B2 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
KR20200101207A (en) Electronic device and method for modifying magnification of image using multiple cameras
US20120038546A1 (en) Gesture control
US20120038675A1 (en) Assisted zoom
JP2015506033A (en) Full 3D interaction on mobile devices
CN111936951A (en) Electronic device comprising a flexible display
JP2018180051A (en) Electronic device and control method thereof
US10114501B2 (en) Wearable electronic device using a touch input and a hovering input and controlling method thereof
JP7154789B2 (en) Display control device, its control method, program and storage medium
US20150002420A1 (en) Mobile terminal and method for controlling screen
JP7342485B2 (en) Control device, method, program, and information processing system
JP7346977B2 (en) Control devices, electronic equipment, control systems, control methods, and programs
KR102278229B1 (en) Electronic device and its control method
JP7354643B2 (en) Control device, method, program, and information processing system
KR102510841B1 (en) A method for driving a plurality of pixel lines and an electronic device thereof
JP2018180050A (en) Electronic device and control method thereof
KR20210041768A (en) Electronic apparatus and controlling method thereof
US11003293B2 (en) Electronic device that executes assigned operation in response to touch pressure, and method therefor
KR102508833B1 (en) Electronic apparatus and text input method for the electronic apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230814

R151 Written notification of patent or utility model registration

Ref document number: 7342485

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151