JP6568795B2 - Electronic device operation method and image display method - Google Patents

Electronic device operation method and image display method Download PDF

Info

Publication number
JP6568795B2
JP6568795B2 JP2015253239A JP2015253239A JP6568795B2 JP 6568795 B2 JP6568795 B2 JP 6568795B2 JP 2015253239 A JP2015253239 A JP 2015253239A JP 2015253239 A JP2015253239 A JP 2015253239A JP 6568795 B2 JP6568795 B2 JP 6568795B2
Authority
JP
Japan
Prior art keywords
display
image
housing
control
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015253239A
Other languages
Japanese (ja)
Other versions
JP2017117276A (en
Inventor
佐々野 雅哉
雅哉 佐々野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SASANOYA DOTTO COMU KABUSHIKI KAISHA
Original Assignee
SASANOYA DOTTO COMU KABUSHIKI KAISHA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SASANOYA DOTTO COMU KABUSHIKI KAISHA filed Critical SASANOYA DOTTO COMU KABUSHIKI KAISHA
Priority to JP2015253239A priority Critical patent/JP6568795B2/en
Publication of JP2017117276A publication Critical patent/JP2017117276A/en
Application granted granted Critical
Publication of JP6568795B2 publication Critical patent/JP6568795B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、モーションセンサを備えた電子機器の操作方法および画像の表示方法に関するものである。   The present invention relates to a method for operating an electronic device including a motion sensor and a method for displaying an image.

現在、タッチパネルを用いた多数の電子機器が知られている。特にスマートフォンやタブレットといった形態の電子機器の場合には、動画、静止画、ゲーム画面、HTML等を表示する表示画面に、これら各種画像の表示を制御するためのGUIが表示されている。すなわち、物理的なキーボードやスイッチが付属せず、タッチパネルに表示したGUIを操作スイッチとして、タッチパネルに表示される各種の画像の表示制御を行っている。
また、特許文献1には、コントロールパッドとジャイロセンサ等の動きセンサを用いたゲーム装置が記載されている。このゲーム装置は、コントロールパッドと動きセンサ(例えば、ジャイロセンサ)を組み合わせることで、新規でより直感的な制御が可能であるというものである。
Currently, a large number of electronic devices using touch panels are known. In particular, in the case of an electronic device such as a smartphone or a tablet, a GUI for controlling the display of these various images is displayed on a display screen for displaying moving images, still images, game screens, HTML, and the like. That is, a physical keyboard or switch is not attached, and display control of various images displayed on the touch panel is performed using the GUI displayed on the touch panel as an operation switch.
Patent Document 1 describes a game apparatus using a control pad and a motion sensor such as a gyro sensor. This game apparatus is capable of new and more intuitive control by combining a control pad and a motion sensor (for example, a gyro sensor).

特開2013−172962号公報JP2013-172962A

スマートフォンやタブレットの一般的な使い方は、一方の手で筐体を把持し、他方の手の指先でスマートフォンやタブレットの画面(タッチパネル)を触るというものである。筐体を片手で把持しながら同じ手の親指のみで画面を操作する場合もあるが、指を動かす範囲が狭い場合や、電車の中でつり革に掴まりながら他方の手で操作を行うなどの限られた場合が多い。また、筐体を片手で把持しながら操作する場合には、筐体の把持が不十分になるので落下させるリスクも高くなる。このように、タッチパネルを操作する場合は、一般的には両手を使用することが望ましいということである。
また、近年のスマートフォンやタブレットは、X軸、Y軸、Z軸の3軸方向における回転や傾きを検出するジャイロセンサを搭載したものが多い。このジャイロセンサを使用すると、特許文献1に記載されているような画面内に表示されるオブジェクトの動作を操作するといったゲームの制御が可能になる。
A general method of using a smartphone or tablet is to hold the housing with one hand and touch the screen (touch panel) of the smartphone or tablet with the fingertip of the other hand. The screen may be operated only with the thumb of the same hand while holding the housing with one hand, but when the range of movement of the finger is narrow or the other hand is operated while grasping the strap on the train Often limited. Further, when the operation is performed while holding the casing with one hand, the holding of the casing becomes insufficient, so that the risk of dropping becomes high. Thus, when operating a touch panel, it is generally desirable to use both hands.
In recent years, many smartphones and tablets are equipped with a gyro sensor that detects rotation and inclination in the three-axis directions of the X axis, the Y axis, and the Z axis. When this gyro sensor is used, it is possible to control the game such as operating the operation of the object displayed on the screen as described in Patent Document 1.

しかしながら、現在一般に流通しているスマートフォンやタブレットは、ネットワークを介して取得される様々なコンテンツを表示できるにもかかわらず、その操作方法は画面上に表示したGUIスイッチ画像を操作するのみである。
本発明は当該事情に鑑み発明されたものであって、画面内に表示される一部のオブジェクトを操作するといった限られた使い方ではなく、表示内容を制御する複数の命令を筐体に与えた物理的な変動によって行うことができる画像表示の操作方法等の提供を課題とするものである。
However, although smartphones and tablets currently in general circulation can display various contents acquired via a network, the operation method is only to operate a GUI switch image displayed on the screen.
The present invention has been invented in view of the above circumstances, and is not limited to operating a part of objects displayed on the screen, but a plurality of commands for controlling display contents are given to the housing. An object of the present invention is to provide an image display operation method and the like that can be performed by physical variation.

上記課題を解決するために本発明に係る操作方法は以下の構成を有する。すなわち、
画像の表示手段を設けた筐体に作用する物理量の変化を検出可能なモーションセンサと制御手段と操作手段とモード使用スイッチを備えた電子機器における操作方法であって、
前記表示手段は、前記制御手段による制御に基づいて前記画像の表示を行うとともに、前記操作手段による操作に基づいて表示する画像の表示内容を制御するよう構成し、
前記制御手段は、前記モード使用スイッチが操作されたとき初期姿勢を設定し、前記モーションセンサによって検出した前記初期姿勢を基準とする前記筐体の傾斜角度の情報に基づいて、前記操作手段による操作に割り当てられている前記画像の表示内容の制御を実行し、
前記制御手段は、前記筐体の傾斜角度の情報が、前記初期姿勢に対して前記筐体が表示画面と平行な平面内で傾斜した場合の前記筐体の姿勢の変化であるとき、前記表示手段に表示している画像の表示向きを、前記筐体の傾斜とは反対の方向に同じ角度量だけ傾斜させて表示することを特徴とする。
In order to solve the above problems, an operation method according to the present invention has the following configuration. That is,
An operation method in an electronic device comprising a motion sensor capable of detecting a change in a physical quantity acting on a housing provided with an image display means, a control means, an operation means, and a mode use switch ,
The display means is configured to display the image based on control by the control means, and to control display contents of an image to be displayed based on operation by the operation means,
It said control means, based on the mode use switch sets the initial position when operated, the housing tilt angle information relative to the said initial posture detected I by the motion sensor, the operation Control the display content of the image assigned to the operation by means ,
The control means is configured to display the display when the information on the tilt angle of the housing is a change in the posture of the housing when the housing is tilted in a plane parallel to the display screen with respect to the initial posture. The display direction of the image displayed on the means is displayed by being tilted by the same angle amount in a direction opposite to the tilt of the casing .

また、本発明に係る操作方法は以下の構成を有する。すなわち、
画像の表示が可能なタッチパネルと当該タッチパネルを搭載した筐体に作用する物理量の変化を検出可能なモーションセンサと制御手段とモード使用スイッチを備えた電子機器における操作方法であって、
前記タッチパネルは、前記制御手段による制御に基づいて前記画像の表示を行うとともに、当該タッチパネルに対して行われた操作の検知を行い、当該検知したタッチパネルに対する操作に基づいて当該タッチパネルに表示する画像の表示内容を制御するよう構成し、
前記制御手段は、前記モード使用スイッチが操作されたとき初期姿勢を設定し、前記モーションセンサによって検出した前記初期姿勢を基準とする前記筐体の傾斜角度の情報に基づいて、前記タッチパネルに対して行われた操作に割り当てられている前記画像の表示内容の制御を実行し、
前記制御手段は、前記筐体の傾斜角度の情報が、前記初期姿勢に対して前記筐体が表示画面と平行な平面内で傾斜した場合の前記筐体の姿勢の変化であるとき、前記表示手段に表示している画像の表示向きを、前記筐体の傾斜とは反対の方向に同じ角度量だけ傾斜させて表示することを特徴とする
The operating method according to the present invention has the following configuration. That is,
An operation method in an electronic device including a touch panel capable of displaying an image, a motion sensor capable of detecting a change in a physical quantity acting on a housing on which the touch panel is mounted, a control unit, and a mode use switch ,
The touch panel with the display of the image based on control by the control means performs a detection of an operation performed on the touch panel, the image displayed on the touch panel based on the operation on the sensed touch panel Configure to control what is displayed ,
It said control means, based on the mode use switch sets the initial position when operated, the housing tilt angle information relative to the said initial posture detected I by the motion sensor, the touch panel Control the display content of the image assigned to the operation performed on
The control means is configured to display the display when the information on the tilt angle of the housing is a change in the posture of the housing when the housing is tilted in a plane parallel to the display screen with respect to the initial posture. The display direction of the image displayed on the means is displayed by being tilted by the same angle amount in a direction opposite to the tilt of the casing .

また、本発明に係る操作方法は以下の構成を有する。すなわち、
画像の表示が可能なタッチパネルと当該タッチパネルを搭載した筐体に作用する物理量の変化を検出可能なモーションセンサと制御手段とモード使用スイッチを備えた電子機器における操作方法であって、
前記タッチパネルは、前記制御手段による制御に基づいて前記画像の表示を行うとともに、当該タッチパネルに表示したGUI画像の操作に基づいて当該タッチパネルに表示する画像の表示内容を制御するよう構成し、
前記制御手段は、前記モード使用スイッチが操作されたとき初期姿勢を設定し、前記モーションセンサによって検出した前記初期姿勢を基準とする前記筐体の傾斜角度の情報に基づいて、前記GUI画像の操作に割り当てられている前記画像の表示内容の制御を実行し、
前記制御手段は、前記筐体の傾斜角度の情報が、前記初期姿勢に対して前記筐体が表示画面と平行な平面内で傾斜した場合の前記筐体の姿勢の変化であるとき、前記表示手段に表示している画像の表示向きを、前記筐体の傾斜とは反対の方向に同じ角度量だけ傾斜させて表示することを特徴とする
The operating method according to the present invention has the following configuration. That is,
An operation method in an electronic device including a touch panel capable of displaying an image, a motion sensor capable of detecting a change in a physical quantity acting on a housing on which the touch panel is mounted, a control unit, and a mode use switch ,
The touch panel is configured to display the image based on the control by the control unit, and to control display content of the image displayed on the touch panel based on an operation of the GUI image displayed on the touch panel.
It said control means, based on the mode use switch sets the initial position when operated, the housing tilt angle information relative to the said initial posture detected I by the motion sensor, the GUI Control the display content of the image assigned to the operation of the image ,
The control means is configured to display the display when the information on the tilt angle of the housing is a change in the posture of the housing when the housing is tilted in a plane parallel to the display screen with respect to the initial posture. The display direction of the image displayed on the means is displayed by being tilted by the same angle amount in a direction opposite to the tilt of the casing .

また、本発明に係る画像の表示方法は以下の構成を有する。すなわち、
画像の表示手段を設けた筐体の傾斜を検出可能なモーションセンサと制御手段と操作手段とモード使用スイッチを備えた電子機器における画像の表示方法であって、
前記表示手段は、前記制御手段による制御に基づいて前記画像の表示を行うとともに、前記操作手段による操作に基づいて表示する画像の表示内容を制御するよう構成し、
前記制御手段は、前記モード使用スイッチが操作されたとき初期姿勢を設定し、前記モーションセンサによって検出した前記初期姿勢を基準とする前記筐体の傾斜角度の情報に基づいて前記操作手段による操作に割り当てられている表示内容の制御が実行された画像を、前記表示手段に表示し、
前記制御手段は、前記筐体の傾斜角度の情報が、前記初期姿勢に対して前記筐体が表示画面と平行な平面内で傾斜した場合の前記筐体の姿勢の変化であるとき、前記表示手段に表示している画像の表示向きを、前記筐体の傾斜とは反対の方向に同じ角度量だけ傾斜させて表示することを特徴とする。
The image display method according to the present invention has the following configuration. That is,
An image display method in an electronic device including a motion sensor capable of detecting a tilt of a housing provided with an image display means, a control means, an operation means, and a mode use switch ,
The display means is configured to display the image based on control by the control means, and to control display contents of an image to be displayed based on operation by the operation means,
It said control means, said mode use switch sets the initial position when operated, the casing of the inclination angle of the operating means based on information based on the initial posture detected I by the motion sensor Display on the display means the image on which the control of the display content assigned to the operation by is executed ,
The control means is configured to display the display when the information on the tilt angle of the housing is a change in the posture of the housing when the housing is tilted in a plane parallel to the display screen with respect to the initial posture. The display direction of the image displayed on the means is displayed by being tilted by the same angle amount in a direction opposite to the tilt of the casing .

本発明は電子機器に表示する画像や映像表示に関する細かい操作を、GUI等の操作スイッチの操作によることなく行うことが出来るという効果を有するものである。特に、電子機器を把持した片手のみの動作によって、予め用意されている操作スイッチを用いる場合と同様の操作を行うことができるという効果を有するものである。   The present invention has an effect that detailed operations related to image and video display displayed on an electronic device can be performed without operating an operation switch such as a GUI. In particular, it has an effect that an operation similar to that in the case of using an operation switch prepared in advance can be performed by the operation of only one hand holding the electronic device.

本実施例に係る電子機器の主な構成を表したブロック図である。It is a block diagram showing the main structures of the electronic device which concerns on a present Example. タッチパネル上に動画再生プレイヤーを表示した電子機器の説明図である。It is explanatory drawing of the electronic device which displayed the moving image reproduction player on the touch panel. ジャイロセンサによって検出される電子機器の各姿勢の説明図である。It is explanatory drawing of each attitude | position of the electronic device detected by a gyro sensor. モーション制御モード時における電子機器の姿勢と制御内容の説明図である。It is explanatory drawing of the attitude | position and control content of an electronic device at the time of motion control mode. モーション制御モードを利用したテレビの視聴画面の説明図である。It is explanatory drawing of the viewing-and-listening screen of the television using motion control mode. モーション制御モードを利用した他の実施例に関する説明図である。It is explanatory drawing regarding the other Example using motion control mode.

以下、本発明を実施するための形態について図を用いて説明する。
図1は本実施例に係る電子機器1の主な構成を表したブロック図である。電子機器1は、一例として、タッチパネル2を備えたスマートフォンやタブレット端末等の携帯型の端末装置として形成されたものである。
タッチパネル2は、画像表示を行う液晶表示装置(LCD)等の表示手段3と、画像表示面に対する指先の接触や近接を検出するタッチセンサ4を内蔵したデバイスである。タッチセンサ4は、静電容量の変化を検出する方式の他、接触による物理的な変形を検出する感圧式、およびこれらを組み合わせた方法により、タッチパネル2表面に対する指先の接触等を検出するものである。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a main configuration of an electronic apparatus 1 according to the present embodiment. As an example, the electronic device 1 is formed as a portable terminal device such as a smartphone or a tablet terminal including the touch panel 2.
The touch panel 2 is a device that includes a display unit 3 such as a liquid crystal display (LCD) that displays an image, and a touch sensor 4 that detects the contact and proximity of a fingertip to the image display surface. The touch sensor 4 detects the touch of the fingertip on the surface of the touch panel 2 by a pressure-sensitive method that detects physical deformation due to contact in addition to a method that detects a change in capacitance, and a method that combines these. is there.

タッチパネル2は、CPU等の演算プロセッサ5、RAM6やROM7等の記憶手段および各手段とのインターフェイスを備えた制御手段8による制御によって、所定の画像を表示するように構成されている。タッチパネル2に表示する画像は、予め記憶手段に記憶されている画像若しくはプログラムによって生成される画像の他、通信モジュール9を介して取得した動画ファイルや画像ファイルに限らず、電子書籍用データ、HTML、テレビ放送データ、動画ストリーミングデータ等によって表示される各種の画像を含むものである。
また、電子機器1はモーションセンサ10を搭載している。モーションセンサ10は、電子機器1に直接的に作用する物理的な作用を検出し、検出した情報を制御手段8に対して出力するものである。
The touch panel 2 is configured to display a predetermined image under the control of an arithmetic processor 5 such as a CPU, storage means such as a RAM 6 and a ROM 7, and control means 8 having an interface with each means. The image displayed on the touch panel 2 is not limited to an image stored in advance in a storage unit or an image generated by a program, but is not limited to a moving image file or an image file acquired via the communication module 9, but also data for electronic books, HTML Various images displayed by TV broadcast data, moving picture streaming data, and the like are included.
In addition, the electronic device 1 is equipped with a motion sensor 10. The motion sensor 10 detects a physical action that directly acts on the electronic device 1 and outputs the detected information to the control means 8.

モーションセンサ10には、ジャイロセンサ11、加速度センサ12、磁力センサ13、位置センサ14、光センサ15などがある。
ジャイロセンサ11は、電子機器1の外観を構成する筐体内部に搭載された素子型のデバイスであり、X軸、Y軸およびZ軸を中心とした回動(傾斜)を検出して出力するものである。
加速度センサ12は、電子機器1の筐体に作用する加速度を検出するデバイスであり、筐体に加えられた振動や衝撃等も検出できるものである。
磁力センサ13は、主として地磁気を感知して方位を検出するデバイスである。位置センサ14は、所謂GPS等の地表における座標位置を取得するためのデバイスである。
光センサ15は、主として周囲の明るさを検出するデバイスであり、電子機器1が搭載するCMOSセンサによって構成することができる。一例として、CMOSセンサの検出窓を指先で塞いだり開けたりすることでCMOSセンサに入る光を明滅させることで、電子機器1に対する操作指示を行うことが可能となっている。
The motion sensor 10 includes a gyro sensor 11, an acceleration sensor 12, a magnetic force sensor 13, a position sensor 14, an optical sensor 15, and the like.
The gyro sensor 11 is an element-type device mounted inside a casing that constitutes the external appearance of the electronic device 1, and detects and outputs rotation (tilt) about the X, Y, and Z axes. Is.
The acceleration sensor 12 is a device that detects acceleration acting on the casing of the electronic device 1 and can detect vibrations, impacts, and the like applied to the casing.
The magnetic sensor 13 is a device that mainly detects geomagnetism and detects an azimuth. The position sensor 14 is a device for acquiring a coordinate position on the ground surface such as a so-called GPS.
The optical sensor 15 is a device that mainly detects ambient brightness, and can be configured by a CMOS sensor mounted on the electronic apparatus 1. As an example, an operation instruction to the electronic device 1 can be performed by blinking light entering the CMOS sensor by closing or opening a detection window of the CMOS sensor with a fingertip.

以上の各手段は、電子機器1として用いるスマートフォン等の一般的な携帯端末が備えている手段である。電子機器1の主要な機能の一つは、静止画、動画、テキストその他の各種画像をタッチパネル2に表示し、音声がある場合には音声を同時に出力することである。表示する画像のコンテンツは、インターネットを介して取得する場合が圧倒的に多く、各コンテンツの形態に応じてプレイヤー、ビューワー、ブラウザといった画像を表示、閲覧する視聴用プログラムが用意されている。
コンテンツが標準的な仕様に準拠したデータファイルである場合、これらの視聴に使用する視聴用プログラムは電子機器1に予め搭載されている場合が多い。また、予め搭載していない場合には、適宜インターネット上から取得して使用することができるようになっている。なお、独自の機能を実行させるために、専用の視聴用プログラムを作成して搭載する場合もある。
Each of the above means is means included in a general portable terminal such as a smartphone used as the electronic device 1. One of the main functions of the electronic device 1 is to display still images, moving images, texts, and other various images on the touch panel 2, and output sound simultaneously when there is sound. The content of images to be displayed is overwhelmingly often acquired via the Internet, and viewing programs for displaying and browsing images such as players, viewers, and browsers are prepared according to the form of each content.
When the content is a data file conforming to a standard specification, the viewing program used for viewing is often preinstalled in the electronic device 1. In addition, when it is not installed in advance, it can be appropriately acquired from the Internet and used. In order to execute a unique function, a dedicated viewing program may be created and installed.

図2は、タッチパネル2上に動画再生プレイヤー(以下「プレイヤー」という)を表示した電子機器1の説明図である。プレイヤーは、一例として電子機器1上で実行可能なアプリケーションプログラムとして提供されるものである。
プレイヤーは、電子機器1内に記憶したデータを再生する場合の他、インターネット上に保存されている動画ファイルを再生するものである。何らかのコンテンツを表示する動画ファイルは、ストリーミングデータとして電子機器1に供給され、タッチパネル上に表示されるGUIスイッチ画像(以下「GUI」という)の操作に従って表示操作が行われるものである。GUIは、物理的なスイッチと同様に電子機器1に対して操作入力を行う操作手段として構成されたものである。
FIG. 2 is an explanatory diagram of the electronic device 1 in which a moving image playback player (hereinafter referred to as “player”) is displayed on the touch panel 2. The player is provided as an application program that can be executed on the electronic device 1 as an example.
The player plays back a moving image file stored on the Internet in addition to playing back data stored in the electronic device 1. A moving image file displaying some content is supplied to the electronic device 1 as streaming data, and a display operation is performed according to an operation of a GUI switch image (hereinafter referred to as “GUI”) displayed on the touch panel. The GUI is configured as an operation means for performing an operation input to the electronic device 1 like a physical switch.

表示操作を行うGUIとしては、再生開始スイッチ20、再生停止スイッチ21、再生位置送りスイッチ22、再生位置戻しスイッチ23、再生位置の表示を兼ねた再生位置指定スイッチ24が設けられている。再生停止スイッチ21は、動画の再生が停止している状態では再生開始スイッチ20として機能する。再生開始スイッチ20は、動画データを連続的に再生表示させるスイッチであり、再生停止スイッチ21は動画再生を停止させるスイッチである。
また、動画データは、一定量の再生単位毎に順次再生を行わせるストリーミングデータであり、再生位置送りスイッチ22、再生位置戻しスイッチ23若しくは再生位置指定スイッチ24を操作すると、再生単位毎に再生位置を指定できるようになっている。特に、再生位置送りスイッチ22は、再生単位毎に再生開始位置を一定間隔でスキップするように先送りし、再生位置を進めて動画の再生を行わせるものである。また、再生位置戻しスイッチ23は、再生単位毎に再生開始位置を戻し、時間的に遡った再生位置から動画の再生を行わせるものである。
As a GUI for performing the display operation, a reproduction start switch 20, a reproduction stop switch 21, a reproduction position advance switch 22, a reproduction position return switch 23, and a reproduction position designation switch 24 that also serves as a reproduction position display are provided. The reproduction stop switch 21 functions as the reproduction start switch 20 in a state where reproduction of the moving image is stopped. The reproduction start switch 20 is a switch for continuously reproducing and displaying moving image data, and the reproduction stop switch 21 is a switch for stopping moving image reproduction.
The moving image data is streaming data that is sequentially played back in units of a certain amount of playback units. When the playback position feed switch 22, the playback position return switch 23, or the playback position designation switch 24 is operated, Can be specified. In particular, the playback position feed switch 22 is advanced so that the playback start position is skipped at regular intervals for each playback unit, and the playback position is advanced to play back a moving image. The playback position return switch 23 returns the playback start position for each playback unit, and plays back a moving image from a playback position that is back in time.

再生位置指定スイッチ24は、動画の再生開始位置を左端および再生終了位置を右端として動画の全再生時間を一本のメーターのように表した表示部を兼ねており、当該表示部上の任意の位置を指定することで、その部位から再生を開始させるように構成したものである。
本実施例では、再生済み時間をメーター中の表示範囲に塗りつぶし部分25を表示し、未再生時間を白抜き部26として表示している。この塗りつぶし部分と白抜き部の境界が、動画の再生位置を表している。
The playback position designation switch 24 also serves as a display unit that displays the total playback time of the video as a single meter with the playback start position of the video as the left end and the playback end position as the right end. By designating a position, reproduction is started from that part.
In this embodiment, the replayed time is displayed in the display range in the meter, and the filled portion 25 is displayed, and the non-reproduced time is displayed as the white portion 26. The boundary between the filled portion and the white portion represents the playback position of the moving image.

動画を再生する場合、画面上に表示されている前記各種のGUIを操作することにより、動画の表示を制御するようになっている。本実施例では、このようなGUIの操作による動画の表示制御に加えて、電子機器1が備えるモーションセンサ10から取得した情報に基づいて、動画の再生を制御するようになっている。具体的には、モーションセンサ10の一つであるジャイロセンサ11を用いた電子機器1の姿勢に基づいて、動画の再生を制御するようになっている。
以下、モーションセンサ10を使用した動画の表示制御(以下「モーション制御モード」という。)の一例として、ジャイロセンサ11を用いた動画の表示制御について説明する。
When playing back a moving image, the display of the moving image is controlled by operating the various GUIs displayed on the screen. In this embodiment, in addition to such moving image display control by GUI operation, reproduction of moving images is controlled based on information acquired from the motion sensor 10 included in the electronic device 1. Specifically, reproduction of a moving image is controlled based on the attitude of the electronic device 1 using the gyro sensor 11 that is one of the motion sensors 10.
Hereinafter, as an example of moving image display control using the motion sensor 10 (hereinafter referred to as “motion control mode”), moving image display control using the gyro sensor 11 will be described.

図3は、ジャイロセンサ11によって検出される電子機器1の各姿勢を表している。
姿勢Aは、タッチパネルが水平方向に沿って横長の配置となるように電子機器1を横向きの姿勢にし、かつタッチパネルが水平方向を向く姿勢にした状態を表している。
電子機器1が任意の姿勢のときに後述するモード使用スイッチ30の操作が行われるとモーション制御モードに入る。この際、モード使用スイッチ30が操作された時の姿勢を初期状態として記憶し、この姿勢を基準としてジャイロセンサ11が電子機器1の前後、左右の傾斜を検出する。
一例として、電子機器1が姿勢Aの状態である場合にモード使用スイッチ30が操作されると、姿勢Aを基準として水平方向に沿ったタッチパネルの横長方向をX軸、水平方向を向くタッチパネルの正面方向(タッチパネルに対する直角方向)をY軸、上下方向をZ軸を設定する。その後、この座標軸を基準として電子機器1の傾斜姿勢をジャイロセンサ11によって検出するようになっている。
FIG. 3 shows each posture of the electronic device 1 detected by the gyro sensor 11.
Posture A represents a state in which the electronic device 1 is in a horizontal posture so that the touch panel is horizontally long along the horizontal direction, and the touch panel is in a horizontal posture.
When an operation of a mode use switch 30 described later is performed when the electronic device 1 is in an arbitrary posture, the motion control mode is entered. At this time, the posture when the mode use switch 30 is operated is stored as an initial state, and the gyro sensor 11 detects the front and rear, left and right inclinations of the electronic device 1 based on this posture.
As an example, when the mode use switch 30 is operated when the electronic device 1 is in the posture A state, the horizontal direction of the touch panel along the horizontal direction with respect to the posture A is the X axis, and the front surface of the touch panel faces the horizontal direction. Set the direction (perpendicular to the touch panel) as the Y axis and the vertical direction as the Z axis. Thereafter, the gyro sensor 11 detects the tilt posture of the electronic device 1 with reference to the coordinate axes.

姿勢Bは、電子機器1をX軸を中心として前方に傾けた状態を表している。この場合、ジャイロセンサ11はこの回動方向と傾斜角度を検出する。
姿勢Cは、電子機器1をX軸を中心として後方に傾けた状態を表している。この場合、ジャイロセンサ11はこの回動方向と傾斜角度を検出する。
姿勢Dは、電子機器1をZ軸を中心として左方向に傾けた状態を表している。この場合、ジャイロセンサ11はこの回動方向と傾斜角度を検出する。
姿勢Eは、電子機器1をZ軸を中心として右方向に傾けた状態を表している。この場合、ジャイロセンサ11はこの回動方向と傾斜角度を検出する。
The posture B represents a state in which the electronic device 1 is tilted forward about the X axis. In this case, the gyro sensor 11 detects the rotation direction and the inclination angle.
The posture C represents a state in which the electronic device 1 is tilted backward about the X axis. In this case, the gyro sensor 11 detects the rotation direction and the inclination angle.
The posture D represents a state in which the electronic device 1 is tilted leftward about the Z axis. In this case, the gyro sensor 11 detects the rotation direction and the inclination angle.
The posture E represents a state where the electronic device 1 is tilted rightward about the Z axis. In this case, the gyro sensor 11 detects the rotation direction and the inclination angle.

図4は、モーション制御モードにおける電子機器1の姿勢と、姿勢に応じた制御内容の説明図である。
モーション制御モードでは、電子機器1の姿勢に基づいてGUIに割り当てられている制御を実行する。なお、モーション制御モードの場合、必ずしもGUIを画面上に表示しておく必要はなく、GUIを非表示にしたまま電子機器1の姿勢の変動に応じて画像の表示内容の制御を行えば良い。当然ながら、モーション制御モードの場合でも、GUIを使用可能となるように画面上に表示させておいても差し支えない。
本実施例では、一例として画面上に表示したモード使用スイッチ30を操作することで、モーション制御モードと非モーション制御モードを選択的に切り替えることができるようになっている。
FIG. 4 is an explanatory diagram of the attitude of the electronic device 1 in the motion control mode and the control content according to the attitude.
In the motion control mode, control assigned to the GUI is executed based on the attitude of the electronic device 1. In the motion control mode, it is not always necessary to display the GUI on the screen, and the display content of the image may be controlled in accordance with the change in the attitude of the electronic device 1 while the GUI is not displayed. Of course, even in the motion control mode, the GUI may be displayed on the screen so that it can be used.
In the present embodiment, as an example, the mode use switch 30 displayed on the screen is operated, whereby the motion control mode and the non-motion control mode can be selectively switched.

モード使用スイッチ30は、上記のようにGUIのみを使用する制御モード(非モーション制御モード)から、モーション制御モードを選択的に使用可能にするスイッチであるが、同時に電子機器1の初期姿勢を設定するスイッチでもある。すなわち、モード使用スイッチ30が操作された時の姿勢を初期姿勢として記憶し、この初期姿勢を基準とした左右および前後の傾斜角度に基づいて電子機器1を制御する。この初期姿勢を変更したい場合には、一度非モーション制御モードにした後に、再度モーション制御モードにすればよい。   The mode use switch 30 is a switch that selectively enables the motion control mode from the control mode (non-motion control mode) that uses only the GUI as described above, but sets the initial posture of the electronic device 1 at the same time. It is also a switch to do. That is, the posture when the mode use switch 30 is operated is stored as an initial posture, and the electronic apparatus 1 is controlled based on the left and right and front and rear tilt angles with reference to the initial posture. If it is desired to change the initial posture, the non-motion control mode is set once and then the motion control mode is set again.

本実施例では、ジャイロセンサ11によって検出可能な姿勢を、一例として図3に示したように姿勢A〜Eの5種類に設定している。すなわち、ジャイロセンサ11によって検出する姿勢Aを初期姿勢、姿勢Bを前方傾斜、姿勢Cを後方傾斜、姿勢Dを左傾斜、姿勢Eを右傾斜として設定している。そして、当該ジャイロセンサ11が検出した各姿勢に応じて動画の再生を制御するようになっている。
モーション制御モードでプレイヤーを操作するには、例えば姿勢Aの状態でモード使用スイッチ30を操作することで、モーション制御モードに移行するとともに初期姿勢として姿勢Aが記憶される。
In this embodiment, the postures that can be detected by the gyro sensor 11 are set to five postures A to E as shown in FIG. 3 as an example. That is, the posture A detected by the gyro sensor 11 is set as an initial posture, the posture B is inclined forward, the posture C is inclined backward, the posture D is inclined left, and the posture E is inclined right. The reproduction of the moving image is controlled according to each posture detected by the gyro sensor 11.
In order to operate the player in the motion control mode, for example, by operating the mode use switch 30 in the state of the posture A, the mode A is stored and the posture A is stored as the initial posture.

上記姿勢Aを基準として電子機器1の筐体を姿勢Bの方向に前方傾斜させると、制御手段8は、ジャイロセンサ11の検出情報に基づき、設定した角度まで回動したことを条件として姿勢Bの状態に至ったことを判断する。制御手段8は、電子機器1の筐体の角度が姿勢Bの状態になったことを認識すると、再生開始スイッチ20が操作されたのと同様に動画の再生を開始する。
また、これと同様に姿勢Aの状態を基準として電子機器1を姿勢Cの状態まで後方傾斜させると、ジャイロセンサはこの傾斜を検出して制御手段8に出力する。制御手段8はこの情報に基づき再生停止スイッチ21が操作されたのと同様に動画の再生を停止する。
また、姿勢Aの状態を基準として電子機器1を姿勢Dの状態まで左傾斜させると、ジャイロセンサはこの傾斜を検出して制御手段8に出力し、制御手段8はこの情報に基づき再生位置戻しスイッチ23が操作されたのと同様に再生中の動画を巻き戻すような処理を行う。
また、姿勢Aの状態を基準として電子機器1を姿勢Eの状態まで右傾斜させると、ジャイロセンサはこの傾斜を検出して制御手段8に出力し、制御手段8はこの情報に基づき再生位置送りスイッチ22が操作されたのと同様に再生中の動画の再生位置を先送りする。
When the housing of the electronic device 1 is tilted forward in the direction of the posture B with the posture A as a reference, the control unit 8 is based on the detection information of the gyro sensor 11 and is subjected to the posture B on the condition that it has been rotated to a set angle. It is determined that the state has been reached. When the control unit 8 recognizes that the angle of the housing of the electronic device 1 is in the posture B state, the control unit 8 starts the reproduction of the moving image in the same manner as when the reproduction start switch 20 is operated.
Similarly, when the electronic device 1 is tilted backward to the posture C state based on the state of the posture A, the gyro sensor detects this tilt and outputs it to the control means 8. Based on this information, the control means 8 stops the reproduction of the moving image in the same manner as the reproduction stop switch 21 is operated.
Further, when the electronic device 1 is tilted to the left in the posture D state with the posture A as a reference, the gyro sensor detects this tilt and outputs it to the control means 8, and the control means 8 returns the reproduction position based on this information. Similar to the operation of the switch 23, a process for rewinding the moving image being reproduced is performed.
Further, when the electronic device 1 is tilted rightward to the posture E state with reference to the posture A state, the gyro sensor detects this inclination and outputs it to the control means 8, and the control means 8 sends the reproduction position based on this information. The playback position of the moving image being played back is postponed in the same manner as the switch 22 is operated.

GUIのみを使用する従来の制御方法では、一方の手で電子機器1を把持し、他方の手でタッチパネルを操作する必要があった。すなわち、両手を使用することを前提として操作方法が設定されていた。
これに対して本実施例に係る画像表示の制御方法は、再生している動画の停止、再生、先送り、戻しといった複数の制御を、両手を使用することなく、片手で把持した電子機器1の傾斜方向を変えるという極めて簡単な方法で可能にするものとなっている。
In the conventional control method using only the GUI, it is necessary to hold the electronic device 1 with one hand and operate the touch panel with the other hand. That is, the operation method has been set on the assumption that both hands are used.
On the other hand, the image display control method according to the present embodiment performs a plurality of controls such as stop, play, forward, and return of the moving image being played back without using both hands of the electronic device 1 held with one hand. This is made possible by a very simple method of changing the inclination direction.

電子機器1に、上記のようなモーション制御モードを搭載するには幾つかの態様がある。
第1の態様は、アプリケーションプログラムとして一体的にパッケージされているプレイヤーに、予めモーション制御モードを実行するプロセスを組み込んでおく方法である。電子機器1に、予めモーション制御モードを備えたプレイヤーを搭載しておく場合には、この方法が適している。
第2の態様は、プレイヤーとは別にモーション制御モードを実行可能なプログラムを設け、プレイヤーに対するアドオンプログラムとして、プレイヤー使用時にモーション制御モードを実行可能にする方法である。これは、準標準的に電子機器1に搭載されているプレイヤーがある場合、このプレイヤーとの連携が可能なアドオンプログラムを設け、プレイヤーの追加機能としてモーション制御モードを行わせるものである。
第3の態様は、ブラウザ上で動画を再生するような場合、スクリプト言語のようなブラウザで実行可能なプログラムを設け、このプログラムにモーション制御モードを実行するプロセスを搭載するものである。
There are several modes for mounting the motion control mode as described above on the electronic device 1.
The first aspect is a method in which a process for executing a motion control mode is incorporated in advance in a player integrally packaged as an application program. This method is suitable when a player having a motion control mode is mounted in the electronic device 1 in advance.
The second mode is a method of providing a program capable of executing the motion control mode separately from the player and enabling the motion control mode to be executed when the player is used as an add-on program for the player. In this case, when there is a player mounted on the electronic device 1 on a semi-standard basis, an add-on program capable of cooperating with the player is provided, and a motion control mode is performed as an additional function of the player.
In the third aspect, when a moving image is reproduced on a browser, a program such as a script language that can be executed by the browser is provided, and a process for executing a motion control mode is installed in the program.

本実施の形態に係る画像表示のコントロール方法は、上記のように動画を再生するプレイヤーに、各種の態様でモーション制御モードを適用することが可能である。なお、上記のようなモーション制御モードは、動画の再生プレイヤーのみならず、他のコンテンツデータを表示する各種プログラムにおいても使用することができるものである。以下、他の適用例の一部を簡単に説明する。
[テレビ放送]
電子機器1には、テレビチューナーを内蔵し、テレビ局から送信された電波を受信して画面上で視聴できるように構成した携帯端末がある。このような携帯端末はテレビ視聴用のプログラムを記憶しており、当該プログラムの実行によって視聴するテレビ局の選局、音量の調節等を行うようになっている。これは、放送されている電波を受信して表示するものであるが、コンテンツデータとしては実質的にサーバーからストリーミングデータとして受信したものを表示する場合とほぼ同一の原理として考えて良い。ただし、放送電波を受信して表示する場合には、巻き戻しや先送りといった機能は無い。
In the image display control method according to the present embodiment, the motion control mode can be applied to the player who plays a moving image as described above in various modes. The motion control mode as described above can be used not only in a moving image playback player but also in various programs that display other content data. Hereinafter, a part of other application examples will be briefly described.
[TV broadcasting]
The electronic device 1 includes a portable terminal that has a built-in TV tuner and is configured to receive a radio wave transmitted from a TV station and view it on a screen. Such a portable terminal stores a TV viewing program, and is adapted to select a TV station to be viewed and adjust the volume by executing the program. This is to receive and display a broadcast radio wave, but the content data may be considered as substantially the same principle as the case of displaying data received as streaming data from the server. However, when receiving broadcast radio waves and displaying them, there are no functions such as rewind and forward.

図5は、電子機器1に搭載されているテレビの視聴画面40を示している。この視聴画面40は、中央に視聴映像を表示する映像領域41を有し、右端に複数のテレビ局を選択可能に表示したチャンネルバー42を設けている。
チャンネルバー42は、一例として図示しているような△マーク43によって視聴中のチャンネルを示すようになっている。視聴するチャンネルは、GUI化されている△マーク43を指先で移動させたり、チャンネルバー42内に配置されているGUI化された個別のチャンネル表示枠を指先で触れる等の方法で選択するようになっている。また、チャンネルの番号が増加する方向(下方向)を順方向、チャンネルの番号が減る方向(上方向)を逆方向として選択するチャンネルを自動的に移動させることができるようになっている。なお、チャンネルバー42は、上下方向に沿ってチャンネルを表示する形態に限らず、左右方向に沿って表示させたり、円環状に表示するなど種々の態様で設けても差し支えない。
また、出力中の音の大きさを表示する表示部を兼ねたGUI化された音量調整スイッチ44と、モーション制御モードを使用可能にするためのモード使用スイッチ45を設けている。
FIG. 5 shows a viewing screen 40 of a television mounted on the electronic device 1. The viewing screen 40 has a video area 41 that displays a viewing video at the center, and a channel bar 42 that displays a plurality of television stations so as to be selectable at the right end.
The channel bar 42 indicates a channel being viewed by a Δ mark 43 as illustrated as an example. The channel to be viewed is selected by a method such as moving the GUI-marked Δ mark 43 with a fingertip, or touching an individual channel display frame arranged in the channel bar 42 with a fingertip. It has become. Further, the channel to be selected can be automatically moved with the direction in which the channel number increases (downward) as the forward direction and the direction in which the channel number decreases (upward) as the reverse direction. The channel bar 42 is not limited to a mode in which channels are displayed along the vertical direction, and may be provided in various modes such as a display along the left-right direction or an annular display.
In addition, a GUI volume control switch 44 that also serves as a display unit for displaying the volume of the sound being output, and a mode use switch 45 for enabling the motion control mode are provided.

テレビの視聴画面40においてモーション制御モードを使用すると、視聴するチャンネルの選局や音量の調節を電子機器1の姿勢の変化によって行わせるように構成することができる。例えば、モード使用スイッチ45に触れるとジャイロセンサ11によって電子機器1の姿勢が検出され記憶される。そして、例えば図3に示した姿勢Aの状態でモード使用スイッチ45に触れると、タッチパネルの表示面を横長の状態で垂直にした姿勢Aが検出され記憶される。   When the motion control mode is used on the viewing screen 40 of the television, it is possible to select the channel to be viewed and adjust the volume by changing the attitude of the electronic device 1. For example, when the mode use switch 45 is touched, the attitude of the electronic device 1 is detected and stored by the gyro sensor 11. For example, when the mode use switch 45 is touched in the state of the posture A shown in FIG. 3, the posture A in which the display surface of the touch panel is vertical in the horizontally long state is detected and stored.

一例として、姿勢Aの状態から左方向に回動させて姿勢Dの状態まで電子機器1を傾けると、チャンネルバー上で選択されているチャンネルが順方向に移動して次のチャンネルが選択される。例えば選択しているチャンネルを「4ch」から「5ch」に移動させる。また、左方向に回動させた姿勢Bの状態を維持すると、チャンネルバー上における選択チャンネルが順方向に沿って順次移動を続け、姿勢を戻すとその時点で選択されているチャンネルの放送を受信して画面上に表示する。   As an example, when the electronic device 1 is tilted from the posture A state to the left and tilted to the posture D state, the channel selected on the channel bar moves in the forward direction and the next channel is selected. . For example, the selected channel is moved from “4ch” to “5ch”. If the posture B rotated to the left is maintained, the selected channel on the channel bar continues to move along the forward direction, and when the posture is returned, the broadcast of the currently selected channel is received. And display it on the screen.

また、姿勢Aの状態から右方向に回動させて姿勢Eの状態まで電子機器1を傾けると、チャンネルバー上で選択されているチャンネルが順方向とは逆の方向に移動してチャンネルが選択される。例えば選択しているチャンネルを「4ch」から「3ch」に移動させる。また、右方向に回動させた姿勢Eの状態を維持すると、チャンネルバー上における選択チャンネルが逆方向に順次移動を続け、姿勢を戻すとその時点で選択されているチャンネルの放送を受信して画面上に表示する。
なお、モーション制御モードを実施する場合には、必ずしも前述したチャンネルバーを表示する必要はなく、チャンネルバーのような表示手段の無い状態でチャンネルの切り替えを行えるようにしても差し支えない。
In addition, when the electronic device 1 is tilted from the posture A state to the right direction by tilting to the posture E state, the channel selected on the channel bar moves in the direction opposite to the forward direction and the channel is selected. Is done. For example, the selected channel is moved from “4ch” to “3ch”. In addition, if the posture E rotated to the right is maintained, the selected channel on the channel bar continues to move in the reverse direction sequentially, and when the posture is returned, the broadcast of the currently selected channel is received. Display on the screen.
When the motion control mode is performed, the channel bar described above is not necessarily displayed, and the channel may be switched without a display means such as a channel bar.

また、姿勢Aの状態から後方に回動させて姿勢Cの状態まで電子機器1を傾けると、スピーカーから出力している音声の音量を増加させるようになっている。また、姿勢Aの状態から前方に回動させて姿勢Bの状態まで電子機器1を傾けると、スピーカーから出力している音声の音量を減少させるようになっている。このように、電子機器1の傾きによって音量の調整が行えるようになっている。
さらに、傾ける電子機器1の角度に応じて、音量の増加若しくは減少させる割合を変化させるようにしてもよい。すなわち、傾ける角度が小さい場合にはゆっくり音量が増減し、傾ける角度を大きくすると音量を急激に変化させるといった音量制御が可能になる。
Further, when the electronic device 1 is tilted back from the posture A state to the posture C state, the volume of the sound output from the speaker is increased. Further, when the electronic apparatus 1 is tilted from the posture A state to the posture B state, the sound volume output from the speaker is reduced. As described above, the volume can be adjusted by the inclination of the electronic apparatus 1.
Furthermore, the rate at which the volume is increased or decreased may be changed according to the angle of the electronic device 1 to be tilted. That is, it is possible to perform volume control such that the volume is slowly increased or decreased when the tilt angle is small, and the volume is rapidly changed when the tilt angle is increased.

なお、このモーション制御モードを使用した音量の調節は、モード使用スイッチに触れている間だけ機能するようにしてもよい。このように構成すると、意図せず電子機器1を傾けてしまっても、大音量の音が出力される等といった不都合を回避することができるようになる。
また、音量調整スイッチは視聴中の映像を邪魔しないように、小さなスライドバーのような形態で設ける場合が多いが、このような小さなスイッチを指先で操作することはなかり面倒なものである。これに対して、この実施例では音量の増減といった制御を電子機器1を傾斜させるといった簡単な操作で行うことができるものとなっている。
The volume adjustment using the motion control mode may function only while the mode use switch is touched. If comprised in this way, even if the electronic device 1 is tilted unintentionally, it will become possible to avoid inconveniences such as outputting a loud sound.
In many cases, the volume adjustment switch is provided in the form of a small slide bar so as not to disturb the image being viewed. However, it is difficult to operate such a small switch with a fingertip. On the other hand, in this embodiment, control such as increase / decrease in volume can be performed by a simple operation such as tilting the electronic device 1.

上記のモーション制御モードは、主に電子機器1を片手で把持したまま電子機器1を操作したい場合や、操作しにくい小さなスイッチが搭載されている場合の代替的なスイッチ機能として用いることができるものである。
また、ジャイロセンサは電子機器1の傾きを検出するだけであるから、物理的な衝撃等を電子機器に対して与えることがなく、各種の制御を代替入力するための最適な手段と言えるものである。
The motion control mode described above can be used as an alternative switch function when the user wants to operate the electronic device 1 while holding the electronic device 1 with one hand or when a small switch that is difficult to operate is mounted. It is.
Further, since the gyro sensor only detects the tilt of the electronic device 1, it can be said to be an optimal means for inputting various controls instead of giving a physical shock to the electronic device. is there.

以上説明したモーション制御を利用した操作方法は、前述した用途以外に画面に表示する様々なコンテンツの表示制御に利用することができるものである。
例えば「STREET VIEW」(Google Inc.の国際登録された商標)のような、視点を移動させながら様々な場所の写真若しくは映像表示するサービスにも用いることができるものである。この場合、電子機器を左側に傾斜させると視点を左側に旋回し、電子機器を右側に傾斜させると視点を右側に旋回し、電子機器を前方に傾斜させると視点を前方に移動し、電子機器を後方に傾斜させると視点を後方に移動するような表示を行わせることが出来る。
The operation method using the motion control described above can be used for display control of various contents displayed on the screen other than the above-described uses.
For example, it can also be used for services such as “STREET VIEW” (an internationally registered trademark of Google Inc.) that displays photographs or videos of various places while moving the viewpoint. In this case, tilting the electronic device to the left turns the viewpoint to the left, tilting the electronic device to the right turns the viewpoint to the right, and tilting the electronic device forward moves the viewpoint to the front, By tilting backward, it is possible to display such that the viewpoint moves backward.

また、画面に表示するコンテンツが電子書籍の場合には、電子機器を左側に傾斜若しくは後方に傾斜させると表示している視聴ページを次のページに進め、電子機器を右側若しくは前方に傾斜させると表示している視聴ページを前のページに戻して表示させる等の表示制御を行わせることが出来る。   When the content displayed on the screen is an electronic book, if the electronic device is tilted to the left or tilted backward, the displayed viewing page is advanced to the next page, and the electronic device is tilted to the right or forward Display control such as returning the displayed viewing page to the previous page and displaying it can be performed.

また、画面に表示するコンテンツがブラウザを利用して表示するHTMLファイルの場合、電子機器を前方に傾斜させると閲覧している画面を上方にスクロールし、電子機器を後方に傾斜させると閲覧している画面を下方にスクロールし、電子機器を左側に傾斜させると画面の表示を左側に移動させ、電子機器を右側に傾斜させると画面の表示を右側に移動させるといった表示制御を行わせることができる。また、他のGUIスイッチとモーション制御を併用して、閲覧している部分を拡大表示したり縮小表示するなどの視聴も行わせることが出来る。   In addition, when the content to be displayed on the screen is an HTML file displayed using a browser, when the electronic device is tilted forward, the screen being browsed is scrolled upward, and when the electronic device is tilted backward, the content is viewed. Scroll down the screen and tilt the electronic device to the left to move the screen display to the left, and tilt the electronic device to the right to move the screen display to the right. . In addition, by using other GUI switches and motion control together, it is possible to perform viewing such as enlarging display or reduction display of the portion being browsed.

また、様々なコンテンツに応じて専用のビューワープログラムを設ける場合には、モーション制御モードによってコンテンツの特性に合わせた様々な表示制御を行わせることが出来る。
例えば、画面内でキャラクターが移動するように表示した動画若しくはゲーム画像のようなコンテンツの場合には、モーション制御モードによって画面内に表示したキャラクターを進行、後退、ジャンプ、回転させるような表示内容の制御を行うことができる。
また、キャラクターを3Dデータで作成している場合若しくは各種の方向から見たキャラクターの画像を複数枚用意することによって立体感を有する画像として視聴できるように構成した場合がある。このようなコンテンツの場合、モーション制御モードによって様々な視点から見たキャラクターの状態を画面に表示するような制御を行うことができる。
In addition, when a dedicated viewer program is provided according to various contents, various display controls according to the characteristics of the contents can be performed by the motion control mode.
For example, in the case of content such as a moving image or a game image displayed so that the character moves within the screen, the display content is such that the character displayed on the screen is moved forward, backward, jumped or rotated by the motion control mode. Control can be performed.
Further, there are cases where a character is created with 3D data, or a plurality of character images viewed from various directions are prepared so that the image can be viewed as a stereoscopic image. In the case of such content, it is possible to perform control such that the state of the character viewed from various viewpoints is displayed on the screen according to the motion control mode.

また、上記の実施例はタッチパネルを有する電子機器を例として説明したが、本発明はタッチパネルではない単純な表示装置を有する電子機器においても実施可能なものとなっている。タッチパネルを持たない電子機器では、表示装置以外の部分にこの電子機器を操作する物理的スイッチが設けられている。このような電子機器にモーション制御モードを搭載すると、物理的スイッチに対応した制御をモーションセンサの検出内容に基づいて行うことができるようになる。   Moreover, although the said Example demonstrated as an example the electronic device which has a touchscreen, this invention can be implemented also in the electronic device which has a simple display apparatus which is not a touchscreen. In an electronic device that does not have a touch panel, a physical switch for operating the electronic device is provided in a portion other than the display device. When a motion control mode is installed in such an electronic device, control corresponding to a physical switch can be performed based on the detection content of the motion sensor.

また、電子機器を傾けた状態で上下若しくは左右に振るといった動作を、ジャイロセンサ11と加速度センサ12の組み合わせによって検出して、その検出情報に基づいて各種の制御を行わせるように構成してもよい。すなわち、各種のモーションセンサによって検出した情報を組み合わせることで、各モーションセンサ単体で使用する場合と比較して、さらに複数種類の操作指示を電子機器に対して入力することができるようになる。   Further, an operation of swinging the electronic device up and down or left and right while being tilted is detected by a combination of the gyro sensor 11 and the acceleration sensor 12, and various controls are performed based on the detection information. Good. That is, by combining information detected by various types of motion sensors, it is possible to input a plurality of types of operation instructions to the electronic device as compared with the case where each motion sensor is used alone.

前述したように、電子機器1の表示手段3には、予め記憶手段に記憶されている画像若しくはプログラムによって生成される画像、動画ファイル、電子書籍用データ、HTML、テレビ放送データ、動画ストリーミングデータ等の動画を含む各種画像を表示することができる。そして、モーションセンサを利用して各種画像の表示を制御することは前述した通りであるが、そのままでは画面を見ている視聴者に対して表示している画像も電子機器1とともに傾いてしまう。このような現象を解決するために、本実施例では以下のような制御を行うことが出来る。   As described above, the display unit 3 of the electronic device 1 includes an image stored in advance in the storage unit or an image generated by a program, a moving image file, data for electronic books, HTML, TV broadcast data, moving image streaming data, and the like. Various images including the moving image can be displayed. Controlling the display of various images using a motion sensor is as described above. However, the image displayed for the viewer watching the screen is tilted together with the electronic device 1 as it is. In order to solve such a phenomenon, the following control can be performed in this embodiment.

図6は、上記の現象を解決した画面表示の制御方法の一例を表した説明図を表している。前述した例では、モーションセンサの一つであるジャイロセンサ11を利用して画面表示内容を制御するものであった。一例として図3に示す姿勢D、姿勢Eのように電子機器1を左右に傾けると、動画の再生位置を先送りしたり、視聴するテレビ局の選局を行えるものである。
この制御方法では、例えば姿勢Dのように電子機器1を基準の姿勢から角度θ傾けた場合に、この姿勢の変化をジャイロセンサ11に検出させ、表示手段3内に表示している画像を電子機器1の傾斜とは反対の方向に、同じ角度量だけ傾斜させて表示する制御を行う。すなわち、電子機器1は傾斜しても、表示している画像や画角の姿勢は元の状態を維持するようになっている。
FIG. 6 is an explanatory diagram showing an example of a screen display control method that solves the above phenomenon. In the example described above, the screen display content is controlled using the gyro sensor 11 which is one of the motion sensors. As an example, when the electronic device 1 is tilted to the left and right as in the posture D and the posture E shown in FIG.
In this control method, for example, when the electronic device 1 is tilted at an angle θ from the reference posture as in the posture D, the change in the posture is detected by the gyro sensor 11, and the image displayed in the display means 3 is electronically displayed. Control is performed such that the display is tilted by the same angle amount in the direction opposite to the tilt of the device 1. That is, even if the electronic device 1 is tilted, the displayed image and the orientation of the angle of view are maintained in the original state.

このような電子機器1の傾斜に伴う画像や画角の角度補正を伴う画面表示の制御方法を行うと、電子機器1が傾斜しても表示される画像や動画像の視聴者に対する相対的な位置関係は変化しない。このため、電子機器1の傾斜に連動させて顔を傾けたりすることなく、視聴を継続させることができるという作用、効果を有するものとなっている。
また、モード使用スイッチ30若しくは他に設けたGUIスイッチを利用して、画像表示の初期姿勢を定義することが可能である。この場合、電子機器1を傾斜させた任意の姿勢を初期姿勢として定義し、初期姿勢の状態から電子機器1が傾いても初期姿勢と同様の向きで画像表示を行わせることが可能である。
本実施例では、上記のように設定した初期姿勢に対して前記筐体が傾斜した場合に、表示している画像を前記初期姿勢において表示していた状態を維持するように傾斜制御することを特徴とする。
なお、傾斜の検出は表示画面と平行な平面内における傾斜だけではなく、表示画面に対する前後方向を含めた総合的な傾斜に基づいて制御することも可能であり、仕様に応じて適宜最適な方法を採用する。
When the control method of the screen display accompanied by the angle correction of the image or the angle of view of the electronic device 1 is performed, the image or the moving image displayed even when the electronic device 1 is inclined is relative to the viewer. The positional relationship does not change. For this reason, it has the effect | action and effect that viewing can be continued, without tilting a face in response to the inclination of the electronic device 1.
Further, it is possible to define the initial posture of image display using the mode use switch 30 or a GUI switch provided elsewhere. In this case, an arbitrary posture in which the electronic device 1 is tilted is defined as the initial posture, and even when the electronic device 1 is tilted from the initial posture state, it is possible to display an image in the same orientation as the initial posture.
In this embodiment, when the casing is tilted with respect to the initial posture set as described above, the tilt control is performed so as to maintain the state in which the displayed image is displayed in the initial posture. Features.
Note that the tilt detection can be controlled not only based on the tilt in a plane parallel to the display screen but also based on the total tilt including the front-rear direction with respect to the display screen. Is adopted.

以上説明したモーションセンサを利用した操作方法は、コンテンツ画像の表示制御を中心として説明したものであるが、画像の表示に関わらずスイッチを用いた各種操作を代替させることができるものである。
また、以上説明した各種の実施例は、種々組み合わせて実施することが出来るものであり、特許請求の範囲に記載した事項を逸脱しない範囲において種々の態様を包含し、それに応じて適宜応用可能なものである。
The operation method using the motion sensor described above is described centering on the display control of the content image, but various operations using switches can be substituted regardless of the display of the image.
The various embodiments described above can be implemented in various combinations, and include various embodiments within the scope not departing from the matters described in the claims, and can be applied as appropriate accordingly. Is.

本発明は、スマートフォンやタブレット端末等の電子機器、電子機器の操作方法、操作システムおよびこれらのために作成されるプログラムに利用可能である。   The present invention is applicable to electronic devices such as smartphones and tablet terminals, operation methods of electronic devices, operation systems, and programs created therefor.

1 電子機器
2 タッチパネル
3 表示手段
4 タッチセンサ
5 演算プロセッサ
6 RAM
7 ROM
8 制御手段
9 通信モジュール
10 モーションセンサ
11 ジャイロセンサ
12 加速度センサ
13 磁力センサ
14 位置センサ
15 光センサ
20 再生開始スイッチ
21 再生停止スイッチ
22 再生位置送りスイッチ
23 再生位置戻しスイッチ
24 再生位置指定スイッチ
25 塗りつぶし部分
26 白抜き部
30 モード使用スイッチ
40 視聴画面
41 映像領域
42 チャンネルバー
43 △マーク
44 音量調整スイッチ
45 モード使用スイッチ
DESCRIPTION OF SYMBOLS 1 Electronic device 2 Touch panel 3 Display means 4 Touch sensor 5 Arithmetic processor 6 RAM
7 ROM
8 control means 9 communication module 10 motion sensor 11 gyro sensor 12 acceleration sensor 13 magnetic sensor 14 position sensor 15 optical sensor 20 regeneration start switch 21 regeneration stop switch 22 regeneration position feed switch 23 regeneration position return switch 24 regeneration position designation switch 25 26 White portion 30 Mode use switch 40 Viewing screen 41 Video area 42 Channel bar 43 Δ mark 44 Volume adjustment switch 45 Mode use switch

Claims (6)

画像の表示手段を設けた筐体に作用する物理量の変化を検出可能なモーションセンサと制御手段と操作手段とモード使用スイッチを備えた電子機器における操作方法であって、
前記表示手段は、前記制御手段による制御に基づいて前記画像の表示を行うとともに、前記操作手段による操作に基づいて表示する画像の表示内容を制御するよう構成し、
前記制御手段は、前記モード使用スイッチが操作されたとき初期姿勢を設定し、前記モーションセンサによって検出した前記初期姿勢を基準とする前記筐体の傾斜角度の情報に基づいて、前記操作手段による操作に割り当てられている前記画像の表示内容の制御を実行し、
前記制御手段は、前記筐体の傾斜角度の情報が、前記初期姿勢に対して前記筐体が表示画面と平行な平面内で傾斜した場合の前記筐体の姿勢の変化であるとき、前記表示手段に表示している画像の表示向きを、前記筐体の傾斜とは反対の方向に同じ角度量だけ傾斜させて表示することを特徴とする操作方法。
An operation method in an electronic device comprising a motion sensor capable of detecting a change in a physical quantity acting on a housing provided with an image display means, a control means, an operation means, and a mode use switch ,
The display means is configured to display the image based on control by the control means, and to control display contents of an image to be displayed based on operation by the operation means,
It said control means, based on the mode use switch sets the initial position when operated, the housing tilt angle information relative to the said initial posture detected I by the motion sensor, the operation Control the display content of the image assigned to the operation by means ,
The control means is configured to display the display when the information on the tilt angle of the housing is a change in the posture of the housing when the housing is tilted in a plane parallel to the display screen with respect to the initial posture. An operation method , wherein the display direction of the image displayed on the means is displayed by being inclined by the same angle amount in a direction opposite to the inclination of the housing .
画像の表示が可能なタッチパネルと当該タッチパネルを搭載した筐体に作用する物理量の変化を検出可能なモーションセンサと制御手段とモード使用スイッチを備えた電子機器における操作方法であって、
前記タッチパネルは、前記制御手段による制御に基づいて前記画像の表示を行うとともに、当該タッチパネルに対して行われた操作の検知を行い、当該検知したタッチパネルに対する操作に基づいて当該タッチパネルに表示する画像の表示内容を制御するよう構成し、
前記制御手段は、前記モード使用スイッチが操作されたとき初期姿勢を設定し、前記モーションセンサによって検出した前記初期姿勢を基準とする前記筐体の傾斜角度の情報に基づいて、前記タッチパネルに対して行われた操作に割り当てられている前記画像の表示内容の制御を実行し、
前記制御手段は、前記筐体の傾斜角度の情報が、前記初期姿勢に対して前記筐体が表示画面と平行な平面内で傾斜した場合の前記筐体の姿勢の変化であるとき、前記表示手段に表示している画像の表示向きを、前記筐体の傾斜とは反対の方向に同じ角度量だけ傾斜させて表示することを特徴とする操作方法。
An operation method in an electronic device including a touch panel capable of displaying an image, a motion sensor capable of detecting a change in a physical quantity acting on a housing on which the touch panel is mounted, a control unit, and a mode use switch ,
The touch panel with the display of the image based on control by the control means performs a detection of an operation performed on the touch panel, the image displayed on the touch panel based on the operation on the sensed touch panel Configure to control what is displayed ,
It said control means, based on the mode use switch sets the initial position when operated, the housing tilt angle information relative to the said initial posture detected I by the motion sensor, the touch panel Control the display content of the image assigned to the operation performed on
The control means is configured to display the display when the information on the tilt angle of the housing is a change in the posture of the housing when the housing is tilted in a plane parallel to the display screen with respect to the initial posture. An operation method , wherein the display direction of the image displayed on the means is displayed by being inclined by the same angle amount in a direction opposite to the inclination of the housing .
画像の表示が可能なタッチパネルと当該タッチパネルを搭載した筐体に作用する物理量の変化を検出可能なモーションセンサと制御手段とモード使用スイッチを備えた電子機器における操作方法であって、
前記タッチパネルは、前記制御手段による制御に基づいて前記画像の表示を行うとともに、当該タッチパネルに表示したGUI画像の操作に基づいて当該タッチパネルに表示する画像の表示内容を制御するよう構成し、
前記制御手段は、前記モード使用スイッチが操作されたとき初期姿勢を設定し、前記モーションセンサによって検出した前記初期姿勢を基準とする前記筐体の傾斜角度の情報に基づいて、前記GUI画像の操作に割り当てられている前記画像の表示内容の制御を実行し、
前記制御手段は、前記筐体の傾斜角度の情報が、前記初期姿勢に対して前記筐体が表示画面と平行な平面内で傾斜した場合の前記筐体の姿勢の変化であるとき、前記表示手段に表示している画像の表示向きを、前記筐体の傾斜とは反対の方向に同じ角度量だけ傾斜させて表示することを特徴とする操作方法。
An operation method in an electronic device including a touch panel capable of displaying an image, a motion sensor capable of detecting a change in a physical quantity acting on a housing on which the touch panel is mounted, a control unit, and a mode use switch ,
The touch panel is configured to display the image based on the control by the control unit, and to control display content of the image displayed on the touch panel based on an operation of the GUI image displayed on the touch panel.
It said control means, based on the mode use switch sets the initial position when operated, the housing tilt angle information relative to the said initial posture detected I by the motion sensor, the GUI Control the display content of the image assigned to the operation of the image ,
The control means is configured to display the display when the information on the tilt angle of the housing is a change in the posture of the housing when the housing is tilted in a plane parallel to the display screen with respect to the initial posture. An operation method , wherein the display direction of the image displayed on the means is displayed by being inclined by the same angle amount in a direction opposite to the inclination of the housing .
前記モーションセンサが、筐体の姿勢を検出するジャイロセンサであることを特徴とする請求項1乃至3記載の操作方法。   The operation method according to claim 1, wherein the motion sensor is a gyro sensor that detects a posture of a housing. 前記表示する画像が、放送電波を受信したテレビ映像、インターネットを介して取得したストリーミング動画ファイル、ブラウザによって表示するHTMLファイル、ビューワーによって表示する電子書籍データであることを特徴とする請求項1乃至4記載の操作方法。   5. The display image according to claim 1, wherein the image to be displayed is a television image that has received a broadcast radio wave, a streaming video file acquired via the Internet, an HTML file that is displayed by a browser, or electronic book data that is displayed by a viewer. The operation method described. 画像の表示手段を設けた筐体の傾斜を検出可能なモーションセンサと制御手段と操作手段とモード使用スイッチを備えた電子機器における画像の表示方法であって、
前記表示手段は、前記制御手段による制御に基づいて前記画像の表示を行うとともに、前記操作手段による操作に基づいて表示する画像の表示内容を制御するよう構成し、
前記制御手段は、前記モード使用スイッチが操作されたとき初期姿勢を設定し、前記モーションセンサによって検出した前記初期姿勢を基準とする前記筐体の傾斜角度の情報に基づいて前記操作手段による操作に割り当てられている表示内容の制御が実行された画像を、前記表示手段に表示し、
前記制御手段は、前記筐体の傾斜角度の情報が、前記初期姿勢に対して前記筐体が表示画面と平行な平面内で傾斜した場合の前記筐体の姿勢の変化であるとき、前記表示手段に表示している画像の表示向きを、前記筐体の傾斜とは反対の方向に同じ角度量だけ傾斜させて表示する
ことを特徴とする画像の表示方法。
An image display method in an electronic device including a motion sensor capable of detecting a tilt of a housing provided with an image display means, a control means, an operation means, and a mode use switch ,
The display means is configured to display the image based on control by the control means, and to control display contents of an image to be displayed based on operation by the operation means,
It said control means, said mode use switch sets the initial position when operated, the casing of the inclination angle of the operating means based on information based on the initial posture detected I by the motion sensor Display on the display means the image on which the control of the display content assigned to the operation by is executed ,
The control means is configured to display the display when the information on the tilt angle of the housing is a change in the posture of the housing when the housing is tilted in a plane parallel to the display screen with respect to the initial posture. A display method for displaying an image, wherein the display direction of the image displayed on the means is displayed by being inclined by the same angle amount in a direction opposite to the inclination of the housing .
JP2015253239A 2015-12-25 2015-12-25 Electronic device operation method and image display method Active JP6568795B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015253239A JP6568795B2 (en) 2015-12-25 2015-12-25 Electronic device operation method and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015253239A JP6568795B2 (en) 2015-12-25 2015-12-25 Electronic device operation method and image display method

Publications (2)

Publication Number Publication Date
JP2017117276A JP2017117276A (en) 2017-06-29
JP6568795B2 true JP6568795B2 (en) 2019-08-28

Family

ID=59231749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015253239A Active JP6568795B2 (en) 2015-12-25 2015-12-25 Electronic device operation method and image display method

Country Status (1)

Country Link
JP (1) JP6568795B2 (en)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271505A (en) * 1994-03-29 1995-10-20 Toshiba Corp Image display controller
JP2001265309A (en) * 2000-03-22 2001-09-28 Denso Corp Portable information reader
JP2009223469A (en) * 2008-03-14 2009-10-01 Panasonic Corp Portable device with camera
JP5537044B2 (en) * 2008-05-30 2014-07-02 キヤノン株式会社 Image display apparatus, control method therefor, and computer program
JP5284448B2 (en) * 2011-11-25 2013-09-11 株式会社東芝 Information processing apparatus and display control method
JP2014056300A (en) * 2012-09-11 2014-03-27 Sony Corp Information processor, information processing method and computer program
JP2014109866A (en) * 2012-11-30 2014-06-12 Toshiba Corp Instrument operation device and program
JP6143526B2 (en) * 2013-04-10 2017-06-07 キヤノン株式会社 Information processing apparatus and control method thereof
JP2015215696A (en) * 2014-05-08 2015-12-03 株式会社Nttドコモ Electronic equipment, program, and warning method in electronic equipment

Also Published As

Publication number Publication date
JP2017117276A (en) 2017-06-29

Similar Documents

Publication Publication Date Title
JP5912014B2 (en) GUI application for 3D remote controller
CN108235086B (en) Video playing control method and device and corresponding terminal
US10121512B2 (en) System and method for providing and interacting with coordinated presentations
KR102431712B1 (en) Electronic apparatus, method for controlling thereof and computer program product thereof
AU2014274515A1 (en) User terminal apparatus and control method thereof
KR20160015936A (en) Display apparatus, multi display system and controlling method thereof
KR20130051697A (en) Apparatus and method for controlling image display based on terminal movement
JP6505227B2 (en) Image display apparatus and image display method
US20140333422A1 (en) Display apparatus and method of providing a user interface thereof
KR20160019293A (en) Device and control method for the device
JP6082190B2 (en) Program, information processing apparatus, image display method, and display system
US20200404214A1 (en) An apparatus and associated methods for video presentation
US20130321469A1 (en) Method of controlling display
JP2005322087A (en) Display
JP6062984B2 (en) Information processing apparatus and information display method
JP6568795B2 (en) Electronic device operation method and image display method
JP6201261B2 (en) Terminal device, control method, and program
EP3032392A2 (en) Display apparatus and display method
WO2018122896A1 (en) Information display method and operation method for electronic device
KR20140087787A (en) display apparatus and method for controlling the display apparatus therof
JP6794520B2 (en) Video equipment, methods, and programs
JP7210153B2 (en) ELECTRONIC DEVICE, ELECTRONIC DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP6468089B2 (en) Display device, display method, and program
JP2020003918A (en) Display control unit, display, television, display control method, and program
KR20130019262A (en) Image display apparatus, and method for operating the same

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190215

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190402

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190805

R150 Certificate of patent or registration of utility model

Ref document number: 6568795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250