JP6146307B2 - Electronic device, information system, server, and program - Google Patents
Electronic device, information system, server, and program Download PDFInfo
- Publication number
- JP6146307B2 JP6146307B2 JP2013543060A JP2013543060A JP6146307B2 JP 6146307 B2 JP6146307 B2 JP 6146307B2 JP 2013543060 A JP2013543060 A JP 2013543060A JP 2013543060 A JP2013543060 A JP 2013543060A JP 6146307 B2 JP6146307 B2 JP 6146307B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- amount
- unit
- image
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 claims description 281
- 230000002123 temporal effect Effects 0.000 claims description 64
- 238000003384 imaging method Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 23
- 230000033001 locomotion Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 183
- 238000000605 extraction Methods 0.000 description 69
- 238000000034 method Methods 0.000 description 30
- 238000003860 storage Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 9
- 230000007704 transition Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Studio Devices (AREA)
Description
本発明は、電子機器、情報システム、サーバ、及びプログラムに関するものである。
本願は、2011年11月10日に出願された日本特許出願2011−246571号に基づき優先権を主張し、その内容をここに援用する。
The present invention relates to an electronic device, an information system , a server , and a program .
This application claims priority based on Japanese Patent Application No. 2011-246571 filed on November 10, 2011, the contents of which are incorporated herein by reference.
デジタルカメラ、携帯電話やスマートフォンなどの携帯端末の普及に伴い、携帯端末を利用してインターネット、ニュースや新聞記事などの情報を取得して画面に表示させるアプリケーションや技術が知られている。このような技術は、省スペースで、かつ電子情報をいつでもどこでも簡単に取得することができることから、ユーザの利便性を向上させ、情報の迅速な取得及び活用などに利用されている。
上述のような携帯端末において、画面に表示される情報は画面横型又は縦型に表示される。また、画面横型又は縦型に情報を表示可能な携帯端末として、端末の傾きや方向などの表示状態に応じて画面横型や縦型のような画面表示型を切り替えて該情報を表示可能な携帯端末が知られている(例えば、特許文献1参照)。With the widespread use of mobile terminals such as digital cameras, mobile phones and smartphones, applications and techniques for acquiring information such as the Internet, news and newspaper articles using mobile terminals and displaying them on the screen are known. Such a technique is space-saving and can easily acquire electronic information anytime and anywhere. Therefore, it improves the convenience of the user and is used for quick acquisition and utilization of information.
In the portable terminal as described above, information displayed on the screen is displayed in a horizontal or vertical screen. In addition, as a portable terminal capable of displaying information horizontally or vertically, a portable terminal capable of displaying the information by switching the screen display type such as the horizontal screen or vertical depending on the display state such as the tilt or direction of the terminal. A terminal is known (see, for example, Patent Document 1).
しかしながら、例えば、画面横型や縦型を切り換えて該情報を表示可能な携帯端末をユーザが使用する時に、ユーザによる携帯端末の動作に対して意図しない画面表示型に切り替わる場合がある。このようなユーザの意図しない画面表示型の切り替えが生じた場合、ユーザは意図する画面表示型に切り替えるために携帯端末に対して新たな動作を行う必要がある。意図しない画面表示型の切り替えはユーザの利便性を低下させる要因となっていた。 However, for example, when a user uses a portable terminal capable of displaying the information by switching between a horizontal screen type and a vertical type, the screen display type may be switched to an unintended screen display type for the operation of the portable terminal by the user. When such a screen display type unintended by the user occurs, the user needs to perform a new operation on the mobile terminal in order to switch to the intended screen display type. Unintentional switching of the screen display type has been a factor that reduces user convenience.
本発明の一態様である電子機器は、表示データに基づく表示画像を表示する表示部と、前記表示部の前方側の被写体を撮像可能な撮像部と、前記前方側を撮像した画像から検出される変化量であって前記被写体の特徴部分における第1所定方向の第2所定方向に対する傾きの時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御部と、筐体の傾斜を検出するセンサと、前記筐体が所定量以上傾斜した場合に前記表示画像の表示形式を前記表示制御部に保持させるホールド機能のオン/オフを設定する設定部と、を備え、前記表示制御部は、前記筐体が前記所定量以上傾斜した場合であって前記ホールド機能がオンに設定されている場合、前記変化量が第1の閾値以上であるときに前記表示画像の表示形式を変えるように制御し、前記変化量が第1の閾値未満であるときに前記表示画像の表示形式を変えないように制御する。 An electronic device according to one embodiment of the present invention is detected from a display unit that displays a display image based on display data, an imaging unit that can image a subject on the front side of the display unit, and an image that images the front side. that a change amount based on the temporal variation of the inclination with respect to the second predetermined direction of the first predetermined direction in the characteristic portion of the object, a display control unit for controlling the display format of the display image, of the housing A sensor that detects tilt; and a setting unit that sets on / off of a hold function that causes the display control unit to hold a display format of the display image when the housing is tilted by a predetermined amount or more, and the display The control unit may change the display format of the display image when the change amount is equal to or greater than a first threshold when the housing is tilted by the predetermined amount or more and the hold function is set to ON. To change And, wherein the controlled so as not to change the display format of the display image when the amount of change is less than the first threshold value.
本発明の他の態様である情報システムは、電子機器と、サーバとを含む情報システムであって、前記電子機器は、表示データに基づく表示画像を表示する表示部と、前記表示部の前方側の被写体を撮像可能な撮像部と、筐体の傾斜を検出するセンサと、前記筐体が所定量以上傾斜した場合に前記表示画像の表示形式を保持させるホールド機能のオン/オフを設定する設定部と、前記撮像部による撮像画像と前記センサによる前記傾斜を示す情報と前記設定部による設定を示す情報とを前記サーバに送信し、前記表示画像の表示形式を制御する表示制御情報を前記サーバから受信する通信部と、前記通信部が受信した前記表示制御情報に基づいて、前記表示画像の表示形式を制御する表示制御部と、を備え、前記サーバは、前記電子機器から前記撮像画像と前記傾斜を示す情報と前記設定を示す情報とを受信し、前記電子機器に前記表示制御情報を送信する通信部と、前記電子機器から受信した撮像画像から検出される変化量であって前記被写体の特徴部分における第1所定方向の第2所定方向に対する傾きの時間的な変化量に基づいて、前記電子機器に送信する前記表示制御情報を生成する表示制御情報生成部と、を備え、前記表示制御情報生成部は、前記筐体が前記所定量以上傾斜した場合であって前記ホールド機能がオンに設定されている場合、前記変化量が第1の閾値以上であるときに前記表示画像の表示形式を変える前記表示制御情報を生成し、前記変化量が第1の閾値未満であるときに前記表示画像の表示形式を変えない前記表示制御情報を生成する。 An information system according to another aspect of the present invention is an information system including an electronic device and a server, and the electronic device includes a display unit that displays a display image based on display data, and a front side of the display unit. Setting to turn on / off the image capturing unit that can capture the subject, a sensor that detects the tilt of the housing, and a hold function that retains the display format of the display image when the housing is tilted by a predetermined amount or more A display image for controlling a display format of the display image by transmitting a captured image by the imaging unit, information indicating the tilt by the sensor, and information indicating a setting by the setting unit to the server. a communication unit for receiving from, based on the display control information by the communication unit receives, and a display control unit for controlling the display format of the display image, the server, before the said electronic device It receives the information indicating the information and the setting indicating the inclination and the captured image, a communication unit that transmits the display control information to the electronic device, there by a change amount which is detected from the captured image received from the electronic device on the basis of the temporal change of the inclination with respect to the second predetermined direction of the first predetermined direction in the feature portion of the object, and a display control information generating unit for generating the display control information to be transmitted to the electronic device Te The display control information generation unit displays the display when the amount of change is equal to or greater than a first threshold when the housing is tilted by the predetermined amount or more and the hold function is set to ON. The display control information that changes the display format of the image is generated, and the display control information that does not change the display format of the display image when the amount of change is less than a first threshold is generated .
本発明の他の態様であるサーバは、表示データに基づく表示画像を表示する表示部と、前記表示部の前方側の被写体を撮像可能な撮像部と、筐体の傾斜を検出するセンサと、前記筐体が所定量以上傾斜した場合に前記表示画像の表示形式を保持させるホールド機能のオン/オフを設定する設定部と、通信部とを備える電子機器と通信するサーバであって、前記電子機器から前記撮像画像と前記傾斜を示す情報と前記傾斜を示す情報とを受信し、前記電子機器に表示制御情報を送信する通信部と、前記電子機器から受信した撮像画像から検出される変化量であって前記被写体の特徴部分における第1所定方向の第2所定方向に対する傾きの時間的な変化量に基づいて、前記電子機器に送信する前記表示制御情報を生成する表示制御情報生成部と、を備え、前記表示制御情報生成部は、前記筐体が前記所定量以上傾斜した場合であって前記ホールド機能がオンに設定されている場合、前記変化量が第1の閾値以上であるときに前記表示画像の表示形式を変える前記表示制御情報を生成し、前記変化量が第1の閾値未満であるときに前記表示画像の表示形式を変えない前記表示制御情報を生成する。
本発明の他の態様であるプログラムは、コンピュータに、表示データに基づく表示画像を表示させる表示ステップと、前記表示部の前方側の被写体を撮像部に撮像させる撮像ステップと、前記前方側が撮像された画像から検出される変化量であって前記被写体の特徴部分における第1所定方向の第2所定方向に対する傾きの時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御ステップと、筐体の傾斜をセンサに検出させる検出ステップと、前記筐体が所定量以上傾斜した場合に前記表示画像の表示形式を前記表示制御ステップにおいて保持させるホールド機能のオン/オフを設定する設定ステップと、を実行させるためのプログラムであって、前記表示制御ステップは、前記筐体が前記所定量以上傾斜した場合であって前記ホールド機能がオンに設定されている場合、前記変化量が第1の閾値以上であるときに前記表示画像の表示形式を変えるように制御し、前記変化量が第1の閾値未満であるときに前記表示画像の表示形式を変えないように制御する。
A server according to another aspect of the present invention includes a display unit that displays a display image based on display data, an imaging unit that can image a subject on the front side of the display unit, a sensor that detects the inclination of the housing, A server that communicates with an electronic device that includes a setting unit that sets on / off of a hold function that holds a display format of the display image when the casing is tilted by a predetermined amount or more, and a communication unit, it receives the information indicating the inclination information indicating the inclination and the captured image from the device, and a communication unit that transmits the table示制control information to the electronic device, change detected from the captured image received from the electronic device based on the temporal change amount of the inclination with respect to the second predetermined direction of the first predetermined direction in the characterizing part of said subject an amount, and a display control information generating unit for generating the display control information to be transmitted to the electronic device Wherein the display control information generating unit, when said housing said hold function even when inclined above a predetermined amount or more is set to ON, when the change amount is equal to or greater than the first threshold value The display control information that changes the display format of the display image is generated, and the display control information that does not change the display format of the display image when the amount of change is less than a first threshold is generated .
A program according to another aspect of the present invention includes a display step for causing a computer to display a display image based on display data, an imaging step for causing the imaging unit to image a subject on the front side of the display unit, and the front side being imaged. Display control step of controlling the display format of the display image based on a change amount detected from the image and a temporal change amount of the inclination of the characteristic portion of the subject with respect to the second predetermined direction with respect to the second predetermined direction And a setting step for setting ON / OFF of a hold function for holding the display format of the display image in the display control step when the casing is tilted by a predetermined amount or more. And the display control step is a case where the casing is tilted by the predetermined amount or more. When the hold function is set to ON, the display format of the display image is controlled to be changed when the change amount is equal to or greater than a first threshold value, and the change amount is less than the first threshold value. The display image is controlled so as not to change the display format.
本発明の態様によれば、意図しない画面表示型の切り替えが生じず、ユーザの利便性を向上させることができる。 According to the aspect of the present invention, unintended screen display type switching does not occur, and user convenience can be improved.
(第1の実施形態)
以下、図面を参照しながら本発明の第1の実施形態について説明する。図1A及び図1Bは、本発明の第1の実施形態による電子機器3(例、携帯端末)の外観模式図である。なお、図1Aは電子機器3の筐体前面(表面、本体前面)、図1Bは電子機器3の筐体背面(裏面、本体背面)を表している。(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. 1A and 1B are schematic external views of an electronic apparatus 3 (eg, a portable terminal) according to the first embodiment of the present invention. 1A shows the front surface (front surface, front surface of the main body) of the
電子機器3は、図1Aに示すように、筐体前面に、タッチスクリーン(表示部)44、カーソルパッド48、フロントカメラ(レンズ、撮像部)62、スピーカ82、マイクロフォン84、決定/ホームボタン92を有する。また、電子機器3は、図1Bに示すように、筐体背面に、バックカメラ(レンズ、撮像部)64を有する。また、電子機器3は、図1A及び1Bに示すように、筐体上部(本体上部)に、電源ボタン90を有する。また、電子機器3は、破線にて示すように、内部に、モーションセンサ50(例、3軸加速度センサや3軸角速度センサ)、GPS52、方位計54、仰角センサ56を備える。
As shown in FIG. 1A, the
タッチスクリーン44は、表示データに基づく表示画像を表示する。表示データとは、例えば、画像データ、テキストデータである。表示画像とは、画像(例えば、写真、イラストなどの画像)、テキスト(例えば、文字、記号)などである。また、タッチスクリーン44は、ユーザによる指示位置を示すカーソルを表示する。また、タッチスクリーン44は、タッチセンサを有し、ユーザによるタッチ位置を検出する。なお、タッチスクリーン44に表示される表示画像の表示形式(画面表示型)は、表示制御部100(後述)によって制御される(詳細は後述)。
The
カーソルパッド48は、タッチスクリーン44に表示されたカーソルの移動操作を受け付ける。即ち、タッチスクリーン44上に表示されたカーソルは、カーソルパッド48上におけるユーザの指の動きに応じて移動する。
The
フロントカメラ62は、カメラ部60(後述)の制御に従って、前方側(筐体前面側、タッチスクリーン44側)の被写体を撮像する。
バックカメラ64は、カメラ部60(後述)の制御に従って、後方側(筐体背面側、タッチスクリーン44の逆側又は反対側)の被写体を撮像する。
なお、フロントカメラ62(若しくは、フロントカメラ62及びカメラ部60)を第1撮像部とも称し、バックカメラ64(若しくは、バックカメラ64及びカメラ部60)を第2撮像部とも称する。また、フロントカメラ62及びバックカメラ64は、被写体を撮像する環境が暗所などの場合において被写体を撮像することが可能なように、赤外線カメラ或いは照明付きカメラであってもよい。The
The
The front camera 62 (or the
スピーカ82は、オーディオ部80(後述)の制御に従って、音(声を含む)を出力する。マイクロフォン84は、集音した音データをオーディオ部80(後述)に供給する。
電源ボタン90は、筐体(a casing body、a body、本体(a body, a main body))に電源を投入するためのボタンである。決定/ホームボタン92は、種々の決定、又は、ホーム画面(初期表示画面)の表示を指示するボタンである。The
The
モーションセンサ50は、筐体の動き(例、筐体の傾斜など)を検出するために加速度センサ又は/及び角速度センサを備え、筐体に加わる加速度又は/及び角速度を検出する。GPS52は、筐体の位置を測定(測位)する。方位計54は、例えば、地磁気センサであって、方位(即ち、筐体の向く方向)を検出する。仰角センサ56は、筐体の動きを検出するために、筐体の仰角(例、光の入射方向と地表面とのなす角、或いは水平から上の視野角)を検出する。
The
図2は、電子機器3のブロック図の一例である。電子機器3は、図1A及び図1Bに示したものに加え、図2に示すように、プロセッサ10、インターフェイス部20、記憶部30、入出力部40、カメラ部60、通信部70、及び、オーディオ部80を備える。
FIG. 2 is an example of a block diagram of the
プロセッサ10は、電子機器3全体を制御する。例えば、プロセッサ10は、表示制御部100を有し、前方側を撮像した被写体の特徴部分(即ち、第1撮像部によって撮像された撮像画像上の特徴部分)の時間的な変化量(遷移量(a transition amount, a transition degree)、変化率(a change rate, a transition rate)、一期間における特徴部分の変化量)に基づいて、表示画像の表示形式を制御する。表示制御部100の詳細は後述する。
The
インターフェイス部20は、プロセッサ10からの情報(例えば、制御情報、出力情報)を各部に供給する。また、インターフェイス部20は、各部からの情報(例えば、記憶情報、入力情報)をプロセッサ10に供給する。
The
記憶部30は、種々の情報を記憶する。例えば、記憶部30は、プロセッサ10において処理されるプログラム、種々の設定情報を記憶する。また、記憶部30は、タッチスクリーン44に表示する表示データを記憶する。
The
入出力部40は、タッチスクリーンコントローラ42、カーソルパッドコントローラ46などを含む。タッチスクリーンコントローラ42は、プロセッサ10(表示制御部100)から出力される制御情報に基づいて、タッチスクリーン44の表示を制御する。カーソルパッドコントローラ46は、カーソルパッド48を介して受け付けたカーソルの移動操作をプロセッサ10に供給する。
The input /
カメラ部60は、フロントカメラ62及びバックカメラ64を制御し、被写体を撮像する。カメラ部60は、撮像画像をプロセッサ10に供給する。なお、カメラ部60は、プロセッサ10の制御に従って、被写体を撮像してもよい。
The
通信部70は、プロセッサ10の制御に従って、外部(例えば、他の電子機器、サーバ、ストレージ)と通信する。オーディオ部80は、プロセッサ10の制御に従って、スピーカ82及びマイクロフォン84を制御する。
The
図3は、表示制御部100内のブロック図の一例である。図4は、表示形式の切替機能による切替制御の一例である。図5は、電子機器3の使用している様子である。図6は、被写体の特徴部分、被写体の特徴部分の変化量について説明する説明図である。
FIG. 3 is an example of a block diagram in the
表示制御部100は、図3に示すように、設定認識部110、傾斜量判定部120、特徴領域抽出部130、変化量算出部140、切替判定部150、切替制限部(ホールド部)160、切替処理部180、及び、設定部190を備える。
As shown in FIG. 3, the
設定部190は、種々の情報を設定する。例えば、表示画像の表示形式の切替機能のオン(有効)/オフ(無効)を設定する。また、設定部190は、表示画像の表示形式の制御機能の1つであるホールド機能(ホールド手段)のオン/オフを設定する。なお、ホールド機能のオン/オフは、表示画像の表示形式の切替機能がオンの場合に参照される。換言すれば、ホールド機能は、表示画像の表示形式の切替機能のサブ機能である。また、設定部190による設定内容は、記憶部30に記憶される。
The
設定部190は、環境に応じて自動的に、又は、ユーザの指示に従って、表示形式の切替機能のオン/オフ、及び、ホールド機能のオン/オフを設定する。自動設定によってオン/オフを設定する場合、設定部190は、例えば、切替可能な表示形式の表示画像を表示するアプリケーションが実行され、かつ、節電モードに設定されていない場合、ホールド機能をオンに設定する。なお、切替可能な表示形式の表示画像を表示するアプリケーションとは、表示形式が、以下(図4参照)に示すように切り替わる表示画像を表示するアプリケーションである。
The
以下、表示形式の切替機能による切替制御について説明する。図4(a)〜(d)の夫々は、図5(a)に示すように、ユーザが筐体を回転させて、タッチスクリーン44が縦向き状態(後述)から横向き状態(後述)に変化した場合、又は、横向き状態から縦向き状態に変化した場合における、表示画像の切替制御の一例である。
図4(a)及び(b)は、タッチスクリーン44の向きの変化に従って表示画像を回転させる切替制御を表している。例えば、図4(a)及び(b)は、表示画像の表示形式が縦長画像(後述)から横長画像(後述)、又は、横長画像から縦長画像へと切り替わる切替制御の一例を表している。また、図4(c)及び図4(d)は、タッチスクリーン44の向きの変化に従って表示画像を縮小させる切替制御、即ち、表示画像の表示形式が縦長画像から横長画像、又は、横長画像から縦長画像へと切り替わらない切替制御の一例を表している。Hereinafter, switching control by the display format switching function will be described. 4A to 4D, as shown in FIG. 5A, the user rotates the casing, and the
4A and 4B show switching control for rotating the display image according to the change in the orientation of the
(図4(a)の一例)
図4(a)の矢印の左側の図は、天地方向を長手方向としている状態(以下、縦向き状態)のタッチスクリーン44に、天地方向が長手方向である画像(以下、縦長画像)である表示画像HG1が、表示されている様子を表している。表示画像HG1は、テキストT1と写真P1とを含んでいる。写真P1は、縦長である。(Example of FIG. 4A)
The figure on the left side of the arrow in FIG. 4A is an image (hereinafter referred to as a vertically long image) in which the top and bottom direction is the longitudinal direction on the
図4(a)の矢印の右側の図は、水平方向を長手方向としている状態(以下、横向き状態)のタッチスクリーン44に、水平方向が長手方向である画像(以下、横長画像)である表示画像HG1’が、表示されている様子を表している。表示画像HG1’は、テキストT1’と写真P1とを含んでいる。写真P1は、縦長である。The right side of the arrow in FIG. 4A is a display on the
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の向きの変化に従って、縦長画像である表示画像HG1から、横長画像である表示画像HG1’へと切り替わる。逆に、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(左向矢印)、表示画像の表示形式は、横長画像である表示画像HG1’から、縦長画像である表示画像HG1へと切り替わる。
なお、表示画像HG1’上の写真P1は、表示画像HG1上の写真P1と表示サイズ及び表示方向が同一である。表示画像HG1’上のテキストT1’は、横長である表示画像HG1’に合わせるように、表示画像HG1上のテキストT1を再配置したものである。For example, when the user rotates the casing as shown in FIG. 5A and the
The photo P 1 on the display image HG 1 ′ has the same display size and display direction as the photo P 1 on the display image HG 1 . 'Text T 1 of the' on display image HG 1 is to match the a landscape display image HG 1 ', is obtained by rearranging the text T 1 of the on the display image HG 1.
(図4(b)の一例)
図4(b)の矢印の左側の図は、横向き状態のタッチスクリーン44に、横長画像である表示画像HG2が、表示されている様子を表している。表示画像HG2は、テキストT2と写真P2とを含んでいる。写真P2は、横長である。(Example of FIG. 4B)
The left side of FIG arrow in FIG. 4 (b), the
図4(b)の矢印の右側の図は、縦横向き状態のタッチスクリーン44に、縦長画像である表示画像HG2’が、表示されている様子を表している。表示画像HG2’は、テキストT2’と写真P2とを含んでいる。写真P2は、横長である。The diagram on the right side of the arrow in FIG. 4B shows that the display image HG 2 ′, which is a portrait image, is displayed on the
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の向きの変化に従って、横長画像である表示画像HG2から、縦長画像である表示画像HG2’へと切り替わる。逆に、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(左向矢印)、表示画像の表示形式は、縦長画像である表示画像HG2’から、横長画像である表示画像HG2へと切り替わる。
なお、表示画像HG2’上の写真P2は、表示画像HG2上の写真P2と表示サイズ及び表示方向が同一である。表示画像HG2’上のテキストT2’は、縦長である表示画像HG2’に合わせるように、表示画像HG2上のテキストT2を再配置したものである。For example, when the user rotates the casing as shown in FIG. 5A and the
Incidentally, photographs P 2 on the display image HG 2 'are identical in photograph P 2 and the display size and the display direction of the display image HG 2. 'Text T 2 of the' on display image HG 2, as fit in a vertically long display image HG 2 ', is obtained by rearranging the text T 2 of the on the display image HG 2.
(図4(c)の一例)
図4(c)の矢印の左側の図は、図4(a)の矢印の左側の図と同様、表示画像HG1が、表示されている様子を表している。(Example of FIG. 4C)
The left side of FIG arrow in FIG. 4 (c), similar to the left side of FIG arrow in FIG. 4 (a), the display image HG 1, represents a state that is displayed.
図4(c)の矢印の右側の図は、横向き状態のタッチスクリーン44に、縦長画像である表示画像HG1’’が、表示されている様子を表している。表示画像HG1’’は、テキストT1’’と写真P1’’を含んでいる。写真P1’’は、縦長である。The diagram on the right side of the arrow in FIG. 4C shows a state in which the display image HG 1 ″, which is a portrait image, is displayed on the
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の天地方向の長さの変化(短くなる)に従って、縦長画像である表示画像HG1から、縮小された縦長画像である表示画像HG1’’へと切り替わる。逆に、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(左向矢印)、表示画像の表示形式は、タッチスクリーン44の天地方向の長さの変化(長くなる)に従って、縮小された縦長画像である表示画像HG1’’から、元の大きさの縦長画像である表示画像HG1へと切り替わる。
なお、表示画像HG1’’上の写真P1’’は、縮小された表示画像HG1’’に合わせるように、表示画像HG1上の写真P1を縮小したものである。表示画像HG1’’上のテキストT1’’についても同様である。For example, when the user rotates the casing as shown in FIG. 5A and the
Note that the photo P 1 ″ on the display image HG 1 ″ is obtained by reducing the photo P 1 on the display image HG 1 so as to match the reduced display image HG 1 ″. The same applies to the text T 1 ″ on the display image HG 1 ″.
(図4(d)の一例)
図4(d)の矢印の左側の図は、図4(b)の矢印の左側の図と同様、表示画像HG2が、表示されている様子を表している。(Example of FIG. 4D)
The left side of FIG arrow in FIG. 4 (d), similarly to the left side of FIG arrow in FIG. 4 (b), the display image HG 2, represents a state that is displayed.
図4(d)の矢印の右側の図は、縦向き状態のタッチスクリーン44に、横長画像である表示画像HG2’’が、表示されている様子を表している。表示画像HG2’’は、テキストT2’’と写真P2’’を含んでいる。写真P2’’は、横長である。The diagram on the right side of the arrow in FIG. 4D shows a state in which the display image HG 2 ″, which is a landscape image, is displayed on the
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(左向矢印)、表示画像の表示形式は、タッチスクリーン44の水平方向の長さの変化(短くなる)に従って、横長画像である表示画像HG2から、縮小された横長画像である表示画像HG2’’へと切り替わる。逆に、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の水平方向の長さの変化(長くなる)に従って、縮小された横長画像である表示画像HG2’’から、元の大きさの横長画像である表示画像HG2へと切り替わる。
なお、表示画像HG2’’上の写真P2’’は、縮小された表示画像HG2’’に合わせるように、表示画像HG2上の写真P2を縮小したものである。表示画像HG2’’上のテキストT2’’についても同様である。For example, when the user rotates the casing as shown in FIG. 5A and the
Note that the photograph P 2 ″ on the display image HG 2 ″ is obtained by reducing the photograph P 2 on the display image HG 2 so as to match the reduced display image HG 2 ″. The same applies to the text T 2 ″ on the display image HG 2 ″.
設定認識部110は、記憶部30に記憶されている設定情報(表示画像の表示形式の切替機能のオン/オフの情報、ホールド機能のオン/オフの情報)を取得する。例えば、設定認識部110は、傾斜量判定部120からの要求に応じて、記憶部30に記憶されている設定情報を取得し、設定情報を傾斜量判定部120に出力(応答)する。
The
傾斜量判定部120は、モーションセンサ50(仰角センサ56)から検出値を取得し、筐体の傾斜量を算出する。なお、傾斜量判定部120は、表示形式の切替機能がオンに設定されている場合に、筐体の傾斜量を算出してもよい。
The inclination
筐体の傾斜量を算出した傾斜量判定部120は、算出した傾斜量が所定量以上であるか否か、即ち、筐体が所定量以上傾斜したか否かを判定する。上記所定量は、例えば、45度や60度である。上記所定量は、例えば、5、10、15、20、25、30、35、40、45、50、60、65、70、75、80、85、又は90度にできる。
The inclination
傾斜量判定部120は、表示形式の切替機能がオフに設定されている場合、何もしない。即ち、傾斜量判定部120は、表示形式の切替機能がオフに設定されている場合には、表示形式の切り替えは行わないため、既に筐体の傾斜量を算出していた場合であっても、何もしない。
The tilt
また、傾斜量判定部120は、筐体が所定量以上傾斜していないと判定した場合には、表示形式の切り替えは行わないため、表示形式の切替機能がオンに設定されている場合であっても、何もしない。
In addition, when the tilt
傾斜量判定部120は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、本実施形態のホールド機能がオフに設定されている場合には、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替判定部150に出力する。
In the case where the display amount switching function is set to ON and the inclination
傾斜量判定部120は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、本実施形態のホールド機能がオンに設定されている場合には、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部130に出力する。
In the case where the display amount switching function is set to ON and it is determined that the housing is inclined by a predetermined amount or more, the inclination
特徴領域抽出部130は、フロントカメラ62によって撮像された撮像画像をカメラ部60から取得する。例えば、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向を傾斜量判定部120から取得した場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。つまり、特徴領域抽出部130は、表示形式の切替機能、及び、ホールド機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定された場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。
The feature
傾斜前後の撮像画像とは、筐体の傾斜前の撮像画像(傾斜動作し始める直前の撮像画像、若しくは、傾斜動作し始めた直後の撮像画像)、及び、筐体の傾斜後の撮像画像(傾斜動作が完了した直後の撮像画像)である。 The captured images before and after the tilt are a captured image before tilting the casing (a captured image immediately before starting the tilting operation or a captured image immediately after starting the tilting operation), and a captured image after tilting the casing ( (Taken image immediately after the tilting operation is completed).
なお、傾斜前後の撮像画像のうち、筐体の傾斜前の撮像画像は、特徴領域抽出部130が、傾斜量判定部120から、筐体の傾斜量、及び、筐体の傾斜方向を取得する時点よりも前(過去)の画像である。従って、特徴領域抽出部130は、傾斜量判定部120から筐体の傾斜量等を取得した時点でカメラ部60に撮像を要求するという方法では、筐体の傾斜前の撮像画像を取得することは難しい。そのため、例えば、下記方法によって、特徴領域抽出部130は、筐体の傾斜前の撮像画像を取得する。
Note that, among the captured images before and after the tilt, for the captured images before the tilt of the casing, the feature
第1の方法は、カメラ部60が、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、常に、画像を撮像し、一定時間(所定時間)、一時的に記憶しておく方法である。第2の方法は、カメラ部60が、モーションセンサ50(仰角センサ56)からの通知によって、筐体が傾斜動作し始めたとき(筐体の動きを検出したとき)から画像を撮像し、一定時間(所定時間)、一時的に記憶しておく方法である。第1の方法及び第2の方法の何れであっても、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向を傾斜量判定部120から取得した時点において、一時的に記憶されている画像の中から傾斜前の撮像画像を取得することができる。
In the first method, when the display unit switching function and the hold function are set to ON, the
特徴領域抽出部130は、筐体の傾斜前後の撮像画像(筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像)をカメラ部60から取得した場合、筐体の傾斜前後の夫々の撮像画像から、被写体の特徴部分を抽出する。この場合、想定する被写体は、電子機器3を把持し、タッチスクリーン44を見ているユーザ(自分)である。特徴部分は、例えば、ユーザの顔のパーツ(例えば、目、耳)又は顔の輪郭である。
When the captured image before and after the tilt of the casing (the captured image before the tilt of the casing and the captured image after the tilt of the casing) is acquired from the
例えば、筐体の傾斜前の撮像画像が図6(a)に示す撮像画像SG、筐体の傾斜後の撮像画像が図6(a)に示す撮像画像SG’である場合、特徴領域抽出部130は、図6(b)に示すように、撮像画像SG及び撮像画像SG’の夫々から、ユーザの両目を通過する直線L1、L1’を被写体の特徴部分として抽出する。
また、特徴領域抽出部130は、ユーザの両目を通過する直線L1、L1’に代えて、図6(c)に示すように、ユーザの両耳を通過する直線L2、L2’を被写体の特徴部分として抽出してもよい。
また、特徴領域抽出部130は、上記に代えて、図6(d)に示すように、ユーザの顔の輪郭に隣接する矩形の中心を通過する直線L3(又は直線L4)、直線L3’(又は直線L4’)を被写体の特徴部分として抽出してもよい。For example, when the captured image before tilting the housing is the captured image SG illustrated in FIG. 6A and the captured image after tilting the housing is the captured image SG ′ illustrated in FIG. As illustrated in FIG. 6B, 130 extracts straight lines L 1 and L 1 ′ that pass through both eyes of the user from the captured image SG and the captured image SG ′ as characteristic portions of the subject.
Further, the feature
Further, instead of the above, the feature
特徴領域抽出部130は、筐体の傾斜前後の夫々の撮像画像から被写体の特徴部分を抽出できた場合には、傾斜量判定部120から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、傾斜前後の夫々の撮像画像から抽出した被写体の特徴部分を示す情報を変化量算出部140に出力する。例えば、特徴領域抽出部130は、図6(b)に示す直線L1、L1’を被写体の特徴部分として抽出できた場合には、被写体の特徴部分を示す情報として、直線L1の傾きの値、及び、直線L1’の傾きの値を変化量算出部140に出力する。When the feature
一方、特徴領域抽出部130は、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には、傾斜量判定部120から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知(情報)を切替判定部150に出力する。
On the other hand, the feature
なお、図1Aに示すように、タッチスクリーン44とフロントカメラ62の位置関係から、ユーザが、電子機器3を把持し、タッチスクリーン44を見ている場合には、筐体の傾斜前後の夫々の撮像画像から、当該ユーザの顔のパーツ又は輪郭を抽出できる公算が大きい。
As shown in FIG. 1A, from the positional relationship between the
変化量算出部140は、筐体の傾斜量、筐体の傾斜方向、及び、夫々の撮像画像(筐体の傾斜前の撮像画像、及び、筐体の傾斜後の撮像画像)から抽出した被写体の特徴部分を示す情報を特徴領域抽出部130から取得した場合には、当該特徴部分の時間的な変化量を算出する。
The change
例えば、変化量算出部140は、被写体の特徴部分を示す情報として、図6(b)に示す直線L1の傾きの値、及び、直線L1’の傾きの値を取得した場合には、特徴部分の時間的な変化量として、直線L1と直線L1’の為す角度θ1(図6(b)参照)を算出する。なお、変化量算出部140は、被写体の特徴部分を示す情報として、図6(c)に示す直線L2の傾きの値、及び、直線L2’の傾きの値を取得した場合には、特徴部分の時間的な変化量として角度θ2(図6(c)参照)を算出し、図6(d)に示す直線L3の傾きの値、及び、直線L3’の傾きの値を取得した場合には、特徴部分の時間的な変化量として角度θ3(図6(d)参照)を算出する。なお、上述の角度θ1、θ2、θ3は、筐体の傾斜前後における被写体の特徴部分の回転量でもある。なお、例えば、変化量算出部140は、被写体の特徴部分を示す情報として図6(b)に示す撮像画像における直線L1の位置(座標)を取得した場合には、特徴部分の時間的な変化量として撮像画像における直線L1の位置の移動量を算出する。また、例えば、変化量算出部140は、被写体の特徴部分を示す情報としてモーションセンサ50によって検出した筐体の重力方向に対する直線L1’の傾きの値を取得した場合には、特徴部分の時間的な変化量として重力方向に対する直線L1’の傾き(角度)を算出する。For example, the
被写体の特徴部分の時間的な変化量を算出した変化量算出部140は、特徴領域抽出部130から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分の時間的な変化量を切替判定部150に出力する。
The change
切替判定部150は、表示画像の表示形式の切り替えの要否を判定する。
切替判定部150は、筐体の傾斜量、筐体の傾斜方向、及び、本実施形態のホールド機能がオフに設定されている旨の通知(情報)を傾斜量判定部120から取得した場合、表示形式の切り替えが必要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、本実施形態のホールド機能がオフに設定されている場合には、切替判定部150は、表示形式の切り替えが必要であると判定する。The switching
When the switching
In other words, when it is determined that the housing is inclined by a predetermined amount or more and the hold function of the present embodiment is set to OFF, the switching
また、切替判定部150は、筐体の傾斜量、筐体の傾斜方向、及び、特徴部分を抽出できなかった旨の通知(情報)を特徴領域抽出部130から取得した場合にも、表示形式の切り替えが必要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分が抽出されなかった場合(換言すれば、被写体の特徴部分の時間的な変化量を算出することができない場合)には、切替判定部150は、表示形式の切り替えが必要であると判定する。The switching
That is, when it is determined that the casing is tilted by a predetermined amount or more and the hold function is set to ON, at least the captured image before tilting the casing and the captured image after tilting the casing are at least When the feature portion of the subject is not extracted from one side (in other words, when the temporal change amount of the feature portion of the subject cannot be calculated), the switching
また、切替判定部150は、筐体の傾斜量、筐体の傾斜方向、及び、被写体の特徴部分の時間的な変化量を変化量算出部140から取得した場合には、被写体の特徴部分の時間的な変化量と変化量に関する第1の閾値とを比較し、表示画像の表示形式の切り替えの要否を判定する。
In addition, when the
例えば、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値以上である場合、表示形式の切り替えが必要であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第1の閾値以上であるときは、切替判定部150は、表示形式の切り替えが必要(換言すれば、ホールド機能によるホールド処理が不要)であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、切替判定部150は、表示画像の表示形式の切り替えが不要(換言すれば、ホールド機能によるホールド処理が必要)であると判定する。一例において、被写体(ユーザの顔等)と筐体(本体)との間の相対姿勢の変化/遷移を検出した結果に基づいて、表示画像の表示形式が制御され得る。相対姿勢の変化/遷移が比較的大きい場合、表示形式を切り替える。相対姿勢の変化/遷移が比較的小さいい場合、表示形式を切り替えない。For example, the switching
That is, when it is determined that the housing is tilted by a predetermined amount or more and the hold function is set to ON, the temporal change amount of the feature portion of the subject is equal to or greater than the first threshold value The switching
なお、被写体の特徴部分の時間的な変化量と比較する第1の閾値は、ユーザが、筐体を回転させるなどして筐体を傾斜させる際に、当該ユーザが筐体の傾斜に伴って自身の顔(例えば、両目を結ぶ直線)を意図的に傾斜させたか否かを判定するための値である。
筐体の傾斜に伴って自身の顔を意図的に傾斜させている例は、例えば、図5(b)に示すような場合である。一方、図5(a)は、ユーザが、筐体のみを90度傾斜させた際に、筐体の傾斜に連れて自身の顔を意図的に傾斜させていない例である。
図5(a)の場合、被写体の特徴部分の変化量は90度となる。図5(b)の場合、被写体の特徴部分の変化量は略0度となる。また、図示しないが、筐体が90度傾斜し、ユーザが筐体と同一方向に50度傾斜したときは、被写体の特徴部分の変化量は40度になる。
以上から、例えば、第1の閾値は、数度程度〜45度程度の角度としてもよい。例えば、第1の閾値は、5、10、15、20、25、30、35、40、又は45度にできる。
例えば、第1の閾値を30度とした場合、ユーザが、筐体を時計回りに90度傾斜させた際に、顔を時計回りに60度以上傾斜させると、変化量は第1の閾値未満となるため、ホールド機能によるホールド処理が働く。Note that the first threshold value to be compared with the temporal change amount of the characteristic part of the subject is that when the user tilts the casing by rotating the casing, the user moves along with the tilt of the casing. It is a value for determining whether or not its own face (for example, a straight line connecting both eyes) is intentionally inclined.
An example in which the user's face is intentionally inclined with the inclination of the housing is, for example, a case as shown in FIG. On the other hand, FIG. 5A is an example in which the user does not intentionally tilt his / her face along with the tilt of the casing when the user tilts only the casing by 90 degrees.
In the case of FIG. 5A, the amount of change in the characteristic part of the subject is 90 degrees. In the case of FIG. 5B, the amount of change in the characteristic portion of the subject is approximately 0 degrees. Although not shown, when the case is inclined 90 degrees and the user is inclined 50 degrees in the same direction as the case, the amount of change in the characteristic portion of the subject is 40 degrees.
From the above, for example, the first threshold value may be an angle of about several degrees to about 45 degrees. For example, the first threshold can be 5, 10, 15, 20, 25, 30, 35, 40, or 45 degrees.
For example, when the first threshold is set to 30 degrees, when the user tilts the casing 90 degrees clockwise and the face is tilted 60 degrees or more clockwise, the amount of change is less than the first threshold. Therefore, hold processing by the hold function works.
切替判定部150は、表示形式の切り替えが必要であると判定した場合には、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。一方、切替判定部150は、表示形式の切り替えが不要であると判定した場合には、表示形式を維持する旨の通知(情報)を切替制限部160に出力する。
When the switching
切替制限部160は、表示形式を維持する旨の通知を切替判定部150から取得した場合、表示画像の表示形式を、筐体の傾斜量及び筐体の傾斜方向に応じて切り替えないように制御する。例えば、切替制限部160は、何もしないか、若しくは、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。
When the
切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向を切替判定部150から取得した場合、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する。例えば、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式(切替後の表示形式)を決定し、決定した表示形式をタッチスクリーンコントローラ42に出力する。これにより、タッチスクリーン44に表示されている表示画像が、図4に示すように、切り替わる。
一方、切替処理部180は、表示形式を維持する旨の通知(情報)を切替制限部160から取得した場合には、何もしない。When the switching
On the other hand, the switching
以上のように、表示制御部100は、筐体が所定量以上傾斜したと判定された場合であって、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン44における表示画像の表示形式を選択的に切り替える。
As described above, the
なお、切替判定部150は、表示形式を維持する旨の通知(情報)を切替処理部180に出力してもよい。換言すれば、切替判定部150は、切替制限部160の機能を有してもよい(切替制限部160は切替判定部150に吸収されてもよい)。
Note that the switching
図7は、表示形式の切り替えの設定に関する処理(設定処理)の流れを示すフローチャートの一例である。例えば、図7のフローチャートは、自動設定処理の流れの一例である。図7のフローチャートは、電子機器3の電源オン時において随時(例えば定期的に)開始する。なお、出荷時において、記憶部30には、切替制御のオン/オフ、ホールド機能のオン/オフの何れかが設定(記憶)されているものとする。
FIG. 7 is an example of a flowchart showing a flow of processing (setting processing) relating to display format switching setting. For example, the flowchart of FIG. 7 is an example of the flow of automatic setting processing. The flowchart in FIG. 7 starts at any time (for example, periodically) when the
図7において、プロセッサ10(設定認識部110)は、記憶部30を参照し、切替機能がオンである否かを判断する(ステップS10)。
In FIG. 7, the processor 10 (setting recognition unit 110) refers to the
切替機能がオンである場合(ステップS10:Yes)、プロセッサ10(非図示のアプリ実行部)は、切替可能な表示形式の表示画像を表示するアプリケーションを実行中であるか否かを判断する(ステップS20)。 When the switching function is on (step S10: Yes), the processor 10 (an application execution unit (not shown)) determines whether an application that displays a display image in a switchable display format is being executed ( Step S20).
ステップS20において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中である場合(ステップS20:Yes)、プロセッサ10(非図示の節電モード制御部)は、節電モード中であるか否かを判断する(ステップS40)。 In step S20, when an application that displays a display image in a switchable display format is being executed (step S20: Yes), whether or not the processor 10 (power saving mode control unit (not shown)) is in the power saving mode is determined. Is determined (step S40).
ステップS40において、節電モード(省エネルギーモード)中でない場合(ステップS40:No)、プロセッサ10(設定認識部110)は、記憶部30を参照し、ホールド機能がオフである否かを判断する(ステップS50)。ホールド機能がオフである場合(ステップS50:Yes)、プロセッサ10(設定部190)は、ホールド機能をオンに設定する(ステップS60)。一方、ホールド機能がオフでない場合(ステップS50:No)、即ち、ホールド機能が既にオンである場合、ステップS60を飛ばして、本フローチャートは終了する。
In step S40, when not in the power saving mode (energy saving mode) (step S40: No), the processor 10 (setting recognition unit 110) refers to the
ステップS40において、節電モード中である場合(ステップS40:Yes)、プロセッサ10(設定認識部110)は、記憶部30を参照し、ホールド機能がオンであるか否かを判断する(ステップS52)。ホールド機能がオンである場合(ステップS52:Yes)、プロセッサ10(設定部190)は、ホールド機能をオフに設定する(ステップS62)。一方、ホールド機能がオンでない場合(ステップS52:No)、即ち、ホールド機能が既にオフである場合、ステップS62を飛ばして、本フローチャートは終了する。
In step S40, when in the power saving mode (step S40: Yes), the processor 10 (setting recognition unit 110) refers to the
ステップS20において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中でない場合(ステップS20:No)、プロセッサ10(設定部190)は、切替機能をオフに設定し(ステップS30)、ステップS62に進む。 In step S20, when an application for displaying a display image in a switchable display format is not being executed (step S20: No), the processor 10 (setting unit 190) sets the switching function to off (step S30), and step Proceed to S62.
ステップS10において、切替機能がオフである場合(ステップS10:No)、プロセッサ10(非図示のアプリ実行部)は、切替可能な表示形式の表示画像を表示するアプリケーションを実行中であるか否かを判断する(ステップS22)。 In step S10, when the switching function is off (step S10: No), the processor 10 (an application execution unit (not shown)) is executing an application that displays a display image in a switchable display format. Is determined (step S22).
ステップS22において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中である場合(ステップS22:Yes)、プロセッサ10(設定部190)は、切替機能をオンに設定し(ステップS32)、ステップS40に進む。
ステップS22において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中でない場合(ステップS22:No)、本フローチャートは終了する。
なお、本発明の第2の実施形態による電子機器4における設定処理(切替機能の設定、ホールド機能の設定、追随機能(後述)の設定)についても同様である。In step S22, when the application which displays the display image of the switchable display format is being executed (step S22: Yes), the processor 10 (setting unit 190) sets the switching function to on (step S32), Proceed to step S40.
In step S22, when an application for displaying a display image in a switchable display format is not being executed (step S22: No), this flowchart ends.
The same applies to the setting processing (setting of the switching function, setting of the hold function, setting of the follow function (described later)) in the
図8は、電子機器3における表示形式の制御処理の流れを示すフローチャートの一例である。図8のフローチャートは、表示形式の切替機能がオンに設定されている場合において、筐体が所定量以上傾斜したときに開始する。筐体が所定量以上傾斜したか否かは、上述の如く、傾斜量判定部120によって判定される。
FIG. 8 is an example of a flowchart showing a flow of display format control processing in the
図8において、設定認識部110(又は傾斜量判定部120)は、記憶部30を参照し、ホールド機能がオンである否かを判断する(ステップS110)。
In FIG. 8, the setting recognition unit 110 (or the tilt amount determination unit 120) refers to the
ステップS110においてホールド機能がオンである場合(ステップS110:Yes)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS120)、夫々から被写体の特徴部分を抽出できたか否かを判断する(ステップS130)。なお、例えば、特徴領域抽出部130は、筐体の傾斜前において所定の時間ごとに選択的に撮像画像における被写体の特徴部分の抽出を行ってもよい。
When the hold function is on in step S110 (step S110: Yes), the tilt
ステップS130において、夫々から被写体の特徴部分を抽出できた場合には(ステップS130:Yes)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、筐体の傾斜前における撮像画像(基準画像)と筐体の傾斜後における撮像画像(遷移画像)とに基づいて被写体の特徴部分の時間的な変化量を算出し(ステップS140)、算出した変化量を、筐体の傾斜量、及び、筐体の傾斜方向とともに切替判定部150に出力する。次いで、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値以上であるか否かを判定する(ステップS150)。
In step S130, when the feature portion of the subject can be extracted from each (step S130: Yes), the feature
ステップS150において、被写体の特徴部分の時間的な変化量が第1の閾値未満であると判定した場合(ステップS150:No)、切替判定部150は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替制限部160に出力する。表示形式を維持する旨の通知(情報)を取得した切替制限部160は、表示画像の表示形式を切り替えないように、即ち、表示形式の切り替えをホールドするように制御する(ステップS170)。例えば、切替制限部160は、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を切替制限部160から取得した切替処理部180は、何もしない。そして、本フローチャートは終了する。なお、ステップS170の矩形が破線であるのは、切替処理部180が、何もしない旨を表している。
If it is determined in step S150 that the temporal change amount of the characteristic portion of the subject is less than the first threshold (step S150: No), the switching
ステップS110においてホールド機能がオンでない場合(ステップS110:No)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替判定部150に出力する。筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を取得した切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。例えば、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式(切替後の表示形式)を決定し、決定した表示形式をタッチスクリーンコントローラ42に出力する。そして、本フローチャートは終了する。
When the hold function is not on in step S110 (step S110: No), the tilt
ステップS130において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には(ステップS130:No)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知を切替判定部150に出力する。筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知(情報)を取得した切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。また、被写体の特徴部分を抽出できなかった旨の通知(情報)を取得した切替判定部150は、ホールド機能をオフに設定して、上述の節電モードに切り替える。
In step S130, when the feature portion of the subject cannot be extracted from at least one of the captured images before and after the inclination of the casing (step S130: No), the feature
ステップS150において、被写体の特徴部分の時間的な変化量が第1の閾値以上であると判定した場合には(ステップS150:Yes)、切替判定部150は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。
If it is determined in step S150 that the temporal change amount of the feature portion of the subject is equal to or greater than the first threshold (step S150: Yes), the switching
図9乃至図12は、表示形式の制御処理を説明する一例である。なお、図9乃至図12において、表示形式の切替機能及びホールド機能は何れもオンに設定されているものとする。 9 to 12 are examples illustrating the display format control process. 9 to 12, it is assumed that both the display format switching function and the hold function are set to ON.
図9(a)は、ユーザUが、縦向き状態のタッチスクリーン44に表示された表示画像HG3(縦長画像又は縦向き画像)を見ている様子を表している。図9(b)は、図9(a)の状態において、フロントカメラ62によって撮像されている撮像画像SG3(スルー画)を表している。図9(c)は、図9(a)の状態において、タッチスクリーン44に表示されている表示画像HG3(縦長画像)である。FIG. 9A shows a state where the user U is viewing the display image HG 3 (vertically long image or vertically oriented image) displayed on the
図10(a)は、図9(a)の状態から、ユーザUが、筐体のみを所定量以上傾斜させた様子を表している。図10(b)は、図10(a)の場合における、撮像画像SG3’(スルー画)を表している。図10(c)は、図10(a)の場合における、タッチスクリーン44に表示されている表示画像HG3’(横長画像又は横向き画像)である。FIG. 10A shows a state in which the user U tilts only the casing by a predetermined amount or more from the state of FIG. 9A. FIG. 10B shows the captured image SG 3 ′ (through image) in the case of FIG. FIG. 10C is a display image HG 3 ′ (landscape image or landscape image) displayed on the
即ち、図8のフローチャートにおいて、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値以上であると判定し(ステップS150:Yes)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。つまり、図10の如く筐体のみを所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像が横長画像に切り替える(又は、図4(c)、(d)に示すように縮小画像に切り替える)。
なお、表示形式の切替機能がオフに設定されている場合には、表示形式は切り替えない。That is, in the flowchart of FIG. 8, the switching
When the display format switching function is set to OFF, the display format is not switched.
図11(a)は、図9(a)の状態から、ユーザUが、筐体とともに自身を所定量以上傾斜させた様子を表している。図11(b)は、図11(a)の場合における、撮像画像SG3(スルー画)を表している。図11(c)は、図11(a)の場合における、タッチスクリーン44に表示されている表示画像HG3(縦長画像)である。図11(c)の表示画像HG3の表示形式は、図9(c)の表示画像HG3の表示形式と同一である。Fig.11 (a) represents a mode that the user U inclined itself with the housing | casing more than predetermined amount from the state of Fig.9 (a). FIG. 11B shows the captured image SG 3 (through image) in the case of FIG. FIG. 11C is a display image HG 3 (vertically long image) displayed on the
即ち、図8のフローチャートにおいて、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値未満であると判定し(ステップS150:No)、切替制限部160は、表示画像の表示形式を切り替えないように、即ち、切り替えをホールドするように制御する(ステップS170)。つまり、図11の如く筐体とともに自身を所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像を横長画像に切り替えない(又は、図4(c)、(d)に示すように縮小画像に切り替えない)。
なお、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオフに設定されている場合には、表示形式は切り替える。That is, in the flowchart of FIG. 8, the switching
When the display format switching function is set to ON and the hold function is set to OFF, the display format is switched.
なお、図12(a)は、図9(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図12(b)は、図12(a)の場合における、撮像画像SG3’’(スルー画)を表している。図12(c)は、図12(a)の場合における、タッチスクリーン44に表示されている表示画像HG3(縦長画像)である。図12(c)の表示画像HG3の表示形式は、図9(c)の表示画像HG3の表示形式と同一である。FIG. 12A shows a state in which only the user U tilts himself or herself by a predetermined amount or more from the state of FIG. 9A. FIG. 12B shows the captured image SG 3 ″ (through image) in the case of FIG. FIG. 12C is a display image HG 3 (vertically long image) displayed on the
即ち、図7のフローチャートは、上述の如く、筐体が所定量以上傾斜した場合に開始するものであるため、図12の如く自身のみを所定量以上傾斜させた場合には、表示形式は切り替わらない。 That is, since the flowchart of FIG. 7 starts when the casing is tilted by a predetermined amount or more as described above, the display format is switched when only itself is tilted by a predetermined amount or more as shown in FIG. Absent.
以上、電子機器3によれば、意図しない画面形式(画面表示型)の切り替えが生じないため、ユーザの利便性を向上させることができる。例えば、ユーザが、図5(b)に示すように筐体とともに自分の顔を所定量以上傾斜させた場合には、図4に例示したような表示形式の切り替えがホールド機能によって生じないため、ユーザの利便性を向上させることができる。
As described above, according to the
なお、上記では、電子機器3は、タッチスクリーン44の前方側の被写体を撮像するフロントカメラ62(第1撮像部)による撮像画像を利用して、表示画像の表示形式を制御する態様を説明したが、電子機器3は、フロントカメラ62による撮像画像に加え、タッチスクリーン44の後方側の被写体を撮像するバックカメラ64(第2撮像部)による撮像画像を利用して、表示画像の表示形式を制御してもよい。つまり、表示制御部100は、前方側を撮像した被写体の特徴部分の時間的な変化量と、後方側を撮像した被写体の特徴部分の時間的な変化量とに基づいて、表示画像の表示形式を制御するようにしてもよい。
In the above description, the
例えば、表示制御部100は、筐体が所定量以上傾斜した場合に、前方側を撮像した被写体の特徴部分の変化率(フロントカメラ62による撮像画像上の被写体の特徴部分の変化率)である前方側変化率と、後方側を撮像した被写体の特徴部分の変化率(バックカメラ64による撮像画像上の被写体の特徴部分の変化率)である後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えるように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えないように制御する。
For example, the
より詳細には、表示制御部100は、筐体が所定量以上傾斜した場合であってホールド機能がオンに設定(表示形式の切替機能もオンに設定)されている場合は、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えるように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えないように制御する。
一方、表示制御部100は、筐体が所定量以上傾斜した場合であってホールド機能がオフに設定(表示形式の切替機能はオンに設定)されている場合は、表示画像の表示形式を変えるように制御する。More specifically, the
On the other hand, the
図13は、電子機器3における表示形式の制御処理の他の例を示すフローチャートである。例えば、図13は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様における、処理の流れを表している。なお、図13のフローチャートは、図8のフローチャートと同様、表示形式の切替機能がオンに設定されている場合において、筐体が所定量以上傾斜したときに開始する。筐体が所定量以上傾斜したか否かは、傾斜量判定部120によって判定される。なお、図8と同一のステップ番号は、図8と同一の処理である。
FIG. 13 is a flowchart illustrating another example of display format control processing in the
図13において、設定認識部110(又は傾斜量判定部120)は、ホールド機能がオンである否かを判断する(ステップS110)。 In FIG. 13, the setting recognition unit 110 (or the inclination amount determination unit 120) determines whether or not the hold function is on (step S110).
ステップS110においてホールド機能がオンである場合(ステップS110:Yes)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、両撮像画像(フロントカメラ62による撮像画像及びバックカメラ64による撮像画像)における傾斜前後の撮像画像の夫々(筐体の傾斜前のフロントカメラ62による撮像画像、筐体の傾斜前のバックカメラ64による撮像画像、筐体の傾斜後のフロントカメラ62による撮像画像、筐体の傾斜後のバックカメラ64による撮像画像)から被写体の特徴部分の抽出を試みて(ステップS122)、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する(ステップS132)。
When the hold function is on in step S110 (step S110: Yes), the tilt
ステップS132において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には(ステップS132:Yes)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、両撮像画像における、被写体の特徴部分の時間的な変化率(前方側変化率及び後方側変化率)を算出し(ステップS142)、算出した、両撮像画像における特徴部分の時間的な変化率を、筐体の傾斜量、及び、筐体の傾斜方向とともに切替判定部150に出力する。次いで、切替判定部150は、前方側変化率が後方側変化率未満であるか否かを判定する(ステップS152)。
In step S132, when the feature portion of the subject can be extracted from each of the captured images before and after the inclination in both captured images (step S132: Yes), the feature
ステップS152において、前方側変化率が後方側変化率未満であると判定した場合(ステップS152:Yes)、切替判定部150は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替制限部160に出力する。表示形式を維持する旨の通知(情報)を取得した切替制限部160は、表示画像の表示形式を切り替えないように、即ち、表示形式の切り替えをホールドするように制御する(ステップS170)。そして、本フローチャートは終了する。
In step S152, when it is determined that the front side change rate is less than the rear side change rate (step S152: Yes), the switching
ステップS110においてホールド機能がオンでない場合(ステップS110:No)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替判定部150に出力する。次いで、切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。次いで、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。そして、本フローチャートは終了する。
When the hold function is not on in step S110 (step S110: No), the tilt
ステップS132において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合(ステップS132:No)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知(情報)を切替判定部150に出力する。次いで、切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。
In step S132, if the feature portion of the subject cannot be extracted from any of the captured images before and after the tilt of the casing in both captured images (step S132: No), the feature
ステップS152において、前方側変化率が後方側変化率以上であると判定した場合(ステップS152:No)、切替判定部150は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。
If it is determined in step S152 that the front side change rate is equal to or greater than the rear side change rate (step S152: No), the switching
図14乃至図17は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様における、表示形式の制御処理を説明する一例である。なお、図14乃至図17において、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオンに設定されているものとする。
14 to 17 are an example for explaining display format control processing in a mode in which the display format of the display image is controlled using the captured image by the
図14(a)は、ユーザUが、縦向き状態のタッチスクリーン44に表示された表示画像HG4(縦長画像)を見ている様子を表している。図14(b)は、図14(a)の状態において、フロントカメラ62によって撮像されている撮像画像SG4−1(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2(スルー画)を表している。図14(c)は、図14(a)の状態において、タッチスクリーン44に表示されている表示画像HG4(縦長画像)である。FIG. 14A shows a state where the user U is viewing the display image HG 4 (vertically long image) displayed on the
図15(a)は、図14(a)の状態から、ユーザUが、筐体のみを所定量以上傾斜させた様子を表している。図15(b)は、図15(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1’(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2’(スルー画)を表している。図15(b)において、前方側変化率と後方側変化率は同一であるものとする。図15(c)は、図15(a)の場合における、タッチスクリーン44に表示されている表示画像HG4’(横長画像)である。FIG. 15A shows a state in which the user U tilts only the casing by a predetermined amount or more from the state of FIG. FIG. 15B illustrates a captured image SG 4-1 ′ (through image) captured by the
即ち、図13のフローチャートにおいて、切替判定部150は、前方側変化率と後方側変化率は同一であるため、前方側変化率が後方側変化率以上であると判定し(ステップS152:No)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。つまり、図15の如く筐体のみを所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像が横長画像に切り替える(又は、図4(c)、(d)に示すように縮小画像に切り替える)。
なお、表示形式の切替機能がオフに設定されている場合には、表示形式は切り替えない。That is, in the flowchart of FIG. 13, the switching
When the display format switching function is set to OFF, the display format is not switched.
図16(a)は、図14(a)の状態から、ユーザUが、筐体とともに自身を所定量以上傾斜させた様子を表している。図16(b)は、図16(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2’(スルー画)を表している。図16(b)において、前方側変化率は後方側変化率は未満である。図16(c)は、図16(a)の場合における、タッチスクリーン44に表示されている表示画像HG4(縦長画像)である。図16(c)の表示画像HG4の表示形式は、図14(c)の表示画像HG4の表示形式と同一である。FIG. 16A shows a state in which the user U tilts himself or herself with a casing by a predetermined amount or more from the state of FIG. FIG. 16 (b), in the case of FIG. 16 (a), the captured image being captured by the front camera 62 SG 4-1 (through image), and the imaging is imaged by the
即ち、図13のフローチャートにおいて、切替判定部150は、前方側変化率は後方側変化率未満であると判定し(ステップS152:Yes)、切替制限部160は、表示画像の表示形式を切り替えないように、即ち、切り替えをホールドするように制御する(ステップS170)。つまり、図16の如く筐体とともに自身を所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像を横長画像に切り替えない(又は、図4(c)、(d)に示すように縮小画像に切り替える)。
なお、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオフに設定されている場合には、表示形式を切り替える。That is, in the flowchart of FIG. 13, the switching
When the display format switching function is set to ON and the hold function is set to OFF, the display format is switched.
なお、図17(a)は、図14(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図17(b)は、図17(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1’’(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2(スルー画)を表している。図17(b)において、前方側変化率は後方側変化率よりも大きい。図17(c)は、図17(a)の場合における、タッチスクリーン44に表示されている表示画像HG4(縦長画像)である。図17(c)の表示画像HG4の表示形式は、図14(c)の表示画像HG4の表示形式と同一である。FIG. 17A shows a state in which the user U tilts only himself or more from the state of FIG. 14A by a predetermined amount or more. FIG. 17B illustrates a captured image SG 4-1 ″ (through image) captured by the
即ち、図13のフローチャートは、上述の如く、筐体が所定量以上傾斜した場合に開始するものであるため、図17の如く自身のみを所定量以上傾斜させた場合には、表示形式は切り替わらない。 That is, since the flowchart of FIG. 13 starts when the casing is tilted by a predetermined amount or more as described above, the display format is switched when only itself is tilted by a predetermined amount or more as shown in FIG. Absent.
以上、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する場合であっても、意図しない画面形式の切り替えが生じないため、ユーザの利便性を向上させることができる。また、フロントカメラ62による撮像画像のみを使用する場合に比べ、切替ホールド処理を更に高精度に行える効果がある。また、図5に示したようなユーザが横たわった状態で電子機器4を操作する場合であっても、本実施形態における表示形式の制御によって意図しない画面形式の切り替えが生じないため、ユーザの利便性を向上させることができる。したがって、本実施形態における電子機器4は、ユーザが表示画像を見る際の姿勢の影響を受けることがないため、ユーザにとって視認しやすい方向で表示画像を表示するように表示形式の制御が可能である。
As described above, even when the display format of the display image is controlled using the image captured by the
(第2の実施形態)
次に、図面を参照しながら本発明の第2の実施形態について説明する。図18は、本発明の第2の実施形態による電子機器4が備える表示制御部102内のブロック図の一例である。なお、本発明の第2の実施形態による電子機器4の外観は、本発明の第1の実施形態による電子機器3の外観と同様である。また、電子機器4は、プロセッサ100内に表示制御部100ではなく表示制御部102を有する点が、電子機器3と異なる。(Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to the drawings. FIG. 18 is an example of a block diagram in the
表示制御部102は、図18に示すように、設定認識部112、傾斜量判定部122、特徴領域抽出部130、変化量算出部140、切替制御部170、及び、設定部192を備える。表示制御部102が備える特徴領域抽出部130及び変化量算出部140は、電子機器3の表示制御部100が備える特徴領域抽出部130及び変化量算出部140と同一であるため、説明の一部又は全部を省略する。
As shown in FIG. 18, the
設定部192は、種々の情報を設定する。例えば、表示画像の表示形式の切替機能のオン/オフを設定する。また、設定部192は、表示画像の表示形式の制御機能の1つであるホールド機能のオン/オフを設定する。また、設定部192は、表示画像の表示形式の制御機能の1つである追随機能のオン/オフを設定する。なお、ホールド機能のオン/オフ、及び、追随機能のオン/オフは、表示画像の表示形式の切替機能がオンの場合に参照される。換言すれば、ホールド機能及び追随機能は、表示画像の表示形式の切替機能のサブ機能である。また、設定部192による設定内容は、記憶部30に記憶される。追随機能及び追随機能による追随処理については後述する。
The
設定部192は、環境に応じて自動的に、又は、ユーザの指示に従って、表示形式の切替機能のオン/オフ、ホールド機能のオン/オフ、及び、追随機能のオン/オフを設定する。なお、設定部192による、ホールド機能のオン/オフの自動設定、及び、追随機能のオン/オフの自動設定は、電子機器3の設定部190によるホールド機能のオン/オフの自動設定と同様である。
The
設定認識部112は、記憶部30に記憶されている設定情報(表示画像の表示形式の切替機能のオン/オフの情報、ホールド機能のオン/オフの情報、追随機能のオン/オフの情報)を取得する。例えば、設定認識部112は、傾斜量判定部122からの要求に応じて、記憶部30に記憶されている設定情報を取得し、設定情報を傾斜量判定部122に出力(応答)する。
The setting
傾斜量判定部122は、モーションセンサ50(仰角センサ56)から検出値を取得し、筐体(a casing body、 a body、本体(a body, a main body))の傾斜量を算出する。なお、傾斜量判定部122は、表示形式の切替機能がオンに設定されている場合に、筐体の傾斜量を算出してもよい。
The inclination
筐体の傾斜量を算出した傾斜量判定部122は、筐体が所定量(例えば、45度や50度)以上傾斜したか否かを判定する。
The tilt
傾斜量判定部122は、表示形式の切替機能がオフに設定されている場合、何もしない。即ち、表示形式の切替機能がオフに設定されている場合には、表示形式の切り替えは行わないため、傾斜量判定部122は、既に筐体の傾斜量を算出していた場合であっても、何もしない。
When the display format switching function is set to OFF, the tilt
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、ホールド機能がオフに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。
When the display format switching function is set to ON and it is determined that the casing is tilted by a predetermined amount or more and the hold function is set to OFF, the tilt
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、ホールド機能がオンに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)を特徴領域抽出部130に出力する。
When the display format switching function is set to ON and it is determined that the casing is tilted by a predetermined amount or more and the hold function is set to ON, the tilt amount determination unit 122 A determination result related to the tilt amount, the tilt direction of the housing, and the tilt amount of the housing (determination result that the tilt amount of the housing is equal to or greater than a predetermined amount) is output to the feature
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜していないと判定した場合において、追随機能がオフに設定されている場合には、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、追随機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。なお、傾斜量判定部122は、当該場合に、何もしなくてもよい。
When the display format switching function is set to ON and it is determined that the casing is not tilted by a predetermined amount or more and the follow function is set to OFF, the tilt amount determination unit 122 A notification (information) indicating that the following function is set to OFF is output to the switching
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜していないと判定した場合において、追随機能がオンに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)を特徴領域抽出部130に出力する。
When the display format switching function is set to ON and it is determined that the casing is not tilted by a predetermined amount or more and the follow function is set to ON, the tilt
特徴領域抽出部130は、フロントカメラ62によって撮像された撮像画像をカメラ部60から取得する。例えば、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果、又は、筐体の傾斜量は所定量未満である旨の判定結果)を傾斜量判定部122から取得した場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。つまり、特徴領域抽出部130は、表示形式の切替機能、及び、ホールド機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定された場合、又は、表示形式の切替機能、及び、追随機能がオンに設定され、かつ、筐体が所定量以上傾斜していない判定された場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。
The feature
特徴領域抽出部130は、筐体の傾斜前後の撮像画像をカメラ部60から取得した場合、筐体の傾斜前後の夫々の撮像画像から、被写体の特徴部分を抽出する。特徴領域抽出部130は、筐体の傾斜前後の夫々の撮像画像から被写体の特徴部分を抽出できた場合には、傾斜量判定部122から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、傾斜前後の夫々の撮像画像から抽出した被写体の特徴部分を示す情報を変化量算出部140に出力する。
When the captured image before and after the inclination of the housing is acquired from the
一方、特徴領域抽出部130は、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には、傾斜量判定部122から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。
On the other hand, the feature
変化量算出部140は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果、及び、夫々の撮像画像から抽出した被写体の特徴部分を特徴領域抽出部130から取得した場合には、夫々の撮像画像における当該特徴部分の時間的な変化量を算出する。被写体の特徴部分の時間的な変化量を算出した変化量算出部140は、特徴領域抽出部130から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分の時間的な変化量を切替制御部170に出力する。
The change
切替制御部170は、表示画像の表示形式の切り替えを制御する。
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)、及び、ホールド機能がオフに設定されている旨の通知(情報)を傾斜量判定部122から取得した場合、表示形式の切り替えが必要であると判定する。The switching
The switching
切替制御部170は、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)、及び、追随機能がオフに設定されている旨の通知(情報)を傾斜量判定部122から取得した場合、表示形式の切り替えが不要であると判定する。
The switching
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)、及び、特徴部分を抽出できなかった旨の通知(情報)を特徴領域抽出部130から取得した場合、表示形式の切り替えが必要であると判定する。
The switching
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)、及び、特徴部分を抽出できなかった旨の通知(情報)を特徴領域抽出部130から取得した場合、表示形式の切り替えが不要であると判定する。
The switching
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果、又は、筐体の傾斜量は所定量未満である旨の判定結果)、及び、特徴部分の時間的な変化量を変化量算出部140から取得した場合には、特徴部分の時間的な変化量と第1の閾値又は第2の閾値とを比較し、特徴部分の変化量に係る比較結果と筐体の傾斜量に係る判定結果とに基づいて、表示画像の表示形式の切り替えの要否を判定する。
The switching
(筐体の傾斜量は所定量以上である旨の判定結果を取得している場合)
切替制御部170は、被写体の特徴部分の時間的な変化量が第1の閾値以上である場合、表示形式の切り替えが必要であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第1の閾値以上であるときは、切替制御部170は、表示形式の切り替えが必要(換言すれば、ホールド処理が不要)であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、切替制御部170は、表示画像の表示形式の切り替えが不要(換言すれば、ホールド処理が必要)であると判定する。(When the determination result that the amount of inclination of the case is equal to or greater than the predetermined amount has been acquired)
When the temporal change amount of the feature portion of the subject is equal to or greater than the first threshold, the switching
That is, when it is determined that the housing is tilted by a predetermined amount or more and the hold function is set to ON, the temporal change amount of the feature portion of the subject is equal to or greater than the first threshold value The switching
なお、被写体の特徴部分の時間的な変化量と比較する第1の閾値は、第1の実施形態と同様、ユーザが、筐体を回転させるなどして筐体を傾斜させる際に、当該ユーザが筐体の傾斜に伴って(連動して)自身の顔(例えば両目を結ぶ直線)を意図的に傾斜させたか否かを判定するための値である。 The first threshold value to be compared with the temporal change amount of the characteristic portion of the subject is the same as that in the first embodiment when the user tilts the housing by rotating the housing. Is a value for determining whether or not the user's own face (for example, a straight line connecting both eyes) is intentionally tilted with (in conjunction with) the tilt of the housing.
(筐体の傾斜量は所定量未満である旨の判定結果を取得している場合)
切替制御部170は、特徴部分の時間的な変化量が第2の閾値以上である場合、表示形式の切り替えが必要であると判定し、特徴部分の時間的な変化量が第2の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜していないと判定された場合であって、追随機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第2の閾値以上であるときは、切替制御部170は、表示形式の切り替えが必要(換言すれば、追随処理が必要)であると判定し、被写体の特徴部分の時間的な変化量が第2の閾値未満である場合には、切替制御部170は、表示画像の表示形式の切り替えが不要(換言すれば、追随処理が不要)であると判定する。(When the judgment result that the amount of inclination of the case is less than the predetermined amount is acquired)
When the temporal change amount of the feature portion is equal to or greater than the second threshold value, the switching
That is, when it is determined that the casing is not inclined more than the predetermined amount and the follow function is set to ON, the temporal change amount of the feature portion of the subject is equal to or larger than the second threshold value. In some cases, the switching
なお、被写体の特徴部分の時間的な変化量と比較する第2の閾値は、ユーザが、筐体を回転させるなどして筐体を傾斜させていないときに、当該ユーザが自身の顔(例えば両目を結ぶ直線)を意図的に傾斜させたか否かを判定するための値である。
筐体を傾斜させていないときに自身の顔を意図的に傾斜させている例は、例えば、図5(c)に示すような場合である。図5(c)の場合、被写体の特徴部分の変化量は60度となる。以上から、例えば、第2の閾値は、45度前後の角度としてもよい。
例えば、第2の閾値を50度とした場合、ユーザが、筐体を傾斜させないで顔のみを50度以上傾斜させた場合、変化量は第2の閾値以上となるため、追随処理が働く。Note that the second threshold value to be compared with the temporal change amount of the characteristic part of the subject is that when the user does not tilt the case by rotating the case, the user has his face (for example, This is a value for determining whether or not the straight line connecting both eyes is intentionally inclined.
An example in which the user's face is intentionally inclined when the casing is not inclined is, for example, a case as shown in FIG. In the case of FIG. 5C, the amount of change in the characteristic portion of the subject is 60 degrees. From the above, for example, the second threshold value may be an angle of around 45 degrees.
For example, when the second threshold is set to 50 degrees, when the user tilts only the face by 50 degrees or more without tilting the housing, the amount of change is equal to or greater than the second threshold, and the follow-up process works.
切替制御部170は、表示形式の切り替えが不要であると判定した場合には、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。また、切替制御部170は、表示形式の切り替えが必要であると判定した場合には、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。
If the switching
切替処理部180は、表示形式を維持する旨の通知(情報)を切替制御部170から取得した場合、表示画像の表示形式を切り替えないように制御する(例えば、何もしない)。また、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向を切替制御部170から取得した場合、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する。
When the notification (information) indicating that the display format is maintained is acquired from the switching
以上のように、表示制御部102は、筐体が所定量以上傾斜したと判定された場合であって、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン44における表示画像の表示形式を選択的に切り替える。
また、表示制御部102は、筐体が所定量以上傾斜していないと判定された場合であって、表示形式の切替機能、及び、追随機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン44における表示画像の表示形式を選択的に切り替える。As described above, the
In addition, the
図19は、電子機器4における表示形式の制御処理の流れを示すフローチャートの一例である。図19のフローチャートは、表示形式の切替機能がオンに設定されている場合において、筐体が傾斜(所定量以上でなくてもよい)したときに開始する。
FIG. 19 is an example of a flowchart showing the flow of display format control processing in the
図19において、傾斜量判定部122は、筐体が所定量以上傾斜したか否かを判定する(ステップS200)。ステップS200において筐体が所定量以上傾斜したと判定された場合、下記ステップS210〜ステップS270を実行する。ステップS200において筐体が所定量以上傾斜していないと判定された場合、下記ステップS310〜ステップS370を実行する。
In FIG. 19, the tilt
(S210〜ステップS270)
ステップS200において筐体が所定量以上傾斜したと判定された場合(ステップS200:Yes)、設定認識部112(又は傾斜量判定部122)は、記憶部30を参照し、ホールド機能がオンである否かを判断する(ステップS210)。(S210 to Step S270)
When it is determined in step S200 that the housing is tilted by a predetermined amount or more (step S200: Yes), the setting recognition unit 112 (or the tilt amount determination unit 122) refers to the
ステップS210においてホールド機能がオンである場合(ステップS210:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS220)、夫々から被写体の特徴部分を抽出できたか否かを判断する(ステップS230)。
When the hold function is turned on in step S210 (step S210: Yes), the tilt
ステップS230において、夫々から被写体の特徴部分を抽出できた場合には(ステップS230:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、被写体の特徴部分の時間的な変化量を算出し(ステップS240)、算出した変化量を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、切替制御部170に出力する。次いで、切替制御部170は、被写体の特徴部分の時間的な変化量が第1の閾値以上であるか否かを判定する(ステップS250)。
In step S230, when the feature portion of the subject can be extracted from each (step S230: Yes), the feature
ステップS250において、被写体の特徴部分の時間的な変化量が第1の閾値未満であると判定した場合(ステップS250:No)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を取得した切替処理部180は、現在の表示形式をホールドする(何もしない)(ステップS270)。そして、本フローチャートは終了する。なお、ステップS270の矩形が破線であるのは、切替処理部180が、何もしなくてもよい旨を表している。
If it is determined in step S250 that the temporal change amount of the characteristic portion of the subject is less than the first threshold (step S250: No), the switching
ステップS210においてホールド機能がオンでない場合(ステップS210:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、ホールド機能がオフに設定されている旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS260)。そして、本フローチャートは終了する。
When the hold function is not turned on in step S210 (step S210: No), the tilt
ステップS230において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には(ステップS230:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
In step S230, when the feature portion of the subject cannot be extracted from at least one of the captured images before and after the tilt of the casing (step S230: No), the feature
ステップS250において、被写体の特徴部分の時間的な変化量が第1の閾値以上であると判定した場合には(ステップS250:Yes)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
If it is determined in step S250 that the temporal change amount of the characteristic portion of the subject is equal to or greater than the first threshold (step S250: Yes), the switching
(S310〜ステップS370)
ステップS200において筐体が所定量以上傾斜していないと判定された場合(ステップS200:No)、設定認識部112(又は傾斜量判定部122)は、記憶部30を参照し、追随機能がオンである否かを判断する(ステップS310)。(S310 to Step S370)
When it is determined in step S200 that the casing is not inclined more than a predetermined amount (step S200: No), the setting recognition unit 112 (or the inclination amount determination unit 122) refers to the
ステップS310において追随機能がオンである場合(ステップS310:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS320)、夫々から被写体の特徴部分を抽出できたか否かを判断する(ステップS330)。
When the follow function is on in step S310 (step S310: Yes), the tilt
ステップS330において、夫々から被写体の特徴部分を抽出できた場合には(ステップS330:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、被写体の特徴部分の時間的な変化量を算出し(ステップS340)、算出した変化量を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、切替制御部170に出力する。次いで、切替制御部170は、被写体の特徴部分の時間的な変化量が第2の閾値以上であるか否かを判定する(ステップS350)。
In step S330, when the feature portion of the subject can be extracted from each of them (step S330: Yes), the feature
ステップS350において、被写体の特徴部分の時間的な変化量が第2の閾値以上であると判定した場合(ステップS350:Yes)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。例えば、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式(切替後の表示形式)を決定し、決定した表示形式をタッチスクリーンコントローラ42に出力する。そして、本フローチャートは終了する。
If it is determined in step S350 that the temporal change amount of the feature portion of the subject is equal to or greater than the second threshold (step S350: Yes), the switching
ステップS310において追随機能がオンでない場合(ステップS310:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、追随機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、追随機能がオフに設定されている旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を取得した切替処理部180は、何もしない(ステップS370)。そして、本フローチャートは終了する。なお、ステップS370の矩形が破線であるのは、切替処理部180が、何もしなくてもよい旨を表している。
When the follow function is not turned on in step S310 (step S310: No), the tilt
ステップS330において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には(ステップS330:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS310(No)の場合と同様の処理を行って、本フローチャートは終了する。
In step S330, when the feature portion of the subject cannot be extracted from at least one of the captured images before and after the tilt of the casing (step S330: No), the feature
ステップS350において、被写体の特徴部分の時間的な変化量が第2の閾値未満であると判定した場合には(ステップS350:No)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS310(No)の場合と同様の処理を行って、本フローチャートは終了する。なお、図19のステップS270において、後述の図20におけるステップS222〜ステップS270の処理を入れてもよい。
If it is determined in step S350 that the temporal change amount of the characteristic portion of the subject is less than the second threshold (step S350: No), the switching
なお、電子機器4は、電子機器3と同様、フロントカメラ62による撮像画像に加え、タッチスクリーン44の後方側の被写体を撮像するバックカメラ64(第2撮像部)による撮像画像を利用して、表示画像の表示形式を制御してもよい。
The
以下、ホールド機能に関しては本発明の第1の実施形態による電子機器3と同様であるため、追随機能に関して説明する。表示制御部102は、所定量以上傾斜していない場合に、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えないように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えるように制御する。
Since the hold function is the same as that of the
例えば、表示制御部102は、筐体が所定量以上傾斜していない場合であって追随機能がオンに設定(表示形式の切替機能もオンに設定)されている場合は、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えないように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えるように制御する。
一方、表示制御部102は、筐体が所定量以上傾斜していない場合であって追随機能がオフ(表示形式の切替機能はオンに設定)に設定されている場合は、表示画像の表示形式を変えないように制御するFor example, when the case is not tilted by a predetermined amount or more and the follow function is set to ON (the display format switching function is also set to ON), the
On the other hand, the
図20は、電子機器4における表示形式の制御処理の他の例を示すフローチャートである。例えば、図20は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様における、処理の流れを表している。なお、図20のフローチャートは、図19のフローチャートと同様、表示形式の切替機能がオンに設定されている場合において、筐体が傾斜(所定量以上でなくてもよい)したときに開始する。なお、図19と同一のステップ番号は、図18と同一の処理である。
FIG. 20 is a flowchart illustrating another example of display format control processing in the
図20において、傾斜量判定部122は、筐体が所定量以上傾斜したか否かを判定する(ステップS200)。ステップS200において筐体が所定量以上傾斜したと判定された場合、下記ステップS210〜ステップS270を実行する。ステップS200において筐体が所定量以上傾斜していないと判定された場合、下記ステップS310〜ステップS370を実行する。
In FIG. 20, the tilt
(S210〜ステップS270)
ステップS200において筐体が所定量以上傾斜したと判定された場合(ステップS200:Yes)、設定認識部112(又は傾斜量判定部122)は、ホールド機能がオンである否かを判断する(ステップS210)。(S210 to Step S270)
When it is determined in step S200 that the housing is tilted by a predetermined amount or more (step S200: Yes), the setting recognition unit 112 (or the tilt amount determination unit 122) determines whether or not the hold function is on (step). S210).
ステップS210においてホールド機能がオンである場合(ステップS210:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、両撮像画像(フロントカメラ62による撮像画像及びバックカメラ64による撮像画像)における傾斜前後の撮像画像の夫々(筐体の傾斜前のフロントカメラ62による撮像画像、筐体の傾斜前のバックカメラ64による撮像画像、筐体の傾斜後のフロントカメラ62による撮像画像、筐体の傾斜後のバックカメラ64による撮像画像)から被写体の特徴部分の抽出を試みて(ステップS222)、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する(ステップS232)。
When the hold function is turned on in step S210 (step S210: Yes), the tilt
ステップS232において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には(ステップS232:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、両撮像画像における被写体の特徴部分の時間的な変化率(前方側変化率及び後方側変化率)を算出し(ステップS242)。算出した変化率を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、切替制御部170に出力する。次いで、切替制御部170は、前方側変化率が後方側変化率未満であるか否かを判定する(ステップS252)。
In step S232, when the feature portion of the subject can be extracted from each of the captured images before and after the inclination in both captured images (step S232: Yes), the feature
ステップS252において、前方側変化率が後方側変化率未満である場合(ステップS152:Yes)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を取得した切替処理部180は、現在の表示形式をホールドする(何もしない)(ステップS270)。そして、本フローチャートは終了する。
In step S252, when the forward change rate is less than the backward change rate (step S152: Yes), the switching
ステップS210においてホールド機能がオンでない場合(ステップS210:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS260)。そして、本フローチャートは終了する。
When the hold function is not turned on in step S210 (step S210: No), the tilt
ステップS232において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合には(ステップS232:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
In step S232, when the feature portion of the subject cannot be extracted from any of the captured images before and after the tilt of the casing in both captured images (step S232: No), the feature
ステップS252において、前方側変化率が後方側変化率以上である場合(ステップS252:No)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
In step S252, when the front side change rate is equal to or higher than the rear side change rate (step S252: No), the switching
(S310〜ステップS370)
ステップS200において筐体が所定量以上傾斜していないと判定された場合(ステップS200:No)、設定認識部112(又は傾斜量判定部122)は、追随機能がオンである否かを判断する(ステップS310)。(S310 to Step S370)
When it is determined in step S200 that the housing is not inclined more than the predetermined amount (step S200: No), the setting recognition unit 112 (or the inclination amount determination unit 122) determines whether or not the following function is on. (Step S310).
ステップS310において追随機能がオンである場合(ステップS310:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS322)、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する(ステップS332)。
When the follow function is on in step S310 (step S310: Yes), the tilt
ステップS332において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には(ステップS332:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、両撮像画像における被写体の特徴部分の時間的な変化率を算出し(ステップS342)、算出した変化率を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、切替制御部170に出力する。次いで、切替制御部170は、前方側変化率が後方側変化率未満であるか否かを判定する(ステップS352)。
In step S332, when the feature portion of the subject can be extracted from each of the captured images before and after the inclination in both captured images (step S332: Yes), the feature
ステップS352において、前方側変化率が後方側変化率以上である場合(ステップS352:No)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。そして、本フローチャートは終了する。
In step S352, when the front side change rate is equal to or higher than the rear side change rate (step S352: No), the switching
ステップS310において追随機能がオンでない場合(ステップS310:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、追随機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知を取得した切替処理部180は、何もしない(ステップS370)。そして、本フローチャートは終了する。
When the follow function is not turned on in step S310 (step S310: No), the tilt
ステップS332において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合には(ステップS332:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS3310(No)の場合と同様の処理を行って、本フローチャートは終了する。
In step S332, when the feature portion of the subject cannot be extracted from any of the captured images before and after the tilt of the casing in both captured images (step S332: No), the feature
ステップS352において、前方側変化率が後方側変化率未満である場合(ステップS352:Yes)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS310(No)の場合と同様の処理を行って、本フローチャートは終了する。
In step S352, when the forward change rate is less than the backward change rate (step S352: Yes), the switching
図21及び図22は、表示形式の制御処理を説明する一例である。例えば、図21は、フロントカメラ62による撮像画像を利用して表示画像の表示形式を制御する態様における追随機能の一例である。図22は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様追随機能の一例である。図21及び図22において、表示形式の切替機能、ホールド機能、追随機能の何れもオンに設定されているものとする。
なお、ホールド機能については、第1の実施形態による電子機器3と同様である。21 and 22 are examples illustrating the display format control processing. For example, FIG. 21 is an example of the following function in the aspect of controlling the display format of the display image using the image captured by the
The hold function is the same as that of the
図21(a)は、図12(a)と同様、図9(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図21(b)は、図21(a)の場合における、撮像画像SG3’’(スルー画)を表している。図21(c)は、図21(a)の場合における、タッチスクリーン44に表示されている表示画像HG3’(横長画像)である。FIG. 21A shows a state in which only the user U is inclined by a predetermined amount or more from the state of FIG. 9A, as in FIG. FIG. 21B shows a captured image SG 3 ″ (through image) in the case of FIG. FIG. 21C is a display image HG 3 ′ (horizontal image) displayed on the
即ち、図19のフローチャートにおいて、切替制御部170は、筐体が所定量以上傾斜していない場合において、被写体の特徴部分の時間的な変化量が第2の閾値以上であると判定し(ステップS350:Yes)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。
That is, in the flowchart of FIG. 19, the switching
図22(a)は、図17(a)と同様、図14(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図22(b)は、図22(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1’’(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2(スルー画)を表している。図22(b)において、前方側変化率は後方側変化率よりも大きい。図22(c)は、図22(a)の場合における、タッチスクリーン44に表示されている表示画像HG4’(横長画像)である。FIG. 22A shows a state in which only the user U tilts himself or herself by a predetermined amount or more from the state of FIG. FIG. 22B illustrates a captured image SG 4-1 ″ (through image) captured by the
即ち、図20のフローチャートにおいて、切替制御部170は、筐体が所定量以上傾斜していない場合において、前方側変化率が後方側変化率以上であると判定し(ステップS352:No)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。
That is, in the flowchart of FIG. 20, the switching
以上、電子機器4によれば、意図しない画面形式(画面表示型)の切り替えが生じないため、ユーザの利便性を向上させることができる。例えば、ユーザが、図5(b)に示すように筐体とともに自分の顔を所定量以上傾斜させた場合には、図4に例示したような表示形式の切り替えがホールド機能によって生じないため、ユーザの利便性を向上させることができる。また例えば、筐体を傾斜させずに、自分の顔を所定量以上傾斜させた場合には、図4に例示したよう表示画面の表示形式の切り替えが追随機能によってなされるため、ユーザの利便性を向上させることができる。
As described above, according to the
以上、本発明の第1の実施形態による電子機器3、本発明の第2の実施形態による電子機器4によれば、ユーザの使用状況に応じて、見易い表示形式の表示画面が提供され、ユーザの利便性が向上する。
As described above, according to the
なお、電子機器3の処理の一部を外部の装置(例えば、サーバ)が実行し、電子機器3の表示形式を制御するようにしてもよい。同様に、電子機器4の処理の一部を外部の装置(例えば、サーバ)が実行し、電子機器4の表示形式を制御するようにしてもよい。
Note that a part of the processing of the
図23は、情報システム1の概略構成図である。図24A及び図24Bは、電子機器5が備える表示制御部104内のブロック図、及び、サーバ9が備える表示制御情報生成部200内のブロック図等の一例である。情報システム1は、図23に示すように、電子機器5とサーバ9とを含んで構成される。電子機器5とサーバ9とは、有線又は無線のネットワークにより接続されている。
FIG. 23 is a schematic configuration diagram of the information system 1. 24A and 24B are examples of a block diagram in the
電子機器5は、第1の実施形態による電子機器3と同様、タッチスクリーン44と、撮像部(第1撮像部及び第2撮像部)と、通信部70とを有する。より詳細には、電子機器5の構成は、表示制御部100に代えて表示制御部104を具備する点を除き、第1の実施形態による電子機器3の構成と同様である。
Similar to the
表示制御部104は、図24Aに示すように、設定部194(電子機器3の設定部190又は電子機器4の設定部192と同様)を備える。
As illustrated in FIG. 24A, the
通信部70は、撮像部による撮像画像、及び、筐体の傾斜量をサーバ9に送信し、タッチスクリーン44における表示画像の表示形式を制御する表示制御情報をサーバ9から受信する。
The
サーバ9は、図24Aに示すように、通信部270と表示制御情報生成部200とを有する。表示制御情報生成部200は、第1の実施形態による電子機器3の表示制御部100の設定認識部110、傾斜量判定部120、特徴領域抽出部130、変化量算出部140、切替判定部150、切替制限部160及び切替処理部180(又は、第2の実施形態による電子機器4の表示制御部102の設定認識部112、傾斜量判定部122、特徴領域抽出部130、変化量算出部140切替制御部170及び切替処理部180)と同様の機能を有する。
The
通信部270は、電子機器5から撮像画像及び筐体の傾斜量を受信する。また、通信部270は、電子機器5に表示制御情報を送信する。
The
表示制御情報生成部200は、電子機器5から受信した撮像画像に含まれる被写体の特徴部分の時間的な変化量に基づいて、電子機器5に送信する表示制御情報を生成する。表示制御情報とは、表示画像の表示形式を示す情報(電子機器3(電子機器4)の切替処理部180がタッチスクリーンコントローラ42に出力する情報に相当)である。
The display control
なお、電子機器5の設定情報(例えば、ホールド機能のオン/オフ情報)は、サーバ9が記憶してもよいし、電子機器5が記憶部30に記憶してもよい。サーバ9の表示制御情報生成部200は、必要に応じて、電子機器5から設定情報を受信し、表示制御情報を生成する際に参照する。
Note that the setting information (for example, hold function on / off information) of the
なお、電子機器5の表示制御部104は、図24Bに示すように、設定部194に加え、設定認識部110(112)、傾斜量判定部120(122)及び特徴領域抽出部130を備えていてもよい。なお、上記場合、サーバ9の表示制御情報生成部200は、図24Bに示すように、設定認識部110(112)、傾斜量判定部120(122)及び特徴領域抽出部130を有しなくてもよい。
Note that the
電子機器5が特徴領域抽出部130等を備える態様の場合、電子機器5は、撮像画像に代えて、傾斜量判定部120(122)の処理結果(例えば、ホールド機能がオフに設定されている旨の通知)、又は、特徴領域抽出部130の処理結果(被写体の特徴部分を示す情報、又は、特徴部分を抽出できなかった旨の通知)をサーバ9に送信する。また、サーバ9の表示制御情報生成部200は、撮像画像に代えて、電子機器5から取得する処理結果を用いて表示制御情報を生成する。
In the case where the
なお、電子機器3(電子機器4、5も同様)において、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御しない場合には、電子機器3は、バックカメラ64を有しなくてもよい。
Note that in the electronic device 3 (the same applies to the
電子機器3(サーバ9も同様)において、予め記憶した顔のみに対し、ホールド処理を行うようにしてもよい。即ち、表示形式の切替機能、及び、ホールド機能がオンに設定され、筐体が所定量以上傾斜した場合に、フロントカメラ62によって撮像された撮像画像から特徴領域抽出部130が抽出した被写体の特徴部分が、予め記憶した顔の特徴部分と一致すると判断されたときは、ホールド処理を実行するようにし(即ち、表示形式の切替を行わないようにし)、当該特徴部分が、予め記憶した顔の特徴部分と一致しないと判断されたときは、ホールド処理を実行しないようにしてもよい(即ち、表示形式の切替を行うようにしてもよい)、
同様に、電子機器4(サーバ9も同様)において、予め記憶した顔のみに対し、追随処理を行うようにしてもよい。In the electronic device 3 (same for the server 9), the hold process may be performed only on the face stored in advance. That is, the feature of the subject extracted by the feature
Similarly, in the electronic device 4 (same for the server 9), the following process may be performed only on the face stored in advance.
なお、本発明の実施形態による電子機器3、電子機器4の処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の実施形態による電子機器3、電子機器4に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピー(登録商標)ディスク、光磁気ディスク、SDカード、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
Note that a program for executing processing of the
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
1…情報システム 3、4、5…電子機器 9…サーバ 10…プロセッサ 20…インターフェイス部 30…記憶部 40…入出力部 42…タッチスクリーンコントローラ 44…タッチスクリーン 46…カーソルパッドコントローラ 48…カーソルパッド 50…モーションセンサ 52…GPS 54…方位計 56…仰角センサ 60…カメラ部 62…フロントカメラ 64…バックカメラ 70…通信部 80…オーディオ部 82…スピーカ 84…マイクロフォン 90…電源ボタン 92…決定/ホームボタン 100、102、104…表示制御部 110、112…設定認識部 120、122…傾斜量判定部 130…特徴領域抽出部 140…変化量算出部 150…切替判定部 160…切替制限部(ホールド部) 170…切替制御部 180…切替処理部 190、192…設定部 200…表示制御情報生成部 270…通信部
DESCRIPTION OF SYMBOLS 1 ...
Claims (20)
前記表示部の前方側の被写体を撮像可能な撮像部と、
前記前方側を撮像した画像から検出される変化量であって前記被写体の特徴部分における第1所定方向の第2所定方向に対する傾きの時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御部と、
筐体の傾斜を検出するセンサと、
前記筐体が所定量以上傾斜した場合に前記表示画像の表示形式を前記表示制御部に保持させるホールド機能のオン/オフを設定する設定部と、
を備え、
前記表示制御部は、
前記筐体が前記所定量以上傾斜した場合であって前記ホールド機能がオンに設定されている場合、
前記変化量が第1の閾値以上であるときに前記表示画像の表示形式を変えるように制御し、
前記変化量が第1の閾値未満であるときに前記表示画像の表示形式を変えないように制御する、
電子機器。 A display unit for displaying a display image based on the display data;
An imaging unit capable of imaging a subject on the front side of the display unit;
The display format of the display image is determined based on a change amount detected from an image obtained by imaging the front side and a temporal change amount of an inclination of the characteristic portion of the subject with respect to a second predetermined direction. A display control unit to control ;
A sensor for detecting the inclination of the housing;
A setting unit that sets on / off of a hold function that causes the display control unit to hold the display format of the display image when the casing is tilted by a predetermined amount or more;
Equipped with a,
The display control unit
When the case is tilted more than the predetermined amount and the hold function is set to ON,
Control to change the display format of the display image when the amount of change is equal to or greater than a first threshold;
Control so that the display format of the display image is not changed when the amount of change is less than a first threshold;
Electronics.
前記表示制御部は、The display control unit
前記筐体が前記所定量以上傾斜した場合であって前記ホールド機能がオフに設定されている場合に、前記表示画像の表示形式を変えるように制御するWhen the housing is inclined more than the predetermined amount and the hold function is set to OFF, control is performed to change the display format of the display image.
電子機器。Electronics.
前記表示制御部は、
前記変化量に応じて、前記表示部における前記表示画像の表示形式を選択的に切り替える
電子機器。 The electronic device according to claim 1 or 2 ,
The display control unit
The display format of the display image on the display unit is selectively switched according to the amount of change.
Electronic equipment.
前記表示制御部は、前記筐体の傾斜前における撮像画像と前記筐体の傾斜後における撮像画像とに基づいて前記変化量を算出するThe display control unit calculates the amount of change based on a captured image before the casing is tilted and a captured image after the casing is tilted.
電子機器。Electronics.
前記表示部は、ユーザによるタッチ位置を検出可能であるThe display unit can detect a touch position by a user.
電子機器。Electronics.
前記撮像部は、前記筐体の動きを検出した時に、前記被写体の撮像を開始する
電子機器。 The electronic device according to any one of claims 1 to 5,
The imaging unit, when it detects the movement of the casing, starts imaging of the subject
Electronic equipment.
前記表示制御部は、前記筐体の動きを検出した時から所定の時間までの前記変化量に基づいて、前記表示形式を制御する
電子機器。 The electronic device according to any one of claims 1 to 6,
Wherein the display control unit, based on the prior SL change amount from when detecting the movement of the casing to a predetermined time, controls the display format
Electronic equipment.
前記表示部の後方側の被写体を撮像する第2撮像部を更に備え、
前記表示制御部は、
前記前方側を撮像した画像から検出される変化量であって被写体の特徴部分における前記第1所定方向の前記第2所定方向に対する傾きの時間的な変化量と、前記後方側を撮像した画像から検出される変化量であって被写体の特徴部分における前記第1所定方向の前記第2所定方向に対する傾きの時間的な変化量とに基づいて、前記表示画像の表示形式を制御する、
電子機器。 The electronic apparatus according to any one of claims 1 to 7,
A second imaging unit that images a subject on the rear side of the display unit;
The display control unit
From the amount of change detected from the image obtained by imaging the front side, the amount of change in the inclination of the characteristic portion of the subject with respect to the second predetermined direction with respect to time and the image obtained by imaging the rear side Controlling the display format of the display image based on the detected change amount and the temporal change amount of the inclination of the first predetermined direction with respect to the second predetermined direction in the characteristic portion of the subject ,
Electronics.
前記表示制御部は、
前記筐体が前記所定量以上傾斜した場合、
前記前方側を撮像した画像から検出される被写体の特徴部分における前記第1所定方向の前記第2所定方向に対する傾きの変化率である前方側変化率と、前記後方側を撮像した画像から検出される被写体の特徴部分における前記第1所定方向の前記第2所定方向に対する傾きの変化率である後方側変化率とを算出し、
前記前方側変化率が前記後方側変化率以上であるときに前記表示画像の表示形式を変えるように制御し、
前記前方側変化率が前記後方側変化率未満であるときに前記表示画像の表示形式を変えないように制御する、
電子機器。 The electronic device according to claim 8 ,
The display control unit
If the housing is tilted the predetermined amount or more,
A front-side change rate is a rate of change of slope with respect to the second predetermined direction of the first predetermined direction in the characterizing part of the subject detected from the image obtained by imaging the front side, is detected from an image obtained by imaging the rear side A rear side change rate that is a change rate of the inclination of the first predetermined direction with respect to the second predetermined direction in the characteristic portion of the subject,
The control to change the display format of the display image when the front-side change rate is the rear side change rate or more,
Is controlled so as not to change the display format of the display image when the front-side change rate is less than the rear side change rate,
Electronics.
前記表示制御部は、
前記筐体が所定量以上傾斜した場合であって前記ホールド機能がオンに設定されている場合、
前記前方側変化率と、前記後方側変化率とを算出し、
前記前方側変化率が前記後方側変化率以上であるときに前記表示画像の表示形式を変えるように制御し、
前記前方側変化率が前記後方側変化率未満であるときに前記表示画像の表示形式を変えないように制御し、
前記筐体が所定量以上傾斜した場合であって前記ホールド機能がオフに設定されている場合、
前記表示画像の表示形式を変えるように制御する、
電子機器。 The electronic device according to claim 9 ,
Before Symbol display control unit,
If the casing is the hold function even when tilted more than a predetermined amount is set to ON,
Calculate the forward change rate and the backward change rate,
The control to change the display format of the display image when the front-side change rate is the rear side change rate or more,
The controlled so as not to change the display format of the display image when the front-side change rate is less than the rear side change rate,
If the casing is the hold function even when tilted more than a predetermined amount is set to OFF,
Control to change the display format of the display image ,
Electronics.
前記表示制御部は、
前記筐体が所定量以上傾斜していない場合、
前記前方側変化率と、前記後方側変化率とを算出し、
前記前方側変化率が前記後方側変化率以上であるときに前記表示画像の表示形式を変えるように制御し、
前記前方側変化率が前記後方側変化率未満であるときに前記表示画像の表示形式を変えないように制御する、
電子機器。 The electronic device according to claim 9 ,
The display control unit
If the casing is not tilted more than a predetermined amount,
Calculate the forward change rate and the backward change rate,
The control to change the display format of the display image when the front-side change rate is the rear side change rate or more,
Is controlled so as not to change the display format of the display image when the front-side change rate is less than the rear side change rate,
Electronics.
前記表示制御部は、
前記筐体が前記所定量以上傾斜していない場合、
前記変化量が第2の閾値未満であるときに前記表示画像の表示形式を変えないように制御し、
前記変化量が第2の閾値以上であるときに前記表示画像の表示形式を変えるように制御する
電子機器。 The electronic apparatus according to any one of claims 1 to 11,
Before Symbol display control unit,
If the casing is not tilted the predetermined amount or more,
The amount of change the control so as not to change the display format of the display image when less than a second threshold value,
The control to change the display format of the display image when the amount of change is not smaller than the second threshold value
Electronic equipment.
前記設定部は、前記筐体が前記所定量以上傾斜していない場合に前記変化量に応じて前記表示形式を前記表示制御部に変化させる追随機能のオン/オフを更に設定し、
前記表示制御部は、
前記筐体が所定量以上傾斜していない場合であって前記追随機能がオンに設定されている場合、
前記変化量が第2の閾値未満であるときに前記表示画像の表示形式を変えないように制御し、
前記変化量が第2の閾値以上であるときに前記表示画像の表示形式を変えるように制御し、
前記筐体が所定量以上傾斜していない場合であって前記追随機能がオフに設定されている場合、
前記表示画像の表示形式を変えないように制御する
電子機器。 The electronic apparatus according to any one of claims 1 to 11,
The setting unit further sets on / off of a follow function for changing the display format to the display control unit according to the change amount when the housing is not inclined more than the predetermined amount ,
The display control unit
If the casing is the follow function even if it is not inclined more than a predetermined amount is set to ON,
Control so that the display format of the display image is not changed when the amount of change is less than a second threshold;
The control to change the display format of the display image when the amount of change is not smaller than the second threshold value,
If the casing is the follow function even if it is not inclined more than a predetermined amount is set to OFF,
Control the display format of the display image so as not to change
Electronic equipment.
前記表示制御部は、
前記筐体が所定量以上傾斜していない場合であって前記追随機能がオンに設定されている場合、
前記前方側変化率と、前記後方側変化率とを算出し、
前記前方側変化率が前記後方側変化率以上であるときに前記表示画像の表示形式を変えるように制御し、
前記前方側変化率が前記後方側変化率未満であるときに前記表示画像の表示形式を変えないように制御し、
前記筐体が所定量以上傾斜していない場合であって前記追随機能がオフに設定されている場合、
前記表示画像の表示形式を変えないように制御する、
電子機器。 The electronic device according to claim 13 , which cites claim 9 to claim 11 .
Before Symbol display control unit,
If the casing is the follow function even if it is not inclined more than a predetermined amount is set to ON,
Calculate the forward change rate and the backward change rate,
The control to change the display format of the display image when the front-side change rate is the rear side change rate or more,
The controlled so as not to change the display format of the display image when the front-side change rate is less than the rear side change rate,
If the casing is the follow function even if it is not inclined more than a predetermined amount is set to OFF,
Control not to change the display format of the display image ,
Electronics.
前記設定部は、
節電モードに設定されていない場合、前記ホールド機能をオンに設定する、
電子機器。 The electronic device according to any one of claims 1 to 14 ,
The setting unit
If the power saving mode is not set, set the hold function on .
Electronic equipment.
前記設定部は、
節電モードに設定されていない場合、前記追随機能をオンに設定する
電子機器。 The electronic apparatus according to claim 13 or claim 1 4,
The setting unit
If the power saving mode is not set, turn on the follow function
Electronic equipment.
前記電子機器は、
表示データに基づく表示画像を表示する表示部と、
前記表示部の前方側の被写体を撮像可能な撮像部と、
筐体の傾斜を検出するセンサと、
前記筐体が所定量以上傾斜した場合に前記表示画像の表示形式を保持させるホールド機能のオン/オフを設定する設定部と、
前記撮像部による撮像画像と前記センサによる前記傾斜を示す情報と前記設定部による設定を示す情報とを前記サーバに送信し、前記表示画像の表示形式を制御する表示制御情報を前記サーバから受信する通信部と、
前記通信部が受信した前記表示制御情報に基づいて、前記表示画像の表示形式を制御する表示制御部と、
を備え、
前記サーバは、
前記電子機器から前記撮像画像と前記傾斜を示す情報と前記設定を示す情報とを受信し、前記電子機器に前記表示制御情報を送信する通信部と、
前記電子機器から受信した撮像画像から検出される変化量であって前記被写体の特徴部分における第1所定方向の第2所定方向に対する傾きの時間的な変化量に基づいて、前記電子機器に送信する前記表示制御情報を生成する表示制御情報生成部と、
を備え、
前記表示制御情報生成部は、
前記筐体が前記所定量以上傾斜した場合であって前記ホールド機能がオンに設定されている場合、
前記変化量が第1の閾値以上であるときに前記表示画像の表示形式を変える前記表示制御情報を生成し、
前記変化量が第1の閾値未満であるときに前記表示画像の表示形式を変えない前記表示制御情報を生成する、
情報システム。 An information system including an electronic device and a server,
The electronic device is
A display unit for displaying a display image based on the display data;
An imaging unit capable of imaging a subject on the front side of the display unit;
A sensor for detecting the inclination of the housing;
A setting unit for setting on / off of a hold function for holding the display format of the display image when the housing is inclined by a predetermined amount or more;
The image captured by the image capturing unit, the information indicating the tilt by the sensor, and the information indicating the setting by the setting unit are transmitted to the server, and display control information for controlling the display format of the display image is received from the server. A communication department ;
A display control unit for controlling a display format of the display image based on the display control information received by the communication unit;
With
The server
A communication unit that receives the captured image , information indicating the tilt, and information indicating the setting from the electronic device, and transmits the display control information to the electronic device;
Based on a change amount detected from a captured image received from the electronic device and a temporal change amount of an inclination of the characteristic portion of the subject with respect to a second predetermined direction with respect to a second predetermined direction , the transmission is transmitted to the electronic device. A display control information generating unit for generating the display control information ;
Equipped with a,
The display control information generation unit
When the case is tilted more than the predetermined amount and the hold function is set to ON,
Generating the display control information for changing a display format of the display image when the change amount is equal to or greater than a first threshold;
Generating the display control information that does not change the display format of the display image when the amount of change is less than a first threshold;
Information system.
前記電子機器と通信可能なサーバと、A server capable of communicating with the electronic device;
を備える情報システム。An information system comprising:
前記電子機器から前記撮像画像と前記傾斜を示す情報と前記傾斜を示す情報とを受信し、前記電子機器に表示制御情報を送信する通信部と、
前記電子機器から受信した撮像画像から検出される変化量であって前記被写体の特徴部分における第1所定方向の第2所定方向に対する傾きの時間的な変化量に基づいて、前記電子機器に送信する前記表示制御情報を生成する表示制御情報生成部と、
を備え、
前記表示制御情報生成部は、
前記筐体が前記所定量以上傾斜した場合であって前記ホールド機能がオンに設定されている場合、
前記変化量が第1の閾値以上であるときに前記表示画像の表示形式を変える前記表示制御情報を生成し、
前記変化量が第1の閾値未満であるときに前記表示画像の表示形式を変えない前記表示制御情報を生成する、
サーバ。 When a display unit that displays a display image based on display data, an imaging unit that can capture a subject on the front side of the display unit, a sensor that detects inclination of the casing, and the casing is tilted by a predetermined amount or more A server that communicates with an electronic device including a setting unit that sets on / off of a hold function that holds a display format of the display image, and a communication unit;
A communication unit for receiving said from the electronic device and information indicating the tilt information indicating the inclination and the captured image, and transmits the table示制control information to the electronic device,
Based on a change amount detected from a captured image received from the electronic device and a temporal change amount of an inclination of the characteristic portion of the subject with respect to a second predetermined direction with respect to a second predetermined direction , the transmission is transmitted to the electronic device. A display control information generating unit for generating the display control information ;
Equipped with a,
The display control information generation unit
When the case is tilted more than the predetermined amount and the hold function is set to ON,
Generating the display control information for changing a display format of the display image when the change amount is equal to or greater than a first threshold;
Generating the display control information that does not change the display format of the display image when the amount of change is less than a first threshold;
Servers.
表示データに基づく表示画像を表示させる表示ステップと、A display step for displaying a display image based on the display data;
前記表示部の前方側の被写体を撮像部に撮像させる撮像ステップと、An imaging step of causing the imaging unit to image a subject on the front side of the display unit;
前記前方側が撮像された画像から検出される変化量であって前記被写体の特徴部分における第1所定方向の第2所定方向に対する傾きの時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御ステップと、The display format of the display image is based on the amount of change detected from the image captured on the front side and the amount of change in the inclination of the characteristic portion of the subject with respect to the second predetermined direction with respect to the second predetermined direction. Display control steps to control;
筐体の傾斜をセンサに検出させる検出ステップと、A detection step for causing the sensor to detect the inclination of the housing;
前記筐体が所定量以上傾斜した場合に前記表示画像の表示形式を前記表示制御ステップにおいて保持させるホールド機能のオン/オフを設定する設定ステップと、A setting step for setting on / off of a hold function for holding the display format of the display image in the display control step when the casing is tilted by a predetermined amount or more;
を実行させるためのプログラムであって、A program for executing
前記表示制御ステップは、The display control step includes:
前記筐体が前記所定量以上傾斜した場合であって前記ホールド機能がオンに設定されている場合、When the case is tilted more than the predetermined amount and the hold function is set to ON,
前記変化量が第1の閾値以上であるときに前記表示画像の表示形式を変えるように制御し、Control to change the display format of the display image when the amount of change is equal to or greater than a first threshold;
前記変化量が第1の閾値未満であるときに前記表示画像の表示形式を変えないように制御する、Control so that the display format of the display image is not changed when the amount of change is less than a first threshold;
プログラム。program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013543060A JP6146307B2 (en) | 2011-11-10 | 2012-11-12 | Electronic device, information system, server, and program |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011246571 | 2011-11-10 | ||
JP2011246571 | 2011-11-10 | ||
JP2013543060A JP6146307B2 (en) | 2011-11-10 | 2012-11-12 | Electronic device, information system, server, and program |
PCT/JP2012/079222 WO2013069796A1 (en) | 2011-11-10 | 2012-11-12 | Electronic device, information system and server |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017099196A Division JP6477782B2 (en) | 2011-11-10 | 2017-05-18 | Electronic device, information system, server, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013069796A1 JPWO2013069796A1 (en) | 2015-04-02 |
JP6146307B2 true JP6146307B2 (en) | 2017-06-14 |
Family
ID=48290161
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013543060A Active JP6146307B2 (en) | 2011-11-10 | 2012-11-12 | Electronic device, information system, server, and program |
JP2017099196A Active JP6477782B2 (en) | 2011-11-10 | 2017-05-18 | Electronic device, information system, server, and program |
JP2019014291A Active JP6828758B2 (en) | 2011-11-10 | 2019-01-30 | Electronics, information systems, and programs |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017099196A Active JP6477782B2 (en) | 2011-11-10 | 2017-05-18 | Electronic device, information system, server, and program |
JP2019014291A Active JP6828758B2 (en) | 2011-11-10 | 2019-01-30 | Electronics, information systems, and programs |
Country Status (2)
Country | Link |
---|---|
JP (3) | JP6146307B2 (en) |
WO (1) | WO2013069796A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013069796A1 (en) * | 2011-11-10 | 2013-05-16 | 株式会社ニコン | Electronic device, information system and server |
JP5936670B2 (en) * | 2014-12-03 | 2016-06-22 | 株式会社タカラトミー | Experience-type video game device |
JP2019106007A (en) * | 2017-12-12 | 2019-06-27 | コニカミノルタ株式会社 | Display device, display control method and program |
JP2020052189A (en) * | 2018-09-26 | 2020-04-02 | いすゞ自動車株式会社 | Display control device and display control method |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3785611B2 (en) * | 2001-06-13 | 2006-06-14 | 株式会社ケンウッド | Electronic device power consumption reduction device |
FI117217B (en) * | 2003-10-01 | 2006-07-31 | Nokia Corp | Enforcement and User Interface Checking System, Corresponding Device, and Software Equipment for Implementing the Process |
WO2005119591A1 (en) * | 2004-06-04 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | Display control device, display control method, program, and portable apparatus |
JP2008129775A (en) * | 2006-11-20 | 2008-06-05 | Ntt Docomo Inc | Display control unit, display device and display control method |
US8244068B2 (en) * | 2007-03-28 | 2012-08-14 | Sony Ericsson Mobile Communications Ab | Device and method for adjusting orientation of a data representation displayed on a display |
US20080266326A1 (en) * | 2007-04-25 | 2008-10-30 | Ati Technologies Ulc | Automatic image reorientation |
JP5433935B2 (en) * | 2007-07-24 | 2014-03-05 | 日本電気株式会社 | Screen display control method, screen display control method, electronic device, and program |
JP2009294728A (en) * | 2008-06-02 | 2009-12-17 | Sony Ericsson Mobilecommunications Japan Inc | Display processor, display processing method, display processing program, and portable terminal device |
US8896632B2 (en) * | 2008-09-12 | 2014-11-25 | Qualcomm Incorporated | Orienting displayed elements relative to a user |
JP5312967B2 (en) * | 2009-01-30 | 2013-10-09 | 国立大学法人 名古屋工業大学 | Map display device, map display system, and map display method |
JP2011135298A (en) * | 2009-12-24 | 2011-07-07 | Nikon Corp | Electronic device and electronic device system |
JP2011138449A (en) * | 2010-01-04 | 2011-07-14 | Nec Corp | Display control device, display device, electronic apparatus and display control method |
JP2011186097A (en) * | 2010-03-08 | 2011-09-22 | Nikon Corp | Projector |
JP5184570B2 (en) * | 2010-03-24 | 2013-04-17 | 株式会社エヌ・ティ・ティ・ドコモ | Information terminal and display switching method |
JP5440334B2 (en) * | 2010-04-05 | 2014-03-12 | 船井電機株式会社 | Mobile information display terminal |
WO2013069796A1 (en) * | 2011-11-10 | 2013-05-16 | 株式会社ニコン | Electronic device, information system and server |
-
2012
- 2012-11-12 WO PCT/JP2012/079222 patent/WO2013069796A1/en active Application Filing
- 2012-11-12 JP JP2013543060A patent/JP6146307B2/en active Active
-
2017
- 2017-05-18 JP JP2017099196A patent/JP6477782B2/en active Active
-
2019
- 2019-01-30 JP JP2019014291A patent/JP6828758B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP6477782B2 (en) | 2019-03-06 |
JP2017207753A (en) | 2017-11-24 |
JPWO2013069796A1 (en) | 2015-04-02 |
JP2019117378A (en) | 2019-07-18 |
WO2013069796A1 (en) | 2013-05-16 |
JP6828758B2 (en) | 2021-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6828758B2 (en) | Electronics, information systems, and programs | |
US10686932B2 (en) | Above-lock camera access | |
WO2020103526A1 (en) | Photographing method and device, storage medium and terminal device | |
EP3084683B1 (en) | Distributing processing for imaging processing | |
KR102068621B1 (en) | Apparatus and method for shooting a image in device having a camera | |
US9106821B1 (en) | Cues for capturing images | |
EP3001247B1 (en) | Method and terminal for acquiring panoramic image | |
JP6109413B2 (en) | Image display method, image display apparatus, terminal, program, and recording medium | |
JPWO2012120799A1 (en) | Display device and display direction switching method | |
TWI581176B (en) | Image adjusting system and method | |
WO2017124899A1 (en) | Information processing method, apparatus and electronic device | |
WO2011103742A1 (en) | Frame control method and electronic device | |
US20210160431A1 (en) | Shooting Control Method and Terminal | |
JP2021039468A (en) | Imaging device, communication system, communication method, and program | |
US9215003B2 (en) | Communication apparatus, communication method, and computer readable recording medium | |
US20140354784A1 (en) | Shooting method for three dimensional modeling and electronic device supporting the same | |
KR20190135794A (en) | Mobile terminal | |
JP2012243266A (en) | Electronic apparatus and display method | |
CN113592874A (en) | Image display method and device and computer equipment | |
JP6164958B2 (en) | Information processing apparatus, direction specifying method, computer program, and storage medium | |
CN110660031B (en) | Image sharpening method and device and storage medium | |
JP2018125661A (en) | Information processor, control method of information processor, and control program of information processor | |
KR20180068128A (en) | Mobile terminal and method for controlling the same | |
BR122016017488B1 (en) | METHOD AND TERMINAL FOR PANORAMIC IMAGE ACQUISITION |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6146307 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |