WO2011104837A1 - 携帯端末、動作間隔設定方法及びプログラム - Google Patents

携帯端末、動作間隔設定方法及びプログラム Download PDF

Info

Publication number
WO2011104837A1
WO2011104837A1 PCT/JP2010/052941 JP2010052941W WO2011104837A1 WO 2011104837 A1 WO2011104837 A1 WO 2011104837A1 JP 2010052941 W JP2010052941 W JP 2010052941W WO 2011104837 A1 WO2011104837 A1 WO 2011104837A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
mobile terminal
operation interval
inclination
tilt
Prior art date
Application number
PCT/JP2010/052941
Other languages
English (en)
French (fr)
Inventor
秋山　勝彦
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to CN201080064662.5A priority Critical patent/CN102770904B/zh
Priority to JP2012501573A priority patent/JP5741568B2/ja
Priority to PCT/JP2010/052941 priority patent/WO2011104837A1/ja
Publication of WO2011104837A1 publication Critical patent/WO2011104837A1/ja
Priority to US13/587,402 priority patent/US9117391B2/en
Priority to US14/178,766 priority patent/US9311884B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • This technology relates to display control technology in mobile terminals.
  • Mobile terminals such as mobile phones, PDAs (Personal Digital Assistants), and smartphones often have a rectangular flat plate shape in order to make it easy for users to hold and operate them. Therefore, the shape of the display screen is often rectangular.
  • the shape of content such as a web page displayed on the display screen does not necessarily match the shape of the display screen, it may not be displayed properly depending on the content. For example, as shown in FIG. 1, when the display screen has a shape that is long in the vertical direction of the mobile terminal, if content that is long in the horizontal direction is displayed, a part of the content is not displayed on the display screen.
  • the power consumption becomes very large. In the case of a portable terminal, it is not desirable that the battery duration is shortened. On the other hand, if the power consumption is reduced by simply lowering the frequency of imaging or image analysis, there is a problem that the response becomes slow.
  • an object of the present technology is to provide a technology for reducing power consumption in display control in a portable terminal.
  • the mobile terminal includes an inclination measurement unit that measures the inclination of the mobile terminal, a change unit that changes a display direction of content to be displayed on the display screen of the mobile terminal according to a state of a user holding the mobile terminal, and a change An operation interval setting unit that sets the operation interval of the unit based on a change with time of the inclination measured by the inclination measurement unit, and an operation control unit that causes the change unit to operate at the operation interval set by the operation interval setting unit.
  • FIG. 1 is a diagram for explaining a problem of the prior art.
  • FIG. 2 is a functional block diagram of the mobile terminal according to the embodiment of the present technology.
  • FIG. 3 is a diagram illustrating a process flow of the operation interval determination process.
  • FIG. 4 is a diagram illustrating a process flow of the operation interval determination process.
  • FIG. 5 is a diagram illustrating a process flow of the operation interval determination process.
  • FIG. 6 is a diagram illustrating a process flow of the operation interval determination process.
  • FIG. 7 is a diagram illustrating a processing flow of the display direction control processing.
  • FIG. 8 is a functional block diagram of the computer.
  • FIG. 2 shows a functional block diagram of the mobile terminal 1 according to the embodiment of the present technology.
  • the mobile terminal 1 which is a mobile phone, a PDA, a smartphone, or a small personal computer includes an inclination sensor 101, an inclination data storage unit 103, an operation interval setting unit 105, a time measurement unit 107, and an operation interval data storage unit 109.
  • the operation interval setting unit 105 includes an inclination change detection unit 1051, a quantized inclination value storage unit 1053, a state data storage unit 1055, a state monitoring unit 1057, and a setting unit 1059.
  • the tilt sensor 101 measures the tilt of the mobile terminal 1 and stores it in the tilt data storage unit 103.
  • the inclination change detection unit 1051 calculates a quantized inclination value based on the data stored in the inclination data storage unit 103, or based on the data stored in the quantized inclination value storage unit 1053 and the state data storage unit 1055. Processing is performed, and processing for notifying the status monitoring unit 1057 of the processing result is performed.
  • the state monitoring unit 1057 performs processing for updating the data stored in the state data storage unit 1055, notifying the setting unit 1059 that the data stored in the state data storage unit 1055 has been updated, and the like.
  • the setting unit 1059 determines the operation interval based on the notification from the state monitoring unit 1057 and stores the operation interval data in the operation interval data storage unit 109.
  • the time measuring unit 107 outputs time data to the operation interval setting unit 105 and the operation control unit 111.
  • the motion control unit 111 controls the motion intervals of the camera 113, the face direction specifying unit 117, and the display direction control unit 121 based on the data stored in the motion interval data storage unit 109.
  • the camera 113 captures a user who operates the mobile terminal 1 and stores the user image in the image storage unit 115.
  • the face direction specifying unit 117 analyzes the image stored in the image storage unit 115, specifies the relative direction of the user's face with respect to a predetermined direction of the mobile terminal 1, and analyzes the analysis result as the analysis result storage unit 119. To store.
  • the display direction control unit 121 specifies the display direction of the content to be displayed on the display screen of the mobile terminal 1 based on the data stored in the analysis result storage unit 119 so that the content is displayed in the specified display direction.
  • the display control unit 123 is controlled. The display control unit 123 changes the display direction of the content displayed on the display screen of the mobile terminal 1.
  • the tilt sensor 101 is an acceleration sensor, a geomagnetic sensor, a gyro sensor, or the like.
  • the tilt sensor 101 measures, for example, the tilt angle of two or more coordinate axes centered on the mobile terminal as the tilt of the mobile terminal 1. Note that the tilt sensor 101 is controlled to perform measurement at a constant interval of, for example, about 20 milliseconds.
  • the time measuring unit 107 measures the elapsed time by counting up the counter value every time a predetermined unit of time (for example, 10 milliseconds) elapses.
  • a counter including a crystal resonator is used for the time measuring unit 107.
  • the camera 113 is an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge-Coupled Device) image sensor provided on the same surface as the display screen of the mobile terminal 1. Normally, when the user operates the mobile terminal, the user sees the display screen of the mobile terminal, so that the user's image captured by the camera 113 naturally includes the area of the user's face.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge-Coupled Device
  • the face direction identification unit 117 performs a process of identifying the face direction after identifying the face position in the image by performing face detection.
  • face detection for example, characteristic patterns such as eyes, nose, and mouth included in the human skin color region in the image are collated with a standard pattern, and when they are in a specific positional relationship, the face is determined.
  • a method may be used.
  • a method may be used in which a standard face pattern is prepared and the faceness is determined by performing pattern matching on the human skin color area in the image.
  • a method for specifying the face direction for example, a method is used in which the probability that the angle is the correct angle is calculated while rotating the image by a certain angle, and the angle with the highest probability is specified as the face direction. That's fine.
  • the display direction control unit 121 identifies the display direction of the content based on the analysis result regarding the face direction stored in the analysis result storage unit 119. For example, the display direction is determined such that the direction of the user's head in the image matches the upward direction of the content. As a result, the content is displayed in a display direction preferable for the user.
  • tilt sensor 101 the time measuring unit 107, the camera 113, the face direction specifying unit 117, and the display direction control unit 121 are conventionally known and will not be described in further detail.
  • the tilt sensor 101 measures the tilt of the mobile terminal 1 and stores the measured value in the tilt data storage unit 103 (FIG. 3: step S11). Then, the inclination change detection unit 1051 calculates a quantized inclination value H from the inclination data stored in the inclination data storage unit 103, and stores it in a storage device such as a main memory (step S13).
  • the quantization gradient value will be described.
  • the direction in which the mobile terminal 1 is tilted with respect to the direction of gravity is specified from the tilt data stored in the tilt data storage unit 103, and a value obtained by quantizing the specified direction is obtained. .
  • four values of “0”, “1”, “2”, and “3” are used. If the direction in which the mobile terminal 1 is tilted is 0 ° to 89 °, the quantization tilt value is “0”, and if it is 90 ° to 179 °, the quantization tilt value is “1”. When the angle is 180 ° to 269 °, the quantization gradient value is “2”. When the angle is 270 ° to 359 °, the quantization gradient value is “3”.
  • a change in the quantized inclination value is detected as an inclination change event. This is because the user often does not need to change the display direction when the display screen is slightly inclined.
  • the inclination change detection unit 1051 reads the state data from the state data storage unit 1055, and determines whether the state data is “0” (step S15).
  • the state data “0” indicates that the state of the mobile terminal 1 is stable. If the status data is “0” (step S15: Yes route), the process proceeds to step S19 in FIG.
  • step S15 when the state data is not “0” (step S15: No route), the inclination change detection unit 1051 determines whether the state data is “1” (step S17).
  • the state data “1” indicates that the state immediately after the inclination change event is detected. If the status data is “1” (step S17: Yes route), the process proceeds to step S31 in FIG.
  • step S17 No route
  • the status data is “2”
  • the process proceeds to step S51 in FIG.
  • the status data “2” indicates that a certain time has elapsed after the inclination change event is detected.
  • the inclination change detection unit 1051 reads the quantization inclination value H p from the quantization inclination value storage unit 1053, and determines whether or not it is equal to the quantization inclination value H calculated in step S13 (step S13). S19).
  • the quantization gradient value Hp is the previously calculated quantization gradient value. In step S19, it is determined whether an inclination change event has occurred by comparing the quantized inclination values.
  • step S19: Yes route If H p is equal to H (step S19: Yes route), the process proceeds to step S29. On the other hand, when H p is not equal to H (step S19: No route), the inclination change detection unit 1051 notifies the state monitoring unit 1057 that an inclination change event has been detected. Further, the state monitoring unit 1057 causes the time measuring unit 107 to start measuring the stable monitoring time (step S21).
  • the stability monitoring time is a time for determining whether the state of the mobile terminal 1 is stable.
  • step S23 the state monitoring unit 1057 changes the state data stored in the state data storage unit 1055 from “0” to “1” (step S23). This is because a tilt change event has been detected and is no longer in a stable state.
  • step S23 the state monitoring unit 1057 notifies the setting unit 1059 that the state data has been changed from “0” to “1”.
  • step S25 the setting unit 1059 changes the operation interval T stored in the operation interval data storage unit 109 to t 1 (step S25).
  • step S25 since the operation interval T when status data is "0", such should be set to t 1, step S25 may be skipped.
  • the operation interval T will be described.
  • t 1 is set when it is desired to suppress power consumption
  • either the t 2 to set when you want frequently and controls the display direction is used.
  • t 1 is set longer than t 2, infinity (i.e., does not operate) may be. If t 1 is set in this way, the display direction control is not performed much (or not performed at all) when the user uses the mobile terminal 1 in the same posture for a long time without holding the mobile terminal 1. Power consumption can be greatly reduced.
  • t 2 is set to about 20 to 200 milliseconds, for example, the user can obtain an almost instantaneous response.
  • t 1 is set as the operation interval T. This is because, since the state of the mobile terminal 1 is stable, the frequency of controlling the display direction is reduced and the power consumption is suppressed. Even when the state data is “1”, t 1 is set as the operation interval T. This is because the state of the portable terminal 1 is not stable, and even if the display direction is changed, there is a possibility that it must be changed again immediately. Therefore, it is not efficient to increase the frequency of the display direction control.
  • t 2 is set as the operation interval T. This is because the state of the portable terminal 1 is stable, so that the operation interval is shortened and the display direction can be changed quickly.
  • the inclination change detection unit 1051 changes the quantization inclination value stored in the quantization inclination value storage unit 1053 to the quantum inclination value calculated in Step S13 (Step S27). If the process should not be terminated (step S29: No route), the process returns to the process of step S11 via the terminal D. When the process is to be ended (for example, when an instruction to end or stop the process is given) (step S29: Yes route), the process ends.
  • the inclination change detection unit 1051 reads the quantization inclination value H p from the quantization inclination value storage unit 1053 and determines whether or not it is equal to the quantization inclination value H calculated in step S13. (Step S31).
  • H p is not equal to H (step S31: No route)
  • the inclination change detection unit 1051 notifies the state monitoring unit 1057 that the inclination change event has been detected.
  • the state monitoring unit 1057 causes the time measuring unit 107 to start measuring the stable monitoring time (step S33). The process proceeds to step S27 in FIG.
  • step S31 Yes route
  • the inclination change detection unit 1051 notifies the state monitoring unit 1057 that an inclination change event has not been detected. Then, the state monitoring unit 1057 determines whether or not the stable monitoring time during measurement in the time measuring unit 107 is equal to or greater than a predetermined threshold (step S35). If it is not equal to or greater than the predetermined threshold value (step S35: No route), it is considered that the state of the mobile terminal 1 is not yet stable, so the process proceeds to step S27 in FIG.
  • step S35 Yes route
  • the state monitoring unit 1057 causes the time measurement unit 107 to start measuring the monitoring enhancement time because it is considered that the state of the mobile terminal 1 is stable ( Step S37). Since the frequency of the display direction control is high during the monitoring enhancement time, the display direction control can be quickly performed with respect to a change in the user's state.
  • step S39 the state monitoring unit 1057 changes the state data stored in the state data storage unit 1055 from “1” to “2” (step S39). This is because the state of the mobile terminal 1 is considered stable.
  • step S39 the state monitoring unit 1057 notifies the setting unit 1059 that the state data has been changed from “1” to “2”.
  • the setting unit 1059, the operation interval T that is stored in the operation interval data storage unit 109 is changed from t 1 to t 2 (step S41). That is, the operation interval is shortened.
  • the inclination change detection unit 1051 reads the quantization inclination value H p from the quantization inclination value storage unit 1053 and determines whether or not it is equal to the quantization inclination value H calculated in step S13. (Step S51).
  • H p is not equal to H (step S51: No route)
  • the inclination change detection unit 1051 notifies the state monitoring unit 1057 that the inclination change event has been detected. Then, the state monitoring unit 1057 causes the time measuring unit 107 to start measuring the stable monitoring time (step S53).
  • step S55 the state monitoring unit 1057 changes the state data stored in the state data storage unit 1055 from “2” to “1” (step S55).
  • step S55 the state monitoring unit 1057 notifies the setting unit 1059 that the state data has been changed from “2” to “1”.
  • the setting unit 1059, the operation interval T that is stored in the operation interval data storage unit 109 is changed from t 2 to t 1 (step S57). That is, the operation interval is lengthened to reduce power consumption.
  • step S51 Yes route
  • the inclination change detection unit 1051 notifies the state monitoring unit 1057 that an inclination change event has not been detected. Then, the state monitoring unit 1057 determines whether or not the monitoring enhancement time being measured in the time measuring unit 107 is equal to or greater than a predetermined threshold (step S59). If it is not equal to or greater than the predetermined threshold (step S59: No route), the process proceeds to step S27 in FIG.
  • step S59 when it is equal to or greater than the predetermined threshold (step S59: Yes route), the state monitoring unit 1057 changes the state data stored in the state data storage unit 1055 from “2” to “0” (step S61). .
  • step S61 the state monitoring unit 1057 notifies the setting unit 1059 that the state data has been changed from “2” to “0”.
  • the setting unit 1059, the operation interval T that is stored in the operation interval data storage unit 109 is changed from t 2 to t 1 (step S63). That is, the operation interval is lengthened. This is because it is not necessary to perform the display direction control frequently, so that the operation interval is lengthened and the power consumption is reduced. Then, the process proceeds to step S27 in FIG.
  • the operation control unit 111 determines whether or not the elapsed time measured by the time measurement unit 107 exceeds the operation interval T stored in the operation interval data storage unit 109 (step S71). When the elapsed time does not exceed the operation interval T (step S71: No route), the process of step S71 is repeated.
  • the motion control unit 111 controls the camera 113, the face direction specifying unit 117, and the display direction control unit 121 to start the motion.
  • the camera 113 images the user who operates the portable terminal 1, and stores the user's image in the image storage unit 115 (step S73).
  • the face direction specifying unit 117 analyzes the image stored in the image storage unit 115, specifies the relative direction of the user's face with respect to a predetermined direction of the mobile terminal 1, and stores the analysis result as the analysis result.
  • the data is stored in the unit 119 (step S75).
  • the display direction control unit 121 specifies the display direction of the content based on the data stored in the analysis result storage unit 119, and controls the display control unit 123 so that the content is displayed in the specified display direction. (Step S77).
  • step S79 determines whether the process should be terminated. If the process should not be terminated (step S79: No route), the time measurement unit 107 is instructed to start measuring elapsed time, and the process returns to step S71. On the other hand, when the process should be terminated (for example, when the process is instructed to end or stop) (step S79: Yes route), the process is terminated.
  • the present technology has been described above, but the present technology is not limited to this.
  • the functional block diagram of the mobile terminal 1 described above does not necessarily correspond to an actual program module configuration.
  • the processing order can be changed if the processing result does not change. Further, it may be executed in parallel.
  • the configuration may be such that the tilt at the time when the display direction control is last performed is held, and the tilt change event is detected when there is a change of a certain value or more from the tilt.
  • the display direction control may be performed based on the tilt measured by the tilt sensor 101.
  • a portable terminal using such a technique is well known in the art and will not be described in detail here.
  • the camera 113 when it takes time to set up or initialize the camera 113, the camera 113 is always kept operating, and only the operation intervals of the face direction specifying unit 117 and the display direction control unit 121 are controlled. May be.
  • the portable terminal 1 includes a memory 2501 (storage unit), a CPU 2503 (processing unit), a hard disk drive (HDD) 2505, a display control unit 2507 connected to the display device 2509, and a removable disk.
  • a 2511 drive device 2513, an input device 2515, a communication control unit 2517 for connecting to a network, and a sensor group 2521 are connected by a bus 2519.
  • An OS (Operating System) and a control program for executing the processing in the present embodiment are stored in the HDD 2505, and are read from the HDD 2505 to the memory 2501 when executed by the CPU 2503. If necessary, the CPU 2503 controls a sensor group 2521 (an inclination sensor and a camera.
  • a time measurement unit, etc. to acquire a necessary measurement value, and also displays a display control unit 2507, a drive device 2513, and communication control.
  • the unit 2517 is controlled to perform necessary operations. Further, data in the middle of processing is stored in the memory 2501 and stored in the HDD 2505 if necessary.
  • Such a computer realizes various functions as described above by organically cooperating hardware such as the CPU 2503 and the memory 2501 described above, the control program, and the OS.
  • the mobile terminal changes the display direction of content to be displayed on the display screen of the mobile terminal in accordance with (A) an inclination measuring unit that measures the inclination of the mobile terminal, and (B) the state of the user holding the mobile terminal. And (C) an operation interval setting unit that sets an operation interval of the changing unit based on a change over time of the inclination measured by the inclination measuring unit, and (D) a changing unit is set by the operation interval setting unit. And an operation control unit that operates at an operation interval.
  • the power consumed by the changing unit can be reduced.
  • the changing unit described above includes an image acquisition unit that acquires an image of a user holding the mobile terminal, and an image acquired by the image acquisition unit, and is included in the image with respect to a predetermined direction of the mobile terminal.
  • Direction specifying unit for specifying the relative direction of the user's face, and display direction control for changing the display direction of the content to be displayed on the display screen according to the relative direction of the user's face specified by the direction specifying unit May be included. If the relative direction of the user's face is known, the display direction preferable for the user can be known.
  • the operation interval setting unit described above detects a tilt change event, and when the inclination changing event is detected by the detecting unit, A state monitoring unit that monitors whether a tilt change event is detected before the first time elapses after the tilt change event is detected, and a tilt change event is not detected even after the first time elapses A setting unit that shortens the operation interval by a predetermined time may be included. Changing the display direction frequently when the tilt is not stable is not efficient and consumes power wastefully, so that the operation interval is shortened after the tilt is stabilized.
  • the state monitoring unit described above does not detect the tilt change event until the second time has elapsed after the first time has elapsed. If the inclination change event is not detected even after the second time elapses, the setting unit described above may return the operation interval to the original operation interval. When it is no longer necessary to operate at high frequency, the operation interval is restored to reduce power consumption.
  • the setting unit described above returns the operation interval to the original operation interval, and the state monitoring unit described above performs the tilt change event.
  • it may be monitored again whether an inclination change event is detected before the first time elapses after the detection. When the inclination is not stable, the operation interval is restored to reduce the power consumption.
  • a program for causing the hardware to perform the processing described above, and the program can be read by a computer such as a flexible disk, a CD-ROM, a magneto-optical disk, a semiconductor memory, and a hard disk. It is stored in a possible storage medium or storage device. Note that data being processed is temporarily stored in a storage device such as a computer memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　本携帯端末は、携帯端末の傾きを計測する傾き計測部と、携帯端末を保持するユーザの状態に応じて当該携帯端末の表示画面に表示すべきコンテンツの表示方向を変更する変更部と、傾き計測部により計測された傾きが所定値以上変化した場合、傾き変化イベントとして検出する検出部と、検出部により傾き変化イベントが検出された場合、当該傾き変化イベントが検出された後、第１の時間が経過するまでに傾き変化イベントが検出されるか監視する状態監視部と、第１の時間が経過しても傾き変化イベントが検出されない場合に変更部の動作間隔を所定時間分短くする設定部と、変更部を、動作間隔設定部により設定された動作間隔で動作させる動作制御部とを有する。

Description

携帯端末、動作間隔設定方法及びプログラム
　本技術は、携帯端末における表示制御技術に関する。
　携帯電話、ＰＤＡ（Personal Digital Assistant）又はスマートフォンといった携帯端末は、ユーザが手に持って操作するのを容易にするため、長方形の平板形状であることが多い。そのため、表示画面の形状も長方形になることが多い。一方で、表示画面に表示するウェブページ等のコンテンツの形状は、必ずしも表示画面の形状に合っているわけではないため、コンテンツによっては適切に表示されないことがある。例えば、図１に示すように、表示画面が携帯端末の縦方向に長い形状である場合、横方向に長いコンテンツを表示させると、コンテンツの一部が表示画面に表示されなくなってしまう。
　このような問題に対し、コンテンツの表示方向を制御する技術が存在する。具体的には、携帯端末に備え付けられたカメラで撮影した画像に基づいて、携帯端末の使用者の顔の情報を取得する。また、使用者の顔の向きと携帯端末の向きとの相対的な位置関係を把握する。そして、把握した位置関係に従って、携帯端末の表示画面に表示する情報の向きを決定する。
　しかし、ユーザの顔の方向が変化しないかを監視するために常にカメラに通電を行い、画像解析をすると、消費電力が非常に大きくなる。携帯端末の場合、バッテリーの持続時間が短くなるということは望ましくない。一方で、単純に撮像や画像解析の頻度を下げて消費電力を削減しようとすると、レスポンスが遅くなるという問題がある。
特開２００７－１７５９６号公報 特開２００８－１７７８１９号公報 特開２００９－１３０８１６号公報
　従って、本技術の目的は、携帯端末における表示制御において、消費電力を削減するための技術を提供することである。
　本携帯端末は、携帯端末の傾きを計測する傾き計測部と、携帯端末を保持するユーザの状態に応じて当該携帯端末の表示画面に表示すべきコンテンツの表示方向を変更する変更部と、変更部の動作間隔を、傾き計測部により計測された傾きの経時変化に基づき設定する動作間隔設定部と、変更部を、動作間隔設定部により設定された動作間隔で動作させる動作制御部とを有する。
図１は、従来技術の問題を説明するための図である。 図２は、本技術の一実施の形態に係る携帯端末の機能ブロック図である。 図３は、動作間隔決定処理の処理フローを示す図である。 図４は、動作間隔決定処理の処理フローを示す図である。 図５は、動作間隔決定処理の処理フローを示す図である。 図６は、動作間隔決定処理の処理フローを示す図である。 図７は、表示方向制御処理の処理フローを示す図である。 図８は、コンピュータの機能ブロック図である。
　図２に、本技術の一実施の形態に係る携帯端末１の機能ブロック図を示す。例えば携帯電話やＰＤＡ、スマートフォン、小型のパーソナルコンピュータである携帯端末１は、傾きセンサ１０１と、傾きデータ格納部１０３と、動作間隔設定部１０５と、時間計測部１０７と、動作間隔データ格納部１０９と、動作制御部１１１と、カメラ１１３と、画像格納部１１５と、顔方向特定部１１７と、解析結果格納部１１９と、表示方向制御部１２１と、表示制御部１２３とを有する。また、動作間隔設定部１０５は、傾き変化検出部１０５１と、量子化傾き値格納部１０５３と、状態データ格納部１０５５と、状態監視部１０５７と、設定部１０５９とを有する。
　傾きセンサ１０１は、携帯端末１の傾きを計測し、傾きデータ格納部１０３に格納する。傾き変化検出部１０５１は、傾きデータ格納部１０３に格納されているデータに基づき量子化傾き値を算出したり、量子化傾き値格納部１０５３及び状態データ格納部１０５５に格納されているデータに基づき処理を行い、処理結果を状態監視部１０５７に通知する処理等を行う。状態監視部１０５７は、状態データ格納部１０５５に格納されているデータを更新したり、状態データ格納部１０５５に格納されているデータが更新されたことを設定部１０５９に通知する処理等を行う。設定部１０５９は、状態監視部１０５７からの通知に基づき動作間隔を決定し、動作間隔のデータを動作間隔データ格納部１０９に格納する。時間計測部１０７は、動作間隔設定部１０５及び動作制御部１１１に対し時間のデータを出力する。動作制御部１１１は、動作間隔データ格納部１０９に格納されているデータに基づき、カメラ１１３、顔方向特定部１１７及び表示方向制御部１２１の動作間隔を制御する。カメラ１１３は、携帯端末１を操作するユーザを撮像し、ユーザの画像を画像格納部１１５に格納する。顔方向特定部１１７は、画像格納部１１５に格納されている画像を解析し、携帯端末１の所定の方向に対する、ユーザの顔の相対的な方向を特定し、解析結果を解析結果格納部１１９に格納する。表示方向制御部１２１は、解析結果格納部１１９に格納されているデータに基づき、携帯端末１の表示画面に表示するコンテンツの表示方向を特定し、特定された表示方向にコンテンツが表示されるよう表示制御部１２３を制御する。表示制御部１２３は、携帯端末１の表示画面に表示するコンテンツの表示方向を変更する。
　傾きセンサ１０１は、加速度センサや地磁気センサ、ジャイロセンサ等である。傾きセンサ１０１は、例えば、携帯端末を中心とした２軸以上の座標軸における傾斜角を携帯端末１の傾きとして計測する。なお、傾きセンサ１０１は、例えば２０ミリ秒程度の一定間隔で計測を行うように制御される。
　時間計測部１０７は、所定単位の時間（例えば１０ミリ秒）が経過する毎にカウンタ値をカウントアップすることにより、時間の経過を計測する。時間計測部１０７には、例えば水晶振動子を含むカウンタを用いる。
　カメラ１１３は、携帯端末１の表示画面と同じ面に備え付けられた、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge-Coupled Device）イメージセンサ等の撮像センサである。普通、ユーザは携帯端末を操作するときは携帯端末の表示画面を見るので、カメラ１１３により撮像されたユーザの画像には自ずとユーザの顔の領域が含まれるようになる。
　顔方向特定部１１７は、顔検出を行うことにより、画像における顔の位置を特定した上で、顔の方向を特定する処理を行う。顔検出としては、例えば、画像における人肌色の領域に含まれる目や鼻、口といった特徴的なパターンを標準パターンと照合し、さらにそれらが特定の位置関係にある場合に顔であると判定する方法を用いればよい。また、標準的な顔のパターンを用意しておき、画像における人肌色領域に対してパターン照合を行うことにより顔らしさを判定する方法を用いてもよい。また、顔の方向を特定する方法は、例えば、画像を一定角度ずつ回転させながら、その角度が正しい角度である確からしさを算出し、最も確からしさの高い角度を顔方向として特定する方法を用いればよい。
　表示方向制御部１２１は、解析結果格納部１１９に格納されている、顔の方向に関する解析結果に基づき、コンテンツの表示方向を特定する。例えば、画像におけるユーザの頭の方向とコンテンツの上方向とが一致するような表示方向に決定する。これにより、ユーザにとって好ましい表示方向でコンテンツが表示されるようになる。
　なお、傾きセンサ１０１、時間計測部１０７、カメラ１１３、顔方向特定部１１７及び表示方向制御部１２１は従来から知られているものであるから、これ以上詳しくは述べない。
　次に、図２に示した携帯端末１の動作を図３乃至図７を用いて説明する。まず、図３乃至図６を用いて動作間隔設定処理について説明し、次に図７を用いて表示方向制御処理について説明する。
　まず、傾きセンサ１０１は、携帯端末１の傾きを計測し、計測値を傾きデータ格納部１０３に格納する（図３：ステップＳ１１）。そして、傾き変化検出部１０５１は、傾きデータ格納部１０３に格納されている傾きのデータから、量子化傾き値Ｈを算出し、メインメモリ等の記憶装置に格納する（ステップＳ１３）。
　ここで、量子化傾き値について説明する。本実施の形態では、傾きデータ格納部１０３に格納されている傾きのデータから、携帯端末１が重力方向に対して傾いている方向を特定し、さらに特定された方向を量子化した値を求める。量子化には、「０」、「１」、「２」及び「３」の４つの値を用いるものとする。そして、携帯端末１が傾いている方向が、０°から８９°である場合には量子化傾き値を「０」とし、９０°から１７９°である場合には量子化傾き値を「１」とし、１８０°から２６９°である場合には量子化傾き値を「２」とし、２７０°から３５９°である場合には量子化傾き値を「３」とする。
　以下で述べるように、本実施の形態では量子化傾き値の変化を傾き変化イベントとして検出している。これは、実用上、わずかに表示画面が傾いた程度ではユーザは表示方向の変更を必要としない場合が多いからである。
　図３の説明に戻り、傾き変化検出部１０５１は、状態データ格納部１０５５から状態データを読み出し、当該状態データが「０」であるか判断する（ステップＳ１５）。状態データが「０」であることは、携帯端末１の状態が安定していることを表している。状態データが「０」である場合（ステップＳ１５：Ｙｅｓルート）、処理は端子Ａを介して図４のステップＳ１９に移行する。
　一方、状態データが「０」でない場合（ステップＳ１５：Ｎｏルート）、傾き変化検出部１０５１は、状態データが「１」であるか判断する（ステップＳ１７）。状態データが「１」であることは、傾き変化イベントが検出された直後であることを表している。状態データが「１」である場合（ステップＳ１７：Ｙｅｓルート）、処理は端子Ｂを介して図５のステップＳ３１に移行する。
　一方、状態データが「１」でない場合（ステップＳ１７：Ｎｏルート）、状態データが「２」であるので、処理は端子Ｃを介して図６のステップＳ５１に移行する。なお、状態データが「２」であることは、傾き変化イベントが検出された後一定時間が経過したことを表している。
　図４の説明に移行して、傾き変化検出部１０５１は、量子化傾き値格納部１０５３から量子化傾き値Ｈｐを読み出し、ステップＳ１３において算出した量子化傾き値Ｈと等しいか判断する（ステップＳ１９）。量子化傾き値Ｈｐは、前回算出した量子化傾き値である。ステップＳ１９においては、量子化傾き値を比較することにより、傾き変化イベントが起こったかを判断している。
　そして、ＨｐがＨと等しい場合（ステップＳ１９：Ｙｅｓルート）、処理はステップＳ２９に移行する。一方、ＨｐがＨと等しくない場合（ステップＳ１９：Ｎｏルート）、傾き変化検出部１０５１は、傾き変化イベントが検出されたことを状態監視部１０５７に通知する。また、状態監視部１０５７は、時間計測部１０７に安定監視時間の計測を開始させる（ステップＳ２１）。安定監視時間とは、携帯端末１の状態が安定しているか判断するための時間である。
　次に、状態監視部１０５７は、状態データ格納部１０５５に格納されている状態データを「０」から「１」に変更する（ステップＳ２３）。傾き変化イベントが検出されたため、もはや安定状態にはないからである。また、ステップＳ２３において、状態監視部１０５７は、状態データが「０」から「１」に変更されたことを設定部１０５９に通知する。そして、設定部１０５９は、動作間隔データ格納部１０９に格納されている動作間隔Ｔをｔ１に変更する（ステップＳ２５）。なお、本実施の形態においては、状態データが「０」である場合には動作間隔Ｔはｔ１に設定されているはずなので、ステップＳ２５はスキップしてもよい。
　ここで、動作間隔Ｔについて説明する。本実施の形態においては、動作間隔Ｔとして、電力の消費を抑えたい場合に設定するｔ１と、表示方向の制御を頻繁に行いたい場合に設定するｔ２とのいずれかを用いる。ｔ１はｔ２より長く設定するが、無限大（すなわち、動作を行わない）としてもよい。このようにｔ１を設定すれば、ユーザが携帯端末１を持ち替えずに長時間同じ姿勢で使っているような場合には表示方向制御があまり行われない（あるいは、全く行われない）ため、消費電力を大幅に削減できる。一方、ｔ２は、例えば２０から２００ミリ秒程度に設定すれば、ユーザはほぼ瞬間的なレスポンスを得ることができる。
　本実施の形態では、状態データが「０」である場合には、動作間隔Ｔとしてｔ１を設定する。携帯端末１の状態が安定しているため、表示方向の制御を行う頻度を低くし、電力の消費を抑えるためである。状態データが「１」である場合にも、動作間隔Ｔとしてｔ１を設定する。携帯端末１の状態が安定しておらず、表示方向を変更してもすぐにまた変更しなければならない可能性があるため、表示方向制御の頻度を上げるのは効率的ではないからである。状態データが「２」である場合には、動作間隔Ｔとしてｔ２を設定する。携帯端末１の状態が安定したため、動作間隔を短くし、迅速に表示方向を変更できるようにするためである。
　図４の説明に戻り、傾き変化検出部１０５１は、量子化傾き値格納部１０５３に格納されている量子化傾き値を、ステップＳ１３で算出した量子傾き値に変更する（ステップＳ２７）。そして、処理を終了すべきでない場合には（ステップＳ２９：Ｎｏルート）、処理は端子Ｄを介してステップＳ１１の処理に戻る。処理を終了すべき場合（例えば処理終了又は停止を指示された場合など）には（ステップＳ２９：Ｙｅｓルート）、処理を終了する。
　次に、図５の説明に移行して、傾き変化検出部１０５１は、量子化傾き値格納部１０５３から量子化傾き値Ｈｐを読み出し、ステップＳ１３において算出した量子化傾き値Ｈと等しいか判断する（ステップＳ３１）。ＨｐがＨと等しくない場合（ステップＳ３１：Ｎｏルート）、傾き変化イベントが検出されたので、傾き変化検出部１０５１は、傾き変化イベントが検出されたことを状態監視部１０５７に通知する。そして、状態監視部１０５７は、時間計測部１０７に安定監視時間の計測を開始させる（ステップＳ３３）。処理は端子Ｅを介して図４のステップＳ２７に移行する。
　一方、ＨｐがＨと等しい場合（ステップＳ３１：Ｙｅｓルート）、傾き変化検出部１０５１は、傾き変化イベントが検出されていないことを状態監視部１０５７に通知する。そして、状態監視部１０５７は、時間計測部１０７において計測中の安定監視時間が所定の閾値以上になったか判断する（ステップＳ３５）。所定の閾値以上でない場合（ステップＳ３５：Ｎｏルート）、まだ携帯端末１の状態が安定していないと考えられるため、処理は端子Ｅを介して図４のステップＳ２７に移行する。
　一方、所定の閾値以上である場合（ステップＳ３５：Ｙｅｓルート）、携帯端末１の状態が安定したと考えられるため、状態監視部１０５７は、時間計測部１０７に監視強化時間の計測を開始させる（ステップＳ３７）。監視強化時間中は、表示方向制御の頻度が高くなるので、ユーザの状態の変化に対して迅速に表示方向制御を行うことができる。
　そして、状態監視部１０５７は、状態データ格納部１０５５に格納されている状態データを「１」から「２」に変更する（ステップＳ３９）。携帯端末１の状態が安定したとみなされるからである。また、ステップＳ３９において、状態監視部１０５７は、状態データが「１」から「２」に変更されたことを設定部１０５９に通知する。そして、設定部１０５９は、動作間隔データ格納部１０９に格納されている動作間隔Ｔをｔ１からｔ２に変更する（ステップＳ４１）。すなわち、動作間隔を短くする。そして、処理は端子Ｅを介して図４のステップＳ２７に移行する。
　次に、図６の説明に移行して、傾き変化検出部１０５１は、量子化傾き値格納部１０５３から量子化傾き値Ｈｐを読み出し、ステップＳ１３において算出した量子化傾き値Ｈと等しいか判断する（ステップＳ５１）。ＨｐがＨと等しくない場合（ステップＳ５１：Ｎｏルート）、傾き変化イベントが検出されたので、傾き変化検出部１０５１は、傾き変化イベントが検出されたことを状態監視部１０５７に通知する。そして、状態監視部１０５７は、時間計測部１０７に安定監視時間の計測を開始させる（ステップＳ５３）。
　そして、状態監視部１０５７は、状態データ格納部１０５５に格納されている状態データを「２」から「１」に変更する（ステップＳ５５）。また、ステップＳ５５において、状態監視部１０５７は、状態データが「２」から「１」に変更されたことを設定部１０５９に通知する。そして、設定部１０５９は、動作間隔データ格納部１０９に格納されている動作間隔Ｔをｔ２からｔ１に変更する（ステップＳ５７）。すなわち、消費電力を抑えるため動作間隔を長くする。処理は端子Ｅを介して図４のステップＳ２７に移行する。
　一方、ＨｐがＨと等しい場合（ステップＳ５１：Ｙｅｓルート）、傾き変化検出部１０５１は、傾き変化イベントが検出されていないことを状態監視部１０５７に通知する。そして、状態監視部１０５７は、時間計測部１０７において計測中の監視強化時間が所定の閾値以上になったか判断する（ステップＳ５９）。所定の閾値以上でない場合（ステップＳ５９：Ｎｏルート）、処理は端子Ｅを介して図４のステップＳ２７に移行する。
　一方、所定の閾値以上である場合（ステップＳ５９：Ｙｅｓルート）、状態監視部１０５７は、状態データ格納部１０５５に格納されている状態データを「２」から「０」に変更する（ステップＳ６１）。また、ステップＳ６１において、状態監視部１０５７は、状態データが「２」から「０」に変更されたことを設定部１０５９に通知する。そして、設定部１０５９は、動作間隔データ格納部１０９に格納されている動作間隔Ｔをｔ２からｔ１に変更する（ステップＳ６３）。すなわち、動作間隔を長くする。表示方向制御を高頻度で行う必要はないため、動作間隔を長くし、消費電力を減らすためである。そして、処理は端子Ｅを介して図４のステップＳ２７に移行する。
　以上のような処理を実施することにより、携帯端末における表示方向制御において、レスポンスの速さを維持しつつ、且つ消費電力を削減することができる適切な動作間隔を設定できる。
　次に、図７を用いて表示方向制御処理について説明する。まず、動作制御部１１１は、時間計測部１０７に計測させている経過時間が、動作間隔データ格納部１０９に格納されている動作間隔Ｔを超えたかを判断する（ステップＳ７１）。経過時間が動作間隔Ｔを超えていない場合（ステップＳ７１：Ｎｏルート）、ステップＳ７１の処理を繰り返す。
　一方、経過時間が動作間隔Ｔを超えた場合（ステップＳ７１：Ｙｅｓルート）、動作制御部１１１は、カメラ１１３、顔方向特定部１１７及び表示方向制御部１２１を、動作を開始するように制御する。これに対し、カメラ１１３は、携帯端末１を操作するユーザを撮像し、ユーザの画像を画像格納部１１５に格納する（ステップＳ７３）。また、顔方向特定部１１７は、画像格納部１１５に格納されている画像を解析し、携帯端末１の所定の方向に対する、ユーザの顔の相対的な方向を特定し、解析結果を解析結果格納部１１９に格納する（ステップＳ７５）。さらに、表示方向制御部１２１は、解析結果格納部１１９に格納されているデータに基づき、コンテンツの表示方向を特定し、特定された表示方向にコンテンツが表示されるよう表示制御部１２３を制御する（ステップＳ７７）。
　そして、動作制御部１１１は、処理を終了すべきか判断する（ステップＳ７９）。処理を終了すべきでない場合には（ステップＳ７９：Ｎｏルート）、時間計測部１０７に経過時間の計測の開始を指示し、ステップＳ７１に戻る。一方、処理を終了すべき場合（例えば処理終了又は停止を指示された場合など）には（ステップＳ７９：Ｙｅｓルート）、処理を終了する。
　以上のような処理を実施することにより、表示方向の制御に必要な電力を削減することができる。
　以上本技術の一実施の形態を説明したが、本技術はこれに限定されるものではない。例えば、上で説明した携帯端末１の機能ブロック図は必ずしも実際のプログラムモジュール構成に対応するものではない。
　また、上で説明した処理フローは、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。
　なお、上では量子化傾き値として０から３の４つの値を用いる例を示したが、より多くの値又は少ない値を用いることも可能である。
　また、量子化傾き値を用いずに処理を行うことも可能である。例えば、最後に表示方向制御を行った時点の傾きを保持しておき、その傾きから一定値以上の変化があった場合に傾き変化イベントとして検出するような構成であってもよい。
　また、ユーザの画像に顔の領域が含まれていないような場合には、傾きセンサ１０１で計測した傾きに基づき表示方向制御を行うようにしてもよい。このような技術を用いた携帯端末は技術的によく知られたものであるので、ここでは詳しくは述べない。
　また、カメラ１１３のセットアップや初期化等に時間がかかるような場合には、カメラ１１３は常に動作させたままにしておき、顔方向特定部１１７及び表示方向制御部１２１の動作間隔だけを制御してもよい。
　なお、携帯端末１は、図８に示すように、メモリ２５０１（記憶部）とＣＰＵ２５０３（処理部）とハードディスク・ドライブ（ＨＤＤ）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とセンサ群２５２１とがバス２５１９で接続されている。ＯＳ（Operating System）及び本実施の形態における処理を実施するための制御プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。必要に応じてＣＰＵ２５０３は、センサ群２５２１（傾きセンサ及びカメラ。場合によっては時間計測部など。）を制御して、必要な測定値を取得すると共に、表示制御部２５０７、ドライブ装置２５１３、通信制御部２５１７を制御して、必要な動作を行わせる。また、処理途中のデータについては、メモリ２５０１に格納され、必要があればＨＤＤ２５０５に格納される。このようなコンピュータは、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアと制御プログラム及びＯＳとが有機的に協働することにより、上で述べたような各種機能を実現する。
　以上述べた本実施の形態をまとめると以下のようになる。
　本携帯端末は、（Ａ）携帯端末の傾きを計測する傾き計測部と、（Ｂ）携帯端末を保持するユーザの状態に応じて当該携帯端末の表示画面に表示すべきコンテンツの表示方向を変更する変更部と、（Ｃ）変更部の動作間隔を、傾き計測部により計測された傾きの経時変化に基づき設定する動作間隔設定部と、（Ｄ）変更部を、動作間隔設定部により設定された動作間隔で動作させる動作制御部とを有する。
　このように、動作間隔を動的に設定することにより、変更部が消費する電力を削減することができるようになる。
　また、上で述べた変更部が、携帯端末を保持するユーザの画像を取得する画像取得部と、画像取得部により取得された画像を解析し、携帯端末の所定の方向に対する、画像に含まれるユーザの顔の相対的な方向を特定する方向特定部と、方向特定部により特定されたユーザの顔の相対的な方向に応じて表示画面に表示すべきコンテンツの表示方向を変更する表示方向制御部とを有するようにしてもよい。ユーザの顔の相対的な方向がわかれば、ユーザにとって好ましい表示方向がわかることを利用したものである。
　また、上で述べた動作間隔設定部が、傾き計測部により計測された傾きが所定値以上変化した場合、傾き変化イベントとして検出する検出部と、検出部により傾き変化イベントが検出された場合、当該傾き変化イベントが検出された後、第１の時間が経過するまでに傾き変化イベントが検出されるか監視する状態監視部と、第１の時間が経過しても傾き変化イベントが検出されない場合、動作間隔を所定時間分短くする設定部とを有するようにしてもよい。傾きが安定していないときに頻繁に表示方向を変更することは効率的ではなく、無駄に電力を消費することになるため、傾きが安定してから動作間隔を短くするものである。
　また、第１の時間が経過しても傾き変化イベントが検出されない場合、上で述べた状態監視部が、第１の時間が経過した後、第２の時間が経過するまでに傾き変化イベントが検出されるか監視し、第２の時間が経過しても傾き変化イベントが検出されない場合、上で述べた設定部が、動作間隔を元の動作間隔に戻すようにしてもよい。高頻度で動作させる必要がなくなった場合には元の動作間隔に戻し、消費電力を削減するものである。
　さらに、第２の時間が経過する前に傾き変化イベントが検出された場合、上で述べた設定部が、動作間隔を元の動作間隔に戻し、上で述べた状態監視部が、傾き変化イベントが検出された後第１の時間が経過するまでに傾き変化イベントが検出されるか再度監視するようにしてもよい。傾きが安定していない場合には元の動作間隔に戻し、消費電力を削減するものである。
　なお、上で述べたような処理をハードウエアに実施させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ－ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、コンピュータのメモリ等の記憶装置に一時保管される。

Claims (7)

  1. 　携帯端末であって、
    　前記携帯端末の傾きを計測する傾き計測部と、
    　前記携帯端末を保持するユーザの状態に応じて当該携帯端末の表示画面に表示すべきコンテンツの表示方向を変更する変更部と、
    　前記変更部の動作間隔を、前記傾き計測部により計測された傾きの経時変化に基づき設定する動作間隔設定部と、
    　前記変更部を、前記動作間隔設定部により設定された動作間隔で動作させる動作制御部と、
    　を有する携帯端末。
  2. 　前記変更部が、
    　前記携帯端末を保持するユーザの画像を取得する画像取得部と、
    　前記画像取得部により取得された画像を解析し、前記携帯端末の所定の方向に対する、取得された前記画像に含まれるユーザの顔の相対的な方向を特定する方向特定部と、
    　前記方向特定部により特定されたユーザの顔の相対的な方向に応じて前記表示画面に表示すべきコンテンツの表示方向を変更する表示方向制御部と、
    　を有する請求項１記載の携帯端末。
  3. 　前記動作間隔設定部が、
    　前記傾きが所定値以上変化した場合、傾き変化イベントとして検出する検出部と、
    　前記検出部により前記傾き変化イベントが検出された場合、当該傾き変化イベントが検出された後、第１の時間が経過するまでに前記傾き変化イベントが検出されるか監視する状態監視部と、
    　前記第１の時間が経過しても前記傾き変化イベントが検出されない場合、前記動作間隔を所定時間分短くする設定部と、
    　を有する請求項１又は２記載の携帯端末。
  4. 　前記第１の時間が経過しても前記傾き変化イベントが検出されない場合、前記状態監視部が、前記第１の時間が経過した後、第２の時間が経過するまでに前記傾き変化イベントが検出されるか監視し、
    　前記第２の時間が経過しても前記傾き変化イベントが検出されない場合、前記設定部が、前記動作間隔を元の動作間隔に戻す
    　ことを特徴とする請求項３記載の携帯端末。
  5. 　前記第２の時間が経過する前に前記傾き変化イベントが検出された場合、前記設定部が、前記動作間隔を元の動作間隔に戻し、
    　前記状態監視部が、前記傾き変化イベントが検出された後、前記第１の時間が経過するまでに前記傾き変化イベントが検出されるか再度監視する
    　ことを特徴とする請求項４記載の携帯端末。
  6. 　携帯端末により実行される動作間隔設定方法であって、
    　前記携帯端末の傾きを計測するステップと、
    　前記携帯端末を保持するユーザの状態に応じて当該携帯端末の表示画面に表示すべきコンテンツの表示方向を変更する、前記携帯端末の変更部の動作間隔を、計測された前記傾きの経時変化に基づき設定するステップと、
    　前記変更部を、設定された前記動作間隔で動作させるステップと、
    　を含む動作間隔設定方法。
  7. 　携帯端末に実行させるためのプログラムであって、
    　前記携帯端末を保持するユーザの状態に応じて当該携帯端末の表示画面に表示すべきコンテンツの表示方向を変更する、前記携帯端末の変更部の動作間隔を、前記携帯端末の傾きを計測する計測部から取得した傾きの経時変化に基づき設定するステップと、
    　前記変更部を、設定された前記動作間隔で動作させるステップと、
    　を実行させるためのプログラム。
PCT/JP2010/052941 2010-02-25 2010-02-25 携帯端末、動作間隔設定方法及びプログラム WO2011104837A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201080064662.5A CN102770904B (zh) 2010-02-25 2010-02-25 移动终端及其动作间隔设定方法
JP2012501573A JP5741568B2 (ja) 2010-02-25 2010-02-25 携帯端末、動作間隔設定方法及びプログラム
PCT/JP2010/052941 WO2011104837A1 (ja) 2010-02-25 2010-02-25 携帯端末、動作間隔設定方法及びプログラム
US13/587,402 US9117391B2 (en) 2010-02-25 2012-08-16 Portable terminal, and operation interval setting method
US14/178,766 US9311884B2 (en) 2010-02-25 2014-02-12 Portable terminal, and operation interval setting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/052941 WO2011104837A1 (ja) 2010-02-25 2010-02-25 携帯端末、動作間隔設定方法及びプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/587,402 Continuation US9117391B2 (en) 2010-02-25 2012-08-16 Portable terminal, and operation interval setting method
US14/178,766 Continuation US9311884B2 (en) 2010-02-25 2014-02-12 Portable terminal, and operation interval setting method

Publications (1)

Publication Number Publication Date
WO2011104837A1 true WO2011104837A1 (ja) 2011-09-01

Family

ID=44506284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/052941 WO2011104837A1 (ja) 2010-02-25 2010-02-25 携帯端末、動作間隔設定方法及びプログラム

Country Status (4)

Country Link
US (2) US9117391B2 (ja)
JP (1) JP5741568B2 (ja)
CN (1) CN102770904B (ja)
WO (1) WO2011104837A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012120799A1 (ja) * 2011-03-04 2012-09-13 パナソニック株式会社 表示装置及び表示方向切替方法
WO2014155748A1 (ja) * 2013-03-29 2014-10-02 楽天株式会社 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体
JPWO2013084662A1 (ja) * 2011-12-09 2015-04-27 日本電気株式会社 表示装置
JP2016502175A (ja) * 2012-10-22 2016-01-21 ヴィド スケール インコーポレイテッド モバイルデバイスにおけるユーザプレゼンスの検出
US9891713B2 (en) 2014-02-19 2018-02-13 Samsung Electronics Co., Ltd. User input processing method and apparatus using vision sensor
US9983681B2 (en) 2014-10-21 2018-05-29 Samsung Electronics Co., Ltd. Method and apparatus for displaying screen in response to event related to motion of external object
JP2018109791A (ja) * 2011-09-26 2018-07-12 アップル インコーポレイテッド ラップアラウンドディスプレイを備える電子装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155747A1 (ja) * 2013-03-29 2014-10-02 楽天株式会社 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体
CN104598136B (zh) * 2013-10-31 2018-07-31 纬创资通(昆山)有限公司 移动装置及移动装置的显示画面旋转方法
CN104965703A (zh) * 2015-06-17 2015-10-07 广东欧珀移动通信有限公司 一种控制移动终端亮屏的方法及移动终端
CN107527380B (zh) * 2016-06-20 2022-11-18 中兴通讯股份有限公司 图像处理方法和装置
US10885676B2 (en) 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969023A (ja) * 1995-06-19 1997-03-11 Matsushita Electric Ind Co Ltd 画像表示方法及びその装置
JP2000111872A (ja) * 1998-10-05 2000-04-21 Casio Comput Co Ltd 表示装置
JP2003186462A (ja) * 2001-12-14 2003-07-04 Minolta Co Ltd 画像表示装置
JP2005004210A (ja) * 2003-06-14 2005-01-06 Lg Electronics Inc 移動通信端末機の画像傾き自動補正装置及びその方法
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
JP2005266061A (ja) * 2004-03-17 2005-09-29 Olympus Corp 再生装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276127A (ja) * 1999-03-23 2000-10-06 Hitachi Ltd 情報処理装置及び表示制御装置
US8120625B2 (en) * 2000-07-17 2012-02-21 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US6888532B2 (en) * 2001-11-30 2005-05-03 Palmone, Inc. Automatic orientation-based user interface for an ambiguous handheld device
EP1455337A1 (en) * 2003-03-05 2004-09-08 Matsushita Electric Industrial Co., Ltd. Control method for a backlight arrangement, display controller using this method and display apparatus
JP4120648B2 (ja) 2005-02-23 2008-07-16 ヤマハ株式会社 携帯端末、携帯端末の制御方法、プログラムおよび記録媒体
JP2007017596A (ja) 2005-07-06 2007-01-25 Matsushita Electric Ind Co Ltd 携帯端末装置
KR100708178B1 (ko) * 2005-09-01 2007-04-16 삼성전자주식회사 영상 처리 방법, 장치 및 영상 정보를 기록한 정보저장매체
JP2008177819A (ja) 2007-01-18 2008-07-31 Mitsubishi Electric Corp 携帯端末装置
US20080259095A1 (en) * 2007-04-17 2008-10-23 Dubs Justin T Method and Apparatus for Changing Display Orientations on a Monitor of a Portable Computer
US8068121B2 (en) * 2007-06-29 2011-11-29 Microsoft Corporation Manipulation of graphical objects on a display or a proxy device
JP5286754B2 (ja) 2007-11-27 2013-09-11 日本電気株式会社 携帯端末装置、画面表示切替方法、プログラム、コンピュータ読み取り可能な記録媒体
JP5577023B2 (ja) * 2008-02-22 2014-08-20 日立コンシューマエレクトロニクス株式会社 表示装置
KR20090101733A (ko) 2008-03-24 2009-09-29 삼성전자주식회사 휴대 단말기 및 그의 얼굴 인식을 이용한 표시정보의 표시방법
JP4526578B2 (ja) 2008-04-25 2010-08-18 株式会社エヌ・ティ・ティ・ドコモ 携帯装置及びその制御方法
US8860765B2 (en) * 2008-09-08 2014-10-14 Qualcomm Incorporated Mobile device with an inclinometer
KR101500741B1 (ko) * 2008-09-12 2015-03-09 옵티스 셀룰러 테크놀로지, 엘엘씨 카메라가 구비된 이동 단말기 및 이의 촬영 방법
CN101989126B (zh) * 2009-08-07 2015-02-25 深圳富泰宏精密工业有限公司 手持式电子装置及其屏幕画面自动旋转方法
JP2011138449A (ja) 2010-01-04 2011-07-14 Nec Corp 表示制御装置、表示装置、電子装置および表示制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969023A (ja) * 1995-06-19 1997-03-11 Matsushita Electric Ind Co Ltd 画像表示方法及びその装置
JP2000111872A (ja) * 1998-10-05 2000-04-21 Casio Comput Co Ltd 表示装置
JP2003186462A (ja) * 2001-12-14 2003-07-04 Minolta Co Ltd 画像表示装置
JP2005004210A (ja) * 2003-06-14 2005-01-06 Lg Electronics Inc 移動通信端末機の画像傾き自動補正装置及びその方法
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
JP2005266061A (ja) * 2004-03-17 2005-09-29 Olympus Corp 再生装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012120799A1 (ja) * 2011-03-04 2012-09-13 パナソニック株式会社 表示装置及び表示方向切替方法
US9507379B2 (en) 2011-03-04 2016-11-29 Panasonic Intellectual Property Management Co., Ltd. Display device and method of switching display direction
US10345860B2 (en) 2011-09-26 2019-07-09 Apple Inc. Electronic device with wrap around display
US11940844B2 (en) 2011-09-26 2024-03-26 Apple Inc. Electronic device with wrap around display
US11487330B2 (en) 2011-09-26 2022-11-01 Apple Inc. Electronic device with wrap around display
US11137799B2 (en) 2011-09-26 2021-10-05 Apple Inc. Electronic device with wrap around display
JP2018109791A (ja) * 2011-09-26 2018-07-12 アップル インコーポレイテッド ラップアラウンドディスプレイを備える電子装置
JPWO2013084662A1 (ja) * 2011-12-09 2015-04-27 日本電気株式会社 表示装置
JP2016502175A (ja) * 2012-10-22 2016-01-21 ヴィド スケール インコーポレイテッド モバイルデバイスにおけるユーザプレゼンスの検出
JP5799179B2 (ja) * 2013-03-29 2015-10-21 楽天株式会社 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体
WO2014155748A1 (ja) * 2013-03-29 2014-10-02 楽天株式会社 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体
US9891713B2 (en) 2014-02-19 2018-02-13 Samsung Electronics Co., Ltd. User input processing method and apparatus using vision sensor
US9983681B2 (en) 2014-10-21 2018-05-29 Samsung Electronics Co., Ltd. Method and apparatus for displaying screen in response to event related to motion of external object

Also Published As

Publication number Publication date
US9117391B2 (en) 2015-08-25
US9311884B2 (en) 2016-04-12
CN102770904A (zh) 2012-11-07
JP5741568B2 (ja) 2015-07-01
US20120313970A1 (en) 2012-12-13
CN102770904B (zh) 2015-04-08
US20140160167A1 (en) 2014-06-12
JPWO2011104837A1 (ja) 2013-06-17

Similar Documents

Publication Publication Date Title
JP5741568B2 (ja) 携帯端末、動作間隔設定方法及びプログラム
JP6356552B2 (ja) 情報処理装置
EP3962086A1 (en) Prediction mode decoding method and apparatus and prediction mode encoding method and apparatus
US9268137B2 (en) Means for dynamically regulating the time-out characteristics of a display of an electronic device
US8624998B2 (en) Camera image selection based on detected device movement
CN104137028A (zh) 控制被显示图像的旋转的设备和方法
CN108427630B (zh) 性能信息获取方法、装置、终端及计算机可读存储介质
WO2019129020A1 (zh) 一种摄像头自动调焦方法、存储设备及移动终端
WO2014166127A1 (en) Image capturing method, apparatus, and electronic device
JP2011203860A (ja) 情報端末及び表示切替方法
JP2019133385A (ja) 電子機器、制御方法及びプログラム
JP2011138449A (ja) 表示制御装置、表示装置、電子装置および表示制御方法
US20180121711A1 (en) Display control method and apparatus
EP3646579B1 (en) Configuring image stabilization for still image generation
CN114092452A (zh) 增强图像视觉效果的方法、装置、存储介质及终端设备
JP6229720B2 (ja) 端末装置、撮影部起動方法及び撮影部起動プログラム
JP6222256B2 (ja) 携帯端末、動作間隔設定方法及びプログラム
WO2023179440A1 (zh) 拍摄装置的控制方法、控制装置、拍摄装置和电子设备
CN112015612B (zh) 一种获取卡顿信息的方法及装置
US9646576B2 (en) Terminal device, control method for terminal device, program, and information storage medium
CN108647127B (zh) 应用耗电监控方法及装置
US20140292998A1 (en) Managing Use of Resources in Mobile Devices
JP2014090510A (ja) 携帯端末、動作間隔設定方法及びプログラム
JP2019133383A (ja) 電子機器、制御システム、制御方法及びプログラム
JP5660306B2 (ja) 撮像装置、プログラム、及び撮像方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080064662.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10846502

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012501573

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10846502

Country of ref document: EP

Kind code of ref document: A1