WO2012137327A1 - 携帯情報表示端末 - Google Patents

携帯情報表示端末 Download PDF

Info

Publication number
WO2012137327A1
WO2012137327A1 PCT/JP2011/058737 JP2011058737W WO2012137327A1 WO 2012137327 A1 WO2012137327 A1 WO 2012137327A1 JP 2011058737 W JP2011058737 W JP 2011058737W WO 2012137327 A1 WO2012137327 A1 WO 2012137327A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
face
user
portable information
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/058737
Other languages
English (en)
French (fr)
Inventor
康生 政木
河野 誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to PCT/JP2011/058737 priority Critical patent/WO2012137327A1/ja
Priority to KR1020127027913A priority patent/KR20130139746A/ko
Publication of WO2012137327A1 publication Critical patent/WO2012137327A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Definitions

  • the present invention relates to a portable information display terminal, and more particularly to a portable information display terminal including a display unit and a casing provided with the display unit.
  • a portable information display terminal including a display unit and a casing provided with the display unit is known.
  • Such a portable information display terminal is disclosed in, for example, Japanese Unexamined Patent Application Publication No. 2009-130816.
  • Japanese Patent Laid-Open No. 2009-130816 discloses a display unit that displays a television broadcast video (screen display), a mobile phone body (housing) provided with a display unit on the surface, and a camera that can capture a user's face (imaging) A mobile phone (portable information display terminal).
  • the mobile phone according to Japanese Patent Application Laid-Open No. 2009-130816 takes a user's face by using a camera when the user starts viewing a television broadcast video with the display unit while holding the mobile phone body.
  • TV broadcast video is displayed on the display unit in a display direction corresponding to the orientation of the face.
  • the present invention has been made to solve the above-described problems, and one object of the present invention is to display a screen with an appropriate display orientation even when the orientation of the user's face cannot be detected. It is to provide a portable information display terminal capable of displaying.
  • a portable information display terminal includes a display unit for displaying information, a casing on which the display unit is provided, and at least a usage state of the casing and the display unit by detecting the tilt of the casing.
  • a state detection sensor for detecting the image of the user, an imaging unit capable of imaging the user's face, and detecting the orientation of the face using the face detection function based on the user's face data captured by the imaging unit.
  • a control unit that performs control to switch the screen display direction of the display unit based on the detection result of the direction and the detection result of the state detection sensor is provided.
  • the screen of the display unit is based on the detection result of the face direction of the user detected by the face detection function and the detection result by the state detection sensor.
  • the state detection sensor that detects the tilt of the housing can detect what state (posture) the housing is in.
  • the control unit preferably detects the use state of the housing and the display unit by the state detection sensor, and then based on the detection result by the state detection sensor, Control is performed to determine whether or not to detect the face orientation.
  • the state detection sensor it is necessary to detect the usage state of the housing and the display unit by the state detection sensor before starting the imaging unit, and to start the imaging unit according to the detection result by the state detection sensor. Can be determined.
  • an operation process that unnecessarily activates the imaging unit is not performed. Can be done quickly.
  • the control unit when a predetermined use state is detected by the state detection sensor, the control unit is more sensitive to the user's face than the use state detected by the state detection sensor.
  • the orientation detection result is prioritized and the screen display orientation corresponding to the orientation of the user's face is switched. If configured in this way, in the case of a predetermined use state in which it is likely that the screen display direction based on the detection result of the user's face direction and the screen display direction based on the inclination by the state detection sensor are likely to occur. By giving priority to the detection result of the face orientation, it is possible to display the screen display orientation more suitable for the actual usage mode.
  • the predetermined usage state is preferably used by gripping the housing by hand.
  • the control unit prioritizes the detection result of the user's face direction over the use state detected by the state detection sensor when the use state in which the case is gripped by hand is detected.
  • the screen display direction is switched to the direction of the user's face.
  • the control unit converts the user's face data imaged by the imaging unit to If it is determined that the orientation of the user's face is tilted within a predetermined angle range with respect to a reference line along the vertical direction of the display unit, the screen display direction of the display unit is not switched. It is comprised so that the control to maintain may be performed.
  • the predetermined angle range Is an angle range in which the orientation of the user's face is inclined substantially equally in the left-right direction orthogonal to the reference line.
  • the imaging unit is arranged outside the display unit along the reference line.
  • the orientation of the user's face by the imaging unit can be specified around the reference line along the vertical direction of the display unit, so the tilt direction of the user's face can be accurately detected. can do.
  • the control unit grips the housing with the state detection sensor by hand.
  • control is performed to switch the screen display orientation of the display unit based on the detection result of the state detection sensor.
  • the casing is fixedly mounted on the mounting surface or the like.
  • the orientation of the display unit and the orientation of the user's face when the user views the display unit are in a fixed relationship, In many cases, the user's face cannot be detected as compared with a case where the user's face is held and used. In this case, the detection result of the state detection sensor is used instead of the face detection function. By performing control to switch the screen display direction, the screen can be displayed in an appropriate display direction.
  • the state detection sensor detects that the housing is not in a use state in which the housing is used by hand
  • the detection by the state detection sensor is performed without activating the imaging unit. Based on a result, it is comprised so that control which switches the screen display direction of a display part may be performed. If comprised in this way, since the operation
  • the state detection sensor detects the inclination of the housing.
  • a first usage state in which the body and the display unit are used while being placed on the mounting surface; a second usage state in which the housing and the display unit are laid on the mounting surface; and a housing as a predetermined usage state. It is provided to detect which usage state is the third usage state that is held by hand and used, and the control unit detects that it is at least the third usage state by the state detection sensor.
  • the state detection sensor uses the first use state or the second use state.
  • the state detection sensor uses the first use state or the second use state.
  • it is configured to perform control for switching the screen display of the orientation of the display unit. If comprised in this way, when a housing
  • the state detection sensor includes at least a display unit in addition to the predetermined usage state Is configured to detect a state where the body is faced down so as to face the mounting surface, and the control unit is detected by the state detection sensor to be not in a predetermined use state in which the housing is gripped by the user, and When the tilt in the state where the display unit is faced down so as to face the placement surface is detected, the mode is shifted to the standby mode without using the face detection function, and the case is gripped by the user by the state detection sensor.
  • the user's face is not shifted to the standby mode.
  • Kino is configured to perform control to display on the display unit a screen display based on the detection result.
  • the state detection sensor detects that the housing is not in a predetermined use state held by the user, and detects the inclination of the display unit so that the display unit faces the placement surface. In this case, it is considered that the user is not using the portable information display terminal. In this case, the mobile information display terminal can be saved in power by shifting to the standby mode.
  • the user Is considered to be using a portable information display terminal (for example, looking at the display unit while lying on its back), in this case, based on the detection result of the user's face orientation,
  • the screen can be displayed in an appropriate display orientation that matches the orientation.
  • the control unit when the control unit performs control to display on the display unit a screen display based on the detection result of the user's face orientation without shifting to the standby mode, the casing and the display unit by the state detection sensor It is comprised so that the control which maintains the function to detect the use condition of may be performed.
  • the state detection sensor that maintains the detection function even in a situation where the user cannot detect the orientation of the user's face when the housing is gripped by the user. Since the usage state (posture) of the housing and the display unit can be detected immediately after use, the operation of displaying the screen in an appropriate display direction can be reliably performed.
  • the state detection sensor detects at least the inclination of the housing, A first use state in which the housing and the display unit are used while being placed on the placement surface, a second use state in which the housing and the display unit are placed on the placement surface, and a housing as a predetermined use state Is used to detect the use state of the third use state in which the first use state is used, and the housing is provided with a first inclination in the first use state and a second use state.
  • the second inclination in the use state is configured to have an outer shape that can be installed on the placement surface so that the inclination is different from each other.
  • a state detection sensor Based on the detection result, the first usage state and the second usage state can be easily identified and specified, and the display orientation is appropriate for the first usage state and the second usage state.
  • a screen can be displayed.
  • the housing is configured such that the first inclination and the second inclination are relatively different from each other by 90 degrees or more
  • the control unit is configured to detect the housing obtained by the state detection sensor.
  • the first use state and the second use state are configured to be able to be identified and specified based on the inclination of the casing that differs by 90 degrees or more between the first use state and the second use state based on the outer shape. Yes. If comprised in this way, a 1st use condition and a 2nd use condition can be discriminate
  • control unit is preferably configured such that the control unit detects the user's face imaged by the imaging unit when a use state is detected in which the state detection sensor grips the housing by hand.
  • the control unit detects the user's face imaged by the imaging unit when a use state is detected in which the state detection sensor grips the housing by hand.
  • the screen can be displayed in an appropriate display orientation that matches the orientation of the user's face by maintaining the screen display orientation of the display unit without switching.
  • the control unit cannot detect the orientation of the user's face from the user's face data imaged by the imaging unit
  • the inclination value detected last time by the state detection sensor is detected previously.
  • the face detection function is used to redetect the orientation of the user's face.
  • the screen is displayed with an appropriate display orientation that matches the orientation of the user's face based on the detection result of the orientation of the user's face that has been detected again. Can be displayed.
  • control unit performs control to maintain the function of detecting the use state of the housing and the display unit by the state detection sensor when detecting the orientation of the user's face by the face detection function.
  • control unit determines that the orientation of the user's face cannot be detected as a result of performing control for re-detecting the orientation of the user's face using the face detection function, the control unit is based on the detection result of the state detection sensor.
  • the display unit is configured to perform control for switching the screen display orientation.
  • the portable information display terminal preferably further includes a storage unit that stores an inclination angle detected by the state detection sensor, and the state detection sensor detects at least the case by detecting the inclination of the case. And a first usage state in which the display unit is used while being placed on the mounting surface, a second usage state in which the housing and the display unit are laid on the mounting surface, and a housing as a predetermined usage state.
  • the control unit is provided for detecting which usage state is the third usage state to be gripped and used by the control unit, and the control unit is configured to tilt the angle before the usage state stored in the storage unit is changed.
  • the tilt angle after the usage state stored in the storage unit is changed, the first usage state and the second usage state are discriminated and specified, and the housing is held by hand 3rd usage state to use Determination to be configured to identify. If comprised in this way, based on the change of the inclination angle before and after a use condition is changed, the above-mentioned three kinds of use condition of a portable information display terminal can be discriminate
  • control unit determines a third usage state in which the housing is used by being gripped by a hand when the inclination angle detected by the state detection sensor changes with time within a predetermined range. And when the inclination angle detected by the state detection sensor does not change with time within a predetermined range, the first use state or the second use state is determined and specified. Yes. If comprised in this way, the use condition of a portable information display terminal can be more correctly discriminate
  • the state detection sensor preferably includes a tilt sensor. If comprised in this way, the inclination of a housing
  • FIG. 2 is a perspective view showing a state in which a frame and a liquid crystal display unit of the portable information display terminal shown in FIG. It is a block diagram for demonstrating the internal structure of the portable information display terminal shown in FIG.
  • FIG. 2 is a perspective view showing a state in which a frame and a liquid crystal display unit of the portable information display terminal shown in FIG. It is the perspective view which showed the state in which the transversal direction of the liquid crystal display part of the portable information display terminal shown in FIG. 1 and the up-down direction of a user's face substantially correspond.
  • FIG. 2 is a perspective view showing a state in which a frame and a liquid crystal display unit of the portable information display terminal shown in FIG. It is the perspective view which showed the state in which the transversal direction of the liquid crystal display part of the portable information display terminal shown in FIG. 1 and the up-down direction of a user's face substantially correspond.
  • FIG. 2 is a view showing a state in which the orientation of the user's face is inclined between about ⁇ 45 degrees and about +45 degrees with respect to the short direction of the liquid crystal display unit of the portable information display terminal shown in FIG. It is the perspective view which showed the state in which the longitudinal direction of the liquid crystal display part of the portable information display terminal shown in FIG. 1 and the up-down direction of a user's face correspond substantially.
  • FIG. 2 is a view showing a state in which the orientation of the user's face is inclined between about ⁇ 45 degrees and about +45 degrees with respect to the longitudinal direction of the liquid crystal display section of the portable information display terminal shown in FIG.
  • a portable information display terminal 1 includes a liquid crystal display unit 10 (see FIG. 1) for displaying information, and a frame 20 on which the liquid crystal display unit 10 is provided. And is mainly composed.
  • the liquid crystal display unit 10 is an example of the “display unit” in the present invention
  • the frame 20 is an example of the “casing” in the present invention.
  • the portable information display terminal 1 is configured to be usable in a state of being held by a user (see FIGS. 3 and 4), and in a state where the frame 20 and the liquid crystal display unit 10 are placed on the placement surface 100 (see FIG. 5), and the state in which the frame 20 and the liquid crystal display unit 10 are laid on the mounting surface 100 (see FIG. 6).
  • the state held by the user is an example of the “predetermined use state” and the “third use state” of the present invention
  • the state where the frame 20 and the liquid crystal display unit 10 are placed on the placement surface 100 is It is an example of the “first use state” of the present invention.
  • the state where the frame 20 and the liquid crystal display unit 10 are laid on the mounting surface 100 is an example of the “second use state” of the present invention.
  • the portable information display terminal 1 is configured to be connectable to the Internet, and is configured to be able to use streaming distribution reception and playback output functions, mail functions, video chat functions, and voice chat functions by connecting to the Internet. . Moreover, the portable information display terminal 1 is configured to be usable as a remote controller for a media player, a television device (not shown), etc., by shifting to the remote control mode even when not connected to the Internet. Moreover, the portable information display terminal 1 can display a calendar, a clock, etc. with a small-scale application software (gadget) in the state where the frame 20 and the liquid crystal display unit 10 are set up (see FIG. 5).
  • a small-scale application software gadget
  • the liquid crystal display unit 10 has a touch panel function, and can be operated according to an application program when the user presses the operation button 10 a displayed on the liquid crystal display unit 10. It is configured.
  • a camera unit 11 is installed on the liquid crystal display unit 10 on the arrow X1 direction side.
  • the camera unit 11 has a function of imaging the user's face, for example, when the portable information display terminal 1 is used while being held by the user.
  • the camera unit 11 is an example of the “imaging unit” in the present invention.
  • a microphone unit 12 is installed in the vicinity of the camera unit 11.
  • the microphone unit 12 has a function of inputting voice during voice chat and video chat, for example.
  • the frame 20 is made of resin.
  • a plurality of protrusions 21, 22, and 23 are integrally provided on the surface of the frame 20 opposite to the surface on which the liquid crystal display unit 10 is provided.
  • the protrusions 21 and 22 are provided in the vicinity of both ends in the longitudinal direction (X direction) of the frame 20 so as to extend in the short direction (Y direction) of the frame 20.
  • the protrusions 21 (see FIG. 2) and 22 are respectively arranged from one end side (arrow Y1 direction side) in the short direction (Y direction) of the frame 20 to the other end side (arrow Y2). The thickness is gradually increased toward the direction side).
  • the protrusions 21 and 22 are seen from the other side (arrow Y2 direction side) in the short direction of the frame 20 as viewed from the longitudinal direction of the frame 20 (arrow X1 direction and arrow X2 direction), respectively (arrow Y1). It is configured to have a wedge shape tapered toward the direction side.
  • the portable information display terminal 1 is placed on the mounting surface 100 with the surfaces of the protrusions 21 and 22 on the arrow Y2 direction side down.
  • the protrusions 21 and 22 can support the frame 20 in a state where the frame 20 and the liquid crystal display unit 10 are upright.
  • the protrusions 21 (see FIG. 2) and 22 are arranged so that the frame 20 and the liquid crystal display unit 10 are laid at a predetermined angle ⁇ with respect to the mounting surface 100. Can be supported.
  • the projections 21 and 22 are viewed from the user in the longitudinal direction (X direction) of the frame 20 and the liquid crystal display unit 10.
  • the user can hold it horizontally with both hands.
  • the protrusion 22 can be held with one hand (left hand) with the longitudinal direction (X direction) of the frame 20 and the liquid crystal display unit 10 in the vertical direction.
  • the protrusion 23 is provided in the vicinity of the other end (the end in the arrow Y2 direction) in the short direction (Y direction) of the frame 20 and between the protrusions 21 and 22. ing. Inside the protrusion 23, a secondary battery (lithium ion battery) for supplying power to the portable information display terminal 1 is incorporated (stored).
  • a secondary battery lithium ion battery
  • infrared communication units 31 and 32 are built in the end surfaces on the other end side (arrow Y2 direction side) of the protrusions 21 and 22, respectively. These infrared communication units 31 and 32 are configured to emit infrared light including a predetermined signal (remote control signal) capable of operating a media player, a television device (not shown) and the like in a remote control mode to be described later. ing.
  • a predetermined signal remote control signal
  • various switches 33 for the information processing apparatus mode are provided in the longitudinal direction (X direction) portion of the liquid crystal display unit 10 on the arrow X2 direction side.
  • the information processing device mode switches 33 are switches used in an information processing device mode for processing mail, video, voice chat, and the like.
  • a four-way movement switch 34 selection switch
  • a determination switch 35 is provided at the center of the four-way movement switch 34. The four-way movement switch 34 and the determination switch 35 are configured to be usable in both the remote control mode and the information processing apparatus mode, respectively.
  • a remote control mode transition switch 36 capable of switching between the remote control mode and the information processing apparatus mode is provided on the arrow Y2 direction side of the four-way movement switch 34.
  • an OSD-displayed operation screen on the display unit of a remote control operation target device (such as a television) in the remote control mode is used to return the current state to the previous state.
  • a return function switch 37 is provided.
  • connection unit 40 includes two USB connection units 41 and 42, an HDMI connection unit 43, an audio cable connection unit 44, and a power connector 45.
  • the frame 20 of the portable information display terminal 1 is provided with a control unit (CPU) 51 that controls the portable information display terminal 1, a storage unit (memory) 52, and an inclination sensor 53. ing.
  • the storage unit 52 stores an application program executed by the control unit 51.
  • the tilt sensor 53 is an example of the “state detection sensor” in the present invention.
  • the tilt sensor 53 has a function of acquiring the tilt of the frame 20 (see FIG. 1).
  • the tilt sensor 53 is in a state where the frame 20 and the liquid crystal display unit 10 are used while being placed on the mounting surface 100 (hereinafter referred to as a standing state (see FIG. 5)), and the frame 20 and the liquid crystal display unit 10 are mounted.
  • a state in which the frame 100 is laid on the surface 100 hereinafter referred to as a laid state (see FIG. 6)
  • a hand-held state see FIGS. 3 and 4
  • It is provided for detecting which state of use.
  • the tilt sensor 53 is not only in a standing state (see FIG. 5), in a laid state (see FIG. 6) and in a hand-held state (see FIGS. 3 and 4), but also the frame 20 and the liquid crystal display unit 10 are placed on the mounting surface. It is configured to be able to detect a state (unused state) (see FIG. 8) that is faced to face 100.
  • the control unit 51 can easily determine and identify each state based on the different inclinations of the frame 20 with respect to the mounting surface 100. Is possible.
  • the tilt in a state where the frame 20 and the liquid crystal display unit 10 are used while standing on the mounting surface 100 is an example of the “first tilt” in the present invention, and the frame 20 and the liquid crystal display unit 10 are mounted on the mounting surface.
  • the inclination in the state where the apparatus is laid down on 100 is an example of the “second inclination” in the present invention.
  • the detection value detected by the tilt sensor 53 changes every detection time due to a slight movement of the user. It is possible to distinguish between a laid state and a lying state (non-use state). Further, the tilt sensor 53 is used in a vertical orientation in which the longitudinal direction of the frame 20 is used in the vertical direction (hereinafter, referred to as FIG. 4) even in the handheld state (see FIG. 3 and FIG. 4). )) And a horizontally used state in which the longitudinal direction of the frame 20 is used sideways (hereinafter referred to as a horizontally held state (refer to FIG. 3)). Further, as shown in FIGS. 3 and 4, in the vertically held state and the horizontally held state, the liquid crystal display unit 10 is rotated about 90 degrees, so that the tilt sensor 53 is different between the vertically held state and the horizontally held state. It is possible to easily identify and identify the inclination.
  • the control unit 51 detects the use state of the frame 20 and the liquid crystal display unit 10 by the tilt sensor 53 or the detection result of the face down state (non-use state) and the face detection function of the camera unit 11. Based on the detection result of the user's face orientation detected by the above, the use state of the frame 20 and the liquid crystal display unit 10 or the face down state (non-use state) is determined and specified. .
  • the control unit 51 is configured to perform control to switch the screen display direction of the liquid crystal display unit 10 based on the detection result of the tilt sensor 53 and the detection result of the user's face direction.
  • the control unit 51 when the posture (state) of the portable information display terminal 1 is changed by the user, the control unit 51 is laid down based on the detection result by the tilt sensor 53 (see FIG. 5). It is configured to be able to identify and identify one of a state (see FIG. 6), a hand-held state (see FIGS. 3 and 4), and a face-down state (non-use state) (see FIG. 8). Then, when the control unit 51 determines and identifies the state of standing (see FIG. 5) or lying down (see FIG. 6) based on the detection result of the tilt sensor 53, the tilt sensor 53 is identified. The screen display orientation of the liquid crystal display unit 10 is switched in accordance with the detection result obtained by the method according to the standing state (see FIG.
  • the control unit 51 is based on the detection result by the inclination sensor 53 when the inclination sensor 53 detects that the portable information display terminal 1 is not in the handheld state.
  • the screen display direction of the liquid crystal display unit 10 is controlled to be switched.
  • control unit 51 determines and identifies the hand-held state (see FIGS. 3 and 4) based on the detection result by the tilt sensor 53, the control unit 51 uses the hand-held state detected by the tilt sensor 53. In addition, priority is given to the detection result of the user's face orientation, and the screen display orientation corresponding to the user face orientation is switched. Specifically, as illustrated in FIGS. 9 and 10, the control unit 51 has a function of detecting the orientation of the user's face captured by the camera unit 11 using a face detection function. When it is determined that the vertical direction is substantially the same as the short direction (Y direction) of the liquid crystal display unit 10, the short direction (Y direction) of the liquid crystal display unit 10 is set to the vertical direction to display the screen. Is configured to display.
  • the control unit 51 determines that the orientation of the user's face is between about ⁇ 45 degrees and about +45 degrees with respect to a reference line (dashed line) extending along the short direction (Y direction) of the liquid crystal display section 10 ( 10), the liquid crystal display unit 10 is configured to display the screen display by setting the short side direction (Y direction) to the vertical direction.
  • the liquid crystal display unit 10 is configured to display a screen display by setting the longitudinal direction (X direction) of the display unit 10 in the vertical direction.
  • control unit 51 determines that the orientation of the user's face is between about ⁇ 45 degrees and about +45 degrees with respect to a reference line (dashed line) extending along the longitudinal direction (X direction) of the liquid crystal display section 10 (FIG. 12).
  • a reference line dashed line
  • the longitudinal direction (X direction) of the liquid crystal display unit 10 is set to the vertical direction to display a screen display.
  • the camera unit 11 is arranged outside the liquid crystal display unit 10 along a reference line extending along the longitudinal direction (X direction) of the liquid crystal display unit 10. That is, in the portable information display terminal 1, in particular, when the longitudinal direction (X direction) is set to the up and down direction, it is between about ⁇ 45 degrees and about +45 degrees in the left and right direction (Y direction) with respect to the camera unit 11. Even when the orientation of the user's face is inclined, the screen display is configured such that the vertical direction of the screen display corresponds to the longitudinal direction.
  • control unit 51 is configured to automatically start an application program corresponding to the specified use state or to perform control to shift to the standby mode. Specifically, the control unit 51 is configured to start an application program that is not assumed to be operated by the user when it is identified that the control unit 51 is in the upright state (see FIG. 5). In addition, the control unit 51 is configured to activate an application program that is assumed to be operated by the user when it is specified that the user is in the laid state (see FIG. 6). In addition, the control unit 51 is configured to start an application program that is assumed to be operated by the user even when the handheld state (see FIGS. 3 and 4) is specified. The application program corresponding to the specified use state is set in advance by the user.
  • control unit 51 determines whether or not the inclination value detected by the inclination sensor 53 is constantly changing in small increments, whereby the portable information display terminal 1 is placed on the placement surface 100 ( 5, 6, and 8) or a state of being gripped by the user (state of FIGS. 3 and 4).
  • the control unit 51 determines that the portable information display terminal 1 is being held by the user.
  • the control unit 51 is configured to determine that the portable information display terminal 1 is placed on the placement surface 100. Has been.
  • control unit 51 is in a state in which the frame 20 and the liquid crystal display unit 10 are faced down so as to face the placement surface 100 by the inclination sensor 53 (non-use state) (see FIG. 8).
  • the control unit 51 is configured not to start the application program used by the user, unlike in the use state (the standing state, the laying state, and the hand-held state).
  • the control unit 51 when the tilt value in the hand-held state is detected by the tilt sensor 53, the control unit 51 detects the same tilt value as in the face-down state (non-use state) (see FIG. 8). Even in such a case, it is configured not to enter the standby mode.
  • the control unit 51 is configured to perform control for causing the liquid crystal display unit 10 to display a screen display based on the detection result of the user's face orientation. That is, in a state where the user is holding the frame 20, the control unit 51 is in a standby state in any state including the case where the tilt of the face (unused state) is detected with respect to the frame 20. It is configured to perform control that does not shift to the mode.
  • step S1 the control unit 51 (see FIG. 7) recognizes (evaluates) the inclination value acquired from the inclination sensor 53, and the inclination value is stored in the storage unit 52.
  • step S2 the portable information display terminal 1 is erected (see FIG. 5) and laid down (FIG. 6) based on the state of change between the stored past inclination value and the currently stored inclination value. (Refer to FIG. 8) and a hand-held state (refer to FIG. 3 and FIG. 4) are determined. That is, when the stored past inclination value and the currently stored inclination value change in small increments, it is determined that the hand is held.
  • the It is determined as a state.
  • the inclination value stored this time is within the range of the inclination value of the laying state, it is determined to be the laying down state, and the inclination value stored in the state where the inclination value stored this time is laid down (unused state). If it is within the range, it is determined to be in a face-down state (non-use state).
  • step S3 the control unit 51 determines whether or not the determined state is changed from the state before the inclination value acquired by the inclination sensor 53 is changed (before the event occurs). If it is determined in step S3 that the determined state is not changed from the state before the inclination value acquired by the inclination sensor 53 is changed (before the event occurs), the process proceeds to step S4. In step S4, since the state is not changed, the application program is maintained as it is without changing the application program, and the process proceeds to step S5. In step S5, the display orientation displayed on the liquid crystal display unit 10 is also maintained without being changed, and the display orientation change and maintenance flow corresponding to the state of the portable information display terminal 1 is completed.
  • step S6 the control unit 51 determines whether or not the changed state is a state in which the frame 20 is held and used by the user's hand (hand-held state (see FIGS. 3 and 4)). . If it is determined in step S6 that the changed state is the handheld state, the process proceeds to step S21 (see FIG. 14) described later. If it is determined in step S6 that the changed state is not a handheld state, the process proceeds to step S7.
  • step S7 whether the state changed by the control unit 51 is a state in which the frame 20 and the liquid crystal display unit 10 face down so as to face the placement surface 100 (non-use state) (see FIG. 8). Is judged.
  • step S7 if it is determined that the changed state is a cover-up state (non-use state), the process proceeds to step S8.
  • step S8 the control unit 51 shifts to the standby mode, and the display orientation change and maintenance flow corresponding to the state of the portable information display terminal 1 ends.
  • step S9 determines to the changed state is not a cover-up state (non-use state).
  • step S6 the liquid crystal display unit 10 is based on the detection result by the tilt sensor 53 without starting the camera unit 11. Control for switching the screen display orientation is performed.
  • step S9 the control unit 51 determines whether or not an application program corresponding to the changed state is set. That is, in step S9, it is determined whether or not an application program to be automatically activated for each of the standing state, the laying state, and the hand-held state is set by the user. If it is determined in step S9 that the application program corresponding to the changed state has not been set, the process proceeds to step S4 and step S5 described above, and the display orientation corresponding to the state of the portable information display terminal 1 The change and maintenance flow ends. If it is determined in step S9 that an application program corresponding to the changed state is set, the process proceeds to step S10.
  • step S10 the control unit 51 determines whether the set application program is the same application program that is currently in use. If it is determined in step S10 that the set application program is the same application program as the currently used application program, there is no need to change the application program, so that the above-described steps S4 and S5 are performed. The display orientation change and maintenance flow corresponding to the state of the portable information display terminal 1 is completed. If it is determined in step S10 that the set application program is not the same application program as the currently used application program, the process proceeds to step S11.
  • step S11 an application program set by the user corresponding to the changed state is activated, and the process proceeds to step S12.
  • step S12 the display orientation corresponding to the state is changed or the display orientation is maintained, and the display orientation changing and maintaining flow corresponding to the state of the portable information display terminal 1 ends.
  • the display orientation displayed on the liquid crystal display unit 10 is changed by being rotated 180 degrees.
  • the display orientation displayed on the liquid crystal display unit 10 is changed by being rotated 90 degrees or 270 degrees.
  • the display orientation displayed on the liquid crystal display unit 10 is maintained as it is without being changed.
  • control unit 51 determines that the changed state is the handheld state in step S6 will be described in detail.
  • step S21 when it is determined that the changed state in step S6 (see FIG. 13) is a handheld state, in step S21, the use state detection function by the tilt sensor 53 is maintained.
  • the control unit 51 activates the camera unit 11. Then, the process proceeds to step S22.
  • step S22 In the processing flow after step S22, even when the tilt sensor 53 detects a tilted state (unused state) with respect to the frame 20, the standby state as in step S8 (see FIG. 13) is performed. Control that switches the screen display orientation of the liquid crystal display unit 10 based on the detection result of the camera unit 11 is performed without shifting to the mode.
  • step S22 the controller 51 determines whether or not the orientation of the user's face has been detected based on the data imaged by the camera unit 11. If it is determined in step S22 that the orientation of the user's face has been detected, the process proceeds to step S23.
  • step S23 the control unit 51 changes or maintains the screen display displayed on the liquid crystal display unit 10 in the display direction corresponding to the orientation of the user's face, and the display direction corresponding to the state of the portable information display terminal 1.
  • the change and maintenance flow ends. For example, when the standing state is changed to the hand-held state, the display orientation displayed on the liquid crystal display unit 10 is rotated by 180 degrees.
  • the display orientation displayed on the liquid crystal display unit 10 is 90 degrees or 270 degrees. It is rotated. Further, when the state is changed from the laid state to the horizontally held state of the hand-held state, the display orientation displayed on the liquid crystal display unit 10 is maintained as it is without being changed.
  • step S24 based on the inclination value detected by the inclination sensor 53 by the control unit 51, whether or not the detected inclination value has changed over a predetermined angle range from the previously detected inclination value. To be judged. That is, it is determined whether or not the user has moved the portable information display terminal 1 within a large angle range. If it is determined in step S24 that the detected tilt value has changed within the predetermined angle range from the previously detected tilt value, the process proceeds to step S25. In step S25, the screen display direction currently displayed on the liquid crystal display unit 10 is maintained without switching the screen display direction of the liquid crystal display unit 10, and the display corresponding to the state of the portable information display terminal 1 is performed. The direction change and maintenance flow ends.
  • step S24 is executed. Proceed to S26.
  • the control unit 51 uses the face detection function to detect the orientation of the user's face again.
  • step S27 it is determined again whether or not the orientation of the user's face has been detected. If it is determined in step S27 that the orientation of the user's face has been detected, the process proceeds to step S23 described above.
  • step S23 the screen display displayed on the liquid crystal display unit 10 is changed or maintained in the display direction corresponding to the orientation of the user's face, and the display orientation change and maintenance flow corresponding to the state of the portable information display terminal 1 is performed. Ends.
  • step S27 If it is determined in step S27 that the orientation of the user's face cannot be detected, the process proceeds to step S28.
  • step S28 the orientation of the screen display displayed on the liquid crystal display unit 10 is changed based on the inclination value detected by the inclination sensor 53 in a state where the detection function is maintained, and the portable information display terminal 1 is changed. The display orientation change and maintenance flow corresponding to the state is completed.
  • the screen display orientation of the liquid crystal display unit 10 is switched based on the detection result of the user's face orientation detected by the face detection function and the detection result of the tilt sensor 53.
  • the orientation of the user's face imaged by the camera unit 11 is changed. Even when it cannot be detected, it is possible to detect the state (posture) of the frame 20 by the inclination sensor 53 that detects the inclination of the frame 20. Thereby, even when the orientation of the user's face imaged by the camera unit 11 cannot be detected, the screen is displayed in an appropriate display orientation based on the state (posture) detected by the tilt sensor 53. Can do.
  • the orientation of the user's face by the camera unit 11 is based on the detection result by the tilt sensor 53.
  • the tilt sensor 53 determines the usage state of the frame 20 and the liquid crystal display unit 10 before the camera unit 11 is activated. It is possible to detect and determine whether it is necessary to activate the camera unit 11 according to the detection result by the tilt sensor 53.
  • the orientation of the user's face is more than that of the use state detected by the tilt sensor 53.
  • the screen display direction based on the detection result of the user's face direction and the screen display based on the tilt by the tilt sensor 53 are displayed.
  • priority is given to the detection result of the face direction, so that the screen can be displayed in an orientation that more closely matches the actual usage mode. it can.
  • the user's face is more than the use state detected by the tilt sensor 53.
  • the tilt sensor Since it is difficult to determine how the user is viewing the screen from the detection result based on the inclination by 53, when the frame 20 is in a state of gripping with the hand, the orientation of the user's face is detected, By switching to the screen display orientation corresponding to the orientation of the user's face, the screen can be displayed in a more appropriate screen display orientation that matches the actual usage.
  • the user's face orientation is the vertical direction of the liquid crystal display unit 10 (the Y direction in FIG. 10, FIG. 12).
  • the liquid crystal display unit 10 is tilted within a predetermined angle range with respect to a reference line along the X direction of FIG. 10 and FIG. 12 (a dashed line shown on the liquid crystal display unit 10 in FIG. 12).
  • a situation in which the orientation of the screen display is frequently switched by maintaining the orientation of the screen display without switching, so that the orientation of the user's face strictly reacts to a state where the orientation of the user's face does not completely match the vertical direction of the liquid crystal display unit 10 Can be avoided.
  • the operability of the portable information display terminal 1 by the user can be improved by the amount that the frequent switching operation of the display screen is not performed.
  • the predetermined angle range is configured as an angle range in which the orientation of the user's face is equally inclined at about 45 degrees in the left-right direction orthogonal to the reference line. Even if the orientation of the user's face is tilted in any of the left and right directions with respect to the reference line, it is possible to determine whether or not the screen display orientation can be switched with approximately the same sensitivity. Therefore, the operability of the portable information display terminal 1 can be made uniform without depending on the inclination direction of the face direction.
  • the camera unit 11 is arranged outside the liquid crystal display unit 10 along the reference line, whereby the orientation of the user's face by the camera unit 11 is specified. Since the reference line along the vertical direction of 10 can be used as the center, the inclination direction of the user's face can be accurately detected.
  • the tilt sensor 53 detects that the frame 20 is not in a use state (hand-held state) in which the frame 20 is used by hand
  • the detection result by the tilt sensor 53 is displayed. Based on this, control for switching the screen display orientation of the liquid crystal display unit 10 is performed.
  • the frame 20 is fixedly placed on the placement surface 100 or the like.
  • the orientation of the liquid crystal display unit 10 and the orientation of the user's face when the user views the liquid crystal display unit 10 are constant.
  • the detection result of the inclination sensor 53 is used without using the face detection function.
  • the screen display direction of the liquid crystal display unit 10 the screen can be displayed in an appropriate display direction.
  • the tilt sensor 53 when the tilt sensor 53 detects that the frame 20 is not being used by being held by hand, the tilt sensor 53 is not activated without starting the camera unit 11. Based on the detection result obtained by the above, control for switching the screen display orientation of the liquid crystal display unit 10 is performed. Thereby, since the operation
  • the tilt sensor 53 when the tilt sensor 53 detects at least a hand-held state, priority is given to the detection result of the user's face direction, and the user's face direction is handled.
  • the orientation of the screen display of the liquid crystal display unit 10 is switched to the orientation of the screen display, and when the tilt sensor 53 detects that the screen is in the upright state or the laying state, based on the detection result by the tilt sensor 53,
  • the tilt sensor 53 By switching the screen display direction of the liquid crystal display unit 10, when the frame 20 is placed on the placement surface 100 in the upright state or in the laid state, the tilt sensor 53 causes an appropriate display direction. A screen can be displayed.
  • the screen is displayed with an appropriate display orientation that matches the orientation of the user's face based on the detection result of the user's face orientation. Can do.
  • the tilt sensor 53 detects that the frame 20 is not in a handheld state held by the user, and the liquid crystal display unit 10 is faced down so as to face the placement surface 100.
  • the state shifts to the standby mode without using the face detection function, and is detected as being in a hand-held state by the inclination sensor 53 and is in a face-down state (non-use)
  • a screen display based on the detection result of the user's face orientation is displayed on the liquid crystal display unit 10 without shifting to the standby mode.
  • the mobile information display terminal 1 can save power by shifting to the standby mode.
  • the tilt sensor 53 detects that the tilt is in the face down state (not in use)
  • the user uses the portable information display terminal 1.
  • the screen can be displayed in the display orientation.
  • the frame 20 and the liquid crystal display by the tilt sensor 53 are displayed.
  • the detection function can be used even under a situation where the camera unit 11 cannot detect the orientation of the user's face when the frame 20 is gripped by the user. Since the use state (posture) of the frame 20 and the liquid crystal display unit 10 can be immediately detected using the tilt sensor 53 in which the screen is maintained, the operation of displaying the screen in an appropriate display direction can be reliably performed. .
  • the outer shape of the frame 20 that can be installed on the mounting surface 100 so that the inclination when the frame 20 is upright and the inclination when the frame 20 is laid down are different from each other. Since the frame 20 can be installed on the mounting surface 100 with different inclinations between the standing state and the laying state based on the outer shape of the frame 20, the detection by the inclination sensor 53 can be performed. Based on the result, it is possible to easily discriminate between the standing state and the laying state, and to display the screen in an appropriate display orientation corresponding to the standing state and the laying state.
  • the standing state is based on the inclination of the frame 20 that is different from the standing state based on the outer shape of the frame 20 acquired by the tilt sensor 53 by 90 degrees or more.
  • the tilt sensor 53 when it is determined that the tilt value detected this time is within a predetermined angle range from the previously detected tilt value, the screen display orientation of the liquid crystal display unit 10 is maintained without being switched.
  • the inclination is changed to the previous time. Since the inclination does not change greatly from the inclination when the value is detected, it is considered that the relative positional relationship between the user and the portable information display terminal 1 does not change significantly.
  • the screen by maintaining the screen display orientation of the liquid crystal display unit 10 without switching, the screen can be displayed in an appropriate display orientation that matches the orientation of the user's face.
  • the tilt sensor 53 when it is detected that the tilt value detected this time has changed from the previously detected tilt value beyond a predetermined angle range, the face detection function of the camera unit 11 detects the orientation of the user's face. It is configured to fix.
  • the screen is displayed with an appropriate display orientation that matches the orientation of the user's face based on the detection result of the orientation of the user's face that has been detected again. Can be displayed.
  • the liquid crystal display is performed based on the detection result by the tilt sensor 53. Even when the camera unit 11 cannot re-detect the face orientation of the user when the frame 20 is held by the user, the screen display orientation of the unit 10 is switched. Since the use state (posture) of the frame 20 and the liquid crystal display unit 10 can be detected immediately using the tilt sensor 53, the operation of displaying the screen in an appropriate display direction can be performed without interruption.
  • the inclination angle before the usage state stored in the storage unit (memory) 52 is changed and the inclination after the usage state stored in the storage unit 52 is changed.
  • the use state is changed by discriminating and specifying the standing state and the laying state by comparing the angle, and by identifying and specifying the use state in which the frame 20 is gripped by hand. Based on the change in the tilt angle before and after, the above three usage states of the portable information display terminal 1 can be reliably discriminated and specified.
  • the use state in which the frame 20 is gripped by hand is determined.
  • the change in the inclination angle over time can be determined by determining and specifying the standing state or the laying state.
  • the example in which the face detection function is used to detect the orientation of the user's face is shown only when the frame is in a hand-held state in which the user's hand is used. Not limited to. Even when the frame is in a state other than the hand-held state where the frame is held by the user's hand, the face detection function may be used to detect the user's face orientation.
  • the tilt sensor 53 is used as an example of the state detection sensor of the present invention.
  • the present invention is not limited to this.
  • a sensor other than an inclination sensor such as an acceleration sensor may be used to detect the state of the portable information display terminal 1.
  • the tilt sensor 53 is used in a state where the frame 20 and the liquid crystal display unit 10 are used while being placed on the mounting surface, and the frame 20 and the liquid crystal display unit 10 are used while lying on the mounting surface 100. Only a state in which the frame 20 is held and used by hand, or a state in which the frame 20 and the liquid crystal display unit 10 are faced down so as to face the mounting surface 100 (non-use state).
  • the present invention is not limited to this.
  • the portable information display terminal is hooked and held on the wall, so that it is standing, lying, handheld and lying You may make it detect states other than the state (non-use state).
  • the tilt sensor 53 is used in a state where the frame 20 and the liquid crystal display unit 10 are used while being placed on the mounting surface 100, and the frame 20 and the liquid crystal display unit 10 are used while lying on the mounting surface 100.
  • the frame 20 is configured in an outer shape that can be placed in a lying state
  • the present invention is not limited to this.
  • the tilt sensor 53 stands in a state where the frame 20 and the liquid crystal display unit 10 are used while being placed on the mounting surface 100, and the frame 20 and the liquid crystal display unit 10. May be placed on the placement surface 100 in a laid state for use.
  • remote control of a control target device is performed by emitting infrared light including a remote control signal to the control target device in the remote control mode
  • the present invention is not limited thereto.
  • the remote control of the device to be controlled may be performed by using a wireless communication standard such as Bluetooth (registered trademark) or Zigbee (registered trademark).
  • the processing operation of the control unit is described in an event-driven manner at the start, and the processing operation of the start transition is described using a flowchart described in a flow-driven manner. It is not limited to this.
  • the processing operation of the control unit may be performed by a complete event drive type, may be performed by a complete flow drive type, or may be performed in parallel processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

 ユーザの顔の向きを検出することができない場合にも、適切な表示向きで画面を表示することが可能な携帯情報表示端末を提供する。この携帯情報表示端末(1)は、情報を表示する表示部(10)と、表示部が表面に設けられる筐体(20)と、筐体の傾きを検知することにより筐体および表示部の少なくとも使用状態を検出するための状態検出センサ(53)と、ユーザの顔を撮像可能な撮像部(11)と、撮像部により撮像されたユーザの顔のデータに基づいて顔検出機能により顔の向きの検出を行うとともに、顔の向きの検出結果と、状態検出センサによる検出結果とに基づいて、表示部の画面表示の向きを切り替える制御を行う制御部(51)とを備えている。

Description

携帯情報表示端末
 この発明は、携帯情報表示端末に関し、特に、表示部と表示部が設けられる筐体とを備える携帯情報表示端末に関する。
 従来、表示部と表示部が設けられる筐体とを備える携帯情報表示端末が知られている。このような携帯情報表示端末は、たとえば、特開2009-130816号公報に開示されている。
 特開2009-130816号公報には、テレビ放送映像(画面表示)を表示する表示部と、表示部が表面に設けられる携帯電話機本体(筐体)と、ユーザの顔を撮像可能なカメラ(撮像部)とを備える携帯電話機(携帯情報表示端末)が開示されている。この特開2009-130816号公報による携帯電話機は、ユーザが携帯電話機本体を把持した状態で表示部によりテレビ放送映像の視聴を開始した場合に、カメラによりユーザの顔を撮像し、撮像されたユーザの顔の向きに対応する表示方向でテレビ放送映像を表示部に表示させるように構成されている。
特開2009-130816号公報
 しかしながら、特開2009-130816号公報による携帯電話機(携帯情報表示端末)では、カメラの撮像範囲にユーザがいない場合など、カメラによりユーザの顔を撮像することができない場合には、ユーザの顔の向きを検出することができない。このため、特開2009-130816号公報による携帯電話機では、ユーザの顔の向きを検出することができない場合に、テレビ放送映像(画面表示)をユーザの顔の向きに対応する適切な表示方向で表示部に表示することができないという問題点がある。
 この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、ユーザの顔の向きを検出することができない場合にも、適切な表示向きで画面を表示することが可能な携帯情報表示端末を提供することである。
課題を解決するための手段および発明の効果
 この発明の一の局面による携帯情報表示端末は、情報を表示する表示部と、表示部が表面に設けられる筐体と、筐体の傾きを検知することにより筐体および表示部の少なくとも使用状態を検出するための状態検出センサと、ユーザの顔を撮像可能な撮像部と、撮像部により撮像されたユーザの顔のデータに基づいて顔検出機能により顔の向きの検出を行うとともに、顔の向きの検出結果と、状態検出センサによる検出結果とに基づいて、表示部の画面表示の向きを切り替える制御を行う制御部とを備えている。
 この発明の一の局面による携帯情報表示端末では、上記のように、顔検出機能により検出されるユーザの顔の向きの検出結果と、状態検出センサによる検出結果とに基づいて、表示部の画面表示の向きを切り替えることによって、顔検出機能により検出されるユーザの顔の向きの検出結果のみに基づいて表示部の画像表示の向きを切り替える場合とは異なり、撮像部により撮像されたユーザの顔の向きを検出することができない場合にも、筐体の傾きを検知する状態検出センサにより、筐体がどのような状態(姿勢)であるのかを検出することができる。これにより、撮像部により撮像されたユーザの顔の向きを検出することができない場合にも、状態検出センサにより検出された状態(姿勢)に基づいて、適切な表示向きで画面を表示することができる。
 上記一の局面による携帯情報表示端末において、好ましくは、制御部は、状態検出センサにより筐体および表示部の使用状態を検出した後に、状態検出センサによる検出結果に基づいて、撮像部によるユーザの顔の向きの検出を行うか否かを判別する制御を行うように構成されている。このように構成すれば、撮像部の起動に先立って、状態検出センサにより筐体および表示部の使用状態を検出し、状態検出センサによる検出結果に応じて撮像部を起動する必要があるか否かを決定することができる。これにより、撮像部によるユーザの顔の向きの検出を行う必要がない場合には、撮像部を不必要に起動する動作処理を行うことがないので、適切な表示向きで画面を表示させる動作を迅速に行うことができる。
 上記一の局面による携帯情報表示端末において、好ましくは、制御部は、状態検出センサにより所定の使用状態が検出された場合には、状態検出センサにより検出された使用状態よりも、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えるように構成されている。このように構成すれば、ユーザの顔の向きの検出結果に基づく画面表示の向きと、状態検出センサによる傾きに基づく画面表示の向きとが異なる場合が発生しやすい所定の使用状態の場合に、顔の向きの検出結果を優先させることにより、より実際の使用態様に合った画面表示の向きで表示させることができる。
 上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、所定の使用状態は、筐体を手で把持して使用する使用状態であり、制御部は、筐体を手で把持して使用する使用状態が検出された場合に、状態検出センサにより検出された使用状態よりも、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えるように構成されている。このように構成すれば、筐体を手で把持している状態で寝転がって使用するような場合には、状態検出センサによる傾きに基づく検出結果ではユーザが画面をどのように見ているのかを判別することが難しいので、筐体を手で把持する状態である場合にはユーザの顔の向きを優先的に検出するとともに、ユーザの顔の向きに対応する画面表示の向きに切り替えることにより、より実際の使用態様に合った適切な画面表示の向きで表示させることができる。
 上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、制御部は、撮像部により撮像されたユーザの顔のデータに基づいて、ユーザの顔の向きが表示部の上下方向に沿った基準線に対して所定の角度範囲以内で傾斜していると判断した場合には、表示部の画面表示の向きを切り替えずに維持する制御を行うように構成されている。このように構成すれば、ユーザの顔の向きが表示部の上下方向に完全に一致しない状態に厳格に反応して画面表示の向きが頻繁に切り替えられるような状況を回避することができるので、頻繁な表示画面の切り替え動作が行われない分、ユーザによる携帯情報表示端末の操作性を向上させることができる。
 上記ユーザの顔の向きが基準線に対して所定の角度範囲以内で傾斜している場合に表示部の画面表示の向きを切り替えずに維持する携帯情報表示端末において、好ましくは、所定の角度範囲は、ユーザの顔の向きが基準線に対して直交する左右方向にそれぞれ略等しく傾けられた角度範囲である。このように構成すれば、ユーザの顔の向きが基準線に対して左右方向のいずれの方向に傾斜されていても、おおよそ同様の感度で画面表示の向きの切り替えの可否を判断することができる。したがって、顔の向きの傾斜方向に依存することなく、携帯情報表示端末の操作性を均一化させることができる。
 この場合において、好ましくは、撮像部は、基準線に沿った表示部の外側に配置されている。このように構成すれば、撮像部によるユーザの顔の向きの特定を、表示部の上下方向に沿った基準線を中心として行うことができるので、ユーザの顔の向きの傾斜方向を精度良く検出することができる。
 上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、制御部は、状態検出センサにより筐体を手で把持して使用する使用状態ではないことが検出された場合には、状態検出センサによる検出結果に基づいて、表示部の画面表示の向きを切り替える制御を行うように構成されている。このように筐体が手により把持されていないことが検出された場合には、筐体が載置面などに固定的に載置されていると考えられる。そして、筐体が載置面などに固定的に載置されている場合には、表示部の向きとその表示部をユーザが見る場合のユーザの顔の向きとは一定の関係にあるとともに、手で把持して使用する場合よりもユーザの顔を検出することができないことが多いので、この場合には、顔検出機能を用いずに、状態検出センサの検出結果を用いて、表示部の画面表示の向きを切り替える制御を行うことにより、適切な表示向きで画面を表示することができる。
 この場合において、好ましくは、制御部は、状態検出センサにより筐体を手で把持して使用する使用状態ではないことが検出された場合には、撮像部を起動することなく状態検出センサによる検出結果に基づいて、表示部の画面表示の向きを切り替える制御を行うように構成されている。このように構成すれば、撮像部を不必要に起動する動作処理を行うことがないので、適切な表示向きで画面を表示させる動作を迅速に行うことができる。また、撮像部が起動されない分、携帯情報表示端末の消費電力を抑制することができる。
 上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、状態検出センサは、筐体の傾きを検知することにより、筐体および表示部を載置面に立てて使用する第1の使用状態と、筐体および表示部を載置面に寝かせて使用する第2の使用状態と、所定の使用状態としての筐体を手で把持して使用する第3の使用状態とのいずれの使用状態であるかを検出するために設けられており、制御部は、状態検出センサにより少なくとも第3の使用状態であることが検出された場合に、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えるとともに、状態検出センサにより第1の使用状態または第2の使用状態であることが検出された場合には、状態検出センサによる検出結果に基づいて、表示部の画面表示の向きを切り替える制御を行うように構成されている。このように構成すれば、筐体が載置面に載置されている第1の使用状態および第2の使用状態である場合には、状態検出センサにより、適切な表示向きで画面を表示することができる。また、筐体を手で把持して使用する第3の使用状態である場合には、ユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
 上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、状態検出センサは、所定の使用状態に加えて、少なくとも表示部が載置面に対向するように伏せた状態を検出するように構成されており、制御部は、状態検出センサにより筐体がユーザにより把持された所定の使用状態ではないと検出され、かつ、表示部が載置面に対向するように伏せた状態の傾きが検出された場合に、顔検出機能を使用せずにスタンバイモードに移行するとともに、状態検出センサによりユーザにより筐体が把持された所定の使用状態であると検出され、かつ、表示部が載置面に対向するように伏せた状態の傾きが検出された場合に、スタンバイモードに移行せずにユーザの顔の向きの検出結果に基づく画面表示を表示部に表示させる制御を行うように構成されている。このように構成すれば、状態検出センサにより筐体がユーザにより把持された所定の使用状態ではないと検出され、かつ、表示部が載置面に対向するように伏せた状態の傾きが検出された場合には、ユーザは携帯情報表示端末を使用していないと考えられるので、この場合には、スタンバイモードに移行することにより、携帯情報表示端末の省電力化を図ることができる。その一方で、表示部が載置面に対向するように伏せた状態の傾きであると検出された場合であっても、筐体がユーザにより把持されていると検出された場合には、ユーザは携帯情報表示端末を使用している(たとえば、仰向けで寝ながら表示部を見ている)と考えられるので、この場合には、ユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
 この場合に、好ましくは、制御部は、スタンバイモードに移行せずにユーザの顔の向きの検出結果に基づく画面表示を表示部に表示させる制御を行う際、状態検出センサによる筐体および表示部の使用状態を検出する機能を維持する制御を行うように構成されている。このように構成すれば、ユーザにより筐体が把持された状態において、撮像部によりユーザの顔の向きの検出が不可能であるような状況下でも、検出機能が維持されている状態検出センサを用いて直ちに筐体および表示部の使用状態(姿勢)を検出することができるので、適切な表示向きで画面を表示させる動作を確実に行うことができる。
 上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、状態検出センサは、筐体の傾きを検知することにより、少なくとも筐体および表示部を載置面に立てて使用する第1の使用状態と、筐体および表示部を載置面に寝かせて使用する第2の使用状態と、所定の使用状態としての筐体を手で把持して使用する第3の使用状態とのいずれの使用状態であるかを検出するために設けられており、筺体は、第1の使用状態での第1の傾きと、第2の使用状態での第2の傾きとが、互いに異なる傾きになるように載置面に設置可能な外形形状を有するように構成されている。このように構成すれば、筐体の外形形状に基づいて、第1の使用状態と第2の使用状態との異なる傾きで筐体を載置面に設置することができるので、状態検出センサによる検出結果に基づいて、第1の使用状態と第2の使用状態とを容易に判別して特定することができるとともに、第1の使用状態および第2の使用状態に対応した適切な表示向きで画面を表示することができる。
 この場合に、好ましくは、筺体は、第1の傾きと第2の傾きとが、相対的に90度以上異なるように構成されており、制御部は、状態検出センサにより取得される筐体の外形形状に基づく第1の使用状態と第2の使用状態との90度以上異なる筺体の傾きに基づいて、第1の使用状態と第2の使用状態とを判別して特定可能に構成されている。このように構成すれば、筐体の外形形状に基づく90度以上の傾きの違いにより、第1の使用状態と第2の使用状態とを確実に判別して検出することができる。
 上記一の局面による携帯情報表示端末において、好ましくは、制御部は、状態検出センサにより筐体を手で把持して使用する使用状態が検出された際に、撮像部により撮像されたユーザの顔データからユーザの顔の向きを検出できない場合において、状態検出センサにより今回検出された傾き値が前回に検出された傾き値から所定の角度範囲内に収まっていると判断した場合には、表示部の画面表示の向きを切り替えずに維持するように構成されている。このように構成すれば、ユーザが筐体を把持している状態で、状態検出センサにより今回検出された傾き値が前回に検出された傾き値から所定の角度範囲内に収まっている場合には、前回に傾き値が検出された時の傾きから傾きが大きく変化していないので、ユーザと携帯情報表示端末との相対的な位置関係が大きく変化していないと考えられる。この場合に、表示部の画面表示の向きを切り替えずに維持することにより、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
 上記構成において、好ましくは、制御部は、撮像部により撮像されたユーザの顔データからユーザの顔の向きを検出できない場合において、状態検出センサにより今回検出された傾き値が前回に検出された傾き値から所定の角度範囲を超えて変化していると検出された場合には、顔検出機能によりユーザの顔の向きを検出し直すように構成されている。このように構成すれば、ユーザが筐体を把持している状態で、状態検出センサにより今回検出された傾き値が前回に検出された傾き値から所定の角度範囲を超えて変化している場合には、前回に傾き値が検出された時の傾きから傾きが大きく変化しているので、ユーザと携帯情報表示端末との相対的な位置関係が大きく変化しているか、または、ユーザが筐体の持ち方を変更していると考えられる。この場合に、顔検出機能によりユーザの顔の向きを検出し直すことにより、検出し直したユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
 この場合において、好ましくは、制御部は、顔検出機能によりユーザの顔の向きを検出する際に、状態検出センサによる筐体および表示部の使用状態を検出する機能を維持する制御を行うように構成されており、制御部は、顔検出機能によりユーザの顔の向きを検出し直す制御を行った結果、ユーザの顔の向きを検出できないと判断した際、状態検出センサによる検出結果に基づいて、表示部の画面表示の向きを切り替える制御を行うように構成されている。このように構成すれば、ユーザにより筐体が把持された状態において、撮像部によりユーザの顔の向きの再検出が不可能であるような状況下でも、状態検出センサを用いて直ちに筐体および表示部の使用状態(姿勢)を検出することができるので、適切な表示向きで画面を表示させる動作を途切れることなく行うことができる。
 上記一の局面による携帯情報表示端末において、好ましくは、状態検出センサにより検出された傾き角度を記憶する記憶部をさらに備え、状態検出センサは、筐体の傾きを検知することにより、少なくとも筐体および表示部を載置面に立てて使用する第1の使用状態と、筐体および表示部を載置面に寝かせて使用する第2の使用状態と、所定の使用状態としての筐体を手で把持して使用する第3の使用状態とのいずれの使用状態であるかを検出するために設けられており、制御部は、記憶部に記憶された使用状態が変更される前の傾き角度と、記憶部に記憶された使用状態が変更された後の傾き角度とを比較することにより、第1の使用状態および第2の使用状態を判別して特定するとともに、筐体を手で把持して使用する第3の使用状態を判別して特定するように構成されている。このように構成すれば、使用状態が変更される前後での傾き角度の変化に基づいて、携帯情報表示端末の上記した3通りの使用状態を確実に判別して特定することができる。
 この場合において、好ましくは、制御部は、状態検出センサにより検出された傾き角度が所定の範囲内で時間とともに変化する場合に、筐体を手で把持して使用する第3の使用状態を判別して特定するとともに、状態検出センサにより検出された傾き角度が所定の範囲内で時間とともに変化しない場合に、第1の使用状態または第2の使用状態を判別して特定するように構成されている。このように構成すれば、傾き角度の時間的な変化を取得することによって、携帯情報表示端末の使用状態をより正確に判別して特定することができる。
 上記一の局面による携帯情報表示端末において、好ましくは、状態検出センサは、傾きセンサを含む。このように構成すれば、傾きセンサにより、容易に、筐体の傾きを検出することができる。
本発明の一実施形態による携帯情報表示端末の液晶表示部側の構成を説明するための全体斜視図である。 図1に示した携帯情報表示端末のフレームの液晶表示部が設けられている表面とは反対側の表面側の構成を説明するための全体斜視図である。 図1に示した携帯情報表示端末の長手方向を横向きにして携帯情報表示端末が把持された状態を示した斜視図である。 図1に示した携帯情報表示端末の長手方向を縦向きにして携帯情報表示端末が把持された状態を示した斜視図である。 図1に示した携帯情報表示端末のフレームおよび液晶表示部を載置面に立てた状態を示した斜視図である。 図1に示した携帯情報表示端末のフレームおよび液晶表示部を載置面に寝かせた状態を示した斜視図である。 図1に示した携帯情報表示端末の内部構成を説明するためのブロック図である。 図1に示した携帯情報表示端末のフレームおよび液晶表示部を載置面に対して伏せた状態を示した斜視図である。 図1に示した携帯情報表示端末の液晶表示部の短手方向とユーザの顔の上下方向とが略一致する状態を示した斜視図である。 図1に示した携帯情報表示端末の液晶表示部の短手方向に対してユーザの顔の向きが約-45度~約+45度の間で傾斜している状態を示した図である。 図1に示した携帯情報表示端末の液晶表示部の長手方向とユーザの顔の上下方向とが略一致する状態を示した斜視図である。 図1に示した携帯情報表示端末の液晶表示部の長手方向に対してユーザの顔の向きが約-45度~約+45度の間で傾斜している状態を示した図である。 図1に示した携帯情報表示端末の状態(手持ち状態以外の状態)に対応する表示向き変更および維持フローを説明するためのフローチャートである。 図1に示した携帯情報表示端末の状態(手持ち状態)に対応する表示向き変更および維持フローを説明するためのフローチャートである。
 以下、本発明を具体化した実施形態を図面に基づいて説明する。
 まず、図1~図12を参照して、本発明の一実施形態による携帯情報表示端末1の構成について説明する。
 図1および図2に示すように、本発明の一実施形態による携帯情報表示端末1は、情報を表示する液晶表示部10(図1参照)と、液晶表示部10が表面に設けられるフレーム20とにより主に構成されている。なお、液晶表示部10は、本発明の「表示部」の一例であり、フレーム20は、本発明の「筐体」の一例である。この携帯情報表示端末1は、ユーザにより把持された状態(図3および図4参照)で使用可能に構成されているとともに、フレーム20および液晶表示部10を載置面100に立てた状態(図5参照)、および、フレーム20および液晶表示部10を載置面100に寝かせた状態(図6参照)でも使用可能に構成されている。なお、ユーザにより把持された状態は、本発明の「所定の使用状態」および「第3の使用状態」の一例であり、フレーム20および液晶表示部10を載置面100に立てた状態は、本発明の「第1の使用状態」の一例である。また、フレーム20および液晶表示部10を載置面100に寝かせた状態は、本発明の「第2の使用状態」の一例である。
 この携帯情報表示端末1は、インターネット接続可能に構成されており、インターネット接続をすることによりストリーミング配信の受信および再生出力機能、メール機能、ビデオチャット機能およびボイスチャット機能を使用可能に構成されている。また、携帯情報表示端末1は、インターネット接続をしていない場合にも、リモコンモードに移行することにより、メディアプレーヤーおよびテレビジョン装置(図示せず)などのリモコンとして使用可能に構成されている。また、携帯情報表示端末1は、フレーム20および液晶表示部10を立てた状態(図5参照)では、小規模のアプリケーションソフト(ガジェット)により、カレンダーや時計などを表示することが可能である。
 次に、携帯情報表示端末1の液晶表示部10およびフレーム20の構成について詳細に説明する。液晶表示部10は、図1に示すように、タッチパネル機能を有しており、ユーザが液晶表示部10に表示された操作ボタン10aを押下することにより、アプリケーションプログラムに従った操作が可能なように構成されている。また、液晶表示部10の矢印X1方向側には、カメラユニット11が設置されている。このカメラユニット11は、たとえば、ユーザにより把持された状態で携帯情報表示端末1を使用する場合などに、ユーザの顔を撮像する機能を有する。なお、カメラユニット11は、本発明の「撮像部」の一例である。
 また、カメラユニット11の近傍には、マイクユニット12が設置されている。このマイクユニット12は、たとえば、ボイスチャットおよびビデオチャット時などの音声を入力する機能を有する。
 また、フレーム20は、樹脂により形成されている。図1および図2に示すように、フレーム20の液晶表示部10が設けられている表面とは反対側の表面には、複数の突起部21、22および23が一体的に設けられている。突起部21および22は、フレーム20の長手方向(X方向)の両方の端部近傍にフレーム20の短手方向(Y方向)に延びるように設けられている。また、図6に示すように、突起部21(図2参照)および22は、それぞれ、フレーム20の短手方向(Y方向)の一方端側(矢印Y1方向側)から他方端側(矢印Y2方向側)に向かって徐々に厚みが増加するように構成されている。つまり、突起部21および22は、それぞれ、フレーム20の長手方向(矢印X1方向および矢印X2方向)から見て、フレーム20の短手方向の他方側(矢印Y2方向側)から一方側(矢印Y1方向側)に向かってテーパ状に先細る楔形形状を有するように構成されている。
 上記のように突起部21および22を構成することによって、図5に示すように、突起部21および突起部22の矢印Y2方向側の面を下にして携帯情報表示端末1を載置面100に載置することにより、突起部21および22は、フレーム20および液晶表示部10を立てた状態でフレーム20を支持することが可能である。また、図6に示すように、突起部21(図2参照)および22は、フレーム20および液晶表示部10を載置面100に対して所定の角度θ傾斜させて寝かせた状態で、フレーム20を支持することが可能である。
 また、上記のように突起部21および22を構成することによって、図3に示すように、突起部21および22は、フレーム20および液晶表示部10の長手方向(X方向)をユーザから見て横向きにしてユーザが両手で把持することが可能である。また、図4に示すように、突起部22は、フレーム20および液晶表示部10の長手方向(X方向)を縦向きにして片手(左手)で把持可能である。
 また、突起部23は、図2に示すように、フレーム20の短手方向(Y方向)の他方端部(矢印Y2方向端部)近傍で、かつ、突起部21および22の間に設けられている。この突起部23の内部には、携帯情報表示端末1の電源を供給するための二次電池(リチウムイオン電池)が内蔵(収納)されている。
 また、突起部21および22の他方端部側(矢印Y2方向側)の端面には、それぞれ、赤外線通信部31および32が内蔵されている。これら赤外線通信部31および32は、後述するリモコンモードの際に、メディアプレーヤーおよびテレビジョン装置(図示せず)などを操作可能な所定の信号(リモコン信号)を含む赤外線を発光するように構成されている。
 また、液晶表示部10の長手方向(X方向)の矢印X2方向側の部分には、図1に示すように、情報処理装置モード用各種スイッチ33が設けられている。情報処理装置モード用各種スイッチ33は、それぞれ、メール、ビデオおよびボイスチャットなどを処理する情報処理装置モードで使用されるスイッチである。また、情報処理装置モード用各種スイッチ33の矢印X2方向側の近傍には、4方向移動スイッチ34(選択スイッチ)が設けられている。また、4方向移動スイッチ34の中心部分には、決定スイッチ35が設けられている。これら4方向移動スイッチ34および決定スイッチ35は、それぞれ、リモコンモードおよび情報処理装置モードの両方で使用可能に構成されている。
 また、4方向移動スイッチ34の矢印Y2方向側には、リモコンモードと情報処理装置モードとを切替可能なリモコンモード遷移スイッチ36が設けられている。また、4方向移動スイッチ34の矢印Y1方向側には、リモコンモードにおけるリモコン操作対象機器(テレビなど)の表示部にOSD表示された操作画面を現在の状態から1つ前の状態に戻すための戻る機能スイッチ37が設けられている。
 また、図5に示すように、フレーム20の矢印X1方向側の側面部24には、複数の接続部40が設けられている。この接続部40は、2つのUSB接続部41および42と、HDMI接続部43と、音声ケーブル接続部44と、電源コネクタ45とを含んでいる。
 次に、携帯情報表示端末1の内部構成について説明する。携帯情報表示端末1のフレーム20には、図7に示すように、携帯情報表示端末1の制御を司る制御部(CPU)51と、記憶部(メモリ)52と、傾きセンサ53とが設けられている。記憶部52は、制御部51により実行されるアプリケーションプログラムを記憶している。なお、傾きセンサ53は、本発明の「状態検出センサ」の一例である。
 ここで、本実施形態では、傾きセンサ53は、フレーム20(図1参照)の傾きを取得する機能を有する。また、傾きセンサ53は、フレーム20および液晶表示部10を載置面100に立てて使用する状態(以下、立てた状態(図5参照)と呼ぶ)、フレーム20および液晶表示部10を載置面100に寝かせて使用する状態(以下、寝かせた状態(図6参照)と呼ぶ)およびフレーム20をユーザの手で把持して使用する状態(以下、手持ち状態(図3および図4参照)と呼ぶ)のいずれの使用状態であるかを検出するために設けられている。また、傾きセンサ53は、立てた状態(図5参照)、寝かせた状態(図6参照)および手持ち状態(図3および図4参照)のみならず、フレーム20および液晶表示部10が載置面100に対向するように伏せた状態(不使用状態)(図8参照)を検出可能に構成されている。
 また、上述したフレーム20の外形形状により、立てた状態(図5参照)での傾きと、寝かせた状態(図6参照)での傾きと、伏せた状態(不使用状態)(図8参照)での傾きとは、フレーム20の載置面100に対する角度が互いに90度以上異なるため、制御部51は、フレーム20の載置面100に対する異なる傾きに基づいて容易に各状態を判別して特定することが可能である。なお、フレーム20および液晶表示部10を載置面100に立てて使用する状態での傾きは、本発明の「第1の傾き」の一例であり、フレーム20および液晶表示部10を載置面100に寝かせて使用する状態での傾きは、本発明の「第2の傾き」の一例である。
 また、手持ち状態(図3および図4参照)では、ユーザが微妙に動くことに起因して傾きセンサ53により検出される検出値が検出時間毎に変化するため、制御部51は、立てた状態、寝かせた状態および伏せた状態(不使用状態)を区別することが可能となる。また、傾きセンサ53は、手持ち状態(図3および図4参照)である場合にも、フレーム20の長手方向を縦にして使用する縦向きでの使用状態(以下、縦持ち状態(図4参照)と呼ぶ)とフレーム20の長手方向を横にして使用する横向きでの使用状態(以下、横持ち状態(図3参照)と呼ぶ)とを検出可能に構成されている。また、縦持ち状態と横持ち状態とでは、図3および図4に示すように、液晶表示部10が約90度回転されるため、傾きセンサ53は、縦持ち状態と横持ち状態との異なる傾きを容易に判別して特定することが可能である。
 ここで、本実施形態では、制御部51は、傾きセンサ53によるフレーム20および液晶表示部10の使用状態、または、伏せた状態(不使用状態)の検出結果と、カメラユニット11の顔検出機能により検出されるユーザの顔の向きの検出結果とに基づいて、フレーム20および液晶表示部10の使用状態、または、伏せた状態(不使用状態)を判別して特定するように構成されている。そして、制御部51は、上記傾きセンサ53による検出結果とユーザの顔の向きの検出結果とに基づいて、液晶表示部10の画面表示の向きを切り替える制御を行うように構成されている。
 具体的には、ユーザにより携帯情報表示端末1の姿勢(状態)が変更された場合に、制御部51は、傾きセンサ53による検出結果に基づいて、立てた状態(図5参照)、寝かせた状態(図6参照)、手持ち状態(図3および図4参照)および伏せた状態(不使用状態)(図8参照)のうちのいずれかの状態を判別して特定可能に構成されている。そして、制御部51は、傾きセンサ53による検出結果に基づいて、立てた状態(図5参照)または寝かせた状態(図6参照)であることを判別して特定した場合には、傾きセンサ53による検出結果に基づいて、立てた状態(図5参照)または寝かせた状態(図6参照)に対応して液晶表示部10の画面表示の向きを切り替えるように構成されている。すなわち、ユーザにより携帯情報表示端末1の姿勢(状態)が変更された場合において、制御部51は、傾きセンサ53により手持ち状態ではないことが検出された場合に、傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替える制御を行うように構成されている。
 また、制御部51は、傾きセンサ53による検出結果に基づいて、手持ち状態(図3および図4参照)であることを判別して特定した場合には、傾きセンサ53により検出された手持ち状態よりも、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えるように構成されている。具体的には、図9および図10に示すように、制御部51は、カメラユニット11により撮像されたユーザの顔の向きを顔検出機能により検出する機能を有しており、ユーザの顔の上下方向が液晶表示部10の短手方向(Y方向)と略一致する向きであると判断した場合には、液晶表示部10の短手方向(Y方向)を上下方向に設定して画面表示を表示するように構成されている。
 この場合、制御部51は、ユーザの顔の向きが液晶表示部10の短手方向(Y方向)に沿って延びる基準線(一点鎖線)に対して約-45度~約+45度の間(図10参照)で傾斜している場合には、液晶表示部10の短手方向(Y方向)を上下方向に設定して画面表示を表示するように構成されている。また、図11および図12に示すように、制御部51は、ユーザの顔の上下方向が液晶表示部10の長手方向(X方向)と略一致する向きであると判断した場合には、液晶表示部10の長手方向(X方向)を上下方向に設定して画面表示を表示するように構成されている。また、制御部51は、ユーザの顔の向きが液晶表示部10の長手方向(X方向)に沿って延びる基準線(一点鎖線)に対して約-45度~約+45度の間(図12参照)で傾斜している場合には、液晶表示部10の長手方向(X方向)を上下方向に設定して画面表示を表示するように構成されている。
 ここで、図12に示すように、カメラユニット11は、液晶表示部10の長手方向(X方向)に沿って延びる基準線に沿った液晶表示部10の外側に配置されている。つまり、携帯情報表示端末1では、特に、長手方向(X方向)を上下方向に設定した場合に、カメラユニット11に対して左右方向(Y方向)に約-45度~約+45度の間でユーザの顔の向きが傾斜しても、画面表示の上下方向が長手方向に対応した状態が維持されるように構成されている。
 また、制御部51は、特定した使用状態に対応するアプリケーションプログラムを自動的に起動するか、または、スタンバイモードに移行する制御を行うように構成されている。具体的には、制御部51は、立てた状態(図5参照)であると特定した場合には、ユーザが操作することを前提としないアプリケーションプログラムを起動するように構成されている。また、制御部51は、寝かせた状態(図6参照)であると特定した場合には、ユーザが操作することを前提とするアプリケーションプログラムを起動するように構成されている。また、制御部51は、手持ち状態(図3および図4参照)であると特定した場合にも、ユーザが操作することを前提とするアプリケーションプログラムを起動するように構成されている。なお、特定した使用状態に対応するアプリケーションプログラムは、ユーザにより予め設定される。
 また、制御部51は、傾きセンサ53により検出される傾き値が常時小刻みに変化しているか否かを判断することにより、携帯情報表示端末1が載置面100に載置されている状態(図5、図6および図8の状態)、または、ユーザにより把持されている状態(図3および図4の状態)のいずれかを判断するように構成されている。傾きセンサ53により検出される傾き値が常時小刻みに変化している場合には、制御部51は、携帯情報表示端末1がユーザにより把持されている状態であると判断するように構成されている。また、傾きセンサ53により検出される傾き値が安定している場合には、制御部51は、携帯情報表示端末1が載置面100に載置されている状態であると判断するように構成されている。
 また、本実施形態では、制御部51は、傾きセンサ53によりフレーム20および液晶表示部10が載置面100に対向するように伏せた状態(不使用状態)(図8参照)であることを特定した場合に、上記したスタンバイモードに移行する制御を行うように構成されている。この場合、制御部51は、使用状態(立てた状態、寝かせた状態および手持ち状態)の時とは異なり、ユーザにより使用されるアプリケーションプログラムを起動しないように構成されている
 また、本実施形態では、制御部51は、手持ち状態の傾き値が傾きセンサ53により検出された場合には、伏せた状態(不使用状態)(図8参照)と同様の傾き値が検出された場合であってもスタンバイモードに移行しないように構成されている。この場合に、制御部51は、ユーザの顔の向きの検出結果に基づく画面表示を液晶表示部10に表示させる制御を行うように構成されている。つまり、ユーザがフレーム20を把持している状態では、制御部51は、フレーム20に関して伏せた状態(不使用状態)の傾きが検出された場合を含めてどのような状態であっても、スタンバイモードに移行しない制御を行うように構成されている。
 次に、図3~図8、図13および図14を参照して、本実施形態による携帯情報表示端末1の状態に対応する表示向き変更および維持フローについて説明する。
 図13に示すように、制御部51が傾きセンサ53により取得された傾き値が変化したこと(イベント発生)を認識することにより、携帯情報表示端末1の使用状態に対応する表示向き変更および維持フローがスタートされる。
 まず、ステップS1において、制御部51(図7参照)により、傾きセンサ53から取得した傾き値が認識(評価)され、傾き値が記憶部52に記憶される。そして、ステップS2において、記憶された過去の傾き値と今回記憶された傾き値との変化の状態に基づいて、携帯情報表示端末1が立てた状態(図5参照)、寝かせた状態(図6参照)、伏せた状態(不使用状態)(図8参照)、および、手持ち状態(図3および図4参照)のいずれの状態であるかが決定される。すなわち、記憶された過去の傾き値および今回記憶された傾き値が小刻みに変化している場合には、手持ち状態と決定される。また、記憶された過去の傾き値および今回記憶された傾き値が小刻みに変化しておらずに、今回記憶された傾き値が立てた状態の傾き値の範囲内である場合には、立てた状態と決定される。同様に、今回記憶された傾き値が寝かせた状態の傾き値の範囲内である場合には、寝かせた状態と決定され、今回記憶された傾き値が伏せた状態(不使用状態)の傾き値の範囲内である場合には、伏せた状態(不使用状態)と決定される。
 その後、ステップS3において、制御部51により、決定された状態が傾きセンサ53により取得された傾き値が変化する前(イベント発生前)の状態から変更されたか否かが判断される。そして、ステップS3において、決定された状態が傾きセンサ53により取得された傾き値が変化する前(イベント発生前)の状態から変更されていないと判断された場合には、ステップS4に進む。そして、ステップS4において、状態の変更がされていないので、アプリケーションプログラムが変更されることなく、アプリケーションプログラムはそのまま維持され、ステップS5に進む。そして、ステップS5において、液晶表示部10に表示されている表示向きも変更されることなく、そのまま維持されて、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。
 また、ステップS3において、決定された状態が傾きセンサ53により取得された傾き値が変化する前(イベント発生前)の状態から変更されたと判断された場合には、ステップS6に進む。そして、ステップS6において、制御部51により、変更された状態がフレーム20をユーザの手で把持して使用する状態(手持ち状態(図3および図4参照))であるか否かが判断される。そして、ステップS6において、変更された状態が手持ち状態であると判断された場合には、後述するステップS21(図14参照)に進む。また、ステップS6において、変更された状態が手持ち状態ではないと判断された場合には、ステップS7に進む。
 そして、ステップS7において、制御部51により、変更された状態がフレーム20および液晶表示部10が載置面100に対向するように伏せた状態(不使用状態)(図8参照)であるか否かが判断される。そして、ステップS7において、変更された状態が伏せた状態(不使用状態)であると判断された場合には、ステップS8に進む。そして、ステップS8において、制御部51により、スタンバイモードに移行されて、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。また、ステップS7において、変更された状態が伏せた状態(不使用状態)ではないと判断された場合には、ステップS9に進む。なお、上記したステップS6における「No」の判断(手持ち状態ではないと判断した場合)以降の処理フローでは、カメラユニット11を起動することなく傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替える制御が行われる。
 その後、ステップS9において、制御部51により、変更された状態に対応するアプリケーションプログラムが設定されているか否かが判断される。つまり、ステップS9において、立てた状態、寝かせた状態および手持ち状態のそれぞれについて自動的に起動させるアプリケーションプログラムがユーザにより設定されているか否かが判断される。そして、ステップS9において、変更された状態に対応するアプリケーションプログラムが設定されていないと判断された場合には、上述したステップS4およびステップS5に進み、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。また、ステップS9において、変更された状態に対応するアプリケーションプログラムが設定されていると判断された場合には、ステップS10に進む。
 そして、ステップS10において、制御部51により、設定されていたアプリケーションプログラムが現在使用中のアプリケーションプログラムと同じアプリケーションプログラムであるか否かが判断される。そして、ステップS10において、設定されていたアプリケーションプログラムが現在使用中のアプリケーションプログラムと同じアプリケーションプログラムであると判断された場合には、アプリケーションプログラムを変更する必要がないので、上述したステップS4およびステップS5に進み、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。また、ステップS10において、設定されていたアプリケーションプログラムが現在使用中のアプリケーションプログラムと同じアプリケーションプログラムではないと判断された場合には、ステップS11に進む。
 その後、ステップS11において、変更された状態に対応するユーザにより設定されたアプリケーションプログラムが起動され、ステップS12に進む。そして、ステップS12において、状態に対応する表示向きに変更または表示向きが維持され、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。たとえば、寝かせた状態または手持ち状態の横持ち状態から立てた状態に変更された場合には、液晶表示部10に表示される表示向きは180度回転されて変更される。また、手持ち状態のうちの縦持ち状態または立てた状態から寝かせた状態に変更された場合には、液晶表示部10に表示される表示向きは90度または270度回転されて変更される。また、手持ち状態のうちの横持ち状態から寝かせた状態に変更された場合には、液晶表示部10に表示される表示向きは変更されずにそのまま維持される。
 次に、図14を参照して、ステップS6において、制御部51により、変更された状態が手持ち状態であると判断された場合についての処理フローを詳細に説明する。
 図14に示すように、ステップS6(図13参照)において変更された状態が手持ち状態であると判断された場合には、ステップS21において、傾きセンサ53による使用状態の検出機能を維持した状態で、制御部51により、カメラユニット11が起動される。そして、ステップS22に進む。なお、ステップS22以降の処理フローでは、傾きセンサ53によりフレーム20に関して伏せた状態(不使用状態)の傾きが検出された場合であっても、上述のステップS8(図13参照)のようなスタンバイモードには移行せずに、カメラユニット11の検出結果に基づいて液晶表示部10の画面表示の向きを切り替える制御が行われる。
 その後、ステップS22において、制御部51により、カメラユニット11によって撮像されたデータに基づいて、ユーザの顔の向きを検出することができたか否かが判断される。そして、ステップS22において、ユーザの顔の向きを検出することができたと判断された場合には、ステップS23に進む。そして、ステップS23において、制御部51により、液晶表示部10に表示される画面表示がユーザの顔の向きに対応する表示方向に変更または維持され、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。たとえば、立てた状態から手持ち状態の横持ち状態に変更された場合には、液晶表示部10に表示される表示の向きは180度回転される。また、立てた状態、寝かせた状態または手持ち状態の横持ち状態から手持ち状態のうちの縦持ち状態に変更された場合には、液晶表示部10に表示される表示の向きは90度または270度回転される。また、寝かせた状態から手持ち状態のうちの横持ち状態に変更された場合には、液晶表示部10に表示される表示の向きは変更されずにそのまま維持される。
 また、ステップS22において、ユーザの顔の向きを検出することができなかったと判断された場合には、ステップS24に進む。そして、ステップS24において、制御部51により、傾きセンサ53により検出された傾き値に基づいて、検出された傾き値が前回に検出された傾き値から所定の角度範囲以上で変化したか否かが判断される。すなわち、ユーザが携帯情報表示端末1を大きな角度範囲で動かしたか否かが判断される。そして、ステップS24において、検出された傾き値が前回に検出された傾き値から所定の角度範囲内で変化したと判断された場合には、ステップS25に進む。そして、ステップS25において、液晶表示部10の画面表示の向きを切り替えずに、現在液晶表示部10に表示されている画面表示の方向が維持されて、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。
 また、ステップS24において、傾きセンサ53により検出された傾き値に基づいて、検出された傾き値が前回に検出された傾き値から所定の角度範囲以上で変化したと判断された場合には、ステップS26に進む。そして、ステップS26において、制御部51により、顔検出機能を用いることにより、再度ユーザの顔の向きが検出し直される。
 そして、ステップS27において、ユーザの顔の向きを検出することができたか否かが再度判断される。そして、ステップS27において、ユーザの顔の向きを検出することができたと判断された場合には、上述したステップS23に進む。そして、ステップS23において、液晶表示部10に表示される画面表示がユーザの顔の向きに対応する表示方向に変更または維持されて、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。
 また、ステップS27において、ユーザの顔の向きを検出することができなかったと判断された場合には、ステップS28に進む。そして、ステップS28において、検出機能が維持された状態の傾きセンサ53によって検出された傾き値に基づいて、液晶表示部10に表示されている画面表示の向きが変更されて、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。
 本実施形態では、上記のように、顔検出機能により検出されるユーザの顔の向きの検出結果と、傾きセンサ53による検出結果とに基づいて、液晶表示部10の画面表示の向きを切り替えることによって、顔検出機能により検出されるユーザの顔の向きの検出結果のみに基づいて液晶表示部10の画像表示の向きを切り替える場合とは異なり、カメラユニット11により撮像されたユーザの顔の向きを検出することができない場合にも、フレーム20の傾きを検知する傾きセンサ53により、フレーム20がどのような状態(姿勢)であるのかを検出することができる。これにより、カメラユニット11により撮像されたユーザの顔の向きを検出することができない場合にも、傾きセンサ53により検出された状態(姿勢)に基づいて、適切な表示向きで画面を表示することができる。
 また、本実施形態では、上記のように、傾きセンサ53によりフレーム20および液晶表示部10の使用状態を検出した後に、傾きセンサ53による検出結果に基づいて、カメラユニット11によるユーザの顔の向きの検出を行うか否かを判別する制御(図13に示すステップS6の判断)を行うことによって、カメラユニット11の起動に先立って、傾きセンサ53によりフレーム20および液晶表示部10の使用状態を検出し、傾きセンサ53による検出結果に応じてカメラユニット11を起動する必要があるか否かを決定することができる。これにより、カメラユニット11によるユーザの顔の向きの検出を行う必要がない場合には、カメラユニット11を不必要に起動する動作処理を行うことがないので、適切な表示向きで画面を表示させる動作を迅速に行うことができる。
 また、本実施形態では、上記のように、傾きセンサ53により所定の使用状態(手持ち状態)が検出された場合には、傾きセンサ53により検出された使用状態よりも、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えることによって、ユーザの顔の向きの検出結果に基づく画面表示の向きと、傾きセンサ53による傾きに基づく画面表示の向きとが異なる場合が発生しやすい所定の使用状態(手持ち状態)の場合に、顔の向きの検出結果を優先させることにより、より実際の使用態様に合った画面表示の向きで表示させることができる。
 また、本実施形態では、上記のように、フレーム20を手で把持して使用する使用状態(手持ち状態)が検出された場合に、傾きセンサ53により検出された使用状態よりも、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えることによって、フレーム20を手で把持している状態で寝転がって使用するような場合には、傾きセンサ53による傾きに基づく検出結果ではユーザが画面をどのように見ているのかを判別することが難しいので、フレーム20を手で把持する状態である場合にはユーザの顔の向きを検出するとともに、ユーザの顔の向きに対応する画面表示の向きに切り替えることにより、より実際の使用態様に合った適切な画面表示の向きで表示させることができる。
 また、本実施形態では、上記のように、カメラユニット11により撮像されたユーザの顔のデータに基づいて、ユーザの顔の向きが液晶表示部10の上下方向(図10のY方向、図12のX方向)に沿った基準線(図10および図12において、液晶表示部10上に図示された一点鎖線)に対して所定の角度範囲以内で傾斜している場合に、液晶表示部10の画面表示の向きを切り替えずに維持することによって、ユーザの顔の向きが液晶表示部10の上下方向に完全に一致しない状態に厳格に反応して画面表示の向きが頻繁に切り替えられるような状況を回避することができる。これにより、頻繁な表示画面の切り替え動作が行われない分、ユーザによる携帯情報表示端末1の操作性を向上させることができる。
 また、本実施形態では、上記のように、所定の角度範囲を、ユーザの顔の向きが基準線に対して直交する左右方向にそれぞれ約45度で等しく傾けられた角度範囲として構成することによって、ユーザの顔の向きが基準線に対して左右方向のいずれの方向に傾斜されていても、おおよそ同様の感度で画面表示の向きの切り替えの可否を判断することができる。したがって、顔の向きの傾斜方向に依存することなく、携帯情報表示端末1の操作性を均一化させることができる。
 また、本実施形態では、上記のように、カメラユニット11を、基準線に沿った液晶表示部10の外側に配置することによって、カメラユニット11によるユーザの顔の向きの特定を、液晶表示部10の上下方向に沿った基準線を中心として行うことができるので、ユーザの顔の向きの傾斜方向を精度良く検出することができる。
 また、本実施形態では、上記のように、傾きセンサ53によりフレーム20を手で把持して使用する使用状態(手持ち状態)ではないことが検出された場合には、傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替える制御を行う。このようにフレーム20が手により把持されていないことが検出された場合には、フレーム20が載置面100などに固定的に載置されていると考えられる。そして、フレーム20が載置面100などに固定的に載置されている場合には、液晶表示部10の向きとその液晶表示部10をユーザが見る場合のユーザの顔の向きとは一定の関係にあるとともに、手で把持して使用する場合よりもユーザの顔を検出することができないことが多いので、この場合には、顔検出機能を用いずに、傾きセンサ53の検出結果を用いて、液晶表示部10の画面表示の向きを切り替える制御を行うことにより、適切な表示向きで画面を表示することができる。
 また、本実施形態では、上記のように、傾きセンサ53によりフレーム20を手で把持して使用する使用状態ではないことが検出された場合には、カメラユニット11を起動することなく傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替える制御を行う。これにより、カメラユニット11を不必要に起動する動作処理を行うことがないので、適切な表示向きで画面を表示させる動作を迅速に行うことができる。また、カメラユニット11が起動されない分、携帯情報表示端末1の消費電力を抑制することができる。
 また、本実施形態では、上記のように、傾きセンサ53により少なくとも手持ち状態であることが検出された場合に、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに液晶表示部10の画面表示の向きを切り替えるとともに、傾きセンサ53により立てた状態または寝かせた状態であることが検出された場合には、傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替えることによって、フレーム20が載置面100に載置されている立てた状態および寝かせた状態である場合には、傾きセンサ53により、適切な表示向きで画面を表示することができる。また、フレーム20を手で把持して使用する手持ち状態である場合には、ユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
 また、本実施形態では、上記のように、傾きセンサ53によりフレーム20がユーザにより把持された手持ち状態ではないと検出され、かつ、液晶表示部10が載置面100に対向するように伏せた状態(不使用状態)の傾きが検出された場合に、顔検出機能を使用せずにスタンバイモードに移行するとともに、傾きセンサ53により手持ち状態であると検出され、かつ、伏せた状態(不使用状態)の傾きが検出された場合に、スタンバイモードに移行せずにユーザの顔の向きの検出結果に基づく画面表示を液晶表示部10に表示させている。これにより、傾きセンサ53により手持ち状態ではないと検出され、かつ、伏せた状態(不使用状態)の傾きが検出された場合には、ユーザは携帯情報表示端末1を使用していないと考えられるので、この場合には、スタンバイモードに移行することにより、携帯情報表示端末1の省電力化を図ることができる。その一方で、傾きセンサ53により伏せた状態(不使用状態)の傾きであると検出された場合にも、手持ち状態であると検出された場合には、ユーザは携帯情報表示端末1を使用している(たとえば、仰向けで寝ながら液晶表示部10を見ている)と考えられるので、この場合には、ユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
 また、本実施形態では、上記のように、スタンバイモードに移行せずにユーザの顔の向きの検出結果に基づく画面表示を液晶表示部10に表示させる際、傾きセンサ53によるフレーム20および液晶表示部10の使用状態を検出する機能を維持することによって、ユーザによりフレーム20が把持された状態において、カメラユニット11によりユーザの顔の向きの検出が不可能であるような状況下でも、検出機能が維持されている傾きセンサ53を用いて直ちにフレーム20および液晶表示部10の使用状態(姿勢)を検出することができるので、適切な表示向きで画面を表示させる動作を確実に行うことができる。
 また、本実施形態では、上記のように、フレーム20を、立てた状態での傾きと、寝かせた状態での傾きとが、互いに異なる傾きになるように載置面100に設置可能な外形形状を有するように構成することによって、フレーム20の外形形状に基づいて、立てた状態と寝かせた状態との異なる傾きでフレーム20を載置面100に設置することができるので、傾きセンサ53による検出結果に基づいて、立てた状態と寝かせた状態とを容易に判別して特定することができるとともに、立てた状態および寝かせた状態に対応した適切な表示向きで画面を表示することができる。
 また、本実施形態では、上記のように、傾きセンサ53により取得されるフレーム20の外形形状に基づく立てた状態と寝かせた状態との90度以上異なるフレーム20の傾きに基づいて、立てた状態と寝かせた状態とを判別して特定可能に構成することとによって、フレーム20の外形形状に基づく90度以上の傾きの違いにより、立てた状態と寝かせた状態とを確実に判別して検出することができる。
 また、本実施形態では、上記のように、ユーザがフレーム20を把持している状態においてカメラユニット11により撮像されたユーザの顔データからユーザの顔の向きを検出できない場合において、傾きセンサ53により今回検出された傾き値が前回に検出された傾き値から所定の角度範囲内に収まっていると判断した場合には、液晶表示部10の画面表示の向きを切り替えずに維持している。これにより、ユーザがフレーム20を把持している状態で、傾きセンサ53により今回検出された傾き値が前回に検出された傾き値から所定の角度範囲内に収まっている場合には、前回に傾き値が検出された時の傾きから傾きが大きく変化していないので、ユーザと携帯情報表示端末1との相対的な位置関係が大きく変化していないと考えられる。この場合に、液晶表示部10の画面表示の向きを切り替えずに維持することにより、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
 また、本実施形態では、上記のように、ユーザがフレーム20を把持している状態においてカメラユニット11により撮像されたユーザの顔データからユーザの顔の向きを検出できない場合において、傾きセンサ53により今回検出された傾き値が前回に検出された傾き値から所定の角度範囲を超えて変化していると検出された場合には、カメラユニット11の顔検出機能によりユーザの顔の向きを検出し直すように構成されている。これにより、ユーザがフレーム20を把持している状態で、傾きセンサ53により今回検出された傾き値が前回に検出された傾き値から所定の角度範囲を超えて変化している場合には、前回に傾き値が検出された時の傾きから傾きが大きく変化しているので、ユーザと携帯情報表示端末1との相対的な位置関係が大きく変化しているか、または、ユーザがフレーム20の持ち方を変更していると考えられる。この場合に、顔検出機能によりユーザの顔の向きを検出し直すことにより、検出し直したユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
 また、本実施形態では、上記のように、顔検出機能によりユーザの顔の向きを検出し直した結果、ユーザの顔の向きが検出できない場合、傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替えるように構成することによって、ユーザによりフレーム20が把持された状態において、カメラユニット11によりユーザの顔の向きの再検出が不可能であるような状況下でも、傾きセンサ53を用いて直ちにフレーム20および液晶表示部10の使用状態(姿勢)を検出することができるので、適切な表示向きで画面を表示させる動作を途切れることなく行うことができる。
 また、本実施形態では、上記のように、記憶部(メモリ)52に記憶された使用状態が変更される前の傾き角度と、記憶部52に記憶された使用状態が変更された後の傾き角度とを比較することにより、立てた状態と寝かせた状態とを判別して特定するとともに、フレーム20を手で把持して使用する使用状態を判別して特定することによって、使用状態が変更される前後での傾き角度の変化に基づいて、携帯情報表示端末1の上記した3通りの使用状態を確実に判別して特定することができる。
 また、本実施形態では、上記のように、傾きセンサ53により検出された傾き角度が所定の範囲内で時間とともに変化する場合に、フレーム20を手で把持して使用する使用状態を判別して特定するとともに、傾きセンサ53により検出された傾き角度が所定の範囲内で時間とともに変化しない場合に、立てた状態または寝かせた状態を判別して特定することによって、傾き角度の時間的な変化を取得することによって、携帯情報表示端末1の使用状態をより正確に判別して特定することができる。
 なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
 たとえば、上記実施形態では、フレームをユーザの手で把持して使用する手持ち状態である場合にのみ、顔検出機能を用いてユーザの顔の向きを検出した例について示したが、本発明はこれに限られない。フレームをユーザの手で把持して使用する手持ち状態以外の状態である場合にも、顔検出機能を用いてユーザの顔の向きを検出してもよい。
 また、上記実施形態では、本発明の状態検出センサの一例として傾きセンサ53を用いた例について示したが、本発明はこれに限られない。たとえば、携帯情報表示端末1の状態を検出するために加速度センサなどの傾きセンサ以外のセンサを用いてもよい。
 また、上記実施形態では、傾きセンサ53がフレーム20および液晶表示部10を載置面に立てて使用する立てた状態、フレーム20および液晶表示部10を載置面100に寝かせて使用する寝かせた状態、フレーム20を手で把持して使用する手持ち状態、および、フレーム20および液晶表示部10が載置面100に対向するように伏せられた伏せた状態(不使用状態)のいずれかのみを検出する例について示したが、本発明はこれに限られない。たとえば、立てた状態、寝かせた状態、手持ち状態および伏せた状態(不使用状態)に加えて、携帯情報表示端末を壁面に引っ掛けて保持するなど、立てた状態、寝かせた状態、手持ち状態および伏せた状態(不使用状態)以外の状態を検出するようにしてもよい。
 また、上記実施形態では、傾きセンサ53がフレーム20および液晶表示部10を載置面100に立てて使用する立てた状態、および、フレーム20および液晶表示部10を載置面100に寝かせて使用する寝かせた状態に載置可能な外形形状にフレーム20を構成した例について示したが、本発明はこれに限られない。別部材のスタンドなどをフレーム(筐体)に取り付けることにより、傾きセンサ53がフレーム20および液晶表示部10を載置面100に立てて使用する立てた状態、および、フレーム20および液晶表示部10を載置面100に寝かせて使用する寝かせた状態に載置するようにしてもよい。
 また、上記実施形態では、リモコンモード時に、制御対象機器に対してリモコン信号を含む赤外線を出射することにより、制御対象機器のリモコン制御を行う例について示したが、本発明はこれに限られない。たとえば、Bluetooth(登録商標)およびZigbee(登録商標)などの無線通信規格を用いることにより制御対象機器のリモコン制御を行うようにしてもよい。
 また、上記実施形態では、説明の便宜上、制御部の処理動作をスタート時はイベント駆動的に記載し、スタート移行の処理動作はフロー駆動的に記載したフローチャートを用いて説明したが、本発明はこれに限られない。制御部の処理動作を完全なイベント駆動型で行ってもよいし、完全なフロー駆動型で行ってもよいし、並行処理的に行ってもよい。

Claims (20)

  1.  情報を表示する表示部(10)と、
     前記表示部が表面に設けられる筐体(20)と、
     前記筐体の傾きを検知することにより前記筐体および前記表示部の少なくとも使用状態を検出するための状態検出センサ(53)と、
     ユーザの顔を撮像可能な撮像部(11)と、
     前記撮像部により撮像されたユーザの顔のデータに基づいて顔検出機能により顔の向きの検出を行うとともに、顔の向きの検出結果と、前記状態検出センサによる検出結果とに基づいて、前記表示部の画面表示の向きを切り替える制御を行う制御部(51)とを備えた、携帯情報表示端末(1)。
  2.  前記制御部は、前記状態検出センサにより前記筐体および前記表示部の使用状態を検出した後に、前記状態検出センサによる検出結果に基づいて、前記撮像部による前記ユーザの顔の向きの検出を行うか否かを判別する制御を行うように構成されている、請求項1に記載の携帯情報表示端末。
  3.  前記制御部は、前記状態検出センサにより所定の使用状態が検出された場合には、前記状態検出センサにより検出された使用状態よりも、前記ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替える制御を行うように構成されている、請求項1に記載の携帯情報表示端末。
  4.  前記所定の使用状態は、前記筐体を手で把持して使用する使用状態であり、
     前記制御部は、前記筐体を手で把持して使用する使用状態が検出された場合に、前記状態検出センサにより検出された使用状態よりも、前記ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替える制御を行うように構成されている、請求項3に記載の携帯情報表示端末。
  5.  前記制御部は、前記撮像部により撮像された前記ユーザの顔のデータに基づいて、前記ユーザの顔の向きが前記表示部の上下方向に沿った基準線に対して所定の角度範囲以内で傾斜していると判断した場合には、前記表示部の画面表示の向きを切り替えずに維持する制御を行うように構成されている、請求項4に記載の携帯情報表示端末。
  6.  前記所定の角度範囲は、前記ユーザの顔の向きが前記基準線に対して直交する左右方向に略等しく傾けられた角度範囲である、請求項5に記載の携帯情報表示端末。
  7.  前記撮像部は、前記基準線に沿った前記表示部の外側に配置されている、請求項6に記載の携帯情報表示端末。
  8.  前記制御部は、前記状態検出センサにより前記筐体を手で把持して使用する使用状態ではないことが検出された場合には、前記状態検出センサによる検出結果に基づいて、前記表示部の画面表示の向きを切り替える制御を行うように構成されている、請求項4に記載の携帯情報表示端末。
  9.  前記制御部は、前記状態検出センサにより前記筐体を手で把持して使用する使用状態ではないことが検出された場合には、前記撮像部を起動することなく前記状態検出センサによる検出結果に基づいて、前記表示部の画面表示の向きを切り替える制御を行うように構成されている、請求項8に記載の携帯情報表示端末。
  10.  前記状態検出センサは、前記筐体の傾きを検知することにより、前記筐体および前記表示部を載置面に立てて使用する第1の使用状態と、前記筐体および前記表示部を載置面に寝かせて使用する第2の使用状態と、前記所定の使用状態としての前記筐体を手で把持して使用する第3の使用状態とのいずれの使用状態であるかを検出するために設けられており、
     前記制御部は、前記状態検出センサにより少なくとも前記第3の使用状態であることが検出された場合に、前記ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えるとともに、前記状態検出センサにより前記第1の使用状態または前記第2の使用状態であることが検出された場合には、前記状態検出センサによる検出結果に基づいて、前記表示部の画面表示の向きを切り替える制御を行うように構成されている、請求項3に記載の携帯情報表示端末。
  11.  前記状態検出センサは、前記所定の使用状態に加えて、少なくとも前記表示部が載置面に対向するように伏せた状態を検出するように構成されており、
     前記制御部は、前記状態検出センサにより前記筐体がユーザにより把持された前記所定の使用状態ではないと検出され、かつ、前記表示部が載置面に対向するように伏せた状態の傾きが検出された場合に、前記顔検出機能を使用せずにスタンバイモードに移行するとともに、前記状態検出センサによりユーザにより前記筐体が把持された前記所定の使用状態であると検出され、かつ、前記表示部が載置面に対向するように伏せた状態の傾きが検出された場合に、前記スタンバイモードに移行せずに前記ユーザの顔の向きの検出結果に基づく画面表示を前記表示部に表示させる制御を行うように構成されている、請求項3に記載の携帯情報表示端末。
  12.  前記制御部は、前記スタンバイモードに移行せずに前記ユーザの顔の向きの検出結果に基づく画面表示を前記表示部に表示させる制御を行う際、前記状態検出センサによる前記筐体および前記表示部の使用状態を検出する機能を維持する制御を行うように構成されている、請求項11に記載の携帯情報表示端末。
  13.  前記状態検出センサは、前記筐体の傾きを検知することにより、少なくとも前記筐体および前記表示部を載置面に立てて使用する第1の使用状態と、前記筐体および前記表示部を載置面に寝かせて使用する第2の使用状態と、前記所定の使用状態としての前記筐体を手で把持して使用する第3の使用状態とのいずれの使用状態であるかを検出するために設けられており、
     前記筺体は、前記第1の使用状態での第1の傾きと、前記第2の使用状態での第2の傾きとが、互いに異なる傾きになるように載置面に設置可能な外形形状を有するように構成されている、請求項3に記載の携帯情報表示端末。
  14.  前記筺体は、前記第1の傾きと前記第2の傾きとが、相対的に90度以上異なるように構成されており、
     前記制御部は、前記状態検出センサにより取得される前記筐体の外形形状に基づく前記第1の使用状態と前記第2の使用状態との前記90度以上異なる前記筺体の傾きに基づいて、前記第1の使用状態と前記第2の使用状態とを判別して特定可能に構成されている、請求項13に記載の携帯情報表示端末。
  15.  前記制御部は、前記状態検出センサにより前記筐体を手で把持して使用する使用状態が検出された際に、前記撮像部により撮像されたユーザの顔データからユーザの顔の向きを検出できない場合において、前記状態検出センサにより今回検出された傾き値が前回に検出された傾き値から所定の角度範囲内に収まっていると判断した場合には、前記表示部の画面表示の向きを切り替えずに維持する制御を行うように構成されている、請求項1に記載の携帯情報表示端末。
  16.  前記制御部は、前記撮像部により撮像されたユーザの顔データからユーザの顔の向きを検出できない場合において、前記状態検出センサにより今回検出された傾き値が前回に検出された傾き値から所定の角度範囲を超えて変化していると検出された場合には、前記顔検出機能によりユーザの顔の向きを検出し直す制御を行うように構成されている、請求項15に記載の携帯情報表示端末。
  17.  前記制御部は、前記顔検出機能により前記ユーザの顔の向きを検出する際に、前記状態検出センサによる前記筐体および前記表示部の使用状態を検出する機能を維持する制御を行うように構成されており、
     前記制御部は、前記顔検出機能により前記ユーザの顔の向きを検出し直す制御を行った結果、前記ユーザの顔の向きを検出できないと判断した際、前記状態検出センサによる検出結果に基づいて、前記表示部の画面表示の向きを切り替える制御を行うように構成されている、請求項16に記載の携帯情報表示端末。
  18.  前記状態検出センサにより検出された傾き角度を記憶する記憶部(52)をさらに備え、
     前記状態検出センサは、前記筐体の傾きを検知することにより、少なくとも前記筐体および前記表示部を載置面に立てて使用する第1の使用状態と、前記筐体および前記表示部を載置面に寝かせて使用する第2の使用状態と、前記所定の使用状態としての前記筐体を手で把持して使用する第3の使用状態とのいずれの使用状態であるかを検出するために設けられており、
     前記制御部は、前記記憶部に記憶された使用状態が変更される前の傾き角度と、前記記憶部に記憶された使用状態が変更された後の傾き角度とを比較することにより、前記第1の使用状態および前記第2の使用状態を判別して特定するとともに、前記筐体を手で把持して使用する前記第3の使用状態を判別して特定するように構成されている、請求項1に記載の携帯情報表示端末。
  19.  前記制御部は、前記状態検出センサにより検出された前記傾き角度が所定の範囲内で時間とともに変化する場合に、前記筐体を手で把持して使用する前記第3の使用状態を判別して特定するとともに、前記状態検出センサにより検出された前記傾き角度が前記所定の範囲内で時間とともに変化しない場合に、前記第1の使用状態または前記第2の使用状態を判別して特定するように構成されている、請求項18に記載の携帯情報表示端末。
  20.  前記状態検出センサは、傾きセンサを含む、請求項1に記載の携帯情報表示端末。
PCT/JP2011/058737 2011-04-06 2011-04-06 携帯情報表示端末 Ceased WO2012137327A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2011/058737 WO2012137327A1 (ja) 2011-04-06 2011-04-06 携帯情報表示端末
KR1020127027913A KR20130139746A (ko) 2011-04-06 2011-04-06 휴대 정보 표시 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/058737 WO2012137327A1 (ja) 2011-04-06 2011-04-06 携帯情報表示端末

Publications (1)

Publication Number Publication Date
WO2012137327A1 true WO2012137327A1 (ja) 2012-10-11

Family

ID=46968763

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/058737 Ceased WO2012137327A1 (ja) 2011-04-06 2011-04-06 携帯情報表示端末

Country Status (2)

Country Link
KR (1) KR20130139746A (ja)
WO (1) WO2012137327A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015101126A1 (zh) * 2013-12-31 2015-07-09 华为技术有限公司 一种在视频通话中适应屏幕方向切换的方法和装置
JP2018156673A (ja) * 2013-03-11 2018-10-04 ソニー株式会社 端末装置、端末装置の制御方法およびプログラム
CN115482568A (zh) * 2021-05-31 2022-12-16 联想(新加坡)私人有限公司 电子设备以及控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004210A (ja) * 2003-06-14 2005-01-06 Lg Electronics Inc 移動通信端末機の画像傾き自動補正装置及びその方法
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
JP2006267456A (ja) * 2005-03-23 2006-10-05 Casio Hitachi Mobile Communications Co Ltd 画像処理装置、その画像処理方法及びプログラム
JP2009049512A (ja) * 2007-08-14 2009-03-05 Toshiba Corp 画面表示処理装置および方法
JP2011034029A (ja) * 2009-08-06 2011-02-17 Nec Casio Mobile Communications Ltd 電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004210A (ja) * 2003-06-14 2005-01-06 Lg Electronics Inc 移動通信端末機の画像傾き自動補正装置及びその方法
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
JP2006267456A (ja) * 2005-03-23 2006-10-05 Casio Hitachi Mobile Communications Co Ltd 画像処理装置、その画像処理方法及びプログラム
JP2009049512A (ja) * 2007-08-14 2009-03-05 Toshiba Corp 画面表示処理装置および方法
JP2011034029A (ja) * 2009-08-06 2011-02-17 Nec Casio Mobile Communications Ltd 電子機器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156673A (ja) * 2013-03-11 2018-10-04 ソニー株式会社 端末装置、端末装置の制御方法およびプログラム
WO2015101126A1 (zh) * 2013-12-31 2015-07-09 华为技术有限公司 一种在视频通话中适应屏幕方向切换的方法和装置
CN115482568A (zh) * 2021-05-31 2022-12-16 联想(新加坡)私人有限公司 电子设备以及控制方法

Also Published As

Publication number Publication date
KR20130139746A (ko) 2013-12-23

Similar Documents

Publication Publication Date Title
JP5440334B2 (ja) 携帯情報表示端末
KR101866272B1 (ko) 그립 센서를 이용한 사용자 기반의 휴대용 단말기의 장치 및 방법
EP3115868B1 (en) Camera-based orientation fix from portrait to landscape
JP5625462B2 (ja) 携帯情報表示端末
US9998665B2 (en) Camera mode selection based on context
WO2011125995A1 (ja) 携帯情報表示端末
JP5445285B2 (ja) 携帯情報表示端末
EP3182695A2 (en) Mobile terminal and method for controlling the same
KR102184122B1 (ko) 화면 표시 방법, 장치, 프로그램 및 저장매체
KR20130005656A (ko) 얼굴 인식을 이용한 보기모드 표시 방법 및 장치
WO2012120799A1 (ja) 表示装置及び表示方向切替方法
KR20090101733A (ko) 휴대 단말기 및 그의 얼굴 인식을 이용한 표시정보의 표시방법
KR20170138279A (ko) 이동 단말기 및 그 제어방법
WO2011083715A1 (ja) 携帯情報表示端末
US11947757B2 (en) Personal digital assistant
KR20150122362A (ko) 이동 단말기
CN104123075A (zh) 控制终端的方法及装置
WO2012137327A1 (ja) 携帯情報表示端末
KR20140117184A (ko) 디스플레이 장치 및 이를 제어하는 원격 제어 장치
US20110021252A1 (en) Portable communication apparatus with a user mode switching function
KR20130119223A (ko) 모바일 기기 및 그 동작 방법
WO2012018178A2 (ko) 입체 메인화면이 표시되는 휴대단말기
KR101782476B1 (ko) 사용자 시선 기반 디스플레이 출력 자동 회전 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20127027913

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11863058

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11863058

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP