しかしながら、特開2009-130816号公報による携帯電話機(携帯情報表示端末)では、カメラの撮像範囲にユーザがいない場合など、カメラによりユーザの顔を撮像することができない場合には、ユーザの顔の向きを検出することができない。このため、特開2009-130816号公報による携帯電話機では、ユーザの顔の向きを検出することができない場合に、テレビ放送映像(画面表示)をユーザの顔の向きに対応する適切な表示方向で表示部に表示することができないという問題点がある。
However, in the mobile phone (portable information display terminal) according to Japanese Patent Application Laid-Open No. 2009-130816, when the user's face cannot be captured by the camera, such as when there is no user in the imaging range of the camera, The direction cannot be detected. For this reason, in the mobile phone according to Japanese Patent Laid-Open No. 2009-130816, when the orientation of the user's face cannot be detected, the TV broadcast video (screen display) is displayed in an appropriate display direction corresponding to the orientation of the user's face. There is a problem that it cannot be displayed on the display unit.
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、ユーザの顔の向きを検出することができない場合にも、適切な表示向きで画面を表示することが可能な携帯情報表示端末を提供することである。
The present invention has been made to solve the above-described problems, and one object of the present invention is to display a screen with an appropriate display orientation even when the orientation of the user's face cannot be detected. It is to provide a portable information display terminal capable of displaying.
課題を解決するための手段および発明の効果Means for Solving the Problems and Effects of the Invention
この発明の一の局面による携帯情報表示端末は、情報を表示する表示部と、表示部が表面に設けられる筐体と、筐体の傾きを検知することにより筐体および表示部の少なくとも使用状態を検出するための状態検出センサと、ユーザの顔を撮像可能な撮像部と、撮像部により撮像されたユーザの顔のデータに基づいて顔検出機能により顔の向きの検出を行うとともに、顔の向きの検出結果と、状態検出センサによる検出結果とに基づいて、表示部の画面表示の向きを切り替える制御を行う制御部とを備えている。
A portable information display terminal according to one aspect of the present invention includes a display unit for displaying information, a casing on which the display unit is provided, and at least a usage state of the casing and the display unit by detecting the tilt of the casing. A state detection sensor for detecting the image of the user, an imaging unit capable of imaging the user's face, and detecting the orientation of the face using the face detection function based on the user's face data captured by the imaging unit. A control unit that performs control to switch the screen display direction of the display unit based on the detection result of the direction and the detection result of the state detection sensor is provided.
この発明の一の局面による携帯情報表示端末では、上記のように、顔検出機能により検出されるユーザの顔の向きの検出結果と、状態検出センサによる検出結果とに基づいて、表示部の画面表示の向きを切り替えることによって、顔検出機能により検出されるユーザの顔の向きの検出結果のみに基づいて表示部の画像表示の向きを切り替える場合とは異なり、撮像部により撮像されたユーザの顔の向きを検出することができない場合にも、筐体の傾きを検知する状態検出センサにより、筐体がどのような状態(姿勢)であるのかを検出することができる。これにより、撮像部により撮像されたユーザの顔の向きを検出することができない場合にも、状態検出センサにより検出された状態(姿勢)に基づいて、適切な表示向きで画面を表示することができる。
In the portable information display terminal according to one aspect of the present invention, as described above, the screen of the display unit is based on the detection result of the face direction of the user detected by the face detection function and the detection result by the state detection sensor. Unlike the case of switching the image display direction of the display unit based on only the detection result of the user's face direction detected by the face detection function by switching the display direction, the user's face imaged by the imaging unit Even when the orientation of the housing cannot be detected, the state detection sensor that detects the tilt of the housing can detect what state (posture) the housing is in. Thereby, even when the orientation of the user's face imaged by the imaging unit cannot be detected, the screen can be displayed in an appropriate display orientation based on the state (posture) detected by the state detection sensor. it can.
上記一の局面による携帯情報表示端末において、好ましくは、制御部は、状態検出センサにより筐体および表示部の使用状態を検出した後に、状態検出センサによる検出結果に基づいて、撮像部によるユーザの顔の向きの検出を行うか否かを判別する制御を行うように構成されている。このように構成すれば、撮像部の起動に先立って、状態検出センサにより筐体および表示部の使用状態を検出し、状態検出センサによる検出結果に応じて撮像部を起動する必要があるか否かを決定することができる。これにより、撮像部によるユーザの顔の向きの検出を行う必要がない場合には、撮像部を不必要に起動する動作処理を行うことがないので、適切な表示向きで画面を表示させる動作を迅速に行うことができる。
In the portable information display terminal according to the above aspect, the control unit preferably detects the use state of the housing and the display unit by the state detection sensor, and then based on the detection result by the state detection sensor, Control is performed to determine whether or not to detect the face orientation. According to this configuration, it is necessary to detect the usage state of the housing and the display unit by the state detection sensor before starting the imaging unit, and to start the imaging unit according to the detection result by the state detection sensor. Can be determined. As a result, when it is not necessary to detect the orientation of the user's face by the imaging unit, an operation process that unnecessarily activates the imaging unit is not performed. Can be done quickly.
上記一の局面による携帯情報表示端末において、好ましくは、制御部は、状態検出センサにより所定の使用状態が検出された場合には、状態検出センサにより検出された使用状態よりも、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えるように構成されている。このように構成すれば、ユーザの顔の向きの検出結果に基づく画面表示の向きと、状態検出センサによる傾きに基づく画面表示の向きとが異なる場合が発生しやすい所定の使用状態の場合に、顔の向きの検出結果を優先させることにより、より実際の使用態様に合った画面表示の向きで表示させることができる。
In the portable information display terminal according to the above aspect, preferably, when a predetermined use state is detected by the state detection sensor, the control unit is more sensitive to the user's face than the use state detected by the state detection sensor. The orientation detection result is prioritized and the screen display orientation corresponding to the orientation of the user's face is switched. If configured in this way, in the case of a predetermined use state in which it is likely that the screen display direction based on the detection result of the user's face direction and the screen display direction based on the inclination by the state detection sensor are likely to occur. By giving priority to the detection result of the face orientation, it is possible to display the screen display orientation more suitable for the actual usage mode.
上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、所定の使用状態は、筐体を手で把持して使用する使用状態であり、制御部は、筐体を手で把持して使用する使用状態が検出された場合に、状態検出センサにより検出された使用状態よりも、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えるように構成されている。このように構成すれば、筐体を手で把持している状態で寝転がって使用するような場合には、状態検出センサによる傾きに基づく検出結果ではユーザが画面をどのように見ているのかを判別することが難しいので、筐体を手で把持する状態である場合にはユーザの顔の向きを優先的に検出するとともに、ユーザの顔の向きに対応する画面表示の向きに切り替えることにより、より実際の使用態様に合った適切な画面表示の向きで表示させることができる。
In the portable information display terminal that switches to the screen display orientation corresponding to the orientation of the user's face when the predetermined usage state is detected, the predetermined usage state is preferably used by gripping the housing by hand. In the use state, the control unit prioritizes the detection result of the user's face direction over the use state detected by the state detection sensor when the use state in which the case is gripped by hand is detected. Thus, the screen display direction is switched to the direction of the user's face. With this configuration, when the user lies down while holding the case with his / her hand, the detection result based on the inclination by the state detection sensor shows how the user views the screen. Since it is difficult to discriminate, it is possible to preferentially detect the orientation of the user's face when the case is in a state of gripping the case by hand, and by switching to the screen display orientation corresponding to the orientation of the user's face, It can be displayed in a screen display orientation more suitable for the actual usage mode.
上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、制御部は、撮像部により撮像されたユーザの顔のデータに基づいて、ユーザの顔の向きが表示部の上下方向に沿った基準線に対して所定の角度範囲以内で傾斜していると判断した場合には、表示部の画面表示の向きを切り替えずに維持する制御を行うように構成されている。このように構成すれば、ユーザの顔の向きが表示部の上下方向に完全に一致しない状態に厳格に反応して画面表示の向きが頻繁に切り替えられるような状況を回避することができるので、頻繁な表示画面の切り替え動作が行われない分、ユーザによる携帯情報表示端末の操作性を向上させることができる。
In the portable information display terminal that switches to a screen display orientation corresponding to the orientation of the user's face when the predetermined usage state is detected, preferably, the control unit converts the user's face data imaged by the imaging unit to If it is determined that the orientation of the user's face is tilted within a predetermined angle range with respect to a reference line along the vertical direction of the display unit, the screen display direction of the display unit is not switched. It is comprised so that the control to maintain may be performed. By configuring in this way, it is possible to avoid a situation in which the orientation of the screen display is frequently switched in response to a strict response to a state in which the orientation of the user's face does not completely match the vertical direction of the display unit, Since the frequent switching operation of the display screen is not performed, the operability of the portable information display terminal by the user can be improved.
上記ユーザの顔の向きが基準線に対して所定の角度範囲以内で傾斜している場合に表示部の画面表示の向きを切り替えずに維持する携帯情報表示端末において、好ましくは、所定の角度範囲は、ユーザの顔の向きが基準線に対して直交する左右方向にそれぞれ略等しく傾けられた角度範囲である。このように構成すれば、ユーザの顔の向きが基準線に対して左右方向のいずれの方向に傾斜されていても、おおよそ同様の感度で画面表示の向きの切り替えの可否を判断することができる。したがって、顔の向きの傾斜方向に依存することなく、携帯情報表示端末の操作性を均一化させることができる。
In the portable information display terminal that maintains the orientation of the screen display of the display unit without switching when the orientation of the user's face is inclined within a predetermined angle range with respect to the reference line, preferably the predetermined angle range Is an angle range in which the orientation of the user's face is inclined substantially equally in the left-right direction orthogonal to the reference line. With this configuration, it is possible to determine whether or not the screen display direction can be switched with approximately the same sensitivity, regardless of whether the user's face is tilted in the left or right direction with respect to the reference line. . Therefore, the operability of the portable information display terminal can be made uniform without depending on the inclination direction of the face direction.
この場合において、好ましくは、撮像部は、基準線に沿った表示部の外側に配置されている。このように構成すれば、撮像部によるユーザの顔の向きの特定を、表示部の上下方向に沿った基準線を中心として行うことができるので、ユーザの顔の向きの傾斜方向を精度良く検出することができる。
In this case, preferably, the imaging unit is arranged outside the display unit along the reference line. With this configuration, the orientation of the user's face by the imaging unit can be specified around the reference line along the vertical direction of the display unit, so the tilt direction of the user's face can be accurately detected. can do.
上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、制御部は、状態検出センサにより筐体を手で把持して使用する使用状態ではないことが検出された場合には、状態検出センサによる検出結果に基づいて、表示部の画面表示の向きを切り替える制御を行うように構成されている。このように筐体が手により把持されていないことが検出された場合には、筐体が載置面などに固定的に載置されていると考えられる。そして、筐体が載置面などに固定的に載置されている場合には、表示部の向きとその表示部をユーザが見る場合のユーザの顔の向きとは一定の関係にあるとともに、手で把持して使用する場合よりもユーザの顔を検出することができないことが多いので、この場合には、顔検出機能を用いずに、状態検出センサの検出結果を用いて、表示部の画面表示の向きを切り替える制御を行うことにより、適切な表示向きで画面を表示することができる。
In the portable information display terminal that switches to the screen display orientation corresponding to the orientation of the user's face when the predetermined usage state is detected, preferably, the control unit grips the housing with the state detection sensor by hand. When it is detected that the usage state is not in use, control is performed to switch the screen display orientation of the display unit based on the detection result of the state detection sensor. Thus, when it is detected that the casing is not gripped by the hand, it is considered that the casing is fixedly mounted on the mounting surface or the like. And when the case is fixedly placed on a placement surface or the like, the orientation of the display unit and the orientation of the user's face when the user views the display unit are in a fixed relationship, In many cases, the user's face cannot be detected as compared with a case where the user's face is held and used. In this case, the detection result of the state detection sensor is used instead of the face detection function. By performing control to switch the screen display direction, the screen can be displayed in an appropriate display direction.
この場合において、好ましくは、制御部は、状態検出センサにより筐体を手で把持して使用する使用状態ではないことが検出された場合には、撮像部を起動することなく状態検出センサによる検出結果に基づいて、表示部の画面表示の向きを切り替える制御を行うように構成されている。このように構成すれば、撮像部を不必要に起動する動作処理を行うことがないので、適切な表示向きで画面を表示させる動作を迅速に行うことができる。また、撮像部が起動されない分、携帯情報表示端末の消費電力を抑制することができる。
In this case, preferably, when the state detection sensor detects that the housing is not in a use state in which the housing is used by hand, the detection by the state detection sensor is performed without activating the imaging unit. Based on a result, it is comprised so that control which switches the screen display direction of a display part may be performed. If comprised in this way, since the operation | movement process which starts an imaging part unnecessarily is not performed, the operation | movement which displays a screen in a suitable display direction can be performed rapidly. Further, the power consumption of the portable information display terminal can be suppressed by the amount that the imaging unit is not activated.
上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、状態検出センサは、筐体の傾きを検知することにより、筐体および表示部を載置面に立てて使用する第1の使用状態と、筐体および表示部を載置面に寝かせて使用する第2の使用状態と、所定の使用状態としての筐体を手で把持して使用する第3の使用状態とのいずれの使用状態であるかを検出するために設けられており、制御部は、状態検出センサにより少なくとも第3の使用状態であることが検出された場合に、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えるとともに、状態検出センサにより第1の使用状態または第2の使用状態であることが検出された場合には、状態検出センサによる検出結果に基づいて、表示部の画面表示の向きを切り替える制御を行うように構成されている。このように構成すれば、筐体が載置面に載置されている第1の使用状態および第2の使用状態である場合には、状態検出センサにより、適切な表示向きで画面を表示することができる。また、筐体を手で把持して使用する第3の使用状態である場合には、ユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
In the portable information display terminal that switches to the screen display orientation corresponding to the orientation of the user's face when the predetermined usage state is detected, preferably, the state detection sensor detects the inclination of the housing. A first usage state in which the body and the display unit are used while being placed on the mounting surface; a second usage state in which the housing and the display unit are laid on the mounting surface; and a housing as a predetermined usage state. It is provided to detect which usage state is the third usage state that is held by hand and used, and the control unit detects that it is at least the third usage state by the state detection sensor. In such a case, priority is given to the detection result of the user's face orientation, and the screen display orientation corresponding to the user's face orientation is switched, and the state detection sensor uses the first use state or the second use state. Arco There when it is detected based on the detection result by the state detection sensor, it is configured to perform control for switching the screen display of the orientation of the display unit. If comprised in this way, when a housing | casing is the 1st use state and 2nd use state which are mounted in the mounting surface, a screen will be displayed with a suitable display direction by a state detection sensor. be able to. Further, in the third usage state in which the case is held and used by the hand, the screen is displayed with an appropriate display orientation that matches the orientation of the user's face based on the detection result of the user's face orientation. Can be displayed.
上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、状態検出センサは、所定の使用状態に加えて、少なくとも表示部が載置面に対向するように伏せた状態を検出するように構成されており、制御部は、状態検出センサにより筐体がユーザにより把持された所定の使用状態ではないと検出され、かつ、表示部が載置面に対向するように伏せた状態の傾きが検出された場合に、顔検出機能を使用せずにスタンバイモードに移行するとともに、状態検出センサによりユーザにより筐体が把持された所定の使用状態であると検出され、かつ、表示部が載置面に対向するように伏せた状態の傾きが検出された場合に、スタンバイモードに移行せずにユーザの顔の向きの検出結果に基づく画面表示を表示部に表示させる制御を行うように構成されている。このように構成すれば、状態検出センサにより筐体がユーザにより把持された所定の使用状態ではないと検出され、かつ、表示部が載置面に対向するように伏せた状態の傾きが検出された場合には、ユーザは携帯情報表示端末を使用していないと考えられるので、この場合には、スタンバイモードに移行することにより、携帯情報表示端末の省電力化を図ることができる。その一方で、表示部が載置面に対向するように伏せた状態の傾きであると検出された場合であっても、筐体がユーザにより把持されていると検出された場合には、ユーザは携帯情報表示端末を使用している(たとえば、仰向けで寝ながら表示部を見ている)と考えられるので、この場合には、ユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
In the portable information display terminal that switches to the screen display orientation corresponding to the orientation of the user's face when the predetermined usage state is detected, preferably, the state detection sensor includes at least a display unit in addition to the predetermined usage state Is configured to detect a state where the body is faced down so as to face the mounting surface, and the control unit is detected by the state detection sensor to be not in a predetermined use state in which the housing is gripped by the user, and When the tilt in the state where the display unit is faced down so as to face the placement surface is detected, the mode is shifted to the standby mode without using the face detection function, and the case is gripped by the user by the state detection sensor. When it is detected that the user is in a predetermined use state and the inclination of the display unit facing down on the mounting surface is detected, the user's face is not shifted to the standby mode. Kino is configured to perform control to display on the display unit a screen display based on the detection result. According to this configuration, the state detection sensor detects that the housing is not in a predetermined use state held by the user, and detects the inclination of the display unit so that the display unit faces the placement surface. In this case, it is considered that the user is not using the portable information display terminal. In this case, the mobile information display terminal can be saved in power by shifting to the standby mode. On the other hand, even if it is detected that the display unit is tilted so as to face the placement surface, if it is detected that the housing is gripped by the user, the user Is considered to be using a portable information display terminal (for example, looking at the display unit while lying on its back), in this case, based on the detection result of the user's face orientation, The screen can be displayed in an appropriate display orientation that matches the orientation.
この場合に、好ましくは、制御部は、スタンバイモードに移行せずにユーザの顔の向きの検出結果に基づく画面表示を表示部に表示させる制御を行う際、状態検出センサによる筐体および表示部の使用状態を検出する機能を維持する制御を行うように構成されている。このように構成すれば、ユーザにより筐体が把持された状態において、撮像部によりユーザの顔の向きの検出が不可能であるような状況下でも、検出機能が維持されている状態検出センサを用いて直ちに筐体および表示部の使用状態(姿勢)を検出することができるので、適切な表示向きで画面を表示させる動作を確実に行うことができる。
In this case, preferably, when the control unit performs control to display on the display unit a screen display based on the detection result of the user's face orientation without shifting to the standby mode, the casing and the display unit by the state detection sensor It is comprised so that the control which maintains the function to detect the use condition of may be performed. With this configuration, the state detection sensor that maintains the detection function even in a situation where the user cannot detect the orientation of the user's face when the housing is gripped by the user. Since the usage state (posture) of the housing and the display unit can be detected immediately after use, the operation of displaying the screen in an appropriate display direction can be reliably performed.
上記所定の使用状態が検出された場合にユーザの顔の向きに対応する画面表示の向きに切り替える携帯情報表示端末において、好ましくは、状態検出センサは、筐体の傾きを検知することにより、少なくとも筐体および表示部を載置面に立てて使用する第1の使用状態と、筐体および表示部を載置面に寝かせて使用する第2の使用状態と、所定の使用状態としての筐体を手で把持して使用する第3の使用状態とのいずれの使用状態であるかを検出するために設けられており、筺体は、第1の使用状態での第1の傾きと、第2の使用状態での第2の傾きとが、互いに異なる傾きになるように載置面に設置可能な外形形状を有するように構成されている。このように構成すれば、筐体の外形形状に基づいて、第1の使用状態と第2の使用状態との異なる傾きで筐体を載置面に設置することができるので、状態検出センサによる検出結果に基づいて、第1の使用状態と第2の使用状態とを容易に判別して特定することができるとともに、第1の使用状態および第2の使用状態に対応した適切な表示向きで画面を表示することができる。
In the portable information display terminal that switches to the screen display orientation corresponding to the orientation of the user's face when the predetermined usage state is detected, preferably, the state detection sensor detects at least the inclination of the housing, A first use state in which the housing and the display unit are used while being placed on the placement surface, a second use state in which the housing and the display unit are placed on the placement surface, and a housing as a predetermined use state Is used to detect the use state of the third use state in which the first use state is used, and the housing is provided with a first inclination in the first use state and a second use state. The second inclination in the use state is configured to have an outer shape that can be installed on the placement surface so that the inclination is different from each other. If comprised in this way, based on the external shape of a housing | casing, since a housing | casing can be installed in a mounting surface with the inclination from which a 1st use state and a 2nd use state differ, by a state detection sensor Based on the detection result, the first usage state and the second usage state can be easily identified and specified, and the display orientation is appropriate for the first usage state and the second usage state. A screen can be displayed.
この場合に、好ましくは、筺体は、第1の傾きと第2の傾きとが、相対的に90度以上異なるように構成されており、制御部は、状態検出センサにより取得される筐体の外形形状に基づく第1の使用状態と第2の使用状態との90度以上異なる筺体の傾きに基づいて、第1の使用状態と第2の使用状態とを判別して特定可能に構成されている。このように構成すれば、筐体の外形形状に基づく90度以上の傾きの違いにより、第1の使用状態と第2の使用状態とを確実に判別して検出することができる。
In this case, preferably, the housing is configured such that the first inclination and the second inclination are relatively different from each other by 90 degrees or more, and the control unit is configured to detect the housing obtained by the state detection sensor. The first use state and the second use state are configured to be able to be identified and specified based on the inclination of the casing that differs by 90 degrees or more between the first use state and the second use state based on the outer shape. Yes. If comprised in this way, a 1st use condition and a 2nd use condition can be discriminate | determined reliably and detected by the difference in the inclination of 90 degree | times or more based on the external shape of a housing | casing.
上記一の局面による携帯情報表示端末において、好ましくは、制御部は、状態検出センサにより筐体を手で把持して使用する使用状態が検出された際に、撮像部により撮像されたユーザの顔データからユーザの顔の向きを検出できない場合において、状態検出センサにより今回検出された傾き値が前回に検出された傾き値から所定の角度範囲内に収まっていると判断した場合には、表示部の画面表示の向きを切り替えずに維持するように構成されている。このように構成すれば、ユーザが筐体を把持している状態で、状態検出センサにより今回検出された傾き値が前回に検出された傾き値から所定の角度範囲内に収まっている場合には、前回に傾き値が検出された時の傾きから傾きが大きく変化していないので、ユーザと携帯情報表示端末との相対的な位置関係が大きく変化していないと考えられる。この場合に、表示部の画面表示の向きを切り替えずに維持することにより、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
In the portable information display terminal according to the above aspect, the control unit is preferably configured such that the control unit detects the user's face imaged by the imaging unit when a use state is detected in which the state detection sensor grips the housing by hand. When the orientation of the user's face cannot be detected from the data, and the inclination value detected this time by the state detection sensor is determined to be within a predetermined angle range from the inclination value detected last time, the display unit The screen display orientation is maintained without switching. With this configuration, when the inclination value detected this time by the state detection sensor is within a predetermined angle range from the previously detected inclination value while the user is holding the housing, Since the inclination has not changed significantly from the inclination when the inclination value was detected last time, it is considered that the relative positional relationship between the user and the portable information display terminal has not changed significantly. In this case, the screen can be displayed in an appropriate display orientation that matches the orientation of the user's face by maintaining the screen display orientation of the display unit without switching.
上記構成において、好ましくは、制御部は、撮像部により撮像されたユーザの顔データからユーザの顔の向きを検出できない場合において、状態検出センサにより今回検出された傾き値が前回に検出された傾き値から所定の角度範囲を超えて変化していると検出された場合には、顔検出機能によりユーザの顔の向きを検出し直すように構成されている。このように構成すれば、ユーザが筐体を把持している状態で、状態検出センサにより今回検出された傾き値が前回に検出された傾き値から所定の角度範囲を超えて変化している場合には、前回に傾き値が検出された時の傾きから傾きが大きく変化しているので、ユーザと携帯情報表示端末との相対的な位置関係が大きく変化しているか、または、ユーザが筐体の持ち方を変更していると考えられる。この場合に、顔検出機能によりユーザの顔の向きを検出し直すことにより、検出し直したユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
In the above configuration, preferably, when the control unit cannot detect the orientation of the user's face from the user's face data imaged by the imaging unit, the inclination value detected last time by the state detection sensor is detected previously. When it is detected that the value has changed beyond a predetermined angle range, the face detection function is used to redetect the orientation of the user's face. With this configuration, when the inclination value detected this time by the state detection sensor changes beyond the predetermined angle range from the previously detected inclination value while the user is holding the housing Since the inclination has changed greatly from the inclination when the inclination value was detected last time, the relative positional relationship between the user and the portable information display terminal has changed greatly, or the user has It is thought that the way of holding is changed. In this case, by detecting the orientation of the user's face with the face detection function, the screen is displayed with an appropriate display orientation that matches the orientation of the user's face based on the detection result of the orientation of the user's face that has been detected again. Can be displayed.
この場合において、好ましくは、制御部は、顔検出機能によりユーザの顔の向きを検出する際に、状態検出センサによる筐体および表示部の使用状態を検出する機能を維持する制御を行うように構成されており、制御部は、顔検出機能によりユーザの顔の向きを検出し直す制御を行った結果、ユーザの顔の向きを検出できないと判断した際、状態検出センサによる検出結果に基づいて、表示部の画面表示の向きを切り替える制御を行うように構成されている。このように構成すれば、ユーザにより筐体が把持された状態において、撮像部によりユーザの顔の向きの再検出が不可能であるような状況下でも、状態検出センサを用いて直ちに筐体および表示部の使用状態(姿勢)を検出することができるので、適切な表示向きで画面を表示させる動作を途切れることなく行うことができる。
In this case, preferably, the control unit performs control to maintain the function of detecting the use state of the housing and the display unit by the state detection sensor when detecting the orientation of the user's face by the face detection function. When the control unit determines that the orientation of the user's face cannot be detected as a result of performing control for re-detecting the orientation of the user's face using the face detection function, the control unit is based on the detection result of the state detection sensor. The display unit is configured to perform control for switching the screen display orientation. According to this structure, even when the user cannot hold the face of the user by the imaging unit in a state where the case is held by the user, Since the use state (posture) of the display unit can be detected, the operation of displaying the screen in an appropriate display direction can be performed without interruption.
上記一の局面による携帯情報表示端末において、好ましくは、状態検出センサにより検出された傾き角度を記憶する記憶部をさらに備え、状態検出センサは、筐体の傾きを検知することにより、少なくとも筐体および表示部を載置面に立てて使用する第1の使用状態と、筐体および表示部を載置面に寝かせて使用する第2の使用状態と、所定の使用状態としての筐体を手で把持して使用する第3の使用状態とのいずれの使用状態であるかを検出するために設けられており、制御部は、記憶部に記憶された使用状態が変更される前の傾き角度と、記憶部に記憶された使用状態が変更された後の傾き角度とを比較することにより、第1の使用状態および第2の使用状態を判別して特定するとともに、筐体を手で把持して使用する第3の使用状態を判別して特定するように構成されている。このように構成すれば、使用状態が変更される前後での傾き角度の変化に基づいて、携帯情報表示端末の上記した3通りの使用状態を確実に判別して特定することができる。
The portable information display terminal according to the above aspect preferably further includes a storage unit that stores an inclination angle detected by the state detection sensor, and the state detection sensor detects at least the case by detecting the inclination of the case. And a first usage state in which the display unit is used while being placed on the mounting surface, a second usage state in which the housing and the display unit are laid on the mounting surface, and a housing as a predetermined usage state. The control unit is provided for detecting which usage state is the third usage state to be gripped and used by the control unit, and the control unit is configured to tilt the angle before the usage state stored in the storage unit is changed. And the tilt angle after the usage state stored in the storage unit is changed, the first usage state and the second usage state are discriminated and specified, and the housing is held by hand 3rd usage state to use Determination to be configured to identify. If comprised in this way, based on the change of the inclination angle before and after a use condition is changed, the above-mentioned three kinds of use condition of a portable information display terminal can be discriminate | determined reliably and specified.
この場合において、好ましくは、制御部は、状態検出センサにより検出された傾き角度が所定の範囲内で時間とともに変化する場合に、筐体を手で把持して使用する第3の使用状態を判別して特定するとともに、状態検出センサにより検出された傾き角度が所定の範囲内で時間とともに変化しない場合に、第1の使用状態または第2の使用状態を判別して特定するように構成されている。このように構成すれば、傾き角度の時間的な変化を取得することによって、携帯情報表示端末の使用状態をより正確に判別して特定することができる。
In this case, it is preferable that the control unit determines a third usage state in which the housing is used by being gripped by a hand when the inclination angle detected by the state detection sensor changes with time within a predetermined range. And when the inclination angle detected by the state detection sensor does not change with time within a predetermined range, the first use state or the second use state is determined and specified. Yes. If comprised in this way, the use condition of a portable information display terminal can be more correctly discriminate | determined and acquired by acquiring the temporal change of an inclination angle.
上記一の局面による携帯情報表示端末において、好ましくは、状態検出センサは、傾きセンサを含む。このように構成すれば、傾きセンサにより、容易に、筐体の傾きを検出することができる。
In the portable information display terminal according to the above aspect, the state detection sensor preferably includes a tilt sensor. If comprised in this way, the inclination of a housing | casing can be easily detected with an inclination sensor.
以下、本発明を具体化した実施形態を図面に基づいて説明する。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
まず、図1~図12を参照して、本発明の一実施形態による携帯情報表示端末1の構成について説明する。
First, the configuration of the portable information display terminal 1 according to an embodiment of the present invention will be described with reference to FIGS.
図1および図2に示すように、本発明の一実施形態による携帯情報表示端末1は、情報を表示する液晶表示部10(図1参照)と、液晶表示部10が表面に設けられるフレーム20とにより主に構成されている。なお、液晶表示部10は、本発明の「表示部」の一例であり、フレーム20は、本発明の「筐体」の一例である。この携帯情報表示端末1は、ユーザにより把持された状態(図3および図4参照)で使用可能に構成されているとともに、フレーム20および液晶表示部10を載置面100に立てた状態(図5参照)、および、フレーム20および液晶表示部10を載置面100に寝かせた状態(図6参照)でも使用可能に構成されている。なお、ユーザにより把持された状態は、本発明の「所定の使用状態」および「第3の使用状態」の一例であり、フレーム20および液晶表示部10を載置面100に立てた状態は、本発明の「第1の使用状態」の一例である。また、フレーム20および液晶表示部10を載置面100に寝かせた状態は、本発明の「第2の使用状態」の一例である。
As shown in FIGS. 1 and 2, a portable information display terminal 1 according to an embodiment of the present invention includes a liquid crystal display unit 10 (see FIG. 1) for displaying information, and a frame 20 on which the liquid crystal display unit 10 is provided. And is mainly composed. The liquid crystal display unit 10 is an example of the “display unit” in the present invention, and the frame 20 is an example of the “casing” in the present invention. The portable information display terminal 1 is configured to be usable in a state of being held by a user (see FIGS. 3 and 4), and in a state where the frame 20 and the liquid crystal display unit 10 are placed on the placement surface 100 (see FIG. 5), and the state in which the frame 20 and the liquid crystal display unit 10 are laid on the mounting surface 100 (see FIG. 6). The state held by the user is an example of the “predetermined use state” and the “third use state” of the present invention, and the state where the frame 20 and the liquid crystal display unit 10 are placed on the placement surface 100 is It is an example of the “first use state” of the present invention. The state where the frame 20 and the liquid crystal display unit 10 are laid on the mounting surface 100 is an example of the “second use state” of the present invention.
この携帯情報表示端末1は、インターネット接続可能に構成されており、インターネット接続をすることによりストリーミング配信の受信および再生出力機能、メール機能、ビデオチャット機能およびボイスチャット機能を使用可能に構成されている。また、携帯情報表示端末1は、インターネット接続をしていない場合にも、リモコンモードに移行することにより、メディアプレーヤーおよびテレビジョン装置(図示せず)などのリモコンとして使用可能に構成されている。また、携帯情報表示端末1は、フレーム20および液晶表示部10を立てた状態(図5参照)では、小規模のアプリケーションソフト(ガジェット)により、カレンダーや時計などを表示することが可能である。
The portable information display terminal 1 is configured to be connectable to the Internet, and is configured to be able to use streaming distribution reception and playback output functions, mail functions, video chat functions, and voice chat functions by connecting to the Internet. . Moreover, the portable information display terminal 1 is configured to be usable as a remote controller for a media player, a television device (not shown), etc., by shifting to the remote control mode even when not connected to the Internet. Moreover, the portable information display terminal 1 can display a calendar, a clock, etc. with a small-scale application software (gadget) in the state where the frame 20 and the liquid crystal display unit 10 are set up (see FIG. 5).
次に、携帯情報表示端末1の液晶表示部10およびフレーム20の構成について詳細に説明する。液晶表示部10は、図1に示すように、タッチパネル機能を有しており、ユーザが液晶表示部10に表示された操作ボタン10aを押下することにより、アプリケーションプログラムに従った操作が可能なように構成されている。また、液晶表示部10の矢印X1方向側には、カメラユニット11が設置されている。このカメラユニット11は、たとえば、ユーザにより把持された状態で携帯情報表示端末1を使用する場合などに、ユーザの顔を撮像する機能を有する。なお、カメラユニット11は、本発明の「撮像部」の一例である。
Next, the configuration of the liquid crystal display unit 10 and the frame 20 of the portable information display terminal 1 will be described in detail. As shown in FIG. 1, the liquid crystal display unit 10 has a touch panel function, and can be operated according to an application program when the user presses the operation button 10 a displayed on the liquid crystal display unit 10. It is configured. A camera unit 11 is installed on the liquid crystal display unit 10 on the arrow X1 direction side. The camera unit 11 has a function of imaging the user's face, for example, when the portable information display terminal 1 is used while being held by the user. The camera unit 11 is an example of the “imaging unit” in the present invention.
また、カメラユニット11の近傍には、マイクユニット12が設置されている。このマイクユニット12は、たとえば、ボイスチャットおよびビデオチャット時などの音声を入力する機能を有する。
Also, a microphone unit 12 is installed in the vicinity of the camera unit 11. The microphone unit 12 has a function of inputting voice during voice chat and video chat, for example.
また、フレーム20は、樹脂により形成されている。図1および図2に示すように、フレーム20の液晶表示部10が設けられている表面とは反対側の表面には、複数の突起部21、22および23が一体的に設けられている。突起部21および22は、フレーム20の長手方向(X方向)の両方の端部近傍にフレーム20の短手方向(Y方向)に延びるように設けられている。また、図6に示すように、突起部21(図2参照)および22は、それぞれ、フレーム20の短手方向(Y方向)の一方端側(矢印Y1方向側)から他方端側(矢印Y2方向側)に向かって徐々に厚みが増加するように構成されている。つまり、突起部21および22は、それぞれ、フレーム20の長手方向(矢印X1方向および矢印X2方向)から見て、フレーム20の短手方向の他方側(矢印Y2方向側)から一方側(矢印Y1方向側)に向かってテーパ状に先細る楔形形状を有するように構成されている。
Further, the frame 20 is made of resin. As shown in FIGS. 1 and 2, a plurality of protrusions 21, 22, and 23 are integrally provided on the surface of the frame 20 opposite to the surface on which the liquid crystal display unit 10 is provided. The protrusions 21 and 22 are provided in the vicinity of both ends in the longitudinal direction (X direction) of the frame 20 so as to extend in the short direction (Y direction) of the frame 20. As shown in FIG. 6, the protrusions 21 (see FIG. 2) and 22 are respectively arranged from one end side (arrow Y1 direction side) in the short direction (Y direction) of the frame 20 to the other end side (arrow Y2). The thickness is gradually increased toward the direction side). That is, the protrusions 21 and 22 are seen from the other side (arrow Y2 direction side) in the short direction of the frame 20 as viewed from the longitudinal direction of the frame 20 (arrow X1 direction and arrow X2 direction), respectively (arrow Y1). It is configured to have a wedge shape tapered toward the direction side.
上記のように突起部21および22を構成することによって、図5に示すように、突起部21および突起部22の矢印Y2方向側の面を下にして携帯情報表示端末1を載置面100に載置することにより、突起部21および22は、フレーム20および液晶表示部10を立てた状態でフレーム20を支持することが可能である。また、図6に示すように、突起部21(図2参照)および22は、フレーム20および液晶表示部10を載置面100に対して所定の角度θ傾斜させて寝かせた状態で、フレーム20を支持することが可能である。
By configuring the protrusions 21 and 22 as described above, as shown in FIG. 5, the portable information display terminal 1 is placed on the mounting surface 100 with the surfaces of the protrusions 21 and 22 on the arrow Y2 direction side down. Thus, the protrusions 21 and 22 can support the frame 20 in a state where the frame 20 and the liquid crystal display unit 10 are upright. Further, as shown in FIG. 6, the protrusions 21 (see FIG. 2) and 22 are arranged so that the frame 20 and the liquid crystal display unit 10 are laid at a predetermined angle θ with respect to the mounting surface 100. Can be supported.
また、上記のように突起部21および22を構成することによって、図3に示すように、突起部21および22は、フレーム20および液晶表示部10の長手方向(X方向)をユーザから見て横向きにしてユーザが両手で把持することが可能である。また、図4に示すように、突起部22は、フレーム20および液晶表示部10の長手方向(X方向)を縦向きにして片手(左手)で把持可能である。
Further, by configuring the projections 21 and 22 as described above, as shown in FIG. 3, the projections 21 and 22 are viewed from the user in the longitudinal direction (X direction) of the frame 20 and the liquid crystal display unit 10. The user can hold it horizontally with both hands. As shown in FIG. 4, the protrusion 22 can be held with one hand (left hand) with the longitudinal direction (X direction) of the frame 20 and the liquid crystal display unit 10 in the vertical direction.
また、突起部23は、図2に示すように、フレーム20の短手方向(Y方向)の他方端部(矢印Y2方向端部)近傍で、かつ、突起部21および22の間に設けられている。この突起部23の内部には、携帯情報表示端末1の電源を供給するための二次電池(リチウムイオン電池)が内蔵(収納)されている。
Further, as shown in FIG. 2, the protrusion 23 is provided in the vicinity of the other end (the end in the arrow Y2 direction) in the short direction (Y direction) of the frame 20 and between the protrusions 21 and 22. ing. Inside the protrusion 23, a secondary battery (lithium ion battery) for supplying power to the portable information display terminal 1 is incorporated (stored).
また、突起部21および22の他方端部側(矢印Y2方向側)の端面には、それぞれ、赤外線通信部31および32が内蔵されている。これら赤外線通信部31および32は、後述するリモコンモードの際に、メディアプレーヤーおよびテレビジョン装置(図示せず)などを操作可能な所定の信号(リモコン信号)を含む赤外線を発光するように構成されている。
Also, infrared communication units 31 and 32 are built in the end surfaces on the other end side (arrow Y2 direction side) of the protrusions 21 and 22, respectively. These infrared communication units 31 and 32 are configured to emit infrared light including a predetermined signal (remote control signal) capable of operating a media player, a television device (not shown) and the like in a remote control mode to be described later. ing.
また、液晶表示部10の長手方向(X方向)の矢印X2方向側の部分には、図1に示すように、情報処理装置モード用各種スイッチ33が設けられている。情報処理装置モード用各種スイッチ33は、それぞれ、メール、ビデオおよびボイスチャットなどを処理する情報処理装置モードで使用されるスイッチである。また、情報処理装置モード用各種スイッチ33の矢印X2方向側の近傍には、4方向移動スイッチ34(選択スイッチ)が設けられている。また、4方向移動スイッチ34の中心部分には、決定スイッチ35が設けられている。これら4方向移動スイッチ34および決定スイッチ35は、それぞれ、リモコンモードおよび情報処理装置モードの両方で使用可能に構成されている。
Further, as shown in FIG. 1, various switches 33 for the information processing apparatus mode are provided in the longitudinal direction (X direction) portion of the liquid crystal display unit 10 on the arrow X2 direction side. The information processing device mode switches 33 are switches used in an information processing device mode for processing mail, video, voice chat, and the like. Further, a four-way movement switch 34 (selection switch) is provided in the vicinity of the information processing apparatus mode switches 33 on the arrow X2 direction side. A determination switch 35 is provided at the center of the four-way movement switch 34. The four-way movement switch 34 and the determination switch 35 are configured to be usable in both the remote control mode and the information processing apparatus mode, respectively.
また、4方向移動スイッチ34の矢印Y2方向側には、リモコンモードと情報処理装置モードとを切替可能なリモコンモード遷移スイッチ36が設けられている。また、4方向移動スイッチ34の矢印Y1方向側には、リモコンモードにおけるリモコン操作対象機器(テレビなど)の表示部にOSD表示された操作画面を現在の状態から1つ前の状態に戻すための戻る機能スイッチ37が設けられている。
Further, a remote control mode transition switch 36 capable of switching between the remote control mode and the information processing apparatus mode is provided on the arrow Y2 direction side of the four-way movement switch 34. In addition, on the arrow Y1 direction side of the four-way movement switch 34, an OSD-displayed operation screen on the display unit of a remote control operation target device (such as a television) in the remote control mode is used to return the current state to the previous state. A return function switch 37 is provided.
また、図5に示すように、フレーム20の矢印X1方向側の側面部24には、複数の接続部40が設けられている。この接続部40は、2つのUSB接続部41および42と、HDMI接続部43と、音声ケーブル接続部44と、電源コネクタ45とを含んでいる。
Further, as shown in FIG. 5, a plurality of connection portions 40 are provided on the side surface portion 24 of the frame 20 on the arrow X1 direction side. The connection unit 40 includes two USB connection units 41 and 42, an HDMI connection unit 43, an audio cable connection unit 44, and a power connector 45.
次に、携帯情報表示端末1の内部構成について説明する。携帯情報表示端末1のフレーム20には、図7に示すように、携帯情報表示端末1の制御を司る制御部(CPU)51と、記憶部(メモリ)52と、傾きセンサ53とが設けられている。記憶部52は、制御部51により実行されるアプリケーションプログラムを記憶している。なお、傾きセンサ53は、本発明の「状態検出センサ」の一例である。
Next, the internal configuration of the portable information display terminal 1 will be described. As shown in FIG. 7, the frame 20 of the portable information display terminal 1 is provided with a control unit (CPU) 51 that controls the portable information display terminal 1, a storage unit (memory) 52, and an inclination sensor 53. ing. The storage unit 52 stores an application program executed by the control unit 51. The tilt sensor 53 is an example of the “state detection sensor” in the present invention.
ここで、本実施形態では、傾きセンサ53は、フレーム20(図1参照)の傾きを取得する機能を有する。また、傾きセンサ53は、フレーム20および液晶表示部10を載置面100に立てて使用する状態(以下、立てた状態(図5参照)と呼ぶ)、フレーム20および液晶表示部10を載置面100に寝かせて使用する状態(以下、寝かせた状態(図6参照)と呼ぶ)およびフレーム20をユーザの手で把持して使用する状態(以下、手持ち状態(図3および図4参照)と呼ぶ)のいずれの使用状態であるかを検出するために設けられている。また、傾きセンサ53は、立てた状態(図5参照)、寝かせた状態(図6参照)および手持ち状態(図3および図4参照)のみならず、フレーム20および液晶表示部10が載置面100に対向するように伏せた状態(不使用状態)(図8参照)を検出可能に構成されている。
Here, in the present embodiment, the tilt sensor 53 has a function of acquiring the tilt of the frame 20 (see FIG. 1). The tilt sensor 53 is in a state where the frame 20 and the liquid crystal display unit 10 are used while being placed on the mounting surface 100 (hereinafter referred to as a standing state (see FIG. 5)), and the frame 20 and the liquid crystal display unit 10 are mounted. A state in which the frame 100 is laid on the surface 100 (hereinafter referred to as a laid state (see FIG. 6)), a state in which the frame 20 is used by being held by the user's hand (hereinafter, a hand-held state (see FIGS. 3 and 4) It is provided for detecting which state of use. Further, the tilt sensor 53 is not only in a standing state (see FIG. 5), in a laid state (see FIG. 6) and in a hand-held state (see FIGS. 3 and 4), but also the frame 20 and the liquid crystal display unit 10 are placed on the mounting surface. It is configured to be able to detect a state (unused state) (see FIG. 8) that is faced to face 100.
また、上述したフレーム20の外形形状により、立てた状態(図5参照)での傾きと、寝かせた状態(図6参照)での傾きと、伏せた状態(不使用状態)(図8参照)での傾きとは、フレーム20の載置面100に対する角度が互いに90度以上異なるため、制御部51は、フレーム20の載置面100に対する異なる傾きに基づいて容易に各状態を判別して特定することが可能である。なお、フレーム20および液晶表示部10を載置面100に立てて使用する状態での傾きは、本発明の「第1の傾き」の一例であり、フレーム20および液晶表示部10を載置面100に寝かせて使用する状態での傾きは、本発明の「第2の傾き」の一例である。
Further, due to the outer shape of the frame 20 described above, the tilt in the standing state (see FIG. 5), the tilt in the laid state (see FIG. 6), and the lying state (non-use state) (see FIG. 8). Since the angle of the frame 20 with respect to the mounting surface 100 differs by 90 degrees or more, the control unit 51 can easily determine and identify each state based on the different inclinations of the frame 20 with respect to the mounting surface 100. Is possible. The tilt in a state where the frame 20 and the liquid crystal display unit 10 are used while standing on the mounting surface 100 is an example of the “first tilt” in the present invention, and the frame 20 and the liquid crystal display unit 10 are mounted on the mounting surface. The inclination in the state where the apparatus is laid down on 100 is an example of the “second inclination” in the present invention.
また、手持ち状態(図3および図4参照)では、ユーザが微妙に動くことに起因して傾きセンサ53により検出される検出値が検出時間毎に変化するため、制御部51は、立てた状態、寝かせた状態および伏せた状態(不使用状態)を区別することが可能となる。また、傾きセンサ53は、手持ち状態(図3および図4参照)である場合にも、フレーム20の長手方向を縦にして使用する縦向きでの使用状態(以下、縦持ち状態(図4参照)と呼ぶ)とフレーム20の長手方向を横にして使用する横向きでの使用状態(以下、横持ち状態(図3参照)と呼ぶ)とを検出可能に構成されている。また、縦持ち状態と横持ち状態とでは、図3および図4に示すように、液晶表示部10が約90度回転されるため、傾きセンサ53は、縦持ち状態と横持ち状態との異なる傾きを容易に判別して特定することが可能である。
Further, in the hand-held state (see FIGS. 3 and 4), the detection value detected by the tilt sensor 53 changes every detection time due to a slight movement of the user. It is possible to distinguish between a laid state and a lying state (non-use state). Further, the tilt sensor 53 is used in a vertical orientation in which the longitudinal direction of the frame 20 is used in the vertical direction (hereinafter, referred to as FIG. 4) even in the handheld state (see FIG. 3 and FIG. 4). )) And a horizontally used state in which the longitudinal direction of the frame 20 is used sideways (hereinafter referred to as a horizontally held state (refer to FIG. 3)). Further, as shown in FIGS. 3 and 4, in the vertically held state and the horizontally held state, the liquid crystal display unit 10 is rotated about 90 degrees, so that the tilt sensor 53 is different between the vertically held state and the horizontally held state. It is possible to easily identify and identify the inclination.
ここで、本実施形態では、制御部51は、傾きセンサ53によるフレーム20および液晶表示部10の使用状態、または、伏せた状態(不使用状態)の検出結果と、カメラユニット11の顔検出機能により検出されるユーザの顔の向きの検出結果とに基づいて、フレーム20および液晶表示部10の使用状態、または、伏せた状態(不使用状態)を判別して特定するように構成されている。そして、制御部51は、上記傾きセンサ53による検出結果とユーザの顔の向きの検出結果とに基づいて、液晶表示部10の画面表示の向きを切り替える制御を行うように構成されている。
Here, in the present embodiment, the control unit 51 detects the use state of the frame 20 and the liquid crystal display unit 10 by the tilt sensor 53 or the detection result of the face down state (non-use state) and the face detection function of the camera unit 11. Based on the detection result of the user's face orientation detected by the above, the use state of the frame 20 and the liquid crystal display unit 10 or the face down state (non-use state) is determined and specified. . The control unit 51 is configured to perform control to switch the screen display direction of the liquid crystal display unit 10 based on the detection result of the tilt sensor 53 and the detection result of the user's face direction.
具体的には、ユーザにより携帯情報表示端末1の姿勢(状態)が変更された場合に、制御部51は、傾きセンサ53による検出結果に基づいて、立てた状態(図5参照)、寝かせた状態(図6参照)、手持ち状態(図3および図4参照)および伏せた状態(不使用状態)(図8参照)のうちのいずれかの状態を判別して特定可能に構成されている。そして、制御部51は、傾きセンサ53による検出結果に基づいて、立てた状態(図5参照)または寝かせた状態(図6参照)であることを判別して特定した場合には、傾きセンサ53による検出結果に基づいて、立てた状態(図5参照)または寝かせた状態(図6参照)に対応して液晶表示部10の画面表示の向きを切り替えるように構成されている。すなわち、ユーザにより携帯情報表示端末1の姿勢(状態)が変更された場合において、制御部51は、傾きセンサ53により手持ち状態ではないことが検出された場合に、傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替える制御を行うように構成されている。
Specifically, when the posture (state) of the portable information display terminal 1 is changed by the user, the control unit 51 is laid down based on the detection result by the tilt sensor 53 (see FIG. 5). It is configured to be able to identify and identify one of a state (see FIG. 6), a hand-held state (see FIGS. 3 and 4), and a face-down state (non-use state) (see FIG. 8). Then, when the control unit 51 determines and identifies the state of standing (see FIG. 5) or lying down (see FIG. 6) based on the detection result of the tilt sensor 53, the tilt sensor 53 is identified. The screen display orientation of the liquid crystal display unit 10 is switched in accordance with the detection result obtained by the method according to the standing state (see FIG. 5) or the lying state (see FIG. 6). That is, when the posture (state) of the portable information display terminal 1 is changed by the user, the control unit 51 is based on the detection result by the inclination sensor 53 when the inclination sensor 53 detects that the portable information display terminal 1 is not in the handheld state. Thus, the screen display direction of the liquid crystal display unit 10 is controlled to be switched.
また、制御部51は、傾きセンサ53による検出結果に基づいて、手持ち状態(図3および図4参照)であることを判別して特定した場合には、傾きセンサ53により検出された手持ち状態よりも、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えるように構成されている。具体的には、図9および図10に示すように、制御部51は、カメラユニット11により撮像されたユーザの顔の向きを顔検出機能により検出する機能を有しており、ユーザの顔の上下方向が液晶表示部10の短手方向(Y方向)と略一致する向きであると判断した場合には、液晶表示部10の短手方向(Y方向)を上下方向に設定して画面表示を表示するように構成されている。
In addition, when the control unit 51 determines and identifies the hand-held state (see FIGS. 3 and 4) based on the detection result by the tilt sensor 53, the control unit 51 uses the hand-held state detected by the tilt sensor 53. In addition, priority is given to the detection result of the user's face orientation, and the screen display orientation corresponding to the user face orientation is switched. Specifically, as illustrated in FIGS. 9 and 10, the control unit 51 has a function of detecting the orientation of the user's face captured by the camera unit 11 using a face detection function. When it is determined that the vertical direction is substantially the same as the short direction (Y direction) of the liquid crystal display unit 10, the short direction (Y direction) of the liquid crystal display unit 10 is set to the vertical direction to display the screen. Is configured to display.
この場合、制御部51は、ユーザの顔の向きが液晶表示部10の短手方向(Y方向)に沿って延びる基準線(一点鎖線)に対して約-45度~約+45度の間(図10参照)で傾斜している場合には、液晶表示部10の短手方向(Y方向)を上下方向に設定して画面表示を表示するように構成されている。また、図11および図12に示すように、制御部51は、ユーザの顔の上下方向が液晶表示部10の長手方向(X方向)と略一致する向きであると判断した場合には、液晶表示部10の長手方向(X方向)を上下方向に設定して画面表示を表示するように構成されている。また、制御部51は、ユーザの顔の向きが液晶表示部10の長手方向(X方向)に沿って延びる基準線(一点鎖線)に対して約-45度~約+45度の間(図12参照)で傾斜している場合には、液晶表示部10の長手方向(X方向)を上下方向に設定して画面表示を表示するように構成されている。
In this case, the control unit 51 determines that the orientation of the user's face is between about −45 degrees and about +45 degrees with respect to a reference line (dashed line) extending along the short direction (Y direction) of the liquid crystal display section 10 ( 10), the liquid crystal display unit 10 is configured to display the screen display by setting the short side direction (Y direction) to the vertical direction. As shown in FIGS. 11 and 12, when the control unit 51 determines that the vertical direction of the user's face is substantially the same as the longitudinal direction (X direction) of the liquid crystal display unit 10, the liquid crystal The display unit 10 is configured to display a screen display by setting the longitudinal direction (X direction) of the display unit 10 in the vertical direction. In addition, the control unit 51 determines that the orientation of the user's face is between about −45 degrees and about +45 degrees with respect to a reference line (dashed line) extending along the longitudinal direction (X direction) of the liquid crystal display section 10 (FIG. 12). In the case where the liquid crystal display unit 10 is inclined, the longitudinal direction (X direction) of the liquid crystal display unit 10 is set to the vertical direction to display a screen display.
ここで、図12に示すように、カメラユニット11は、液晶表示部10の長手方向(X方向)に沿って延びる基準線に沿った液晶表示部10の外側に配置されている。つまり、携帯情報表示端末1では、特に、長手方向(X方向)を上下方向に設定した場合に、カメラユニット11に対して左右方向(Y方向)に約-45度~約+45度の間でユーザの顔の向きが傾斜しても、画面表示の上下方向が長手方向に対応した状態が維持されるように構成されている。
Here, as shown in FIG. 12, the camera unit 11 is arranged outside the liquid crystal display unit 10 along a reference line extending along the longitudinal direction (X direction) of the liquid crystal display unit 10. That is, in the portable information display terminal 1, in particular, when the longitudinal direction (X direction) is set to the up and down direction, it is between about −45 degrees and about +45 degrees in the left and right direction (Y direction) with respect to the camera unit 11. Even when the orientation of the user's face is inclined, the screen display is configured such that the vertical direction of the screen display corresponds to the longitudinal direction.
また、制御部51は、特定した使用状態に対応するアプリケーションプログラムを自動的に起動するか、または、スタンバイモードに移行する制御を行うように構成されている。具体的には、制御部51は、立てた状態(図5参照)であると特定した場合には、ユーザが操作することを前提としないアプリケーションプログラムを起動するように構成されている。また、制御部51は、寝かせた状態(図6参照)であると特定した場合には、ユーザが操作することを前提とするアプリケーションプログラムを起動するように構成されている。また、制御部51は、手持ち状態(図3および図4参照)であると特定した場合にも、ユーザが操作することを前提とするアプリケーションプログラムを起動するように構成されている。なお、特定した使用状態に対応するアプリケーションプログラムは、ユーザにより予め設定される。
Further, the control unit 51 is configured to automatically start an application program corresponding to the specified use state or to perform control to shift to the standby mode. Specifically, the control unit 51 is configured to start an application program that is not assumed to be operated by the user when it is identified that the control unit 51 is in the upright state (see FIG. 5). In addition, the control unit 51 is configured to activate an application program that is assumed to be operated by the user when it is specified that the user is in the laid state (see FIG. 6). In addition, the control unit 51 is configured to start an application program that is assumed to be operated by the user even when the handheld state (see FIGS. 3 and 4) is specified. The application program corresponding to the specified use state is set in advance by the user.
また、制御部51は、傾きセンサ53により検出される傾き値が常時小刻みに変化しているか否かを判断することにより、携帯情報表示端末1が載置面100に載置されている状態(図5、図6および図8の状態)、または、ユーザにより把持されている状態(図3および図4の状態)のいずれかを判断するように構成されている。傾きセンサ53により検出される傾き値が常時小刻みに変化している場合には、制御部51は、携帯情報表示端末1がユーザにより把持されている状態であると判断するように構成されている。また、傾きセンサ53により検出される傾き値が安定している場合には、制御部51は、携帯情報表示端末1が載置面100に載置されている状態であると判断するように構成されている。
Further, the control unit 51 determines whether or not the inclination value detected by the inclination sensor 53 is constantly changing in small increments, whereby the portable information display terminal 1 is placed on the placement surface 100 ( 5, 6, and 8) or a state of being gripped by the user (state of FIGS. 3 and 4). When the inclination value detected by the inclination sensor 53 is constantly changing in small increments, the control unit 51 is configured to determine that the portable information display terminal 1 is being held by the user. . Further, when the inclination value detected by the inclination sensor 53 is stable, the control unit 51 is configured to determine that the portable information display terminal 1 is placed on the placement surface 100. Has been.
また、本実施形態では、制御部51は、傾きセンサ53によりフレーム20および液晶表示部10が載置面100に対向するように伏せた状態(不使用状態)(図8参照)であることを特定した場合に、上記したスタンバイモードに移行する制御を行うように構成されている。この場合、制御部51は、使用状態(立てた状態、寝かせた状態および手持ち状態)の時とは異なり、ユーザにより使用されるアプリケーションプログラムを起動しないように構成されている
Further, in the present embodiment, the control unit 51 is in a state in which the frame 20 and the liquid crystal display unit 10 are faced down so as to face the placement surface 100 by the inclination sensor 53 (non-use state) (see FIG. 8). When specified, the control to shift to the standby mode is performed. In this case, the control unit 51 is configured not to start the application program used by the user, unlike in the use state (the standing state, the laying state, and the hand-held state).
また、本実施形態では、制御部51は、手持ち状態の傾き値が傾きセンサ53により検出された場合には、伏せた状態(不使用状態)(図8参照)と同様の傾き値が検出された場合であってもスタンバイモードに移行しないように構成されている。この場合に、制御部51は、ユーザの顔の向きの検出結果に基づく画面表示を液晶表示部10に表示させる制御を行うように構成されている。つまり、ユーザがフレーム20を把持している状態では、制御部51は、フレーム20に関して伏せた状態(不使用状態)の傾きが検出された場合を含めてどのような状態であっても、スタンバイモードに移行しない制御を行うように構成されている。
Further, in the present embodiment, when the tilt value in the hand-held state is detected by the tilt sensor 53, the control unit 51 detects the same tilt value as in the face-down state (non-use state) (see FIG. 8). Even in such a case, it is configured not to enter the standby mode. In this case, the control unit 51 is configured to perform control for causing the liquid crystal display unit 10 to display a screen display based on the detection result of the user's face orientation. That is, in a state where the user is holding the frame 20, the control unit 51 is in a standby state in any state including the case where the tilt of the face (unused state) is detected with respect to the frame 20. It is configured to perform control that does not shift to the mode.
次に、図3~図8、図13および図14を参照して、本実施形態による携帯情報表示端末1の状態に対応する表示向き変更および維持フローについて説明する。
Next, the display orientation change and maintenance flow corresponding to the state of the portable information display terminal 1 according to the present embodiment will be described with reference to FIGS.
図13に示すように、制御部51が傾きセンサ53により取得された傾き値が変化したこと(イベント発生)を認識することにより、携帯情報表示端末1の使用状態に対応する表示向き変更および維持フローがスタートされる。
As shown in FIG. 13, when the control unit 51 recognizes that the inclination value acquired by the inclination sensor 53 has changed (event occurrence), the display orientation is changed and maintained corresponding to the usage state of the portable information display terminal 1. The flow starts.
まず、ステップS1において、制御部51(図7参照)により、傾きセンサ53から取得した傾き値が認識(評価)され、傾き値が記憶部52に記憶される。そして、ステップS2において、記憶された過去の傾き値と今回記憶された傾き値との変化の状態に基づいて、携帯情報表示端末1が立てた状態(図5参照)、寝かせた状態(図6参照)、伏せた状態(不使用状態)(図8参照)、および、手持ち状態(図3および図4参照)のいずれの状態であるかが決定される。すなわち、記憶された過去の傾き値および今回記憶された傾き値が小刻みに変化している場合には、手持ち状態と決定される。また、記憶された過去の傾き値および今回記憶された傾き値が小刻みに変化しておらずに、今回記憶された傾き値が立てた状態の傾き値の範囲内である場合には、立てた状態と決定される。同様に、今回記憶された傾き値が寝かせた状態の傾き値の範囲内である場合には、寝かせた状態と決定され、今回記憶された傾き値が伏せた状態(不使用状態)の傾き値の範囲内である場合には、伏せた状態(不使用状態)と決定される。
First, in step S1, the control unit 51 (see FIG. 7) recognizes (evaluates) the inclination value acquired from the inclination sensor 53, and the inclination value is stored in the storage unit 52. In step S2, the portable information display terminal 1 is erected (see FIG. 5) and laid down (FIG. 6) based on the state of change between the stored past inclination value and the currently stored inclination value. (Refer to FIG. 8) and a hand-held state (refer to FIG. 3 and FIG. 4) are determined. That is, when the stored past inclination value and the currently stored inclination value change in small increments, it is determined that the hand is held. In addition, when the stored past inclination value and the currently stored inclination value do not change in small increments, and the inclination value stored this time is within the range of the set inclination value, the It is determined as a state. Similarly, when the inclination value stored this time is within the range of the inclination value of the laying state, it is determined to be the laying down state, and the inclination value stored in the state where the inclination value stored this time is laid down (unused state). If it is within the range, it is determined to be in a face-down state (non-use state).
その後、ステップS3において、制御部51により、決定された状態が傾きセンサ53により取得された傾き値が変化する前(イベント発生前)の状態から変更されたか否かが判断される。そして、ステップS3において、決定された状態が傾きセンサ53により取得された傾き値が変化する前(イベント発生前)の状態から変更されていないと判断された場合には、ステップS4に進む。そして、ステップS4において、状態の変更がされていないので、アプリケーションプログラムが変更されることなく、アプリケーションプログラムはそのまま維持され、ステップS5に進む。そして、ステップS5において、液晶表示部10に表示されている表示向きも変更されることなく、そのまま維持されて、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。
Thereafter, in step S3, the control unit 51 determines whether or not the determined state is changed from the state before the inclination value acquired by the inclination sensor 53 is changed (before the event occurs). If it is determined in step S3 that the determined state is not changed from the state before the inclination value acquired by the inclination sensor 53 is changed (before the event occurs), the process proceeds to step S4. In step S4, since the state is not changed, the application program is maintained as it is without changing the application program, and the process proceeds to step S5. In step S5, the display orientation displayed on the liquid crystal display unit 10 is also maintained without being changed, and the display orientation change and maintenance flow corresponding to the state of the portable information display terminal 1 is completed.
また、ステップS3において、決定された状態が傾きセンサ53により取得された傾き値が変化する前(イベント発生前)の状態から変更されたと判断された場合には、ステップS6に進む。そして、ステップS6において、制御部51により、変更された状態がフレーム20をユーザの手で把持して使用する状態(手持ち状態(図3および図4参照))であるか否かが判断される。そして、ステップS6において、変更された状態が手持ち状態であると判断された場合には、後述するステップS21(図14参照)に進む。また、ステップS6において、変更された状態が手持ち状態ではないと判断された場合には、ステップS7に進む。
If it is determined in step S3 that the determined state is changed from the state before the inclination value acquired by the inclination sensor 53 is changed (before the event occurs), the process proceeds to step S6. In step S6, the control unit 51 determines whether or not the changed state is a state in which the frame 20 is held and used by the user's hand (hand-held state (see FIGS. 3 and 4)). . If it is determined in step S6 that the changed state is the handheld state, the process proceeds to step S21 (see FIG. 14) described later. If it is determined in step S6 that the changed state is not a handheld state, the process proceeds to step S7.
そして、ステップS7において、制御部51により、変更された状態がフレーム20および液晶表示部10が載置面100に対向するように伏せた状態(不使用状態)(図8参照)であるか否かが判断される。そして、ステップS7において、変更された状態が伏せた状態(不使用状態)であると判断された場合には、ステップS8に進む。そして、ステップS8において、制御部51により、スタンバイモードに移行されて、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。また、ステップS7において、変更された状態が伏せた状態(不使用状態)ではないと判断された場合には、ステップS9に進む。なお、上記したステップS6における「No」の判断(手持ち状態ではないと判断した場合)以降の処理フローでは、カメラユニット11を起動することなく傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替える制御が行われる。
In step S7, whether the state changed by the control unit 51 is a state in which the frame 20 and the liquid crystal display unit 10 face down so as to face the placement surface 100 (non-use state) (see FIG. 8). Is judged. In step S7, if it is determined that the changed state is a cover-up state (non-use state), the process proceeds to step S8. In step S8, the control unit 51 shifts to the standby mode, and the display orientation change and maintenance flow corresponding to the state of the portable information display terminal 1 ends. On the other hand, if it is determined in step S7 that the changed state is not a cover-up state (non-use state), the process proceeds to step S9. In the processing flow subsequent to the determination of “No” in step S6 described above (when it is determined that the camera is not in the handheld state), the liquid crystal display unit 10 is based on the detection result by the tilt sensor 53 without starting the camera unit 11. Control for switching the screen display orientation is performed.
その後、ステップS9において、制御部51により、変更された状態に対応するアプリケーションプログラムが設定されているか否かが判断される。つまり、ステップS9において、立てた状態、寝かせた状態および手持ち状態のそれぞれについて自動的に起動させるアプリケーションプログラムがユーザにより設定されているか否かが判断される。そして、ステップS9において、変更された状態に対応するアプリケーションプログラムが設定されていないと判断された場合には、上述したステップS4およびステップS5に進み、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。また、ステップS9において、変更された状態に対応するアプリケーションプログラムが設定されていると判断された場合には、ステップS10に進む。
Thereafter, in step S9, the control unit 51 determines whether or not an application program corresponding to the changed state is set. That is, in step S9, it is determined whether or not an application program to be automatically activated for each of the standing state, the laying state, and the hand-held state is set by the user. If it is determined in step S9 that the application program corresponding to the changed state has not been set, the process proceeds to step S4 and step S5 described above, and the display orientation corresponding to the state of the portable information display terminal 1 The change and maintenance flow ends. If it is determined in step S9 that an application program corresponding to the changed state is set, the process proceeds to step S10.
そして、ステップS10において、制御部51により、設定されていたアプリケーションプログラムが現在使用中のアプリケーションプログラムと同じアプリケーションプログラムであるか否かが判断される。そして、ステップS10において、設定されていたアプリケーションプログラムが現在使用中のアプリケーションプログラムと同じアプリケーションプログラムであると判断された場合には、アプリケーションプログラムを変更する必要がないので、上述したステップS4およびステップS5に進み、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。また、ステップS10において、設定されていたアプリケーションプログラムが現在使用中のアプリケーションプログラムと同じアプリケーションプログラムではないと判断された場合には、ステップS11に進む。
In step S10, the control unit 51 determines whether the set application program is the same application program that is currently in use. If it is determined in step S10 that the set application program is the same application program as the currently used application program, there is no need to change the application program, so that the above-described steps S4 and S5 are performed. The display orientation change and maintenance flow corresponding to the state of the portable information display terminal 1 is completed. If it is determined in step S10 that the set application program is not the same application program as the currently used application program, the process proceeds to step S11.
その後、ステップS11において、変更された状態に対応するユーザにより設定されたアプリケーションプログラムが起動され、ステップS12に進む。そして、ステップS12において、状態に対応する表示向きに変更または表示向きが維持され、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。たとえば、寝かせた状態または手持ち状態の横持ち状態から立てた状態に変更された場合には、液晶表示部10に表示される表示向きは180度回転されて変更される。また、手持ち状態のうちの縦持ち状態または立てた状態から寝かせた状態に変更された場合には、液晶表示部10に表示される表示向きは90度または270度回転されて変更される。また、手持ち状態のうちの横持ち状態から寝かせた状態に変更された場合には、液晶表示部10に表示される表示向きは変更されずにそのまま維持される。
Thereafter, in step S11, an application program set by the user corresponding to the changed state is activated, and the process proceeds to step S12. Then, in step S12, the display orientation corresponding to the state is changed or the display orientation is maintained, and the display orientation changing and maintaining flow corresponding to the state of the portable information display terminal 1 ends. For example, when the state is changed from the laying down state or the handheld state to the standing state, the display orientation displayed on the liquid crystal display unit 10 is changed by being rotated 180 degrees. Further, when the handheld state is changed from the vertically held state or the standing state to the laid state, the display orientation displayed on the liquid crystal display unit 10 is changed by being rotated 90 degrees or 270 degrees. Further, when the handheld state is changed from the horizontally held state to the laid state, the display orientation displayed on the liquid crystal display unit 10 is maintained as it is without being changed.
次に、図14を参照して、ステップS6において、制御部51により、変更された状態が手持ち状態であると判断された場合についての処理フローを詳細に説明する。
Next, with reference to FIG. 14, the processing flow in the case where the control unit 51 determines that the changed state is the handheld state in step S6 will be described in detail.
図14に示すように、ステップS6(図13参照)において変更された状態が手持ち状態であると判断された場合には、ステップS21において、傾きセンサ53による使用状態の検出機能を維持した状態で、制御部51により、カメラユニット11が起動される。そして、ステップS22に進む。なお、ステップS22以降の処理フローでは、傾きセンサ53によりフレーム20に関して伏せた状態(不使用状態)の傾きが検出された場合であっても、上述のステップS8(図13参照)のようなスタンバイモードには移行せずに、カメラユニット11の検出結果に基づいて液晶表示部10の画面表示の向きを切り替える制御が行われる。
As shown in FIG. 14, when it is determined that the changed state in step S6 (see FIG. 13) is a handheld state, in step S21, the use state detection function by the tilt sensor 53 is maintained. The control unit 51 activates the camera unit 11. Then, the process proceeds to step S22. In the processing flow after step S22, even when the tilt sensor 53 detects a tilted state (unused state) with respect to the frame 20, the standby state as in step S8 (see FIG. 13) is performed. Control that switches the screen display orientation of the liquid crystal display unit 10 based on the detection result of the camera unit 11 is performed without shifting to the mode.
その後、ステップS22において、制御部51により、カメラユニット11によって撮像されたデータに基づいて、ユーザの顔の向きを検出することができたか否かが判断される。そして、ステップS22において、ユーザの顔の向きを検出することができたと判断された場合には、ステップS23に進む。そして、ステップS23において、制御部51により、液晶表示部10に表示される画面表示がユーザの顔の向きに対応する表示方向に変更または維持され、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。たとえば、立てた状態から手持ち状態の横持ち状態に変更された場合には、液晶表示部10に表示される表示の向きは180度回転される。また、立てた状態、寝かせた状態または手持ち状態の横持ち状態から手持ち状態のうちの縦持ち状態に変更された場合には、液晶表示部10に表示される表示の向きは90度または270度回転される。また、寝かせた状態から手持ち状態のうちの横持ち状態に変更された場合には、液晶表示部10に表示される表示の向きは変更されずにそのまま維持される。
Thereafter, in step S22, the controller 51 determines whether or not the orientation of the user's face has been detected based on the data imaged by the camera unit 11. If it is determined in step S22 that the orientation of the user's face has been detected, the process proceeds to step S23. In step S23, the control unit 51 changes or maintains the screen display displayed on the liquid crystal display unit 10 in the display direction corresponding to the orientation of the user's face, and the display direction corresponding to the state of the portable information display terminal 1. The change and maintenance flow ends. For example, when the standing state is changed to the hand-held state, the display orientation displayed on the liquid crystal display unit 10 is rotated by 180 degrees. Further, when the horizontal holding state of the standing state, the laying state, or the hand-held state is changed to the vertical holding state of the hand-held state, the display orientation displayed on the liquid crystal display unit 10 is 90 degrees or 270 degrees. It is rotated. Further, when the state is changed from the laid state to the horizontally held state of the hand-held state, the display orientation displayed on the liquid crystal display unit 10 is maintained as it is without being changed.
また、ステップS22において、ユーザの顔の向きを検出することができなかったと判断された場合には、ステップS24に進む。そして、ステップS24において、制御部51により、傾きセンサ53により検出された傾き値に基づいて、検出された傾き値が前回に検出された傾き値から所定の角度範囲以上で変化したか否かが判断される。すなわち、ユーザが携帯情報表示端末1を大きな角度範囲で動かしたか否かが判断される。そして、ステップS24において、検出された傾き値が前回に検出された傾き値から所定の角度範囲内で変化したと判断された場合には、ステップS25に進む。そして、ステップS25において、液晶表示部10の画面表示の向きを切り替えずに、現在液晶表示部10に表示されている画面表示の方向が維持されて、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。
If it is determined in step S22 that the orientation of the user's face has not been detected, the process proceeds to step S24. In step S24, based on the inclination value detected by the inclination sensor 53 by the control unit 51, whether or not the detected inclination value has changed over a predetermined angle range from the previously detected inclination value. To be judged. That is, it is determined whether or not the user has moved the portable information display terminal 1 within a large angle range. If it is determined in step S24 that the detected tilt value has changed within the predetermined angle range from the previously detected tilt value, the process proceeds to step S25. In step S25, the screen display direction currently displayed on the liquid crystal display unit 10 is maintained without switching the screen display direction of the liquid crystal display unit 10, and the display corresponding to the state of the portable information display terminal 1 is performed. The direction change and maintenance flow ends.
また、ステップS24において、傾きセンサ53により検出された傾き値に基づいて、検出された傾き値が前回に検出された傾き値から所定の角度範囲以上で変化したと判断された場合には、ステップS26に進む。そして、ステップS26において、制御部51により、顔検出機能を用いることにより、再度ユーザの顔の向きが検出し直される。
On the other hand, if it is determined in step S24 that the detected inclination value has changed within a predetermined angle range from the previously detected inclination value based on the inclination value detected by the inclination sensor 53, step S24 is executed. Proceed to S26. In step S26, the control unit 51 uses the face detection function to detect the orientation of the user's face again.
そして、ステップS27において、ユーザの顔の向きを検出することができたか否かが再度判断される。そして、ステップS27において、ユーザの顔の向きを検出することができたと判断された場合には、上述したステップS23に進む。そして、ステップS23において、液晶表示部10に表示される画面表示がユーザの顔の向きに対応する表示方向に変更または維持されて、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。
In step S27, it is determined again whether or not the orientation of the user's face has been detected. If it is determined in step S27 that the orientation of the user's face has been detected, the process proceeds to step S23 described above. In step S23, the screen display displayed on the liquid crystal display unit 10 is changed or maintained in the display direction corresponding to the orientation of the user's face, and the display orientation change and maintenance flow corresponding to the state of the portable information display terminal 1 is performed. Ends.
また、ステップS27において、ユーザの顔の向きを検出することができなかったと判断された場合には、ステップS28に進む。そして、ステップS28において、検出機能が維持された状態の傾きセンサ53によって検出された傾き値に基づいて、液晶表示部10に表示されている画面表示の向きが変更されて、携帯情報表示端末1の状態に対応する表示向き変更および維持フローが終了する。
If it is determined in step S27 that the orientation of the user's face cannot be detected, the process proceeds to step S28. In step S28, the orientation of the screen display displayed on the liquid crystal display unit 10 is changed based on the inclination value detected by the inclination sensor 53 in a state where the detection function is maintained, and the portable information display terminal 1 is changed. The display orientation change and maintenance flow corresponding to the state is completed.
本実施形態では、上記のように、顔検出機能により検出されるユーザの顔の向きの検出結果と、傾きセンサ53による検出結果とに基づいて、液晶表示部10の画面表示の向きを切り替えることによって、顔検出機能により検出されるユーザの顔の向きの検出結果のみに基づいて液晶表示部10の画像表示の向きを切り替える場合とは異なり、カメラユニット11により撮像されたユーザの顔の向きを検出することができない場合にも、フレーム20の傾きを検知する傾きセンサ53により、フレーム20がどのような状態(姿勢)であるのかを検出することができる。これにより、カメラユニット11により撮像されたユーザの顔の向きを検出することができない場合にも、傾きセンサ53により検出された状態(姿勢)に基づいて、適切な表示向きで画面を表示することができる。
In the present embodiment, as described above, the screen display orientation of the liquid crystal display unit 10 is switched based on the detection result of the user's face orientation detected by the face detection function and the detection result of the tilt sensor 53. Unlike the case of switching the image display direction of the liquid crystal display unit 10 based only on the detection result of the user's face orientation detected by the face detection function, the orientation of the user's face imaged by the camera unit 11 is changed. Even when it cannot be detected, it is possible to detect the state (posture) of the frame 20 by the inclination sensor 53 that detects the inclination of the frame 20. Thereby, even when the orientation of the user's face imaged by the camera unit 11 cannot be detected, the screen is displayed in an appropriate display orientation based on the state (posture) detected by the tilt sensor 53. Can do.
また、本実施形態では、上記のように、傾きセンサ53によりフレーム20および液晶表示部10の使用状態を検出した後に、傾きセンサ53による検出結果に基づいて、カメラユニット11によるユーザの顔の向きの検出を行うか否かを判別する制御(図13に示すステップS6の判断)を行うことによって、カメラユニット11の起動に先立って、傾きセンサ53によりフレーム20および液晶表示部10の使用状態を検出し、傾きセンサ53による検出結果に応じてカメラユニット11を起動する必要があるか否かを決定することができる。これにより、カメラユニット11によるユーザの顔の向きの検出を行う必要がない場合には、カメラユニット11を不必要に起動する動作処理を行うことがないので、適切な表示向きで画面を表示させる動作を迅速に行うことができる。
Further, in the present embodiment, as described above, after the use state of the frame 20 and the liquid crystal display unit 10 is detected by the tilt sensor 53, the orientation of the user's face by the camera unit 11 is based on the detection result by the tilt sensor 53. By performing control (determination in step S6 shown in FIG. 13) to determine whether or not to detect the camera unit 11, the tilt sensor 53 determines the usage state of the frame 20 and the liquid crystal display unit 10 before the camera unit 11 is activated. It is possible to detect and determine whether it is necessary to activate the camera unit 11 according to the detection result by the tilt sensor 53. As a result, when it is not necessary to detect the orientation of the user's face by the camera unit 11, an operation process that unnecessarily activates the camera unit 11 is not performed, so that the screen is displayed in an appropriate display direction. The operation can be performed quickly.
また、本実施形態では、上記のように、傾きセンサ53により所定の使用状態(手持ち状態)が検出された場合には、傾きセンサ53により検出された使用状態よりも、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えることによって、ユーザの顔の向きの検出結果に基づく画面表示の向きと、傾きセンサ53による傾きに基づく画面表示の向きとが異なる場合が発生しやすい所定の使用状態(手持ち状態)の場合に、顔の向きの検出結果を優先させることにより、より実際の使用態様に合った画面表示の向きで表示させることができる。
In the present embodiment, as described above, when a predetermined use state (hand-held state) is detected by the tilt sensor 53, the orientation of the user's face is more than that of the use state detected by the tilt sensor 53. By prioritizing the detection result and switching to the screen display direction corresponding to the user's face direction, the screen display direction based on the detection result of the user's face direction and the screen display based on the tilt by the tilt sensor 53 are displayed. In the case of a predetermined use state (hand-held state) that is likely to occur when the orientation is different, priority is given to the detection result of the face direction, so that the screen can be displayed in an orientation that more closely matches the actual usage mode. it can.
また、本実施形態では、上記のように、フレーム20を手で把持して使用する使用状態(手持ち状態)が検出された場合に、傾きセンサ53により検出された使用状態よりも、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに切り替えることによって、フレーム20を手で把持している状態で寝転がって使用するような場合には、傾きセンサ53による傾きに基づく検出結果ではユーザが画面をどのように見ているのかを判別することが難しいので、フレーム20を手で把持する状態である場合にはユーザの顔の向きを検出するとともに、ユーザの顔の向きに対応する画面表示の向きに切り替えることにより、より実際の使用態様に合った適切な画面表示の向きで表示させることができる。
Further, in the present embodiment, as described above, when a use state (hand-held state) in which the frame 20 is held and used by hand is detected, the user's face is more than the use state detected by the tilt sensor 53. In the case where the frame 20 is used while lying down by switching to the screen display orientation corresponding to the orientation of the user's face by giving priority to the detection result of the orientation, the tilt sensor Since it is difficult to determine how the user is viewing the screen from the detection result based on the inclination by 53, when the frame 20 is in a state of gripping with the hand, the orientation of the user's face is detected, By switching to the screen display orientation corresponding to the orientation of the user's face, the screen can be displayed in a more appropriate screen display orientation that matches the actual usage.
また、本実施形態では、上記のように、カメラユニット11により撮像されたユーザの顔のデータに基づいて、ユーザの顔の向きが液晶表示部10の上下方向(図10のY方向、図12のX方向)に沿った基準線(図10および図12において、液晶表示部10上に図示された一点鎖線)に対して所定の角度範囲以内で傾斜している場合に、液晶表示部10の画面表示の向きを切り替えずに維持することによって、ユーザの顔の向きが液晶表示部10の上下方向に完全に一致しない状態に厳格に反応して画面表示の向きが頻繁に切り替えられるような状況を回避することができる。これにより、頻繁な表示画面の切り替え動作が行われない分、ユーザによる携帯情報表示端末1の操作性を向上させることができる。
In the present embodiment, as described above, based on the user's face data imaged by the camera unit 11, the user's face orientation is the vertical direction of the liquid crystal display unit 10 (the Y direction in FIG. 10, FIG. 12). When the liquid crystal display unit 10 is tilted within a predetermined angle range with respect to a reference line along the X direction of FIG. 10 and FIG. 12 (a dashed line shown on the liquid crystal display unit 10 in FIG. 12). A situation in which the orientation of the screen display is frequently switched by maintaining the orientation of the screen display without switching, so that the orientation of the user's face strictly reacts to a state where the orientation of the user's face does not completely match the vertical direction of the liquid crystal display unit 10 Can be avoided. Thereby, the operability of the portable information display terminal 1 by the user can be improved by the amount that the frequent switching operation of the display screen is not performed.
また、本実施形態では、上記のように、所定の角度範囲を、ユーザの顔の向きが基準線に対して直交する左右方向にそれぞれ約45度で等しく傾けられた角度範囲として構成することによって、ユーザの顔の向きが基準線に対して左右方向のいずれの方向に傾斜されていても、おおよそ同様の感度で画面表示の向きの切り替えの可否を判断することができる。したがって、顔の向きの傾斜方向に依存することなく、携帯情報表示端末1の操作性を均一化させることができる。
In the present embodiment, as described above, the predetermined angle range is configured as an angle range in which the orientation of the user's face is equally inclined at about 45 degrees in the left-right direction orthogonal to the reference line. Even if the orientation of the user's face is tilted in any of the left and right directions with respect to the reference line, it is possible to determine whether or not the screen display orientation can be switched with approximately the same sensitivity. Therefore, the operability of the portable information display terminal 1 can be made uniform without depending on the inclination direction of the face direction.
また、本実施形態では、上記のように、カメラユニット11を、基準線に沿った液晶表示部10の外側に配置することによって、カメラユニット11によるユーザの顔の向きの特定を、液晶表示部10の上下方向に沿った基準線を中心として行うことができるので、ユーザの顔の向きの傾斜方向を精度良く検出することができる。
In the present embodiment, as described above, the camera unit 11 is arranged outside the liquid crystal display unit 10 along the reference line, whereby the orientation of the user's face by the camera unit 11 is specified. Since the reference line along the vertical direction of 10 can be used as the center, the inclination direction of the user's face can be accurately detected.
また、本実施形態では、上記のように、傾きセンサ53によりフレーム20を手で把持して使用する使用状態(手持ち状態)ではないことが検出された場合には、傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替える制御を行う。このようにフレーム20が手により把持されていないことが検出された場合には、フレーム20が載置面100などに固定的に載置されていると考えられる。そして、フレーム20が載置面100などに固定的に載置されている場合には、液晶表示部10の向きとその液晶表示部10をユーザが見る場合のユーザの顔の向きとは一定の関係にあるとともに、手で把持して使用する場合よりもユーザの顔を検出することができないことが多いので、この場合には、顔検出機能を用いずに、傾きセンサ53の検出結果を用いて、液晶表示部10の画面表示の向きを切り替える制御を行うことにより、適切な表示向きで画面を表示することができる。
In the present embodiment, as described above, when the tilt sensor 53 detects that the frame 20 is not in a use state (hand-held state) in which the frame 20 is used by hand, the detection result by the tilt sensor 53 is displayed. Based on this, control for switching the screen display orientation of the liquid crystal display unit 10 is performed. Thus, when it is detected that the frame 20 is not gripped by the hand, it is considered that the frame 20 is fixedly placed on the placement surface 100 or the like. When the frame 20 is fixedly placed on the placement surface 100 or the like, the orientation of the liquid crystal display unit 10 and the orientation of the user's face when the user views the liquid crystal display unit 10 are constant. In addition, since the user's face cannot be detected more often than in the case where the user's face is held and used, in this case, the detection result of the inclination sensor 53 is used without using the face detection function. Thus, by controlling the screen display direction of the liquid crystal display unit 10, the screen can be displayed in an appropriate display direction.
また、本実施形態では、上記のように、傾きセンサ53によりフレーム20を手で把持して使用する使用状態ではないことが検出された場合には、カメラユニット11を起動することなく傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替える制御を行う。これにより、カメラユニット11を不必要に起動する動作処理を行うことがないので、適切な表示向きで画面を表示させる動作を迅速に行うことができる。また、カメラユニット11が起動されない分、携帯情報表示端末1の消費電力を抑制することができる。
In the present embodiment, as described above, when the tilt sensor 53 detects that the frame 20 is not being used by being held by hand, the tilt sensor 53 is not activated without starting the camera unit 11. Based on the detection result obtained by the above, control for switching the screen display orientation of the liquid crystal display unit 10 is performed. Thereby, since the operation | movement process which starts the camera unit 11 unnecessarily is not performed, the operation | movement which displays a screen with a suitable display direction can be performed rapidly. Moreover, since the camera unit 11 is not activated, the power consumption of the portable information display terminal 1 can be suppressed.
また、本実施形態では、上記のように、傾きセンサ53により少なくとも手持ち状態であることが検出された場合に、ユーザの顔の向きの検出結果を優先させて、ユーザの顔の向きに対応する画面表示の向きに液晶表示部10の画面表示の向きを切り替えるとともに、傾きセンサ53により立てた状態または寝かせた状態であることが検出された場合には、傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替えることによって、フレーム20が載置面100に載置されている立てた状態および寝かせた状態である場合には、傾きセンサ53により、適切な表示向きで画面を表示することができる。また、フレーム20を手で把持して使用する手持ち状態である場合には、ユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
In the present embodiment, as described above, when the tilt sensor 53 detects at least a hand-held state, priority is given to the detection result of the user's face direction, and the user's face direction is handled. When the orientation of the screen display of the liquid crystal display unit 10 is switched to the orientation of the screen display, and when the tilt sensor 53 detects that the screen is in the upright state or the laying state, based on the detection result by the tilt sensor 53, By switching the screen display direction of the liquid crystal display unit 10, when the frame 20 is placed on the placement surface 100 in the upright state or in the laid state, the tilt sensor 53 causes an appropriate display direction. A screen can be displayed. Further, when the frame 20 is in a hand-held state in which the user holds the frame 20 with his / her hand, the screen is displayed with an appropriate display orientation that matches the orientation of the user's face based on the detection result of the user's face orientation. Can do.
また、本実施形態では、上記のように、傾きセンサ53によりフレーム20がユーザにより把持された手持ち状態ではないと検出され、かつ、液晶表示部10が載置面100に対向するように伏せた状態(不使用状態)の傾きが検出された場合に、顔検出機能を使用せずにスタンバイモードに移行するとともに、傾きセンサ53により手持ち状態であると検出され、かつ、伏せた状態(不使用状態)の傾きが検出された場合に、スタンバイモードに移行せずにユーザの顔の向きの検出結果に基づく画面表示を液晶表示部10に表示させている。これにより、傾きセンサ53により手持ち状態ではないと検出され、かつ、伏せた状態(不使用状態)の傾きが検出された場合には、ユーザは携帯情報表示端末1を使用していないと考えられるので、この場合には、スタンバイモードに移行することにより、携帯情報表示端末1の省電力化を図ることができる。その一方で、傾きセンサ53により伏せた状態(不使用状態)の傾きであると検出された場合にも、手持ち状態であると検出された場合には、ユーザは携帯情報表示端末1を使用している(たとえば、仰向けで寝ながら液晶表示部10を見ている)と考えられるので、この場合には、ユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
In the present embodiment, as described above, the tilt sensor 53 detects that the frame 20 is not in a handheld state held by the user, and the liquid crystal display unit 10 is faced down so as to face the placement surface 100. When the inclination of the state (non-use state) is detected, the state shifts to the standby mode without using the face detection function, and is detected as being in a hand-held state by the inclination sensor 53 and is in a face-down state (non-use) When the state inclination is detected, a screen display based on the detection result of the user's face orientation is displayed on the liquid crystal display unit 10 without shifting to the standby mode. Thereby, when it is detected by the inclination sensor 53 that it is not in a hand-held state, and the inclination in a face-down state (non-use state) is detected, it is considered that the user is not using the portable information display terminal 1. Therefore, in this case, the mobile information display terminal 1 can save power by shifting to the standby mode. On the other hand, when the tilt sensor 53 detects that the tilt is in the face down state (not in use), if the hand sensor is detected, the user uses the portable information display terminal 1. In this case, based on the detection result of the orientation of the user's face, an appropriate match with the orientation of the user's face is considered. The screen can be displayed in the display orientation.
また、本実施形態では、上記のように、スタンバイモードに移行せずにユーザの顔の向きの検出結果に基づく画面表示を液晶表示部10に表示させる際、傾きセンサ53によるフレーム20および液晶表示部10の使用状態を検出する機能を維持することによって、ユーザによりフレーム20が把持された状態において、カメラユニット11によりユーザの顔の向きの検出が不可能であるような状況下でも、検出機能が維持されている傾きセンサ53を用いて直ちにフレーム20および液晶表示部10の使用状態(姿勢)を検出することができるので、適切な表示向きで画面を表示させる動作を確実に行うことができる。
In this embodiment, as described above, when the screen display based on the detection result of the user's face orientation is displayed on the liquid crystal display unit 10 without shifting to the standby mode, the frame 20 and the liquid crystal display by the tilt sensor 53 are displayed. By maintaining the function of detecting the usage state of the unit 10, the detection function can be used even under a situation where the camera unit 11 cannot detect the orientation of the user's face when the frame 20 is gripped by the user. Since the use state (posture) of the frame 20 and the liquid crystal display unit 10 can be immediately detected using the tilt sensor 53 in which the screen is maintained, the operation of displaying the screen in an appropriate display direction can be reliably performed. .
また、本実施形態では、上記のように、フレーム20を、立てた状態での傾きと、寝かせた状態での傾きとが、互いに異なる傾きになるように載置面100に設置可能な外形形状を有するように構成することによって、フレーム20の外形形状に基づいて、立てた状態と寝かせた状態との異なる傾きでフレーム20を載置面100に設置することができるので、傾きセンサ53による検出結果に基づいて、立てた状態と寝かせた状態とを容易に判別して特定することができるとともに、立てた状態および寝かせた状態に対応した適切な表示向きで画面を表示することができる。
In the present embodiment, as described above, the outer shape of the frame 20 that can be installed on the mounting surface 100 so that the inclination when the frame 20 is upright and the inclination when the frame 20 is laid down are different from each other. Since the frame 20 can be installed on the mounting surface 100 with different inclinations between the standing state and the laying state based on the outer shape of the frame 20, the detection by the inclination sensor 53 can be performed. Based on the result, it is possible to easily discriminate between the standing state and the laying state, and to display the screen in an appropriate display orientation corresponding to the standing state and the laying state.
また、本実施形態では、上記のように、傾きセンサ53により取得されるフレーム20の外形形状に基づく立てた状態と寝かせた状態との90度以上異なるフレーム20の傾きに基づいて、立てた状態と寝かせた状態とを判別して特定可能に構成することとによって、フレーム20の外形形状に基づく90度以上の傾きの違いにより、立てた状態と寝かせた状態とを確実に判別して検出することができる。
In the present embodiment, as described above, the standing state is based on the inclination of the frame 20 that is different from the standing state based on the outer shape of the frame 20 acquired by the tilt sensor 53 by 90 degrees or more. By distinguishing between the laid-down state and the laid-down state, it is possible to identify and detect the laid-up state and the laid-down state with certainty based on a difference in inclination of 90 degrees or more based on the outer shape of the frame 20. be able to.
また、本実施形態では、上記のように、ユーザがフレーム20を把持している状態においてカメラユニット11により撮像されたユーザの顔データからユーザの顔の向きを検出できない場合において、傾きセンサ53により今回検出された傾き値が前回に検出された傾き値から所定の角度範囲内に収まっていると判断した場合には、液晶表示部10の画面表示の向きを切り替えずに維持している。これにより、ユーザがフレーム20を把持している状態で、傾きセンサ53により今回検出された傾き値が前回に検出された傾き値から所定の角度範囲内に収まっている場合には、前回に傾き値が検出された時の傾きから傾きが大きく変化していないので、ユーザと携帯情報表示端末1との相対的な位置関係が大きく変化していないと考えられる。この場合に、液晶表示部10の画面表示の向きを切り替えずに維持することにより、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
Further, in the present embodiment, as described above, when the orientation of the user's face cannot be detected from the user's face data captured by the camera unit 11 while the user is holding the frame 20, the tilt sensor 53 When it is determined that the tilt value detected this time is within a predetermined angle range from the previously detected tilt value, the screen display orientation of the liquid crystal display unit 10 is maintained without being switched. As a result, when the user holds the frame 20 and the inclination value detected this time by the inclination sensor 53 is within the predetermined angle range from the inclination value detected last time, the inclination is changed to the previous time. Since the inclination does not change greatly from the inclination when the value is detected, it is considered that the relative positional relationship between the user and the portable information display terminal 1 does not change significantly. In this case, by maintaining the screen display orientation of the liquid crystal display unit 10 without switching, the screen can be displayed in an appropriate display orientation that matches the orientation of the user's face.
また、本実施形態では、上記のように、ユーザがフレーム20を把持している状態においてカメラユニット11により撮像されたユーザの顔データからユーザの顔の向きを検出できない場合において、傾きセンサ53により今回検出された傾き値が前回に検出された傾き値から所定の角度範囲を超えて変化していると検出された場合には、カメラユニット11の顔検出機能によりユーザの顔の向きを検出し直すように構成されている。これにより、ユーザがフレーム20を把持している状態で、傾きセンサ53により今回検出された傾き値が前回に検出された傾き値から所定の角度範囲を超えて変化している場合には、前回に傾き値が検出された時の傾きから傾きが大きく変化しているので、ユーザと携帯情報表示端末1との相対的な位置関係が大きく変化しているか、または、ユーザがフレーム20の持ち方を変更していると考えられる。この場合に、顔検出機能によりユーザの顔の向きを検出し直すことにより、検出し直したユーザの顔の向きの検出結果に基づいて、ユーザの顔の向きと合致した適切な表示向きで画面を表示することができる。
Further, in the present embodiment, as described above, when the orientation of the user's face cannot be detected from the user's face data captured by the camera unit 11 while the user is holding the frame 20, the tilt sensor 53 When it is detected that the tilt value detected this time has changed from the previously detected tilt value beyond a predetermined angle range, the face detection function of the camera unit 11 detects the orientation of the user's face. It is configured to fix. As a result, when the user is holding the frame 20 and the inclination value detected this time by the inclination sensor 53 has changed beyond the predetermined angle range from the inclination value detected last time, the previous time Since the inclination is greatly changed from the inclination when the inclination value is detected, the relative positional relationship between the user and the portable information display terminal 1 has changed greatly, or the user holds the frame 20. Is considered to have changed. In this case, by detecting the orientation of the user's face with the face detection function, the screen is displayed with an appropriate display orientation that matches the orientation of the user's face based on the detection result of the orientation of the user's face that has been detected again. Can be displayed.
また、本実施形態では、上記のように、顔検出機能によりユーザの顔の向きを検出し直した結果、ユーザの顔の向きが検出できない場合、傾きセンサ53による検出結果に基づいて、液晶表示部10の画面表示の向きを切り替えるように構成することによって、ユーザによりフレーム20が把持された状態において、カメラユニット11によりユーザの顔の向きの再検出が不可能であるような状況下でも、傾きセンサ53を用いて直ちにフレーム20および液晶表示部10の使用状態(姿勢)を検出することができるので、適切な表示向きで画面を表示させる動作を途切れることなく行うことができる。
In the present embodiment, as described above, when the orientation of the user's face cannot be detected as a result of re-detecting the orientation of the user's face by the face detection function, the liquid crystal display is performed based on the detection result by the tilt sensor 53. Even when the camera unit 11 cannot re-detect the face orientation of the user when the frame 20 is held by the user, the screen display orientation of the unit 10 is switched. Since the use state (posture) of the frame 20 and the liquid crystal display unit 10 can be detected immediately using the tilt sensor 53, the operation of displaying the screen in an appropriate display direction can be performed without interruption.
また、本実施形態では、上記のように、記憶部(メモリ)52に記憶された使用状態が変更される前の傾き角度と、記憶部52に記憶された使用状態が変更された後の傾き角度とを比較することにより、立てた状態と寝かせた状態とを判別して特定するとともに、フレーム20を手で把持して使用する使用状態を判別して特定することによって、使用状態が変更される前後での傾き角度の変化に基づいて、携帯情報表示端末1の上記した3通りの使用状態を確実に判別して特定することができる。
In the present embodiment, as described above, the inclination angle before the usage state stored in the storage unit (memory) 52 is changed and the inclination after the usage state stored in the storage unit 52 is changed. The use state is changed by discriminating and specifying the standing state and the laying state by comparing the angle, and by identifying and specifying the use state in which the frame 20 is gripped by hand. Based on the change in the tilt angle before and after, the above three usage states of the portable information display terminal 1 can be reliably discriminated and specified.
また、本実施形態では、上記のように、傾きセンサ53により検出された傾き角度が所定の範囲内で時間とともに変化する場合に、フレーム20を手で把持して使用する使用状態を判別して特定するとともに、傾きセンサ53により検出された傾き角度が所定の範囲内で時間とともに変化しない場合に、立てた状態または寝かせた状態を判別して特定することによって、傾き角度の時間的な変化を取得することによって、携帯情報表示端末1の使用状態をより正確に判別して特定することができる。
In the present embodiment, as described above, when the tilt angle detected by the tilt sensor 53 changes with time within a predetermined range, the use state in which the frame 20 is gripped by hand is determined. In addition, when the inclination angle detected by the inclination sensor 53 does not change with time within a predetermined range, the change in the inclination angle over time can be determined by determining and specifying the standing state or the laying state. By acquiring, the use state of the portable information display terminal 1 can be more accurately determined and specified.
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
In addition, it should be thought that embodiment disclosed this time is an illustration and restrictive at no points. The scope of the present invention is shown not by the above description of the embodiments but by the scope of claims for patent, and further includes all modifications within the meaning and scope equivalent to the scope of claims for patent.
たとえば、上記実施形態では、フレームをユーザの手で把持して使用する手持ち状態である場合にのみ、顔検出機能を用いてユーザの顔の向きを検出した例について示したが、本発明はこれに限られない。フレームをユーザの手で把持して使用する手持ち状態以外の状態である場合にも、顔検出機能を用いてユーザの顔の向きを検出してもよい。
For example, in the above-described embodiment, the example in which the face detection function is used to detect the orientation of the user's face is shown only when the frame is in a hand-held state in which the user's hand is used. Not limited to. Even when the frame is in a state other than the hand-held state where the frame is held by the user's hand, the face detection function may be used to detect the user's face orientation.
また、上記実施形態では、本発明の状態検出センサの一例として傾きセンサ53を用いた例について示したが、本発明はこれに限られない。たとえば、携帯情報表示端末1の状態を検出するために加速度センサなどの傾きセンサ以外のセンサを用いてもよい。
In the above embodiment, an example in which the tilt sensor 53 is used as an example of the state detection sensor of the present invention has been described. However, the present invention is not limited to this. For example, a sensor other than an inclination sensor such as an acceleration sensor may be used to detect the state of the portable information display terminal 1.
また、上記実施形態では、傾きセンサ53がフレーム20および液晶表示部10を載置面に立てて使用する立てた状態、フレーム20および液晶表示部10を載置面100に寝かせて使用する寝かせた状態、フレーム20を手で把持して使用する手持ち状態、および、フレーム20および液晶表示部10が載置面100に対向するように伏せられた伏せた状態(不使用状態)のいずれかのみを検出する例について示したが、本発明はこれに限られない。たとえば、立てた状態、寝かせた状態、手持ち状態および伏せた状態(不使用状態)に加えて、携帯情報表示端末を壁面に引っ掛けて保持するなど、立てた状態、寝かせた状態、手持ち状態および伏せた状態(不使用状態)以外の状態を検出するようにしてもよい。
In the above-described embodiment, the tilt sensor 53 is used in a state where the frame 20 and the liquid crystal display unit 10 are used while being placed on the mounting surface, and the frame 20 and the liquid crystal display unit 10 are used while lying on the mounting surface 100. Only a state in which the frame 20 is held and used by hand, or a state in which the frame 20 and the liquid crystal display unit 10 are faced down so as to face the mounting surface 100 (non-use state). Although an example of detection is shown, the present invention is not limited to this. For example, in addition to standing, lying, holding, and lying down (not in use), the portable information display terminal is hooked and held on the wall, so that it is standing, lying, handheld and lying You may make it detect states other than the state (non-use state).
また、上記実施形態では、傾きセンサ53がフレーム20および液晶表示部10を載置面100に立てて使用する立てた状態、および、フレーム20および液晶表示部10を載置面100に寝かせて使用する寝かせた状態に載置可能な外形形状にフレーム20を構成した例について示したが、本発明はこれに限られない。別部材のスタンドなどをフレーム(筐体)に取り付けることにより、傾きセンサ53がフレーム20および液晶表示部10を載置面100に立てて使用する立てた状態、および、フレーム20および液晶表示部10を載置面100に寝かせて使用する寝かせた状態に載置するようにしてもよい。
Further, in the above-described embodiment, the tilt sensor 53 is used in a state where the frame 20 and the liquid crystal display unit 10 are used while being placed on the mounting surface 100, and the frame 20 and the liquid crystal display unit 10 are used while lying on the mounting surface 100. Although an example in which the frame 20 is configured in an outer shape that can be placed in a lying state is shown, the present invention is not limited to this. By attaching a stand or the like as a separate member to the frame (housing), the tilt sensor 53 stands in a state where the frame 20 and the liquid crystal display unit 10 are used while being placed on the mounting surface 100, and the frame 20 and the liquid crystal display unit 10. May be placed on the placement surface 100 in a laid state for use.
また、上記実施形態では、リモコンモード時に、制御対象機器に対してリモコン信号を含む赤外線を出射することにより、制御対象機器のリモコン制御を行う例について示したが、本発明はこれに限られない。たとえば、Bluetooth(登録商標)およびZigbee(登録商標)などの無線通信規格を用いることにより制御対象機器のリモコン制御を行うようにしてもよい。
In the above embodiment, an example in which remote control of a control target device is performed by emitting infrared light including a remote control signal to the control target device in the remote control mode has been described, but the present invention is not limited thereto. . For example, the remote control of the device to be controlled may be performed by using a wireless communication standard such as Bluetooth (registered trademark) or Zigbee (registered trademark).
また、上記実施形態では、説明の便宜上、制御部の処理動作をスタート時はイベント駆動的に記載し、スタート移行の処理動作はフロー駆動的に記載したフローチャートを用いて説明したが、本発明はこれに限られない。制御部の処理動作を完全なイベント駆動型で行ってもよいし、完全なフロー駆動型で行ってもよいし、並行処理的に行ってもよい。
Further, in the above embodiment, for convenience of explanation, the processing operation of the control unit is described in an event-driven manner at the start, and the processing operation of the start transition is described using a flowchart described in a flow-driven manner. It is not limited to this. The processing operation of the control unit may be performed by a complete event drive type, may be performed by a complete flow drive type, or may be performed in parallel processing.