JP6227234B2 - Terminal device - Google Patents
Terminal device Download PDFInfo
- Publication number
- JP6227234B2 JP6227234B2 JP2012200557A JP2012200557A JP6227234B2 JP 6227234 B2 JP6227234 B2 JP 6227234B2 JP 2012200557 A JP2012200557 A JP 2012200557A JP 2012200557 A JP2012200557 A JP 2012200557A JP 6227234 B2 JP6227234 B2 JP 6227234B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- orientation
- user
- terminal device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Telephone Function (AREA)
Description
本発明は、端末装置に関し、詳しくは、画像を表示する携帯型の端末装置に関する。 The present invention relates to a terminal device, and more particularly to a portable terminal device that displays an image.
近年、スマートフォンやタブレットPCなどの携帯型の端末装置が広く普及している。このような端末装置には、画像表示の下方向を重力の方向に常に一致させる画像表示の回転機能が備わっている。すなわち、端末装置を縦に持っても横に持っても、画像表示の方向が変化しないようにすることができる(例えば、特許文献1を参照)。 In recent years, portable terminal devices such as smartphones and tablet PCs are widely used. Such a terminal device has a function of rotating the image display so that the lower direction of the image display always coincides with the direction of gravity. That is, it is possible to prevent the image display direction from changing regardless of whether the terminal device is held vertically or horizontally (see, for example, Patent Document 1).
しかしながら、上述した従来技術では、ユーザの姿勢に適した画像表示を行うことが難しいという問題があった。図16、図17は、このような従来の問題について説明する図である。 However, the above-described conventional technology has a problem that it is difficult to display an image suitable for the user's posture. 16 and 17 are diagrams for explaining such a conventional problem.
図16に示すように、体を起こしている姿勢(姿勢A)から、横になった姿勢(姿勢B)にユーザが姿勢を変えると、上述した画像表示の回転機能により、画像表示の下方向が重力の方向と一致するように画像表示の向きが変更される。 As shown in FIG. 16, when the user changes his / her posture from a posture where the body is raised (posture A) to a lying posture (posture B), the image display rotation function described above causes the image display to move downward. The orientation of the image display is changed so that is coincident with the direction of gravity.
しかし、画像表示の向きが変更されると、横になったユーザにとって画像表示が横になり、画像がかえって見にくくなるという問題がある。横になったユーザにとって、画像表示の方向は維持されることが望ましい。 However, when the orientation of the image display is changed, there is a problem that the image display becomes horizontal for the user who has laid down, and the image becomes difficult to see. It is desirable for the lying user to maintain the image display direction.
また、図17に示すように、姿勢B以外でも、ユーザはさまざまな姿勢で端末装置の画像をみる可能性があるので、それぞれの姿勢に適した画像表示を行うことができれば、ユーザにとって端末装置がより使いやすいものとなる。しかし、上述した従来技術は、このような目的を達するものではない。 Also, as shown in FIG. 17, the user may view the image of the terminal device in various postures other than the posture B. Therefore, if the image display suitable for each posture can be performed, the user can see the terminal device. Will be easier to use. However, the above-described prior art does not achieve such a purpose.
本発明は、上記実情に鑑み、ユーザがさまざまな姿勢で端末装置に表示された画像をみる場合に、その姿勢に適した向きで画像表示を行うことを可能とする端末装置を提供することを目的とする。 In view of the above situation, the present invention provides a terminal device that enables a user to display an image in an orientation suitable for the posture when the user views an image displayed on the terminal device in various postures. Objective.
上記課題を解決する為に、本発明の第1の技術手段は、表示部と、端末装置の所定の座標系における重力の方向を検出する重力方向検出部と、前記表示部に平行な面をxy平面とした場合、当該xy平面に平行な重力の検出方向の変化を検出する変化検出部と、ユーザの顔の映像を撮影する撮像部と、前記撮像部で撮影したユーザの顔の映像に基づいて、前記端末装置を基準としたユーザの顔の向きを判定する向き判定部と、前記変化検出部による検出結果における前記重力の検出方向と前記向き判定部による判定結果に基づいて、前記表示部に表示された画像の表示の向きを制御する表示制御部と、を備えることを特徴とする。
本発明の第2の技術手段は、第1の技術手段において、前記向き判定部による判定結果が、前記端末装置を基準として前記ユーザの顔の向きが変化していると判定されたとき、前記画像の表示の向きを変更することを特徴とする。
本発明の第3の技術手段は、第1の技術手段において、前記向き判定部による判定結果が、前記端末装置を基準として前記ユーザの顔の向きが変化していないと判定されたとき、前記画像の表示の向きを変更しないことを特徴とする。
In order to solve the above problems, a first technical means of the present invention includes a display unit, a gravity direction detection unit that detects the direction of gravity in a predetermined coordinate system of the terminal device, and a plane parallel to the display unit. In the case of the xy plane, a change detection unit that detects a change in the direction of detection of gravity parallel to the xy plane, an imaging unit that captures an image of the user's face, and an image of the user's face captured by the imaging unit. Based on the direction determination unit that determines the orientation of the user's face based on the terminal device, the direction of gravity detected in the detection result by the change detection unit, and the determination result by the direction determination unit, the display And a display control unit that controls the display direction of the image displayed on the unit.
According to a second technical means of the present invention, in the first technical means, when the determination result by the orientation determination unit determines that the orientation of the user's face has changed with reference to the terminal device, The image display direction is changed.
According to a third technical means of the present invention, in the first technical means, when the determination result by the orientation determination unit determines that the orientation of the user's face has not changed with reference to the terminal device, The image display direction is not changed.
本発明の第4の技術手段は、第1の技術手段において、前記向き判定部が前記ユーザの顔の認識に成功しなかった場合、前記撮像部の動作を停止することを特徴とする。
本発明の第5の技術手段は、第1の技術手段において、前記向き判定部が前記ユーザの顔の認識に成功しなかった場合、前記表示制御部は、前記変化検出部による検出結果と前記向き判定部による判定結果に基づいた、前記画像の表示の向きを制御しないことを特徴とする。
本発明の第6の技術手段は、第1の技術手段において、前記重力の検出方向が変化していない場合、前記撮像部は前記ユーザの顔の映像を撮影しないことを特徴とする。
本発明の第7の技術手段は、第1の技術手段において、前記重力の検出方向が変化していない場合、前記画像の表示の向きを変更しないことを特徴とする。
According to a fourth technical means of the present invention, in the first technical means, the operation of the imaging unit is stopped when the orientation determination unit does not succeed in recognizing the user's face .
According to a fifth technical means of the present invention, in the first technical means, when the orientation determination unit does not succeed in recognizing the user's face, the display control unit detects the detection result by the change detection unit and the The display direction of the image based on the determination result by the direction determination unit is not controlled.
The sixth technical means of the present invention is characterized in that, in the first technical means, the imaging unit does not capture an image of the user's face when the gravity detection direction is not changed.
The seventh technical means of the present invention is characterized in that, in the first technical means, the direction of display of the image is not changed when the gravity detection direction is not changed.
本発明の第8の技術手段は、第1の技術手段において、前記向き判定部は、前記ユーザの両目の位置に基づいて前記顔の向きを判定することを特徴とする。 The eighth technical means of the present invention is characterized in that, in the first technical means, the orientation determining unit determines the orientation of the face based on the positions of both eyes of the user.
本発明の第9の技術手段は、第1の技術手段において、前記向き判定部は、前記ユーザの白目および黒目の位置に基づいて前記顔の向きを判定することを特徴とする。 According to a ninth technical means of the present invention, in the first technical means, the orientation determination unit determines the orientation of the face based on the positions of the user's white eyes and black eyes.
本発明の第10の技術手段は、第1の技術手段において、前記向き判定部は、前記ユーザがかけているメガネの形状に基づいて前記顔の向きを判定することを特徴とする。 According to a tenth technical means of the present invention, in the first technical means, the orientation determination unit determines the orientation of the face based on a shape of glasses worn by the user.
本発明の第11の技術手段は、第1の技術手段において、前記向き判定部は、前記ユーザの顔認識を行い、該顔認識の結果に基づいて前記顔の向きを判定することを特徴とする。
本発明の第12の技術手段は、端末装置の所定の座標系における重力の方向を検出する重力方向検出ステップと、上記端末装置の表示部に平行な面をxy平面とした場合、当該xy平面に平行な重力の検出方向の変化を検出する変化検出ステップと、ユーザの顔の映像を撮影する撮像ステップと、前記撮像ステップで撮影したユーザの顔の映像に基づいて、前記端末装置を基準としたユーザの顔の向きを判定する向き判定ステップと、前記変化検出ステップによる検出結果における前記重力の検出方向と前記向き判定ステップによる判定結果に基づいて、前記表示部に表示された画像の表示の向きを制御する表示制御ステップと、を備えることを特徴とする。
本発明の第13の技術手段は、第12の技術手段をコンピュータに実行させることを特徴とするコンピュータプログラムであることを特徴とする。
An eleventh technical means of the present invention is characterized in that, in the first technical means, the orientation determination unit recognizes the face of the user and determines the orientation of the face based on a result of the face recognition. To do.
According to a twelfth technical means of the present invention, when a gravity direction detecting step for detecting a direction of gravity in a predetermined coordinate system of the terminal device and a plane parallel to the display unit of the terminal device is an xy plane, the xy plane A change detection step for detecting a change in the direction of detection of gravity parallel to the image, an imaging step for capturing an image of the user's face, and the terminal device based on the image of the user's face captured in the imaging step An orientation determination step for determining the orientation of the user's face, and the display of the image displayed on the display unit based on the detection direction of the gravity in the detection result of the change detection step and the determination result of the orientation determination step. And a display control step for controlling the orientation.
The thirteenth technical means of the present invention is a computer program characterized by causing a computer to execute the twelfth technical means.
本発明によれば、ユーザの顔の向きを判定し、その判定結果に基づいて、画像の表示の向きを制御することとしたので、ユーザがさまざまな姿勢で端末装置に表示された画像をみる場合に、その姿勢に適した向きで画像表示を行うことができる。 According to the present invention, since the orientation of the user's face is determined and the display direction of the image is controlled based on the determination result, the user views the images displayed on the terminal device in various postures. In this case, the image can be displayed in a direction suitable for the posture.
以下、本発明の実施形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(実施形態1)
図1は、本発明の実施形態1に係る端末装置10の構成の一例を示す図である。端末装置10は、例えば、スマートフォンやタブレットPCなどの携帯型の端末装置である。端末装置10は、撮像部11、タッチパネル部12、通信処理部13、記憶部14、制御部15を備える。
(Embodiment 1)
FIG. 1 is a diagram illustrating an example of a configuration of a
撮像部11は、カメラを備え、カメラで映像を撮影する処理部である。タッチパネル部12は、ユーザから情報の入力を受け付ける入力部と、種々の情報を表示する表示部とからなるタッチパネルである。通信処理部13は、無線ネットワーク、または、有線ネットワークを介して、他の装置と無線通信、または、有線通信をそれぞれ行う処理部である。
The imaging unit 11 includes a camera and is a processing unit that captures an image with the camera. The
記憶部14は、メモリやハードディスク装置などの記憶デバイスである。記憶部14は、画像データ14a、顔向きデータ14bなどを記憶する。画像データ14aは、タッチパネル部12により表示される画像のデータである。顔向きデータ14bは、後に説明する向き判定部15aにより判定されたユーザの顔の向きのデータである。
The
制御部15は、端末装置10の各部を制御するCPU(Central Processing Unit)などの制御デバイスである。制御部15は、向き判定部15a、および、表示制御部15bを備える。
The
向き判定部15aは、ユーザの顔の向きを判定する処理部である。具体的には、向き判定部15aは、撮像部11により撮影された映像を用いて顔全体を認識する認識処理を行い、その結果に基づいてユーザの顔の向きを判定する。このように、顔全体を認識することにより、ユーザの顔の向きを精度よく判定することができる。 The orientation determination unit 15a is a processing unit that determines the orientation of the user's face. Specifically, the orientation determination unit 15a performs a recognition process for recognizing the entire face using the video imaged by the imaging unit 11, and determines the orientation of the user's face based on the result. Thus, by recognizing the entire face, the orientation of the user's face can be accurately determined.
図2は、顔の向きの判定について説明する図である。向き判定部15aは、顔認識処理の結果、ユーザの顔全体が認識できた場合、ユーザの顔が、図2(A)に示すように、縦向きなのか、図2(B)に示すように、横向きなのかを判定する。その際、向き判定部15aは、端末装置10を基準として、縦向きか横向きかを判定する。
FIG. 2 is a diagram illustrating determination of the face orientation. As a result of the face recognition processing, the direction determination unit 15a recognizes whether the user's face is in a vertical orientation as shown in FIG. 2A or as shown in FIG. Next, it is determined whether it is sideways. At that time, the direction determination unit 15a determines whether the
ここで、撮像部11は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部15aは、撮影された各顔画像について順次顔認識処理を行い、顔が縦向きや横向きに変化しているか否かを判定する。向き判定部15aは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。 Here, the imaging unit 11 captures a user's face image at a short predetermined interval. Then, the orientation determination unit 15a sequentially performs face recognition processing on each captured face image, and determines whether or not the face has changed to portrait orientation or landscape orientation. The direction determination unit 15a can track the change to determine whether the user's face is upside down or whether the user's face is tilted to the right or the left.
図2(A)には、ユーザの顔の向きが上下逆さまではない例が示されており、図2(B)には、ユーザの顔が、ユーザの左側に傾いている例が示されている。 2A shows an example in which the user's face is not upside down, and FIG. 2B shows an example in which the user's face is tilted to the left side of the user. Yes.
また、向き判定部15aは、撮影された映像に対する顔認識処理により両目を検出し、両目の位置関係から顔の向きを判定することとしてもよい。これにより、効率的に顔の向きを判定することができる。図3は、両目の位置関係から顔の向きを判定する処理について説明する図である。 In addition, the orientation determination unit 15a may detect both eyes by face recognition processing on the captured video and determine the orientation of the face from the positional relationship between the eyes. Thereby, the orientation of the face can be determined efficiently. FIG. 3 is a diagram illustrating a process for determining the face orientation from the positional relationship between both eyes.
図3(A)に示されるように、両目が横に並んでいる場合は、向き判定部15aは、ユーザの顔が縦向きであると判定する。また、図3(B)に示されるように、両目が縦に並んでいる場合は、向き判定部15aは、ユーザの顔が横向きであると判定する。この判定の際、向き判定部15aは、端末装置10を基準として、縦向きか横向きかを判定する。
As shown in FIG. 3A, when both eyes are arranged side by side, the orientation determination unit 15a determines that the user's face is in the portrait orientation. Further, as shown in FIG. 3B, when both eyes are aligned vertically, the orientation determination unit 15a determines that the user's face is sideways. At the time of this determination, the direction determination unit 15a determines whether the
この場合も、撮像部11は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部15aは、撮影された各顔画像について順次顔認識処理を行い、両目の位置関係が変化しているか否かを判定する。向き判定部15aは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。 Also in this case, the imaging unit 11 captures the user's face image at a short predetermined interval. Then, the orientation determination unit 15a sequentially performs face recognition processing on each captured face image to determine whether the positional relationship between both eyes has changed. The direction determination unit 15a can track the change to determine whether the user's face is upside down or whether the user's face is tilted to the right or the left.
図3(A)には、ユーザの顔の向きが上下逆さまではない例が示されており、図3(B)には、ユーザの顔が、ユーザの左側に傾いている例が示されている。 FIG. 3A shows an example in which the orientation of the user's face is not upside down, and FIG. 3B shows an example in which the user's face is inclined to the left side of the user. Yes.
さらに、向き検出部16aは、ユーザの白目・黒目の位置からユーザの顔の向きを判定することとしてもよい。これにより、ユーザの顔の映像において片目しか認識されない場合でも、顔の向きを判定することが可能となる。図4は、白目・黒目の位置から顔の向きを判定する処理について説明する図である。 Furthermore, the orientation detection unit 16a may determine the orientation of the user's face from the position of the user's white and black eyes. As a result, even when only one eye is recognized in the video of the user's face, the face orientation can be determined. FIG. 4 is a diagram for explaining processing for determining the face direction from the position of white eyes / black eyes.
図4(A)に示されるように、白目と黒目が横に並んでいる場合は、向き判定部15aは、ユーザの顔が縦向きであると判定する。また、図4(B)に示されるように、白目と黒目が縦に並んでいる場合は、向き判定部15aは、ユーザの顔が横向きであると判定する。この判定の際、向き判定部15aは、端末装置10を基準として、縦向きか横向きかを判定する。
As shown in FIG. 4A, when white eyes and black eyes are arranged side by side, the orientation determination unit 15a determines that the user's face is in the portrait orientation. Further, as shown in FIG. 4B, when white eyes and black eyes are arranged vertically, the orientation determination unit 15a determines that the user's face is in landscape orientation. At the time of this determination, the direction determination unit 15a determines whether the
この場合も、撮像部11は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部15aは、撮影された各顔画像について順次顔認識処理を行い、白目・黒目の位置が変化しているか否かを判定する。向き判定部15aは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。 Also in this case, the imaging unit 11 captures the user's face image at a short predetermined interval. Then, the orientation determination unit 15a sequentially performs face recognition processing on each captured face image, and determines whether the position of white eyes / black eyes has changed. The direction determination unit 15a can track the change to determine whether the user's face is upside down or whether the user's face is tilted to the right or the left.
図4(A)には、ユーザの顔の向きが上下逆さまではない例が示されており、図4(B)には、ユーザの顔が、ユーザの左側に傾いている例が示されている。 FIG. 4A shows an example in which the orientation of the user's face is not upside down, and FIG. 4B shows an example in which the user's face is tilted to the left side of the user. Yes.
また、ユーザがサングラスなどのメガネを着用している場合は、撮影した映像の画像認識処理によりメガネを検出し、メガネの形状から顔の向きを判定することとしてもよい。これにより、たとえユーザがサングラスなどのメガネを着用している場合でも、ユーザの顔の向きを判定することができる。図5は、メガネの形状から顔の向きを判定する処理について説明する図である。 In addition, when the user wears glasses such as sunglasses, the glasses may be detected by image recognition processing of the captured video, and the face orientation may be determined from the shape of the glasses. Thereby, even when the user wears glasses such as sunglasses, the orientation of the user's face can be determined. FIG. 5 is a diagram for explaining the process of determining the face direction from the shape of the glasses.
図5(A)に示されるように、2つのレンズが横に並んでいる場合は、向き判定部15aは、ユーザの顔が縦向きであると判定する。また、図5(B)に示されるように、2つのレンズが縦に並んでいる場合は、向き判定部15aは、ユーザの顔が横向きであると判定する。この判定の際、向き判定部15aは、端末装置10を基準として、縦向きか横向きかを判定する。
As shown in FIG. 5A, when the two lenses are arranged side by side, the orientation determination unit 15a determines that the user's face is in the portrait orientation. Also, as shown in FIG. 5B, when the two lenses are arranged vertically, the orientation determination unit 15a determines that the user's face is sideways. At the time of this determination, the direction determination unit 15a determines whether the
この場合も、撮像部11は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部15aは、撮影された各顔画像について順次顔認識処理を行い、レンズの位置関係が変化しているか否かを判定する。向き判定部15aは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。 Also in this case, the imaging unit 11 captures the user's face image at a short predetermined interval. Then, the orientation determination unit 15a sequentially performs face recognition processing on each captured face image to determine whether or not the lens positional relationship has changed. The direction determination unit 15a can track the change to determine whether the user's face is upside down or whether the user's face is tilted to the right or the left.
図5(A)には、ユーザの顔の向きが上下逆さまではない例が示されており、図5(B)には、ユーザの顔が、ユーザの左側に傾いている例が示されている。 FIG. 5A shows an example in which the orientation of the user's face is not upside down, and FIG. 5B shows an example in which the user's face is tilted to the left side of the user. Yes.
図1の説明に戻ると、表示制御部15bは、向き判定部15aによる判定結果に基づいて、画像の表示の向きを制御する処理部である。図6は、画像の表示の向きの制御について説明する図である。
Returning to the description of FIG. 1, the
表示制御部15bは、向き判定部15aによりユーザの顔が横向きであると判定された場合に、タッチパネル部12に、画像20を横向きに表示させる。その際、表示制御部15bは、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかに応じて、ユーザに対して画像20が逆さまに表示されないようにする。
The
また、表示制御部15bは、向き判定部15aによりユーザの顔が縦向きであると判定された場合に、タッチパネル部12に、画像20を縦向きに表示させる。その際、表示制御部15bは、ユーザの顔の向きが、上下逆さまか否かに応じて、ユーザに対して画像20が逆さまに表示されないようにする。
Further, the
つぎに、本発明の実施形態1に係る画像表示制御処理の処理手順について説明する。図7は、本発明の実施形態1に係る画像表示制御処理の処理手順の一例を示すフローチャートである。 Next, a processing procedure of image display control processing according to the first embodiment of the present invention will be described. FIG. 7 is a flowchart showing an example of the processing procedure of the image display control process according to the first embodiment of the present invention.
まず、図1に示した端末装置10の撮像部11は、カメラを起動し(ステップS101)、ユーザの映像を撮影する(ステップS102)。そして、向き判定部15aは、ユーザの映像から、図2〜図5で説明したようにして、ユーザの顔の向きの判定処理を行う(ステップS103)。この処理の処理手順については、後に詳しく説明する。
First, the imaging unit 11 of the
続いて、向き判定部15aは、ステップS103における顔の向きの判定処理が初回の判定処理か否かを判定する(ステップS104)。顔の向きの判定処理が初回の判定処理である場合(ステップS104においてYESの場合)、記憶部14は、判定の結果得られた顔の向きの情報を、顔向きデータ14bとして記憶する(ステップS105)。その後、ステップS102以降の処理が再度実行される。
Subsequently, the orientation determination unit 15a determines whether or not the face orientation determination process in step S103 is the first determination process (step S104). If the face orientation determination process is the first determination process (YES in step S104), the
ステップS104において、顔の向きの判定処理が初回の判定処理でないと判定された場合(ステップS104においてNOの場合)、向き判定部15aは、顔向きデータ14bとして記憶部14に記憶された顔の向きの情報と、ステップS103における判定の結果得られた顔の向きの情報とを比較し、顔の向きが変化したか否かを判定する(ステップS106)。
When it is determined in step S104 that the face orientation determination process is not the first determination process (NO in step S104), the orientation determination unit 15a stores the face stored in the
顔の向きが変化した場合(ステップS106においてYESの場合)、表示制御部15bは、顔の向きに応じて、図6を用いて説明したように、画像の表示の向きを変更する(ステップS107)。そして、記憶部14は、ステップS103で判定された顔の向きの情報を、顔向きデータ14bとして記憶する(ステップS108)。この情報は、つぎにステップS106の判定処理がなされる場合に参照される。
If the face orientation has changed (YES in step S106), the
ステップS108の処理の後、または、ステップS106において、顔の向きが変化していない場合(ステップS106においてNOの場合)、向き判定部15aは、この画像表示制御処理の終了指示をユーザから受け付けたか否かを判定する(ステップS109)。この終了指示は、例えば、画像の向きの変更を行わないようにする指示などである。 After the process of step S108 or when the face orientation has not changed in step S106 (NO in step S106), the orientation determination unit 15a has received an instruction to end this image display control process from the user. It is determined whether or not (step S109). This end instruction is, for example, an instruction not to change the orientation of the image.
ステップS109において、画像表示制御処理の終了指示をユーザから受け付けた場合(ステップS109においてYESの場合)、撮像部11は、カメラを停止する(ステップS110)。そして、この画像表示制御処理は終了する。画像表示制御処理の終了指示をユーザから受け付けていない場合(ステップS109においてNOの場合)、ステップS102以降の処理が再度実行される。 In step S109, when an instruction to end the image display control process is received from the user (YES in step S109), the imaging unit 11 stops the camera (step S110). Then, this image display control process ends. When an instruction to end the image display control process has not been received from the user (NO in step S109), the processes after step S102 are executed again.
つぎに、図7のステップS103に示した顔向き判定処理について説明する。図8は、図7のステップS103に示した顔向き判定処理の処理手順の一例を示すフローチャートである。具体的には、図8は、図2で説明した顔認識処理により顔の向きを判定する場合のフローチャートである。 Next, the face orientation determination process shown in step S103 of FIG. 7 will be described. FIG. 8 is a flowchart showing an example of the processing procedure of the face orientation determination process shown in step S103 of FIG. Specifically, FIG. 8 is a flowchart in the case of determining the face orientation by the face recognition process described in FIG.
まず、端末装置10の向き判定部15aは、顔認識処理を実行する(ステップS201)。そして、向き判定部15aは、顔の認識が成功したか否かを判定する(ステップS202)。顔の認識が成功した場合(ステップS202においてYESの場合)、向き判定部15aは、顔の認識結果に基づいて、図2で説明したようにして、端末装置10を基準とした顔の向きを判定する(ステップS203)。
First, the orientation determination unit 15a of the
具体的には、向き判定部15aは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部15aは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部15aは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。 Specifically, the orientation determination unit 15a determines whether the orientation of the face is portrait or landscape. Furthermore, when the orientation of the user's face is vertical, the orientation determination unit 15a determines whether it is upside down. In addition, when the orientation of the user's face is landscape, the orientation determination unit 15a determines whether the user's face is tilted to the right or left of the user.
ステップS202において、顔の認識が成功しなかった場合(ステップS202においてNOの場合)、図7に示したステップS109以降の処理が実行される。 If the face recognition is not successful in step S202 (NO in step S202), the processing from step S109 shown in FIG. 7 is executed.
つぎに、図3で説明したように、ユーザの顔の両目を検出することにより顔の向きを判定する場合について説明する。図9は、図7のステップS103に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。 Next, as described with reference to FIG. 3, a case where the face orientation is determined by detecting both eyes of the user's face will be described. FIG. 9 is a flowchart showing another example of the processing procedure of the face orientation determination process shown in step S103 of FIG.
まず、端末装置10の向き判定部15aは、両目の認識処理を実行する(ステップS301)。そして、向き判定部15aは、両目の認識が成功したか否かを判定する(ステップS302)。両目の認識が成功した場合(ステップS302においてYESの場合)、向き判定部15aは、両目の認識結果に基づいて、図3で説明したようにして、端末装置10を基準とした顔の向きを判定する(ステップS303)。
First, the orientation determination unit 15a of the
具体的には、向き判定部15aは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部15aは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部15aは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。 Specifically, the orientation determination unit 15a determines whether the orientation of the face is portrait or landscape. Furthermore, when the orientation of the user's face is vertical, the orientation determination unit 15a determines whether it is upside down. In addition, when the orientation of the user's face is landscape, the orientation determination unit 15a determines whether the user's face is tilted to the right or left of the user.
ステップS302において、両目の認識が成功しなかった場合(ステップS302においてNOの場合)、図7に示したステップS109以降の処理が実行される。 If the recognition of both eyes is not successful in step S302 (in the case of NO in step S302), the processing after step S109 shown in FIG. 7 is executed.
つぎに、図4で説明したように、ユーザの白目および黒目を検出することにより顔の向きを判定する場合について説明する。図10は、図7のステップS103に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。 Next, as described with reference to FIG. 4, a case where the face orientation is determined by detecting the user's white eyes and black eyes will be described. FIG. 10 is a flowchart showing another example of the procedure of the face orientation determination process shown in step S103 of FIG.
まず、端末装置10の向き判定部15aは、白目および黒目の認識処理を実行する(ステップS401)。そして、向き判定部15aは、白目および黒目の認識が成功したか否かを判定する(ステップS402)。白目および黒目の認識が成功した場合(ステップS402においてYESの場合)、向き判定部15aは、白目および黒目の認識結果に基づいて、図4で説明したようにして、端末装置10を基準とした顔の向きを判定する(ステップS303)。
First, the orientation determination unit 15a of the
具体的には、向き判定部15aは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部15aは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部15aは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。 Specifically, the orientation determination unit 15a determines whether the orientation of the face is portrait or landscape. Furthermore, when the orientation of the user's face is vertical, the orientation determination unit 15a determines whether it is upside down. In addition, when the orientation of the user's face is landscape, the orientation determination unit 15a determines whether the user's face is tilted to the right or left of the user.
ステップS402において、白目および黒目の認識が成功しなかった場合(ステップS402においてNOの場合)、図7に示したステップS109以降の処理が実行される。 If recognition of white eyes and black eyes is not successful in step S402 (in the case of NO in step S402), the processing after step S109 shown in FIG. 7 is executed.
つぎに、図5で説明したように、ユーザが着用するメガネの形状を検出することにより顔の向きを判定する場合について説明する。図11は、図7のステップS103に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。 Next, as described with reference to FIG. 5, a case where the face orientation is determined by detecting the shape of the glasses worn by the user will be described. FIG. 11 is a flowchart showing another example of the processing procedure of the face orientation determination process shown in step S103 of FIG.
まず、端末装置10の向き判定部15aは、メガネの2つのレンズの認識処理を実行する(ステップS501)。そして、向き判定部15aは、2つのレンズの認識が成功したか否かを判定する(ステップS502)。2つのレンズの認識が成功した場合(ステップS502においてYESの場合)、向き判定部15aは、2つのレンズの認識結果に基づいて、図5で説明したようにして、端末装置10を基準とした顔の向きを判定する(ステップS503)。
First, the orientation determination unit 15a of the
具体的には、向き判定部15aは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部15aは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部15aは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。 Specifically, the orientation determination unit 15a determines whether the orientation of the face is portrait or landscape. Furthermore, when the orientation of the user's face is vertical, the orientation determination unit 15a determines whether it is upside down. In addition, when the orientation of the user's face is landscape, the orientation determination unit 15a determines whether the user's face is tilted to the right or left of the user.
ステップS502において、2つのレンズの認識が成功しなかった場合(ステップS502においてNOの場合)、図7に示したステップS109以降の処理が実行される。 In step S502, when the recognition of the two lenses is not successful (NO in step S502), the processing from step S109 shown in FIG. 7 is executed.
(実施形態2)
上記実施形態1では、顔の向きの判定結果に基づいて、画像の表示の向きを制御することとしたが、さらに重力の方向に基づいて、画像の表示の向きを制御することとしてもよい。本実施形態2では、このような場合について説明する。
(Embodiment 2)
In the first embodiment, the display direction of the image is controlled based on the determination result of the face direction. However, the display direction of the image may be controlled based on the direction of gravity. In the second embodiment, such a case will be described.
図12は、本発明の実施形態2に係る端末装置30の構成の一例を示す図である。端末装置30は、例えば、スマートフォンやタブレットPCなどの携帯型の端末装置である。端末装置30は、重力方向検出部31、撮像部32、タッチパネル部33、通信処理部34、記憶部35、制御部36を備える。
FIG. 12 is a diagram illustrating an example of a configuration of the
重力方向検出部31は、端末装置30において設定された所定の座標系における重力の方向を検出するセンサである。撮像部32は、カメラを備え、カメラで映像を撮影する処理部である。この撮像部32は、後述する変化検出部36aにより、上記所定の座標系における重力の検出方向の変化が検出された場合に、ユーザの映像を撮影する。撮影された映像は、ユーザの顔の向きを判定するために用いられる。
The gravity
重力の検出方向の変化が検出された場合、ユーザの顔の向きが変化した可能性が高いと考えられる。そのため、重力の検出方向の変化が検出された場合にカメラでユーザの映像を撮影し、ユーザの顔の向きを判定することにより、ユーザの顔の向きの判定を効率的に行うことができる。 If a change in the direction of gravity detection is detected, it is highly likely that the orientation of the user's face has changed. Therefore, when a change in the detection direction of gravity is detected, the user's face direction can be efficiently determined by photographing the user's video with the camera and determining the user's face direction.
図12の説明に戻ると、タッチパネル部33、通信処理部34は、図1で説明したタッチパネル部12、通信処理部13と同様のものである。
Returning to the description of FIG. 12, the
記憶部35は、メモリやハードディスク装置などの記憶デバイスである。記憶部35は、画像データ35a、顔向きデータ35b、重力方向データ35cなどを記憶する。画像データ35a、顔向きデータ35bは、図1で説明した画像データ14a、顔向きデータ14bと同様のものである。重力方向データ35cは、重力方向検出部31により検出された重力の方向のデータである。
The
制御部36は、端末装置30の各部を制御するCPUなどの制御デバイスである。制御部36は、変化検出部36a、向き判定部36b、および、表示制御部36cを備える。
The
変化検出部36aは、重力の検出方向の変化を検出する処理部である。向き判定部36bは、図1で説明した向き判定部15aと同様のものである。表示制御部36cは、変化検出部36aによる検出結果や、向き判定部36bによる判定結果に基づいて、画像の表示の向きを制御する処理部である。図13は、画像の表示の向きの制御について説明する図である。
The
図13(A)には、顔の向きは変化しないが、重力の向きが変化する場合が示されている。重力の向きがx方向からy方向に変化する場合、すなわち、縦向きに保持されていた端末装置10が横向きに保持される場合、表示制御部36cは、画面20を90度左に回転させる。その際、表示制御部36cは、ユーザの顔の向きが、上下逆さまか否かに応じて、ユーザに対して画像20が逆さまに表示されないようにする。
FIG. 13A shows a case where the direction of gravity does not change but the direction of gravity changes. When the direction of gravity changes from the x direction to the y direction, that is, when the
また、重力の向きがy方向からx方向に変化する場合、すなわち、横向きに保持されていた端末装置10が縦向きに保持される場合、表示制御部36cは、画面20を右に90度回転させる。この場合も、表示制御部36cは、ユーザの顔の向きが、上下逆さまか否かに応じて、ユーザに対して画像20が逆さまに表示されないようにする。
When the direction of gravity changes from the y direction to the x direction, that is, when the
一方、図13(B)には、顔の向きと、重力の向きがともに変化する場合が示されている。顔の向きが縦向きから横向きに変化するとともに、重力の向きがx方向からy方向に変化する場合、すなわち、縦向きに保持されていた端末装置10が横向きに保持される場合、表示制御部36cは、画面20の表示の方向を維持する。
On the other hand, FIG. 13B shows a case where both the face direction and the gravity direction change. When the orientation of the face changes from portrait to landscape and the direction of gravity changes from x to y, that is, when the
また、顔の向きが横向きから縦向きに変化するとともに、重力の向きがy方向からx方向に変化する場合、すなわち、横向きに保持されていた端末装置10が縦向きに保持される場合も、表示制御部36cは、画面20の表示の方向を維持する。
Further, when the orientation of the face changes from landscape to portrait and the direction of gravity changes from y to x, that is, when the
つぎに、本発明の実施形態2に係る画像表示制御処理の処理手順について説明する。図14、図15は、本発明の実施形態2に係る画像表示制御処理の処理手順の一例を示すフローチャートである。 Next, a processing procedure of image display control processing according to the second embodiment of the present invention will be described. 14 and 15 are flowcharts showing an example of the processing procedure of the image display control process according to the second embodiment of the present invention.
まず、図12に示した端末装置30の撮像部32は、カメラを起動し(ステップS601)、ユーザの映像を撮影する(ステップS602)。そして、向き判定部15aは、ユーザの映像から、図2〜図5で説明したようにして、ユーザの顔の向きの判定処理を行う(ステップS603)。この処理の処理手順は、図8〜図11を用いて説明したものと同様である。
First, the
そして、記憶部35は、ステップS603で判定された顔の向きの情報を、顔向きデータ35bとして記憶する(ステップS604)。この情報は、ステップS612の判定処理がなされる場合に参照される。
And the memory |
その後、重力方向検出部31は、重力の方向を検出する(ステップS605)。そして、変化検出部36aは、ステップS605における重力の検出処理が初回の検出処理か否かを判定する(ステップS606)。
Thereafter, the gravity
重力の方向の検出処理が初回の検出処理である場合(ステップS606においてYESの場合)、記憶部35は、検出の結果得られた重力の方向の情報を、重力方向データ35bcとして記憶する(ステップS607)。その後、ステップS605以降の処理が再度実行される。
If the gravity direction detection process is the first detection process (YES in step S606), the
重力の方向の検出処理が初回の検出処理でない場合(ステップS606においてNOの場合)、変化検出部36aは、重力方向データ35cとして記憶部35に記憶された重力の方向の情報と、ステップS605における検出の結果得られた重力の方向の情報とを比較し、重力の検出方向が変化したか否かを判定する(ステップS608)。
When the gravity direction detection process is not the first detection process (NO in step S606), the
ステップS608において、重力の検出方向が変化していない場合(ステップS608においてNOの場合)、ステップS605以降の処理が再度実行される。ステップS608において、重力の検出方向が変化した場合(ステップS608においてYESの場合)、記憶部35は、ステップS605で検出された重力の方向を重力方向データ35cとして記憶する(ステップS609)。
In step S608, if the gravity detection direction has not changed (NO in step S608), the processes in and after step S605 are executed again. In step S608, when the gravity detection direction changes (YES in step S608), the
その後、図15に示されるように、撮像部32は、ユーザの映像を撮影する(ステップS610)。続いて、向き判定部36bは、ユーザの映像から、図2〜図5で説明したようにして、ユーザの顔の向きを判定する処理を行う(ステップS611)。この判定処理の処理手順は、図8〜図11を用いて説明したものと同様である。
Thereafter, as illustrated in FIG. 15, the
そして、向き判定部36bは、顔向きデータ35bとして記憶部35に記憶された顔の向きの情報と、ステップS611における判定の結果得られた顔の向きの情報とを比較し、端末装置30を基準として、顔の向きが変化したか否かを判定する(ステップS612)。
Then, the
顔の向きが変化した場合(ステップS612においてYESの場合)、表示制御部36cは、図13(A)を用いて説明したように、重力の方向に応じて、画像の表示の向きを変更する(ステップS613)。そして、記憶部35は、ステップS611で判定された顔の向きの情報を、顔向きデータ35bとして記憶する(ステップS614)。この情報は、つぎにステップS612の判定処理がなされる場合に参照される。
When the face orientation has changed (YES in step S612), the
一方、ステップS612において、顔の向きが変化していない場合(ステップS612においてNOの場合)、表示制御部36cは、図13(B)を用いて説明したように、画像の表示の向きを維持する(ステップS615)。
On the other hand, if the face orientation has not changed in step S612 (NO in step S612), the
ステップS614の処理の後、ステップS615の処理の後、または、図8のステップS202、図9のステップS302、図10のステップS402、若しくは、図11のステップS502においてNOと判定された場合、向き判定部36bは、この画像表示制御処理の終了指示をユーザから受け付けたか否かを判定する(ステップS616)。この終了指示は、例えば、画像の向きの変更を行わないようにする指示などである。
After step S614, after step S615, or when NO is determined in step S202 of FIG. 8, step S302 of FIG. 9, step S402 of FIG. 10, or step S502 of FIG. The
画像表示制御処理の終了指示をユーザから受け付けた場合(ステップS616においてYESの場合)、撮像部32は、カメラを停止する(ステップS617)。その後、この画像表示制御処理は終了する。
When an instruction to end the image display control process is received from the user (YES in step S616), the
ステップS616において、画像表示制御処理の終了指示をユーザから受け付けていない場合(ステップS616においてNOの場合)、図14に示したステップS605以降の処理が再度実行される。 In step S616, if an instruction to end the image display control process has not been received from the user (NO in step S616), the process from step S605 shown in FIG. 14 is executed again.
また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能である。 The present invention is not limited to the above-described embodiments, and various modifications and corrections can be made without departing from the scope of the present invention.
10…端末装置、11…撮像部、12…タッチパネル部、13…通信処理部、14…記憶部、14a…画像データ、14b…顔向きデータ、15…制御部、15a…向き判定部、15b…表示制御部、20…画像、30…端末装置、31…重力方向検出部、32…撮像部、33…タッチパネル部、34…通信処理部、35…記憶部、35a…画像データ、35b…顔向きデータ、35c…重力方向データ、36…制御部、36a…変化検出部、36b…向き判定部、36c…表示制御部。
DESCRIPTION OF
Claims (13)
端末装置の所定の座標系における重力の方向を検出する重力方向検出部と、
前記表示部に平行な面をxy平面とした場合、当該xy平面に平行な重力の検出方向の変化を検出する変化検出部と、
ユーザの顔の映像を撮影する撮像部と、
前記撮像部で撮影したユーザの顔の映像に基づいて、前記端末装置を基準としたユーザの顔の向きを判定する向き判定部と、
前記変化検出部による検出結果における前記重力の検出方向と前記向き判定部による判定結果に基づいて、前記表示部に表示された画像の表示の向きを制御する表示制御部と、
を備えることを特徴とする端末装置。 A display unit;
A gravity direction detector for detecting the direction of gravity in a predetermined coordinate system of the terminal device;
When a plane parallel to the display unit is an xy plane, a change detection unit that detects a change in the detection direction of gravity parallel to the xy plane;
An imaging unit that captures an image of the user's face;
An orientation determination unit that determines the orientation of the user's face with reference to the terminal device, based on the video of the user's face captured by the imaging unit;
A display control unit for controlling the display direction of the image displayed on the display unit based on the detection direction of the gravity in the detection result by the change detection unit and the determination result by the orientation determination unit;
A terminal device comprising:
上記端末装置の表示部に平行な面をxy平面とした場合、当該xy平面に平行な重力の検出方向の変化を検出する変化検出部と、
表示部に平行な重力の検出方向の変化を検出する変化検出ステップと、
ユーザの顔の映像を撮影する撮像ステップと、
前記撮像ステップで撮影したユーザの顔の映像に基づいて、前記端末装置を基準としたユーザの顔の向きを判定する向き判定ステップと、
前記変化検出ステップによる検出結果における前記重力の検出方向と前記向き判定ステップによる判定結果に基づいて、前記表示部に表示された画像の表示の向きを制御する表示制御ステップと、
を備えることを特徴とする表示制御方法。 A gravity direction detecting step for detecting a direction of gravity in a predetermined coordinate system of the terminal device;
When a plane parallel to the display unit of the terminal device is an xy plane, a change detection unit that detects a change in the detection direction of gravity parallel to the xy plane;
A change detection step for detecting a change in the detection direction of gravity parallel to the display unit;
An imaging step for capturing an image of the user's face;
A direction determination step for determining the orientation of the user's face with reference to the terminal device, based on the video of the user's face captured in the imaging step;
A display control step of controlling the display direction of the image displayed on the display unit based on the detection direction of the gravity in the detection result of the change detection step and the determination result of the orientation determination step;
A display control method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012200557A JP6227234B2 (en) | 2012-09-12 | 2012-09-12 | Terminal device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012200557A JP6227234B2 (en) | 2012-09-12 | 2012-09-12 | Terminal device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014056402A JP2014056402A (en) | 2014-03-27 |
JP2014056402A5 JP2014056402A5 (en) | 2015-10-08 |
JP6227234B2 true JP6227234B2 (en) | 2017-11-08 |
Family
ID=50613664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012200557A Active JP6227234B2 (en) | 2012-09-12 | 2012-09-12 | Terminal device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6227234B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107450716A (en) * | 2016-05-31 | 2017-12-08 | 北京京东尚科信息技术有限公司 | Control method for screen display and control device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005100084A (en) * | 2003-09-25 | 2005-04-14 | Toshiba Corp | Image processor and method |
US20110298829A1 (en) * | 2010-06-04 | 2011-12-08 | Sony Computer Entertainment Inc. | Selecting View Orientation in Portable Device via Image Analysis |
CN101989126B (en) * | 2009-08-07 | 2015-02-25 | 深圳富泰宏精密工业有限公司 | Handheld electronic device and automatic screen picture rotating method thereof |
JP5397081B2 (en) * | 2009-08-12 | 2014-01-22 | 富士通モバイルコミュニケーションズ株式会社 | Mobile device |
JP2011138449A (en) * | 2010-01-04 | 2011-07-14 | Nec Corp | Display control device, display device, electronic apparatus and display control method |
JP5184570B2 (en) * | 2010-03-24 | 2013-04-17 | 株式会社エヌ・ティ・ティ・ドコモ | Information terminal and display switching method |
-
2012
- 2012-09-12 JP JP2012200557A patent/JP6227234B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014056402A (en) | 2014-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5857257B2 (en) | Display device and display direction switching method | |
EP2950180B1 (en) | Method for determining screen display mode and terminal device | |
US9430045B2 (en) | Special gestures for camera control and image processing operations | |
CN103383595B (en) | The apparatus and method of analysis and Control mobile terminal based on user's face | |
JP6058978B2 (en) | Image processing apparatus, image processing method, photographing apparatus, and computer program | |
US10037614B2 (en) | Minimizing variations in camera height to estimate distance to objects | |
US10489912B1 (en) | Automated rectification of stereo cameras | |
EP3062286B1 (en) | Optical distortion compensation | |
US20170316582A1 (en) | Robust Head Pose Estimation with a Depth Camera | |
US20130129145A1 (en) | Orientation correction method for electronic device used to perform facial recognition and electronic device thereof | |
US20140160019A1 (en) | Methods for enhancing user interaction with mobile devices | |
US9880634B2 (en) | Gesture input apparatus, gesture input method, and program for wearable terminal | |
US20130286049A1 (en) | Automatic adjustment of display image using face detection | |
US11023050B2 (en) | Display control device, display control method, and computer program | |
US9471154B1 (en) | Determining which hand is holding a device | |
WO2015136952A1 (en) | Gesture recognition device, head-mounted display, and portable terminal | |
US9148537B1 (en) | Facial cues as commands | |
JP6227234B2 (en) | Terminal device | |
JP6201282B2 (en) | Portable electronic device, its control method and program | |
JP2016091383A (en) | Portable terminal apparatus, screen control method and screen control program | |
JP2011095228A (en) | Operation input device | |
KR102118434B1 (en) | Mobile device and, the method thereof | |
US11842119B2 (en) | Display system that displays virtual object, display device and method of controlling same, and storage medium | |
TW201935185A (en) | Eye movement control system, and method and device of eye-controlled electronic device for the image-capturing unit to receive the image of eye movement and the eyeball movement, and generate a movement signal to the processing unit to further control the cursor movement of the display unit | |
JP2019200672A (en) | Biometric authentication program and biometric authentication device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160512 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161121 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20161128 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20161216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6227234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |