KR101588971B1 - System and method of controlling photographing viewpoint and the angle of view of camera - Google Patents

System and method of controlling photographing viewpoint and the angle of view of camera Download PDF

Info

Publication number
KR101588971B1
KR101588971B1 KR1020140127923A KR20140127923A KR101588971B1 KR 101588971 B1 KR101588971 B1 KR 101588971B1 KR 1020140127923 A KR1020140127923 A KR 1020140127923A KR 20140127923 A KR20140127923 A KR 20140127923A KR 101588971 B1 KR101588971 B1 KR 101588971B1
Authority
KR
South Korea
Prior art keywords
user
camera
angle
unit
camera unit
Prior art date
Application number
KR1020140127923A
Other languages
Korean (ko)
Other versions
KR20150059591A (en
Inventor
최철
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to US14/543,905 priority Critical patent/US9525817B2/en
Publication of KR20150059591A publication Critical patent/KR20150059591A/en
Application granted granted Critical
Publication of KR101588971B1 publication Critical patent/KR101588971B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Abstract

본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법은 사용자의 눈동자를 향하여 적외선을 조사하고, 상기 사용자의 눈동자에서 반사되는 상기 적외선의 반사 위치를 제1 카메라로 검출함으로써, 상기 사용자의 시선을 추적하고 시야각을 계산할 수 있다.
또한, 제2 카메라의 촬영 방향을 상기 사용자의 시선과 일치시키고, 상기 제2 카메라의 화각을 상기 사용자의 시야각과 일치시킴으로써, 사용자가 실제로 바라보는 이미지와 카메라로 촬영된 이미지를 일치시킬 수 있다.The system and method for controlling the angle of view and angle of view of a camera according to an embodiment of the present invention are characterized by irradiating infrared rays toward a pupil of a user and detecting a reflection position of the infrared ray reflected from a pupil of the user by a first camera, The user's eyes can be tracked and the viewing angle can be calculated.
Also, by matching the photographing direction of the second camera with the sight line of the user, and matching the view angle of the second camera with the viewing angle of the user, it is possible to match the image actually viewed by the user with the image photographed by the camera.

Description

카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법{System and method of controlling photographing viewpoint and the angle of view of camera}Field of the Invention [0001] The present invention relates to a system and method for controlling a photographing direction and an angle of view of a camera,

본 발명은 카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a photographing direction and a view angle control system of a camera and a method thereof.

근래 스마트폰과 태블릿과 같은 휴대용 전자기기의 수요가 증가하고 있으며, 이러한 휴대용 전자기기에는 카메라가 포함되게 된다.Recently, demand for portable electronic devices such as smart phones and tablets is increasing, and these portable electronic devices include cameras.

일반적으로, 휴대용 전자기기에 포함된 카메라와 같은 영상 획득 장치는 영상을 획득하는 광학계, 센서부 및 영상을 재구성하는 영상 처리 장치를 구비한다.2. Description of the Related Art Generally, an image acquiring apparatus such as a camera included in a portable electronic apparatus includes an optical system for acquiring an image, a sensor unit, and an image processing apparatus for reconstructing an image.

그러나, 이러한 영상 획득 장치로 사진 또는 동영상을 촬영할 때, 영상 획득 장치의 촬영 방향 및 화각이 사용자의 시선 및 시야각과 일치하지 않게 되어, 카메라와 같은 영상 획득 장치를 통해 촬영된 이미지는 사람이 실제로 보는 이미지와는 차이가 있게 된다.However, when photographing or photographing a moving image by using the image capturing device, the photographing direction and angle of view of the image capturing device do not coincide with the user's gaze and viewing angle, and images captured through the image capturing device, such as a camera, It is different from the image.

따라서, 사람이 실제로 보는 이미지와 촬영된 이미지를 일치시켜 하나의 객체가 연속적으로 보여지도록 하는 연구가 필요하다.Therefore, research is needed to make one object appear consecutively by matching the image that the person actually sees with the captured image.

관련 선행문헌으로는 특허문헌 1이 있다.
The related prior art document is Patent Document 1.

KR 10-2012-0008191 AKR 10-2012-0008191 A

본 발명의 일 실시예에 따른 목적은, 사용자가 실제로 바라보는 이미지와 카메라로 촬영된 이미지를 일치시킬 수 있는 카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법을 제공하는 것이다.
An object of an embodiment of the present invention is to provide a photographing direction and an angle-of-view control system of a camera and a method thereof, which can match an image actually viewed by a user with an image photographed by a camera.

본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법은 사용자의 눈동자를 향하여 적외선을 조사하고, 상기 사용자의 눈동자에서 반사되는 상기 적외선의 반사 위치를 제1 카메라로 검출함으로써, 상기 사용자의 시선을 추적하고 시야각을 계산할 수 있다.The system and method for controlling the angle of view and angle of view of a camera according to an embodiment of the present invention are characterized by irradiating infrared rays toward a pupil of a user and detecting a reflection position of the infrared ray reflected from a pupil of the user by a first camera, The user's eyes can be tracked and the viewing angle can be calculated.

또한, 제2 카메라의 촬영 방향을 상기 사용자의 시선과 일치시키고, 상기 제2 카메라의 화각을 상기 사용자의 시야각과 일치시킴으로써, 사용자가 실제로 바라보는 이미지와 카메라로 촬영된 이미지를 일치시킬 수 있다.
Also, by matching the photographing direction of the second camera with the sight line of the user, and matching the view angle of the second camera with the viewing angle of the user, it is possible to match the image actually viewed by the user with the image photographed by the camera.

본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 방법에 의하면, 사용자가 실제로 바라보는 이미지와 카메라로 촬영된 이미지를 일치시킬 수 있다.
According to the photographing direction and angle-of-view control method of the camera according to the embodiment of the present invention, the image actually viewed by the user can be matched with the image photographed by the camera.

도 1은 본 발명의 일 실시예에 따른 메인 카메라의 촬영 방향 및 화각 제어 방법을 설명하는 흐름도이고,
도 2는 본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템의 블럭도이고,
도 3은 휴대용 전자기기에 사용자의 시선이 향하는 지점을 표시한 개념도이고,
도 4a 내지 도 4e는 사용자의 시선에 따른 적외선의 반사 위치를 표시한 개념도이고,
도 5는 사용자의 시선과 제2 카메라의 촬영 방향을 일치시키는 방법을 설명한 개념도이고,
도 6은 사용자의 시야각과 제2 카메라부의 화각을 일치시키는 방법을 설명한 개략도이고,
도 7은 제1 카메라의 광축과 제2 카메라의 광축이 일치할 경우의 보정 방법을 나타낸 개략도이고,
도 8은 제1 카메라의 광축과 제2 카메라의 광축이 일치하지 않을 경우의 보정 방법을 나타낸 개략도이고,
도 9a 내지 도 9c는 본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템에서 사용자의 시선에 따라 피사체에 초점을 맞추는 과정을 도시한 개념도이고,
도 10은 본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법을 통해 촬영된 피사체의 모습을 도시한 개념도이다.FIG. 1 is a flowchart illustrating a photographing direction and a view angle control method of a main camera according to an embodiment of the present invention,
2 is a block diagram of a photographing direction and a view angle control system of a camera according to an embodiment of the present invention,
3 is a conceptual view showing a point where the user's gaze is directed to the portable electronic device,
4A to 4E are conceptual diagrams showing reflection positions of infrared rays according to a user's gaze,
5 is a conceptual diagram for explaining a method of matching the line of sight of the user and the photographing direction of the second camera,
6 is a schematic view for explaining a method of matching the viewing angle of the user with the angle of view of the second camera unit,
7 is a schematic view showing a correction method when the optical axis of the first camera coincides with the optical axis of the second camera,
8 is a schematic view showing a correction method when the optical axis of the first camera does not coincide with the optical axis of the second camera,
9A to 9C are conceptual diagrams illustrating a process of focusing on a subject according to a user's gaze in a photographing direction and an angle-of-view control system of a camera according to an embodiment of the present invention,
FIG. 10 is a conceptual diagram showing a photographing direction and a view angle control system of a camera according to an embodiment of the present invention and a view of a photographed subject through the method.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경 또는 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상의 범위 내에 포함된다고 할 것이다.
Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the inventive concept. Other embodiments falling within the scope of the inventive concept may be easily suggested, but are also included within the scope of the present invention.

또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.The same reference numerals are used to designate the same components in the same reference numerals in the drawings of the embodiments.

먼저, 방향에 대한 용어를 정의하면, Z 방향은 제1 카메라에서 제2 카메라를 향하는 방향 또는 그 반대 방향을 의미하고, X 방향은 상기 Z 방향에 수직한 방향을 의미하며, Y 방향은 상기 Z 방향과 상기 X 방향에 모두 수직한 방향을 의미한다.
First, if a term for a direction is defined, the Z direction means a direction from the first camera to the second camera or the opposite direction, the X direction means a direction perpendicular to the Z direction, and the Y direction means the Z And a direction perpendicular to both the X direction and the X direction.

도 1은 본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 방법을 설명하는 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템의 블럭도이다.
FIG. 1 is a flowchart illustrating a photographing direction and a view angle control method of a camera according to an embodiment of the present invention, and FIG. 2 is a block diagram of a photographing direction and a view angle control system of a camera according to an embodiment of the present invention.

먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템은 적외선 조명부(210), 제1 카메라부(200), 제2 카메라부(300), 제어부(120) 및 디스플레이부(110)를 포함한다.2, the photographing direction and angle of view control system of a camera according to an embodiment of the present invention includes an infrared illumination unit 210, a first camera unit 200, a second camera unit 300, a controller 120 And a display unit 110.

상기 적외선 조명부(210)는 사용자가 휴대용 전자기기를 바라볼 때, 상기 사용자의 눈동자를 향하여 적외선을 조사한다.The infrared illumination unit 210 irradiates infrared light toward the user's eyes when the user looks at the portable electronic device.

이때, 상기 사용자의 눈동자에서 반사되는 상기 적외선의 반사 위치는 상기 제1 카메라부(200)에서 검출되고, 이로부터 상기 제어부(120)에서는 상기 사용자의 시선을 추적하고, 상기 사용자의 시야각을 계산하게 된다.At this time, the reflection position of the infrared ray reflected from the eyes of the user is detected by the first camera unit 200, and the controller 120 tracks the user's gaze and calculates the viewing angle of the user do.

상기 제2 카메라부(300)에서는 상기 사용자의 시선 및 시야각에 따라 설정되는 촬영 방향 및 화각으로 피사체를 촬영하게 되고, 상기 디스플레이부(110)는 상기 제2 카메라부(300)에서 촬영된 이미지를 표시한다.
The second camera unit 300 photographs a subject in a photographing direction and an angle of view set according to the user's gaze and viewing angle, and the display unit 110 displays an image photographed by the second camera unit 300 Display.

다음으로, 도 1을 참조하여, 본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 방법을 개략적으로 설명한다.Next, a photographing direction and a view angle control method of a camera according to an embodiment of the present invention will be schematically described with reference to FIG.

여기서, 상기 휴대용 전자기기(100)의 전면에 배치되는 전면 카메라를 상기 제1 카메라부(200)로 정의하고, 상기 휴대용 전자기기(100)의 후면에 배치되는 후면 카메라를 상기 제2 카메라부(300)로 정의한다.
A front camera disposed on the front surface of the portable electronic device 100 is defined as the first camera unit 200 and a rear camera disposed on the rear surface of the portable electronic device 100 is defined as the second camera unit 200. [ 300).

먼저, 상기 사용자(400)의 눈동자(410)를 향하여 적외선을 조사하고(S10), 상기 사용자(400)의 눈동자(410)에서 반사되는 상기 적외선의 반사 위치를 상기 제1 카메라부(200)에서 검출한다.First, the infrared ray is irradiated toward the pupil 410 of the user 400 and the reflection position of the infrared ray reflected from the pupil 410 of the user 400 is detected by the first camera unit 200 .

상기 휴대용 전자기기(100)의 전면에 구비되는 상기 디스플레이부(110)를 바라보는 상기 사용자(400)의 시선(420)에 따라 상기 사용자(400)의 눈동자(410)가 움직이게 되므로, 상기 사용자(400)의 시선(420)에 따라 상기 사용자(400)의 눈동자(410)에서 상기 적외선이 반사되는 위치가 달라지게 된다.The eyes 410 of the user 400 are moved along the eyes 420 of the user 400 looking at the display unit 110 provided on the front surface of the portable electronic device 100, The position where the infrared ray is reflected from the pupil 410 of the user 400 is changed according to the sight line 420 of the user 400.

따라서, 상기 사용자(400)가 상기 디스플레이부(110)를 바라볼 때, 상기 제1 카메라부(200)를 통해 상기 사용자(400)의 시선을 추적하도록 한다(S20).Therefore, when the user 400 looks at the display unit 110, the user 400 is followed through the first camera unit 200 in step S20.

또한, 상기 제1 카메라부(200)를 통해 상기 사용자(400)의 시야각(세로 방향 시야각과 가로 방향 시야각)을 계산한다(S30).In addition, the viewing angle (vertical viewing angle and horizontal viewing angle) of the user 400 is calculated through the first camera unit 200 (S30).

다음으로, 상기 제1 카메라부(200)의 광 중심점(C)과 상기 제2 카메라부(300)의 광 중심점(C')이 일치하도록 보정한다(S40).Next, the optical center point C of the first camera unit 200 and the optical center point C 'of the second camera unit 300 are corrected to coincide with each other (S40).

이때, 상기 제1 카메라부(200)와 상기 제2 카메라부(300)의 광축이 일치할 경우에는 상기 제1 카메라부(200)와 상기 제2 카메라부(300) 사이의 광축 방향 거리에 따른 변위만 보정하면 되고, 상기 제1 카메라부(200)와 상기 제2 카메라부(300)의 광축이 일치하지 않을 경우에는 상기 제1 카메라부(200)의 광 중심점(C)과 상기 제2 카메라부(300)의 광 중심점(C') 사이의 변위(dx, dy, dz)를 구하여 보정하도록 한다.When the optical axes of the first camera unit 200 and the second camera unit 300 coincide with each other, the distance between the first camera unit 200 and the second camera unit 300 If the optical axes of the first camera unit 200 and the second camera unit 300 do not coincide with each other, only the optical center C of the first camera unit 200 and the second camera unit 300 (Dx, dy, dz) between the optical center points C 'of the unit 300 are corrected and corrected.

다음으로, 상기 제1 카메라부(200)를 통해 추적된 상기 사용자(400)의 시선(420)과 상기 사용자(400)의 시야각(세로 방향 시야각과 가로 방향 시야각)을 바탕으로, 상기 제2 카메라부(300)의 촬영 방향과 화각을 설정한다(S50).Next, on the basis of the line of sight 420 of the user 400 tracked through the first camera unit 200 and the viewing angle (vertical viewing angle and horizontal viewing angle) of the user 400, The photographing direction and angle of view of the unit 300 are set (S50).

다음으로, 상기 제2 카메라부(300)로 이미지를 촬영하고(S60), 촬영된 이미지를 상기 휴대용 전자기기(100)의 상기 디스플레이부(110)를 통해 디스플레이할 수 있다(S70).Next, an image is captured by the second camera unit 300 (S60), and the photographed image may be displayed through the display unit 110 of the portable electronic device 100 (S70).

이와 같이, 상기 휴대용 전자기기(100)의 전면에 구비되는 상기 제1 카메라부(200)를 통해 상기 사용자(400)의 시선(420)과 시야각을 추적하고, 이를 바탕으로 상기 제2 카메라부(300)의 촬영 방향과 화각을 설정하여 이미지를 촬영하면, 상기 사용자(400)가 실제로 바라보는 이미지와 상기 제2 카메라부(300)를 통해 촬영된 이미지를 일치시킬 수 있게 된다.In this manner, the user can observe the sight line 420 and the viewing angle of the user 400 through the first camera unit 200 provided on the front surface of the portable electronic device 100, 300 and the angle of view of the second camera unit 300 can be set to match the image actually viewed by the user 400 and the image captured through the second camera unit 300. [

따라서, 사용자(400)가 실제로 바라보는 이미지와 상기 디스플레이부(110)에서 표시되는 이미지가 연속적으로 표시될 수 있다.
Accordingly, the image actually viewed by the user 400 and the image displayed on the display unit 110 can be continuously displayed.

이하에서는, 도 3 내지 도 4e를 참조하여, 상기 제1 카메라가 상기 사용자의 시선을 추적하는 방법을 설명한다.
Hereinafter, a method for the first camera to track the user's gaze will be described with reference to FIGS. 3 to 4E.

상기 휴대용 전자기기(100)의 전면에는 상기 제1 카메라부(200), 상기 적외선 조명부(210) 및 상기 디스플레이부(110)가 구비된다.The first camera unit 200, the infrared illumination unit 210, and the display unit 110 are provided on the front surface of the portable electronic device 100.

상기 사용자(400)가 상기 디스플레이부(110)를 바라볼 때, 상기 적외선 조명부(210)에서 상기 사용자(400)의 눈동자(410)로 적외선을 조사하게 된다.When the user 400 looks at the display unit 110, the infra-red illumination unit 210 irradiates infrared rays to the pupil 410 of the user 400.

이때, 상기 적외선은 상기 사용자(400)의 눈동자(410)에서 반사되고, 상기 제1 카메라부(200)에 의하여 반사된 위치가 검출되게 된다.At this time, the infrared rays are reflected by the pupil 410 of the user 400, and the position reflected by the first camera unit 200 is detected.

상기 디스플레이부(110)를 바라보는 상기 사용자(400)의 시선(420)에 따라 상기 사용자(400)의 눈동자(410)가 움직이게 되므로, 상기 사용자(400)의 시선(420)에 따라 상기 사용자(400)의 눈동자(410)에서 상기 적외선이 반사되는 위치가 달라지게 된다.The user's eyes 410 of the user 400 are moved according to the line of sight 420 of the user 400 looking at the display unit 110. Accordingly, The position where the infrared rays are reflected differs from the pupil 410 of the light source 400.

예를 들어, 도 4a 내지 도 4e에 도시된 바와 같이, 상기 사용자(400)가 상기 디스플레이부(110)의 중앙 부분(A)을 바라볼 때는 상기 적외선이 상기 사용자(400)의 눈동자(410)의 동공 아랫부분에서 반사된다(도 4a). 이때의 상기 적외선의 반사 위치를 기준 위치(A)로 정의한다.4A to 4E, when the user 400 looks at the central portion A of the display unit 110, the infrared rays are transmitted through the pupil 410 of the user 400, (Fig. 4A). The reflection position of the infrared ray at this time is defined as a reference position (A).

상기 사용자(400)가 상기 디스플레이부(110)의 우측 부분(A-R)을 바라볼 때는, 상기 적외선의 반사 위치(A-R')가 상기 기준 위치(A)를 기준으로 상기 사용자(400)의 눈동자(410)의 동공 좌측으로 옮겨지게 된다(도 4b).When the user 400 looks at the right portion AR of the display unit 110, the reflection position A-R 'of the infrared ray is reflected on the reference position A, And is moved to the pupil's left side of the pupil 410 (Fig. 4B).

상기 적외선이 상기 사용자(400)의 눈동자(410)에서 반사된 결과가 상기 제1 카메라부(200)에서 검출되는 것이므로, 거울에 반사되는 것과 마찬가지로 상기 사용자(400)의 시선(420)이 움직이는 방향과 상기 적외선의 반사 위치가 옮겨지는 방향은 반대가 된다.The result of the infrared ray reflected from the pupil 410 of the user 400 is detected by the first camera unit 200 so that the direction of the eye 420 of the user 400 And the direction in which the reflection position of the infrared ray is shifted is opposite.

상기 사용자(400)가 상기 디스플레이부(110)의 좌측 부분(A-L)을 바라볼 때는, 상기 적외선의 반사 위치(A-L')가 상기 기준 위치(A)를 기준으로 상기 사용자(400)의 눈동자(410)의 동공 우측으로 옮겨지게 된다(도 4c).When the user 400 looks at the left part AL of the display part 110, the reflection position A-L 'of the infrared ray is reflected on the reference position A, And is moved to the right pupil of the pupil 410 (FIG. 4C).

또한, 상기 사용자(400)가 상기 디스플레이부(110)의 상측 부분(A-UP)을 바라볼 때는, 상기 적외선의 반사 위치(A-UP')가 상기 기준 위치(A)를 기준으로 상기 사용자(400)의 눈동자(410)의 동공 하측으로 옮겨지게 된다(도 4d).When the user 400 looks at the upper portion A-UP of the display unit 110, the reflection position A-UP 'of the infrared ray is detected at the reference position A, (Fig. 4D). The pupil 410 of the pupil 400 is moved to the lower side of the pupil.

또한, 상기 사용자(400)가 상기 디스플레이부(110)의 하측 부분(A-DN)을 바라볼 때는, 상기 적외선의 반사 위치(A-DN')가 상기 기준 위치(A)를 기준으로 상기 사용자(400)의 눈동자(410)의 동공 상측으로 옮겨지게 된다(도 4e).When the user 400 looks down on the lower portion A-DN of the display unit 110, the reflection position A-DN 'of the infrared ray is reflected on the reference position A, (See FIG. 4E) of the pupil 410 of the pupil 400.

이와 같이, 상기 제1 카메라부(200)에서 검출되는 상기 적외선의 반사 위치를 통하여 상기 제어부(120)에서 상기 사용자(400)의 시선(420)을 추적할 수 있게 된다.
Thus, the controller 420 can track the gaze 420 of the user 400 through the reflection position of the infrared ray detected by the first camera unit 200.

이하에서는, 도 5를 참조하여 사용자의 시선과 메인 카메라의 촬영 방향을 일치시키는 방법을 설명한다.
Hereinafter, a method of matching the line of sight of the user with the photographing direction of the main camera will be described with reference to Fig.

도 5를 참조하면, 상기 휴대용 전자기기(100)의 전면에는 상기 제1 카메라부(200)가 구비되고, 상기 휴대용 전자기기(100)의 후면에는 상기 제2 카메라부(300)가 구비된다.Referring to FIG. 5, the first camera unit 200 is provided on a front surface of the portable electronic device 100, and the second camera unit 300 is provided on a rear surface of the portable electronic device 100.

상기 사용자(400)가 상기 디스플레이부(110)를 정면으로 바라볼 경우에는, 상기 디스플레이부(110)에 수직한 제1 가상 선(510)과 상기 사용자(400)의 시선(420) 사이의 각도는 0이 된다.The angle between the first imaginary line 510 perpendicular to the display unit 110 and the visual line 420 of the user 400 may be set to a predetermined angle when the user 400 views the display unit 110 in front, Becomes zero.

상기 사용자(400)가 상기 디스플레이부(110)를 정면으로 바라보지 않을 경우에는 상기 제1 가상 선(510)과 상기 사용자(400)의 시선(420) 사이에는 소정의 각도(θ1)가 형성된다.A predetermined angle? 1 is formed between the first imaginary line 510 and the sight line 420 of the user 400 when the user 400 does not view the display unit 110 in front .

상기 제어부(120)에서는 상기 각도(θ1)를 기준으로 상기 제2 카메라부(300)의 촬영 방향(310)을 설정할 수 있다.The control unit 120 may set the photographing direction 310 of the second camera unit 300 based on the angle? 1.

예를 들어, 상기 제1 가상 선(510)과 평행한 제2 가상 선(520)을 기준으로 상기 각도(θ1)를 적용하면, 상기 제2 카메라부(300)의 촬영 방향(310)은 상기 사용자(400)의 시선(420)과 일치하게 된다.For example, when the angle? 1 is applied to the second imaginary line 520 parallel to the first imaginary line 510, the photographing direction 310 of the second camera unit 300 is the (420) of the user (400).

도 5에서는 상기 사용자(400)의 시선(420)이 상기 디스플레이부(110)에서 하측을 향하는 것만이 도시되었으나, 상측, 우측 또는 좌측을 향하는 경우에도 앞서 설명한 바와 마찬가지로 상기 제2 카메라부(300)의 촬영 방향(310)을 설정할 수 있다.
5, only the eyes 420 of the user 400 are directed downward from the display unit 110. However, in the case where the eyes 420 are directed upward, rightward, or leftward, the second camera unit 300, The photographing direction 310 can be set.

한편, 상기 제1 카메라부(200) 및 상기 제2 카메라부(300)는 기구적으로 틸트(tilt)될 수 있도록 제공될 수 있다.Meanwhile, the first camera unit 200 and the second camera unit 300 may be provided so as to be mechanically tilted.

따라서, 상기 제1 카메라부(200)는 상기 사용자(400)의 시선(420)을 추적하기 위하여 틸트(tilt)될 수 있으며, 상기 제2 카메라부(300)도 상기 사용자(400)의 시선(420)에 따라 계산된 상기 각도(θ1)만큼 틸트(tilt)되어 상기 사용자(400)의 시선(420)과 상기 제2 카메라부(300)의 촬영 방향(310)을 일치시킬 수 있다.
Accordingly, the first camera unit 200 may be tilted to track the sight line 420 of the user 400, and the second camera unit 300 may be tilted to track the sight line 420 of the user 400 The visual line 420 of the user 400 and the photographing direction 310 of the second camera unit 300 can be made to coincide with each other by the angle?

다음으로, 도 6을 참조하여 상기 사용자(400)의 시야각과 상기 제2 카메라부(300)의 화각을 일치시키는 방법을 설명한다.
Next, a method of matching the view angle of the user 400 with the view angle of the second camera unit 300 will be described with reference to FIG.

도 6은 사용자의 시야각과 제2 카메라부의 화각을 일치시키는 방법을 설명한 개략도이다.
6 is a schematic view illustrating a method of matching a viewing angle of a user with an angle of view of a second camera unit.

상기 제어부(120)에서는 상기 사용자(400)의 시선(420)과 상기 디스플레이부(110)의 양끝단이 이루는 각도로부터 상기 사용자(400)의 시야각을 계산한다.The control unit 120 calculates a viewing angle of the user 400 based on an angle formed by a line of sight 420 of the user 400 and both ends of the display unit 110.

예를 들어, 상기 디스플레이부(110)의 세로 방향 양끝단과 상기 사용자(400)의 시선(420)이 이루는 각도가 상기 사용자(400)의 세로 방향 시야각(θ2, θ2')이 되며, 상기 디스플레이부(110)의 가로 방향 양끝단과 상기 사용자(400)의 시선(420)이 이루는 각도가 상기 사용자(400)의 가로 방향 시야각(θ3, θ3')이 된다.For example, the angle formed by both longitudinal ends of the display unit 110 and the sight line 420 of the user 400 is the vertical viewing angles? 2 and? 2 'of the user 400, The angle formed between the both ends of the horizontal direction 110 of the user 400 and the sight line 420 of the user 400 is the horizontal viewing angles? 3 and? 3 'of the user 400.

상기 사용자(400)가 상기 디스플레이부(110)에 가까울수록 상기 세로 방향 시야각(θ2, θ2') 및 상기 가로 방향 시야각(θ3, θ3')은 커지게 되고, 상기 사용자(400)가 상기 디스플레이부(110)에서 멀어질수록 상기 세로 방향 시야각(θ2, θ2') 및 상기 가로 방향 시야각(θ3, θ3')은 작아지게 된다.The vertical viewing angles? 2 and? 2 'and the horizontal viewing angles? 3 and? 3' become larger as the user 400 approaches the display unit 110, The longitudinal viewing angles? 2 and? 2 'and the lateral viewing angles? 3 and? 3' become smaller as they are away from the viewing window 110.

측정된 한 쌍의 시야각(세로 방향 시야각(θ2, θ2') 및 가로 방향 시야각(θ3, θ3'))을 상기 제2 카메라부(300)의 화각으로 적용시키면, 상기 사용자(400)의 시야각과 상기 제2 카메라부(300)의 화각을 일치시킬 수 있다.
When the measured pair of viewing angles (the longitudinal viewing angles? 2 and? 2 'and the lateral viewing angles? 3 and? 3') are applied to the viewing angle of the second camera unit 300, The angle of view of the second camera unit 300 can be matched.

다음으로, 도 7 및 도 8을 참조하여 상기 제1 카메라부(200)의 광 중심점(C)과 상기 제2 카메라부(300)의 광 중심점(C')을 일치시키는 방법에 관하여 설명한다.
Next, a method of matching the optical center point C of the first camera unit 200 with the optical center point C 'of the second camera unit 300 will be described with reference to FIGS. 7 and 8. FIG.

도 7은 제1 카메라부의 광축과 제2 카메라부의 광축이 일치할 경우를 나타낸 개념도이고, 도 8은 제1 카메라부의 광축과 제2 카메라부의 광축이 일치하지 않을 경우를 나타낸 개념도이다.
FIG. 7 is a conceptual view showing the case where the optical axis of the first camera unit coincides with the optical axis of the second camera unit, and FIG. 8 is a conceptual diagram showing a case where the optical axis of the first camera unit and the optical axis of the second camera unit do not coincide.

도 7에 도시된 바와 같이, 상기 제1 카메라부(200)의 광축과 상기 제2 카메라부(300)의 광축이 일치할 경우에는, 상기 제1 카메라부(200)와 상기 제2 카메라 부(300)사이의 Z 방향의 거리(dz)만 보정하면 상기 제1 카메라부(200)의 광 중심점(C)과 상기 제2 카메라부(300)의 광 중심점(C')을 일치시킬 수 있다.
7, when the optical axis of the first camera unit 200 and the optical axis of the second camera unit 300 coincide with each other, the first camera unit 200 and the second camera unit 300 The optical center point C of the first camera unit 200 and the optical center point C 'of the second camera unit 300 can be matched by correcting only the distance dz in the Z direction between the first camera unit 300 and the second camera unit 300. [

도 8에 도시된 바와 같이, 상기 제1 카메라부(200)의 광축과 상기 제2 카메라부(300)의 광축이 일치하지 않을 경우에는, 상기 제1 카메라부(200)의 광 중심점(C)에서 상기 제2 카메라부(300)의 광 중심점(C')까지의 변위(dx, dy, dz)를 구하여 보정하여야 한다.8, when the optical axis of the first camera unit 200 and the optical axis of the second camera unit 300 do not coincide with each other, the optical center C of the first camera unit 200, (Dx, dy, dz) from the optical center point C 'of the first camera unit 300 to the optical center point C' of the second camera unit 300.

예를 들어, 상기 제1 카메라부(200)의 광 중심점(C)과 상기 제2 카메라부(300)의 광 중심점(C') 사이의 X 방향 변위(dx)와 Y 방향 변위(dy)를 계산하여, X 방향과 Y 방향의 변위를 먼저 보정하고, 최종적으로 Z 방향 변위(dz)를 보정하면, 상기 제1 카메라부(200)의 광 중심점(C)과 상기 제2 카메라부(300)의 광 중심점(C')을 일치시킬 수 있다.For example, the X direction displacement dx and the Y direction displacement dy between the optical center point C of the first camera unit 200 and the optical center point C 'of the second camera unit 300 The optical center point C of the first camera unit 200 and the optical center point C of the second camera unit 300 are calculated by correcting the displacements in the X direction and the Y direction first and finally correcting the Z direction displacement dz, The optical center point C 'of the light source can be matched.

또한, Z 방향 변위(dz)를 먼저 보정하고, 그 뒤에 X 방향과 Y 방향의 변위(dx, dy)를 보정할 수도 있다.
It is also possible to correct the Z direction displacement dz first and then correct the X direction and Y direction displacement dx, dy.

도 9a 내지 도 9c는 본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템에서 사용자의 시선에 따라 피사체에 초점을 맞추는 과정을 도시한 개념도이다.
9A to 9C are conceptual diagrams illustrating a process of focusing on a subject according to a user's gaze in a photographing direction and an angle-of-view control system of a camera according to an embodiment of the present invention.

도 9a 내지 도 9c에 도시된 바와 같이, 본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템에서는 상기 사용자(400)의 시선(420)에 따라 피사체에 초점을 맞출 수 있다.9A to 9C, in the photographing direction and angle-of-view control system of the camera according to the embodiment of the present invention, the user can focus on the subject according to the sight line 420 of the user 400. [

예를 들어, 도 9a에서는 상기 사용자(400)의 시선(420)이 제1 피사체(OB1)를 향하고 있다.For example, in FIG. 9A, the gaze 420 of the user 400 faces the first subject OB1.

앞서 설명한 바와 같이 상기 제1 카메라부(200)에서는 상기 사용자(400)의 시선(420)을 추적할 수 있으므로, 상기 사용자(400)의 시선(420)에 따라 상기 제2 카메라부(300)의 초점을 상기 제1 피사체(OB1)에 맞출 수 있다.The first camera unit 200 can track the gaze 420 of the user 400 so that the second camera unit 300 can be moved along the gaze 420 of the user 400, The focus can be adjusted to the first subject OB1.

또한, 도 9b와 도 9c에 도시된 바와 같이, 상기 사용자(400)의 시선(420)이 제2 피사체(OB2)를 향할 경우에는 상기 제2 카메라부(300)의 초점을 상기 제2 피사체(OB2)에 맞출 수 있고, 상기 사용자(400)의 시선(420)이 제3 피사체(OB3)를 향할 경우에는 상기 제2 카메라부(300)의 초점을 상기 제3 피사체(OB3)에 맞출 수 있다.
9B and 9C, when the sight line 420 of the user 400 faces the second object OB2, the focus of the second camera unit 300 is focused on the second object OB2, The focus of the second camera unit 300 can be adjusted to the third subject OB3 when the eyes 420 of the user 400 face the third subject OB3 .

본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법은 웨어러블 컴퓨터(Wearable computer)의 일종인 스마트 안경에 적용될 수 있고, 디지털 카메라 또는 캠코더 등의 영상 획득 장치에 적용될 수도 있다.The photographing direction and angle-of-view control system and method of a camera according to an embodiment of the present invention can be applied to smart glasses, which is a kind of wearable computer, and can be applied to an image acquisition device such as a digital camera or a camcorder.

본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법을 상기 스마트 안경에 적용할 경우, 상기 사용자의 시선 및 시야각과 상기 스마트 안경에 구비되는 카메라의 촬영 방향 및 화각을 일치시킬 수 있게 되고, 이에 따라 상기 스마트 안경에서 사용자 인터페이스로 제공되는 그래픽을 정확한 위치에 표시할 수 있다.When the camera photographing direction and angle of view control system and method are applied to the smart glasses according to an embodiment of the present invention, the user's sight line and viewing angle are matched with the photographing direction and angle of view of the camera provided in the smart glasses So that the graphic provided to the user interface in the smart glasses can be displayed at the correct position.

또한, 상기 디지털 카메라 또는 상기 캠코더 등의 영상 획득 장치에 적용되는 경우에도, 상기 사용자의 시선 및 시야각과 카메라의 촬영 방향 및 화각을 일치시킬 수 있으므로, 상기 사용자가 실제로 바라보는 이미지를 상기 영상 획득 장치의 디스플레이부에 그대로 표현할 수 있게 된다(도 10 참조).
In addition, even when the present invention is applied to an image capturing apparatus such as the digital camera or the camcorder, the user's gaze and viewing angle can be matched with the capturing direction and angle of view of the camera, (See Fig. 10).

이상의 실시예를 통해, 본 발명의 일 실시예에 따른 카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법은, 사용자의 시선 및 시야각과 카메라의 촬영 방향 및 화각을 일치시킬 수 있으므로, 카메라로 촬영된 이미지와 사용자가 실제로 바라보는 이미지를 일치시킬 수 있다.
It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. And the image the user is actually looking at.

상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be apparent to those skilled in the art that changes or modifications may fall within the scope of the appended claims.

100: 휴대용 전자기기 110: 디스플레이부
120: 제어부 200: 제1 카메라
210: 적외선 조명부 300: 제2 카메라
400: 사용자 410: 눈동자
420: 시선100: portable electronic device 110: display unit
120: control unit 200:
210: Infrared illumination unit 300: Second camera
400: user 410: pupil
420: gaze

Claims (13)

사용자의 눈동자를 향하여 적외선을 조사하는 적외선 조명부;
상기 적외선이 상기 사용자의 눈동자에서 반사되는 반사 위치를 검출하는 제1 카메라부;
상기 사용자의 시선에 따라 변화되는 상기 적외선의 반사 위치를 통하여 상기 사용자의 시선을 추적하고, 상기 사용자의 시야각을 계산하는 제어부;
상기 제어부에서 설정된 상기 사용자의 시선 및 시야각에 따라 촬영 방향 및 화각이 설정되는 제2 카메라부; 및
상기 제2 카메라부에서 촬영된 이미지를 디스플레이하는 디스플레이부;를 포함하며,
상기 제어부는 상기 제1 카메라부의 광 중심점과 상기 제2 카메라부의 광 중심점을 일치시키는 카메라의 촬영 방향 및 화각 제어 시스템.
An infrared ray illuminator for irradiating infrared rays toward a user's eyes;
A first camera unit for detecting a reflection position at which the infrared ray is reflected by the pupils of the user;
A control unit for tracking a line of sight of the user through a reflection position of the infrared ray which changes according to a line of sight of the user and calculating a viewing angle of the user;
A second camera unit having a photographing direction and an angle of view set according to the user's sight line and viewing angle set by the control unit; And
And a display unit for displaying an image photographed by the second camera unit,
Wherein the control unit coincides an optical center point of the first camera unit with an optical center point of the second camera unit.
제1항에 있어서,
상기 제어부는 상기 디스플레이부에 수직한 제1 가상 선과 상기 사용자의 시선 사이의 각도를 계산하는 카메라의 촬영 방향 및 화각 제어 시스템.
The method according to claim 1,
Wherein the control unit calculates an angle between a first virtual line perpendicular to the display unit and a line of sight of the user.
제2항에 있어서,
상기 제어부는 상기 디스플레이부에 수직한 제1 가상 선과 상기 사용자의 시선 사이의 가로 방향 각도 및 세로 방향 각도를 계산하는 카메라의 촬영 방향 및 화각 제어 시스템.
3. The method of claim 2,
Wherein the controller calculates a horizontal angle and a vertical angle between a first virtual line perpendicular to the display unit and a line of sight of the user.
제1항에 있어서,
상기 제어부는 상기 디스플레이부의 세로 방향으로의 양 끝단과 상기 사용자의 눈동자가 이루는 각도를 상기 사용자의 세로 방향 시야각으로 계산하는 카메라의 촬영 방향 및 화각 제어 시스템.
The method according to claim 1,
Wherein the control unit calculates an angle formed by both ends in the vertical direction of the display unit and the pupil of the user as a vertical viewing angle of the user.
제1항에 있어서,
상기 제어부는 상기 디스플레이부의 가로 방향으로의 양 끝단과 상기 사용자의 눈동자가 이루는 각도를 상기 사용자의 가로 방향 시야각으로 계산하는 카메라의 촬영 방향 및 화각 제어 시스템.
The method according to claim 1,
Wherein the control unit calculates an angle formed between both ends of the display unit in the horizontal direction and the pupil of the user as a horizontal viewing angle of the user.
삭제delete 제1항에 있어서,
상기 제1 카메라부의 광축과 상기 제2 카메라부의 광축이 일치하는 경우에는, 상기 제어부가 상기 제1 카메라부의 광 중심점과 상기 제2 카메라부의 광 중심점 사이의 광축 방향 거리를 보정하는 카메라의 촬영 방향 및 화각 제어 시스템.
The method according to claim 1,
When the optical axis of the first camera unit and the optical axis of the second camera unit coincide with each other, the control unit adjusts the photographing direction of the camera, which corrects the optical axis distance between the optical center point of the first camera unit and the optical center point of the second camera unit, Angle control system.
제1항에 있어서,
상기 제1 카메라부의 광축과 상기 제2 카메라부의 광축이 어긋나는 경우에는, 상기 제어부가 상기 제1 카메라부의 광 중심점과 상기 제2 카메라부의 광 중심점 사이의 광축 방향 거리 및 상기 광축 방향에 수직한 방향으로의 거리를 보정하는 카메라의 촬영 방향 및 화각 제어 시스템.
The method according to claim 1,
When the optical axis of the first camera part and the optical axis of the second camera part are displaced, the control part controls the distance between the optical center point of the first camera part and the optical center point of the second camera part in the optical axis direction and the direction perpendicular to the optical axis direction And the angle of view control of the camera.
제1항에 있어서,
상기 제1 카메라부는 전자 기기의 일면에 장착되고, 상기 제2 카메라부는 상기 전자 기기의 타면에 장착되는 카메라의 촬영 방향 및 화각 제어 시스템.
The method according to claim 1,
Wherein the first camera unit is mounted on one side of the electronic device and the second camera unit is mounted on the other side of the electronic device.
사용자의 눈동자를 향하여 적외선을 조사하는 단계;
제1 카메라를 통해 상기 적외선이 상기 사용자의 눈동자에서 반사되는 반사 위치를 검출하는 단계;
상기 적외선의 반사 위치를 통해 제어부에서 상기 사용자의 시선을 추적하는 단계;
상기 제어부에서 상기 사용자의 세로 방향 시야각과 가로 방향 시야각을 계산하는 단계;
상기 제1 카메라와 제2 카메라의 광 중심점을 일치시키는 단계;
상기 제2 카메라의 촬영 방향과 화각을 설정하는 단계; 및
상기 제2 카메라로 이미지를 촬영하는 단계;를 포함하는 카메라의 촬영 방향 및 화각 제어 방법.
Irradiating infrared rays toward a user's eyes;
Detecting a reflection position at which the infrared rays are reflected by the user's eye through a first camera;
Tracking a line of sight of the user at a control unit through a reflection position of the infrared ray;
Calculating a vertical viewing angle and a horizontal viewing angle of the user from the control unit;
Matching the optical center points of the first camera and the second camera;
Setting a photographing direction and an angle of view of the second camera; And
And photographing an image with the second camera.
제10항에 있어서,
상기 사용자의 시선을 추적하는 단계는,
상기 사용자의 시선에 따라 변화되는 상기 적외선의 반사 위치를 통하여 상기 사용자의 시선을 추적하는 단계인 카메라의 촬영 방향 및 화각 제어 방법.
11. The method of claim 10,
Wherein the step of tracking the user's gaze comprises:
And tracking a line of sight of the user through a reflection position of the infrared ray which changes according to a line of sight of the user.
제10항에 있어서,
상기 사용자의 세로 방향 시야각과 가로 방향 시야각을 계산하는 단계는,
디스플레이부의 세로 방향으로의 양 끝단과 상기 사용자의 눈동자가 이루는 각도를 상기 사용자의 세로 방향 시야각으로 계산하고,
상기 디스플레이부의 가로 방향으로의 양 끝단과 상기 사용자의 눈동자가 이루는 각도를 상기 사용자의 가로 방향 시야각으로 계산하는 단계인 카메라의 촬영 방향 및 화각 제어 방법.
11. The method of claim 10,
Wherein the step of calculating the vertical viewing angle and the horizontal viewing angle of the user comprises:
Calculating an angle formed by both ends in the longitudinal direction of the display unit and the pupil of the user as a vertical viewing angle of the user,
And calculating an angle formed between both ends of the display unit in the horizontal direction and a pupil of the user as a horizontal viewing angle of the user.
제10항에 있어서,
상기 제2 카메라의 촬영 방향을 설정하는 단계는,
디스플레이부에 수직한 제1 가상 선과 상기 사용자의 시선 사이의 각도를 계산하는 단계인 카메라의 촬영 방향 및 화각 제어 방법.
11. The method of claim 10,
Wherein the setting of the photographing direction of the second camera comprises:
And calculating an angle between a first virtual line perpendicular to the display unit and a line of sight of the user.
KR1020140127923A 2013-11-22 2014-09-24 System and method of controlling photographing viewpoint and the angle of view of camera KR101588971B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/543,905 US9525817B2 (en) 2013-11-22 2014-11-18 System and method of controlling imaging direction and angle of view of camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130143004 2013-11-22
KR1020130143004 2013-11-22

Publications (2)

Publication Number Publication Date
KR20150059591A KR20150059591A (en) 2015-06-01
KR101588971B1 true KR101588971B1 (en) 2016-01-27

Family

ID=53490638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140127923A KR101588971B1 (en) 2013-11-22 2014-09-24 System and method of controlling photographing viewpoint and the angle of view of camera

Country Status (1)

Country Link
KR (1) KR101588971B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022548A1 (en) * 2018-07-24 2020-01-30 엘지전자 주식회사 Mobile terminal and control method therefor

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11012636B2 (en) 2016-06-22 2021-05-18 Intel Corporation Image/video capturing method and apparatus
EP3805979A1 (en) * 2019-10-11 2021-04-14 Lumileds Holding B.V. User controlled imaging device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293312A (en) 1999-04-09 2000-10-20 Ricoh Co Ltd Information input/detection/display device
JP2007212664A (en) 2006-02-08 2007-08-23 Funai Electric Co Ltd Liquid crystal display device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0682682A (en) * 1992-09-04 1994-03-25 Canon Inc Camera provided with means for zooming by line of sight
JPH07107360A (en) * 1993-10-04 1995-04-21 Canon Inc Camcorder
KR101148508B1 (en) 2010-07-16 2012-05-25 한국과학기술원 A method and device for display of mobile device, and mobile device using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293312A (en) 1999-04-09 2000-10-20 Ricoh Co Ltd Information input/detection/display device
JP2007212664A (en) 2006-02-08 2007-08-23 Funai Electric Co Ltd Liquid crystal display device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022548A1 (en) * 2018-07-24 2020-01-30 엘지전자 주식회사 Mobile terminal and control method therefor

Also Published As

Publication number Publication date
KR20150059591A (en) 2015-06-01

Similar Documents

Publication Publication Date Title
US10048750B2 (en) Content projection system and content projection method
US9355314B2 (en) Head-mounted display apparatus and login method thereof
KR102471370B1 (en) Information processing apparatus, information processing method, and program
US9525817B2 (en) System and method of controlling imaging direction and angle of view of camera
US9430878B2 (en) Head mounted display and control method thereof
US20160309081A1 (en) Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
TWI507729B (en) Eye-accommodation-aware head mounted visual assistant system and imaging method thereof
US10360450B2 (en) Image capturing and positioning method, image capturing and positioning device
WO2013179427A1 (en) Display device, head-mounted display, calibration method, calibration program, and recording medium
US9310614B2 (en) Head mounted display and imaging method thereof
RU2014105687A (en) METHOD AND SYSTEM FOR TREATING VISION IMPAIRMENTS
US20200275071A1 (en) Electronic visual headset
JP2016031761A5 (en)
US20150241695A1 (en) Head mounted display apparatus
KR101588971B1 (en) System and method of controlling photographing viewpoint and the angle of view of camera
CN106713894B (en) A kind of tracking mode stereo display method and equipment
JP6576639B2 (en) Electronic glasses and control method of electronic glasses
KR101739768B1 (en) Gaze tracking system at a distance using stereo camera and narrow angle camera
CN109164552B (en) A kind of alignment schemes and equipment of eyeglass and screen
JP6483514B2 (en) Wearable device, control method, and control program
JP2017191546A (en) Medical use head-mounted display, program of medical use head-mounted display, and control method of medical use head-mounted display
CN105446580A (en) Control method and portable electronic equipment
JP4768079B1 (en) Blood vessel display device
US20230244305A1 (en) Active interactive navigation system and active interactive navigation method
JP2016133541A (en) Electronic spectacle and method for controlling the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 5