KR102345652B1 - 뷰 파인더 장치 및 그 동작 방법 - Google Patents

뷰 파인더 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102345652B1
KR102345652B1 KR1020150091390A KR20150091390A KR102345652B1 KR 102345652 B1 KR102345652 B1 KR 102345652B1 KR 1020150091390 A KR1020150091390 A KR 1020150091390A KR 20150091390 A KR20150091390 A KR 20150091390A KR 102345652 B1 KR102345652 B1 KR 102345652B1
Authority
KR
South Korea
Prior art keywords
image
photographing unit
unit
reference mark
viewfinder
Prior art date
Application number
KR1020150091390A
Other languages
English (en)
Other versions
KR20170001422A (ko
Inventor
이진원
정종삼
조성현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150091390A priority Critical patent/KR102345652B1/ko
Priority to EP16814546.4A priority patent/EP3314885B1/en
Priority to PCT/KR2016/000272 priority patent/WO2016208833A1/en
Priority to CN201680037622.9A priority patent/CN107852457B/zh
Priority to US14/995,468 priority patent/US10248859B2/en
Publication of KR20170001422A publication Critical patent/KR20170001422A/ko
Application granted granted Critical
Publication of KR102345652B1 publication Critical patent/KR102345652B1/ko

Links

Images

Classifications

    • H04N5/23219—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/06—Viewfinders with lenses with or without reflectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H04N5/225—
    • H04N5/23293—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Abstract

기준 마크가 표시된 윈도우, 상기 윈도우를 통하여 사용자의 눈을 촬영하는 촬영부 및 상기 촬영부가 이동하기 전에 상기 촬영부에 의해 촬영된 제1 영상에 포함되는 상기 기준 마크의 위치와, 상기 촬영부가 이동한 후에 상기 촬영부에 의해 촬영된 제2 영상에 포함되는 상기 기준 마크의 위치에 기초하여, 상기 이동한 촬영부의 위치를 검출하는 제어부를 포함하고, 상기 제어부는, 상기 이동한 촬영부의 위치를 이용하여, 상기 사용자의 시선을 추적하는 뷰 파인더 장치가 개시된다.

Description

뷰 파인더 장치 및 그 동작 방법{View finder apparatus and method for the same}
다양한 실시예들은 뷰 파인더 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 사용자의 시선을 추적하는 촬영부가 이동한 위치를 검출할 수 있는 뷰 파인더 장치 및 그 동작 방법에 관한 것이다.
뷰 파인더는 뷰 파인더 내부의 광학계를 이용하여, 사용자에게 뷰 파인더 영상을 제공한다. 뷰 파인더는 시도 조절 장치를 포함한다. 시도 조절 장치는 뷰 파인더 영상의 초점을 사용자의 시력에 맞추기 위하여, 뷰 파인더 내부의 광학계를 이동시키는 장치를 의미한다.
또한, 뷰 파인더는 사용자의 시선을 추적하는 카메라를 포함하여, 추적된 사용자의 시선을 분석하여 관심 영역(ROI)을 설정할 수 있다.
다양한 실시예들은, 사용자의 시선을 추적하는 촬영부가 이동하는 경우, 촬영부에서 획득한 영상을 통하여 이동한 촬영부의 위치를 검출할 수 있는 뷰 파인더 장치 및 뷰 파인더 장치의 동작방법을 제공할 수 있다.
일 실시예에 따른 뷰 파인더 장치는, 기준 마크가 표시된 윈도우, 상기 윈도우를 통하여 사용자의 눈을 촬영하는 촬영부 및 상기 촬영부가 이동하기 전에 상기 촬영부에 의해 촬영된 제1 영상에 포함되는 상기 기준 마크의 위치와, 상기 촬영부가 이동한 후에 상기 촬영부에 의해 촬영된 제2 영상에 포함되는 상기 기준 마크의 위치에 기초하여, 상기 이동한 촬영부의 위치를 검출하는 제어부를 포함하고, 상기 제어부는, 상기 이동한 촬영부의 위치를 이용하여, 상기 사용자의 시선을 추적할 수 있다.
일 실시예에 따른 뷰 파인더 장치는, 적어도 하나의 객체가 표시되는 디스플레이부를 더 포함하고, 상기 추적된 사용자의 시선과 교차하는 상기 디스플레이부의 영역을 관심영역으로 설정할 수 있다.
일 실시예에 따른 디스플레이부는 상기 뷰 파인더 장치를 이용하여 촬영할 피사체의 구도와 촬영 조건을 확인할 수 있는 뷰 파인더 영상을 표시할 수 있다.
일 실시예에 따른 뷰 파인더 장치는 상기 윈도우를 통해 입사되는 광의 반사나 굴절을 이용하여 상기 디스플레이부에 표시되는 영상을 상기 사용자에게 제공하며 광축(optical axis)을 따라 이동하는 광학계를 더 포함하고, 상기 촬영부는, 상기 광학계와 동일한 방향으로 이동될 수 있다.
일 실시예에 따른 기준 마크는, 제1 기준 마크 및 제2 기준 마크를 포함하고, 상기 제어부는, 상기 제1 영상에 포함되는 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 제1 거리, 및 상기 제 2 영상에 포함되는 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 제2 거리에 기초하여 상기 이동한 촬영부의 위치를 검출할 수 있다.
일 실시예에 따른 뷰 파인더 장치는, 상기 이동하기 전의 촬영부와 상기 윈도우 사이의 거리를 저장하는 저장부를 더 포함할 수 있다.
일 실시예에 따른 윈도우와 상기 촬영부 사이의 거리가 멀어질수록 상기 제1 기준 마크과 상기 제2 기준 마크 사이의 거리는 가까워지고, 상기 윈도우와 상기 촬영 부 사이의 거리가 가까워질수록 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 거리는 멀어질 수 있다.
일 실시예에 따른 상기 윈도우와 상기 촬영부 사이의 거리와, 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 거리는 반비례 관계일 수 있다.
일 실시예에 따른 제어부는 상기 제1 영상에 포함되는 상기 기준 마크의 위치와 상기 제2 영상에 포함되는 상기 기준 마크의 위치에 기초하여 상기 촬영부의 이동에 의해 발생한 공차를 계산하고, 상기 계산된 공차를 이용하여 상기 사용자의 시선을 추적할 수 있다.
일 실시예에 따른 촬영부는, 적외선 카메라를 포함하고, 상기 기준마크는, 적외선을 반사하는 물질로 형성될 수 있다.
일 실시예에 따른 뷰 파인더 장치의 동작방법은, 기준 마크가 표시된 윈도우를 통하여 사용자의 눈을 촬영하여, 제1 영상을 획득하는 단계, 상기 사용자의 눈을 촬영하는 촬영부를 이동시키는 단계, 상기 이동한 촬영부에 의해, 상기 윈도우를 통하여 상기 사용자의 눈을 촬영하여 제2 영상을 획득하는 단계, 상기 제1 영상에 포함되는 상기 기준 마크의 위치와 상기 제2 영상에 포함되는 상기 기준 마크의 위치에 기초하여, 상기 이동한 촬영부의 위치를 검출하는 단계 및 상기 이동한 촬영부의 위치를 이용하여, 상기 사용자의 시선을 추적하는 단계를 포함할 수 있다.
일 실시예에 따른 뷰 파인더 장치의 동작방법은, 적어도 하나의 객체를 디스플레이부에 표시하는 단계 및 상기 추적된 사용자의 시선과 교차하는 상기 디스플레이부의 영역을 관심영역으로 설정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 적어도 하나의 객체를 디스플레이부에 표시하는 단계는,상기 뷰 파인더 장치를 이용하여 촬영할 피사체의 구도와 촬영 조건을 확인할 수 있는 뷰 파인더 영상을 표시하는 단계를 포함할 수 있다.
일 실시예에 따른 사용자의 눈을 촬영하는 촬영부를 이동시키는 단계는, 상기 촬영부를, 상기 윈도우를 통해 입사되는 광의 반사나 굴절을 이용하여 상기 디스플레이부에 표시되는 영상을 상기 사용자에게 제공하며 광축(optical axis)을 따라 이동하는 광학계와 동일한 방향으로 이동시키는 단계일 수 있다.
일 실시예에 따른 기준 마크는, 제1 기준 마크 및 제2 기준 마크를 포함하고, 상기 이동한 촬영부의 위치를 검출하는 단계는, 상기 제1 영상에 포함되는 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 제1 거리, 및 상기 제 2 영상에 포함되는 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 제2 거리에 기초하여 상기 이동한 촬영부의 위치를 검출하는 단계를 포함할 수 있다.
일 실시예에 따른 뷰 파인더 장치의 동작방법은, 이동시키기 전의 상기 촬영부와 상기 윈도우 사이의 거리를 저장하는 단계를 더 포함할 수 있다.
일 실시예에 따른 이동한 촬영부의 위치를 검출하는 단계는, 상기 제1 영상에 포함되는 상기 기준 마크의 위치와 상기 제2 영상에 포함되는 상기 기준 마크의 위치에 기초하여 상기 촬영부의 이동에 의해 발생한 공차를 계산하는 단계를 포함하고, 상기 사용자의 시선을 추적하는 단계는, 상기 계산된 공차를 이용하여 상기 사용자의 시선을 추적하는 단계를 포함하는 뷰 파인더 장치의 동작방법.
일 실시예에 따라 시선을 추적하는 카메라의 이동 위치를 검출할 수 있어, 시선 추적의 정확도를 향상시킬 수 있다.
일 실시예에 따라, 시선을 추적하는 카메라에서 획득된 영상을 이용하여, 카메라의 이동 위치를 검출할 수 있어, 카메라의 이동량을 감지하기 위한 별도의 센서를 필요로 하지 않는다.
도 1의 (a) 및 (b)는 일 실시예에 따른, 뷰 파인더를 포함하는 뷰 파인더 장치를 나타내는 도면들이다.
도 2의 (a) 및 (b)는 도 1의 (a)의 뷰 파인더(130a)를 나타내는 도면이다.
도 3 은 일 실시예에 따른 뷰 파인더 장치의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 뷰 파인더 장치의 구성을 나타내는 블록도이다.
도 5는 일 실시예에 따른 뷰 파인더 장치의 구성을 나타내는 블록도이다.
도 6은 일 실시예에 따른 촬영부가 이동됨에 따라, 촬영부에 의해 촬영되는 피사체의 크기가 변경되는 일 예를 나타내는 도면이다.
도 7및 도 8은 일 실시예에 따른 뷰 파인더 장치가 이동한 촬영부의 위치를 검출하는 방법을 설명하기 위해 참조되는 도면들이다.
도 9는 일 실시예에 따른 촬영부의 위치, 시야각의 크기(촬영 범위), 및 기준 마크들 사이의 거리를 나타내는 도면이다.
도 10은 일 실시예에 따른 촬영부가 이동하는 경우 발생하는 공차를 검출하는 방법을 설명하기 위해 참조되는 도면이다.
도 11은 일 실시예에 따른 뷰 파인더 장치의 동작방법을 나타내는 흐름도고, 도 12는 도 11의 840 단계(S840)를 구체적으로 나타내는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1의 (a) 및 (b)는 일 실시예에 따른, 뷰 파인더를 포함하는 뷰 파인더 장치를 나타내는 도면들이다. 일 실시예에 따른 뷰 파인더 장치(100)는 도 1의 (a)에 도시된 뷰 파인더 장치(100a) 및 도 1의 (b)에 도시된 뷰 파인더 장치(100b)를 포함할 수 있다.
도 1의 (a)를 참조하면, 일 실시예에 따른 뷰 파인더 장치(100a)는 촬영 장치일 수 있다. 예를 들어, 촬영 장치는 정지영상을 촬영하는 디지털 스틸 카메라나 동영상을 촬영하는 디지털 비디오 카메라 등의 다양한 형태로 구현될 수 있다. 또한, 촬영 장치는 디지털 일안 리플렉스 카메라(DSLR), 미러리스 카메라 또는 스마트폰을 포함할 수 있으며, 이에 한정되지 않고, 렌즈 및 촬상소자를 포함하여 피사체를 촬영하여 이미지를 생성할 수 있는 카메라 모듈을 탑재한 장치를 포함할 수 있다.
또한, 도 1의 (b)를 참조하면, 일 실시예에 따른 뷰 파인더 장치(100b)는 헤드 마운트 디스플레이일 수 있다. 예를 들어, 헤드 마운트 디스플레이는 VR(Virtual Reality) 영상을 제공하는 VR기기, AR(Augmented Reality) 영상을 제공하는 AR기기 등의 다양한 형태로 구현될 수 있다. 다만, 이에 한정되는 것은 아니다.
일 실시예에 따른 뷰 파인더 장치(100a, 100b)는 뷰 파인더(130a, 130b)를 포함할 수 있다. 뷰 파인더(130a, 130b)는 사용자에게 촬영의 대상이 되는 피사체의 구도와 촬영 조건을 확인할 수 있도록 뷰 파인더 영상을 제공하거나, 가상 현실(virtual reality) 영상을 제공할 수 있다.
또한, 일 실시예에 따른 뷰 파인더 장치(100a, 100b)는 시도 조절 장치를 포함할 수 있다. 예를 들어, 사용자는 뷰 파인더(130a, 130b) 내부의 광학계를 통하여, 뷰 파인더 영상을 볼 수 있다. 이때, 사용자마다 시력이 다르므로 광학계를 광축 방향으로 이동시킴으로써, 뷰 파인더 영상의 초점을 사용자의 시력에 맞출 수 있다. 이때, 사용자는 시도 조절 노브 등을 이용하여 광학계를 이동시킬 수 있다. 다만 이에 한정되는 것은 아니며, 뷰 파인더 장치(100a, 100b)는 자동으로 사용자의 시력에 맞도록 광학계를 이동시킬 수 있다.
또한, 일 실시예에 따른 뷰 파인더 장치(100a, 100b)는 사용자의 시선을 추적(트랙킹)하는 카메라를 포함할 수 있다. 사용자의 시선을 추적하는 카메라는 사용자의 눈을 촬영하고, 촬영된 사용자의 눈 영상을 이용하여 사용자의 시선을 추적할 수 있다. 뷰 파인더 장치(100a, 100b)는 뷰 파인더 영상 내에서, 추적된 사용자의 시선이 머무르는 영역(관심 영역)을 검출할 수 있다. 뷰 파인더 장치(100a, 100b)는 관심 영역이 검출되면, 검출된 관심 영역을 표시할 수 있으며, 관심 영역에 대해 다양한 동작을 수행할 수 있다. 예를 들어, 뷰 파인더 장치(100a, 100b)는 관심 영역을 포커싱하여 피사체를 촬영할 수 있다.
도 2의 (a) 및 (b)는 도 1의 (a)의 뷰 파인더(130a)를 나타내는 도면이다.
일 실시예에 따른 뷰 파인더(130a)는 윈도우(131), 광학계(133) 및 디스플레이부(140)를 포함할 수 있다.
윈도우(131)는 광을 투과시키는 투명 재질을 포함할 수 있으며, 투명 디스플레이로 구현될 수 있다. 윈도우(131)가 투명 디스플레이로 구현되는 경우, 윈도우(131)에는 촬영에 관련된 정보가 표시될 수 있다. 또한, 일 실시예에 다른 윈도우(131)에는 기준마크가 표시될 수 있다. 이때, 기준 마크는 적외선을 반사하는 물질로 형성되어, 사용자의 눈에 의해서는 인식되지 않으나 적외선(IR) 카메라 등에 의해 인식되도록 형성될 수 있다.
디스플레이부(140)는 뷰 파인더 영상을 표시할 수 있으며, 윈도우(131)로 입사된 광이 진행하는 경로에 배치될 수 있다. 사용자는 윈도우(131)에 눈을 근접시키고, 윈도우(131)를 통하여, 디스플레이부(140)에 표시된 뷰 파인더 영상을 볼 수 있다.
광학계(133)는 윈도우(131)와 디스플레이부(140) 사이에 배치될 수 있다. 광학계(133)는 적어도 하나의 렌즈, 프리즘 등을 포함할 수 있다. 광학계(133)는 광학계로 입사되는 광의 굴절, 반사 등을 이용하여, 디스플레이부(140)에 표시되는 뷰 파인더 영상을 사용자에게 제공할 수 있다. 적어도 하나의 렌즈는 뷰 파인더 영상을 확대하는 줌 렌즈, 뷰 파인더 영상을 사용자의 시력에 맞추기 위한 시도 조절 렌즈 등을 포함할 수 있다. 또한, 프리즘(135)은 광학계(133)로 입사되는 광의 일부가 촬영부(110)로 입사되도록 광의 경로를 변경할 수 있다.
촬영부(110)는 적어도 하나의 카메라를 포함할 수 있으며, 적외선(IR) 카메라를 포함할 수 있다. 또한, 촬영부(110)는 윈도우(131)를 통해 윈도우(131)에 근접한 사용자의 눈을 촬영할 수 있다. 뷰 파인더 장치(100)는 촬영부(110)가 사용자의 눈을 촬영할 때, 광을 제공하기 위하여 적어도 하나의 조명부(134)를 포함할 수 있다. 조명부(134)는 윈도우(131)와 근접한 영역에 배치될 수 있으며, 적외선 발광 다이오드(IR LED)를 포함할 수 있다.
뷰 파인더 장치(100)는 촬영된 사용자의 눈 영상에서 동공과 반사광을 검출하여, 사용자의 시선을 추적하고 사용자의 시선과 교차하는 디스플레이부의 영역을 검출할 수 있다.
일 실시예에 따른 뷰 파인더 장치(100)의 사용자는 뷰 파인더 영상을 사용자의 시력에 맞추기 위하여, 시도 조절 장치(예를 들어, 시도 조절 노브 등)를 이용하여 뷰 파인더 내부의 광학계(133)를 광축 방향으로 이동시킬 수 있다. 광학계가 이동되는 경우 촬영부(110)도 동일한 방향으로 같이 이동하게 된다.
사용자의 눈을 촬영하는 촬영부(110)의 위치는 사용자의 시선 추적 계산에 이용되는 파라미터이다. 따라서, 촬영부(110)가 이동하는 경우, 촬영부(110)가 이동한 위치를 사용자의 시선 추적 계산에 고려하지 않으면, 시선 추적의 정확도가 낮아지게 된다. 따라서, 일 실시예에 따른 뷰 파인더 장치(100)는 촬영부(110)가 이동한 위치를 검출하고, 검출된 촬영부(110)의 위치를 이용하여, 사용자의 시선을 추적함으로써, 시선 추적의 정확도를 향상시킬 수 있다.
한편, 도 2의 (a) 및 (b)에서는 도 1의 (a)의 뷰 파인더(130a)에 대해서 도시하고 설명하였지만, 도 2의 (a) 및 (b)에 도시된 뷰 파인더(130a)는 도 1의 (b)의 뷰 파인더(130b)에도 동일하게 적용될 수 있다.
도 3 은 일 실시예에 따른 뷰 파인더 장치의 구성을 나타내는 블록도이다.
도 3을 참조하면, 뷰 파인더 장치(100)는 촬영부(110), 제어부(120) 및 디스플레이부(140)를 포함할 수 있다.
촬영부(110)는 도 2의 (b)에서 설명한 바와 같이, 적어도 하나의 카메라를 포함할 수 있으며, 적외선(IR) 카메라를 포함할 수 있다. 또한, 촬영부(110)는 광학계(133)가 이동하는 경우, 동일한 방향으로 같이 이동할 수 있다. 한편, 촬영부(110)는 윈도우를 통하여 사용자의 눈을 촬영할 수 있다. 예를 들어, 촬영부(110)는 촬영부(110)가 이동하기 전에 사용자의 눈을 촬영하여 제1 영상을 획득하고, 이동한 후에 사용자의 눈을 촬영하여 제2 영상을 획득할 수 있다. 이때, 제1 영상 및 제2 영상은 윈도우에 표시된 기준 마크를 포함할 수 있다.
제어부(120)는 제1 영상에 포함되는 기준 마크의 위치와 제2 영상에 포함되는 기준 마크의 위치에 기초하여 촬영부(110)가 이동한 위치를 검출할 수 있다. 예를 들어, 일 실시예에 따른 기준 마크는 제1 기준 마크 및 제2 기준 마크를 포함할 수 있으며, 제어부(120)는 제1 영상 내의 제1 기준 마크와 제2 기준 마크 사이의 제1 거리와 제2 영상 내의 제1 기준 마크와 제2 기준 마크 사이의 제2 거리에 기초하여 촬영부(110)가 이동한 위치를 검출할 수 있다. 이에 대해서는 도 6내지 도 9를 참조하여 자세히 설명하기로 한다.
또한, 제어부(120)는 촬영부의 이동에 따른 공차 발생 여부를 판단할 수 있다. 예를 들어, 촬영부(110)를 광축(z축)을 따라 이동시키는 경우, 실제로는 정확하게 광축(z축) 방향으로만 이동하지 않고, x축, y축 방향으로의 이동이 발생할 수 있다. 이에 따라, x축, y축 방향으로 공차가 발생할 수 있다. 제어부(120)는 제1 영상 내에서의 기준마크의 위치와 제2 영상 내에서의 기준마크의 위치에 기초하여, x축, y축 방향으로 공차가 발생했는지 여부를 판단하고, 발생한 공차를 계산할 수 있다. 이에 대해서는 도 10을 참조하여 자세히 설명하기로 한다.
디스플레이부(140)는 적어도 하나의 객체를 표시할 수 있다. 디스플레이부(140)는 촬영의 대상이 되는 피사체의 구도와 촬영 조건을 확인할 수 있도록 뷰 파인더 영상을 표시하거나, 가상 현실 영상을 표시할 수 있다.
또한, 디스플레이부(140)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다.
일 실시예에 따른 디스플레이부(140)는 사용자의 시선과 교차하는 영역(관심 영역)을 표시할 수 있다.
도 4는 일 실시예에 따른 뷰 파인더 장치(100a)의 구성을 나타내는 블록도이다. 일 실시예에 따른 뷰 파인더 장치(100a)는 촬영 장치로 구현될 수 있다. 도 4의 촬영 장치는 도 1의 (a)에 도시된 뷰 파인더 장치(100a)일 수 있다.
도 4를 참조하면, 뷰 파인더 장치(100a)는 촬영부(210), 이미지 신호 처리부(220), 아날로그 신호 처리부(221), 메모리(230), 저장/판독 제어부(240), 메모리 카드(242), 프로그램 저장부(250), 디스플레이 구동부(282), 제1 디스플레이부(284), 제어부(270), 조작부(280), 통신부(260) 및 뷰 파인더 모듈(290)을 포함할 수 있으며, 뷰 파인더 모듈(290)은 시선 추적 카메라(293) 및 제2 디스플레이부(295)를 포함할 수 있다.
도 4의 시선 추적 카메라(293)는 도 3의 촬영부(110)에 대응되고, 도 4의 제2 디스플레이부(295)는 도 3의 디스플레이부(140)에 대응되며, 도 4의 제어부(270)는 도 3의 제어부(120)에 대응되므로, 중복되는 설명은 생략하기로 한다.
뷰 파인더 장치(100a)의 전체 동작은 제어부(270)에 의해 제어될 수 있다. 제어부(270)는 렌즈 구동부(212), 조리개 구동부(215), 촬상 센서 제어부(219) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.
촬영부(210)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 렌즈(211), 렌즈 구동부(212), 조리개(213), 조리개 구동부(215), 촬상 센서(218), 및 촬상 센서 제어부(219)를 포함한다.
렌즈(211)는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈(211)는 렌즈 구동부(212)에 의해 그 위치가 조절된다. 렌즈 구동부(212)는 제어부(270)에서 제공된 제어 신호에 따라 렌즈(211)의 위치를 조절한다.
또한, 렌즈 구동부(211)는 렌즈의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다.
조리개(213)는 조리개 구동부(215)에 의해 그 개폐 정도가 조절되며, 촬상 센서(218)로 입사되는 광량을 조절한다.
렌즈(211) 및 조리개(213)를 투과한 광학 신호는 촬상 센서(218)의 수광면에 이르러 피사체의 상을 결상한다. 촬상 센서(218)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 촬상 센서(218)는 촬상 센서 제어부(219)에 의해 감도 등이 조절될 수 있다. 촬상 센서 제어부(219)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 센서(218)를 제어할 수 있다.
렌즈(211) 및 조리개(213)를 투과한 광학 신호는 촬상 센서(218)의 수광면에 이르러 피사체의 상을 결상한다. 촬상 센서(218)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지 센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 촬상 센서(218)는 촬상 센서 제어부(219)에 의해 감도 등이 조절될 수 있다. 촬상 센서 제어부(219)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 센서(218)를 제어할 수 있다.
아날로그 신호 처리부(221)는 촬상 센서(218)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
이미지 신호 처리부(220)는 아날로그 신호 처리부(221)에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부이다. 예를 들면, 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색 보정(color correction), 색 향상(color enhancement) 화이트 밸런스 조절, 휘도의 평활화 및 칼라 쉐이딩(color shading) 등의 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리를 수행할 수 있다. 이미지 신호 처리부(220)는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상의 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.
이미지 신호 처리부(220)는 촬상 센서(218)에서 생성된 촬상 신호로부터 동영상 파일을 생성할 수 있다. 상기 촬상 신호는 촬상 센서(218)에서 생성된 아날로그 신호 처리부(221)에 의해 처리된 신호일 수 있다. 이미지 신호 처리부(220)는 상기 촬상 신호로부터 동영상 파일에 포함될 프레임들을 생성하고, 상기 프레임들을 예를 들면, MPEG4(Moving Picture Experts Group 4), H.264/AVC, WMV(windows media video) 등의 표준에 따라 코딩되어, 동영상 압축된 후, 압축된 동영상을 이용하여 동영상 파일을 생성할 수 있다. 동영상 파일은 mpg, mp4, 3gpp, avi, asf, mov 등 다양한 형식으로 생성될 수 있다.
이미지 신호 처리부(220)로부터 출력된 이미지 데이터는 메모리(230)를 통하여 또는 직접 저장/판독 제어부(240)에 입력되는데, 저장/판독 제어부(240)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 메모리 카드(242)에 저장한다. 또한 저장/판독 제어부(240)는 메모리 카드(242)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(230)를 통해 또는 다른 경로를 통해 표시 구동부에 입력하여 제1 디스플레이부(284)에 이미지가 표시되도록 할 수도 있다. 메모리 카드(242)는 탈착 가능한 것일 수도 있고 뷰 파인더 장치(100a)에 영구 장착된 것일 수 있다. 예를 들면, 메모리 카드(242)는 SD(Secure Digital)카드 등의 플래시 메모리 카드 일 수 있다.
또한, 이미지 신호 처리부(220)는 입력된 영상 데이터에 대해 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, 이미지 신호 처리부(220)는 제1 디스플레이부(264)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
한편, 이미지 신호 처리부(220)에 의해 처리된 신호는 메모리(230)를 거쳐 제어부(270)에 입력될 수도 있고, 메모리(230)를 거치지 않고 제어부(270)에 입력될 수도 있다. 여기서 메모리(230)는 뷰 파인더 장치(100a)의 메인 메모리로서 동작하고, 이미지 신호 처리부(220) 또는 제어부(270)가 동작 중에 필요한 정보를 임시로 저장한다. 프로그램 저장부(250)는 뷰 파인더 장치(100a)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장할 수 있다.
뷰 파인더 장치(100a)는 뷰 파인더 장치(100a)의 동작 상태 또는 뷰 파인더 장치(100a)에서 촬영한 영상 정보를 표시하도록 제1 디스플레이부(284)를 포함한다. 제1 디스플레이부(284)는 시각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 제1 디스플레이부(284)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 제1 디스플레이부(284)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.
디스플레이 구동부(282)는 제1 디스플레이부(284)에 구동 신호를 제공한다.
제어부(270)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성 요소들을 제어할 수 있다. 제어부(270)는 하나 또는 복수개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
제어부(270)는 프로그램 저장부(230)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 조리개 구동부(215), 렌즈 구동부(212), 및 촬상 센서 제어부(219)에 제공하고, 셔터, 스트로보 등 뷰 파인더 장치(100a)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
또한 제어부(270)는 외부 모니터와 연결되어, 이미지 신호 처리부(220)로부터 입력된 영상 신호에 대해 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
조작부(280)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부(280)는 정해진 시간 동안 촬상 센서(218)를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 줌 버튼, 모드 선택 버튼, 기타 촬영 설정값 조절 버튼 등 다양한 기능 버튼들을 포함할 수 있다. 조작부(280)는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
통신부(260)는 네트워크 인터페이스 카드(NIC: Network Interface Card)나 모뎀 등을 포함하여 이루어 질 수 있으며, 뷰 파인더 장치(100a)가 외부 디바이스와 네트워크를 통해 유무선 방식으로 통신할 수 있도록 하는 역할을 수행할 수 있다.
도 5는 일 실시예에 따른 뷰 파인더 장치(100b)의 구성을 나타내는 블록도이다. 일 실시예에 따른 뷰 파인더 장치(100b)는 가상 현실 영상을 제공하는 헤드 마운트 디스플레이 장치로 구현될 수 있다. 도 5의 헤드 마운트 디스플레이 장치는 도 1의 (b)에 도시된 뷰 파인더 장치(100b)일 수 있다.
도 5를 참조하면, 뷰 파인더 장치(100b)는 오디오 입력부(310), 카메라(320), 시선 추적 카메라(325), 센서부(330), 통신부(335), 메모리(340), 오디오 출력부(355), 제어부(370), 디스플레이부(380), 전원 공급부(390), 구동부(393) 및 렌즈부(395)를 포함할 수 있다.
도 5의 시선 추적 카메라(325)는 도 3의 촬영부(110)에 대응되고, 도 5의 디스플레이부(380)는 도 3의 디스플레이부(140)에 대응되며, 도 5의 제어부(370)는 도 3의 제어부(120)에 대응되므로, 중복되는 설명은 생략하기로 한다.
오디오 입력부(310)는, 외부 사운드를 수신할 수 있다. 그리고, 오디오 입력부(310)는, 수신되는 외부 사운드를 제어부(370)로 전송할 수 있다.
카메라(320)는, 외부 환경의 영상을 촬영할 수 있다. 예를 들어, 카메라(320)는, 전원이 온 되면 외부 환경에 대한 영상을 촬영할 수 있다. 그리고, 카메라(320)는, 촬영된 영상을 제어부(370)로 전송할 수 있다.
센서부(330)는, 뷰 파인더 장치(100b)의 움직임 정보, 특히, 사용자 머리의 움직임 정보를 감지하고, 센싱 신호를 발생시킬 수 있다. 예를 들어, 센서부(330)는, 모션 센서(미도시), 근접센서(미도시), 압력센서(미도시) 등 중 적어도 하나를 포함할 수 있다.
모션 센서(미도시)는 가속도 센서, 자이로 센서 등을 이용하여 헤드 마운트 디스플레이 장치(100)의 위치나 움직임 등을 감지한다. 가속도 센서는, X축, Y축, Z축 방향에 대한 가속도 센서를 구비할 수 있다. 한편, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다. 근접센서(미도시)는 뷰 파인더 장치(100b)로 접근하는 물체나, 뷰 파인더 장치(100b)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있다. 압력센서(미도시)는 뷰 파인더 장치(100b)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 예를 들어, 사용자 손에 의한 압력을 감지할 수 있다.
통신부(335)는, 외부 장치와의 통신을 위한 인터페이스를 제공할 수 있다. 이를 위해, 통신부(335)는, 이동통신 모듈(미도시), 무선 인터넷 모듈(미도시), 근거리 통신 모듈(미도시), 및 GPS 모듈(미도시) 등 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선 인터넷 모듈(미도시)을 통해, WiFi 통신을 수행할 수 있으며, 근거리 통신 모듈(미도시)를 통해, NFC(Near Field Communication) 통신을 수행할 수 있다.
한편, 통신부(335)은, 이동 단말기(미도시) 또는 외부 서버(미도시)와, 데이터를 교환할 수 있다. 구체적으로, 통신 모듈(135)은, 이동 단말기로부터, 영상 컨텐츠 등 각종 데이터를 수신할 수 있다. 한편, 이동 단말기로, 뷰 파인더 장치(100b)의 상태 정보 등을 전송할 수도 있다. 또한, 통신부(335)는, 이동 단말기(미도시) 또는 외부 서버(미도시)로부터, 사용자의 시력 정보를 수신할 수도 있다.
메모리(340)는, 뷰 파인더 장치(100b) 내의 제어부(370)의 처리 또는 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 메모리(340)는, 외부 장치에서 수신되는 컨텐츠 데이터를 일시적으로 또는 일정 기간 동안 저장할 수 있다.
오디오 출력부(355)는, 오디오 신호를 출력할 수 있다. 예를 들어, 디스플레이부(380)에서 재생되는 컨텐츠의 오디오 신호를 출력할 수 있다. 한편, 오디오 출력부(355)는, 스피커를 구비할 수 있으며, 또는, 외부로 오디오 출력을 위한 오디오 출력 단자를 구비할 수도 있다.
제어부(370)는, 뷰 파인더 장치(100b) 내의 각 구성 요소의 전반적인 동작을 제어한다. 예를 들어, 제어부(370)는, 사용자 입력에 기초하여, 메모리(340)에 저장된 또는 통신부(335)를 통해 수신되는 영상 컨텐츠를 재생하여, 해당 비디오 신호와 오디오 신호를, 각각 디스플레이부(380)와 오디오 출력부(355)에 출력할 수 있다.
다른 예로, 제어부(370)는, 센서부(330)에서 감지되는, 뷰 파인더 장치(100b)의 움직임 정보, 특히, 사용자의 머리의 움직임 정보에 기초하여, 대응하는 동작을 수행하도록 제어할 수 있다.
한편, 뷰 파인더 장치(100b)는, 디스플레이부(380)에 표시되는 영상의 초점을 사용자의 시력에 맞출 수 있다. 예를 들어, 뷰 파인더 장치(100b)는 사용자의 눈과 렌즈부(395) 사이의 거리를 가변시킬 수 있다. 구동부(393)는, 렌즈부(395)를 이동시킴으로써, 사용자의 눈과 렌즈부(395) 사이의 거리를 가변시킬 수 있다. 이를 위해, 구동부(393)는, 스텝핑 모터 등과 같은, 렌즈부 이동 부재(미도시)를 포함할 수 있다. 이러한 모터의 동작에 의해, 사용자의 눈과 렌즈부(395) 사이의 거리가 가변될 수 있다.
일 실시예에 따른 시선 추적 카메라(325)는 사용자의 눈을 촬영하여, 사용자의 눈 영상을 획득할 수 있다. 또한, 시선 추적 카메라(325)는 렌즈부(395)의 이동에 따라 함께 이동할 수 있다.
디스플레이부(380)는, 텍스트 또는 이미지 등을 표시할 수 있다. 특히, 디스플레이부(380)는, 소정 영상을 표시할 수 있다. 디스플레이부(380)는, 메뉴 표시 모드에서, 사용자의 시선에 대응하는 영역에, 메뉴를 표시할 수 있다.
전원 공급부(390)는, 제어부(370)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.
한편, 도 3 내지 5에 도시된 뷰 파인더 장치(100, 100a, 100b)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 뷰 파인더 장치(100, 100a, 100b)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 6은 일 실시예에 따른 촬영부가 이동됨에 따라, 촬영부에 의해 촬영되는 피사체의 크기가 변경되는 일 예를 나타내는 도면이다.
도 6을 참조하면, 광학계(410)와 촬영부(420)는 광축(430)을 따라서 동일한 방향으로 이동될 수 있다. 예를 들어, 광학계(410)가 윈도우(401)와 멀어지는 방향으로 이동되면, 촬영부(420)도 윈도우(401)와 멀어지는 방향으로 이동될 수 있다. 반대로, 광학계(410)가 윈도우(401)와 가까워지는 방향으로 이동되면, 촬영부(420)도 윈도우(401)와 가까워지는 방향으로 이동될 수 있다.
이때, 촬영부(420)가 이동하는 경우, 촬영부(420)의 시야각(FOV: Field Of View)이 달라질 수 있다. 시야각은 촬영부(420)에 의해 피사체가 촬영되는 범위를 나타내는 것이다.
촬영부(420)가 윈도우(401)와 멀어지는 방향으로 이동하면, 시야각이 커지게 되고, 촬영되는 영상에 포함되는 피사체의 사이즈는 작아지게 된다. 반면에, 촬영부(420)가 윈도우(401)와 가까워지는 방향으로 이동하면, 시야각이 작아지게 되고, 촬영되는 영상에 포함되는 피사체의 사이즈는 커지게 된다.
예를 들어, 도 6의 (a)에 도시된 바와 같이, 촬영부(420)가 제1 지점(P1)에 위치하는 경우, 촬영 범위는 촬영부(420)의 중심을 기준으로 수직방향 및 수평방향으로 d1일 수 있으며, 피사체의 크기는 T일 수 있다. 이에 따라, 제1 지점(P1)에 위치하는 촬영부(420)에 의해 촬영된 제1 이미지(440)의 가로 크기가 W0, 세로 크기가 H0라면, 제1 이미지(440)에 포함되는 피사체의 가로 크기(w1)는 W0*T/d1, 세로 크기(h1)는 H0*T/d1일 수 있다.
또한, 도 6의 (b)에 도시된 바와 같이, 촬영부(420)가 제1 지점(P1)을 기준으로 윈도우(401)와 멀어지는 방향으로 이동하여, 제2 지점(P2)에 위치하는 경우 촬영부(420)의 시야각이 커지게 된다. 이에 따라, 촬영 범위는 수직 방향 및 수평 방향으로 d1보다 큰 d2일 수 있다. 이때, 촬영부(420)가 동일한 피사체를 촬영하면, 촬영된 제2 이미지(450)에 포함된 피사체의 가로 크기(w2)는 W0*T/d2, 세로 크기(h2)는 H0*T/d2일 수 있다.
또한, 도 6의 (c)에 도시된 바와 같이, 촬영부(420)가 제1 지점(P1)을 기준으로 윈도우(401)와 가까워지는 방향으로 이동하여, 제3 지점(P3)에 위치하는 경우 촬영부(420)의 시야각이 작아지게 된다. 이에 따라, 촬영 범위는 수직 방향 및 수평 방향으로 d1보다 작은 d3일 수 있다. 이때, 촬영부(420)가 동일한 피사체를 촬영하면, 촬영된 제3 이미지(460)에 포함된 피사체의 가로 크기(w3)는 W0*T/d3, 세로 크기(h3)는 H0*T/d3일 수 있다.
따라서, 일 실시예에 따른 뷰 파인더 장치(100)는 촬영부가 이동됨에 따라 촬영부에 의해 촬영된 영상에 포함되는 피사체의 사이즈가 변경되는 원리를 이용하여, 이동된 촬영부의 위치를 검출할 수 있다.
도 7및 도 8은 일 실시예에 따른 뷰 파인더 장치(100)가 이동한 촬영부의 위치를 검출하는 방법을 설명하기 위해 참조되는 도면들이다.
도 7을 참조하면, 일 실시예에 따른 윈도우(131)에는 기준 마크들(510, 520)이 표시될 수 있다. 예를 들어, 도 7에 도시된 윈도우(131)는 촬영부(110)에서 바라보는 방향의 윈도우를 나타낼 수 있다. 또한, 도 7에 도시된 바와 같이, 기준 마크들(510, 520)은 십자 모양을 가지는 제1 기준 마크(510) 및 제2 기준 마크(520)를 포함할 수 있다. 이때, 제1 기준 마크(510)는 윈도우(131)의 왼쪽 위의 모서리 부분에 표시되고, 제2 기준 마크(520)는 오른쪽 위의 모서리 부분에 표시될 수 있다. 그러나, 이에 한정하는 것은 아니며, 기준 마크들(510, 520)의 개수, 모양, 크기 및 위치는 다양하게 구현될 수 있다. 다만, 기준 마크들(510, 520)은 촬영부(110)가 윈도우(131)에서 최대로 가까워진 지점에서의 시야각(촬영 범위) 및 윈도우에서 최대로 멀어진 지점에서의 시야각(촬영 범위)내에 위치해야 한다.
또한, 일 실시예에 따른 기준 마크들(510, 520)은 적외선(IR) 물질로 형성될 수 있다. 예를 들어, 기준 마크들(510, 520)이 적외선 물질로 형성되는 경우, 사용자는 윈도우(131)에 표시된 기준 마크들(510, 520)을 인식할 수 없으며, 적외선 카메라를 포함하는 촬영부(110)만 기준마크들(510, 520)을 인식하여 촬영할 수 있다. 따라서, 사용자가 윈도우를 통하여, 뷰 파인더 영상을 보는 경우, 사용자의 눈에는 윈도우에 표시된 기준 마크들(510, 520)이 인식되지 않을 수 있다.
도 8의 (a)를 참조하면, 촬영부(110)가 제1 지점(P1)에 위치하는 경우, 촬영부(110)는 윈도우(131)를 통해 사용자의 눈을 촬영하여, 제1 영상(610)을 획득할 수 있다. 이때, 제1 지점(P1)에서 인식되는 전체 화면(615)의 너비는 W1일 수 있으며, 기준 마크들(제1 기준 마크(510) 및 제2 기준 마크(520)) 사이의 거리는 A일 수 있다. 그러나, 출력 영상의 크기는 촬영부(110)에 포함되는 이미지 센서의 픽셀에 따라 결정되며, 제1 영상(610)의 너비가 W0이면, 기준 마크들 사이의 거리(A1)는 W0*A/W1일 수 있다.
도 8의 (b)를 참조하면, 촬영부(110)가 제2 지점(P2)에 위치하는 경우, 촬영부(110)는 윈도우(131)를 통해 사용자의 눈을 촬영하여, 제2 영상(620)을 획득할 수 있다. 촬영부(110)가 제2 지점(P2)에 위치하는 경우, 제1 지점(P1)에 위치하는 경우보다 시야각(촬영 범위)이 커지게 되며, 이에 따라, 제2 지점(P2)에서 인식되는 전체 화면(625)의 너비는 W1보다 큰 W2일 수 있다. 전체 화면(625) 내에서 기준 마크들(제1 기준 마크(510) 및 제2 기준 마크(520)) 사이의 거리는 제1 지점(P1)에서와 동일하게 A이다. 또한, 제1 영상(610)을 획득한 이미지 센서와 동일한 이미지 센서를 이용하여 제2 영상(620)을 획득하므로, 제2 영상(620)의 너비는 제1 영상(610)의 너비와 동일한 W0이다. 이에 따라, 제2 영상(620) 내에서 기준 마크들 사이의 거리(A2)는 W0*A/W2일 수 있다.
촬영부(110)가 제1 지점(P1)에서 제2 지점(P2)으로 이동하면, 촬영부(110)의 시야각(촬영 범위)이 커지게 되고, 이에 따라, 촬영된 영상 내에서의 기준 마크들 사이의 상대적인 거리는 작아지므로 A2는 A1보다 작을 수 있다.
도 8의 (c)를 참조하면, 촬영부(110)가 제3 지점(P3)에 위치하는 경우, 촬영부(110)는 윈도우(131)를 통해 사용자의 눈을 촬영하여, 제3 영상(630)을 획득할 수 있다. 촬영부(110)가 제3 지점(P3)에 위치하는 경우, 제1 지점(P1)에 위치하는 경우보다 시야각(촬영 범위)이 작아지게 되며, 이에 따라, 제3 지점(P3)에서 인식되는 전체 화면(635)의 너비는 W1보다 작은 W3일 수 있다. 전체 화면(635) 내에서 기준 마크들(제1 기준 마크(510) 및 제2 기준 마크(520)) 사이의 거리는 제1 지점(P1)에서와 동일하게 A이다. 또한, 제1 영상(610)을 획득한 이미지 센서와 동일한 이미지 센서를 이용하여 제3 영상(630)을 획득하므로, 제3 영상(630)의 너비는 제1 영상(610)의 너비와 동일한 W0이다. 이에 따라, 제3 영상(630) 내에서 기준 마크들 사이의 거리(A3)는 W0*A/W3일 수 있다.
촬영부(110)가 제1 지점(P1)에서 제3 지점(P3)으로 이동하면, 촬영부의 시야각(촬영 범위)이 작아지게 되고, 이에 따라, 촬영된 영상 내에서의 기준 마크들 사이의 상대적인 거리는 작아지므로 A3은 A1보다 클 수 있다.
도 9는 일 실시예에 따른 촬영부의 위치, 시야각의 크기(촬영 범위), 및 기준 마크들 사이의 거리를 나타내는 도면이다.
도 9를 참조하면, 촬영부(110)와 윈도우 사이의 거리(L)와 촬영 범위의 크기(W)는 서로 비례하는 관계를 가진다. 예를 들어, 촬영부와 윈도우 사이의 거리가 증가할수록 촬영 범위의 크기도 증가한다. 도 9를 참조하면, W1/L1=W2/L2의 관계가 성립한다. 또한, 도 8에서 설명한 바와 같이, A1=W0*A/W1이고, A2=W0*A/W2이므로, L2=L1*A1/A2으로 표현될 수 있다.
일 실시예에 따른 뷰 파인더 장치(100)는 L1, A1 및 A2의 값을 이용하여, L2를 계산할 수 있다. 이때, 초기 위치(제1 지점(P1))에서의 윈도우와 촬영부 사이의 거리(L1)는 뷰 파인더 장치에 미리 저장되어 있을 수 있다. 또한, 뷰 파인더 장치(100)는 제1 영상(610)에서 A1(제1 영상 내에서 기준 마크들 사이의 거리) 및 제2 영상(620)에서 A2(제2 영상 내에서 기준 마크들 사이의 거리)를 측정할 수 있다.
이에 따라, 뷰 파인더 장치(100)는 제1 영상(기준 위치에서 촬영된 영상, 610) 및 제2 영상(620) 각각에서 기준 마크들 사이의 거리(A1, A2), 제1 지점(기준점, P1)에 위치하는 촬영부(110)와 윈도우(131) 사이의 거리(L1)에 기초하여, 제2 지점(P2)에 위치하는 촬영부(110)와 윈도우(131) 사이의 거리를 계산할 수 있다.
또한, 뷰 파인더 장치(100)는 동일한 방법으로 제1 영상(기준 위치에서 촬영된 영상, 610) 및 제3 영상(630) 각각에서 기준 마크들 사이의 거리(A1, A3), 제1 지점(기준점, P1)에 위치하는 촬영부(110)와 윈도우(131) 사이의 거리(L1)를 이용하여 제3 지점(P3)에 위치하는 촬영부(110)와 윈도우(131) 사이의 거리를 계산할 수 있다.
도 10은 일 실시예에 따른 촬영부가 이동하는 경우 발생하는 공차를 검출하는 방법을 설명하기 위해 참조되는 도면이다.
도 10을 참조하면, 일 실시예에 따른 촬영부(110)를 광축(z축)을 따라 이동시키는 경우, 촬영부(110)는 실제로는 정확하게 광축(z축) 방향만으로 이동하지 않고, x축, y축 방향으로의 이동이 발생할 수 있다. 이에 따라, x축, y축 방향으로 공차가 발생할 수 있다.
도 10을 참조하면, 촬영부(110)는 제1 지점(P1)에서 제1 영상(710)을 획득할 수 있으며, 제2 지점(P2)에서 제2 영상(720)을 획득할 수 있다. 촬영부(110)가 제1 지점(P1)에서 제2 지점(P2)으로 이동할 때, x축으로의 이동이 발생하지 않고, 광축(z축)만을 따라 정확하게 이동한다면, 제1 영상(710)에서 측정되는 D1(제1 영상의 수직 방향의 중심선(701)과 제1 기준 마크(731) 사이의 거리)과 제2 영상(720)에 측정되는 D2(제2 영상의 수직 방향의 중심선(702)과 제1 기준 마크(741) 사이의 거리)는 D2=D1*L1/L2의 관계가 성립한다.
다시, 도 10을 참조하면, D1=W0/2-C1이고, D2=W0/2-C2이므로, W0/2-C2=(W0/2-C1)*L1/L2로 표현될 수 있다. 따라서, 촬영부(110)가 제1 지점(P1)에서 제2 지점(P2)으로 이동할 때, x축으로의 이동이 발생하지 않고, 광축(z축)만을 따라 정확하게 이동한다면, 제1 영상(710)에서 측정된 C1과 제2 영상(720)에서 측정된 C2는 W0/2-C2=(W0/2-C1)*L1/L2의 관계가 성립해야 한다. L1/L2는 도 8 및 9에서 설명한 바와 같이, 제1 영상(710)내에서 기준 마크들 사이의 거리(A1) 및 제2 영상(720)내에서 기준 마크들 사이의 거리(A2)를 이용하여 계산될 수 있다.
뷰 파인더 장치(100)는 제1 영상(710)에서 측정된 C1과 제2 영상(720)에서 측정된 C2에 대해서 W0/2-C2=(W0/2-C1)*L1/L2의 관계가 성립하지 않으면, x축 방향으로 공차가 발생한 것으로 판단할 수 있다.
한편, 일 실시예에 따른 뷰 파인더 장치(100)는 x축 방향으로의 공차가 발생한 것으로 판단된 경우, x축 방향으로의 공차를 계산할 수 있다.
예를 들어, 촬영부(110)가 제1 지점(P1)에서 제2 지점(P2)으로 이동할 때, x축으로의 이동이 발생하지 않는다면, C2=W0/2-L1/L2*(W0/2-C1)이므로, x축 방향으로의 공차는 제2 영상에서 실제로 측정된 C2와 W0/2-L1/L2*(W0/2-C1)의 차이로 계산될 수 있다. 이때, C2가 W0/2-L1/L2*(W0/2-C1)보다 크다면, 촬영부가 x축의 양의 방향으로 이동한 것이며, C2가 W0/2-L1/L2*(W0/2-C1)보다 작다면, 촬영부가 x축의 음의 방향으로 이동한 것이다.
또한, 도 10을 참조하면, 촬영부(110)가 제1 지점(P1)에서 제2 지점(P2)으로 이동할 때, y축으로의 이동이 발생하지 않고, 광축(z축)만을 따라 정확하게 이동한다면, 제1 영상(710)에 측정되는 E1(제1 영상의 수직 방향의 중심선(701)과 제1 기준 마크(731) 사이의 거리)과 제2 영상(720)에 측정되는 E2(제2 영상의 수직 방향의 중심선(702)과 제1 기준 마크(741) 사이의 거리)는 E2=E1*L1/L2의 관계가 성립한다.
다시, 도 10을 참조하면, E1=H0/2-B1이고, E2=H0/2-B2이므로, H0/2-B2=(H0/2-B1)*L1/L2로 표현될 수 있다. 따라서, 촬영부(110)가 제1 지점(P1)에서 제2 지점(P2)으로 이동할 때, y축으로의 이동이 발생하지 않고, 광축(z축)만을 따라 정확하게 이동한다면, 제1 영상(710)에서 측정된 B1과 제2 영상(720)에서 측정된 B2는 H0/2-B2=(H0/2-B1)*L1/L2의 관계가 성립해야 한다. L1/L2는 도 8 및 9에서 설명한 바와 같이, 제1 영상(710)내에서 기준 마크들 사이의 거리(A1) 및 제2 영상(720)내에서 기준 마크들 사이의 거리(A2)를 이용하여 계산될 수 있다.
뷰 파인더 장치(100)는 제1 영상(710)에서 측정된 B1과 제2 영상(720)에서 측정된 B2에 대해서 H0/2-B2=(H0/2-B1)*L1/L2의 관계가 성립하지 않으면, y축 방향으로 공차가 발생한 것으로 판단할 수 있다.
한편, 일 실시예에 따른 뷰 파인더 장치(100)는 y축 방향으로의 공차가 발생한 것으로 판단된 경우, y축 방향으로의 공차를 계산할 수 있다.
예를 들어, 촬영부(110)가 제1 지점(P1)에서 제2 지점(P2)으로 이동할 때, y축으로의 이동이 발생하지 않는다면, B2=H0/2-L1/L2*(H0/2-B1)이므로, y축 방향으로의 공차는 제2 영상에서 측정된 B2와 H0/2-L1/L2*(H0/2-B1)의 차이로 계산될 수 있다. 이때, B2가 H0/2-L1/L2*(H0/2-B1)보다 크다면, 촬영부가 y축의 음의 방향으로 이동한 것이며, B2가 H0/2-L1/L2*(H0/2-B1)보다 작다면, 촬영부가 y축의 양의 방향으로 이동한 것이다.
도 11은 일 실시예에 따른 뷰 파인더 장치의 동작방법을 나타내는 흐름도이고, 도 12는 도 11의 840 단계(S840)를 구체적으로 나타내는 흐름도이다.
도 11을 참조하면, 뷰 파인더 장치(100)는 제1 지점에서, 기준마크가 표시된 윈도우를 통하여 사용자의 눈을 촬영하고 제1 영상을 획득할 수 있다(S810).
이때, 일 실시예에 따른 뷰 파인더 장치(100)는 적외선 발광 다이오드(IR LED)를 포함할 수 있으며, 적외선 발광 다이오드는 윈도우와 근접한 영역에 배치될 수 있다. 또한, 일 실시예에 따른 촬영부(110)는 적외선 카메라를 포함할 수 있다.
적외선 발광 다이오드는 촬영부(110)가 윈도우를 통하여 특정 피사체를 촬영할 때마다, 점등될 수 있다. 예를 들어, 촬영부(110)가 윈도우를 통하여 사용자의 눈을 촬영할 때 적외선 발광 다이오드가 점등되면, 사용자의 눈은 적외선을 감지하지 못하므로, 적외선 발광 다이오드가 점등되는 것을 인식하지 못하나, 촬영부(110)는 적외선 발광 다이오드로부터 방출되는 적외선(IR)을 이용하여, 사용자의 눈을 촬영할 수 있다.
또한, 일 실시예에 따른 기준 마크는 적외선(IR) 물질로 형성될 수 있다. 적외선(IR) 물질은 적외선을 반사하는 물질로, 사용자의 눈에 의해서는 인식되지 않으나, 적외선 카메라에 의해 인식될 수 있는 물질을 의미한다. 이에 따라, 적외선 카메라를 포함하는 촬영부(110)에 의해 촬영된 제1 영상에는 기준 마크가 포함될 수 있다.
뷰 파인더 장치(100)는 촬영부(110)를 제1 지점에서 제2 지점으로 이동시킬 수 있다(S820).
일 실시예에 따른 뷰 파인더 장치(100)는 디스플레이부(140)에 표시되는 뷰 파인더 영상을 사용자의 시력에 맞추기 위하여 뷰 파인더 내부의 광학계를 광축 방향으로 이동시킬 수 있다.
일 실시예에 따른 촬영부(110)는 광학계에 포함될 수 있으며, 광학계가 이동하는 방향과 동일한 방향으로 이동하게 된다. 따라서, 광학계를 광축 방향으로 이동시키면, 제1 지점에 위치하던 촬영부(110)도 광축을 따라 제2 지점으로 이동되게 된다.
뷰 파인더 장치(100)는 이동된 제2 지점에서, 기준마크가 표시된 윈도우를 통하여 사용자의 눈을 촬영하고 제2 영상을 획득할 수 있다(S830).
뷰 파인더 장치(100)는 제1 영상에 포함되는 기준 마크의 위치와 제2 영상에 포함되는 기준 마크의 위치에 기초하여, 이동한 촬영부의 위치를 검출할 수 있다(S840).
840 단계(S840)는 도 12를 참조하여 자세히 설명하기로 한다.
도 12를 참조하면, 뷰 파인더 장치(100)는 제1 영상 내에서의 기준 마크들 사이의 제1 거리를 측정할 수 있다(S910).
제1 영상은 도 11의 810 단계(S810)에서 제1 지점에 위치한 촬영부(110)에 의해 촬영된 영상이다. 예를 들어, 윈도우에 표시되는 기준 마크는 제1 기준마크 및 제2 기준마크를 포함할 수 있으며, 촬영된 제1 영상은 제1 기준마크 및 제2 기준마크를 포함할 수 있다. 뷰 파인더 장치(100)는 제1 영상 내의 제1 기준마크와 제2 기준마크 사이의 제1 거리를 측정할 수 있다.
뷰 파인더 장치(100)는 제2 영상 내에서의 기준 마크들 사이의 제2 거리를 측정할 수 있다(S920).
제2 영상은 도 11의 830단계(S830)에서 제2 지점에 위치한 촬영부(110)에 의해 촬영된 영상이다. 촬영된 제2 영상은 제1 기준마크 및 제2 기준마크를 포함할 수 있으며, 뷰 파인더 장치(100)는 제2 영상 내의 제1 기준 마크와 제2 기준마크 사이의 제2 거리를 측정할 수 있다.
일 실시예에 따른 뷰 파인더 장치(100)는 제1 지점의 위치(예를 들어, 제1 지점과 윈도우 사이의 거리), 제1 영상 내에서 측정된 제1 거리 및 제2 영상 내에서 측정된 제2 거리에 기초하여 제2 지점의 위치(예를 들어, 제2 지점과 윈도우 사이의 거리)를 계산할 수 있다(S930).
일 실시예에 따른 뷰 파인더 장치(100)는 촬영부의 이동에 따라 공차가 발생하였는지를 판단할 수 있다(S940).
예를 들어, 촬영부를 광축(z축)을 따라 이동시키는 경우, 실제로는 정확하게 광축(z축) 방향으로만 이동하지 않고, x축, y축 방향으로의 이동이 발생할 수 있다. 이에 따라, x축, y축 방향으로 공차가 발생할 수 있다.
뷰 파인더 장치(100)는 제1 영상 내에서의 기준마크의 위치와 제2 영상 내에서의 기준마크의 위치에 기초하여, x축, y축 방향으로 공차가 발생했는지 여부를 판단할 수 있다. 예를 들어, 도 10에서 설명한 바와 같이, 뷰 파인더 장치(100)는 제1 영상에서 측정된 C1과 제2 영상에서 측정된 C2에 대해서 W0/2-C2=(W0/2-C1)*L1/L2의 관계가 성립하지 않으면, x축 방향으로 공차가 발생한 것으로 판단할 수 있다.
또한, 뷰 파인더 장치(100)는 제1 영상에서 측정된 B1과 제2 영상에서 측정된 B2에 대해서 H0/2-B2=(H0/2-B1)*L1/L2의 관계가 성립하지 않으면, x축 방향으로 공차가 발생한 것으로 판단할 수 있다.
뷰 파인더 장치(100)는 x축 및 y축 중 적어도 하나의 방향으로 공차가 발생한 경우, 공차를 계산할 수 있다(S960).
예를 들어, 도 10에서 설명한 바와 같이, x축 방향으로의 공차는 제2 영상에서 실제로 측정된 C2와 W0/2-L1/L2*(W0/2-C1)의 차이로 계산될 수 있다. 또한, y축 방향으로의 공차는 제2 영상에서 측정된 B2와 H0/2-L1/L2*(H0/2-B1)의 차이로 계산될 수 있다.
다시 도 11을 참조하면, 뷰 파인더 장치(100)는 촬영부의 위치(촬영부와 윈도우 사이의 거리, 발생한 공차)를 이용하여, 사용자의 시선을 추적하고, 사용자의 시선과 교차하는 디스플레이부의 영역을 관심영역으로 설정할 수 있다(S850).
일 실시예에 따른 뷰 파인더 장치(100)는 사용자의 눈을 촬영할 때 광을 제공하는 조명부(예를 들어, IR LED)의 위치, 촬영부의 위치(윈도우와 촬영부 사이의 거리)에 기초하여 촬영된 사용자의 눈 영상을 분석하여 사용자의 시선(예를 들어, 눈의 광축)을 추적할 수 있다. 뷰 파인더 장치(100)는 촬영부가 이동하는 경우, 촬영부의 위치(윈도우와 촬영부 사이의 거리)가 변경되기 때문에 사용자의 시선 추적의 정확도를 높이기 위해서는 촬영부의 이동한 위치를 고려한 파라미터로 사용자의 시선을 추적해야 한다.
일 실시예에 따른 뷰 파인더 장치(100)는 광축 방향으로의 촬영부가 이동한 위치, 촬영부의 이동으로 발생되는 x축, y축 방향으로의 공차들을 고려하여, 사용자의 시선을 추적할 수 있다. 또한, 추적된 사용자의 시선과 교차하는 디스플레이부의 영역을 검출하여, 검출된 영역을 사용자가 바라보는 관심 영역으로 설정할 수 있다.
일 실시예에 따른 뷰 파인더 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 기준 마크가 표시된 윈도우;
    상기 윈도우를 통하여 사용자의 눈을 촬영하는 촬영부; 및
    상기 촬영부가 이동하기 전에 상기 촬영부에 의해 촬영된 제1 영상에 포함되는 상기 기준 마크의 위치와, 상기 촬영부가 이동한 후에 상기 촬영부에 의해 촬영된 제2 영상에 포함되는 상기 기준 마크의 위치에 기초하여, 상기 이동한 촬영부의 위치를 검출하는 제어부;를 포함하고,
    상기 제어부는,
    상기 이동한 촬영부의 위치를 이용하여, 상기 사용자의 시선을 추적하는 뷰 파인더 장치.
  2. 제1항에 있어서,
    상기 뷰 파인더 장치는,
    적어도 하나의 객체가 표시되는 디스플레이부;를 더 포함하고,
    상기 추적된 사용자의 시선과 교차하는 상기 디스플레이부의 영역을 관심영역으로 설정하는 뷰 파인더 장치.
  3. 제2항에 있어서,
    상기 디스플레이부는
    상기 뷰 파인더 장치를 이용하여 촬영할 피사체의 구도와 촬영 조건을 확인할 수 있는 뷰 파인더 영상을 표시하는 뷰 파인더 장치.
  4. 제2항에 있어서,
    상기 뷰 파인더 장치는
    상기 윈도우를 통해 입사되는 광의 반사나 굴절을 이용하여 상기 디스플레이부에 표시되는 영상을 상기 사용자에게 제공하며 광축(optical axis)을 따라 이동하는 광학계를 더 포함하고,
    상기 촬영부는,
    상기 광학계와 동일한 방향으로 이동되는 뷰 파인더 장치.
  5. 제1항에 있어서,
    상기 기준 마크는,
    제1 기준 마크 및 제2 기준 마크를 포함하고,
    상기 제어부는,
    상기 제1 영상에 포함되는 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 제1 거리, 및 상기 제 2 영상에 포함되는 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 제2 거리에 기초하여 상기 이동한 촬영부의 위치를 검출하는 뷰 파인더 장치.
  6. 제5항에 있어서,
    상기 뷰 파인더 장치는,
    상기 이동하기 전의 촬영부와 상기 윈도우 사이의 거리를 저장하는 저장부를 더 포함하는 뷰 파인더 장치.
  7. 제5항에 있어서,
    상기 윈도우와 상기 촬영부 사이의 거리가 멀어질수록 상기 제1 기준 마크과 상기 제2 기준 마크 사이의 거리는 가까워지고, 상기 윈도우와 상기 촬영 부 사이의 거리가 가까워질수록 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 거리는 멀어지는 뷰 파인더 장치.
  8. 제5항에 있어서,
    상기 윈도우와 상기 촬영부 사이의 거리와, 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 거리는 반비례 관계인 뷰 파인더 장치.
  9. 제1항에 있어서,
    상기 제어부는
    상기 제1 영상에 포함되는 상기 기준 마크의 위치와 상기 제2 영상에 포함되는 상기 기준 마크의 위치에 기초하여 상기 촬영부의 이동에 의해 발생한 공차를 계산하고, 상기 계산된 공차를 이용하여 상기 사용자의 시선을 추적하는 뷰 파인더 장치.
  10. 제1항에 있어서,
    상기 촬영부는,
    적외선 카메라를 포함하고,
    상기 기준마크는,
    적외선을 반사하는 물질로 형성되는 뷰 파인더 장치.
  11. 기준 마크가 표시된 윈도우를 통하여 사용자의 눈을 촬영하여, 제1 영상을 획득하는 단계;
    상기 사용자의 눈을 촬영하는 촬영부를 이동시키는 단계;
    상기 이동한 촬영부에 의해, 상기 윈도우를 통하여 상기 사용자의 눈을 촬영하여 제2 영상을 획득하는 단계;
    상기 제1 영상에 포함되는 상기 기준 마크의 위치와 상기 제2 영상에 포함되는 상기 기준 마크의 위치에 기초하여, 상기 이동한 촬영부의 위치를 검출하는 단계; 및
    상기 이동한 촬영부의 위치를 이용하여, 상기 사용자의 시선을 추적하는 단계를 포함하는 뷰 파인더 장치의 동작방법.
  12. 제11항에 있어서,
    상기 뷰 파인더 장치의 동작방법은,
    적어도 하나의 객체를 디스플레이부에 표시하는 단계; 및
    상기 추적된 사용자의 시선과 교차하는 상기 디스플레이부의 영역을 관심영역으로 설정하는 단계를 더 포함하는 뷰 파인더 장치의 동작방법.
  13. 제12항에 있어서,
    상기 적어도 하나의 객체를 디스플레이부에 표시하는 단계는,
    상기 뷰 파인더 장치를 이용하여 촬영할 피사체의 구도와 촬영 조건을 확인할 수 있는 뷰 파인더 영상을 표시하는 단계를 포함하는 뷰 파인더 장치의 동작방법.
  14. 제12항에 있어서,
    상기 사용자의 눈을 촬영하는 촬영부를 이동시키는 단계는
    상기 촬영부를, 상기 윈도우를 통해 입사되는 광의 반사나 굴절을 이용하여 상기 디스플레이부에 표시되는 영상을 상기 사용자에게 제공하며 광축(optical axis)을 따라 이동하는 광학계와 동일한 방향으로 이동시키는 단계인 뷰 파인더 장치의 동작방법.
  15. 제11항에 있어서,
    상기 기준 마크는,
    제1 기준 마크 및 제2 기준 마크를 포함하고,
    상기 이동한 촬영부의 위치를 검출하는 단계는,
    상기 제1 영상에 포함되는 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 제1 거리, 및 상기 제 2 영상에 포함되는 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 제2 거리에 기초하여 상기 이동한 촬영부의 위치를 검출하는 단계를 포함하는 뷰 파인더 장치의 동작방법.
  16. 제15항에 있어서,
    상기 뷰 파인더 장치의 동작방법은,
    이동시키기 전의 상기 촬영부와 상기 윈도우 사이의 거리를 저장하는 단계를 더 포함하는 뷰 파인더 장치의 동작방법.
  17. 제15항에 있어서,
    상기 윈도우와 상기 촬영부 사이의 거리가 멀어질수록 상기 제1 기준 마크과 상기 제2 기준 마크 사이의 거리는 가까워지고, 상기 윈도우와 상기 촬영 부 사이의 거리가 가까워질수록 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 거리는 멀어지는 뷰 파인더 장치의 동작방법.
  18. 제15항에 있어서,
    상기 윈도우와 상기 촬영부 사이의 거리와, 상기 제1 기준 마크와 상기 제2 기준 마크 사이의 거리는 반비례 관계인 뷰 파인더 장치의 동작방법.
  19. 제11항에 있어서,
    상기 이동한 촬영부의 위치를 검출하는 단계는,
    상기 제1 영상에 포함되는 상기 기준 마크의 위치와 상기 제2 영상에 포함되는 상기 기준 마크의 위치에 기초하여 상기 촬영부의 이동에 의해 발생한 공차를 계산하는 단계를 포함하고,
    상기 사용자의 시선을 추적하는 단계는,
    상기 계산된 공차를 이용하여 상기 사용자의 시선을 추적하는 단계를 포함하는 뷰 파인더 장치의 동작방법.
  20. 제11항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150091390A 2015-06-26 2015-06-26 뷰 파인더 장치 및 그 동작 방법 KR102345652B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150091390A KR102345652B1 (ko) 2015-06-26 2015-06-26 뷰 파인더 장치 및 그 동작 방법
EP16814546.4A EP3314885B1 (en) 2015-06-26 2016-01-12 View finder apparatus and method of operating the same
PCT/KR2016/000272 WO2016208833A1 (en) 2015-06-26 2016-01-12 View finder apparatus and method of operating the same
CN201680037622.9A CN107852457B (zh) 2015-06-26 2016-01-12 取景器装置和操作该装置的方法
US14/995,468 US10248859B2 (en) 2015-06-26 2016-01-14 View finder apparatus and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150091390A KR102345652B1 (ko) 2015-06-26 2015-06-26 뷰 파인더 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20170001422A KR20170001422A (ko) 2017-01-04
KR102345652B1 true KR102345652B1 (ko) 2021-12-30

Family

ID=57585083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150091390A KR102345652B1 (ko) 2015-06-26 2015-06-26 뷰 파인더 장치 및 그 동작 방법

Country Status (5)

Country Link
US (1) US10248859B2 (ko)
EP (1) EP3314885B1 (ko)
KR (1) KR102345652B1 (ko)
CN (1) CN107852457B (ko)
WO (1) WO2016208833A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20155599A (fi) * 2015-08-21 2017-02-22 Konecranes Global Oy Nostolaitteen ohjaaminen
CN110658918B (zh) * 2019-09-25 2023-12-12 京东方科技集团股份有限公司 用于视频眼镜的眼球追踪相机的定位方法、设备及介质
CN114302054B (zh) * 2021-11-30 2023-06-20 歌尔科技有限公司 一种ar设备的拍照方法及其ar设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155339A1 (en) 2011-12-19 2013-06-20 Japan Display East Inc. Liquid crystal display device and method for manufacturing the same

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4287410A (en) * 1979-02-28 1981-09-01 Sri International Double Purkinje eye tracker
JPH05232373A (ja) * 1992-02-24 1993-09-10 Olympus Optical Co Ltd カメラの視線方向検出装置
JP3304408B2 (ja) * 1992-07-16 2002-07-22 キヤノン株式会社 視線検出装置および視線検出装置を有する機器
DE4330265B4 (de) 1992-09-07 2004-07-29 Canon K.K. Vorrichtung zum Erfassen der Sehachse eines Auges einer ein optisches Gerät bedienenden Person
US5797046A (en) 1994-03-23 1998-08-18 Canon Kabushiki Kaisha Visual axis controllable optical apparatus including a visual axis detecting device for detecting a visual axis
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
GB9823977D0 (en) * 1998-11-02 1998-12-30 Scient Generics Ltd Eye tracking method and apparatus
DE10254369A1 (de) * 2002-11-21 2004-06-03 Carl Zeiss Meditec Ag Ophthalmologisches Gerät mit Eye-Tracker-Einheit
JP5335615B2 (ja) * 2009-08-26 2013-11-06 キヤノン株式会社 焦点調節装置およびその制御方法
GB0920809D0 (en) * 2009-11-27 2010-01-13 Qinetiq Ltd Eye tracking apparatus
US20120022408A1 (en) * 2010-06-18 2012-01-26 Vantage Surgical Systems, Inc. Surgical Procedures Using Visual Images Overlaid with Visual Representations of Selected Three-Dimensional Data
WO2013047483A1 (ja) * 2011-09-30 2013-04-04 富士フイルム株式会社 撮影装置、撮影方法及びプログラム
US20130155309A1 (en) * 2011-12-20 2013-06-20 Research In Motion Limited Method and Apparatus for Controlling Camera Functions Using Facial Recognition and Eye Tracking
JP5736514B2 (ja) * 2012-07-24 2015-06-17 富士フイルム株式会社 カメラおよびその動作制御方法
US9244529B2 (en) 2013-01-27 2016-01-26 Dmitri Model Point-of-gaze estimation robust to head rotations and/or device rotations
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
CN103268188A (zh) * 2013-05-27 2013-08-28 华为终端有限公司 一种基于图片特征元素的设置方法、解锁方法和装置
KR20150032019A (ko) * 2013-09-17 2015-03-25 한국전자통신연구원 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치
US9525817B2 (en) * 2013-11-22 2016-12-20 Samsung Electro-Mechanics Co., Ltd. System and method of controlling imaging direction and angle of view of camera
KR20150067608A (ko) * 2013-12-10 2015-06-18 한국전자통신연구원 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155339A1 (en) 2011-12-19 2013-06-20 Japan Display East Inc. Liquid crystal display device and method for manufacturing the same

Also Published As

Publication number Publication date
US20160379051A1 (en) 2016-12-29
WO2016208833A1 (en) 2016-12-29
CN107852457A (zh) 2018-03-27
US10248859B2 (en) 2019-04-02
KR20170001422A (ko) 2017-01-04
CN107852457B (zh) 2020-07-03
EP3314885A4 (en) 2018-05-02
EP3314885B1 (en) 2021-12-29
EP3314885A1 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
JP7185434B2 (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
KR102336447B1 (ko) 촬영 장치 및 그 동작 방법
US20160191788A1 (en) Image processing apparatus and image pickup apparatus
US20080181460A1 (en) Imaging apparatus and imaging method
KR20170011362A (ko) 영상 처리 장치 및 그 방법
KR20170059704A (ko) 촬영 장치 및 그 동작 방법
KR20100048600A (ko) 인물 구도 제안 영상 촬영 장치 및 방법
KR102352682B1 (ko) 디지털 촬영 장치 및 그 동작 방법
JP2013070164A (ja) 撮像装置及び撮像方法
US11450131B2 (en) Electronic device
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
KR20150078275A (ko) 움직이는 피사체 촬영 장치 및 방법
KR102345652B1 (ko) 뷰 파인더 장치 및 그 동작 방법
JP2013183185A (ja) 撮像装置、撮影制御方法及びプログラム
US20210258472A1 (en) Electronic device
US10284782B2 (en) Image stabilization apparatus, control method thereof, and image capture apparatus
US20130293682A1 (en) Image capture device, image capture method, and program
KR20170006748A (ko) 촬영 장치 및 그 동작 방법
JPWO2019065820A1 (ja) 撮影装置とその制御方法および制御プログラム
US20150195456A1 (en) Optimized Image Stabilization
JP2015080169A (ja) 撮像装置及びその制御方法
JP2021125867A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、およびプログラム
US11962893B2 (en) Image system and method for controlling imaging system
JP2013135448A (ja) 撮像装置
US11665438B2 (en) Electronic device capable of acquiring line-of-sight information

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant