KR20210137831A - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20210137831A
KR20210137831A KR1020200056155A KR20200056155A KR20210137831A KR 20210137831 A KR20210137831 A KR 20210137831A KR 1020200056155 A KR1020200056155 A KR 1020200056155A KR 20200056155 A KR20200056155 A KR 20200056155A KR 20210137831 A KR20210137831 A KR 20210137831A
Authority
KR
South Korea
Prior art keywords
electronic device
user
information
gaze
camera module
Prior art date
Application number
KR1020200056155A
Other languages
English (en)
Inventor
유병욱
이건일
이원우
정지원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200056155A priority Critical patent/KR20210137831A/ko
Priority to PCT/KR2021/005627 priority patent/WO2021230559A1/ko
Publication of KR20210137831A publication Critical patent/KR20210137831A/ko
Priority to US17/985,613 priority patent/US20230060453A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H04N5/23267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23219—
    • H04N5/23258—
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 그 동작 방법이 제공된다. 전자 장치는, 촬영 방향의 변경이 가능한 카메라 모듈, 사용자에 의해 착용된 전자 장치의 움직임 정보를 획득하는 움직임 센서, 사용자 눈의 시선 정보를 획득하는 시선 추적 센서, 하나 이상의 인스트럭션을 저장하는 메모리, 및 하나 이상의 인스터럭션을 실행하는 프로세서를 포함하고, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 시선 정보에 기초하여 촬영 방향을 결정하고, 움직임 정보에 기초하여, 흔들림 없이 촬영된 영상을 획득하기 위해 카메라 모듈의 촬영 방향을 변경하기 위한 촬영 제어 정보를 결정하고, 결정된 촬영 제어 정보에 기초하여 카메라 모듈의 촬영 방향을 변경하도록 제어하고, 변경된 촬영 방향에 기초하여 카메라 모듈에 의해 촬영된 영상을 획득하는 프로세서를 포함할 수 있다.

Description

전자 장치 및 그 동작 방법{ELECTRONIC APPARATUS AND OPERAINTG METHOD THEREOF}
다양한 실시 예들은, 전자 장치에 내장된 카메라 모듈을 이용하여 흔들림 없이 영상을 촬영하기 위한 전자 장치 및 그 동작 방법에 관한 것이다.
최근 기술의 발전에 따라, 신체에 착용 가능한 다양한 형태의 전자 장치가 개발되고 있다. 증강 현실 장치는 사용자의 안면부나 두부에 착용된 상태에서 사용자의 눈앞에 배치되는 시스루(see-through) 형태의 디스플레이 모듈을 통해 현실 장면(real scene)과 가상 이미지를 함께 볼 수 있게 한다. 증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 투영시켜 하나의 이미지로 보여주는 기술이다.
증강 현실 장치에 내장된 카메라 모듈은 사용자가 바라보는 현실 장면(real scene)을 촬영할 수 있는데, 사용자의 안면부나 두부에 착용된 상태에서 촬영을 하기 때문에 흔들림 없이 영상을 촬영하기 위한 방법에 대한 연구가 요구되고 있다.
전자 장치에 내장된 카메라 모듈을 이용하여 흔들림 없이 영상을 촬영하기 위한 전자 장치 및 그 동작 방법을 제공하는 데 있다.
또한, 사용자 눈의 시선 방향에 따라 영상을 촬영하기 위한 전자 장치 및 그 동작 방법을 제공하는 데 있다.
해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따른 전자 장치는, 촬영 방향의 변경이 가능한 카메라 모듈, 사용자에 의해 착용된 전자 장치의 움직임 정보를 획득하는 움직임 센서, 사용자 눈의 시선 정보를 획득하는 시선 추적 센서, 하나 이상의 인스트럭션을 저장하는 메모리, 및 하나 이상의 인스터럭션을 실행하는 프로세서를 포함하고, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 시선 정보에 기초하여 촬영 방향을 결정하고, 움직임 정보에 기초하여, 흔들림 없이 촬영된 영상을 획득하기 위해 카메라 모듈의 촬영 방향을 변경하기 위한 촬영 제어 정보를 결정하고, 결정된 촬영 제어 정보에 기초하여 카메라 모듈의 촬영 방향을 변경하도록 제어하고, 변경된 촬영 방향에 기초하여 카메라 모듈에 의해 촬영된 영상을 획득하는 프로세서를 포함할 수 있다.
다른 측면에 따른 전자 장치의 동작 방법은, 사용자 눈의 시선 정보에 기초하여 카메라 모듈의 촬영 방향을 결정하는 단계, 사용자에 의해 착용된 전자 장치의 움직임 정보에 기초하여, 흔들림 없이 촬영된 영상을 획득하기 위해 카메라 모듈의 촬영 방향을 변경하기 위한 촬영 제어 정보를 결정하는 단계, 결정된 촬영 제어 정보에 기초하여, 카메라 모듈의 촬영 방향을 변경하도록 제어하는 단계, 및 변경된 촬영 방향에 기초하여 카메라 모듈에 의해 촬영된 영상을 획득하는 단계를 포함할 수 있다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
도 1은 일 실시 예를 개략적으로 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 전자 장치 내의 카메라 모듈이 회전하는 예를 설명하기 위한 도면이다.
도 4a는 일 실시 예에 따른 시선 정보를 획득하는 일 예를 설명하기 위한 도면이다.
도 4b는 일 실시 예에 따른 시선 정보를 획득하는 다른 일 예를 설명하기 위한 도면이다.
도 4c는 일 실시 예에 따른 시선 추적 센서의 캘리브레이션을 수행하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 카메라 모듈의 촬영 방향을 변경하는 동작을 설명하기 위한 흐름도이다.
도 6은 일 실시 예에 따른 촬영 방향의 제어를 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 안구 움직임 상태에 기초하여 촬영 방향을 제어하는 동작을 설명하기 위한 흐름도이다.
도 8a는 안구 움직임 상태에 따른 움직임 거리를 설명하기 위한 도면이다.
도 8b는 안구 움직임 상태에 따른 눈의 움직임 속도를 설명하기 위한 도면이다.
도 8c는 안구 움직임 상태에 따른 눈의 움직임 가속도를 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 안구 움직임 상태를 판단하는 방법을 설명하기 위한 흐름도이다.
도 10a는 일 실시 예에 따른 사용자의 시선 이동의 일 예를 설명하기 위한 도면이다.
도 10b는 일 실시 예에 따른 눈의 움직임 가속도에 기초하여 안구 움직임 상태를 판단하는 예를 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 안구 움직임 상태를 판단하는 방법을 설명하기 위한 흐름도이다.
도 12a는 일 실시 예에 따른 사용자의 시선 이동의 일 예를 설명하기 위한 도면이다.
도 12b는 일 실시 예에 따른 눈의 움직임 가속도에 기초하여 안구 움직임 상태를 판단하는 예를 설명하기 위한 도면이다.
도 12c는 일 실시 예에 따른 눈의 움직임 속도에 기초하여 안구 움직임 상태를 판단하는 예를 설명하기 위한 도면이다.
도 13은 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.
도 14는 일 실시 예에 따른 전자 장치와 외부 장치의 블록 구성도(block diagram)이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
본 개시에서, '증강 현실(AR : Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.
아울러, '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD : Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.
한편, '현실 장면(real scene)'이란 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)를 포함할 수 있다. 또한, '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
따라서, 일반적인 증강 현실 장치는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 도광판(Waveguide)을 구비한다. 전술한 바와 같이, 증강 현실 장치는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 도광판을 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.
또한, 일 실시 예에 따른 시선 정보는, 전자 장치(100)의 시선 추적 센서(160, 도 2)에 의해 획득되는 정보로서, 사용자 눈이 바라보는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 중 적어도 하나를 포함할 할 수 있다.
또한, 일 실시 예에 따른 움직임 정보는, 전자 장치(100)의 움직임 센서(150)에 의해 획득되는 정보로서, 전자 장치(100)가 움직이는 방향, 각도, 속도 또는 가속도 중 적어도 하나를 포함할 수 있다.
또한, 일 실시 예에 따른 촬영 제어 정보는, 카메라 모듈(175)의 촬영 방향을 변경하기 위한 정보로서, 카메라 모듈(175)을 회전시켜야 할 회전 방향, 회전 각도, 또는 회전 속도 중 적어도 하나에 관한 정보를 포함할 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1는 일 실시 예에 따른 전자 장치의 동작을 개략적으로 설명하기 위한 도면이다.
일 실시 예에 따른 전자 장치(100)는 증강 현실 장치(Augmented Reality Device)일 수 있다. 예를 들어, 도 1에 도시한 바와 같이, 전자 장치(100)는, 사용자의 안면부(顔面部)에 착용 가능한 안경 형상으로 구현된 장치일 수 있다. 또한, 전자 장치(100)는 사용자의 두부(頭部)에 착용 가능한 고글, 헬멧, 모자 등의 형상으로 구현된 장치일 수 있으며, 이에 한정되는 것은 아니다.
일 실시 예에 따라, 사용자에 의해 착용된 전자 장치(100)는 카메라 모듈(175)을 구동시켜 전자 장치(100)의 주변이 촬영된 영상을 획득할 수 있다.
일상 생활에서 전자 장치(100)를 착용한 사용자가 전자 장치(100)에 장착된 카메라 모듈(175)를 이용해 주변을 촬영하고자 할 때 안면부에 착용된 전자 장치(100)의 흔들림이 전혀 없이 고정된 상태를 유지하기는 쉽지 않을 것이다. 전자 장치(100)가 사용자의 안면부 또는 두부에 착용된 경우, 사용자 머리의 움직임에 따라 전자 장치(100)도 함께 움직이게 된다. 만약에 카메라 모듈(175)이 전자 장치(100)에 고정적으로 장착되어 있다면, 전자 장치(100)와 함께 카메라 모듈(175)도 움직이게 되면서 카메라 모듈(175)이 흔들리는 순간에 영상이 촬영될 수 있다. 이러한 경우, 화질이 저하되거나 초점이 맞지 않는 영상이 획득될 수 있다.
일 실시 예에 따르면, 전자 장치(100)의 카메라 모듈(175)은 카메라 모듈 (175)의 촬영 방향이 변경될 수 있도록 상하 또는 좌우뿐만 아니라 소정 각도의 방향으로 회전 가능한 구조로 전자 장치(100)의 일부 영역에 장착될 수 있다. 도 1에 도시된 바와 같이, 카메라 모듈(175)는 안경 형상으로 구현된 전자 장치(100)의 프레임 영역 중 좌안 렌즈부와 우안 렌즈부 사이의 영역에 내장된 형태로 장착될 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 따르면, 전자 장치(100)가 움직임을 감지하면, 전자 장치(100)의 움직임을 보상할 수 있도록 전자 장치(100)의 움직임 방향과 반대 방향으로 카메라 모듈(175)을 회전시킴으로써 촬영 방향을 변경할 수 있다. 이에 따라, 흔들림이 최소화된 영상이 획득될 수 있다.
도 1을 참조하면, 전자 장치(100)를 안면부에 착용한 사용자의 시선이 정면 방향(+Z 방향)을 향해 있을 때, 카메라(175)는 사용자의 시선 방향에 따라 전자 장치(100)의 전면 방향(+Z 방향)을 향해 촬영 가능한 각도 범위 내에서 전자 장치(100)의 주변을 촬영할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 전자 장치(100)의 움직임을 감지하면, 전자 장치(100)의 움직임과 반대 방향으로 카메라 모듈(175)을 회전시킴으로써 촬영 방향을 변경할 수 있다. 예를 들어, 사용자의 시선이 정면을 향한 상태에서 고개를 아래쪽으로 내리면, 전자 장치(100)는 전자 장치(100)가 X축을 중심으로 -Y 방향을 향해 회전하는 움직임(pitch)을 감지할 수 있다. 이 때, 전자 장치(100)는 카메라 모듈(175)을 X축을 중심으로 +Y 방향을 향해 회전하도록 제어함으로써 전자 장치(100)의 움직임과 반대 방향으로 카메라 모듈(175)을 회전시킬 수 있다. 이에 따라, 전자 장치(100)는 초점 흔들림이 없고 화질이 저하되지 않은 영상을 획득할 수 있다.
한편, 도 1에 도시된 바와 같이, 사용자가 전자 장치(100)를 착용한 상태에서, 3차원 공간 상에서 X축은 전자 장치(100)를 좌우로 지나는 기준 축이고, Y축은 전자 장치(100)를 상하로 지나는 기준 축이며, Z축은 전자 장치(100)를 전후로 지나는 기준 축일 수 있다. 또한, X축, Y축 및 Z축은 서로 수직을 이룰 수 있다.
예컨대, 사용자가 고개를 끄덕이는 동작을 하면, X축 중심의 회전 운동(Pitch)으로 설명할 수 있다. 또한, 예컨대, 사용자가 얼굴을 좌우로 돌리는 동작을 하면, Y축 중심의 회전 운동(Yaw)으로 설명할 수 있다. 또한, 예컨대, 사용자가 머리를 양 어깨 쪽으로 갸웃거리는 동작을 하면, Z축 중심의 회전 운동(Roll)으로 설명할 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)의 전면부에 장착된 카메라 모듈(175)은 X축 중심의 회전 운동(Pitch), Y축 중심의 회전 운동(Yaw) 또는 Z축 중심의 회전 운동(Roll)을 할 수 있다.
도 2는 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시 예에 따른 전자 장치(100)는 카메라 모듈(175), 시선 추적 센서(160), 움직임 센서(150), 메모리(130) 및 프로세서(120)를 포함할 수 있다. 전자 장치(100)의 프로세서(120)는, 메모리(130)에 저장된 프로그램들을 실행함으로써, 카메라 모듈(175), 시선 추적 센서(160), 움직임 센서(150) 등을 전반적으로 제어할 수 있다.
일 실시 예에 따른 카메라 모듈(175)은 전자 장치(100)의 주변을 촬영할 수 있다. 카메라 모듈(175)은 촬영 기능을 요구하는 애플리케이션이 실행되는 경우에 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 획득할 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
일 실시 예에 따른 카메라 모듈(175)은 촬영 방향을 변경할 수 있다. 카메라 모듈(175)은 패닝(panning) 또는 틸팅(tilting)됨으로써 촬영 방향을 변경할 수 있는 하드웨어 구조를 포함할 수 있다. 카메라 모듈(175)은 상하 또는 좌우뿐만 아니라 소정의 축을 기준으로 시계 또는 반시계 방향으로 회전할 수 있다.
일 실시 예에 따라, 카메라 모듈(175)은, 프로세서(120)의 제어에 의해 소정 방향으로 소정 각도 회전함으로써 촬영 방향을 변경하여 주변을 촬영할 수 있다. 또한, 카메라 모듈(175)은, 프로세서(120)의 제어에 의해 소정 방향으로 회전하면서 전자 장치(100)의 주변을 순차적으로 촬영할 수 있다.
일 실시 예에 따른 시선 추적 센서(160)는 사용자 눈의 시선 정보를 검출할 수 있다. 일 실시 예에 따라, 시선 정보는, 사용자 눈이 바라보는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 중 적어도 하나를 포함할 할 수 있다.
시선 추적 센서(160)는, 사용자의 눈(왼쪽 눈 또는 오른쪽 눈)에 광을 제공하고, 사용자의 눈으로부터 반사된 광량을 감지할 수 있다. 시선 추적 센서(160)는, 감지된 광량에 기초하여, 사용자의 눈의 시선 방향, 사용자 눈의 동공 위치, 동공의 중심점 좌표 등을 검출할 수 있다.
또는, 시선 추적 센서(160)는, 사용자의 눈에 광을 제공하고, 사용자의 눈을 촬영할 수 있다. 시선 추적 센서(160)는 촬영된 사용자의 눈 영상에 기초하여, 사용자의 눈의 시선 방향, 사용자 눈의 동공 위치, 동공의 중심점 좌표 등을 검출할 수 있다.
일 실시 예에 따라, 시선 추적 센서(160)는 미리 정해진 시간 간격으로 전자 장치(100)를 착용 중인 사용자의 눈을 센싱함으로써, 사용자의 시선 정보를 획득할 수 있다.
일 실시 예에 따른 움직임 센서(150)는 전자 장치(100)의 움직임을 감지함으로써 움직임 정보를 획득할 수 있다. 움직임 정보는, 전자 장치(100)가 움직이는 방향, 각도, 속도 또는 가속도 중 적어도 하나에 관한 정보를 포함할 수 있다.
움직임 센서(150)는 IMU(Inertial Measurement Unit)일 수 있다. IMU는, 3차원 공간에서의 물체의 움직임 즉, 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 조합일 수 있다. 예를 들어, 센서들의 조합은, 가속도계, 각속도계, 지자기계, 및 자이로스코프를 포함할 수 있다.
또한, 움직임 센서(150)는 가속도 센서(Acceleration sensor), 지자기 센서(Magnetic sensor), 또는 자이로스코프 센서 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따라, 움직임 센서(150)는 미리 정해진 시간 간격으로 전자 장치(100)의 움직임을 센싱함으로써, 움직임 정보를 획득할 수 있다.
일 실시 예에 따른 메모리(130)는 프로세서(120)에 의해 실행될 프로그램을 저장할 수 있고, 전자 장치(100)로 입력되거나 전자 장치(100)로부터 출력되는 데이터를 저장할 수 있다.
메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(130)에 저장된 프로그램들은 그 기능에 따라 복수 개의 소프트웨어 모듈들로 분류할 수 있는데, 예를 들어, 안구 움직임 판단 모듈(131), 촬영 방향 결정 모듈(132), 촬영 모듈(133)을 포함할 수 있으나, 이에 한정되는 것은 아니며, 이 중 일부를 저장하거나 다른 소프트웨어 모듈을 더 포함할 수 있다.
또한, 일 실시 예에 따라, 메모리(130)는 후술할 도 4c의 시선 추적 캘리브레이션 과정에서 사용자가 가상의 영상들(VI1, VI2, VI3, 도 4c)에 포함되는 각각의 점을 응시할 때, 시선 추적 센서(161)에서 출력되는 정보(시선 정보)들을 기준 시선 정보로서 테이블 형태로 저장할 수 있다. 프로세서(120)는 메모리(130)에 미리 저장된 시선 추적 캘리브레이션 과정에서 획득된 기준 시선 정보와 시선 추적 센서(160)로부터 획득된 시선 정보를 비교하여, 사용자가 바라보는 시선의 위치 또는 좌표(2차원 좌표(x,y)를 획득할 수 있다.
또한, 메모리(130)는 사용자의 눈이 특정 객체를 응시하고 있는 상태인지 여부를 판단하기 위한 기준이 되는 가속도 임계값을 저장할 수 있다. 프로세서(120)는 메모리(130)에 저장된 미리 정해진 가속도 임계값을 이용하여, 사용자가 특정 객체를 응시하고 있는 상태인지 여부를 판단할 수 있다.
또한, 메모리(130)는 안구의 고정(fixation) 상태 또는 추적(pursuit) 상태를 판단하기 위한 기준이 되는 속도 임계값을 저장할 수 있다. 프로세서(120)는 메모리(130)에 저장된 미리 정해진 속도 임계값을 이용하여, 사용자 안구 움직임 상태가 고정 상태 또는 추적 상태인지를 판단할 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(120)는, 메모리(130)에 저장된 명령어들이나 프로그램들을 실행함으로써, 카메라 모듈(175), 시선 추적 센서(160), 움직임 센서(150) 등을 전반적으로 제어할 수 있다.
프로세서(120)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
프로세서(120)는 메모리(130)에 저장된 안구 움직임 판단 모듈(131)을 실행함으로써, 사용자 눈의 안구 움직임 상태를 판단할 수 있다.
프로세서(120)는 메모리(130)에 미리 저장된 기준 시선 정보와 시선 추적 센서(160)로부터 획득된 시선 정보를 비교하여, 사용자가 바라보는 시선의 위치 또는 좌표(2차원 좌표(x, y))를 획득할 수 있다. 프로세서(120)는 획득된 시선의 위치 또는 좌표를 이용하여 안구 움직임 속도 및 가속도를 산출할 수 있다. 또한, 프로세서(120)는 안구 움직임 속도 및 가속도와 미리 정해진 속도 임계값 및 가속도 임계값 각각의 비교 결과에 기초하여, 사용자 눈의 안구 움직임 상태를 판단할 수 있다.
일 실시 예에 따라, 프로세서(120)는 안구 움직임 가속도가 미리 정해진 가속도 임계값을 초과함에 따라, 사용자의 눈이 특정 객체를 응시하고 있지 않은 상태로 결정할 수 있다.
일 실시 예에 따라, 사용자의 눈이 특정 객체를 응시하고 있지 않은 상태는, 안구의 도약(saccade) 상태를 포함할 수 있다. 도약(saccade) 상태는, 하나의 고정 위치에서 다른 고정 위치로 사용자 시선이 순간적으로 이동하는 빠른 시선 이동을 의미할 수 있다.
또한, 프로세서(120)는 안구 움직임 가속도가 가속도 임계값 이하임에 따라, 사용자의 눈이 특정 객체를 응시하고 있는 상태로 결정할 수 있다.
일 실시 예에 따라, 사용자의 눈이 특정 객체를 응시하고 있는 상태는, 안구의 고정(fixation) 상태 또는 안구의 추적(pursuit) 상태일 수 있다. 고정(fixation) 상태는, 사용자의 시선이 바라보는 대상을 향해 고정되었을 때, 소정 시간 구간 동안 눈동자가 특정 위치에 머무는 상태로서 매우 미세한 눈의 움직임이 발생하는 상태를 의미할 수 있다. 추적(pursuit) 상태는, 사용자 눈이 바라보는 대상의 움직임을 시선이 따라 갈 때의 눈의 움직임 상태를 의미할 수 있다.
일 실시 예에 따라, 프로세서(120)는 안구 움직임 가속도가 가속도 임계값 이하이고 안구 움직임 속도가 속도 임계값 이하이면, 안구의 고정(fixation) 상태로 결정할 수 있다. 또한, 프로세서(120)는 안구 움직임 가속도가 가속도 임계값 이하이고 안구 움직임 속도가 속도 임계값을 초과하면 안구의 추적(pursuit) 상태로 결정할 수 있다.
프로세서(120)는 메모리(130)에 저장된 촬영 방향 결정 모듈(132)을 실행함으로써, 카메라(175)의 촬영 방향을 결정할 수 있다.
일 실시 예에 따라, 프로세서(120)는 카메라 모듈(175)의 구동이 시작될 때, 시선 정보에 기초하여, 사용자가 바라보는 시선 방향을 향하도록 카메라(175)의 촬영 방향을 결정할 수 있다. 또는, 프로세서(120)는 카메라 모듈(175)의 구동이 시작될 때, 디폴트(default)로 설정된 촬영 방향에 기초하여, 카메라 모듈(175)의 촬영 방향을 결정할 수도 있다.
또한, 프로세서(120)는 촬영 방향 결정 모듈(132)을 실행함으로써, 흔들림 없이 촬영된 영상을 획득하기 위해 카메라 모듈(175)의 촬영 방향을 변경하기 위한 촬영 제어 정보를 결정할 수 있다. 촬영 제어 정보는, 카메라 모듈(175)을 회전시켜야 할 회전 방향, 회전 각도, 또는 회전 속도 중 적어도 하나에 관한 정보를 포함할 수 있다.
일 실시 예에 따라, 프로세서(120)는 전자 장치(100)의 움직임 정보에 기초하여, 전자 장치(100)가 움직이는 방향과 반대 방향으로 카메라 모듈(175)의 촬영 방향이 변경되도록 촬영 제어 정보를 결정할 수 있다.
또한, 일 실시 예에 따라, 프로세서(120)는 촬영 방향 결정 모듈(132)을 실행함으로써, 사용자의 안구 움직임 상태에 기초하여 촬영 제어 정보를 결정할 수 있다.
프로세서(120)는, 안구 움직임 판단 모듈(131)에 의해 사용자의 눈이 특정 객체를 응시하고 있는 상태로 결정함에 따라, 시선 정보와 전자 장치(100)의 움직임 정보에 기초하여 촬영 제어 정보를 결정할 수 있다.
한편, 프로세서(120)는, 안구 움직임 판단 모듈(131)에 의해 사용자의 눈이 특정 객체를 응시하고 있지 않은 상태로 결정함에 따라, 시선 정보는 고려하지 않고, 전자 장치(100)의 움직임 정보에 기초하여 촬영 제어 정보를 결정할 수 있다.
프로세서(120)는 메모리(130)에 저장된 촬영 모듈(133)을 실행함으로써, 카메라 모듈(175)을 통해 전자 장치(100)의 주변을 촬영할 수 있다.
프로세서(120)는 촬영 방향 결정 모듈(132)에 의해 결정된 촬영 방향에 기초하여, 전자 장치(100)의 주변을 촬영할 수 있다.
일 실시 예에 따라, 프로세서(120)는 촬영 제어 정보에 기초하여 카메라 모듈(175)의 촬영 방향을 변경하여 전자 장치(100)의 주변을 촬영할 수 있다. 또한, 프로세서(120)는 촬영 제어 정보에 기초하여, 카메라 모듈(175)의 촬영 방향을 소정 각도로 순차적으로 변경하면서 전자 장치(100)의 주변을 촬영할 수 있다.
도 3은 일 실시 예에 따른 전자 장치 내의 카메라 모듈이 회전하는 예를 설명하기 위한 도면이다.
도 3은 전자 장치(100)에 내장된 카메라 모듈(175)의 상단부(175a)와 측면부(175b)의 구조를 개략적으로 나타내기 위한 도면으로, 이에 제한되지 않는다.
도 3을 참조하면, 카메라 모듈(175)은 회전 중심(31)을 중심으로 소정 방향으로 소정 각도 패닝(panning) 또는 틸팅(tilting)될 수 있는 구조로 전자 장치(100)에 장착될 수 있다. 이에 따라, 카메라 모듈(175)은 회전 중심(31)을 중심으로 소정 방향으로 소정 각도 기울거나, 시계 또는 반시계 방향으로 회전할 수 있다.
일 실시 예에 따르면, 도 1에서 도시한 바와 같이, 카메라 모듈(175)이 전자 장치(100)의 전면부에 내장된 때, 사용자가 전자 장치(100)를 착용한 상태에서, 카메라 모듈(175)은 전자 장치(100)의 X축, Y축, 또는 Z축 중심으로 회전할 수 있다.
도 3의 카메라 모듈(175)은 일 예를 도시한 것으로 이에 한정되지 않으며, 카메라 모듈(175)은 촬영 방향의 변경을 위해 회전 가능한 구조로 전자 장치(100)에 장착될 수 있다.
도 4a는 일 실시 예에 따른 시선 정보를 획득하는 일 예를 설명하기 위한 도면이다.
도 4a는 사용자의 눈에서 반사되는 반사광의 광량에 기초하여, 사용자의 시선을 추적하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따라 전자 장치(100)는 한쪽 눈의 시선을 추적하기 위한 제1 시선 추적 센서(161)와 다른 한쪽 눈의 시선을 추적하기 위한 제2 시선 추적 센서(162)를 포함할 수 있다. 제1 시선 추적 센서(161) 및 제2 시선 추적 센서(162)는 동일한 구조를 가지며, 동일한 방식으로 동작하므로, 도 4a에서는, 제1 시선 추적 센서(161)를 기준으로 설명하기로 한다.
도 4a를 참조하면, 일 실시 예에 따른 제1 시선 추적 센서(161)는 사용자의 눈에 광을 제공하는 조명부(301)와 광을 감지하는 감지부(302)를 포함할 수 있다. 조명부(301)는 광을 제공하는 광원과 광원으로부터 제공되는 광의 방향을 제어하는 스캐닝 미러를 포함할 수 있다. 스캐닝 미러는, 광원으로부터 제공되는 광을 사용자의 눈(320)(예를 들어, 각막(310))을 향하도록 방향을 제어할 수 있다. 스캐닝 미러는 광원으로부터 제공되는 광을 반사시켜 사용자의 눈(320)을 향하도록 반사 각도를 기계적으로 변경할 수 있는 구조를 포함하며, 변경되는 반사 각도에 따라 광원으로부터 제공되는 광을 이용하여 각막(310)을 포함하는 영역을 스캔할 수 있다.
감지부(302)는 사용자의 눈(320)으로부터 반사되는 광을 감지할 수 있으며, 감지되는 광량을 측정할 수 있다. 예를 들어, 사용자의 각막(310)의 중심에서 광이 반사될 때, 감지부(302)에서 감지되는 광량이 최대일 수 있다. 이에 따라, 제1 시선 추적 센서(161)는, 감지부(302)에서 감지되는 광량이 최대인 경우에, 사용자의 눈에 광이 입사되고 반사되는 지점(330)에 기초하여, 사용자 눈의 시선 방향(340)을 결정할 수 있다. 예를 들어, 제1 시선 추적 센서(161)는 광량이 최대인 경우에, 사용자의 눈에 광이 입사되고 반사되는 지점(330)과 사용자의 눈(320)의 중심점을 연결한 방향(340)을 사용자의 눈(예를 들어, 사용자의 왼쪽 눈)의 시선 방향으로 결정할 수 있다.
또한, 제2 시선 추적 센서(162)도, 도 4a에서 설명한 방법과 동일한 방법으로, 사용자의 눈(예를 들어, 오른쪽 눈)의 시선 방향을 결정할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 제1 시선 추적 센서(161) 또는 제2 시선 추적 센서(162) 중 어느 하나로부터, 왼쪽 또는 오른쪽 눈의 시선 정보를 획득함으로써, 촬영 방향 또는 촬영 제어 정보를 결정하는데 이용할 수 있다.
도 4b는 일 실시 예에 따른 시선 정보를 획득하는 다른 일 예를 설명하기 위한 도면이다. 다른 일 실시 예에 따른 제1 시선 추적 센서(161)는, 조명부(351) 및 촬영부(352)를 포함할 수 있다.
도 4b는 사용자의 눈에서 반사되는 반사광의 위치에 기초하여, 사용자의 시선을 추적하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따른 조명부(351)는 적외선 발광 다이오드(IR LED)등을 포함할 수 있다. 도 4b에 도시된 바와 같이, 조명부(351)는 서로 다른 위치에 배치된 복수의 발광 다이오드를 포함할 수 있다. 조명부(351)는 사용자의 눈을 촬영할 때, 사용자의 눈에 광(예를 들어, 적외선 광)을 제공할 수 있다. 사용자의 눈에 광이 제공됨에 따라, 사용자의 눈에는 반사광이 생성될 수 있다.
또한, 촬영부(352)는 적어도 하나의 카메라를 포함할 수 있으며, 이때, 적어도 하나의 카메라는 적외선 카메라(IR)를 포함할 수 있다. 전자 장치(100)는, 촬영부(352)에서 촬영된 사용자의 눈 영상을 이용하여, 사용자의 눈(예를 들어, 사용자의 왼쪽 눈)의 시선을 추적할 수 있다. 예를 들어, 제1 시선 추적 센서(161)는, 사용자의 눈 영상에서 동공과 반사광을 검출함으로써, 사용자의 시선을 추적할 수 있다. 제1 시선 추적 센서(161)는, 사용자의 눈 영상에서 동공 및 반사광의 위치를 검출하고, 동공의 위치와, 반사광의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향을 결정할 수 있다.
예를 들어, 제1 시선 추적 센서(161)는, 촬영된 제1 눈 영상(361)에서, 동공(370) 및 반사광(381)을 검출하고, 동공(370)의 위치와 반사광(381)의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(391)을 결정할 수 있다. 동일한 방식으로, 제2 내지 제5 눈 영상들(362, 363, 364, 365) 각각에서 동공(370) 및 반사광(382, 383, 384, 385)을 검출하고, 동공의 위치와 반사광의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(392, 393, 394, 395)을 결정할 수 있다.
또한, 제2 시선 추적 센서(162)도, 도 4b에서 설명한 방법과 동일한 방법으로 사용자의 눈(예를 들어, 오른쪽 눈)의 시선 방향을 결정할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 제1 시선 추적 센서(161) 또는 제2 시선 추적 센서(162) 중 어느 하나로부터, 왼쪽 또는 오른쪽 눈의 시선 정보를 획득함으로써, 촬영 방향 또는 촬영 제어 정보를 결정하는데 이용할 수 있다.
도 4c는 일 실시 예에 따른 시선 추적 센서의 캘리브레이션을 수행하는 방법을 설명하기 위해 참조되는 도면이다.
사용자가 전자 장치(100)를 처음 사용할 때, 사용자의 왼쪽 눈과 오른쪽 눈의 시선을 정확하게 측정하기 위해 제1 시선 추적 센서(161) 및 제 2 시선 추적 센서(162)를 캘리브레이션(Calibration)하는 과정을 수행할 수 있다. 전자 장치(100)는 사용자의 시선을 유도하기 위한 복수의 점(일반적으로 9개)이 표시된 서로 다른 깊이(예를 들어, d1, d2, d3)를 가지는 가상의 영상들(VI1, VI2, VI3)을 출력하여, 복수의 점들 각각에 대해 사용자가 응시하는 것을 유도할 수 있다.
전자 장치(100)는, 사용자가 가상의 영상들(VI1, VI2, VI3)에 포함되는 각각의 점을 응시할 때, 시선 추적 센서(161)에서 출력되는 정보들을 기준 시선 정보로서 테이블 형태로 메모리(130)에 미리 저장할 수 있다.
전자 장치(100)의 프로세서(120)는, 메모리(130)에 미리 저장된 기준 시선 정보와 시선 추적 센서(161)에서 출력되는 시선 정보를 비교하여, 사용자가 바라보는 시선의 위치 또는 좌표(2차원 좌표 (x, y))를 결정할 수 있다. 프로세서(120)는, 제 1 시선 추적 센서(161)로부터 출력되는 시선 정보를 이용하여, 왼쪽 눈의 시선의 좌표를 결정할 수 있다. 또는, 프로세서(120)는, 제 2 시선 추적 센서(162)에서 출력되는 시선 정보를 이용하여 오른쪽 눈의 시선의 좌표를 결정할 수 있다.
일 실시 예에 따라, 전자 장치(100)의 프로세서(120)는 어느 한쪽 눈의 시선의 좌표를 이용하여, 안구 움직임 속도 및 가속도를 산출할 수 있다.
도 5는 일 실시 예에 따른 카메라 모듈의 촬영 방향을 변경하는 동작을 설명하기 위한 흐름도이다. 도 6은 일 실시 예에 따른 촬영 방향의 제어를 설명하기 위한 도면이다. 도 6은 도 5의 방법을 설명하기 위해 참조되는 도면이다.
도 5의 S501에서 전자 장치(100)는 시선 정보에 기초하여 촬영 방향을 결정할 수 있다.
일 실시 예에 따라, 전자 장치(100)의 프로세서(120)는 시선 추적 센서(160, 도1)로부터 시선 정보를 획득할 수 있다. 시선 정보는, 사용자 눈의 시선 방향, 동공의 위치, 또는 동공의 중심점 좌표 중 적어도 하나를 포함할 수 있다.
전자 장치(100)가 사용자의 안면부나 두부에 착용된 상태에서, 프로세서(120)는 시선 추적 센서(160)로부터 획득한 시선 정보에 기초하여, 카메라 모듈(175)이 사용자가 바라보는 현실 장면(real scene)을 촬영할 수 있도록 촬영 방향을 결정할 수 있다. 프로세서(120)는 카메라 모듈(175)의 구동이 시작될 때 사용자의 시선 방향을 향하도록 촬영 방향을 결정할 수 있다.
도 5의 S502에서 전자 장치(100)는 움직임 정보에 기초하여, 흔들림 없이 촬영된 영상을 획득하기 위해 카메라의 촬영 방향을 변경하기 위한 촬영 제어 정보를 결정할 수 있다.
전자 장치(100)는 움직임 센서(150, 도1)로부터 움직임 정보를 획득할 수 있다. 움직임 정보는, 전자 장치(100)가 움직이는 방향, 각도, 속도 또는 가속도 중 적어도 하나를 포함할 수 있다.
프로세서(120)는 움직임 센서(150)로부터 전자 장치(100)의 움직임 정보가 획득되면, 움직임 정보에 포함된 전자 장치(100)가 움직인 방향, 움직인 각도 등에 기초하여, 전자 장치(100)의 움직임을 보상할 수 있는 방향 및 각도 예컨대, 전자 장치(100)가 움직인 방향과 반대 방향으로 전자 장치(100)가 움직인 각도만큼 카메라 모듈(175)이 회전하도록 촬영 제어 정보를 결정할 수 있다. 일 실시 예에 따라, 촬영 제어 정보는, 카메라 모듈(175)을 회전시켜야 할 회전 방향, 회전 각도, 또는 회전 속도 중 적어도 하나에 관한 정보를 포함할 수 있다.
예를 들어, 프로세서(120)는, 전자 장치(10)가 Y축을 중심으로 ?X 방향을 향해 5 도 움직인 것으로 감지되면(도 1 참조), 카메라 모듈(75)을 회전시켜야 할 회전 방향과 회전 각도(예컨대, Y축 중심으로 +X 방향을 향해 5 도 회전)를 포함하는 촬영 제어 정보를 결정할 수 있다.
도 6을 참조하면, 전자 장치(100)가 전자 장치(100)의 움직임을 고려하여 카메라 모듈(175)의 회전을 제어할 때, 전자 장치(100)의 움직임 신호 값의 역의 값으로 카메라 모듈(175)을 회전시키기 위한 제어 신호를 결정할 수 있다. 예를 들어, P1, P3 시간 구간에서 전자 장치(100)의 움직임이 감지되지 않으면 카메라 모듈(175)을 회전 시키지 않고, P2, P4 시간 구간에서 전자 장치(100)의 움직임이 감지되면 움직임 신호 값의 역의 값으로 카메라 모듈(175)의 회전 제어 신호를 결정할 수 있다.
도 5의 S503에서 전자 장치(100)는 결정된 촬영 제어 정보에 기초하여 카메라 모듈의 촬영 방향을 변경하도록 제어할 수 있다. 프로세서(120)는 결정된 촬영 제어 정보에 포함된 회전 방향, 회전 각도에 따라 카메라 모듈(175)이 회전하도록 제어함으로써 촬영 방향을 변경할 수 있다.
도 5의 S504에서 전자 장치(100)는 변경된 촬영 방향에 기초하여 촬영된 영상을 획득할 수 있다. 프로세서(120)는 변경된 촬영 방향을 향하도록 회전한 카메라 모듈(175)을 통해 전자 장치(100) 주변을 촬영함으로써 영상(예를 들어, 정지 영상, 동영상 또는 파노라마 영상 등)을 획득할 수 있다.
일 실시 예에 따르면, 사용자의 안면부 또는 두부에 착용된 전자 장치(100)가 흔들리는 상황에서도, 전자 장치(10)는 카메라 모듈(175)을 회전시켜 촬영함으로써 흔들림이 최소화된 영상을 획득할 수 있다.
도 7은 일 실시 예에 따른 안구 움직임 상태에 기초하여 촬영 방향을 제어하는 동작을 설명하기 위한 흐름도이다.
도 7의 S701에서 전자 장치(100)는 사용자 눈의 시선 정보를 획득할 수 있다.
전자 장치(100)의 프로세서(120)는 시선 추적 센서(160)을 통해 사용자 눈의 시선 방향, 눈의 동공 위치 또는 동공의 중심점 좌표 중 적어도 하나를 포함하는 시선 정보를 획득할 수 있다.
도 7의 S702에서 전자 장치(100)는 시선 정보에 기초하여 안구 움직임 상태를 판단할 수 있다.
프로세서(120)는 안구 움직임 판단 모듈(131, 도2)을 실행함으로써, 시선 추적 센서(160)로부터 획득한 시선 정보를 이용하여 안구 움직임 상태를 판단할 수 있다.
일 실시 예에 따라, 안구 움직임 상태는, 사용자의 눈이 특정 객체를 응시하고 있는 상태 또는 사용자의 눈이 특정 객체를 응시하고 있지 않은 상태일 수 있다.
예를 들어, 눈이 특정 객체를 응시하고 있는 상태는, 사용자 눈이 바라보는 대상에 고정되어 매우 미세한 움직임만 발생하는 안구의 고정(fixation) 상태, 또는 사용자 눈이 바라보는 대상이 움직일 때 눈도 대상을 따라 움직이는 안구의 추적(pursuit) 상태일 수 있다. 또한, 눈이 특정 객체를 응시하고 있지 않은 상태는, 하나의 고정 위치에서 다른 고정 위치로 사용자 시선이 순간적으로 빠르게 이동하는 상태인 안구의 도약(saccade) 상태일 수 있다.
도 4c에서 설명한 바와 같이, 프로세서(120)는 메모리(130)에 미리 저장된 기준 시선 정보와 시선 추적 센서(160)로부터 획득된 시선 정보를 비교함으로써, 사용자가 바라보는 시선의 위치(2차원 좌표 (x,y))를 획득할 수 있다. 프로세서(120)는 소정 시간 동안 사용자 시선의 위치 변화량을 이용해서, 안구 움직임 속도 및 가속도를 산출할 수 있다.
프로세서(120)는 산출된 안구 움직임 가속도에 기초하여, 눈이 특정 객체를 응시하고 있는 상태인지(예컨대, 안구의 고정(fixation) 또는 추적(pursuit) 상태) 또는 응시하고 있지 않은 상태(예컨대, 안구의 도약(saccade) 상태)인지를 결정할 수 있다.
도 7의 S703에서 전자 장치(100)는 안구 움직임 상태에 기초하여, 촬영 제어 정보를 결정할 수 있다.
일 실시 예에 따라, 프로세서(120)는 사용자 눈이 특정 객체를 응시하고 있는 상태로 결정하면, 사용자의 시선 정보와 전자 장치의 움직임 정보에 기초하여 촬영 제어 정보를 결정할 수 있다.
예를 들어, 프로세서(120)는 사용자 눈이 특정 객체를 응시하고 있는 안구의 고정(fixation) 상태로 판단되면, 카메라 모듈(175)이 사용자가 바라보는 대상을 향한 상태에서, 전자 장치(100)의 움직임을 센싱하면서 흔들림 없이 촬영된 영상이 획득되도록 카메라 모듈(175)의 촬영 방향을 조절할 수 있다.
또한, 예를 들어, 프로세서(120)는 사용자 시선이 객체의 움직임을 따라 움직이는 안구의 추적(pursuit) 상태로 판단되면, 카메라 모듈(175)이 사용자가 바라보는 움직이는 객체를 촬영할 수 있도록 촬영 방향을 변경하면서, 동시에 전자 장치(100)의 움직임을 센싱한 결과에 따라 흔들림 없이 촬영된 영상이 획득되도록 카메라 모듈(175)의 촬영 방향을 조절할 수 있다.
또한, 일 실시 예에 따라, 프로세서(120)는 사용자 시선 정보와 전자 장치의 움직임 정보를 모두 고려함에 있어서, 사용자 시선 정보에 대한 제1 가중치와 전자 장치의 움직임 정보에 대한 제2 가중치를 설정할 수 있다.
예를 들어, 프로세서(120)는 제2 가중치보다 제1 가중치를 높게 설정함으로써, 우선적으로 사용자가 바라보는 시선 방향을 따라 카메라 모듈(175)이 회전하도록 제어할 수 있다. 또는, 예를 들어, 프로세서(120)는 제1 가중치보다 제2 가중치를 높게 설정함으로써, 사용자 시선 정보 보다 전자 장치의 움직임 정보에 따라 카메라 모듈(175)이 회전하도록 제어할 수 있다.
또한, 일 실시 예에 따라, 프로세서(120)는 사용자 눈이 특정 객체를 응시하고 있지 않은 상태로 결정하면, 전자 장치의 움직임 정보에 기초하여 촬영 제어 정보를 결정할 수 있다.
예를 들어, 프로세서(120)는 사용자 눈이 특정 객체를 응시하고 있지 않은 안구의 도약(saccade) 상태로 판단되면, 전자 장치(100)의 움직임을 센싱한 결과에 따라 흔들림 없이 촬영된 영상이 획득되도록 카메라 모듈(175)의 촬영 제어 정보를 결정할 수 있다.
예를 들어, 사용자가 제1 객체를 응시하다가 제2 객체를 응시하기 위해 시선을 돌리는 상황에서, 제1 객체로부터 제2 객체를 향해 시선이 움직이는 시간 구간에서 프로세서(120)는 사용자 시선이 순간적으로 빠르게 이동하는 안구의 도약(saccade) 상태 임을 판단할 수 있다. 이 때, 프로세서(120)는 사용자 시선 이동을 고려하지 않고, 전자 장치(100)의 움직임을 센싱한 결과에 따라 흔들림 없이 촬영된 영상이 획득되도록 카메라 모듈(175)의 촬영 방향을 조절할 수 있다.
도 8a는 안구 움직임 상태에 따른 움직임 거리를 설명하기 위한 도면이다. 도 8b는 안구 움직임 상태에 따른 눈의 움직임 속도를 설명하기 위한 도면이다. 도 8c는 안구 움직임 상태에 따른 눈의 움직임 가속도를 설명하기 위한 도면이다.
도 8a 내지 도 8c는, t1 시간 구간, t2 시간 구간, t3 시간 구간 동안, 눈의 움직임 거리, 움직임 속도, 움직임 가속도를 나타내는 그래프이다.
도 8a에서 기준점으로부터의 움직임 거리는, 소정 기준점으로부터 동공 중심점 좌표까지의 거리로 산출될 수 있다. 도 8b에서 눈의 움직임 속도는 소정 시간 동안 눈의 위치 변화량으로 산출될 수 있다. 도 8c에서 눈의 움직임 가속도는 소정 시간 동안 눈의 이동 속도 변화량으로 산출될 수 있다.
눈의 움직임 상태가 고정(fixation) 상태일 때(t1 시간 구간)은, 거리는 소정 범위 내에서 고정적이고(도 8a), 움직임 속도는 0 (°/ms)에 근사한 값을 나타내며(도 8b), 움직임 가속도도 0 (°/ms2)에 근사한 값(도 8c)을 나타낼 수 있다.
또한, 눈의 움직임 상태가 도약(saccade) 상태일 때(t2 시간 구간)는, t2 시간 동안 거리의 변화량이 소정 범위 이상으로 크고(도 8a), 움직임 속도 및 가속도도 소정 범위 이상으로 가변적인 값(도 8b, 8c으로 산출될 수 있다.
또한, 눈의 움직임 상태가 추적(pursuit) 상태일 때(t3 시간 구간)는, t3 시간 동안 거리가 일정하게 변화하고(도 8a), 움직임 속도는 등속도에 근사한 값으로 산출되고(도 8b), 움직임 가속도는 0 (°/ms2)에 근사한 값(도 8c)으로 산출될 수 있다.
일 실시 예에 따라, 메모리(130)에 저장된 안구 움직임 판단 모듈(131)은 눈의 움직임 속도, 움직임 가속도에 기초하여 안구 움직임 상태를 판단할 수 있는 알고리즘을 포함할 수 있다. 전자 장치(100)의 프로세서(120)는 안구 움직임 판단 모듈(131)을 실행함으로써, 시선 추적 센서(160)를 통해 획득된 시선 정보를 이용하여, 눈의 움직임 속도, 움직임 가속도를 산출한 결과에 기초하여 안구 움직임 상태를 판단할 수 있다.
도 9는 일 실시 예에 따른 안구 움직임 상태를 판단하는 방법을 설명하기 위한 흐름도이다.
일 실시 예에 따라, 전자 장치(100)의 프로세서(120)는 시선 추적 센서(160)을 통해 사용자 눈의 시선 방향, 눈의 동공 위치, 동공의 중심점 좌표를 포함하는 시선 정보를 획득할 수 있다. 프로세서(120)는 미리 설정된 시간 간격으로 시선 추적 센서(160)을 통해 시선 정보를 획득할 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)의 프로세서(120)는 움직임 센서(150, 도1)를 통해, 전자 장치(100)의 움직임이 감지됨에 따라 움직임 정보를 획득할 수 있다. 움직임 정보는, 전자 장치(100)가 움직이는 방향, 각도, 속도 또는 가속도 중 적어도 하나를 포함할 수 있다.
도 9의 S901에서, 전자 장치(100)는 전자 장치의 움직임 정보에 기초하여, 촬영 제어 정보를 결정할 수 있다.
일 실시 예에 따라, 프로세서(120)는 움직임 센서(150)로부터 전자 장치(100)의 움직임 정보가 획득되면, 움직임 정보에 기초하여 전자 장치(100)의 움직임을 보상할 수 있는 방향 및 각도로 카메라 모듈(175)이 회전하도록 촬영 제어 정보를 결정할 수 있다.
도 9의 S902에서, 전자 장치(100)는 시선 정보에 기초하여 안구 움직임 가속도를 산출할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 시선 추적 센서(160)를 통해 획득된 시선 정보를 이용하여, 눈의 움직임 가속도를 산출할 수 있다.
전자 장치(100)의 프로세서(120)는 시선 추적 센서(160)를 통해 획득한 눈의 동공 위치에 기초하여, 소정 시간 동안 이동하는 동공의 위치 변화량를 산출함으로써 눈의 움직임 속도를 산출할 수 있다. 또한, 프로세서(120)는 소정 시간 동안 동공의 움직임 속도 변화량을 산출함으로써 움직임 가속도를 산출할 수 있다.
도 9의 S903에서, 전자 장치(100)는 안구 움직임 가속도가 미리 정해진 가속도 임계값 이하인지 판단할 수 있다.
일 실시 예에 따르면, 전자 장치(100)의 메모리(130)는 사용자의 눈이 특정 객체를 응시하고 있는 상태인지 판단하기 위한 기준이 되는 가속도 임계값을 미리 저장할 수 있다.
전자 장치(100)의 프로세서(120)는 S901에서 획득한 시선 정보에 기초하여 산출된 움직임 가속도와 메모리(130)에 저장된 미리 정해진 가속도 임계값을 비교할 수 있다.
도 9의 S904에서, 전자 장치(100)는 안구 움직임 가속도가 미리 정해진 가속도 임계값 이하로 판단되면, 사용자의 눈이 특정 객체를 응시하고 있는 상태로 결정할 수 있다.
프로세서(120)는 S902에서 산출된 눈의 움직임 가속도가 메모리(130)에 미리 저장된 가속도 임계값 이하로 판단되면, 안구의 고정(fixation) 상태 또는 안구의 추적(pursuit) 상태로서 특정 객체를 응시하고 있는 상태로 결정할 수 있다.
도 8a 내지 도 8c를 참조하면, 사용자 눈이 고정된 객체를 바라보고 있는 안구의 고정(fixation) 상태일 때, 안구 움직임은 안구의 정지 운동에 가까운 상태일 수 있다. 또한, 사용자 눈이 움직이는 객체를 바라보고 있는 안구의 추적(pursuit) 상태일 때, 안구 움직임은 안구의 등속도 운동에 가까운 상태일 수 있다. 따라서, 안구의 고정(fixation) 상태 또는 안구의 추적(pursuit) 상태일 때, 안구 움직임 가속도는 0 (°/ms2)에 근사한 값으로 산출되며, 미리 설정된 가속도 임계값 이하일 수 있다.
도 9의 S905에서, 전자 장치(100)는 사용자의 눈이 특정 객체를 응시하고 있는 상태로 결정함에 따라, 시선 정보와 전자 장치의 움직임 정보에 기초하여, 촬영 제어 정보를 결정할 수 있다.
일 실시 예에 따라, 프로세서(120)는 사용자 눈이 특정 객체를 응시하고 있는 상태로 결정하면, 사용자가 응시하는 시선 방향을 향해 촬영 방향이 변경되도록 촬영 제어 정보를 결정할 수 있다. 또한, 프로세서(120)는 카메라 모듈(175)이 사용자가 응시하는 시선 방향을 향한 상태에서, 전자 장치(100)의 움직임을 센싱한 결과에 따라 흔들림 없이 촬영하기 위한 촬영 제어 정보를 결정할 수 있다.
또한, 프로세서(120)는 미리 설정된 시간 간격으로 시선 추적 센서(160)를 통해 획득되는 시선 정보에 기초하여 안구 움직임 가속도를 산출할 수 있다(S 902). 프로세서(120)는 안구 움직임 가속도를 산출함으로써 판단되는 안구 움직임 상태에 따라, 촬영 제어 정보를 재 결정할 수 있다.
한편, 도 9의 S906에서, 전자 장치(100)는 S902에서 산출된 안구 움직임 가속도가 미리 정해진 가속도 임계값 초과로 판단되면, 사용자의 눈이 특정 객체를 응시하고 있지 않은 상태로 결정할 수 있다.
도 8c를 참조하면, 하나의 고정 위치에서 다른 고정 위치로 사용자 시선이 빠르게 이동하는 안구의 도약(saccade) 상태일 때, 안구 움직임은 가속도가 변하는 운동으로 나타날 수 있다. 따라서, 산출된 안구 움직임 가속도가 미리 설정된 가속도 임계값 초과로 판단됨에 따라, 안구 움직임 상태가 안구의 도약(saccade) 상태로 결정될 수 있다.
전자 장치(100)의 프로세서(120)는 사용자의 눈이 특정 객체를 응시하고 있지 않은 상태로 결정함에 따라, 전자 장치의 움직임 정보에 기초하여, 촬영 제어 정보를 결정할 수 있다(S 901).
일 실시 예에 따라, 프로세서(120)는, 사용자 눈이 특정 객체를 응시하고 있지 않은 안구의 도약(saccade) 상태로 결정된 시간 구간에 대해서, 사용자의 시선 이동은 고려하지 않고, 전자 장치(100)의 움직임을 센싱한 결과에 따라 흔들림 없이 촬영된 영상이 획득되도록 촬영 제어 정보를 결정할 수 있다.
도 10a는 일 실시 예에 따른 사용자의 시선 이동의 일 예를 설명하기 위한 도면이다. 도 10b는 일 실시 예에 따른 눈의 움직임 가속도에 기초하여 안구 움직임 상태를 판단하는 예를 설명하기 위한 도면이다.
도 10a는 사용자가 예컨대, 제1 객체(1001)를 응시하다가 소정 시간 후 제2 객체(1002)를 응시하는 상황을 도시한다. 도 10b는, 도 10a의 상황에서 산출되는 가속도 값을 나타내는 그래프를 도시한다.
전자 장치(100)의 프로세서(120)는 시선 추적 센서(160)를 통해 획득되는 시선 정보를 이용하여 눈의 움직임 가속도를 산출한 결과, t1 시간 구간에 대해 가속도가 0 (°/ms2)에 근사한 값 즉, 미리 정해진 가속도 임계값 이하인 것으로 판단할 수 있다. 이에 따라, 프로세서(120)는 t1 시간 구간에서 사용자 눈은 특정 객체를 응시하고 있는 상태인 것으로 결정할 수 있다.
또한, 프로세서(120)는 t2 시간 구간에서 시선 추적 센서(160)를 통해 획득되는 시선 정보를 이용하여 눈의 움직임 가속도를 산출한 결과, 움직임 가속도가 미리 정해진 가속도 임계값 초과로 판단할 수 있다. 이에 따라, 프로세서(120)는 t2 시간 구간에서 사용자 눈은 특정 객체를 응시하고 있지 않은 상태인 것으로 결정할 수 있다.
또한, 프로세서(120)는 t3 시간 구간에서 시선 추적 센서(160)를 통해 획득되는 시선 정보를 이용하여 눈의 움직임 가속도를 산출한 결과, 움직임 가속도가 0 (°/ms2)에 근사한 값 즉, 미리 정해진 가속도 임계값 이하로 판단할 수 있다. 이에 따라, 프로세서(120)는 t3 시간 구간에서 사용자 눈은 특정 객체를 응시하고 있는 상태인 것으로 결정할 수 있다.
프로세서(120)는 t1 시간 구간과 t3 시간 구간에서는, 카메라 모듈(175)이 사용자의 시선 방향을 향한 상태에서 전자 장치(100)의 움직임 정보에 기초하여 촬영 방향을 조절하도록 촬영 제어 정보를 결정할 수 있다.
또한, 프로세서(120)는 t2 시간 구간에서는, 움직이는 사용자의 시선 방향은 고려하지 않고, 전자 장치(100)의 움직임 정보에 기초하여 촬영 제어 정보를 결정할 수 있다.
도 11은 일 실시 예에 따른 안구 움직임 상태를 판단하는 방법을 설명하기 위한 흐름도이다.
도 11의 S1101에서 전자 장치(100)는 안구 움직임 가속도가 미리 정해진 가속도 임계값 이하인 것으로 판단함에 따라, S1102에서 전자 장치(100)는 안구 움직임 속도가 미리 정해진 속도 임계값 이하인지 판단할 수 있다.
도 8a 내지 도 8c를 참조하면, 안구 움직임 가속도가 0 (°/ms2)에 근사한 값 즉, 미리 정해진 가속도 임계값 이하로 판단되는 구간은, 사용자의 눈이 특정 객체를 응시하고 있는 고정(fixation) 상태 또는 추적(pursuit) 상태일 수 있다.
프로세서(120)는 시선 추적 센서(160)로부터 획득된 시선 정보를 이용하여 산출된 움직임 속도와 메모리(130)에 미리 저장된 안구의 고정 상태 또는 추적 상태를 판단하기 위한 기준 속도인 속도 임계값을 비교함으로써, 안구의 고정(fixation) 상태인지 또는 안구의 추적(pursuit) 상태인지를 판단할 수 있다.
도 11의 S1103에서 전자 장치(100)는 안구 움직임 속도가 미리 정해진 속도 임계값 이하로 판단되면, 안구 움직임 상태를 고정(fixation) 상태로 결정할 수 있다. 또한, S1104에서, 전자 장치(100)는 안구 움직임 속도가 미리 정해진 속도 임계값 초과로 판단되면, 안구 움직임 상태를 추적(pursuit) 상태로 결정할 수 있다.
도 8b를 참조하면, 안구의 고정(fixation) 상태일 때 눈의 움직임 속도는 0 (°/ms)에 근사한 값으로 미리 정해진 속도 임계값 이하일 수 있다. 또한, 안구의 추적(pursuit) 상태 일 때 눈의 움직임 속도는 미리 정해진 속도 임계값을 초과할 수 있다.
일 실시 예에 따라, 프로세서(120)는 안구의 고정(fixation) 또는 추적(pursuit) 상태일 때, 카메라 모듈(175)이 사용자의 시선 방향을 추적하면서 전자 장치(100)의 움직임 정보에 기초하여 촬영 방향을 조절하도록 촬영 제어 정보를 결정할 수 있다.
도 12a는 일 실시 예에 따른 사용자의 시선 이동의 일 예를 설명하기 위한 도면이다. 도 12b는 일 실시 예에 따른 눈의 움직임 가속도에 기초하여 안구 움직임 상태를 판단하는 예를 설명하기 위한 도면이다. 도 12c는 일 실시 예에 따른 눈의 움직임 속도에 기초하여 안구 움직임 상태를 판단하는 예를 설명하기 위한 도면이다.
도 12a는 사용자가 제3 객체(1201)를 응시하고 있는데 제3 객체(1201)가 오른쪽 방향으로 이동하는 경우, 사용자의 시선이 이동하는 제3 객체(1201)를 따라서 움직이는 상황을 도시한다.
도 12b와 도 12c는, 도 12a의 예에서 산출되는 가속도와 속도 값을 나타내는 그래프를 각각 도시한다.
전자 장치(100)의 프로세서(120)는 시선 추적 센서(160)를 통해 획득되는 시선 정보를 이용하여 눈의 움직임 가속도를 산출한 결과, t1 시간 구간 및 t2 시간 구간에 대해 가속도가 0 (°/ms2)에 근사한 값 즉, 미리 정해진 가속도 임계값 이하인 것으로 판단할 수 있다.
또한, 프로세서(120)는 시선 추적 센서(160)를 통해 획득되는 시선 정보를 이용하여 눈의 움직임 속도를 산출한 결과, t1 시간 구간에서는 속도가 0 (°/ms)에 근사한 값 즉, 미리 정해진 속도 임계값 이하인 것으로 판단하고, t2 시간 구간에서는 움직임 속도가 미리 정해진 속도 임계값을 초과하는 것으로 판단할 수 있다. 이에 따라, 프로세서(120)는 t1 시간 구간은 안구의 고정(fixation) 상태로 판단하고, t2 시간 구간은 안구의 추적(pursuit) 상태로 판단할 수 있다.
프로세서(120)는, t1 시간 구간에서, 카메라 모듈(175)이 사용자가 응시하는 제3 객체(1201)를 향한 상태에서, 전자 장치(100)의 움직임을 센싱하면서 흔들림 없이 촬영된 영상이 획득되도록 카메라 모듈(175)의 촬영 방향을 조절할 수 있다.
또한, 프로세서(120)는, 안구의 추적(pursuit) 상태로 판단되는 t2 시간 구간에서, 사용자의 이동하는 시선 방향을 따라 촬영 방향을 변경하면서, 동시에 전자 장치(100)의 움직임을 센싱하면서 흔들림 없이 촬영된 영상이 획득되도록 카메라 모듈(175)의 촬영 방향을 조절할 수 있다.
도 13은 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.
일 실시 예에 따라, 전자 장치(100)는, 통신 기능 및 데이터 프로세싱 기능을 구비한 증강 현실(Augmented Reality) 영상을 제공하는 증강 현실 장치일 수 있으며, 이에 제한되지 않는다.
도 13에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(100)는 시선 추적 센서(160), 움직임 센서(150), 카메라(175), 메모리(130), 프로세서(120), 디스플레이(140), 통신부(180), 마이크(190) 및 사용자 입력부(195)를 포함할 수 있다.
그러나, 도 13에 도시된 구성 요소 모두가 전자 장치(100)의 필수 구성 요소인 것은 아니다. 도 13에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있고, 도 13에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있다.
시선 추적 센서(160), 움직임 센서(150), 카메라(175), 메모리(130) 및 프로세서(120)의 동작에 대해서는 도 2에서 설명하였으므로 생략하기로 한다.
일 실시 예에 따른 디스플레이(140)는 프로세서(120)에서 처리되는 정보를 출력할 수 있다. 예를 들어, 디스플레이(140)는, 가상의 객체를 표시할 수 있다.
일 실시 예에 의하면, 디스플레이(140)는 AR(Augmented Reality) 영상을 제공할 수 있다. 일 실시 예에 따른 디스플레이(140)는 웨이브가이드와 디스플레이 모듈을 포함할 수 있다. 웨이브 가이드는 사용자가 웨어러블 디바이스(1)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브 가이드는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 웨이브 가이드는 디스플레이 모듈의 출사면에 마주하여 투사된 가상 이미지의 광을 입력 받을 수 있다. 여기서, 투명 재질이라 함은, 광이 통과될 수 있는 재질이라는 의미이며, 투명도가 100%가 아닐 수 있으며, 소정의 색상을 지닐 수도 있다.
일 실시 예에서, 웨이브 가이드는 투명 재질로 형성됨에 따라, 사용자는 디스플레이(140)를 통해 가상 이미지의 가상 객체를 볼 수 있을 뿐만 아니라, 외부 실제 장면(scene)을 볼 수도 있으므로, 웨이브 가이드는 시스루 디스플레이(see through display)로 지칭될 수 있다. 디스플레이(140)는 웨이브 가이드를 통해 가상 이미지의 가상 객체를 출력함으로써, 증강 현실(augmented reality) 영상을 제공할 수 있다.
통신부(180)는, 전자 장치(100)와 외부 장치(200, 도 14) 또는 서버(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
예를 들어, 통신부(180)는, 근거리 통신부, 이동 통신부를 포함할 수 있다.
근거리 통신부는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
일 실시 예에 따라 전자 장치(100)는, 통신부(180)를 통해, 시선 정보와 움직임 정보를 외부 장치(200, 도 14)로 전송할 수 있다. 이에 따라, 외부 장치(200)가 시선 정보와 움직임 정보에 기초하여 촬영 제어 정보를 결정할 수도 있다.
또한, 일 실시 예에 따라 전자 장치(100)는, 통신부(180)를 통해, 외부 장치(200)에서 결정된 촬영 제어 정보를 수신하고, 수신한 촬영 제어 정보에 기초하여 카메라 모듈(175)의 촬영 방향을 제어할 수 있다.
또한, 일 실시 예에 따라 전자 장치(100)는, 카메라(175)를 이용해 획득된 영상을 외부 장치(200)로 전송할 수 있다. 외부 장치(200)가 수신한 영상을 저장할 수 있다.
마이크(190)는, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크(190)은 외부 디바이스 또는 화자로부터의 음향 신호를 수신할 수 있다. 마이크(190)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다. 마이크(190)는 전자 장치(100)를 제어하기 위한 사용자의 음성 입력을 수신할 수 있다.
사용자 입력부(195)는, 사용자가 전자 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(195)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(190)는, 카메라 모듈(175)을 이용하여 전자 장치(100)의 주변을 촬영하기 위한 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(190)는 촬영된 영상을 기반으로 전자 장치(100) 또는 서버(미도시)로부터의 서비스를 제공받기 위한 사용자 입력을 수신할 수 있다.
도 14는 일 실시 예에 따른 전자 장치와 외부 장치의 블록 구성도(block diagram)이다.
일 실시 예에 따라, 전자 장치(100)는 외부 장치(200)와 연동하여 동작할 수 있다. 전자 장치(100)는 시선 정보와 움직임 정보를 외부 장치(200)로 전송하고, 외부 장치(200)가 시선 정보와 움직임 정보를 이용하여 촬영 제어 정보를 결정하고, 촬영 제어 정보를 전자 장치(100)로 제공할 수 있다.
도 14에 도시된 전자 장치(100)의 구성 요소는, 도 13에 도시된 전자 장치(100)의 구성 요소에 대응할 수 있으므로 설명을 생략하기로 한다.
도 14에 도시한 외부 장치(200)는 프로세서(220), 메모리(230) 및 통신부(280)를 포함할 수 있다. 그러나, 도 14에 도시된 구성 요소가 외부 장치(200)의 필수 구성 요소인 것은 아니다. 도 14에 도시된 구성 요소보다 많은 구성 요소에 의해 외부 장치(200)가 구현될 수도 있고, 도14에 도시된 구성 요소보다 적은 구성 요소에 의해 외부 장치(200)가 구현될 수도 있다.
일 실시 예에 따른 프로세서(220)는 외부 장치(200)를 전반적으로 제어할 수 있다. 일 실시 예에 따른 프로세서(220)는 메모리(230)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다.
일 실시 예에 따른 메모리(230)는 외부 장치(200)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(230)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(230)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(220)에 의해 실행될 수 있다.
일 실시 예에 따른 메모리(230)는 프로세서(220)의 처리 및 제어를 위한 프로그램을 저장할 수다. 메모리(230)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다. 예를 들어, 전자 장치(100)의 안구 움직임 판단 모듈(131), 촬영 방향 결정 모듈(132)에 의해 수행되는 동작들이 외부 장치(200)의 프로세서(220)에 의해 수행되기 위한 소프트웨어 모듈이 외부 장치(200)의 메모리(230)에 저장될 수 있다.
또한, 메모리(230)는 전자 장치(100)로부터 수신한 시선 정보, 움직임 정보를 저장할 수 있다. 또한, 메모리(230)는, 전자 장치(100)로부터 수신한, 카메라 모듈(175)에 의해 획득된 영상을 저장할 수 있다.
통신부(280)는, 외부 장치(200)와 전자 장치(100) 또는 외부 장치(200)와 서버(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
예를 들어, 통신부(280)는, 근거리 통신부, 이동 통신부를 포함할 수 있다.
근거리 통신부는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
일 실시 예에 따라 외부 장치(200)는, 통신부(280)를 통해, 전자 장치(100)로부터 시선 정보와 움직임 정보를 수신할 수 있다. 이에 따라, 외부 장치(200)의 프로세서(220)가 시선 정보와 움직임 정보에 기초하여 촬영 제어 정보를 결정할 수 있다. 또한, 외부 장치(200)는, 통신부(280)를 통해, 결정된 촬영 제어 정보를 전자 장치(100)로 전송할 수 있다.
또한, 일 실시 예에 따라 외부 장치(200)는, 통신부(280)를 통해, 전자 장치(100)로부터 촬영된 영상을 수신할 수 있다. 이에 따라, 외부 장치(200)는 메모리(230)에 수신한 영상을 저장할 수 있다.
한편, 상술한 실시 예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시 예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 마그네틱 저장매체, 예를 들면, 롬, 플로피 디스크, 하드 디스크 등을 포함하고,) 광학적 판독 매체, 예를 들면, 시디롬, DVD 등과 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터, 예를 들면 프로그램 명령어 및 코드가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시 예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시에서 모든 예들 또는 예시적인 용어, 예를 들어, “등”의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다.
또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 개시에 기재된 구성 요소들은 본 개시의 실행을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 개시의 실시 예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
본 개시는 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 본 개시는 명세서에 기재된 특정한 실시 형태에 의해 한정되는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물이 본 개시에 포함되는 것으로 이해되어야 한다. 그러므로, 개시된 실시예들은 한정적인 관점이 아닌 설명적 관점에서 이해되어야 한다.
본 개시의 범위는 발명의 상세한 설명보다는 특허 청구 범위에 의하여 나타나며, 특허 청구 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.
예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.
본 명세서에서, "A는 a1, a2 및 a3 중 하나를 포함할 수 있다"는 기재은, A라는 엘리먼트(element)에 포함될 수 있는 예시적인 엘리먼트가 a1, a2 또는 a3라는 넓은 의미이다.
상기 기재로 인해 엘리먼트 A를 구성할 수 있는 엘리먼트가 반드시 a1, a2 또는 a3로 국한된다는 것은 아니다. 따라서 A를 구성할 수 있는 엘리먼트가, a1, a2 및 a3 이외에 예시되지 않은 다른 엘리먼트들을 배제한다는 의미로, 배타적으로 해석되지 않음에 유의하여야 한다.
또한, 상기 기재는, A는 a1를 포함하거나, a2를 포함하거나, 또는 a3를 포함할 수 있다는 의미이다. 상기 기재가 A를 구성하는 엘리먼트들이 반드시 소정 집합 내에서 선택적으로 결정된다는 것을 의미하지는 않는다. 예를 들어 상기 기재가, 반드시 a1, a2 및 a3를 포함하는 집합으로부터 선택된 a1, a2, 또는 a3가 컴포넌트 A를 구성한다는 것으로, 제한적으로 해석되지 않음에 유의하여야 한다.
100 : 전자 장치

Claims (17)

  1. 전자 장치에 있어서,
    촬영 방향의 변경이 가능한 카메라 모듈;
    사용자에 의해 착용된 상기 전자 장치의 움직임 정보를 획득하는 움직임 센서;
    상기 사용자 눈의 시선 정보를 획득하는 시선 추적 센서;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 하나 이상의 인스터럭션을 실행하는 프로세서;를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 시선 정보에 기초하여 상기 촬영 방향을 결정하고,
    상기 움직임 정보에 기초하여, 흔들림 없이 촬영된 영상을 획득하기 위해 상기 카메라 모듈의 촬영 방향을 변경하기 위한 촬영 제어 정보를 결정하고,
    상기 결정된 촬영 제어 정보에 기초하여, 상기 카메라 모듈의 촬영 방향을 변경하도록 제어하고,
    상기 변경된 촬영 방향에 기초하여 상기 카메라 모듈에 의해 촬영된 영상을 획득하는 프로세서를 포함하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 획득된 시선 정보에 기초하여 사용자의 안구 움직임 상태를 판단하고,
    상기 판단된 안구 움직임 상태에 기초하여 상기 촬영 제어 정보를 결정하는, 전자 장치.
  3. 제2 항에 있어서,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 시선 정보에 기초하여, 안구 움직임 가속도를 산출하고,
    상기 산출된 안구 움직임 가속도와 미리 정해진 가속도 임계값의 비교 결과에 기초하여, 상기 안구 움직임 상태를 판단하는, 전자 장치.
  4. 제3 항에 있어서,
    상기 프로세서는,
    상기 산출된 안구 움직임 가속도가 상기 미리 정해진 가속도 임계값을 초과함에 따라, 상기 사용자의 눈이 특정 객체를 응시하고 있지 않은 상태로 결정하고,
    상기 전자 장치의 움직임 정보에 기초하여, 상기 촬영 제어 정보를 결정하는, 전자 장치.
  5. 제3 항에 있어서,
    상기 프로세서는,
    상기 산출된 안구 움직임 가속도가 상기 미리 정해진 가속도 임계값 이하임에 따라, 상기 사용자의 눈이 특정 객체를 응시하고 있는 상태로 결정하고,
    상기 시선 정보와 상기 전자 장치의 움직임 정보에 기초하여, 상기 촬영 제어 정보를 결정하는, 전자 장치.
  6. 제1 항에 있어서,
    상기 전자 장치의 움직임 정보는,
    상기 전자 장치가 움직이는 방향, 각도 또는 속도 중 적어도 하나에 관한 정보를 포함하는, 전자 장치.
  7. 제1 항에 있어서,
    상기 촬영 제어 정보는,
    상기 카메라 모듈을 회전시켜야 할 회전 방향, 회전 각도, 또는 회전 속도 중 적어도 하나에 관한 정보를 포함하는, 전자 장치.
  8. 제1 항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 움직임 정보에 기초하여, 상기 전자 장치가 움직이는 방향과 반대 방향으로 상기 카메라 모듈의 촬영 방향이 변경되도록 상기 촬영 제어 정보를 결정하는, 전자 장치.
  9. 전자 장치의 동작 방법에 있어서,
    사용자 눈의 시선 정보에 기초하여 카메라 모듈의 촬영 방향을 결정하는 단계;
    상기 사용자에 의해 착용된 상기 전자 장치의 움직임 정보에 기초하여, 흔들림 없이 촬영된 영상을 획득하기 위해 상기 카메라 모듈의 촬영 방향을 변경하기 위한 촬영 제어 정보를 결정하는 단계;
    상기 결정된 촬영 제어 정보에 기초하여, 상기 카메라 모듈의 촬영 방향을 변경하도록 제어하는 단계; 및
    상기 변경된 촬영 방향에 기초하여 상기 카메라 모듈에 의해 촬영된 영상을 획득하는 단계를 포함하는, 동작 방법.
  10. 제9 항에 있어서,
    상기 촬영 제어 정보를 결정하는 단계는,
    상기 획득된 시선 정보에 기초하여 사용자의 안구 움직임 상태를 판단하는 단계; 및
    상기 판단된 안구 움직임 상태에 기초하여 상기 촬영 제어 정보를 결정하는 단계를 포함하는, 동작 방법.
  11. 제10 항에 있어서,
    상기 안구 움직임 상태를 판단하는 단계는,
    상기 시선 정보에 기초하여, 안구 움직임 가속도를 산출하는 단계; 및
    상기 산출된 안구 움직임 가속도와 미리 정해진 가속도 임계값의 비교 결과에 기초하여, 상기 안구 움직임 상태를 판단하는 단계를 포함하는, 동작 방법.
  12. 제11 항에 있어서,
    상기 안구 움직임 상태를 판단하는 단계는,
    상기 산출된 안구 움직임 가속도가 상기 미리 정해진 가속도 임계값을 초과함에 따라, 상기 사용자의 눈이 특정 객체를 응시하고 있지 않은 상태로 결정하는 단계를 포함하는,
    상기 촬영 제어 정보를 결정하는 단계는,
    상기 사용자의 눈이 특정 객체를 응시하고 있지 않은 상태로 결정함에 따라, 상기 전자 장치의 움직임 정보에 기초하여, 상기 촬영 제어 정보를 결정하는 단계를 포함하는, 동작 방법.
  13. 제11 항에 있어서,
    상기 안구 움직임 상태를 판단하는 단계는,
    상기 산출된 안구 움직임 가속도가 상기 미리 정해진 가속도 임계값 이하임에 따라, 상기 사용자의 눈이 특정 객체를 응시하고 있는 상태로 결정하는 단계를 포함하고,
    상기 촬영 제어 정보를 결정하는 단계는,
    상기 사용자의 눈이 특정 객체를 응시하고 있는 상태로 결정함에 따라, 상기 시선 정보와 상기 전자 장치의 움직임 정보에 기초하여, 상기 촬영 제어 정보를 결정하는 단계를 포함하는, 동작 방법.
  14. 제9 항에 있어서,
    상기 전자 장치의 움직임 정보는,
    상기 전자 장치가 움직이는 방향, 각도 또는 속도 중 적어도 하나에 관한 정보를 포함하는, 동작 방법.
  15. 제9 항에 있어서,
    상기 촬영 제어 정보는,
    상기 카메라 모듈을 회전시켜야 할 회전 방향, 회전 각도, 또는 회전 속도 중 적어도 하나에 관한 정보를 포함하는, 동작 방법.
  16. 제9 항에 있어서,
    상기 촬영 제어 정보를 결정하는 단계는,
    상기 전자 장치의 움직임 정보에 기초하여, 상기 전자 장치가 움직이는 방향과 반대 방향으로 상기 카메라 모듈의 촬영 방향이 변경되도록 상기 촬영 제어 정보를 결정하는, 동작 방법.
  17. 제9 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200056155A 2020-05-11 2020-05-11 전자 장치 및 그 동작 방법 KR20210137831A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200056155A KR20210137831A (ko) 2020-05-11 2020-05-11 전자 장치 및 그 동작 방법
PCT/KR2021/005627 WO2021230559A1 (ko) 2020-05-11 2021-05-04 전자 장치 및 그 동작 방법
US17/985,613 US20230060453A1 (en) 2020-05-11 2022-11-11 Electronic device and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200056155A KR20210137831A (ko) 2020-05-11 2020-05-11 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20210137831A true KR20210137831A (ko) 2021-11-18

Family

ID=78524532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200056155A KR20210137831A (ko) 2020-05-11 2020-05-11 전자 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US20230060453A1 (ko)
KR (1) KR20210137831A (ko)
WO (1) WO2021230559A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302054B (zh) * 2021-11-30 2023-06-20 歌尔科技有限公司 一种ar设备的拍照方法及其ar设备
CN115379134B (zh) * 2022-10-26 2023-02-03 四川中绳矩阵技术发展有限公司 一种图像采集装置、方法、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130059827A (ko) * 2011-11-29 2013-06-07 학교법인 한국산업기술대학 동공인식을 이용한 안경 카메라
KR102246553B1 (ko) * 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법
KR102240639B1 (ko) * 2014-06-12 2021-04-15 엘지전자 주식회사 글래스 타입 단말기 및 그것의 제어 방법
KR101805749B1 (ko) * 2016-05-30 2017-12-07 울산과학기술원 사용자 인증 장치
JP6321848B2 (ja) * 2017-03-21 2018-05-09 Kddi株式会社 ウェアラブルデバイス

Also Published As

Publication number Publication date
WO2021230559A1 (ko) 2021-11-18
US20230060453A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
US10666856B1 (en) Gaze-directed photography via augmented reality feedback
US10009542B2 (en) Systems and methods for environment content sharing
JP5538483B2 (ja) 映像処理装置、映像処理方法、および映像処理システム
US8736692B1 (en) Using involuntary orbital movements to stabilize a video
CN113614783A (zh) 使用具有不同曝光时间的图像的眼睛跟踪
JP2023507867A (ja) 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム
US11487354B2 (en) Information processing apparatus, information processing method, and program
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
US20230060453A1 (en) Electronic device and operation method thereof
US11557020B2 (en) Eye tracking method and apparatus
GB2494907A (en) A Head-mountable display with gesture recognition
KR20220128585A (ko) 웨어러블 촬상장치, 촬상장치와 통신하는 휴대 기기 및 캘리브레이터, 이들의 제어방법과 이들의 제어 프로그램을 기억한 기억매체
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
US11743447B2 (en) Gaze tracking apparatus and systems
KR20210150881A (ko) 전자 장치 및 그 동작 방법
TW201915711A (zh) 圖像顯示系統、圖像顯示方法及圖像顯示程式
US20230053497A1 (en) Systems and methods for performing eye-tracking
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
KR20210147837A (ko) 전자 장치 및 그 동작 방법
KR20220045799A (ko) 전자 장치 및 그 동작 방법
JP2019114822A (ja) 画像処理装置
US20230308753A1 (en) Camera system for focusing on and tracking objects
WO2024122191A1 (ja) 画像処理装置及び方法、プログラム、記憶媒体
WO2022064827A1 (ja) 情報処理装置、情報処理方法およびプログラム
EP4388396A1 (en) Systems and methods for performing eye-tracking

Legal Events

Date Code Title Description
A201 Request for examination