KR20210150881A - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20210150881A
KR20210150881A KR1020200067864A KR20200067864A KR20210150881A KR 20210150881 A KR20210150881 A KR 20210150881A KR 1020200067864 A KR1020200067864 A KR 1020200067864A KR 20200067864 A KR20200067864 A KR 20200067864A KR 20210150881 A KR20210150881 A KR 20210150881A
Authority
KR
South Korea
Prior art keywords
region
electronic device
camera
interest
depth
Prior art date
Application number
KR1020200067864A
Other languages
English (en)
Inventor
임성훈
권태혁
김덕호
이재웅
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200067864A priority Critical patent/KR20210150881A/ko
Priority to PCT/KR2021/006814 priority patent/WO2021246758A1/ko
Publication of KR20210150881A publication Critical patent/KR20210150881A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 그 동작 방법이 제공된다. 전자 장치는, 회전 가능한 제1 및 2 카메라를 포함하는 카메라 모듈, 하나 이상의 인스트럭션을 저장하는 메모리, 및 하나 이상의 인스터럭션을 실행하는 프로세서를 포함하고, 프로세서는, 실행 중인 기능에 따라 관심 영역을 결정하고, 미리 정해진 제1 카메라 및 제2 카메라의 촬영 방향의 조합에 기초하여 제1 및 2 카메라가 변향되도록 제어함으로써, 관심 영역을 각각 포함하는 두 개 이상의 이미지를 획득하고, 획득된 두 개 이상의 이미지를 이용하여 관심 영역의 깊이를 획득할 수 있다.

Description

전자 장치 및 그 동작 방법{ELECTRONIC APPARATUS AND OPERAINTG METHOD THEREOF}
다양한 실시 예들은, 전자 장치에 내장된 복수 개의 회전 가능한 카메라를 이용하여 관심 영역의 깊이를 획득하는 전자 장치 및 그 동작 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 투영시켜 하나의 이미지로 보여주는 기술이다. 증강 현실 장치는 사용자의 안면부나 두부에 착용된 상태에서 사용자의 눈앞에 배치되는 시스루(see-through) 형태의 디스플레이 모듈을 통해 현실 장면(real scene)과 가상 이미지를 함께 볼 수 있게 한다.
이러한 증강 현실 장치가 현실 장면 상에 가상 이미지를 자연스럽게 보여지도록 하는 등 현실 객체의 깊이를 활용한 다양한 서비스를 제공하기 위해서는, 사용자에게 제공하는 증강 현실 서비스에 따라 요구되는 현실 공간에 대해서 깊이를 측정할 필요가 있다.
또한, 증강 현실 장치와 같은 소형 기기에 깊이 측정을 위한 센서를 탑재하기 위해 깊이 측정을 위한 센서의 소형화, 경량화와 저전력화에 대한 연구가 요구되고 있다.
전자 장치에 내장된 복수 개의 회전 가능한 카메라를 이용하여 관심 영역의 깊이를 획득하는 전자 장치 및 그 동작 방법을 제공하는 데 있다.
또한, 촬영 모드에 따라 복수 개의 카메라의 촬영 방향을 설정 또는 변경하는 전자 장치 및 그 동작 방법을 제공하는 데 있다.
해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따른 전자 장치는, 회전 가능한 제1 및 2 카메라를 포함하는 카메라 모듈, 하나 이상의 인스트럭션을 저장하는 메모리, 및 하나 이상의 인스터럭션을 실행하는 프로세서를 포함하고, 프로세서는, 실행 중인 기능에 따라 관심 영역을 결정하고, 미리 정해진 제1 카메라 및 제2 카메라의 촬영 방향의 조합에 기초하여 제1 및 2 카메라가 변향되도록 제어함으로써, 관심 영역을 각각 포함하는 두 개 이상의 이미지를 획득하고, 획득된 두 개 이상의 이미지를 이용하여 관심 영역의 깊이를 획득할 수 있다.
다른 측면에 따른 회전 가능한 제1 및 2 카메라를 포함하는 전자 장치의 동작 방법은, 실행 중인 기능에 따라 관심 영역을 결정하는 단계, 미리 정해진 제1 및 2 카메라의 촬영 방향의 조합에 기초하여 제1 및 2 카메라가 변향되도록 제어함으로써, 관심 영역을 각각 포함하는 두 개 이상의 이미지를 획득하는 단계, 및 획득된 두 개 이상의 이미지를 이용하여 관심 영역의 깊이를 획득하는 단계를 포함할 수 있다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
도 1은 일 실시 예를 개략적으로 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 전자 장치 내의 카메라 모듈이 회전하는 예를 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 전자 장치가 회전 가능한 제1 및 2 카메라를 이용하여 관심 영역의 깊이를 획득하는 동작을 설명하기 위한 흐름도이다.
도 5는 촬영 모드에 따라 관심 영역을 결정하는 방법을 설명하기 위한 흐름도이다.
도 6은 시선 인식 모드에서 관심 영역을 결정하는 예를 설명하기 위한 도면이다.
도 7은 객체 인식 모드에서 관심 영역을 결정하는 예를 설명하기 위한 도면이다.
도 8은 제스처 인식 모드에서 관심 영역을 결정하는 예를 설명하기 위한 도면이다.
도 9는 공간 인식 모드에서 관심 영역을 결정하는 예를 설명하기 위한 도면이다.
도 10은 획득된 이미지들의 변환 방법을 설명하기 위한 도면이다.
도 11은 관심 영역 내의 특징점을 매칭하는 방법을 설명하기 위한 도면이다.
도 12는 특징점에 대한 디스패리티(disparity) 값(d)을 산출하는 방법을 설명하기 위한 도면이다.
도 13은 관심 영역의 깊이(z)를 산출하는 방법을 설명하기 위한 도면이다.
도 14는 깊이 산출에 기초하여 깊이 맵을 생성하는 방법을 설명하기 위한 도면이다.
도 15는 일 실시 예에 따른 카메라 모듈의 촬영 방향을 변경하는 동작을 설명하기 위한 흐름도이다.
도 16은 관심 영역의 위치가 변경됨에 따라 촬영 방향을 변경하는 일 예를 설명하기 위한 도면이다.
도 17은 관심 영역의 위치가 변경됨에 따라 촬영 방향을 변경하는 다른 일 예를 설명하기 위한 도면이다.
도 18은 관심 영역의 위치가 변경됨에 따라 촬영 방향을 변경하는 또 다른 일 예를 설명하기 위한 도면이다.
도 19는 관심 영역의 크기가 변경됨에 따라 촬영 방향을 변경하는 일 예를 설명하기 위한 도면이다.
도 20은 관심 영역의 크기가 변경됨에 따라 촬영 방향을 변경하는 다른 일 예를 설명하기 위한 도면이다.
도 21은 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.
도 22는 일 실시 예에 따른 전자 장치와 외부 장치의 블록 구성도(block diagram)이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
본 개시에서, '증강 현실(AR : Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.
아울러, '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD : Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.
한편, '현실 장면(real scene)'이란 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)를 포함할 수 있다. 또한, '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
따라서, 일반적인 증강 현실 장치는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 도광판(Waveguide)을 구비한다. 전술한 바와 같이, 증강 현실 장치는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 도광판을 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 전자 장치의 동작을 개략적으로 설명하기 위한 도면이다.
일 실시 예에 따른 전자 장치(100)는 증강 현실 장치(Augmented Reality Device)일 수 있다. 예를 들어, 도 1에 도시한 바와 같이, 전자 장치(100)는, 사용자의 안면부(顔面部)에 착용 가능한 안경 형상으로 구현된 장치일 수 있다. 또한, 전자 장치(100)는 사용자의 두부(頭部)에 착용 가능한 고글, 헬멧, 모자 등의 형상으로 구현된 장치일 수 있으며, 이에 한정되는 것은 아니다.
전자 장치(100)는 증강 현실 서비스를 제공하는 경우 가상 이미지를 디스플레이에 제공할 수 있다. 전자 장치(100)가 가상 이미지를 현실 객체의 형태, 배치, 깊이 등에 어우러져 보이도록 디스플레이에 제공하기 위해서 현실 객체의 깊이를 측정할 필요가 있다. 일 실시 예에 따르면, 전자 장치(100)는 회전 가능한 복수 개의 카메라를 통해 서로 다른 시점(view point)에서 획득된 복수 개의 이미지를 이용해서 현실 객체의 깊이를 측정할 수 있다.
도 1에 도시한 바와 같이, 전자 장치(100)의 카메라 모듈(175)은 제1 카메라(171)와 제2 카메라(172)를 포함할 수 있으며, 이에 한정되지 않는다. 카메라 모듈(175)은 3개 이상의 복수 개의 회전 가능한 카메라를 포함할 수도 있다.
제1 카메라(171)와 제2 카메라(172)는 촬영 방향이 변경될 수 있도록 상하 또는 좌우뿐만 아니라 소정 각도의 방향으로 회전 가능한 구조로 전자 장치(100)의 일부 영역에 장착 또는 설치될 수 있다. 도 1에 도시된 바와 같이, 제1 카메라(171)는 안경 형상으로 구현된 전자 장치(100)의 프레임 영역 중 좌안 렌즈부의 외측 영역에 내장된 형태로, 제2 카메라(172)는 전자 장치(100)의 프레임 영역 중 우안 렌즈부의 외측 영역에 내장된 형태로 장착 또는 설치될 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 따라, 전자 장치(100)는 제1 카메라(171)와 제2 카메라(172)를 이용하여 관심 영역의 깊이를 측정할 수 있다.
일 실시 예에 따라, 관심 영역은, 이미지 내에서 깊이 측정이 요구되는 영역일 수 있다. 예를 들어, 관심 영역은, 특정 객체, 사용자의 시선이 향하는 영역, 사용자의 손이 위치한 영역, 또는 주변 공간일 수 있으며, 이에 한정되지 않는다.
일 실시 예에 따라, 관심 영역의 깊이는, 카메라 모듈(175) 또는 카메라 모듈(175)을 포함한 전자 장치(100)로부터 관심 영역까지의 Z축 상의 거리를 의미할 수 있다. 도 1에 도시된 바와 같이, 3차원 공간 상에서 X축은 전자 장치(100)를 좌우로 지나는 기준 축이고, Y축은 전자 장치(100)를 상하로 지나는 기준 축이며, Z축은 전자 장치(100)를 전후로 지나는 기준 축일 수 있다. 또한, X축, Y축 및 Z축은 서로 수직을 이룰 수 있다.
일 실시 예에 따라, 전자 장치(100)는 관심 영역의 깊이 측정을 위한 제1 카메라(171) 및 제2 카메라(172)의 촬영 방향의 조합을 결정할 수 있다.
일 실시 예에 따라, 전자 장치(100)가 제1 카메라(171)를 통해 획득되는 제1 이미지와 제2 카메라(172)를 통해 획득되는 제2 이미지를 이용하여 관심 영역(105)의 깊이를 측정하기 위해서는, 제1 이미지와 제2 이미지에 모두 관심 영역(105)이 포함되어야 한다. 도 1에 도시한 바와 같이, 제1 이미지와 제2 이미지에 모두 관심 영역(105)이 포함되기 위해, 전자 장치(100)는 깊이 측정 영역(103) 내에 관심 영역(105)이 포함되도록 제1 카메라(171) 및 제2 카메라(172)의 촬영 방향의 조합을 설정 또는 변경할 수 있다.
일 실시 예에 따라, 깊이 측정 영역은, 제1 카메라(171)와 제2 카메라(172)를 이용하여 깊이를 측정할 수 있는 3차원 영역을 의미할 수 있다. 도 1을 참조하면, 깊이 측정 영역(103)은 제1 카메라(171)를 통해 촬영 가능한 FOV(Field of view)의 3차원 공간인 제1 촬영 영역(101)과 제2 카메라(172)를 통해 촬영 가능한 FOV(Field of view)의 3차원 공간인 제2 촬영 영역(102)이 중첩되는 3차원 영역일 수 있다.
일 실시 예에 따라, 전자 장치(100)는 회전 가능한 제1 카메라(171) 및 회전 가능한 제2 카메라(172)의 다양한 촬영 방향의 조합에 따라 서로 다른 깊이 측정 영역을 산출할 수 있다. 전자 장치(100)는 메모리(130)에 미리 저장된 제1 및 2 카메라의 촬영 방향의 조합에 따라 깊이 측정이 가능한 영역을 나타내는 깊이 측정 영역에 관한 정보에 기초하여, 관심 영역의 깊이를 효율적으로 획득하기 위한 최적의 촬영 방향의 조합을 결정할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 회전 가능한 두 개의 카메라를 관심 영역의 깊이 측정을 위한 최적의 촬영 방향으로 각각 변향(變向)함으로써, 보다 정확하고 빠르게 관심 영역의 깊이 측정이 가능할 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)는 식별된 촬영 모드에 따라, 깊이 측정이 요구되는 관심 영역의 깊이를 측정함으로써 증강 현실 서비스를 제공할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 응시 지점 또는 사용자의 손 위치에 근접하게 가상 이미지를 표시할 수 있다. 또한, 전자 장치(100)는 주변 공간에 대한 깊이 맵(depth map)을 생성할 수 있다.
한편, 일 실시 예에 따르면, 전자 장치(100)는 회전 가능한 카메라를 구비함으로써, ToF(Time-of-Flight) 센서를 구비하지 않아도, 관심 영역의 깊이 측정이 가능할 수 있다. 이에 따라, 전자 장치(100)의 소형화 및 경량화가 가능할 수 있으며, ToF 센서에 포함된 적외선 또는 광을 투사하기 위한 적어도 하나의 광원으로 구성된 에미터(emitter)를 포함하지 않으므로 저전력화가 가능할 수 있다.
또한, 일 실시 예에 따르면, 전자 장치(100)는 제1 카메라(171) 및 제2 카메라(172)가 회전 가능한 최대 각도 범위의 FOV(Field of view)를 갖는 이미지들을 획득할 수 있으므로, 다양한 촬영 각도를 확보하기 위해 고정적으로 배치되는 복수 개의 카메라를 대체할 수 있다. 이에 따라, 전자 장치(100)의 소형화와 경량화가 가능할 수 있다.
도 2는 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시 예에 따른 전자 장치(100)는 제1 카메라(171)와 제2 카메라(172)를 포함하는 카메라 모듈(175), 시선 추적 센서(160), 메모리(130) 및 프로세서(120)를 포함할 수 있다. 전자 장치(100)의 프로세서(120)는, 메모리(130)에 저장된 프로그램들을 실행함으로써, 카메라 모듈(175), 시선 추적 센서(160) 등을 전반적으로 제어할 수 있다.
일 실시 예에 따른 카메라 모듈(175)은 전자 장치(100)의 주변을 촬영할 수 있다. 일 실시 예에 따른 카메라 모듈(175)은 회전 가능한 제1 카메라(171) 및 회전 가능한 제2 카메라(172)를 포함하는 두 개 이상의 카메라를 포함할 수 있다.
카메라 모듈(175)은 촬영 기능을 요구하는 애플리케이션이 실행되는 경우에 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 획득할 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
일 실시 예에 따른 카메라 모듈(175)은 회전함으로써 촬영 방향을 변경할 수 있다. 카메라 모듈(175)은 패닝(panning) 또는 틸팅(tilting)됨으로써 촬영 방향을 변경할 수 있는 하드웨어 구조를 포함할 수 있다. 카메라 모듈(175)은 상하 또는 좌우뿐만 아니라 소정의 축을 기준으로 시계 또는 반시계 방향으로 회전할 수 있다.
일 실시 예에 따라, 카메라 모듈(175)은, 프로세서(120)의 제어에 의해 소정 방향으로 소정 각도 회전함으로써 촬영 방향을 변경하여 주변을 촬영할 수 있다. 또한, 카메라 모듈(175)은, 프로세서(120)의 제어에 의해 소정 방향으로 회전하면서 전자 장치(100)의 주변을 순차적으로 촬영할 수 있다.
제1 카메라(171) 및 제2 카메라(172)는 각각 독립적으로 회전 가능한 범위 내에서 소정 방향으로 소정 각도로 회전할 수 있다.
또한, 제1 카메라(171) 및 제2 카메라(172)는 소정 범위 내에서 서로 평행한 상태를 유지하면서, 예컨대 좌측 또는 우측의 동일한 방향으로 소정 범위 내에서 동일한 각도로 회전할 수 있다. 이에 따라, 제1 카메라(171)의 제1 촬영 방향과 제2 카메라(172)의 제2 촬영 방향은, 서로 평행한 방향일 수 있다.
또한, 예를 들어, 제1 카메라(171)의 제1 촬영 방향은 전자 장치(100)의 좌안 렌즈부와 우안 렌즈부의 중심부를 향하고, 제2 카메라(172)의 제2 촬영 방향도 좌안 렌즈부와 우안 렌즈부의 중심부를 향하는 방향일 수 있다. 다시 말해, 제1 카메라(171)와 제2 카메라(172)가 각각 소정 각도로 전자 장치(100)의 중심부를 향한 방향으로 촬영할 수 있다.
일 실시 예에 따른 시선 추적 센서(160)는 사용자 눈의 시선 정보를 검출할 수 있다. 일 실시 예에 따라, 시선 정보는, 사용자 눈이 바라보는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 중 적어도 하나를 포함할 할 수 있다.
시선 추적 센서(160)는, 사용자의 눈(왼쪽 눈 또는 오른쪽 눈)에 광을 제공하고, 사용자의 눈으로부터 반사된 광량을 감지할 수 있다. 시선 추적 센서(160)는, 감지된 광량에 기초하여, 사용자의 눈의 시선 방향, 사용자 눈의 동공 위치, 동공의 중심점 좌표 등을 검출할 수 있다.
또는, 시선 추적 센서(160)는, 사용자의 눈에 광을 제공하고, 사용자의 눈을 촬영할 수 있다. 시선 추적 센서(160)는 촬영된 사용자의 눈 영상에 기초하여, 사용자의 눈의 시선 방향, 사용자 눈의 동공 위치, 동공의 중심점 좌표 등을 검출할 수 있다.
일 실시 예에 따라, 시선 추적 센서(160)는 미리 정해진 시간 간격으로 전자 장치(100)를 착용 중인 사용자의 눈을 센싱함으로써, 사용자의 시선 정보를 획득할 수 있다.
일 실시 예에 따른 메모리(130)는 프로세서(120)에 의해 실행될 프로그램을 저장할 수 있고, 전자 장치(100)로 입력되거나 전자 장치(100)로부터 출력되는 데이터를 저장할 수 있다.
메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(130)에 저장된 프로그램들은 그 기능에 따라 복수 개의 소프트웨어 모듈들로 분류할 수 있는데, 예를 들어, 깊이 측정 영역 산출 모듈(131), 촬영 모드 식별 모드(132), 관심 영역 결정 모듈(133), 촬영 방향 결정 모듈(134), 촬영 모듈(135), 이미지 처리 모듈(136), 깊이 산출 모듈(137), 시선 인식 모듈(138), 제스처 인식 모듈(139), 객체 인식 모듈(140), 공간 인식 모듈(141)을 포함할 수 있으나, 이에 한정되는 것은 아니며, 이 중 일부를 저장하거나 다른 소프트웨어 모듈을 더 포함할 수 있다.
또한, 일 실시 예에 따라, 메모리(130)는 후술하는 깊이 측정 영역 산출 모듈(131)에 의해 산출된 깊이 측정 영역에 관한 정보를 저장할 수 있다. 메모리(130)는 제1 카메라(171) 및 제2 카메라(172)의 촬영 방향의 다양한 조합 별로 산출된 깊이 측정 영역에 관한 정보를 테이블 형태로 저장할 수 있다. 또한, 메모리(130)는 깊이 측정 영역에 대응하는 제1 카메라(171) 및 제2 카메라(172)의 촬영 방향의 조합을 검출하는 알고리즘을 저장할 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(120)는, 메모리(130)에 저장된 명령어들이나 프로그램들을 실행함으로써, 전자 장치(100)가 수행하는 동작이나 기능을 제어할 수 있다. 예를 들어, 프로세서(120)는 제1 카메라(171)와 제2 카메라(172)를 포함하는 카메라 모듈(175), 시선 추적 센서(160) 등을 전반적으로 제어할 수 있다.
일 실시 예에 따라, 프로세서(120)는 하나 또는 복수의 프로세서로 구성될 수 있다. 프로세서(120)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
프로세서(120)는 메모리(130)에 저장된 깊이 측정 영역 산출 모듈(131)을 실행함으로써, 제1 카메라(171) 및 제2 카메라(172)에 의해 촬영 가능한 복수의 촬영 방향의 조합에 따라 깊이 측정이 가능한 영역을 산출할 수 있다.
프로세서(120)는 제1 카메라(171) 및 제2 카메라(172)의 촬영 방향의 다양한 조합 별로 산출된 깊이 측정 영역에 관한 정보를 테이블 형태로 메모리(130)에 저장할 수 있다. 또한, 프로세서(120)는 깊이 측정 영역에 대응하는 제1 카메라(171) 및 제2 카메라(172)의 촬영 방향의 조합을 검출하는 알고리즘을 메모리(130)에 저장할 수 있다.
일 실시 예에 따라, 깊이 측정 영역은, 제1 카메라(171)를 통해 촬영 가능한 FOV(Field of view)의 3차원 공간인 제1 촬영 영역과 제2 카메라(172)를 통해 촬영 가능한 FOV(Field of view)의 3차원 공간인 제2 촬영 영역이 중첩되는 3차원 영역일 수 있다.
프로세서(120)는 제1 촬영 영역과 제2 촬영 영역이 중첩되는 영역을 산출하기 위한 미리 저장된 알고리즘(예컨대, 소정 충돌 처리 알고리즘)에 기초하여, 제1 카메라(171)의 제1 촬영 방향에서의 제1 촬영 영역(101, 도 1 참조), 제2 카메라(172)의 제2 촬영 방향에서의 제2 촬영 영역(102, 도 1 참조)과 제1 카메라(171) 및 제2 카메라(172) 사이의 간격을 나타내는 베이스라인(baseline) 값을 이용하여, 깊이 측정 영역(103, 도 1 참조)을 산출할 수 있다.
또한, 제1 카메라(171)의 제1 촬영 영역(101, 도 1)은, 제1 카메라(171)의 미리 정해진 화각에 기초하여 산출된 FOVX(horizontal FOV), FOVY(vertical FOV), 제1 카메라(171)의 미리 정해진 픽셀(pixel) 크기를 이용하여 산출될 수 있다. 또한, 제2 카메라(172)의 제2 촬영 영역(102, 도 1)은, 제2 카메라(172)의 미리 정해진 화각에 기초하여 산출된 FOVX(horizontal FOV), FOVY(vertical FOV), 제2 카메라(172)의 미리 정해진 픽셀(pixel) 크기를 이용하여 산출될 수 있다.
프로세서(120)는 메모리(130)에 저장된 촬영 모드 식별 모드(132)를 실행함으로써, 카메라 모듈(175)의 촬영 모드를 식별할 수 있다.
카메라 모듈(175)의 촬영 모드는, 예를 들어, 사용자의 시선 방향의 객체를 추적하기 위한 시선 인식 모드, 전자 장치(100) 주변의 특정 객체를 추적하기 위한 객체 인식 모드, 사용자의 제스처를 인식하기 위한 제스처 인식 모드, 또는 전자 장치(100) 주변의 공간을 인식하기 위한 공간 인식 모드 중 적어도 하나를 포함할 수 있다.
프로세서(120)는 기 설정된 기준에 따라 카메라 모듈(175)의 촬영 모드를 식별할 수 있다.
예를 들어, 전자 장치(100)의 전원이 켜지거나 전자 장치(100)가 비활성화 상태에서 활성화되면, 프로세서(120)는 카메라 모듈(175)의 촬영 모드를 제스처 인식 모드로 식별할 수 있다. 또한, 예를 들어, 프로세서(120)는 제스처 인식 모드에서 사용자의 제스처를 인식하고 인식된 제스처에 따라 카메라 모듈(175)의 촬영 모드를 변경할 수 있다. 프로세서(120)는 제스처에 대응되는 애플리케이션을 실행하고, 실행된 애플리케이션이 요구하는 촬영 모드에 따라 카메라 모듈(175)의 촬영 모드를 변경할 수 있다.
또는, 예를 들어, 전자 장치(100)의 전원이 켜지거나 전자 장치(100)가 비활성화 상태에서 활성화되면, 프로세서(120)는 카메라 모듈(175)의 촬영 모드를 공간 인식 모드로 식별할 수 있다.
또한, 예를 들어, 프로세서(120)는 전자 장치(100)에 대한 기 설정된 사용자 입력이 수신되면, 카메라 모듈(175)의 촬영 모드를 시선 인식 모드, 객체 인식 모드, 제스처 인식 모드, 또는 공간 인식 모드 중 적어도 하나로 식별할 수 있다.
또한, 일 실시 예에 따라, 프로세서(120)는 제1 카메라(171)의 촬영 모드와 제2 카메라(172)의 촬영 모드를 서로 다르게 식별할 수 있다. 예를 들어, 프로세서(120)는 제1 카메라(171)의 촬영 모드는 시선 인식 모드로 식별하고, 제2 카메라(172)의 촬영 모드는 공간 인식 모드로 식별할 수 있다.
또한, 일 실시 예에 따라, 프로세서(120)는 미리 설정된 순서 및 시간 간격에 따라, 시선 인식 모드, 객체 인식 모드, 제스처 인식 모드, 또는 공간 인식 모드 중 어느 하나로 순차적으로 소정 시간 간격에 따라 변경되는 촬영 모드를 식별할 수 있다. 이러한 경우, 프로세서(120)는 하나의 촬영 모드에서 다른 촬영 모드로 변경되는 시점에 종료되는 촬영 모드에서의 관심 영역에 관한 정보(예컨대, 객체 인식 모드에서 추적 중인 객체의 최종 위치, 시선 추적 모드에서 최종 응시 지점 등)를 저장하고, 이후, 미리 설정된 주기에 따라 동일 촬영 모드가 재개될 때, 저장된 관심 영역에 관한 정보에 기초하여 촬영 모드를 재개할 수 있다.
프로세서(120)는 메모리(130)에 저장된 관심 영역 결정 모듈(133)을 실행함으로써, 깊이 측정이 요구되는 관심 영역을 결정할 수 있다.
일 실시 예에 따라, 프로세서(120)는 실행 중인 기능에 따라 관심 영역을 결정할 수 있다. 프로세서(120)는 소정 애플리케이션 실행에 따라, 관심 영역을 결정할 수 있다. 예를 들어, 관심 영역은, 특정 객체, 사용자의 시선이 향하는 영역, 사용자의 손이 위치한 영역, 또는 주변 공간일 수 있으며, 이에 한정되지 않는다.
또한, 일 실시 예에 따라, 프로세서(120)는 카메라 모듈(175)의 촬영 모드를 식별하고 식별된 촬영 모드에 따라 관심 영역을 결정할 수 있다.
예를 들어, 프로세서(120)는 카메라 모듈(175)의 촬영 모드가 시선 인식 모드로 식별됨에 따라, 사용자의 응시 지점에 기초하여 관심 영역을 결정할 수 있다. 프로세서(120)는, 시선 인식 모듈(138)의 실행에 의해 시선 추적 센서(160)를 통해 획득되는 시선 정보에 기초하여 응시 지점에 관한 정보를 획득할 수 있다. 또한, 프로세서(120)는 응시 지점에 기초하여 관심 영역을 결정할 수 있다. 예를 들어, 관심 영역은, 사용자가 응시하는 응시 지점을 중심으로 기 설정된 주변 영역일 수 있다. 또한, 프로세서(120)는 시선 인식 모드 실행 중 사용자의 응시 지점을 추적하면서, 변경되는 응시 지점에 따라 관심 영역을 변경하여 결정할 수 있다.
또한, 예를 들어, 프로세서(120)는 카메라 모듈(175)의 촬영 모드가 객체 인식 모드로 식별됨에 따라, 미리 정해진 타겟 객체에 기초하여 관심 영역을 결정할 수 있다. 프로세서(120)는 객체 인식 모듈(139)의 실행에 의해 소정 객체 추적 알고리즘을 이용하여, 카메라 모듈(175)에 의해 촬영된 이미지로부터 미리 정해진 타겟 객체를 인식할 수 있다. 예를 들어, 관심 영역은, 타겟 객체로 결정될 수 있다. 또한, 프로세서(120)는 객체 인식 모드 실행 중 소정 객체 추적 알고리즘을 이용하여 타겟 객체의 위치, 방향, 깊이 등을 검출함으로써 타겟 객체의 이동을 추적하면서, 이동하는 타겟 객체의 위치에 따라 관심 영역을 변경하여 결정할 수 있다.
또한, 예를 들어, 프로세서(120)는 카메라 모듈(175)의 촬영 모드가 제스처 인식 모드로 식별됨에 따라, 사용자 손을 인식하고 손의 위치에 기초하여 관심 영역을 결정할 수 있다. 예를 들어, 프로세서(120)는 제스처 인식 모듈(140)의 실행에 따라 카메라 모듈(175)에 의해 촬영된 이미지로부터 사용자의 손을 인식할 수 있다. 예를 들어, 관심 영역은, 사용자의 손의 위치로 결정될 수 있다. 또한, 프로세서(120)는 제스처 인식 모드 실행 중 사용자의 손의 위치가 변경됨에 따라, 변경되는 손의 위치에 따라 관심 영역을 변경하여 결정할 수 있다.
또한, 예를 들어, 프로세서(120)는 카메라 모듈(175)의 촬영 모드가 공간 인식 모드로 식별됨에 따라, 카메라 모듈(175)에 의해 촬영 가능한 각도에 포함되는 주변 공간을 관심 영역으로 결정할 수 있다.
프로세서(120)는 메모리(130)에 저장된 촬영 방향 결정 모듈(134)을 실행함으로써, 관심 영역의 깊이 측정을 위한 제1 카메라(171)와 제2 카메라(172)의 촬영 방향의 조합을 결정할 수 있다.
일 실시 예에 따라, 전자 장치(100)는, 미리 정해진 제1 카메라(171)와 제2 카메라(172)의 촬영 방향의 조합에 기초하여 제1 및 2 카메라(171, 172)가 변향되도록 제어할 수 있다. 예를 들어, 전자 장치(100)는 카메라 모듈(175)의 구동 시, 제1 카메라(171)와 제2 카메라(172)가 정면 방향을 향해 평행한 상태를 디폴트 촬영 방향으로 결정할 수 있다.
또한, 전자 장치(100)는 깊이 측정이 요구되는 소정 애플리케이션이 실행됨에 따라, 관심 영역(예컨대, 특정 타겟 객체, 사용자의 시선이 향하는 객체, 사용자의 손 등)을 향하도록 제1 카메라(171)와 제2 카메라(172)의 촬영 방향의 조합을 결정할 수 있다.
또한, 전자 장치(100)는 카메라 모듈(175)의 촬영 모드를 식별하고 촬영 모드에 따라 미리 설정된 제1 카메라(171)와 제2 카메라(172)의 촬영 방향의 조합에 기초하여 촬영 방향을 결정할 수 있다. 예를 들어, 전자 장치(100)는 식별된 촬영 모드에 따라, 예컨대, 시선 인식 모드에서는 사용자 시선이 향하는 응시 지점을 향해 제1 카메라(171)와 제2 카메라(172)가 평행한 상태를 촬영 방향으로 결정할 수 있다. 또한, 전자 장치는, 예컨대, 제스처 인식 모드에서는 제1 및 2 카메라(171, 172)가 사용자의 손이 위치할 수 있는 전자 장치(100)에 근접한 하향 방향으로 좁혀진 상태를 촬영 방향으로 결정할 수 있다.
또한, 프로세서(120)는 관심 영역의 적어도 일부가 제1 및 2 카메라(171, 172)의 촬영 방향의 조합에 대응하는 깊이 측정 영역의 외부임을 판단함에 따라, 변경할 촬영 방향의 조합을 결정할 수 있다. 프로세서(120)는 미리 산출된 깊이 측정 영역에 관한 정보에 기초하여, 관심 영역을 포함하는 적어도 하나의 깊이 측정 영역에 대응하는 촬영 방향의 조합을 결정할 수 있다.
일 실시 예에 따라, 깊이 측정 영역에 관한 정보는, 제1 및 제2 카메라(171, 172)에 의해 촬영 가능한 복수의 촬영 방향의 조합에 따라 깊이 측정이 가능한 영역을 나타내는 정보로서, 깊이 측정 영역 산출 모듈(131)에 의해 산출될 수 있다.
프로세서(120)는 메모리(130)에 저장된 촬영 모듈(135)을 실행함으로써, 카메라 모듈(175)을 통해 전자 장치(100)의 주변을 촬영함으로써 이미지를 획득할 수 있다.
프로세서(120)는 촬영 방향 결정 모듈(134)에 의해 결정된 촬영 방향의 조합에 기초하여 제1 카메라(171) 및 제2 카메라(172)가 변향(變向)되도록 제어함으로써 전자 장치(100)의 주변을 촬영할 수 있다. 또한, 프로세서(120)는, 촬영 방향 결정 모듈(134)에 의해 촬영 방향의 조합이 변경됨에 따라 제1 카메라(171) 및 제2 카메라(172) 각각의 촬영 방향이 변경되도록 제어함으로써, 전자 장치(100)의 주변을 촬영할 수 있다. 이에 따라, 프로세서(120)는 관심 영역을 각각 포함하는 복수 개의 이미지를 획득할 수 있다.
프로세서(120)는 메모리(130)에 저장된 이미지 처리 모듈(136)을 실행함으로써, 촬영 모듈(135)에 의해 획득된 이미지를 변환할 수 있다.
일 실시 예에 따라, 제1 카메라(171) 및 제2 카메라(172)는 안경 형상으로 구현된 전자 장치(100)의 프레임 영역 중 양 렌즈부의 외측 영역에 각각 내장된 형태로 장착될 수 있다. 이에 따라, 제1 카메라(171) 및 제2 카메라(172)에 의해 촬영된 복수의 이미지에 각각 포함된 관심 영역의 깊이를 측정하기 위해서는, 복수의 이미지가 제1 카메라(171)와 제2 카메라(172)가 서로 평행하게 배치된 상태에서 촬영되었을 때를 가정하여 획득 가능한 이미지로 변환 처리가 필요하다.
프로세서(120)는 제1 카메라(171)에 의해 획득된 제1 이미지 상의 제1 특징점과 제2 카메라(172)에 의해 획득된 제2 이미지 상의 제2 특징점의 매칭에 기초하여, 제1 이미지와 제2 이미지를 제1 카메라(171)와 제2 카메라(172)가 서로 평행하게 배치된 상태에서 촬영되었을 이미지로 변환할 수 있다. 프로세서(120)는 변환된 복수 개의 이미지를 이용하여, 복수 개의 이미지에 포함된 관심 영역의 깊이를 획득할 수 있다.
프로세서(120)는 메모리(130)에 저장된 깊이 산출 모듈(137)을 실행함으로써, 관심 영역의 깊이를 획득할 수 있다. 프로세서(120)는 이미지 처리 모듈(136)에 의해 변환된 제1 및 2 이미지를 이용하여 관심 영역의 깊이를 획득할 수 있다.
프로세서(120)는, 스테레오 비전 방식에 기초하여, 제1 및 제2 이미지로부터 대응되는 특징점을 추출하여 관심 영역의 깊이를 산출할 수 있다. 프로세서(120)는, 추출된 특징점에 대한 디스패리티(disparity) 값, 제1 카메라(171)와 제2 카메라(172) 사이의 거리를 나타내는 베이스라인(baseline) 값, 카메라 모듈(175)의 초점 거리를 이용하여, 제1 및 2 이미지에 포함된 관심 영역의 깊이를 산출할 수 있다.
또한, 프로세서(120)는 이미지 내의 관심 영역의 깊이를 산출함으로써, 깊이 맵(depth map)을 생성할 수 있다. 깊이 맵(depth map)은 이미지 내에 존재하는 공간 또는 객체들의 3차원 거리 정보를 나타내는 이미지로서, 이미지 내의 각 화소값은 해당 화소의 깊이에 관한 정보를 나타낼 수 있다. 깊이에 관한 정보는, 시점(view point)로부터 특정 화소에 대응되는 공간까지의 거리를 나타내는 값일 수 있다. 깊이 맵은 시점(view point)으로부터 먼 부분과 가까운 부분을 구별되게 나타낼 수 있다. 예를 들어, 깊이 맵에서, 사용자의 시점에서 먼 부분으로부터 가까운 부분까지가 흰색에서 검정색으로 점점 어두워지도록 그라데이션 방식으로 표시될 수 있다. 이에 따라, 전자 장치(100)의 주변 공간 내의 객체들의 형상 및 깊이가 깊이 맵에서 구별되게 표현될 수 있다.
또한, 프로세서(120)는 인공지능 모델을 이용하여, 관심 영역의 깊이를 획득할 수 있다. 프로세서(120)는 복수의 이미지들로부터 관심 영역의 깊이를 산출하도록 학습된 인공지능 모델에 카메라 모듈(175)에 의해 획득된 복수의 이미지들을 입력함으로써, 관심 영역의 깊이에 관한 정보를 획득할 수 있다.
또한, 인공지능 모델로부터 획득되는 관심 영역의 깊이 정보는 깊이 산출 모듈(137)에 의해 산출된 깊이를 검증하는데 이용될 수 있으나, 이에 제한되지 않는다. 또한, 카메라 모듈(137)을 통해 촬영된 이미지들 및 깊이 산출 모듈(137)에 의해 산출된 깊이 정보는, 깊이 산출을 위해 학습된 인공지능 모델을 업데이트하는데 이용될 수 있다.
프로세서(120)는 메모리(130)에 저장된 시선 인식 모듈(138)을 실행함으로써, 카메라 모듈(175)의 촬영 모드를 시선 인식 모드로 동작시킬 수 있다.
프로세서(120)는 시선 인식 모듈(138)을 실행함으로써, 시선 추적 센서(160)를 통해 사용자의 시선 정보를 획득할 수 있다. 프로세서(120)는 시선 정보에 기초하여, 응시 지점에 관한 정보를 획득할 수 있다. 프로세서(120)는 응시 지점에 기초하여 관심 영역을 결정함으로써, 사용자의 시선이 향하는 관심 영역의 깊이를 측정할 수 있다.
또한, 프로세서(120)는 사용자의 시선 이동에 따라 응시 지점이 변경되면, 변경된 응시 지점을 포함하는 관심 영역의 깊이 측정이 가능하도록, 제1 카메라(171) 및 제2 카메라(172)의 촬영 방향을 변경하도록 제어할 수 있다. 이에 따라, 프로세서(120)는 사용자의 시선이 향하는 응시 지점을 추적하면서 관심 영역의 깊이를 측정할 수 있다.
프로세서(120)는 메모리(130)에 저장된 객체 인식 모듈(139)을 실행함으로써, 카메라 모듈(175)의 촬영 모드를 객체 인식 모드로 동작시킬 수 있다.
프로세서(120)는 객체 인식 모듈(139)을 실행함으로써, 소정 객체 추적 알고리즘을 이용하여, 카메라 모듈(175)의 구동에 의해 획득되는 이미지로부터 미리 정해진 타겟 객체를 인식할 수 있다. 프로세서(120)는 타겟 객체를 관심 영역으로 결정함으로써 타겟 객체의 깊이를 측정할 수 있다.
또한, 프로세서(120)는 사용자의 타겟 객체가 이동함에 따라, 변경된 타겟 객체의 위치에 기초하여 타겟 객체의 깊이 측정이 가능하도록, 제1 카메라(171) 및 제2 카메라(172)의 촬영 방향을 변경하도록 제어할 수 있다. 이에 따라, 프로세서(120)는 타겟 객체의 이동을 추적하면서, 타겟 객체를 포함하는 관심 영역의 깊이를 측정할 수 있다.
프로세서(120)는 메모리(130)에 저장된 제스처 인식 모듈(140)을 실행함으로써, 카메라 모듈(175)의 촬영 모드를 제스처 인식 모드로 동작시킬 수 있다.
프로세서(120)는 제스처 인식 모듈(140)을 실행함으로써, 사용자 손의 위치를 인식할 수 있다. 프로세서(120)는 손의 위치한 영역을 관심 영역으로 결정함으로써 손이 위치한 영역의 깊이를 측정할 수 있다.
또한, 프로세서(120)는 사용자의 손의 위치가 이동함에 따라, 변경된 손의 위치에 기초하여 손이 위치한 영역의 깊이 측정이 가능하도록, 제1 카메라(171) 및 제2 카메라(172)의 촬영 방향을 변경하도록 제어할 수 있다. 이에 따라, 프로세서(120)는 손의 위치 이동을 추적하면서, 손이 위치한 영역의 깊이를 측정할 수 있다.
프로세서(120)는 메모리(130)에 저장된 공간 인식 모듈(141)을 실행함으로써, 카메라 모듈(175)의 촬영 모드를 공간 인식 모드로 동작시킬 수 있다.
프로세서(120)는 공간 인식 모듈(141)을 실행함으로써, 전자 장치(100) 주변의 공간을 인식할 수 있다. 프로세서(120)는 카메라 모듈(175)에 의해 촬영 가능한 각도에 포함되는 주변 공간을 관심 영역으로 결정함으로써 전자 장치(100) 주변 공간의 깊이를 측정할 수 있다.
프로세서(120)는 미리 설정된 시간 간격, 미리 설정된 방향 및 각도에 따라 제1 카메라(171) 및 제2 카메라(172)를 회전하도록 제어하면서 주변 공간을 촬영함으로써 복수의 이미지들을 획득할 수 있다. 이에 따라, 프로세서(120)는 주변 공간을 포함하는 복수의 이미지들을 이용하여 주변 공간에 대한 깊이 맵(depth map)을 생성할 수 있다.
도 3은 일 실시 예에 따른 전자 장치 내의 카메라 모듈이 회전하는 예를 설명하기 위한 도면이다.
일 실시 예에 따라 카메라 모듈(175, 도1)은 안경 형상으로 구현된 전자 장치(100)의 프레임 영역 중 좌안 렌즈부의 외측 영역에 내장된 제1 카메라(171)와 전자 장치(100)의 프레임 영역 중 우안 렌즈부의 외측 영역에 내장된 제2 카메라(172)를 포함할 수 있다. 제1 카메라(171) 및 제2 카메라(172)는 동일한 구조를 가지며, 동일한 방식으로 동작하므로, 도 3에서는, 제1 카메라(171)를 기준으로 설명하기로 한다.
도 3은 전자 장치(100)에 내장된 제1 카메라(171)의 상단부(175a)와 측면부(175b)의 구조를 개략적으로 나타내기 위한 도면으로, 이에 제한되지 않는다.
도 3을 참조하면, 제1 카메라(171)는 회전 중심(31)을 중심으로 소정 방향으로 소정 각도 패닝(panning) 또는 틸팅(tilting)될 수 있는 구조로 전자 장치(100)에 장착될 수 있다. 예를 들어, 제1 카메라(171)는 회전 가능한 구조로 장착된 렌즈부와 회전하는 렌즈부의 균형을 잡아주는 중심축 역할을 하는 피벗(pivot)을 포함할 수 있다. 이에 따라, 제1 카메라(171)는 회전 중심(31)을 중심으로 소정 방향으로 소정 각도 기울거나, 시계 또는 반시계 방향으로 회전할 수 있다.
도 3의 카메라 모듈(175)은 일 예를 도시한 것으로 이에 한정되지 않으며, 제1 카메라(171)는 촬영 방향의 변경을 위해 회전 가능한 구조로 전자 장치(100)에 장착될 수 있다.
도 4는 일 실시 예에 따른 전자 장치가 회전 가능한 제1 및 2 카메라를 이용하여 관심 영역의 깊이를 획득하는 동작을 설명하기 위한 흐름도이다.
도 4의 S401에서, 전자 장치(100)는 실행 중인 기능에 따라 관심 영역을 결정할 수 있다.
일 실시 예에 따라 관심 영역은, 이미지 내에서 깊이 측정이 요구되는 영역을 의미할 수 있다. 전자 장치(100)는 소정 애플리케이션 실행에 따라, 관심 영역을 결정할 수 있다. 예를 들어, 전자 장치(100)는 깊이 측정이 요구되는 애플리케이션이 실행됨에 따라, 특정 객체, 사용자의 시선이 향하는 객체, 사용자의 손, 또는 주변 공간 등을 관심 영역으로 결정할 수 있다.
또한, 전자 장치(100)는 카메라 모듈(175)의 촬영 모드를 식별하고 촬영 모드에 따라 관심 영역을 결정할 수 있다. 예를 들어, 전자 장치(100)는 객체 인식 모드 실행 시, 타겟 객체가 위치한 영역을 관심 영역으로 결정할 수 있다.
도 4의 S402에서, 전자 장치(100)는 미리 정해진 제1 카메라 및 제2 카메라의 촬영 방향의 조합에 기초하여 제1 및 2 카메라가 변향되도록 제어함으로써, 관심 영역을 각각 포함하는 두 개 이상의 이미지를 획득할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 미리 설정된 디폴트 촬영 방향에 기초하여 촬영되도록 제1 및 2 카메라(171, 172)를 제어할 수 있다. 또한, 전자 장치(100)는 소정 애플리케이션이 실행됨에 따라 요구되는 촬영 방향에 기초하여 제1 및 2 카메라(171, 172)를 제어할 수 있다. 또한, 전자 장치(100)는 촬영 모드를 식별하고 촬영 모드에 대응하여 미리 설정된 촬영 방향에 기초하여 제1 및 2 카메라(171, 172)를 제어할 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)는 관심 영역의 적어도 일부가 제1 및 2 카메라의 촬영 방향의 조합에 대응하는 깊이 측정 영역의 외부로 판단됨에 따라, 변경할 촬영 방향의 조합을 결정할 수 있다. 전자 장치(100)는 미리 산출된 깊이 측정 영역에 관한 정보에 기초하여, 관심 영역을 포함할 수 있는 적어도 하나의 깊이 측정 영역에 대응하는 촬영 방향의 조합을 결정할 수 있다. 전자 장치(100)는 결정된 촬영 방향의 조합에 기초하여 제1 및 2 카메라(171, 172)가 변향되도록 제어할 수 있다.
이에 따라, 전자 장치(100)는 제1 카메라(171) 및 제2 카메라(172)에 의해 촬영된 적어도 두 개 이상의 이미지를 획득할 수 있다.
도 4의 S403에서, 전자 장치(100)는 획득된 두 개 이상의 이미지를 이용하여 관심 영역의 깊이를 획득할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 획득된 이미지를 제1 카메라와 제2 카메라가 서로 평행하게 배치된 상태에서 촬영되었을 때를 가정하여 획득 가능한 이미지로 변환할 수 있다. 전자 장치(100)는 변환된 이미지를 이용하여 관심 영역의 깊이를 획득할 수 있다.
일 실시 예에 따라, 전자 장치(100)는, 두 개 이상의 이미지를 이용하여, 스테레오 비전 방식에 기초하여 관심 영역의 깊이를 산출할 수 있다. 또한, 전자 장치(100)는 복수의 이미지들로부터 관심 영역의 깊이를 산출하도록 학습된 인공지능 모델을 이용하여, 관심 영역의 깊이를 획득할 수 있다.
도 5는 촬영 모드에 따라 관심 영역을 결정하는 방법을 설명하기 위한 흐름도이다.
도 5의 S501에서, 전자 장치(100)는 카메라 모듈의 촬영 모드를 식별할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 전자 장치(100)에서 실행 중인 촬영 모드를 식별할 수 있다. 예를 들어, 촬영 모드는, 시선 인식 모드, 객체 인식 모드, 제스처 인식 모드, 또는 공간 인식 모드 중 적어도 하나를 포함할 수 있다.
S502에서, 전자 장치(100)는 식별된 촬영 모드에 따라 관심 영역을 결정할 수 있다.
일 실시 예에 따라 전자 장치(100)는 복수의 촬영 모드 중 실행 중인 촬영 모드에 따라 깊이 측정이 요구되는 영역을 관심 영역으로 결정하고, 결정된 관심 영역의 깊이를 측정할 수 있다.
도 6은 시선 인식 모드에서 관심 영역을 결정하는 예를 설명하기 위한 도면이다.
도 6을 참조하면, 일 실시 예에 따라 전자 장치(100)는 한쪽 눈의 시선을 추적하기 위한 제1 시선 추적 센서(161)와 다른 한쪽 눈의 시선을 추적하기 위한 제2 시선 추적 센서(162)를 포함할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 시선 인식 모드 실행 시, 사용자 양안의 시선을 추적하기 위한 시선 추적 센서(160, 도2)를 이용하여 시선 정보를 획득할 수 있다. 일 실시 예에 따라, 시선 정보는, 사용자의 눈의 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 중 적어도 하나를 포함할 수 있다.
전자 장치(100)는 시선 정보에 기초하여 응시 지점에 관한 정보를 획득할 수 있다. 일 실시 예에 따라, 응시 지점에 관한 정보는, 응시 지점에 관한 2차원 위치 정보를 포함할 수 있다. 일 실시 예에 따라, 2차원 위치 정보는, 사용자가 응시하고 있는 응시 지점의 2차원 좌표 정보(예를 들어, x 좌표 값, y 좌표 값)를 의미할 수 있다.
전자 장치(100)는 응시 지점에 기초하여 관심 영역을 결정할 수 있다. 예를 들어, 관심 영역은, 사용자가 응시하는 응시 지점 및 응시 지점을 중심으로 기 설정된 주변 영역을 의미할 수 있다. 도 6을 참조하면, 전자 장치(100)는 사용자의 양안이 응시하고 있는 응시 지점(601)과 응시 지점(601) 중심으로 기 설정된 주변 영역(602)을 관심 영역으로 결정할 수 있다.
도 7은 객체 인식 모드에서 관심 영역을 결정하는 예를 설명하기 위한 도면이다.
일 실시 예에 따라, 전자 장치(100)는 객체 인식 모드 실행에 따라, 미리 정해진 타겟 객체를 관심 영역으로 결정할 수 있다. 전자 장치(100)는 객체 인식 모드에 대응하여 미리 설정된 촬영 방향에 따라 제1 및 2 카메라(171, 172)를 제어함으로써 이미지를 획득할 수 있다. 예를 들어, 전자 장치(100)는 제1 및 2 카메라(171, 172)가 평행한 상태로 정면을 향하도록 제1 및 2 카메라(171, 172)를 제어할 수 있다.
전자 장치(100)는 소정 객체 추적 알고리즘을 이용하여, 제1 및 2 카메라 (171, 172)에 의해 획득되는 이미지로부터 미리 정해진 타겟 객체를 인식할 수 있다. 도 7을 참조하면, 전자 장치(100)는 미리 정해진 타겟 객체 예컨대, 화분을 인식하고, 화분(701)를 관심 영역으로 결정할 수 있다.
도 8은 제스처 인식 모드에서 관심 영역을 결정하는 예를 설명하기 위한 도면이다.
일 실시 예에 따라, 전자 장치(100)는 제스처 인식 모드 실행 시, 사용자의 손이 위치한 영역을 관심 영역으로 결정할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 제스처 인식 모드에 대응하여 미리 설정된 촬영 방향의 조합에 기초하여 제1 및 2 카메라(171, 172)를 제어할 수 있다. 예를 들어, 전자 장치(100)는 전자 장치(100)의 중심부를 향하면서 근거리 촬영이 가능한 촬영 방향에 기초하여 제1 및 2 카메라(171, 172)가 변향되도록 제어할 수 있다. 전자 장치(100)는 사용자의 손이 위치한 영역을 인식하고 손이 위치한 영역(801)을 관심 영역으로 결정할 수 있다.
도 9는 공간 인식 모드에서 관심 영역을 결정하는 예를 설명하기 위한 도면이다.
일 실시 예에 따라, 전자 장치(100)는 공간 인식 모드 실행 시, 카메라 모듈(175)에 의해 촬영 가능한 각도에 포함되는 주변의 공간을 관심 영역으로 결정할 수 있다.
전자 장치(100)는 미리 설정된 시간 간격, 미리 설정된 방향 및 각도에 따라 제1 카메라(171) 및 제2 카메라(172)를 회전하도록 제어하면서 주변 공간을 촬영하고 주변 공간(901, 902, 903, 904)을 관심 영역으로 결정할 수 있다.
도 10은 획득된 이미지들의 변환 방법을 설명하기 위한 도면이다.
일 실시 예에 따라, 전자 장치(100)는 제1 카메라(171)와 제2 카메라(172)에 의해 촬영된 복수의 이미지를 이용하여 관심 영역의 깊이를 측정하기 위해, 복수의 이미지를 제1 카메라(171)와 제2 카메라(172)가 서로 평행하게 배치된 상태에서 촬영되었을 때를 가정하여 획득 가능한 이미지로 변환 처리할 수 있다.
도 10을 참조하면, 전자 장치(100)는 제1 카메라(171)에 의해 촬영된 제1 이미지(1001) 상의 제1 특징점들(1003, 1005, 1007)을 추출할 수 있다. 또한, 전자 장치(100)는 제2 카메라(172)에 의해 촬영된 제2 이미지(1002) 상에서 제1 특징점들(1003, 1005, 1007)과 매칭되는 제2 특징점들(1004, 1006, 1008)을 식별할 수 있다. 전자 장치(100)는 제2 이미지(1002)에 포함된 공간 또는 객체 상에서 제1 이미지(1001)에 포함된 공간 또는 객체 상의 제1 특징점들(1003, 1005, 1007)과 동일한 지점을 나타내는 제2 특징점들(1004, 1006, 1008)들을 식별할 수 있다.
전자 장치(100)는 제1 특징점들(1003, 1005, 1007)과 제2 특징점들(1004, 1006, 1008)의 매칭에 기초하여, 제1 카메라(171) 및 제2 카메라(172) 사이의 간격을 나타내는 베이스라인(baseline) 값(b)을 유지하면서, 제1 이미지(1001)와 제2 이미지(1002)를 제1 카메라(171)와 제2 카메라(172)가 서로 평행하게 배치된 상태를 가정하여 획득 가능한 이미지로 변환할 수 있다.
도 10에서 도시한 제1 특징점들(1003, 1005, 1007)과 제2 특징점들(1004, 1006, 1008)은 일 예시를 도시한 것으로 이에 한정되지 않는다. 전자 장치(100)는 소정 이미지 처리 알고리즘을 이용하여 제1 이미지(1001) 및 제2 이미지(1002)에 포함된 공간 또는 객체 상에서 소정 개수의 특징점들을 매칭시킬 수 있다.
도 11은 관심 영역 내의 특징점을 매칭하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따라, 전자 장치(100)는 제1 카메라(171)와 제2 카메라(172)가 서로 평행하게 배치된 상태에서 획득 가능한 이미지로 변환된 제1 이미지(1101)와 제2 이미지(1102)를 이용해서, 제1 이미지(1101)와 제2 이미지(1102)에 포함된 관심 영역의 깊이를 획득할 수 있다.
도 11을 참조하면, 전자 장치(100)는 제1 이미지(1101) 상의 관심 영역(1103) 중에서 제1 특징점(1105)을 추출하고, 제2 이미지(1102) 상의 관심 영역(1104) 중에서, 제1 특징점(1105)과 매칭되는 제2 특징점(1106)을 추출할 수 있다. 전자 장치(100)는 제2 이미지(1102)상에서 제1 특징점(1105)과 실제 공간 상의 동일한 지점을 나타내는 제2 특징점(1106)을 추출할 수 있다.
도 12는 특징점에 대한 디스패리티(disparity) 값(d)을 산출하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따라, 전자 장치(100)는 제1 이미지(1101) 상의 제1 특징점(1105)과 제2 이미지(1102) 상의 제2 특징점(1106) 간의 디스패리티(disparity) 값(d)을 산출할 수 있다. 디스패리티 값(d)은 두 개의 이미지 중에서 한 이미지 내의 어떤 특징점이 다른 이미지 상에서 얼마나 쉬프트되었는지를 나타내는 값일 수 있다.
전자 장치(100)는 두 개의 이미지로부터 디스패리티 값(d)을 산출하기 위해, 두 개의 이미지를 가상으로 배열할 수 있다. 도 12에 도시한 바와 같이, 제1 특징점(1105)과 제2 특징점(1106) 간의 디스패리티 값(d)은, 제1 이미지(1101)와 제2 이미지(1102)를 제1 세로축(1201)과 제2 세로축(1202)을 기준으로 정렬시켰을 때의 제1 특징점(1105)과 제2 특징점(1106) 간의 거리를 산출함으로써 결정될 수 있다. 제1 특징점(1105)과 제2 특징점(1106) 간의 거리는 제1 특징점(1105)을 지나는 제1 세로선(1203)과 제2 특징점(1106)을 지나는 제2 세로선(1204) 사이의 거리에 의해 산출될 수 있다.
도 13은 관심 영역의 깊이(z)를 산출하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따라, 전자 장치(100)는 특징점에 대한 디스패리티(disparity) 값(d)(도 12 참조), 제1 카메라(171)와 제2 카메라(172) 사이의 거리를 나타내는 베이스라인(baseline) 값(b), 카메라 모듈(175)의 초점 거리(f)를 이용하여, 관심 영역의 깊이(z)를 산출할 수 있다.
도 13을 참조하면, 베이스라인(baseline) 값(b)은 제1 카메라(171)의 렌즈 중심(O)과 제2 카메라(172)의 렌즈 중심(O’) 간의 거리로 산출될 수 있다.
3차원 공간 상의 P 점은, 제1 이미지 평면 상에서 x 지점, 제2 이미지 평면상에서 x’ 지점으로 나타날 수 있다. 이 때, 디스패리티 값(d)은 x 지점과 x’ 지점의 차이로 산출될 수 있다. 또한, 제1 카메라(171)와 제2 카메라(172)의 초점 거리가 f 일 때, 아래의 수학식 1과 같이, P 점의 깊이(z)가 산출될 수 있다.
[수학식 1]
깊이(z) = (베이스라인 값(b) x 초점거리(f)) / 디스패리티 값(d)
도 12에서, 제1 이미지(1101) 상의 제1 특징점(1105) 및 제2 이미지(1102) 상의 제2 특징점(1106)의 실제 공간 상의 위치를 P 점이라고 할 때, P 점의 깊이(z)는, 수학식 1에 기초하여, 제1 특징점(1105)과 제2 특징점(1106) 간의 디스패리티 값(d)을 이용해서 산출될 수 있다.
도 14는 깊이 산출에 기초하여 깊이 맵을 생성하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따라, 전자 장치(100)는 이미지 내의 관심 영역의 깊이를 산출함으로써, 이미지 내에 존재하는 공간 또는 객체들의 깊이를 나타내는 깊이 맵(depth map)을 생성할 수 있다. 전자 장치(100)는 공간 인식 모드 실행 시, 미리 설정된 촬영 시간 간격에 기초하여 소정 방향 및 소정 각도로 촬영 방향이 변경되도록 제1 및 2 카메라(171, 172)를 제어함으로써, 전자 장치(100)의 주변을 순차적으로 복수 회 촬영할 수 있다. 이에 따라, 전자 장치(100)가 제1 및 2 카메라(171, 172)에 의해 순차적으로 촬영한 복수의 이미지들은, 인접하게 촬영된 이미지들 간에 동일한 객체 또는 공간을 포함할 수 있다.
도 14에 도시한 제1 이미지(1401), 제2 이미지(1402), 제3 이미지(1403), 제4 이미지(1404)는, 제1 및 2 카메라(171, 172)의 촬영 방향을 소정 각도로 순차적으로 변경하면서 촬영한 복수의 이미지들의 일 예시이다. 전자 장치(100)는 인접한 주변 공간을 포함하는 복수의 이미지들(1401, 1402, 1403, 1404)을 이용해서 주변 공간의 깊이를 획득할 수 있다.
전자 장치(100)는 적어도 두 개 이상의 이미지들에 포함된 동일한 객체 또는 공간으로부터 특징점을 추출하고 특징점들의 매칭에 기초하여 특징점의 깊이를 획득할 수 있다. 예를 들어, 제1 이미지(1401) 내의 제1 특징점(1405)은, 제2 이미지(1402)내에서 제1 특징점(1405)과 실제 공간 상의 동일한 지점을 나타내는 제2 특징점(1406)과 매칭될 수 있다. 또한, 제2 이미지(1402) 내의 제3 특징점(1407)은, 제3 이미지(1403)내에서 제3 특징점(1407)과 실제 공간 상의 동일한 지점을 나타내는 제4 특징점(1408)과 매칭될 수 있다. 또한, 제3 이미지(1403) 내의 제4 특징점(1408)은, 제4 이미지(1404)내에서 제4 특징점(1408)과 실제 공간 상의 동일한 지점을 나타내는 제5 특징점(1409)과 매칭될 수 있다. 전자 장치(100)는 매칭되는 특징점들 간의 디스패리티 값(d)을 이용해서, 특징점의 깊이를 획득할 수 있다.
전자 장치(100)는 복수의 이미지들(1401, 1402, 1403, 1404)에 포함된 공간 또는 객체들의 깊이를 획득하고, 획득된 깊이 정보를 이용해서 시점(view point)로부터 먼 부분과 가까운 부분을 구별되게 나타내는 깊이 맵(1410)을 생성할 수 있다.
도 14에서 도시한 특징점들의 매칭은 매칭 방법을 설명하기 위한 것으로 이에 한정되지 않는다. 전자 장치(100)는 두 개 이상의 이미지들 간의 복수 개의 특징점 매칭에 기초하여 이미지들 간에 중첩되는 영역의 깊이를 획득하고 깊이 맵을 생성할 수 있다.
도 15는 일 실시 예에 따른 카메라 모듈의 촬영 방향을 변경하는 동작을 설명하기 위한 흐름도이다.
도 15의 S1501에서, 전자 장치(100)는 관심 영역의 적어도 일부가 제1 및 2 카메라의 촬영 방향의 조합에 대응하는 깊이 측정 영역의 외부임을 판단할 수 있다.
일 실시 예에 따라, 깊이 측정 영역은, 제1 카메라(171)와 제2 카메라(172)를 이용하여 깊이를 측정할 수 있는 3차원 영역을 의미할 수 있다. 전자 장치(100)는 관심 영역의 적어도 일부가 제1 및 2 카메라의 촬영 방향의 조합에 대응하는 깊이 측정 영역의 외부임을 판단함에 따라, 변경할 촬영 방향의 조합을 결정할 수 있다.
관심 영역의 적어도 일부가 깊이 측정 영역의 외부에 존재하면, 제1 카메라(171)와 제2 카메라(172)의 현재 촬영 방향의 조합에 따라 촬영된 이미지를 이용해서 관심 영역의 깊이를 측정할 수 없다. 따라서, 관심 영역이 제1 카메라(171)와 제2 카메라(172)의 깊이 측정 영역의 내부로 들어오도록, 제1 카메라(171)와 제2 카메라(172)의 촬영 방향의 조합을 변경할 필요가 있다.
도 15의 S1502에서, 전자 장치(100)는 미리 산출된 깊이 측정 영역에 관한 정보에 기초하여, 관심 영역을 포함하는 적어도 하나의 깊이 측정 영역에 대응하는 촬영 방향의 조합을 결정할 수 있다.
전자 장치(100)는 깊이를 측정하고자 하는 관심 영역이 깊이 측정 영역의 내부에 포함될 수 있도록 제1 카메라(171)와 제2 카메라(172)의 변경할 촬영 방향의 조합을 결정할 수 있다.
도 15의 S1503에서, 전자 장치(100)는 결정된 촬영 방향의 조합에 기초하여 제1 및 2 카메라가 변향되도록 제어함으로써, 관심 영역을 각각 포함하는 두 개 이상의 이미지를 획득할 수 있다. 전자 장치(100)는 두 개 이상의 이미지를 이용해서 관심 영역의 깊이를 획득할 수 있다.
도 16은 관심 영역의 위치가 변경됨에 따라 촬영 방향을 변경하는 일 예를 설명하기 위한 도면이다. 도 16은 제1 관심 영역(1602)으로부터 제2 관심 영역(1604)으로 관심 영역의 위치가 변경될 때 촬영 방향을 변경하는 예를 도시한다.
전자 장치(100)는 제1 카메라(171)와 제2 카메라(172)가 서로 평행하게 정면을 향하는 촬영 방향의 조합일 때, 제1 관심 영역(1602)이 제1 깊이 측정 영역(1601) 내에 포함되므로, 제1 관심 영역(1602)의 깊이를 획득 할 수 있다.
일 실시 예에 따라, 깊이를 측정하고자 하는 관심 영역의 위치가 제1 관심 영역(1602)으로부터 제2 관심 영역(1604)으로 가까워짐에 따라, 제2 관심 영역(1604)의 일부 영역이 제1 깊이 측정 영역(1601)의 외부로 벗어날 수 있다. 예를 들어, 전자 장치(100)가 타겟 객체를 추적하면서 영상을 촬영할 때, 움직이는 타겟 객체가 전자 장치(100)와 가까워질 수 있다.
이에 따라, 전자 장치(100)는 제2 관심 영역(1604)의 깊이 측정을 위해서는 제2 관심 영역(1604)이 제1 카메라(171)와 제2 카메라(172)의 깊이 측정 영역 내에 들어 올 수 있도록, 제1 카메라(171)와 제2 카메라(172)의 촬영 방향의 조합을 변경할 필요가 있다.
전자 장치(100)는 미리 산출된 깊이 측정 영역에 관한 정보에 기초하여, 제2 관심 영역(1604)을 포함할 수 있는 깊이 측정 영역에 대응하는 촬영 방향의 조합을 검출할 수 있다. 도 16을 참조하면, 전자 장치(100)는 검출된 촬영 방향의 조합에 기초하여, 제1 카메라(171)와 제2 카메라(172)의 촬영 방향이 전자 장치(100)의 중심부를 향하도록 제어함으로써, 제2 깊이 측정 영역(1603) 내에 포함되는 제2 관심 영역(1604)의 깊이를 획득할 수 있다.
도 17은 관심 영역의 위치가 변경됨에 따라 촬영 방향을 변경하는 다른 일 예를 설명하기 위한 도면이다. 도 17은 제1 관심 영역(1702)으로부터 제2 관심 영역(1704)으로 관심 영역의 위치가 변경될 때 촬영 방향을 변경하는 예를 도시한다.
전자 장치(100)는 제1 카메라(171)와 제2 카메라(172)가 전자 장치(100)의 중심부를 향하는 촬영 방향의 조합일 때, 제1 관심 영역(1702)은 제1 깊이 측정 영역(1701) 내에 포함되므로, 제1 관심 영역(1702)의 깊이를 획득 할 수 있다.
일 실시 예에 따라, 전자 장치(100)가 깊이를 측정하고자 하는 관심 영역의 위치가 제1 관심 영역(1702)으로부터 제2 관심 영역(1704)으로 멀어질 수 있다. 예를 들어, 전자 장치(100)가 타겟 객체를 추적하면서 영상을 촬영할 때, 움직이는 타겟 객체가 전자 장치(100)로부터 멀어질 수 있다.
전자 장치(100)는 미리 산출된 깊이 측정 영역에 관한 정보에 기초하여, 제2 관심 영역(1704)의 깊이를 측정하기 위해 보다 적합한 촬영 방향의 조합을 검출할 수 있다. 전자 장치(100)는 제1 카메라(171)와 제2 카메라(172)가 평행하게 정면을 향하도록 제어함으로써, 제2 깊이 측정 영역(1703) 내에 제2 관심 영역(1704)이 포함되면서, 보다 장거리의 공간 또는 객체의 촬영이 가능하도록 제1 카메라(171)와 제2 카메라(172)를 변향할 수 있다.
도 18은 관심 영역의 위치가 변경됨에 따라 촬영 방향을 변경하는 또 다른 일 예를 설명하기 위한 도면이다. 도 18은 제1 관심 영역(1802)으로부터 제2 관심 영역(1804)으로 관심 영역의 위치가 변경될 때 촬영 방향을 변경하는 예를 도시한다.
전자 장치(100)는 제1 카메라(171)와 제2 카메라(172)가 전자 장치(100)의 중심부를 향하는 촬영 방향의 조합일 때, 제1 관심 영역(1802)는 제1 깊이 측정 영역(1801) 내에 포함되므로, 제1 관심 영역(1802)의 깊이를 획득 할 수 있다.
일 실시 예에 따라, 전자 장치(100)가 깊이를 측정하고자 하는 관심 영역의 위치가 제1 관심 영역(1802)으로부터 전자 장치(100)를 기준으로 우측 방향의 제2 관심 영역(1804)으로 변경될 수 있다. 예를 들어, 전자 장치(100)가 타겟 객체를 추적하면서 영상을 촬영할 때, 움직이는 타겟 객체가 전자 장치(100)를 기준으로 우측 방향으로 이동할 수 있다.
전자 장치(100)는 미리 산출된 깊이 측정 영역에 관한 정보에 기초하여, 제2 관심 영역(1804)의 깊이를 측정할 수 있는 촬영 방향의 조합을 검출할 수 있다. 도 18을 참조하면, 전자 장치(100)는 제2 관심 영역(1804)이 제1 카메라(171)와 제2 카메라(172)의 깊이 측정 영역 내에 들어 올 수 있도록, 제1 카메라(171)와 제2 카메라(172)의 촬영 방향이 전자 장치(100)의 우측 방향을 향하도록 제어할 수 있다. 이에 따라, 전자 장치(100)는 변향된 촬영 방향의 조합에 대응하는 제2 깊이 측정 영역(1803) 내에 포함되는 제2 관심 영역(1804)의 깊이를 획득할 수 있다.
또 다른 예로, 전자 장치(100)가 타겟 객체를 추적하면서 영상을 촬영할 때, 움직이는 타겟 객체가 전자 장치(100)를 기준으로 좌측 방향으로 이동할 수 있다. 전자 장치(100)는 미리 산출된 깊이 측정 영역에 관한 정보에 기초하여, 변경된 타겟 객체의 위치에 대응하는 관심 영역이 제1 카메라(171)와 제2 카메라(172)의 촬영 방향의 조합에 대응하는 깊이 측정 영역 내에 들어 올 수 있도록, 제1 카메라(171)와 제2 카메라(172)의 촬영 방향이 전자 장치(100)의 좌측 방향을 향하도록 제어할 수 있다. 이에 따라, 전자 장치(100)는 변경된 관심 영역의 깊이를 획득할 수 있다.
도 19는 관심 영역의 크기가 변경됨에 따라 촬영 방향을 변경하는 일 예를 설명하기 위한 도면이다. 도 19는 제1 관심 영역(1902)으로부터 제2 관심 영역(1904)으로 관심 영역의 크기가 확장될 때 촬영 방향을 변경하는 예를 도시한다.
도 19를 참조하면, 전자 장치(100)는 제1 카메라(171)와 제2 카메라(172)가 서로 평행하게 정면을 향하는 촬영 방향의 조합일 때, 제1 관심 영역(1902)은 제1 깊이 측정 영역(1901) 내에 포함되므로, 제1 관심 영역(1902)의 깊이를 획득 할 수 있다.
일 실시 예에 따라, 전자 장치(100)가 깊이를 측정하고자 하는 관심 영역의 크기가 제2 관심 영역(1904)으로 확장됨에 따라, 제2 관심 영역(1904)의 일부 영역이 제1 깊이 측정 영역(1901)의 외부로 벗어날 수 있다. 예를 들어, 전자 장치(100)가 사용자 시선을 추적하면서 영상을 촬영할 때, 사용자가 응시하는 객체가 변경됨에 따라 관심 영역의 크기가 확대될 수 있다.
이에 따라, 전자 장치(100)는 제2 관심 영역(1904)의 깊이 측정을 위해서는 제2 관심 영역(1904)이 제1 카메라(171)와 제2 카메라(172)의 깊이 측정 영역 내에 들어 올 수 있도록, 제1 카메라(171)와 제2 카메라(172)의 촬영 방향의 조합을 변경할 필요가 있다. 도 19를 참조하면, 전자 장치(100)는 미리 산출된 깊이 측정 영역에 관한 정보에 기초하여, 제1 카메라(171)와 제2 카메라(172)의 촬영 방향이 전자 장치(100)의 중심부를 향하도록 제어함으로써, 제2 깊이 측정 영역(1903) 내에 포함되는 제2 관심 영역(1904)의 깊이를 획득할 수 있다.
도 20은 관심 영역의 크기가 변경됨에 따라 촬영 방향을 변경하는 다른 일 예를 설명하기 위한 도면이다. 도 20은 제1 관심 영역(2002)으로부터 제2 관심 영역(2004)으로 관심 영역의 크기가 축소될 때 촬영 방향을 변경하는 예를 도시한다.
도 20을 참조하면, 전자 장치(100)는 제1 카메라(171)와 제2 카메라(172)가 전자 장치(100)의 중심부를 향하는 촬영 방향의 조합일 때, 제1 관심 영역(2002)은 제1 깊이 측정 영역(2001) 내에 포함되므로, 제1 관심 영역(2002)의 깊이를 획득 할 수 있다.
일 실시 예에 따라, 전자 장치(100)가 깊이를 측정하고자 하는 관심 영역의 크기가 제2 관심 영역(2004)으로 축소될 수 있다. 예를 들어, 전자 장치(100)가 사용자 시선을 추적하면서 영상을 촬영할 때, 사용자가 응시하는 객체가 변경됨에 따라 관심 영역의 크기가 축소될 수 있다.
전자 장치(100)는 미리 산출된 깊이 측정 영역에 관한 정보에 기초하여, 제2 관심 영역(2004)의 깊이를 측정하기 위해 보다 적합한 촬영 방향의 조합을 검출할 수 있다. 전자 장치(100)는 제1 카메라(171)와 제2 카메라(172)가 평행하게 정면을 향하도록 제어함으로써, 제2 깊이 측정 영역(2003) 내에 제2 관심 영역(2004)이 포함되면서, 보다 장거리의 공간 또는 객체의 촬영이 가능하도록 제1 카메라(171)와 제2 카메라(172)를 변향할 수 있다.
도 21은 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.
일 실시 예에 따라, 전자 장치(100)는, 통신 기능 및 데이터 프로세싱 기능을 구비한 증강 현실(Augmented Reality) 영상을 제공하는 증강 현실 장치일 수 있으며, 이에 제한되지 않는다.
도 21에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(100)는 시선 추적 센서(160), 움직임 센서(150), 카메라(175), 메모리(130), 프로세서(120), 디스플레이(140), 통신부(180), 마이크(190) 및 사용자 입력부(195)를 포함할 수 있다.
그러나, 도 21에 도시된 구성 요소 모두가 전자 장치(100)의 필수 구성 요소인 것은 아니다. 도 21에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있고, 도 21에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(100)가 구현될 수도 있다.
시선 추적 센서(160), 카메라(175), 메모리(130) 및 프로세서(120)의 동작에 대해서는 도 2에서 설명하였으므로 생략하기로 한다.
일 실시 예에 의하면, 움직임 센서(150)는 IMU(Inertial Measurement Unit)일 수 있다. IMU는, 3차원 공간에서의 물체의 움직임 즉, 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 조합일 수 있다. 예를 들어, 센서들의 조합은, 가속도계, 각속도계, 지자기계, 및 자이로스코프를 포함할 수 있다.
또한, 움직임 센서(150)는 가속도 센서(Acceleration sensor), 지자기 센서(Magnetic sensor), 또는 자이로스코프 센서 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 디스플레이(140)는 프로세서(120)에서 처리되는 정보를 출력할 수 있다. 예를 들어, 디스플레이(140)는, 가상의 객체를 표시할 수 있다.
일 실시 예에 의하면, 디스플레이(140)는 AR(Augmented Reality) 영상을 제공할 수 있다. 일 실시 예에 따른 디스플레이(140)는 웨이브가이드와 디스플레이 모듈을 포함할 수 있다. 웨이브 가이드는 사용자가 전자 장치(100)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브 가이드는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 웨이브 가이드는 디스플레이 모듈의 출사면에 마주하여 투사된 가상 이미지의 광을 입력 받을 수 있다. 여기서, 투명 재질이라 함은, 광이 통과될 수 있는 재질이라는 의미이며, 투명도가 100%가 아닐 수 있으며, 소정의 색상을 지닐 수도 있다.
일 실시 예에서, 웨이브 가이드는 투명 재질로 형성됨에 따라, 사용자는 디스플레이(140)를 통해 가상 이미지의 가상 객체를 볼 수 있을 뿐만 아니라, 외부 실제 장면(scene)을 볼 수도 있으므로, 웨이브 가이드는 시스루 디스플레이(see through display)로 지칭될 수 있다. 디스플레이(140)는 웨이브 가이드를 통해 가상 이미지의 가상 객체를 출력함으로써, 증강 현실(augmented reality) 영상을 제공할 수 있다.
통신부(180)는, 전자 장치(100)와 외부 장치(200, 도 21) 또는 서버(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
예를 들어, 통신부(180)는, 근거리 통신부, 이동 통신부를 포함할 수 있다.
근거리 통신부는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
일 실시 예에 따라 전자 장치(100)는, 통신부(180)를 통해, 카메라(175)를 이용해 획득된 복수 개의 이미지를 외부 장치(200, 도 21)로 전송할 수 있다. 이에 따라, 외부 장치(200)가 복수 개의 이미지에 대한 이미지 변환을 수행할 수 있다. 또한, 전자 장치(100)는, 통신부(180)를 통해, 외부 장치(200)에서 변환된 이미지를 수신하고, 수신한 이미지를 이용해서 관심 영역의 깊이를 산출할 수 있다.
또한, 일 실시 예에 따라 전자 장치(100)는, 통신부(180)를 통해, 카메라(175)를 이용해 획득된 복수 개의 이미지를 외부 장치(200, 도 21)로 전송하고, 외부 장치(200)가 복수 개의 이미지를 이용해서 관심 영역의 깊이를 산출할 수 있다. 또한, 전자 장치(100)는, 통신부(180)를 통해, 외부 장치(200)에서 산출된 깊이에 관한 정보를 수신하고, 수신한 관심 영역의 깊이에 관한 정보를 이용해서 디스플레이(140)를 통해 가상 객체를 표시하는 등 증강 현실 서비스를 제공할 수 있다.
마이크(190)는, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크(190)은 외부 디바이스 또는 화자로부터의 음향 신호를 수신할 수 있다. 마이크(190)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다. 마이크(190)는 전자 장치(100)를 제어하기 위한 사용자의 음성 입력을 수신할 수 있다.
사용자 입력부(195)는, 사용자가 전자 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(195)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(190)는, 카메라 모듈(175)을 이용하여 전자 장치(100)의 주변을 촬영하기 위한 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(190)는 촬영된 영상을 기반으로 전자 장치(100) 또는 서버(미도시)로부터의 서비스를 제공받기 위한 사용자 입력을 수신할 수 있다.
도 22는 일 실시 예에 따른 전자 장치와 외부 장치의 블록 구성도(block diagram)이다.
일 실시 예에 따라, 전자 장치(100)는 외부 장치(200)와 연동하여 동작할 수 있다. 전자 장치(100)는 카메라 모듈(175)에 의해 획득한 복수 개의 이미지를 외부 장치(200)로 전송하고, 외부 장치(200)가 복수 개의 이미지를 이용하여 깊이를 산출하고, 깊이에 관한 정보를 전자 장치(100)로 제공할 수 있다.
도 22에 도시된 전자 장치(100)의 구성 요소는, 도 2 및 도20에 도시된 전자 장치(100)의 구성 요소에 대응할 수 있으므로 설명을 생략하기로 한다.
도 22에 도시한 외부 장치(200)는 프로세서(220), 메모리(230) 및 통신부(280)를 포함할 수 있다. 그러나, 도 21에 도시된 구성 요소가 외부 장치(200)의 필수 구성 요소인 것은 아니다. 도 21에 도시된 구성 요소보다 많은 구성 요소에 의해 외부 장치(200)가 구현될 수도 있고, 도21에 도시된 구성 요소보다 적은 구성 요소에 의해 외부 장치(200)가 구현될 수도 있다.
일 실시 예에 따른 프로세서(220)는 외부 장치(200)를 전반적으로 제어할 수 있다. 프로세서(220)는 하나 또는 복수의 프로세서로 구성될 수 있다. 일 실시 예에 따른 프로세서(220)는 메모리(230)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다.
일 실시 예에 따른 메모리(230)는 외부 장치(200)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(230)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(230)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(220)에 의해 실행될 수 있다.
일 실시 예에 따른 메모리(230)는 프로세서(220)의 처리 및 제어를 위한 프로그램을 저장할 수다. 메모리(230)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다. 예를 들어, 전자 장치(100)의 깊이 측정 영역 산출 모듈(131), 촬영 방향 결정 모듈(134), 이미지 처리 모듈(136), 깊이 산출 모듈(137) 등에 의해 수행되는 동작들이 외부 장치(200)의 프로세서(220)에 의해 수행되기 위한 소프트웨어 모듈이 외부 장치(200)의 메모리(230)에 저장될 수 있다.
또한, 메모리(230)는, 전자 장치(100)로부터 수신한, 카메라 모듈(175)에 의해 획득된 복수 개의 이미지를 저장할 수 있다.
통신부(280)는, 외부 장치(200)와 전자 장치(100) 또는 외부 장치(200)와 서버(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
예를 들어, 통신부(280)는, 근거리 통신부, 이동 통신부를 포함할 수 있다.
근거리 통신부는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
일 실시 예에 따라 외부 장치(200)는, 통신부(280)를 통해, 전자 장치(100)로부터 복수 개의 이미지를 수신할 수 있다. 또한, 외부 장치(200)의 프로세서(220)는 수신한 이미지를 변환할 수 있다. 또한, 외부 장치(200)의 프로세서(220)는 변환된 이미지에 포함된 관심 영역의 깊이를 산출할 수 있다.
또한, 외부 장치(200)는, 통신부(280)를 통해, 변환된 이미지를 전자 장치(100)로 전송할 수 있다. 또한, 외부 장치(200)는, 통신부(280)를 통해, 관심 영역의 깊이에 관한 정보를 전자 장치(100)로 전송할 수 있다.
한편, 상술한 실시 예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시 예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 마그네틱 저장매체, 예를 들면, 롬, 플로피 디스크, 하드 디스크 등을 포함하고,) 광학적 판독 매체, 예를 들면, 시디롬, DVD 등과 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터, 예를 들면 프로그램 명령어 및 코드가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시 예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시에서 모든 예들 또는 예시적인 용어, 예를 들어, “등”의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다.
또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 개시에 기재된 구성 요소들은 본 개시의 실행을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 개시의 실시 예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
본 개시는 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 본 개시는 명세서에 기재된 특정한 실시 형태에 의해 한정되는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물이 본 개시에 포함되는 것으로 이해되어야 한다. 그러므로, 개시된 실시예들은 한정적인 관점이 아닌 설명적 관점에서 이해되어야 한다.
본 개시의 범위는 발명의 상세한 설명보다는 특허 청구 범위에 의하여 나타나며, 특허 청구 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.
예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.
본 명세서에서, "A는 a1, a2 및 a3 중 하나를 포함할 수 있다"는 기재은, A라는 엘리먼트(element)에 포함될 수 있는 예시적인 엘리먼트가 a1, a2 또는 a3라는 넓은 의미이다.
상기 기재로 인해 엘리먼트 A를 구성할 수 있는 엘리먼트가 반드시 a1, a2 또는 a3로 국한된다는 것은 아니다. 따라서 A를 구성할 수 있는 엘리먼트가, a1, a2 및 a3 이외에 예시되지 않은 다른 엘리먼트들을 배제한다는 의미로, 배타적으로 해석되지 않음에 유의하여야 한다.
또한, 상기 기재는, A는 a1를 포함하거나, a2를 포함하거나, 또는 a3를 포함할 수 있다는 의미이다. 상기 기재가 A를 구성하는 엘리먼트들이 반드시 소정 집합 내에서 선택적으로 결정된다는 것을 의미하지는 않는다. 예를 들어 상기 기재가, 반드시 a1, a2 및 a3를 포함하는 집합으로부터 선택된 a1, a2, 또는 a3가 컴포넌트 A를 구성한다는 것으로, 제한적으로 해석되지 않음에 유의하여야 한다.
100 : 전자 장치

Claims (20)

  1. 전자 장치에 있어서,
    회전 가능한 제1 및 2 카메라를 포함하는 카메라 모듈;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 하나 이상의 인스터럭션을 실행하는 프로세서;를 포함하고,
    상기 프로세서는,
    실행 중인 기능에 따라 관심 영역을 결정하고,
    미리 정해진 제1 카메라 및 제2 카메라의 촬영 방향의 조합에 기초하여 상기 제1 및 2 카메라가 변향되도록 제어함으로써, 상기 관심 영역을 각각 포함하는 두 개 이상의 이미지를 획득하고,
    상기 획득된 두 개 이상의 이미지를 이용하여 상기 관심 영역의 깊이를 획득하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 카메라 모듈의 촬영 모드를 식별하고,
    상기 식별된 촬영 모드에 따라 상기 관심 영역을 결정하고,
    상기 촬영 모드에 대응하여 미리 설정된 제1 및 2 카메라의 촬영 방향의 조합에 기초하여 상기 제1 및 2 카메라가 변향되도록 제어하는, 전자 장치.
  3. 제1 항에 있어서,
    상기 프로세서는,
    상기 관심 영역의 적어도 일부가 상기 제1 및 2 카메라의 촬영 방향의 조합에 대응하는 깊이 측정 영역의 외부임을 판단함에 따라, 변경할 촬영 방향의 조합을 결정하는, 전자 장치.
  4. 제3 항에 있어서,
    상기 프로세서는,
    미리 산출된 깊이 측정 영역에 관한 정보에 기초하여, 상기 관심 영역을 포함하는 적어도 하나의 깊이 측정 영역에 대응하는 촬영 방향의 조합을 결정하고,
    상기 결정된 촬영 방향의 조합에 기초하여 상기 제1 및 2 카메라가 변향되도록 제어함으로써, 상기 관심 영역을 각각 포함하는 두 개 이상의 이미지를 획득하는, 전자 장치.
  5. 제4 항에 있어서,
    상기 미리 산출된 깊이 측정 영역에 관한 정보는,
    상기 제1 및 제2 카메라에 의해 촬영 가능한 복수의 촬영 방향의 조합에 따라 깊이 측정이 가능한 영역을 나타내는 정보인, 전자 장치.
  6. 제1 항에 있어서,
    사용자 눈의 시선 정보를 획득하는 시선 추적 센서를 더 포함하고,
    상기 프로세서는,
    사용자의 시선 방향의 객체를 추적하기 위한 시선 인식 모드로 식별됨에 따라, 상기 시선 정보에 기초하여 응시 지점에 관한 정보를 획득하고,
    상기 응시 지점에 기초하여 관심 영역을 결정하는, 전자 장치.
  7. 제1 항에 있어서,
    상기 프로세서는,
    상기 전자 장치 주변의 객체를 추적하기 위한 객체 인식 모드로 식별됨에 따라, 미리 정해진 타겟 객체에 기초하여 관심 영역을 결정하는, 전자 장치.
  8. 제1 항에 있어서,
    상기 프로세서는,
    사용자의 제스처를 인식하기 위한 제스처 인식 모드로 식별됨에 따라, 사용자 손의 위치에 기초하여 관심 영역을 결정하는, 전자 장치.
  9. 제1 항에 있어서,
    상기 프로세서는,
    상기 전자 장치 주변의 공간을 인식하기 위한 공간 인식 모드로 식별됨에 따라, 상기 전자 장치의 주변 영역에 기초하여 관심 영역을 결정하는, 전자 장치.
  10. 제1 항에 있어서,
    상기 프로세서는,
    상기 제1 카메라에 의해 획득된 제1 이미지 상의 제1 특징점과 상기 제2 카메라에 의해 획득된 제2 이미지 상의 제2 특징점의 매칭에 기초하여, 상기 제1 이미지와 상기 제2 이미지를 변환하고,
    상기 변환된 이미지는,
    상기 제1 카메라와 상기 제2 카메라가 서로 평행하게 배치된 상태에서 촬영되었을 이미지로 변환된 것인, 전자 장치.
  11. 회전 가능한 제1 및 2 카메라를 포함하는 전자 장치의 동작 방법에 있어서,
    실행 중인 기능에 따라 관심 영역을 결정하는 단계;
    미리 정해진 제1 및 2 카메라의 촬영 방향의 조합에 기초하여 상기 제1 및 2 카메라가 변향되도록 제어함으로써, 상기 관심 영역을 각각 포함하는 두 개 이상의 이미지를 획득하는 단계; 및
    상기 획득된 두 개 이상의 이미지를 이용하여 상기 관심 영역의 깊이를 획득하는 단계를 포함하는, 동작 방법.
  12. 제11 항에 있어서,
    상기 관심 영역을 결정하는 단계는,
    상기 카메라 모듈의 촬영 모드를 식별하는 단계; 및
    상기 식별된 촬영 모드에 따라 상기 관심 영역을 결정하는 단계를 포함하고,
    상기 이미지를 획득하는 단계는,
    상기 촬영 모드에 대응하여 미리 설정된 제1 및 2 카메라의 촬영 방향의 조합에 기초하여 상기 제1 및 2 카메라가 변향되도록 제어하는 단계를 포함하는, 동작 방법.
  13. 제11 항에 있어서,
    상기 이미지를 획득하는 단계는,
    상기 관심 영역의 적어도 일부가 상기 제1 및 2 카메라의 촬영 방향의 조합에 대응하는 깊이 측정 영역의 외부임을 판단함에 따라, 변경할 촬영 방향의 조합을 결정하는 단계를 포함하는, 동작 방법.
  14. 제13 항에 있어서,
    상기 이미지를 획득하는 단계는,
    미리 산출된 깊이 측정 영역에 관한 정보에 기초하여, 상기 관심 영역을 포함하는 적어도 하나의 깊이 측정 영역에 대응하는 촬영 방향의 조합을 결정하는 단계; 및
    상기 결정된 촬영 방향의 조합에 기초하여 상기 제1 및 2 카메라가 변향되도록 제어함으로써, 상기 관심 영역을 각각 포함하는 두 개 이상의 이미지를 획득하는 단계를 포함하는, 동작 방법.
  15. 제14 항에 있어서,
    상기 미리 산출된 깊이 측정 영역에 관한 정보는,
    상기 제1 및 제2 카메라에 의해 촬영 가능한 복수의 촬영 방향의 조합에 따라 깊이 측정이 가능한 영역을 나타내는 정보인, 동작 방법.
  16. 제11 항에 있어서,
    상기 관심 영역을 결정하는 단계는,
    사용자의 시선 방향의 객체를 추적하기 위한 시선 인식 모드로 식별됨에 따라, 시선 추적 센서를 통해 획득된 시선 정보에 기초하여 응시 지점에 관한 정보를 획득하는 단계; 및
    상기 응시 지점에 기초하여 관심 영역을 결정하는 단계를 포함하는, 동작 방법.
  17. 제11 항에 있어서,
    상기 관심 영역을 결정하는 단계는,
    상기 전자 장치 주변의 객체를 추적하기 위한 객체 인식 모드로 식별됨에 따라, 미리 정해진 타겟 객체에 기초하여 관심 영역을 결정하는 단계를 포함하는, 동작 방법.
  18. 제11 항에 있어서,
    상기 관심 영역을 결정하는 단계는,
    사용자의 제스처를 인식하기 위한 제스처 인식 모드로 식별됨에 따라, 사용자 손의 위치에 기초하여 관심 영역을 결정하는 단계를 포함하는, 동작 방법.
  19. 제11 항에 있어서,
    상기 관심 영역을 결정하는 단계는,
    상기 전자 장치 주변의 공간을 인식하기 위한 공간 인식 모드로 식별됨에 따라, 상기 전자 장치의 주변 영역에 기초하여 관심 영역을 결정하는 단계를 포함하는, 동작 방법.
  20. 제11 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200067864A 2020-06-04 2020-06-04 전자 장치 및 그 동작 방법 KR20210150881A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200067864A KR20210150881A (ko) 2020-06-04 2020-06-04 전자 장치 및 그 동작 방법
PCT/KR2021/006814 WO2021246758A1 (ko) 2020-06-04 2021-06-01 전자 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200067864A KR20210150881A (ko) 2020-06-04 2020-06-04 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20210150881A true KR20210150881A (ko) 2021-12-13

Family

ID=78830082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200067864A KR20210150881A (ko) 2020-06-04 2020-06-04 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20210150881A (ko)
WO (1) WO2021246758A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102613032B1 (ko) * 2022-11-16 2023-12-12 주식회사 지디에프랩 사용자의 시야 영역에 매칭되는 뎁스맵을 바탕으로 양안 렌더링을 제공하는 전자 장치의 제어 방법
WO2024106974A1 (ko) * 2022-11-16 2024-05-23 주식회사 지디에프랩 사용자의 시야 영역에 따라 영상을 선택적으로 처리하는 전자 장치의 제어 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2334089A1 (en) * 2009-12-04 2011-06-15 Alcatel Lucent A method and systems for obtaining an improved stereo image of an object
KR101229421B1 (ko) * 2011-03-17 2013-02-05 전북대학교산학협력단 다중 세그먼트 방식을 이용한 3ｄ 입체영상 획득 장치 및 방법
KR102483838B1 (ko) * 2015-04-19 2023-01-02 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
JP2017037426A (ja) * 2015-08-07 2017-02-16 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
KR20190040746A (ko) * 2017-10-11 2019-04-19 주식회사 대진애니메이션 3차원 관심영역 복원 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102613032B1 (ko) * 2022-11-16 2023-12-12 주식회사 지디에프랩 사용자의 시야 영역에 매칭되는 뎁스맵을 바탕으로 양안 렌더링을 제공하는 전자 장치의 제어 방법
WO2024106974A1 (ko) * 2022-11-16 2024-05-23 주식회사 지디에프랩 사용자의 시야 영역에 따라 영상을 선택적으로 처리하는 전자 장치의 제어 방법

Also Published As

Publication number Publication date
WO2021246758A1 (ko) 2021-12-09

Similar Documents

Publication Publication Date Title
US11809623B2 (en) Head-mounted display device and operating method of the same
US20190227694A1 (en) Device for providing augmented reality service, and method of operating the same
CN110018736B (zh) 人工现实中的经由近眼显示器界面的对象增强
US11127380B2 (en) Content stabilization for head-mounted displays
US8388146B2 (en) Anamorphic projection device
KR102079097B1 (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
US20150379770A1 (en) Digital action in response to object interaction
US11089427B1 (en) Immersive augmented reality experiences using spatial audio
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
JP2017102768A (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
CN114127610A (zh) 用于估计眼睛姿势的系统和技术
KR20160094190A (ko) 시선 추적 장치 및 방법
US20230060453A1 (en) Electronic device and operation method thereof
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US11442268B2 (en) Augmented reality gaming using virtual eyewear beams
CN111367405A (zh) 头戴显示设备的调整方法、装置、计算机设备及存储介质
JP2015118442A (ja) 情報処理装置、情報処理方法およびプログラム
KR20210150881A (ko) 전자 장치 및 그 동작 방법
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
KR20210101027A (ko) 전자 장치 및 그 동작 방법
US11422622B2 (en) Electronic device and operating method thereof
KR20220045799A (ko) 전자 장치 및 그 동작 방법
CN113661433B (zh) 头戴式显示设备及其操作方法

Legal Events

Date Code Title Description
A201 Request for examination