KR101822169B1 - 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법 - Google Patents

파노라마 영상을 제공하는 전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR101822169B1
KR101822169B1 KR1020160163626A KR20160163626A KR101822169B1 KR 101822169 B1 KR101822169 B1 KR 101822169B1 KR 1020160163626 A KR1020160163626 A KR 1020160163626A KR 20160163626 A KR20160163626 A KR 20160163626A KR 101822169 B1 KR101822169 B1 KR 101822169B1
Authority
KR
South Korea
Prior art keywords
image
cameras
photographing
setting value
electronic device
Prior art date
Application number
KR1020160163626A
Other languages
English (en)
Other versions
KR20170106177A (ko
Inventor
안진형
정재일
김민철
김용국
김용진
조성래
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP17763625.5A priority Critical patent/EP3366037B1/en
Priority to PCT/KR2017/002677 priority patent/WO2017155365A1/en
Priority to CN201780006204.8A priority patent/CN108476290B/zh
Priority to US15/457,091 priority patent/US10645282B2/en
Publication of KR20170106177A publication Critical patent/KR20170106177A/ko
Application granted granted Critical
Publication of KR101822169B1 publication Critical patent/KR101822169B1/ko

Links

Images

Classifications

    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H04N13/0217—
    • H04N13/0242—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2258—
    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

파노라마 영상을 제공하는 전자 장치 및 그 제어 방법이 개시된다. 본 발명에 따른 전자 장치에서 파노라마 영상을 생성하기 위한 방법은, 복수의 카메라로부터 촬영된 영상들의 촬영 설정값을 획득하는 단계, 획득한 촬영 설정값에 기초하여 복수의 카메라 중 적어도 하나에 적용할 촬영 설정값을 재설정하는 단계 및 재설정된 촬영 설정값을 바탕으로 복수의 카메라에서 촬영된 영상들을 이용하여 파노라마 영상을 생성하는 단계를 포함한다. 이에 따라, 전자 장치는 복수의 카메라로부터 촬영된 영상으로부터 전체적으로 자연스러운 파노라마 영상을 생성할 수 있다.

Description

파노라마 영상을 제공하는 전자 장치 및 그 제어 방법{Electronic device for providing panorama image and control method thereof}
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는 전자 장치에서 복수의 카메라의 통해 촬영된 영상에 대한 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법에 관한 기술이다.
종래의 촬영 장치는 복수의 카메라로부터 촬영된 영상을 합성하여 파노라마 영상을 생성할 경우, 각각의 카메라로부터 촬영된 영상 간 색상 및 노출 보정 없이 복수의 카메라로부터 촬영된 영상을 합성한다.
이에 따라, 파노라마 영상을 구성하는 복수의 영상 간의 경계면에 밝기 및 색상 등의 차이가 발생되어 부자연스러운 파노라마 영상이 생성된다.
따라서, 종래에는 이 같은 파노라마 영상을 구성하는 영상 간의 경계면에 밝기 및 색상 등의 차이가 발생되는 문제를 개선하기 위해서, 복수의 카메라로부터 촬영된 영상을 기설정된 촬영 설정값에 기초하여 보정한다.
이 경우, 파노라마 영상을 구성하는 복수의 영상 간의 경계면에 밝기 및 색상 등의 차이가 발생되는 문제가 개시될 수 있으나, 파노라마 영상 전체의 화질이 저하되는 문제가 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 전자 장치에서 복수의 카메라를 통해 촬영된 영상으로부터 전체 화질이 개선된 파노라마 영상 혹은 360도 어라운드 뷰 영상과 같은 VR(Virtual Reality) 영상을 제공하기 위함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자 장치에서 파노라마 영상을 생성하기 위한 방법은, 복수의 카메라로부터 촬영된 영상들의 촬영 설정값을 획득하는 단계, 상기 획득한 촬영 설정값에 기초하여 상기 복수의 카메라 중 적어도 하나에 적용할 촬영 설정값을 재설정하는 단계 및 상기 재설정된 촬영 설정값을 바탕으로 상기 복수의 카메라에서 촬영된 영상들을 이용하여 파노라마 영상을 생성하는 단계를 포함한다.
그리고, 상기 재설정하는 단계는, 상기 복수의 카메라의 촬영 설정값들의 평균값으로 상기 복수의 카메라의 촬영 설정값을 재설정할 수 있다.
또한, 상기 재설정하는 단계는, 기준 카메라 설정을 위한 아이콘이 선택되면, 상기 복수의 카메라 각각에 대응되는 복수의 오브젝트를 포함하는 리스트 UI를 디스플레이하며, 상기 복수의 오브젝트 중 하나가 선택되면, 상기 선택된 오브젝트에 대응되는 카메라의 촬영 설정값로 나머지 카메라의 촬영 설정값을 재설정할 수 있다.
그리고, 상기 재설정하는 단계는, 상기 복수의 카메라 중 제1 카메라로부터 획득된 촬영 설정값을 제1 촬영 설정값로 재설정하고, 제2 카메라로부터 획득된 촬영 설정값을 제2 촬영 설정값로 재설정할 수 있다.
또한, 상기 획득하는 단계는, 상기 복수의 카메라를 통해 동영상을 촬영하는 경우, 기설정된 주기가 도래하는 시점에 상기 복수의 카메라를 통해 촬영된 동영상의 영상 프레임으로부터 촬영 설정값을 획득할 수 있다.
그리고, 상기 획득하는 단계는, 상기 복수의 카메라를 통해 동영상을 촬영하는 경우, 상기 전자 장치의 모션이 감지되는 이벤트 발생 여부에 따라 상기 촬영 설정값을 다시 획득할 수 있다.
또한, 상기 복수의 카메라로부터 획득된 촬영 설정값 간의 차이 정도에 따라 상기 복수의 카메라 중 적어도 하나에 적용할 촬영 설정값을 재설정할지 여부를 판단하는 단계를 더 포함하며, 상기 재설정하는 단계는, 상기 복수의 카메라로부터 획득된 촬영 설정값 간의 차이가 기설정된 임계 범위 내에 존재하지 않으면, 상기 복수의 카메라 중 적어도 하나에 적용할 촬영 설정값을 재설정할 수 있다.
그리고, 상기 촬영 설정값은, 촬영 노출값 및 촬영 색상값 중 적어도 하나를 포함할 수 있다.
또한, 상기 획득하는 단계는, ISP(Image Signal Processing)를 통해 상기 복수의 카메라의 촬영 설정값을 획득하며, 상기 재설정하는 단계는, DSP(Digital Signal Processing)을 통해 상기 획득한 촬영 설정값을 바탕으로 상기 복수의 카메라 중 적어도 하나에 적용할 촬영 설정값을 재설정하며, 상기 복수의 카메라는, 상기 ISP의 제어 명령에 따라, 상기 DSP에 의해 재설정된 촬영 설정값에 기초하여 영상을 촬영할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 파노라마 영상을 생성하기 위한 전자 장치는, 영상을 촬영하는 복수의 카메라 및 상기 복수의 카메라로부터 촬영된 영상으로부터 촬영 설정값을 획득하며, 사기 획득된 촬영 설정값에 기초하여 상기 복수의 카메라 중 적어도 하나에 적용할 촬영 설정값을 재설정하고, 상기 재설정된 촬영 설정값을 바탕으로 영상을 촬영하도록 상기 복수의 카메라를 제어하며, 상기 복수의 카메라로부터 촬영된 영상들을 이용하여 파노라마 영상을 생성하는 프로세서를 포함하며, 상기 촬영 설정값은, 촬영 노출값 및 촬영 색상값 중 적어도 하나를 포함한다.
그리고, 상기 프로세서는, 상기 복수의 카메라의 촬영 설정값들의 평균값으로 상기 복수의 카메라의 촬영 설정값을 재설정할 수 있다.
또한, 기준 카메라 설정을 위한 아이콘을 포함하는 촬영 설정 UI를 디스플레이하는 디스플레이부를 더 포함하며, 상기 프로세서는, 상기 기준 카메라 설정을 위한 아이콘이 선택되면, 상기 복수의 카메라 각각에 대응되는 오브젝트를 포함하는 리스트 UI를 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 복수의 오브젝트 중 하나가 선택되면, 상기 선택된 오브젝트에 대응되는 카메라의 촬영 설정값으로 나머지 카메라의 촬영 설정값을 재설정할 수 있다.
그리고, 상기 프로세서는, 상기 복수의 카메라 중 제1 카메라로부터 획득된 촬영 설정값을 제1 촬영 설정값로 재설정하고, 제2 카메라로부터 획득된 촬영 설정값을 제2 촬영 설정값로 재설정할 수 있다.
또한, 상기 프로세서는, 상기 복수의 카메라를 통해 동영상을 촬영하는 경우, 기설정된 주기가 도래하는 시점에 상기 복수의 카메라를 통해 촬영된 동영상의 영상 프레임으로부터 촬영 설정값을 획득할 수 있다.
그리고, 상기 전자 장치의 모션을 감지하는 감지부를 더 포함하며, 상기 프로세서는, 상기 복수의 통해 동영상을 촬영하는 경우, 상기 감지부를 통해 상기 전자 장치의 모션이 감지되는 이벤트가 발생하는지 여부에 따라, 상기 촬영 설정값을 다시 획득할 수 있다.
또한, 상기 프로세서는, 상기 복수의 카메라로부터 획득된 촬영 설정값 간의 차이가 기설정된 임계 범위 내에 존재하는지 여부에 따라, 상기 복수의 카메라 중 적어도 하나에 적용할 촬영 설정값을 재설정할 수 있다.
그리고, 상기 프로세서는, 상기 복수의 카메라로부터 촬영된 영상의 촬영 설정값을 획득하며, 상기 촬영된 영상에 대한 영상 데이터를 신호 처리하는 ISP 및 상기 획득된 촬영 설정값을 바탕으로 상기 복수의 카메라 중 적어도 하나의 촬영 설정값을 재설정하는 DSP를 포함하며, 상기 ISP는, 상기 재설정된 촬영 설정값에 기초하여 영상을 촬영하도록 상기 복수의 카메라를 제어할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, VR(Virtual Reality) 환경에서 파노라마 영상을 제공하는 전자 장치는, 복수의 영상으로 구성된 파노라마 영상을 디스플레이하는 디스플레이부, 사용자의 시선을 감지하는 감지부 및 상기 감지된 시선 정보로부터 상기 파노라마 영상 중 상기 사용자가 응시하는 영역을 판단하고, 상기 사용자가 응시하는 영역에 대응되는 영상의 영상 설정값을 이용하여 나머지 영상에 대한 영상 처리를 수행하여 영상 처리된 파노라마 영상을 생성하는 프로세서를 포함한다.
그리고, 상기 프로세서는, 상기 사용자가 응시하는 영역이 제1 영역인 것으로 판단되면, 상기 파노라마 영상 중 상기 제1 영역에 대응되는 제1 영상의 영상 설정값을 이용하여 상기 파노라마 영상을 구성하는 제2 영상에 대한 영상 처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 사용자가 응시하는 영역이 제1 영역에서 제2 영역으로 이동된 것으로 판단되면, 상기 파노라마 영상 중 상기 제1 영역에 대응되는 제1 영상의 영상 설정값을 이용하여 상기 파노라마 영상 중 상기 제2 영역에 대응되는 제2 영상에 대한 영상 처리를 수행할 수 있다.
이상과 같이, 본 발명에 따르면, 전자 장치는 복수의 카메라로부터 촬영된 영상으로부터 전체적으로 자연스러운 파노라마 영상을 생성할 수 있다. 나아가, 본 발명에 따르면, 복수의 카메라 각각은 보정된 촬영 설정값에 기초하여 영상을 촬영한다. 이에 따라, 전자 장치는 수의 영상을 보정하여 파노라마 영상을 생성하는 종래의 영상 처리 과정을 간소화시킬 수 있다.
도 1a는 본 발명의 일 실시예에 따른 전자 장치의 예시도,
도 1b는 본 발명의 또다른 실시예에 따른 전자 장치의 개략적인 블록도,
도 2는 본 발명의 일 실시예에 따른 프로세서의 세부 블록도,
도 3은 본 발명의 일 실시예에 따른 복수의 ISP를 포함하는 프로세서의 제1 세부 블록도,
도 4는 본 발명의 또다른 실시예에 따른 복수의 ISP를 포함하는 프로세서의 제2 세부 블록도,
도 5는 본 발명의 일 실시예에 따른 전자 장치에서 복수의 카메라로부터 촬영된 영상을 이용하여 VR 영상을 생성하는 예시도,
도 6a 및 도 6b 는 본 발명의 일 실시예에 따른 전자 장치에서 사용자 명령에 대응되는 카메라의 촬영 설정값에 기초하여 나머지 카메라의 촬영 설정값을 재설정하기 위한 예시도,
도 7은 본 발명의 일 실시예에 따른 VR(Virtual Reality) 환경을 제공하는 전자 장치의 블록도,
도 8은 본 발명의 일 실시예에 따른 VR 환경을 제공하는 전자 장치에서 사용자의 제1 시선에 따라 재구성된 파노라마 영상을 디스플레이하는 예시도,
도 9는 본 발명의 일 실시예에 따른 VR 환경을 제공하는 전자 장치에서 사용자의 제2 시선에 따라 재구성된 파노라마 영상을 디스플레이하는 예시도,
도 10은 본 발명의 일 실시예에 따른 전자 장치의 상세 블록도,
도 11은 본 발명의 일 실시예에 따른 전자 장치에서 복수의 카메라를 이용하여 파노라마 영상을 촬영하기 위한 방법의 흐름도,
도 12는 본 발명이 일 실시예에 따른 VR 환경을 제공하는 전자 장치에서 파노라마 영상을 제공하기 위한 방법의 흐름도이다.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다. 먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1a는 본 발명의 일 실시예에 따른 전자 장치의 예시도이며, 도 1b는 본 발명의 또다른 실시예에 따른 전자 장치의 개략적인 블록도이다.
전자 장치(100)는 파노라마 영상 혹은 360도 어라운드 뷰 영상과 같은 VR(Virtual Reality) 영상 제공이 가능한 장치로써, 도 1a에 도시된 바와 같이 VR 디바이스(100-1), 스마트 폰(100-2) 및 VR 웨어러블 디바이스(100-3) 등이 될 수 있다. 이 같은 전자 장치(100)는 도 1b에 도시된 바와 같이, 적어도 두 개 이상의 카메라(110) 및 전자 장치(100)를 구성하는 구성들에 대한 동작을 전반적으로 제어하는 프로세서(120)를 포함한다.
본 발명에서는 설명이 편의상 전자 장치(100)가 제1 및 제2 카메라(110-1,110-2)를 포함하는 것으로 한정하여 설명하기로 한다.
프로세서(120)는 제1 및 제2 카메라(110-1,110-2)의 영상 촬영을 제어하거나 혹은 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 각각의 영상에 대한 영상 처리를 수행할 수 있다.
구체적으로, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)로부터 영상이 촬영되면, 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 획득한다.
여기서, 촬영 설정값은, 제1 및 제2 카메라(110-1,110-2) 각각에서 영상을 촬영하기 위한 촬영 노출값 및 촬영 색상값 중 적어도 하나가 될 수 있다. 이 같은 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값이 획득되면, 프로세서(120)는 획득된 제1 및 제2 카메라(110-1,110-2)에 대한 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나의 카메라에 적용할 촬영 설정값을 재설정한다. 이후, 프로세서(120)는 재설정된 촬영 설정값을 바탕으로 영상을 촬영하도록 제1 및 제2 카메라(110-1,110-2)를 제어한다. 이 같은 제어 명령에 따라, 제1 및 제2 카메라(110-1,110-2)는 프로세서(120)에 의해 재설정된 촬영 설정값에 기초하여 영상을 촬영한다.
따라서, 프로세서(120)는 재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 복수의 영상을 이용하여 파노라마 영상을 생성할 수 있다.
한편, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 재설정하기에 앞서, 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값 간의 유사도에 기초하여 제1 및 제2 카메라(110-1,110-2)이 촬영 설정값을 재설정할지 여부를 판단할 수 있다.
구체적으로, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)로부터 획득된 촬영 설정값 간의 차이가 기설정된 임계 범위 내에 존재하는지 여부를 판단한다. 판단 결과 제1 및 제2 카메라(110-1,110-2)로부터 획득된 촬영 설정값 간의 차이가 기설정된 임계 범위 내에 존재하면, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값이 유사한 것으로 판단하고, 제1 및 제2 카메라(110-1,110-2)에 기적용된 촬영 설정값에 기초하여 영상을 촬영하도록 제1 및 제2 카메라(110-1,110-2)를 제어한다.
한편, 제1 및 제2 카메라(110-1,110-2)로부터 획득된 촬영 설정값 간의 차이가 기설정된 임계 범위 내에 존재하지 않으면, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값이 상이한 것으로 판단하고, 다음과 같은 실시예에 기초하여 제1 및 제2 카메라(110-1,110-2)에 적용할 촬영 설정값을 재설정할 수 있다.
일 실시예에 따라, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값들의 평균값으로 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 재설정할 수 있다. 여기서, 촬영 설정값은 제1 및 제2 카메라(110-1,110-2) 각각의 촬영 노출값 혹은 촬영 색상값이 될 수 있다.
구체적으로, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)를 통해 영상이 촬영되면, 영상이 촬영된 시점의 제1 및 제2 카메라(110-1,110-2)에 설정된 촬영 설정값을 획득한다. 이후, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)에 설정된 촬영 설정값으로부터 평균값을 산출하고, 산출된 평균값을 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값으로 재설정할 수 있다.
예를 들어, 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상들의 촬영 노출값이 획득되면, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)로부터 획득된 촬영 노출값으로부터 평균값을 산출하고, 산출된 평균값을 제1 및 제2 카메라(110-1,110-2)의 촬영 노출값으로 재설정할 수 있다.
이 같은 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값이 재설정되면, 제1 및 제2 카메라(110-1,110-2)는 프로세서(120)의 제어 명령에 따라, 재설정된 촬영 설정값에 기초하여 영상을 촬영한다. 즉, 제1 및 제2 카메라(110-1,110-2)는 재설정된 촬영 설정값에 기초하여 동일한 촬영 노출값 혹은 촬영 색상값을 갖는 영상을 촬영할 수 있다. 따라서, 프로세서(120)는 재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2)에서 촬영된 각각의 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
또다른 실시예에 따라, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값 중 가장 높은 촬영 설정값과, 제1 및 제2 카메라(110-1,110-2)의 평균값들의 평균값 사이의 평균값을 제1 및 제2 카메라(110-1,110-2)촬영 설정값으로 재설정할 수 있다.
구체적으로, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)를 통해 영상이 촬영되면, 영상이 촬영된 시점의 제1 및 제2 카메라(110-1,110-2)에 설정된 촬영 설정값 중 가장 높은 촬영 설정값을 획득한다. 이후, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)에 설정된 촬영 설정값으로부터 평균값을 산출한다. 이후, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값 중 가장 높은 촬영 설정값과, 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값으로부터 기산출된 평균값으로부터 평균값을 산출하고, 산출된 평균값을 제1 및 제2 카메라(110-1,110-2)의 촬영 설정 정보로 재설정할 수 있다.
예를 들어, 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상들의 촬영 노출값이 획득될 수 있으며, 제1 카메라(110-1)의 촬영 노출값이 제2 카메라(110-2)의 촬영 노출값보다 큰 값을 가질 수 있다.
이 경우, 프로세서(120)는 제1 카메라(110-1)의 촬영 노출값과, 제1 및 제2 카메라(110-1,110-2)의 촬영 노출값으로부터 산출된 평균값으로부터 제1 및 제2 카메라(110-1,110-2)에 적용할 촬영 노출값으로 재설정할 수 있다.
이 같은 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값이 재설정되면, 제1 및 제2 카메라(110-1,110-2)는 프로세서(120)의 제어 명령에 따라, 재설정된 촬영 설정값에 기초하여 영상을 촬영한다. 즉, 제1 및 제2 카메라(110-1,110-2)는 재설정된 촬영 설정값에 기초하여 동일한 노출값 혹은 색상값을 갖는 영상을 촬영할 수 있다. 따라서, 프로세서(120)는 재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 각각의 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
또다른 실시예에 따라, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값 중 가장 낮은 촬영 설정값과, 제1 및 제2 카메라(110-1,110-2)의 평균값들의 평균값 사이의 평균값을 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값으로 재설정할 수 있다.
구체적으로, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)를 통해 영상이 촬영되면, 영상이 촬영된 시점의 제1 및 제2 카메라(110-1,110-2)에 설정된 촬영 설정값 중 가장 낮은 촬영 설정값을 획득한다. 이후, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)에 설정된 촬영 설정값으로부터 평균값을 산출한다. 이후, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값 중 가장 낮은 촬영 설정값과, 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값으로부터 기산출된 평균값으로부터 평균값을 산출하고, 산출된 평균값을 제1 및 제2 카메라(110-1,110-2)의 촬영 설정 정보로 재설정할 수 있다.
예를 들어, 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상들의 촬영 노출값이 획득될 수 있으며, 제2 카메라(110-2)의 촬영 노출값이 제1 카메라(110-1)의 촬영 노출값보다 작은 값을 가질 수 있다.
이 경우, 프로세서(120)는 제2 카메라(110-2)의 촬영 노출값과, 제1 및 제2 카메라(110-1,110-2)의 촬영 노출값으로부터 산출된 평균값으로부터 제1 및 제2 카메라(110-1,110-2)에 적용할 촬영 노출값으로 재설정할 수 있다.
이 같은 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값이 재설정되면, 제1 및 제2 카메라(110-1,110-2)는 프로세서(120)의 제어 명령에 따라, 재설정된 촬영 설정값에 기초하여 영상을 촬영한다. 즉, 제1 및 제2 카메라(110-1,110-2)는 재설정된 촬영 설정값에 기초하여 동일한 노출값 혹은 색상값을 갖는 영상을 촬영할 수 있다. 따라서, 프로세서(120)는 재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 각각의 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
또다른 실시예에 따라, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값 중 사용자 명령에 대응되는 카메라의 촬영 설정값으로 나머지 카메라의 촬영 설정값을 재설정할 수 있다.
구체적으로, 프로세서(120)는 사용자 명령에 따라, 기준 카메라 설정을 위한 아이콘을 포함하는 촬영 설정 UI를 디스플레이하도록 디스플레이부(140)를 제어한다. 이에 따라, 디스플레이부(140)는 기준 카메라 설정을 위한 아이콘을 포함하는 촬영 설정 UI를 디스플레이한다. 촬영 설정 UI를 디스플레이하는 디스플레이부(140) 구성에 대한 상세한 설명은 하기에서 상세히 설명하도록 한다.
이 같은 촬영 설정 UI가 디스플레이된 상태에서, 촬영 설정 UI에 포함된 기준 카메라 설정을 위한 아이콘이 선택되면, 제1 및 제2 카메라(110-1,110-2) 각각에 대응되는 오브젝트를 포함하는 리스트 UI를 디스플레이하도록 디스플레이부(140)를 제어한다. 이 같은 제어 명령에 따라, 디스플레이부(140)는 제1 및 제2 카메라(110-1,110-2) 각각에 대응되는 오브젝트를 포함하는 리스트 UI를 화면상에 디스플레이한다. 한편, 프로세서(120)는 화면상에 디스플레이된 리스트 UI에 포함된 복수의 오브젝트 중 하나에 대한 선택 명령이 입력되면, 제1 및 제2 카메라(110-1,110-2) 중 선택된 오브젝트에 대응되는 카메라의 촬영 설정값으로 나머지 카메라의 촬영 설정값을 재설정할 수 있다.
예를 들어, 제1 및 제2 카메라(110-1,110-2) 중 제1 카메라(110-1)에 대응되는 오브젝트가 사용자에 의해 선택되면, 프로세서(120)는 제1 카메라(110-1)의 촬영 설정값으로 제2 카메라(110-2)의 촬영 설정값을 재설정할 수 있다. 제1 카메라(110-1)의 촬영 설정값으로 제2 카메라(110-2)의 촬영 설정값이 재설정되면, 제1 및 제2 카메라(110-1,110-2)는 동일한 노출된 혹은 색상값을 갖는 영상을 촬영할 수 있다. 따라서, 프로세서(120)는 재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 각각의 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
또다른 실시에에 따라, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2) 중 제1 카메라(110-1)로부터 획득된 촬영 설정값을 제1 촬영 설정값으로 재설정하고, 제2 카메라(110-2)로부터 획득된 촬영 설정값을 제2 촬영 설정값으로 재설정할 수 있다.
구체적으로, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)로부터 촬영 설정값이 획득되면, 획득된 촬영 설정값으로부터 평균값을 산출한다. 이후, 프로세서(120)는 산출된 평균값을 기준으로 기설정된 임계 범위 내에서 제1 및 제2 카메라(110-1,110-2)에 적용할 촬영 설정값을 상이하게 재설정할 수 있다.
예를 들어, 제1 카메라(110-1)의 촬영 노출값은 5이고, 제2 카메라(110-2)의 촬영 노출값은 10이될 수 있으며, 이 같은 제1 및 제2 카메라(110-1,110-2)의 촬영 노출값으로부터 산출된 평균값은 7.5가 될 수 있다.
이 경우, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)의 촬영 노출값으로부터 산출된 평균값을 기준으로 제1 및 제2 카메라(110-1,110-2)에 적용할 촬영 노출값의 임계 범위를 설정할 수 있다. 전술한 바와 같이, 제1 및 제2 카메라(110-1,110-2)의 촬영 노출값으로부터 산출된 평균값이 7.5인 경우, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)에 적용할 촬영 노출값의 임계 범위를 7 ~ 8 로 설정할 수 있다. 이 같은 임계 범위가 설정되면, 프로세서(120)는 설정된 임계 범위에 기초하여 제1 카메라(110-1)에 적용할 촬영 노출값을 7로 재설정하고, 제2 카메라(110-2)에 적용할 촬영 노출값을 8로 재설정할 수 있다.
한편, 제1 및 제2 카메라(110-1,110-2)로부터 획득된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나에 적용할 촬영 노출값을 재설정하는 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)를 통해 동영상을 촬영하는 경우, 다음과 같은 실시예를 통해 제1 및 제2 카메라(110-1,110-2)에 설정된 촬영 설정값을 획득할 수 있다.
일 실시예에 따라, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)를 통해 동영상을 촬영하는 경우, 기설정된 주기가 도래하는 시점에 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 동영상의 영상 프레임으로부터 촬영 설정값을 획득할 수 있다.
예를 들어, 주기가 10초 단위로 설정된 경우, 프로세서(120)는 10초 주기로 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 동영상의 영상 프레임으로부터 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 획득할 수 있다.
따라서, 프로세서(120)는 기설정된 주기가 도래하는 시점마다 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값이 획득되면, 전술한 실시예와 같이, 제1 및 제2 카메라(110-1,110-2)로부터 획득된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나에 적용할 촬영 설정값을 재설정할 수 있다.
또다른 실시예에 따라, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)를 통해 동영상을 촬영하는 경우, 후술할 감지부(130)를 통해 감지된 감지 정보에 기초하여 전자 장치(100)의 모션이 감지되는 이벤트가 발생하는지 여부를 판단하고, 그 판단 결과에 기초하여 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 다시 획득할 수 있다.
구체적으로, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)를 통해 동영상 촬영이 개시되며, 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 동영상의 영상 프레임으로부터 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 획득한다.
이 같이, 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값이 획득되면, 프로세서(120)는 전술한 실시예와 같이, 제1 및 제2 카메라(110-1,110-2)로부터 획득된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나에 적용된 촬영 설정값을 재설정할 수 있다.
한편, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)로부터 촬영 설정값이 획득된 이후, 감지부(130)를 통해 감지된 감지 정보에 기초하여 전자 장치(100)의 모션이 감지되는 이벤트가 발생하는지 여부를 판단한다.
판단 결과, 모션이 감지되는 이벤트가 발생한 것으로 판단되면, 프로세서(120)는 모션이 감지되는 이벤트가 발생한 것으로 판단된 시점에 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 동영상의 영상 프레임에 기초하여 제1 및 제2 카메라(110-1,110-2)에 적용된 촬영 설정값을 획득할 수 있다.
이 같이, 모션이 감지되는 이벤트에 따라, 제1 및 제2 카메라(110-1,110-2)에 적용된 촬영 설정값이 추가로 획득되면, 프로세서(120)는 전술한 실시예와 같이, 제1 및 제2 카메라(110-1,110-2)로부터 추가로 획득된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나에 적용된 촬영 설정값을 재설정할 수 있다.
또다른 실시예에 따라, 프로세서(120)는 전술한 실시예를 조합하여 제1 및 제2 카메라(110-1,110-2)에 적용된 촬영 설정값을 획득할 수 있다.
전술한 바와 같이, 제1 및 제2 카메라(110-1,110-2)를 통해 동영상을 촬영하는 경우, 프로세서(120)는 기설정된 주기가 도래하는 시점에 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 동영상의 영상 프레임으로부터 촬영 설정값을 획득할 수 있다. 제1 및 제2 카메라(110-1,110-2)로부터 촬영 설정값이 획득된 이후, 프로세서(120)는 감지부(130)를 통해 감지된 감지 정보에 기초하여 전자 장치(100)의 모션이 감지되는 이벤트가 발생하는지 여부를 판단한다.
판단 결과, 전자 장치(100)의 모션이 감지되는 이벤트가 발생한 것으로 판단되면, 프로세서(120)는 기설정된 주기를 빠르게 설정한다. 따라서, 프로세서(120)는 이전 주기보다 빠르게 설정된 주기가 도래하는 시점에 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 동영상의 영상 프레임으로부터 촬영 설정값을 추가로 획득할 수 있다.
한편, 전자 장치(100)의 모션이 감지되는 이벤트가 기설정된 임계 시간 동안 발생하지 않은 것으로 판단되면, 프로세서(120)는 기설정된 주기를 느리게 설정한다. 따라서, 프로세서(120)는 이전 주기보다 느리게 설정된 주기가 도래하는 시점에 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 동영상의 영상 프레임으로부터 촬영 설정값을 추가로 획득할 수 있다.
이 같이, 모션이 감지되는 이벤트 발생 여부에 대응하여 가변된 주기에 맞춰 제1 및 제2 카메라(110-1,110-2)에 적용된 촬영 설정값이 추가로 획득되면, 프로세서(120)는 전술한 실시예와 같이, 제1 및 제2 카메라(110-1,110-2)로부터 추가로 획득된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나에 적용된 촬영 설정값을 재설정할 수 있다.
이 같은 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나의 촬영 설정값이 재설정되면, 재설정된 촬영 설정값에 기초하여 동일한 노출값 혹은 색상값을 갖는 영상을 촬영할 수 있다. 따라서, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)로부터 재설정된 촬영 설정값에 기초하여 촬영된 각각의 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
이와 같이, 프로세서(120)는 위와 같은 다양한 실시예를 통해 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 재설정함으로써, 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상 간의 노출값 혹은 색상값의 오차를 최소화할 수 있다. 나아가, 프로세서(120)는 재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2)에서 촬영된 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성함으로써, 전체적으로 자연스러운 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
한편, 전술한 다양한 실시예를 통해 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 재설정하고, 재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2)에서 촬영된 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성하는 프로세서(120)는 ISP(Image Signal Processor)(121) 및 DSP(Digital Signal Processor)(123)를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 프로세서의 세부 블록도이다.
도 2에 도시된 바와 같이, 프로세서(120)는 ISP(121) 및 DSP(123)를 포함할 수 있다.
ISP(121)는 제1 및 제2 카메라(110-1,110-2)별로 기설정된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2)의 촬영 동작을 제어한다. 도시된 바와 같이, ISP(121)가 단일 개로 구현될 경우, ISP(121)는 제1 및 제2 카메라(110-1,110-2)를 교번적으로 제1 및 제2 카메라(110-1,110-2)의 촬영 동작을 제어할 수 있다.
이후, ISP(121)는 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상에 대한 영상 데이터를 신호 처리한다. 또한, ISP(121)는 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상의 촬영 설정값을 획득할 수 있다.
한편, 제1 및 제2 카메라(110-1,110-2)를 통해 동영상을 촬영하는 경우, ISP(121)는 다음과 같은 실시예를 통해 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상의 촬영 설정값을 획득할 수 있다.
여기서, 촬영 설정값은 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상의 촬영 노출값 혹은 촬영 색상값이 될 수 있다.
구체적으로, 제1 및 제2 카메라 (110-1,110-2)는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End) 및 이미지 센서를 포함할 수 있다. 서터는 피사체에 반사된 빛이 이미지 센서로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 혹은 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다.
이에 따라, ISP(121)는 제1 및 제2 카메라(110-1,110-2)를 통해 출력된 촬영된 영상에 대한 전기적 신호를 디지털 신호로 신호 처리를 수행한다. 한편, 제1 및 제2 카메라(110-1,110-2)는 전술한 각 구성을 통해 촬영된 영상에 대한 노출 시간 정보, ISP 정보, 휘도 정보, 색상 정보, 화이트 발란스 정보 등을 포함하는 촬영 파라메타를 생성하여 ISP(121)로 출력할 수 있다.
따라서, ISP(121)는 제1 및 제2 카메라(110-1,110-2)로부터 생성된 촬영 파라메타를 참조하여 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상에 대한 촬영 노출값, 촬영 색상값 등을 포함하는 촬영 설정값을 획득할 수 있다.
일 실시예에 따라, 제1 및 제2 카메라(110-1,110-2)를 통해 동영상을 촬영하는 경우, ISP(121)는 기설정된 주기가 도래하는 시점에 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 동영상의 영상 프레임으로부터 촬영 설정값을 획득할 수 있다.
또다른 실시예에 따라, 제1 및 제2 카메라(110-1,110-2)를 통해 동영상을 촬영하는 경우, ISP(121)는 감지부(130)를 통해 가지된 감지 정보에 기초하여 전자 장치(100)의 모션이 감지되는 이벤트가 발생하면, 이벤트가 발생된 시점에 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 동영상의 영상 프레임으로부터 촬영 설정값을 획득할 수 있다.
한편, DSP(123)는 ISP(121)를 통해 디지털 신호 처리된 영상 데이터로부터 제1 및 제2 카메라(110-1,110-2)별로 촬영된 영상을 생성한다.
전술한 바와 같이, ISP(121)는 제1 및 제2 카메라(110-1,110-2) 각각으로부터 변환된 전기적인 신호를 주어진 이득에 따라 증폭하고, 증폭된 각각의 전기적인 아날로그 신호를 디지털 신호로 변환하여 DSP(123)로 출력한다.
이에 따라, DSP(123)는 디지털 신호로 신호 처리된 각각의 영상 데이터로부터 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상을 생성하고, 생성된 각각의 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
한편, DSP(123)는 ISP(121)를 통해 디지털 신호로 신호 처리된 제1 및 제2 카메라(110-1,110-2) 각각에 대응되는 영상 데이터 뿐만 아니라, 제1 및 제2 카메라(110-1,110-2) 각각에 기설정된 촬영 설정값을 수신할 수 있다.
따라서, DSP(123)는 제1 및 제2 카메라(110-1,110-2) 각각에 기설정된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나의 촬영 설정값을 재설정할 수 있다.
전술한 실시예와 같이, DSP(123)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값들의 평균값으로 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 재설정할 수 있다.
또다른 실시예에 따라, DSP(123)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값 중 가장 높은 촬영 설정값과, 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값들의 평균값으로부터 산출된 평균값으로 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 재설정할 수 있다.
또다른 실시예에 따라, DSP(123)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값 중 가장 낮은 촬영 설정값과, 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값들의 평균값으로부터 산출된 평균값으로 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 재설정할 수 있다.
또다른 실시예에 따라, DSP(123)는 제1 및 제2 카메라(110-1,110-2) 중 사용자에 의해 선택된 카메라의 촬영 설정값으로 나머지 카메라의 촬영 설정값을 재설정할 수 있다.
또다른 실시예에 따라, DSP(123)는 제1 카메라(110-1)로부터 획득된 촬영 설정값을 제1 촬영 설정값으로 재설정하고, 제2 카메라(110-2)의 촬영 설정값을 제2 촬영 설정값으로 재설정할 수 있다.
이 같이, 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나에 적용할 촬영 설정값이 재설정되면, ISP(121)는 재설정된 촬영 설정값에 기초하여 복수의 영상을 촬영하도록 제1 및 제2 카메라(110-1,110-2)를 제어한다.
따라서, 제1 및 제2 카메라(110-1,110-2)는 ISP(121) 제어 명령에 따라, 재설정된 촬영 설정값에 기초하여 영상을 촬영하며, ISP(121)는 전술한 일련의 동작을 수행하여 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상에 대한 영상 데이터를 신호 처리한다. 이후, ISP(121)는 제1 및 제2 카메라(110-1,110-2) 각각의 신호 처리된 영상 데이터를 DSP(123)로 전송한다. 이에 따라, DSP(123)는 신호 처리된 제1 및 제2 카메라(110-1,110-2)별 영상 데이터에 대한 영상 처리를 수행하여 영상을 생성하고, 생성된 복수의 영상을 합성하여 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
한편, 전술한 바와 같이, 제1 및 제2 카메라(110-1,110-2)의 촬영 동작을 제어하는 ISP(121)는 도 3 및 도 4에 도시된 바와 같이 복수 개로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 복수의 ISP를 포함하는 프로세서의 제1 세부 블록도이며, 도 4는 본 발명의 또다른 실시예에 따른 복수의 ISP를 포함하는 프로세서의 제2 세부 블록도이다.
도 3에 도시된 바와 같이, 프로세서(120)는 제1 및 제2 ISP(121-1,121-2) 및 DSP(123)를 포함할 수 있다. 여기서, 제1 및 제2 ISP(121-1,121-2)는 제1 및 제2 카메라(110-1,110-2)와 대응되는 개수로 구현되는 것이 바람직하다. 즉, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2) 각각에 대응되는 제1 및 제2 ISP(121-1,121-2)와 DSP(123)를 포함할 수 있다.
제1 및 제2 ISP(121-1,121-2) 각각은 제1 및 제2 ISP(121-1,121-2) 각각에 대응되는 제1 및 제2 카메라(110-1,110-2)의 촬영 동작을 제어하여, 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상에 대한 영상 데이터를 신호 처리하여 DSP(123)로 출력한다. 이에 따라, DSP(123)는 제1 및 제2 ISP(121-1,121-2)로부터 신호 처리된 영상 데이터로부터 영상 처리를 수행하여 영상을 생성하고, 생성된 복수의 영상으로부터 파노라마 영상을 생성할 수 있다.
한편, 제1 및 제2 ISP(121-1,121-2) 각각은 신호 처리된 영상 데이터와 함께, 제1 및 제2 ISP(121-1,121-2) 각각에 대응되는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 획득하여 DSP(123)로 출력할 수 있다. 이에 따라, DSP(123)는 제1 및 제2 ISP(121-1,121-2)로부터 획득된 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 이용하여 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나에 적용할 촬영 설정값을 재설정한다.
DSP(123)에서 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나에 적용할 촬영 설정값을 재설정하는 실시예는 상기에서 상세히 설명하였음므로 생략하도록 한다.
제1 및 제2 카메라(110-1,110-2) 중 적어도 하나에 적용할 촬영 설정값이 재설정되면, DSP(123)는 재설정된 촬영 설정값을 제1 및 제2 ISP(121-1,121-2) 중 적어도 하나로 출력한다. 이에 따라, 제1 및 제2 ISP(121-1,121-2)는 재설정된 촬영 설정값에 기초하여 영상을 촬영하도록 제1 및 제2 카메라(110-1,110-2)를 제어한다.
일 실시예에 따라, DSP(123)는 도 3에 도시된 바와 같이, 재설정된 촬영 설정값을 제1 및 제2 ISP(121-1,121-2) 각각으로 전송할 수 있다.
이 경우, 제1 및 제2 ISP(121-1,121-2)은 DSP(123)에 의해 재설정된 촬영 설정값에 기초하여 영상을 촬영하도록 제1 및 제2 카메라(110-1,110-2)를 제어한다.
또다른 실시예에 따라, 도 4에 도시된 바와 같이, DSP(123)는 제1 및 제2 ISP(121-1,121-2) 중 기설정된 하나의 ISP로 재설정된 촬영 설정값을 전송할 수 있다. 여기서, 기설정된 하나의 ISP는 마스터 ISP이며, 나머지 ISP는 슬레이브 ISP가 될 수 있다.
예를 들어, 제1 및 제2 ISP(121-1,121-2) 중 제1 ISP(121-1)가 마스터 ISP로 설정될 수 있다. 이 경우, DSP(123)는 마스터 ISP로 설정된 제1 ISP(121-1)로 재설정된 촬영 설정값을 전송할 수 있으며, 마스터 ISP로 설정된 제1 ISP(121-1)는 DSP(123)로부터 수신된 촬영 설정값을 슬레이브 ISP로 설정된 제2 ISP(121-2)으로 전송한다. 이후, 마스터 ISP로 설정된 제1 ISP(121-1)와 슬레이브 ISP로 설정된 제2 ISP(121-2)는 DSP(123)로부터 재설정된 촬영 설정값에 기초하여 영상을 촬영하도록 제1 및 제2 카메라(110-1,110-2)를 제어한다.
이에 따라, 제1 및 제2 카메라(110-1,110-2)는 재설정된 촬영 설정값에 기초하여 영상을 촬영하며, 제1 및 제2 ISP(121-1,121-2)는 전술한 일련의 동작을 수행하여 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상에 대한 영상 데이터를 신호 처리한다. 이후, 제1 및 제2 ISP(121-1,121-2)는 제1 및 제2 카메라(110-1,110-2) 각각의 신호 처리된 영상 데이터를 DSP(123)로 전송한다. 이에 따라, DSP(123)는 제1 및 제2 ISP(121-1,121-2)로부터 신호 처리된 제1 및 제2 카메라(110-1,110-2)별 영상 데이터에 대한 영상 처리를 수행하여 영상을 생성하고, 생성된 복수의 영상을 합성하여 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
지금까지, 본 발명에 따른 전자 장치(100)에서 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 재설정하고, 재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성하는 동작에 대해서 상세히 설명하였다.
이하에서는, 본 발명에 따른 전자 장치(100)에서 제1 및 제2 카메라(110-1,110-2)을 통해 촬영된 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성하는 동작에 대해서 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 전자 장치에서 복수의 카메라로부터 촬영된 영상을 이용하여 VR 영상을 생성하는 예시도이다.
도 5에 도시된 바와 같이, 전자 장치(100)는 360도 어라운드 뷰 영상인 VR 영상 생성이 가능한 장치이다. 즉, 전자 장치(100)는 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 영상을 이용하여 VR 영상을 생성할 수 있다.
구체적으로, 제1 및 제2 카메라(110-1,110-2)를 통해 제1 및 제2 영상(510,520)이 촬영되면, 전자 장치(100)는 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 제1 및 제2 영상(510,520)의 촬영 설정값을 획득한다.
도시된 바와 같이, 제1 카메라(110-1)가 제2 카메라(110-2)보다 노출값이 큰 경우, 제1 카메라(110-1)를 통해 촬영된 제1 영상(510)과 제2 카메라(110-2)를 통해 촬영된 제2 영상(520)은 서로 상이한 밝기 톤으로 촬영될 수 있다.
따라서, 전자 장치(100)는 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 제1 및 제2 영상(510,520)으로부터 획득된 촬영 설정값을 이용하여 제1 및 제2 카메라(110-1,110-2) 중 적어도 하나에 적용할 촬영 설정값을 재설정한다.
전술한 실시예와 같이, 전자 장치(100)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값의 평균값을 산출하고, 산출된 평균값을 제1 및 제2 카메라(110-1,110-2)에 적용할 촬영 설정값으로 재설정할 수 있다. 따라서, 제1 및 제2 카메라(110-1,110-2)는 재설정된 촬영 설정값에 기초하여 동일한 노출값 혹은 색상값을 갖는 영상을 촬영할 수 있다. 따라서, 전자 장치(100)는 재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 각각의 영상을 이용하여 VR 영상(530)을 생성할 수 있다.
즉, 제1 및 제2 카메라(110-1,110-2)는 재설정된 촬영 설정값에 기초하여 동일한 노출값 혹은 색상값을 갖는 영상을 촬영할 수 있으며, 전자 장치(100)는 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 동일한 노출값 혹은 색상값을 갖는 영상을 이용하여 VR 영상(530)을 생성할 수 있다.
도 6a 및 도 6b 는 본 발명의 일 실시예에 따른 전자 장치에서 사용자 명령에 대응되는 카메라의 촬영 설정값에 기초하여 나머지 카메라의 촬영 설정값을 재설정하기 위한 예시도이다.
도 6a에 도시된 바와 같이, 전자 장치(100)는 제1 및 제2 카메라(110-1,110-2)의 촬영 설정을 제어하기 위한 복수의 아이콘을 포함하는 촬영 설정 UI(610)를 디스플레이한다. 한편, 촬영 설정 UI(610)에 포함된 복수의 아이콘 중 기준 카메라 설정을 위한 아이콘(611)에 대한 사용자의 선택 명령이 입력되면, 전자 장치(100)는 기준 카메라 설정을 위한 아이콘(611)에 표시된 영역과 인접한 주변 영역에 제1 및 제2 카메라(110-1,110-2) 각각에 대응되는 오브젝트를 포함하는 리스트 UI(611-1)를 디스플레이한다.
이 같은 리스트 UI(611-1)가 디스플레이된 상태에서 리스트 UI(611-1)에 포함된 복수의 오브젝트 중 하나가 선택되면, 전자 장치(100)는 선택된 오브젝트에 대응되는 카메라의 촬영 설정값으로 나머지 카메라의 촬영 설정값을 재설정할 수 있다.
예를 들어, 리스트 UI(611-1)에 포함된 복수의 오브젝트 중 제1 카메라(110-1)에 대응되는 오브젝트가 선택되면, 전자 장치(100)는 제1 카메라(110-1)의 촬영 설정값으로 제2 카메라(110-2)의 촬영 설정값을 재설정할 수 있다.
따라서, 제2 카메라(110-2)는 재설정된 촬영 설정값에 기초하여 제1 카메라(110-1)와 동일한 노출값 혹은 색상값을 갖는 영상을 촬영할 수 있으며, 전자 장치(100)는 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 동일한 노출값 혹은 색상값을 갖는 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
한편, 도 6b에 도시된 바와 같이, 전자 장치(100)는 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 제1 및 제2 영상(610-1,610-2)을 화면의 제1 및 제2 영역에 디스플레이하고, 디스플레이된 제1 및 제2 영상(610-1,610-2) 중 사용자 명령에 대응되는 영상을 촬영한 카메라의 촬영 설정값에 기초하여 나머지 카메라의 촬영 설정값을 재설정할 수 있다.
일 실시예에 따라, 전자 장치(100)는 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 제1 및 제2 영상(620-1,620-2)이 화면의 제1 및 제2 영역에 디스플레이되면, 화면의 제1 및 제2 영역에 디스플레이된 제1 및 제2 영상(620-1,620-2) 중 선택된 영상을 촬영한 카메라의 촬영 설정값을 나머지 카메라의 촬영 설정값으로 재설정할 수 있다.
예를 들어, 사용자는 화면의 제1 및 제2 영역에 디스플레이된 제1 및 제2 영상(620-1,620-2) 중 화면의 제1 영역에 디스플레이된 제1 영상(620-1)을 선택할 수 있다. 이 같은 사용자 명령이 입력되면, 전자 장치(100)는 제1 영상(620-1)을 촬영한 제1 카메라(110-1)의 촬영 설정값을 제2 카메라(110-2)의 촬영 설정값으로 재설정할 수 있다.
또다른 실시예에 따라, 전자 장치(100)는 제1 및 제2 카메라(110-1,110-2)를 통해 촬영된 제1 및 제2 영상(620-1,620-2)이 화면의 제1 및 제2 영역에 디스플레이되면, 사용자 명령에 따라, 제1 및 제 카메라(110-1,110-2)의 촬영 설정값을 재설정할 수 있다.
예를 들어, 사용자는 화면의 제1 및 제2 영역에 디스플레이된 제1 및 제2 영상(620-1,620-2) 중 화면의 제1 영역에 디스플레이된 제1 영상(620-1)을 선택한 후, 기설정된 임계 시간 내에 제2 영역에 디스플레이된 제2 영상(620-2)을 선택할 수 있다.
이 같이, 기설정된 임계 시간 내에 제1 및 제2 영상(620-1,620-2)이 선택되면, 전자 장치(100)는 제1 및 제2 영상(620-1,620-2) 각각을 촬영한 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값으로부터 평균값을 산출한다. 이후, 전자 장치(100)는 산출된 평균값을 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값으로 재설정할 수 있다.
이하에서는, VR(Virtual Reality) 환경을 제공하는 전자 장치(100)에서 파노라마 영상을 제공하기 위한 동작에 대해서 상세히 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 VR(Virtual Reality) 환경을 제공하는 전자 장치의 블록도이다.
도 7에 도시된 바와 같이, VR(Virtual Reality) 환경을 제공하는 전자 장치(100)는 디스플레이부(140), 감지부(130) 및 프로세서(120)를 포함할 수 있다.
디스플레이부(140)는 복수의 영상으로 구성된 파노라마 영상 혹은 VR 영상을 디스플레이한다. 그리고, 감지부(130)는 사용자의 시선을 감지한다. 구체적으로, 감지부(130)는 사용자의 시선이 향하는 방향의 위치를 감지하고, 감지된 위치로부터 사용자의 시선이 이동하는 방향의 위치를 추적할 수 있다. 이 같은 감지부(130)는 실시예에 따라, 동공 추적이 가능한 센서를 통해 사용자의 동공을 촬영하고, 촬영된 동공의 위치로부터 동공이 이동하는 방향을 추적하여 사용자의 시선을 감지할 수 있다. 이 같은 사용자의 시선을 감지하는 기술은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
프로세서(120)는 감지부(130)를 통해 감지된 시선 정보로부터 디스플레이된 파노라마 영상 중 사용자가 응시하는 영역을 판단한다. 이후, 프로세서(120)는 디스플레이된 파노라마 영상을 구성하는 복수의 영상 중 사용자가 응시하는 영역에 대응되는 영상의 영상 설정값을 이용하여 나머지 영상에 대한 영상 처리를 수행하여 영상 처리된 파노라마 영상을 생성할 수 있다. 여기서, 영상 설정값은 사용자가 응시하는 영역에 대응되는 영상을 구성하는 복수의 픽셀들에 대한 픽셀값으로써, 사용자가 응시하는 영역에 대응되는 영상의 휘도값, 조도값 등이 될 수 있다.
이 같은 영상 설정값은 디스플레이된 파노라마 영상을 구성하는 복수의 영상 각각에 대응되는 메타데이터에 포함될 수 있다.
따라서, 프로세서(120)는 파노라마 영상 중 사용자가 응시하는 영역에 대응되는 영상에 대응되는 메타데이터에 포함된 영상 설정값을 이용하여 파노라마 영상을 구성하는 나머지 영상에 대한 영상 처리를 수행하여 파노라마 영상을 생성할 수 있다.
일 실시예에 따라, 프로세서(120)는 감지부(130)를 통해 감지된 시선 정보에 기초하여 사용자가 응시하는 영역이 제1 영역인 것으로 판단되면, 파노라마 영상을 구성하는 복수의 영상 중 제1 영역에 대응되는 제1 영상의 메타데이터에 포함된 영상 설정값을 이용하여 파노라마 영상을 구성하는 제2 영상에 대한 영상 처리를 수행할 수 있다.
또다른 실시예에 따라, 프로세서(120)는 감지부(130)를 통해 감지된 시선 정보에 기초하여 사용자가 응시하는 영역이 제1 영역에서 제2 영역으로 이동된 것으로 판단되면, 파노라마 영상을 구성하는 복수의 영상 중 제1 영역에 대응되는 제1 영상의 메타데이터에 포함된 영상 설정값을 획득한다. 이후, 프로세서(120)는 획득한 제1 영상의 영상 설정값을 이용하여 파노라마 영상을 구성하는 복수의 영상 중 제2 영역에 대응되는 제2 영상에 대한 영상 처리를 수행할 수 있다.
또다른 실시예에 따라, 프로세서(120)는 감지부(130)를 통해 감지된 시선 정보에 기초하여 사용자가 응시하는 영역이 제1 영역과 제2 영역 사이인 것으로 판단할 수 있다. 예를 들어, 사용자는 파노라마 영상을 구성하는 복수의 영상 중 제1 영상 및 제2 영상을 응시할 수 있다. 이 같은 사용자가 응시하는 시선에 대한 시선 정보가 감지되면, 프로세서(120)는 감지된 시선 정보로부터 사용자가 응시하는 영역이 제1 영상에 대응되는 제1 영역과 제2 영상에 대응되는 제2 영역인 것으로 판단할 수 있다. 이 같이, 사용자가 응시하는 영역이 제1 및 제2 영상 각각에 대응되는 제1 및 제2 영역인 것으로 판단되면, 프로세서(120)는 제1 및 제2 영상 각각의 메타데이터에 포함된 영상 설정값을 획득한다. 이후, 프로세서(120)는 제1 및 제2 영상 각각에 대응되는 영상 설정값으로부터 중간값을 산출하고, 산출된 중간값을 이용하여 제1 및 제2 영상 대한 영상 처리를 수행할 수 있다.
이후, 프로세서(120)는 파노라마 영상을 구성하는 복수의 영상 중 사용자의 시선에 따른 영역의 영상과, 해당 영상의 영상 설정값에 기초하여 영상 처리된 나머지 영상을 이용하여 파노라마 영상을 재구성한다. 따라서, 디스플레이부(140)는 프로세서(120)에 의해 재구성된 파노라마 영상을 디스플레이할 수 있다.
이 같이, 프로세서(120)는 사용자가 응시하는 시선과 관련된 영상의 영상 설정값을 이용하여 주변 영상을 보정함으로써, 사용자가 응시하는 시선과 관련된 영상과 주변 영상 간의 영상 처리가 유사하게 보정되며, 이에 따라, 파노라마 영상을 구성하는 복수의 영상들 간의 이질감은 최소화시킬 수 있다. 즉, 본 발명에 따른 프로세서(120)는 사용자의 시선 방향에 따른 영상에 기초하여 주변 영상을 보정함으로써, 파노라마 영상을 구성하는 복수의 영상들 간의 연속성이 보장될 수 있다.
이하에서는, 본 발명에 따른 VR 환경을 제공한 전자 장치(100)에서 사용자의 시선에 따라 재구성된 파노라마 영상을 디스플레이하는 동작에 대해서 상세히 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 VR 환경을 제공하는 전자 장치에서 사용자의 제1 시선에 따라 재구성된 파노라마 영상을 디스플레이하는 예시도이다.
도 8에 도시된 바와 같이, VR 환경을 제공하는 전자 장치(100)는 사용자 명령에 따라, 제1 및 제2 영상(811,813)을 포함하는 파노라마 영상(810)을 디스플레이할 수 있다. 이 같은 파노라마 영상(810)을 디스플레이하고 있는 상태에서, 전자 장치(100)는 사용자의 시선을 감지한다. 감지 결과, 사용자가 응시하는 영역이 A 영역인 것으로 판단되면, 전자 장치(100)는 파노라마 영상(810)을 구성하는 제1 및 제2 영상(811,813) 중 사용자가 응시하는 A 영역과 대응되는 제1 영상(811)의 영상 설정값을 획득한다. 이후, 전자 장치(100)는 제1 영상(811)의 영상 설정값을 이용하여 파노라마 영상(810)을 구성하는 제2 영상(813)에 대한 영상 처리를 수행하여 파노라마 영상을 생성한다.
따라서, 전자 장치(100)는 사용자가 응시하는 A 영역에 대응되는 제1 영상(811)과, 제1 영상(811)의 영상 설정값에 기초하여 영상 처리된 제2 영상(813)을 이용하여 재구성된 파노라마 영상(810')을 디스플레이할 수 있다.
도 9는 본 발명의 일 실시예에 따른 VR 환경을 제공하는 전자 장치에서 사용자의 제2 시선에 따라 재구성된 파노라마 영상을 디스플레이하는 예시도이다.
도 9에 도시된 바와 같이, VR 환경을 제공하는 전자 장치(100)는 사용자 명령에 따라, 제1 및 제2 영상(911,913)을 포함하는 파노라마 영상(910)을 디스플레이할 수 있다. 이 같은 파노라마 영상(910)을 디스플레이하고 있는 상태에서, 전자 장치(100)는 사용자의 시선을 감지한다. 감지 결과, 사용자가 응시하는 영역이 B 영역인 것으로 판단되면, 전자 장치(100)는 파노라마 영상(910)을 구성하는 제1 및 제2 영상(911,913) 중 사용자가 응시하는 B 영역과 대응되는 제2 영상(913)의 영상 설정값을 획득한다. 이후, 전자 장치(100)는 제2 영상(913)의 영상 설정값을 이용하여 파노라마 영상(910)을 구성하는 제1 영상(911)에 대한 영상 처리를 수행하여 파노라마 영상을 생성한다.
따라서, 전자 장치(100)는 사용자가 응시하는 B 영역에 대응되는 제2 영상(913)의 영상 설정값에 기초하여 영상 처리된 제1 영상(911)과, 사용자가 응시하는 B 영역에 대응되는 제2 영상(913)을 이용하여 재구성된 파노라마 영상(910')을 디스플레이할 수 있다.
한편, 전술한 전자 장치(100)는 제1 및 제2 카메라(110-1,110-2)를 포함하는 스마트 폰, 멀티미디어 기기 등으로 구현될 경우, 전술한 구성 외에 도 10과 같은 구성을 구성을 더 포함할 수 있다.
도 10은 본 발명의 일 실시예에 따른 전자 장치의 상세 블록도이다.
도 10에 도시된 바와 같이, 전자 장치(100)는 전술한 제1 및 제2 카메라(110-1,110-2)를 포함하는 촬영부(110), 프로세서(120), 감지부(130) 및 디스플레이부(140) 구성 외에 입력부(150), 통신부(160), 수신부(170), 오디오 출력부(180) 및 저장부(190)를 더 포함할 수 있다.
입력부(150)는 다양한 사용자 명령을 입력받아 프로세서(120)로 전달하기 위한 입력 수단으로써, 마이크(151), 조작부(152), 터치 입력부(153) 및 사용자 입력부(154)를 포함할 수 있다.
마이크(151)는 사용자의 음성 명령을 입력받으며, 조작부(152)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있다. 그리고, 터치 입력부(153)는 전술한 디스플레이부(140)과 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다. 이 경우, 터치 입력부(154)는 디스플레이부(140)를 통해 디스플레이된 다양한 어플리케이션 관련 아이콘에 대한 선택 명령을 입력받을 수 있다.
사용자 입력부(154)는 원격 제어 장치와 같은 적어도 하나의 주변 기기(미도시)로부터 전자 장치(100)의 동작을 제어하기 위한 IR 신호 혹은 RF 신호를 입력받을 수 있다.
통신부(160)는 적어도 하나의 사용자 단말 장치(미도시)와 데이터 통신을 수행한다. 특히, 전자 장치(100)가 복수의 카메라를 통해 영상을 촬영하는 촬영 장치(미도시)와 통신을 수행하는 경우, 통신부(160)는 촬영 장치(미도시)로부터 복수의 카메라를 통해 촬영된 영상 및 복수의 카메라를 통해 촬영된 영상의 촬영 설정값을 수신할 수 있다. 이 경우, 프로세서(120)는 통신부(160)를 통해 수신된 촬영 설정값에 기초하여 촬영 장치(미도시)에 포함된 복수의 카메라에 적용할 촬영 설정값을 재설정하여 통신부(160)를 통해 촬영 장치(미도시)로 재설정된 촬영 설정값을 전송할 수 있다. 뿐만 아니라, 통신부(160)는 프로세서(120)의 제어 명령에 따라, 촬영 장치(미도시)로 촬영 장치(미도시)의 촬영 동작을 제어하기 위한 제어 정보를 전송할 수 있다.
이 같은 통신부(160)는 근거리 통신 모듈(161), 무선 랜 모듈 등의 무선 통신 모듈(16)과, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394 등의 유선 통신 모듈 중 적어도 하나를 포함하는 커넥터(163)를 포함할 수 있다.
근거리 통신 모듈(161)은 전자 장치(100)와 주변의 사용자 단말 장치(미도시) 혹은 촬영 장치(미도시) 사이에 무선으로 근거리 통신을 수행하는 구성이다. 이 같은 근거리 통신 모듈(161)은 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
또한, 무선 통신 모듈(162)이란 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
이처럼 통신부(160)는 상술한 다양한 근거리 통신 방식에 의해 구현될 수 있고, 필요에 따라 본 명세서에 언급되지 않은 다른 통신 기술을 채용할 수 있다.
한편, 커넥터(163)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터(163)는 프로세서(120)의 제어 명령에 따라 커넥터(163)에 연결된 유선 케이블을 통해 외부 서버(미도시)로부터 전송된 컨텐츠 데이터를 수신하거나, 기저장된 컨텐츠 데이터를 외부 기록 매체로 전송할 수 있다. 또한, 커넥터(163)는 커넥터(163)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.
오디오 출력부(190)는 신호 처리부(160)를 통해 신호 처리된 오디오 데이터를 스피커를 통해 오디오 신호로 출력한다.
저장부(190)는 제1 및 제2 카메라(110-1,110-2)로부터 촬영된 각각의 영상 및 각각의 영상으로부터 생성된 파노라마 영상 등의 영상 컨텐츠를 저장하거나, 외부 서버(미도시)로부터 수신된 컨텐츠의 영상 및 오디오 데이터를 저장할 수 있다. 뿐만 아니라, 저장부(190)는 전자 장치(100)의 동작을 제어하기 위한 운용 프로그램을 더 저장할 수 있다. 여기서, 운용 프로그램은 전자 장치(100)가 턴 온(Turn On)되는 경우, 저장부(190)에서 읽혀지고, 컴파일되어 전자 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다.
한편, 전술한 감지부(130)는 사용자의 동공 추적이 가능한 센서 및 전자 장치(100)의 움직임을 감지하는 센서를 포함할 수 있다. 실시예에 따라, 감지부(130)는 사용자의 동공 추적이 가능한 동공 추적 센서(130-1)와, 전자 장치(100)의 움직임을 감지하는 움직임 센서(130-2), 지자기 센서(130-3), 중력 센서(130-4) 및 자이로 센서(130-5) 중 적어도 하나를 포함할 수 있다.
동공 추적 센서(130-1)는 사용자의 안구에 근접한 곳에 위치하여, 사용자의 동공을 촬영하면서 사용자의 시선 변화를 감지하는 센서이다.
따라서, 프로세서(120)는 동공 추적 센서(130-1)를 통해 감지된 감지 정보에 기초하여 디스플레이된 파노라마 영상 중 사용자가 응시하는 영역을 판단한다. 이후, 프로세서(120)는 디스플레이된 파노라마 영상을 구성하는 복수의 영상 중 사용자가 응시하는 영역에 대응되는 영상의 영상 설정값을 이용하여 나머지 영상에 대한 영상 처리를 수행하여 영상 처리된 파노라마 영상을 생성할 수 있다.
움직임 센서(130-2)는 이동하는 전자 장치(100)의 가속도나 충격의 세기를 측정하는 가속도 센서(Accelerometer Sensor)가 될 수 있다.
지자기 센서(Magnetic Sensor)(130-3)는 지구 자기장을 이용하여 방위각을 탐지할 수 있는 전자 나침판으로써, 위치 추적, 3D 영상 게임 등에 사용되거나, 스마트 폰, 무전기, GPS, PDA, 네비게이션 항법 장치 등에 사용되는 센서이다.
중력 센서(Gravity Sensor)(130-4)는 중력이 어느 방향으로 작용하는지 탐지하는 센서로써, 디스플레이 장치(100)의 이동 방향에 따라 자동으로 회전하여 방향을 감지하는데 이용되는 센서이다.
자이로 센서(Gyroscope Sensor)(130-5)는 기존의 움직임 센서(130-2)에 각각 회전을 넣어 6축 방향을 인식하여 하여 좀더 세밀하고 정밀한 동작을 인식할 수 있도록 도와주는 센서이다.
따라서, 프로세서(120)는 제1 및 제2 카메라(110-1,110-2)를 통해 동영상을 촬영하는 경우, 전술한 움직임 센서(130-2), 지자기 센서(130-3), 중력 센서(130-4) 및 자이로 센서(130-5) 중 적어도 하나를 통해 전자 장치(100)의 모션이 감지되는 이벤트가 발생하는 시점에 제1 및 제2 카메라(110-1,110-2)의 촬영 설정값을 획득할 수 있다.
한편, 본 발명에서는 감지부(130)는 전술한 구성 외에 사물이 다른 사물에 접촉되기 이전에 근접하였는지 여부를 결정하는데 이용되는 근접 센서(미도시), 수광을 빛을 감지하여 전기적인 신호로 변환하는 광 센서(미도시) 등을 더 포함할 수 있다.
한편, 전술한 프로세서(120)는 RAM(124), ROM(125), CPU(126) 및 GPU(127)를 더 포함할 수 있으며, RAM(124), ROM(125), CPU(126)는 버스(128)를 통해 서로 연결될 수 있다.
CPU(126)는 저장부(190)를 액세스하여, 저장부(190)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(126)는 저장부(190)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
GPU(127)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(127)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.
ROM(125)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(126)는 ROM(125)에 저장된 명령어에 따라 저장부(190)에 저장된 OS를 RAM(124)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(126)는 저장부(190)에 저장된 각종 프로그램을 RAM(124)에 복사하고, RAM(124)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
이 같은 프로세서(120)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.
한편, 상술한 프로세서(120)의 동작은 저장부(190)에 저장된 프로그램에 의해 이루어질 수 있다. 여기서, 저장부(190)는 ROM(125), RAM(124) 또는 전자 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.
지금까지, 본 발명에 따른 전자 장치(100)의 각 구성에 대해서 상세히 설명하였다.
이하에서는, 본 발명에 따른 전자 장치(100)의 동작을 제어하는 방법에 대해서 상세히 설명하도로 한다.
도 11은 본 발명의 일 실시예에 따른 전자 장치에서 복수의 카메라를 이용하여 파노라마 영상을 촬영하기 위한 방법의 흐름도이다.
도 11에 도시된 바와 같이, 전자 장치(100)는 복수의 카메라(이하 제1 및 제2 카메라라 함)를 포함한다.
구체적으로, 전자 장치(100)는 제1 및 제2 카메라로부터 영상이 촬영되면, 제1 및 제2 카메라로부터 촬영된 영상들의 촬영 설정값을 획득한다(S1110). 여기서, 촬영 설정값은 제1 및 제2 카메라의 촬영 노출값 및 촬영 색상값 중 적어도 하나를 포함할 수 있다.
구체적으로, 전자 장치(100)는 ISP를 통해 제1 및 제2 카메라의 촬영 동작을 제어하며, 제1 및 제2 카메라로부터 촬영된 영상에 대한 신호 처리를 수행하는 동시에 제1 및 제2 카메라에 기설정된 촬영 설정값을 획득할 수 있다.
보다 구체적으로, 제1 및 제2 카메라는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End) 및 이미지 센서를 포함할 수 있다. 서터는 피사체에 반사된 빛이 이미지 센서로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 혹은 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다.
이에 따라, ISP는 제1 및 제2 카메라를 통해 출력된 촬영된 영상에 대한 전기적 신호를 디지털 신호로 신호 처리를 수행한다. 한편, 제1 및 제2 카메라는 전술한 각 구성을 통해 촬영된 영상에 대한 노출 시간 정보, ISP 정보, 휘도 정보, 색상 정보, 화이트 발란스 정보 등을 포함하는 촬영 파라메타를 생성하여 ISP로 출력할 수 있다.
따라서, ISP는 제1 및 제2 카메라로부터 생성된 촬영 파라메타를 참조하여 제1 및 제2 카메라로부터 촬영된 영상에 대한 촬영 노출값, 촬영 색상값 등을 포함하는 촬영 설정값을 획득할 수 있다.
이 같은 ISP는 단일 구성으로 구현되거나 제1 및 제2 카메라와 대응되는 개수로 구현될 수 있다. ISP가 단일 구성으로 구현될 경우, ISP는 교번적으로 제1 및 제2 카메라의 촬영 동작을 제어할 수 있으며, ISP가 제1 및 제2 카메라와 대응되는 개수로 구현될 경우, 각각의 ISP는 각각의 ISP와 대응되는 카메라의 촬영 동작을 제어할 수 있다.
이 같은 ISP를 통해 제1 및 제2 카메라의 촬영 설정값이 획득되면, 전자 장치(100)는 획득된 제1 및 제2 카메라에 대한 촬영 설정값이 서로 유사한지 여부를 판단한다(S1120).
구체적으로, 전자 장치(100)는 제1 및 제2 카메라로부터 획득된 촬영 설정값 간의 차이가 기설정된 임계 범위 내에 존재하는지 여부를 판단한다. 판단 결과 제1 및 제2 카메라로부터 획득된 촬영 설정값 간의 차이가 기설정된 임계 범위 내에 존재하면, 전자 장치(100)는 제1 및 제2 카메라의 촬영 설정값이 유사한 것으로 판단한다. 제1 및 제2 카메라의 촬영 설정값이 유사한 것으로 판단되면, 전자 장치(100)는 후술할 단계 S1150을 통해 제1 및 제2 카메라에 기적용된 촬영 설정값에 기초하여 촬영된 영상으로부터 파노라마 영상 혹은 VR 영상을 생성한다.
한편, 제1 및 제2 카메라로부터 획득된 촬영 설정값 간의 차이가 기설정된 임계 범위 내에 존재하지 않으면, 전자 장치(100)는 제1 및 제2 카메라의 촬영 설정값이 상이한 것으로 판단하고, 다음과 같은 실시예에 기초하여 제1 및 제2 카메라 중 적어도 하나에 적용할 촬영 설정값을 재설정한다(S1130).
구체적으로, 전자 장치(100)는 DSP를 통해 제1 및 제2 카메라의 촬영 설정값을 바탕으로 제1 및 제2 카메라 중 적어도 하나의 촬영 설정값을 재설정할 수 있다.
일 실시예와 같이, 전자 장치(100)는 제1 및 제2 카메라의 촬영 설정값들의 평균값으로 제1 및 제2 카메라의 촬영 설정값을 재설정할 수 있다.
또다른 실시예에 따라, 전자 장치(100)는 제1 및 제2 카메라의 촬영 설정값 중 가장 높은 촬영 설정값과, 제1 및 제2 카메라의 촬영 설정값들의 평균값으로부터 산출된 평균값으로 제1 및 제2 카메라의 촬영 설정값을 재설정할 수 있다.
또다른 실시예에 따라, 전자 장치(100)는 제1 및 제2 카메라의 촬영 설정값 중 가장 낮은 촬영 설정값과, 제1 및 제2 카메라의 촬영 설정값들의 평균값으로부터 산출된 평균값으로 제1 및 제2 카메라의 촬영 설정값을 재설정할 수 있다.
또다른 실시예에 따라, 전자 장치(100)는 제1 및 제2 카메라 중 사용자에 의해 선택된 카메라의 촬영 설정값으로 나머지 카메라의 촬영 설정값을 재설정할 수 있다.
또다른 실시예에 따라, 전자 장치(100)는 제1 카메라로부터 획득된 촬영 설정값을 제1 촬영 설정값으로 재설정하고, 제2 카메라의 촬영 설정값을 제2 촬영 설정값으로 재설정할 수 있다.
이 같은 다양한 실시예를 통해 제1 및 제2 카메라 중 적어도 하나의 촬영 설정값이 재설정되면, 전자 장치(100)는 재설정된 촬영 설정값을 바탕으로 제1 및 제2 카메라를 이용하여 영상을 촬영한다(S1140). 즉, 전자 장치(100)는 적어도 하나의 ISP를 통해 제1 및 제2 카메라를 제어하며, 제1 및 제2 카메라는 적어도 하나의 ISP의 제어 명령에 따라, 재설정된 촬영 설정값에 기초하여 영상을 촬영할 수 있다.
재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라를 통해 영상이 촬영되면, 전자 장치(100)는 제1 및 제2 카메라를 통해 촬영된 복수의 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성한다(S1150).
한편, 제1 및 제2 카메라로부터 획득된 촬영 설정값에 기초하여 제1 및 제2 카메라 중 적어도 하나에 적용할 촬영 노출값을 재설정하는 전자 장치(100)는 제1 및 제2 카메라를 통해 동영상을 촬영하는 경우, 다음과 같은 실시예를 통해 제1 및 제2 카메라에 설정된 촬영 설정값을 획득할 수 있다.
일 실시예에 따라, 전자 장치(100)는 제1 및 제2 카메라를 통해 동영상을 촬영하는 경우, 기설정된 주기가 도래하는 시점에 제1 및 제2 카메라를 통해 촬영된 동영상의 영상 프레임으로부터 촬영 설정값을 획득할 수 있다.
또다른 실시예에 따라, 전자 장치(100)는 제1 및 제2 카메라를 통해 동영상을 촬영하는 경우, 감지부를 통해 감지된 감지 정보에 기초하여 전자 장치(100)의 모션이 감지되는 이벤트가 발생하는지 여부를 판단하고, 그 판단 결과에 기초하여 제1 및 제2 카메라의 촬영 설정값을 다시 획득할 수 있다.
이 같은 제1 및 제2 카메라 중 적어도 하나의 촬영 설정값이 재설정되면, 재설정된 촬영 설정값에 기초하여 동일한 노출값 혹은 색상값을 갖는 영상을 촬영할 수 있다. 따라서, 전자 장치(100)는 재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라로부터 촬영된 각각의 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
이와 같이, 전자 장치(100)는 위와 같은 다양한 실시예를 통해 제1 및 제2 카메라의 촬영 설정값을 재설정함으로써, 제1 및 제2 카메라로부터 촬영된 영상 간의 노출값 혹은 색상값의 오차를 최소화할 수 있다. 나아가, 전자 장치(100)는 재설정된 촬영 설정값에 기초하여 제1 및 제2 카메라에서 촬영된 영상을 이용하여 파노라마 영상 혹은 VR 영상을 생성함으로써, 전체적으로 자연스러운 파노라마 영상 혹은 VR 영상을 생성할 수 있다.
이하에서는, VR(Virtual Reality) 환경을 제공하는 전자 장치(100)에서 파노라마 영상을 제공하기 위한 방법에 대해서 상세히 설명하도록 한다.
도 12는 본 발명이 일 실시예에 따른 VR 환경을 제공하는 전자 장치에서 파노라마 영상을 제공하기 위한 방법의 흐름도이다.
도 12에 도시된 바와 같이, 전자 장치(100)는 VR 환경에서 사용자가 요청한 파노라마 영상을 디스플레이한다(S1210). 여기서, 파노라마 영상은 복수의 영상으로 구성된 영상이 될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 전자 장치(100)는 복수의 영상을 통해 360도 어라운드 뷰 영상인 VR 영상을 생성하여 디스플레이할 수 있다.
이 같은 복수의 영상으로 구성된 파노라마 영상이 디스플레이되면, 전자 장치(100)는 사용자의 시선을 감지한다(S1220). 실시예에 따라, 전자 장치(100)는 동공 추적 센서와 같은 감지 센서를 이용하여 사용자의 시선이 향하는 방향의 위치를 감지하고, 감지된 위치로부터 사용자의 시선이 이동하는 방향의 위치를 추적할 수 있다.
이 같은 센서를 통해 사용자의 시선이 감지되면, 전자 장치(100)는 감지된 시선 정보로부터 파노라마 영상 중 사용자가 응시하는 영역을 판단한다(S1230). 이후, 전자 장치(100)는 파노라마 영상을 구성하는 영상 중 사용자가 응시하는 영역에 대응되는 영상의 영상 설정값을 이용하여 나머지 영상에 대한 영상 처리를 수행하고, 영상 처리된 파노라마 영상을 생성한다(S1240,S1250).
일 실시예에 따라, 전자 장치(100)는 사용자가 응시하는 영역이 제1 영역인 것으로 판단되면, 파노라마 영상 중 제1 영역에 대응되는 제1 영상의 영상 설정값을 획득한다. 이후, 전자 장치(100)는 획득한 제1 영상의 영상 설정값을 이용하여 파노라마 영상을 구성하는 제2 영상에 대한 영상 처리를 수행할 수 있다.
이후, 전자 장치(100)는 제1 영역에 대응되는 제1 영상과, 제1 영상의 영상 설정값에 기초하여 영상 처리된 제2 영상을 합성하여 파노라마 영상을 생성할 수 있다.
또다른 실시예에 따라, 전자 장치(100)는 사용자가 응시하는 영역이 제1 영역에서 제2 영역으로 이동된 것으로 판단되면, 파노라마 영상을 구성하는 복수의 영상 중 사용자가 응시하는 제1 영역에 대응되는 제1 영상의 영상 설정값을 획득한다. 이후, 전자 장치(100)는 획득한 제1 영상의 영상 설정값을 이용하여 파노라마 영상 중 제2 영역에 대응되는 제2 영상에 대한 영상 처리를 수행할 수 있다.
또다른 실시예에 따라, 전자 장치(100)는 사용자가 응시하는 영역이 제1 영역과 제2 영역 사이인 것으로 판단할 수 있다. 예를 들어, 사용자는 파노라마 영상을 구성하는 복수의 영상 중 제1 영상 및 제2 영상을 응시할 수 있다. 이 같은 사용자가 응시하는 시선에 대한 시선 정보가 감지되면, 전자 장치(100)는 감지된 시선 정보로부터 사용자가 응시하는 영역이 제1 영상에 대응되는 제1 영역과 제2 영상에 대응되는 제2 영역인 것으로 판단할 수 있다. 이 같이, 사용자가 응시하는 영역이 제1 및 제2 영상 각각에 대응되는 제1 및 제2 영역인 것으로 판단되면, 전자 장치(100)는 제1 및 제2 영상 각각의 메타데이터에 포함된 영상 설정값을 획득한다. 이후, 전자 장치(100)는 제1 및 제2 영상 각각에 대응되는 영상 설정값으로부터 중간값을 산출하고, 산출된 중간값을 이용하여 제1 및 제2 영상 대한 영상 처리를 수행할 수 있다.
이후, 전자 장치(100)는 제1 영역에 대응되는 제1 영상과, 제1 영상의 영상 설정값에 기초하여 영상 처리된 제2 영상을 합성하여 파노라마 영상을 생성할 수 있다.
이 같이, 전자 장치(100)는 사용자가 응시하는 시선과 관련된 영상의 영상 설정값을 이용하여 주변 영상을 보정함으로써, 사용자가 응시하는 시선과 관련된 영상과 주변 영상 간의 영상 처리가 유사하게 보정되며, 이에 따라, 파노라마 영상을 구성하는 복수의 영상들 간의 이질감은 최소화시킬 수 있다. 즉, 본 발명에 따른 전자 장치(100)는 사용자의 시선 방향에 따른 영상에 기초하여 주변 영상을 보정함으로써, 파노라마 영상을 구성하는 복수의 영상들 간의 연속성이 보장될 수 있다.
한편, 상술한 바와 같은 파노라마 영상을 제공하는 전자 장치(100)의 제어 방법은 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 전자 장치 110 : 촬영부
110-1,110-2 : 제1 및 제3 카메라 120 : 프로세서
121 : ISP 123 : DSP
130 : 감지부 140 : 디스플레이부
150 : 입력부 160 : 통신부
180 : 오디오 출력부 190 : 저장부

Claims (20)

  1. 전자 장치에서 파노라마 영상을 생성하기 위한 방법에 있어서,
    복수의 카메라로부터 촬영된 영상들의 촬영 설정값을 획득하는 단계;
    상기 획득한 촬영 설정값 간의 차이가 기설정된 임계 범위 내 인지 여부를 판단하는 단계;
    상기 획득한 촬영 설정값 간의 차이가 상기 임계 범위 내이면, 상기 획득한 촬영 설정값을 유지하고, 상기 획득한 촬영 설정값 간의 차이가 상기 임계 범위를 벗어나면, 상기 복수의 카메라 중 적어도 하나에 적용할 촬영 설정값을 재설정하는 단계; 및
    상기 재설정된 촬영 설정값을 바탕으로 상기 복수의 카메라에서 촬영된 영상들을 이용하여 파노라마 영상을 생성하는 단계;
    를 포함하는 파노라마 영상 생성 방법.
  2. 제 1 항에 있어서,
    상기 재설정하는 단계는,
    상기 복수의 카메라의 촬영 설정값들의 평균값으로 상기 복수의 카메라의 촬영 설정값을 재설정하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  3. 제 1 항에 있어서,
    상기 재설정하는 단계는,
    기준 카메라 설정을 위한 아이콘이 선택되면, 상기 복수의 카메라 각각에 대응되는 복수의 오브젝트를 포함하는 리스트 UI를 디스플레이하며,
    상기 복수의 오브젝트 중 하나가 선택되면, 상기 선택된 오브젝트에 대응되는 카메라의 촬영 설정값로 나머지 카메라의 촬영 설정값을 재설정하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  4. 제 1 항에 있어서,
    상기 재설정하는 단계는,
    상기 복수의 카메라 중 제1 카메라로부터 획득된 촬영 설정값을 제1 촬영 설정값로 재설정하고, 제2 카메라로부터 획득된 촬영 설정값을 제2 촬영 설정값로 재설정하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  5. 제 1 항에 있어서,
    상기 획득하는 단계는,
    상기 복수의 카메라를 통해 동영상을 촬영하는 경우, 기설정된 주기가 도래하는 시점에 상기 복수의 카메라를 통해 촬영된 동영상의 영상 프레임으로부터 촬영 설정값을 획득하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  6. 제 1 항에 있어서,
    상기 획득하는 단계는,
    상기 복수의 카메라를 통해 동영상을 촬영하는 경우, 상기 전자 장치의 모션이 감지되는 이벤트 발생 여부에 따라 상기 촬영 설정값을 다시 획득하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 촬영 설정값은,
    촬영 노출값 및 촬영 색상값 중 적어도 하나를 포함하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  9. 제 1 항에 있어서,
    상기 획득하는 단계는,
    ISP(Image Signal Processing)를 통해 상기 복수의 카메라의 촬영 설정값을 획득하며,
    상기 재설정하는 단계는,
    DSP(Digital Signal Processing)을 통해 상기 획득한 촬영 설정값을 바탕으로 상기 복수의 카메라 중 적어도 하나에 적용할 촬영 설정값을 재설정하며,
    상기 복수의 카메라는,
    상기 ISP의 제어 명령에 따라, 상기 DSP에 의해 재설정된 촬영 설정값에 기초하여 영상을 촬영하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  10. 파노라마 영상을 생성하기 위한 전자 장치에 있어서,
    영상을 촬영하는 복수의 카메라; 및
    상기 복수의 카메라로부터 촬영된 영상으로부터 촬영 설정값을 획득하며, 상기 획득된 촬영 설정값 간의 차이가 기설정된 임계 범위 내 인지 여부를 판단하여, 상기 획득한 촬영 설정값 간의 차이가 상기 임계 범위 내이면, 상기 획득한 촬영 설정값을 유지하고,
    상기 획득한 촬영 설정값 간의 차이가 상기 임계 범위를 벗어나면, 상기 복수의 카메라 중 적어도 하나에 적용할 촬영 설정값을 재설정하고,
    상기 재설정된 촬영 설정값을 바탕으로 영상을 촬영하도록 상기 복수의 카메라를 제어하며, 상기 복수의 카메라로부터 촬영된 영상들을 이용하여 파노라마 영상을 생성하는 프로세서;를 포함하며,
    상기 촬영 설정값은,
    촬영 노출값 및 촬영 색상값 중 적어도 하나를 포함하는 전자 장치.
  11. 제 10 항에 있어서,
    상기 프로세서는,
    상기 복수의 카메라의 촬영 설정값들의 평균값으로 상기 복수의 카메라의 촬영 설정값을 재설정하는 것을 특징으로 하는 전자 장치.
  12. 제 10 항에 있어서,
    기준 카메라 설정을 위한 아이콘을 포함하는 촬영 설정 UI를 디스플레이하는 디스플레이부;를 더 포함하며,
    상기 프로세서는,
    상기 기준 카메라 설정을 위한 아이콘이 선택되면, 상기 복수의 카메라 각각에 대응되는 오브젝트를 포함하는 리스트 UI를 디스플레이하도록 상기 디스플레이부를 제어하며,
    상기 복수의 오브젝트 중 하나가 선택되면, 상기 선택된 오브젝트에 대응되는 카메라의 촬영 설정값으로 나머지 카메라의 촬영 설정값을 재설정하는 것을 특징으로 하는 전자 장치.
  13. 제 10 항에 있어서,
    상기 프로세서는,
    상기 복수의 카메라 중 제1 카메라로부터 획득된 촬영 설정값을 제1 촬영 설정값로 재설정하고, 제2 카메라로부터 획득된 촬영 설정값을 제2 촬영 설정값로 재설정하는 것을 특징으로 하는 전자 장치.
  14. 제 10 항에 있어서,
    상기 프로세서는,
    상기 복수의 카메라를 통해 동영상을 촬영하는 경우, 기설정된 주기가 도래하는 시점에 상기 복수의 카메라를 통해 촬영된 동영상의 영상 프레임으로부터 촬영 설정값을 획득하는 것을 특징으로 하는 전자 장치.
  15. 제 10 항에 있어서,
    상기 전자 장치의 모션을 감지하는 감지부;를 더 포함하며,
    상기 프로세서는,
    상기 복수의 통해 동영상을 촬영하는 경우, 상기 감지부를 통해 상기 전자 장치의 모션이 감지되는 이벤트가 발생하는지 여부에 따라, 상기 촬영 설정값을 다시 획득하는 것을 특징으로하는 전자 장치.
  16. 삭제
  17. 제 10 항에 있어서,
    상기 프로세서는,
    상기 복수의 카메라로부터 촬영된 영상의 촬영 설정값을 획득하며, 상기 촬영된 영상에 대한 영상 데이터를 신호 처리하는 ISP; 및
    상기 획득된 촬영 설정값을 바탕으로 상기 복수의 카메라 중 적어도 하나의 촬영 설정값을 재설정하는 DSP;를 포함하며,
    상기 ISP는,
    상기 재설정된 촬영 설정값에 기초하여 영상을 촬영하도록 상기 복수의 카메라를 제어하는 것을 특징으로 하는 전자 장치.
  18. VR(Virtual Reality) 환경에서 파노라마 영상을 제공하는 전자 장치에 있어서,
    복수의 영상으로 구성된 파노라마 영상을 디스플레이하는 디스플레이부;
    사용자의 시선을 감지하는 감지부; 및
    상기 감지된 시선 정보로부터 상기 파노라마 영상 중 상기 사용자가 응시하는 영역을 판단하고, 상기 사용자가 응시하는 영역에 대응되는 영상의 영상 설정값을 이용하여 나머지 영상에 대한 영상 처리를 수행하여 영상 처리된 파노라마 영상을 생성하는 프로세서;
    를 포함하는 전자 장치.
  19. 제 18 항에 있어서,
    상기 프로세서는,
    상기 사용자가 응시하는 영역이 제1 영역인 것으로 판단되면, 상기 파노라마 영상 중 상기 제1 영역에 대응되는 제1 영상의 영상 설정값을 이용하여 상기 파노라마 영상을 구성하는 제2 영상에 대한 영상 처리를 수행하는 것을 특징으로 하는 전자 장치.
  20. 제 18 항에 있어서,
    상기 프로세서는,
    상기 사용자가 응시하는 영역이 제1 영역에서 제2 영역으로 이동된 것으로 판단되면, 상기 파노라마 영상 중 상기 제1 영역에 대응되는 제1 영상의 영상 설정값을 이용하여 상기 파노라마 영상 중 상기 제2 영역에 대응되는 제2 영상에 대한 영상 처리를 수행하는 것을 특징으로 하는 전자 장치.
KR1020160163626A 2016-03-11 2016-12-02 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법 KR101822169B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17763625.5A EP3366037B1 (en) 2016-03-11 2017-03-13 Electronic apparatus for providing panorama image and control method thereof
PCT/KR2017/002677 WO2017155365A1 (en) 2016-03-11 2017-03-13 Electronic apparatus for providing panorama image and control method thereof
CN201780006204.8A CN108476290B (zh) 2016-03-11 2017-03-13 用于提供全景图像的电子装置及其控制方法
US15/457,091 US10645282B2 (en) 2016-03-11 2017-03-13 Electronic apparatus for providing panorama image and control method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662306871P 2016-03-11 2016-03-11
US62/306,871 2016-03-11
KR1020160063926 2016-05-25
KR20160063926 2016-05-25

Publications (2)

Publication Number Publication Date
KR20170106177A KR20170106177A (ko) 2017-09-20
KR101822169B1 true KR101822169B1 (ko) 2018-01-25

Family

ID=60034171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160163626A KR101822169B1 (ko) 2016-03-11 2016-12-02 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
EP (1) EP3366037B1 (ko)
KR (1) KR101822169B1 (ko)
CN (1) CN108476290B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022061908A1 (zh) * 2020-09-28 2022-03-31 深圳市大疆创新科技有限公司 全景图像拍摄方法、拍摄设备与可移动平台
KR20230023498A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 언더 디스플레이 카메라를 포함하는 전자 장치 및 그 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148865A (ja) * 1999-11-19 2001-05-29 Minolta Co Ltd 画像入力装置
JP2002251608A (ja) * 2001-02-23 2002-09-06 Mixed Reality Systems Laboratory Inc 撮像装置の制御装置及びその制御方法、画像処理装置及びその方法、並びにプログラムコード、記憶媒体
JP2004193947A (ja) * 2002-12-11 2004-07-08 Fuji Xerox Co Ltd 三次元撮像装置および方法
JP2009147465A (ja) * 2007-12-11 2009-07-02 Canon Inc カメラ制御装置、カメラ制御方法、カメラシステム、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
KR20080037738A (ko) * 2005-08-26 2008-04-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미징 카메라 처리 유닛 및 방법
KR101354899B1 (ko) * 2007-08-29 2014-01-27 삼성전자주식회사 파노라마 사진 촬영 방법
US8659670B2 (en) * 2009-04-20 2014-02-25 Qualcomm Incorporated Motion information assisted 3A techniques
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
KR101822655B1 (ko) * 2011-06-21 2018-01-29 삼성전자주식회사 카메라를 이용한 물체 인식 방법 및 이를 위한 카메라 시스템
JP5802520B2 (ja) * 2011-11-11 2015-10-28 株式会社 日立産業制御ソリューションズ 撮像装置
US10681304B2 (en) * 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
CN104350734B (zh) * 2012-06-11 2017-12-12 索尼电脑娱乐公司 图像生成设备以及图像生成方法
CN104335569B (zh) * 2012-06-11 2017-08-25 索尼电脑娱乐公司 图像生成设备以及图像生成方法
CN103905731B (zh) * 2014-03-26 2017-11-28 武汉烽火众智数字技术有限责任公司 一种宽动态图像采集方法及系统
KR20150125246A (ko) * 2014-04-30 2015-11-09 주식회사 이에스엠연구소 다시점 카메라에 대한 촬영 설정값을 조절하는 방법 및 다시점 카메라에 대한 촬영 설정값을 조절하는 장치
CN105049727B (zh) * 2015-08-13 2019-05-21 小米科技有限责任公司 全景图像拍摄的方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148865A (ja) * 1999-11-19 2001-05-29 Minolta Co Ltd 画像入力装置
JP2002251608A (ja) * 2001-02-23 2002-09-06 Mixed Reality Systems Laboratory Inc 撮像装置の制御装置及びその制御方法、画像処理装置及びその方法、並びにプログラムコード、記憶媒体
JP2004193947A (ja) * 2002-12-11 2004-07-08 Fuji Xerox Co Ltd 三次元撮像装置および方法
JP2009147465A (ja) * 2007-12-11 2009-07-02 Canon Inc カメラ制御装置、カメラ制御方法、カメラシステム、及びプログラム

Also Published As

Publication number Publication date
EP3366037A1 (en) 2018-08-29
EP3366037B1 (en) 2023-05-03
EP3366037A4 (en) 2018-11-07
CN108476290A (zh) 2018-08-31
CN108476290B (zh) 2020-11-27
KR20170106177A (ko) 2017-09-20

Similar Documents

Publication Publication Date Title
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
JP6679577B2 (ja) ３ｄパノラマイメージ生成のための映像生成装置及び方法
CN109218606B (zh) 摄像控制设备、其控制方法及计算机可读介质
KR20150026268A (ko) 이미지 안정화 방법 그 전자 장치
JP2019030007A (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
US10455154B2 (en) Image processing device, image processing method, and program including stable image estimation and main subject determination
KR20180005528A (ko) 영상 처리를 위한 디스플레이 장치 및 방법
BR112016013424B1 (pt) método e terminal para aquisição de imagem panorâmica
JP6398457B2 (ja) 撮影装置、撮影方法、およびプログラム
US9628700B2 (en) Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program
US10270977B2 (en) Imaging apparatus and a method of tracking a subject in the imaging apparatus
WO2018233217A1 (zh) 图像处理方法、装置和增强现实设备
KR20160063794A (ko) 촬영 장치 및 그 제어 방법
US10009545B2 (en) Image processing apparatus and method of operating the same
KR101822169B1 (ko) 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법
US20200020086A1 (en) Information processing method and information processing apparatus
US20200084385A1 (en) Display control apparatus, imaging apparatus, and control method
US10645282B2 (en) Electronic apparatus for providing panorama image and control method thereof
US20170280041A1 (en) Method and apparatus for processing image obtained by camera
KR102497526B1 (ko) 검출 장치, 검출 제어 방법 및 컴퓨터 프로그램
CN109804408B (zh) 一致的球面照片和视频朝向校正
US11523052B2 (en) Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium
WO2017071560A1 (zh) 图片处理方法及装置
JP6885133B2 (ja) 画像処理装置、撮像システム、画像処理方法及びプログラム
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant