KR20170059889A - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20170059889A
KR20170059889A KR1020160148385A KR20160148385A KR20170059889A KR 20170059889 A KR20170059889 A KR 20170059889A KR 1020160148385 A KR1020160148385 A KR 1020160148385A KR 20160148385 A KR20160148385 A KR 20160148385A KR 20170059889 A KR20170059889 A KR 20170059889A
Authority
KR
South Korea
Prior art keywords
sensor
cameras
panoramic image
image
movement
Prior art date
Application number
KR1020160148385A
Other languages
English (en)
Other versions
KR102629927B1 (ko
Inventor
정재일
안진형
김민철
김용국
김용진
조성래
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160080892A external-priority patent/KR20170059878A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/359,919 priority Critical patent/US10587799B2/en
Priority to PCT/KR2016/013565 priority patent/WO2017090986A1/en
Publication of KR20170059889A publication Critical patent/KR20170059889A/ko
Priority to US16/813,080 priority patent/US10992862B2/en
Application granted granted Critical
Publication of KR102629927B1 publication Critical patent/KR102629927B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H04N5/23248—
    • H04N5/23267—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

복수의 카메라를 이용하여 파노라마 영상을 획득하는 전자 장치 및 이의 제어 방법이 제공된다. 본 전자 장치는 영상을 촬영하기 위한 복수의 카메라, 움직임 정보를 획득하기 위한 데이터를 감지하는 센서 및 센서를 통해 획득된 움직임 정보를 이용하여 기정의된 위치를 기준으로 복수의 카메라의 개별 움직임 정보를 산출하고, 개별 움직임 정보를 바탕으로 복수의 카메라를 통해 복수의 영상을 획득하며, 촬영된 복수의 영상을 이용하여 파노라마 영상을 생성한다.

Description

전자 장치 및 이의 제어 방법{An electronic apparatus and Method for controlling the electronic apparatus thereof}
본 발명은 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 복수의 카메라를 통해 복수의 영상을 획득하여 파노라마 영상을 생성하는 전자 장치 및 이의 제어 방법에 관한 것이다.
근래에는 하나의 카메라(또는 이미지 센서)가 아닌 복수의 카메라를 통해 복수의 영상을 촬영하고, 복수의 영상을 이용하여 파노라마 영상을 제공하는 장치가 개발되고 있다.
특히, 카메라를 통해 영상을 촬영하고자 하는 경우, 카메라를 들고 있는 촬영자의 움직임으로 인해 카메라를 촬영된 영상에 흔들림이 발생하고 있다. 따라서, 카메라를 통해 영상을 촬영하고자 하는 경우, 흔들림 보정은 필수적인 영상 보정 과정이다.
종래에는 흔들림을 보정하기 위하여, 하나의 카메라를 통해 정지 영상을 여러 번 촬영하여 영상 간 중첩을 통해 흔들림을 보정하는 DIS(Digital Image Stabilization)　 방식을 사용하거나 전자 장치의 흔들림을 감지하여 감지된 흔들림만큼 카메라의 움직임을 보상하여 영상을 보정하는 OIS(Optical Image Stabilization)　 방식을 사용하였다.
그러나, 복수의 카메라를 동시에 동작하여 영상을 촬영하는 경우, 복수의 카메라의 움직임이 서로 각각 상이하게 된다. 즉, 복수의 카메라의 움직임 각각을 감지하기 위해서는 복수의 카메라에 대응되는 복수의 센서가 필요하게 된다. 이에 의해 계산량이 많아지고, 제품 단가도 높아지는 문제점이 발생하게 된다.
따라서, 본 발명의 목적은 하나의 센서를 통해 감지된 전자 장치의 움직임을 바탕으로 복수의 카메라의 움직임 각각을 개별적으로 산출하고, 산출된 개별 움직임을 바탕으로 복수의 카메라의 움직임을 보상하여 흔들림 보정하는 전자 장치 및 이의 제어 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은 3차원의 가상 구로 투영된 파노라마 영상의 특징점의 움직임을 분석하여 파노라마 영상의 흔들림을 보정하는 전자 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 파노라마 영상을 획득하기 위한 전자 장치는, 영상을 촬영하기 위한 복수의 카메라; 움직임 정보를 획득하기 위한 데이터를 감지하는 센서; 및 상기 센서를 통해 획득된 움직임 정보를 이용하여 기정의된 위치를 기준으로 상기 복수의 카메라의 개별 움직임 정보를 산출하고, 상기 개별 움직임 정보를 바탕으로 상기 복수의 카메라를 통해 복수의 영상을 획득하며, 상기 촬영된 복수의 영상을 이용하여 파노라마 영상을 생성하는 프로세서;를 포함한다.
그리고, 상기 센서는, 상기 전자 장치의 움직임 정보를 획득하기 위한 데이터를 감지하는 3축 가속 센서 및 3축 각축 센서를 포함하며, 상기 3축 가속 센서를 이용하여 상기 센서의 이동량을 획득하고, 상기 3축 각축 센서를 이용하여 상기 센서의 회전량을 획득할 수 있다.
또한, 상기 기정의된 위치는, 상기 복수의 카메라의 무게 중심일 수 있다.
그리고, 상기 프로세서는, 상기 3축 각축 센서를 이용하여 감지된 상기 센서의 회전량을 바탕으로 상기 복수의 카메라의 개별 회전량을 산출하며, 상기 3축 가속 센서를 이용하여 감지된 상기 센서의 이동량 및 상기 3축 각축 센서를 이용하여 감지된 상기 센서의 회전량을 바탕으로 상기 복수의 카메라의 개별 이동량을 산출할 수 있다.
또한, 상기 개별 회전량(RC)은, RC=RS이며, 상기 개별 이동량(TC)는, TC=PC-RSPC+TS이며, 여기서, RS는 상기 센서의 회전량이고, TS는 상기 센서의 이동량이며, 상기 PC는 카메라의 원 위치일 수 있다.
그리고, 상기 복수의 카메상기 복수의 카메라의 흔들림을 보정하기 위한 OIS(Optical Image Stabilization)부를 포함하며, 상기 프로세서는, 상기 복수의 카메라의 개별 회전량 및 개별 이동량을 바탕으로 상기 OIS 부를 제어하여 움직임이 보상된 복수의 영상을 획득할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 복수의 카메라를 이용하여 파노라마 영상을 획득하기 위한 전자 장치의 제어 방법은, 센서를 이용하여 움직임 정보를 획득하는 단계; 상기 센서를 통해 감지된 움직임 정보를 이용하여 기정의된 위치를 기준으로 상기 복수의 카메라의 개별 움직임 정보를 산출하는 단계; 상기 개별 움직임 정보를 바탕으로 상기 복수의 카메라를 통해 복수의 영상을 획득하는 단계; 및 상기 촬영된 복수의 영상을 이용하여 파노라마 영상을 생성하는 단계;를 포함한다.
그리고, 상기 센서는,　 상기 전자 장치의 움직임 정보를 획득하기 위한 3축 가속 센서 및 3축 각축 센서를 포함하며, 상기 움직임 정보를 획득하는 단계는, 상기 3축 가속 센서를 이용하여 상기 센서의 이동량을 획득하고, 상기 3축 각축 센서를 이용하여 상기 센서의 회전량을 획득할 수 있다.
또한, 상기 기정의된 위치는, 상기 복수의 카메라의 무게 중심일 수 있다.
그리고, 상기 산출하는 단계는, 상기 3축 각축 센서를 이용하여 감지된 상기 센서의 회전량을 바탕으로 상기 복수의 카메라의 개별 회전량을 산출하며, 상기 3축 가속 센서를 이용하여 감지된 상기 센서의 이동량 및 상기 3축 각축 센서를 이용하여 감지된 상기 센서의 회전량을 바탕으로 상기 복수의 카메라의 개별 이동량을 산출할 수 있다.
또한, 상기 개별 회전량(RC)은, RC=RS이며, 상기 개별 이동량(TC)는, TC=PC-RSPC+TS이며, 여기서, RS는 상기 센서의 회전량이고, TS는 상기 센서의 이동량이며, 상기 PC는 카메라의 원 위치일 수 있다.
그리고, 상기 복수의 카메라상기 복수의 카메라의 흔들림을 보정하기 위한 OIS(Optical Image Stabilization)부를 포함하며, 상기 복수의 영상을 획득하는 단계는, 상기 복수의 카메라의 개별 회전량 및 개별 이동량을 바탕으로 상기 OIS 부를 제어하여 움직임이 보상된 복수의 영상을 획득할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 파노라마 영상을 획득하기 위한 전자 장치는, 영상을 촬영하기 위한 복수의 카메라; 및 상기 복수의 카메라를 통해 촬영된 복수의 영상을 이용하여 2차원의 파노라마 영상을 획득하며, 상기 2차원의 파노라마 영상을 3차원의 가상 구에 투영하고, 상기 가상 구에 투영된 3차원의 파노라마 영상에서 복수의 특징점의 움직임을 분석하여 상기 가상 구를 보정 움직임을 판단하며, 상기 가상 구의 보정 움직임을 바탕으로 상기 3차원의 파노라마 영상을 보정하고, 상기 보정된 3차원의 파노라마 영상을 2차원의 파노라마 영상으로 재투영하여 흔들림이 보정된 파노라마 영상을 획득하는 프로세서;를 포함할 수 있다.
그리고, 상기 프로세서는, 상기 복수의 특징점의 움직임이 최소가 되도록 하는 상기 가상 구의 보정 움직임을 판단할 수 있다.
또한, 상기 프로세서는, 상기 복수의 특징점 중 기설정된 값 이상의 움직임을 가지는 특징점을 제외하고 상기 가상 구의 보정 움직임을 판단할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른,파노라마 영상을 획득하기 위한 전자 장치의 제어 방법은, 2차원의 파노라마 영상을 획득하는 단계; 상기 2차원의 파노라마 영상을 3차원의 가상 구에 투영하는 단계; 상기 가상 구에 투영된 3차원의 파노라마 영상에서 복수의 특징점의 움직임을 분석하여 상기 가상 구를 보정 움직임을 판단하고, 상기 가상 구의 보정 움직임을 바탕으로 상기 3차원의 파노라마 영상을 보정하는 단계; 상기 보정된 3차원의 파노라마 영상을 2차원의 파노라마 영상으로 재투영하여 흔들림이 보정된 파노라마 영상을 획득하는 단계;를 포함한다.
그리고, 상기 2차원의 파노라마 영상을 획득하는 단계는, 복수의 카메라를 이용하여 촬영된 복수의 영상을 이용하여 상기 2차원의 파노라마 영상을 획득할 수 있다.
또한, 상기 보정하는 단계는, 상기 복수의 특징점의 움직임이 최소가 되도록 하는 상기 가상 구의 보정 움직임을 판단할 수 있다.
그리고, 상기 보정하는 단계는, 상기 복수의 특징점 중 기설정된 값 이상의 움직임을 가지는 특징점을 제외하고 상기 가상 구의 보정 움직임을 판단할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 따라 전자 장치는 하나의 센서를 통해 복수의 카메라의 움직임을 보상하여 흔들림 보정을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 전자 장치의 구성을 간략히 도시한 블록도,
도 2는 본 발명의 일 실시예에 따른, 전자 장치의 구성을 상세히 도시한 블록도,
도 3은 본 발명의 일 실시예에 따른, 센서에 의해 감지되는 센서의 회전량 및 이동량을 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 따른, 가상 원점을 기준으로 복수의 카메라와 센서가 배치된 좌표계를 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른, 센서의 움직임 정보를 바탕으로 카메라의 개별 움직임 정보를 산출하는 방법을 설명하기 위한 도면,
도 6은 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 7a 내지 도 9는 본 개시의 다른 실시예에 따른, 3차원의 가상 구에 투영된 파노라마 영상의 특징점을 분석하여 파노라마 영상의 흔들림을 보정하는 실시예를 설명하기 위한 도면들, 그리고,
도 10a 내지 도 13은 본 개시의 다른 실시예에 따른, 파노라마 영상 속 오브젝트의 크기를 조절하는 실시예를 설명하기 위한 도면들이다.
이하, 첨부된 도면을 참조하여 본 개시(present disclosure)를 설명한다. 본 개시는 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 따라서, 본 개시는 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다.
본 개시 가운데 사용될 수 있는"포함한다", "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작, 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작, 구성요소 등을 제한하지 않는다. 또한, 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한 본 개시에서 "및/또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, A 및/또는 B는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
또한 본 개시 가운데 "제1", "제2", "첫째", "둘째" 등의 표현들이 본 개시의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1사용자 기기와 제2사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성 요소도 제1구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다. 본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에 따른 전자 장치는, 복수의 카메라를 포함하는 전자 장치일 수 있다. 예를 들어, 전자 장치는 복수의 카메라를 포함하는 촬영 장치, 웨어러블 장치로 구현될 수 있다.
본 개시에 따른 파노라마 영상은 360도 또는 기설정된 각도 이상(예를 들어, 180)의 시야를 확보할 수 있는 영상을 의미할 수 있다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다. 우선, 도 1은 본 발명의 일 실시예에 따른, 전자 장치의 구성을 간략히 도시한 블록도이다. 도 1에 도시된 바와 같이, 전자 장치는 복수의 카메라(110), 센서(120) 및 프로세서(130)를 포함한다.
복수의 카메라(110)는 파노라마 영상을 생성하기 위한 복수의 영상을 획득할 수 있다. 이때, 복수의 카메라(110)는 360도 영상을 획득하기 위하여 가상의 원 둘레에 위치할 수 있으나, 이는 일 실시예에 불과할 뿐, 일직선상에 위치할 수도 있다.
센서(120)는 움직임 정보를 획득하기 위한 데이터를 수집한다. 특히, 센서(120)는 센서(120)의 움직임 정보를 획득하기 위한 3축 가속 센서 및 3축 각축 센서를 포함할 수 있다. 이때, 3축 가속 센서는 센서(120)의 이동량을 획득하기 위한 데이터를 수집하며, 3축 각축 센서는 센서(120)의 회전량을 획득하기 위한 데이터를 수집할 수 있다.
프로세서(130)는 센서(120)를 통해 획득된 움직임 정보를 이용하여 기정의된 위치(예를 들어, 복수의 카메라의 무게 중심)를 기준으로 복수의 카메라(110)의 개별 움직임 정보를 산출하고, 개별 움직임 정보를 바탕으로 복수의 카메라(110)를 통해 복수의 영상을 획득하며, 촬영된 복수의 영상을 이용하여 파노라마 영상을 생성할 수 있다.
구체적으로, 프로세서(130)는 3축 각축 센서를 이용하여 감지된 센서(120)의 회전량을 바탕으로 복수의 카메라(110)의 개별 회전량을 산출하며, 3축 가속 센서를 이용하여 감지된 센서(120)의 이동량 및 3축 각축 센서를 이용하여 감지된 센서(120)의 회전량을 바탕으로 복수의 카메라의 개별 이동량을 산출할 수 있다. 그리고, 프로세서(130)는 복수의 카메라의 개별 회전량 및 개별 이동량을 바탕으로 OIS(Optical Image Stabilization) 보상을 수행하여 흔들림이 보정된 복수의 영상을 획득할 수 있다. 그리고, 프로세서(130)는 흔들림이 보정된 복수의 영상을 이용하여 파노라마 영상을 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른, 전자 장치의 구성을 상세히 도시한 블록도이다. 도 2에 도시된 바와 같이, 전자 장치(100)는 복수의 카메라(110), OIS부(140), 센서(120), 메모리(150), 디스플레이(160), 입력부(170), 통신부(180) 및 프로세서(130)를 포함한다.
한편, 도 3b에 도시된 구성은 일 실시예에 불과할 뿐, 구현예에 따라 새로운 구성 요소를 추가할 수 있고, 적어도 하나의 구성 요소를 삭제할 수 있다.
복수의 카메라(110)는 파노라마 영상을 획득하기 위한 복수의 영상을 획득할 수 있다. 특히, 복수의 카메라(110) 각각은 렌즈, 조리개, 이미지 센서 및 DAC(Analog/Digital Converter)를 포함할 수 있다. 렌즈는 외부 광원으로부터 빛을 받아 영상을 처리한다. 이때, 조리개는 개폐 정도에 따라 입사되는 빛의 양(광량)을 조절한다. 이미지 센서는 렌즈부를 통하여 입력되는 광량을 축적하고 그 축적된 광량에 따라 렌즈부에서 촬상된 영상을 수직 동기 신호에 맞추어 출력한다. 전자 장치(100)의 영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜 주는 이미지 센서에 의해 이루어진다. 특히, 이미지 센서가 CCD(Charge Coupled Device) 이미지 센서인 경우, CCD 이미지 센서를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color filter array) 라는 필터를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있다. ADC는 이미지 센서로부터 출력되는 아날로그 영상신호를 디지털 신호로 변환한다. 한편, 카메라가 상술한 바와 같이 영상을 촬영하는 것은 일 실시 예에 불과할 뿐, 다른 방법에 의해 영상을 촬영할 수 있다. 예를 들어, CCD 이미지 센서가 아닌가 아닌 CMOS(Complementary Metal Oxide Semiconductor)이미지 센서를 이용하여 영상을 촬영할 수 있다.
한편, 복수의 카메라(110)는 도 2에 도시된 바와 같이, 제1 카메라(110-1), 제2 카메라(110-2), 제3 카메라(110-3)를 포함할 수 있다. 이때, 제1 카메라 내지 제3 카메라(110-1 내지 110-3)는 360도 영상을 촬영하기 위하여 가상의 원의 둘레에 특정 간격(예를 들어 120 도)으로 배치될 수 있다.
또한, 도 2에서는 카메라가 3개인 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 카메라가 2 개 또는 4개 이상으로 구현될 수 있다.
센서(120)는 전자 장치(100)의 상태를 감지하기 위한 구성이다. 특히, 센서(120)는 전자 장치(100)(또는 센서)의 움직임 정보를 획득하기 위한 데이터를 수집할 수 있다.
이때, 센서(120)는 센서의 이동량을 감지하기 위한 데이터를 수집하는 3축 가속 센서(121) 및 센서(120)의 회전량을 감지하기 위한 데이터를 수집하는 3축 각속 센서(122)를 포함할 수 있다. 특히, 도 3에 도시된 바와 같이, 3축 가속 센서(121)는 센서(120)의 3축 방향의 이동량(dx,dy,dz)을 감지하기 위한 데이터를 수집하며, 3축 각축 센서(122)는 센서(120)의 3축 방향의 회전량(p,w,r)을 감지하기 위한 데이터를 수집할 수 있다.
OIS 부(140)는 복수의 카메라(110)를 통해 획득된 복수의 영상 각각에 대한 흔들림 보정을 위하여 OIS 보정을 수행한다. 이때, OIS 보정은 액츄에이터를 이용하여 전자 장치가 움직이는 방향으로 카메라를 이동하여 손떨림(또는 흔들림)을 보정하는 방식이다.
특히, OIS부(140)는 도 2에 도시된 바와 같이, 제1 OIS부(140-1), 제2 OIS부(140-2), 제3 OIS부(140-3)를 포함할 수 있다. 제1 OIS부(140-1)는 제1 카메라(110-1)의 흔들림을 보정하기 위한 구성이며, 제2 OIS부(140-2)는 제2 카메라(110-2)의 흔들림을 보정하기 위한 구성이며, 제3 OIS부(140-3)는 제3 카메라(110-3)의 흔들림을 보정하기 위한 구성이다.
한편, 도 3에도 역시 OIS부가 3개인 것으로 설명하였으나, 카메라의 개수에 따라 변경될 수 있다. 예를 들어, 카메라가 4개인 경우, OIS부 역시 4개일 수 있다.
메모리(150)는 프로세서(130) 또는 다른 구성요소들(예: 센서(120), OIS부(140), 디스플레이(160), 입력부(170), 통신부(180) 등)로부터 수신되거나 프로세서(130) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 또한, 메모리(150)는 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 또는 어플리케이션 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
또한, 메모리(150)는 센서(120)의 움직임을 바탕으로 복수의 카메라(110)의 개별 움직임을 산출하기 위한 수식을 저장할 수 있다.
한편, 메모리(150)는 다양한 메모리로 구현될 수 있다. 예를 들어, 메모리는 내장 메모리로 구현될 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(nonvolatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 내장 메모리는 Solid State Drive(SSD)의 형태를 취할 수도 있다. 또한 메모리(150)는 외장 메모리로 구현될 수 있다. 외장 메모리는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 MemoryStick 등을 더 포함할 수 있다.
디스플레이(160)는 사용자에게 화상, 영상 또는 데이터 등을 표시할 수 있다. 특히, 디스플레이는 LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등으로 구현될 수 있으며, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다.
특히, 디스플레이부(160)는 복수의 카메라 중 적어도 하나로부터 획득된 라이브 뷰 영상 또는 셔터 버튼이 선택된 후 촬영된 영상을 표시할 수 있다.
입력부(170)는 전자 장치(100)를 제어하기 위한 사용자 명령을 입력받는다. 특히, 입력부(170)는 예를 들면, 사용자로부터 명령 또는 데이터를 입력받아 버스(190)를 통해 프로세서(130) 또는 메모리(150)에 전달할 수 있다.
입력부(170)는 터치 패널(touch panel), (디지털) 펜 센서(pen sensor), 키(key)또는 초음파 입력 장치, 음성 입력 장치, 모션 입력 장치 등과 같은 다양한 입력 장치로 구현될 수 있다.
통신부(180)는 외부의 장치와 통신을 수행할 수 있다. 이때, 통신부(180)는 소정의 근거리 통신 프로토콜(예: Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication) 또는 소정의 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등을 지원할 수 있다.
특히, 통신부(180)는 복수의 촬영부(110)에 의해 촬영된 복수의 영상을 이용하여 획득된 파노라마 영상을 외부로 전송할 수 있다.
프로세서(130)는 예를 들면, 버스(미도시)를 통해 다른 구성요소들로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
또한, 프로세서(130)는 메인 프로세서와 서브 프로세서를 포함할 수 있으며, 서브 프로세서는 저전력 프로세서로 구성할 수 있다. 이때, 메인 프로세서와 서브 프로세서는 하나의 원 칩(one chip) 형태로 구현될 수 있으며, 별도의 칩으로 구현될 수 있다. 또한, 서브 프로세서는 내부에 버퍼나 스택 형식의 메모리를 포함할 수 있으며,
한편, 프로세서(130)는 GPU(Graphic Processing Unit), CPU(Central Processing Unit), AP(Application Processor) 중 적어도 하나로 구현될 수 있으며, 하나의 칩으로도 구현될 수 있다.
특히, 프로세서(130)는 센서(120)로부터 획득된 센서(120)의 이동량 및 회전량을 바탕으로 기정의된 위치를 기준으로 복수의 카메라(110) 각각의 개별 이동량 및 개별 회전량을 산출할 수 있다.
구체적으로, 제1 카메라 내지 제3 카메라(110-1 내지 110-3)가 영상을 촬영하기 위하여, 도 4에 도시된 바와 같이, 전자 장치(100)의 바깥쪽 방향(화살표 방향)으로 향하는 경우, 제1 내지 제3 카메라(110-1 내지 110-3)의 무게 중심을 가상원점(410)으로 하는 가상의 원(420)이 생성될 수 있다. 이때, 가상 원점(410)이 기정의된 위치가 될 수 있다.
이때, 제1 내지 제3 카메라(110-1 내지 110-3)와 센서(120)는 가상의 원 상에 고정된 영역에 위치할 수 있다. 예를 들어, 가상 원점(410)을 (0,0,0)으로 가정한다면, 센서의 위치는 (PSX,PSY,PSZ)이며, 제1 카메라의 위치는 (PC1X,PC1Y,PC1Z)이며, 제2 카메라의 위치는 (PC2X,PC2Y,PC2Z)이며, 제3 카메라의 위치는 (PC3X,PC3Y,PC3Z)일 수 있다.
그리고, 프로세서(140)는 3축 각축 센서(122)를 이용하여 감지된 센서의 회전량을 바탕으로 제1 내지 제3 카메라 각각의 개별 회전량을 산출하며, 3축 가속 센서(121)를 이용하여 감지된 센서(120)의 이동량 및 3축 각축 센서(1220)를 이용하여 감지된 센서(120)의 회전량을 바탕으로 제1 내지 제3 카메라 각각의 개별 이동량을 산출할 수 있다.
구체적으로, 도 5에 도시된 바와 같이, 센서(120)의 위치가 Ps(0,0,0)인 경우, 프로세서(130)는 센서(120)를 통해 획득한 데이터를 바탕으로 센서(120)의 회전량을 RS(ps,ws,rs)인 것으로 판단하고, 이동량이 TS인(XS,YS,ZS) 것으로 판단할 수 있다.
이때, 프로세서(130)는 아래의 수학식 1과 수학식 2를 통해 제1 카메라(110-1)의 개별 회전량(RC1) 및 개별 이동량(TC1)을 산출할 수 있다.
Figure pat00001
Figure pat00002
이때, PC1는 제1 카메라(110-1)의 원래 위치일 수 있다.
프로세서(130)는 상술한 바와 같은 방법을 통해 제2 카메라(110-2) 및 제3 카메라(110-3)에 대한 개별 회전량 및 개별 이동량을 산출할 수 있다.
그리고, 프로세서(130)는 각각의 카메라의 개별 이동량 및 개별 회전량을 바탕으로 카메라의 OIS 보정을 수행한다. 즉, 프로세서(130)는 각각의 카메라를 산출된 개별 이동량 및 개별 회전량을 바탕으로 움직이도록 OIS부(140)를 제어할 수 있다.
따라서, 프로세서(130)는 복수의 카메라(110) 각각에 대해 흔들림(또는 손떨림)이 보정된 복수의 영상을 획득할 수 있다.
그리고, 프로세서(130)는 복수의 영상을 바탕으로 파노라마 영상을 생성할 수 있다. 구체적으로, 프로세서(130)는 제1 카메라(110-1)에 의해 촬영된 제1 영상, 제2 카메라(110-2)에 의해 촬영된 제2 영상, 제3 카메라(110-3)에 의해 촬영된 제3 영상을 매핑하여 합성함으로써, 파노라마 영상을 생성할 수 있다.
한편, 상술한 실시예에서는 OIS 방식으로 흔들림 보정을 수행하는 전자 장치(100)가 센서(210)의 움직임을 이용하여 복수의 카메라 각각의 흔들림을 보정하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, DIS 방식으로 흔들림 보정을 수행하는 전자 장치(100) 역시 본 발명의 기술적 사상을 적용할 수 있다.
구체적으로, 전자 장치(100)는 복수의 카메라의 개별 회전량(RC) 및 개별 이동량(TC)을 산출한다. 그리고, 전자 장치(100)는 복수의 카메라를 통해 촬영된 복수의 영상을 아래의 수학식 3을 통해 흔들린 카메라에 의해 촬영된 좌표계(i)를 보정하여 보정된 좌표계(i')를 획득할 수 있다.
Figure pat00003
이때, KC는 카메라 내부의 특성을 나타내는 변수이다.
그리고, 전자 장치(100)는 각각의 카메라에 대한 보정된 좌표계(i')를 매핑시켜 흔들림 보정을 수행할 수 있다.
도 6은 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 센서(120)를 이용하여 움직임 정보를 획득한다(S610). 이때, 전자 장치(100)는 센서(120)의 이동량 및 센서(120)의 회전량을 획득할 수 있다.
그리고, 전자 장치(100)는 움직임 정보를 이용하여 기 정의된 위치를 기준으로 복수의 카메라(110)의 개별 움직임 및 개별 회전량을 산출한다(S620). 구체적으로, 전자 장치(100)는 3축 각축 센서를 이용하여 감지된 센서(120)의 회전량을 바탕으로 복수(110)의 카메라의 개별 회전량을 산출하며, 3축 가속 센서를 이용하여 감지된 센서(120)의 이동량 및 3축 각축 센서를 이용하여 감지된 센서(120)의 회전량을 바탕으로 복수의 카메라(110)의 개별 이동량을 산출할 수 있다.
그리고, 전자 장치(100)는 개별 움직임 정보를 바탕으로 복수의 카메라를 통해 복수의 영상을 획득한다. 이때, OIS 방식을 이용하는 경우, 전자 장치(100)는 개별 움직임 정보를 바탕으로 복수의 카메라의 움직임을 제어하여 흔들림을 보정할 수 있다. DIS 방식을 이용하는 경우, 전자 장치(100)는 개별 움직임 정보를 바탕으로 복수의 카메라를 통해 획득된 영상을 보정하여 흔들림을 보정할 수 있다.
그리고, 전자 장치(100)는 복수의 영상을 이용하여 파노라마 영상을 획득한다(S640).
상술한 바와 같은 본 발명의 실시예에 의해, 전자 장치(100)는 하나의 센서(120)를 통해 복수의 카메라(110)의 움직임을 보상하여 흔들림 보정을 수행할 수 있다.
한편 상술한 실시예에서는 복수의 카메라(110)의 움직임을 보상하여 파노라마 영상의 흔들림을 보정하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 영상 처리를 통해 파노라마 영상의 흔들림을 보정할 수 있다. 이하에서는 도 7a 내지 도 9를 참조하여 3차원의 가상 구에 투영된 파노라마 영상의 특징점을 분석하여 파노라마 영상의 흔들림을 보정하는 실시예를 설명하기로 한다.
복수의 카메라(110)는 파노라마 영상을 생성하기 위한 복수의 영상을 촬영할 수 있다.
그리고, 프로세서(130)는 복수의 카메라(110)를 통해 촬영된 복수의 영상을 이용하여 2차원의 파노라마 영상을 획득하며, 2차원의 파노라마 영상을 3차원의 가상 구에 투영하고, 가상 구에 투영된 3차원의 파노라마 영상에서 복수의 특징점의 움직임을 분석하여 가상 구를 보정 움직임을 판단하며, 가상 구의 보정 움직임을 바탕으로 3차원의 파노라마 영상을 보정하고, 보정된 3차원의 파노라마 영상을 2차원의 파노라마 영상으로 재투영하여 흔들림이 보정된 파노라마 영상을 획득할 수 있다.
구체적으로, 프로세서(130)는 복수의 카메라(110)를 통해 촬영된 복수의 영상을 스티칭 2차원의 파노라마 영상을 획득할 수 있다. 특히, 프로세서(130)는 복수의 영상을 스티칭(Stitching)하여 파노라마 영상을 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 방법을 통해 파노라마 영상을 획득할 수 있다. 이때, 2차원의 파노라마 영상을 등장방형도법(equirectangular)에 의한 2차원 영상일 수 있다.
그리고, 프로세서(130)는 획득된 2차원의 파노라마 영상을 3차원의 가상 구(710)에 투영할 수 있다. 그리고, 프로세서(130)는 3차원 가상 구(710)에 투영된 파노라마 영상 중 특징점을 추출하고, 도 7a에 도시된 바와 같이, 특징점의 움직임을 분석할 수 있다. 이때, 특징점은 카메라(110)의 흔들림을 감지하기 위한 픽셀로서 오브젝트의 모서리, 경계선 등에서 추출될 수 있다. 그리고, 프로세서(130)는 제1 프레임의 복수의 특징점과 제1 프레임과 인접한 제2 프레임에서의 복수의 특징점의 위치를 비교하여 특징점의 움직임을 분석할 수 있다.
상술한 실시예에서는 3차원 가상 구(710)에 파노라마 영상을 투영한 뒤 3차원의 가상 구 상에 투영된 파노라마 영상에서 특징점을 추출하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 도 7b에 도시된 바와 같이, 2차원의 파노라마 영상(720)에서 특징점을 먼저 추출한 후, 특징점을 3차원의 가상 구(730)에 투영하여 특징점의 움직임을 분석할 수 있다.
그리고, 프로세서(130)는 가상 구에 투영된 3차원의 파노라마 영상에서 복수의 특징점의 움직임을 분석하여 상 구를 보정 움직임을 판단할 수 있다. 구체적으로, 프로세서(130)는 복수의 특징점의 움직임이 최소가 되도록 하는 가상 구의 보정 움직임을 판단할 수 있다. 즉, 프로세서(130)는 도 8에 도시된 바와 같이, 제1 프레임의 제1 특징점과 제2 프레임의 제1 특징점과 대응되는 제2 특징점 사이의 유클리디안 거리가 최소가 되도록 하기 위한 가상 구의 보정 움직임을 판단할 수 있다.이‹š, 프로세서(130)는 downhill 알고리즘이나 conjugated gradient 알고리즘 등을 이용하여 유클리디안 거리가 최소가 되는 보정 움직임을 판단할 수 있다. 여기서, 가상 구의 보정 움직임은 회전 움직임(810)뿐만 아니라 직선 이동 움직임(820)을 포함할 수 있다.
또한, 프로세서(130)는 복수의 특징점 중 기설정된 값 이상의 움직임을 가지는 특징점을 제외하고 가상 구의 보정 움직임을 판단할 수 있다. 즉, 프로세서(130)는 도 8에 도시된 특징점들 중 기설정된 값 이상의 움직임을 가지는 특징점(830)을 특이치(outlier)라고 판단하고, 특이치를 제외한 나머지 특징점을 이용하여 가상 구의 보정 움직임을 판단할 수 있다. 이로 인해, 프로세서(130)는 더욱 정확한 가상 구의 보정 움직임을 판단할 수 있다.
이때, 특이치는 특징점의 움직임을 분석하여 추출되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 가속 센서나 회전 센서 등과 같은 움직임 센서를 이용하여 획득된 움직임 센싱값을 바탕으로 특이치가 추출될 수 있다. 즉, 프로세서(130)는 움직임 센싱값과 기설정된 값 이상 편차가 나는 움직임을 가지는 특징점을 특이치라고 판단할 수 있다.
그리고, 프로세서(130)는 가상 구의 보정 움직임을 바탕으로 3차원의 가상 구에 투영된 각 프레임을 보정한 뒤 다시 2차원 영상으로 재투영하여 흔들림 보정이 수행된 2차원의 파노라마 영상을 획득할 수 있다.
도 9는 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다. 우선, 전자 장치(100)는 2차원의 파노라마 영상을 획득한다(S910). 이때, 전자 장치(100)는 복수의 영상을 이용하여 2차원의 파노라마 영상을 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 방법을 통해 파노라마 영상을 획득할 수 있다. 예를 들어, 전자 장치(100)는 외부 장치에 의해 촬영된 파노라마 영상을 획득받을 수 있다.
그리고, 전자 장치(100)는 2차원의 파노라마 영상을 3차원의 가상 구에 투영한다(S920).
그리고, 전자 장치(100)는 가상 구에 투영된 3차원의 파노라마 영상에서 복수의 특징점의 움직임을 분석하여 가상 구의 보정 움직임을 판단한다(S930). 이때, 전자 장치(100)는 가상 구에 투영된 3차원의 파노라마 영상에서 특징점의 움직임 최소가 되도록 하는 가상 구의 움직임을 판단할 수 있다.
그리고, 전자 장치(100)는 가상 구의 보정 움직임을 바탕으로 3차원의 파노라마 영상을 보정하고(S940), 보정된 3차원의 파노라마 영상을 2차원의 파노라마 영상으로 재투영하여 흔들림이 부정된 파노라마 영상을 획득한다(S950).
상술한 바와 같은 실시예에 의해, 파노라마 영상에서 손떨림이나 걸음걸이에 의해 발생할 수 있는 카메라 흔들림을 보정할 수 있게 된다.
도 10a 내지 도 14는 본 개시의 다른 실시예에 따른, 파노라마 영상 속 오브젝트의 크기를 조절하는 실시예를 설명하기 위한 도면들이다. 구체적으로, 기존의 360도를 촬영할 수 있는 전자 장치들에 의해 파노라마 영상이 촬영된 경우, 오브젝트의 위치와 상관 없이 모든 방향의 반경이 동일한 가상 구를 바탕으로 360도의 파노라마 영상을 획득하였다. 이때, 도 10a에 도시된 바와 같이, 제1 오브젝트(1010), 제2 오브젝트(1020), 제3 오브젝트(1030) 순으로 전자 장치(100)와 가까이 위치하는 경우, 전자 장치(100)는 도 10b에 도시된 바와 같이, 제1 오브젝트(1010), 제2 오브젝트(1020), 제3 오브젝트(1030) 순으로 오브젝트의 크기가 커진다. 특히, 전자 장치(100)가 핸드-헬드 장치인 경우, 전자 장치(100)와 가장 가까운 오브젝트가 촬영자인 경우가 많아 촬영자가 부자연스러울 정도로 크게 영상에 투영되는 문제점이 발생할 수 있다. 즉, 촬영자는 자신의 크기가 과도하게 커서 촬영자에게 불쾌감을 유발할 수 있는 문제점이 있다.
따라서, 프로세서(130)는 파노라마 영상을 획득하고, 파노마라 영상 속에서 오브젝트를 추출하며, 추출된 오브젝트를 바탕으로 비등방향의 가상 구를 생성하여 파노라마 영상을 가상 구에 투영하고, 비등방형의 가상 구에 투영된 3차원의 파노라마 영상을 2차원으로 재투영하여 오브젝트의 크기가 조절된 파노라마 영상을 획득할 수 있다.
구체적으로, 프로세서(130)는 복수의 카메라(110)를 이용하여 촬영된 복수의 영상을 이용하여 파노라마 영상을 획득할 수 있다. 이때, 프로세서(130)는 획득된 파노라마 영상에서 오브젝트를 검출할 수 있다. 이때, 이때, 오브젝트는 크기를 조절하고자 하는 오브젝트로서, 전자 장치(100)와 가장 가까이 위치한 오브젝트일 수 있으나, 이는 일 실시예에 불과할 뿐, 기 저장된 사람일 수 있다. 예를 들어, 프로세서(130)는 오브젝트를 추출하기 위해, 도 11a 에 도시된 바와 같이, 얼굴 인식을 통해 촬영자의 얼굴(1110)를 인식하고, 인식된 얼굴(1110)과 인접한 영역을 분석하여, 도 11b에 도시된 바와 같이, 촬영자 영역(1120)을 크기를 조절하기 위한 오브젝트로 검출할 수 있다. 이때, 프로세서(130)는 인식된 얼굴(1110)과 인접한 영역을 분석하여 촬영자 영역(1120)의 변형이 최소화되는 외곽선을 계산할 수 있다. 특히, 프로세서(130)는 컨텐츠 인식 기술에서 seam carving 알고리즘을 이용하여 촬영자 영역(1120)의 외곽선을 계산할 수 있다.
그리고, 프로세서(130)는 추출된 오브젝트를 바탕으로 비등방형의 가상 구를 생성하여 파노라마 영상을 투영할 수 있다. 구체적으로, 도 12a에 도시된 오브젝트 중 제1 오브젝트(1210)가 추출된 오브젝트인 경우, 프로세서(130)는 도 12a에 도시된 바와 같이, 가상의 구에서 추출된 제1 오브젝트(1210)와 가까운 영역을 축소시켜 비등방형의 구(1200)를 생성할 수 있다. 즉, 비등방형의 구(1200)는 중심(예를 들어, 전자 장치(100))를 기준으로 추출된 제1 오브젝트(1210)와 가까운 영역의 거리가 나머지 영역의 거리보다 짧을 수 있다.
그리고, 프로세서(130)는 비등방형의 가상 구에 투영된 파노라마 영상을 도 12b에 도시된 바와 같이, 재투영하여 제1 오브젝트(1210)의 크기가 조절된 파노라마 영상을 획득할 수 있게 된다. 즉, 전체 오브젝트들 중 추출된 제1 오브젝트(1210)가 투영되는 거리가 짧아져서, 2차원의 파노라마 영상에서 제1 오브젝트(1210)의 크기가 감소할 수 있게 된다. 이때, 프로세서(130)는 feathering 알고리즘을 이용하여 크기가 감소된 오브젝트의 이질감을 최소화시킬 수 있게 된다.
한편, 상술한 실시예에서는 비등방형의 가상 구를 이용하여 오브젝트의 크기를 조절하였으나, 이는 일 실시예에 불과할 뿐, 광학적 렌즈 설계를 통해 오브젝트의 크기를 조절할 수 있다.
한편, 상술한 실시예에서는 오브젝트의 크기를 줄이기 위하여 비등방형의 구를 이용하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 오브젝트의 크기를 증가시키기 위해 비등방형의 구를 이용할 수 있다. 예를 들어, 프로세서(130)는 중심(예를 들어, 전자 장치(100))를 기준으로 크기를 증가시키고자 하는 오브젝트와 가까운 영역의 거리가 나머지 영역의 거리보다 먼 비등방향의 구를 이용하여 오브젝트의 크기를 증가시킬 수 있다.
도 13은 본 개시의 다른 실시예에 따른, 오브젝트의 크기를 조절하기 위한 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
전자 장치(100)는 파노라마 영상을 획득한다(S1410). 이때, 전자 장치(100)는 복수의 영상을 이용하여 2차원의 파노라마 영상을 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 방법을 통해 파노라마 영상을 획득할 수 있다. 예를 들어, 전자 장치(100)는 외부 장치에 의해 촬영된 파노라마 영상을 획득받을 수 있다.
그리고, 전자 장치(100)는 파노라마 영상 속에서 오브젝트를 검출한다(S1420). 이때, 전자 장치(100)는 파노라마 영상 속에서 얼굴 인식을 통해 촬영자를 오브젝트로 검출할 수 있으나, 이는 일 실시예에 불과할 뿐, 파노라마 영상 속에서 전자 장치(100)와 가장 가까운 오브젝트, 크기가 가장 오브젝트 등을 검출할 수 있다.
그리고, 전자 장치(100)는 추출된 오브젝트를 바탕으로 비등방형의 가상 구를 생성하여 파노라마 영상을 투영한다(S1430). 예를 들어, 추출된 오브젝트의 크기를 줄이고자 하는 경우, 전자 장치(100)는 중심(예를 들어, 전자 장치(100))를 기준으로 추출된 오브젝트와 가까운 영역의 거리가 나머지 영역의 거리보다 짧은 비등방형의 가상 구를 생성할 수 있다.
그리고, 전자 장치(100)는 비등방형의 가상 구에 투영된 3차원의 파노라마 영상을 2차원으로 재투영하여 오브젝트의 크기가 조절된 파노라마 영상을 획득한다(S1440).
상술한 바와 같은 본 발명의 실시예에 의해, 전자 장치(100)는 360도 파노라마 영상에서 촬영자의 크기가 자연스럽게 축소되어 보다 자연스러운 파노라마 영상을 획득할 수 있게 된다.
한편, 상술한 바와 같은 파노라마 영상을 제공하는 전자 장치(100)의 제어 방법은 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다.　 구체적으로, 상술한 프로그램들은 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 복수의 카메라　　　　　　　　　　　　　　　　　　　120: 센서
130: 프로세서　　　　　　　　　　　　　　　　　　　　　　　　140: OIS부
150: 메모리　　　　　　　　　　　　　　　　　　　　　　　　　　160: 디스플레이
170: 입력부　 　　　　　　　　　　　　 　180: 통신부

Claims (19)

  1. 파노라마 영상을 획득하기 위한 전자 장치에 있어서,
    영상을 촬영하기 위한 복수의 카메라;
    움직임 정보를 획득하기 위한 데이터를 감지하는 센서; 및
    상기 센서를 통해 획득된 움직임 정보를 이용하여 기정의된 위치를 기준으로 상기 복수의 카메라의 개별 움직임 정보를 산출하고, 상기 개별 움직임 정보를 바탕으로 상기 복수의 카메라를 통해 복수의 영상을 획득하며, 상기 촬영된 복수의 영상을 이용하여 파노라마 영상을 생성하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 센서는,
    상기 전자 장치의 움직임 정보를 획득하기 위한 데이터를 감지하는 3축 가속 센서 및 3축 각축 센서를 포함하며,
    상기 3축 가속 센서를 이용하여 상기 센서의 이동량을 획득하고, 상기 3축 각축 센서를 이용하여 상기 센서의 회전량을 획득하는 것을 특징으로 하는 전자 장치.
  3. 제2항에 있어서,
    상기 기정의된 위치는,
    상기 복수의 카메라의 무게 중심인 것을 특징으로 하는 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 3축 각축 센서를 이용하여 감지된 상기 센서의 회전량을 바탕으로 상기 복수의 카메라의 개별 회전량을 산출하며,
    상기 3축 가속 센서를 이용하여 감지된 상기 센서의 이동량 및 상기 3축 각축 센서를 이용하여 감지된 상기 센서의 회전량을 바탕으로 상기 복수의 카메라의 개별 이동량을 산출하는 것을 특징으로 하는 전자 장치.
  5. 제4항에 있어서,
    상기 개별 회전량(RC)은,
    RC=RS이며,
    상기 개별 이동량(TC)는,
    TC=PC-RSPC+TS이며,
    여기서,　
    RS는 상기 센서의 회전량이고, TS는 상기 센서의 이동량이며, 상기 PC는 카메라의 원 위치인 것을 특징으로 하는 전자 장치.
  6. 제4항에 있어서,
    상기 복수의 카메상기 복수의 카메라의 흔들림을 보정하기 위한 OIS(Optical Image Stabilization)부를 포함하며,
    상기 프로세서는,
    상기 복수의 카메라의 개별 회전량 및 개별 이동량을 바탕으로 상기 OIS 부를 제어하여 움직임이 보상된 복수의 영상을 획득하는 것을 특징으로 하는 전자 장치.
  7. 복수의 카메라를 이용하여 파노라마 영상을 획득하기 위한 전자 장치의 제어 방법에 있어서,
    센서를 이용하여 움직임 정보를 획득하는 단계;
    상기 센서를 통해 감지된 움직임 정보를 이용하여 기정의된 위치를 기준으로 상기 복수의 카메라의 개별 움직임 정보를 산출하는 단계;
    상기 개별 움직임 정보를 바탕으로 상기 복수의 카메라를 통해 복수의 영상을 획득하는 단계; 및
    상기 촬영된 복수의 영상을 이용하여 파노라마 영상을 생성하는 단계;를 포함하는 제어 방법.
  8. 제7항에 있어서,
    상기 센서는,
    상기 전자 장치의 움직임 정보를 획득하기 위한 3축 가속 센서 및 3축 각축 센서를 포함하며,
    상기 움직임 정보를 획득하는 단계는,
    상기 3축 가속 센서를 이용하여 상기 센서의 이동량을 획득하고, 상기 3축 각축 센서를 이용하여 상기 센서의 회전량을 획득하는 것을 특징으로 하는 제어 방법.
  9. 제8항에 있어서,
    상기 기정의된 위치는,
    상기 복수의 카메라의 무게 중심인 것을 특징으로 하는 제어 방법.
  10. 제9항에 있어서,
    상기 산출하는 단계는,
    상기 3축 각축 센서를 이용하여 감지된 상기 센서의 회전량을 바탕으로 상기 복수의 카메라의 개별 회전량을 산출하며,
    상기 3축 가속 센서를 이용하여 감지된 상기 센서의 이동량 및 상기 3축 각축 센서를 이용하여 감지된 상기 센서의 회전량을 바탕으로 상기 복수의 카메라의 개별 이동량을 산출하는 것을 특징으로 하는 제어 방법.
  11. 제10항에 있어서,
    상기 개별 회전량(RC)은,
    RC=RS이며,
    상기 개별 이동량(TC)는,
    TC=PC-RSPC+TS이며,
    여기서, RS는 상기 센서의 회전량이고, TS는 상기 센서의 이동량이며, 상기 PC는 카메라의 원 위치인 것을 특징으로 하는 제어 방법.
  12. 제10항에 있어서,
    상기 복수의 카메라의 흔들림을 보정하기 위한 OIS(Optical Image Stabilization)부를 포함하며,
    상기 복수의 영상을 획득하는 단계는,
    상기 복수의 카메라의 개별 회전량 및 개별 이동량을 바탕으로 상기 OIS 부를 제어하여 움직임이 보상된 복수의 영상을 획득하는 것을 특징으로 하는 제어 방법.
  13. 파노라마 영상을 획득하기 위한 전자 장치에 있어서,
    영상을 촬영하기 위한 복수의 카메라; 및
    상기 복수의 카메라를 통해 촬영된 복수의 영상을 이용하여 2차원의 파노라마 영상을 획득하며, 상기 2차원의 파노라마 영상을 3차원의 가상 구에 투영하고, 상기 가상 구에 투영된 3차원의 파노라마 영상에서 복수의 특징점의 움직임을 분석하여 상기 가상 구를 보정 움직임을 판단하며, 상기 가상 구의 보정 움직임을 바탕으로 상기 3차원의 파노라마 영상을 보정하고, 상기 보정된 3차원의 파노라마 영상을 2차원의 파노라마 영상으로 재투영하여 흔들림이 보정된 파노라마 영상을 획득하는 프로세서;를 포함하는 전자 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 복수의 특징점의 움직임이 최소가 되도록 하는 상기 가상 구의 보정 움직임을 판단하는 것을 특징으로 하는 전자 장치.
  15. 제13항에 있어서,
    상기 프로세서는,
    상기 복수의 특징점 중 기설정된 값 이상의 움직임을 가지는 특징점을 제외하고 상기 가상 구의 보정 움직임을 판단하는 것을 특징으로 하는 전자 장치.
  16. 파노라마 영상을 획득하기 위한 전자 장치의 제어 방법에 있어서,
    2차원의 파노라마 영상을 획득하는 단계;
    상기 2차원의 파노라마 영상을 3차원의 가상 구에 투영하는 단계;
    상기 가상 구에 투영된 3차원의 파노라마 영상에서 복수의 특징점의 움직임을 분석하여 상기 가상 구를 보정 움직임을 판단하고, 상기 가상 구의 보정 움직임을 바탕으로 상기 3차원의 파노라마 영상을 보정하는 단계;
    상기 보정된 3차원의 파노라마 영상을 2차원의 파노라마 영상으로 재투영하여 흔들림이 보정된 파노라마 영상을 획득하는 단계;를 포함하는 제어 방법.
  17. 제16항에 있어서,
    상기 2차원의 파노라마 영상을 획득하는 단계는,
    복수의 카메라를 이용하여 촬영된 복수의 영상을 이용하여 상기 2차원의 파노라마 영상을 획득하는 것을 특징으로 하는 제어 방법.
  18. 제16항에 있어서,
    상기 보정하는 단계는,
    상기 복수의 특징점의 움직임이 최소가 되도록 하는 상기 가상 구의 보정 움직임을 판단하는 것을 특징으로 하는 제어 방법.
  19. 제16항에 있어서,
    상기 보정하는 단계는,
    상기 복수의 특징점 중 기설정된 값 이상의 움직임을 가지는 특징점을 제외하고 상기 가상 구의 보정 움직임을 판단하는 것을 특징으로 하는 제어 방법.
KR1020160148385A 2015-11-23 2016-11-08 전자 장치 및 이의 제어 방법 KR102629927B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/359,919 US10587799B2 (en) 2015-11-23 2016-11-23 Electronic apparatus and method for controlling electronic apparatus thereof
PCT/KR2016/013565 WO2017090986A1 (en) 2015-11-23 2016-11-23 Electronic apparatus and method for controlling electronic apparatus thereof
US16/813,080 US10992862B2 (en) 2015-11-23 2020-03-09 Electronic apparatus and method for controlling electronic apparatus thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562258687P 2015-11-23 2015-11-23
US62/258,687 2015-11-23
KR1020160080892A KR20170059878A (ko) 2015-11-23 2016-06-28 전자 장치 및 이의 제어 방법
KR1020160080892 2016-06-28

Publications (2)

Publication Number Publication Date
KR20170059889A true KR20170059889A (ko) 2017-05-31
KR102629927B1 KR102629927B1 (ko) 2024-01-30

Family

ID=59052730

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160148385A KR102629927B1 (ko) 2015-11-23 2016-11-08 전자 장치 및 이의 제어 방법

Country Status (1)

Country Link
KR (1) KR102629927B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190014959A (ko) * 2017-08-04 2019-02-13 삼성전자주식회사 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040183898A1 (en) * 2003-02-21 2004-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20100141799A1 (en) * 2008-12-08 2010-06-10 Sony Corporation Imaging apparatus, imaging method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040183898A1 (en) * 2003-02-21 2004-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20100141799A1 (en) * 2008-12-08 2010-06-10 Sony Corporation Imaging apparatus, imaging method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190014959A (ko) * 2017-08-04 2019-02-13 삼성전자주식회사 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN110022439B (zh) * 2019-01-29 2021-09-28 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法

Also Published As

Publication number Publication date
KR102629927B1 (ko) 2024-01-30

Similar Documents

Publication Publication Date Title
US10992862B2 (en) Electronic apparatus and method for controlling electronic apparatus thereof
KR101885779B1 (ko) 3 차원 비디오의 전송
EP3007038B1 (en) Interaction with three-dimensional video
CN110099209B (zh) 图像处理装置、图像处理方法和存储介质
JP6677098B2 (ja) 全天球動画の撮影システム、及びプログラム
WO2013184313A1 (en) Motion-based image stitching
KR102452575B1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
US10897573B2 (en) Image capturing system, terminal and computer readable medium which correct images
CN115004685A (zh) 电子装置和用于在电子装置处显示图像的方法
JP2013207344A (ja) 検出装置、撮像装置、及びプログラム
KR102629927B1 (ko) 전자 장치 및 이의 제어 방법
CN114390186B (zh) 视频拍摄方法及电子设备
CN115701125A (zh) 图像防抖方法与电子设备
KR20180017591A (ko) 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
CN109804408B (zh) 一致的球面照片和视频朝向校正
KR101822169B1 (ko) 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법
JP6545229B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP6103942B2 (ja) 画像データ処理装置及び画像データ処理プログラム
KR20170059878A (ko) 전자 장치 및 이의 제어 방법
US9832377B2 (en) Data acquiring method and electronic device thereof
JP2018129720A (ja) 撮影装置、撮影方法およびプログラム
JP6149211B2 (ja) 携帯端末装置、プログラムおよび手ぶれ補正方法
JP2017130890A (ja) 画像処理装置およびその制御方法ならびにプログラム
JP6919374B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant