KR102028297B1 - 파노라마 영상을 발생하기 위한 디바이스 및 방법 - Google Patents

파노라마 영상을 발생하기 위한 디바이스 및 방법 Download PDF

Info

Publication number
KR102028297B1
KR102028297B1 KR1020187013336A KR20187013336A KR102028297B1 KR 102028297 B1 KR102028297 B1 KR 102028297B1 KR 1020187013336 A KR1020187013336 A KR 1020187013336A KR 20187013336 A KR20187013336 A KR 20187013336A KR 102028297 B1 KR102028297 B1 KR 102028297B1
Authority
KR
South Korea
Prior art keywords
subject
frame
data
determined
fov
Prior art date
Application number
KR1020187013336A
Other languages
English (en)
Other versions
KR20180067627A (ko
Inventor
프라모드 친탈라푸디
나바룬 고스와미
마드흐베시 술리브하비
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180067627A publication Critical patent/KR20180067627A/ko
Application granted granted Critical
Publication of KR102028297B1 publication Critical patent/KR102028297B1/ko

Links

Images

Classifications

    • H04N5/23238—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H04N5/2254—
    • H04N5/23212—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Abstract

파노라마 영상을 발생하는, 촬상 디바이스와 같은 디바이스, 및 방법의 다양한 양태들이 본 명세서에 개시된다. 촬상 디바이스는 촬상 디바이스의 시야(FOV)와 연관된 광계(LF) 데이터를 캡처하도록 구성된 마이크로-렌즈 어레이를 포함한다. 촬상 디바이스 내의 하나 이상의 회로는 제1 프레임을 결정하기 위해 제1 피사체에 포커싱한다. 제1 프레임은 FOV 내의 제1 피사체의 저장된 LF 데이터의 제1 재정렬에 기초한다. 하나 이상의 다른 프레임의 결정은 하나 이상의 회로가 하나 이상의 다른 피사체에 동적으로 리포커싱할 때 일어난다. 파노라마 영상은 결정된 제1 프레임과 결정된 하나 이상의 다른 프레임의 조합으로부터 발생된다. 발생된 파노라마 영상은 선택된 하나 이상의 피사체의 깊이 인지에 기여하는 의사 3차원 영상에 대응한다.

Description

파노라마 영상을 발생하기 위한 디바이스 및 방법
본 개시내용의 다양한 실시예들은 파노라마 영상을 발생하는 디바이스 및 방법에 관한 것이다. 보다 구체적으로, 본 개시내용의 다양한 실시예들은 광계(light-field)(LF) 데이터에 기초하여 파노라마 영상을 발생하는 디바이스 및 방법에 관한 것이다.
광계 사진 분야에서의 최근의 진보들은 광계(LF) 데이터를 캡처하는 하이 엔드 플렌옵틱 촬상 디바이스들(high-end plenoptic imaging devices)의 개발에 이르게 하였다. 이러한 촬상 디바이스들은 촬상 디바이스의 시야(field-of-view)(FOV) 내에 존재하는 다수의 피사체(subject)들 및/또는 객체(object)들과 연관된 LF 데이터를 캡처한다. 전형적으로, 각각의 객체에 대해, LF 데이터는 촬상 디바이스의 FOV 내의 모든 점을 통해 모든 방향으로 흐르는 광의 양을 묘사하는 벡터 함수에 대응한다. 벡터 함수는 광학 축에 대해, 각각의 광선의 위치 및 방향과 같은, 변수들을 특정하는 (5차원 이상과 같은) 다차원 플렌옵틱 함수에 대응할 수 있다. 플렌옵틱 함수는 시간, 파장, 및 편광 각도들과 같은, 추가의 변수들에 기초하여 보다 높은 차원을 나타낼 수 있다. 이러한 보다 높은 차원 플렌옵틱 함수들은 촬상 디바이스의 FOV 내에서 모든 순간에서, 모든 위치로부터, 모든 파장에서, 다수의 피사체들 및/또는 객체들의 모든 가능한 시야의 재구성을 가능하게 할 수 있다.
소정의 시나리오들에서, 플렌옵틱 촬상 디바이스들은 최소 시차 에러를 갖는 다수의 FOV들에 기초하여 파노라마 영상들을 발생할 수 있다. 다수의 FOV들과 연관된 LF 데이터는 파노라마 영상들을 발생하기 위해 함께 스티치될 수 있다. 그러나, 이러한 파노라마 영상은 평평한 2차원 또는 3차원 영상에 대응할 수 있다. 또한, 이러한 파노라마 영상들의 발생은 실질적인 메모리가 다수의 FOV들과 연관된 LF 데이터를 저장하는 것을 필요로 할 수 있다. 발생된 파노라마 영상들은 선택된 FOV들 내에 존재하는 캡처된 피사체들 및/또는 객체들의 깊이 인지에 최적화된 메모리 이용을 제공하는 것이 바람직하다.
통상적인 그리고 종래의 방식들의 추가 제한들 및 단점들이 본 출원의 나머지에서 그리고 도면을 참조하여 기술된 것과 같이, 본 개시내용의 일부 양태들과 설명된 시스템들의 비교를 통해, 본 기술 분야의 통상의 기술자에게 명백해질 것이다.
파노라마 영상을 발생하는 디바이스 및 방법은 실질적으로 도면들 중 적어도 하나에 도시되고/되거나 그와 관련하여 설명되고, 청구범위에 보다 완전히 기술된 것과 같이 제공된다.
본 개시내용의 이들 및 다른 특징들 및 장점들은 유사한 참조 번호들이 전체에 걸쳐 유사한 부분들을 참조하는 첨부 도면과 함께, 본 개시내용의 다음의 상세한 설명을 검토하면 이해될 수 있다.
도 1은 본 개시내용의 실시예에 따른, 파노라마 영상의 발생을 위한 네트워크도를 도시한 블록도이다.
도 2a 및 2b는 본 개시내용의 실시예에 따른, 파노라마 영상을 발생하는 예시적인 전자 디바이스를 도시한 상세한 블록도들이다.
도 3a 내지 3e는 본 개시내용의 실시예에 따른, 파노라마 영상의 발생을 위한 예시적인 시나리오들을 도시한 도면들이다.
도 4는 본 개시내용의 실시예에 따른, 파노라마 영상의 발생을 위한 방법을 도시한 플로우차트를 포함한다.
다양한 구현들이 파노라마 영상을 발생하는 디바이스 및/또는 방법에서 발견될 수 있다. 본 개시내용의 예시적인 양태들은 복수의 마이크로-렌즈들을 추가로 포함할 수 있는 마이크로-렌즈 어레이를 포함하는 촬상 디바이스를 포함할 수 있다. 광 센서와 함께, 마이크로-렌즈 어레이는 촬상 디바이스의 시야(FOV)와 연관된 광계(LF) 데이터를 캡처하도록 구성될 수 있다. 제1 프레임을 결정하기 위해, 방법은 FOV 내의 제1 피사체의 저장된 LF 데이터의 제1 재정렬에 기초하여 제1 피사체에 포커싱하는 단계를 포함할 수 있다. 하나 이상의 다른 프레임을 결정하기 위해, FOV 내의 하나 이상의 다른 피사체 각각의 캡처된 LF 데이터의 제2 재정렬에 기초하여, 하나 이상의 다른 피사체에의 동적 리포커스가 요구될 수 있다. 결정된 제1 프레임과 하나 이상의 다른 프레임의 조합에 기초하여, 파노라마 영상이 발생될 수 있다. 발생된 파노라마 영상의 포맷은 동화상, 광계 화상(Light-field Picture)(LFP) 영상, 그래픽 교환 포맷(Graphics Interchange Format)(GIF) 영상, 또는 공동 사진 전문가 그룹(Joint Photographic Experts Group)(JPEG) 영상 중 하나에 대응할 수 있다.
실시예에 따라, FOV와 연관된 캡처된 LF 데이터는 촬상 디바이스에 저장될 수 있다. 실시예에 따라, 제1 피사체 및 하나 이상의 다른 피사체는 바운딩 박스 및/또는 객체 마커에 기초하여, 촬상 디바이스의 디스플레이 화면 상에 표시될 수 있다.
실시예에 따라, 제1 피사체에 포커싱하는 사용자 입력은 촬상 디바이스에 의해 수신될 수 있다. 또한, 사용자 입력은 하나 이상의 다른 피사체에 동적 리포커스하기 위해 수신될 수 있다. 실시예에 따라, 사용자 입력은 제1 피사체 및 하나 이상의 다른 피사체로부터의 하나 이상의 피사체의 선택에 대응할 수 있다. 선택된 하나 이상의 피사체 각각은 발생된 파노라마 영상이 디스플레이 화면 상에 렌더링될 때 순차적으로 포커싱될 수 있다.
실시예에 따라, 사용자 입력은 사용자에 의해 수행되는, 핀치-인 또는 핀치-아웃 동작을 포함할 수 있다. 핀치-인 또는 핀치-아웃 동작은 제1 피사체 및 하나 이상의 다른 피사체와 연관된 바운딩 박스 및/또는 객체 마커에 대해 수행될 수 있다.
실시예에 따라, FOV와 연관된 캡처된 LF 데이터는 비휘발성 메모리에 저장될 수 있다. 저장된 LF 데이터는 제1 피사체 및 하나 이상의 다른 피사체로부터의 선택된 하나 이상의 피사체에 대응할 수 있다. 실시예에 따라, 제1 피사체에의 포커스 및 하나 이상의 다른 피사체에의 동적 리포커스는 사전 저장된 알고리즘에 기초할 수 있다. 실시예에 따라, 캡처된 LF 데이터의 제1 재정렬 및 제2 재정렬은 FOV와 연관된 LF 데이터와 연관된 하나 이상의 파라미터의 수정에 대응할 수 있다.
실시예에 따라, 하나 이상의 파라미터는 FOV 내의 포커싱된 제1 피사체 및 동적으로 리포커싱된 하나 이상의 다른 피사체의 심도, 주 렌즈의 개구 직경, 마이크로-렌즈 어레이 내의 복수의 마이크로-렌즈들의 역 확대 계수, 마이크로-렌즈 어레이 내의 복수의 마이크로-렌즈들에 대한 F-수, 마이크로-렌즈 어레이 내의 복수의 마이크로-렌즈들의 초점 길이, FOV의 심도, 광의 파장, 촬상 디바이스의 하나 이상의 포토 센서 내의 화소들의 화소 크기, 프레임률(frame rate), 및/또는 FOV 내의 선택된 상기 제1 피사체, 상기 하나 이상의 다른 피사체의 제2 피사체, 및 (화이트 보드 및 하이라이터들과 같은) 하나 이상의 객체 간의 포커스의 변화율(rate-of-change)을 적어도 포함할 수 있다.
실시예에 따라, 결정된 제1 프레임과 결정된 하나 이상의 다른 프레임의 조합은 결정된 제1 프레임 및 결정된 하나 이상의 다른 프레임으로부터의 2개 이상의 프레임들의 LF 영상 스티칭(image stitching)을 포함할 수 있다. 이러한 경우들에서, 결정된 제1 프레임 및 결정된 하나 이상의 다른 프레임으로부터의 스티치된 2개 이상의 프레임들에 대응하는 시차 에러가 최소화될 수 있다. 실시예에 따라, 발생된 파노라마 영상은 비휘발성 메모리 내의 하나 이상의 사용자 선호 및/또는 사전 저장된 값들에 기초하여 렌더링될 수 있다. 하나 이상의 사용자 선호는 결정된 제1 프레임 및 결정된 하나 이상의 다른 프레임과 연관된 프레임률, 또는 포커싱된 제1 피사체와 동적으로 리포커싱된 하나 이상의 다른 피사체 간의 촬상 디바이스의 포커스의 변화율을 포함할 수 있다.
도 1은 본 개시내용의 실시예에 따른, 파노라마 영상의 발생을 위한 네트워크도를 도시한 블록도이다. 도 1을 참조하면, 네트워크 환경(100)은 전자 디바이스(102), 애플리케이션 서버(104), 콘텐츠 서버(106), 및 통신 네트워크(108)를 포함할 수 있다. 네트워크 환경(100)은 디스플레이 디바이스(110) 및 사용자(112)와 같은 한 명 이상의 사용자를 추가로 포함할 수 있다. 디스플레이 디바이스(110)는 전자 디바이스(102) 내에 포함될 수 있다. 사용자(112)는 전자 디바이스(102)와 연관될 수 있다. 전자 디바이스(102), 애플리케이션 서버(104), 및 콘텐츠 서버(106)는 통신 네트워크(108)를 통해, 서로 통신가능하게 결합될 수 있다.
전자 디바이스(102)는 복수의 LF 영상들과 연관된 광계(LF) 데이터를 캡처하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 전자 디바이스(102)는 디스플레이 디바이스(110)를 통해, 사용자(112)로부터 사용자 입력을 수신하도록 추가로 구성될 수 있다. 전자 디바이스(102)는 캡처된 LF 데이터 및/또는 수신된 사용자 입력에 기초하여 파노라마 영상을 발생하도록 추가로 구성될 수 있다. 전자 디바이스(102)는 발생된 파노라마 영상을 디스플레이 디바이스(110) 상에 디스플레이하도록 추가로 구성될 수 있다. 전자 디바이스(102)의 예들은 표준 플렌옵틱 카메라, 포커싱된 플렌옵틱 카메라, 부호화된 개구 카메라, 스테레오-플렌옵틱 카메라, 및/또는 위상-거리(CAFADIS) 카메라를 포함할 수 있지만, 이들로 제한되지 않는다.
애플리케이션 서버(104)는 복수의 FOV들과 연관된 LF 데이터를 처리하기 위해 하나 이상의 애플리케이션을 호스트하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 애플리케이션 서버(104)는 전자 디바이스(102)와 같은 하나 이상의 가입된 디바이스에 대한 하나 이상의 애플리케이션을 호스트하도록 구성될 수 있다. 애플리케이션 서버(104)는 본 기술 분야의 통상의 기술자들에게 널리 공지된 여러가지 기술들의 사용에 의해 구현될 수 있다.
콘텐츠 서버(106)는 전자 디바이스(102)에 (복수의 FOV들과 연관된) LF 데이터를 제공하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 콘텐츠 서버(106)는 본 기술 분야의 통상의 기술자들에게 널리 공지된 여러가지 기술들의 사용에 의해 구현될 수 있다.
통신 네트워크(108)는 전자 디바이스(102)가 그를 통해 애플리케이션 서버(104) 및/또는 콘텐츠 서버(106)와 같은, 하나 이상의 서버와 통신할 수 있는 매체를 포함할 수 있다. 통신 네트워크(108)의 예들은 인터넷, 클라우드 네트워크, 롱 텀 에볼루션(LTE) 네트워크, 무선 피델리티(Wi-Fi) 네트워크, 무선 근거리 네트워크(WLAN), 근거리 네트워크(LAN), 유선 전화(POTS), 및/또는 도시 지역 네트워크(MAN)를 포함할 수 있지만, 이들로 제한되지 않는다. 네트워크 환경(100) 내의 다양한 디바이스들은 다양한 유선 및 유선 통신 프로토콜들에 따라, 통신 네트워크(108)에 접속하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜들의 예들은 전송 제어 프로토콜 및 인터넷 프로토콜(TCP/IP), 사용자 데이터그램 프로토콜(UDP), 하이퍼텍스트 트랜스퍼 프로토콜(HTTP), 하이퍼텍스트 트랜스퍼 프로토콜 보안(HTTPS), 파일 프랜스퍼 프로토콜(FTP), 지그비, EDGE, 적외선(IR), IEEE 802.11, 802.16, 셀룰러 통신 프로토콜들, 블루투스(BT) 통신 프로토콜들, 및/또는 근거리 통신(NFC) 또는 트랜스퍼젯(TransferJet)과 같은, 가까운 근접 무선 트랜스퍼 프로토콜들 또는 기술들을 포함할 수 있지만, 이들로 제한되지 않는다.
디스플레이 디바이스(110)는 복수의 FOV들 내에 복수의 피사체들을 에워싸는 바운딩 박스들 및/또는 객체 마커들을 표시하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 디스플레이 디바이스(110)는 사용자(112)와 같은 한 명 이상의 사용자로부터 하나 이상의 사용자 입력 동작을 수신하도록 추가로 구성될 수 있다. 디스플레이 디바이스(110)의 예들은 액정 디스플레이(LCD) 디스플레이, 발광 다이오드(LED) 디스플레이, 플라즈마 디스플레이, 유기 LED(OLED) 디스플레이 기술, 및/또는 다른 디스플레이 기술을 포함할 수 있지만, 이들로 제한되지 않는다.
동작 시에, 전자 디바이스(102)의 (도 2b에 설명된 것과 같은) LF 센서들과 함께, 마이크로-렌즈 어레이는 전자 디바이스(102)의 제1 FOV 내의 복수의 피사체들의 LF 데이터를 캡처하도록 구성될 수 있다. LF 센서들은 LF 데이터 외에, 제1 FOV의 원시 영상 데이터를 캡처하도록 구성될 수 있다. 간결성을 위해, 원시 영상 데이터 및 LF 데이터는 LF 센서들로부터 획득된 2개의 별개의 측정들로서 고려되었다. 그러나, 본 기술 분야의 통상의 기술자는 LF 데이터는 제1 FOV 내의 복수의 피사체들과 연관된, LF 영상으로서 알려진, 원시 영상 데이터와 LF 데이터의 조합에 대응할 수 있다는 것을 알 것이다.
실시예에 따라, 전자 디바이스(102)는 전자 디바이스(102) 내의 사전 저장된 애플리케이션의 사용에 의해 캡처된 LF 데이터를 처리하도록 구성될 수 있다. 실시예에 따라, 전자 디바이스(102)는 캡처된 LF 데이터를 처리하기 위해, 애플리케이션 서버(104)로부터 하나 이상의 애플리케이션을 다운로드하도록 구성될 수 있다. 하나 이상의 애플리케이션은 통신 네트워크(108)를 통해, 애플리케이션 서버(104)로부터 다운로드될 수 있다.
실시예에 따라, 전자 디바이스(102)는 통신 네트워크(108)를 통해, 콘텐츠 서버(106)로부터 복수의 피사체들의 LF 데이터를 검색하도록 구성될 수 있다. 이러한 수신된 LF 데이터는 앞선 시간 순간에 전자 디바이스(102)에 의해 캡처된 LF 데이터에 대응할 수 있다. 앞서 캡처된 LF 데이터는 전자 디바이스(102)에 의한 나중 사용을 위해, 통신 네트워크(108)를 통해, 콘텐츠 서버(106)에 송신될 수 있다. 실시예에 따라, 콘텐츠 서버(106)는 LF 데이터를 실시간으로, 통신 네트워크(108)를 통해, 전자 디바이스(102)에 스트림할 수 있다.
전자 디바이스(102)는 랜덤 액세스 메모리(RAM) 또는 캐시 메모리와 같은, 휘발성 메모리에 FOV와 연관된 LF 데이터를 저장하도록 구성될 수 있다. 전자 디바이스(102)는 전자 디바이스(102)의 제1 FOV 내에 존재하는 복수의 피사체들로부터 포커스가능한 피사체들의 세트를 식별하도록 추가로 구성될 수 있다. 포커스가능한 피사체들의 세트는 본 기술 분야에 공지된 능동 오토포커스 시스템들, 수동 오토포커스 시스템들 또는 이들의 조합의 사용에 의해 하나 이상의 피사체의 LF 데이터에 기초하여 식별될 수 있다. 포커스가능한 피사체들의 세트는 하나 이상의 피사체를 포함하는, 제1 FOV의 장면 깊이와 연관된 포커스 메트릭이 최적의 포커스 메트릭일 때 추가로 식별될 수 있다.
실시예에 따라, 전자 디바이스(102)는 디스플레이 디바이스(110) 상에 포커스가능한 피사체들의 식별된 세트를 디스플레이하도록 구성될 수 있다. 전자 디바이스(102)는 바운딩 박스 및/또는 객체 마커에 기초하여, 포커스가능한 피사체들의 식별된 세트를 표시하도록 추가로 구성될 수 있다. 실시예에 따라, 바운딩 박스 및/또는 객체 마커는 포커스가능한 피사체들의 식별된 세트를 포함할 수 있는 영역을 에워쌀 수 있다.
실시예에 따라, 전자 디바이스(102)는 사용자(112)로부터 입력을 수신하도록 구성될 수 있다. 전자 디바이스(102)는 디스플레이 디바이스(110)를 통해, 터치-감지 제스처들의 사용에 의해 사용자 입력을 수신하도록 구성될 수 있다. 수신된 사용자 입력은 디스플레이 디바이스(110) 상에 디스플레이된, 포커스가능한 피사체들의 세트로부터 하나 이상의 피사체의 선택에 대응할 수 있다. 실시예에 따라, 수신된 사용자 입력은 포커스가능한 피사체들의 세트로부터의 하나 이상의 선택된 피사체의 선택해제(de-selection)에 추가로 대응할 수 있다. 하나 이상의 선택된 피사체는 하나 이상의 선택된 피사체와 연관된 바운딩 박스 및/또는 객체 마커의 제거에 기초하여 선택해제될 수 있다.
실시예에 따라, 핀치-인 또는 핀치-아웃 동작에 대응하는 또 하나의 사용자 입력이 사용자(112)로부터 수신될 수 있다. 전자 디바이스(102)는 하나 이상의 선택된 피사체와 연관된 바운딩 박스 및/또는 객체 마커에 의해 에워싸인 영역을 조정하도록 구성될 수 있다. 영역은 바운딩 박스 및/또는 객체 마커에 대한 핀치-인 또는 핀치-아웃 동작의 사용에 의해 조정될 수 있다. 예를 들어, 사용자(112)는 디스플레이 디바이스(110)의 터치-감지 화면 상에 디스플레이된, 롱-터치 제스처를 선택된 피사체들 중 하나 상에 제공할 수 있다. 따라서, 선택된 피사체를 포함하는 대응하는 바운딩 박스 및/또는 객체 마커는 디스플레이 디바이스(110)에 디스플레이될 수 있다. 그 다음에, 사용자(112)는 바운딩 박스 및/또는 객체 마커의 에지 또는 정점을 적어도 다시 터치하고, 바운딩 박스 및/또는 객체 마커에 의해 에워싸인 영역의 에지 또는 정점을 드래그-인(또는 드래그-아웃)할 수 있다. 대안적으로, 사용자(112)는 적어도 2개의 에지 또는 정점을 터치하고, 에워싸인 영역의 적어도 2개의 에지 또는 정점을 동시에 드래그-인(또는 드래그-아웃)하기 위해 핀치-인(또는 핀치-아웃) 동작을 수행할 수 있다. 드래그-인(또는 드래그-아웃) 동작은 바운딩 박스 및/또는 객체 마커에 의해 에워싸인 영역을 조정할 수 있다. 보다 구체적으로, 조정은 핀치-인 또는 핀치-아웃 동작에 기초하여 바운딩 박스 및/또는 객체 마커에 의해 에워싸인 영역의 확대 및/또는 축소에 대응할 수 있다.
실시예에 따라, 전자 디바이스(102)는 전자 디바이스(102)의 비휘발성 메모리 내에 선택된 하나 이상의 피사체의 캡처된 LF 데이터를 저장하도록 구성될 수 있다. 전자 디바이스(102)는 포커스가능한 피사체들의 세트에서의 하나 이상의 선택되지 않은 피사체에 대응하는 캡처된 LF 데이터를 휘발성 메모리로부터 삭제하도록 추가로 구성될 수 있다.
수신된 사용자 입력에 기초하여, 전자 디바이스(102)는 선택된 하나 이상의 피사체로부터의 제1 피사체에 포커싱하도록 구성될 수 있다. 제1 피사체에의 이러한 포커스는 제1 피사체의 저장된 LF 데이터의 제1 재정렬에 기초할 수 있다. 저장된 LF 데이터의 제1 재정렬이 제1 피사체에 대한 저장된 LF 데이터에 대해 수행된 하나 이상의 동작에 기초할 수 있다는 것은 본 기술 분야의 통상의 기술자에게 자명할 수 있다. 하나 이상의 동작은 제1 피사체의 LF 데이터의 (하나 이상의 LF 영상 평면 위치에서의) 세기들의 통합, 화면 깊이 계산, 및/또는 제1 피사체의 LF 데이터에 대해 수행된 틸트/시프트 렌즈의 시뮬레이션을 적어도 포함할 수 있다. 하나 이상의 동작에 기초하여, 전자 디바이스(102)는 LF 데이터와 연관된 하나 이상의 파라미터를 수정할 수 있다. 하나 이상의 파라미터의 예들은 포커싱된 제1 피사체의 심도, 주 렌즈의 개구 직경, 마이크로-렌즈 어레이 내의 복수의 마이크로-렌즈들의 역 확대 계수, 마이크로-렌즈 어레이 내의 복수의 마이크로-렌즈들에 대한 F-수, 마이크로-렌즈 어레이 내의 복수의 마이크로-렌즈들의 초점 길이, 제1 FOV의 심도, 광의 파장, 및/또는 전자 디바이스(102)의 하나 이상의 포토 센서 내의 화소들의 화소 크기를 포함할 수 있지만, 이들로 제한되지 않는다. 전자 디바이스(102)는 저장된 LF 데이터의 제1 재정렬에 기초하여, 포커싱된 제1 피사체를 포함하는 제1 프레임을 결정하도록 구성될 수 있다.
실시예에 따라, 수신된 사용자 입력에 기초하여, 전자 디바이스(102)는 선택된 하나 이상의 피사체로부터의, 제2 피사체와 같은, 하나 이상의 다른 피사체에 동적으로 리포커싱하도록 구성될 수 있다. 이러한 경우에, 제2 피사체에의 리포커스는 저장된 LF 데이터의 제2 재정렬에 기초할 수 있다. 제2 피사체에 대해, 저장된 LF 데이터의 제2 재정렬은 제2 피사체에 대한 저장된 LF 데이터에 대해 수행된 하나 이상의 동작에 기초할 수 있다. 제2 피사체를 포커싱하는 이러한 하나 이상의 동작은 제1 피사체를 포커싱하도록 수행되는 하나 이상의 동작과 유사할 수 있다. 전자 디바이스(102)는 저장된 LF 데이터의 제2 재정렬에 기초하여, 포커싱된 제2 피사체를 포함할 수 있는 제2 프레임을 결정하도록 구성될 수 있다. 유사하게, 전자 디바이스(102)는 그들이 대응하는 저장된 LF 데이터의 재정렬들에 기초하여, 포커싱된 하나 이상의 다른 피사체를 포함하는 하나 이상의 다른 프레임을 결정할 수 있다.
실시예에 따라, 전자 디바이스(102)는 제1 FOV에 대응하는 프레임들의 제1 스택을 생성하도록 구성될 수 있다. 프레임들의 제1 스택은 결정된 제1 프레임 및/또는 결정된 하나 이상의 다른 프레임을 포함할 수 있다. 결정된 제1 프레임 및/또는 결정된 하나 이상의 다른 프레임은 각각 포커싱된 제1 피사체 및/또는 포커싱된 하나 이상의 다른 피사체를 포함할 수 있다. 그러므로, 제1 FOV에 대해 생성된, 프레임들의 제1 스택 내의 각각의 프레임은 선택된 피사체들의 세트로부터 적어도 하나의 포커싱된 피사체를 포함할 수 있다. 실시예에 따라, 전자 디바이스(102)는 하나 이상의 후속 FOV에 대응하는 프레임들의 후속 스택들을 생성하도록 추가로 구성될 수 있다.
전자 디바이스(102)는 프레임들의 생성된 제1 스택과 프레임들의 생성된 후속 스택들을 조합하도록 구성될 수 있다. 프레임들의 생성된 제1 스택과 프레임들의 생성된 후속 스택들의 조합은 본 기술 분야에 공지된 하나 이상의 LF 영상 스티칭 기술의 사용에 의한, 파노라마 영상 스티칭을 포함할 수 있다. 이러한 LF 영상 스티칭 기술의 예들은, 불변 로컬 피처 매핑(invariant local feature mapping), 카메라 매트릭스들의 사용에 의한 LF 영상 인식의 기하구조, 적어도 2개의 LF 영상들 사이의 홀로그래피 생성, 및/또는 파노라마 영상의 최적 품질을 위한 화소들 간의 보간을 포함할 수 있지만, 이들로 제한되지 않는다. 전자 디바이스(102)는 프레임들의 스티치된 제1 스택 및 프레임들의 후속 스택들에 기초하여, 파노라마 영상을 발생하도록 추가로 구성될 수 있다. 프레임들의 스티치된 제1 스택 및 프레임들의 후속 스택들은 시차 에러, 렌즈 왜곡, 장면 움직임, 및 노출 차이들과 같은 하나 이상의 불일치를 포함할 수 있다. 이러한 하나 이상의 불일치는 본 기술 분야에 공지된 하나 이상의 영상 처리 및/또는 컴퓨터 비전 알고리즘들의 사용에 의해 해결될 수 있다.
실시예에 따라, 전자 디바이스(102)는 사용자(112)로부터 하나 이상의 사용자 선호를 수신하도록 구성될 수 있다. 하나 이상의 사용자 선호는 하나 이상의 터치-감지 제스처에 기초하여, 디스플레이 디바이스(110)를 통해 수신될 수 있다. 실시예에 따라, 하나 이상의 사용자 선호는 하나 이상의 오디오 입력 동작에 기초하여, 전자 디바이스(102)에 의해 수신될 수 있다. 실시예에 따라, 하나 이상의 사용자 선호는 제1 FOV와 연관된 결정된 제1 프레임 및 결정된 제2 프레임의 디스플레이와 연관된 프레임률에 대응할 수 있다. 프레임률은 전자 디바이스(102)의 복수의 FOV들의 하나 이상의 후속 FOV와 연관된 하나 이상의 다른 프레임의 디스플레이와 추가로 연관될 수 있다. 실시예에 따라, 프레임률은 프레임들의 스택으로부터의 프레임이 디스플레이 디바이스(110) 상에 디스플레이되는 시간 기간을 결정할 수 있다. 실시예에 따라, 하나 이상의 사용자 선호는 발생된 파노라마 영상에서 제1 FOV 내의 선택된 하나 이상의 피사체 간의 포커스의 변화율에 대응할 수 있다. 적어도 하나의 포커싱된 피사체를 포함하는 각각의 프레임은 발생된 파노라마 영상에서 제1 FOV 내의 선택된 하나 이상의 피사체 간의 포커스의 변화율에 기초하여 디스플레이될 수 있다. 그럼에도 불구하고, 본 개시내용은 그렇게 제한되지 않을 수 있고, 프레임률 및/또는 발생된 파노라마 영상의 포커스의 변화율은 본 개시내용의 범위의 제한 없이, 전자 디바이스(102)에 의해 자동으로 결정될 수 있다.
실시예에 따라, 발생된 파노라마 영상은 프레임률 및/또는 포커스의 변화율에 대응하는 수신된 하나 이상의 사용자 선호 및/또는 자동으로 결정된 값들에 기초하여, 디스플레이 디바이스(110) 상에 렌더링될 수 있다. 실시예에 따라, 전자 디바이스(102)는 발생된 파노라마 영상을 저장을 위해 콘텐츠 서버(106)에 송신하도록 구성될 수 있다.
도 2a 및 2b는 본 개시내용의 실시예에 따른, 파노라마 영상을 발생하는 예시적인 전자 디바이스를 도시한 상세한 블록도들이다. 도 2a 및 2b는 도 1로부터의 요소들과 함께 설명된다. 도 2a를 참조하면, 전자 디바이스(102)는 애플리케이션 프로세서(202)와 같은 하나 이상의 회로, LF 감지 디바이스들(204), 휘발성 메모리(206), 비휘발성 메모리(208), 입/출력(I/O) 디바이스들(210), 및 송수신기(212)를 포함할 수 있다. 애플리케이션 프로세서(202)는 LF 감지 디바이스들(204), 휘발성 메모리(206), 비휘발성 메모리(208), I/O 디바이스들(210), 및 송수신기(212)와 통신가능하게 결합될 수 있다.
애플리케이션 프로세서(202)는 비휘발성 메모리(208)에 저장된 명령어들의 세트를 실행하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 애플리케이션 프로세서(202)는 전자 디바이스(102)의 복수의 FOV들의 LF 데이터를 처리하도록 구성될 수 있다. 실시예에 따라, 애플리케이션 프로세서(202)는 저장된 LF 데이터의 재정렬에 기초하여 LF 데이터를 처리할 수 있다. 저장된 LF 데이터의 재정렬에 기초하여, 복수의 시야들(FOV들) 각각 내의 복수의 피사체들은 순차적으로 리포커싱될 수 있다. 애플리케이션 프로세서(202)는 복수의 FOV들 각각과 연관된 LF 데이터의 재정렬에 기초하여 파노라마 영상을 발생하도록 추가로 구성될 수 있다. 애플리케이션 프로세서(202)의 예들은 X86 기반 프로세서, 감소된 명령어 세트 컴퓨팅(RISC) 프로세서, 주문형 집적 회로(ASIC) 프로세서, 복잡한 명령어 세트 컴퓨팅(CISC) 프로세서, 마이크로컨트롤러, 중앙 처리 장치(CPU), 디지털 신호 프로세서(DSP), 그래픽 프로세서 유닛(GPU), 코프로세서, 및/또는 다른 프로세서들 또는 집적 회로들일 수 있다.
LF 감지 디바이스들(204)은 애플리케이션 프로세서(202)에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램을 저장하도록 구성될 수 있는 적합한 논리, 회로, 및/또는 인터페이스들을 포함할 수 있다. LF 감지 디바이스들(204)은 마이크로-렌즈 어레이를 포함할 수 있다. 마이크로-렌즈 어레이는 복수의 마이크로-렌즈들을 포함한다. LF 감지 디바이스들(204)은 복수의 포토 감지 요소들을 포함할 수 있는 하나 이상의 포토 센서를 추가로 포함할 수 있다. 하나 이상의 포토 센서는 광선들이 하나 이상의 포토 센서가 조명되기 전에 마이크로-렌즈 어레이를 통해 통과하도록 배치될 수 있다. 또한, 하나 이상의 포토 센서와 함께, 마이크로-렌즈 어레이는 전자 디바이스(102)의 복수의 FOV들과 연관된 LF 데이터를 캡처할 수 있다. LF 감지 디바이스들(204)의 마이크로-렌즈 어레이 및 하나 이상의 포토 센서는 본 기술 분야에 공지된 하나 이상의 기술에 기초하여 구현될 수 있다.
휘발성 메모리(206)는 애플리케이션 프로세서(202)에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는, 머신 판독가능 코드 및/또는 컴퓨터 프로그램을 저장하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 휘발성 메모리(206)는 복수의 FOV들 각각 내의 복수의 피사체들의 LF 데이터를 일시적으로 저장하도록 구성될 수 있다. 휘발성 메모리(206)의 구현의 예들은 랜덤 액세스 메모리(RAM), 다이내믹 랜덤 액세스 메모리(DRAM), 스테틱 랜덤 액세스 메모리(SRAM), 사이리스터 랜덤 액세스 메모리(T-RAM), 제로-캐패시터 랜덤 액세스 메모리(Z-RAM), 및/또는 캐시 메모리를 포함할 수 있지만, 이들로 제한되지 않는다.
비휘발성 메모리(208)는 애플리케이션 프로세서(202)에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 판독가능 코드 및/또는 컴퓨터 프로그램을 저장하도록 구성될 수 있는 적합한 논리, 회로, 및/또는 인터페이스들을 포함할 수 있다. 비휘발성 메모리(208)는 전자 디바이스(102)의 복수의 FOV들 내의 하나 이상의 피사체를 동적으로 리포커싱하는 하나 이상의 알고리즘을 저장하도록 추가로 구성될 수 있다. 비휘발성 메모리(208)는 캡처된 LF 데이터와 연관된 플렌옵틱 함수들을 저장하도록 추가로 구성될 수 있다. 비휘발성 메모리(208)는 사용자(112)와 같은, 사용자로부터 수신된 하나 이상의 사용자 선호를 저장하도록 추가로 구성될 수 있다. 하나 이상의 사용자 선호는 프레임률 및/또는 하나 이상의 피사체의 포커스의 변화율을 포함할 수 있다. 비휘발성 메모리(208)의 구현의 예들은 판독 전용 메모리(ROM), 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 플래시 메모리, 및/또는 시큐어 디지털(SD) 카드를 포함할 수 있지만, 이들로 제한되지 않는다.
I/O 디바이스들(210)은 디스플레이 디바이스(110) 상에 복수의 FOV들 각각의 복수의 피사체들을 디스플레이하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. I/O 디바이스들(210)은 애플리케이션 프로세서(202)와 통신하도록 구성될 수 있는 다양한 입력 및 출력 디바이스들을 추가로 포함할 수 있다. I/O 디바이스들(210)의 입력 디바이스들은 포커스가능한 피사체들의 세트로부터의 하나 이상의 피사체의 선택을 위해 사용자(112)로부터 하나 이상의 입력을 수신하도록 추가로 구성될 수 있다. 입력 디바이스들은 파노라마 영상의 발생을 위해 하나 이상의 사용자 선호에 대응하는 사용자(112)로부터 하나 이상의 입력 동작을 수신하도록 추가로 구성될 수 있다. I/O 디바이스들(210)의 출력 디바이스들은 디스플레이 디바이스(110) 상에 발생된 파노라마 영상을 디스플레이하도록 추가로 구성될 수 있다. 입력 디바이스들의 예들은 키보드, 터치 화면, 마이크로폰, 카메라, 움직임 센서, 광 센서, 및/또는 도킹 스테이션을 포함할 수 있지만, 이들로 제한되지 않는다. 출력 디바이스들의 예들을 디스플레이 디바이스(110) 및/또는 스피커를 포함할 수 있지만, 이들로 제한되지 않는다. 디스플레이 디바이스(110)은 터치-감지 화면을 통해, 한 명 이상의 사용자로부터 하나 이상의 입력 동작을 수신하도록 구성될 수 있다. 이러한 하나 이상의 입력 동작은 가상 키보드, 스타일러스, 터치 기반 입력 동작들, 및/또는 제스처에 의해 한 명 이상의 사용자로부터 수신될 수 있다. 디스플레이 디바이스(110)는 액정 디스플레이(LCD) 디스플레이, 발광 다이오드(LED) 디스플레이, 플라즈마 디스플레이, 및/또는 유기 LED(OLED) 디스플레이 기술과 같지만, 이들로 제한되지 않는 여러가지 공지된 기술들을 통해 실현될 수 있다.
송수신기(212)는 통신 네트워크(108)를 통해, 애플리케이션 서버(104) 및/또는 콘텐츠 서버(106)와 통신하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 송수신기(212)는 통신 네트워크(108)와의 전자 디바이스(102)의 유선 또는 무선 통신을 지원하기 위해 공지된 기술들을 구현할 수 있다. 송수신기(212)는 안테나, 주파수 변조(FM) 송수신기, 무선 주파수(RF) 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, 코더-디코더(CODEC) 칩셋, 가입자 식별 모듈(SIM) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이들로 제한되지 않는다. 송수신기(212)는 인터넷, 인트라넷과 같은 네트워크들 및/또는 셀룰러 전화 네트워크, 무선 근거리 네트워크(LAN) 및/또는 도시 지역 네트워크(MAN)와 같은 무선 네트워크와 무선 통신을 통해 통신할 수 있다. 무선 통신은 롱 텀 에볼루션(LTE), 이동 통신들을 위한 글로벌 시스템(GSM), 인헨스드 데이터 GSM 환경(Enhanced Data GSM Environment)(EDGE), 광대역 코드 분할 다중 액세스(W-CDMA), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 블루투스, 무선 피델리티(Wi-Fi)(e.120g., IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), 인터넷 전화(VoIP), Wi-MAX, 이메일을 위한 프로토콜, 인스턴트 메시징, 및/또는 단문 메시지 서비스(SMS)와 같은, 복수의 통신 표준들, 프로토콜들 및 기술들 중 어느 것을 사용할 수 있다.
동작 시에, 전자 디바이스(102)의 LF 감지 디바이스들(204)은 전자 디바이스(102)의 제1 FOV와 연관된 LF 데이터를 캡처하도록 구성될 수 있다. 제1 FOV는 복수의 피사체들을 포함할 수 있다. 제1 FOV의 LF 데이터는 LF 감지 디바이스들(204)의 LF 센서들의 조명에 기초하여 캡처될 수 있다. 실시예에 따라, 제1 FOV와 연관된 캡처된 LF 데이터는 애플리케이션 프로세서(202)의 제어 하에서 휘발성 메모리(206)에 저장될 수 있다. 저장된 LF 데이터는 광계 사진의 기술 분야에 공지된 7차원(7D) 플렌옵틱 함수에 대응할 수 있다. 플렌옵틱 함수의 7D들은 3차원에서의 광선의 위치, 2차원 평면의 2개의 방향에서의 광선의 각도들, 입사의 시간, 및 입사 광선들의 파장에 대응할 수 있다. 애플리케이션 프로세서(202)는 복수의 피사체들의 LF 데이터에 기초하여, 제1 FOV 내의 복수의 피사체들 각각과 연관된 하나 이상의 파라미터를 결정하도록 구성될 수 있다. 하나 이상의 파라미터는 복수의 FOV들 각각 내의 복수의 피사체들 각각의 심도, 복수의 피사체들에 기초하여 결정된 하나 이상의 프레임과 연관된 프레임률, 및/또는 복수의 피사체들 중 하나의 피사체로부터 다른 피사체까지의 포커스의 변화율을 포함할 수 있지만, 이들로 제한되지 않는다. 하나 이상의 파라미터는 비휘발성 메모리(208)로부터 검색될 수 있다.
실시예에 따라, 애플리케이션 프로세서(202)는 비휘발성 메모리(208)로부터 하나 이상의 알고리즘을 검색하도록 구성될 수 있다. 이러한 하나 이상의 알고리즘은 제1 FOV 내의 복수의 피사체들로부터 포커스가능한 피사체들의 세트를 식별할 수 있다. 검색된 하나 이상의 알고리즘은 패턴 매칭, 에지 검출, 그레이스케일 매칭, 및/또는 그래디언트 매칭과 같은 하나 이상의 객체-인식 기술에 대응할 수 있다. 그럼에도 불구하고, 기타 객체 인식 기술들이 본 개시내용의 범위를 제한하지 않고서 사용될 수 있다.
실시예에 따라, 애플리케이션 프로세서(202)는 하나 이상의 검색된 알고리즘에 기초하여, 제1 FOV 내에 존재하는 복수의 피사체들로부터 포커스가능한 피사체들의 세트를 식별하도록 구성될 수 있다. 애플리케이션 프로세서(202)는 I/O 디바이스들(210)에 포커스가능한 피사체들의 식별된 세트를 디스플레이하라고 명령하도록 추가로 구성될 수 있다. 애플리케이션 프로세서(202)로부터 수신된 명령어들에 기초하여, I/O 디바이스들(210)은 디스플레이 디바이스(110) 상에 포커스가능한 피사체들의 식별된 세트를 디스플레이하도록 구성될 수 있다. 애플리케이션 프로세서(202)는 디스플레이 디바이스(110) 상에 포커스가능한 피사체들의 식별된 세트를 에워싸기 위해 바운딩 박스들 및/또는 객체 마커들을 렌더링하도록 추가로 구성될 수 있다. 바운딩 박스들 및/또는 객체 마커들은 포커스가능한 피사체들의 식별된 세트를 에워쌀 수 있는 기하 형상에 대응할 수 있다. 이러한 기하 형상들은 직사각형, 정사각형, 원형, 타원형, 및/또는 기타와 유사할 수 있다.
실시예에 따라, I/O 디바이스들(210)은 터치-감지 제스처들의 사용에 의해, 디스플레이 디바이스(110)를 통해, 사용자(112)로부터 사용자 입력을 수신하도록 구성될 수 있다. 그럼에도 불구하고, 사용자 입력은 또한 음성 기반 입력, 제스처 기반 입력, 하드웨어 또는 소프트웨어 버튼들 기반 입력, 조이스틱, 또는 본 기술 분야에 공지된 다른 입력 제공 방법들과 같은 다른 사용자 입력 제공 방법들에 의해 수신될 수 있다. 수신된 사용자 입력은 디스플레이 디바이스(110) 상에 디스플레이된 포커스가능한 피사체들의 세트로부터의 제1 피사체 및 하나 이상의 다른 피사체의 선택에 대응할 수 있다. 실시예에 따라, 수신된 사용자 입력은 포커스가능한 피사체들의 세트로부터의 선택된 하나 이상의 피사체의 선택해제에 대응할 수 있다. 하나 이상의 선택된 피사체는 하나 이상의 선택된 피사체와 연관된 바운딩 박스 및/또는 객체 마커의 제거에 기초하여 선택해제될 수 있다.
실시예에 따라, 또 하나의 사용자 입력이 선택된 하나 이상의 피사체와 연관된 바운딩 박스 및/또는 객체 마커들에 의해 에워싸인 영역을 조정하기 위해 사용자(112)로부터 수신될 수 있다. 다른 사용자 입력은 본 개시내용의 범위의 제한 없이, 자유 형태 제스처 또는 오디오 입력을 통해, 사용자(112)에 의해 제공될 수 있다.
실시예에 따라, 애플리케이션 프로세서(202)는 전자 디바이스(102)의 선택된 하나 이상의 피사체의 캡처된 LF 데이터를 비휘발성 메모리(208)에 저장하도록 구성될 수 있다. 애플리케이션 프로세서(202)는 포커스가능한 피사체들의 세트 내의 다른 피사체들에 대응하는 캡처된 LF 데이터를 휘발성 메모리로부터 삭제하도록 추가로 구성될 수 있다.
애플리케이션 프로세서(202)는 선택된 하나 이상의 피사체로부터의 제1 피사체에 포커싱하도록 구성될 수 있다. 제1 피사체에의 이러한 포커스는 제1 피사체의 저장된 LF 데이터의 제1 재정렬에 기초할 수 있다. 애플리케이션 프로세서(202)는 제1 피사체에 대한 저장된 LF 데이터에 대해 수행된 하나 이상의 동작에 기초하여, 저장된 LF 데이터의 제1 재정렬을 수행하도록 구성될 수 있다. 제1 피사체에의 포커스에 기초하여, 애플리케이션 프로세서(202)는 저장된 LF 데이터의 제1 재정렬에 기초하여, 포커싱된 제1 피사체를 포함하는 제1 프레임을 결정하도록 구성될 수 있다.
수신된 사용자 입력에 기초하여, 애플리케이션 프로세서(202)는 선택된 하나 이상의 피사체로부터의, 제2 피사체와 같은, 하나 이상의 다른 피사체에 동적으로 리포커싱하도록 구성될 수 있다. 이러한 경우에, 제2 피사체에의 리포커스는 저장된 LF 데이터의 제2 재정렬에 기초할 수 있다. 저장된 LF 데이터의 제2 재정렬은 제2 피사체에 대한 저장된 LF 데이터에 대해 수행된 하나 이상의 동작에 기초할 수 있다. 제2 피사체를 포커싱하는 이러한 하나 이상의 동작은 제1 피사체를 포커싱하도록 수행되는 하나 이상의 동작과 유사할 수 있다. 실시예에 따라, 애플리케이션 프로세서(202)는 저장된 LF 데이터의 제2 재정렬에 기초하여, 포커싱된 제2 피사체를 포함하는 제2 프레임을 결정하도록 구성될 수 있다. 애플리케이션 프로세서(202)는 제2 재정렬에 기초하여, 동적으로 리포커싱된 제2 피사체에 대응하는 제2 프레임을 결정하도록 구성될 수 있다. 유사하게, 애플리케이션 프로세서(202)는 저장된 LF 데이터의 대응하는 재정렬들에 기초하여, 포커싱된 하나 이상의 다른 피사체를 포함하는 하나 이상의 다른 프레임을 결정할 수 있다.
실시예에 따라, 저장된 LF 데이터의 제1 재정렬 및 제2 재정렬은 FOV와 연관된 저장된 LF 데이터와 연관된 하나 이상의 파라미터의 수정에 대응할 수 있다. 하나 이상의 파라미터의 예들은 FOV 내의 포커싱된 제1 피사체 및 동적으로 리포커싱된 하나 이상의 다른 피사체의 심도, 주 렌즈의 개구 직경, 마이크로-렌즈 어레이 내의 복수의 마이크로-렌즈들의 역 확대 계수, 마이크로-렌즈 어레이 내의 복수의 마이크로-렌즈들에 대한 F-수, 마이크로-렌즈 어레이 내의 복수의 마이크로-렌즈들의 초점 길이, 제1 FOV의 심도, 광의 파장, LF 감지 디바이스들(204)의 하나 이상의 포토 센서 내의 화소들의 화소 크기를 포함할 수 있지만, 이들로 제한되지 않는다. 실시예에 따라, 제1 재정렬 및/또는 제2 재정렬은 각각 포커싱된 제1 피사체 및/또는 동적으로 리포커싱된 제2 피사체의 심도에 기초할 수 있다. 제1 재정렬 및 제2 재정렬은 포커스가능한 피사체들의 세트로부터의 선택된 하나 이상의 피사체의 심도 정보가 발생된 파노라마 영상 내에 저장되도록 수행된다. 선택된 하나 이상의 피사체의 이러한 저장된 심도 정보는 발생된 파노라마 영상에서의 깊이 인지를 제공할 수 있다. 실시예에 따라, 제1 재정렬 및/또는 제2 재정렬은 프레임의 변화율에 대응하는 프레임률에 기초할 수 있다. 예를 들어, 프레임률은 결정된 제1 프레임으로부터 결정된 제2 프레임까지의 변화율에 대응할 수 있다. 실시예에 따라, 제1 재정렬 및/또는 제2 재정렬은 포커싱된 제1 피사체로부터 동적으로 리포커싱된 제2 피사체까지의 포커스의 변화율에 기초할 수 있다.
실시예에 따라, 애플리케이션 프로세서(202)는 제1 FOV에 대응하는 프레임들의 제1 스택을 생성하도록 구성될 수 있다. 프레임들의 제1 스택은 결정된 제1 프레임 및/또는 결정된 하나 이상의 다른 프레임을 포함할 수 있다. 결정된 제1 프레임 및/또는 결정된 하나 이상의 다른 프레임은 각각 포커싱된 제1 피사체 및/또는 포커싱된 하나 이상의 다른 피사체를 포함할 수 있다. 애플리케이션 프로세서(202)는 휘발성 메모리(206) 내에 프레임들의 제1 스택을 저장하도록 추가로 구성될 수 있다. 그럼에도 불구하고, 본 개시내용은 그렇게 제한되지 않을 수 있고, 애플리케이션 프로세서(202)는 본 개시내용의 범위의 제한 없이, 비휘발성 메모리(208) 내에 프레임들의 제1 스택을 저장하도록 추가로 구성될 수 있다.
애플리케이션 프로세서(202)는 하나 이상의 후속 FOV에 대응하는 프레임들의 하나 이상의 후속 스택을 생성하도록 추가로 구성될 수 있다. 애플리케이션 프로세서(202)는 프레임들의 생성된 제1 스택과 프레임들의 생성된 후속 스택들을 조합하도록 구성될 수 있다. 프레임들의 생성된 제1 스택과 프레임들의 생성된 후속 스택들의 조합은 본 기술 분야에 공지된 하나 이상의 LF 영상 스티칭 기술의 사용에 의한, 파노라마 LF 영상 스티칭을 포함할 수 있다.
애플리케이션 프로세서(202)는 프레임들의 스티치된 제1 스택 및 프레임들의 후속 스택들에 기초하여 파노라마 영상을 발생하도록 추가로 구성될 수 있다. 프레임들의 스티치된 제1 스택 및 프레임들의 후속 스택들은 시차 에러, 렌즈 왜곡, 장면 움직임, 및 노출 차이들과 같은 하나 이상의 불일치를 포함할 수 있다. 이러한 하나 이상의 불일치는 본 기술 분야에 공지된 하나 이상의 알고리즘의 사용에 의해 해결될 수 있다.
애플리케이션 프로세서(202)는 프레임들의 스티치된 제1 스택 및 프레임들의 후속 스택들에 기초하여, 파노라마 영상을 발생하도록 추가로 구성될 수 있다. 발생된 파노라마 영상의 포맷은 움직임 화상, 광계 화상(LFP) 영상, 그래픽 교환 포맷(GIF) 영상, 또는 공동 사진 전문가 그룹(JPEG) 영상에 대응할 수 있다.
실시예에 따라, I/O 디바이스들(210)은 디스플레이 디바이스(110)를 통해, 사용자(112)로부터 하나 이상의 사용자 선호를 검색하도록 구성될 수 있다. 하나 이상의 사용자 선호는 하나 이상의 터치-감지 제스처에 기초하여, 디스플레이 디바이스(110)를 통해 수신될 수 있다. 실시예에 따라, 하나 이상의 사용자 선호는 하나 이상의 오디오 입력 동작에 기초하여 전자 디바이스에 의해 수신될 수 있다. 하나 이상의 사용자 선호는 복수의 FOV들의 FOV 각각과 연관된 결정된 제1 프레임 및 결정된 하나 이상의 다른 프레임의 디스플레이와 연관된 프레임률에 대응할 수 있다. 하나 이상의 사용자 선호는 제1 FOV에 대응하는, 선택된 하나 이상의 피사체 간의 포커스의 변화율에 대응할 수 있다. 사용자 선호들은 하나 이상의 후속 FOV에 대응하는, 선택된 하나 이상의 피사체에 추가로 대응할 수 있다. 그럼에도 불구하고, 본 개시내용은 그렇게 제한되지 않을 수 있고, 프레임률 및/또는 발생된 파노라마 영상의 포커스의 변화율은 본 개시내용의 범위의 제한 없이, 휘발성 메모리(206) 또는 비휘발성 메모리(208)에 저장된 사전 저장된 값들에 기초할 수 있다.
실시예에 따라, 애플리케이션 프로세서(202)는 수신된 하나 이상의 사용자 선호 및/또는 프레임률 및/또는 포커스의 변화율에 대응하는 사전 저장된 값들에 기초하여, 발생된 파노라마 영상을 디스플레이 디바이스(110) 상에 렌더딩하도록 구성될 수 있다. 실시예에 따라, 애플리케이션 프로세서(202)는 송수신기(212)를 통해, 발생된 파노라마 영상을 저장을 위해 콘텐츠 서버(106)에 송신하도록 구성될 수 있다.
실시예에 따라, 선택된 하나 이상의 피사체는 발생된 파노라마 영상에서 순차적으로 포커싱될 수 있다. 실시예에 따라, 포커스의 시퀀스는 수신된 사용자 입력 내의 하나 이상의 피사체의 선택의 시퀀스에 대응할 수 있다. 실시예에 따라, 포커스의 시퀀스는 수신된 사용자 선호들에 대응할 수 있다. 또한, 애플리케이션 프로세서(202)는 비휘발성 메모리(208) 내에 존재하는, 수신된 하나 이상의 사용자 선호 및/또는 사전 저장된 값들에 기초하여, 발생된 파노라마 영상에서 선택된 하나 이상의 피사체를 디스플레이하도록 구성될 수 있다.
도 2b를 참조하면, LF 감지 디바이스(204)의 상세한 기능도가 도시된다. LF 감지 디바이스들(204)은 애플리케이션 프로세서(202)에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램을 저장하도록 구성될 수 있는 적합한 논리, 회로, 및/또는 인터페이스들을 포함할 수 있다. LF 감지 디바이스들(204)은 마이크로-렌즈 어레이(214) 및/또는 복수의 광 센서들(216)을 포함할 수 있다. LF 감지 디바이스들(204)은 주 렌즈(218)를 추가로 포함할 수 있다. 주 렌즈(218)는 마이크로-렌즈 어레이(214)와, 포커싱될 객체(222a)를 포함할 수 있는 제1 객체 평면(220a) 사이에 배치될 수 있다. 복수의 광 센서들(216)은 객체(222a)의 영상(226a)을 형성할 수 있는 제1 영상 평면(224a)으로서 고려될 수 있다. 또한, 복수의 광 센서들(216) 중 하나 이상의 광 센서 및 주 렌즈(218)와 함께, 마이크로-렌즈 어레이(214)는 전자 디바이스(102)의 복수의 FOV들 내의, 객체(222a)와 같은, 하나 이상의 객체와 연관된 LF 데이터를 캡처하도록 구성될 수 있다. LF 감지 디바이스(204) 내의 주 렌즈(218)는 위치(228a)에 있는 핀홀과 연관될 수 있다. 위치(228a)에 있는 핀홀은 230a 및 230b와 같은 슬릿들 사이의 개구에 대응할 수 있다. 애플리케이션 프로세서(202)는 본 기술 분야에 공지된, 디지털 리포커싱 알고리즘에 기초하여 제2 객체 평면(220b)을 생성하도록 구성될 수 있다. 제2 객체 평면(220b)은 제1 객체 평면(220a)과 주 렌즈(218) 사이에 배치될 수 있는 가상 평면에 대응할 수 있다. 애플리케이션 프로세서(202)는 제2 영상 평면(224b)을 생성하도록 추가로 구성될 수 있다. 제2 영상 평면(224b)은 도 2b에 도시된 바와 같이, 제1 영상 평면(224a)의 좌측에 위치한 가상 평면일 수 있다.
마이크로-렌즈 어레이(214)는 복수의 마이크로-렌즈들을 포함할 수 있다. 또한, 마이크로-렌즈들의 수 및/또는 어레이의 크기는 각각의 마이크로-렌즈와 연관된 하나 이상의 파라미터에 기초하여 미리 결정될 수 있다. 하나 이상의 파라미터는 각각의 마이크로 렌즈의 크기 및 마이크로-렌즈 어레이(214) 내의 마이크로 렌즈 각각의 초점 길이를 적어도 포함할 수 있다. 구현 시에, 마이크로 렌즈 각각의 초점 길이는 주 렌즈(218)의 초점 길이보다 미리 결정된 값만큼 적을 수 있다. 또한, 제1 객체 평면(220a)으로부터 나온 광선이 주 렌즈(218)를 통해 통과할 때 그것은 마이크로-렌즈 어레이(214)의 어레이를 통해 통과할 수 있으므로, 마이크로-렌즈 어레이(214)의 각각의 마이크로 렌즈는 복수의 광 센서들(216) 상에, 영상들(226a)과 같은, 객체의 개별 영상을 형성할 수 있다.
복수의 광 센서들(216)은 제1 객체 평면(220a) 상의 객체로부터 나올 수 있는 광선에 의한 조명에 기초하여 LF 데이터를 발생하도록 구성될 수 있는 복수의 감지 요소들을 포함할 수 있다. 구현 시에, LF 데이터는 다차원 데이터에 대응할 수 있다. 다차원 LF 데이터의 하나 이상의 차원은 공간 내의 하나 이상의 축, 복수의 광 센서(216) 상의 제1 객체 평면(220a)으로부터의 광선의 입사 각도, 객체로부터의 광선이 복수의 광 센서들(216) 상에 충돌하게 되는 시간, 및/또는 광선의 파장을 포함할 수 있다. 구현 시에, LF 데이터는 애플리케이션 서버(104) 및/또는 콘텐츠 서버(106)와 같은, 하나 이상의 서버에 의해 처리될 수 있다. 또 하나의 구현 시에, LF 데이터는 위에 설명된 바와 같이, 애플리케이션 프로세서(202)에 의해 처리될 수 있다. 또한, 마이크로-렌즈 어레이(214)를 통해 통과한 광선들은 제1 영상 평면(224a) 상에 객체(222a)의 영상(226a)을 생성하기 위해 복수의 광 센서들(216) 상에 충돌한다. 복수의 광 센서들(216)은 미리 결정된 수의 화소들에 대응할 수 있다.
주 렌즈(218)는 복수의 광 센서들(216) 상에 (제1 객체 평면(220a) 내의 객체(222a)로부터 나온) 광선들을 포커싱할 수 있는 광학 디바이스일 수 있다. 주 렌즈(218)는 마이크로-렌즈 어레이(214)와, 포커싱될 그 객체(222a)를 포함하는 제1 객체 평면(220a) 사이에 배치될 수 있다. 마이크로-렌즈 어레이(214)와 함께 주 렌즈(218)는 주 렌즈(218) 및 마이크로-렌즈 어레이(214)의 미리 결정된 초점 길이들에 기초하여, 제1 영상 평면(224a) 상에 광선들을 포커싱할 수 있다. 주 렌즈(218)의 유형은 도 2b에 도시한 바와 같이, 양볼록(biconvex)일 수 있다. 그럼에도 불구하고, 본 개시내용은 그렇게 제한되지 않을 수 있고, 주 렌즈(218) 및/또는 마이크로-렌즈 어레이(214)는 양오목, 평평-볼록, 평평-오목, 오목 볼록 렌즈, 및/또는 본 개시내용의 범위에서 벗어나지 않고서, 이들 동일한 또는 상이한 렌즈 유형의 조합과 같은 다른 유형들일 수 있다.
실시예에 따라, LF 감지 디바이스(204) 상에 입사하는 광선은 본 기술 분야에 공지된, 하나 이상의 파라미터화 기술에 의해 나타내질 수 있다. 이러한 파라미터화 기술들의 예는 2개의 평행한 평면을 발생하기 위해 수학적 연산을 포함할 수 있는 2-평면 파라미터화를 포함할 수 있지만, 이들로 제한되지 않는다. 2-평면 파라미터화 기술에 따라, 주 렌즈(218)의 평면은 "uv-평면"에 대응할 수 있고 마이크로-렌즈 어레이(214)의 또 하나의 평면은 "st-평면"에 대응할 수 있다. "uv-평면" 및/또는 "st-평면"은 2-평면 파라미터화 기술을 위해 사용되는 2개의 평행한 평면일 수 있다. 따라서, 광선의 파라미터화는 LF 감지 디바이스(204) 내의 광선이 "uv-평면" 및/또는 "st-평면"을 통해 통과할 때 수행될 수 있다.
동작 시에, 애플리케이션 프로세서(202)와 함께 LF 감지 디바이스(204)는 주 위치(228a)에 있는 핀홀 및/또는 주 렌즈(218)의 디지털 이동에 대응하는 동작을 수행하도록 구성될 수 있다. 디지털 이동은 마이크로-렌즈 어레이(214)를 통해 통과하는 광선들의 그룹의 이동에 대응할 수 있다. 그룹 각각으로부터의 광선들은 위치(228a)에 있는 핀홀을 통해 통과하는 것이 허용될 수 있다. 애플리케이션 프로세서(202)는 핀홀의 위치(228a)의 새로운 위치(228b)로의 조정을 수행하도록 추가로 구성될 수 있다. 실시예에 따라, 애플리케이션 프로세서(202)는 슬릿들(230a와 230b) 사이의 개구의 조정에 기초하여 핀홀의 위치(228a)를 핀홀의 새로운 위치(228b)로 조정하도록 구성될 수 있다. 애플리케이션 프로세서(202)는 전자 디바이스(102)의 복수의 FOV들 내의, 영상 왜곡과 같은, 아티팩트들을 최소화하기 위해 (새로운 위치(228b)로의) 핀홀의 위치(228a) 및/또는 주 렌즈(218)의 위치의 디지털 이동 다음에 획득된 LF 데이터의 계산적 재정렬을 수행하도록 추가로 구성될 수 있다.
실시예에 따라, 애플리케이션 프로세서(202)와 함께 LF 감지 디바이스(204)는 제1 객체 평면(220a) 내의 하나 이상의 객체에의 동적 리포커싱을 디지털로 수행하도록 구성될 수 있다. 동적 리포커싱은 애플리케이션 프로세서(202)에 의해 결정될 수 있는 제2 객체 평면(220b)의 사용에 기초하여 수행될 수 있다. 동적 리포커싱은 도 2a에서 설명된 바와 같이, FOV와 연관된 LF 데이터의 계산적 재정렬에 기초하여 포커스 설정의 어떤 변화 없이 추가로 수행될 수 있다. 또한, 제1 객체 평면(220a) 및 주 렌즈(218)로부터의 제2 객체 평면(220b)의 위치는 본 기술 분야에 공지된 사전 저장된 알고리즘에 기초하여, 애플리케이션 프로세서(202)에 의해 미리 결정될 수 있다. 실시예에 따라, 애플리케이션 프로세서(202)는 제1 객체 평면(220a)으로부터, 주 렌즈(218)를 향해 측방으로 변위될 수 있는 제2 객체 평면(220b)을 결정하도록 구성될 수 있다. 복수의 FOV들 중 한 FOV 내에 존재하는 복수의 피사체들로부터 포커스가능한 피사체들의 선명도는 제2 객체 평면(220b)의 위치에 기초할 수 있다.
실시예에 따라, 하나 이상의 객체는 제2 객체 평면(220b)과 연관될 수 있다. 가상적으로 변위된 제1 객체 평면(220a)에 기초하여, 객체(222a)는 제2 객체 평면(220b) 상에서 가상 객체(222b)에 변위될 수 있다. 또한, 객체(222a)의 변위에 기초하여, 새로운 영상이 제2 영상 평면(224b) 상에 형성될 수 있다. 이러한 제2 영상 평면(224b)은 또한 제1 영상 평면(224a)의 좌측을 향해 측방으로 변위될 수 있다. 실시예에 따라, 애플리케이션 프로세서(202)는 본 기술 분야에 공지된, 비휘발성 메모리(208) 내에 존재하는, 사전 저장된 알고리즘에 기초하여 제1 영상 평면(224a)으로부터 제2 영상 평면(224b)의 위치를 결정하기 위해 사용될 수 있다.
측방 변위에 기초하여, 가상 객체(222b)의 가상 영상(226b)이 영상(226a)의 제2 영상 평면(224b) 상에 형성될 수 있다. 실시예에 따라, LF 감지 디바이스(204) 내의 동적 리포커싱은 하나 이상의 윈도우에 대응하는 LF 데이터의 합산을 추가로 포함할 수 있다. 이러한 하나 이상의 윈도우는 객체(222a) 또는 가상 객체(222b)로부터 발산하는 광선들에 대응할 수 있다. LF 데이터는 마이크로-렌즈 어레이(214)의 복수의 마이크로-렌즈들로부터 추출된 데이터에 추가로 대응할 수 있다. 이러한 추출된 데이터는 포커스의 고정된 깊이에서 객체(222a) 또는 가상 객체(222b)의 위치에 대응할 수 있다.
실시예에 따라, 애플리케이션 프로세서(202)와 함께 LF 감지 디바이스(204)는 디지털 중지 다운 동작(digital stopping down operation)을 수행하도록 구성될 수 있다. 디지털 중지 다운 동작은 도 2a에서 설명된 것과 같이 "F-수"의 증가를 포함할 수 있다. "F-수"는 주 렌즈(218)의 초점 길이에 대응할 수 있다. "F-수"의 증가에 기초하여, 주 렌즈(218)의 개구의 크기는 하나 이상의 포커스가능한 객체의 선명도를 향상시키기 위해 하나 이상의 포커스가능한 객체의 심도를 증가시키도록 감소될 수 있다. 실시예에 따라, 디지털 중지 다운 동작은 포커스의 깊이에 대해, 마이크로-렌즈 어레이(214)의 하나 이상의 마이크로 렌즈의 중심 부분과 연관된 LF 데이터의 합산을 포함할 수 있다. 또한, 마이크로-렌즈 어레이(214)의 하나 이상의 마이크로 렌즈의 중심 부분과 연관된 LF 데이터는 위치(228a)에 있는 핀홀의 사용에 의해 획득될 수 있다.
실시예에 따라, 파노라마 영상을 발생하기 위해서, 애플리케이션 프로세서(202)는 각각의 객체에 대해 개별적으로, 디지털 이동, 동적 리포커싱, 및/또는 디지털 중지 다운과 같은 위에 언급된 동작들을 수행하도록 구성될 수 있다. 실시예에 따라, 애플리케이션 프로세서(202)는 하나 이상의 조합에서 위에 언급된 동작들을 수행하도록 구성될 수 있다. 위에 언급된 동작들에 기초하여, 프레임 내의 FOV와 연관된 하나 이상의 파라미터가 수정될 수 있다. 이러한 하나 이상의 파라미터는 발생된 파노라마 영상의 선명도, 휘도, 해상도를 포함할 수 있지만, 이들로 제한되지 않는다. 또한, 애플리케이션 프로세서(202)는 도 2a에서 언급된 7차원 플렌옵틱 함수에 기초하여 위에 언급된 하나 이상의 동작을 수행하도록 구성될 수 있다.
도 3a 내지 3e는 본 개시내용의 실시예에 따른, 파노라마 영상의 발생을 위한 예시적인 시나리오들을 도시한 도면들이다. 도 3a 내지 3e는 도 1 및 2와 함께 설명된다. 도 3a를 참조하면, 회의실(302)의 예시도가 도시된다. 회의실(302)은 전자 디바이스(102)의 예시적인 시야(FOV)(304)를 포함할 수 있다. 예시적인 FOV(304)는 제1 피사체(306a), 제2 피사체(306b), 및 제3 피사체(306c)와 같은 하나 이상의 피사체를 포함할 수 있다. 제1 피사체(306a), 제2 피사체(306b), 및 제3 피사체(306c)는 각각 제1 좌석 객체(308a), 제2 좌석 객체(308b), 및 제3 좌석 객체(308c) 상에 회의 탁자(310)를 가로질러 앉혀질 수 있다. FOV(304)는 사이드 탁자(312)에 대응할 수 있는 제1 객체 및 화이트 보드(314)에 대응할 수 있는 제2 객체를 추가로 포함할 수 있다. FOV는 사이드 탁자(312) 상에 놓일 수 있고, 화이트 보드(314)의 부분을 하이라이트하기 위해 사용될 수 있는 하이라이터들(312a)과 같은 제3 객체를 추가로 포함할 수 있다. 또한, 하나 이상의 피사체 각각, 및/또는 하나 이상의 객체는 전자 디바이스(102)의 FOV(304)에 대해, 심도와 연관될 수 있다.
도 3b를 참조하면, 전자 디바이스(102)의 FOV(304) 내의 포커스가능한 피사체들의 세트의 식별을 위한 예시적인 시나리오가 도시된다. 예시적인 시나리오에 따라, 전자 디바이스(102)의 LF 감지 디바이스들(204)은 FOV(304) 내에 존재하는 하나 이상의 피사체 각각 및/또는 하나 이상의 객체 각각의 LF 데이터를 캡처하도록 구성될 수 있다. 예시적인 시나리오의 예에 따라, 애플리케이션 프로세서(202)는 FOV(304) 내에 존재하는 하나 이상의 피사체 각각 및/또는 하나 이상의 객체 각각의 캡처된 LF 데이터를 휘발성 메모리(206)에 저장하도록 구성될 수 있다. 캡처된 LF 데이터에 기초하여, 애플리케이션 프로세서(202)는 FOV(304) 내에 존재하는 포커스가능한 피사체들의 세트 및/또는 포커스가능한 객체들의 또 하나의 세트를 식별하도록 추가로 구성될 수 있다. FOV 내의 포커스가능한 피사체들의 세트 및/또는 포커스가능한 객체들의 다른 세트의 식별은 도 2b에서 설명된 바와 같은, 객체 인식 기술들에 기초할 수 있다.
애플리케이션 프로세서(202)는 직사각형 바운딩 박스를 FOV(304) 내에 존재하는 포커스가능한 피사체들의 식별된 세트 및/또는 포커스가능한 객체들의 다른 세트 각각과 연관시키도록 구성될 수 있다. 애플리케이션 프로세서(202)는 바운딩 박스(316a)를 제1 피사체(306a), 바운딩 박스(316b)를 제2 피사체(306b), 및/또는 바운딩 박스(316c)를 제3 피사체(306c)와 연관시키도록 구성될 수 있다. 유사하게, 애플리케이션 프로세서(202)는 바운딩 박스(316d)를 사이드 탁자(312), 바운딩 박스(316e)를 하이라이터들(312a), 및/또는 바운딩 박스(316f)를 화이트 보드(314)와 연관시키도록 구성될 수 있다. 바운딩 박스들(316a 내지 316f) 각각은 각각 연관된 사용자 인터페이스(UI) 요소들(318a 내지 318f)을 포함할 수 있다. I/O 디바이스들(210)은 디스플레이 디바이스(110) 상에, 연관된 바운딩 박스들 및 연관된 UI 요소들과 함께, 식별된 하나 이상의 피사체 및/또는 하나 이상의 객체를 디스플레이하도록 구성될 수 있다.
예시적인 시나리오에 따라, I/O 디바이스들(210)은 디스플레이된 하나 이상의 피사체 및/또는 하나 이상의 객체의 바운딩 박스들(316a 내지 316f)에 대응하는 하나 이상의 사용자 입력 동작을 수신하도록 구성될 수 있다. 수신된 하나 이상의 사용자 입력 동작은 포커스가능한 피사체들 및/또는 하나 이상의 포커스가능한 객체의 디스플레이된 세트로부터의 하나 이상의 피사체의 선택에 대응할 수 있다. 또 하나의 사용자 입력은 발생된 파노라마 영상에서 포커스 온될 선택된 하나 이상의 피사체 및/또는 하나 이상의 객체로부터 피사체들 및/또는 객체들을 선택해제하기 위해 사용자(112)에 의해 제공될 수 있다. 애플리케이션 프로세서(202)는 선택된 피사체들 및/또는 객체들의 캡처된 LF 데이터를 비휘발성 메모리(208)에 저장하도록 추가로 구성될 수 있다. 애플리케이션 프로세서(202)는 휘발성 메모리(206)로부터, 디스플레이된 하나 이상의 피사체 및/또는 하나 이상의 객체로부터 선택해제된 피사체들의 캡처된 LF 데이터를 삭제하도록 추가로 구성될 수 있다.
예시적인 시나리오의 예에 따라, 애플리케이션 프로세서(202)는 수신된 하나 이상의 사용자 입력에 기초하여, 바운딩 박스들(316a, 316b, 316c, 316d, 316e, 및/또는 316f)에 의해 에워싸인 영역을 조정하도록 구성될 수 있다. 애플리케이션 프로세서(202)는 디스플레이된 바운딩 박스들과 연관된 UI 요소들(318a, 318b, 318c, 318d, 318e, 및/또는 318f)에 기초하여 포커스가능한 피사체들 및/또는 하나 이상의 포커스가능한 객체의 디스플레이된 세트 중 하나 이상을 선택해제하도록 추가로 구성될 수 있다. 선택해제는 수신된 하나 이상의 사용자 입력에 기초할 수 있다.
실시예에 따라, 애플리케이션 프로세서(202)는 제1 피사체(306a)의 캡처된 LF 데이터의 계산적 재정렬에 기초하여, 제1 피사체(306a)에 포커싱하도록 구성될 수 있다. 애플리케이션 프로세서(202)는 제2 피사체(306b) 및 제3 피사체(306c)에 동적으로 리포커싱하도록 추가로 구성될 수 있다. 리포커스는 제2 피사체(306b) 및 제3 피사체(306c)의 캡처된 LF 데이터의 동적 계산적 재정렬에 추가로 기초할 수 있다. 유사하게, 애플리케이션 프로세서는 사이드 탁자(312), 하이라이터들(312a), 및/또는 화이트 보드(314)의 캡처된 LF 데이터의 동적 계산적 재정렬에 기초하여, 사이드 탁자(312), 하이라이터들(312a), 및/또는 화이트 보드(314)에 동적으로 리포커싱하도록 구성될 수 있다. 예시적인 시나리오의 예에 따라, 애플리케이션 프로세서(202)는 포커스가능한 피사체들의 식별된 세트 및/또는 포커스가능한 객체들의 다른 세트의 LF 데이터의 동시의 계산적 재정렬을 수행하도록 구성될 수 있다.
도 3c를 참조하면, 디스플레이 디바이스(110) 상에, 식별된 하나 이상의 피사체의 피사체 및/또는 하나 이상의 객체와 연관된 바운딩 박스를 디스플레이하는 예시적인 시나리오가 도시된다. 바운딩 박스는 제1 피사체(306a)와 연관된 바운딩 박스(316a)에 대응할 수 있다. 실시예에 따라, 바운딩 박스(316a)는 디스플레이 디바이스(110) 상에 디스플레이될 수 있으므로, 그것은 제1 피사체(306a)의 적어도 일부를 에워싼다. 그러나, I/O 디바이스들(210)을 통해, 애플리케이션 프로세서에 의해 수신된 사용자 입력에 기초하여, 바운딩 박스(316a)의 차원들이 조정될 수 있다. 바운딩 박스의 차원들의 이러한 조정은 제1 피사체(306a)의 에워싸인 부분의 영역을 증가 및/또는 감소시키도록 수행될 수 있다.
또한, 차원들의 이러한 조정은 사용자 입력이 핀치-인 또는 핀치-아웃 동작에 대응할 때 수행될 수 있다. 핀치-인 또는 핀치-아웃 동작은 바운딩 박스의 에지들 또는 정점들을 방향들(320a 및 320b)과 같은 주어진 방향으로 드래그함으로써 수행될 수 있다. 핀치-인 또는 핀치-아웃 동작은 방향들(320a 및 320b)에 대향하는 방향으로 바운딩 박스의 측면들을 드래그하는 것에 기초하여 수행될 수 있다. 디스플레이 디바이스(110) 상의 수신된 사용자 입력에 기초하여, 애플리케이션 프로세서(202)는 바운딩 박스들(316b 내지 316f)의 차원들의 유사한 조정들을 수행하도록 구성될 수 있다. 애플리케이션 프로세서(202)는 비휘발성 메모리(208) 내에, 조정된 바운딩 박스들(316a 내지 316f)에 에워싸인 피사체들의 캡처된 LF 데이터를 저장하도록 추가로 구성될 수 있다.
도 3d를 참조하면, 디스플레이된 하나 이상의 피사체 및/또는 하나 이상의 객체로부터의 선택된 피사체들에 대응하는 FOV(304)의 프레임들(322)의 스택의 생성을 위한 예시적인 시나리오가 도시된다. 예시적인 시나리오에 따라, 수신된 사용자 입력은 제1 피사체(306a), 제2 피사체(306b), 하이라이터들(312a), 및/또는 화이트 보드(314)의 선택에 대응할 수 있다. 제1 피사체(306a), 제2 피사체(306b), 하이라이터들(312a), 및/또는 화이트 보드(314)의 선택은 제1 시퀀스로 수행될 수 있다.
사용자 입력에 기초하여, 애플리케이션 프로세서(202)는 도 3c에서 설명된 바와 같이, 제1 피사체(306a)의 캡처된 LF 데이터의 계산적 재정렬에 기초하여, 제1 피사체(306a)에 포커싱하도록 구성될 수 있다. 애플리케이션 프로세서(202)는 계산적 재정렬에 기초하여, 제1 피사체(306a)에 대응하는 프레임(322a)을 발생하도록 추가로 구성될 수 있다. 애플리케이션 프로세서(202)는 도 3c에서 설명된 바와 같이, 제2 피사체(306b), 및 제3 피사체(306c)의 캡처된 LF 데이터의 동적 계산적 재정렬에 기초하여, 선택된 제2 피사체(306b), 선택된 하이라이터들(312a), 및 선택된 화이트 보드(314)에 동적으로 리포커싱하도록 추가로 구성될 수 있다. 애플리케이션 프로세서(202)는 프레임들(322b, 322c, 및 322d)을 발생하도록 추가로 구성될 수 있다. 프레임(322a)은 제1 피사체(306a)에 대응할 수 있고, 프레임(322b)은 제2 피사체(306b)에 대응할 수 있고, 프레임(322c)은 하이라이터들(312a)에 대응할 수 있고, 프레임(322d)은 화이트 보드(314)에 대응할 수 있다. 발생된 프레임들(322a, 322b, 322c, 및 322d) 각각은 FOV(304)의 프레임들(322)의 스택에 추가로 대응할 수 있다. FOV(304)의 프레임들(322)의 스택은 선택된 피사체들 각각과 연관된 심도 정보를 추가로 포함할 수 있다.
예시적인 시나리오의 예에 따라, 애플리케이션 프로세서(202)는 제1 시퀀스로 프레임들(322)의 생성된 스택의 생성된 프레임들(322a, 322b, 322c, 및/또는 322d)을 시퀀스하도록 구성될 수 있다. 예시적인 시나리오의 또 하나의 예에 따라, 애플리케이션 프로세서(202)는 비휘발성 메모리(208)로부터 검색된 하나 이상의 사용자 선호에 기초하여 프레임들(322)의 생성된 스택의 생성된 프레임들(322a, 322b, 322c, 및/또는 322d)을 시퀀스하도록 구성될 수 있다. 프레임들(322)의 스택은 비휘발성 메모리(208) 내의 수신된 하나 이상의 사용자 선호 및/또는 사전 저장된 값들에 기초하여, 하나 이상의 파라미터와 추가로 연관될 수 있다. 하나 이상의 파라미터는 프레임률 및/또는 선택된 제1 피사체(306a), 제2 피사체(306b), 하이라이터들(312a), 및/또는 화이트 보드(314) 간의 포커스의 변화율에 대응할 수 있다.
예시적인 시나리오의 예에 따라, 애플리케이션 프로세서(202)는 FOV(304)의 프레임들(322)의 생성된 스택과 유사한 프레임들의 하나 이상의 후속 스택을 생성하도록 구성될 수 있다. 프레임들의 이러한 생성된 하나 이상의 후속 스택은 전자 디바이스(102)의 하나 이상의 후속 FOV에 대응할 수 있다.
도 3e를 참조하면, FOV(304)의 프레임들(322)의 생성된 스택의 LF 영상 스티칭에 기초한 파노라마 영상의 발생을 위한 예시적인 시나리오가 도시된다. 예시적인 시나리오에 따라, 애플리케이션 프로세서(202)는 사용자 선호들에 기초하여 순차적으로 프레임들(322)의 스택의 생성된 프레임들(322a, 322b, 322c, 및/또는 322d)을 배열하도록 구성될 수 있다. 생성된 프레임들(322a, 322b, 322c, 및/또는 322d)은 중첩하는 FOV들을 포함할 수 있다.
예시적인 시나리오의 예에 따라, 애플리케이션 프로세서(202)는 사용자 선호들에 기초하여, 순차적으로 프레임들의 하나 이상의 후속 스택 중 하나 이상의 다른 프레임을 배열하도록 구성될 수 있다. 프레임들의 하나 이상의 후속 스택 중 이러한 하나 이상의 다른 프레임은 전자 디바이스(102)의 하나 이상의 후속 FOV에 대응할 수 있다. 프레임들의 하나 이상의 후속 스택 중 이러한 하나 이상의 다른 프레임은 중첩하는 FOV들을 포함할 수 있다. 애플리케이션 프로세서(202)는 프레임들(322)의 스택의 생성된 프레임들(322a, 322b, 322c, 및/또는 322d)과 프레임들의 하나 이상의 후속 스택 중 하나 이상의 다른 프레임을 조합하도록 추가로 구성될 수 있다.
애플리케이션 프로세서(202)는 프레임들(322)의 스택의 생성된 프레임들(322a, 322b, 322c, 및/또는 322d) 내의 선택된 피사체들과 연관된 시차 에러를 최소화하도록 추가로 구성될 수 있다. 프레임들(322)의 스택의 생성된 프레임들(322a, 322b, 322c, 및/또는 322d)과 프레임들의 하나 이상의 후속 스택 중 하나 이상의 다른 프레임의 조합은 (도 2b에서 설명된 바와 같이) LF 영상 스티칭에 기초할 수 있다. 애플리케이션 프로세서(202)는 디스플레이 디바이스(110) 상에 발생된 파노라마 영상을 렌더링하도록 추가로 구성될 수 있다. 발생된 파노라마 영상은 선택된 하나 이상의 피사체의 깊이 인지에 기여하는 의사 3차원 영상에 대응할 수 있다. 하나 이상의 선택된 피사체 각각은 렌더링된 파노라마 영상에서 순차적으로 포커싱될 수 있다. 발생된 파노라마 영상은 비휘발성 메모리(208) 내의 하나 이상의 사용자 선호 및/또는 사전 저장된 값들에 기초하여 렌더링될 수 있다. 하나 이상의 파라미터는 프레임률 및/또는 선택된 제1 피사체(306a), 제2 피사체(306b), 하이라이터들(312a) 및/또는 화이트 보드(314) 간의 포커스의 변화율에 대응할 수 있다.
도 4는 본 개시내용의 실시예에 따른, 파노라마 영상의 발생을 위한 방법을 도시한 플로우차트이다. 도 4를 참조하면, 제1 플로우차트(400)가 도시된다. 제1 플로우 차트(400)는 도 1과 함께 설명된다. 방법은 단계 402에서 시작하고 단계 404로 진행한다.
단계 404에서, 전자 디바이스(102)의 제1 FOV와 연관된 LF 데이터가 캡처될 수 있다. 단계 406에서, 제1 FOV와 연관된 캡처된 LF 데이터는 휘발성 메모리에 저장될 수 있다. 단계 408에서, 제1 피사체 및 하나 이상의 다른 피사체와 같은 포커스가능한 피사체들의 세트가 전자 디바이스(102)의 제1 FOV 내에 존재하는 제1 복수의 피사체들로부터 식별될 수 있다. 포커스가능한 피사체들의 세트는 바운딩 박스 및/또는 객체 마커에 기초하여, 디스플레이 디바이스(110) 상에 표시될 수 있다.
단계 410에서, 제1 피사체 및 하나 이상의 다른 피사체를 선택하기 위한 사용자 입력이 수신될 수 있다. 사용자 입력은 제1 피사체 및 하나 이상의 다른 피사체와 연관된 바운딩 박스 및/또는 객체 마커에 대한 핀치-인 또는 핀치-아웃 동작을 포함할 수 있다. 단계 412에서, 선택된 제1 피사체 및 하나 이상의 다른 피사체에 대응하는 FOV와 연관된 캡처된 LF 데이터가 휘발성 메모리에 저장될 수 있다. 단계 414에서, 제1 피사체의 저장된 LF 데이터의 제1 재정렬이 수행될 수 있다.
단계 416에서, 포커싱된 제1 피사체를 포함하는 제1 프레임이 저장된 LF 데이터의 제1 재정렬에 기초하여 결정될 수 있다. 단계 418에서, FOV 내의 하나 이상의 다른 피사체 각각의 저장된 LF 데이터의 제2 재정렬이 수행될 수 있다. 단계 420에서, 동적으로 리포커싱된 하나 이상의 다른 피사체를 포함하는 하나 이상의 다른 프레임이 저장된 LF 데이터의 제2 재정렬에 기초하여 결정될 수 있다.
단계 422에서, 결정된 제1 프레임과 결정된 하나 이상의 다른 프레임의 조합에 기초하여, 파노라마 영상이 발생될 수 있다. 결정된 제1 프레임 및 결정된 2개 이상의 다른 프레임들이 파노라마 영상을 발생하기 위해 스티치될 수 있다. 또한, 결정된 제1 프레임 및 결정된 하나 이상의 다른 프레임으로부터의 스티치된 2개 이상의 프레임들에 대응하는 시차 에러가 최소화될 수 있다. 제어는 종료 단계 424로 넘어간다.
본 개시내용의 실시예에 따라, 파노라마 영상의 발생을 위한 시스템이 개시된다. 시스템은 애플리케이션 프로세서(202)와 같은 하나 이상의 회로를 포함할 수 있다. 전자 디바이스(102)의 애플리케이션 프로세서(202)는 복수의 마이크로-렌즈들을 추가로 포함하는 마이크로-렌즈 어레이를 포함할 수 있으며, 마이크로-렌즈 어레이는 광 센서와 함께, 촬상 디바이스의 FOV와 연관된 LF 데이터를 캡처하도록 구성될 수 있다. 제1 프레임을 결정하기 위해, 애플리케이션 프로세서(202)는 FOV 내의 제1 피사체와 연관된 저장된 LF 데이터의 제1 재정렬에 기초하여, 제1 피사체에 포커싱하도록 구성될 수 있다. 하나 이상의 다른 프레임을 결정하기 위해, 애플리케이션 프로세서(202)는 FOV 내의 하나 이상의 다른 피사체 각각의 캡처된 LF 데이터의 제2 재정렬에 기초하여, 하나 이상의 다른 피사체에 동적으로 리포커싱하도록 구성될 수 있다. 애플리케이션 프로세서(202)는 결정된 제1 프레임과 하나 이상의 다른 프레임의 조합에 기초하여, 파노라마 영상을 발생하도록 추가로 구성될 수 있다.
본 개시내용의 다양한 실시예들은 비일시적, 컴퓨터 판독가능 매체 및/또는 저장 매체, 및/또는 그에 파노라마 영상의 발생을 위해 머신 및/또는 컴퓨터에 의해 실행가능한 적어도 하나의 코드 섹션을 갖는 머신 코드 및/또는 컴퓨터 프로그램이 저장되어 있는 비일시적 머신 판독가능 매체 및/또는 저장 매체를 제공할 수 있다. 적어도 하나의 코드 섹션은 머신 및/또는 컴퓨터로 하여금 제1 피사체에의 마이크로-렌즈 어레이의 포커스를 포함하는 단계들을 수행하게 할 수 있다. 제1 피사체는 FOV 내의 제1 피사체와 연관된 저장된 LF 데이터의 제1 재정렬에 기초하여, 제1 프레임을 결정하기 위해 포커싱될 수 있다. 마이크로-렌즈 어레이는 복수의 마이크로-렌즈들을 추가로 포함할 수 있다. 광 센서와 함께, 마이크로-렌즈 어레이는 촬상 디바이스의 FOV와 연관된 LF 데이터를 캡처하도록 구성될 수 있다. 단계들은 하나 이상의 다른 프레임을 결정하기 위해, FOV 내의 하나 이상의 다른 피사체 각각의 캡처된 LF 데이터의 제2 재정렬에 기초하여, 하나 이상의 다른 피사체에 동적 리포커싱하는 것을 추가로 포함할 수 있다. 결정된 제1 프레임과 하나 이상의 다른 프레임의 조합에 기초하여, 파노라마 영상이 발생될 수 있다.
본 개시내용은 하드웨어, 또는 하드웨어와 소프트웨어의 조합에서 실현될 수 있다. 본 개시내용은 적어도 하나의 컴퓨터 시스템에서 집중 방식으로, 또는 상이한 요소들이 여러 개의 상호접속된 컴퓨터 시스템들에 걸쳐 분산될 수 있는 분배 방식으로 실현될 수 있다. 여기에 설명된 방법들을 수행하도록 적응된 컴퓨터 시스템 또는 다른 장치가 적합할 수 있다. 하드웨어와 소프트웨어의 조합은 로드되고 실행될 때, 그것이 여기에 설명된 방법들을 수행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들을 또한 수행하는 집적 회로의 일부를 포함하는 하드웨어에서 실현될 수 있다.
본 개시내용은 또한 여기에 설명된 방법들의 구현을 가능하게 하는 모든 특징들을 포함하고, 컴퓨터 시스템 내에 로드될 때 이들 방법을 수행할 수 있는 컴퓨터 프로그램 제품 내에 내장될 수 있다. 컴퓨터 프로그램은 본 맥락에서, 정보 처리 능력을 갖는 시스템으로 하여금 특정한 기능을 직접, 또는 a) 또 하나의 언어, 코드, 또는 표시로의 변환; b) 상이한 재료 형태로의 재생 중 어느 하나 또는 둘 다 후에 수행하게 하려는 명령어들의 세트의 임의의 언어로의 임의의 표현, 코드 또는 표시를 의미할 수 있다.
본 개시내용이 소정의 실시예들을 참조하여 설명되었지만, 본 기술 분야의 통상의 기술자들은 다양한 변화들이 본 개시내용의 범위에서 벗어나지 않고서 이루어질 수 있고 등가물들이 대체될 수 있다는 것을 알 것이다. 또한, 많은 수정들이 그것의 범위에서 벗어나지 않고서 본 개시내용의 교시들에 특정한 상황 또는 재료를 적응시키도록 이루어질 수 있다. 그러므로, 본 개시내용은 개시된 특정한 실시예로 제한되지 않고, 본 개시내용은 첨부된 청구범위의 범위 내에 드는 모든 실시예들을 포함하고자 한다.

Claims (26)

  1. 촬상 디바이스로서,
    광 센서와 함께 복수의 마이크로-렌즈들을 포함하는 마이크로-렌즈 어레이 - 상기 복수의 마이크로 렌즈들은 상기 촬상 디바이스의 시야(field-of-view)(FOV)와 연관된 광계(light-field)(LF) 데이터를 캡처하도록 구성됨 -; 및
    회로를 포함하고,
    상기 회로는,
    제1 프레임을 결정하기 위해 상기 FOV 내의 제1 피사체(subject)의 상기 캡처된 LF 데이터의 제1 재정렬에 기초하여 상기 제1 피사체에 포커싱하고;
    적어도 하나의 제2 프레임을 결정하기 위해 상기 FOV 내의 적어도 하나의 제2 피사체의 상기 캡처된 LF 데이터의 제2 재정렬에 기초하여 상기 적어도 하나의 제2 피사체에 동적으로 리포커싱하고;
    상기 결정된 제1 프레임과 상기 결정된 적어도 하나의 제2 프레임의 조합에 기초하여 파노라마 영상을 발생하도록 구성되고,
    상기 제1 피사체의 상기 캡처된 LF 데이터의 제1 재정렬 또는 상기 적어도 하나의 제2 피사체의 상기 캡처된 LF 데이터의 제2 재정렬 중 적어도 하나는, 상기 결정된 제1 프레임으로부터 상기 결정된 적어도 하나의 제2 프레임까지의 프레임의 변화율에 대응하는 프레임률에 기초하는, 촬상 디바이스.
  2. 제1항에 있어서,
    상기 회로는 상기 FOV와 연관된 상기 캡처된 LF 데이터를 휘발성 메모리에 저장하도록 더 구성되는, 촬상 디바이스.
  3. 제1항에 있어서,
    디스플레이 화면을 더 포함하고,
    상기 회로는 바운딩 박스(bounding box) 또는 객체 마커(object marker) 중 하나에 기초하여, 상기 촬상 디바이스의 상기 디스플레이 화면 상에 상기 제1 피사체 및 상기 적어도 하나의 제2 피사체를 표시하도록 더 구성되는, 촬상 디바이스.
  4. 제1항에 있어서,
    상기 회로는 상기 제1 피사체에의 상기 포커싱 및 상기 적어도 하나의 제2 피사체에의 상기 동적 리포커싱을 위한 사용자 입력을 수신하도록 더 구성되는, 촬상 디바이스.
  5. 제4항에 있어서,
    상기 수신된 사용자 입력은 상기 제1 피사체 또는 상기 적어도 하나의 제2 피사체로부터의 적어도 하나의 피사체의 선택에 대응하고,
    상기 선택된 적어도 하나의 피사체의 각 피사체는 상기 발생된 파노라마 영상이 디스플레이 화면 상에 렌더링되는 것에 기초하여 순차적으로 포커싱되는, 촬상 디바이스.
  6. 제5항에 있어서,
    상기 수신된 사용자 입력은 상기 제1 피사체 및 상기 적어도 하나의 제2 피사체와 연관된 바운딩 박스 또는 객체 마커 중 하나에 대응하는 핀치-인 사용자 동작 또는 핀치-아웃 사용자 동작 중 하나를 포함하는, 촬상 디바이스.
  7. 제5항에 있어서,
    상기 회로는 상기 FOV 내의 상기 선택된 적어도 하나의 피사체의 상기 캡처된 LF 데이터를 비휘발성 메모리에 저장하도록 더 구성되는, 촬상 디바이스.
  8. 제1항에 있어서,
    상기 제1 피사체에의 상기 포커싱 및 상기 적어도 하나의 제2 피사체에의 상기 동적 리포커싱은 알고리즘에 기초하는. 촬상 디바이스.
  9. 제1항에 있어서,
    상기 캡처된 LF 데이터의 상기 제1 재정렬 및 상기 제2 재정렬은 상기 FOV와 연관된 상기 캡처된 LF 데이터와 연관된 적어도 하나의 파라미터의 수정에 대응하는, 촬상 디바이스.
  10. 제9항에 있어서,
    상기 적어도 하나의 파라미터는, 상기 FOV 내의 상기 포커싱된 상기 제1 피사체 및 상기 동적으로 리포커싱된 적어도 하나의 제2 피사체의 심도(depth-of-field), 주 렌즈의 개구 직경, 상기 마이크로-렌즈 어레이 내의 상기 복수의 마이크로-렌즈들의 역 확대 계수(inverse magnification factor), 상기 마이크로-렌즈 어레이 내의 상기 복수의 마이크로-렌즈들에 대한 F-수, 상기 마이크로-렌즈 어레이 내의 상기 복수의 마이크로-렌즈들의 초점 길이, 상기 FOV의 심도, 광의 파장, 상기 촬상 디바이스의 적어도 하나의 포토 센서 내의 화소들의 화소 크기, 상기 프레임률(frame rate), 또는 상기 FOV 내의 상기 제1 피사체, 상기 적어도 하나의 제2 피사체 중 제2 피사체, 및 적어도 하나의 객체 간의 포커스의 변화율(rate-of-change) 중 적어도 하나를 포함하는, 촬상 디바이스.
  11. 제1항에 있어서,
    상기 결정된 제1 프레임과 상기 결정된 적어도 하나의 제2 프레임의 상기 조합은 상기 결정된 제1 프레임 및 상기 결정된 적어도 하나의 제2 프레임으로부터의 적어도 2개의 프레임들의 LF 영상 스티칭(image stitching)을 포함하는, 촬상 디바이스.
  12. 제11항에 있어서,
    상기 회로는 상기 결정된 제1 프레임 및 상기 결정된 적어도 하나의 제2 프레임으로부터의 상기 적어도 2개의 프레임들의 상기 LF 영상 스티칭에 대응하는 시차 에러를 최소화하도록 더 구성되는, 촬상 디바이스.
  13. 제1항에 있어서,
    상기 회로는 비휘발성 메모리 내에 저장된 적어도 하나의 사용자 선호 또는 값들에 기초하여 상기 발생된 파노라마 영상을 렌더링하도록 더 구성되고,
    상기 적어도 하나의 사용자 선호는 상기 결정된 제1 프레임 및 상기 결정된 적어도 하나의 제2 프레임과 연관된 상기 프레임률, 또는 상기 포커싱된 상기 제1 피사체와 상기 동적으로 리포커싱된 상기 적어도 하나의 제2 피사체 사이의 상기 촬상 디바이스의 포커스의 변화율 중 하나를 포함하는, 촬상 디바이스.
  14. 제1항에 있어서,
    상기 발생된 파노라마 영상의 포맷은, 동화상, 광계 화상(Light-field Picture)(LFP) 영상, 그래픽 교환 포맷(Graphics Interchange Format)(GIF) 영상, 또는 공동 사진 전문가 그룹(Joint Photographic Experts Group)(JPEG) 영상 중 하나에 대응하는, 촬상 디바이스.
  15. 방법으로서,
    광 센서와 함께, 복수의 마이크로-렌즈들을 포함하는 마이크로-렌즈 어레이를 포함하는 촬상 디바이스에서 - 상기 복수의 마이크로-렌즈들은 상기 촬상 디바이스의 시야(FOV)와 연관된 광계(LF) 데이터를 캡처하도록 구성됨 - :
    제1 프레임을 결정하기 위해 상기 FOV 내의 제1 피사체의 상기 캡처된 LF 데이터의 제1 재정렬에 기초하여 상기 제1 피사체에 포커싱하는 단계;
    적어도 하나의 제2 프레임을 결정하기 위해 상기 FOV 내의 적어도 하나의 제2 피사체의 상기 캡처된 LF 데이터의 제2 재정렬에 기초하여 상기 적어도 하나의 제2 피사체에 동적으로 리포커싱하는 단계; 및
    상기 결정된 제1 프레임과 상기 결정된 적어도 하나의 제2 프레임을 조합하는 것에 기초하여 파노라마 영상을 발생하는 단계
    를 포함하고,
    상기 제1 피사체의 상기 캡처된 LF 데이터의 제1 재정렬 또는 상기 적어도 하나의 제2 피사체의 상기 캡처된 LF 데이터의 제2 재정렬 중 적어도 하나는, 상기 결정된 제1 프레임으로부터 상기 결정된 적어도 하나의 제2 프레임까지의 프레임의 변화율에 대응하는 프레임률에 기초하는, 방법.
  16. 제15항에 있어서,
    상기 FOV와 연관된 상기 캡처된 LF 데이터를 휘발성 메모리에 저장하는 단계를 더 포함하는 방법.
  17. 제15항에 있어서,
    상기 제1 피사체 및 상기 적어도 하나의 제2 피사체는 바운딩 박스 또는 객체 마커 중 하나에 기초하여, 상기 촬상 디바이스의 디스플레이 화면 상에 표시되는, 방법.
  18. 제15항에 있어서,
    사용자 입력은 상기 제1 피사체에의 상기 포커싱 및 상기 적어도 하나의 제2 피사체에의 상기 동적 리포커싱을 위해 수신되는, 방법.
  19. 제18항에 있어서,
    상기 사용자 입력은 상기 제1 피사체 또는 상기 적어도 하나의 제2 피사체로부터의 적어도 하나의 피사체의 선택에 대응하고,
    상기 선택된 적어도 하나의 피사체의 각 피사체는 상기 발생된 파노라마 영상이 디스플레이 화면 상에 렌더링되는 것에 기초하여 순차적으로 포커싱되는, 방법.
  20. 제19항에 있어서,
    상기 사용자 입력은 상기 제1 피사체 및 상기 적어도 하나의 제2 피사체와 연관된 바운딩 박스 또는 객체 마커 중 하나에 대응하는 핀치-인 사용자 동작 또는 핀치-아웃 사용자 동작 중 하나를 포함하는 방법.
  21. 제19항에 있어서,
    상기 FOV 내의 상기 선택된 적어도 하나의 피사체의 상기 캡처된 LF 데이터를 비휘발성 메모리에 저장하는 단계를 더 포함하는 방법.
  22. 제15항에 있어서,
    상기 제1 피사체에의 상기 포커싱 및 상기 적어도 하나의 제2 피사체에의 상기 동적 리포커싱은 알고리즘에 기초하는, 방법.
  23. 제15항에 있어서,
    상기 캡처된 LF 데이터의 상기 제1 재정렬 및 상기 제2 재정렬은 상기 FOV와 연관된 상기 캡처된 LF 데이터와 연관된 적어도 하나의 파라미터의 수정에 대응하는, 방법.
  24. 제15항에 있어서,
    상기 결정된 제1 프레임과 상기 결정된 적어도 하나의 제2 프레임의 상기 조합은 상기 결정된 제1 프레임 및 상기 결정된 적어도 하나의 제2 프레임으로부터의 적어도 2개의 프레임들의 LF 영상 스티칭을 포함하는, 방법.
  25. 제24항에 있어서,
    상기 결정된 제1 프레임 및 상기 결정된 적어도 하나의 제2 프레임으로부터의 상기 적어도 2개의 프레임들의 상기 LF 영상 스티칭에 대응하는 시차 에러를 최소화하는 단계를 더 포함하는 방법.
  26. 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 동작들을 수행하도록 하는 컴퓨터 실행가능 명령어들이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 동작들은,
    광 센서와 함께, 복수의 마이크로-렌즈들을 포함하는 마이크로-렌즈 어레이를 포함하는 촬상 디바이스에서 - 상기 복수의 마이크로-렌즈들은 상기 촬상 디바이스의 시야(FOV)와 연관된 광계(LF) 데이터를 캡처하도록 구성됨 - :
    제1 프레임을 결정하기 위해 상기 FOV 내의 제1 피사체의 상기 캡처된 LF 데이터의 제1 재정렬에 기초하여 상기 제1 피사체에 포커싱하는 단계;
    적어도 하나의 제2 프레임을 결정하기 위해 상기 FOV 내의 적어도 하나의 제2 피사체의 상기 캡처된 LF 데이터의 제2 재정렬에 기초하여 상기 적어도 하나의 제2 피사체에 동적으로 리포커싱하는 단계; 및
    상기 결정된 제1 프레임과 상기 결정된 적어도 하나의 제2 프레임을 조합하는 것에 기초하여 파노라마 영상을 발생하는 단계
    를 포함하고,
    상기 제1 피사체의 상기 캡처된 LF 데이터의 제1 재정렬 또는 상기 적어도 하나의 제2 피사체의 상기 캡처된 LF 데이터의 제2 재정렬 중 적어도 하나는, 상기 결정된 제1 프레임으로부터 상기 결정된 적어도 하나의 제2 프레임까지의 프레임의 변화율에 대응하는 프레임률에 기초하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020187013336A 2015-11-20 2016-10-31 파노라마 영상을 발생하기 위한 디바이스 및 방법 KR102028297B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/947,052 US10298841B2 (en) 2015-11-20 2015-11-20 Device and method for generating a panoramic image
US14/947,052 2015-11-20
PCT/US2016/059732 WO2017087148A1 (en) 2015-11-20 2016-10-31 Device and method for generating a panoramic image

Publications (2)

Publication Number Publication Date
KR20180067627A KR20180067627A (ko) 2018-06-20
KR102028297B1 true KR102028297B1 (ko) 2019-10-02

Family

ID=58717666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187013336A KR102028297B1 (ko) 2015-11-20 2016-10-31 파노라마 영상을 발생하기 위한 디바이스 및 방법

Country Status (5)

Country Link
US (1) US10298841B2 (ko)
EP (1) EP3357239A4 (ko)
JP (1) JP2019505148A (ko)
KR (1) KR102028297B1 (ko)
WO (1) WO2017087148A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750101B2 (en) * 2010-12-15 2020-08-18 SoliDDD Corp. Resolution for autostereoscopic video displays
CN107045437A (zh) * 2016-02-05 2017-08-15 阿里巴巴集团控股有限公司 一种实现批渲染的方法、装置和设备
CN107613166B (zh) * 2017-09-18 2019-11-01 丁志宇 光场相机及其安装参数确定方法、装置、存储介质
CN110245667A (zh) * 2018-03-08 2019-09-17 中华映管股份有限公司 物件辨识方法及其装置
US10917571B2 (en) 2018-11-05 2021-02-09 Sony Corporation Image capture device control based on determination of blur value of objects in images
US11336954B1 (en) * 2018-12-12 2022-05-17 Amazon Technologies, Inc. Method to determine the FPS on a client without instrumenting rendering layer
US10971161B1 (en) 2018-12-12 2021-04-06 Amazon Technologies, Inc. Techniques for loss mitigation of audio streams
US11252097B2 (en) 2018-12-13 2022-02-15 Amazon Technologies, Inc. Continuous calibration of network metrics
US11356326B2 (en) 2018-12-13 2022-06-07 Amazon Technologies, Inc. Continuously calibrated network system
US11368400B2 (en) 2018-12-13 2022-06-21 Amazon Technologies, Inc. Continuously calibrated network system
US11016792B1 (en) 2019-03-07 2021-05-25 Amazon Technologies, Inc. Remote seamless windows
US11245772B1 (en) 2019-03-29 2022-02-08 Amazon Technologies, Inc. Dynamic representation of remote computing environment
US11461168B1 (en) 2019-03-29 2022-10-04 Amazon Technologies, Inc. Data loss protection with continuity
US11102395B2 (en) * 2019-08-16 2021-08-24 Sony Corporation Generation of media content having multi-focus video and multi-directional audio
CN111586295B (zh) * 2020-04-27 2021-09-14 北京字节跳动网络技术有限公司 图像生成方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140013273A1 (en) * 2006-12-01 2014-01-09 Lytro, Inc. Interactive refocusing of electronic images
US20140022337A1 (en) * 2012-07-18 2014-01-23 Nokia Corporation Robust two dimensional panorama generation using light field camera capture
US20140240578A1 (en) * 2013-02-22 2014-08-28 Lytro, Inc. Light-field based autofocus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US20130329068A1 (en) 2012-06-08 2013-12-12 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9013543B1 (en) 2012-11-14 2015-04-21 Google Inc. Depth map generation using multiple scanners to minimize parallax from panoramic stitched images
US8849064B2 (en) 2013-02-14 2014-09-30 Fotonation Limited Method and apparatus for viewing images
EP2784736A1 (en) 2013-03-28 2014-10-01 Thomson Licensing Method of and system for providing access to data
CN106170822B (zh) 2013-12-23 2020-03-24 特拉华大学 3d光场相机和摄影方法
KR102228456B1 (ko) * 2014-03-13 2021-03-16 삼성전자주식회사 깊이 정보를 갖는 영상을 생성하는 영상 획득 장치 및 영상 획득 방법
WO2015137635A1 (en) 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
US9876954B2 (en) * 2014-10-10 2018-01-23 Iec Infrared Systems, Llc Calibrating panoramic imaging system in multiple dimensions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140013273A1 (en) * 2006-12-01 2014-01-09 Lytro, Inc. Interactive refocusing of electronic images
US20140022337A1 (en) * 2012-07-18 2014-01-23 Nokia Corporation Robust two dimensional panorama generation using light field camera capture
US20140240578A1 (en) * 2013-02-22 2014-08-28 Lytro, Inc. Light-field based autofocus

Also Published As

Publication number Publication date
EP3357239A4 (en) 2019-06-12
WO2017087148A1 (en) 2017-05-26
JP2019505148A (ja) 2019-02-21
KR20180067627A (ko) 2018-06-20
US20170150045A1 (en) 2017-05-25
EP3357239A1 (en) 2018-08-08
US10298841B2 (en) 2019-05-21

Similar Documents

Publication Publication Date Title
KR102028297B1 (ko) 파노라마 영상을 발생하기 위한 디바이스 및 방법
JP6992000B2 (ja) バーコードを走査し寸法決定する方法及び装置
US10311649B2 (en) Systems and method for performing depth based image editing
CN109792478B (zh) 基于焦点目标信息调整焦点的装置和方法
KR102126300B1 (ko) 올-인-포커스 이미지를 생성하기 위한 방법 및 장치
CN109474780B (zh) 一种用于图像处理的方法和装置
CN108335323B (zh) 一种图像背景的虚化方法及移动终端
WO2015196802A1 (zh) 一种拍照方法、装置及电子设备
CN108432230B (zh) 一种成像设备和一种用于显示场景的图像的方法
CN110324532B (zh) 一种图像虚化方法、装置、存储介质及电子设备
CN109409147B (zh) 一种条码识别方法和装置
US9792698B2 (en) Image refocusing
US10109036B2 (en) Image processing apparatus, control method for same, and program that performs image processing for image data having a focus state that is changeable
WO2018191070A2 (en) Optical flow and sensor input based background subtraction in video content
US11233946B2 (en) Systems and methods for 3-dimensional (3D) positioning of imaging device
CN108028893B (zh) 用于执行图像自动聚焦操作的方法和设备
US9769379B2 (en) Method and apparatus for selecting target image
JP5673624B2 (ja) オブジェクト検索装置、方法、およびプログラム
JP2015005221A (ja) 情報処理装置、情報処理方法、及び、コンピュータプログラム
JP2016208075A (ja) 画像出力装置およびその制御方法、撮像装置、プログラム
WO2018196854A1 (zh) 一种拍照方法、拍照装置及移动终端
US20150015771A1 (en) Image-capturing devices and methods
CN114258673A (zh) 相机系统中的双曝光控制
JP7091606B2 (ja) 端末、文字認識システム、端末の制御方法及びプログラム
JP2020035051A (ja) レシート等帳票画像自動取得・読取方法、プログラム、及び携帯端末装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant