KR20190029099A - 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 - Google Patents
복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR20190029099A KR20190029099A KR1020170116214A KR20170116214A KR20190029099A KR 20190029099 A KR20190029099 A KR 20190029099A KR 1020170116214 A KR1020170116214 A KR 1020170116214A KR 20170116214 A KR20170116214 A KR 20170116214A KR 20190029099 A KR20190029099 A KR 20190029099A
- Authority
- KR
- South Korea
- Prior art keywords
- processor
- camera
- image
- encoded data
- mode
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims description 67
- 230000003287 optical effect Effects 0.000 claims abstract description 37
- 230000015654 memory Effects 0.000 claims description 109
- 238000004891 communication Methods 0.000 claims description 83
- 230000004044 response Effects 0.000 claims description 75
- 230000005236 sound signal Effects 0.000 description 130
- 230000006870 function Effects 0.000 description 41
- 230000008859 change Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000003860 storage Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 108010002352 Interleukin-1 Proteins 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 239000003381 stabilizer Substances 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 108090001007 Interleukin-8 Proteins 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 108010002350 Interleukin-2 Proteins 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000007420 reactivation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/158—Switching image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
다양한 실시예들에 따른 전자 장치는, 제 1 광축 방향으로 배치된 제 1 카메라 및 제 2 광축 방향으로 배치된 제 2 카메라를 포함하고, 제 1 시야(field of view)를 갖는 제 1 카메라 그룹과, 제 3 광축 방향으로 배치된 제 3 카메라 및 제 4 광축 방향으로 배치된 제 4 카메라를 포함하고, 상기 제 1 시야가 커버하는 영역과 적어도 일부 다른 영역을 커버하는 제 2 시야를 갖는 제 2 카메라 그룹과, 상기 제 1 카메라 그룹을 통해 획득된 이미지들을 처리하기 위한 제 1 프로세서와, 상기 제 2 카메라 그룹을 통해 획득된 이미지들을 처리하기 위한 제 2 프로세서와, 상기 제 1 프로세서 및 상기 제 2 프로세서를 제어하기 위한 지정된 프로세서를 포함할 수 있고, 상기 지정된 프로세서는, 상기 제 1 카메라 그룹 또는 상기 제 2 카메라 그룹과 관련된 입력에 적어도 기반하여, 상기 제1 프로세서 또는 상기 제2 프로세서와 관련된 동작 모드를 선택하고, 상기 동작 모드가 제 1 동작 모드로 선택된 경우, 제 1 프로세서를 통해 처리된 제 1 이미지들을 이용하여 상기 제 1 시야를 커버하는 이미지를 획득하고, 상기 동작 모드가 제 2 동작 모드로 선택된 경우, 상기 제 1 프로세서를 통해 처리된 상기 제 1 이미지들 및 상기 제 2 프로세서를 통해 처리된 제 2 이미지들을 이용하여, 상기 제 1 시야 및 상기 제 2 시야를 커버하는 이미지를 획득하도록 설정될 수 있다.
Description
다양한 실시예들은 복수의 카메라들을 통해 수신되는 이미지를 처리하기 위한 장치(apparatus) 및 그의 방법에 관한 것이다.
기술의 발달로, 가상 현실(virtual reality)을 제공하는 컨텐츠(content)의 보급이 증가하고 있다. 이러한 컨텐츠의 생성을 위해, 파노라마 이미지, 전방향(omnidirectional) 이미지 등과 같은 이미지를 처리하는 장치가 개발되고 있다. 이러한 장치는 전방향 이미지를 위한 복수의 이미지들을 획득하거나 획득된 복수의 이미지들에 기반하여 파노라마 이미지, 전방향 이미지 등과 같은 이미지를 생성할 수 있다.
이미지의 생성을 위해 이용되는 장치는 복수의 이미지들을 처리할 수 있다. 복수의 이미지들의 처리는, 하나의 이미지(single image)의 처리보다 많은 연산량을 요구할 수 있다. 따라서, 복수의 이미지들을 처리하는 장치(apparatus)의 연산량을 감소시키기 위한 방안(solution)이 요구될 수 있다.
다양한 실시예들은, 모드에 따라 프로세서 사이의 연결 관계를 조정함으로써, 복수의 이미지들을 처리하는 장치 및 방법을 제공할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예들에 따른 전자 장치는, 제 1 광축 방향으로 배치된 제 1 카메라 및 제 2 광축 방향으로 배치된 제 2 카메라를 포함하고, 제 1 시야(field of view)를 갖는 제 1 카메라 그룹과, 제 3 광축 방향으로 배치된 제 3 카메라 및 제 4 광축 방향으로 배치된 제 4 카메라를 포함하고, 상기 제 1 시야가 커버하는 영역과 적어도 일부 다른 영역을 커버하는 제 2 시야를 갖는 제 2 카메라 그룹과, 상기 제 1 카메라 그룹을 통해 획득된 이미지들을 처리하기 위한 제 1 프로세서와, 상기 제 2 카메라 그룹을 통해 획득된 이미지들을 처리하기 위한 제 2 프로세서와, 상기 제 1 프로세서 및 상기 제 2 프로세서를 제어하기 위한 지정된 프로세서를 포함할 수 있고, 상기 지정된 프로세서는, 상기 제 1 카메라 그룹 또는 상기 제 2 카메라 그룹과 관련된 입력에 적어도 기반하여, 상기 제1 프로세서 또는 상기 제2 프로세서와 관련된 동작 모드를 선택하고, 상기 동작 모드가 제 1 동작 모드로 선택된 경우, 제 1 프로세서를 통해 처리된 제 1 이미지들을 이용하여 상기 제 1 시야를 커버하는 이미지를 획득하고, 상기 동작 모드가 제 2 동작 모드로 선택된 경우, 상기 제 1 프로세서를 통해 처리된 상기 제 1 이미지들 및 상기 제 2 프로세서를 통해 처리된 제 2 이미지들을 이용하여, 상기 제 1 시야 및 상기 제 2 시야를 커버하는 이미지를 획득하도록 설정될 수 있다.
다양한 실시예들에 따른 장치(apparatus)는, 제1 방향(orientation)으로 향하도록 구성된 제1 시야를 가지는 제1 카메라와 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성되고 상기 제1 시야와 일부 중첩(partially overlap)되는 제2 시야를 가지는 제2 카메라를 포함하는 카메라들의 제1 쌍(pair)과, 적어도 하나의 메모리(memory)와, 제1 프로세서(processor)와, 상기 제1 카메라와 연결된 제2 프로세서와, 상기 제2 카메라와 연결된 제3 프로세서를 포함할 수 있고, 상기 제1 프로세서는, 상기 장치가 2D(two-dimensional space) 이미지를 생성하기 위한 제1 모드로 동작하는 것에 응답하여, 상기 제3 프로세서에게 인코딩(encoding) 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제2 카메라를 통해 획득되는 이미지에 대한 제2 인코딩 데이터를 수신하고, 상기 제2 인코딩 데이터를 하나의 데이터 셋(data set)으로 상기 적어도 하나의 메모리에 저장하고, 상기 장치가 3D(three-dimensional space) 이미지를 생성하기 위한 제2 모드로 동작하는 것에 응답하여, 상기 제2 프로세서 및 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제1 카메라를 통해 획득되는 이미지에 대한 제1 인코딩 데이터 및 상기 제2 카메라를 통해 획득되는 이미지에 대한 상기 제2 인코딩 데이터를 수신하고, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하도록 구성될 수 있다.
다양한 실시예들에 따른 장치의 방법은, 상기 장치가 2D(two-dimensional space) 이미지를 생성하기 위한 제1 모드로 동작하는 것에 응답하여, 제1 방향으로 향하도록 구성된 제1 시야를 가지고 제2 프로세서와 연결되는 제1 카메라 및 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성되고 상기 제1 시야와 일부 중첩되는 제2 시야를 가지고 제3 프로세서와 연결되는 제2 카메라를 포함하는 카메라들의 제1 쌍 중 상기 제2 카메라와 연결된 제3 프로세서에게 인코딩(encoding) 데이터를 요청하는 동작과, 상기 제3 프로세서로부터 상기 제2 카메라를 통해 획득되는 이미지에 대한 제2 인코딩 데이터를 수신하는 동작과, 상기 제2 인코딩 데이터를 하나의 데이터 셋(data set)으로 적어도 하나의 메모리에 저장하는 동작과, 상기 장치가 3D(three-dimensional space) 이미지를 생성하기 위한 제2 모드로 동작하는 것에 응답하여, 상기 제1 카메라와 연결된 제2 프로세서 및 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하는 동작과, 상기 제3 프로세서로부터 상기 제1 카메라를 통해 획득되는 이미지에 대한 제1 인코딩 데이터 및 상기 제2 카메라를 통해 획득되는 이미지에 대한 상기 제2 인코딩 데이터를 수신하는 동작과, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하는 동작을 포함할 수 있다.
다양한 실시 예들에 따른 장치 및 그의 방법은, 모드에 따라 적응적으로 프로세서의 연결을 조정함으로써, 장치의 연산량을 감소시킬 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 실시예들에 따른, 전방향 이미지를 처리하기 위한, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 카메라 모듈의 블록도이다.
도 3은 다양한 실시예들에 따라 복수의 이미지들을 획득하는 장치의 기능적 구성의 예를 도시한다.
도 4는 다양한 실시 예에 따르는 전자 장치의 사시도이다.
도 5는 다양한 실시 예에 따르는 전자 장치의 분리 사시도이다.
도 6은 다양한 실시 예에 따르는 카메라의 관측 시야(field of view, FOV)를 도시한다.
도 7은 다양한 실시 예에 따르는 카메라들의 예시적인 스테레오스코픽 쌍을 도시한다.
도 8은 다양한 실시 예에 따르는 카메라 시스템의 예시적인 카메라 배치에 대한 평면도 일부를 도시한다.
도 9는 다양한 실시 예에 따르는 카메라 시스템에 대한 측면도이다.
도 10은 다양한 실시 예에 따르는 카메라 시스템이 촬영한 중첩된 이미지들(overlapped images)의 예시적인 셋을 도시한다.
도 11은 다양한 실시 예에 따른 인쇄회로기판의 일 예를 나타내는 평면도이다.
도 12은 다양한 실시 예에 따른 인쇄회로기판의 다른 예를 나타내는 평면도이다.
도 13a 내지 도 13c는 다양한 실시 예에 따르는 복수의 카메라들과 인쇄회로기판의 배치구조의 예들을 도시한다.
도 14는 다양한 실시예들에 따라 전력을 제어하는 장치의 기능적 구성의 예를 도시한다.
도 15는 다양한 실시예들에 따라 전력을 제어하는 장치의 기능적 구성의 다른 예를 도시한다.
도 16은 다양한 실시예들에 따른 장치에 의해 획득되는 복수의 이미지들의 예를 도시한다.
도 17은 다양한 실시예들에 따라 전력을 제어하는 장치의 동작의 예를 도시한다.
도 18은 다양한 실시예들에 따라 전력을 제어하는 장치 내의 신호 흐름의 예를 도시한다.
도 19는 다양한 실시예들에 따라 전력을 제어하는 장치의 모드 제어 동작의 예를 도시한다.
도 20은 다양한 실시예들에 따른 장치에서 표시되는 사용자 인터페이스(UI, user interface)의 예를 도시한다.
도 21은 다양한 실시예들에 따라 전력을 제어하는 장치의 모드 제어 동작의 다른 예를 도시한다.
도 22는 다양한 실시예들에 따른 장치에서 표시되는 사용자 인터페이스의 다른 예를 도시한다.
도 23은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 예를 도시한다.
도 24는 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 다른 예를 도시한다.
도 25는 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 또 다른 예를 도시한다.
도 26은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 또 다른 예를 도시한다.
도 27은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 동작의 예를 도시한다.
도 28은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치 내의 신호 흐름의 예를 도시한다.
도 29는 다양한 실시예들에 따라 데이터 셋을 수신하는 다른 장치의 동작의 예를 도시한다.
도 30은 다양한 실시예들에 따라 오디오 신호를 처리하는 전자 장치의 기능적 구성의 예를 도시한다.
도 31은 다양한 실시예들에 따라 오디오 신호를 처리하는 프로세서의 동작의 예를 도시한다.
도 32는 다양한 실시예들에 따른 전자 장치에서 오디오의 방향을 변경하는 예를 도시한다.
도 33은 다양한 실시예들에 따라 오디오 신호를 처리하는 장치의 동작의 예를 도시한다.
도 34는 다양한 실시예들에 따라 복수의 제2 오디오 신호들을 생성하는 전자 장치의 동작의 예를 도시한다.
도 35는 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들의 예를 도시한다.
도 36은 다양한 실시예들에 따라 왜곡을 보상하는 장치의 기능적 구성의 예를 도시한다.
도 37은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 결정하는 기법의 예를 도시한다.
도 38은 다양한 실시예들에 따른 왜곡을 보상하기 위한 이미지의 예를 도시한다.
도 39는 다양한 실시예들에 따른 왜곡을 보상하기 위한 이미지의 다른 예를 도시한다.
도 40은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 결정하는 기법의 다른 예를 도시한다.
도 41은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 송신하는 장치의 동작의 예를 도시한다.
도 42는 다양한 실시예들에 따라 왜곡 보상 모드를 제공하는 장치의 동작의 예를 도시한다.
도 2는 다양한 실시예들에 따른 카메라 모듈의 블록도이다.
도 3은 다양한 실시예들에 따라 복수의 이미지들을 획득하는 장치의 기능적 구성의 예를 도시한다.
도 4는 다양한 실시 예에 따르는 전자 장치의 사시도이다.
도 5는 다양한 실시 예에 따르는 전자 장치의 분리 사시도이다.
도 6은 다양한 실시 예에 따르는 카메라의 관측 시야(field of view, FOV)를 도시한다.
도 7은 다양한 실시 예에 따르는 카메라들의 예시적인 스테레오스코픽 쌍을 도시한다.
도 8은 다양한 실시 예에 따르는 카메라 시스템의 예시적인 카메라 배치에 대한 평면도 일부를 도시한다.
도 9는 다양한 실시 예에 따르는 카메라 시스템에 대한 측면도이다.
도 10은 다양한 실시 예에 따르는 카메라 시스템이 촬영한 중첩된 이미지들(overlapped images)의 예시적인 셋을 도시한다.
도 11은 다양한 실시 예에 따른 인쇄회로기판의 일 예를 나타내는 평면도이다.
도 12은 다양한 실시 예에 따른 인쇄회로기판의 다른 예를 나타내는 평면도이다.
도 13a 내지 도 13c는 다양한 실시 예에 따르는 복수의 카메라들과 인쇄회로기판의 배치구조의 예들을 도시한다.
도 14는 다양한 실시예들에 따라 전력을 제어하는 장치의 기능적 구성의 예를 도시한다.
도 15는 다양한 실시예들에 따라 전력을 제어하는 장치의 기능적 구성의 다른 예를 도시한다.
도 16은 다양한 실시예들에 따른 장치에 의해 획득되는 복수의 이미지들의 예를 도시한다.
도 17은 다양한 실시예들에 따라 전력을 제어하는 장치의 동작의 예를 도시한다.
도 18은 다양한 실시예들에 따라 전력을 제어하는 장치 내의 신호 흐름의 예를 도시한다.
도 19는 다양한 실시예들에 따라 전력을 제어하는 장치의 모드 제어 동작의 예를 도시한다.
도 20은 다양한 실시예들에 따른 장치에서 표시되는 사용자 인터페이스(UI, user interface)의 예를 도시한다.
도 21은 다양한 실시예들에 따라 전력을 제어하는 장치의 모드 제어 동작의 다른 예를 도시한다.
도 22는 다양한 실시예들에 따른 장치에서 표시되는 사용자 인터페이스의 다른 예를 도시한다.
도 23은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 예를 도시한다.
도 24는 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 다른 예를 도시한다.
도 25는 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 또 다른 예를 도시한다.
도 26은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 또 다른 예를 도시한다.
도 27은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 동작의 예를 도시한다.
도 28은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치 내의 신호 흐름의 예를 도시한다.
도 29는 다양한 실시예들에 따라 데이터 셋을 수신하는 다른 장치의 동작의 예를 도시한다.
도 30은 다양한 실시예들에 따라 오디오 신호를 처리하는 전자 장치의 기능적 구성의 예를 도시한다.
도 31은 다양한 실시예들에 따라 오디오 신호를 처리하는 프로세서의 동작의 예를 도시한다.
도 32는 다양한 실시예들에 따른 전자 장치에서 오디오의 방향을 변경하는 예를 도시한다.
도 33은 다양한 실시예들에 따라 오디오 신호를 처리하는 장치의 동작의 예를 도시한다.
도 34는 다양한 실시예들에 따라 복수의 제2 오디오 신호들을 생성하는 전자 장치의 동작의 예를 도시한다.
도 35는 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들의 예를 도시한다.
도 36은 다양한 실시예들에 따라 왜곡을 보상하는 장치의 기능적 구성의 예를 도시한다.
도 37은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 결정하는 기법의 예를 도시한다.
도 38은 다양한 실시예들에 따른 왜곡을 보상하기 위한 이미지의 예를 도시한다.
도 39는 다양한 실시예들에 따른 왜곡을 보상하기 위한 이미지의 다른 예를 도시한다.
도 40은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 결정하는 기법의 다른 예를 도시한다.
도 41은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 송신하는 장치의 동작의 예를 도시한다.
도 42는 다양한 실시예들에 따라 왜곡 보상 모드를 제공하는 장치의 동작의 예를 도시한다.
도 1은, 다양한 실시예들에 따라, 복수의 카메라를 이용하여 수신한 이미지를 처리하기 위한, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150) 를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈(180)의 블럭도(200)이다. 도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)일 수 있다. 복수의 렌즈 어셈블리(210)들은 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 렌즈 어셈블리와 적어도 하나의 다른 렌즈 속성을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 플래쉬(220)는 피사체로부터 방출되는 빛을 강화하기 위하여 사용되는 광원을 방출할 수 있다. 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
이미지 센서(230)는 피사체로부터 렌즈 어셈블리(210) 를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서로 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향(예: 이미지 흔들림)을 적어도 일부 보상하기 위하여 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있으며, 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 상기 움직임을 감지할 수 있다.
메모리(250)는 이미지 센서(230)를 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)를 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(260)는 이미지 센서(230)를 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 이미지 처리(예: 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 수행할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 전달될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 이미지들은 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 둘 이상의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 적어도 하나의 카메라 모듈(180)은 광각 카메라 또는 전면 카메라이고, 적어도 하나의 다른 카메라 모듈은 망원 카메라 또는 후면 카메라일 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 3은 다양한 실시예들에 따라 복수의 이미지들을 획득하는 장치의 기능적 구성의 예를 도시한다.
도 3을 참조하면, 장치(300)는 프로세서(310), 메모리(320), 카메라(330), 통신 인터페이스(340), PMIC(power management integrated circuit)(350), 마이크로폰(microphone)(360), 입력 장치(370), 및/또는 디스플레이(390)를 포함할 수 있다.
프로세서(310)는, 예를 들면, 소프트웨어(예: 프로그램 또는 명령어 등)를 구동하여 프로세서(310)에 연결된 장치(300)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(310)는 다른 구성요소(예: 카메라(330) 또는 통신 인터페이스(340) 등)로부터 수신된 명령 또는 데이터를 휘발성 메모리(예: 메모리(320))에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(예: 메모리(320))에 저장할 수 있다. 다양한 실시예들에서, 프로세서(310)는 메인 프로세서(예: CPU(central processing unit), AP(application processor), ISP(image signal processor), DSP(digital signal processor) 등), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서를 포함할 수 있다. 상기 보조 프로세서는, 메인 프로세서와 별개로 또는 임베디드되어 운용될 수 있다.
이런 경우, 보조 프로세서는, 예를 들면, 메인 프로세서가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서를 대신하여, 또는 메인 프로세서가 액티브(예: 기능 수행) 상태에 있는 동안 메인 프로세서와 함께, 장치의 구성요소들 중 적어도 하나의 구성요소(예: 카메라(330), 통신 인터페이스(340) 등)와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 다양한 실시예들에서, 보조 프로세서는, 기능적으로 관련 있는 다른 구성 요소(예: 카메라(330) 또는 통신 인터페이스(340) 등)의 일부 구성요소로서 구현될 수 있다. 다양한 실시예들에서, 프로세서(310)의 수가 복수인 경우, 프로세서(310)는 장치(300)의 전반적인 동작을 제어하기 위한 프로세서, 카메라(330)의 동작을 제어하거나 카메라(330)를 통해 획득되는 이미지를 처리하기 위한 프로세서를 포함할 수 있다. 프로세서(310)의 수는 카메라(330)의 수 또는 카메라를 통해 획득되는 이미지의 크기에 따라 변경될 수 있다. 예를 들어, 카메라(330)의 수가 17인 경우, 프로세서(310)의 수는 5개일 수 있다. 예를 들면, 프로세서(310)는 하나의 카메라에 연결되고 장치(300)의 전반적인 동작을 제어하는 제1 프로세서, 및 4개의 카메라와 각각 연결되는 제2 프로세서 내지 제4 프로세서로 구성될 수 있다. 상기 제1 프로세서 내지 상기 제5 프로세서 각각은, 상기 제1 프로세서 내지 상기 제5 프로세서 각각에 연결된 적어도 하나의 카메라를 제어할 수 있다. 상기 제1 프로세서 내지 상기 제5 프로세서 각각은, 상기 제1 프로세서 내지 상기 제5 프로세서 각각에 연결된 적어도 하나의 카메라를 통해 획득되는 이미지를 인코딩할 수 있다.
메모리(320)는 복수의 프로그램(또는 명령어)들을 포함할 수 있다. 상기 복수의 프로그램들은, 프로세서(310)에 의해 실행될 수 있다. 상기 복수의 프로그램들은, 운영 체제, 미들 웨어, 디바이스 드라이버, 또는 어플리케이션을 포함할 수 있다. 메모리(320)는 휘발성 메모리, 비휘발성 메모리, 및/또는 불휘발성 매체를 포함할 수 있다. 다양한 실시예들에서, 상기 휘발성 메모리는, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous DRAM), PRAM(phase-change RAM), MRAM(magnetic RAM), RRAM(resistive RAM), FeRAM(ferroelectric RAM) 등을 포함할 수 있다. 다양한 실시예들에서, 상기 불휘발성 메모리는 ROM(read only memory), PROM(programmable ROM), EPROM(electrically programmable ROM), EEPROM(electrically erasable ROM), 플래시 메모리(flash memory) 등을 포함할 수 있다. 다양한 실시예들에서, 상기 불휘발성 매체는, HDD(hard disk drive), SSD(solid state disk), eMMC(embedded multi media card), UFS(universal flash storage), SD(secure digital) 카드 등을 포함할 수 있다.
카메라(330)는 정지 영상 및 동영상을 촬영할 수 있다. 다양한 실시예들에서, 카메라(330)는 하나 이상의 렌즈들, 하나 이상의 이미지 센서들, 또는 하나 이상의 플래시들을 포함할 수 있다. 다양한 실시예들에서, 카메라(330)는 장치(300)의 상단 부분(upper part)의 장면(scene)에 대한 이미지를 획득하기 위한 카메라 및 사이드 부분(side part)의 장면에 대한 이미지를 획득하기 위한 카메라를 포함할 수 있다. 다양한 실시예들에서, 카메라(330)가 복수의 카메라들을 포함하는 경우, 상기 복수의 카메라들 중 적어도 일부는 카메라들의 쌍들로 구성될 수 있다. 다양한 실시예들에서, 상기 복수의 카메라들 각각의 FOV는 다른 카메라의 FOV와 일부 중첩될 수 있다. 이러한 중첩을 이용하여, 카메라(330)는 전방향 이미지를 생성하기 위한 복수의 이미지들을 획득할 수 있다. 카메라(330)는 상기 획득된 복수의 이미지들에 대한 정보를 프로세서(310)에게 제공할 수 있다.
통신 인터페이스(340)는 장치(300)와 다른 장치(예: 도 3에 도시된 전자 장치(300) 등) 사이의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 다양한 실시예들에서, 통신 인터페이스(340)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: USB(universal serial bus) 통신 모듈, UART(universal asynchronous receiver/transmitter) 통신 모듈, LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 근거리 통신 네트워크, 원거리 통신 네트워크, 또는 컴퓨터 네트워크를 통해 상기 다른 장치와 통신할 수 있다. 상술한 통신 모듈들은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
통신 인터페이스(340)는 하나 이상의 I/O 장치들과 장치(300) 사이의 통신을 위해 제공되는 I/O 인터페이스를 포함할 수 있다. 상기 하나 이상의 I/O 장치들은 키보드, 키패드, 외부 마이크로폰, 외부 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라 등일 수 있다. 상기 I/O 인터페이스는 상기 하나 이상의 I/O 장치들과 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 다양한 실시예들에서, I/O 인터페이스(380)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
PMIC(350)는 장치(300)의 적어도 하나의 구성요소(예: 프로세서(310), 통신 인터페이스(340) 등)에게 파워를 공급하기 위해 이용될 수 있다. PMIC(350)는 스위칭 레귤레이터(switching regulator)로 구성될 수도 있고, 선형 레귤레이터(linear regulator)로 구성될 수도 있다. PMIC(350)는 복수의 카메라들 각각에게 파워를 공급하거나 복수의 프로세서들 각각에게 파워를 공급하기 위해, 복수로 구성될 수도 있다. 예를 들면, PMIC(350)는 상기 제1 프로세서와 연결되는 제1 PMIC, 상기 제2 프로세서와 연결되는 제2 PMIC, 상기 제3 프로세서와 연결되는 제3 PMIC, 상기 제4 프로세서와 연결되는 제4 PMIC, 상기 제5 프로세서와 연결되는 제5 PMIC를 포함할 수 있다. 상기 제1 프로세서 내지 상기 제5 프로세서 각각은, 개별적으로 PMIC와 연결됨으로써, 독립적으로 동작할 수 있다. 예를 들면, 상기 제1 프로세서가 상기 제1 PMIC를 통해 파워를 공급 받는 동안, 상기 제2 프로세서로의 파워의 공급은 차단될 수 있다.
다양한 실시예들에서, 장치(300)는 제1 시야와 관련된 카메라 및 상기 제1 시야와 관련된 상기 카메라와 관련된(또는 연결된) 프로세서의 파워 공급을 위한 제1 PMIC와, 제2 시야와 관련된 카메라 및 상기 제2 시야와 관련된 상기 카메라와 관련된(또는 연결된) 프로세서의 파워 공급을 위한 제2 PMIC를 포함할 수 있다.
마이크로폰(360)은 오디오를 획득하기 위해 이용될 수 있다. 마이크로폰(360)은, 카메라(330)를 통해 복수의 이미지들을 획득하는 동안, 오디오를 획득할 수 있다. 마이크로폰(360)은 상기 전방향 이미지의 재생에서 사운드(예: 스테레오 사운드 또는 5.1 채널 사운드)를 제공하기 위해, 복수로 구성될 수 있다. 다양한 실시예들에 따르면, 마이크로폰(360)이 복수의 마이크로폰들을 포함하는 경우, 상기 복수의 마이크로폰들은, 지향성(directivity)을 가지도록 구성될 수 있다. 예를 들면, 상기 복수의 마이크로폰들 각각은 수신되는 오디오의 방향을 구분하기 위해 장치(300)에서 방향 별로 분포될 수 있다. 다른 예를 들면, 상기 복수의 마이크로폰들 각각은 수신되는 오디오의 방향에 기반하여 수신되는 오디오의 특정 성분에 보다 높은 이득을 부여할 수도 있다. 다양한 실시예에 따르면, 마이크로폰(360)은 복수의 마이크로폰을 포함할 수 있으며, 복수의 마이크에서 수신된 신호를 처리하여, 오디오 신호의 입력 방향을 구분할 수 있다. 다양한 실시예들에서, 전자 장치(101) 또는 프로세서(310)는 상기 수신되는 신호의 입력 시간 차에 적어도 기반하여 상기 오디오 신호의 입력 방향을 구분할 수 있다.
입력 장치(370)는 장치(300)의 구성요소(예: 프로세서(310))에 사용될 명령 또는 데이터를 장치(300)의 외부(예: 사용자)로부터 수신하기 위한 장치일 수 있다. 예를 들면, 입력 장치(370)는 사용자의 터치 입력을 수신할 수 있는 터치 스크린으로 구성될 수 있다. 다른 예를 들면, 입력 장치(370)는 사용자 입력을 수신할 수 있는 적어도 하나의 물리적 키로 구성될 수 있다.
디스플레이(390)는 장치(300)의 사용자에게 정보를 시각적으로 제공하기 위한 장치일 수 있다. 입력 장치(370)가 터치 스크린으로 구현되는 경우, 디스플레이(390)와 입력 장치(370)는 하나의 장치로 구현될 수도 있다.
다양한 실시예들에 따른 전자 장치(101) 또는 장치(300)는 하기와 같은 절차를 수행할 수 있다.
장치(예: 도 3에 도시된 장치(300) 등)는, 복수의 카메라들을 이용하여, 복수의 이미지들을 획득할 수 있다. 다양한 실시예들에서, 장치는, 상기 장치의 복수의 카메라들을 이용하여, 파노라마 이미지, 전방향 이미지 등과 같은 합성 이미지를 생성하기 위한 복수의 이미지들을 획득할 수 있다.
다양한 실시예들에서, 상기 복수의 카메라들 중 적어도 일부는, 카메라들의 쌍(pair)들로 구성될 수 있다. 예를 들면, 상기 복수의 카메라들 중 제1 카메라 및 상기 복수의 카메라들 중 제2 카메라는, 상기 카메라들의 쌍들 중 제1 쌍에 포함될 수 있다. 상기 제1 카메라는, 제1 방향으로 향하도록 구성되며, 제1 FOV(field of view) 또는 제1 AOV(angle of view)를 가질 수 있다. 상기 제2 카메라는, 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성되며, 상기 제1 FOV와 일부 중첩되는 제2 FOV(또는 AOV)를 가질 수 있다. 상기 FOV는, 카메라가 촬영할 수 있는 뷰(view)의 범위(range)를 나타낼 수 있다. 상기 FOV는, 렌즈의 초점의 변경 등에 따라 변경될 수 있다. 상기 FOV는, 광축과 관련될 수 있다.
다양한 실시예들에서, 상기 복수의 이미지들 중 적어도 하나의 이미지는, 상기 복수의 이미지들 중 적어도 하나의 다른 이미지와 일부 중첩될 수 있다. 상기 장치는, 상기 전방향 이미지를 생성하기 위해, 다른 이미지와 중첩된 부분을 가지는 이미지를 획득할 수 있다. 일부 중첩된 이미지를 획득하기 위해, 상기 복수의 카메라들 중 적어도 하나의 카메라의 FOV는, 상기 복수의 카메라들 중 적어도 하나의 다른 카메라의 FOV와 일부 중첩될 수 있다.
다양한 실시예들에서, 상기 장치는, 상기 복수의 이미지들의 시작(starting) 또는 끝(ending)이 동기화되도록, 상기 복수의 카메라들을 제어할 수 있다. 상기 장치는, 상기 복수의 카메라들을 제어함으로써, 동기화된 상기 복수의 이미지들을 획득할 수 있다.
다양한 실시예들에서, 상기 장치는, 상기 복수의 이미지들을 인코딩할 수 있다. 상기 장치는, 상기 복수의 이미지들을 인코딩하기 위한 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서의 수는, 상기 복수의 이미지들의 수 또는 상기 복수의 이미지들 각각의 사이즈에 기반하여 결정될 수 있다. 예를 들어, 상기 복수의 이미지들의 수가 17인 경우, 상기 적어도 하나의 프로세서의 수는 5일 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서 각각은, 상기 복수의 이미지들 중 적어도 일부를 인코딩함으로써 인코딩 데이터를 생성할 수 있다. 상기 인코딩 데이터는 독립적으로 디코딩 가능할 수 있다.
상기 복수의 이미지들을 인코딩하는 장치는, 상기 복수의 이미지들을 획득하는 장치와 동일한 장치일 수도 있고, 상기 복수의 이미지들을 획득하는 장치와 구별되는 장치일 수도 있다.
장치는, 상기 인코딩 데이터에 기반하여 상기 복수의 이미지들을 스티칭(stitching)함으로써 전방향 이미지를 생성할 수 있다. 다양한 실시예들에서, 장치는, 상기 인코딩 데이터를 디코딩함으로써 복수의 디코딩된 이미지들을 생성할 수 있다. 상기 장치는 상기 복수의 디코딩된 이미지들을 스티칭(또는 합성)함으로써 상기 전방향 이미지를 생성할 수 있다. 상기 장치는, 상기 복수의 디코딩된 이미지들의 배치(alignment)에 기반하여 상기 복수의 디코딩된 이미지들을 스티칭함으로써 상기 전방향 이미지를 생성할 수 있다.
상기 전방향 이미지를 생성하는 장치는, 상기 복수의 이미지들을 획득하는 장치 또는 상기 복수의 이미지들을 인코딩하는 장치와 동일한 장치일 수도 있고, 상기 복수의 이미지들을 획득하는 장치 또는 상기 복수의 이미지들을 인코딩하는 장치와 구별되는 장치일 수도 있다.
상술한 바와 같이, 전방향 이미지는, 상기 복수의 이미지들을 획득하는 절차, 상기 획득된 복수의 이미지들을 인코딩하는 절차, 및 인코딩된 데이터에 기반하여 이미지 스티칭을 수행하는 절차를 통해, 생성될 수 있다. 이하, 후술되는 다양한 실시예들은, 이러한 절차들과 관련될 수 있다.
도 4는 다양한 실시 예에 따르는 전자 장치의 사시도이다. 도 4를 참조하면, 전자 장치(400)는 외관 및 내부 구성부품들을 실장하는 내부 공간을 정의하는 하우징(410)을 포함할 수 있다. 전자 장치(400)는 제1방향(예: z축 방향)을 향하는 제1면(또는, 상면(top surface))(4001), 제1면(4001)에 대향하는 방향으로 배치되는 제2면(또는, 바닥면(bottom surface))(4003), 제1면(4001)과 제2면(4003)이 정의하는 공간을 둘러싸는 제3면(또는, 측면)(4002)을 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치(400)는 하우징(410)의 제1면(4001)에 배치된 디스플레이(412)(예: 도 3의 디스플레이(390)) 및, 네비게이션(411)(예: 도 3의 입력장치(370))를 포함할 수 있다. 디스플레이(412)는 전자 장치(500)의 그래픽 사용자 인터페이스(graphic user interface, GUI)를 포함할 수 있다. 사용자 인터페이스는 전자 장치(400)의 모드를 결정하기 위한 메뉴 또는 전자 장치(400)의 상태, 예를 들어, 배터리 잔량 정보 등을 표시할 수 있다. 네비게이션(411)은 디스플레이(412)에 표시된 그래픽 사용자 인터페이스를 조작(navigate)하기 위한 입력수단으로써, 사용자에게 제공될 수 있다. 또는, 네비게이션(411)은 전자 장치(400)의 전원을 온/오프 하기 위한 버튼으로써 기능할 수 있다. 일 실시 예에 따르면, 전자 장치(400)는 하우징(410)의 제1면(4001)에 배치된 인디케이터(indicator), 스피커(speaker) 등을 더 포함할 수 있다. 인디케이터는 예를 들어, LED 장치를 포함할 수 있으며, 전자 장치(500)의 상태 정보를 사용자에게 시각적으로 제공할 수 있으며, 스피커는 전자 장치(500)의 상태 정보를 사용자에게 청각적으로 제공할 수 있다.
다양한 실시 예에 따르면, 전자 장치(400)는 복수의 카메라들을 포함할 수 있다. 예를 들면, 전자 장치(400)는 하우징(410)의 상면(4001)에 배치된 제1 카메라(421) 및 측면(4002)에 배치된 복수의 제2 카메라들(422)을 포함할 수 있다. 제1 카메라(421)는, 전자 장치(400)의 위쪽으로의 뷰(upward view)를 촬영할 수 있도록 전자 장치(400)의 상면(4001)의 대략 중심 상에 배치될 수 있다. 측면 카메라들(422)은 전자 장치(400)의 수평면을 따라 모든 시야를 촬영할 수 있는 임의의 적절한 수와 구성(configuration)(또는, 배열(arrangement))으로 전자 장치(400)의 측면(4002)을 따라 배치될 수 있다. 일 실시 예에 따르면 전자 장치(400)는, 제1 카메라(421) 및 제2 카메라들(422)을 통해 촬영한 이미지들을 이용하여, 2D 및/또는 3D의 전방향 이미지(omnidirectional image)(또는, 360▲ 전체 뷰(full 360▲view))를 제공할 수 있다.
도 5는 다양한 실시 예에 따르는 전자 장치의 분리 사시도이다. 도 5의 전자 장치(500)는 도2 및 도4의 전자 장치(200 또는 400)의 구성요소들 중 적어도 하나와 동일 또는 유사할 수 있으며, 중복되는 설명은 이하 생략한다.
도 5를 참조하면, 전자 장치(500)는, 상부 하우징(top housing)(510), 하부 하우징(bottom housing)(520), 인쇄회로기판(printed circuit board, PCB)(530), 복수의 카메라들(540), 방열체(heat sink 또는 heat spreader)(550), 및 배터리(560)를 포함할 수 있다.
일 실시 예에 따르면, 상부 하우징(510)과 상부 하우징(510)은, 전자 장치(500)의 다양한 구성 부품들이 실장 될 수 있는 내부 공간(inner space) 및 전자 장치(500)의 외관을 정의할 수 있다. 예를 들어, 상부 하우징(510)은 실질적으로 전자 장치(500)의 상면(예: 도 4의 4001)의 대부분을 정의하며, 하부 하우징(510)은 실질적으로 전자 장치(500)의 바닥면(예: 도4의 4003)의 대부분을 정의할 수 있다. 상부 하우징(510) 및 하부 하우징(520) 각각의 적어도 일부가 곡면 형상을 가지며, 함께 전자 장치(500)의 측면(예: 도 4의 4002)을 정의할 수 있다. 다만, 실시 예가 이에 한정되는 것은 아니며, 전자 장치(500)의 각 하우징들(510 및/또는 520)은 전자 장치(500)의 심미적 만족감(aesthetically pleasing) 및/또는 기능을 고려한 설계 상의 이유로 임의의 적절한 형상을 가질 수 있다. 다른 실시 예에 따르면, 전자 장치(500)는, 측면(예: 도 4의 4002)을 정의하기 위한 별도의 하우징을 더 포함할 수 있다. 상부 하우징(510) 및 하부 하우징(520)은 서로 일체로 형성(integrally formed)되거나, 각각 형성되어 조립될 수 있다.
일 실시 예에 따르면, 인쇄회로기판(530), 복수의 카메라들(540), 방열체(550) 및 배터리(560)는, 상부 하우징(510)과 하부 하우징(520) 사이의 내부 공간에 배치될 수 있다.
인쇄회로기판(530)에는, 프로세서, 메모리, 및/또는 인터페이스가 실장(또는, 배치)될 수 있다. 프로세서는, 예를 들어, 중앙처리장치, 적어도 하나의 그래픽 프로세서, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 메모리는, 예를 들어, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 인터페이스는, 예를 들어, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다. 인터페이스는, 예를 들어, 전자 장치(500)를 외부 전자 장치와 전기적 또는 물리적으로 연결시킬 수 있으며, USB 커넥터, SD 카드/MMC 커넥터, 또는 오디오 커넥터를 포함할 수 있다.
복수의 카메라들(540)은 탑 카메라(541) 및 복수의 측면 카메라들(542)을 포함할 수 있다. 탑 카메라(541)는 전자 장치(500)의 상면을 통하여, 전자 장치(500)의 위쪽으로의 시야를 촬영할 수 있도록 배치될 수 있다. 복수의 측면 카메라들(542)을 전자 장치(500)의 테두리(edge) 또는 주변(periphery)을 따라 일정한 규칙에 따라 배치될 수 있다. 복수의 측면 카메라들(542)은 각각의 광축이 전자 장치(500)의 측면을 향하도록 배치될 수 있다. 예를 들어, 복수의 측면 카메라들(542)은 인쇄회로기판(430) 상에 배치되되 각각의 광축이 인쇄회로기판의 평면에 평행하도록 배치될 수 있다. 복수의 측면 카메라들(542)은 각각의 광축 모두가 서로 같은 평면을 이루도록 배치될 수 있다. 그에 따라 복수의 측면 카메라들(542)들은 전자 장치(500)의 수평면을 따라 모든 방향를 촬영할 수 있다. 복수의 측면 카메라들(542)과 탑 카메라(541)의 광축은 서로 직교할 수 있다. 일 실시 예에 따르면, 탑 카메라(541)는 상부 하우징(510) 및/또는 인쇄회로기판(530)에 고정 결합(fixedly coupled) 될 수 있다. 일 실시 예에 따르면, 복수의 카메라들(540)은 하우징들(510 및 520)의 구조적인 지지에 의하여 안정적으로 실장 될 수 있다. 복수의 카메라들(540)은 인쇄회로기판(530)에 배치된 적어도 하나의 프로세서에 전기적으로 연결될 수 있다. 일 실시 예에 따르면 복수의 측면 카메라들(542)은 상부 하우징(510), 하부 하우징(520) 및/또는 인쇄회로기판(530)에 고정 결합하거나 연결될 수 있다. 일 실시 예에 따르면, 탑 카메라(541)는 인쇄회로기판(530)의 제1면(531)의 대략 중심부에 연결되거나 고정 결합할 수 있고, 복수의 측면 카메라들(542)은 제1면(531)에 대향된, 인쇄회로기판(530)의 제2면(532)의 테두리 또는 주변부를 따라 일정한 규칙에 따라 배치되어 고정 결합하거나, 연결될 수 있다. 다만, 실시 예가 이에 한정되는 것은 아니며, 복수의 카메라들(540)은 인쇄회로기판(530)의 제1면(531) 및/또는 제2면(532)에 임의의 적절한 구성으로 결합할 수 있다.
방열체(550)는 전자 장치(500) 내에 포함된 각종 열원으로서의 발열 부품(heat component as heat source)로부터 열을 전달받아 공기 중으로 열을 발산하여 전자 장치(500)의 열을 낮출 수 있다. 방열체(550)는 열전도율이 높은 예를 들어, 구리, 알루미늄 등의 소재로 구성될 수 있다. 일 실시 예에 따르면, 방열체(550)는 인쇄회로기판(530)에 실장된 프로세서 또는 메모리와 접촉하여 열을 전달받도록 구성될 수 있다. 다른 실시 예에 따르면 전자 장치(500)는,열 발산을 위한 별도의 장치, 예를 들어 히트 파이프(heat pipe), 쿨러(cooler)등을 더 포함할 수 있다.
배터리(560)는 전자 장치(500)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로써, 예를 들어, 재충전 불가능한 1차 전지, 또는 재충전 가능한 2차 전지, 또는 연료 전지를 포함할 수 있다. 배터리(560)는, 예를 들어, 인쇄회로기판(530)의 하부에 배치될 수 있다. 다른 예를 들어, 배터리(560)는 실질적으로 동일 평면 상에 배치될 수 있다. 배터리(560)는 전자 장치(500) 내부에 일체로 배치될 수 있고, 전자 장치(500)와 분리 가능하게(detachably) 구성될 수도 있다.
어떤 실시 예에 따르면, 전자 장치(500)는 복수의 마이크로폰(microphone)(미도시)을 더 포함할 수 있다. 복수의 마이크로폰은 복수의 카메라들(420)을 통해 획득한 이미지들 중 적어도 하나와 관련된 오디오를 수신하도록 구성될 수 있다.
도 6은 다양한 실시 예에 따르는 카메라의 관측 시야(field of view, FOV)를 도시한다. 이하 도 6에 개시된 카메라(600)에 대한 설명은, 앞서 설명된 복수의 카메라들(540) 각각에 대한 설명일 수 있다. 도 6을 참조하면, 카메라(600)는 독자적인 사진 이미지들 또는 비디오로써 일련의 이미지들을 캡쳐하도록 구성된 이미지 센서(610)를 포함할 수 있다. 예를 들어, 카메라(600)는 CCD(charge-coupled device) 이미지 센서 또는 CMOS(complementary metal-oxide-semiconductor) 액티브 픽셀 이미지 센서를 포함할 수 있다.
다양한 실시 예들에서, 카메라(600)의 이미지 센서(610)는 대략적으로 16:9, 4:3, 3:2, 또는 임의의 적절한 종횡 비(aspect ratio)를 가질 수 있다. 종횡 비는 센서의 높이에 대한 너비의 비율일 수 있다. 다양한 실시 예에 따르면, 이미지 센서(610)의 너비는 높이보다 길 수 있다. 다른 실시 예들에서는, 이미지 센서(610)의 높이가 너비보다 길 수 있다. 다양한 실시 예에 따르면, 이미지 센서(610)의 너비와 높이는 이미지 센서(610)의 2개의 축 상의 픽셀들의 수의 형식으로 표현될 수 있다. 예를 들면, 이미지 센서(610)는 500내지 8000 픽셀의 너비 또는 높이를 가질 수 있다. 다른 예를 들면, 1920 픽셀 너비 및 1080 픽셀 높이의 이미지 센서(610)는 16:9의 종횡 비를 가진다고 할 수 있다.
다양한 실시 예에 따르면, 카메라(600)는 들어오는 빛을 모으고, 이미지 센서(610)의 초점 영역(focal area)으로 집중시키는 렌즈 또는 렌즈 어셈블리(assembly)를 포함할 수 있다. 카메라(600)의 렌즈 또는 렌즈 어셈블리는 다양한 초점거리에 기반하여 다양한 시야를 가지는 어안(fisheye) 렌즈, 광각(wide-angle) 렌즈, 망원(telephoto) 렌즈를 포함할 수 있다.
다양한 실시 예에 따르면, 카메라(600)는 카메라(600)의 위치, 초점 길이, 또는 렌즈 어셈블리의 배율 및 이미지 센서(610)의 위치나 사이즈의 적어도 부분적으로 기반하는 관측 시야(field of view, FOV)를 가질 수 있다. 다양한 실시 예에서, 카메라(600)의 FOV는, 카메라(600)를 통해 촬영 가능한 특정 장면의 수평적, 수직적, 또는 사선 범위를 가리킬 수 있다. 카메라(600)의 FOV내의 오브젝트(또는, 피사체)들은 카메라(600)의 이미지 센서(610)에 의하여 캡쳐될 수 있고, FOV 외부의 오브젝트들은 이미지 센서(610) 상에 나타나지 않을 수 있다. 다양한 실시 예에서, FOV는 시선 각도(angle of view, AOV)라고 칭할 수 있다.
다양한 실시 예에서, FOV 또는 AOV는 카메라(600)에 의해 캡쳐(또는, 이미징)될 수 있는 특정 장면(scene)의 각도 범위를 가리킬 수 있다. 예를 들어, 카메라(600)는 서로 대략적으로 수직방향으로 정렬(oriented) 된 수평적 시야(FOVH) 및 수직적 시야(FOVV)를 가질 수 있다. 예를 들어, 카메라(600)는 30도 내지 100도 범위 내의 수평적 시야(FOVH)를 및 90도 내지 200도 범위 내의 수직적 시야(FOVV)를 가질 수 있다. 다양한 실시 예에서, 카메라(600)의 FOVH는 카메라(600)의 FOVV보다 넓을 수 있다. 예를 들어, 카메라(600)는 30도 내지 80도 범위 내의 FOVV 및 90도 내지 200도 범위 내의 FOVH를 가질 수 있다. 다양한 실시 예에서, 상이한 FOVH 및 FOVV를 가지는 카메라(600)는 이미지 센서(610)의 종횡비에 대응될 수 있다. 이하, 특정 FOV를 가지는 특정 카메라들을 상정하여 설명하나, 다양한 실시 예에 따르는 전자 장치(예: 도 4의 400)는 임의의 적절한 이미지 센서들 및 임의의 적절한 렌즈들을 포함할 수 있다.
도 7은 다양한 실시 예에 따르는 카메라들의 예시적인 스테레오스코픽 쌍(stereoscopic pair)(700)을 도시한다.
다양한 실시 예에 따르는 스테레오스코픽 쌍(700)은 좌측 카메라(710L)와 우측 카메라(710R)로 각각 지칭되는 2개의 카메라들을 포함할 수 있다. 좌측 카메라(710L) 및 우측 카메라(710R)는 사람의 좌안 및 우안에 각각 대응하는 이미지들을 획득(또는, 캡쳐)할 수 있다.
일 실시 예에 따르면, 스테레오스코픽 쌍(700)의 좌측 카메라(710L)와 우측 카메라(710R) 각각은 가리키는 방향 또는 각도에 해당하는 오리엔테이션(orientation)(711)(또는, 광축)을 가질 수 있다. 일 실시 예에서, 오리엔테이션(711)은 카메라(710)의 FOV의 중앙을 향하는 라인(Line)에 의하여 표현될 수 있다. 일 실시 예에서, 카메라(710)의 오리엔테이션(711)은 카메라(710)의 대략 세로축을 향할 수 있고, 카메라 렌즈 어셈블리 또는 이미지 센서의 표면에 대략적으로 직교하는 방향을 향할 수 있다. 또는, 오리엔테이션(711)은 카메라 렌즈의 광축(또는 중심축)과 동일할 수 있다. 예를 들어, 스테레오스코픽 쌍(700)의 카메라들(710L 및 710R) 사이의 라인에 해당하는 축(712)에 대략적으로 직교하는 방향을 향할 수 있다. 도 7을 참조하면, 좌측 카메라(710L)의 오리엔테이션(711L) 및 우측 카메라(710R)의 오리엔테이션(711R)은 각각 축(712)에 대략 직교하고, 오리엔테이션들(711L 및 711R)은 각각 카메라들(710L 및 710R)의 FOVH의 광축을 의미할 수 있다. 오리엔테이션들(711L 및 711R)은 서로 수평을 이룰 수 있다. 다시 말하면, 오리엔테이션들(711L 및 711R)의 FOVH가 실질적으로 동일 면을 이룰 수 있다. 오리엔테이션들(711L 및 711R)은 서로 실질적으로 평행할 수 있다. 다시 말하면, 좌측 카메라(710L) 및 우측 카메라(710R)는 동일한 방향을 가리키는 카메라들에 해당할 수 있고, 이러한 카메라들(710L 및 710R)는 동일한 오리엔테이션을 가지는 것으로 정의될 수 있다.
다양한 실시 예에 따르면, 좌측 카메라(710L) 및 우측 카메라(710R)는 상호 평행하지 않은(0이 아닌(non-zero)) 특정 각도의 사이각을 가지는 오리엔테이션들을 가질 수 있다. 예를 들어, 동일한 오리엔테이션을 가지는 좌측 카메라(710L) 및 우측 카메라(710R)는 서로, ±0.1°, ±0.5°, ±1°, ±3° 또는 임의의 적절한 각도 값을 가지고, 서로를 향하거나 서로로부터 멀어지는 방향을 가지는 오리엔테이션들(711L 및 711R)을 가질 수 있다. 이하 본 개시의 실시 예에서는 서로 동일한 방향을 가리키는 오리엔테이션들을 가지는 특정 스테레오스코픽 쌍을 상정하여 설명하나, 본 개시의 전자 장치(예: 400)는 임의의 적절한 오리엔테이션들을 가지는 임의의 스테레오스코픽 쌍들을 포함할 수 있다.
다양한 실시 예에 따르면, 한 쌍의 스테레오스코픽 쌍(700)은 좌측 카메라(710L) 및 우측 카메라(710R) 서로 간의 일정 간격 이격된 거리를 가질 수 있다. 상기 거리는 카메라 서로간 간격(ICS; inter-camera spacing)로 지칭될 수 있다. 여기서 ICS는 좌/우측 카메라(710L 및 710R)의 대응하는 2개의 포인트들 또는 카메라들이 가지는 사양(specification)에 의하여 측정될 수 있다. 예를 들어, 2개의 카메라(710)들의 중간점 사이의 거리, 2개의 카메라(710)들의 세로축들 간의 거리, 또는 2개의 카메라(710)들의 오리엔테이션(711)들 간의 거리에 대응할 수 있다. 일 실시 예에 따르면, 스테레오스코픽 쌍(700)의 카메라들(710L 및 710R)는, 카메라들(710L) 및(710R)을 연결하는 라인에 해당하고 오리엔테이션들(711L 및 711R)에 대략적으로 수직하는 축(712)을 따라, ICS거리만큼 이격될 수 있다.
일 실시 예에 따르면, ICS는 사람의 양 동공들 간의 근사적 평균 거리, 또는 동공간 거리(inter-pupillary distance: IPD)에 대응할 수 있다. 스테레오스코픽 쌍(700)은 6cm 내지 11cm의 ICS를 가질 수 있다. 인간의 근사적 평균 IPD가 약 6.5cm 를 가짐에 대응하여, 다양한 실시 예에 따르는 스테레오스코픽 쌍(700)은 6cm 내지 7cm 의 ICS를 가지는 것으로 상정될 수 있다. 다만 실시 예가 이에 한정되는 것은 아니며, 평균 IP보다 더 크거나 작은 ICS를 가질 수 있다. 이러한 더 큰 ICS 값을 가지는 스테레오스코픽 쌍을 이용하여 촬영한 영상은 재생될 때 향상된 3D 특성을 가지는 영상을 시청자에게 제공할 수 있다. 일 실시 예에 따르면, 스테레오스코픽 쌍은 전체 촬영 장치의 크기, 또는 카메라 렌즈의 시야(FOV) 등의 요소(factor)에 따라 설계되는 임의의 적절한 길이의 ICS를 가질 수 있다.
도 8은 다양한 실시 예에 따르는 카메라 시스템의 예시적인 카메라 배치에 대한 평면도 일부를 도시한다. 도 8을 참조하면, 카메라 시스템(800)은 좌측 카메라(811-Ln) 및 우측 카메라(811-Rn)에 의해 구성되는 복수의 제n 카메라 쌍(810)(또는, 스테레오스코픽 쌍)들을 포함할 수 있다. 예를 들어, 제1 좌측 카메라(811-L1) 및 제1 우측 카메라(811-R1)는 제1 카메라 쌍(810-1)을 구성하고, 제2 좌측 카메라(811-L2) 및 제2 우측 카메라(811-R2)는 제2 카메라 쌍(810-2)을 구성할 수 있다. 일 실시 예에 따르면, 카메라 시스템 800은 또는, 제n 카메라 쌍(810-n)과 같은 추가적인 카메라 쌍들을 더 포함할 수 있다.
다양한 실시 예에 따르면, 카메라(811)들 각각은, 수평면, 또는 동일 면에 위치될 수 있다. 예를 들어, 카메라 시스템(800)의 카메라(811)들은 일직선, 곡선, 타원(또는 타원의 일부), 원(또는 원의 일부), 또는 임의의 적절한 형태(또는 형태의 일부)의 테두리(또는 엣지)를 따라 배열 될 수 있다. 일 실시 예에 따르면 카메라 시스템(800)의 카메라(811)들은 특정 형상을 가지는 인쇄회로기판(예: 도 5의 530)의 테두리 또는 주변을 따라 일정한 규칙으로 배치될 수 있다. 도 8을 참조하면, 일 실시 예에서, 원형(파선)을 따라 배열된 카메라(811)들을 갖는 카메라 시스템(800)은 360°의 파노라마 뷰(또는 원통형 사이드 뷰(cylindrical side view))에 걸쳐 이미지들을 촬영하도록 구성될 수 있다. 예를 들어, 카메라(811)들은 카메라 시스템(800)(또는, 전자 장치)의 측면을 향하도록 정향될 수 있다. 카메라 시스템(800)의 카메라(811)들 각각은 동일 면에 위치될 수 있고, 카메라(811)들 각각은 동일 면을 따라 정향된 FOVH 및 수평면에 수직하도록 정향된 FOVV를 가질 수 있다. 다시 말하면, 카메라 시스템(800)의 카메라(811)들 각각은 동일 면에 위치될 수 있고, 카메라(811)들 각각의 오리엔테이션(812) 또는 그 동일 면에 위치될 수 있다. 카메라(811)들은 카메라들(811)이 배치된 인쇄회로기판의 배치 면(예: 도 5의 531)과 실질적으로 평행을 이루도록 배치될 수 있다. 예를 들어, 제1 좌측 카메라(811-L1) 및 제1 우측 카메라(811-R2), 제2 좌측 카메라(811-L2), 제2 우측 카메라(811-R2), 제n 좌측 카메라(811-Ln), 및 제n 우측 카메라(811-Rn)를 포함하는 카메라(811)들은 동일 면에서 원형(파선)을 따라 위치될 수 있고, 카메라(811)들 각각의 오리엔테이션들 또는 그 동일 면에 위치될 수 있다. 즉, 각각의 카메라(811)들의 오리엔테이션(812)은 동일 면의 수평 방향을 가리킬 수 있다.
일 실시 예에 따르면, 카메라 시스템(800)은 서로 교차 배치된(interleaved) 복수의 카메라 쌍(810)들을 포함할 수 있다. 예를 들어, 제 1 카메라 쌍(810-1) 중 하나의 카메라가 인접한 제 2 카메라 쌍(810-2)의 카메라들 사이에 위치될 수 있다. 다른 예를 들어, 제2 카메라 쌍(810-2) 중 하나의 카메라 또는 제 1 카메라 쌍(810-1)의 카메라들 사이에 위치될 수 있다. 일 실시 예에서, 인접하거나 접해있는 카메라 쌍은 서로 나란히 위치된 카메라 쌍을 가리킬 수 있고, 또는 카메라 쌍의 하나의 카메라가 다른 카메라 쌍의 두 카메라들 사이에 위치되도록 배치된 카메라 쌍을 가리킬 수 있다. 다시 말하면, 카메라 쌍(810-2) 은 카메라 쌍(810-1) 사이에 개재되고(interleaved), 그 반대도 마찬가지일 수 있다. 예를 들어, 카메라 쌍들이 교차 배치됨에 따라, 제2 우측 카메라(811-R2)는 제1 카메라들(811-L1 및 811-R1) 사이에 위치되고, 제1 좌측 카메라(811-L1)는 제2 카메라들(811-L2 및 811-R2) 사이에 위치될 수 있다.
다양한 실시 예에 따르면 각각의 카메라 쌍(810)의 카메라(811)들은 균일하게 배열될 수 있으며, 그에 따라 서로 인접한 카메라 쌍(810)들은 서로에 대하여 θ각도로 정향 될 수 있다. 일 실시 예에 따르면, θ각도는 서로 인접한 카메라 쌍(810)들 각각의 오리엔테이션의 차이 또는 각도 간격(angular spacing)에 대응할 수 있다. 제1 좌측 카메라(811-L1)가 포함된 제1 카메라 쌍(810-1)과, 제n 우측 카메라(811-n)가 포함된 제2 카메라 쌍(810-n)은 θ각도의 차이를 가지도록 위치될 수 있다. 일 실시 예에 따르면, 인접한 카메라 쌍(Ln-Rn)들 간의 θ각도는 카메라 시스템(800)의 인접한 카메라 쌍(810)에 대해 대략 동일할 수 있다. 예를 들어, 카메라 시스템(800)의 인접한 카메라 쌍(810)각각은 서로에 대해 26°, 30°, 36°, 45°, 60°, 90° 또는 임의의 적절한 각도로 정향될 수 있다. 일 실시 예에 따르면, m개의 균일한 간격으로 원을 따라 배열된 카메라 쌍(810)들을 가지는 카메라 시스템(800)에서, 각각의 인접한 카메라 쌍 간의 θ각도는, θ≒360°/m으로 표현될 수 있다. 예를 들어, m=8로서, 균일한 간격으로 원형을 따라 배치된 8개의 카메라 쌍을 포함한 카메라 시스템에서 θ각도는 대략 360°/8=45°일 수 있다. 다른 예를 들면, m=12로서, 균일한 간격으로 원형을 따라 배치된 12개의 카메라 쌍을 포함한 카메라 시스템에서 θ각도는 대략 360°/12=30°일 수 있다.
도 9는 다양한 실시 예에 따르는 카메라 시스템에 대한 측면도이다. 일 실시 예에 따르면 카메라 시스템(900)은, 카메라 시스템(900)의 테두리(edge) 또는 주변(periphery)을 따라 배열된 측면 카메라들(side cameras)(910) 및 카메라 시스템(900)의 위 방향으로 정향된 탑 카메라(top camera)(910T)를 포함할 수 있다. 측면 카메라(910)는 원통형 사이드 뷰(cylindrical side view)를 촬영할 수 있고, 탑 카메라(910T)는 원통형 사이드 뷰 상의 지붕(roof)을 형성하는 탑 뷰(top view)를 촬영할 수 있다. 원통형 사이드 뷰와 탑 뷰는 서로 결합하여 사용자에게 2D 및/또는 3D 의 '전방향 이미지(omnidirectional image)' 또는 '360▲ 전체 뷰(full 360▲view)'를 제공할 있다. 다른 실시 예에 따르면 카메라 시스템(900)은 아래 방향으로 정향된 바닥 카메라(bottom camera)(미도시)를 더 포함할 수 있다. 또 다른 실시 예에 따르면, 카메라 시스템(900)은 적어도 두 개 이상의 탑 카메라(910T)들(예를 들어, 스테레오스코픽 쌍을 구성할 수 있는 좌측 탑 카메라, 및 우측 탑 카메라)을 더 포함할 수 있다. 또 다른 실시 예 따르면, 카메라 시스템(900)은 탑 카메라(910T) 및/또는 바닥 카메라가 없이 180▲이상의 FOVV를 가지는 측면 카메라(910)들로 구성되고, 그에 따라, 측면 카메라(910)들 만을 이용하여 360▲전체 뷰를 촬영할 수 있다.
도 9를 참조하면, 카메라 시스템(900)은 카메라 시스템(900)의 주변을 따라 배열된 측면 카메라(910)들 및 중심부에 위치된 탑 카메라(910T)를 포함할 수 있다. 측면 카메라(910)들 및 탑 카메라(910T) 각각은 도 6에서 설명된 카메라(600)와 적어도 일부 동일하거나 유사할 수 있다. 측면 카메라(910)들은 도 8에서 설명된 카메라들(예: 811)과 동일 또는 유사할 수 있으며 앞서 설명한 바와 같이 동일 면에 스테레오스코픽 쌍을 구성하도록 배치될 수 있다. 일 실시 예에 따르면, 탑 카메라(910T)는 측면 카메라(910)들과 대략 직교하도록 배치될 수 있다. 측면 카메라(910)들의 오리엔테이션(911)들은 측면 카메라(910)들의 배치된 수평면과 평행할 수 있다. 탑 카메라(910T)의 오리엔테이션(911T)은 측면 카메라(910)들의 오리엔테이션(911)과 대략 직교할 수 있다. 다만 실시 예가 이에 한정되는 것은 아니며, 다양한 실시 예에 따르는 카메라 시스템(900)은 임의의 적절한 측면 카메라(910)들의 배열 및 임의의 적절한 탑 카메라(910T)의 구성 및 배열을 가질 수 있다.
일 실시 예에 따르면, 탑 카메라(910T)는 하나 이상의 측면 카메라(910)들의 수직적 시야(FOVV)와 적어도 일부 중첩(partially overlap) 또는 공유하는 시야(FOVT)를 가질 수 있다. 일 실시 예에 따르면, 탑 카메라(910T)는, 탑 카메라(910T)가 촬영한 이미지(예: 탑 뷰)의 테두리 부분과, 측면 카메라(910)들이 촬영한 이미지(예: 원통형 사이드 뷰)의 상부 사이의 탑 오버랩(top overlap)(921)을 가질 수 있다. 탑 오버랩(921)은, 측면 카메라(910)들의 FOVV 및/또는 탑 카메라(910T)의 FOVH의 FOVT의 10% 내지 30%를 오버랩 할 수 있다. 일 실시 예에 따르면, 탑 카메라(910T)는 상대적으로 측면 카메라(910)들 보다 큰 FOV를 가질 수 있다. 예를 들어, 탑 카메라(910T)의 FOVT는 140▲ 내지 185▲를 가질 수 있다.
도 10은 다양한 실시 예에 따르는 카메라 시스템이 촬영한 중첩된 이미지들(overlapped images)의 예시적인 셋을 도시한다.
도 10의 실시 예에서, 카메라 시스템(1000)은, 그 각각이 스테레오스코픽 쌍을 구성하는, 복수의 좌측 카메라(1011)들, 복수의 우측 카메라(1012)들, 및 적어도 하나의 탑 카메라(1013)를 포함할 수 있다. 측면 카메라들(1011 및 1012)은, 도 에서 설명된 카메라들(예: 811)과 동일 또는 유사할 수 있으며 동일 면에 배치될 수 있다. 탑 카메라(1013)는, 도 9에서 설명된 탑 카메라(예: 910T)와 동일 또는 유사할 수 있으며, 측면 카메라들(1011 및 1012) 직교하여 정향 되도록 배치될 수 있다. 다만 실시 예가 이에 한정되는 것은 아니며 다양한 실시 예에 따르는 카메라 시스템(1000)은 임의의 적절한 측면 카메라들 및 탑 카메라의 구성 및 배열을 가질 수 있다.
도 10을 참조하면, 다양한 실시 예에 따르는 카메라 시스템(1000)은 8개의 스테레오스코픽 쌍을 가질 수 있으며, 그에 따라, 8개의 좌측 카메라(1011) 및 8개의 우측 카메라(1012)를 포함할 수 있다. 좌측 카메라 이미지들(IL)은 좌측 카메라(1011)들로부터 촬영 또는 획득될 수 있다 우측 카메라들(1012)은 우측 카메라(1012)들로부터 촬영 또는 획득될 수 있다. 탑 이미지(IT)는 탑 카메라(1013)으로부터 촬영 또는 획득될 수 있다. 일 실시 예에 따르면, 카메라 시스템(1000)은 좌측 카메라 이미지들(IL) 및 탑 이미지(ITop)를 결합하여 2D의 전방향 이미지(또는 2D 360▲전체 뷰)를 제공할 수 있다. 다른 실시 예에서 따르면, 카메라 시스템(1000)은 우측 카메라 이미지들(IR) 및 탑 이미지(ITop)를 결합하여 2D의 전방향 이미지를 제공할 수 있다. 또 다른 실시 예에 따르면, 좌측 카메라 이미지들(IL)은 사람의 좌안에 해당하는 이미지들이며, 우측 카메라 이미지들(IR)은 사람의 우안에 해당하는 이미지들일 수 있으며, 그에 따라 카메라 시스템(1000)은, 좌측 카메라 이미지들(IL), 우측 카메라 이미지들(IR), 및 탑 이미지(IT)를 이용하여, 3D의 전방향 이미지(또는 3D 360▲전체 뷰)를 제공할 수 있다. 카메라 시스템(1000)은, 2D의 전방향 이미지를 제공하기 위해서, 좌측 카메라 이미지들(IL)과 우측 카메라 이미지들(IR) 중 어느 하나 만이 사용 할 수 있다.
일 실시 예에 따르면, 카메라 시스템(1000)이 포함하는 좌측 카메라(1011)들 및 우측 카메라(1012)들은, 전술한 바와 같이, 짝을 지어 교차 배치되는 방식으로 배치될 수 있고, 그에 따라 각각의 카메라들로부터 촬영된 이미지들이 서로 부분적으로 중첩되어 좌측 카메라 이미지들(IL) 및 우측 카메라 이미지들(IR)을 생성할 수 있다.
일 실시 예에 따르면, 좌측 카메라 이미지들(IL)은 제1 좌측 카메라 이미지(IL-1) 내지 제8 좌측 카메라 이미지(IL-8)를 포함할 수 있다. 중첩 영역(overlapped area)(1020-Ln)들은 이웃한 좌측 카메라(1011)들의 이미지들(IL)의 중첩 또는 공유하는 부분들에 해당할 수 있다. 예를 들어, 제1 중첩 영역(1021-L1)은 제1 좌측 카메라 이미지(IL-1)와 제2 좌측 카메라 이미지(IL-2)의 서로 중첩된 영역일 수 있으며, 제8 중첩 영역(1021-L8)은 제1 좌측 카메라 이미지(IL-1)와 제8 좌측 카메라 이미지(IL-8)의 서로 중첩된 영역일 수 있다. 마찬가지로, 우측 카메라 이미지들(IR)은 제1 우측 카메라 이미지(IL-1) 내지 제8 우측 카메라 이미지(IL-8)를 포함할 수 있다. 중첩 영역(overlapped area)(1020-Rn)들은 이웃한 우측 카메라(1011)들의 이미지들(IR)의 중첩 또는 공유하는 부분들에 해당할 수 있다. 탑 이미지(ITop)의 중첩 영역(1020-T)은, 측면 카메라 이미지들, 예를 들어, 좌측 카메라 이미지들(IL) 및/또는 우측 카메라 이미지들(IR)의 상부와 부분적으로 중첩할 수 있다. 중첩 영역(1021-T)은 탑 이미지(ITop)의 테두리 영역에 해당될 수 있다. 일 실시 예에 따르면, 적어도 하나 이상의 측면 카메라들(1011 및 1012)로부터 획득된 이미지들과 탑 이미지(ITop)를 스티칭(stitching) 하기 위해 중첩 영역(1020-T)이 이용될 수 있다.
도 11a 및 도 11b는 다양한 실시 예에 따른 인쇄회로기판의 일 예를 나타내는 평면도이다. 도 11a 및 11b를 참조하면, 카메라 시스템(1100)은, 인쇄회로기판(1110) 및, 인쇄회로기판(1110)의 테두리 또는 주변을 따라 균일하게 배치된 복수의 카메라들(1110)을 포함할 수 있다. 도 11a 및 도 11b의 인쇄회로기판(1110)은 도 5에서 설명된 인쇄회로기판(530)과 적어도 일부 동일 또는 유사할 수 있으며, 복수의 카메라들(1120)이 구성하는 카메라 시스템(1100)은 도 8 내지 도 10에서 설명된 카메라 시스템(800, 900, 1000)과 적어도 일부 동일하거나 유사할 수 있다.
도 11a 및 도 11b를 참조하면, 일 실시 예에 따르는 제1 카메라(1120-1) 내지 제16 카메라(1120-16)는 인쇄회로기판(1100)의 둘레를 따라 시계 방향으로 순서대로 배치될 수 있다. 제1 카메라(1120-1) 내지 제16 카메라(1120-16)는 인쇄회로기판(1100)의 동일 면에 배치될 수 있다. 제1 카메라(1120-1) 내지 제16 카메라(1120-16) 각각의 오리엔테이션(예:수평 시야각(FOVH))은 인쇄회로기판(1100)의 배치 면(예: 도 5의 제1면(531))과 평행을 이룰 수 있다. 제1 카메라(1120-1) 내지 제16 카메라(1120-16) 각각은 8개의 스테레오스코픽 쌍을 이루도록 구성될 수 있다. 예를 들어, 제1 카메라(1120-1) 및 제4 카메라(1120-4)는, 제1 스테레오스코픽 쌍(1130)을 구성할 수 있다. 그에 따라, 제1 카메라(1120-1)는 제1 좌측 카메라로 지칭될 수 있고, 제4 카메라(1120-4)는 제1 우측 카메라로 지칭될 수 있다. 따라서, 도 8의 실시 예에서, 복수의 카메라들(1110)(즉, 제1 카메라(1120-1) 내지 제16 카메라(1120-16))는 8개의 스테레오스코픽 쌍을 구성하는 8개의 좌측 카메라 셋과 8개의 우측 카메라 셋으로 구성될 수 있다. 예를 들어, 좌측 카메라 셋은 제1 카메라(1120-1), 제3 카메라(1120-3), 제5 카메라(1120-5), 제7 카메라(1120-7), 제9 카메라(1120-9), 제11 카메라(1120-11), 제13 카메라(1120-13), 및 제15 카메라(1120-15)를 포함할 수 있다. 또한, 우측 카메라 셋은, 제2 카메라(1120-2), 제4 카메라(1120-4), 제6 카메라(1120-6), 제8 카메라(1120-8), 제10 카메라(1120-10), 제12 카메라(1120-12), 제14 카메라(1120-14), 및 제16 카메라(1116-16)를 포함할 수 있다. 일 실시 예에 따르면 8개의 좌측 카메라 셋 및 우측 카메라 셋 각각은 서로 교차 배열될 수 있다. 예를 들어, 제1 좌측 카메라에 해당하는 제1 카메라(1120-1)는 제1 우측 카메라에 해당하는 제2 카메라(1120-2) 및 제8 우측 카메라에 해당하는 제16 카메라(1120-16)의 사이에서, 제2 카메라(1120-2) 및 제16 카메라(1120-16)와 인접하여 배치될 수 있다.
일 실시 예에 따르면, 인쇄회로기판(1110)은, 복수의 카메라들(1120)이 인쇄회로기판(1110)의 최외각(1111)(또는 하우징(예: 도 4의 410))보다 돌출되지 않는 형상을 가질 수 있다. 예를 들어, 인쇄회로기판(1110)은 테두리(periphery)를 따라 형성된 적어도 하나의 돌출부(1113)를 포함할 수 있다. 복수의 카메라들(1120)은, 광학 장치로서 외부 충격에 민감한 장치로서, 외부 충격에 의한, 오동작이나 복수의 카메라들(1120)은 카메라 시스템(1100)(또는 전자 장치)에 대한 외부 충격에 의한 오류가 발생하거나, 렌즈에 대한 긁힘 등에 의한 촬영된 이미지의 질적 저하가 야기될 수 있다. 따라서(Accordingly), 인쇄회로기판(1110)이, 복수의 카메라들(1120)이 최외각(1111) 보다 돌출되지 않고, 최외각(1111) 안에 배치되는 구성 또는 배열을 가지는 형상을 가짐으로써, 복수의 카메라들(1120)을 외부 충격으로부터 보호할 수 있다.
도 11a를 참조하여, 본 개시의 다양한 실시 예에 따르는 카메라 시스템(1100)을 일 측면(aspect)에서 설명하기로 한다. 일 실시 예에 따르면, 복수의 카메라들(1110)은, 복수의 프로세서들(1140, 1150)에 각각 나누어 동작적으로 및 전기적으로(operatively and electronically) 연결될 수 있다. 복수의 프로세서들(1140, 1150) 각각은 연결된 카메라(또는, 이미지 센서)로부터 획득한 전기적 밝기 신호를 디지털 이미지로 인코딩(encoding)(또는, 이미지 프로세싱)할 수 있다. 따라서 복수의 프로세서들(1140, 1150) 각각은 이미지 프로세서로 지칭될 수 있다. 일 실시 예에 따르면, 복수의 프로세서들(1140, 1150) 각각은 FPGA(field programmable gate array)를 포함하고, 이를 통해 복수의 카메라들(1110) 각각과 동작적으로 및 전기적으로 연결될 수 있다.
예를 들어, 좌측 카메라 셋은 좌측 프로세서(1140)에 연결될 있다. 예를 들어, 제1 카메라(1120-1), 제3 카메라(1120-3), 제5 카메라(1120-5), 제7 카메라(1120-7), 제9 카메라(1120-9), 제11 카메라(1120-11), 제13 카메라(1120-13), 및 제15 카메라(1120-15)는 좌측 프로세서(1140)에 연결될 수 있다.
예를 들어, 우측 카메라 셋은 우측 프로세서(1150)에 연결될 수 있다. 예를 들어, 제2 카메라(1120-2), 제4 카메라(1120-4), 제6 카메라(1120-6), 제8 카메라(1120-8), 제10 카메라(1120-10), 제12 카메라(1120-12), 제14 카메라(1120-14), 및 제16 카메라(1116-16)는 우측 프로세서(1150)에 연결될 수 있다.
복수의 카메라들(1120)과 프로세서들(1140, 1150) 사이의 복수의 전기적 연결은 인쇄회로기판(1110)에 형성된 복수의 도전성 패턴들에 의할 수 있다. 일 실시 예에 따르면 인쇄회로기판(1110)은, 복수의 도전성 패턴들 간의 간섭을 방지하기 위하여, 다층 인쇄회로기판(multilayer printed circuit board)으로 구현될 수 있다. 다른 실시 예에 따르면 복수의 전기적 연결은, 인쇄회로기판(1110)에 형성된 도전성 패턴, 가요성 인쇄회로기판(flexible printed circuit board, FPCB), 및 와이어링 중 적어도 하나 또는 둘 이상의 조합으로도 구성될 수 있다.
앞서 설명한 실시 예에서, 좌측 카메라 셋과 좌측 프로세서(1140)와의 전기적 연결, 및 우측 카메라 셋과 우측 프로세서(1150)와의 전기적 연결은 제1 구성(configuration)으로 정의될 수 있다. 제1 구성에 의하여, 좌측 프로세서(1140)는 좌측 카메라 셋으로부터 획득한 이미지들에 기반한 좌측 카메라 이미지들(예: 도 10의 IL)을 제공할 수 있으며, 우측 프로세서(1150)는 우측 카메라 셋으로부터 획득한 이미지들에 기반한 우측 카메라 이미지들(예: 도 10의 IR)을 제공할 수 있다. 예를 들어, 카메라 시스템(1100)은, 좌측 프로세서(1140)에 대한 제어 및/또는 전력 공급을 통하여, 좌측 카메라 이미지들에 기반한 2D 전방향 이미지를 제공할 수 있다. 다른 예를 들어, 카메라 시스템(1100)은, 우측 프로세서(1150)에 대한 제어 및/또는 전력 공급을 통하여, 우측 카메라 이미지들에 기반한 2D 전방향 이미지를 제공할 수 있다. 또 다른 예를 들어, 카메라 시스템(1100)은, 좌측 프로세서(1140) 및 우측 프로세서(1150)의 제어 및/또는 전력 공급을 통하여, 좌/우측 카메라 이미지들에 기반한 3D 전방향 이미지를 제공할 수 있다. 따라서(Accordingly), 본 개시의 다양한 실시 예에 따르는, 카메라 시스템(1100)은 좌측 프로세서(1140) 및 우측 프로세서(1150) 중 어느 하나에 대한 제어 및/또는 전력 공급을 통하여, 2D 전방향 이미지를 제공할 수 있다.
본 개시의 다양한 실시 예에 따르는 프로세서들(예: 1140 및 1150)은 복수의 프로세서로 구성될 수 있다. 예를 들어, 좌측 프로세서(1140)는, 제1 좌측 프로세서(1141) 및 제2 좌측 프로세서(1142)로 구성될 수 있으며, 우측 프로세서(1150)는, 제1 우측 프로세서(1151) 및 제2 우측 프로세서(1152)로 구성될 수 있다. 일 실시 예에 따르면 복수의 프로세서들(1141, 1142, 1151, 1152) 각각은 FPGA를 더 포함할 수 있다. 일 실시 예에 따르면, 제1 카메라(1120-1), 제3 카메라(1120-3), 제5 카메라(1120-5), 및 제7 카메라(1120-7)는 제1 좌측 프로세서(1141)에 전기적으로 연결될 수 있다. 제9 카메라(1120-9), 제11 카메라(1120-11), 제13 카메라(1120-13), 및 제15 카메라(1120-15)는 제2 우측 프로세서(1142)에 전기적으로 연결될 수 있다. 또한, 제2 카메라(1120-2), 제4 카메라(1120-4), 제6 카메라(1120-6), 및 제8 카메라(1120-8)는 제1 우측 프로세서(1151)에 전기적으로 연결될 수 있다. 제10 카메라(1120-10), 제12 카메라(1120-12), 제14 카메라(1120-14), 및 제16 카메라(1116-16)는 제2 우측 프로세서(1152)에 전기적으로 연결될 수 있다. 복수의 카메라들(1120)과 프로세서들(1141, 1142, 1151, 1152) 사이의 복수의 전기적 연결은 인쇄회로기판(1110)에 형성된 복수의 인터페이스(또는 신호라인, 도전성 패턴)들에 의할 수 있다. 예를 들어, 제1 좌측 프로세서(1141)는 제1 인터페이스들(1112-1)에 의해 복수의 카메라들(예: 1120-1, 1120-3, 1120-5, 1120-7)과 연결될 수 있다. 예를 들어, 제2 좌측 프로세서(1142)는 제2 인터페이스들(1112-2)에 의해 복수의 카메라들(예: 1120-9, 1120-11, 1120-13, 1120-15)과 연결될 수 있다. 예를 들어, 제1 우측 프로세서(1151)는 제3 인터페이스들(1112-3)에 의해 복수의 카메라들(예: 1120-2, 1120-4, 1120-6, 1120-8)과 연결될 수 있다. 예를 들어, 제2 우측 프로세서(1152)는 제4 인터페이스들(1112-4)에 의해 복수의 카메라들(예: 1120-10, 1120-12, 1120-14, 1120-16)과 연결될 수 있다.
일 실시 예에 따르면 인쇄회로기판(1110)은, 복수의 인터페이스들 간의 간섭을 방지하기 위하여, 다층 인쇄회로기판(multilayer printed circuit board)으로 구현될 수 있다. 다른 실시 예에 따르면 카메라와 프로세서간의 전기적 연결은, 인쇄회로기판(1110)에 형성된 도전성 패턴, 가요성 인쇄회로기판(flexible printed circuit board, FPCB), 및 와이어링 중 적어도 하나 또는 둘 이상의 조합으로도 구성될 수 있다.
앞서 설명한 실시 예에서, 좌측 카메라 셋과 제1, 2 좌측 프로세서들(1141, 1142)와의 전기적 연결, 및 우측 카메라 셋과 제1, 2 우측 프로세서들(1151, 1152)와의 전기적 연결은 제2 구성(configuration)으로 정의될 수 있다. 제2 구성에 의하여, 카메라 시스템(1100)은, 좌, 우측 프로세서들(1141, 1142, 1151, 1152)의 중 적어도 하나 또는 둘 이상이 조합에 대한 제어 및/또는 전력 공급을 통하여, 좌측 카메라 이미지 및/또는 우측 카메라 이미지들에 기반한 2D 또는 3D의 전방향 이미지를 제공할 수 있다. 더하여, 카메라 시스템(1100)은 좌, 우측 프로세서들(1141, 1142, 1151, 1152) 중 하나에 대한 제어 및/또는 전력 공급을 통하여 2D 파노라마 이미지를 제공할 수 있다.
앞서 설명한 제1 구성 및 제2 구성에 따르면, 복수의 카메라들(1120) 각각은 인쇄회로기판(1110) 상에서 인접하게 배치된 프로세서가 아닌 기능적으로 관련된 프로세서에 전기적으로 연결되도록 구성될 수 있다. 예를 들어, 인쇄회로기판(1110)을 사분면(quadrant)으로 나눈다고 가정하였을 때, 제2 사분면(Q2)에 포함된 제1 카메라(1120-1), 제2 카메라(1120-2), 제15 카메라(1120-15), 및 제16 카메라(1120-16)는 가장 인접한 제1 좌측 프로세서(1141)에 연결되지 않고, 각각 다른 프로세서에 연결될 수 있다. 즉, 인쇄회로기판(1110)은, 인터페이스들의 복잡성(complexity), 및 그에 따른 설계/공정 상의 어려움에도 불구하고, 카메라들(1120)들 각각이 기능적으로 관련된 프로세서에 전기적으로 연결될 수 있는 인터페이스들을 포함할 수 있다.
따라서(Accordingly), 본 개시의 다양한 실시 예에 따르는 카메라 시스템(1100)은, 획득하고자 하는 이미지의 종류(예: 2D 파노라마 뷰, 2D 또는 3D의 전방향 이미지 등)에 따라, 관련된 프로세서(예: 1141, 1142, 1151, 또는 1152)에 대한 제어 만이 필요로 할 수 있다. 즉, 본 개시의 다양한 실시 예에 따르는 복수의 카메라들(1120)과 프로세서들(1140, 1150) 간의 연결구성(예: 제1 구성, 제2 구성)을 포함하는 카메라 시스템(1100)은 영상 처리를 위한 연산, 전력 관리의 측면에서 효율적인 운영이 가능할 수 있다.
다만 실시 예가 상술한 바에 한정되는 것은 아니며, 복수의 카메라들(1120)과 프로세서들 간의 연결은, 복수의 카메라들(1120)의 개수, 복수의 카메라들(1120)로부터 획득되는 이미지들의 종류, 및 프로세서들의 개수, 프로세서의 배치 등, 다양한 설계 요소에 의해 재구성 될 수 있다.
이하, 도 11b를 참조하여 본 개시의 다양한 실시 예에 따르는 카메라 시스템(1100)을 다른 측면(another aspect)에서 설명하기로 한다. 일 실시 예에 따르면, 인쇄회로기판(1110)은 둘레를 따라 일정 간격의 복수의 돌출부(1113)들을 포함할 수 있다. 복수의 카메라들(1120)은 돌출부(1113)들 사이의 영역에 서로 인접한 카메라 쌍을 가지도록 배열될 수 있다. 돌출부(1113)들 사이의 영역은 오목부(1114)로 정의될 수 있다. 예를 들어, 제1 카메라(1120-1) 및 제2 카메라(1120-2)는 제1 오목부(1114-1)에 배치될 수 있다. 제3 카메라(1120-3) 및 제4 카메라(1120-4)는 제1 오목부(1114-1)에 인접한 제2 오목부(1114-2)에 배치될 수 있다. 제5 카메라(1120-5) 및 제6 카메라(1120-6)는 제2 오목부(1114-2)에 인접한 제3 오목부(1114-2)에 배치될 수 있다.
제1 카메라(1120-1)와 제2 카메라(1120-2)는 광축(또는 오리엔테이션)이 상호 특정 각도(┍)의 간격으로 교차하도록 배치될 수 있다. 다시 말하면, 제1 카메라(1120-1) 및 제2 카메라(1120-2)는 실질적으로 대부분의 영역이 중첩되는 시야(FOV)를 다른 각도에서 촬영할 수 있다. 제1 카메라(1120-1)와 제4 카메라(1120-4)는 각각의 광축이 실질적으로 평행하도록 배치될 수 있다. 제1 카메라(1120-1)와 제4 카메라(1120-4)는 각각 좌안 및 우안에 해당하는 이미지를 획득하는 스테레오스코픽 쌍을 구성할 수 있다. 일 실시 예에 따르면 특정 각도(┍)가 45▲인 경우, 제1 카메라(1120-1) 및 제5 카메라(1120-5)의 광축은 실질적으로 직교(90▲)를 이룰 수 있다. 나머지 제6 카메라(1120-6) 내지 제16 카메라(1120-16)도 상술한 배치 관계에 따라 인쇄회로기판(1110)에 배치될 수 있다.
일 실시 예에 따르면, 카메라 시스템(1100)은 인쇄회로기판(1110)에 배치된 복수의 프로세서들(1141, 1142, 1151, 1152)을 포함할 수 있다. 복수의 프로세서들은 복수의 카메라들(1120)과 함께 인쇄회로기판(1110)의 일 면에 배치될 수 있다. 일 실시 예에 따르면, 제1 프로세서(1141)는 인쇄회로기판(1110)에서 제1 카메라(1120-1) 및 제2 카메라(1120-2)와 인접한 영역에 배치될 수 있다. 제2 프로세서(1151)는 인쇄회로기판(1110)에서 제3 카메라(1120-3) 및 제4 카메라(1120-4)와 인접한 영역에 배치될 수 있다.
일 실시 예에 따르면, 제1 카메라(1120-1)는 제1 프로세서(1141)에 전기적으로 연결되고 제4 카메라(1120-4)는 제2 프로세서(1151)에 전기적으로 연결될 수 있다. 제2 카메라(1120-2)는 인접한 제1 프로세서(1141)가 아닌 제2 프로세서(1151)에 전기적으로 연결될 수 있다. 또한, 제3 카메라(1120-3)는 인접한 제2 프로세서(1151)가 아닌 제1 프로세서(1141)에 전기적으로 연결될 수 있다. 제5 카메라(1120-5) 및 제7 카메라(1120-7)도 인접한 프로세서들(1151 또는 1152)이 아닌 제1 프로세서(1141)에 전기적으로 연결될 수 있다. 예를 들어, 제1 프로세서(1141)는 제1 지정된 인터페이스들(1112-1)에 의해 복수의 카메라들(예: 1120-1, 1120-3, 1120-5, 1120-7)과 연결될 수 있다. 제2 프로세서(1151)는 제2 지정된 인터페이스들(1112-3)에 의해 복수의 카메라들(예: 1120-2, 1120-4, 1120-6, 1120-8)과 연결될 수 있다. 제3 프로세서(1142)는 제3 지정된 인터페이스들(1112-2)에 의해 복수의 카메라들(예: 1120-9, 1120-11, 1120-13, 1120-15)과 연결될 수 있다. 제4 프로세서(1152)는 제4 지정된 인터페이스들(1112-4)에 의해 복수의 카메라들(예: 1120-10, 1120-12, 1120-14, 1120-16)과 연결될 수 있다.
따라서, 본 개시의 다양한 실시 예에 따르는 카메라 시스템(1100)은 제1 프로세서(1141)에 대한 제어만으로 2D의 파노라마 뷰(A-A')를 획득할 수 있다. 카메라 시스템(1100)은 제1 프로세서(1141) 및 제2 프로세서(1142)에 대한 제어만으로 3D의 파노라마 뷰(A-A')를 획득할 수 있다. 카메라 시스템(1100)은 제1 프로세서(1141) 및 제4 프로세서(1152)에 대한 제어만으로 2D의 전 방향 뷰를 획득할 수 있다. 카메라 시스템(1100)은 모든 프로세서들(1141, 1142, 1151, 1152)에 대한 제어로 3D의 전 방향 뷰를 획득할 수 있다. 즉, 복수의 카메라들(1120) 각각은 인쇄회로기판(1110) 상에서 인접하게 배치된 프로세서가 아닌 기능적으로 관련된 프로세서에 전기적으로 연결되도록 구성될 수 있다.
일 실시 예에 따르면 인쇄회로기판(1110)은, 복수의 인터페이스들 간의 간섭을 방지하기 위하여, 다층 인쇄회로기판(multilayer printed circuit board)으로 구현될 수 있다. 다른 실시 예에 따르면 카메라와 프로세서간의 전기적 연결은, 인쇄회로기판(1110)에 형성된 도전성 패턴, 가요성 인쇄회로기판(flexible printed circuit board, FPCB), 및 와이어링 중 적어도 하나 또는 둘 이상의 조합으로도 구성될 수 있다. 즉, 인쇄회로기판(1110)은, 인터페이스들의 복잡성(complexity), 및 그에 따른 설계/공정 상의 어려움에도 불구하고, 카메라들(1120)들 각각이 기능적으로 관련된 프로세서에 전기적으로 연결될 수 있는 인터페이스들을 포함할 수 있다.
도 12은 다양한 실시 예에 따른 인쇄회로기판의 다른 예를 나타내는 평면도이다. 도 12를 참조하면, 카메라 시스템(1200)은, 인쇄회로기판(1210), 인쇄회로기판(1210) 상에 실장된 프로세서(1220)를 포함할 수 있다. 도 12의 인쇄회로기판(1110)은 도 5에서 설명된 인쇄회로기판(530)과 적어도 일부 동일 또는 유사할 수 있다.
일 실시 예에 따르면, 카메라 시스템(1200)에 포함된 탑 카메라(1230)는 프로세서(1220)에 동작적으로 및 전기적으로 연결 될 수 있다. 프로세서(1220)는 연결된 탑 카메라(1230)로부터 획득한 전기적 밝기 신호를 디지털 이미지로 인코딩(또는, 이미지 프로세싱)할 수 있다. 따라서 프로세서(1220)는 이미지 프로세서로 지칭될 수 있다. 일 실시 예에 따르면, 프로세서(1220)는 FPGA(field programmable gate array)를 포함하고, 이를 통해 탑 카메라(1230)와 동작적으로 및 전기적으로 연결될 수 있다.
일 실시 예에 따르면, 프로세서(1220)는 카메라 시스템(1200)은 탑 카메라(1230)로부터 획득한 이미지의 처리뿐만 아니라, 메인 프로세서(예: 도 3의 310)로서 동작할 수 있다. 프로세서(1220)는 소프트웨어(예: 프로그램 또는 명령어 등)를 구동하여 프로세서(1220), 전자 장치(예: 도 3의 300)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 예를 들어, 프로세서(1220)는, 다른 프로세서들(예: 도 11의 1141, 1142, 1151, 1152)으로부터 다른 카메라들(예: 도 11의 1120)로부터 획득한 이미지 데이터를 수신 받고, 탑 카메라(1230)로부터 획득한 이미지 데이터를 결합할 수 있다. 즉, 프로세서(1220)는, 카메라 시스템(1200)이 획득하는 이미지 데이터를 총괄하여 운영할 수 있다. 다만, 실시 예가 이에 국한되는 것은 아니며, 프로세서(1220) 및 다른 프로세서들(예: 도 11의 1141, 1142, 1151, 1152)의 개수 및 연산 처리 방법은 임의의 적절한 구성으로 이뤄질 수 있다. 예를 들어, 프로세서(1220)가 다른 카메라들(예: 도 11의 1120)로 부터 직접 획득된 이미지 데이터를 수신받고, 탑 카메라(1230)로부터 획득한 이미지 데이터를 수신받아 통합하여 처리할 수 있다. 프로세서들의 구성에 대하여 구체적으로 후술하기로 한다.
일 실시 예에 따르면, 프로세서(1220)는 적어도 하나의 통신 인터페이스(예: 도 3의 340)를 포함할 수 있다. 프로세서(1220)는, 통신 인터페이스를 이용하여 다른 프로세서들(예: 도 11의 1141, 1142, 1151, 1152) 중 적어도 하나와, 이미지 데이터 수신을 위해, 연결될 수 있으며, 또는, 이미지 데이터 송신을 위해, 통신 인터페이스와 연결될 수 있다. 일 실시 예에 따르면 프로세서(1220)와 다른 프로세서들과의 연결은 인쇄회로기판(1210)에 형성된 비아 홀(via hole), 도전성 패턴, 와이어링, 및 케이블 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르는 프로세서(1220)가 다른 프로세서들 및/또는 인터페이스들에 연결되는 구성은 후술하여 구체적으로 설명하기로 한다.
도 13a 내지 도 13c는 다양한 실시 예에 따르는 복수의 카메라들과 인쇄회로기판의 배치구조의 예들을 도시한다.
도 13a를 참조하면, 일 실시 예에 따르는 카메라 시스템(1300)은 양면 인쇄회로기판(double(both)-side printed circuit board)를 포함할 수 있다. 인쇄회로기판(1310)의 상면(1311)에는 탑 카메라(1320)(또는, 도 5의 541)와 연결된 프로세서가 실장 될 수 있다. 인쇄회로기판(1310)의 배면(1312)에는 복수의 측면 카메라들(1330)(또는, 도 5의 542)이 인쇄회로기판(1310)의 주변을 따라 배치될 수 있고, 복수의 측면 카메라들(1330)과 연결된 적어도 하나의 프로세서가 실장 될 수 있다. 여기에서, 인쇄회로기판(1310)의 상면(1311)은 도 12에 개시된 인쇄회로기판(1210)으로 구성될 수 있으며, 하 면(1312)은 도 11에 개시된 인쇄회로기판(1110)으로 구성될 수 있다. 따라서, 카메라 시스템(1300)은, 양면 인쇄회로기판을 포함함으로써, 카메라 시스템(1300)의 두께 감소(슬림화) 효과를 가질 수 있다.
도 13b를 참조하면, 일 실시 예에 따르는 카메라 시스템(1300)은 복수의 단면 인쇄회로기판(single(one)-side printed circuit board)를 포함할 수 있다. 예를 들어, 카메라 시스템(1300)은 제1 인쇄회로기판(1310) 및 제1 인쇄회로기판(1310)과 복층 구조(duplex)를 형성하는 제2 인쇄회로기판(1340)을 포함할 수 있다. 제2 인쇄회로기판(1340)에는, 탑 카메라(1320)와 연결된 프로세서가 실장 될 수 있다. 제1 인쇄회로기판(1310)에는, 복수의 측면 카메라들(1330)이 제2 인쇄회로기판(1310)의 주변을 따라 배치될 수 있고, 복수의 측면 카메라들(1330)과 연결된 적어도 하나의 프로세서가 실장 될 수 있다. 여기에서, 제2 인쇄회로기판(1340)은 도 12에 개시된 인쇄회로기판(1210)으로 구성될 수 있으며, 제1 인쇄회로기판(1310)은 도 11에 개시된 인쇄회로기판(1110)으로 구성될 수 있다.
도 13c를 참조하면, 일 실시 예에 따르는 카메라 시스템(1300)은 인쇄회로기판(1310) 및 인쇄회로기판(1310) 상에 배치되는 지지체(supporter)(1350)를 포함할 수 있다. 복수의 측면 카메라들(1330)은, 인쇄회로기판(1310)의 둘레를 따라 배치될 수 있으며, 탑 카메라(1320)는 인쇄회로기판(1310) 상의, 지지체(1350)에 배치될 수 있다. 지지체(1350)는 탑 카메라(1320)가 고정 결합할 수 있다. 지지체(1350)는 탑 카메라(1320)가 안정적으로 고정될 수 있도록 임의의 적절한 구조를 가질 수 있다. 인쇄회로기판(1310)은 탑 카메라(1320) 및 복수의 측면 카메라들(1330)과 연결된 적어도 하나의 프로세서들을 실장 할 수 있다.
도 13a 내지 13c에 개시된 실시 예에 한정되는 것은 아니며, 인쇄회로기판은 탑 카메라, 복수의 측면 카메라들, 카메라들과 연결된 적어도 하나의 프로세서가 실장 될 수 있는 임의의 적절한 구조를 가질 수 있다.
도 14는 다양한 실시예들에 따라 전력을 제어하는 장치의 기능적 구성의 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 14를 참조하면, 장치(300)는 제1 프로세서(310-1), 제2 프로세서(310-2), 제3 프로세서(310-3), 제1 카메라(330-1), 제2 카메라(330-2), 제1 PMIC(350-1), 제2 PMIC(350-2), 및 제3 PMIC(350-3)를 포함할 수 있다.
제1 프로세서(310-1)는 장치(300)의 전반적인 동작을 제어할 수 있다. 제1 프로세서(310-1)는 장치(300)의 다른 구성요소(예: 제2 프로세서(310-2), 제3 프로세서(310-3), 제2 PMIC(350-2), 제3 PMIC(350-3) 등)와 동작적으로 연결됨으로써 장치(300)의 전반적인 동작을 제어할 수 있다.
제2 프로세서(310-2)는 제1 카메라(330-1)와 동작적으로 연결될 수 있다. 제2 프로세서(310-2)는 제1 카메라(330-1)를 통해 이미지를 획득할 수 있다. 제2 프로세서(310-2)는 상기 획득된 이미지를 인코딩할 수 있다. 제2 프로세서(310-2)는 상기 획득된 이미지를 인코딩함으로써, 인코딩 데이터를 생성할 수 있다. 제2 프로세서(310-2)는 상기 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다.
제2 프로세서(310-2)는 제2 PMIC(350-2)와 동작적으로 연결될 수 있다. 제2 프로세서(310-2)는 제2 PMIC(350-2)로부터 제공되는 파워에 기반하여 동작할 수 있다.
제3 프로세서(310-3)는 제2 카메라(330-2)와 동작적으로 연결될 수 있다. 제3 프로세서(310-3)는 제2 카메라(330-2)를 통해 이미지를 획득할 수 있다. 제3 프로세서(310-3)는 상기 획득된 이미지를 인코딩할 수 있다. 제3 프로세서(310-3)는 상기 획득된 이미지를 인코딩함으로써, 인코딩 데이터를 생성할 수 있다. 제3 프로세서(310-3)는 상기 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다.
제3 프로세서(310-3)는 제3 PMIC(350-3)와 동작적으로 연결될 수 있다. 제3 프로세서(310-3)는 제3 PMIC(350-3)로부터 제공되는 파워에 기반하여 동작할 수 있다.
제1 프로세서(310-1), 제2 프로세서(310-2), 및 제3 프로세서(310-3) 각각은 도 3에 도시된 프로세서(310)에 상응할 수 있다.
제1 카메라(330-1)는 제2 프로세서(310-2)와 동작적으로 연결될 수 있다. 제1 카메라(330-1)는 제1 방향으로 향하도록 구성될 수 있다. 제1 카메라(330-1)는 제1 광축(예: 도 7의 711L)을 가질 수 있다. 제1 카메라(330-1)는 제1 FOV(또는 제1 AOV(angle of view)를 가질 수 있다. 제1 카메라(330-1)를 통해 획득되는 이미지와 관련된 광학적 데이터(optical data)는 제2 프로세서(310-2)에게 제공될 수 있다.
제2 카메라(330-2)는 제3 프로세서(310-3)와 동작적으로 연결될 수 있다. 제2 카메라(330-2)는 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성될 수 있다. 제2 카메라(330-2)는 제2 광축(예: 도 7의 711R)을 가질 수 있다. 제2 카메라(330-2)는 상기 제1 FOV와 일부 중첩되는 제2 FOV를 가질 수 있다. 제2 카메라(330-2)는 상기 제1 방향에 상응하는 상기 제2 방향으로 향하도록 구성되고, 상기 제1 FOV와 일부 중첩되는 상기 제2 FOV를 가지기 때문에, 제2 카메라(330-2)는, 제1 카메라(330-1)와 비교하여(relative to), 사람(human)의 좌안(left eye)과 같은 기능을 수행할 수 있다. 달리 표현하면, 제1 카메라(330-1)는, 제2 카메라(330-2)와 비교하여, 사람의 우안(right eye)과 같은 기능을 수행할 수 있다. 다시 말해, 제2 카메라(330-2)를 통해 획득되는 이미지만을 이용하는 경우에서 최종 이미지는 2D 이미지일 수 있으며, 제1 카메라를 통해 획득되는 이미지 및 제2 카메라를 통해 획득되는 이미지 모두를 이용하는 경우에서 최종 이미지는 3D 이미지일 수 있다. 제2 카메라(330-2)를 통해 획득되는 이미지와 관련된 광학적 데이터는 제3 프로세서(310-3)에게 제공될 수 있다.
제1 카메라(330-1) 및 제2 카메라(330-2) 각각은 도 3에 도시된 카메라(330)에 상응할 수 있다. 제1 카메라(330-1) 및 제2 카메라(330-2) 각각은, 복수의 카메라들의 그룹(group) 또는 집합(set)으로 구성될 수 있다.
제1 PMIC(350-1)는 제1 프로세서(310-1)에게 파워를 제공하도록 구성될 수 있다. 제2 PMIC(350-2)는 제2 프로세서(310-2)에게 파워를 제공하도록 구성될 수 있다. 제3 PMIC(350-3)는 제3 프로세서(310-3)에게 파워를 제공하도록 구성될 수 있다. 제1 PMIC(350-1), 제2 PMIC(350-2), 및 제3 PMIC(350-3) 각각은 도 3에 도시된 PMIC(350)에 상응할 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는 장치의 모드(또는 동작 모드)에 기반하여 제2 PMIC(350-2)를 제어할 수 있다. 상기 장치의 모드는, 생성될 이미지의 속성에 따라 변경될 수 있다. 예를 들면, 상기 장치의 모드는, 2D(two-dimensional space) 이미지를 생성하기 위한 제1 모드, 3D 이미지를 생성하기 위한 제2 모드를 포함할 수 있다. 상기 최종 이미지는, 전방향 이미지, 파노라마 이미지 등을 포함할 수 있다. 다양한 실시예들에서, 상기 장치의 모드는, 사용자 입력에 기반하여 변경될 수 있다. 예를 들면, 제1 프로세서(310-1)는 도 3에 도시된 입력 장치(370)를 통해 수신되는 사용자 입력에 기반하여 상기 장치의 모드를 변경할 수 있다. 다양한 실시예들에서, 상기 장치의 모드는, 장치(300)에 포함된 배터리의 상태에 기반하여 변경될 수 있다. 예를 들면, 제1 프로세서(310-1)는, 상기 배터리의 잔여량이 기준값 이하임을 확인하는 것에 응답하여, 상기 장치의 모드를 상기 제2 모드에서 상기 제1 모드로 변경할 수 있다. 상기 기준값은, 고정된 값일 수도 있고, 변경 가능한 값일 수도 있다. 상기 기준값이 변경 가능한 값으로 구성되는(configured with) 경우, 상기 기준값은 사용자 입력 또는 사용자 선택에 기반하여 변경될 수 있다.
상기 장치(300)가 상기 제1 모드에서 동작하는 경우, 제1 카메라(330-1) 및 제2 카메라(330-2) 중 제1 카메라(330-1)의 동작은 요구되지 않을 수 있다. 달리 표현하면, 상기 장치(300)가 상기 제1 모드에서 동작하는 경우, 제2 프로세서(310-2) 및 제3 프로세서(310-3) 중 제2 프로세서(310-2)의 동작은 요구되지 않을 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 장치(300)가 상기 제1 모드에서 동작하는 것에 기반하여 제1 카메라(330-1)를 통해 이미지를 획득하는 것을 제어하는 제2 프로세서(310-2)로의 파워 공급을 차단(또는 제한(restrict))할 수 있다. 상기 파워 공급의 차단을 위해, 제1 프로세서(310-1)는 제2 PMIC(350-2)에게 제1 제어 신호를 송신할 수 있다. 파워 공급이 차단된 제2 프로세서(310-2)는 동작을 개시(또는 재개)하기 위한 부팅(booting)이 요구되는 상태로 전환될 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 장치(300)가 상기 제1 모드에서 동작하는 것에 기반하여 제1 카메라(330-1)를 통해 이미지를 획득하는 것을 제어하는 제2 프로세서(310-2)에 정상 파워보다 낮은 파워가 공급되도록 제2 PMIC(350-2)를 제어할 수 있다. 상기 정상 파워보다 낮은 파워를 제공 받는 제2 프로세서(310-2)는 동작을 개시하기 위한 부팅이 요구되지 않는 상태로 전환될 수 있다. 다시 말해, 상기 정상 파워보다 낮은 파워를 제공 받는 제2 프로세서(310-2)는 슬립 상태(또는 대기 상태(standby state))로 전환될 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 장치(300)가 상기 제2 모드에서 동작하는 것에 기반하여 제1 카메라(330-1)를 통해 이미지를 획득하는 것을 제어하는 제2 프로세서(310-2)로의 파워 공급(또는 정상 파워 공급)을 재개할 수 있다. 상기 파워 공급의 재개를 위해, 제1 프로세서(310-1)는 제2 PMIC(350-2)에게 제2 제어 신호를 송신할 수 있다. 상기 파워가 공급되거나 재개되는 경우, 제2 프로세서(310-2)는 제1 카메라(330-1)를 제어할 수 있거나 제1 카메라(330-1)를 통해 획득되는 이미지를 인코딩할 수 있는 활성 상태에서 동작할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)에서, 사람의 양안에 상응하는 기능을 수행하기 위한 카메라들의 쌍에 포함된 복수의 카메라들(예: 제1 카메라(330-1) 및 제2 카메라(330-2)) 중 사람의 한쪽 눈에 상응하는 기능을 수행하기 위한 카메라(예: 제2 카메라(330-2))와 연결되는 프로세서(예: 제3 프로세서(310-3))는 사람의 양안에 상응하는 기능을 수행하기 위한 카메라들의 쌍에 포함된 복수의 카메라들(예: 제1 카메라(330-1) 및 제2 카메라(330-2)) 중 사람의 다른쪽 눈에 상응하는 기능을 수행하기 위한 다른 카메라(예: 제1 카메라(330-1))와 연결되는 프로세서(예: 제2 프로세서(310-2))와 분리될 수 있다. 이러한 분리로 인하여, 다양한 실시예들에 따른 장치(300)는, 장치(300)의 모드에 따라 복수의 프로세서들(예: 제2 프로세서(310-2) 및 제3 프로세서(310-3))의 상태를 개별적으로 제어할 수 있다. 이러한 프로세서들의 개별적 제어를 통해 다양한 실시예들에 따른 장치(300)는 파워 소모를 감소시킬 수 있다. 예를 들면, 다양한 실시예들에 따른 장치(300)는, 2D 이미지를 생성하기 위한 상기 제1 모드에서, 제2 프로세서(310-2)에게 제공되는 파워를 차단하거나 제2 프로세서(310-2)에게 정상 파워보다 낮은 파워를 제공함으로써, 이미지 획득을 위해 소모되는 파워를 감소시킬 수 있다.
도 15는 다양한 실시예들에 따라 전력을 제어하는 장치의 기능적 구성의 다른 예를 도시한다. 이러한 기능적 구성은, 도 3에 도시된 장치(300)에 포함될 수 있다. 도 16은 다양한 실시예들에 따른 장치에 의해 획득되는 복수의 이미지들의 예를 도시한다.
도 15를 참조하면, 장치(300)는 복수의 프로세서들(제1 프로세서(310-1) 내지 제5 프로세서(310-5)), 복수의 카메라들(제1 카메라(330-1) 내지 제 17 카메라(330-17)), 복수의 PMIC들(제1 PMIC(350-1) 내지 제5 PMIC(350-5)), 및 배터리 1500을 포함할 수 있다.
제1 프로세서(310-1)는 장치(300)의 전반적인 동작을 제어할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는, 다른 프로세서(예: 제2 프로세서(310-2), 제3 프로세서(310-3), 제4 프로세서(310-4), 제5 프로세서(310-5) 등)와 동작적으로 연결됨으로써, 상기 다른 프로세서와 연동될 수 있다. 예를 들면, 제1 프로세서(310-1)는 상기 다른 프로세서와 연결된 적어도 하나의 카메라를 통해 획득된 이미지에 대한 인코딩 데이터를 상기 다른 프로세서로부터 수신할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는, 다른 프로세서와 동작적으로 연결된 PMIC(예: 제2 PMIC(350-2), 제3 PMIC(350-3), 제4 PMIC(350-4), 제5 PMIC(350-5) 등)와 동작적으로 연결됨으로써, 상기 다른 프로세서의 상태를 변경할 수 있다. 예를 들면, 제1 프로세서(310-1)는 상기 다른 프로세서에 제공되는 파워를 차단하도록 상기 다른 프로세서와 동작적으로 연결된 PMIC를 제어할 수 있다. 다른 예를 들면, 제1 프로세서(310-1)는 상기 다른 프로세서로의 파워의 공급을 재개하도록 상기 다른 프로세서와 동작적으로 연결된 PMIC를 제어할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는, 제17 카메라(330-17)와 동작적으로 연결됨으로써, 제17 카메라(330-17)를 통해 이미지를 획득할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 배터리(1500)로부터 제1 PMIC(350-1)를 통해 파워를 제공받을 수 있다.
제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각은, 제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각과 연결된 복수의 카메라들을 통해 이미지를 획득할 수 있다. 제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각은 상기 획득된 이미지에 대한 인코딩 데이터를 생성할 수 있다. 제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각은, 배터리(1500)로부터 제2 PMIC(350-2) 내지 제5 PMIC(350-5) 각각을 통해, 파워를 제공받을 수 있다.
제1 프로세서(310-1) 내지 제5 프로세서(310-5)는 도 2에 도시된 프로세서(310)에 상응할 수 있다.
제1 카메라(330-1), 제3 카메라(330-3), 제5 카메라(330-5), 제7 카메라(330-7) 각각은 제2 프로세서(310-2)에 동작적으로 연결될 수 있다.
제1 카메라(330-1)는 제1 방향으로 향하도록 구성될 수 있으며, 제1 FOV를 가질 수 있다. 제1 카메라(330-1)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제1 카메라(330-1)는 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성되며, 상기 제1 FOV와 일부 중첩되는 제2 FOV를 가지는 제2 카메라(330-2)와 함께 카메라들의 제1 쌍을 구성할 수 있다. 상기 제2 카메라(330-2)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제2 카메라(330-2)는 제2 프로세서(310-2)와 구별되는 제3 프로세서(310-3)에 동작적으로 연결될 수 있다.
제3 카메라(330-3)는 제3 방향으로 향하도록 구성될 수 있으며, 제3 FOV를 가질 수 있다. 제3 카메라(330-3)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제3 카메라(330-3)는 상기 제3 방향에 상응하는 제4 방향으로 향하도록 구성되며, 상기 제3 FOV와 일부 중첩되는 제4 FOV를 가지는 제4 카메라(330-4)와 함께 카메라들의 제2 쌍을 구성할 수 있다. 상기 제4 카메라(330-4)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제4 카메라(330-4)는 제2 프로세서(310-2)와 구별되는 제3 프로세서(310-3)에 동작적으로 연결될 수 있다.
제5 카메라(330-5)는 제5 방향으로 향하도록 구성될 수 있으며, 제5 FOV를 가질 수 있다. 제5 카메라(330-5)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제5 카메라(330-5)는 상기 제5 방향에 상응하는 제6 방향으로 향하도록 구성되며, 상기 제5 FOV와 일부 중첩되는 제6 FOV를 가지는 제6 카메라(330-6)와 함께 카메라들의 제3 쌍을 구성할 수 있다. 상기 제6 카메라(330-6)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제6 카메라(330-6)는 제2 프로세서(310-2)와 구별되는 제3 프로세서(310-3)에 동작적으로 연결될 수 있다.
제7 카메라(330-7)는 제7 방향으로 향하도록 구성될 수 있으며, 제7 FOV를 가질 수 있다. 제7 카메라(330-7)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제7 카메라(330-7)는 상기 제7 방향에 상응하는 제8 방향으로 향하도록 구성되며, 상기 제7 FOV와 일부 중첩되는 제8 FOV를 가지는 제8 카메라(330-8)와 함께 카메라들의 제4 쌍을 구성할 수 있다. 상기 제8 카메라(330-8)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제8 카메라(330-8)는 제2 프로세서(310-2)와 구별되는 제3 프로세서(310-3)에 동작적으로 연결될 수 있다.
제9 카메라(330-9), 제11 카메라(330-11), 제13 카메라(330-13), 제15 카메라(330-15) 각각은 제4 프로세서(310-4)에 동작적으로 연결될 수 있다.
제9 카메라(330-9)는 제9 방향으로 향하도록 구성될 수 있으며, 제9 FOV를 가질 수 있다. 제9 카메라(330-9)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제9 카메라(330-9)는 상기 제9 방향에 상응하는 제10 방향으로 향하도록 구성되며, 상기 제9 FOV와 일부 중첩되는 제10 FOV를 가지는 제10 카메라(330-10)와 함께 카메라들의 제5 쌍을 구성할 수 있다. 상기 제10 카메라(330-10)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제10 카메라(330-10)는 제4 프로세서(310-4)와 구별되는 제5 프로세서(310-5)에 동작적으로 연결될 수 있다.
제11 카메라(330-11)는 제11 방향으로 향하도록 구성될 수 있으며, 제11 FOV를 가질 수 있다. 제11 카메라(330-11)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제11 카메라(330-11)는 상기 제11 방향에 상응하는 제12 방향으로 향하도록 구성되며, 상기 제11 FOV와 일부 중첩되는 제12 FOV를 가지는 제12 카메라(330-12)와 함께 카메라들의 제6 쌍을 구성할 수 있다. 상기 제12 카메라(330-12)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제12 카메라(330-12)는 제4 프로세서(310-4)와 구별되는 제5 프로세서(310-5)에 동작적으로 연결될 수 있다.
제13 카메라(330-13)는 제13 방향으로 향하도록 구성될 수 있으며, 제13 FOV를 가질 수 있다. 제13 카메라(330-13)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제13 카메라(330-13)는 상기 제13 방향에 상응하는 제14 방향으로 향하도록 구성되며, 상기 제13 FOV와 일부 중첩되는 제14 FOV를 가지는 제14 카메라(330-14)와 함께 카메라들의 제7 쌍을 구성할 수 있다. 상기 제14 카메라(330-14)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제14 카메라(330-14)는 제4 프로세서(310-4)와 구별되는 제5 프로세서(310-5)에 동작적으로 연결될 수 있다.
제15 카메라(330-15)는 제15 방향으로 향하도록 구성될 수 있으며, 제15 FOV를 가질 수 있다. 제15 카메라(330-15)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제15 카메라(330-15)는 상기 제15 방향에 상응하는 제16 방향으로 향하도록 구성되며, 상기 제15 FOV와 일부 중첩되는 제16 FOV를 가지는 제16 카메라(330-16)와 함께 카메라들의 제8 쌍을 구성할 수 있다. 상기 제16 카메라(330-16)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제16 카메라(330-16)는 제4 프로세서(310-4)와 구별되는 제5 프로세서(310-5)에 동작적으로 연결될 수 있다.
전방향 이미지를 생성하기 위해, 상기 제1 FOV는, 상기 제3 FOV와 일부 중첩되고, 상기 제15 FOV와 일부 중첩되며, 상기 제2 FOV는, 상기 제4 FOV와 일부 중첩되고, 상기 제16 FOV와 일부 중첩되며, 상기 제3 FOV는, 상기 제1 FOV와 일부 중첩되고, 상기 제5 FOV와 일부 중첩되며, 상기 제4 FOV는, 상기 제2 FOV와 일부 중첩되고, 상기 제6 FOV와 일부 중첩되며, 상기 제5 FOV는, 상기 제3 FOV와 일부 중첩되고, 상기 제7 FOV와 일부 중첩되며, 상기 제6 FOV는, 상기 제4 FOV와 일부 중첩되고, 상기 제8 FOV와 일부 중첩되며, 상기 제7 FOV는, 상기 제5 FOV와 일부 중첩되고, 상기 제9 FOV와 일부 중첩되며, 상기 제8 FOV는, 상기 제6 FOV와 일부 중첩되고, 상기 제10 FOV와 일부 중첩되며, 상기 제9 FOV는, 상기 제7 FOV와 일부 중첩되고, 상기 제11 FOV와 일부 중첩되며, 상기 제10 FOV는, 상기 제8 FOV와 일부 중첩되고, 상기 제12 FOV와 일부 중첩되며, 상기 제11 FOV는, 상기 제9 FOV와 일부 중첩되고, 상기 제13 FOV와 일부 중첩되며, 상기 제12 FOV는, 상기 제10 FOV와 일부 중첩되고, 상기 제14 FOV와 일부 중첩되며, 상기 제13 FOV는, 상기 제11 FOV와 일부 중첩되고, 상기 제15 FOV와 일부 중첩되며, 상기 제14 FOV는, 상기 제12 FOV와 일부 중첩되고, 상기 제16 FOV와 일부 중첩되며, 상기 제15 FOV는, 상기 제1 FOV와 일부 중첩되고, 상기 제13 FOV와 일부 중첩되며, 상기 제16 FOV는, 상기 제2 FOV와 일부 중첩되고, 상기 제14 FOV와 일부 중첩될 수 있다.
제17 카메라(330-17)는 제1 프로세서(310-1)와 동작적으로 연결될 수 있다. 제 17 카메라(330-17)는 제17 방향으로 향하도록 구성될 수 있으며, 제17 FOV를 가질 수 있다. 상기 제17 방향은, 상기 제1 방향 내지 상기 제16 방향에 실질적으로 수직할 수 있다. 상기 제17 FOV는, 상기 제1 FOV와 일부 중첩되고, 상기 제2 FOV와 일부 중첩되고, 상기 제3 FOV와 일부 중첩되고, 상기 제4 FOV와 일부 중첩되고, 상기 제5 FOV와 일부 중첩되고, 상기 제6 FOV와 일부 중첩되고, 상기 제7 FOV와 일부 중첩되고, 상기 제8 FOV와 일부 중첩되고, 상기 제9 FOV와 일부 중첩되고, 상기 제10 FOV와 일부 중첩되고, 상기 제11 FOV와 일부 중첩되고, 상기 제12 FOV와 일부 중첩되고, 상기 제13 FOV와 일부 중첩되고, 상기 제14 FOV와 일부 중첩되고, 상기 제15 FOV와 일부 중첩되고, 상기 제16 FOV와 일부 중첩될 수 있다.
제1 카메라(330-1)는 제1 이미지를 획득하기 위해 이용되고, 제2 카메라(330-2)는 제2 이미지를 획득하기 위해 이용되고, 제3 카메라(330-3)는 제3 이미지를 획득하기 위해 이용되고, 제4 카메라(330-4)는 제4 이미지를 획득하기 위해 이용되고, 제5 카메라(330-5)는 제5 이미지를 획득하기 위해 이용되고, 제6 카메라(330-6)는 제6 이미지를 획득하기 위해 이용되고, 제7 카메라(330-7)는 제7 이미지를 획득하기 위해 이용되고, 제8 카메라(330-8)는 제8 이미지를 획득하기 위해 이용되고, 제9 카메라(330-9)는 제9 이미지를 획득하기 위해 이용되고, 제10 카메라(330-10)는 제10 이미지를 획득하기 위해 이용되고, 제11 카메라(330-11)는 제11 이미지를 획득하기 위해 이용되고, 제12 카메라(330-12)는 제12 이미지를 획득하기 위해 이용되고, 제13 카메라(330-13)는 제13 이미지를 획득하기 위해 이용되고, 제14 카메라(330-14)는 제14 이미지를 획득하기 위해 이용되고, 제15 카메라(330-15)는 제15 이미지를 획득하기 위해 이용되고, 제16 카메라(330-16)는 제16 이미지를 획득하기 위해 이용되며, 제17 카메라(330-17)는 제17 이미지를 획득하기 위해 이용될 수 있다.
예를 들어, 도 16을 참조하면, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지는, 사람의 좌안에 상응하는 장면(scene)을 포함할 수 있으며, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지는, 사람의 우안에 상응하는 장면(scene)을 포함할 수 있다. 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지는, 전방향 3D 이미지를 생성하기 위해, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지와 결합될 수 있다. 도 16에 도시하지 않았으나, 상기 제17 이미지는, 상기 제1 이미지 내지 상기 제16 이미지를 보완하기 위해 이용될 수 있다.
다른 예를 들어, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지는, 전방향 2D 이미지를 생성하기 위해 결합될 수 있다. 도 16에 도시하지 않았으나, 상기 제17 이미지는, 상기 전방향 2D 이미지를 생성하기 위해, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지와 결합될 수 있다.
또 다른 예를 들어, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지는, 다른 전방향 2D 이미지를 생성하기 위해 결합될 수 있다. 도 16에 도시하지 않았으나, 상기 제17 이미지는, 상기 다른 전방향 2D 이미지를 생성하기 위해, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지와 결합될 수 있다.
또 다른 예를 들어, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지(또는, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지)는, 파노라마 2D 이미지(즉, 180도 이미지)를 생성하기 위해 결합될 수 있다. 도 16에 도시하지 않았으나, 상기 제17 이미지는, 상기 파노라마 2D 이미지를 생성하기 위해, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지(또는, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지)와 결합될 수 있다.
또 다른 예를 들어, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지(또는, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지)는, 다른 파노라마 2D 이미지를 생성하기 위해 결합될 수 있다. 도 16에 도시하지 않았으나, 상기 제17 이미지는, 상기 다른 파노라마 2D 이미지를 생성하기 위해, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지(또는, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지)와 결합될 수 있다.
제1 PMIC(350-1) 내지 제 5 PMIC(350-5) 각각은, 제1 프로세서(310-1) 내지 제5 프로세서(310-5) 각각에게 파워를 제공하기 위해 이용될 수 있다.
제2 PMIC(350-2) 내지 제5 PMIC(350-5) 각각은, 제1 프로세서(310-1)로부터 송신되는 제어 신호에 기반하여 제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각에게 제공되는 파워를 제어할 수 있다.
배터리(1500)는 장치(300)와 연결되는 파워 공급 장치를 통해 충전될 수 있다. 다시 말해, 배터리(1500)는 충전 가능하도록 구성될 수 있다. 배터리(1500)는 배터리(1500)와 동작적으로 각각 연결된 제1 PMIC(350-1) 내지 제5 PMIC(350-5)에게 파워를 제공할 수 있다. 다양한 실시예들에서, 배터리(1500)는 장치(300)로부터 탈부착 가능하도록 구성될 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는, 장치(300)의 모드를 확인할 수 있다. 상기 장치(300)의 모드는, 사용자 입력에 따라 변경될 수도 있고, 배터리(1500)의 상태에 따라 변경될 수도 있다. 제1 프로세서(310-1)는, 확인된 장치의 모드에 기반하여, 제1 프로세서(310-1)와 다른 프로세서들 중 적어도 하나의 프로세서의 파워와 관련된 상태를 변경할 수 있다.
예를 들면, 제1 프로세서(310-1)는, 장치(300)의 모드가 전방향 2D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 제2 프로세서(310-2) 및 제4 프로세서(310-4)에 제공되는 파워를 각각 차단하도록 제2 PMIC(350-2) 및 제4 PMIC(350-4)를 각각 제어할 수 있다. 제1 프로세서(310-1)는, 장치(300)의 모드가 상기 전방향 2D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 제2 PMIC(350-2) 및 제4 PMIC(350-4) 각각에게 제1 제어 신호를 송신함으로써, 제2 프로세서(310-2) 및 제4 프로세서(310-4)에 제공되는 파워를 각각 차단할 수 있다. 도 16에 도시된 바와 같이, 상기 전방향 2D 이미지를 생성하기 위해 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지의 획득은 요구되지 않을 수 있기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2) 및 제4 프로세서(310-4)에게 제공되는 파워를 차단할 수 있다. 이러한 차단을 통해, 장치(300)는 상기 전방향 2D 이미지의 생성을 위해 요구되는 전력을 감소시킬 수 있다.
다른 예를 들면, 제1 프로세서(310-1)는, 장치(300)의 모드가 파노라마 2D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 제2 프로세서(310-2), 제4 프로세서(310-4), 및 제5 프로세서(310-5)에 제공되는 파워를 각각 차단하도록 제2 PMIC(350-2), 제4 PMIC(350-4), 및 제5 PMIC(350-5)를 각각 제어할 수 있다. 제1 프로세서(310-1)는, 장치(300)의 모드가 상기 파노라마 2D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 제2 PMIC(350-2), 제4 PMIC(350-4), 및 제5 PMIC(350-5) 각각에게 상기 제1 제어 신호를 송신함으로써, 제2 프로세서(310-2), 제4 프로세서(310-4), 및 제5 프로세서(310-5)에게 제공되는 파워를 각각 차단할 수 있다. 도 16에 도시된 바와 같이, 상기 파노라마 2D 이미지를 생성하기 위해 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제10 이미지, 상기 제11 이미지, 상기 제12 이미지, 상기 제13 이미지, 상기 제14 이미지, 상기 제15 이미지, 및 상기 제16 이미지의 획득은 요구되지 않을 수 있기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2), 제4 프로세서(310-4), 및 제5 프로세서(310-5)에게 제공되는 파워를 차단할 수 있다. 이러한 차단을 통해, 장치(300)는 상기 파노라마 2D 이미지의 생성을 위해 요구되는 전력을 감소시킬 수 있다.
또 다른 예를 들면, 제1 프로세서(310-1)는, 장치(300)의 모드가 전방향 3D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 파워의 공급이 차단(또는 중단)된 다른 프로세서(예: 제2 프로세서(310-2), 제4 프로세서(310-4), 제5 프로세서(310-5) 등)로의 파워의 공급을 재개하도록 상기 다른 프로세서와 연결된 PMIC를 제어할 수 있다. 제1 프로세서(310-1)는, 장치(300)의 모드가 상기 전방향 3D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 파워의 공급이 차단된 다른 프로세서와 연결된 PMIC에게 제2 제어 신호를 송신함으로써, 상기 다른 프로세서로의 파워의 공급을 재개할 수 있다. 이러한 파워의 공급의 재개를 통해, 장치(300)는 전방향 3D 이미지의 생성을 위한 복수의 이미지들을 획득할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는, 사람의 한쪽 눈에 상응하는 기능을 수행하는 카메라와 결합되는 프로세서로부터 사람의 다른쪽 눈에 상응하는 기능을 수행하는 카메라와 결합되는 프로세서를 분리함으로써, 복수의 이미지들을 획득하기 위해 소모되는 파워를 감소시킬 수 있다.
도 17은 다양한 실시예들에 따라 전력을 제어하는 장치의 동작의 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 14에 도시된 장치(300), 도 15에 도시된 장치(300), 또는 장치(300)의 구성요소(예: 도 3의 프로세서(310), 도 14의 제1 프로세서(310-1), 또는 도 15의 제1 프로세서(310-1))에 의해 수행될 수 있다.
도 17을 참조하면, 동작 1710에서, 제1 프로세서(310-1)는 장치(300)가 복수의 모드들 중 제1 모드로 동작함을 확인할 수 있다. 제1 프로세서(310-1)는 이미지의 획득을 위해 소모되는 파워를 감소시키기 위하여, 장치(300)가 상기 복수의 모드들 중 상기 제1 모드로 동작함을 확인할 수 있다. 상기 복수의 모드들은, 전방향 2D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드, 전방향 3D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드, 파노라마 2D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드, 및/또는 파노라마 3D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드를 포함할 수 있다. 상기 제1 모드는, 장치(300)가 획득할 수 있는 이미지들 중 일부 이미지의 획득이 요구되지 않는 모드일 수 있다. 예를 들면, 상기 제1 모드는, 전방향 2D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드, 파노라마 2D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드, 및/또는 파노라마 3D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드일 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는, 장치(300)의 입력 장치(370)를 통해 사용자 입력이 검출되는지 여부를 모니터링하거나 장치(300)의 배터리의 상태가 지정된 상태인지 여부를 모니터링함으로써, 장치(300)가 제1 모드로 동작함을 확인할 수 있다.
동작 1720에서, 제1 프로세서(310-1)는 제2 프로세서(310-2)에게 제공되는 파워를 차단하는 것을 제어할 수 있다. 제2 프로세서(310-2)는 상기 제1 모드에서 이용되지 않는 적어도 하나의 카메라(즉, 이미지의 획득이 요구되지 않는 적어도 하나의 카메라)와 동작적으로 연결된 프로세서일 수 있다. 상기 제1 모드에서, 제2 프로세서(310-2)는 이미지를 획득하기 위해 제2 프로세서(310-2)와 연결된 적어도 하나의 카메라를 제어하는 것이 요구되지 않기 때문에, 파워의 공급이 필요하지 않은 프로세서일 수 있다. 파워의 공급이 차단된 제2 프로세서(310-2)는 재활성화를 위해 부팅이 요구될 수 있다. 대안적으로(alternatively), 제1 프로세서(310-1)는, 장치(300)가 상기 제1 모드에서 동작함을 확인하는 것에 응답하여, 제2 프로세서(310-2)에 공급되는 파워를 감소시킬 수 있다. 예를 들면, 제1 프로세서(310-1)는 장치(300)가 상기 제1 모드에서 동작함을 확인하는 것에 응답하여, 정상 파워보다 낮은 파워를 제2 프로세서(310-2)에게 제공할 수도 있다. 제1 프로세서(310-1)는 상기 정상 파워보다 낮은 파워를 제2 프로세서(310-2)에게 제공함으로써, 제2 프로세서(310-2)가 재활성화 되더라도 재차 부팅을 수행하지 않도록 할 수 있다. 다양한 실시예들에 따른 장치(300)에서, 제1 프로세서(310-1)는, 제2 프로세서(310-2)의 빠른 반응 속도(즉, 빠른 상태 전환)이 요구되는 경우, 제2 프로세서(310-2)로의 파워의 공급을 차단하지 않고, 제2 프로세서(310-2)에게 정상 파워보다 낮은 파워를 제공할 수도 있다.
도 18은 다양한 실시예들에 따라 전력을 제어하는 장치 내의 신호 흐름의 예를 도시한다. 이러한 신호 흐름은, 도 3에 도시된 장치(300), 도 14에 도시된 장치(300), 도 15에 도시된 장치(300) 내에서 야기될 수 있다.
도 18을 참조하면, 동작 1810에서, 제1 프로세서(310-1)는 장치(300)가 복수의 모드들 중 제1 모드로 동작함을 확인할 수 있다. 제1 프로세서(310-1)는 장치(300)가 장치(300)가 제공할 수 있는 복수의 촬영 모드(shooting mode)들 중에서 적어도 하나의 프로세서 또는 카메라의 이용(use) (또는 상기 적어도 하나의 프로세서와 연결된 모든 카메라의 이용)을 요구하지 않는 제1 촬영 모드로 동작함을 확인할 수 있다. 상기 적어도 하나의 프로세서는, 제2 프로세서(310-2)를 포함할 수 있다.
동작 1820에서, 제1 프로세서(310-1)는, 제2 프로세서(310-2)로부터 제2 프로세서(310-2)의 상태를 나타내는 신호를 수신할 수 있다. 제1 프로세서(310-1)는, 제1 통신 기법에 기반하여, 제2 프로세서(310-2)로부터 제2 프로세서(310-2)의 상태를 나타내는 신호를 수신할 수 있다. 다양한 실시예들에서, 제2 프로세서(310-2)의 상태를 나타내는 신호는, 제1 프로세서(310-1)의 요청에 응답하여, 제2 프로세서(310-2)로부터 송신될 수 있다. 다양한 실시예들에서, 제2 프로세서(310-2)의 상태를 나타내는 신호는, 지정된(designated) 주기에 기반하여 제2 프로세서(310-2)로부터 송신될 수 있다. 예를 들면, 제2 프로세서(310-2)의 상태를 나타내는 신호는, 제2 프로세서(310-2)에게 정상 파워가 공급되거나 제2 프로세서(310-2)에게 정상 파워보다 낮은 파워가 공급되는 경우, 상기 지정된 주기마다 제2 프로세서(310-2)로부터 송신될 수 있다. 제2 프로세서(310-2)의 상태를 나타내는 신호는 제2 프로세서(310-2)에 파워가 공급되고 있는 중인지 여부를 나타내기 위해 이용될 수 있다. 상기 제1 통신 기법은, GPIO(general purpose input/output)와 관련될 수 있다. 도 18의 도시와 달리, 제2 프로세서(310-2)에 파워가 공급되지 않는 상태인 경우, 제1 프로세서(310-1)는 제2 프로세서(310-2)의 상태를 나타내는 신호의 미수신을 통해 제2 프로세서(310-2)에게 파워가 공급되고 있지 않음을 확인할 수도 있다.
동작 1830에서, 제1 프로세서(310-1)는 제2 프로세서(310-2)의 상태가 활성 상태인지 여부를 확인할 수 있다. 제1 프로세서(310-1)는, 제2 프로세서(310-2)로부터 수신된 제2 프로세서(310-2)의 상태를 나타내는 신호에 기반하여 제2 프로세서(310-2)의 상태가 활성 상태인지 여부를 확인할 수 있다. 제2 프로세서(310-2)의 상태가 활성 상태가 아님을 확인하는 경우(예: 제2 프로세서(310-2)에게 정상 파워보다 낮은 파워가 제공되고 있는 상태인 경우 또는 제2 프로세서(310-2)로의 파워의 공급이 차단되고 있는 상태인 경우), 제1 프로세서(310-1)는 제2 프로세서(310-2)의 상태를 유지할 수 있다. 이와 달리, 제2 프로세서(310-2)의 상태가 활성 상태임을 확인하는 경우, 제1 프로세서(310-1)는 동작 1840을 수행할 수 있다.
동작 1840에서, 제2 프로세서(310-2)의 상태가 활성 상태임을 확인하는 경우, 제1 프로세서(310-1)는 제2 프로세서(310-2)에게 제공되는 파워를 차단하기 위한 제어 신호를 제2 프로세서(310-2)와 동작적으로 연결된 제2 PMIC(350-2)에게 송신할 수 있다. 제1 프로세서(310-1)는, 제2 프로세서(310-2)의 상태가 활성 상태임을 확인하는 것에 응답하여, 제2 프로세서(310-2)에게 제공되는 파워를 차단하기 위한 제어 신호를 제2 통신 기법을 통해 송신할 수 있다. 상기 제2 통신 기법은, SPI(serial peripheral interface)와 관련될 수 있다. 제2 PMIC(350-2)는 제1 프로세서(310-1)로부터 제2 프로세서(310-2)에게 제공되는 파워를 차단하기 위한 제어 신호를 상기 제2 통신 기법을 통해 수신할 수 있다.
동작 1850에서, 제2 PMIC(350-2)는, 상기 제어 신호의 수신에 응답하여, 제2 프로세서(310-2)에게 제공되는 파워를 차단할 수 있다. 제2 PMIC(350-2)는, 제2 프로세서(310-2)의 동작으로 인하여 불필요하게 소비되는 파워를 감소시키기 위하여, 제2 프로세서(310-2)에게 제공되는 파워를 차단할 수 있다.
도 18은 장치(300)가 제1 모드로 동작함을 확인하는 것에 응답하여, 제2 프로세서(310-2)로의 파워의 공급을 차단(또는 중단(cease, terminate))하는 것을 예시하고 있지만, 이는 설명을 위한 예시일 뿐이다. 다양한 실시예들에서, 제1 프로세서(310-1)는 장치(300)가 상기 제1 모드로 동작함을 확인하는 것에 응답하여, 제2 프로세서(310-2)에 제공되는 파워를 감소시키기 위한 제어 신호를 제2 PMIC(350-2)에게 송신할 수도 있다. 제2 프로세서(310-2)에 제공되는 파워를 감소시키기 위한 제어 신호를 수신하는 제2 PMIC(350-2)는 제2 프로세서(310-2)에게 정상 파워보다 낮은 파워를 제공할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)에서, 제1 프로세서(310-1)는 다른 프로세서(예: 제2 프로세서(310-2)) 또는 다른 프로세서와 연결된 PMIC(예: 제2 PMIC(350-2))와의 시그널링을 통해 이미지의 획득을 위해 소모되는 파워의 소모를 감소시킬 수 있다.
도 19는 다양한 실시예들에 따라 전력을 제어하는 장치의 모드 제어 동작의 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 14에 도시된 장치(300), 도 15에 도시된 장치(300), 또는 장치(300)의 구성요소(예: 도 3의 프로세서(310), 도 14의 제1 프로세서(310-1), 또는 도 15의 제1 프로세서(310-1))에 의해 수행될 수 있다.
도 20은 다양한 실시예들에 따른 장치에서 표시되는 사용자 인터페이스(UI, user interface)의 예를 도시한다.
도 19의 동작 1910 내지 동작 1940은 도 17의 동작 1710과 관련될 수 있다.
도 19를 참조하면, 동작 1910에서, 제1 프로세서(310-1)는 장치(300)의 모드를 결정하기 위한 메뉴를 표시할 수 있다. 예를 들어, 도 20을 참조하면, 제1 프로세서(310-1)는, 도 3에 도시된 디스플레이(390)를 통해, 상기 메뉴를 포함하는 사용자 인터페이스(UI, user interface)(2000)를 표시할 수 있다. 상기 메뉴는, 장치(300)에서 이용 가능한(available) 복수의 모드들을 포함할 수 있다. 예를 들면, 상기 메뉴는, 파노라마 이미지를 획득하기 위한 파노라마 모드, 2D 이미지를 획득하기 위한 2D 모드, 3D 이미지를 획득하기 위한 3D 모드를 포함할 수 있다.
상기 메뉴는 다양한 조건들에 기반하여 표시될 수 있다. 예를 들면, 제1 프로세서(310-1)는, 상기 메뉴를 표시하기 위한 사용자의 조작에 기반하여, 상기 메뉴를 표시할 수 있다. 다른 예를 들면, 제1 프로세서(310-1)는, 장치(300)의 부팅(booting)에 기반하여, 상기 메뉴를 표시할 수도 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는, 도 19의 도시와 달리, 장치(300)와 연결된 전자 장치(예: 전자 장치(101))의 디스플레이(예: 표시 장치(160))를 통해 상기 메뉴를 표시할 수도 있다. 이를 위해, 제1 프로세서(310-1)는, 도 3에 도시된 통신 인터페이스(340)를 통해, 상기 메뉴를 표시하기 위한 정보를 상기 전자 장치(101)에게 송신할 수 있다. 상기 전자 장치(101)는, 장치(300)으로부터 수신된 상기 정보에 기반하여, 상기 장치를 위한 어플리케이션(예: 장치(300)를 원격 제어하기 위한 어플리케이션)을 통해 상기 메뉴를 표시할 수 있다.
동작 1920에서, 제1 프로세서(310-1)는 상기 표시된 메뉴에 대한 입력을 검출하는지 여부를 확인할 수 있다. 상기 표시된 메뉴에 대한 입력을 검출하는 경우, 제1 프로세서(310-1)는 동작 1930을 수행할 수 있다. 이와 달리, 상기 표시된 메뉴에 대한 입력을 검출하지 못하는 경우, 제1 프로세서(310-1)는 상기 메뉴를 지속적으로 표시하면서 상기 입력이 검출되는지 여부를 모니터링할 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는, 상기 메뉴가 표시되는 것에 응답하여, 타이머를 구동할 수 있다. 상기 타이머는, 상기 메뉴가 표시되는 시간을 제한하기 위해 이용될 수 있다. 예를 들어, 상기 타이머가 만료될 때까지 상기 표시된 메뉴에 대한 입력이 검출되지 않는 경우, 제1 프로세서(310-1)는 장치(300)가 기본 모드(default mode)에서 동작하도록 제어할 수 있다. 상기 타이머의 길이는, 고정된 값을 가질 수도 있고, 가변 값을 가질 수도 있다. 예를 들면, 상기 타이머의 길이는, 장치(300)의 배터리의 잔여량에 따라 변경될 수 있다. 다른 예를 들면, 상기 타이머의 길이는, 사용자의 설정에 따라 변경될 수 있다.
도 19의 도시와 달리, 상기 메뉴가 전자 장치(101)에서 표시되는 경우, 제1 프로세서(310-1)는, 전자 장치(101)로부터 상기 메뉴에 대한 입력에 관한 정보를 수신할 수 있다.
동작 1930에서, 상기 메뉴에 대한 입력을 검출하는 것에 응답하여, 제1 프로세서(310-1)는 상기 검출된 입력이 상기 복수의 모드들 중 상기 제1 모드를 나타내는 제1 객체에 대한 입력인지 여부를 확인할 수 있다. 상기 제1 모드는, 장치(300)에 포함된 복수의 프로세서들 중 적어도 하나의 프로세서의 구동이 요구되지 않는 모드일 수 있다. 상기 제1 모드는, 상기 복수의 모드들 내의 적어도 하나의 다른 모드보다 낮은 파워 소모가 요구되는 모드일 수 있다. 상기 제1 모드는, 상기 제2 모드 또는 상기 파노라마 모드일 수 있다. 예를 들어, 도 20을 참조하면, 프로세서(310-1)는 상기 검출된 입력이 파노라마 모드를 나타내는 객체 또는 2D 모드를 나타내는 객체에 대한 입력인지 여부를 검출할 수 있다. 상기 검출된 입력이 상기 복수의 모드들 중 상기 제1 모드를 나타내는 상기 제1 객체에 대한 입력임을 확인하는 경우, 제1 프로세서(310-1)는 동작 1940을 수행할 수 있다. 이와 달리, 상기 검출된 입력이 상기 복수의 모드들 중 상기 제1 모드를 나타내는 상기 객체에 대한 입력이 아님을 확인하는 경우, 제1 프로세서(310-1)는 본 알고리즘을 종료할 수 있다.
동작 1940에서, 제1 프로세서(310-1)는 장치(300)가 상기 제1 모드로 동작함을 확인할 수 있다. 제1 프로세서(310-1)는, 장치(300)가 상기 제1 모드로 동작함을 확인하는 것에 기반하여, 상기 제1 모드에서 이미지를 획득하지 않는 적어도 하나의 카메라와 연결된 프로세서의 파워 상태를 변경하기 위한 동작을 수행할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)에서 제1 프로세서(310-1)는 사용자의 입력에 따라 장치(300)의 모드를 결정하고, 결정된 모드에 기반하여 장치(300)에서 이미지의 획득을 위해 소모되는 파워를 감소시킬 수 있다.
도 21은 다양한 실시예들에 따라 전력을 제어하는 장치의 모드 제어 동작의 다른 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 14에 도시된 장치(300), 도 15에 도시된 장치(300), 또는 장치(300)의 구성요소(예: 도 3의 프로세서(310), 도 14의 제1 프로세서(310-1), 또는 도 15의 제1 프로세서(310-1))에 의해 수행될 수 있다.
도 22는 다양한 실시예들에 따른 장치에서 표시되는 사용자 인터페이스의 다른 예를 도시한다.
도 21의 동작 2110 내지 동작 2160은 도 17의 동작 1710과 관련될 수 있다.
도 21을 참조하면, 동작 2110에서, 제1 프로세서(310-1)는 장치(300)가 복수의 모드들 중 제2 모드로 동작함을 확인할 수 있다. 상기 제2 모드는, 장치(300)에 포함된 복수의 카메라들 모두가 이용되는 모드일 수 있다. 예를 들면, 상기 제2 모드는, 전방향 3D 이미지를 생성하기 위한 모드일 수 있다. 상기 제2 모드는, 상기 복수의 모드들에서 상기 제2 모드와 다른 적어도 하나의 모드보다 많은 파워를 소모하는 모드일 수 있다.
동작 2120에서, 제1 프로세서(310-1)는 배터리(1500)의 상태를 모니터링할 수 있다. 예를 들면, 제1 프로세서(310-1)는 상기 제2 모드에 따른 파워 소모를 확인하기 위해, 배터리(1500)의 상태를 모니터링할 수 있다.
동작 2130에서, 제1 프로세서(310-1)는, 모니터링된 배터리(1500)의 상태가 지정된 상태인지 여부를 확인할 수 있다. 상기 지정된 상태는, 배터리(1500)의 전력 상태와 관련될 수 있다. 예를 들면, 상기 지정된 상태는, 배터리(1500)의 잔여량이 기준값 미만인 상태를 포함할 수 있다. 제1 프로세서(310-1)는, 배터리(1500)의 잔여량이 상기 기준값 미만인 경우, 배터리(1500)의 잔여량에 의해 결정되는 장치(300)의 남은 사용 시간과 장치(300)가 복수의 이미지들을 획득하기 위해 이용될 시간(즉, 사용 예상 시간) 사이의 관계를 결정할 수 있다. 제1 프로세서(310-1)는 상기 결정된 관계에 기반하여 상기 제1 모드로의 전환 여부를 결정할 수 있다. 다른 예를 들면, 상기 지정된 상태는, 배터리(1500)의 전력의 감소 속도가 지정된 속도 이상인 상태를 포함할 수 있다. 상기 배터리(1500)의 상태가 상기 지정된 상태가 아닌 경우, 제1 프로세서(310-1)는 배터리(1500)의 상태를 지속적으로 모니터링할 수 있다. 이와 달리, 상기 배터리(1500)의 상태가 상기 지정된 상태인 경우, 제1 프로세서(310-1)는 동작 2140을 수행할 수 있다.
동작 2140에서, 제1 프로세서(310-1)는, 배터리(1500)의 상태가 상기 지정된 상태임을 확인하는 것에 응답하여, 장치(300)의 모드가 상기 제1 모드로 전환됨을 나타내는 메시지를 표시할 수 있다. 상기 제1 모드는, 상기 제2 모드보다 낮은 파워를 소모하는 모드로, 상기 제2 모드에서 이용되는 카메라들의 수보다 작은(또는 상기 제2 모드에서 이용되는 프로세서들의 수보다 작은) 수의 카메라들(또는 프로세서들)을 이용하는 모드일 수 있다. 예를 들어, 도 22를 참조하면, 제1 프로세서(310-1)는, 파워 소모의 감소를 위해 장치(300)의 모드가 상기 제1 모드로 전환됨을 나타내는 메시지를 포함하는 UI(2200)를 표시할 수 있다. UI(2200)는 상기 제1 모드로 전환됨을 나타내는 텍스트(2205)를 포함할 수 있다. UI(2200)는 상기 제1 모드로의 전환까지 남은 시간을 나타내는 타이머(2210)를 포함할 수 있다. 타이머(2210)는 배터리(1500)의 상태가 상기 지정된 상태임을 확인하는 것을 조건으로 구동될 수 있다. 타이머(2210)의 길이는, 고정된 값으로 구성될 수 있다. 타이머(2210)의 길이는, 사용자의 설정 또는 배터리의 상태에 따라 변화될 수도 있다.
동작 2150에서, 제1 프로세서(310-1)는 장치(300)의 모드를 상기 제1 모드로 전환할 수 있다. 제1 프로세서(310-1)는, 배터리(1500)의 상태가 상기 지정된 상태임을 확인하는 것에 기반하여, 장치(300)의 모드를 상기 제1 모드로 전환할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는, 배터리(1500)의 상태가 상기 지정된 상태임을 확인하는 것에 응답하여, 장치(300)의 모드를 상기 제1 모드로 전환할 수 있다. UI(2200)는 타이머(2210)를 포함하지 않을 수 있다. 동작 2140 및 동작 2150은 동시에 수행될 수도 있고, 역순으로 수행될 수도 있다.
동작 2160에서, 제1 프로세서(310-1)는 장치(300)의 모드를 상기 제1 모드로 전환함으로써, 장치(300)가 상기 제1 모드로 동작함을 확인할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)에서 제1 프로세서(310-1)는, 배터리의 상태에 따라 장치의 모드를 적응적으로 파워 소모를 감소시킬 수 있는 모드로 전환함으로써, 장치(300)에서 소비되는 파워를 감소시킬 수 있다.
도 23은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 23을 참조하면, 장치(300)는 제1 프로세서(310-1), 제2 프로세서(310-2), 제3 프로세서(310-3), 메모리(320), 제1 카메라(330-1), 제2 카메라(330-2), 제1 PMIC(350-1), 제2 PMIC(350-2), 및 제3 PMIC(350-3)를 포함할 수 있다.
제1 프로세서(310-1)는, 카메라와 동작적으로 연결된 장치(300)의 다른 프로세서(예: 제2 프로세서(310-2), 제3 프로세서(310-3) 등)에게 이미지의 촬영(또는 획득)을 요청하거나 촬영된 이미지의 인코딩 데이터를 요청할 수 있다. 제1 프로세서(310-1)는, 제1 카메라(330-1)를 통해 획득되는 이미지에 대한 제1 인코딩 데이터를 제1 카메라(330-1)에 동작적으로 연결된 제2 프로세서(310-2)에게 요청할 수 있다. 제1 프로세서(310-1)는, 제2 카메라(330-2)를 통해 획득되는 이미지에 대한 제2 인코딩 데이터를 제2 카메라(330-2)에 동작적으로 연결된 제3 프로세서(310-2)에게 요청할 수 있다. 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터는, 최종 이미지를 생성하기 위해 이용 가능(usable)하다. 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은, 독립적으로 디코딩 가능할 수 있다(decodable).
제1 프로세서(310-1)는, 장치(300)의 모드를 확인할 수 있다. 장치(300)의 모드는, 전방향 2D 이미지를 생성하기 위한 모드, 파노라마 2D 이미지를 생성하기 위한 모드, 파노라마 3D 이미지를 생성하기 위한 모드, 또는 전방향 3D 이미지를 생성하기 위한 모드 중 하나 이상을 포함할 수 있다. 장치(300)의 모드는, 장치(300)의 모든 카메라들을 이용하는 모드 및 장치(300)의 카메라들 중 일부를 이용하는 모드를 포함할 수 있다. 제1 프로세서(310-1)는, 인코딩 데이터를 요청할 프로세서를 결정하기 위해, 장치(300)의 모드를 확인할 수 있다. 예를 들어, 장치(300)가 이미지의 획득을 위해 제1 카메라(330-1)를 이용하지 않고 제2 카메라(330-2)를 이용하는 모드로 동작하는 경우, 제1 프로세서(310-1)는 제3 프로세서(310-3)에게만 인코딩 데이터를 요청할 수 있다. 제1 프로세서(310-1)는 제2 프로세서(310-2)에게 인코딩 데이터를 요청하지 않음으로써, 제2 프로세서(310-2)의 연산량을 감소시킬 수 있다. 뿐만 아니라, 제1 프로세서(310-1)는 제2 프로세서(310-2)에 의해 소비되는 파워를 감소시키기 위해, 제2 PMIC(350-2)에게 제2 프로세서(310-2)에 제공되는 파워를 차단하기 위한 신호(또는 제2 프로세서(310-2)에게 제공되는 파워를 감소시키기 위한 신호)를 송신할 수 있다. 다른 예를 들어, 장치(300)가 이미지의 획득을 위해 제1 카메라(330-1) 및 제2 카메라(330-2)를 이용하는 모드로 동작하는 경우, 제1 프로세서(310-1)는 제2 프로세서(310-2) 및 제3 프로세서(310-3)에게 인코딩 데이터를 각각 요청할 수 있다.
제1 프로세서(310-1)는 도 3에 도시된 장치(300)의 프로세서(310)에 상응할 수 있다.
제2 프로세서(310-2)는 제1 프로세서(310-1)로부터 인코딩 데이터를 요청 받을 수 있다. 상기 인코딩 데이터의 요청은, 제1 프로세서(310-1)가 장치(300)의 모드가 제1 카메라를 통해 이미지를 획득하는 것이 요구되는 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)로부터 수신될 수 있다.
제2 프로세서(310-2)는, 상기 요청에 응답하여, 제2 프로세서(310-2)와 동작적으로 연결된 제1 카메라(330-1)를 통해 이미지를 획득할 수 있다. 제2 프로세서(310-2)는 상기 획득된 이미지를 인코딩할 수 있다. 제2 프로세서(310-2)는 상기 획득된 이미지를 인코딩함으로써 제1 인코딩 데이터를 생성할 수 있다. 상기 제1 인코딩 데이터는, 독립적으로 디코딩 가능할 수 있다. 상기 제1 인코딩 데이터는, 다른 인코딩 데이터와의 결합(예: 제3 프로세서(310-3)에 의해 생성되는 제2 인코딩 데이터와의 결합) 없이, 독립적으로 디코딩 가능하도록 구성될 수 있다.
제2 프로세서(310-2)는 상기 제1 인코딩 데이터를 제3 프로세서(310-3)에게 제공할 수 있다.
제2 프로세서(310-2)는 도 3에 도시된 장치(300)의 프로세서(310)에 상응할 수 있다.
제3 프로세서(310-3)는, 제1 프로세서(310-1)로부터 인코딩 데이터를 요청 받을 수 있다. 다양한 실시예들에서, 상기 인코딩 데이터의 요청은, 이미지의 획득이 요구되는 경우 장치(300)의 모드와 관계없이, 제1 프로세서(310-1)로부터 수신될 수 있다. 달리 표현하면, 제3 프로세서(310-3)와 동작적으로 연결된 제2 카메라(330-2)는 장치(300)의 모드와 관계없이 항상 이용되는 카메라이기 때문에, 상기 인코딩 데이터의 요청은, 장치(300)에서 이미지를 획득하기 위한 이벤트가 발생하는 경우, 장치(300)의 모드와 관계없이 제1 프로세서(310-1)로부터 수신될 수 있다.
제3 프로세서(310-3)는 상기 요청에 응답하여, 제3 프로세서(310-3)와 동작적으로 연결된 제2 카메라(330-2)를 통해 이미지를 획득할 수 있다. 제3 프로세서(310-3)는 상기 획득된 이미지를 인코딩할 수 있다. 제3 프로세서(310-3)는 상기 획득된 이미지를 인코딩함으로써, 제2 인코딩 데이터를 생성할 수 있다. 상기 제2 인코딩 데이터는, 독립적으로 디코딩 가능할 수 있다. 상기 제2 인코딩 데이터는, 다른 인코딩 데이터와의 결합(예: 제2 프로세서(310-2)에 의해 생성되는 상기 제1 인코딩 데이터와의 결합) 없이, 독립적으로 디코딩 가능하도록 구성될 수 있다.
제3 프로세서(310-3)는 상기 제2 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 다양한 실시예들에서, 제2 프로세서(310-2)로부터 상기 제1 인코딩 데이터를 수신하는 경우, 제3 프로세서(310-3)는 상기 제1 인코딩 데이터와 함께 상기 제2 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 제1 프로세서(310-1)에게 제공되는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터는 서로 독립적일 수 있다. 달리 표현하면, 제3 프로세서(310-3)는 상기 제1 인코딩 데이터와 상기 제2 인코딩 데이터를 별개의 데이터로 제1 프로세서(310-1)에게 제공할 수 있다.
제3 프로세서(310-3)는, 도 2에 도시된 장치(300)의 프로세서(310)에 상응할 수 있다.
제1 프로세서(310-1)는, 장치(300)가 제1 카메라를 통해 이미지를 획득하는 것이 요구되지 않는 모드에서 동작하는 경우, 상기 제2 인코딩 데이터만을 제3 프로세서(310-3)로부터 수신할 수 있다. 이와 달리, 장치(300)가 제1 카메라를 통해 이미지를 획득하는 것이 요구되는 모드에서 동작하는 경우, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 제3 프로세서(310-3)로부터 수신할 수 있다.
제1 프로세서(310-1)는 수신된 인코딩 데이터를 처리할 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는 상기 수신된 인코딩 데이터(예: 상기 제1 인코딩 데이터 및/또는 상기 제2 인코딩 데이터)를 하나의 데이터 셋으로 저장할 수 있다. 예를 들면, 제1 프로세서(310-1)는, 장치(300)가 상기 제1 카메라를 통해 이미지를 획득하는 것이 요구되지 않는 모드에서 동작하는 경우, 상기 수신된 제2 인코딩 데이터만을 하나의 데이터 셋(set)으로 저장할 수 있다. 다른 예를 들면, 제1 프로세서(310-1)는, 장치(300)가 상기 제1 카메라를 통해 이미지를 획득하는 것이 요구되는 모드에서 동작하는 경우, 상기 수신된 제1 인코딩 데이터 및 상기 수신된 제2 인코딩 데이터 모두를 하나의 데이터 셋으로 저장할 수 있다. 상기 하나의 데이터 셋은, 최종 이미지(예: 전방향 2D 이미지, 전방향 3D 이미지, 파노라마 2D 이미지, 파노라마 3D 이미지 등)를 생성하기 위한 데이터 처리 단위일 수 있다. 상기 하나의 데이터 셋 내에 포함된 인코딩 데이터는, 상기 하나의 데이터 셋 내에 포함된 다른 인코딩 데이터와 관계없이, 독립적으로 디코딩될 수 있다. 제1 프로세서(310-1)는, 상기 하나의 데이터 셋을 메모리(320)에 저장할 수 있다. 예를 들면, 제1 프로세서(310-1)는, 다른 장치(예: 도 1에 도시된 전자 장치(101))에서 상기 하나의 데이터 셋에 기반하여 최종 이미지를 생성하기 위해, 상기 하나의 데이터 셋을 메모리(320)에 저장할 수 있다. 다른 예를 들면, 제1 프로세서(310-1)는, 장치(300)에서 상기 하나의 데이터 셋에 기반하여 최종 이미지를 생성하기 위해, 상기 하나의 데이터 셋을 메모리(320)에 저장할 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는 상기 수신된 인코딩 데이터를 하나의 데이터 셋으로 다른 장치(예: 전자 장치(101))에게 송신할 수 있다. 제1 프로세서(310-1)는, 상기 다른 장치에서 상기 하나의 데이터 셋에 기반하여 상기 최종 이미지를 생성하기 위해, 상기 다른 장치에게 상기 하나의 데이터 셋을 송신할 수 있다. 상기 다른 장치에게 송신되는 상기 하나의 데이터 셋 내의 인코딩 데이터는, 상기 다른 장치에서 독립적으로 디코딩 가능할 수 있다. 예를 들어, 상기 하나의 데이터 셋 내에 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터가 포함된 경우, 상기 하나의 데이터 셋을 수신한 상기 다른 장치는, 상기 하나의 데이터 셋으로부터 상기 제1 인코딩 데이터를 확인하고, 상기 제2 인코딩 데이터의 디코딩 여부와 관계없이 상기 제1 인코딩 데이터를 디코딩함으로써, 적어도 하나의 이미지를 생성할 수 있다. 상기 하나의 데이터 셋을 수신한 상기 다른 장치는, 상기 하나의 데이터 셋으로부터 상기 제2 인코딩 데이터를 확인하고, 상기 제1 인코딩 데이터의 디코딩 여부와 관계없이 상기 제2 인코딩 데이터를 디코딩함으로써, 하나의 이미지를 생성할 수 있다.
다양한 실시예에 따르면, 장치(300)은 다른 장치에게 하나의 데이터 셋을 송신할 수 있다. 상기 다른 장치는 상기 하나의 데이터 셋을 수신할 수 있다. 상기 다른 장치는,,상기 하나의 데이터 셋에 포함된 적어도 일부 데이터를 디코딩 할 수 있다. 예를 들어, 상기 다른 장치는, 전방향 2D 이미지를 생성하기 위하여, 제 1 인코딩 데이터를 디코딩하여 전방향 2D 이미지를 생성할 수 있다. 상기 다른 장치는, 상기 전방향 2D 이미지를 생성을 위하여, 제1 인코딩 데이터를 디코딩함으로써, 상기 제1 인코딩 데이터에 포함되고, 복수의 카메라들로부터 촬영된 이미지들을 획득하고, 상기 획득된 이미지들을 스티칭함으로써 전방향 2D 이미지를 생성할 수 있다.
다양한 실시예들에 따른 장치(300)는, 독립적으로 디코딩 가능하도록 인코딩 데이터를 구성함으로써, 이미지 획득 절차에서의 장치(300)의 모드와 관계없이 최종 이미지를 생성할 수 있다. 예를 들어, 장치(300)는 제1 카메라(330-1) 및 제2 카메라(330-2) 모두를 이용하는 모드에 기반하여 복수의 이미지들을 획득하였더라도, 장치(300) 또는 장치(300)와 연결된 전자 장치(101)는, 스티칭 절차에서, 제1 카메라(330-1)로부터 획득된 이미지에 대한 상기 제1 인코딩 데이터 및 제2 카메라(330-2)로부터 획득된 이미지에 대한 상기 제2 인코딩 데이터 중 상기 제1 인코딩 데이터(또는 상기 제2 인코딩 데이터)에 기반하여 최종 이미지를 생성할 수 있다.
제1 카메라(330-1)는 제2 프로세서(310-2)와 동작적으로 연결될 수 있다. 제1 카메라(330-1)는 제1 방향으로 향하도록 구성될 수 있다. 제1 카메라(330-1)는 제1 FOV를 가질 수 있다. 제1 카메라(330-1)를 통해 획득되는 이미지와 관련된 광학적 데이터(optical data)는 제2 프로세서(310-2)에게 제공될 수 있다.
제1 카메라(330-1)는 도 3에 도시된 장치(300)의 카메라(330)에 상응할 수 있다.
제2 카메라(330-2)는 제3 프로세서(310-3)와 동작적으로 연결될 수 있다. 제2 카메라(330-2)는 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성될 수 있다. 제2 카메라(330-2)는 상기 제1 FOV와 일부 중첩되는 제2 FOV를 가질 수 있다. 제2 카메라(330-2)는 상기 제1 방향에 상응하는 상기 제2 방향으로 향하도록 구성되고, 상기 제1 FOV와 일부 중첩되는 상기 제2 FOV를 가지기 때문에, 제2 카메라(330-2)는, 제1 카메라(330-1)와 비교하여(relative to), 사람(human)의 좌안(left eye)과 같은 기능을 수행할 수 있다. 달리 표현하면, 제1 카메라(330-1)는, 제2 카메라(330-2)와 비교하여, 사람의 우안(right eye)과 같은 기능을 수행할 수 있다. 다시 말해, 제2 카메라(330-2)를 통해 획득되는 이미지만을 이용하는 경우에서 최종 이미지는 2D 이미지일 수 있으며, 제1 카메라(330-1)를 통해 획득되는 이미지 및 제2 카메라(330-2)를 통해 획득되는 이미지 모두를 이용하는 경우에서 최종 이미지는 3D 이미지일 수 있다. 제2 카메라(330-2)를 통해 획득되는 이미지와 관련된 광학적 데이터는 제3 프로세서(310-3)에게 제공될 수 있다. 한 실시예에 따르면, 제2 카메라(330-2)는, 장치(300)가 이미지를 획득하는 경우, 장치(300)의 모드와 관계없이, 이용되는 카메라일 수 있다. 예를 들어, 제 2 카메라(330-2)는, 2D 모드 동작 및 3D 모드 동작 모두 동작하도록 설정된 경우, 모드와 관계없이 이용되는 카메라일 수 있다.
제2 카메라(330-2)는 도 3에 도시된 장치(300)의 카메라(330)에 상응할 수 있다.
제1 PMIC(350-1)는 제1 프로세서(310-1)에게 파워를 제공하기 위해 이용될 수 있다.
제2 PMIC(350-2)는 제2 프로세서(310-2)에게 파워를 제공하기 위해 이용될 수 있다. 제2 PMIC(350-2)는, 제1 프로세서(310-1)로부터 제2 프로세서(310-2)에게 파워를 제공하는 것을 중단하거나 제2 프로세서(310-2)에게 제공되는 파워를 감소시키기 위한 신호를 수신하는 경우, 제2 프로세서(310-2)에게 파워를 제공하는 것을 중단하거나 제2 프로세서(310-2)에게 제공되는 파워를 감소시킬 수 있다.
제3 PMIC(350-3)는 제3 프로세서(310-3)에게 파워를 제공하기 위해 이용될 수 있다. 제1 PMIC(350-1), 제2 PMIC(350-2), 및 제3 PMIC(350-3)는 도 3에 도시된 장치(300)의 PMIC(350)에 상응할 수 있다.
메모리(320)는 제공되는 인코딩 데이터를 저장하거나, 임시적으로(temporarily) 저장할 수 있다. 메모리(320)는 제공되는 인코딩 데이터를 상기 하나의 데이터 셋으로 저장할 수 있다. 예를 들어, 상기 제2 인코딩 데이터만이 제공되는 경우, 메모리(320)는 상기 제2 인코딩 데이터만을 하나의 데이터 셋으로 저장할 수 있다. 다른 예를 들어, 상기 제2 인코딩 데이터 및 상기 제3 인코딩 데이터가 제공되는 경우, 메모리(320)는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 모두를 하나의 데이터 셋으로 저장할 수 있다. 다양한 실시예들에서, 메모리(320)에 저장된 하나의 데이터 셋은, 최종 이미지를 생성하기 위한 디코딩 및 스티칭을 위해, 다른 장치(예: 전자 장치(101))에 송신될 수 있다. 다양한 실시예들에서, 메모리(320)에 저장된 하나의 데이터 셋은, 최종 이미지를 생성하기 위해, 장치(300)에서 디코딩되고 스티칭될 수 있다.
상술한 바와 같이, 다양한 실시예들에서, 장치(300)는 장치(300)의 모드에 관계없이 이용되는 카메라와 연결되는 프로세서(예: 제3 프로세서(310-3))와 장치(300)의 모드에 따라 이용되지 않는 카메라와 연결되는 프로세서(예: 제2 프로세서(310-2))를 구분할 수 있다. 이러한 구분을 통해, 장치(300)는 특정 모드를 실행하기 위해 요구되는 연산량을 감소시킬 수 있다. 예를 들면, 장치(300)의 제2 카메라(330-2)는, 장치(300)가 이미지를 획득하는 경우, 장치(300)의 모드와 관계없이, 이용되는 카메라일 수 있다. 예를 들어, 제 2 카메라(330-2)는, 2D 모드 동작 및 3D 모드 동작 모두 동작하도록 설정된 경우, 모드와 관계없이 이용되는 카메라일 수 있다.는,
다양한 실시예들에서, 장치(300)에서 생성되는 인코딩 데이터는 독립적으로 디코딩 가능할 수 있다. 독립적으로 디코딩 가능하도록 구성된 인코딩 데이터를 통해, 장치(300)는 이미지 획득 단계에서 목표된 최종 이미지의 속성과 이미지 스티칭 단계에서의 최종 이미지의 속성을 독립적으로 운영할 수 있다. 독립적으로 디코딩 가능하도록 구성된 인코딩 데이터를 통해, 상기 최종 이미지를 생성하는 동작을 수행하는 장치는, 보다 빠르게 인코딩 데이터를 조회할 수 있다.
도 24는 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 다른 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 24에서, 제1 카메라(330-1) 내지 제16 카메라(330-16) 각각은 도 15에 도시된 제1 카메라(330-1) 내지 제16 카메라(330-16)에 상응할 수 있다.
도 24를 참조하면, 장치(300)는 제1 프로세서(310-1) 내지 제5 프로세서(310-5), 메모리(320), 제1 카메라(330-1) 내지 제16 카메라(330-16), 통신 인터페이스(340), 마이크로폰(360-1), 및 마이크로폰(360-2)을 포함할 수 있다.
제1 프로세서(310-1)는, 장치(300)가 전방향 3D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제2 프로세서(310-2), 제3 프로세서(310-3), 제4 프로세서(310-4), 및 제5 프로세서(310-5)에게 인코딩 데이터를 요청할 수 있다. 도 16을 참조하면, 전방향 3D 이미지를 생성하기 위해, 상기 제1 이미지 내지 상기 제16 이미지를 획득하는 것이 요구될 수 있다. 제1 프로세서(310-1)는, 상기 제1 이미지를 획득하도록 구성되는 제1 카메라(330-1), 상기 제3 이미지를 획득하도록 구성되는 제3 카메라(330-3), 상기 제5 이미지를 획득하도록 구성되는 제5 카메라(330-5), 및 상기 제7 이미지를 획득하도록 구성된 제7 카메라(330-7)와 동작적으로 연결된 제2 프로세서(310-2)에게 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지를 인코딩함으로써 생성되는 인코딩 데이터를 요청할 수 있다. 제1 프로세서(310-1)는, 상기 제9 이미지를 획득하도록 구성되는 제9 카메라(330-9), 상기 제11 이미지를 획득하도록 구성되는 제11 카메라(330-11), 상기 제13 이미지를 획득하도록 구성되는 제13 카메라(330-13), 및 상기 제15 이미지를 획득하도록 구성된 제15 카메라(330-15)와 동작적으로 연결된 제4 프로세서(310-4)에게 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지를 인코딩함으로써 생성되는 인코딩 데이터를 요청할 수 있다.
제1 프로세서(310-1)는 제1 카메라(330-1) 내지 제16 카메라(330-16)의 동기(synchronization)를 위해, 동기 신호를 송신할 수 있다. 상기 동기 신호는, 동작 주파수와 관련된 정보를 포함할 수 있다. 예를 들면, 제1 프로세서(310-1)는 제1 카메라(330-1) 내지 제16 카메라(330-16) 각각에게 상기 동기 신호를 송신할 수 있다. 상기 송신되는 동기 신호들 중 일부는, 카메라들 사이에서 야기되는 노이즈(noise)를 감소시키기 위해, 상기 송신되는 동기 신호들 중 다른 일부와 다른 위상을 가질 수 있다. 예를 들면, 상기 동기 신호들 중 적어도 하나의 동기 신호는, 제1 위상을 가지는 반면, 상기 동기 신호들 중 적어도 하나의 다른 동기 신호는, 제2 위상을 가질 수 있다. 예를 들면, 제1 카메라(330-1), 제2 카메라(330-2), 제3 카메라(330-3), 제4 카메라(330-4), 제9 카메라(330-9), 제10 카메라(330-10), 제11 카메라(330-11), 및 제12 카메라(330-12)를 포함하는 제1 카메라 셋에 제공되는 동기 신호의 위상과 제5 카메라(330-5), 제6 카메라(330-6), 제7 카메라(330-7), 제8 카메라(330-8), 제13 카메라(330-13), 제14 카메라(330-14), 제15 카메라(330-15), 및 제16 카메라(330-16)를 포함하는 제2 카메라 셋에 제공되는 동기 신호의 위상 사이의 차는 180도일 수 있다. 제1 프로세서(310-1)는, 상기 동기 신호의 송신을 통해, 카메라(330-1) 내지 카메라(330-16)를 획득되는 복수의 이미지들의 획득 시점을 일치시킬 수 있다. 다른 예를 들면, 제1 카메라(330-1), 제5 카메라(330-5), 제9 카메라(330-9), 제13 카메라(330-11), 제10 카메라(330-10), 제 14 카메라(330-14), 제2 카메라(330-2), 및 제6 카메라(330-6) 각각에게 제공되는 동기 신호의 위상은, 제1 카메라(330-1), 제5 카메라(330-5), 제9 카메라(330-9), 제13 카메라(330-11), 제10 카메라(330-10), 제 14 카메라(330-14), 제2 카메라(330-2), 및 제6 카메라(330-6) 각각과 인접하게 배치될 수 있는 제3 카메라(330-3), 제7 카메라(330-7), 제 11 카메라(330-11), 제 15 카메라(330-15), 제12 카메라(330-12), 제16 카메라(330-16), 제4 카메라(330-4), 및 제8 카메라(330-8) 각각에게 제공되는 동기 신호의 위상과 다를 수 있다. 상기 동기 신호들의 위상 차는 180도일 수 있다.
또 다른 예를 들면, 제1 프로세서(310-1)는 제2 프로세서(310-2), 제3 프로세서(310-3), 제4 프로세서(310-4), 및 제5 프로세서(310-5) 각각에게 상기 동기 신호를 송신할 수 있다. 상기 송신된 동기 신호들 각각은 제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각을 통해 제1 카메라(330-1) 내지 제16 카메라(330-16)에게 수신될 수 있다. 상기 제1 카메라(330-1) 내지 제16 카메라(330-16) 중 적어도 일부는, 노이즈의 감소를 위해, 제2 프로세서(310-2), 제3 프로세서(310-3), 제4 프로세서(310-4), 및 제5 프로세서(310-5) 중 적어도 일부에 의해 위상 변환이 수행된 동기 신호를 수신할 수 있다.
제2 프로세서(310-2)는 제1 카메라(330-1), 제3 카메라(330-3), 제5 카메라(330-5), 및 제7 카메라(330-7)와 동작적으로 연결될 수 있다. 예를 들면, 제2 프로세서(310-2)는 FPGA(field programmable gate array)(미도시)를 통해 제1 카메라(330-1), 제3 카메라(330-3), 제5 카메라(330-5), 및 제7 카메라(330-7)와 동작적으로 연결될 수 있다. 제2 프로세서(310-2)는 제1 카메라(330-1)를 통해 제1 이미지를 획득하고, 제3 카메라(330-3)를 통해 제3 이미지를 획득하고, 제5 카메라(330-5)를 통해 제5 이미지를 획득하며, 제7 카메라(330-7)를 통해 제7 이미지를 획득할 수 있다. 제2 프로세서(310-2)는 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지를 FPGA를 통해 수신할 수 있다. 제2 프로세서(310-2)는 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지에 기반하여 제1 인코딩 데이터를 생성할 수 있다. 제2 프로세서(310-2)는 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지를 인코딩함으로써, 상기 제1 인코딩 데이터를 생성할 수 있다. 상기 제1 인코딩 데이터는, 다른 인코딩 데이터와 관계없이, 독립적으로 디코딩 가능할 수 있다. 제2 프로세서(310-2)는 상기 제1 인코딩 데이터를 제4 프로세서(310-4)에게 제공할 수 있다.
제4 프로세서(310-4)는 제9 카메라(330-9), 제11 카메라(330-11), 제13 카메라(330-13), 및 제15 카메라(330-15)와 동작적으로 연결될 수 있다. 예를 들면, 제4 프로세서(310-4)는 FPGA를 통해 제9 카메라(330-9), 제11 카메라(330-11), 제13 카메라(330-13), 및 제15 카메라(330-15)와 동작적으로 연결될 수 있다. 제4 프로세서(310-4)는 제9 카메라(330-9)를 통해 제9 이미지를 획득하고, 제11 카메라(330-11)를 통해 제11 이미지를 획득하고, 제13 카메라(330-13)를 통해 제13 이미지를 획득하며, 제15 카메라(330-15)를 통해 제15 이미지를 획득할 수 있다. 제4 프로세서(310-4)는 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지를 FPGA를 통해 수신할 수 있다. 제4 프로세서(310-4)는 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지에 기반하여 제3 인코딩 데이터를 생성할 수 있다. 제4 프로세서(310-4)는 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지를 인코딩함으로써, 상기 제3 인코딩 데이터를 생성할 수 있다. 상기 제3 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다. 제4 프로세서(310-4)는 상기 제1 인코딩 데이터 및 상기 제3 인코딩 데이터를 제5 프로세서(310-5)에게 제공할 수 있다. 상기 제5 프로세서(310-5)에 제공되는 상기 제1 인코딩 데이터 및 상기 제3 인코딩 데이터 각각은 독립적으로 디코딩 가능하도록 구성될 수 있다.
제5 프로세서(310-5)는 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16)와 동작적으로 연결될 수 있다. 예를 들면, 제5 프로세서(310-5)는 FPGA를 통해 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16)와 동작적으로 연결될 수 있다. 제5 프로세서(310-5)는 제10 카메라(330-10)를 통해 제10 이미지를 획득하고, 제12 카메라(330-12)를 통해 제12 이미지를 획득하고, 제14 카메라(330-14)를 통해 제14 이미지를 획득하며, 제16 카메라(330-16)를 통해 제16 이미지를 획득할 수 있다. 제5 프로세서(310-5)는 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지를 FPGA를 통해 수신할 수 있다. 제5 프로세서(310-5)는 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지에 기반하여 제4 인코딩 데이터를 생성할 수 있다. 제5 프로세서(310-5)는 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지를 인코딩함으로써, 상기 제4 인코딩 데이터를 생성할 수 있다. 상기 제4 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다. 제5 프로세서(310-5)는 상기 제1 인코딩 데이터, 상기 제3 인코딩 데이터, 상기 제4 인코딩 데이터를 제3 프로세서(310-3)에게 제공할 수 있다. 상기 제3 프로세서(310-3)에 제공되는 상기 제1 인코딩 데이터, 상기 제3 인코딩 데이터, 및 상기 제4 인코딩 데이터 각각은 독립적으로 디코딩 가능하도록 구성될 수 있다.
제3 프로세서(310-3)는 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 및 제8 카메라(330-8)와 동작적으로 연결될 수 있다. 예를 들면, 제3 프로세서(310-3)는 FPGA를 통해 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 및 제8 카메라(330-8)와 동작적으로 연결될 수 있다. 제3 프로세서(310-3)는 제2 카메라(330-2)를 통해 제2 이미지를 획득하고, 제4 카메라(330-4)를 통해 제4 이미지를 획득하고, 제6 카메라(330-6)를 통해 제6 이미지를 획득하며, 제8 카메라(330-8)를 통해 제8 이미지를 획득할 수 있다. 제3 프로세서(310-3)는 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지를 FPGA를 통해 수신할 수 있다. 제3 프로세서(310-3)는 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지에 기반하여 제2 인코딩 데이터를 생성할 수 있다. 제3 프로세서(310-3)는 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지를 인코딩함으로써, 상기 제2 인코딩 데이터를 생성할 수 있다. 상기 제2 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 제3 프로세서(310-3)와 동작적으로 연결된 마이크로폰(360-2)을 통해 상기 제1 이미지 내지 상기 제16 이미지 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 마이크로폰(360-2)는, 실시예들에 따라, 장치(300)에 포함되지 않을 수 있다. 마이크로폰(360-2)는, 실시예들에 따라, 복수의 마이크로폰들의 세트 또는 그룹으로 구성될 수도 있다. 제3 프로세서(310-3)는 상기 수신된 오디오에 기반하여 제2 오디오 인코딩 데이터를 생성할 수 있다. 상기 제2 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 상기 제3 인코딩 데이터, 상기 제4 인코딩 데이터, 및 상기 제2 오디오 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 제1 프로세서(310-1)에 제공되는 상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 상기 제3 인코딩 데이터, 상기 제4 인코딩 데이터, 및 상기 제2 오디오 인코딩 데이터 각각은 독립적으로 디코딩 가능하도록 구성될 수 있다.
도 24에 도시하지 않았으나, 제1 프로세서(310-1)는, 장치(300)가 전방향 3D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 도 15에 도시된 제17 카메라(330-17)에 상응하는 제17 카메라를 통해 제17 이미지를 획득하고, 획득된 제17 이미지에 기반하여 제5 인코딩 데이터를 생성할 수 있다.
제1 프로세서(310-1)는, 장치(300)가 전방향 3D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제1 프로세서(310-1)에 동작적으로 연결된 마이크로폰(360-1)을 통해 상기 제1 이미지 내지 상기 제17 이미지 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 제1 프로세서(310-1)는 상기 수신된 오디오에 기반하여 제1 오디오 인코딩 데이터를 생성할 수 있다. 상기 제1 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제1 프로세서(310-1)는 상기 수신된 제1 인코딩 데이터, 상기 수신된 제2 인코딩 데이터, 상기 수신된 제3 인코딩 데이터, 상기 수신된 제4 인코딩 데이터, 상기 생성된 제5 인코딩 데이터, 상기 수신된 제2 오디오 인코딩 데이터, 및 상기 생성된 제1 오디오 인코딩 데이터를 상기 전방향 3D 이미지를 생성하기 위한 하나의 데이터 셋으로 구성할 수 있다. 상기 하나의 데이터 셋 내에서, 인코딩 데이터의 배치 순서는, 도 24에 도시된 바와 같이, 상기 제1 인코딩 데이터, 상기 제3 인코딩 데이터, 상기 제4 인코딩 데이터, 상기 제2 인코딩 데이터, 상기 제5 인코딩 데이터, 상기 제2 오디오 인코딩 데이터, 및 상기 제1 오디오 인코딩 데이터 순일 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 메모리(320)에 저장할 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 통신 인터페이스(340)를 통해 다른 장치(예: 스티칭을 위한 전자 장치(101))에게 송신할 수 있다. 상기 저장되거나 송신되는 하나의 데이터 셋 내에 포함되는 다양한 데이터 각각은, 독립적으로 디코딩 가능할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는 전방향 3D 이미지를 생성하기 위해, 상기 제1 인코딩 데이터 내지 상기 제4 인코딩 데이터, 상기 제1 오디오 인코딩 데이터, 상기 제2 오디오 인코딩 데이터를 생성할 수 있다. 상기 제1 인코딩 데이터 내지 상기 제4 인코딩 데이터, 상기 제1 오디오 인코딩 데이터, 상기 제2 오디오 인코딩 데이터 각각은, 독립적으로 디코딩 가능하도록 구성되기 때문에, 상기 장치(300)를 통해 인코딩 데이터를 제공 받는 장치는, 장치(300)가 전방향 3D 이미지를 생성하기 위한 모드를 통해 상기 제공된 인코딩 데이터를 생성하였다 하더라도, 선택적 디코딩을 통해 상기 전방향 3D 이미지가 아닌 전방향 2D 이미지, 파노라마 2D 이미지, 또는 파노라마 3D 이미지 등을 생성할 수 있다.
다양한 실시예들에 따른 장치(300)는 제1 프로세서(310-1)로부터 제2 프로세서(310-2) 내지 제5 프로세서(310-5)에게 각각 송신되는 동기 신호들 또는 제1 프로세서(310-1)로부터 제1 카메라(310-1) 내지 16 카메라(310-16)에게 각각 송신되는 동기 신호들을 통해 제1 카메라(310-1) 내지 16 카메라(310-16)의 이미지 획득 시점을 일치시킬 수 있다. 다양한 실시예들에 따른 장치(300)는 상기 동기 신호들 중 적어도 일부의 위상을 변환함으로써, 동기 신호의 시그널링 중 발생할 수 있는 노이즈를 감소시킬 수 있다.
도 25는 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 또 다른 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 25에서, 장치(300)에 포함된 구성요소들(예: 제1 프로세서(310-1) 내지 제5 프로세서(310-5), 메모리(320), 제1 카메라(330-1) 내지 제16 카메라(330-16), 통신 인터페이스(340), 마이크로폰(360-1), 및 마이크로폰(360-2)) 각각은 도 24에 도시된 장치(300)에 포함된 구성요소들 각각에 상응할 수 있다.
도 25를 참조하면, 제1 프로세서(310-1)는, 장치(300)가 전방향 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제5 프로세서(310-5) 및 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 도 16을 참조하면, 전방향 2D 이미지를 생성하기 위해, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지를 획득하는 것이 요구될 수 있다. 제1 프로세서(310-1)는, 상기 제10 이미지를 획득하도록 구성되는 제10 카메라(330-10), 상기 제12 이미지를 획득하도록 구성되는 제12 카메라(330-12), 상기 제14 이미지를 획득하도록 구성되는 제14 카메라(330-14), 및 상기 제16 이미지를 획득하도록 구성된 제16 카메라(330-16)와 동작적으로 연결된 제5 프로세서(310-5)에게 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지를 인코딩함으로써 생성되는 인코딩 데이터를 요청할 수 있다. 제1 프로세서(310-1)는, 상기 제2 이미지를 획득하도록 구성되는 제2 카메라(330-2), 상기 제4 이미지를 획득하도록 구성되는 제4 카메라(330-4), 상기 제6 이미지를 획득하도록 구성되는 제6 카메라(330-6), 및 상기 제8 이미지를 획득하도록 구성된 제8 카메라(330-8)와 동작적으로 연결된 제3 프로세서(310-3)에게 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지를 인코딩함으로써 생성되는 인코딩 데이터를 요청할 수 있다.
제1 프로세서(310-1)는 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 제8 카메라(330-8), 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16)의 동기를 위해, 동기 신호를 송신할 수 있다. 상기 동기 신호는, 동작 주파수와 관련된 정보를 포함할 수 있다. 예를 들면, 제1 프로세서(310-1)는, 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 제8 카메라(330-8), 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16) 각각에게 상기 동기 신호를 송신할 수 있다. 상기 송신되는 동기 신호들 중 일부는, 카메라들 사이에서 야기되는 노이즈를 감소시키기 위해, 상기 송신되는 동기 신호들 중 다른 일부와 다른 위상을 가질 수 있다.
다른 예를 들면, 제10 카메라(330-10), 제 14 카메라(330-14), 제2 카메라(330-2), 및 제6 카메라(330-6) 각각에게 제공되는 동기 신호의 위상은, 제 14 카메라(330-14), 제2 카메라(330-2), 및 제6 카메라(330-6) 각각과 인접하게 배치될 수 있는 제12 카메라(330-12), 제16 카메라(330-16), 제4 카메라(330-4), 및 제8 카메라(330-8) 각각에게 제공되는 동기 신호의 위상과 다를 수 있다. 상기 동기 신호들의 위상 차는 180도일 수 있다.
또 다른 예를 들면, 제1 프로세서(310-1)는 제5 프로세서(310-5) 및 제3 프로세서(310-3) 각각에게 상기 동기 신호를 송신할 수 있다. 상기 송신된 동기 신호들 각각은, 제5 프로세서(310-5) 및 제3 프로세서(310-3) 각각을 통해 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 제8 카메라(330-8), 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16) 각각에게 수신될 수 있다. 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 제8 카메라(330-8), 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16) 중 적어도 일부는, 노이즈의 감소를 위해, 제5 프로세서(310-5) 및 제3 프로세서(310-3) 중 적어도 일부에 의해 위상 변환이 수행된 동기 신호를 수신할 수 있다.
전방향 2D 이미지를 생성하기 위해, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지의 획득은 요구되지 않기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2) 및 제4 프로세서(310-4)에게 인코딩 데이터를 요청하지 않을 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 전방향 2D 이미지의 생성을 위해 이용되지 않는 제2 프로세서(310-2) 및 제4 프로세서(310-4)에게 제공되는 파워를 차단하거나 전방향 2D 이미지의 생성을 위해 이용되지 않는 제2 프로세서(310-2) 및 제4 프로세서(310-4)에게 제공되는 파워를 감소시키도록 제2 프로세서(310-2) 및 제4 프로세서(310-4)와 각각 연결된 제2 PMIC(350-2)(미도시) 및 제4 PMIC(350-4)(미도시) 각각을 제어할 수 있다.
제5 프로세서(310-5)는, 상기 요청에 응답하여, 제10 카메라(330-10)를 통해 제10 이미지를 획득하고, 제12 카메라(330-12)를 통해 제12 이미지를 획득하고, 제14 카메라(330-14)를 통해 제14 이미지를 획득하며, 제16 카메라(330-16)를 통해 제16 이미지를 획득할 수 있다. 제5 프로세서(310-5)는 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지에 기반하여 제4 인코딩 데이터를 생성할 수 있다. 상기 제4 인코딩 데이터는 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다. 제5 프로세서(310-5)는 상기 제4 인코딩 데이터를 제3 프로세서(310-3)에게 제공할 수 있다.
제3 프로세서(310-3)는, 상기 요청에 응답하여, 제2 카메라(330-2)를 통해 제2 이미지를 획득하고, 제4 카메라(330-4)를 통해 제4 이미지를 획득하고, 제6 카메라(330-6)를 통해 제6 이미지를 획득하며, 제8 카메라(330-8)를 통해 제8 이미지를 획득할 수 있다. 제3 프로세서(310-3)는 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지에 기반하여 제2 인코딩 데이터를 생성할 수 있다. 상기 제2 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 마이크로폰(360-2)을 통해 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 마이크로폰(360-2)는, 실시예들에 따라, 장치(300)에 포함되지 않을 수 있다. 마이크로폰(360-2)는, 실시예들에 따라, 복수의 마이크로폰들의 세트 또는 그룹으로 구성될 수도 있다. 제3 프로세서(310-3)는 상기 수신된 오디오에 기반하여 제2 오디오 인코딩 데이터를 생성할 수 있다. 상기 제2 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 상기 제2 인코딩 데이터, 상기 제4 인코딩 데이터, 및 상기 제2 오디오 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 제1 프로세서(310-1)에게 제공되는 상기 제2 인코딩 데이터, 상기 제4 인코딩 데이터, 및 상기 제2 오디오 인코딩 데이터 각각은 독립적으로 디코딩 가능하도록 구성될 수 있다.
제1 프로세서(310-1)는, 장치(300)가 전방향 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제17 카메라를 통해 상기 제17 이미지를 획득하고, 상기 획득된 제17 이미지에 기반하여 제5 인코딩 데이터를 생성할 수 있다.
제1 프로세서(310-1)는, 장치(300)가 전방향 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 마이크로폰(360-1)을 통해 상기 획득된 이미지들 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 제1 프로세서(310-1)는 상기 수신된 오디오에 기반하여 제1 오디오 인코딩 데이터를 생성할 수 있다. 상기 제1 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제1 프로세서(310-1)는 상기 수신된 제2 인코딩 데이터, 상기 수신된 제4 인코딩 데이터, 상기 생성된 제5 인코딩 데이터, 상기 수신된 제2 오디오 인코딩 데이터, 및 상기 생성된 제1 오디오 인코딩 데이터를 상기 전방향 2D 이미지를 생성하기 위한 하나의 데이터 셋으로 구성할 수 있다. 상기 하나의 데이터 셋 내에서, 인코딩 데이터의 배치 순서는, 도 25에 도시된 바와 같이, 상기 제4 인코딩 데이터, 상기 제2 인코딩 데이터, 상기 제5 인코딩 데이터, 상기 제2 오디오 인코딩 데이터, 및 상기 제1 오디오 인코딩 데이터 순일 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 메모리(320)에 저장할 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 통신 인터페이스(340)를 통해 다른 장치(예: 스티칭을 위한 전자 장치(101))에게 송신할 수 있다. 상기 구성된 하나의 데이터 셋은, 장치(300)가 전방향 2D 이미지를 생성하기 위한 모드에서 동작하는 경우, 실시간으로 상기 다른 장치에게 송신될 수 있다. 상기 저장되거나 송신되는 하나의 데이터 셋 내에 포함되는 다양한 데이터 각각은, 독립적으로 디코딩 가능할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는 전방향 2D 이미지의 생성을 위해 이용되지 않는 적어도 하나의 카메라를 전방향 2D 이미지의 생성을 위해 이용되는 적어도 하나의 카메라와 연결된 프로세서와 다른 프로세서에 연결함으로써, 장치(300)에서 인코딩 데이터를 생성하기 위해 요구되는 연산량을 감소시킬 수 있다.
다양한 실시예들에 따른 장치(300)에서 생성되는 제2 인코딩 데이터, 제4 인코딩 데이터, 제5 인코딩 데이터, 제2 오디오 인코딩 데이터, 및 제1 오디오 인코딩 데이터 각각은 독립적으로 디코딩 가능하기 때문에, 상기 장치(300)를 통해 인코딩 데이터를 제공 받는 장치는, 장치(300)가 전방향 2D 이미지를 생성하기 위한 모드를 통해 상기 제공된 인코딩 데이터를 생성하였다 하더라도, 선택적 디코딩을 통해 상기 전방향 2D 이미지가 아닌 파노라마 2D 이미지 등을 생성할 수 있다. 다시 말해, 다양한 실시예들에 따른 장치(300)는 최종 이미지의 생성을 위한 디코딩 절차 및 스티칭 절차에서 요구되는 연산량을 감소시킬 수 있다.
도 26은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 또 다른 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 26에서, 장치(300)에 포함된 구성요소들(예: 제1 프로세서(310-1) 내지 제5 프로세서(310-5), 메모리(320), 제1 카메라(330-1) 내지 제16 카메라(330-16), 통신 인터페이스(340), 마이크로폰(360-1), 및 마이크로폰(360-2)) 각각은 도 24에 도시된 장치(300)에 포함된 구성요소들 각각에 상응할 수 있다.
도 26을 참조하면, 제1 프로세서(310-1)는, 장치(300)가 파노라마 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 도 16을 참조하면, 파노라마 2D 이미지를 생성하기 위해, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지를 획득하는 것이 요구될 수 있다. 제1 프로세서(310-1)는 상기 제2 이미지를 획득하도록 구성되는 제2 카메라(330-2), 상기 제4 이미지를 획득하도록 구성되는 제4 카메라(330-4), 상기 제6 이미지를 획득하도록 구성되는 제6 카메라(330-6), 및 상기 제8 이미지를 획득하도록 구성된 제8 카메라(330-8)와 동작적으로 연결된 제3 프로세서(310-3)에게 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지를 인코딩함으로써 생성되는 인코딩 데이터를 요청할 수 있다.
제1 프로세서(310-1)는, 도 25에서 설명된 바와 유사한 방식으로, 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 및 제8 카메라(330-8) 각각에게 동기 신호를 송신하거나, 제3 프로세서(310-3)에게 동기 신호를 송신함으로써, 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 및 제8 카메라(330-8)를 동기화할 수 있다.
파노라마 2D 이미지를 생성하기 위해, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지 내지 상기 제16 이미지의 획득은 요구되지 않기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2), 제4 프로세서(310-4), 및 제5 프로세서(310-5)에게 인코딩 데이터를 요청하지 않을 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 파노라마 2D 이미지의 생성을 위해 이용되지 않는 제2 프로세서(310-2), 제4 프로세서(310-4), 제5 프로세서(310-5) 각각에게 제공되는 파워를 차단하거나 파노라마 2D 이미지의 생성을 위해 이용되지 않는 제2 프로세서(310-2), 제4 프로세서(310-4), 제5 프로세서(310-5) 각각에게 제공되는 파워를 감소시키도록 제2 프로세서(310-2), 제4 프로세서(310-4), 및 제5 프로세서(310-5)와 각각 연결된 제2 PMIC(350-2)(미도시), 제4 PMIC(350-4)(미도시), 및 제5 PMIC(350-5) 각각을 제어할 수 있다.
제3 프로세서(310-3)는, 상기 요청에 응답하여, 제2 카메라(330-2)를 통해 제2 이미지를 획득하고, 제4 카메라(330-4)를 통해 제4 이미지를 획득하고, 제6 카메라(330-6)를 통해 제6 이미지를 획득하며, 제8 카메라(330-8)를 통해 제8 이미지를 획득할 수 있다. 제3 프로세서(310-3)는 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지에 기반하여 제2 인코딩 데이터를 생성할 수 있다. 상기 제2 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 마이크로폰(360-2)을 통해 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 제3 프로세서(310-3)는 상기 수신된 오디오에 기반하여 제2 오디오 인코딩 데이터를 생성할 수 있다. 상기 제2 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 상기 제2 인코딩 데이터 및 상기 제2 오디오 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 제1 프로세서(310-1)에게 제공되는 상기 제2 인코딩 데이터 및 상기 제2 오디오 인코딩 데이터 각각은 독립적으로 디코딩 가능하도록 구성될 수 있다.
제1 프로세서(310-1)는, 장치(300)가 파노라마 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제17 카메라를 통해 상기 제17 이미지를 획득하고, 상기 획득된 제17 이미지에 기반하여 제5 인코딩 데이터를 생성할 수 있다.
제1 프로세서(310-1)는, 장치(300)가 파노라마 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 마이크로폰(360-1)을 통해 상기 획득된 이미지들 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 제1 프로세서(310-1)는 상기 수신된 오디오에 기반하여 제1 오디오 인코딩 데이터를 생성할 수 있다. 상기 제1 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제1 프로세서(310-1)는 상기 수신된 제2 인코딩 데이터, 상기 생성된 제5 인코딩 데이터, 상기 수신된 제2 오디오 인코딩 데이터, 및 상기 생성된 제1 오디오 인코딩 데이터를 상기 파노라마 2D 이미지를 생성하기 위한 하나의 데이터 셋으로 구성할 수 있다. 상기 하나의 데이터 셋 내에서, 인코딩 데이터의 배치 순서는, 도 26에 도시된 바와 같이, 제2 인코딩 데이터, 상기 제5 인코딩 데이터, 상기 제2 오디오 인코딩 데이터, 및 상기 제1 오디오 인코딩 데이터 순일 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 메모리(320)에 저장할 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 통신 인터페이스(340)를 통해 다른 장치에게 송신할 수 있다. 상기 구성된 하나의 데이터 셋은, 장치(300)가 파노라마 2D 이미지를 생성하기 위한 모드에서 동작하는 경우, 실시간으로 상기 다른 장치에게 송신될 수 있다. 상기 저장되거나 송신되는 하나의 데이터 셋 내에 포함되는 다양한 데이터 각각은, 독립적으로 디코딩 가능할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는 파노라마 2D 이미지의 생성을 위해 이용되지 않는 적어도 하나의 카메라를 파노라마 2D 이미지의 생성을 위해 이용되는 적어도 하나의 카메라와 연결된 프로세서와 다른 프로세서에 연결함으로써, 장치(300)에서 인코딩 데이터를 생성하기 위해 요구되는 연산량을 감소시킬 수 있다.
도 27은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 동작의 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 23 내지 26에 도시된 장치(300), 또는 장치(300)의 구성요소(예: 도 3의 프로세서(310), 도 23 내지 26의 제1 프로세서(310-1))에 의해 수행될 수 있다.
도 27을 참조하면, 동작 2710에서, 제1 프로세서(310-1)는 장치(300)의 모드를 확인할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는, 장치(300)에 포함된 복수의 프로세서들 중에서 인코딩 데이터의 요청을 송신하기 위한 적어도 하나의 목표 프로세서를 결정하기 위해, 장치(300)의 모드를 확인할 수 있다. 다양한 실시예들에서, 장치(300)의 모드는, 도 20에 도시된 UI(2000)를 통해 검출되는 입력에 기반하여 결정될 수 있다. 장치(300)의 모드가 제1 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 동작 2720 내지 동작 2740을 수행할 수 있다. 상기 제1 모드는, 제2 프로세서(310-2) 및 제3 프로세서(310-3) 중 제2 프로세서(310-2)의 이용(또는 제2 프로세서(310-2)와 연결된 제1 카메라(310-1)의 이용)이 요구되지 않는 모드일 수 있다. 장치(300)의 모드가 제2 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 동작 2750 내지 동작 2770을 수행할 수 있다. 상기 제2 모드는, 제2 프로세서(310-2) 및 제3 프로세서(310-3)의 이용이 요구되는 모드일 수 있다.
동작 2720에서, 장치(300)의 모드가 상기 제1 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는, 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 제1 프로세서(310-1)는, 인코딩 데이터의 획득을 위한 연산량을 감소시키기 위해, 제3 프로세서(310-3)에게만 상기 인코딩 데이터를 요청할 수 있다. 제3 프로세서(310-3)는 상기 요청을 수신할 수 있다.
동작 2730에서, 제1 프로세서(310-1)는 제3 프로세서(310-3)로부터 제2 인코딩 데이터를 수신할 수 있다. 상기 제2 인코딩 데이터는, 제3 프로세서(310-3)와 동작적으로 연결된 제2 카메라(310-2)를 통해 획득되는 이미지에 기반하여 제3 프로세서(310-3)에서 생성될 수 있다. 상기 수신된 제2 인코딩 데이터는 독립적으로 디코딩 가능할 수 있다.
동작 2740에서, 제1 프로세서(310-1)는 상기 제2 인코딩 데이터를 하나의 데이터 셋으로 처리할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 상기 제2 인코딩 데이터를 포함하는 상기 하나의 데이터 셋을 장치(300)의 메모리(320)에 저장할 수 있다. 다양한 실시예들에서, 상기 제2 인코딩 데이터는, 제2 카메라(310-2)가 복수의 카메라들로 구성되는 경우, 상기 복수의 카메라들 각각으로부터 획득되는 복수의 이미지들 각각 별로 독립적으로 디코딩 가능할 수 있다. 상기 복수의 이미지들 각각에 대한 정보는, 상기 복수의 카메라들 각각의 배치에 상응하는 순서로 상기 제2 인코딩 데이터 내에 포함될 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 상기 제2 인코딩 데이터를 포함하는 상기 하나의 데이터 셋을 다른 장치(예: 전자 장치(101))에게 송신할 수 있다.
동작 2750에서, 장치(300)의 모드가 상기 제2 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는, 제2 프로세서(310-2) 및 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 상기 제2 모드는 제2 프로세서(310-2)의 이미지 획득 및 인코딩이 요구되기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2) 및 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 제2 프로세서(310-2) 및 제3 프로세서(310-3) 각각은 상기 요청을 수신할 수 있다.
동작 2760에서, 제1 프로세서(310-1)는 제3 프로세서(310-3)로부터 제1 인코딩 데이터 및 제2 인코딩 데이터를 수신할 수 있다. 상기 제1 인코딩 데이터는, 제2 프로세서(310-2)와 동작적으로 연결된 제1 카메라(330-1)를 통해 획득되는 이미지에 기반하여 생성될 수 있다. 상기 제1 인코딩 데이터는, 제2 프로세서(310-2)로부터 제3 프로세서(310-3)를 통해 제1 프로세서(310-1)에게 제공될 수 있다. 상기 제1 인코딩 데이터는, 상기 제2 인코딩 데이터의 디코딩 여부와 관계없이 독립적으로 디코딩 가능할 수 있다. 상기 제2 인코딩 데이터는, 제3 프로세서(310-3)와 동작적으로 연결된 제2 카메라(330-2)를 통해 획득되는 이미지에 기반하여 생성될 수 있다. 상기 제2 인코딩 데이터는, 상기 제1 인코딩 데이터의 디코딩 여부와 관계없이 독립적으로 디코딩 가능할 수 있다.
동작 2770에서, 제1 프로세서(310-1)는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 하나의 데이터 셋으로 처리할 수 있다. 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 상기 하나의 데이터 셋으로 처리한다는 것은, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 결합하는 것과 구별되는 개념일 수 있다. 상기 제1 인코딩 데이터는 상기 하나의 데이터 셋 내에서 상기 제2 인코딩 데이터와 독립적으로 구성될 수 있고, 상기 제2 인코딩 데이터는 상기 하나의 데이터 셋 내에서 상기 제1 인코딩 데이터와 독립적으로 구성될 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 상기 하나의 데이터 셋을 장치(300)의 메모리(320)에 저장할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 상기 하나의 데이터 셋을 다른 장치(예: 전자 장치(101))에게 송신할 수 있다. 상기 하나의 데이터 셋을 수신한 상기 다른 장치는, 상기 하나의 데이터 셋 내에서 상기 제1 인코딩 데이터만을 추출하여 디코딩함으로써 제1 카메라(330-1)를 통해 획득된 이미지와 관련된 정보를 획득할 수 있다. 상기 하나의 데이터 셋을 수신한 상기 다른 장치는, 상기 하나의 데이터 셋 내에서 상기 제2 인코딩 데이터만을 추출하여 디코딩함으로써 제2 카메라(330-2)를 통해 획득된 이미지와 관련된 정보를 획득할 수 있다. 다시 말해, 상기 송신된 하나의 데이터 셋 내의 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은 독립적으로 디코딩 가능할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는, 독립적으로 디코딩 가능한 인코딩 데이터를 생성하고 제공함으로써, 이미지 획득 및 이미지 처리에 요구되는 연산량을 감소시킬 수 있다. 다양한 실시예들에 따른 장치(300)는 장치(300)의 모드에 따라 선택적으로 프로세서를 구동함으로써, 이미지 획득 및 이미지 처리에 요구되는 연산량을 감소시킬 수 있다.
도 28은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치 내의 신호 흐름의 예를 도시한다. 이러한 신호 흐름은, 도 3에 도시된 장치(300), 도 23 내지 26에 도시된 장치(300) 내에서 야기될 수 있다.
도 28을 참조하면, 동작 2810에서, 제1 프로세서(310-1)는 장치(300)의 모드를 확인할 수 있다. 제1 프로세서(310-1)는, 인코딩 데이터를 요청할 대상을 특정하기 위해, 장치(300)의 모드를 확인할 수 있다. 제1 프로세서(310-1)가 장치(300)의 모드가 제2 프로세서(310-2)의 연산이 요구되지 않는 제1 모드임을 확인하는 경우, 장치(300) 내에서 동작 2820 내지 동작 2850이 수행될 수 있다. 이와 달리, 제1 프로세서(310-1)가 장치(300)의 모드가 제2 프로세서(310-2)의 연산이 요구되는 제2 모드임을 확인하는 경우, 장치(300) 내에서 동작 2855 내지 동작 2875가 수행될 수 있다.
동작 2820에서, 장치(300)의 모드가 상기 제1 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 제3 프로세서(310-3)에게만 인코딩 데이터를 요청할 수 있다. 장치(300)는 상기 제1 모드에서 제2 프로세서(310-2)의 연산은 요구되지 않도록 구성되기 때문에, 제1 프로세서(310-1)는 제3 프로세서(310-3)에게만 상기 인코딩 데이터를 요청할 수 있다.
동작 2830에서, 장치(300)의 모드가 상기 제1 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 제2 프로세서(310-2)와 동작적으로 연결된 제2 PMIC(350-2)에게 제2 프로세서(310-2)에게 제공되는 파워를 차단하기 위한 제어 신호를 송신할 수 있다. 장치(300)는 상기 제1 모드에서 제2 프로세서(310-2)의 연산은 요구되지 않도록 구성되기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2)를 비활성화하기 위한 제어 신호를 송신할 수 있다. 제2 PMIC(350-2)는 상기 제어 신호를 수신할 수 있다.
동작 2820 및 동작 2830은 동시에 수행될 수도 있고, 역순으로 수행될 수도 있다. 다시 말해, 동작 2820 및 동작 2830은 순서에 관계없이 수행될 수 있다.
동작 2835에서, 제2 PMIC(350-2)는 제2 프로세서(310-2)에 제공되는 파워를 차단할 수 있다.
동작 2840에서, 제3 프로세서(310-3)는 상기 요청에 응답하여, 제2 카메라(330-2)로부터 획득되는 이미지에 기반하여 생성되는 제2 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 제1 프로세서(310-1)는 상기 제2 인코딩 데이터를 수신할 수 있다.
동작 2830과 동작 2840은 동시에 수행될 수도 있고, 역순으로 수행될 수도 있다. 다시 말해, 동작 2830 및 동작 2840은 순서에 관계없이 수행될 수 있다.
동작 2850에서, 제1 프로세서(310-1)는 상기 제2 인코딩 데이터만을 하나의 데이터 셋으로 메모리(320)에 저장할 수 있다. 제1 프로세서(310-1)는 상기 하나의 데이터 셋을 후처리하거나 또는 상기 하나의 데이터 셋을 다른 장치에게 송신하기 위해, 상기 하나의 데이터 셋을 메모리(320)에 저장할 수 있다.
동작 2855에서, 장치(300)의 모드가 상기 제2 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 제3 프로세서(310-3)는 상기 요청을 수신할 수 있다.
동작 2860에서, 장치(300)의 모드가 상기 제2 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 제2 프로세서(310-2)에게 인코딩 데이터를 요청할 수 있다. 제2 프로세서(310-2)는 상기 요청을 수신할 수 있다.
동작 2855 및 동작 2860은 동시에 수행될 수도 있고, 역순으로 수행될 수도 있다. 다시 말해, 동작 2855 및 동작 2860은 순서에 관계없이 수행될 수 있다.
동작 2865에서, 제2 프로세서(310-2)는 상기 요청에 응답하여, 제1 카메라(330-1)를 통해 획득되는 이미지에 기반하여 생성된 제1 인코딩 데이터를 제3 프로세서(310-3)에게 송신할 수 있다. 상기 제1 인코딩 데이터는 독립적으로 디코딩 가능할 수 있다. 제3 프로세서(310-3)는 상기 제1 인코딩 데이터를 수신할 수 있다.
동작 2870에서, 제3 프로세서(310-3)는 상기 요청에 기반하여, 제2 카메라(330-2)를 통해 획득되는 이미지에 기반하여 생성된 제2 인코딩 데이터 및 상기 수신된 제1 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 상기 제2 인코딩 데이터는 독립적으로 디코딩 가능할 수 있다. 제1 프로세서(310-1)는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 수신할 수 있다.
동작 2875에서, 제1 프로세서(310-1)는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 하나의 데이터 셋으로 저장할 수 있다. 제1 프로세서(310-1)는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터로 구성된 상기 하나의 데이터 셋을 후처리하거나, 다른 장치에게 송신하기 위해, 상기 하나의 데이터 셋을 저장할 수 있다. 상기 하나의 데이터 셋을 구성하는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은 장치(300) 또는 상기 다른 장치에서 독립적으로 디코딩 가능할 수 있다.
도 29는 다양한 실시예들에 따라 데이터 셋을 수신하는 다른 장치의 동작의 예를 도시한다. 이러한 동작은 도 1에 도시된 전자 장치(101) 또는 전자 장치(101) 내의 프로세서(120)에 의해 수행될 수 있다.
도 29를 참조하면, 동작 2910에서, 프로세서(120)는 다른 장치(예: 장치(300))로부터 적어도 하나의 데이터 셋을 수신할 수 있다. 상기 적어도 하나의 데이터 셋은 장치(300)에 의해 구성될 수 있다. 예를 들면, 상기 적어도 하나의 데이터 셋은, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터로 구성될 수 있다. 다른 예를 들면, 상기 적어도 하나의 데이터 셋은, 상기 제2 인코딩 데이터만으로 구성될 수도 있다.
동작 2920에서, 프로세서(120)는, 상기 적어도 하나의 데이터 셋의 구성(configuration)을 확인할 수 있다. 다양한 실시예들에서, 프로세서(120)는, 상기 수신에 응답하여, 상기 적어도 하나의 데이터 셋의 구성을 확인할 수 있다. 프로세서(120)는, 상기 적어도 하나의 데이터 셋의 구성이 제1 구성임을 확인하는 것에 기반하여, 동작 2930을 수행할 수 있다. 이와 달리, 프로세서(120)는 상기 적어도 하나의 데이터 셋의 구성이 제2 구성임을 확인하는 것에 기반하여 동작 2940 내지 동작 2950을 수행할 수 있다.
동작 2930에서, 상기 적어도 하나의 데이터 셋의 구성이 제1 구성임을 확인하는 것에 기반하여, 프로세서(120)는 상기 제2 인코딩 데이터만을 디코딩하여 2D 이미지 파일을 생성할 수 있다. 상기 적어도 하나의 데이터 셋은 상기 제2 인코딩 데이터만으로 구성될 수 있기 때문에, 프로세서(120)는 상기 적어도 하나의 데이터 셋으로부터 상기 제2 인코딩 데이터를 획득하고, 상기 획득된 제2 인코딩 데이터를 디코딩함으로써, 상기 2D 이미지 파일을 최종 이미지로서 생성할 수 있다.
동작 2940에서, 상기 적어도 하나의 데이터 셋의 구성이 제2 구성임을 확인하는 것에 기반하여, 프로세서(120)는 상기 제1 인코딩 데이터를 디코딩하여 제1 2D 이미지 파일을 생성하고, 상기 제2 인코딩 데이터를 디코딩하여 제2 2D 이미지 파일을 생성할 수 있다. 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은 독립적으로 디코딩 가능할 수 있으며, 독립적인 이미지 파일을 생성하기 위해 이용될 수 있다.
동작 2950에서, 프로세서(120)는 상기 제1 2D 이미지 파일 및 상기 제2 2D 이미지 파일에 기반하여 3D 이미지 파일을 생성할 수 있다. 프로세서(120)는 상기 제1 2D 이미지 파일 및 상기 제2 2D 이미지 파일을 합성(또는 스티칭)함으로써, 상기 3D 이미지 파일을 생성할 수 있다.
도 29의 동작 2950과 달리, 프로세서(120)는 상기 제1 2D 이미지 파일만을 최종 이미지 파일로 이용할 수도 있고, 상기 제2 2D 이미지 파일만을 상기 최종 이미지 파일로 이용할 수도 있다. 다시 말해, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은 독립적으로 디코딩 가능하기 때문에, 프로세서(120)는 상기 제1 인코딩 데이터에 기반하여 생성되는 파일 및 상기 제2 인코딩 데이터에 기반하여 생성되는 파일을 적응적으로 이용할 수 있다.
도 30은 다양한 실시예들에 따라 오디오 신호를 처리하는 전자 장치의 기능적 구성의 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 전자 장치(300)에 포함될 수 있다.
도 31은 다양한 실시예들에 따라 오디오 신호를 처리하는 프로세서의 동작의 예를 도시한다.
도 30에서, 전자 장치(101)는 도 3 등에 도시된 장치(300)로부터 전방향 이미지를 위한 복수의 이미지들 및 복수의 오디오 신호들을 수신한 전자 장치일 수 있다. 전자 장치(101)는 상기 전방향 이미지를 생성하는 전자 장치 또는 상기 전방향 이미지를 재생하는 전자 장치일 수 있다.
도 30을 참조하면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 표시 장치(160)를 포함할 수 있다.
프로세서(120)는 메모리(130), 입력 장치(150), 및 표시 장치(160)와 동작적으로 연결될 수 있다. 프로세서(120)는 상기 연결을 통해 메모리(130), 입력 장치(150), 및 표시 장치(160)를 제어할 수 있다.
다양한 실시예들에서, 프로세서(120)는, 메모리(130)에 저장된 복수의 명령어들을 실행함으로써, 표시 장치(160)를 통해, 상기 전방향 이미지를 위한 복수의 이미지들을 표시할 수 있다. 프로세서(120)는, 상기 전방향 이미지의 편집(editing)을 위해 상기 복수의 이미지들을 표시할 수 있다. 예를 들면, 프로세서(120)는 상기 전방향 이미지의 기준 방향을 제1 방향에서 제2 방향으로 변경하기 위해, 상기 복수의 이미지들을 표시할 수 있다. 상기 표시된 복수의 이미지들은, 장치(300) 등에서 상기 제1 방향에 기반하여(또는 특정 카메라를 중심 카메라로 하여) 획득될 수 있다. 프로세서(120)는, 상기 전방향 이미지의 기준 방향을 변경하기 위한 어플리케이션의 UI 내(within)에서, 상기 복수의 이미지들을 표시할 수 있다.
다양한 실시예들에서, 프로세서(120)는, 메모리(130)에 저장된 복수의 명령어들을 실행함으로써, 입력 장치(150)를 통해, 상기 전방향 이미지의 기준 방향을 변경하기 위한 입력을 검출할 수 있다. 프로세서(120)는 상기 전방향 이미지의 기준 방향을 상기 제1 방향에서 제2 방향으로 변경하기 위한 입력을 검출할 수 있다. 상기 입력은, 상기 표시된 복수의 이미지들 중 상기 제2 방향에 상응하는 제k 이미지를 선택하는 입력을 포함할 수 있다. 예를 들어, 상기 제k 이미지를 선택하는 입력은, 상기 제k 이미지에 대한 롱 터치 입력, 드래그 입력, 더블 탭 입력, 포스 터치(force touch) 입력 등일 수 있다.
다양한 실시예들에서, 프로세서(120)는 상기 입력을 검출(또는 수신)하는 것에 응답하여, 메모리(130)에 저장된 복수의 명령어들을 실행함으로써, 상기 전방향 이미지를 위한 복수의 제1 오디오 신호들을 확인(identify)할 수 있다. 상기 복수의 제1 오디오 신호들은, 상기 복수의 이미지들을 획득하는 동안 복수의 마이크로폰들을 통해 각각 획득될 수 있다. 프로세서(120)는 장치(300)으로부터 수신된 상기 데이터 셋으로부터 상기 복수의 제1 오디오 신호들을 확인할 수 있다. 상기 복수의 제1 오디오 신호들 각각은, 복수의 마이크들을 통해 수신되는 신호일 수 있다. 상기 복수의 제1 오디오 신호들 각각은, 상기 기준 방향이 무엇인지에 따라 적응적으로 이득(또는 녹음 모드)을 변경할 수 있는 상기 복수의 마이크들을 통해 수신될 수 있다.
다양한 실시예들에서, 프로세서(120)는, 상기 입력을 검출(또는 수신)하는 것에 응답하여, 메모리(130)에 저장된 복수의 명령어들을 실행함으로써, 상기 제1 방향과 상기 제2 방향 사이의 차이 값(difference value)을 결정할 수 있다. 상기 차이 값은, 상기 기준 방향의 변경에 따라 상기 복수의 제1 오디오 신호들을 조정하기 위해 이용될 수 있다. 상기 차이 값은, 상기 복수의 제1 오디오 신호들로부터 변경된 복수의 제2 오디오 신호들을 생성하기 위해 이용될 수 있다. 예를 들면, 상기 복수의 제2 오디오 신호들 각각은, 복수 채널 오디오 데이터를 구성할 수 있다. 예를 들면, 상기 복수의 제2 오디오 신호들 각각은 복수의 채널들 각각을 통해 출력될 수 있다. 상기 차이 값은, 상기 제1 방향과 상기 제2 방향 사이의 위치 관계에 기반하여 결정될 수 있다. 상기 차이 값은, 각도(angle)를 나타내는 파라미터 또는 방향(orientation)을 나타내는 파라미터 중 하나 이상으로 구성될 수 있다. 상기 차이 값은, 상기 복수의 이미지들 중 상기 제1 방향에 상응하는 제m 이미지와 상기 복수의 이미지들 중 상기 제2 방향에 상응하는 상기 제k 이미지 사이에 배치된 이미지들의 수를 나타낼 수도 있다. 다양한 실시예들에서, 상기 차이값은 다른 값으로 대체될 수도 있다. 예를 들면, 상기 차이 값은, 상기 기준 방향(또는 센터 뷰(view))에 대한 방향을 나타내는 값으로 대체될 수 있다. 다양한 실시예들에서, 상기 차이 값에 대한 정보는, 상기 복수의 제1 오디오 신호들과 함께 획득될 수 있다.
다양한 실시예들에서, 상기 복수의 이미지들을 획득하는 동안, 상기 기준 방향이 상기 제1 방향에서 상기 제2 방향으로 변경되는 경우, 프로세서(120)는, 상기 복수의 카메라들을 이용하여 획득되는 복수의 이미지들 각각에 대한 인코딩 데이터의 순서를 변경할 수 있다. 일부 실시예들에서, 프로세서(120)는 상기 복수의 이미지들 각각에 대한 인코딩 데이터의 상기 변경된 순서에 따라 결정되는 상기 차이값에 대한 정보를 다른 장치에게 송신할 수 있다. 상기 다른 장치는, 상기 수신된 정보에 기반하여 상기 제2 오디오 신호들을 생성할 수 있다. 다른 일부 실시예들에서, 프로세서(120)는 상기 복수의 이미지들 각각에 대한 인코딩 데이터의 상기 변경된 순서에 따라 상기 복수의 제1 이미지들의 순서(또는 조합)을 변경함으로써, 상기 제2 방향에 매칭되는 상기 복수의 제2 오디오 신호들을 생성하고, 상기 복수의 제2 오디오 신호들에 대한 정보를 다른 장치에게 송신할 수 있다.
다양한 실시예들에서, 프로세서(120)는, 메모리(130)에 저장된 복수의 명령어들을 실행함으로써, 상기 결정된 차이값에 기반하여 상기 복수의 제1 오디오 신호들로부터 변경된 상기 복수의 제2 오디오 신호들을 생성할 수 있다. 상기 복수의 제2 오디오 신호들은, 상기 제2 방향을 기준 방향으로 하는 상기 전방향 이미지에 상응하는 오디오 신호들일 수 있다. 상기 복수의 제2 오디오 신호들 각각은, 서라운드 효과(surround effect)를 위해 복수의 채널들 각각과 관련될 수 있다. 예를 들면, 상기 복수의 채널들은, 5.1 채널의 레프트(left) 채널, 상기 5.1 채널의 라이트(right) 채널, 상기 5.1 채널의 센터(center) 채널, 상기 5.1 채널의 서라운드(surround) 레프트 채널, 상기 5.1 채널의 서라운드 라이트 채널, 및 상기 5.1 채널의 우퍼(wooper) 채널을 포함할 수 있다. 상기 복수의 제2 오디오 신호들 각각은, 상기 복수의 채널들 각각을 통해 출력될 수 있다. 예를 들면, 상기 복수의 제2 오디오 신호들은, 상기 5.1 채널의 레프트 채널을 위한 출력 장치, 상기 5.1 채널의 라이트 채널을 위한 출력 장치, 상기 5.1 채널의 센터 채널을 위한 출력 장치, 상기 5.1 채널의 서라운드 레프트 채널을 위한 출력 장치, 상기 5.1 채널의 서라운드 라이트 채널을 위한 출력 장치, 및 상기 5.1 채널의 우퍼 채널을 위한 출력 장치를 통해 출력될 수 있다.
예를 들어, 도 31을 참조하면, 프로세서(120)는 상기 결정된 차이값을 입력부(3110-1) 내지 입력부(3110-5)에게 각각 제공할 수 있다. 입력부(3110-1) 내지 입력부(3110-5) 각각은, 복수의 채널들에 상응할 수 있다. 예를 들면, 입력부(3110-1)는 상기 5.1 채널의 레프트 채널을 위해 구성될 수 있고, 입력부(3110-2)는 상기 5.1 채널의 라이트 채널을 위해 구성될 수 있고, 입력부(3110-3)는 상기 5.1 채널의 센터 채널을 위해 구성될 수 있고, 입력부(3110-4)는 상기 5.1 채널의 서라운드 레프트 채널을 위해 구성될 수 있으며, 입력부(3110-5)는 상기 5.1 채널의 서라운드 라이트 채널을 위해 구성될 수 있다.
프로세서(120)는 상기 복수의 제1 오디오 신호들을 입력부(3110-1) 내지 입력부(3110-5)에게 각각 제공할 수 있다. 예를 들면, 프로세서(120)는 상기 복수의 제1 오디오 신호들을 입력부(3110-1) 내지 입력부(3110-5)에게 각각 제공할 수 있다.
입력부(3110-1)는, 상기 제공된 차이값에 기반하여, 입력부(3110-1)와 관련된 채널에 상응하는(또는 적합한) 상기 복수의 제1 오디오 신호들의 조합을 결정할 수 있다. 예를 들면, 입력부(3110-1)는 상기 제공된 차이값에 기반하여 상기 복수의 제1 오디오 신호들 중 적어도 하나의 오디오 신호를 상기 5.1 채널의 레프트 채널에 상응하는 신호(예: 상기 제2 방향에 상응하는 카메라의 좌측에 배치된 적어도 하나의 마이크로폰을 통해 수신되는 적어도 하나의 오디오 신호)로 결정할 수 있다. 다른 예를 들면, 입력부(3110-4)는 상기 제공된 차이값에 기반하여 상기 복수의 제1 오디오 신호들 중 적어도 하나의 다른 오디오 신호를 상기 5.1 채널의 서라운드 레프트 채널에 상응하는 신호로 결정할 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 다른 오디오 신호 중 적어도 일부는 상기 적어도 하나의 오디오 신호 중 적어도 일부와 공통될 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 다른 오디오 신호 전부는 상기 적어도 하나의 오디오 신호 전부와 공통되지 않을 수도 있다.
입력부(3110-1) 내지 입력부(3110-5) 각각은 결정된 적어도 하나의 오디오 신호에 대한 정보를 딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5)에 각각 제공할 수 있다. 딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5) 각각은 상기 복수의 제1 오디오 신호들을 획득하는 복수의 마이크로폰들 사이의 위치 차이에 의해 야기되는 딜레이를 보상하기 위해 이용될 수 있다. 딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5) 각각은, 딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5) 각각에 수신되는 상기 적어도 하나의 오디오 신호 중 적어도 일부의 딜레이를 보상할 수 있다. 예를 들면, 딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5) 각각은, 상기 복수의 제2 오디오 신호들 각각이 동기를 유지한 상태에서 출력되도록, 상기 적어도 하나의 오디오 신호 중 적어도 일부의 딜레이를 보상할 수 있다.
딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5) 각각은 상기 딜레이가 보상된 상기 적어도 하나의 오디오 신호를 가중치 적용부(3130-1) 내지 가중치 적용부(3130-5)에게 제공할 수 있다.
가중치 적용부(3130-1) 내지 가중치 적용부(3130-5) 각각은 상기 차이값에 대한 정보를 제공 받을 수 있다. 가중치 적용부(3130-1) 내지 가중치 적용부(3130-5) 각각은 상기 딜레이가 보상된 상기 적어도 하나의 오디오 신호를 제공 받을 수 있다.
가중치 적용부(3130-1) 내지 가중치 적용부(3130-5) 각각은, 상기 차이값 및 상기 적어도 하나의 오디오 신호에 기반하여 가중치에 대한 정보를 검색할 수 있다. 상기 가중치에 대한 정보는, 상기 적어도 하나의 오디오 신호에 적용될 적어도 하나의 가중치에 대한 데이터를 포함할 수 있다. 상기 가중치에 대한 정보는, 상기 복수의 제2 오디오 신호들에 빔포밍(beamforming) 또는 지향성을 제공하기 위해 이용될 수 있다. 상기 가중치에 대한 정보는, 메모리(130)에 미리 저장될 수 있다. 상기 가중치에 대한 정보에서, 상기 적어도 하나의 가중치에 대한 데이터는 상기 차이값과 연계될 수 있다. 예를 들면, 차이값 a는 상기 적어도 하나의 가중치에 대한 제1 데이터와 연계되고, 차이값 b는 상기 적어도 하나의 가중치에 대한 제2 데이터와 연계될 수 있다. 상기 적어도 하나의 가중치에 대한 데이터는, 상기 복수의 제1 오디오 신호들 중 적어도 일부의 조합 별로 구성될 수 있다.
가중치 적용부(3130-1) 내지 가중치 적용부(3130-5) 각각은, 상기 가중치에 대한 정보로부터 상기 차이값 및 상기 적어도 하나의 오디오 신호에 상응하는 적어도 하나의 가중치를 획득할 수 있다. 가중치 적용부(3130-1) 내지 가중치 적용부(3130-5) 각각은, 상기 획득된 적어도 하나의 가중치를 상기 적어도 하나의 오디오 신호에 적용함으로써 상기 복수의 제2 오디오 신호들 각각을 생성할 수 있다.
프로세서(120)는 상기 생성된 복수의 제2 오디오 신호들 각각은, 상기 기준 방향이 상기 제2 방향으로 변경된 상기 전방향 이미지에 상응하는 오디오 신호일 수 있다. 상기 복수의 제2 오디오 신호들 각각은, 전자 장치(101) 내의 출력 장치 또는 전자 장치와 연결된 다른 장치 내의 출력 장치를 통해 출력될 수 있다.
도 31은 장치(300)로부터 복수의 이미지들 및 복수의 오디오 신호들을 수신하는 전자 장치(101)에서 상기 복수의 오디오 신호들을 처리하는 예를 도시한다. 도 31의 도시와 독립적으로, 다양한 실시예들에서, 장치(300)에서 상기 복수의 오디오 신호들을 처리할 수 있음을 유의하여야 한다. 예를 들면, 다양한 실시예들에 따른 장치(300)는 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라에 대응하는 하나 이상의 제1 트랜스듀서(transducer)들 및 상기 제2 카메라에 대응하는 하나 이상의 제2 트랜스듀서들을 포함할 수 있다. 장치(300)는, 상기 제1 카메라가 중심 카메라로 구성되는 경우, 상기 하나 이상의 제1 트랜스듀서들을 통해 상기 복수의 오디오 신호들을 획득할 수 있다. 상기 하나 이상의 제1 트랜스듀서들을 통해 상기 복수의 오디오 신호들을 획득함으로써, 장치(300)는 중심 카메라인 상기 제1 카메라를 통해 획득되는 중심 이미지와 매칭되는 오디오를 획득할 수 있다. 예를 들면, 상기 획득된 오디오 내에 포함된 상기 중심 이미지와 상응하는 중심 방향의 오디오 데이터는 상기 중심 방향과 다른 적어도 하나의 방향의 오디오 데이터보다 높은 이득을 가질 수 있다. 장치(300)는, 상기 제2 카메라가 중심 카메라로 구성되는 경우, 상기 하나 이상의 제2 트랜스듀서들을 통해 상기 복수의 다른 오디오 신호들을 획득할 수 있다. 상기 하나 이상의 제2 트랜스듀서들을 통해 상기 복수의 다른 오디오 신호들을 획득함으로써, 장치(300)는 중심 카메라인 상기 제2 카메라를 통해 획득되는 중심 이미지와 매칭되는 오디오를 획득할 수 있다. 예를 들면, 상기 획득된 오디오 내에 포함된 상기 중심 이미지와 상응하는 중심 방향의 오디오 데이터는 상기 중심 방향과 다른 적어도 하나의 방향의 오디오 데이터보다 높은 이득을 가질 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 전자 장치(101)는 전방향 이미지의 기준 방향이 상기 제1 방향에서 상기 제2 방향으로 변경되는 경우, 상기 제1 방향 및 상기 제2 방향 사이의 차이값에 기반하여 상기 전방향 이미지를 위한 복수의 제1 오디오 신호들을 복수의 제2 오디오 신호들로 변경할 수 있다. 상기 변경을 통해, 다양한 실시예들에 따른 전자 장치(101)는, 기준 방향의 변경에 따른 오디오 신호와 전방향 이미지의 불일치를 해소할 수 있다. 상기 변경을 통해, 다양한 실시예들에 따른 전자 장치(101)는, 이미지 획득 절차의 기준 방향이 다른 방향으로 변경되더라도, 이를 보상할 수 있다.
도 32는 다양한 실시예들에 따른 전자 장치에서 오디오의 방향을 변경하는 예를 도시한다. 이러한 예는, 도 1의 전자 장치(101), 도 30의 전자 장치(101), 또는 전자 장치(101)에 포함된 프로세서(120)에서 구성될 수 있다.
도 32를 참조하면, 프로세서(120)는 복수의 이미지들(3200)을 처리할 수 있다. 복수의 이미지들(3200)은 제k 이미지에 상응하는 방향을 기준 방향으로 하여 획득되거나 생성된 이미지들일 수 있다. 복수의 이미지들(3200)은, 전방향 이미지를 위한 이미지로, 제k 이미지를 기준 이미지로 가질 수 있다. 복수의 이미지들(3200)과 관련되는 상기 복수의 제1 오디오 신호들은 예시도(3220)와 같이 출력되거나 송신될 것을 고려하여 획득될 수 있다. 예를 들면, 상기 복수의 제1 오디오 신호들은, 상기 제k 이미지를 기준 이미지인 경우에 상응하도록 구성된 오디오 신호들일 수 있다. 상기 복수의 제1 오디오 신호들 각각은, 상기 제k 이미지의 좌측을 위한 오디오 신호, 우측을 위한 오디오 신호, 센터를 위한 오디오 신호, 좌후방을 위한 오디오 신호, 및 우후방 방향을 위한 오디오 신호를 포함할 수 있다.
프로세서(320)는 복수의 이미지들(3200)의 기준 방향을 상기 제1 방향에서 상기 제2 방향으로 변경하기 위한 입력을 수신할 수 있다. 상기 입력은, 외부 장치로부터 수신될 수도 있다. 상기 제2 방향은 복수의 이미지들(3200) 중 제l 이미지에 상응할 수 있다. 프로세서(320)는 상기 입력의 수신에 응답하여 상기 전방향 이미지의 기준 방향을 상기 제1 방향에서 상기 제2 방향으로 변경할 수 있다. 프로세서(320)는 상기 입력의 수신에 응답하여 상기 제1 방향과 상기 제2 방향 사이의 차이값을 산출할 수 있다. 프로세서(320)는 상기 차이값에 기반하여 상기 복수의 제2 오디오 신호들 각각에 상기 복수의 제1 오디오 신호들 중 적어도 하나의 오디오 신호를 할당할 수 있다. 프로세서(320)는 상기 적어도 하나의 오디오 신호 각각에 가중치를 적용함으로써 상기 복수의 제2 오디오 신호들 각각을 생성할 수 있다. 상기 복수의 제2 오디오 신호들 각각은, 상기 제2 방향에 상응하는 카메라와 상기 복수의 제1 오디오 신호들을 수신한 복수의 마이크로폰들 사이의 위치 관계에 기반하여 생성될 수 있다. 예를 들면, 상기 복수의 제2 오디오 신호들 각각은, 상기 제2 방향에 상응하는 카메라의 좌방에 배치된 적어도 하나의 마이크로폰을 통해 수신된 오디오 신호, 상기 제2 방향에 상응하는 카메라의 우방에 배치된 적어도 하나의 마이크로폰을 통해 수신된 오디오 신호, 상기 제2 방향에 상응하는 카메라의 주변에 배치된 적어도 하나의 마이크로폰을 통해 수신된 오디오 신호, 상기 제2 방향에 상응하는 카메라의 좌후방에 배치된 적어도 하나의 마이크로폰을 통해 수신된 오디오 신호, 및 상기 제2 방향에 상응하는 카메라의 우후방에 배치된 적어도 하나의 마이크로폰을 통해 수신된 오디오 신호를 포함할 수 있다. 상기 복수의 제2 오디오 신호들 각각은 예시도(3255)와 같이 방향성의 변경(예: 회전(3260))이 적용된 신호일 수 있다. 이러한 방향성의 변경을 통해, 전자 장치(101)는 기준 방향이 변경된 전방향 이미지에 매칭되는 복수의 제2 오디오 신호들을 생성할 수 있다.
도 33은 다양한 실시예들에 따라 오디오 신호를 처리하는 장치의 동작의 예를 도시한다. 이러한 동작은, 도 1에 도시된 전자 장치(101), 도 30에 도시된 전자 장치(101), 또는 전자 장치(101)에 포함된 프로세서(120)에 의해 수행될 수 있다.
도 33을 참조하면, 동작 3310에서, 프로세서(120)는 전방향 이미지의 기준 방향을 제1 방향에서 제2 방향으로 변경하기 위한 입력을 수신할 수 있다. 상기 기준 방향은, 상기 전방향 이미지의 재생을 개시하는 시점에서 사용자의 정면에 배치되는 방향일 수 있다. 상기 입력은 외부 장치로부터 수신될 수도 있다. 상기 기준 방향은, 상기 전방향 이미지의 기준이 되는 방향일 수 있다. 상기 기준 방향은, 상기 전방향 이미지를 위한 복수의 이미지들을 획득하는 절차에서 설정된 방향일 수 있다. 상기 복수의 이미지들을 획득하는 절차에서 설정된 상기 기준 방향은, 재생 시에 이용될 메인 방향과 상기 복수의 이미지들에 포함된 컨텍스트(context)에 따라 불일치될 수 있다. 이러한 불일치를 해소하기 위해, 상기 기준 방향의 변경이 전자 장치(101)에서 요구될 수 있다.
동작 3320에서, 프로세서(120)는 상기 제1 방향과 상기 제2 방향 사이의 차이값에 기반하여 상기 복수의 제1 오디오 신호들로부터 변경된 상기 복수의 제2 오디오 신호들을 생성할 수 있다. 프로세서(120)는 상기 차이값에 기반하여 상기 복수의 제2 오디오 신호들 각각을 위해 할당될 상기 복수의 제1 오디오 신호들 중 적어도 하나의 오디오 신호를 결정할 수 있다. 프로세서(120)는 상기 결정된 적어도 하나의 오디오 신호 중 적어도 일부에 상기 복수의 제2 오디오 신호들 각각에 상응하는 가중치를 적용함으로써, 상기 복수의 제2 오디오 신호들을 생성할 수 있다. 상기 복수의 제2 오디오 신호들은, 상기 제2 방향을 기준 방향으로 출력되도록 구성될 수 있다. 상기 복수의 제2 오디오 신호들은, 상기 전방향 이미지의 재생을 위해 상기 복수의 이미지들과 함께 생성되거나 출력될 수 있다.
도 34는 다양한 실시예들에 따라 복수의 제2 오디오 신호들을 생성하는 전자 장치의 동작의 예를 도시한다. 이러한 동작은, 도 1에 도시된 전자 장치(101), 도 30에 도시된 전자 장치(101), 또는 전자 장치(101)에 포함된 프로세서(120)에 의해 수행될 수 있다.
도 34의 동작 3410 내지 동작 3430은 도 33의 동작 3320에 상응할 수 있다.
동작 3410에서, 프로세서(120)는 상기 차이값에 기반하여 복수의 제2 오디오 신호들 각각에 상기 복수의 제1 오디오 신호들 중 적어도 하나의 오디오 신호를 할당할 수 있다. 달리 표현하면, 프로세서(120)는, 상기 차이값에 기반하여, 생성될 복수의 제2 오디오 신호들 각각을 위한 상기 복수의 제1 오디오 신호들의 조합을 결정할 수 있다.
동작 3420에서, 프로세서(120)는 상기 적어도 하나의 오디오 신호 각각에 가중치를 적용하여 복수의 제2 오디오 신호들을 각각 생성할 수 있다. 프로세서(120)는 상기 적어도 하나의 오디오 신호 각각에 상기 변경된 방향에 따라 변경되는 딜레이를 적용하여 상기 복수의 제2 오디오 신호들을 각각 생성할 수도 있다. 예를 들면, 프로세서(120)는, 도 31에 도시된 가중치에 대한 정보를 이용하여, 상기 적어도 하나의 오디오 신호 각각에 적용될 가중치를 결정할 수 있다. 프로세서(120)는 상기 가중치에 대한 정보로부터 획득된 가중치를 상기 적어도 하나의 오디오 신호 각각에 적용함으로써, 상기 복수의 제2 오디오 신호들 각각을 생성할 수 있다.
동작 3430에서, 프로세서(120)는 상기 복수의 제2 오디오 신호들을 처리할 수 있다. 예를 들면, 프로세서(120)는 상기 전방향 이미지의 재생을 위해 상기 복수의 제2 오디오 신호들 각각을 복수의 채널들 각각에 상응하는 출력 장치를 통해 출력할 수 있다. 다른 예를 들면, 프로세서(120)는 상기 전방향 이미지의 후처리 또는 재생을 위해 상기 복수의 제2 오디오 신호들을 저장할 수 있다. 또 다른 예를 들면, 프로세서(120)는 상기 전방향 이미지의 다른 장치에서의 재생을 위해, 상기 복수의 제2 오디오 신호들에 대한 정보를 상기 다른 장치에게 송신할 수 있다.
도 35는 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들의 예를 도시한다.
도 35에 도시된 복수의 제2 오디오 신호들은 5.1 채널을 위해 구성될 수 있다. 도 35에 도시된 복수의 제2 오디오 신호들은 5.1 채널의 레프트(또는 front left)를 위한 신호, 5.1 채널의 라이트(또는 front right)를 위한 신호, 5.1 채널의 센터를 위한 신호, 5.1 채널의 서라운드 레프트를 위한 신호, 및 5.1 채널의 서라운드 라이트를 위한 신호를 포함할 수 있다.
도 35를 참조하면, 그래프 3510은, 기준 방향의 회전이 0도인 경우, 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들을 나타낼 수 있다.
그래프 3530은, 기준 방향의 회전이 45도인 경우, 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들을 나타낼 수 있다. 그래프 3510와 그래프 3530을 비교하면, 상기 복수의 제2 오디오 신호들이 상기 기준 방향의 변경에 따라 회전됨을 확인할 수 있다. 다시 말해, 다양한 실시예들에 따른 전자 장치(101)는 전방향 이미지의 변경된 기준 방향에 상응하는 오디오 신호를 제공할 수 있다.
그래프 3550은, 기준 방향의 회전이 90도인 경우, 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들을 나타낼 수 있다. 그래프 3510와 그래프 3550을 비교하면, 상기 복수의 제2 오디오 신호들이 상기 기준 방향의 변경에 따라 회전됨을 확인할 수 있다. 다시 말해, 다양한 실시예들에 따른 전자 장치(101)는 전방향 이미지의 변경된 기준 방향에 상응하는 오디오 신호를 제공할 수 있다.
그래프 3570은, 기준 방향의 회전이 135도인 경우, 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들을 나타낼 수 있다. 그래프 3510와 그래프 3570을 비교하면, 상기 복수의 제2 오디오 신호들이 상기 기준 방향의 변경에 따라 회전됨을 확인할 수 있다. 다시 말해, 다양한 실시예들에 따른 전자 장치(101)는 전방향 이미지의 변경된 기준 방향에 상응하는 오디오 신호를 제공할 수 있다.
도 36은 다양한 실시예들에 따라 왜곡을 보상하는 장치의 기능적 구성의 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 37은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 결정하는 기법의 예를 도시한다.
도 38은 다양한 실시예들에 따른 왜곡을 보상하기 위한 이미지의 예를 도시한다.
도 39는 다양한 실시예들에 따른 왜곡을 보상하기 위한 이미지의 다른 예를 도시한다.
도 40은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 결정하는 기법의 다른 예를 도시한다.
도 36을 참조하면, 장치(300)는 프로세서(310), 메모리(320), 복수의 메모리들(예: 메모리(3600-1) 내지 메모리(3600-n)), 복수의 카메라들(예: 제1 카메라(330-1) 내지 제n 카메라(330-n)), 및 통신 인터페이스(340)를 포함할 수 있다.
프로세서(310)는 제1 카메라(330-1) 내지 제n 카메라(330-n) 각각과 동작적으로 연결될 수 있다. 프로세서(310)는 제1 카메라(330-1) 내지 제n 카메라(330-n)를 통해 복수의 이미지들을 획득할 수 있다.
제1 카메라(330-1) 내지 제n 카메라(330-n) 각각은 전방향 이미지 또는 파노라마 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위해 이용될 수 있다. 제1 카메라(330-1) 내지 제n 카메라(330-n) 중 제1 카메라(330-1)는 장치(300)의 하우징의 상면(top surface)의 일부를 통해 노출되고, 제2 카메라(330-1) 내지 제n 카메라(330-n) 중 제1 카메라(330-1)와 다른 카메라들 각각은, 하우징의 옆면(side surface)의 일부를 통해 노출될 수 있다. 다시 말해, 제1 카메라(330-1)는 다른 카메라들과 다른 면에 배치될 수 있다. 제1 카메라(330-1) 내지 제n 카메라(330-n) 각각은 상기 복수의 메모리(3600-1) 내지 메모리(3600-n) 각각과 동작적으로 연결될 수 있다.
제1 카메라(330-1) 내지 제n 카메라(330-n) 각각은 지정된 FOV를 가지도록 장치(300)의 하우징(housing)에 배치될 수 있다. 제1 카메라(330-1) 내지 제n 카메라(330-n) 중 적어도 하나의 카메라는 제조 과정 중에서 발생하는 오류 또는 장치(300)의 사용 중 발생하는 오류로 인하여, 상기 지정된 FOV와 다른 FOV를 가지도록 하우징(housing)에 배치될 수 있다. 상기 지정된 FOV와 다른 FOV는 상기 복수의 이미지들 사이의 위치 관계의 변경을 야기할 수 있다. 다시 말해, 상기 지정된 FOV와 다른 FOV를 가지는 상기 적어도 하나의 카메라를 통해 획득되는 적어도 하나의 이미지는, 왜곡을 가질 수 있다. 제1 카메라(330-1) 내지 제n 카메라(330-n) 각각은 메모리(3600-1) 내지 메모리(3600-n) 각각으로부터 상기 왜곡을 보상하기 위한 정보를 제공받을 수 있다. 제1 카메라(330-1) 내지 제n 카메라(230-n) 중 상기 지정된 FOV와 다른 FOV를 가지는 적어도 하나의 카메라는, 상기 왜곡을 보상하기 위한 정보를 프로세서(310)에게 송신할 수 있다.
프로세서(310)는 제1 카메라(330-1) 내지 제n 카메라(330-n) 각각과 시그널링을 수행할 수 있다. 다양한 실시예들에서, 프로세서(310)는 제1 카메라(330-1) 내지 제n 카메라(330-n) 중 적어도 하나의 카메라로부터 왜곡을 보상하기 위한 정보를 수신할 수 있다. 상기 왜곡을 보상하기 위한 정보는, 제1 카메라(330-1) 내지 제n 카메라(330-n) 중 적어도 하나의 카메라가 상기 적어도 하나의 카메라를 위해 지정된 FOV와 다른 FOV가 가지는 것에 의해 야기될 수 있다. 예를 들면, 상기 적어도 하나의 카메라가 장치(300)의 하우징(housing)에 목표와 다르게 연결된 경우(또는 배치된 경우), 상기 적어도 하나의 카메라는 상기 적어도 하나의 카메라의 지정된 FOV(또는 목표(targeted) FOV)와 다른 FOV를 가질 수 있다. 예를 들면, 상기 적어도 하나의 카메라는, 장치(300)의 제조 과정에서 발생된 오류 또는 장치(300)의 이용 중 충격으로 발생된 오류로 인하여, 하우징 내의 목표된 위치와 다른 위치에 배치될 수 있다. 이러한 배치로 인하여, 상기 적어도 하나의 카메라는 상기 지정된 FOV와 다른 FOV를 가질 수 있다. 상기 왜곡을 보상하기 위한 정보는, 이러한 FOV에 의해 야기되는 이미지의 왜곡을 조정(adjust)하기 위해 이용될 수 있다.
다른 예를 들면, 상기 적어도 하나의 카메라는, 장치(300)의 제조 과정에서 발생된 오류 또는 장치(300)의 이용 중 충격으로 발생된 오류로 인하여, 상기 적어도 하나의 카메라에 포함된 이미지 센서와 상기 적어도 하나의 카메라에 포함된 렌즈 사이의 위치 관계가 지정된 위치 관계(또는 목표된 위치 관계)와 달라질 수 있다. 이러한 위치 관계로 인하여, 상기 적어도 하나의 카메라는 상기 지정된 FOV와 다른 FOV를 가질 수 있다. 상기 왜곡을 보상하기 위한 정보는, 이러한 FOV에 의해 야기되는 이미지의 왜곡을 감소시키기 위해 이용될 수 있다.
프로세서(310)는, 통신 인터페이스(340)를 통해, 상기 왜곡을 포함하는 적어도 하나의 이미지를 포함하는 복수의 이미지들에 대한 정보를 최종 이미지를 생성하는 다른 장치(예: 전자 장치(101))에게 송신할 수 있다. 프로세서(310)는, 통신 인터페이스(340)를 통해, 상기 왜곡을 보상하기 위한 정보를 상기 다른 장치에게 송신할 수 있다. 상기 왜곡을 보상하기 위한 정보는, 상기 최종 이미지를 생성하는 절차에서 상기 복수의 이미지들 중 적어도 일부를 수정하거나 보정하기 위해 상기 다른 장치에서 이용될 수 있다.
상기 왜곡을 보상하기 위한 정보는, 상기 적어도 하나의 카메라를 통해 획득되는 이미지 내에 포함된 기준 객체의 위치에 기반하여 결정될 수 있다. 예를 들어, 도 37을 참조하면, 개념도(3700)에서, 프로세서(310)는 상기 하우징을 수평 상태(horizontality)로부터 지정된 고도각(elevation angle) 
(3715) 만큼 기울인 제1 상태에서 상기 하우징의 상면의 일부를 통해 노출되는 제1 카메라(330-1)를 통해 기준 객체(3710)를 포함하는 제1 이미지를 획득할 수 있다. 상기 지정된 고도각(elevation angle) 
(3715)은, 제1 카메라(330-1)와 제n 카메라(330-n)(또는 제k 카메라(330-k))가 동시에 기준 객체(3710)에 대한 이미지를 획득할 수 있도록 설정될 수 있다. 예를 들면, 상기 지정된 고도각(elevation angle) 
(3715)은 45도일 수 있다. 개념도(3750)에서, 프로세서(310)는 상기 제1 상태에서 지정된 방위각(azimuth angle) 
(3755) 만큼 회전시킨 제2 상태에서 제1 카메라(330-1)를 통해 기준 객체(3710)를 포함하는 제2 이미지를 획득할 수 있다. 예를 들어, 도 38을 참조하면, 프로세서(310)는 상기 제1 상태에서 제1 카메라(330-1)를 통해 상기 제1 이미지(3810)를 획득할 수 있고, 상기 제2 상태에서 제1 카메라(330-1)를 통해 상기 제2 이미지(3820)를 획득할 수 있다. 도 38의 예에서, 상기 방위각 
(3755)는 180도일 수 있다. 제1 카메라(330-1)가 지정된 FOV와 다른 FOV를 가지는 경우, 상기 제1 이미지(3810)와 상기 제2 이미지(3820) 사이의 위치 관계는 이미지(3830)와 같이 나타낼 수 있다. 상기 제1 이미지(3810)를 상기 방위각 
(3755)에 상응하는 각도 만큼 회전 시키는 경우, 상기 이미지(3830)에서와 같이, 상기 제1 이미지(3810) 내의 기준 객체의 위치는 상기 제2 이미지(3820) 내의 기준 객체와 일치하지 않을 수 있다. 이러한 이미지 분석을 통해, 프로세서(310)는 제1 카메라(330-1)가 상기 지정된 FOV와 다른 FOV를 가짐을 확인할 수 있다. 프로세서(310)는 제1 카메라(330-1) 내에서 축(axis)의 비틀림(torsion)을 가짐을 확인할 수 있다. 프로세서(310)는, 상기 제1 이미지(3810) 내의 기준 객체를 상기 각도 만큼 회전 시킨 위치가 상기 제2 이미지(3820) 내의 기준 객체의 위치에 일치되도록 하는 적어도 하나의 값을 제1 카메라(330-1)를 통해 획득되는 이미지의 왜곡을 보상하기 위한 정보로 결정할 수 있다. 상기 적어도 하나의 값은, 피치(pitch) 회전을 나타내는 값, 요(yaw) 회전 을 나타내는 값, 또는 롤(roll) 회전을 나타내는 값 중 하나 이상을 포함할 수 있다.
상기 지정된 고도각(elevation angle) 
(3715)은 필수적인 요소가 아닐 수 있다. 예를 들면, 기준 객체(3710)의 위치가 제1 카메라(330-1)의 시야 및 다른 카메라(예: 제k 카메라(330-k), 제n 카메라(330-n) 등의 시야에 포함되도록 조정하는 것에 의해, 장치(300)는, 상기 지정된 고도각(elevation angle) 
(3715)만큼 기울어지지 않은 상태에서, 도 36 내지 도 42를 통해 설명되는 동작을 수행할 수도 있다.
다른 예를 들어, 도 37을 참조하면, 개념도(3700)에서, 프로세서(310)는 상기 제1 상태에서 제1 카메라(330-1)를 통해 기준 객체(3710)를 포함하는 제1 이미지를 획득하고, 상기 제1 상태에서 제n 카메라(330-n)를 통해 기준 객체(3710)를 포함하는 제3 이미지를 획득할 수 있다. 개념도(3750)에서, 프로세서(310)는 상기 제2 상태에서 제1 카메라(330-1)를 통해 기준 객체(3710)를 포함하는 제2 이미지를 획득하고, 상기 제2 상태에서 제k 카메라(330-k)를 통해 기준 객체(3710)를 포함하는 제4 이미지를 획득할 수 있다. 제k 카메라(330-k)는 상기 방위각 
(3755)의 크기에 따라 다르게 결정될 수 있다. 프로세서(310)는 상기 제1 이미지(3810) 내의 기준 객체를 상기 각도 만큼 회전 시킨 위치가 상기 제2 이미지(3820) 내의 기준 객체의 위치와 일치함을 확인할 수 있다. 프로세서(310)는, 제1 카메라(330-1)가 축의 비틀림을 가지지 않거나, 제1 카메라(330-1)의 축의 비틀림을 상술한 예를 통해 보상한 경우, 도 39와 같이 제n 카메라(330-n) 및 제k 카메라(330-k) 중 적어도 하나가 가지는 축의 비틀림을 보상할 수 있다. 도 39를 참조하면, 프로세서(310)는 상기 제1 상태에서 제n 카메라(330-n)를 통해 상기 제3 이미지(3910)를 획득할 수 있고, 상기 제2 상태에서 제k 카메라(330-k)를 통해 상기 제4 이미지(3920)를 획득할 수 있다. 도 39의 예에서, 상기 방위각 
(3755)는 180도일 수 있다. 제n 카메라(330-n) 또는 제k 카메라(330-k)가 지정된 FOV와 다른 FOV를 가지는 경우, 상기 제3 이미지(3910)와 상기 제4 이미지(3920) 사이의 위치 관계는 이미지(3930)와 같이 나타낼 수 있다. 상기 이미지(3930)에서와 같이, 제n 카메라(330-n) 또는 제k 카메라(330-k) 중 적어도 하나가 축의 비틀림을 가지는 경우, 상기 제3 이미지(3910) 내에서 기준 객체의 위치는 상기 제4 이미지(3920) 내에서 기준 객체의 위치와 일치되지 않을 수 있다. 프로세서(310)는, 상기 제3 이미지(3910) 내에서 기준 객체를 상기 방위각 
(3755)에 기반하여 보상시킨 위치가 상기 제4 이미지(3920) 내의 기준 객체의 위치에 일치되도록 하는 적어도 하나의 값을 제n 카메라(330-n) 또는 제k 카메라(330-k) 중 적어도 하나를 통해 획득되는 이미지의 왜곡을 보상하기 위한 정보로 결정할 수 있다. 상기 적어도 하나의 값은, 피치(pitch) 회전을 나타내는 값, 요(yaw) 회전 을 나타내는 값, 또는 롤(roll) 회전을 나타내는 값 중 하나 이상을 포함할 수 있다.
다양한 실시예들에서, 프로세서(310)는 상기 적어도 하나의 카메라와 상기 하우징 사이의 위치 관계에 의해 야기되는 상기 적어도 하나의 카메라의 축의 비틀림 및 상기 적어도 하나의 카메라 내의 렌즈와 상기 적어도 하나의 카메라 내의 이미지 센서 사이의 위치 관계에 의해 야기되는 상기 적어도 하나의 카메라의 축의 비틀림을 조정할 수 있다. 예를 들어, 도 40을 참조하면, 개념도(4000)에서, 프로세서(310)는 장치(300)로부터 제1 거리 만큼 이격된 기준 객체(4010)를 포함하는 이미지를 획득하고, 장치(300)로부터 상기 제1 거리와 다른 제2 거리 만큼 이격된 기준 객체(4020)를 포함하는 이미지를 획득할 수 있다. 프로세서(310)는, 도 37 내지 39을 통해 설명된 기법에 기반하여, 상기 적어도 하나의 카메라와 상기 하우징 사이의 위치 관계에 의해 야기되는 상기 적어도 하나의 카메라의 축의 비틀림 뿐 아니라 상기 적어도 하나의 카메라 내의 렌즈와 상기 적어도 하나의 카메라 내의 이미지 센서 사이의 위치 관계에 의해 야기되는 상기 적어도 하나의 카메라의 축의 비틀림을 보상할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)에서, 프로세서(310)는 장치(300)의 하우징을 기울인 제1 상태에서 상기 하우징의 상면의 일부를 통해 노출되는 카메라를 통해 획득되는 이미지 내의 객체의 위치, 상기 제1 상태로부터 회전 시킨 제2 상태에서 상기 하우징의 상면의 일부를 통해 노출되는 카메라를 통해 획득되는 이미지 내의 객체의 위치, 상기 제1 상태에서 상기 하우징의 옆면의 일부를 통해 노출되는 카메라를 통해 획득되는 이미지 내의 객체의 위치, 또는 상기 제2 상태에서 상기 하우징의 옆면의 일부를 통해 노출되는 다른 카메라를 통해 획득되는 이미지 내의 객체의 위치 중 하나 이상에 기반하여 장치(300) 내에 포함된 복수의 카메라들 중 적어도 하나의 카메라가 가지는 오류(예: 지정된 FOV와 다른 FOV를 가지는 것, 축의 비틀림)를 보상하기 위한 정보를 생성할 수 있다. 이러한 정보를 통해, 장치(300)는, 획득되는 이미지의 후처리 동작에서 이미지에 포함된 왜곡을 보상할 수 있다.
도 41은 다양한 실시예들에 따라 이미지를 보상하기 위한 정보를 송신하는 장치의 동작의 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 36에 도시된 장치(300), 또는 장치(300) 내에 포함된 프로세서(310)에 의해 수행될 수 있다.
도 41을 참조하면, 동작 4110에서, 프로세서(310)는 복수의 카메라들(예: 제1 카메라(330-1) 내지 제n 카메라(330-n))를 통해 복수의 이미지들을 획득할 수 있다. 상기 복수의 카메라들 중 제1 카메라(330-1)는 장치(300)의 하우징의 상면의 일부를 통해 노출될 수 있고, 상기 복수의 카메라들 중 제1 카메라(330-1)와 다른 카메라들은 장치(300)의 하우징의 옆면의 일부를 통해 각각 노출될 수 있다. 예를 들면, 제1 카메라(330-1)를 통해 획득되는 제1 이미지는, 하우징의 상위 부분의 장면(scene)과 관련되고, 상기 다른 카메라들을 통해 획득되는 이미지들 각각은, 하우징의 옆 부분의 장면(scene)과 관련될 수 있다. 프로세서(310)는 상기 복수의 이미지들에 대한 인코딩 데이터를 생성할 수 있다.
동작 4120에서, 프로세서(310)는 상기 복수의 이미지들에 대한 정보 및 상기 복수의 이미지들 중 적어도 하나의 이미지에 포함된 적어도 하나의 왜곡을 보상하기 위한 정보를 다른 장치에게 송신할 수 있다. 예를 들면, 상기 다른 장치는, 상기 복수의 이미지들을 스티칭하는 장치로, 도 1에 도시된 전자 장치(101)를 포함할 수 있다. 상기 적어도 하나의 왜곡을 보상하기 위한 정보는, 장치(300)의 제조 과정 중 장치(300)에 저장될 수도 있고, 장치(300)의 이용 과정 중 장치(300)에 저장될 수도 있다. 상기 적어도 하나의 왜곡을 보상하기 위한 정보는, 상기 복수의 카메라들 각각과 연결된 복수의 메모리들 중 적어도 일부에 저장될 수도 있고, 프로세서(310)와 연결된 메모리(320)에 저장될 수도 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는 목표된 설계와 다르게 배치된 적어도 하나의 카메라로 인하여 야기되는 왜곡을 이미지 처리 동작에서 보상할 수 있도록 상기 왜곡을 보상하기 위한 정보를 다른 장치에게 제공하거나 상기 왜곡을 보상하기 위한 정보를 저장할 수 있다. 이러한 정보를 통해, 장치(300)는 상기 적어도 하나의 카메라의 물리적 위치 조정 없이 목표된 품질을 가지는 최종 이미지를 생성할 수 있다.
도 42는 다양한 실시예들에 따라 보상 모드를 제공하는 장치의 동작의 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 36에 도시된 장치(300), 또는 장치(300) 내에 포함된 프로세서(310)에 의해 수행될 수 있다.
도 42를 참조하면, 동작 4210에서, 프로세서(310)는 보상 모드에 진입하기 위한 입력을 검출할 수 있다. 장치(300)는 적어도 하나의 카메라의 축의 비틀림 등을 보완하기 위해 보상 모드를 제공할 수 있다. 프로세서(310)는 지정된 입력의 수신(예: 롱 터치 입력, 더블 탭 입력, 포스 터치 입력, 드래그 입력 등) 또는 보상 모드에 진입하기 위한 객체에 대한 입력의 수신을 통해 보상 모드에 진입하기 위한 입력을 검출할 수 있다.
동작 4220에서, 프로세서(310)는, 상기 입력의 검출에 응답하여, 상기 보상 모드에 진입할 수 있다. 예를 들면, 보상 모드에서, 프로세서(310)는 도 37 내지 도 40 등을 통해 설명된 동작을 가이드하는 UI를 표시할 수 있다.
동작 4230에서, 프로세서(310)는 상기 보상 모드에서 보상을 위한 객체를 포함하는 복수의 이미지들을 획득할 수 있다. 상기 보상을 위한 객체는, 도 37 내지 도 40의 기준 객체에 상응할 수 있다. 프로세서(310)는 상기 적어도 하나의 카메라의 오류를 검출하고 보상하기 위해, 상기 객체를 포함하는 복수의 이미지들을 획득할 수 있다.
동작 4240에서, 프로세서(310)는 상기 왜곡을 보상하기 위한 객체를 포함하는 복수의 이미지들에 적어도 일부 기반하여 적어도 하나의 왜곡을 보상하기 위한 정보를 결정할 수 있다. 예를 들면, 프로세서(310)는 도 37 내지 도 40을 통해 설명된 기법에 기반하여 상기 적어도 하나의 왜곡을 보상하기 위한 정보를 결정할 수 있다.
동작 4250에서, 프로세서(310)는 상기 결정된 정보를 처리할 수 있다. 다양한 실시예들에서, 프로세서(310)는 상기 결정된 정보를 저장할 수 있다. 다양한 실시예들에서, 프로세서(310)는 상기 결정된 정보를 다른 장치에게 송신할 수 있다. 다양한 실시예들에서, 프로세서(310)는 상기 적어도 하나의 왜곡을 보상하기 위한 정보를 업데이트할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는 장치(300)에 포함된 복수의 카메라들 중 적어도 하나의 카메라의 배치에 따른 왜곡을 디지털 기법에 보상하기 위한 정보를 제공할 수 있다. 이러한 정보의 제공을 통해, 장치(300)를 통해 획득된 복수의 이미지들에 기반하여 이미지를 생성하는 장치(300) 또는 다른 장치는, 지정된 품질 이상의 품질을 가지는 최종 이미지를 제공할 수 있다.
상술한 바와 같은 다양한 실시예들에 따른 전자 장치는, 제 1 광축 방향으로 배치된 제 1 카메라 및 제 2 광축 방향으로 배치된 제 2 카메라를 포함하고, 제 1 시야(field of view)를 갖는 제 1 카메라 그룹과, 제 3 광축 방향으로 배치된 제 3 카메라 및 제 4 광축 방향으로 배치된 제 4 카메라를 포함하고, 상기 제 1 시야가 커버하는 영역과 적어도 일부 다른 영역을 커버하는 제 2 시야를 갖는 제 2 카메라 그룹과, 상기 제 1 카메라 그룹을 통해 획득된 이미지들을 처리하기 위한 제 1 프로세서와, 상기 제 2 카메라 그룹을 통해 획득된 이미지들을 처리하기 위한 제 2 프로세서와, 상기 제 1 프로세서 및 상기 제 2 프로세서를 제어하기 위한 지정된 프로세서를 포함할 수 있고, 상기 지정된 프로세서는, 상기 제 1 카메라 그룹 또는 상기 제 2 카메라 그룹과 관련된 입력에 적어도 기반하여, 상기 제1 프로세서 또는 상기 제2 프로세서와 관련된 동작 모드를 선택하고, 상기 동작 모드가 제 1 동작 모드로 선택된 경우, 제 1 프로세서를 통해 처리된 제 1 이미지들을 이용하여 상기 제 1 시야를 커버하는 이미지를 획득하고, 상기 동작 모드가 제 2 동작 모드로 선택된 경우, 상기 제 1 프로세서를 통해 처리된 상기 제 1 이미지들 및 상기 제 2 프로세서를 통해 처리된 제 2 이미지들을 이용하여, 상기 제 1 시야 및 상기 제 2 시야를 커버하는 이미지를 획득하도록 설정될 수 있다.
다양한 실시예들에서, 상기 제1 카메라 그룹의 적어도 일부는 상기 제 2 카메라 그룹에 포함될 수 있고, 상기 제2시야는 상기 제 1 시야가 커버하는 영역과 적어도 일부 중첩되는 영역을 커버할 수 있다.
다양한 실시예들에서, 상기 제1 시야를 커버하는 이미지 및 상기 제2 시야를 커버하는 이미지 각각은, 상기 전자 장치에서 독립적으로 디코딩 가능할 수 있다.
다양한 실시예들에서, 상기 지정된 프로세서는, 상기 동작 모드가 상기 제1 동작 모드로 선택된 경우, 상기 제2 프로세서에게 공급되는 파워를 제한하도록 구성될 수 있다.
상술한 바와 같은 다양한 실시예들에 따른 장치는 제1 방향(orientation)으로 향하도록 구성된 제1 FOV(field of view)를 가지는 제1 카메라와 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성되고 상기 제1 FOV와 일부 중첩(partially overlap)되는 제2 FOV를 가지는 제2 카메라를 포함하는 카메라들의 제1 쌍(pair)과, 적어도 하나의 메모리(memory)와, 제1 프로세서(processor)와, 상기 제1 카메라와 연결된 제2 프로세서와, 상기 제2 카메라와 연결된 제3 프로세서를 포함할 수 있고, 상기 제1 프로세서는, 상기 장치가 2D(two-dimensional space) 이미지를 생성하기 위한 제1 모드로 동작하는 것에 응답하여, 상기 제3 프로세서에게 인코딩(encoding) 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제2 카메라를 통해 획득되는 이미지에 대한 제2 인코딩 데이터를 수신하고, 상기 제2 인코딩 데이터를 하나의 데이터 셋(data set)으로 상기 적어도 하나의 메모리에 저장하고, 상기 장치가 3D(three-dimensional space) 이미지를 생성하기 위한 제2 모드로 동작하는 것에 응답하여, 상기 제2 프로세서 및 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제1 카메라를 통해 획득되는 이미지에 대한 제1 인코딩 데이터 및 상기 제2 카메라를 통해 획득되는 이미지에 대한 상기 제2 인코딩 데이터를 수신하고, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하도록 구성될 수 있다.
다양한 실시예들에서, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은, 상기 장치 또는 상기 장치와 연결된 다른 장치 내에서 독립적으로 디코딩 가능할 수 있다.
다양한 실시예들에서, 상기 제1 인코딩 데이터는, 상기 제2 프로세서로부터 상기 제3 프로세서를 통해 상기 제1 프로세서에게 수신될 수 있다.
다양한 실시예들에서, 상기 제1 프로세서는, 상기 장치가 상기 제1 모드로 동작하는 것에 응답하여, 상기 제2 프로세서에게 제공되는 파워를 차단하는 것을 제어하도록 구성될 수 있다. 상기 장치는, 상기 제1 프로세서와 연결된 제1 PMIC(power management integrated circuit)와, 상기 제2 프로세서와 연결된 제2 PMIC와, 상기 제3 프로세서와 연결된 제3 PMIC를 더 포함할 수 있고, 상기 제1 프로세서는, 상기 장치가 상기 제1 모드로 동작하는 것에 응답하여, 상기 제2 PMIC에게 제어 신호를 송신함으로써, 상기 제2 프로세서에게 제공되는 상기 파워를 차단하는 것을 제어하도록 구성될 수 있다.
다양한 실시예들에서, 상기 장치는, 통신 인터페이스를 더 포함할 수 있고, 상기 제1 프로세서는, 상기 저장된 하나의 데이터 셋을 상기 장치와 연결된 다른 장치에게 송신하도록 구성될 수 있다.
다양한 실시예들에서, 상기 장치는, 상기 제1 프로세서와 연결된 디스플레이를 더 포함할 수 있고, 상기 제1 프로세서는, 상기 디스플레이를 통해, 상기 제1 모드를 나타내는 제1 객체 및 상기 제2 모드를 나타내는 제2 객체를 포함하는 메뉴(menu)를 표시하고, 상기 제1 객체에 대한 적어도 하나의 입력을 검출하는 것에 응답하여, 상기 장치가 상기 제1 모드로 동작하는 것을 제어하고, 상기 제2 객체에 대한 적어도 하나의 입력을 검출하는 것에 응답하여, 상기 장치가 상기 제2 모드로 동작하는 것을 제어할 수 있다.
다양한 실시 예들에서, 상기 장치는, 상기 제2 프로세서와 연결된 제3 카메라와, 상기 제3 프로세서와 연결된 제4 카메라를 더 포함할 수 있고, 상기 제1 프로세서는, 상기 장치가 상기 제1 모드로 동작하는 것에 응답하여, 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제2 카메라를 통해 획득되는 이미지 및 상기 제4 카메라를 통해 획득되는 이미지에 기반하여 생성된 상기 제2 인코딩 데이터를 수신하고, 상기 제2 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하고, 상기 장치가 상기 제2 모드로 동작하는 것에 응답하여, 상기 제2 프로세서 및 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제1 카메라를 통해 획득되는 이미지 및 상기 제3 카메라를 통해 획득되는 이미지에 기반하여 생성된 상기 제1 인코딩 데이터와 상기 제2 카메라를 통해 획득되는 이미지 및 상기 제4 카메라를 통해 획득되는 이미지에 기반하여 생성된 상기 제2 인코딩 데이터를 수신하고, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하도록 구성될 수 있다. 상기 제2 프로세서는, 상기 제1 프로세서로부터의 상기 요청에 응답하여, 상기 제1 카메라를 통해 획득되는 상기 이미지 및 상기 제3 카메라를 통해 획득되는 상기 이미지에 기반하여 상기 제1 인코딩 데이터를 생성하도록 구성될 수 있고, 상기 제3 프로세서는, 상기 제1 프로세서로부터의 상기 요청에 응답하여, 상기 제2 카메라를 통해 획득되는 상기 이미지 및 상기 제4 카메라를 통해 획득되는 상기 이미지에 기반하여 상기 제2 인코딩 데이터를 생성하도록 구성될 수 있다. 상기 제2 프로세서는, 상기 장치가 상기 제2 모드로 동작하는 경우, 상기 제1 인코딩 데이터를 상기 제3 프로세서에게 송신하도록 구성될 수 있고, 상기 제3 프로세서는, 상기 제2 프로세서로부터 수신된 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 상기 제1 프로세서에게 송신하도록 구성될 수 있다.
다양한 실시예들에서, 상기 제1 프로세서는, 상기 저장된 하나의 데이터 셋이 상기 제2 인코딩 데이터만으로 구성된 경우, 상기 제2 인코딩 데이터만을 디코딩함으로써 재생 가능한(playable) 2D 이미지 파일(image file)을 생성하고, 상기 저장된 하나의 데이터 셋이 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터로 구성된 경우, 상기 제1 인코딩 데이터를 디코딩함으로써 재생 가능한 제1 2D 이미지 파일을 생성하고 상기 제2 인코딩 데이터를 디코딩함으로써 재생 가능한 제2 2D 이미지 파일을 생성하며, 상기 제1 2D 이미지 파일 및 상기 제2 2D 이미지 파일에 기반하여 재생 가능한 3D 이미지 파일을 생성하도록 더 구성될 수 있다.
다양한 실시예들에서, 상기 장치는, 상기 제1 프로세서와 연결되고, 상기 제1 방향 및 상기 제2 방향에 실질적으로(substantially) 수직한 제3 방향으로 향하도록 구성되고 상기 제1 FOV와 일부 중첩되고 상기 제2 FOV와 일부 중첩되는 제3 FOV를 가지는 제3 카메라를 더 포함할 수 있고, 상기 제1 프로세서는, 상기 장치가 상기 제1 모드로 동작하는 것에 응답하여, 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 카메라를 통해 획득되는 이미지에 대한 제3 인코딩 데이터를 생성하고, 상기 제3 프로세서로부터 상기 제2 인코딩 데이터를 수신하고, 상기 제2 인코딩 데이터 및 상기 제3 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하고, 상기 장치가 상기 제2 모드로 동작하는 것에 응답하여, 상기 제2 프로세서 및 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 카메라를 통해 획득되는 이미지에 대한 제3 인코딩 데이터를 생성하고, 상기 제3 프로세서로부터 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 수신하고, 상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 및 상기 제3 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하도록 구성될 수 있고, 상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 및 상기 제3 인코딩 데이터 각각은, 상기 장치 또는 상기 장치와 연결된 다른 장치 내에서 독립적으로 디코딩 가능할 수 있다.
다양한 실시예들에서, 상기 장치는, 제3 방향으로 향하도록 구성된 제3 FOV를 가지는 제3 카메라와 상기 제3 방향에 상응하는 제4 방향으로 향하도록 구성되고 상기 제3 FOV와 일부 중첩되는 제4 FOV를 가지는 제4 카메라를 포함하는 상기 카메라들의 제2 쌍과, 제5 방향으로 향하도록 구성된 제5 FOV를 가지는 제5 카메라와 상기 제5 방향에 상응하는 제6 방향으로 향하도록 구성되고 상기 제5 FOV와 일부 중첩되는 제6 FOV를 가지는 제6 카메라를 포함하는 상기 카메라들의 제3 쌍과, 제7 방향으로 향하도록 구성된 제7 FOV를 가지는 제7 카메라와 상기 제7 방향에 상응하는 제8 방향으로 향하도록 구성되고 상기 제7 FOV와 일부 중첩되는 제8 FOV를 가지는 제8 카메라를 포함하는 상기 카메라들의 제4 쌍과, 제9 방향으로 향하도록 구성된 제9 FOV를 가지는 제9 카메라와 상기 제9 방향에 상응하는 제10 방향으로 향하도록 구성되고 상기 제9 FOV와 일부 중첩되는 제10 FOV를 가지는 제10 카메라를 포함하는 상기 카메라들의 제5 쌍과, 제11 방향으로 향하도록 구성된 제11 FOV를 가지는 제11 카메라와 상기 제11 방향에 상응하는 제12 방향으로 향하도록 구성되고 상기 제11 FOV와 일부 중첩되는 제12 FOV를 가지는 제12 카메라를 포함하는 상기 카메라들의 제6 쌍과, 제13 방향으로 향하도록 구성된 제13 FOV를 가지는 제13 카메라와 상기 제13 방향에 상응하는 제14 방향으로 향하도록 구성되고 상기 제13 FOV와 일부 중첩되는 제14 FOV를 가지는 제14 카메라를 포함하는 상기 카메라들의 제7 쌍과, 제15 방향으로 향하도록 구성된 제15 FOV를 가지는 제15 카메라와 상기 제15 방향에 상응하는 제16 방향으로 향하도록 구성되고 상기 제15 FOV와 일부 중첩되는 제16 FOV를 가지는 제16 카메라를 포함하는 상기 카메라들의 제8 쌍과, 상기 제9 카메라, 상기 제11 카메라, 상기 제13 카메라, 및 상기 제15 카메라와 연결되는 제4 프로세서와, 상기 제10 카메라, 상기 제12 카메라, 상기 제14 카메라, 및 상기 제16 카메라와 연결되는 제5 프로세서를 더 포함할 수 있고, 상기 제2 프로세서는, 상기 제3 카메라, 상기 제5 카메라, 및 상기 제7 카메라와 더 연결될 수 있고, 상기 제3 프로세서는, 상기 제4 카메라, 상기 제6 카메라, 및 상기 제8 카메라와 더 연결될 수 있다. 다양한 실시예들에서, 상기 제1 FOV는, 상기 제3 FOV와 일부 중첩되고, 상기 제15 FOV와 일부 중첩되며, 상기 제2 FOV는, 상기 제4 FOV와 일부 중첩되고, 상기 제16 FOV와 일부 중첩되며, 상기 제3 FOV는, 상기 제1 FOV와 일부 중첩되고, 상기 제5 FOV와 일부 중첩되며, 상기 제4 FOV는, 상기 제2 FOV와 일부 중첩되고, 상기 제6 FOV와 일부 중첩되며, 상기 제5 FOV는, 상기 제3 FOV와 일부 중첩되고, 상기 제7 FOV와 일부 중첩되며, 상기 제6 FOV는, 상기 제4 FOV와 일부 중첩되고, 상기 제8 FOV와 일부 중첩되며, 상기 제7 FOV는, 상기 제5 FOV와 일부 중첩되고, 상기 제9 FOV와 일부 중첩되며, 상기 제8 FOV는, 상기 제6 FOV와 일부 중첩되고, 상기 제10 FOV와 일부 중첩되며, 상기 제9 FOV는, 상기 제7 FOV와 일부 중첩되고, 상기 제11 FOV와 일부 중첩되며, 상기 제10 FOV는, 상기 제8 FOV와 일부 중첩되고, 상기 제12 FOV와 일부 중첩되며, 상기 제11 FOV는, 상기 제9 FOV와 일부 중첩되고, 상기 제13 FOV와 일부 중첩되며, 상기 제12 FOV는, 상기 제10 FOV와 일부 중첩되고, 상기 제14 FOV와 일부 중첩되며, 상기 제13 FOV는, 상기 제11 FOV와 일부 중첩되고, 상기 제15 FOV와 일부 중첩되며, 상기 제14 FOV는, 상기 제12 FOV와 일부 중첩되고, 상기 제16 FOV와 일부 중첩되며, 상기 제15 FOV는, 상기 제1 FOV와 일부 중첩되고, 상기 제13 FOV와 일부 중첩되며, 상기 제16 FOV는, 상기 제2 FOV와 일부 중첩되고, 상기 제14 FOV와 일부 중첩될 수 있다. 상기 제1 프로세서는, 상기 장치가 상기 제1 모드로 동작하는 것에 응답하여, 상기 제3 프로세서 및 상기 제5 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제2 카메라를 통해 획득되는 이미지, 상기 제4 카메라를 통해 획득되는 이미지, 상기 제6 카메라를 통해 획득되는 이미지, 및 상기 제8 카메라를 통해 획득되는 이미지에 기반하여 생성되는 상기 제2 인코딩 데이터와 상기 제10 카메라를 통해 획득되는 이미지, 상기 제12 카메라를 통해 획득되는 이미지, 상기 제14 카메라를 통해 획득되는 이미지, 및 상기 제16 카메라를 통해 획득되는 이미지에 기반하여 생성되는 제4 인코딩 데이터를 수신하고, 상기 제2 인코딩 데이터 및 상기 제4 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하고, 상기 장치가 상기 제2 모드로 동작하는 것에 응답하여, 상기 제2 프로세서, 상기 제3 프로세서, 상기 제4 프로세서, 및 상기 제5 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제1 카메라를 통해 획득되는 이미지, 상기 제3 카메라를 통해 획득되는 이미지, 상기 제5 카메라를 통해 획득되는 이미지, 및 상기 제7 카메라를 통해 획득되는 이미지에 기반하여 생성되는 상기 제1 인코딩 데이터와, 상기 제2 카메라를 통해 획득되는 이미지, 상기 제4 카메라를 통해 획득되는 이미지, 상기 제6 카메라를 통해 획득되는 이미지, 및 상기 제8 카메라를 통해 획득되는 이미지에 기반하여 생성되는 상기 제2 인코딩 데이터와, 상기 제9 카메라를 통해 획득되는 이미지, 상기 제11 카메라를 통해 획득되는 이미지, 상기 제13 카메라를 통해 획득되는 이미지, 및 상기 제15 카메라를 통해 획득되는 이미지에 기반하여 생성되는 제3 인코딩 데이터와, 상기 제10 카메라를 통해 획득되는 이미지, 상기 제12 카메라를 통해 획득되는 이미지, 상기 제14 카메라를 통해 획득되는 이미지, 및 상기 제16 카메라를 통해 획득되는 이미지에 기반하여 생성되는 상기 제4 인코딩 데이터를 수신하고, 상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 상기 제3 인코딩 데이터, 및 상기 제4 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하도록 구성될 수 있다. 상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 상기 제3 인코딩 데이터, 및 상기 제4 인코딩 데이터 각각은, 상기 장치 또는 상기 장치와 연결된 다른 장치 내에서 독립적으로 디코딩 가능할 수 있다.
다양한 실시예들에서, 상기 장치는, 상기 제1 프로세서와 연결된 적어도 하나의 마이크를 더 포함할 수 있고, 상기 제1 프로세서는, 상기 장치가 상기 제1 모드로 동작하는 것에 응답하여, 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 적어도 하나의 마이크를 통해 획득되는 오디오에 기반하여 제3 인코딩 데이터를 생성하고, 상기 제3 프로세서로부터 상기 제2 인코딩 데이터를 수신하고, 상기 제2 인코딩 데이터 및 상기 제3 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하고, 상기 장치가 상기 제2 모드로 동작하는 것에 응답하여, 상기 제2 프로세서 및 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 적어도 하나의 마이크를 통해 획득되는 오디오에 기반하여 상기 제3 인코딩 데이터를 생성하고, 상기 제3 프로세서로부터 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 수신하고, 상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 및 상기 제3 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하도록 구성될 수 있다.
다양한 실시예들에서, 상기 장치는, 통신 인터페이스를 더 포함할 수 있고, 상기 제1 프로세서는, 상기 장치가 상기 제1 모드로 동작하는 경우, 상기 제2 인코딩 데이터를 수신하는 것에 응답하여, 상기 제2 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 장치와 연결된 다른 장치에게 송신하도록 더 구성될 수 있다.
상술한 바와 같은 다양한 실시예들에 따른 장치는, 통신 인터페이스와, 프로세서를 포함할 수 있고, 상기 프로세서는, 상기 통신 인터페이스를 통해, 복수의 카메라들을 포함하는 다른 장치로부터 하나의 데이터 셋을 수신하고, 상기 하나의 데이터 셋이 상기 복수의 카메라들 중 제2 카메라를 통해 획득되는 이미지에 기반하여 생성된 제2 인코딩 데이터로만 구성된 경우, 상기 제2 인코딩 데이터만을 디코딩함으로써 재생 가능한(playable) 2D(two dimensional space) 이미지 파일을 생성하고, 상기 하나의 데이터 셋이 상기 복수의 카메라들 중 제1 카메라를 통해 획득되는 이미지에 기반하여 생성된 제1 인코딩 데이터 및 상기 복수의 카메라들 중 상기 제2 카메라를 통해 획득되는 이미지에 기반하여 생성된 상기 제2 인코딩 데이터로 구성된 경우, 상기 제1 인코딩 데이터를 디코딩함으로써 재생 가능한 제1 2D 이미지 파일을 생성하고, 상기 제2 인코딩 데이터를 디코딩함으로써 재생 가능한 제2 2D 이미지 파일을 생성하며, 상기 제1 2D 이미지 파일 및 상기 제2 2D 이미지 파일에 기반하여 재생 가능한 3D(three dimensional space) 이미지 파일을 생성하도록 구성될 수 있다.
다양한 실시예들에서, 상기 제1 카메라는, 상기 다른 장치 내에서 제1 방향으로 향하도록 구성되고, 제1 FOV(field of view)를 가질 수 있으며, 상기 제2 카메라는, 상기 다른 장치 내에서 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성되고, 상기 제1 FOV에 일부 중첩(partially overlap)되는 제2 FOV를 가질 수 있으며, 상기 제1 카메라 및 상기 제2 카메라는, 상기 다른 장치 내에서 카메라들의 쌍(pair)을 형성(form)할 수 있다.
본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: read only memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: electrically erasable programmable read only memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: compact disc-ROM), 디지털 다목적 디스크(DVDs: digital versatile discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WLAN(wide LAN), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
Claims (20)
- 전자 장치에 있어서,
제 1 광축 방향으로 배치된 제 1 카메라 및 제 2 광축 방향으로 배치된 제 2 카메라를 포함하고, 제 1 시야(field of view)를 갖는 제 1 카메라 그룹;
제 3 광축 방향으로 배치된 제 3 카메라 및 제 4 광축 방향으로 배치된 제 4 카메라를 포함하고, 상기 제 1 시야가 커버하는 영역과 적어도 일부 다른 영역을 커버하는 제 2 시야를 갖는 제 2 카메라 그룹;
상기 제 1 카메라 그룹을 통해 획득된 이미지들을 처리하기 위한 제 1 프로세서;
상기 제 2 카메라 그룹을 통해 획득된 이미지들을 처리하기 위한 제 2 프로세서; 및
상기 제 1 프로세서 및 상기 제 2 프로세서를 제어하기 위한 지정된 프로세서를 포함하고, 상기 지정된 프로세서는,
상기 제 1 카메라 그룹 또는 상기 제 2 카메라 그룹과 관련된 입력에 적어도 기반하여, 상기 제1 프로세서 또는 상기 제2 프로세서와 관련된 동작 모드를 선택하고,
상기 동작 모드가 제 1 동작 모드로 선택된 경우, 제 1 프로세서를 통해 처리된 제 1 이미지들을 이용하여 상기 제 1 시야를 커버하는 이미지를 획득하고,
상기 동작 모드가 제 2 동작 모드로 선택된 경우, 상기 제 1 프로세서를 통해 처리된 상기 제 1 이미지들 및 상기 제 2 프로세서를 통해 처리된 제 2 이미지들을 이용하여, 상기 제 1 시야 및 상기 제 2 시야를 커버하는 이미지를 획득하도록 설정된, 전자 장치.
- 청구항 1에 있어서,
상기 제1 카메라 그룹의 적어도 일부는 상기 제 2 카메라 그룹에 포함되고,
상기 제2시야는 상기 제 1 시야가 커버하는 영역과 적어도 일부 중첩되는 영역을 커버하는 전자 장치.
- 청구항 1에 있어서, 상기 제1 시야를 커버하는 이미지 또는 상기 제2 시야를 커버하는 이미지 중 적어도 일부를, 상기 제1 프로세서 또는 상기 제2 프로세서 중 적어도 하나를 이용하여 디코딩 가능한 전자 장치.
- 청구항 1에 있어서, 상기 지정된 프로세서는, 상기 동작 모드가 상기 제1 동작 모드로 선택된 경우, 상기 제2 프로세서로 공급되는 파워를 제한하도록 구성되는 전자 장치.
- 장치(apparatus)에 있어서,
제1 방향(orientation)으로 향하도록 구성된 제1 FOV(field of view)를 가지는 제1 카메라와, 제2 방향으로 향하도록 구성되고 상기 제1 FOV와 일부 중첩(partially overlap)되는 제2 FOV를 가지는 제2 카메라를 포함하는 카메라들의 제1 쌍(pair);
적어도 하나의 메모리(memory);
제1 프로세서(processor);
상기 제1 카메라와 연결된 제2 프로세서; 및
상기 제2 카메라와 연결된 제3 프로세서를 포함하고,
상기 제1 프로세서는,
상기 장치가 2D(two-dimensional space) 이미지를 생성하기 위한 제1 모드로 동작하는 것에 응답하여, 상기 제3 프로세서에게 인코딩(encoding) 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제2 카메라를 통해 획득되는 이미지에 대한 제2 인코딩 데이터를 수신하고, 상기 제2 인코딩 데이터를 하나의 데이터 셋(data set)으로 상기 적어도 하나의 메모리에 저장하고,
상기 장치가 3D(three-dimensional space) 이미지를 생성하기 위한 제2 모드로 동작하는 것에 응답하여, 상기 제2 프로세서 및 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제1 카메라를 통해 획득되는 이미지에 대한 제1 인코딩 데이터 및 상기 제2 카메라를 통해 획득되는 이미지에 대한 상기 제2 인코딩 데이터를 수신하고, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하도록 구성되는 장치.
- 청구항 5에 있어서, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은,
상기 장치 또는 상기 장치와 연결된 다른 장치 내에서 독립적으로 디코딩 가능한(decodable) 장치.
- 청구항 5에 있어서, 상기 제1 인코딩 데이터는,
상기 제2 프로세서로부터 상기 제3 프로세서를 통해 상기 제1 프로세서에게 수신되는 장치.
- 청구항 5에 있어서, 상기 제1 프로세서는,
상기 장치가 상기 제1 동작 모드로 동작하는 것에 적어도 기반하여, 상기 제2 프로세서로 제공되는 파워를 차단하는 것을 제어하도록 구성되는 장치.
- 청구항 8에 있어서,
상기 제1 프로세서와 연결된 제1 PMIC(power management integrated circuit);
상기 제2 프로세서와 연결된 제2 PMIC; 및
상기 제3 프로세서와 연결된 제3 PMIC를 더 포함하고,
상기 제1 프로세서는,
상기 장치가 상기 제1 동작 모드로 동작하는 것에 적어도 기반하여, 상기 제2 PMIC를 이용하여 상기 제2 프로세서로 제공되는 상기 파워를 차단하는 것을 제어하도록 구성되는 장치.
- 청구항 5에 있어서,
통신 인터페이스를 더 포함하고,
상기 제1 프로세서는,
상기 저장된 하나의 데이터 셋을 지정된 외부 전자 장치로 송신하도록 구성되는 장치.
- 청구항 5에 있어서,
상기 제1 프로세서와 연결된 디스플레이를 더 포함하고,
상기 제1 프로세서는,
상기 디스플레이를 통해, 상기 제1 동작 모드를 나타내는 제1 객체 및 상기 제2 동작 모드를 나타내는 제2 객체를 포함하는 인터페이스를 표시하고,
상기 제1 객체에 대한 적어도 하나의 입력을 검출하는 것에 적어도 기반하여, 상기 장치가 상기 제1 동작 모드로 동작하는 것을 제어하고,
상기 제2 객체에 대한 적어도 하나의 입력을 검출하는 것에 적어도 기반하여, 상기 장치가 상기 제2 동작 모드로 동작하는 것을 제어하는 장치.
- 청구항 5에 있어서,
상기 제2 프로세서와 연결된 제3 카메라; 및
상기 제3 프로세서와 연결된 제4 카메라를 더 포함하고,
상기 제1 프로세서는,
상기 장치가 상기 제1 동작 모드로 동작하는 것에 응답하여, 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제2 카메라를 통해 획득되는 이미지 및 상기 제4 카메라를 통해 획득되는 이미지에 기반하여 생성된 상기 제2 인코딩 데이터를 수신하고, 상기 제2 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하고,
상기 장치가 상기 제2 모드로 동작하는 것에 응답하여, 상기 제2 프로세서 및 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 프로세서로부터 상기 제1 카메라를 통해 획득되는 이미지 및 상기 제3 카메라를 통해 획득되는 이미지에 기반하여 생성된 상기 제1 인코딩 데이터와 상기 제2 카메라를 통해 획득되는 이미지 및 상기 제4 카메라를 통해 획득되는 이미지에 기반하여 생성된 상기 제2 인코딩 데이터를 수신하고, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하도록 구성되는 장치.
- 청구항 12에 있어서, 상기 제2 프로세서는,
상기 제1 프로세서로부터의 상기 요청에 응답하여, 상기 제1 카메라를 통해 획득되는 상기 이미지 및 상기 제3 카메라를 통해 획득되는 상기 이미지에 기반하여 상기 제1 인코딩 데이터를 생성하도록 구성되고,
상기 제3 프로세서는,
상기 제1 프로세서로부터의 상기 요청에 응답하여, 상기 제2 카메라를 통해 획득되는 상기 이미지 및 상기 제4 카메라를 통해 획득되는 상기 이미지에 기반하여 상기 제2 인코딩 데이터를 생성하도록 구성되는 장치.
- 청구항 13에 있어서, 상기 제2 프로세서는,
상기 장치가 상기 제2 동작 모드로 동작하는 경우, 상기 제1 인코딩 데이터를 상기 제3 프로세서에게 송신하도록 구성되고,
상기 제3 프로세서는,
상기 제2 프로세서로부터 수신된 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 상기 제1 프로세서에게 송신하도록 구성되는 장치.
- 청구항 5에 있어서, 상기 제1 프로세서는,
상기 저장된 하나의 데이터 셋이 상기 제2 인코딩 데이터만으로 구성된 경우, 상기 제2 인코딩 데이터만을 디코딩하여 2D 이미지 파일(image file)을 생성하고,
상기 저장된 하나의 데이터 셋이 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터로 구성된 경우, 상기 제1 인코딩 데이터를 디코딩하여 제1 2D 이미지 파일을 생성하고, 상기 제2 인코딩 데이터를 디코딩하여 제2 2D 이미지 파일을 생성하며, 상기 제1 2D 이미지 파일 또는 상기 제2 2D 이미지 파일에 기반하여 3D 이미지 파일을 생성하도록 더 구성되는 장치.
- 청구항 5에 있어서,
상기 제1 프로세서와 연결되고, 상기 제1 방향 및 상기 제2 방향에 실질적으로(substantially) 수직한 제3 방향으로 향하도록 구성되고 상기 제1 FOV와 일부 중첩되고 상기 제2 FOV와 일부 중첩되는 제3 FOV를 가지는 제3 카메라를 더 포함하고,
상기 제1 프로세서는,
상기 장치가 상기 제1 동작 모드로 동작하는 것에 응답하여, 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 카메라를 통해 획득되는 이미지에 대한 제3 인코딩 데이터를 생성하고, 상기 제3 프로세서로부터 상기 제2 인코딩 데이터를 수신하고, 상기 제2 인코딩 데이터 및 상기 제3 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하고,
상기 장치가 상기 제2 모드로 동작하는 것에 응답하여, 상기 제2 프로세서 및 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 제3 카메라를 통해 획득되는 이미지에 대한 제3 인코딩 데이터를 생성하고, 상기 제3 프로세서로부터 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 수신하고, 상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 및 상기 제3 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하도록 구성되고,
상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 및 상기 제3 인코딩 데이터 각각은,
상기 장치 또는 상기 장치와 연결된 다른 장치 내에서 독립적으로 디코딩 가능한(decodable) 장치.
- 청구항 5에 있어서,
상기 제1 프로세서와 연결된 적어도 하나의 마이크를 더 포함하고,
상기 제1 프로세서는,
상기 장치가 상기 제1 동작 모드로 동작하는 것에 응답하여, 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 적어도 하나의 마이크를 통해 획득되는 오디오에 기반하여 제3 인코딩 데이터를 생성하고, 상기 제3 프로세서로부터 상기 제2 인코딩 데이터를 수신하고, 상기 제2 인코딩 데이터 및 상기 제3 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하고,
상기 장치가 상기 제2 동작 모드로 동작하는 것에 응답하여, 상기 제2 프로세서 및 상기 제3 프로세서에게 상기 인코딩 데이터를 요청하고, 상기 적어도 하나의 마이크를 통해 획득되는 오디오에 기반하여 상기 제3 인코딩 데이터를 생성하고, 상기 제3 프로세서로부터 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 수신하고, 상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 및 상기 제3 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 적어도 하나의 메모리에 저장하도록 구성되는 장치.
- 청구항 5에 있어서,
통신 인터페이스를 더 포함하고,
상기 제1 프로세서는,
상기 장치가 상기 제1 동작 모드로 동작하는 경우, 상기 제2 인코딩 데이터를 수신하는 것에 응답하여, 상기 제2 인코딩 데이터를 상기 하나의 데이터 셋으로 상기 장치와 연결된 외부 장치로 송신하도록 더 구성되는 장치.
- 장치(apparatus)에 있어서,
통신 인터페이스; 및
프로세서를 포함하고,
상기 프로세서는,
상기 통신 인터페이스를 통해, 복수의 카메라들을 포함하는 다른 장치로부터 하나의 데이터 셋을 수신하고,
상기 하나의 데이터 셋이 상기 복수의 카메라들 중 제2 카메라를 통해 획득되는 이미지에 기반하여 생성된 제2 인코딩 데이터로 구성된 경우, 상기 제2 인코딩 데이터를 디코딩하여 2D(two dimensional space) 이미지 파일을 생성하고,
상기 하나의 데이터 셋이 상기 복수의 카메라들 중 제1 카메라를 통해 획득되는 이미지에 기반하여 생성된 제1 인코딩 데이터 및 상기 복수의 카메라들 중 상기 제2 카메라를 통해 획득되는 이미지에 기반하여 생성된 상기 제2 인코딩 데이터로 구성된 경우, 상기 제1 인코딩 데이터를 디코딩함으로써 재생 가능한 제1 2D 이미지 파일을 생성하고, 상기 제2 인코딩 데이터를 디코딩함으로써 재생 가능한 제2 2D 이미지 파일을 생성하며, 상기 제1 2D 이미지 파일 및 상기 제2 2D 이미지 파일에 기반하여 재생 가능한 3D(three dimensional space) 이미지 파일을 생성하도록 구성되는 장치.
- 청구항 19에 있어서, 상기 제1 카메라는,
상기 다른 장치 내에서 제1 방향으로 향하도록 구성되고, 제1 FOV(field of view)를 가지며,
상기 제2 카메라는,
상기 다른 장치 내에서 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성되고, 상기 제1 FOV에 일부 중첩(partially overlap)되는 제2 FOV를 가지며,
상기 제1 카메라 및 상기 제2 카메라는,
상기 다른 장치 내에서 카메라들의 쌍(pair)을 형성(form)하는 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170116214A KR102327160B1 (ko) | 2017-09-11 | 2017-09-11 | 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 |
| US16/126,412 US10819912B2 (en) | 2017-09-11 | 2018-09-10 | Apparatus and method for processing image received through a plurality of cameras |
| PCT/KR2018/010563 WO2019050366A1 (en) | 2017-09-11 | 2018-09-10 | APPARATUS AND METHOD FOR PROCESSING IMAGE RECEIVED USING A PLURALITY OF CAMERAS |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170116214A KR102327160B1 (ko) | 2017-09-11 | 2017-09-11 | 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190029099A true KR20190029099A (ko) | 2019-03-20 |
| KR102327160B1 KR102327160B1 (ko) | 2021-11-16 |
Family
ID=65631783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170116214A KR102327160B1 (ko) | 2017-09-11 | 2017-09-11 | 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10819912B2 (ko) |
| KR (1) | KR102327160B1 (ko) |
| WO (1) | WO2019050366A1 (ko) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10367980B1 (en) * | 2018-01-26 | 2019-07-30 | Zheng Li | Camera device integrated with light source and method for capturing images |
| JP7268372B2 (ja) * | 2019-01-31 | 2023-05-08 | 株式会社リコー | 撮像装置 |
| KR20210000527A (ko) * | 2019-06-25 | 2021-01-05 | 삼성전자주식회사 | 카메라 모듈 및 이를 포함하는 촬상 장치 |
| CN110177216B (zh) * | 2019-06-28 | 2021-06-15 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端以及存储介质 |
| EP3767330B1 (en) * | 2019-07-18 | 2023-06-21 | Infineon Technologies AG | Method and apparatus for determining relative motion between a time-of-flight camera and an object in a scene sensed by the time-of-flight camera |
| US12108015B2 (en) * | 2020-01-09 | 2024-10-01 | JUC Holdings Limited | 2D digital image capture system, frame speed, and simulating 3D digital image sequence |
| US11917119B2 (en) * | 2020-01-09 | 2024-02-27 | Jerry Nims | 2D image capture system and display of 3D digital image |
| US12106501B2 (en) * | 2020-01-09 | 2024-10-01 | JUC Holdings Limited | Subsurface imaging and display of 3D digital image and 3D image sequence |
| US20210297647A1 (en) * | 2020-01-09 | 2021-09-23 | Jerry Nims | 2d image capture system, transmission & display of 3d digital image |
| US20210321077A1 (en) * | 2020-01-09 | 2021-10-14 | JUC Holdings Limited | 2d digital image capture system and simulating 3d digital image sequence |
| KR20220008618A (ko) * | 2020-07-14 | 2022-01-21 | 삼성전자주식회사 | 카메라 모듈 및 이를 포함하는 촬상 장치 |
| US20220385807A1 (en) * | 2021-05-28 | 2022-12-01 | Jerry Nims | 2d digital image capture system and simulating 3d digital image and sequence |
| US20230098677A1 (en) * | 2021-09-28 | 2023-03-30 | Kargo Technologies Corp. | Freight Management Systems And Methods |
| US12075163B2 (en) | 2022-08-04 | 2024-08-27 | Apple Inc. | Dynamic camera field of view adjustment |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120275022A1 (en) * | 2011-04-27 | 2012-11-01 | Samsung Techwin Co., Ltd. | Monitoring system for generating 3-dimensional image and method of measuring distance by using the image |
| US20150172543A1 (en) * | 2013-10-26 | 2015-06-18 | The Lightco Inc. | Zoom related methods and apparatus |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10178568A (ja) * | 1996-12-19 | 1998-06-30 | Sony Corp | ビデオカメラ装置 |
| KR100475060B1 (ko) | 2002-08-07 | 2005-03-10 | 한국전자통신연구원 | 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법 |
| KR101691833B1 (ko) * | 2010-11-04 | 2017-01-09 | 엘지전자 주식회사 | 이동 단말기 및 이것의 영상 촬영 제어 방법 |
| US10547825B2 (en) | 2014-09-22 | 2020-01-28 | Samsung Electronics Company, Ltd. | Transmission of three-dimensional video |
| KR102052567B1 (ko) | 2015-07-31 | 2019-12-05 | 에이치에스엔아이 엘엘씨 | 가상의 3차원 비디오 생성 및 관리 시스템 및 방법 |
| KR102433293B1 (ko) | 2015-12-24 | 2022-08-18 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
-
2017
- 2017-09-11 KR KR1020170116214A patent/KR102327160B1/ko active IP Right Grant
-
2018
- 2018-09-10 WO PCT/KR2018/010563 patent/WO2019050366A1/en active Application Filing
- 2018-09-10 US US16/126,412 patent/US10819912B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120275022A1 (en) * | 2011-04-27 | 2012-11-01 | Samsung Techwin Co., Ltd. | Monitoring system for generating 3-dimensional image and method of measuring distance by using the image |
| US20150172543A1 (en) * | 2013-10-26 | 2015-06-18 | The Lightco Inc. | Zoom related methods and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| US10819912B2 (en) | 2020-10-27 |
| US20190082110A1 (en) | 2019-03-14 |
| KR102327160B1 (ko) | 2021-11-16 |
| WO2019050366A1 (en) | 2019-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102372808B1 (ko) | 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 | |
| KR102327160B1 (ko) | 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 | |
| KR102324702B1 (ko) | 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 | |
| KR102465248B1 (ko) | 이미지를 처리하기 위한 장치 및 방법 | |
| KR20190029098A (ko) | 카메라 동작에 기반한 오디오 신호 처리 장치 및 방법 | |
| JP7185434B2 (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
| JP2022031324A (ja) | 通信管理システム、通信システム、通信管理方法、及びプログラム | |
| KR102348504B1 (ko) | 복수 개의 카메라들 간의 시차를 감소시키는 방법 및 이를 지원하는 전자 장치 | |
| US20190082144A1 (en) | Communication terminal, image communication system communication method, and non-transitory recording medium | |
| US20210099669A1 (en) | Image capturing apparatus, communication system, data distribution method, and non-transitory recording medium | |
| KR101675567B1 (ko) | 파노라마 촬영장치, 파노라마 촬영 시스템, 이를 이용한 파노라마 영상 생성 방법, 컴퓨터 판독가능 기록매체 및 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램 | |
| US20200186407A1 (en) | Communication terminal, image network system, display method, and program | |
| JP7205386B2 (ja) | 撮像装置、画像処理方法、プログラム | |
| US10911687B2 (en) | Electronic device and method for controlling display of images | |
| KR20190014959A (ko) | 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법 | |
| KR102512839B1 (ko) | 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법 | |
| KR20200094500A (ko) | 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법 | |
| US11431906B2 (en) | Electronic device including tilt OIS and method for capturing image and processing captured image | |
| US11533430B2 (en) | Image capturing device with display control, image communication system, and method for display control, and recording medium | |
| JP2019062534A (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
| KR20190038071A (ko) | 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법 | |
| JP2019140667A (ja) | 情報処理装置、情報処理システム、データ生成方法およびプログラム | |
| KR20190065736A (ko) | 3d 이미지를 생성하기 위한 전자 장치 및 방법 | |
| JP7006133B2 (ja) | 通信システム及び通信方法 | |
| JP6992338B2 (ja) | 通信システム、通信管理方法、プログラム、システム及び通信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |