KR20190082080A - 피처 매칭을 이용하는 멀티-카메라 프로세서 - Google Patents
피처 매칭을 이용하는 멀티-카메라 프로세서 Download PDFInfo
- Publication number
- KR20190082080A KR20190082080A KR1020180149206A KR20180149206A KR20190082080A KR 20190082080 A KR20190082080 A KR 20190082080A KR 1020180149206 A KR1020180149206 A KR 1020180149206A KR 20180149206 A KR20180149206 A KR 20180149206A KR 20190082080 A KR20190082080 A KR 20190082080A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- interest
- region
- image
- feature
- Prior art date
Links
- 239000004065 semiconductor Substances 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 84
- 238000012937 correction Methods 0.000 claims description 63
- 238000012545 processing Methods 0.000 claims description 24
- 239000000758 substrate Substances 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 18
- 238000005457 optimization Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000003491 array Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
- H01L25/03—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes
- H01L25/04—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers
- H01L25/065—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers the devices being of a type provided for in group H01L27/00
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Power Engineering (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Electromagnetism (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
반도체 패키지 장치의 일 실시예는 2 이상의 카메라를 이용하여 장면의 2 이상의 동시 발생 이미지를 캡처하고, 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처를 검출하고, 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 피처를 매칭시키고, 검출된 피처에 대응하는 제 1 이미지의 부분 및 매칭된 피처에 대응하는 제 2 이미지의 부분에 기초하여 제 1 카메라와 제 2 카메라 사이에 광도 교정을 수행하는 기술을 포함할 수 있다. 다른 실시예들이 개시되고 청구된다.
Description
실시예들은 일반적으로 멀티-카메라 시스템에 관한 것이다. 보다 구체적으로, 실시예들은 피처 매칭을 이용하는 멀티-카메라 프로세서에 관한 것이다.
멀티-카메라 시스템은 깊이 추출, 3 차원(3D) 재구성, 파노라마 이미징 등과 같은 기능을 가능하게 할 수 있다. 다수의 카메라에 의해 동시에 생성된 이미지는 그러한 기능을 제공하도록 처리될 수 있다.
실시예의 다양한 이점은 다음의 명세서 및 첨부된 청구 범위를 읽고 다음의 도면을 참조함으로써 당업자에게 명백해질 것이다.
도 1은 실시예에 따른 전자 처리 시스템의 예의 블록도이다.
도 2는 실시예에 따른 반도체 패키지 장치의 예를 도시하는 블록도이다.
도 3a 내지 도 3c는 실시예에 따른 다수의 카메라를 교정하는(calibrating) 방법의 예의 흐름도이다.
도 4a 및 도 4b는 실시예에 따른 다수의 카메라로부터의 이미지의 예의 도시도이다.
도 5는 실시예에 따른 단일 카메라의 예의 블록도이다.
도 6은 실시예에 따른 멀티-카메라 시스템에 대한 프로세스 흐름의 예를 설명하는 도면이다.
도 7은 실시예에 따른 멀티-카메라 시스템에 대한 프로세스 흐름의 다른 예를 설명하는 도면이다.
도 8은 실시예에 따른 멀티-카메라 시스템에 대한 프로세스 흐름의 다른 예를 설명하는 도면이다.
도 9는 실시예에 따른 내비게이션 제어기를 갖는 시스템의 예의 블록도이다.
도 10은 실시예에 따른 소형 폼 팩터를 갖는 시스템의 예의 블록도이다.
도 1은 실시예에 따른 전자 처리 시스템의 예의 블록도이다.
도 2는 실시예에 따른 반도체 패키지 장치의 예를 도시하는 블록도이다.
도 3a 내지 도 3c는 실시예에 따른 다수의 카메라를 교정하는(calibrating) 방법의 예의 흐름도이다.
도 4a 및 도 4b는 실시예에 따른 다수의 카메라로부터의 이미지의 예의 도시도이다.
도 5는 실시예에 따른 단일 카메라의 예의 블록도이다.
도 6은 실시예에 따른 멀티-카메라 시스템에 대한 프로세스 흐름의 예를 설명하는 도면이다.
도 7은 실시예에 따른 멀티-카메라 시스템에 대한 프로세스 흐름의 다른 예를 설명하는 도면이다.
도 8은 실시예에 따른 멀티-카메라 시스템에 대한 프로세스 흐름의 다른 예를 설명하는 도면이다.
도 9는 실시예에 따른 내비게이션 제어기를 갖는 시스템의 예의 블록도이다.
도 10은 실시예에 따른 소형 폼 팩터를 갖는 시스템의 예의 블록도이다.
이제 도 1을 참조하면, 전자 처리 시스템(10)의 실시예는, 프로세서(11)와, 프로세서(11)에 통신 가능하게 결합되어 장면의 2 이상의 동시 발생 이미지를 캡처하는 2 이상의 카메라(12: 예컨대, 카메라 C1 내지 CN, N>1))와, 프로세서(11)에 통신 가능하게 결합되어, 2 이상의 카메라(12) 중 제 1 카메라(C1)로부터의 제 1 이미지에서 피처를 검출하고, 2 이상의 카메라(12) 중 제 2 카메라(C2)로부터의 제 2 이미지에서 피처를 매칭시키고, 검출된 피처에 대응하는 제 1 이미지의 부분 및 매칭된 피처에 대응하는 제 2 이미지의 부분에 기초하여 제 1 카메라(C1)와 제 2 카메라(C2) 사이에 광도 교정(photometric calibration)을 수행하는 로직(13)을 포함할 수 있다. 몇몇 실시예에서, 로직(13)은 제 1 이미지에서 검출된 피처에 기초하여 제 1 카메라(C1)에 대한 제 1 관심 영역(region of interest: ROI)을 정의하고, 제 2 이미지에서 매칭된 피처에 기초하여 제 2 카메라(C2)에 대한 제 2 ROI 영역을 정의하고, 제 1 ROI 및 제 2 ROI에 기초하여 제 1 카메라(C1)와 제 2 카메라(C2) 사이에 광도 교정을 수행하도록 구성될 수 있다. 예를 들어, 로직(13)은 제 1 이미지 및 제 2 이미지에서의 피처의 각각의 위치 및 크기에 기초하여 제 1 관심 영역(ROI) 및 제 2 ROI을 정의하도록 구성될 수 있다.
시스템(10)의 몇몇 실시예에서, 로직(13)은 추가적으로 또는 대안적으로 제 1 카메라(C1)에 대한 제 1 ROI를 정의하고, 제 1 ROI에 기초하여 제 1 이미지에서 피처를 검출하고, 제 2 이미지에서 매칭된 피처에 기초하여 제 2 카메라(C2)에 대한 제 2 ROI를 정의하고, 제 1 ROI 및 제 2 ROI에 기초하여 제 1 카메라(C1)와 상기 제 2 카메라(C2) 사이에 광도 교정을 수행하도록 구성될 수 있다. 예를 들어, 로직(13)은 제 2 이미지에서 매칭된 피처의 위치 및 크기에 기초하여 제 2 ROI를 정의하도록 구성될 수 있다. 본 명세서의 임의의 실시예에서, 로직(13)은 또한 광도 교정에 기초하여 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하도록 구성될 수 있다. 예를 들어, 광도 교정은 포커스, 컬러 보정, 감마 보정, 선명도, 노출, 블랙 레벨, 잡음, 화이트 밸런스 및 콘트라스트 중 하나 이상에 대한 파라미터 값을 결정할 수 있다.
전술한 프로세서(11), 카메라(12), 로직(13) 및 다른 시스템 구성요소의 각각의 실시예는, 하드웨어, 소프트웨어 또는 이들의 임의의 적절한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 구현은, 예를 들어, PLA(programmable logic arrays), FPGA(field programmable gate arrays), CPLD(complex programmable logic devices)와 같은 구성 가능한 로직, 또는 예를 들어, ASIC(application specific integrated circuit), CMOS(complementary metal oxide semiconductor) 또는 TTL(transistor-transistor logic) 기술과 같은 회로 기술을 사용하는 고정 기능 로직 하드웨어, 또는 이들의 임의의 조합을 포함할 수 있다.
대안적으로, 또는 부가적으로, 이들 구성요소의 전부 또는 일부는, RAM(random access memory), ROM(read only memory), PROM(programmable ROM), 펌웨어, 플래시 메모리 등과 같은 머신 또는 컴퓨터 판독가능 저장 매체에 저장되어 프로세서 또는 컴퓨팅 디바이스에 의해 실행되는 로직 명령어의 세트로서 하나 이상의 모듈에서 구현될 수 있다. 예를 들어, 구성요소의 동작을 수행하기 위한 컴퓨터 프로그램 코드는, PYTHON, PERL, JAVA, SMALLTALK, C++, C# 등과 같은 객체 지향적 프로그래밍 언어와 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차적 프로그래밍 언어를 포함하는, 하나 이상의 운영 체제(OS) 적용가능한/적절한 프로그래밍 언어의 임의의 조합으로 기록될 수 있다. 예를 들어, 메인 메모리, 영구(persistent) 저장 매체 또는 다른 시스템 메모리는, 프로세서(11)에 의해 실행될 때 시스템(10)으로 하여금 시스템(10)의 하나 이상의 구성요소, 특징 또는 양태(예컨대, 로직(13)이, 제 1 이미지에서 피처를 검출하는 것, 제 2 이미지에서 피처를 매칭시키는 것, 광도 교정을 수행하는 것 등)를 구현하게 하는 명령어의 세트를 저장할 수 있다.
이제 도 2를 참조하면, 반도체 패키지 장치(20)의 실시예는 하나 이상의 기판(21)과 하나 이상의 기판(21)에 결합된 로직(22)을 포함할 수 있는데, 로직(22)은 구성 가능한 로직과 고정 기능 하드웨어 로직 중 하나 이상에서 적어도 부분적으로 구현될 수 있다. 하나 이상의 기판에 결합된 로직(22)은, 2 이상의 카메라를 이용하여 장면의 2 이상의 동시 발생 이미지를 캡처하고, 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처를 검출하고, 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 피처를 매칭시키고, 검출된 피처에 대응하는 제 1 이미지의 부분 및 매칭된 피처에 대응하는 제 2 이미지의 부분에 기초하여 제 1 카메라와 제 2 카메라 사이에 광도 교정을 수행하도록 구성될 수 있다. 몇몇 실시예에서, 로직(22)은 제 1 이미지에서 검출된 피처에 기초하여 제 1 카메라에 대한 제 1 ROI를 정의하고, 제 2 이미지에서 매칭된 피처에 기초하여 제 2 카메라에 대한 제 2 ROI를 정의하고, 제 1 ROI 및 제 2 ROI에 기초하여 제 1 카메라와 제 2 카메라 사이에 광도 교정을 수행하도록 구성될 수 있다. 예를 들어, 로직(22)은 제 1 이미지 및 제 2 이미지에서의 피처의 각각의 위치 및 크기에 기초하여 제 1 ROI 및 제 2 ROI를 정의하도록 구성될 수 있다.
몇몇 실시예에서, 로직(22)은 부가적으로 또는 대안적으로, 제 1 카메라에 대한 제 1 ROI를 정의하고, 제 1 ROI에 기초하여 제 1 이미지에서 피처를 검출하고, 제 2 이미지에서 매칭된 피처에 기초하여 제 2 카메라에 대한 제 2 ROI를 정의하고, 제 1 ROI 및 제 2 ROI에 기초하여 제 1 카메라와 제 2 카메라 사이에 광도 교정을 수행하도록 구성될 수 있다. 예를 들어, 로직(22)은 제 2 이미지에서 매칭된 피처의 위치 및 크기에 기초하여 제 2 ROI를 정의하도록 구성될 수 있다. 본 명세서의 임의의 실시예에서, 로직(22)은 또한 광도 교정에 기초하여 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하도록 구성될 수 있다. 예를 들어, 광도 교정은 포커스, 컬러 보정, 감마 보정, 선명도, 노출, 블랙 레벨, 잡음, 화이트 밸런스 및 콘트라스트 중 하나 이상에 대한 파라미터 값을 결정할 수 있다.
로직(22), 및 장치(20)의 다른 구성요소의 실시예는, 하드웨어, 소프트웨어 또는 적어도 부분적 하드웨어 구현을 포함하는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 하드웨어 구현은, 예를 들어, PLA, FPGA, CPLD와 같은 구성 가능한 로직, 또는 예를 들어, ASIC, CMOS 또는 TTL 기술과 같은 회로 기술을 사용하는 고정 기능 로직 하드웨어, 또는 이들의 임의의 조합을 포함할 수 있다. 부가적으로, 이들 구성요소의 부분들은, RAM, ROM, PROM, 펌웨어, 플래시 메모리 등과 같은 머신 또는 컴퓨터 판독가능 저장 매체에 저장되어 프로세서 또는 컴퓨팅 디바이스에 의해 실행되는 로직 명령어의 세트로서 하나 이상의 모듈에서 구현될 수 있다. 예를 들어, 구성요소의 동작을 수행하기 위한 컴퓨터 프로그램 코드는, PYTHON, PERL, JAVA, SMALLTALK, C++, C# 등과 같은 객체 지향 프로그래밍 언어와 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차적 프로그래밍 언어를 포함하는, 하나 이상의 OS 적용가능한/적절한 프로그래밍 언어의 임의의 조합으로 기록될 수 있다.
이제 도 3a 내지 도 3c를 참조하면, 다수의 카메라를 교정하는 방법(30)의 실시예는, 블록 31에서 2 이상의 카메라를 이용하여 장면의 2 이상의 동시 발생 이미지를 캡처하는 것과, 블록 32에서 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처를 검출하는 것과, 블록 33에서 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 피처를 매칭시키는 것과, 블록 34에서 검출된 피처에 대응하는 제 1 이미지의 부분 및 매칭된 피처에 대응하는 제 2 이미지의 부분에 기초하여 제 1 카메라와 제 2 카메라 사이에 광도 교정을 수행하는 것을 포함할 수 있다. 방법(30)의 몇몇 실시예는, 블록 35에서 제 1 이미지에서의 검출된 피처에 기초하여 제 1 카메라에 대한 제 1 ROI를 정의하는 것과, 블록 36에서 제 2 이미지에서의 매칭된 피처에 기초하여 제 2 카메라에 대한 제 2 ROI를 정의하는 것과, 블록 37에서 제 1 ROI 및 제 2 ROI에 기초하여 제 1 카메라와 제 2 카메라 사이에 광도 교정을 수행하는 것을 더 포함할 수 있다. 예를 들어, 방법(30)은 블록 38에서 제 1 이미지 및 제 2 이미지에서의 피처의 각각의 위치 및 크기에 기초하여 제 1 ROI 및 제 2 ROI를 정의하는 것을 더 포함할 수 있다.
방법(30)의 몇몇 실시예는 부가적으로 또는 대안적으로, 블록 39에서 제 1 카메라에 대한 제 1 ROI를 정의하는 것과, 블록 40에서 제 1 ROI에 기초하여 제 1 이미지에서 피처를 검출하는 것과, 블록 41에서 제 2 이미지에서의 매칭된 피처에 기초하여 제 2 카메라에 대한 제 2 ROI를 정의하는 것과, 블록 42에서 제 1 ROI 및 제 2 ROI에 기초하여 제 1 카메라와 제 2 카메라 사이에 광도 교정을 수행하는 것을 포함할 수 있다. 예를 들어, 방법(30)은 블록 43에서 제 2 이미지에서의 매칭된 피처의 위치 및 크기에 기초하여 제 2 ROI를 정의하는 것을 더 포함할 수 있다. 본 명세서의 임의의 실시예에 있어서, 방법(30)은 블록 44에서 광도 교정에 기초하여 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하는 것을 더 포함할 수 있다. 블록 45에서 파라미터 값의 비제한적 예는, 포커스, 컬러 보정, 감마 보정, 선명도, 노출, 블랙 레벨, 잡음, 화이트 밸런스, 콘트라스트 등을 포함할 수 있다.
방법(30)의 실시예는, 예를 들어 본 명세서에서 설명되는 것과 같은 시스템, 장치, 컴퓨터, 디바이스 등에서 구현될 수 있다. 보다 구체적으로, 방법(30)의 하드웨어 구현은, 예를 들어, PLA, FPGA, CPLD와 같은 구성 가능한 로직, 또는 예를 들어, ASIC, CMOS 또는 TTL 기술과 같은 회로 기술을 사용하는 고정 기능 로직 하드웨어, 또는 이들의 임의의 조합을 포함할 수 있다. 대안적으로 또는 부가적으로, 방법(30)은, RAM, ROM, PROM, 펌웨어, 플래시 메모리 등과 같은 머신 또는 컴퓨터 판독가능 저장 매체에 저장되어 프로세서 또는 컴퓨팅 디바이스에 의해 실행되는 로직 명령어의 세트로서 하나 이상의 모듈에서 구현될 수 있다. 예를 들어, 구성요소의 동작을 수행하기 위한 컴퓨터 프로그램 코드는, PYTHON, PERL, JAVA, SMALLTALK, C++, C# 등과 같은 객체 지향 프로그래밍 언어와 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차적 프로그래밍 언어를 포함하는, 하나 이상의 OS 적용가능한/적절한 프로그래밍 언어의 임의의 조합으로 기록될 수 있다.
예를 들어, 방법(30)은 이하의 예 19 내지 예 24와 관련하여 설명되는 바와 같은 컴퓨터 판독가능 매체 상에서 구현될 수 있다. 방법(30)의 실시예 또는 그 일부는, 펌웨어, (예컨대, 애플리케이션 프로그래밍 인터페이스(API)를 통한) 애플리케이션, 또는 운영 체제(OS) 상에서 실행되는 드라이버 소프트웨어로 구현될 수 있다.
몇몇 실시예는 피처 검출 및 매칭을 이용하는 멀티-카메라 이미지 신호 프로세서(ISP)를 유리하게 제공할 수 있다. 멀티-카메라 어레이는, (예컨대, 듀얼 카메라 배열을 이용한) 깊이 추출, 3D 재구성, 파노라마 이미징, 360 비디오 등(예컨대, 단일 카메라로 가능할 수 있는 것보다 많은 기능)과 같은 다양한 컴퓨터 이미징 성능을 포함할 수 있다. 멀티-카메라 어레이의 정확한 기능을 위해서는, 기하학적 레벨(예컨대, 상대 포즈), 광도적 레벨(예컨대, 유사한 이미지 품질) 및 시간적 레벨(예컨대, 시간 동기화 캡처)을 포함하는 3가지 레벨에서 교정하는 것이 중요할 수 있다. 몇몇 실시예는 동일 장면을 캡처하는 멀티-카메라 이미지에 대해 더 나은 광도 유사성을 제공함으로써 광도 교정을 향상시킬 수 있다.
이미지의 광도 특성은, 이미지의 캡처에 사용된 노출, 포커스, 화이트 밸런스, 감마 보정 및 선명도 설정을 포함할 수 있다. 이러한 파라미터는 카메라에 대한 ISP의 상이한 블록들을 형성할 수 있다. 멀티-카메라 어레이의 각 카메라는 자체 ISP를 가질 수 있기 때문에, 카메라들이 광도 차이를 갖는 이미지들을 생성할 수 있다. 광도 교정의 경우, 이들 파라미터의 전부 또는 대부분은, 각각의 구성요소 ISP 블록 이후의 출력 이미지가 유사하게 보일 수 있도록 각 카메라에 대해 국부적으로 조정될 수 있다. 성공적인 교정은, 각 카메라로부터의 컬러 이미지의 최종 세트가 이러한 모든 파라미터 대해 일관성 있게 보이도록 할 수 있다. 몇몇 다른 시스템은, 하나의 카메라가 마스터 카메라로 선택되고 멀티-카메라 시스템의 나머지 카메라들이 마스터와 동일한 파라미터를 갖도록 구성되는 마스터-슬레이브 기술을 이용할 수 있다. 그러나, 몇몇 파라미터에는 마스터-슬레이브 기술을 사용할 수 없다. 예를 들어, 포커싱은 이 기술에 적합하지 않을 수 있는데, 이는, 마스터가 포커싱하는 ROI가 카메라 시점이 변경됨에 따라 변경될 수 있고, 슬레이브에 대해 동일한 ROI를 사용하면 상이한 거리에 있을 수도 있는 완전히 다른 물체에 대한 포커싱을 초래할 수 있기 때문이다. 몇몇 실시예는, 동적 ROI를 유리하게 허용하고 파라미터 추정을 위한 최적화 방법을 이용할 수 있는 광도 교정 기술을 제공할 수 있다.
몇몇 실시예는 피처 검출 및 피처 매칭 기술을 유리하게 이용하여 광도 교정을 위해 이미지에서 ROI를 동적으로 정의할 수 있다. SIFT(scale-invariant feature transform), ORB(Oriented FAST and rotated BRIEF), SURF(speeded up robust features), KAZE, AKAZE 등을 포함하는 임의의 적절한 피처 검출/매칭 기술이 사용될 수 있다. 몇몇 실시예는, 각 ISP 블록 이후에 획득된 멀티-카메라 이미지들 사이에서의 구별되는(distinctive) 피처들 및 피처 매칭을 이용하여 동적 ROI를 정의할 수 있다. 예를 들어, ROI는 매칭되는 2 차원(2D) 픽셀 위치의 리스트 및 2D 픽셀 위치 주변 영역의 디스크립터(descriptor)에 대응할 수 있다. 몇몇 ISP 파라미터(예컨대, 컬러 보정)에 대해, 정의된 ROI는 검출된 매칭 피처들의 위치의 함수일 수 있다. 다른 파라미터(예컨대, 포커스)에 대해, 특정 ROI가 마스터 카메라에서 정의될 수 있고, 다음에 그 ROI 내부의 피처들이 이미지들에 걸쳐 추적될 수 있다. 몇몇 실시예에서는, 두 시나리오 모두 유리하게 동적 ROI를 허용할 수 있다.
몇몇 실시예에서는, 매칭 피처의 특성(예컨대, 윈도우 내의 선명도, 강도 등)이 관측치(observation)로서 이용될 수 있다. 예를 들어, ISP 파라미터에 의해 파라미터화된 오류 함수는 관측치에 기초하여 만들 수 있다. 오류 함수는 자동화된 방식으로 개선된 또는 최상의 멀티-카메라 ISP 파라미터에 도달하기 위한 최적화 문제로서 풀이될 수 있다. 유리하게도, 몇몇 실시예는 멀티-카메라 시스템의 튜닝 및 활용성(utilization)을 확대(scale up)하는 기술을 제공할 수 있다. 몇몇 실시예는, 포커스, 컬러 보정, 감마 보정, 선명도, 노출, 블랙 레벨, 잡음, 화이트 밸런스 및 콘트라스트를 포함하지만 이에 한정되지 않는, 카메라 ISP의 임의의 블록에 대한 개선된 또는 최적화된 파라미터 값을 결정할 수 있다.
몇몇 다른 멀티-카메라 시스템은 효과적인 광도 교정을 유지하기 위해 매우 유사한 특성을 갖는 동종(homogeneous) 카메라들을 필요로 할 수 있다. 유리하게도, 몇몇 실시예는 이종(heterogeneous) 카메라 시스템을 이용할 수 있다. 몇몇 실시예에서, 이종 카메라들 간의 어떤 광도 차이는, 그 차이의 원인이 되는 적절한 ISP 파라미터를 결정함으로써 효과적으로 교정될 수 있다. 몇몇 실시예에 의한 피처 포인트(feature points)의 이용으로 인해, ISP 파라미터가 아닌 카메라들에 걸친 임의의 이질성이 유리하게 피처 디스크립터에 인코딩될 수 있다. 몇몇 실시예는 멀티-카메라 설정 및/또는 동작 파라미터를 결정하기 위한 피처 기반 최적화 기술을 제공할 수 있다. 몇몇 실시예에서는, 단일 카메라 파라미터가 멀티-카메라 시스템을 위해 체계적으로 확장되거나 최적화될 수 있다.
이제 도 4a 및 도 4b를 참조하면, 4개의 이미지(I1 내지 I4)의 세트가 4개의 대응하는 카메라(C1 내지 C4)(도시되지 않음)에 의해 동시에 캡처될 수 있다. 캡처된 이미지는 상이한 해치 패턴에 의해 표현되는 바와 같이 상당한 색 온도 차이를 가질 수 있다(예컨대, 이미지 I1은 더 따뜻할 수 있는 반면 이미지 I2는 훨씬 더 차가운 색조(hue)를 가질 수 있음). 예를 들어, 동종 카메라 어레이에서조차도, 다양한 카메라 파라미터들(예컨대, 노출, 잡음, 컬러, 선명도 등)에 대해 카메라들 간에 불일치가 있을 수 있다. 이러한 불일치는 다수의 이미지가 이용될 수 있는 (예컨대, 컴퓨터 비전(computer vision)과 같은) 애플리케이션에서 다양한 문제를 야기할 수 있다. 예를 들어, 광도 차이는 뷰 보간 및 이미지 스티칭(image stitching)에서 시각적 아티팩트를 야기할 수 있다. 몇몇 실시예는 개별 카메라(C1 내지 C4)의 컬러 및 감마 파라미터의 전역적(global) 최적화를 제공하여 광도적으로 더 유사한 최종 이미지를 제공할 수 있다. 예를 들어, 캡처된 이미지(I1 내지 I4)에 피처 기반 컬러 및 감마 보정이 적용되어, 보정된 이미지(I1C 내지 I4C)를 제공할 수 있다(예컨대, 도 4b 참조). 피처 기반 컬러 및 감마 보정은, 4개의 보정된 이미지(I1C 내지 I4C)의 완전한 세트가 4개의 모든 이미지에서 동일 해치 패턴에 의해 표현되는 색 온도의 유사성을 달성할 수 있게 하는 유사한 색 온도를 야기할 수 있다. 보정된 이미지(I1C 내지 I4C)는 이들 아티팩트 중 일부를 완화하는 데 도움을 줄 수 있거나 그렇지 않으면 다운스트림 이미지 프로세싱 애플리케이션의 동작을 개선할 수 있다.
몇몇 실시예는 멀티-캡처 이미지들에 걸쳐 계산된 피처 검출 및 피처 매칭을 사용하여, 카메라 시점에 따라 동적으로 변화하는 ROI(들)를 정의할 수 있다. 그 후, 개별 ISP 파라미터 블록을 국부적으로 정제(refine)하여 (예컨대, 노출, 컬러, 감마, 선명도 등과 관련하여) 광도적으로 유사한 이미지를 초래하기 위해 이용될 수 있는 최적화 함수가 만들어질 수 있다. 최적화 함수는 최적화되고 있는 ISP 파라미터 블록에 의존할 수 있고, 몇몇 실시예는 파라미터화되고 있는 각각의 ISP 블록 이후에 출력 이미지에서 유사성을 달성할 수 있다. 몇몇 실시예는 ISP 파이프라인으로부터의 최종 획득된 이미지가 여러 측면에서 더 유사할 수 있도록 이러한 피처 기반 광도 교정을 다수의 ISP 파라미터 블록에 대해 적용할 수 있다.
몇몇 다른 멀티-카메라 시스템은 마스터-슬레이브 구성을 사용할 수 있는데, 여기서는 마스터 파라미터가 마스터 이미지의 이미지 영역에서 계산될 수 있고, 다음에 마스터 파라미터는 슬레이브 카메라로 브로드캐스팅된다. 각각의 슬레이브는 마스터 파라미터를 직접 사용하거나(예컨대, 포커싱 파라미터) 또는 다른 슬레이브 카메라와 독립적으로 마스터 파라미터를 조정하여 자신의 이미지 기준을 최적화한다. 몇몇 다른 멀티-카메라 시스템은, 전역적 최적화를 적용하지 않고 주로 컬러 보정에 포커스를 맞춘 피처 기반 접근법을 가질 수 있다. 몇몇 실시예는 피처 검출 및 피처 매칭을 이용하여 ISP 파라미터에 대한 데이터를 샘플링할 수 있고, 또한 모든 카메라를 고려하여 ISP 파라미터를 최적화할 수 있다. 예를 들어, 몇몇 실시예는 전역적으로 또는 특정된 마스터 카메라에 대해 멀티-카메라 어레이의 각 카메라와 관련된 모든 ISP 파라미터를 동시에 최적화할 수 있다.
몇몇 실시예들에서, 피처 매칭은 상이한 카메라 이미지들에 대해 동적인 크기의 ROI를 정의하기 위해 이미지들에 걸쳐 유사한 피처를 추적할 수 있다. 동적인 크기의 ROI는 각각의 카메라가 상이한 시점을 가질 수 있는 멀티-카메라 어레이에 특히 유리할 수 있다. 몇몇 실시예는 멀티-카메라 ISP 최적화를 위해 피처 매칭을 사용할 수 있다.
몇몇 실시예는 ISP 블록이 목표로 하지 않는 이미지 특성에 대해 불변인 피처 디스크립터를 이용할 수 있다. 예를 들어, 그레디언트 정보를 인코딩하는 불변의 피처 디스크립터는 선명도를 결정하기 위해 상이한 해상도의 2개의 이미지에서의 한 피처 포인트 주위에서 스케일링될 수 있다. 피처 포인트 주위의 스케일은 2개의 이미지의 해상도에 영향을 받지 않을 수 있다. 몇몇 다른 기술은 피처 포인트 주위의 ROI로서 정사각형 윈도우를 사용할 수 있으며, 포커스를 결정하기 위해 이미지 그레디언트를 계산하는 데 사용할 윈도우의 크기를 알기 위해 상대적 이미지 스케일을 먼저 결정해야 할 수 있다.
몇몇 다른 멀티-카메라 시스템은 ISP 파이프라인 단계 이후에 최종 이미지를 후처리할 수 있다. 몇몇 실시예는 중간 ISP 블록 이미지를 처리하여 그 특정 ISP 블록에 대한 이미지 유사성을 달성할 수 있다. 중간 처리는 유리하게도 ISP 최적화 파이프라인에서 더 큰 유연성을 허용할뿐만 아니라 최종 ISP 이미지에서 작용하는 기술에 대한 정보 손실을 피할 수 있다.
몇몇 실시예는 피처 검출 및 피처 매칭 기술을 사용하여 멀티-카메라 이미지의 각각에서 가변 크기의 ROI를 생성할 수 있다. ROI는 멀티-카메라 이미지들에 걸쳐 추적되고 있는 2D 픽셀 위치의 리스트에 대응할 수 있다. 최적화되고 있는 ISP 파라미터에 따라, ROI는 완전한 이미지이거나(예컨대, 컬러 및 감마 보정의 경우) 또는 이미지들 중 하나에서 사전 선택될 수 있다(예컨대, 이미지들 중 하나에서 직사각형 영역 내에 있는 모든 피처 포인트). 그 다음, 이 포인트들은 나머지 모든 이미지에서 추적될 수 있다(예컨대 포커스 설정의 경우). 마지막으로, ISP 파라미터에 의존하는 최적화 오류 함수가 추적된 ROI 내에서 정의될 수 있다.
이제 도 5를 참조하면, 단일 카메라(50)의 실시예는 다양한 상이한 ISP 파라미터/블록을 갖는 ISP 파이프라인을 포함할 수 있다. 카메라(50)는 픽셀 센서들을 갖는 이미지 센서(51)를 포함할 수 있는데, 이미지 센서(51)의 픽셀 센서 위에는 컬러 정보를 캡처하기 위해 컬러 필터 어레이(CFA)(예컨대, 컬러 필터 모자이크(CFM) 등)가 배치된다. 렌즈(52)는 이미지 센서(51)에 대해 적절히 위치될 수 있다. 포커스 제어 블록(53)은 렌즈(52)에 대한 포커스를 제어할 수 있고, 노출 제어 블록(54)은 이미지 센서(51)에 의해 캡처된 이미지의 노출을 제어할 수 있다. 센서 결함 보정 블록(55)은 이미지 센서(51)와 포커스 제어 블록(53) 사이에 결합될 수 있다. 이미지 센서(51)로부터의 이미지 데이터는, 예를 들어, 블랙 레벨 조정 블록(56a), 잡음 감소 블록(56b), 화이트 밸런스 블록(56c), CFA 보간 블록(56d), 컬러 보정 매트릭스(CCM) 블록(56e), 감마 보정 블록(56f), RGB(적색-녹색-청색) - YCC(휘도-청색차-적색차) 변환 블록(56g), 선명도 블록(56h), 콘트라스트 향상 블록(56i), 및 허위(false) 색도 억제 블록(56j)을 포함하는 직렬 결합된 ISP 블록들을 포함할 수 있는 ISP 파이프라인에 의해 처리될 수 있다. 몇몇 실시예들에서, ISP 파이프라인은 더 많거나 더 적은 블록을 포함할 수도 있고, 상이한 ISP 블록들 및/또는 상이한 순서의 블록들을 포함할 수도 있다. 카메라(50)는 이미지 센서(51)에 의해 캡처된 이미지를 ISP 파이프라인을 통해 처리한 결과로서 출력 이미지(57)를 제공할 수 있다.
많은 파라미터들은 카메라(50)의 다양한 제어 블록들 및 ISP 블록들이 어떻게 동작하는지에 영향을 줄 수 있다. 몇몇 실시예에 따르면, 카메라(50)는, 멀티-카메라 시스템 내의 하나 이상의 다른 카메라에 대한 광도 교정을 위해, 피처 검출, 피처 매칭 기술 및/또는 동적으로 정의된 ROI에 기초하여 카메라(50)의 하나 이상의 파라미터를 조정하는 파라미터 조정기(58)를 포함할 수 있다. 예를 들어, 카메라(50)는 멀티-카메라 시스템의 일부로서 광도 교정을 위해 다른 카메라들 또는 중앙 집중식 멀티-카메라 프로세서에 유선 또는 무선으로 결합되어, 피처 검출 및 피처 매칭 기술을 이용하여 이미지에서 ROI를 동적으로 정의할 수 있다. 카메라(50)는 카메라(50)로부터의 데이터 및 파라미터, 다른 카메라들의 데이터 및 파라미터, 및/또는 다수의 카메라 간의 광도 교정을 향상시키기 위한 계산값/조정값을 교환하기 위해 다른 카메라들과 정보를 통신할 수 있다.
이제 도 6을 참조하면, 멀티-카메라 시스템에 대한 프로세스 흐름(60)의 실시예는 멀티-카메라 포커스 제어를 위한 광도 교정을 포함할 수 있다. 시스템의 몇몇 실시예는 멀티-카메라 시스템의 일부 또는 모든 카메라가 동일한 깊이 또는 동일한 피처에 포커스를 맞추게 할 수 있다. 유리하게도, 몇몇 실시예는 캡처된 이미지에서 초점이 안 맞는 흐릿한 부분(defocus blur)을 제거하는 것을 도울 수 있다. 예를 들어, 몇몇 실시예는 멀티-카메라 그리드에서 자동 포커스 성능을 이용하여 카메라 각각에 대해 개선된 또는 이상적인 포커스 모터 위치를 결정할 수 있다. 마스터 카메라로부터의 이미지의 자동 포커스 ROI에서 검출된 피처는 다른 모든 카메라에서 추적될 수 있으며, 피처 매칭된 ROI가 나머지 모든 이미지에 대해 결정될 수 있다. 개별 카메라는 자신의 피처 매칭된 ROI를 사용하여 최적의 포커스 위치를 결정할 수 있고, 그에 따라 포커스 모터를 작동시킬 수 있다.
프로세스 흐름(60)은, 마스터 카메라(Cm) 및 2개 이상의 추가 카메라(C1 내지 CN)(N>1)의 각각이 블록 61a 내지 61c에서 원시 데이터를 BAYER 포맷으로 캡처하고 블록 62a 내지 62c에서 결함 있는 픽셀을 채우는 것을 포함한다. 블록 63에서 마스터 카메라(Cm)는 카메라가 포커싱할 장면 내의 2D 자동 포커스 ROI를 선택할 수 있다. 자동 포커스 ROI는 (예컨대, 이미지에서 가장 핵심적 영역으로서) 수동으로 선택되거나 자동으로 선택될 수 있다. 자동 포커스 ROI는 임의의 적절한 크기 및 형상(예컨대, 반드시 어떤 기하학적 형상일 필요는 없음)일 수 있다. 예를 들어, 자동 포커스 ROI는, 포커스 포인트 ± 델타 x 값 및 델타 y 값에 기초할 수 있다. 마스터 카메라(Cm)는 어떤 고정된 포커스 영역 및/또는 크기를 가질 수 있고, 자동 포커스 ROI는 그 포커스 영역 및 크기(예컨대, 또는 거기에 약간의 델타 x/y을 가감한 것)에 대응할 수 있다. 마스터 카메라(Cm)는 이미지 내에서 얼굴, 물체 등과 같은 피처를 자동으로 검출할 수 있고, 자동 포커스 ROI는 검출된 피처 포커스 영역(예컨대, 거기에 약간의 델타 x/y를 가감한 것)에 대응할 수 있다. 마스터 카메라(Cm)는 사용자가 (예컨대, 포커스 포인트/영역/얼굴/물체/등을 선택하기 위해 디스플레이 화면을 터치함으로써) 포커스 영역을 선택하도록 허용할 수 있고, 자동 포커스 ROI는 사용자가 선택한 포커스 영역(예컨대, 또는 거기에 약간의 델타 x/y를 가감한 것)에 대응할 수 있다.
블록 64a에서는 자동 포커스 ROI에서 마스터 카메라(Cm)로부터의 이미지에 대해 피처 검출(예컨대, SIFT)이 수행될 수 있다. 블록 64b 내지 64c에서는 각각의 캡처된 완전한 이미지에서 카메라들(C1 내지 CN)로부터의 이미지들에 대해 피처 검출이 수행될 수 있다. 블록 65에서는 자동 포커스 ROI에서 검출된 피처들과 나머지 모든 이미지들 사이에서 피처 매칭이 수행될 수 있다. 블록 66a에서는 마스터 카메라에 대해 자동 포커스 ROI가 선택될 수 있고, 블록 66b 내지 66c에서는 추적된 피처에 기초하여 나머지 이미지들에서 이미지에 의존하는 피처 매칭된 ROI가 선택된다. 그 다음, 블록 67a 내지 67c에서 각각의 카메라는 각각의 자동 포커스 ROI 및 피처 매칭된 ROI의 일부인 피처 포인트들에 대한 포커스 측정치를 계산할 수 있다. 블록 68a 내지 68c에서는 반복적인 포커스 측정치 계산에 기초하여 포커싱하도록 각 카메라에 대한 포커스 액츄에이터가 구동될 수 있고, 블록 69a 내지 69c에서는 각각의 출력 이미지가 제공될 수 있다. 유리하게도, 출력 이미지는 시스템의 모든 카메라로부터의 동일 장면 포인트에 포커스를 맞출 수 있다. 몇몇 실시예에서, 멀티-카메라 포커스 제어기는 블록 64 내지 66을 포함하는 프로세스 흐름(60)의 일부 또는 전부를 수행할 수 있다. 멀티-카메라 포커스 제어기는 개별 프로세서일 수도 있고, 카메라들 중 하나(예컨대, 마스터 카메라(Cm))에서 구현될 수도 있으며, 또는 2개 이상의 카메라들 사이에 분배될 수 있다.
이제 도 7을 참조하면, 멀티-카메라 시스템에 대한 프로세스 흐름(70)의 실시예는 컬러 보정 매트릭스 및 감마 보정을 위한 광도 교정을 포함할 수 있다. 멀티-카메라 시스템이 동작됨에 따라, 각각의 구성요소 카메라는, 각 픽셀에 대한 그레이 레벨 히스토그램, 적색/녹색 비 및 청색/녹색 비를 포함할 수 있는 장면 통계(scene statistics)를 캡처할 수 있다. 이러한 컬러 비는 기준 광원(reference illuminant) 및 따라서 장면의 색 온도를 결정할 수 있다. 상이한 카메라들 사이에서 일관된 컬러 재현을 달성하기 위해, 화이트 밸런싱 후에 컬러 보정 매트릭스(CCM)가 계산될 수 있다. 모든 센서에 대한 감마 보정 곡선은 또한 멀티-카메라 어레이 내의 모든 이미지에 대해 유사한 콘트라스트를 초래하도록 조정될 수 있다. 몇몇 실시예는 유리하게도, 피처 검출, 매칭 및 최적화 함수에 기초하여 다중-카메라 CCM 및 감마 보정을 제공할 수 있다. 예를 들어, 몇몇 실시예는 ISP 파이프라인의 일부로서 멀티-카메라 어레이 내의 i 번째 카메라에 대해 멀티-카메라 컬러 보정 매트릭스(Ci *) 및 감마 파라미터들(βm *, βi *)의 계산을 제공할 수 있다. 몇몇 실시예는 또한 이들 파라미터의 계산을 위해 최적화 함수를 제공할 수 있다.
멀티-카메라 시스템의 카메라들 중 하나는 마스터 카메라 Cm으로 지정되거나 선택될 수 있고, 나머지 카메라들은 카메라 Ci로 지정될 수 있다. 블록 71a 내지 71i에서는 단일 카메라 ISP 블록 컬러 보정 매트릭스 [a1 a2 ...]{m, 1, ..., i}가 적용될 수 있고, 블록 72a 내지 72i에서는 파라미터 γ{m, 1, ..., i}를 사용하여 감마 보정의 단일 카메라 ISP 블록이 수행되어, 단일 카메라 ISP 이후에 각각의 이미지들(I m 내지 I i )을 제공한다. 블록 74a 내지 74i에서는 완전한 이미지의 각각에 대해 피처 검출이 수행될 수 있다. 그 다음, 블록 75에서는 모든 멀티-카메라 이미지들에 걸쳐 검출된 피처들에 대해 피처 매칭이 수행되어 f로서 저장될 수 있다. 블록 76에서는 개별 ISP CCM 매트릭스 및 감마값을 정제(refine)하기 위해 최적화 함수 E(βm, β{1,...,i}, C{1,...,i})를 풀 수 있고, 블록 77a 내지 77i에서 최적화된 파라미터가 적용되어 보정된 이미지를 획득한다(예컨대, 그리고 그 후에 그 다음 ISP 블록이 구현된다). CCM 및 감마 최적화 함수 E(βm, β{1,...,i}, C{1,...,i})는, 마스터 카메라 및 나머지 카메라들에 대한 상대 CCM 조정 매트릭스(C)뿐만 아니라 감마 보정 파라미터(βm, β{1,...,i})를 공동으로 해결할 수 있다. 함수는 개별 카메라의 CCM 및 감마 보정 ISP 파라미터들(예컨대, 각각 (a1, a2,...)[ m ,1,..., i ] 및 γ [ m ,1,..., i ])을 사용하여 초기화될 수 있다. 최적화는 이미지들(I m , I 1 , ..., I i ) 내의 피처 매칭 위치(f)의 RGB 값에 대해 수행될 수 있다. 몇몇 실시예에서, 멀티-카메라 CCM 및 감마 보정 모듈은 블록 74 내지 77을 포함하는 프로세스 흐름(70)의 일부 또는 전부를 수행할 수 있다. 멀티-카메라 CCM 및 감마 보정 모듈은 개별 프로세서일 수도 있고, 카메라들 중 하나(예컨대, 마스터 카메라 Cm)로 구현될 수도 있으며, 또는 2 이상의 카메라들 사이에서 분배될 수 있다.
이제 도 8을 참조하면, 멀티-카메라 시스템에 대한 프로세스 흐름(80)의 실시예는 선명도를 위한 광도 교정을 포함할 수 있다. 카메라 어레이로부터의 이미지들 사이의 선명도 불일치는 선명하지 않은(sharp-blured) 이미지 쌍을 초래할 수 있다. 이러한 이미지 쌍에 대한 멀티-카메라 어레이의 많은 애플리케이션(예컨대, 파노라마 스티칭, 불일치(disparity) 추정 등)은 아티팩트를 가질 수 있다. 몇몇 실시예는 유리하게도 카메라 어레이에 걸쳐 공동으로 선명도를 설정할 수 있다. 공간 주파수 응답(spatial frequency response: SFR) 또는 변조 전달 함수(modulation transfer function: MTF)는 선명도 관련 척도를 제공할 수 있는데, 여기서 이미지 선명도의 표시자는, MTF가 저주파수 값의 50%(MTF50) 또는 최고 값의 50%(MTF50P)인 공간 주파수일 수 있다. 몇몇 다른 시스템은 기술적 타겟에 기초하여 개별 카메라의 MTF50을 측정할 수 있고, MTF에서 고주파수를 높이도록 선명도 파라미터를 계산할 수 있다. 그러나, 멀티-카메라 어레이의 경우, 시점 변경으로 인해 기술적 타겟 상의 ROI가 각 카메라마다 변경될 수 있다. 따라서 모든 카메라 이미지에서 고정된 ROI 위치를 사용하면 장면의 비기술적 타겟 영역도 MTF에 대해 분석될 수 있다. 몇몇 실시예는 피처 검출 및 매칭을 이용하여 마스터 카메라 타겟 ROI를 추적할 수 있다. 유리하게도, 장면/시점-의존 ROI는 각각의 카메라에 대해 동일하게 유지될 수 있고, 몇몇 실시예는 멀티-카메라 시스템에서 향상된 선명도를 제공할 수 있다. 몇몇 실시예에서는, 그 다음에 호모그래피(homography)가 사용되어 추적된 ROI를 등록할 수 있고, 결과적으로 등록된 이미지는 개별 카메라에 의존하는 선명도 파라미터를 계산하는 데 사용될 수 있다.
멀티-카메라 시스템의 카메라들 중 하나는 마스터 카메라 Cm로 지정되거나 선택될 수 있고, 다른 카메라들은 카메라 C1 내지 CN(N> 1)으로 지정될 수 있다. 블록 81에서는 마스터 카메라(Cm)로부터의 이미지 내의 기술적 타겟 상에 ROI가 특정될 수 있다. RGB - YCC 변환 블록 다음에, 블록 82a 내지 82c에서는 마스터 카메라(Cm)로부터의 이미지 내의 ROI에서 및 다른 모든 카메라(C1 내지 CN)에 대한 완전한 이미지에서 피처 검출기가 피처를 검출할 수 있다. 블록 83a 내지 83b에서는 마스터 카메라(Cm) ROI에서 검출된 피처들과 다른 이미지들 간에 피처 매칭이 수행될 수 있다. 피처 매칭은 다른 카메라들(C1 내지 CN)로부터의 이미지들 내에 ROI들을 정의할 수 있다. 블록 84a 내지 84b에서는, 적어도 4개의 매칭이 발견되는 것에 기초하여 쌍 방식 평면 호모그래피(pairwise planar homography)가 계산될 수 있다. 계산된 호모그래피는 블록 85a 내지 85c에서 마스터 카메라(Cm) ROI를 카메라(C1 및 C2)로부터의 ROI에 등록/정렬하는 데 사용될 수 있다. 블록 86에서는 주파수 분석에 기초하여 가장 선명한 ROI(S)가 계산될 수 있다. 각각의 카메라 이미지 ROI에 대해, 대응하는 이상적인 가장 선명한 ROI가 알려질 수 있고, 블록 87a 내지 87c에서는 공식 K = (레지스터 ROI 영역) * S -1을 사용하여 푸리에 도메인에서 선명도 커널(sharpness kernel)이 계산될 수 있다. 몇몇 실시예에서, 호모그래피는 쌍 방식(pairwise)일 수 있고 쌍들은 기하학적으로 서로 인접할 수 있다. 예를 들어, 기하학적으로 인접한 카메라들은 상당한 시야 겹침을 가질 수 있다. 몇몇 실시예에서, 호모그래피는 Hm1, H12, H23, H34 , ..., H{N-1,N}에 대해 계산되어 영역 Rm, R1, R2, ... RN을 생성할 수 있다.
예를 들어, 몇몇 이미지의 경우 마스터 카메라(Cm) 이미지는 일부 고주파수를 걸러낼 수 있다. 블록 87a로부터의 선명도 커널은 마스터 카메라(Cm)의 이미지에 적용될 때 고주파수를 허용하고 다른 카메라의 MTF와 유사하게 되는 MTF를 초래할 수 있다. 예를 들어, 마스터 카메라(Cm)의 MTF50은 다른 카메라의 MTF50에 근접하도록 증가될 수 있다. 다른 카메라는, 선명도를 높이기 위해 최적화될 때, 더 낮은 정류 오류(rectification errors), 및 또 다른 카메라와 결합될 경우의 더 부드러운 불일치를 초래할 수 있다. 예를 들어, 선명도에 대해 최적화된 멀티-카메라 시스템의 몇몇 실시예에서, 평균 정류 정확도가 향상될 수 있고 불일치가 덜 거슬릴 수 있다.
몇몇 실시예에서, 멀티-카메라 선명도 모듈은 블록 81 내지 87을 포함하는 프로세스 흐름(80)의 일부 또는 전부를 수행할 수 있다. 멀티-카메라 선명도 모듈은 개별 프로세서일 수도 있고, 카메라들 중 하나(예컨대, 마스터 카메라(Cm))에서 구현될 수도 있으며, 또는 2 이상의 카메라들 사이에 분배될 수 있다. 몇몇 실시예는, 멀티-카메라 포커스 제어기(도 6), 멀티-카메라 CCM 및 감마 보정 모듈(도 7) 및 멀티-카메라 선명도 모듈(도 8) 중 둘 이상을 포함하는 2개 이상의 멀티-카메라 광도 교정 모듈을 포함할 수 있다. 본 명세서 및 도면의 이점이 주어지면, 멀티-카메라 시스템에서 동적 및/또는 가변 크기의 ROI에 기초하여 광도 교정을 위해 피처 검출 및 매칭을 적용하는 것은, 다른 ISP 파라미터 블록들에 용이하게 적용될 수 있다. 도 6 내지 도 8의 실시예는 제한적이지 않은 예시적인 것으로 간주되어야 한다.
도 9는 시스템(700)의 실시예를 도시한다. 실시예에서, 시스템(700)은 미디어 시스템일 수 있지만, 이러한 맥락에 제한되지 않는다. 예를 들어, 시스템(700)은, 퍼스널 컴퓨터(PC), 랩탑 컴퓨터, 울트라 랩탑 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, 개인 휴대 정보 단말기(PDA), 셀룰러 전화, 결합형 셀룰러 전화/PDA, 텔레비전, 스마트 디바이스(예컨대, 스마트 폰, 스마트 태블렛 또는 스마트 텔레비전), 모바일 인터넷 디바이스(MID), 메시징 디바이스, 데이터 통신 디바이스 등에 통합될 수 있다.
실시예에서, 시스템(700)은 시각적 콘텐츠를 제공하는 디스플레이(720)에 결합된 플랫폼(702)을 포함한다. 플랫폼(702)은 콘텐츠 서비스 디바이스(들)(730) 또는 콘텐츠 전달 디바이스(들)(740) 또는 다른 유사한 콘텐츠 소스들과 같은 콘텐츠 디바이스로부터 비디오 비트 스트림 콘텐츠를 수신할 수 있다. 하나 이상의 내비게이션 피처를 포함하는 내비게이션 제어기(750)는 예를 들어 플랫폼(702) 및/또는 디스플레이(720)와 상호 작용하는 데 사용될 수 있다. 이들 구성요소의 각각은 이하에서 더 상세히 설명된다.
실시예에서, 플랫폼(702)은 칩셋(705), 프로세서(710), 메모리(712), 스토리지(714), 그래픽 서브시스템(715), 애플리케이션(716) 및/또는 무선 기기(718)(예컨대, 네트워크 제어기)의 임의의 조합을 포함할 수 있다. 칩셋(705)은 프로세서(710), 메모리(712), 스토리지(714), 그래픽 서브시스템(715), 애플리케이션(716) 및/또는 무선 기기(718) 간의 상호 통신을 제공할 수 있다. 예를 들어, 칩셋(705)은 스토리지(714)와의 상호 통신을 제공할 수 있는 스토리지 어댑터(도시되지 않음)를 포함할 수 있다.
프로세서(710)는 CISC(Complex Instruction Set Computer) 또는 RISC(Reduced Instruction Set Computer) 프로세서, x86 명령어 세트 호환 프로세서, 멀티 코어, 또는 임의의 다른 마이크로프로세서나 중앙 처리 유닛(CPU)으로서 구현될 수 있다. 실시예에서, 프로세서(710)는 듀얼 코어 프로세서(들), 듀얼 코어 모바일 프로세서(들) 등을 포함할 수 있다.
메모리(712)는 RAM(Random Access Memory), DRAM(Dynamic Random Access Memory) 또는 SRAM(Static RAM)과 같은 휘발성 메모리 디바이스로서 구현될 수 있지만, 이에 제한되지 않는다.
스토리지(714)는 자기 디스크 드라이브, 광학 디스크 드라이브, 테이프 드라이브, 내부 저장 디바이스, 부착형 저장 디바이스, 플래시 메모리, 배터리 백업형 SDRAM(동기식 SDRAM), 및/또는 네트워크 접근 가능한 저장 디바이스와 같은 비휘발성 저장 디바이스로서 구현될 수 있지만, 이에 제한되지 않는다. 실시예에서, 스토리지(714)는, 예를 들어, 다수의 하드 드라이브가 포함되는 경우, 가치있는 디지털 미디어에 대한 스토리지 성능이 향상된 보호를 증가시키는 기술을 포함할 수 있다.
그래픽 서브시스템(715)은 디스플레이를 위해 스틸 또는 비디오와 같은 이미지의 처리를 수행할 수 있다. 그래픽 서브시스템(715)은, 예를 들어, 그래픽 처리 유닛(GPU) 또는 시각적 처리 유닛(VPU)일 수 있다. 아날로그 또는 디지털 인터페이스는 그래픽 서브시스템(715)과 디스플레이(720)를 통신 가능하게 결합하는 데 사용될 수 있다. 예를 들어, 인터페이스는 HDMI(High-Definition Multimedia Interface), DisplayPort, 무선 HDMI 및/또는 무선 HD 호환 기술 중 임의의 것일 수 있다. 그래픽 서브시스템(715)은 프로세서(710) 또는 칩셋(705)에 통합될 수 있다. 그래픽 서브시스템(715)은 칩셋(705)에 통신 가능하게 결합된 독립형 카드일 수 있다. 일 예에서, 그래픽 서브시스템(715)은 여기에 설명된 바와 같은 잡음 감소 서브시스템을 포함한다.
여기에 설명된 그래픽 및/또는 비디오 처리 기술은 다양한 하드웨어 아키텍처에서 구현될 수 있다. 예를 들어, 그래픽 및/또는 비디오 기능은 칩셋 내에 통합될 수 있다. 대안으로, 개별 그래픽 및/또는 비디오 프로세서가 사용될 수 있다. 또 다른 실시예로서, 그래픽 및/또는 비디오 기능은 멀티 코어 프로세서를 포함하는 범용 프로세서에 의해 구현될 수 있다. 다른 실시예에서, 기능은 가전 디바이스(consumer electronics device)에서 구현될 수 있다.
무선 기기(718)는 다양한 적합한 무선 통신 기술을 사용하여 신호를 송신 및 수신할 수 있는 하나 이상의 무선 기기를 포함하는 네트워크 제어기일 수 있다. 이러한 기술은 하나 이상의 무선 네트워크를 가로지르는 통신을 수반할 수 있다. 예시적 무선 네트워크는 WLAN(wireless local area networks), WPAN(wireless personal area networks), WMAN(wireless metropolitan area network), 셀룰러 네트워크, 및 위성 네트워크를 포함한다(그러나, 이에 제한되지는 않음). 이러한 네트워크를 가로질러 통신하는 경우, 무선 기기(718)는 임의의 버전의 하나 이상의 적용 가능한 표준에 따라 동작할 수 있다.
실시예에서, 디스플레이(720)는 임의의 텔레비전 타입 모니터 또는 디스플레이를 포함할 수 있다. 디스플레이(720)는, 예를 들어, 컴퓨터 디스플레이 스크린, 터치 스크린 디스플레이, 비디오 모니터, 텔레비전-유사 디바이스 및/또는 텔레비전을 포함할 수 있다. 디스플레이(720)는 디지털 및/또는 아날로그일 수 있다. 실시예에서, 디스플레이(720)는 홀로그래픽 디스플레이일 수 있다. 또한, 디스플레이(720)는 시각적 투영을 수신할 수 있는 투명한 표면일 수 있다. 이러한 투영은 다양한 형태의 정보, 이미지 및/또는 객체를 전달할 수 있다. 예를 들어, 이러한 투영은 모바일 증강 현실(MAR) 애플리케이션을 위한 시각적 오버레이일 수 있다. 하나 이상의 소프트웨어 애플리케이션(716)의 제어하에, 플랫폼(702)은 디스플레이(720) 상에 사용자 인터페이스(722)를 디스플레이할 수 있다.
실시예에서, 콘텐츠 서비스 디바이스(들)(730)는 임의의 국내, 국제 및/또는 독립 서비스에 의해 호스팅될 수 있으며, 따라서 예를 들어 인터넷을 통해 플랫폼(702)에 액세스 가능할 수 있다. 콘텐츠 서비스 디바이스(들)(730)는 플랫폼(702) 및/또는 디스플레이(720)에 결합될 수 있다. 플랫폼(702) 및/또는 콘텐츠 서비스 디바이스(들)(730)는 네트워크(760)에 결합되어 네트워크(760)로 및 그로부터 정보를 통신(예컨대, 송신 및/또는 수신)할 수 있다. 콘텐츠 전달 디바이스(들)(740)는 또한 플랫폼(702) 및/또는 디스플레이(720)에 결합될 수 있다.
실시예에서, 콘텐츠 서비스 디바이스(들)(730)는, 케이블 텔레비전 박스, 퍼스널 컴퓨터, 네트워크, 전화, 디지털 정보 및/또는 콘텐츠를 전달할 수 있는 인터넷 가능 디바이스 또는 기기, 및 콘텐츠 제공자와 플랫폼(702) 및/또는 디스플레이(720) 사이에서 네트워크(760)를 통해 또는 직접적으로 콘텐츠를 단방향 또는 양방향으로 통신할 수 있는 임의의 다른 유사한 디바이스를 포함할 수 있다. 콘텐츠는 네트워크(760)를 통해 시스템(700)의 구성요소들 중 임의의 하나 및 콘텐츠 제공자로 및 그로부터 단방향 및/또는 양방향으로 전달될 수 있음이 인식될 것이다. 콘텐츠의 예는, 예를 들어, 비디오, 음악, 의료 및 게임 정보 등을 포함하는 임의의 미디어 정보를 포함할 수 있다.
콘텐츠 서비스 디바이스(들)(730)는 미디어 정보, 디지털 정보 및/또는 다른 콘텐츠를 포함하는 케이블 텔레비전 프로그래밍과 같은 콘텐츠를 수신한다. 콘텐츠 제공자의 예는 임의의 케이블 또는 위성 텔레비전 또는 라디오 또는 인터넷 콘텐츠 제공자를 포함할 수 있다. 제공된 예는 실시예를 제한하려는 것이 아니다.
실시예에서, 플랫폼(702)은 하나 이상의 내비게이션 피처를 갖는 내비게이션 제어기(750)로부터 제어 신호를 수신할 수 있다. 예를 들어, 제어기(750)의 내비게이션 피처는 사용자 인터페이스(722)와 상호 작용하는 데 사용될 수 있다. 실시예에서, 내비게이션 제어기(750)는 사용자가 공간적(예컨대, 연속 및 다차원) 데이터를 컴퓨터에 입력할 수 있게 하는 컴퓨터 하드웨어 구성요소(특히, 휴먼 인터페이스 디바이스)일 수 있는 포인팅 디바이스일 수 있다. 그래픽 사용자 인터페이스(GUI), 텔레비전 및 모니터와 같은 많은 시스템은 사용자가 물리적 제스처를 사용하여 컴퓨터 또는 텔레비전을 제어하고 그에 데이터를 제공할 수 있게 한다.
제어기(750)의 내비게이션 피처의 움직임은, 포인터, 커서, 포커스 링, 또는 디스플레이 상에 디스플레이된 다른 시각적 표시자의 움직임에 의해 그 디스플레이(예컨대, 디스플레이(720)) 상에 반영될 수 있다. 예를 들어, 소프트웨어 애플리케이션(716)의 제어 하에, 내비게이션 제어기(750) 상에 위치한 내비게이션 피처는 예를 들어 사용자 인터페이스(722) 상에 표시된 가상 내비게이션 피처에 맵핑될 수 있다. 실시예에서, 제어기(750)는 개별 구성요소가 아니고 플랫폼(702) 및/또는 디스플레이(720)에 통합될 수 있다. 그러나, 실시예는 여기에 도시되거나 설명된 요소 또는 맥락에 제한되지 않는다.
실시예에서, 드라이버(도시되지 않음)는, 예를 들어 인에이블될 때 초기 부팅 이후에 사용자가 버튼을 터치하여 텔레비전과 같은 플랫폼(702)을 즉시 켜고 끌 수 있게 하는 기술을 포함할 수 있다. 프로그램 로직은 플랫폼이 "꺼질" 때 플랫폼(702)이 콘텐츠를 미디어 어댑터 또는 다른 콘텐츠 서비스 디바이스(들)(730) 또는 콘텐츠 전달 디바이스(740)로 스트리밍하게 할 수 있다. 또한, 칩셋(705)은 예를 들어 5.1 서라운드 사운드 오디오 및/또는 고선명 7.1 서라운드 사운드 오디오에 대한 하드웨어 및/또는 소프트웨어 지원을 포함할 수 있다. 드라이버는 통합형 그래픽 플랫폼을 위한 그래픽 드라이버를 포함할 수 있다. 실시예에서, 그래픽 드라이버는 PCI(peripheral component interconnect) 익스프레스 그래픽 카드를 포함할 수 있다.
다양한 실시예에서, 시스템(700) 내에 도시된 구성요소들 중 임의의 하나 또는 그 이상은 통합될 수 있다. 예를 들어, 플랫폼(702)과 콘텐츠 서비스 디바이스(들)(730)가 통합될 수도 있고, 플랫폼(702)과 콘텐츠 전달 디바이스(740)가 통합될 수도 있으며, 또는 예를 들어 플랫폼(702), 콘텐츠 서비스 디바이스(들)(730) 및 콘텐츠 전달 디바이스(들)(740)가 통합될 수 있다. 다양한 실시예에서, 플랫폼(702) 및 디스플레이(720)는 통합된 유닛일 수 있다. 예를 들어, 디스플레이(720)와 콘텐츠 서비스 디바이스(들)(730)가 통합될 수도 있고, 또는 디스플레이(720)와 콘텐츠 전달 디바이스(들)(740)가 통합될 수도 있다. 이들 실시예는 실시예를 제한하려는 것이 아니다.
다양한 실시예에서, 시스템(700)은 무선 시스템, 유선 시스템, 또는 이들의 조합으로서 구현될 수 있다. 무선 시스템으로서 구현되는 경우, 시스템(700)은 하나 이상의 안테나, 송신기, 수신기, 송수신기, 증폭기, 필터, 제어 로직 등과 같은 무선 공유 매체를 통해 통신하기에 적합한 구성요소 및 인터페이스를 포함할 수 있다. 무선 공유 매체의 예는 RF 스펙트럼 등과 같은 무선 스펙트럼의 일부를 포함할 수 있다. 유선 시스템으로서 구현되는 경우, 시스템(700)은 입/출력(I/O) 어댑터, I/O 어댑터를 대응하는 유선 통신 매체와 접속하기 위한 물리적 접속기, 네트워크 인터페이스 카드(NIC), 디스크 제어기, 비디오 제어기, 오디오 제어기 등과 같은 유선 통신 매체를 통해 통신하기에 적합한 구성요소 및 인터페이스를 포함할 수 있다. 유선 통신 매체의 예는 와이어, 케이블, 금속 리드, 인쇄 회로 기판(PCB), 백플레인, 스위치 패브릭, 반도체 재료, 연선(twisted-pair wire), 동축 케이블, 광섬유 등을 포함할 수 있다.
플랫폼(702)은 정보를 통신하기 위해 하나 이상의 논리적 또는 물리적 채널을 설정할 수 있다. 정보는 미디어 정보 및 제어 정보를 포함할 수 있다. 미디어 정보는 사용자를 위한 콘텐츠를 나타내는 임의의 데이터를 지칭할 수 있다. 콘텐츠의 예는, 예를 들어, 음성 대화, 화상 회의, 스트리밍 비디오, 전자 메일("이메일") 메시지, 음성 메일 메시지, 영숫자 심볼, 그래픽, 이미지, 비디오, 텍스트 등으로부터의 데이터를 포함할 수 있다. 음성 대화로부터의 데이터는, 예를 들어, 스피치 정보, 침묵 기간, 배경 잡음, 쾌적한 잡음(comfort noise), 어조(tones) 등일 수 있다. 제어 정보는 자동화된 시스템을 위한 커맨드, 명령어 또는 제어 단어를 나타내는 임의의 데이터 데이터를 지칭할 수 있다. 예를 들어, 제어 정보는, 시스템을 통해 미디어 정보를 라우팅하거나, 노드가 사전 결정된 방식으로 미디어 정보를 처리하도록 지시하기 위해 사용될 수 있다. 그러나, 실시예는 도 9에 도시되거나 설명된 요소 또는 맥락에 제한되지 않는다.
전술한 바와 같이, 시스템(700)은 다양한 물리적 스타일 또는 폼 팩터로 구현될 수 있다. 도 10은 시스템(700)이 구현될 수 있는 소형 폼 팩터 디바이스(800)의 실시예를 도시한다. 실시예에서, 예를 들어, 디바이스(800)는 무선 성능을 갖는 모바일 컴퓨팅 디바이스로서 구현될 수 있다. 모바일 컴퓨팅 디바이스는, 예를 들어, 하나 이상의 배터리와 같은 모바일 전력 소스 또는 공급기 및 처리 시스템을 갖는 임의의 디바이스를 지칭할 수 있다.
전술한 바와 같이, 모바일 컴퓨팅 디바이스의 예는, 퍼스널 컴퓨터(PC), 랩탑 컴퓨터, 울트라 랩탑 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, PDA(personal digital assistant), 셀룰러 폰, 결합형 셀룰러 폰/PDA, 텔레비전, 스마트 디바이스(예컨대, 스마트폰, 스마트 태블릿 또는 스마트 텔레비전), MID(mobile internet device), 메시징 디바이스, 데이터 통신 디바이스 등을 포함할 수 있다.
모바일 컴퓨팅 디바이스의 예는 또한, 손목 컴퓨터, 손가락 컴퓨터, 링 컴퓨터, 안경 컴퓨터, 벨트-클립 컴퓨터, 팔-밴드 컴퓨터, 신발 컴퓨터, 의류 컴퓨터, 및 기타 착용형 컴퓨터와 같은 사람에 의해 착용되도록 구성되는 컴퓨터를 포함할 수 있다. 실시예에서, 예를 들어, 모바일 컴퓨팅 디바이스는 음성 통신 및/또는 데이터 통신은 물론 컴퓨터 애플리케이션을 실행할 수 있는 스마트폰으로서 구현될 수 있다. 몇몇 실시예는 예로서 스마트 폰으로서 구현된 모바일 컴퓨팅 디바이스를 사용하여 설명될 수 있지만, 다른 실시예는 상이한 무선 모바일 컴퓨팅 디바이스를 사용하여 구현될 수도 있음이 인식될 수 있을 것이다. 실시예는 이런 맥락에 제한되지 않는다.
도 10에 도시된 바와 같이, 디바이스(800)는 하우징(802), 디스플레이(804), 입/출력(I/O) 디바이스(806), 및 안테나(808)를 포함할 수 있다. 디바이스(800)는 또한 내비게이션 피처(812)를 포함할 수 있다. 디스플레이(804)는 모바일 컴퓨팅 디바이스에 적절한 정보를 디스플레이하기 위한 임의의 적합한 디스플레이 유닛을 포함할 수 있다. I/O 디바이스(806)는 모바일 컴퓨팅 디바이스에 정보를 입력하기위한 임의의 적합한 I/O 디바이스를 포함할 수 있다. I/O 디바이스(806)의 예는, 영숫자 키보드, 숫자 키패드, 터치 패드, 입력 키, 버튼, 스위치, 로커 스위치, 마이크로폰, 스피커, 음성 인식 디바이스 및 소프트웨어 등을 포함할 수 있다. 또한, 정보는 마이크로폰을 통해 디바이스(800)에 입력될 수 있다. 이러한 정보는 음성 인식 디바이스에 의해 디지털화될 수 있다. 실시예는 이런 맥락에 제한되지 않는다.
몇몇 실시예에서, 시스템(700) 및/또는 디바이스(800)는 여기에 설명된 멀티-카메라 시스템의 양태들 중 하나 이상을 구현할 수 있다. 예를 들어, 시스템(700) 및/또는 디바이스(800)는 다음과 같은 예의 하나 이상의 양태를 포함할 수 있다.
부가적 유의사항 및 예:
예 1은, 전자 처리 시스템으로서, 프로세서와, 상기 프로세서에 통신 가능하게 결합되어 장면의 2 이상의 동시 발생 이미지(concurrent images)를 캡처하는 2 이상의 카메라와, 상기 프로세서에 통신 가능하게 결합된 로직을 포함하되, 상기 로직은, 상기 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처(feature)를 검출하고, 상기 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 상기 피처를 매칭시키고, 상기 검출된 피처에 대응하는 상기 제 1 이미지의 부분 및 상기 매칭된 피처에 대응하는 상기 제 2 이미지의 부분에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정(photometric calibration)을 수행하는, 전자 처리 시스템을 포함할 수 있다.
예 2는, 예 1에 있어서, 상기 로직은 또한, 상기 제 1 이미지에서의 상기 검출된 피처에 기초하여 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하고, 상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하고, 상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 상기 광도 교정을 수행하는, 전자 처리 시스템을 포함할 수 있다.
예 3은, 예 2에 있어서, 상기 로직은 또한, 상기 제 1 이미지 및 상기 제 2 이미지에서의 상기 피처의 각각의 위치 및 크기에 기초하여 상기 제 1 관심 영역 및 상기 제 2 관심 영역을 정의하는, 전자 처리 시스템을 포함할 수 있다.
예 4는, 예 1에 있어서, 상기 로직은 또한, 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하고, 상기 제 1 관심 영역에 기초하여 상기 제 1 이미지에서 상기 피처를 검출하고, 상기 제 2 이미지에서 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하고, 상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는, 전자 처리 시스템을 포함할 수 있다.
예 5는, 예 4에 있어서, 상기 로직은 또한, 상기 제 2 이미지에서의 상기 매칭된 피처의 위치 및 크기에 기초하여 상기 제 2 관심 영역을 정의하는, 전자 처리 시스템을 포함할 수 있다.
예 6은, 예 1 내지 예 5 중 어느 한 예에 있어서, 상기 로직은 또한, 상기 광도 교정에 기초하여 상기 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하는, 전자 처리 시스템을 포함할 수 있다.
예 7은, 반도체 패키지 장치로서, 하나 이상의 기판과, 상기 하나 이상의 기판에 결합된 로직을 포함하되, 상기 로직은 구성 가능한 로직 및 고정 기능 하드웨어 로직 중 하나 이상에서 적어도 부분적으로 구현되고, 상기 하나 이상의 기판에 결합된 상기 로직은, 2 이상의 카메라를 이용하여 장면의 2 이상의 동시 발생 이미지를 캡처하고, 상기 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처를 검출하고, 상기 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 상기 피처를 매칭시키고, 상기 검출된 피처에 대응하는 상기 제 1 이미지의 부분 및 상기 매칭된 피처에 대응하는 상기 제 2 이미지의 부분에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는, 반도체 패키지 장치를 포함할 수 있다.
예 8은, 예 7에 있어서, 상기 로직은 또한,
상기 제 1 이미지에서의 상기 검출된 피처에 기초하여 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하고, 상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하고, 상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 상기 광도 교정을 수행하는, 반도체 패키지 장치를 포함할 수 있다.
예 9는, 예 8에 있어서, 상기 로직은 또한, 상기 제 1 이미지 및 상기 제 2 이미지에서의 상기 피처의 각각의 위치 및 크기에 기초하여 상기 제 1 관심 영역 및 상기 제 2 관심 영역을 정의하는, 반도체 패키지 장치를 포함할 수 있다.
예 10은, 예 7에 있어서, 상기 로직은 또한, 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하고, 상기 제 1 관심 영역에 기초하여 상기 제 1 이미지에서 상기 피처를 검출하고, 상기 제 2 이미지에서 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하고, 상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는, 반도체 패키지 장치를 포함할 수 있다.
예 11은, 예 10에 있어서, 상기 로직은 또한, 상기 제 2 이미지에서의 상기 매칭된 피처의 위치 및 크기에 기초하여 상기 제 2 관심 영역을 정의하는, 반도체 패키지 장치를 포함할 수 있다.
예 12는, 예 7 내지 예 11 중 어느 한 예에 있어서, 상기 로직은 또한, 상기 광도 교정에 기초하여 상기 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하는, 반도체 패키지 장치를 포함할 수 있다.
예 13은, 다수의 카메라를 교정하는 방법으로서, 2 이상의 카메라를 이용하여 장면의 2 이상의 동시 발생 이미지를 캡처하는 단계와, 상기 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처를 검출하는 단계와, 상기 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 상기 피처를 매칭시키는 단계와, 상기 검출된 피처에 대응하는 상기 제 1 이미지의 부분 및 상기 매칭된 피처에 대응하는 상기 제 2 이미지의 부분에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는 단계를 포함하는, 다수의 카메라를 교정하는 방법을 포함할 수 있다.
예 14는, 예 13에 있어서, 상기 제 1 이미지에서의 상기 검출된 피처에 기초하여 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하는 단계와, 상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하는 단계와, 상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 상기 광도 교정을 수행하는 단계를 더 포함하는, 다수의 카메라를 교정하는 방법을 포함할 수 있다.
예 15는, 예 14에 있어서, 상기 제 1 이미지 및 상기 제 2 이미지에서의 상기 피처의 각각의 위치 및 크기에 기초하여 상기 제 1 관심 영역 및 상기 제 2 관심 영역을 정의하는 단계를 더 포함하는, 다수의 카메라를 교정하는 방법을 포함할 수 있다.
예 16은, 예 13에 있어서, 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하는 단계와, 상기 제 1 관심 영역에 기초하여 상기 제 1 이미지에서 상기 피처를 검출하는 단계와, 상기 제 2 이미지에서 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하는 단계와, 상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는 단계를 더 포함하는, 다수의 카메라를 교정하는 방법을 포함할 수 있다.
예 17은, 예 16에 있어서, 상기 제 2 이미지에서의 상기 매칭된 피처의 위치 및 크기에 기초하여 상기 제 2 관심 영역을 정의하는 단계를 더 포함하는, 다수의 카메라를 교정하는 방법을 포함할 수 있다.
예 18은, 예 13 내지 예 17 중 어느 한 예에 있어서, 상기 광도 교정에 기초하여 상기 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하는 단계를 더 포함하는, 다수의 카메라를 교정하는 방법을 포함할 수 있다.
예 19는, 적어도 하나의 컴퓨터 판독가능 매체로서, 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금, 2 이상의 카메라를 이용하여 장면의 2 이상의 동시 발생 이미지를 캡처하게 하고, 상기 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처를 검출하게 하고, 상기 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 상기 피처를 매칭시키게 하고, 상기 검출된 피처에 대응하는 상기 제 1 이미지의 부분 및 상기 매칭된 피처에 대응하는 상기 제 2 이미지의 부분에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하게 하는 명령어의 세트를 포함하는 적어도 하나의 컴퓨터 판독가능 매체를 포함할 수 있다.
예 20은, 예 19에 있어서, 상기 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금, 상기 제 1 이미지에서의 상기 검출된 피처에 기초하여 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하게 하고, 상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하게 하고, 상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 상기 광도 교정을 수행하게 하는 명령어의 추가 세트를 포함하는 적어도 하나의 컴퓨터 판독가능 매체를 포함할 수 있다.
예 21은, 예 20에 있어서, 상기 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금, 상기 제 1 이미지 및 상기 제 2 이미지에서의 상기 피처의 각각의 위치 및 크기에 기초하여 상기 제 1 관심 영역 및 상기 제 2 관심 영역을 정의하게 하는 명령어의 추가 세트를 포함하는 적어도 하나의 컴퓨터 판독가능 매체를 포함할 수 있다.
예 22는, 예 19에 있어서, 상기 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금, 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하게 하고, 상기 제 1 관심 영역에 기초하여 상기 제 1 이미지에서 상기 피처를 검출하게 하고, 상기 제 2 이미지에서 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하게 하고, 상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하게 하는 명령어의 추가 세트를 포함하는 적어도 하나의 컴퓨터 판독가능 매체를 포함할 수 있다.
예 23은, 예 22에 있어서, 상기 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금, 상기 제 2 이미지에서의 상기 매칭된 피처의 위치 및 크기에 기초하여 상기 제 2 관심 영역을 정의하게 하는 명령어의 추가 세트를 포함하는 적어도 하나의 컴퓨터 판독가능 매체를 포함할 수 있다.
예 24는, 예 19 내지 예 23 중 어느 한 예에 있어서, 상기 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금, 상기 광도 교정에 기초하여 상기 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하게 하는 명령어의 추가 세트를 포함하는 적어도 하나의 컴퓨터 판독가능 매체를 포함할 수 있다.
예 25는, 멀티-카메라 교정 장치로서, 2 이상의 카메라를 이용하여 장면의 2 이상의 동시 발생 이미지를 캡처하는 수단과, 상기 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처를 검출하는 수단과, 상기 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 상기 피처를 매칭시키는 수단과, 상기 검출된 피처에 대응하는 상기 제 1 이미지의 부분 및 상기 매칭된 피처에 대응하는 상기 제 2 이미지의 부분에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는 수단을 포함하는 멀티-카메라 교정 장치를 포함할 수 있다.
예 26은, 예 25에 있어서, 상기 제 1 이미지에서의 상기 검출된 피처에 기초하여 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하는 수단과, 상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하는 수단과, 상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 상기 광도 교정을 수행하는 수단을 더 포함하는 멀티-카메라 교정 장치를 포함할 수 있다.
예 27은, 예 26에 있어서, 상기 제 1 이미지 및 상기 제 2 이미지에서의 상기 피처의 각각의 위치 및 크기에 기초하여 상기 제 1 관심 영역 및 상기 제 2 관심 영역을 정의하는 수단을 더 포함하는 멀티-카메라 교정 장치를 포함할 수 있다.
예 28은, 예 25에 있어서, 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하는 수단과, 상기 제 1 관심 영역에 기초하여 상기 제 1 이미지에서 상기 피처를 검출하는 수단과, 상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하는 수단과, 상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는 수단을 더 포함하는 멀티-카메라 교정 장치를 포함할 수 있다.
예 29는 예 28에 있어서, 상기 제 2 이미지에서의 상기 매칭된 피처의 위치 및 크기에 기초하여 상기 제 2 관심 영역을 정의하는 수단을 더 포함하는 멀티-카메라 교정 장치를 포함할 수 있다.
예 30은, 예 25 내지 예 29 중 어느 한 예에 있어서, 상기 광도 교정에 기초하여 상기 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하는 수단을 더 포함하는 멀티-카메라 교정 장치를 포함할 수 있다.
실시예들은 모든 유형의 반도체 집적 회로("IC") 칩과 함께 사용하도록 적용 가능하다. 이러한 IC 칩의 예들은, 프로세서, 제어기, 칩셋 구성요소, 프로그램 가능 로직 어레이(PLA), 메모리 칩, 네트워크 칩, 시스템 온 칩(SoC), SSD/NAND 제어기 ASIC 등을 포함하지만 이에 제한되지는 않는다. 또한, 일부 도면에서는 신호 도체 라인이 라인으로 표시되어 있다. 일부는 더 많은 구성 신호 경로를 나타내도록 다를 수도 있는데, 복수의 구성 신호 경로를 나타내도록 번호 레이블을 가지고/가지거나 주된 정보 흐름 방향을 나타내도록 하나 이상의 끝 부분에 화살표를 가질 수도 있다. 그러나, 이는 제한적인 방식으로 해석되어서는 안된다. 오히려, 그러한 추가된 세부사항은 회로의 더 용이한 이해를 가능하게 하기 위해 하나 이상의 예시적인 실시예와 관련하여 사용될 수 있다. 임의의 표시된 신호 라인은 추가 정보를 갖는지 여부에 상관없이 실제로 여러 방향으로 이동할 수 있는 하나 이상의 신호를 포함할 수 있으며, 임의의 적절한 유형의 신호 체계, 예컨대, 차동 쌍으로 구현된 디지털 또는 아날로그 라인, 광섬유 라인 및/또는 단일 종결 라인으로 구현될 수 있다.
예시적 크기/모델/값/범위가 주어질 수 있지만, 실시예들은 그러한 값으로 제한되지는 않는다. 시간이 지나면서 제조 기술(예컨대, 포토 리소그래피)이 성숙됨에 따라, 더 작은 크기의 디바이스가 제조될 수 있을 것으로 기대된다. 또한, 도시 및 설명의 단순화를 위해, 그리고 실시예의 특정 양태를 모호하게 하지 않기 위해, IC 칩 및 다른 구성요소들에 대한 잘 알려진 전력/접지 접속은 도면 내에 도시될 수도 있고 도시되지 않을 수도 있다. 또한, 구성은 실시예를 모호하게 하는 것을 피하기 위해 블록도 형태로 도시될 수 있는데, 이는 또한 그러한 블록도 구성의 구현에 관한 세부 내용은 실시예가 구현될 플랫폼에 크게 의존한다는 사실, 즉, 그러한 세부 내용이 당업자가 충분히 이해할 수 있을 것이라는 사실을 고려한 것이다. 특정 세부사항(예컨대, 회로)이 예시적 실시예를 설명하기 위해 제시되는 경우, 실시예가 이러한 특정 세부 사항없이 또는 그 변형물을 사용하여 실시될 수 있다는 것이 당업자에게 명백할 것이다. 따라서, 설명은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다.
본 명세서에서 "결합된"이라는 용어는 논의되는 구성요소들 사이의 직접적이거나 간접적인 임의 유형의 관계를 지칭하는 데 사용될 수 있으며, 전기, 기계, 유체, 광학, 전자기, 전기 기계 또는 다른 접속에 적용될 수 있다. 또한, 본 명세서에서 "제 1", "제 2" 등의 용어는 단지 설명을 용이하게 하기 위해 사용될 수 있으며, 달리 표시되지 않는 한 어떠한 특별한 시간적 또는 발생순서적 의미도 전달하지 않는다.
본 출원 및 청구범위에서 사용될 때, "~ 중 하나 이상"이라는 용어에 의해 결합된 아이템들의 리스트는 나열된 용어들의 임의의 조합을 의미할 수 있다. 예를 들어, "A, B 및 C 중 하나 이상"이라는 어구 및 "A, B 또는 C 중 하나 이상"이라는 어구는 모두, A, B, C, [A 및 B], [A 및 C], [B 및 C], 또는 [A, B 및 C]를 의미할 수 있다.
당업자라면 이상의 설명으로부터 실시예들의 광범위한 기술들이 다양한 형태로 구현될 수 있다는 것을 알 수 있을 것이다. 따라서, 실시예들은 특정 예들과 관련하여 설명되었지만, 도면, 명세서 및 이하의 청구범위를 숙지하면 숙련된 당업자에게 다른 변형들이 명백해질 것이므로, 실시예들의 진정한 범위는 이에 제한되지 않아야 한다.
Claims (30)
- 전자 처리 시스템으로서,
프로세서와,
상기 프로세서에 통신 가능하게 결합되어 장면의 2 이상의 동시 발생 이미지(concurrent images)를 캡처하는 2 이상의 카메라와,
상기 프로세서에 통신 가능하게 결합된 로직을 포함하되, 상기 로직은,
상기 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처(feature)를 검출하고,
상기 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 상기 피처를 매칭시키고,
상기 검출된 피처에 대응하는 상기 제 1 이미지의 부분 및 상기 매칭된 피처에 대응하는 상기 제 2 이미지의 부분에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정(photometric calibration)을 수행하는
전자 처리 시스템.
- 제 1 항에 있어서,
상기 로직은 또한,
상기 제 1 이미지에서의 상기 검출된 피처에 기초하여 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하고,
상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하고,
상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 상기 광도 교정을 수행하는
전자 처리 시스템.
- 제 2 항에 있어서,
상기 로직은 또한, 상기 제 1 이미지 및 상기 제 2 이미지에서의 상기 피처의 각각의 위치 및 크기에 기초하여 상기 제 1 관심 영역 및 상기 제 2 관심 영역을 정의하는
전자 처리 시스템.
- 제 1 항에 있어서,
상기 로직은 또한,
상기 제 1 카메라에 대한 제 1 관심 영역을 정의하고,
상기 제 1 관심 영역에 기초하여 상기 제 1 이미지에서 상기 피처를 검출하고,
상기 제 2 이미지에서 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하고,
상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는
전자 처리 시스템.
- 제 4 항에 있어서,
상기 로직은 또한, 상기 제 2 이미지에서의 상기 매칭된 피처의 위치 및 크기에 기초하여 상기 제 2 관심 영역을 정의하는
전자 처리 시스템.
- 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 로직은 또한, 상기 광도 교정에 기초하여 상기 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하는
전자 처리 시스템.
- 반도체 패키지 장치로서,
하나 이상의 기판과,
상기 하나 이상의 기판에 결합된 로직을 포함하되,
상기 로직은 구성 가능한 로직 및 고정 기능 하드웨어 로직 중 하나 이상에서 적어도 부분적으로 구현되고,
상기 하나 이상의 기판에 결합된 상기 로직은,
2 이상의 카메라를 이용하여 장면의 2 이상의 동시 발생 이미지를 캡처하고,
상기 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처를 검출하고,
상기 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 상기 피처를 매칭시키고,
상기 검출된 피처에 대응하는 상기 제 1 이미지의 부분 및 상기 매칭된 피처에 대응하는 상기 제 2 이미지의 부분에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는
반도체 패키지 장치.
- 제 7 항에 있어서,
상기 로직은 또한,
상기 제 1 이미지에서의 상기 검출된 피처에 기초하여 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하고,
상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하고,
상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 상기 광도 교정을 수행하는
반도체 패키지 장치.
- 제 8 항에 있어서,
상기 로직은 또한, 상기 제 1 이미지 및 상기 제 2 이미지에서의 상기 피처의 각각의 위치 및 크기에 기초하여 상기 제 1 관심 영역 및 상기 제 2 관심 영역을 정의하는
반도체 패키지 장치.
- 제 7 항에 있어서,
상기 로직은 또한,
상기 제 1 카메라에 대한 제 1 관심 영역을 정의하고,
상기 제 1 관심 영역에 기초하여 상기 제 1 이미지에서 상기 피처를 검출하고,
상기 제 2 이미지에서 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하고,
상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는
반도체 패키지 장치.
- 제 10 항에 있어서,
상기 로직은 또한, 상기 제 2 이미지에서의 상기 매칭된 피처의 위치 및 크기에 기초하여 상기 제 2 관심 영역을 정의하는
반도체 패키지 장치.
- 제 7 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 로직은 또한, 상기 광도 교정에 기초하여 상기 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하는
반도체 패키지 장치.
- 다수의 카메라를 교정하는 방법으로서,
2 이상의 카메라를 이용하여 장면의 2 이상의 동시 발생 이미지를 캡처하는 단계와,
상기 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처를 검출하는 단계와,
상기 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 상기 피처를 매칭시키는 단계와,
상기 검출된 피처에 대응하는 상기 제 1 이미지의 부분 및 상기 매칭된 피처에 대응하는 상기 제 2 이미지의 부분에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는 단계를 포함하는
다수의 카메라를 교정하는 방법.
- 제 13 항에 있어서,
상기 제 1 이미지에서의 상기 검출된 피처에 기초하여 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하는 단계와,
상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하는 단계와,
상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 상기 광도 교정을 수행하는 단계를 더 포함하는
다수의 카메라를 교정하는 방법.
- 제 14 항에 있어서,
상기 제 1 이미지 및 상기 제 2 이미지에서의 상기 피처의 각각의 위치 및 크기에 기초하여 상기 제 1 관심 영역 및 상기 제 2 관심 영역을 정의하는 단계를 더 포함하는
다수의 카메라를 교정하는 방법.
- 제 13 항에 있어서,
상기 제 1 카메라에 대한 제 1 관심 영역을 정의하는 단계와,
상기 제 1 관심 영역에 기초하여 상기 제 1 이미지에서 상기 피처를 검출하는 단계와,
상기 제 2 이미지에서 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하는 단계와,
상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는 단계를 더 포함하는
다수의 카메라를 교정하는 방법.
- 제 16 항에 있어서,
상기 제 2 이미지에서의 상기 매칭된 피처의 위치 및 크기에 기초하여 상기 제 2 관심 영역을 정의하는 단계를 더 포함하는
다수의 카메라를 교정하는 방법.
- 제 13 항 내지 제 17 항 중 어느 한 항에 있어서,
상기 광도 교정에 기초하여 상기 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하는 단계를 더 포함하는
다수의 카메라를 교정하는 방법.
- 적어도 하나의 컴퓨터 판독가능 매체로서,
컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금,
2 이상의 카메라를 이용하여 장면의 2 이상의 동시 발생 이미지를 캡처하게 하고,
상기 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처를 검출하게 하고,
상기 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 상기 피처를 매칭시키게 하고,
상기 검출된 피처에 대응하는 상기 제 1 이미지의 부분 및 상기 매칭된 피처에 대응하는 상기 제 2 이미지의 부분에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하게 하는
명령어의 세트를 포함하는
적어도 하나의 컴퓨터 판독가능 매체.
- 제 19 항에 있어서,
상기 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금,
상기 제 1 이미지에서의 상기 검출된 피처에 기초하여 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하게 하고,
상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하게 하고,
상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 상기 광도 교정을 수행하게 하는
명령어의 추가 세트를 포함하는
적어도 하나의 컴퓨터 판독가능 매체.
- 제 20 항에 있어서,
상기 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금, 상기 제 1 이미지 및 상기 제 2 이미지에서의 상기 피처의 각각의 위치 및 크기에 기초하여 상기 제 1 관심 영역 및 상기 제 2 관심 영역을 정의하게 하는 명령어의 추가 세트를 포함하는
적어도 하나의 컴퓨터 판독가능 매체.
- 제 19 항에 있어서,
상기 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금,
상기 제 1 카메라에 대한 제 1 관심 영역을 정의하게 하고,
상기 제 1 관심 영역에 기초하여 상기 제 1 이미지에서 상기 피처를 검출하게 하고,
상기 제 2 이미지에서 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하게 하고,
상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하게 하는
명령어의 추가 세트를 포함하는
적어도 하나의 컴퓨터 판독가능 매체.
- 제 22 항에 있어서,
상기 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금, 상기 제 2 이미지에서의 상기 매칭된 피처의 위치 및 크기에 기초하여 상기 제 2 관심 영역을 정의하게 하는 명령어의 추가 세트를 포함하는
적어도 하나의 컴퓨터 판독가능 매체.
- 제 19 항 내지 제 23 항 중 어느 한 항에 있어서,
상기 컴퓨팅 디바이스에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금, 상기 광도 교정에 기초하여 상기 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하게 하는 명령어의 추가 세트를 포함하는
적어도 하나의 컴퓨터 판독가능 매체.
- 멀티-카메라 교정 장치로서,
2 이상의 카메라를 이용하여 장면의 2 이상의 동시 발생 이미지를 캡처하는 수단과,
상기 2 이상의 카메라 중 제 1 카메라로부터의 제 1 이미지에서 피처를 검출하는 수단과,
상기 2 이상의 카메라 중 제 2 카메라로부터의 제 2 이미지에서 상기 피처를 매칭시키는 수단과,
상기 검출된 피처에 대응하는 상기 제 1 이미지의 부분 및 상기 매칭된 피처에 대응하는 상기 제 2 이미지의 부분에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는 수단을 포함하는
멀티-카메라 교정 장치.
- 제 25 항에 있어서,
상기 제 1 이미지에서의 상기 검출된 피처에 기초하여 상기 제 1 카메라에 대한 제 1 관심 영역을 정의하는 수단과,
상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하는 수단과,
상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 상기 광도 교정을 수행하는 수단을 더 포함하는
멀티-카메라 교정 장치.
- 제 26 항에 있어서,
상기 제 1 이미지 및 상기 제 2 이미지에서의 상기 피처의 각각의 위치 및 크기에 기초하여 상기 제 1 관심 영역 및 상기 제 2 관심 영역을 정의하는 수단을 더 포함하는
멀티-카메라 교정 장치.
- 제 25 항에 있어서,
상기 제 1 카메라에 대한 제 1 관심 영역을 정의하는 수단과,
상기 제 1 관심 영역에 기초하여 상기 제 1 이미지에서 상기 피처를 검출하는 수단과,
상기 제 2 이미지에서의 상기 매칭된 피처에 기초하여 상기 제 2 카메라에 대한 제 2 관심 영역을 정의하는 수단과,
상기 제 1 관심 영역 및 상기 제 2 관심 영역에 기초하여 상기 제 1 카메라와 상기 제 2 카메라 사이에 광도 교정을 수행하는 수단을 더 포함하는
멀티-카메라 교정 장치.
- 제 28 항에 있어서,
상기 제 2 이미지에서의 상기 매칭된 피처의 위치 및 크기에 기초하여 상기 제 2 관심 영역을 정의하는 수단을 더 포함하는
멀티-카메라 교정 장치.
- 제 25 항 내지 제 29 항 중 어느 한 항에 있어서,
상기 광도 교정에 기초하여 상기 2 이상의 카메라의 각각에 대한 하나 이상의 파라미터 값을 결정하는 수단을 더 포함하는
멀티-카메라 교정 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/858,063 US10762664B2 (en) | 2017-12-29 | 2017-12-29 | Multi-camera processor with feature matching |
| US15/858,063 | 2017-12-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190082080A true KR20190082080A (ko) | 2019-07-09 |
Family
ID=65230648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180149206A KR20190082080A (ko) | 2017-12-29 | 2018-11-28 | 피처 매칭을 이용하는 멀티-카메라 프로세서 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10762664B2 (ko) |
| KR (1) | KR20190082080A (ko) |
| CN (1) | CN109995997A (ko) |
| DE (1) | DE102018130086A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3213497B1 (en) * | 2014-10-31 | 2020-09-30 | Hewlett-Packard Development Company, L.P. | Cross-calibration of imagers |
| WO2019225681A1 (ja) * | 2018-05-23 | 2019-11-28 | パナソニックＩｐマネジメント株式会社 | 校正装置および校正方法 |
| WO2020024576A1 (zh) * | 2018-08-01 | 2020-02-06 | Oppo广东移动通信有限公司 | 摄像头校准方法和装置、电子设备、计算机可读存储介质 |
| US11606504B2 (en) | 2019-09-10 | 2023-03-14 | Samsung Electronics Co., Ltd. | Method and electronic device for capturing ROI |
| CN110769151B (zh) * | 2019-09-27 | 2021-10-15 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备和介质 |
| CN110661972B (zh) * | 2019-09-27 | 2021-02-23 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备和介质 |
| US11475595B2 (en) * | 2020-03-19 | 2022-10-18 | Sony Corporation | Extrinsic calibration of multi-camera system |
| WO2024038778A1 (ja) * | 2022-08-15 | 2024-02-22 | 富士フイルム株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003338750A (ja) * | 2002-05-20 | 2003-11-28 | Nec Electronics Corp | 汎用ロジックセル、これを用いた汎用ロジックセルアレイ、及びこの汎用ロジックセルアレイを用いたａｓｉｃ |
| US7259784B2 (en) * | 2002-06-21 | 2007-08-21 | Microsoft Corporation | System and method for camera color calibration and image stitching |
| EP2375376B1 (en) * | 2010-03-26 | 2013-09-11 | Alcatel Lucent | Method and arrangement for multi-camera calibration |
| US10122993B2 (en) * | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
-
2017
- 2017-12-29 US US15/858,063 patent/US10762664B2/en active Active
-
2018
- 2018-11-28 KR KR1020180149206A patent/KR20190082080A/ko not_active Application Discontinuation
- 2018-11-28 DE DE102018130086.7A patent/DE102018130086A1/de active Pending
- 2018-12-25 CN CN201811589669.3A patent/CN109995997A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20190043220A1 (en) | 2019-02-07 |
| US10762664B2 (en) | 2020-09-01 |
| DE102018130086A1 (de) | 2019-07-04 |
| CN109995997A (zh) | 2019-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190082080A (ko) | 피처 매칭을 이용하는 멀티-카메라 프로세서 | |
| CN109660782B (zh) | 减少立体深度传感器成像中的纹理化ir图案 | |
| US9536345B2 (en) | Apparatus for enhancement of 3-D images using depth mapping and light source synthesis | |
| US9338439B2 (en) | Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system | |
| KR101800995B1 (ko) | 위상 기반 오토포커스를 위한 신뢰도 측정 | |
| KR102480600B1 (ko) | 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법 | |
| US10896348B2 (en) | End to end framework for geometry-aware multi-scale keypoint detection and matching in fisheye images | |
| US9661298B2 (en) | Depth image enhancement for hardware generated depth images | |
| JP6657214B2 (ja) | 画像ベースの深さ検知システムの精度測定 | |
| US10354364B2 (en) | Automatic perspective control using vanishing points | |
| CN110944160B (zh) | 一种图像处理方法及电子设备 | |
| US11871110B2 (en) | Single image ultra-wide fisheye camera calibration via deep learning | |
| TWI811386B (zh) | 應用處理器 | |
| US9807313B2 (en) | Method and system of increasing integer disparity accuracy for camera images with a diagonal layout | |
| US11563889B2 (en) | Electronic device and method for controlling camera using external electronic device | |
| BR112016025577B1 (pt) | Refocalização de imagem para matrizes de câmera | |
| WO2022104618A1 (en) | Bidirectional compact deep fusion networks for multimodality visual analysis applications | |
| CN113450392A (zh) | 基于图像模板的参数化透视的鲁棒表面配准 | |
| US20150077575A1 (en) | Virtual camera module for hybrid depth vision controls | |
| CN114257733A (zh) | 具有视点偏移的全向图像的图像处理的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |