KR20230068954A - Imaging device and image processing method - Google Patents
Imaging device and image processing method Download PDFInfo
- Publication number
- KR20230068954A KR20230068954A KR1020220029468A KR20220029468A KR20230068954A KR 20230068954 A KR20230068954 A KR 20230068954A KR 1020220029468 A KR1020220029468 A KR 1020220029468A KR 20220029468 A KR20220029468 A KR 20220029468A KR 20230068954 A KR20230068954 A KR 20230068954A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- stitching
- imaging device
- original images
- image processor
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 158
- 238000003672 processing method Methods 0.000 title description 3
- 230000003287 optical effect Effects 0.000 claims description 53
- 230000009466 transformation Effects 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 14
- 238000002156 mixing Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 239000000203 mixture Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000149 penetrating effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
Description
본 개시의 기술적 사상은 이미징 장치에 관한 것으로서, 복수의 원본 이미지들을 스티칭하는 이미지 처리 방법에 관한 것이다.The technical idea of the present disclosure relates to an imaging device and an image processing method of stitching a plurality of original images.
전자 장치는 외부 객체를 촬영하여 이미지 또는 영상을 생성 및 저장할 수 있도록 하는 카메라 기능을 제공할 수 있다. 이때 넓은 화각을 가지는 이미지 또는 고해상도를 가지는 이미지를 획득하기 위하여, 전자 장치는 이미지 센서를 통해 생성된 복수의 이미지들을 스티칭할 수 있다. The electronic device may provide a camera function capable of generating and storing an image or video by photographing an external object. In this case, in order to obtain an image having a wide angle of view or an image having high resolution, the electronic device may stitch a plurality of images generated through an image sensor.
이때 복수의 이미지들은 일방향(예를 들어, 수평 방향)이 아닌 양방향(예를 들어, 수평 방향 및 수직 방향)으로 배치될 수 있다. 따라서 다양한 방향으로 배치된 이미지들을 스티칭하는 방법의 개발이 필요하다.In this case, the plurality of images may be arranged in both directions (eg, horizontal and vertical directions) instead of in one direction (eg, horizontal direction). Therefore, it is necessary to develop a method of stitching images disposed in various directions.
또한 복수의 이미지들을 스티칭하여 하나의 이미지를 생성할 때, 많은 연산량 및 많은 처리 시간이 요구되므로, 이를 감소시키는 방안의 개발이 필요하다.In addition, when a plurality of images are stitched together to generate one image, a large amount of computation and a large amount of processing time are required, so it is necessary to develop a method to reduce this.
본 개시의 기술적 사상이 해결하려는 과제는, 다양한 방향으로 배치된 이미지들을 스티칭할 수 있는 이미징 장치를 제공하는 데 있다.An object to be solved by the technical idea of the present disclosure is to provide an imaging device capable of stitching images disposed in various directions.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 이미징 장치는 복수의 원본 이미지들을 생성하는 이미지 센서 및 상기 복수의 원본 이미지들에 기초하여 병합 이미지를 생성하기 위한 연산을 수행하는 이미지 프로세서를 포함하고, 상기 이미지 프로세서는 제1 스티칭(stitching) 방향에 기초하여 상기 복수의 원본 이미지들을 복수의 스티칭 그룹들로 분류하고, 동일한 스티칭 그룹에 포함된 원본 이미지들을 스티칭하여 복수의 중간 이미지들을 생성하고, 제2 스티칭 방향에 기초하여 상기 복수의 중간 이미지들을 스티칭하여 상기 병합 이미지를 생성한다.In order to achieve the above object, an imaging device according to an aspect of the present disclosure performs an image sensor for generating a plurality of original images and an operation for generating a merged image based on the plurality of original images. An image processor that classifies the plurality of original images into a plurality of stitching groups based on a first stitching direction, and stitches the original images included in the same stitching group to obtain a plurality of intermediate images. Images are generated, and the merged image is generated by stitching the plurality of intermediate images based on a second stitching direction.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 이미지 센서 및 이미지 프로세서를 포함하는 이미징 장치를 통한 이미지 처리 방법은 상기 이미지 센서를 통해, 복수의 원본 이미지를 생성하는 단계, 상기 이미지 프로세서를 통해, 상기 이미지 센서의 회전 정보에 기초하여 제1 및 제2 스티칭(stitching) 방향을 결정하는 단계, 상기 이미지 프로세서를 통해, 상기 제1 스티칭 방향에 기초하여 복수의 원본 이미지들을 복수의 스티칭 그룹들로 분류하는 단계, 상기 이미지 프로세서를 통해, 동일한 스티칭 그룹에 포함된 원본 이미지들을 스티칭하여 복수의 중간 이미지들을 생성하는 단계 및 상기 이미지 프로세서를 통해, 상기 제2 스티칭 방향에 기초하여 상기 복수의 중간 이미지들을 스티칭하여 상기 병합 이미지를 생성하는 단계를 포함한다.In order to achieve the above object, an image processing method using an imaging device including an image sensor and an image processor according to one aspect of the technical idea of the present disclosure includes generating a plurality of original images through the image sensor; determining, through the image processor, first and second stitching directions based on rotation information of the image sensor; generating a plurality of original images based on the first stitching direction through the image processor; Classifying into stitching groups, generating a plurality of intermediate images by stitching original images included in the same stitching group through the image processor, and based on the second stitching direction through the image processor and generating the merged image by stitching a plurality of intermediate images.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 이미징 장치는 복수의 원본 이미지들을 생성하는 이미지 센서, 상기 복수의 원본 이미지들에 기초하여 병합 이미지를 생성하기 위한 연산을 수행하는 AP(Application Processor) 및 상기 AP의 연산에 필요한 데이터를 저장하는 메모리를 포함하고, 상기 AP는 제1 스티칭(stitching) 방향에 기초하여 상기 복수의 원본 이미지들을 복수의 스티칭 그룹들로 분류하고, 동일한 스티칭 그룹에 포함된 원본 이미지들을 스티칭하여 복수의 중간 이미지들을 생성하고, 제2 스티칭 방향에 기초하여 상기 복수의 중간 이미지들을 스티칭하여 상기 병합 이미지를 생성한다.In order to achieve the above object, an imaging device according to one aspect of the technical concept of the present disclosure performs an image sensor for generating a plurality of original images and an operation for generating a merged image based on the plurality of original images. An AP (Application Processor) and a memory for storing data necessary for operation of the AP, wherein the AP classifies the plurality of original images into a plurality of stitching groups based on a first stitching direction; A plurality of intermediate images are generated by stitching original images included in the same stitching group, and the merged image is generated by stitching the plurality of intermediate images based on a second stitching direction.
본 개시의 기술적 사상의 이미징 장치에 따르면, 제1 및 제2 스티칭 방향에 기초하여 복수의 원본 이미지들을 스티칭하여 병합 이미지를 생성하므로, 다양한 방향으로 배치된 이미지들을 스티칭할 수 있다.According to the imaging device of the technical concept of the present disclosure, since a merged image is generated by stitching a plurality of original images based on first and second stitching directions, images disposed in various directions may be stitched.
또한, 본 개시의 기술적 사상의 이미징 장치에 따르면, 중첩 영역에서 연산된 변환 매트릭스 및 중첩 영역에서 탐지된 심(seam)에 기초하여 복수의 원본 이미지들을 스티칭하므로, 적은 연산량 및 적은 처리 시간으로 병합 이미지를 생성할 수 있다.In addition, according to the imaging device of the technical concept of the present disclosure, since a plurality of original images are stitched based on a transformation matrix calculated in an overlapping area and a seam detected in the overlapping area, a merged image can be obtained with a small amount of calculation and a small processing time. can create
도 1은 본 개시의 일 실시예에 따른 이미징 장치를 나타내는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 이미징 장치에 포함된 광학 장치를 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 이미징 장치를 통해 생성된 복수의 원본 이미지들을 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 이미징 장치가 병합 이미지를 생성하는 방법을 나타내는 순서도이다.
도 5a 내지 5d는 본 개시의 일 실시예에 따른 이미징 장치가 복수의 원본 이미지들로부터 병합 이미지를 생성하는 과정을 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 이미징 장치가 복수의 원본 이미지들을 스티칭하는 방법을 나타내는 순서도이다.
도 7은 본 개시의 일 실시예에 따른 이미징 장치가 복수의 원본 이미지들 간의 변환 매트릭스를 연산하는 방법을 나타내는 순서도이다.
도 8은 본 개시의 일 실시예에 따른 이미징 장치가 복수의 원본 이미지들 간의 심(seam)을 탐지하는 방법을 나타내는 순서도이다.
도 9는 본 개시의 일 실시예에 따른 이미징 장치가 복수의 원본 이미지들을 블렌딩(blending)하는 방법을 나타내는 순서도이다.
도 10은 본 개시의 일 실시예에 따른 이미징 장치를 나타내는 블록도이다.
도 11a 및 도 11b는 본 개시의 일 실시예에 따른 복수의 이미징 장치를 포함하는 이미징 장치를 나타내는 블록도이다.1 is a block diagram illustrating an imaging device according to an exemplary embodiment of the present disclosure.
2 is a diagram illustrating an optical device included in an imaging device according to an exemplary embodiment of the present disclosure.
3 is a diagram illustrating a plurality of original images generated through an imaging device according to an embodiment of the present disclosure.
4 is a flowchart illustrating a method of generating a merged image by an imaging device according to an exemplary embodiment.
5A to 5D are diagrams illustrating a process of generating a merged image from a plurality of original images by an imaging device according to an embodiment of the present disclosure.
6 is a flowchart illustrating a method of stitching a plurality of original images by an imaging device according to an embodiment of the present disclosure.
7 is a flowchart illustrating a method of calculating a transformation matrix between a plurality of original images by an imaging device according to an embodiment of the present disclosure.
8 is a flowchart illustrating a method of detecting a seam between a plurality of original images by an imaging device according to an embodiment of the present disclosure.
9 is a flowchart illustrating a method of blending a plurality of original images by an imaging device according to an embodiment of the present disclosure.
10 is a block diagram illustrating an imaging device according to an exemplary embodiment of the present disclosure.
11A and 11B are block diagrams illustrating an imaging device including a plurality of imaging devices according to an exemplary embodiment of the present disclosure.
이하, 첨부한 도면을 참조하여 본 개시의 실시예에 대해 상세히 설명한다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.
도 1은 본 개시의 일 실시예에 따른 이미징 장치를 나타내는 블록도이다.1 is a block diagram illustrating an imaging device according to an exemplary embodiment of the present disclosure.
도 1을 참조하면, 본 개시의 일 실시예에 따른 이미징 장치(100)은 이미지 센서(110), 이미지 프로세서(120), 메모리(130) 및 광학 장치(140)를 포함할 수 있다.Referring to FIG. 1 , an
이미징 장치(100)은 전하 결합 소자 및 금속 산화물 반도체(Complementary Metal Oxide Semiconductor, CMOS) 등의 고체 이미지 센서를 이용하여 피사체에 대한 이미지를 캡처 및/또는 저장할 수 있고, 디지털 카메라, 디지털 캠코더, 모바일 폰, 또는 태블릿 컴퓨터, 또는 휴대용 전자 장치의 일부로 구현될 수 있다. 휴대용 전자 장치는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant), EDA(Enterprise Digital Assistant), 디지털 스틸 카메라, 디지털 비디오 카메라, 오디오 장치, PMP(Portable Multimedia Player), PND(Personal Navigation Device), MP3 플레이어, 휴대용 게임 콘솔(handheld game console), e-북(e-book), 웨어러블 기기 등을 포함할 수 있다. 또한, 이미징 장치(100)은 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 전자 기기 또는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다.The
이미지 센서(110)는 복수의 원본 이미지들을 생성할 수 있다. 복수의 원본 이미지들은 하나의 장면에 대하여 서로 다른 시야를 가진 이미지들로, 이미지 센서(110)는 미리 설정된 방향 및 각도로 회전 가능한 광학 장치(140)를 통해 서로 다른 시야를 가진 복수의 원본 이미지들 생성할 수 있다. 이미지 센서(110)는 생성한 복수의 원본 이미지들을 이미지 프로세서(120)로 출력할 수 있다. 이미지 센서(110)는 복수의 원본 이미지들 각각에 대응되는 복수의 인덱스들을 이미지 프로세서(120)로 출력할 수 있다. 인덱스는 원본 이미지의 공간 좌표를 나타낼 수 있다. 이미지 센서(110)는 이미지 또는 광 센싱 기능을 갖는 전자 기기에 탑재될 수 있다.The
이미지 프로세서(120)는 이미지 센서(110)로부터 복수의 원본 이미지들을 수신할 수 있다. 그리고 이미지 프로세서(120)는 복수의 원본 이미지들에 대한 이미지 처리(image processing)를 수행할 수 있다.The
본 개시의 일 실시예에서 이미지 프로세서(120)는 복수의 원본 이미지들에 기초하여 병합 이미지를 생성하기 위한 연산을 수행할 수 있다. 이미지 프로세서(120)는 제1 스티칭(stitching) 방향에 기초하여 복수의 원본 이미지들을 복수의 스티칭 그룹들로 분류하고, 동일한 스티칭 그룹에 포함된 원본 이미지들을 스티칭하여 복수의 중간 이미지들을 생성하고, 제2 스티칭 방향에 기초하여 복수의 중간 이미지들을 스티칭하여 병합 이미지를 생성할 수 있다.In one embodiment of the present disclosure, the
이때 이미지 프로세서(120)는 동일한 스티칭 그룹에 포함된 원본 이미지들 간의 중첩 영역에서 연산된 변환 매트릭스 및 중첩 영역에서 탐지된 심(seam)에 기초하여 동일한 스티칭 그룹에 포함된 원본 이미지들을 블렌딩(blending)하여 동일한 스티칭 그룹에 포함된 원본 이미지들을 스티칭할 수 있다. 그리고 이미지 프로세서(120)는 복수의 중간 이미지들 간의 중첩 영역에서 연산된 변환 매트릭스 및 중첩 영역에서 탐지된 심에 기초하여 복수의 중간 이미지들을 블렌딩하여 복수의 중간 이미지들을 스티칭할 수 있다.At this time, the
도 1에는 이미지 프로세서(120)가 카메라 모듈(100) 내에서 이미지 센서(110)와 별도로 구성된 실시예가 도시되었으나, 본 개시가 이에 제한되는 것은 아니며, 이미지 프로세서(120)의 일부는 이미지 센서(110) 내부에 위치할 수도 있고, 이미징 장치(100) 외부의 별도 프로세서 내부에 위치할 수도 있다.1 shows an embodiment in which the
메모리(130)는 이미지 프로세싱에 필요한 데이터를 저장할 수 있다. 메모리(130)는 휘발성 메모리 또는 불휘발성 메모리로 구현될 수있다. 휘발성 메모리는 DRAM(Dynamic Random Access Memory), SRAM(Static RAM) 등을 포함할 수 있으며, 불휘발성 메모리는 ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM) 등을 포함할 수 있다. 본 개시의 일 실시예에서 메모리(130)는 이미징 장치(100)에 포함된 OTP(One Time Programmable) 메모리일 수 있다.The
본 개시의 일 실시예에서 메모리(130)는 이미지 프로세서(120)가 복수의 원본 이미지들을 스티칭하여 병합 이미지를 생성할 때 이용되는 변환 매트릭스를 저장할 수 있다. 또한, 메모리(130)는 이미지 프로세서(120)의 크로핑(cropping)동작 등을 통해 최적화될 수 있다.In one embodiment of the present disclosure, the
광학 장치(140)는 회전하여 복수의 원본 이미지의 시야를 조절할 수 있다. 예를 들어, 광학 장치(140)는 x축, y축, z축 중 적어도 하나의 방향으로 회전하여, 이미지 센서(110)가 하나의 장면에 대하여 서로 다른 시야를 가진 복수의 원본 이미지들을 생성하도록 할 수 있다. 본 개시의 일 실시예에서, 광학 장치(140)는 피치(Pitch), 요(Yaw), 롤(roll) 방향의 회전을 통해 상하좌우로 움직임으로써 서로 다른 장면을 획득할 수 있다. 광학 장치(140)는 이미지 프로세서(120)로부터 수신하는 명령에 기초하여 미리 설정된 방향 및 각도로 회전할 수 있다.The
광학 장치(140)는 거울 또는 렌즈를 포함하는 광학적 집광 장치일 수 있다. 광학 장치(140)의 보다 상세한 구조는 도 2를 참조하여 후술 될 것이다.The
이와 같이 본 개시에 따른 이미징 장치(100)은 제1 및 제2 스티칭 방향에 기초하여 복수의 원본 이미지들을 스티칭하여 병합 이미지를 생성하므로, 다양한 방향으로 배치된 이미지들을 스티칭할 수 있다. 또한, 중첩 영역에서 연산된 변환 매트릭스 및 중첩 영역에서 탐지된 심에 기초하여 복수의 원본 이미지들을 스티칭하므로, 적은 연산량 및 적은 처리 시간으로 병합 이미지를 생성할 수 있다.As described above, since the
도 2는 본 개시의 일 실시예에 따른 이미징 장치에 포함된 광학 장치를 나타내는 도면이다.2 is a diagram illustrating an optical device included in an imaging device according to an exemplary embodiment of the present disclosure.
도 2를 참조하면, 광학 장치(140)의 일 실시예 중 어느 하나인 프리즘 렌즈의 모습을 확인할 수 있다. 도 2에는 광학 장치(140)의 일 실시예로 프리즘 렌즈가 예시되나, 본 개시가 이에 한정되는 것은 아니며, 본 개시의 다른 실시예에서는 빛의 분산이나 굴절 등 광학적 특성을 이용하여 물체에 의해 반사된 빛의 다양한 경로를 집광하거나, 빛의 이동 경로를 변경할 수 있는 광학 장치가 이용될 수 있다.Referring to FIG. 2 , an appearance of a prism lens of one embodiment of the
광학 장치(140)는 x축, y축, z축, 총 3개의 공간적 회전축을 포함할 수 있다. 광학 장치(140)는 x축, y축, z축 중 적어도 하나의 축을 중심으로 회전함으로써, 이미지 센서(110)가 하나의 장면에 대하여 서로 다른 시야를 가진 복수의 원본 이미지들을 생성하도록 할 수 있다.The
광학 장치(140)의 x축 중심 회전은 롤링(rolling)(가로 흔들림)이라고 지칭될 수 있다. 광학 장치(140)의 y축 중심 회전은 피칭(pitching)(세로 흔들림)이라고 지칭될 수 있다. 광학 장치(140)의 z축 중심 회전은 요잉(yawing)이라고 지칭될 수 있다.Rotation about the x-axis of the
본 개시의 일 실시예에서, 피치(pitch) 방향의 회전은 광학 장치(140)를 횡방향으로 관통하는 y축 방향 회전이라고 이해될 수 있으며, 요(yaw) 방향의 회전은 광학 장치(140)를 수직으로 관통하는 z축 방향 회전이라고 이해될 수 있고, 롤(roll) 방향의 회전은 광학 장치(140)를 종방향으로 관통하는 x축 방향 회전이라고 이해될 수 있다.In one embodiment of the present disclosure, rotation in the pitch direction can be understood as rotation in the y-axis direction transversely penetrating the
이미지 센서(110)는 물체를 촬상하기 위한 임계 화각을 가질 수 있다. 임계 화각은 사용자의 설정으로부터 제한되거나, 이미지 센서(110)가 가지는 물리적인 한계에 의해 제한될 수 있다. 예를 들어, 이미지 센서(110)가 이미징 장치(100)에 내장되는 경우, 이미지 센서(110)의 임계 화각은 180도를 초과할 수 없다.The
본 개시의 일 실시예에서, 광학 장치(140)는 피칭과 요잉을 이용하여, 이미지 센서(110)가 전면의 피사체를 나타내는 원본 이미지를 생성하도록 할 수 있다. 광학 장치(140)는 요잉을 통해 이미지 센서(110)가 피사체의 좌우를 나타내는 원본 이미지를 생성하도록 할 수 있다. 그리고 광학 장치(140)는 피칭을 통해 이미지 센서(110)가 피사체의 상하를 나타내는 원본 이미지를 생성하도록 할 수 있다. 즉, 광학 장치(140)는 피칭과 요잉을 통해 이미지 센서(110)가 피사체의 상하좌우 주변부를 나타내는 원본 이미지를 생성하도록 할 수 있다.In an embodiment of the present disclosure, the
도 3은 본 개시의 일 실시예에 따른 이미징 장치를 통해 생성된 복수의 원본 이미지들을 나타내는 도면이다.3 is a diagram illustrating a plurality of original images generated through an imaging device according to an embodiment of the present disclosure.
도 3을 참조하면, 이미지 센서(110)에 의해 생성된 복수의 원본 이미지들을 확인할 수 있다. 도 3의 실시예에서 복수의 원본 이미지는 총 9개의 원본 이미지인, 제1 내지 제9 원본 이미지를 포함할 수 있다.Referring to FIG. 3 , a plurality of original images generated by the
여기서 이미지 센서(110)에 의해 생성되는 원본 이미지들의 개수는 이미지 프로세서(120)로부터 수신한 촬영 모드에 기초하여 설정될 수 있다. 예를 들어, 이미지 프로세서(120)로부터 수신된 촬영 모드가 가로로 3개, 세로로 3개인 총 9개의 원본 이미지를 생성하도록 하는 제1 촬영 모드인 경우, 이미지 센서(110)는 도 3에 도시된 바와 같은 제1 내지 제9 원본 이미지를 생성할 수 있다. 이때 이미지 프로세서(120)는 이미지 센서(110)로부터 복수의 원본 이미지들과 함께 수신하는 복수의 인덱스들에 기초하여 복수의 원본 이미지들을 도 3과 같이 배열할 수 있다.Here, the number of original images generated by the
다른 예로, 이미지 프로세서(120)로부터 수신된 촬영 모드가 가로로 5개, 세로로 4개인 총 20개의 원본 이미지를 생성하도록 하는 제2 촬영 모드인 경우, 이미지 센서(110)는 도 3에 도시된 바와 달리 제1 내지 제20 원본 이미지를 생성할 수 있다.As another example, when the shooting mode received from the
이하에서는 이미징 장치(100)가 제1 촬영 모드로 동작한 실시예를 중심으로 본 개시의 실시예를 설명하도록 한다.Hereinafter, an embodiment of the present disclosure will be described focusing on an embodiment in which the
이미지 센서(110)는 복수의 원본 이미지들과 함께 복수의 원본 이미지들 각각에 대응되는 복수의 인덱스들을 이미지 프로세서(120)로 출력할 수 있다. 복수의 인덱스들은 복수의 원본 이미지들의 공간 좌표를 나타내며, 복수의 인덱스들은 도 3에 원형 숫자로 표시된 바와 같을 수 있다.The
도 3의 실시예에서, 제1 원본 이미지는 복수의 원본 이미지들 중 좌측 상단에 위치한 원본 이미지로, 인덱스는 1이고, 공간좌표는 (1, 1)일 수 있다. 제2 원본 이미지는 복수의 원본 이미지들 중 중앙 상단에 위치한 원본 이미지로, 인덱스는 2이고, 공간좌표는 (1, 2)일 수 있다. 제3 원본 이미지는 복수의 원본 이미지들 중 우측 상단에 위치한 원본 이미지로, 인덱스는 3이고, 공간좌표는 (1, 3)일 수 있다. 제4 원본 이미지는 복수의 원본 이미지들 중 좌측 중단에 위치한 원본 이미지로, 인덱스는 4이고, 공간좌표는 (2, 1)일 수 있다. 제5 원본 이미지는 복수의 원본 이미지들 중 중앙 중단에 위치한 원본 이미지로, 인덱스는 5이고, 공간좌표는 (2, 2)일 수 있다. 제6 원본 이미지는 복수의 원본 이미지들 중 우측 중단에 위치한 원본 이미지로, 인덱스는 6이고, 공간좌표는 (2, 3)일 수 있다. 제7 원본 이미지는 복수의 원본 이미지들 중 좌측 하단에 위치한 원본 이미지로, 인덱스는 7이고, 공간좌표는 (3, 1)일 수 있다. 제8 원본 이미지는 복수의 원본 이미지들 중 중앙 하단에 위치한 원본 이미지로, 인덱스는 8이고, 공간좌표는 (3, 2)일 수 있다. 제9 원본 이미지는 복수의 원본 이미지들 중 우측 하단에 위치한 원본 이미지로, 인덱스는 9이고, 공간좌표는 (3, 3)일 수 있다.In the embodiment of FIG. 3 , the first original image may be an original image located at the upper left of the plurality of original images, have an index of 1, and spatial coordinates of (1, 1). The second original image may be an original image located at the top center among a plurality of original images, have an index of 2, and spatial coordinates of (1, 2). The third original image may be an original image located at the upper right of the plurality of original images, have an index of 3, and spatial coordinates of (1, 3). The fourth original image may be an original image located at the middle left of the plurality of original images, have an index of 4, and spatial coordinates of (2, 1). The fifth original image is an original image located in the middle of a plurality of original images, has an index of 5, and spatial coordinates of (2, 2). The sixth original image is an original image located at the right middle of the plurality of original images, has an index of 6, and spatial coordinates of (2, 3). The seventh original image is an original image located at the bottom left of the plurality of original images, and may have an index of 7 and spatial coordinates of (3, 1). The eighth original image is an original image located at the lower center of the plurality of original images, has an index of 8, and spatial coordinates of (3, 2). The ninth original image is an original image located at the lower right of the plurality of original images, has an index of 9, and spatial coordinates of (3, 3).
광학 장치(140)는 이미지 프로세서(120)로부터 수신하는 명령에 기초하여 미리 설정된 방향 및 각도로 회전할 수 있다. 따라서 동일한 촬영 모드에서 이미지 센서(110)에 의해 생성되는 복수의 원본 이미지들은 공통적인 기하학적 특성 정보를 포함할 수 있다. 예를 들어, 제1 촬영 모드로 촬영된 제1 원본 이미지는 제1 촬영 모드로 촬영된 제2 원본 이미지와 항상 동일한 각도로 회전된 이미지일 수 있다. 또한, 제1 촬영 모드로 촬영된 제1 원본 이미지는 제1 촬영 모드로 촬영된 제2 원본 이미지와 항상 동일한 배율만큼 확대 또는 축소된 이미지일 수 있다. The
도 4는 본 개시의 일 실시예에 따른 이미징 장치가 병합 이미지를 생성하는 방법을 나타내는 순서도이다.4 is a flowchart illustrating a method of generating a merged image by an imaging device according to an exemplary embodiment.
도 4를 참조하면, 단계 S410에서, 이미지 프로세서(120)는 제1 및 제2 스티칭 방향을 결정할 수 있다.Referring to FIG. 4 , in step S410, the
스티칭 방향은 이미지 프로세서(120)가 복수의 원본 이미지들에 기초하여 병합 이미지를 생성할 때, 어떠한 순서로 원본 이미지를 스티칭하는지를 나타내는 방향이다.The stitching direction is a direction indicating in what order the original images are stitched when the
본 개시의 일 실시예에서 제1 및 제2 스티칭 방향은 행 방향 또는 열 방향 일 수 있다. 이때 제1 스티칭 방향이 행 방향이면, 제2 스티칭 방향은 열 방향일 수 있다. 반대로 제1 스티칭 방향이 열 방향이면, 제2 스티칭 방향은 행 방향일 수 있다.In one embodiment of the present disclosure, the first and second stitching directions may be a row direction or a column direction. In this case, if the first stitching direction is a row direction, the second stitching direction may be a column direction. Conversely, if the first stitching direction is a column direction, the second stitching direction may be a row direction.
예를 들어, 복수의 원본 이미지들이 도 3에 도시된 바와 같이 제1 내지 제9 원본 이미지를 포함하고, 제1 스티칭 방향이 행 방향인 경우, 이미지 프로세서(120)는 동일한 행에 위치한 원본 이미지들을 먼저 스티칭할 수 있다.For example, when the plurality of original images include the first to ninth original images as shown in FIG. 3 and the first stitching direction is in the row direction, the
본 개시의 일 실시예에서 이미지 프로세서(120)는 광학 장치(140)의 회전 정보에 기초하여 제1 및 제2 스티칭 방향을 결정할 수 있다. 이때 이미지 프로세서(120)는 제1 스티칭 방향을 광학 장치(140)의 초기 회전 방향과 동일하게 설정할 수 있다. 예를 들어, 광학 장치(140)가 행 방향으로 먼저 회전하는 경우, 이미지 프로세서(120)는 제1 스티칭 방향을 행 방향으로 설정할 수 있다. 이에 따라, 이미지 프로세서(120)는 이미지 센서(110)를 통해 복수의 원본 이미지들이 생성되는 순서대로 스티칭을 진행할 수 있게 되므로, 이미징 장치(100)의 최초 원본 이미지 생성 시점부터 병합 이미지 생성 시점까지의 시간 간격을 최소화할 수 있다.In one embodiment of the present disclosure, the
단계 S420에서, 이미지 프로세서(120)는 제1 스티칭 방향에 기초하여 복수의 원본 이미지들을 복수의 스티칭 그룹들로 분류할 수 있다.In operation S420, the
제1 스티칭 방향이 행 방향이면, 이미지 프로세서(120)는 동일한 행에 위치한 원본 이미지들을 동일한 스티칭 그룹으로 분류할 수 있다. 반대로 제1 스티칭 방향이 열 방향이면, 이미지 프로세서(120)는 동일한 열에 위치한 원본 이미지들을 동일한 스티칭 그룹으로 분류할 수 있다.If the first stitching direction is a row direction, the
본 개시의 일 실시예에서, 복수의 원본 이미지들이 도 3에 도시된 바와 같이 제1 내지 제9 원본 이미지를 포함하고, 제1 스티칭 방향이 행 방향인 경우, 이미지 프로세서(120)는 제1 내지 제3 원본 이미지를 제1 스티칭 그룹으로 분류하고, 제4 내지 제6 원본 이미지를 제2 스티칭 그룹으로 분류하고, 제7 내지 제9 원본 이미지를 제3 스티칭 그룹으로 분류할 수 있다.In one embodiment of the present disclosure, when the plurality of original images include the first to ninth original images as shown in FIG. 3 and the first stitching direction is the row direction, the
본 개시의 다른 실시예에서, 복수의 원본 이미지들이 도 3에 도시된 바와 같이 제1 내지 제9 원본 이미지를 포함하고, 제1 스티칭 방향이 열 방향인 경우, 이미지 프로세서(120)는 제1, 제4 및 제7 원본 이미지를 제1 스티칭 그룹으로 분류하고, 제2, 제5 및 제8 원본 이미지를 제2 스티칭 그룹으로 분류하고, 제3, 제6 및 제9 원본 이미지를 제3 스티칭 그룹으로 분류할 수 있다.In another embodiment of the present disclosure, when the plurality of original images include the first to ninth original images as shown in FIG. 3 and the first stitching direction is a column direction, the
단계 S430에서, 이미지 프로세서(120)는 동일한 스티칭 그룹에 포함된 원본 이미지들을 스티칭하여 복수의 중간 이미지들을 생성할 수 있다.In step S430, the
본 개시의 일 실시예에서, 복수의 원본 이미지들이 도 3에 도시된 바와 같이 제1 내지 제9 원본 이미지를 포함하고, 제1 스티칭 방향이 행 방향인 경우, 이미지 프로세서(120)는 제1 스티칭 그룹에 포함된 제1 내지 제3 원본 이미지들을 스티칭하여 제1 중간 이미지를 생성하고, 제2 스티칭 그룹에 포함된 제4 내지 제6 원본 이미지들을 스티칭하여 제2 중간 이미지를 생성하고, 제3 스티칭 그룹에 포함된 제7 내지 제9 원본 이미지들을 스티칭하여 제3 중간 이미지를 생성할 수 있다.In one embodiment of the present disclosure, when the plurality of original images include the first to ninth original images as shown in FIG. 3 and the first stitching direction is a row direction, the
본 개시의 다른 실시예에서, 복수의 원본 이미지들이 도 3에 도시된 바와 같이 제1 내지 제9 원본 이미지를 포함하고, 제1 스티칭 방향이 열 방향인 경우, 이미지 프로세서(120)는 제1 스티칭 그룹에 포함된 제1, 제4 및 제7 원본 이미지들을 스티칭하여 제1 중간 이미지를 생성하고, 제2 스티칭 그룹에 포함된 제2, 제5 및 제8 원본 이미지들을 스티칭하여 제2 중간 이미지를 생성하고, 제3 스티칭 그룹에 포함된 제3, 제6 및 제9 원본 이미지들을 스티칭하여 제3 중간 이미지를 생성할 수 있다.In another embodiment of the present disclosure, when the plurality of original images include first to ninth original images as shown in FIG. 3 and the first stitching direction is a column direction, the
단계 S440에서, 이미지 프로세서(120)는 제2 스티칭 방향에 기초하여 복수의 중간 이미지들을 스티칭하여 병합 이미지를 생성할 수 있다.In operation S440, the
본 개시의 일 실시예에서, 복수의 원본 이미지들이 도 3에 도시된 바와 같이 제1 내지 제9 원본 이미지를 포함하고, 제2 스티칭 방향이 열 방향인 경우, 이미지 프로세서(120)는 행 방향으로 스티칭 완료된 이미지인 제1 내지 제3 중간 이미지를 스티칭하여 병합 이미지를 생성할 수 있다.In one embodiment of the present disclosure, when the plurality of original images include the first to ninth original images as shown in FIG. 3 and the second stitching direction is in the column direction, the
본 개시의 다른 실시예에서, 복수의 원본 이미지들이 도 3에 도시된 바와 같이 제1 내지 제9 원본 이미지를 포함하고, 제2 스티칭 방향이 행 방향인 경우, 이미지 프로세서(120)는 열 방향으로 스티칭 완료된 이미지인 제1 내지 제3 중간 이미지를 스티칭하여 병합 이미지를 생성할 수 있다.In another embodiment of the present disclosure, when the plurality of original images include the first to ninth original images as shown in FIG. 3 and the second stitching direction is in the row direction, the
도 5a 내지 5d는 본 개시의 일 실시예에 따른 이미징 장치가 복수의 원본 이미지들로부터 병합 이미지를 생성하는 과정을 나타내는 도면이다.5A to 5D are diagrams illustrating a process of generating a merged image from a plurality of original images by an imaging device according to an embodiment of the present disclosure.
도 5a 내지 5d에는 도시의 편의를 위해, 복수의 원본 이미지들 간에 중첩 영역이 존재하지 않고, 복수의 원본 이미지들이 동일한 각도 및 동일한 배율을 가지도록 도시되었으나, 실제로는 복수의 원본 이미지들 간에 중첩 영역이 존재하고, 복수의 원본 이미지들이 서로 다른 각도 및 서로 다른 배율을 가질 수 있다.5A to 5D, for convenience of illustration, there is no overlapping area between the plurality of original images, and the plurality of original images have the same angle and the same magnification, but in reality, there is an overlapping area between the plurality of original images. exists, and a plurality of original images may have different angles and different magnifications.
도 5a 내지 5d를 참조하면, 이미지 프로세서(120)가 복수의 원본 이미지들을 스티칭하여 병합 이미지를 생성하는 과정을 확인할 수 있다. 이때 도 5a 내지 도 5d는 제1 스티칭 방향이 열 방향이고, 제2 스티칭 방향이 행 방향인 실시예를 도시하고 있다. 이때 이미지 프로세서(120)는 제1 스티칭 방향이 열 방향이므로, 제1, 제4 및 제7 원본 이미지(I1, I4, I7)를 제1 스티칭 그룹으로 분류하고, 제2, 제5 및 제8 원본 이미지(I2, I5, I8)를 제2 스티칭 그룹으로 분류하고, 제3, 제6 및 제9 원본 이미지(I3, I6, I9)를 제3 스티칭 그룹으로 분류할 수 있다.Referring to FIGS. 5A to 5D , a process of generating a merged image by stitching a plurality of original images by the
우선 도 5a를 참조하면, 이미지 프로세서(120)가 제1 스티칭 그룹에 포함된 제1, 제4 및 제7 원본 이미지(I1, I4, I7)를 스티칭하는 과정을 확인할 수 있다. First, referring to FIG. 5A , a process of stitching the first, fourth, and seventh original images I1, I4, and I7 included in the first stitching group by the
도 5a의 좌측에 도시된 바와 같이 제1 내지 제9 원본 이미지(I1~I9)가 존재하는 상태에서, 이미지 프로세서(120)는 제1 원본 이미지(I1)와 제4 원본 이미지(I4)를 스티칭할 수 있다. 이에 따라 생성된 도 5a의 중간에 도시된 바와 같은 상태에서, 이미지 프로세서(120)는 제1 원본 이미지(I1)와 제4 원본 이미지(I4)가 스티칭된 이미지(T1)와 제7 원본 이미지(I7)를 스티칭하여 제1 중간 이미지(M1)를 생성할 수 있다. 이에 따라 도 5a의 우측에 도시된 바와 같은 상태가 될 수 있다.As shown on the left side of FIG. 5A, in the state where the first to ninth original images I1 to I9 exist, the
그 다음 도 5b를 참조하면, 이미지 프로세서(120)가 제2 스티칭 그룹에 포함된 제2, 제5 및 제8 원본 이미지(I2, I5, I8)를 스티칭하는 과정을 확인할 수 있다. Next, referring to FIG. 5B , a process of stitching the second, fifth, and eighth original images I2 , I5 , and I8 included in the second stitching group by the
도 5b의 좌측에 도시된 바와 같이 제1 중간 이미지(M1)와 제2, 제3, 제5, 제6, 제8 및 제9 원본 이미지(I2, I3, I5, I6, I8, I9)가 존재하는 상태에서, 이미지 프로세서(120)는 제2 원본 이미지(I2)와 제5 원본 이미지(I5)를 스티칭할 수 있다. 이에 따라 생성된 도 5b의 중간에 도시된 바와 같은 상태에서, 이미지 프로세서(120)는 제2 원본 이미지(I2)와 제5 원본 이미지(I5)가 스티칭된 이미지(T2)와 제8 원본 이미지(I8)를 스티칭하여 제2 중간 이미지(M2)를 생성할 수 있다. 이에 따라 도 5b의 우측에 도시된 바와 같은 상태가 될 수 있다. As shown on the left side of FIG. 5B, the first intermediate image M1 and the second, third, fifth, sixth, eighth, and ninth original images I2, I3, I5, I6, I8, and I9 are In the present state, the
그 다음 도 5c를 참조하면, 이미지 프로세서(120)가 제3 스티칭 그룹에 포함된 제3, 제6 및 제9 원본 이미지(I3, I6, I9)를 스티칭하는 과정을 확인할 수 있다. Next, referring to FIG. 5C , a process of stitching the third, sixth, and ninth original images I3, I6, and I9 included in the third stitching group by the
도 5c의 좌측에 도시된 바와 같이 제1 및 제2 중간 이미지(M1, M2)와 제3, 제6 및 제9 원본 이미지(I3, I6, I9)가 존재하는 상태에서, 이미지 프로세서(120)는 제3 원본 이미지(I3)와 제6 원본 이미지(I6)를 스티칭할 수 있다. 이에 따라 생성된 도 5c의 중간에 도시된 바와 같은 상태에서, 이미지 프로세서(120)는 제3 원본 이미지(I3)와 제6 원본 이미지(I6)가 스티칭된 이미지(T3)와 제9 원본 이미지(I9)를 스티칭하여 제3 중간 이미지(M3)를 생성할 수 있다. 이에 따라 도 5c의 우측에 도시된 바와 같은 상태가 될 수 있다.As shown in the left side of FIG. 5C, in the state where the first and second intermediate images M1 and M2 and the third, sixth and ninth original images I3, I6 and I9 exist, the
이때 도 5a 내지 5c에서는 제1 스티칭 그룹, 제2 스티칭 그룹, 제3 스티칭 그룹 순서대로 동일한 스티칭 그룹에 포함된 원본 이미지들을 스티칭한 실시예가 도시되었으나, 다른 순서대로 동일한 스티칭 그룹에 포함된 원본 이미지들이 스티칭되더라도 무방하다. 예를 들어, 본 개시의 다른 실시예에서 이미지 프로세서(120)는 제3 스티칭 그룹, 제1 스티칭 그룹, 제2 스티칭 그룹 순서대로 동일한 스티칭 그룹에 포함된 원본 이미지들을 스티칭할 수 있다.5A to 5C show an embodiment in which original images included in the same stitching group are stitched in the order of the first stitching group, the second stitching group, and the third stitching group, but the original images included in the same stitching group in a different order It is free even if it is stitched. For example, in another embodiment of the present disclosure, the
마지막으로 도 5d를 참조하면, 이미지 프로세서(120)가 제2 스티칭 방향에 기초하여 복수의 중간 이미지들을 스티칭하는 실시예를 확인할 수 있다.Finally, referring to FIG. 5D , an embodiment in which the
도 5d의 좌측에 도시된 바와 같이 제1 내지 제3 중간 이미지(M1, M2, M3)가 존재하는 상태에서, 이미지 프로세서(120)는 제1 중간 이미지(M1)와 제2 중간 이미지(M2)를 스티칭할 수 있다. 이에 따라 생성된 도 5d의 중간에 도시된 바와 같은 상태에서, 이미지 프로세서(120)는 제1 중간 이미지(M1)와 제2 중간 이미지(M2)가 스티칭된 이미지(T4)와 제3 중간 이미지(M3)를 스티칭하여 병합 이미지(F1)를 생성할 수 있다. 이에 따라 최종적으로 병합 이미지가 생성될 수 있다.As shown on the left side of FIG. 5D, in a state where the first to third intermediate images M1, M2, and M3 exist, the
이와 같이 본 개시에 따른 이미징 장치(100)은 제1 및 제2 스티칭 방향에 기초하여 복수의 원본 이미지들을 스티칭하여 병합 이미지를 생성하므로, 다양한 방향으로 배치된 이미지들을 스티칭할 수 있다.As described above, since the
도 6은 본 개시의 일 실시예에 따른 이미징 장치가 복수의 원본 이미지들을 스티칭하는 방법을 나타내는 순서도이다.6 is a flowchart illustrating a method of stitching a plurality of original images by an imaging device according to an embodiment of the present disclosure.
도 6을 참조하면, 단계 S610에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들 간의 특징점에 기초하여 변환 매트릭스를 연산할 수 있다.Referring to FIG. 6 , in step S610, the
스티칭 대상 이미지는 현재 이미지 프로세서(120)가 스티칭을 하려는 이미지로, 원본 이미지, 원본 이미지와 원본 이미지가 스티칭되어 생성된 이미지, 중간 이미지 또는 중간 이미지와 중간 이미지가 스티칭되어 생성된 이미지일 수 있다.The stitching target image is an image to be stitched by the
변환 매트릭스는 두 개의 스티칭 대상 이미지들 간의 회전 각도 및 배율 차이를 상쇄하기 위하여 두 개의 스티칭 대상 이미지들 간의 매핑 관계 또는 변환 관계를 나타내는 매트릭스일 수 있다.The transformation matrix may be a matrix representing a mapping relationship or transformation relationship between two images to be stitched in order to offset a difference in rotation angle and magnification between the two images to be stitched.
이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들 간의 중첩 영역 내의 특징점에 기초하여 변환 매트릭스를 연산할 수 있다. 예를 들어, 두 개의 스티칭 대상 이미지들이 동일한 스티칭 그룹에 포함된 원본 이미지들이면, 이미지 프로세서(120)는 동일한 스티칭 그룹에 포함된 원본 이미지들 간의 중첩 영역 내의 특징점에 기초하여 변환 매트릭스를 연산할 수 있다.The
이미지 프로세서(120)가 변환 매트릭스를 연산하는 보다 상세한 방법은 도 7을 참조하여 후술 될 것이다.A more detailed method of calculating the transformation matrix by the
단계 S620에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들 간의 중첩 영역에서 심을 탐지할 수 있다.In step S620, the
심은 이미지 내에 존재하는 피사체의 경계일 수 있다. 이때 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들 각각에 포함된 심을 탐지함으로써, 두 개의 스티칭 대상 이미지들에서 동일한 부분이 어느 부분인지 탐지할 수 있다.The plant may be a boundary of a subject existing in the image. In this case, the
이미지 프로세서(120)가 심을 탐지하는 보다 상세한 방법은 도 8을 참조하여 후술 될 것이다. A more detailed method of detecting the seam by the
단계 S630에서, 이미지 프로세서(120)는 변환 매트릭스 및 심에 기초하여 두 개의 스티칭 대상 이미지들을 블렌딩할 수 있다.In step S630, the
이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들을 변환 매트릭스에 기초하여 와핑(warping)하고, 와핑된 두 개의 스티칭 대상 이미지들을 탐지된 심이 일치하도록 블렌딩할 수 있다.The
이미지 프로세서(120)가 두 개의 스티칭 대상 이미지들을 블렌딩하는 보다 상세한 방법은 도 10을 참조하여 후술 될 것이다. A more detailed method of blending two images to be stitched by the
도 7은 본 개시의 일 실시예에 따른 이미징 장치가 복수의 원본 이미지들 간의 변환 매트릭스를 연산하는 방법을 나타내는 순서도이다.7 is a flowchart illustrating a method of calculating a transformation matrix between a plurality of original images by an imaging device according to an embodiment of the present disclosure.
도 7을 참조하면, 단계 S710에서 이미지 프로세서(120)는 메모리(130)에 미리 저장된 변환 매트릭스가 존재하는지 판단할 수 있다.Referring to FIG. 7 , in step S710, the
이미지 프로세서(120)가 광학 장치(140)를 미리 설정된 방향 및 각도로 회전시키면서 이미지 센서(110)를 통해 복수의 원본 이미지들을 생성하는 경우, 복수의 원본 이미지들 간의 회전 각도 및 배율은 동일하게 유지될 수 있다. 이 경우, 복수의 원본 이미지들 간의 변환 매트릭스는 항상 동일하게 연산될 수 있다. 따라서 메모리(130)에 광학 장치(140)의 회전 정보에 대응되는 변환 매트릭스를 저장함으로써, 병합 이미지의 생성에 소요되는 시간을 줄일 수 있다.When the
메모리(130)에 미리 저장된 변환 매트릭스가 존재하는 경우, 단계 S720에서, 이미지 프로세서(120)는 변환 매트릭스를 연산하는 대신에 메모리(130)에 미리 저장된 변환 매트릭스를 이용할 수 있다. 즉, 이미지 프로세서(120)는 메모리(130)로부터 리드된 변환 매트릭스에 기초하여 동일한 스티칭 그룹에 포함된 원본 이미지들을 블렌딩할 수 있다.If there is a transformation matrix pre-stored in the
메모리(130)에 미리 저장된 변환 매트릭스가 존재하지 않는 경우, 단계 S730에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들의 중첩 영역을 잘라낼 수 있다. 이때 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들 간의 중첩 영역에 마진 영역을 더한 영역을 잘라낼 수 있다.When the transformation matrix pre-stored in the
단계 S740에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들에서 잘라낸 중첩 영역을 M배 다운 스케일링할 수 있다. 이때 다운 스케일링되는 배수인 M은 두 개의 스티칭 대상 이미지들에서 특징점이 동일하게 탐지될 수 있는 정도로 설정될 수 있다.In step S740, the
단계 S750에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들의 M배 다운 스케일링된 중첩 영역에서 특징점을 탐지하고, 두 개의 스티칭 대상 이미지들의 특징점을 매칭시킬 수 있다.In step S750, the
특징점은 스티칭 대상 이미지에서 주변 영역과 색상 차이가 많이 나는 지점일 수 있다. 본 개시의 일 실시예에서 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들에서 특징점을 탐지한 후, 두 개의 스티칭 대상 이미지들에서 동일한 색상을 가지는 특징점을 매칭시킬 수 있다.The feature point may be a point that has a large color difference from the surrounding area in the stitching target image. In an embodiment of the present disclosure, the
단계 S760에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들의 특징점에 기초하여 변환 매트릭스를 연산할 수 있다. 본 개시의 일 실시예에서 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들에서 특징점의 주변 영역이 동일하게 변환될 수 있도록 변환 매트릭스를 연산할 수 있다.In step S760, the
이와 같이 본 개시에 따른 이미징 장치(100)은 중첩 영역에서 변환 매트릭스를 연산하므로, 적은 연산량 및 적은 처리 시간으로 병합 이미지를 생성할 수 있다.As described above, since the
도 8은 본 개시의 일 실시예에 따른 이미징 장치가 복수의 원본 이미지들 간의 심을 탐지하는 방법을 나타내는 순서도이다.8 is a flowchart illustrating a method of detecting a seam between a plurality of original images by an imaging device according to an embodiment of the present disclosure.
도 8을 참조하면, 단계 S810에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들을 N배 다운 스케일링할 수 있다. 이때 다운 스케일링되는 배수인 N은 두 개의 스티칭 대상 이미지들에서 마스크가 연산될 수 있는 정도로 설정될 수 있다.Referring to FIG. 8 , in step S810, the
단계 S820에서, 이미지 프로세서(120)는 N배 다운 스케일링된 두 개의 스티칭 대상 이미지들을 변환 매트릭스에 기초하여 와핑할 수 있다. 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들 중 어느 하나를 와핑 대상 이미지로 선택하고, 와핑 대상 이미지에 변환 매트릭스를 곱하고, 와핑 대상 이미지가 아닌 스티칭 대상 이미지는 그대로 유지함으로써, 두 개의 스티칭 대상 이미지들을 와핑할 수 있다.In step S820, the
단계 S830에서, 이미지 프로세서(120)는 와핑된 두 개의 스티칭 대상 이미지들에서 마스크를 연산할 수 있다. 본 개시의 일 실시예에서 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들에서 전경과 배경이 구별될 수 있도록 마스크를 연산할 수 있다. 이때 두 개의 스티칭 대상 이미지들에서 전경은 검정색, 배경은 흰색으로 표시될 수 있다.In step S830, the
단계 S840에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들의 중첩 영역을 잘라낼 수 있다. 이때 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들 간의 중첩 영역에 마진 영역을 더한 영역을 잘라낼 수 있다.In step S840, the
단계 S850에서, 이미지 프로세서(120)는 잘라낸 중첩 영역에서 심을 탐지할 수 있다. 본 개시의 일 실시예에서 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들의 중첩 영역에서 마스크의 경계를 심으로 탐지할 수 있다.In step S850, the
이와 같이 본 개시에 따른 이미징 장치(100)은 중첩 영역에서 심을 탐지하므로, 적은 연산량 및 적은 처리 시간으로 병합 이미지를 생성할 수 있다.As described above, since the
도 9는 본 개시의 일 실시예에 따른 이미징 장치가 복수의 원본 이미지들을 블렌딩하는 방법을 나타내는 순서도이다.9 is a flowchart illustrating a method of blending a plurality of original images by an imaging device according to an embodiment of the present disclosure.
도 9를 참조하면, 단계 S910에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들을 변환 매트릭스에 기초하여 와핑할 수 있다. 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들 중 어느 하나를 와핑 대상 이미지로 선택하고, 와핑 대상 이미지에 변환 매트릭스를 곱하고, 와핑 대상 이미지가 아닌 스티칭 대상 이미지는 그대로 유지함으로써, 두 개의 스티칭 대상 이미지들을 와핑할 수 있다. Referring to FIG. 9 , in step S910, the
단계 S920에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들에 대한 보정을 수행할 수 있다. 이미지 프로세서(120)는 와핑된 두 개의 스티칭 대상 이미지들의 심이 위치한 영역을 중심으로 색감, 톤(tone), 빛 노출 등을 보정함으로써, 두 개의 스티칭 대상 이미지들이 스티칭된 후 이미지가 보다 자연스럽도록 할 수 있다.In step S920, the
단계 S930에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들에서 불필요한 영역을 크로핑 할 수 있다. 본 개시의 일 실시예에서 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들에서 이미지가 생성되지 않은 영역 또는 병합 이미지에 포함되지 않는 영역을 크로핑할 수 있다.In step S930, the
이때 이미지 프로세서(120)는 메모리의 최적화가 필요한 경우, 두 개의 스티칭 대상 이미지들에서 불필요한 영역을 크로핑한 후 두 개의 스티칭 대상 이미지들을 블렌딩할 수 있다. 이와 같이 크로핑을 통해 불필요한 영역을 제외하고 블렌딩을 함으로써, 연산량 및 메모리 사용량을 줄일 수 있다.In this case, if memory optimization is required, the
단계 S940에서, 이미지 프로세서(120)는 두 개의 스티칭 대상 이미지들을 블렌딩할 수 있다. 이미지 프로세서(120)는 탐지된 특징점, 심을 중심으로 두 개의 스티칭 대상 이미지를 블렌딩함으로써, 두 개의 스티칭 대상 이미지의 스티칭을 완료할 수 있다.In step S940, the
이와 같이 본 개시에 따른 이미징 장치(100)은 중첩 영역에서 연산된 변환 매트릭스 및 중첩 영역에서 탐지된 심에 기초하여 복수의 원본 이미지들을 스티칭하므로, 적은 연산량 및 적은 처리 시간으로 병합 이미지를 생성할 수 있다.As described above, since the
도 10은 본 개시의 일 실시예에 따른 이미징 장치를 나타내는 블록도이다.10 is a block diagram illustrating an imaging device according to an exemplary embodiment of the present disclosure.
도 10을 참조하면, 본 개시의 일 실시예에 따른 이미징 장치(200)는 이미지 센서(210) 및 AP(Application Processor)(220)를 포함할 수 있다. 또한, 본 개시의 일 실시예에 따른 이미징 장치(200)는 메모리(230) 및 광학 장치(240)를 더 포함할 수 있다.Referring to FIG. 10 , an
이때 이미지 센서(210), 메모리(230) 및 광학 장치(240)는 도 1의 이미지 센서(110), 메모리 (130) 및 광학 장치(140)와 동일할 수 있다.In this case, the
AP(220)는 중앙 처리 장치(CPU), 마이크로프로세서(Microprocessor), 또는 MCU(Micro Controller Unit)일 수 있으나, 이에 제한되지 않는다. The
AP(220)는 이미지 프로세서를 포함할 수 있다. 이 경우, 이미징 장치(200)의 AP(220)는 이미지 처리를 수행하는 소프트웨어를 실행하는 프로세서일 수 있고, 이미지 프로세서는 소프트웨어로서, 또는 하드웨어와 소프트웨어의 결합으로써 구현될 수 있다.
도 11a 및 도 11b는 본 개시의 일 실시예에 따른 복수의 이미징 장치를 포함하는 이미징 장치를 나타내는 블록도이다.11A and 11B are block diagrams illustrating an imaging device including a plurality of imaging devices according to an exemplary embodiment of the present disclosure.
도 11a을 참조하면, 전자 장치(20000)는 멀티 이미징 장치(1100), AP(4000) 및 메모리(5000)를 포함할 수 있다. 메모리(5000)는 도 1에 도시된 메모리(130)와 동일한 기능을 수행할 수 있는 바, 중복되는 설명은 생략한다. 도 11a의 이미징 장치들(1100a, 1100b, 1100c) 중 적어도 하나는 도 1의 이미징 장치(100)와 유사한 기능을 수행할 수 있다.Referring to FIG. 11A , an
전자 장치(20000)는 CMOS 이미지 센서를 이용하여 피사체에 대한 이미지를 캡쳐 및/또는 저장할 수 있고, 모바일 폰, 태블릿 컴퓨터, 또는 휴대용 전자 장치로 구현될 수 있다. 휴대용 전자 장치는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC, 웨어러블 기기 등을 포함할 수 있다. 이러한 전자 장치(20000)는 하나 이상의 이미징 장치 및 하나 이상의 이미징 장치로부터 생성된 이미지 데이터를 처리하는 AP를 포함할 수 있다.The
멀티 이미징 장치(1100)는 제1 이미징 장치(1100a), 제2 이미징 장치(1100b), 제3 이미징 장치(1100c)를 포함할 수 있다. 설명의 편의를 위해 3 개의 이미징 장치(1100a 내지 1100c)가 도시되었으나, 이에 제한되지 않고 다양한 수의 이미징 장치들이 멀티 이미징 장치(1100)에 포함될 수 있다.The
멀티 이미징 장치(1100)에 포함된 이미징 장치들은 제1 및 제2 스티칭 방향에 기초하여 복수의 원본 이미지들을 스티칭하여 병합 이미지를 생성할 수 있다. 그리고 멀티 이미징 장치(1100)에 포함된 이미징 장치들은 중첩 영역에서 연산된 변환 매트릭스 및 중첩 영역에서 탐지된 심에 기초하여 복수의 원본 이미지들을 스티칭할 수 있다. 이에 따라, 다양한 방향으로 배치된 이미지들을 스티칭하고, 적은 연산량 및 적은 처리 시간으로 병합 이미지를 생성할 수 있다.Imaging devices included in the
이하, 도 11b을 참조하여, 이미징 장치(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 이미징 장치들(1100a, 1100c)에 대해서도 동일하게 적용될 수 있다.Hereinafter, a detailed configuration of the
도 11b를 참조하면, 제2 이미징 장치(1100b)는 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하 OPFE)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.Referring to FIG. 11B , the
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다. The
예시적 실시예에 따르면, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.According to an exemplary embodiment, the
예시적 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 21도(degree) 이하이고, 마이너스(-) A방향으로는 21도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.In an exemplary embodiment, as shown, the maximum angle of rotation of the
예시적 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있으나, 이에 제한되지는 않는다.In an exemplary embodiment, the
예시적 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.In an exemplary embodiment, the
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제1 방향(X)으로 이동하여 이미징 장치(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 이미징 장치(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 이미징 장치(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.The
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.The
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144), 및 메모리(1146)를 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 도 11b의 이미지 센서(1142)는 도 1의 이미지 센서(110)와 기능적으로 유사할 수 있으므로, 중복되는 설명은 생략한다. 제어 로직(1144)은 제2 이미징 장치(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 제2 이미징 장치(1100b)의 동작을 제어할 수 있다. The
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 제2 이미징 장치(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 제2 이미징 장치(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보, 및 이미지 처리에 필요한 캘리브레이션 정보 등을 포함할 수 있다. 제2 이미징 장치(1100b)가 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.The
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 예시적 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.The
예시적 실시예에서, 복수의 이미징 장치들(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 이미징 장치들(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다. In an exemplary embodiment, each of the plurality of
예시적 실시예에서, 복수의 이미징 장치들(1100a, 1100b, 1100c) 중 하나의 이미징 장치(예를 들어, 제2 이미징 장치(1100b))는 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 이미징 장치고, 나머지 이미징 장치들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 이미징 장치일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.In an exemplary embodiment, one imaging device (eg, the
예시적 실시예에서, 복수의 이미징 장치들(1100a, 1100b, 1100c) 중 하나의 이미징 장치(예를 들어, 제3 이미징 장치(1100c))는 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, AP(4000)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 이미징 장치(예를 들어, 제1 이미징 장치(1100a) 또는 제2 이미징 장치(1100b))로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.In an exemplary embodiment, one imaging device (eg, the
예시적 실시예에서, 복수의 이미징 장치들(1100a, 1100b, 1100c) 중 적어도 두 개의 이미징 장치(예를 들어, 제1 이미징 장치(1100a) 또는 제2 이미징 장치(1100b))는 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 이미징 장치들(1100a, 1100b, 1100c) 중 적어도 두 개의 이미징 장치(예를 들어, 제1 이미징 장치(1100a) 또는 제2 이미징 장치(1100b))의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 복수의 이미징 장치들(1100a, 1100b, 1100c) 중 제1 이미징 장치(1100a)은 제2 및 제3 이미징 장치들(1100b, 1100c)보다 관측 시야(FOV)가 작을 수 있다. 그러나 이에 제한되지 않고, 멀티 이미징 장치(1100)는 본래 사용되던 이미징 장치들(1100a, 1100b, 1100c)보다 관측 시야(FOV)가 큰 이미징 장치를 더 포함할 수도 있다.In an exemplary embodiment, at least two imaging devices (eg, the
또한, 몇몇 실시예에서, 복수의 이미징 장치들(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 이미징 장치들(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.Also, in some embodiments, each of the plurality of
몇몇 실시예에서, 복수의 이미징 장치들(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 이미징 장치들(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 이미징 장치들(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.In some embodiments, each of the plurality of
AP(4000)는 복수의 서브 프로세서들(4100a, 4100b, 4100c), 디코더(4200), 이미징 장치 컨트롤러(4300), 메모리 컨트롤러(4400) 및 내부 메모리(4500)를 포함할 수 있다.The
AP(4000)는 복수의 이미징 장치들(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, AP(4000)와 복수의 이미징 장치들(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.The
각각의 이미징 장치(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 프로세서들(4100a, 4100b, 4100c)에 제공될 수 있다. 예를 들어, 제1 이미징 장치(1100a)로부터 생성된 이미지 데이터는 제1 이미지 신호 라인(ISLa)을 통해 제1 서브 프로세서(4100a)에 제공될 수 있고, 제2 이미징 장치(1100b)로부터 생성된 이미지 데이터는 제2 이미지 신호 라인(ISLb)을 통해 제2 서브 프로세서(4100b)에 제공되고, 제3 이미징 장치(1100c)로부터 생성된 이미지 데이터는 제3 이미지 신호 라인(ISLc)을 통해 제3 서브 프로세서(4100c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다. Image data generated from each of the
예시적 실시예에서, 하나의 서브 프로세서가 복수의 이미징 장치에 대응되도록 배치될 수도 있다. 예를 들어, 제1 서브 프로세서(4100a) 및 제3 서브 프로세서(4100c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 프로세서로 통합되어 구현되고, 이미징 장치(1100a)와 이미징 장치(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.In an exemplary embodiment, one subprocessor may be arranged to correspond to a plurality of imaging devices. For example, the first sub-processor 4100a and the third sub-processor 4100c are not implemented separately from each other as shown, but integrated into one sub-processor, and the
이미징 장치 컨트롤러(4300)는 각각의 이미징 장치(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 이미징 장치 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 이미징 장치(1100a, 1100b, 1100c)에 제공될 수 있다.The
복수의 이미징 장치들(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 이미징 장치들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 이미징 장치(1100a, 1100b, 1100c)에 제공될 수 있다.One of the plurality of
이미징 장치 컨트롤러(4300)의 제어 하에, 마스터 및 슬레이브로서 동작하는 이미징 장치들(1100a, 1100b, 1100c)이 변경될 수 있다. 예를 들어, 제1 이미징 장치(1100a)의 시야각이 제2 이미징 장치(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 제2 이미징 장치(1100b)가 마스터로서 동작할 수 있고, 제1 이미징 장치(1100a)가 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 제1 이미징 장치(1100a)가 마스터로서 동작하고, 제2 이미징 장치(1100b)가 슬레이브로서 동작할 수 있다.Under the control of the
예시적 실시예에서, 이미징 장치 컨트롤러(4300)로부터 각각의 이미징 장치(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 제2 이미징 장치(1100b)가 마스터 카메라이고, 제1 및 제3 이미징 장치들(1100a, 1100c)이 슬레이브 카메라인 경우, 이미징 장치 컨트롤러(4300)는 제2 이미징 장치(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 제2 이미징 장치(1100b)는 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 제1 및 제3 이미징 장치들(1100a, 1100c)에 제공할 수 있다. 제1 이미징 장치(1100b)와 제2 및 제3 이미징 장치들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 AP(4000)에 전송할 수 있다.In an exemplary embodiment, a control signal provided from the
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As above, exemplary embodiments have been disclosed in the drawings and specifications. Embodiments have been described using specific terms in this specification, but they are only used for the purpose of explaining the technical spirit of the present disclosure, and are not used to limit the scope of the present disclosure described in the meaning or claims. Therefore, those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical scope of protection of the present disclosure should be determined by the technical spirit of the appended claims.
Claims (10)
상기 복수의 원본 이미지들에 기초하여 병합 이미지를 생성하기 위한 연산을 수행하는 이미지 프로세서를 포함하고,
상기 이미지 프로세서는
제1 스티칭(stitching) 방향에 기초하여 상기 복수의 원본 이미지들을 복수의 스티칭 그룹들로 분류하고, 동일한 스티칭 그룹에 포함된 원본 이미지들을 스티칭하여 복수의 중간 이미지들을 생성하고, 제2 스티칭 방향에 기초하여 상기 복수의 중간 이미지들을 스티칭하여 상기 병합 이미지를 생성하는 것을 특징으로 하는
이미징 장치.an image sensor generating a plurality of original images; and
An image processor performing an operation to generate a merged image based on the plurality of original images;
The image processor
Classifying the plurality of original images into a plurality of stitching groups based on a first stitching direction, generating a plurality of intermediate images by stitching original images included in the same stitching group, and based on a second stitching direction characterized in that the merged image is generated by stitching the plurality of intermediate images
imaging device.
상기 제1 및 제2 스티칭 방향은 행 방향 또는 열 방향인 것을 특징으로 하는
이미징 장치.According to claim 1,
Characterized in that the first and second stitching directions are row or column directions
imaging device.
상기 이미징 장치는
회전하여 상기 복수의 원본 이미지들의 시야를 조절하는 광학 장치를 더 포함하고,
상기 이미지 프로세서는
상기 광학 장치의 회전 정보에 기초하여 상기 제1 및 제2 스티칭 방향을 결정하는 것을 특징으로 하는
이미징 장치.According to claim 2,
The imaging device
Further comprising an optical device for adjusting the field of view of the plurality of original images by rotating;
The image processor
Characterized in that the first and second stitching directions are determined based on rotation information of the optical device.
imaging device.
상기 이미지 프로세서는
상기 동일한 스티칭 그룹에 포함된 원본 이미지들 간의 중첩 영역에서 연산된 변환 매트릭스 및 상기 중첩 영역에서 탐지된 심(seam)에 기초하여 상기 동일한 스티칭 그룹에 포함된 원본 이미지들을 블렌딩(blending)하여 상기 동일한 스티칭 그룹에 포함된 원본 이미지들을 스티칭하는 것을 특징으로 하는
이미징 장치.According to claim 1,
The image processor
The same stitching by blending original images included in the same stitching group based on a transformation matrix calculated in an overlapping area between original images included in the same stitching group and a seam detected in the overlapping area. Characterized in that the original images included in the group are stitched
imaging device.
상기 이미지 프로세서는
상기 동일한 스티칭 그룹에 포함된 원본 이미지들 간의 중첩 영역 내의 특징점에 기초하여 상기 변환 매트릭스를 연산하는 것을 특징으로 하는
이미징 장치.According to claim 4,
The image processor
Characterized in that the transformation matrix is calculated based on feature points in an overlapping area between original images included in the same stitching group
imaging device.
상기 이미징 장치는
상기 변환 매트릭스가 저장된 메모리를 더 포함하고,
상기 이미지 프로세서는
상기 메모리로부터 리드된 상기 변환 매트릭스에 기초하여 상기 동일한 스티칭 그룹에 포함된 원본 이미지들을 블렌딩하는 것을 특징으로 하는
이미징 장치.According to claim 4,
The imaging device
Further comprising a memory in which the transformation matrix is stored,
The image processor
Characterized in that the original images included in the same stitching group are blended based on the transformation matrix read from the memory.
imaging device.
상기 이미지 프로세서는
상기 동일한 스티칭 그룹에 포함된 원본 이미지들에 대한 보정을 수행한 후 상기 동일한 스티칭 그룹에 포함된 원본 이미지들을 블렌딩하는 것을 특징으로 하는
이미징 장치.According to claim 4,
The image processor
After correcting the original images included in the same stitching group, the original images included in the same stitching group are blended.
imaging device.
상기 이미지 프로세서는
상기 동일한 스티칭 그룹에 포함된 원본 이미지들에서 불필요한 영역을 크로핑(cropping)한 후 상기 동일한 스티칭 그룹에 포함된 원본 이미지들을 블렌딩하는 것을 특징으로 하는
이미징 장치.According to claim 4,
The image processor
After cropping unnecessary areas from the original images included in the same stitching group, the original images included in the same stitching group are blended.
imaging device.
상기 이미징 장치는
이미지 프로세싱 데이터를 저장하기 위한 메모리를 더 포함하고,
상기 이미지 프로세서는
상기 메모리의 최적화가 필요하면, 상기 동일한 스티칭 그룹에 포함된 원본 이미지들에서 불필요한 영역을 크로핑(cropping)한 후 상기 동일한 스티칭 그룹에 포함된 원본 이미지들을 블렌딩하는 것을 특징으로 하는
이미징 장치.According to claim 8,
The imaging device
Further comprising a memory for storing image processing data,
The image processor
Characterized in that, if optimization of the memory is required, the original images included in the same stitching group are blended after cropping unnecessary areas from the original images included in the same stitching group.
imaging device.
상기 이미지 프로세서는
상기 복수의 중간 이미지들 간의 중첩 영역에서 연산된 변환 매트릭스 및 상기 중첩 영역에서 탐지된 심에 기초하여 상기 복수의 중간 이미지들을 블렌딩하여 상기 복수의 중간 이미지들을 스티칭하는 것을 특징으로 하는
이미징 장치.According to claim 1,
The image processor
Characterized in that the plurality of intermediate images are stitched by blending the plurality of intermediate images based on a transformation matrix calculated in an overlapping region between the plurality of intermediate images and a seam detected in the overlapping region.
imaging device.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220085879A KR20230068979A (en) | 2021-11-11 | 2022-07-12 | Imaging device |
US17/978,489 US20230146691A1 (en) | 2021-11-11 | 2022-11-01 | Imaging device |
CN202211369160.4A CN116132821A (en) | 2021-11-11 | 2022-11-03 | Image forming apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20210155151 | 2021-11-11 | ||
KR1020210155151 | 2021-11-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230068954A true KR20230068954A (en) | 2023-05-18 |
Family
ID=86545629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220029468A KR20230068954A (en) | 2021-11-11 | 2022-03-08 | Imaging device and image processing method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230068954A (en) |
-
2022
- 2022-03-08 KR KR1020220029468A patent/KR20230068954A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI387936B (en) | A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method | |
US8416282B2 (en) | Camera for creating a panoramic image | |
US20160295108A1 (en) | System and method for panoramic imaging | |
JP2017525206A (en) | Multi-camera system without parallax that can capture perfectly spherical images | |
JP4680104B2 (en) | Panorama image creation method | |
JP2010501932A (en) | Modeling and texturing of numerical surface models in cartographic applications | |
KR101905580B1 (en) | Method and system for reproducing situation using mobile device having image shooting function | |
CN109668545B (en) | Positioning method, positioner and positioning system for head-mounted display device | |
US20210405518A1 (en) | Camera system with a plurality of image sensors | |
CN111737518A (en) | Image display method and device based on three-dimensional scene model and electronic equipment | |
JP5846172B2 (en) | Image processing apparatus, image processing method, program, and imaging system | |
CN110213492A (en) | Equipment imaging method, device, storage medium and electronic equipment | |
US20090059018A1 (en) | Navigation assisted mosaic photography | |
US11627257B2 (en) | Electronic device including image sensor having multi-crop function | |
CN104460011B (en) | Stereoscopic imaging apparatus and stereoscopic image generation method | |
KR20230068954A (en) | Imaging device and image processing method | |
KR20230068979A (en) | Imaging device | |
US11948316B2 (en) | Camera module, imaging device, and image processing method using fixed geometric characteristics | |
US20230146691A1 (en) | Imaging device | |
US10785470B2 (en) | Image processing apparatus, image processing method, and image processing system | |
WO2022206728A1 (en) | Real-time framing method, panoramic camera, and computer readable storage medium | |
US20220279127A1 (en) | Image signal processor for performing auto zoom and auto focus, image processing method thereof, and image processing system including the image signal processor | |
US11869137B2 (en) | Method and apparatus for virtual space constructing based on stackable light field | |
CN109945840B (en) | Three-dimensional image shooting method and system | |
JP6439845B2 (en) | Image processing device |