KR101283383B1 - 멀티카메라 통합 영상처리 시스템 - Google Patents
멀티카메라 통합 영상처리 시스템 Download PDFInfo
- Publication number
- KR101283383B1 KR101283383B1 KR1020120010539A KR20120010539A KR101283383B1 KR 101283383 B1 KR101283383 B1 KR 101283383B1 KR 1020120010539 A KR1020120010539 A KR 1020120010539A KR 20120010539 A KR20120010539 A KR 20120010539A KR 101283383 B1 KR101283383 B1 KR 101283383B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image data
- image processing
- unit
- data
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 154
- 238000012937 correction Methods 0.000 claims abstract description 23
- 230000000694 effects Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 8
- 230000004075 alteration Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 2
- 238000003702 image correction Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000003381 stabilizer Substances 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
본 발명은 멀티카메라 통합 영상처리 시스템에 관한 것으로, 복수의 영상촬영 기기에서 생성된 복수 개의 영상 데이터를 이더넷을 통해 전달받아 통합 처리하는 멀티카메라 통합 영상처리 시스템에 관한 것이다. 특히, 본 발명은 복수의 영상촬영 기기에서 생성된 복수 개의 영상 데이터를 통합 처리함에 있어서 멀티미디어 CPU에서 발생할 수 있는 과부하 문제를 방지할 수 있는 효율적인 구조로 이루어진 멀티카메라 통합 영상처리 시스템에 관한 것이다. 본 발명에 따르면 복수의 영상촬영 기기에서 영상 데이터의 제 1 보정을 수행한 후에 멀티미디어 CPU로 전송하고 멀티미디어 CPU에서는 이미 제 1 보정이 수행된 복수의 영상 데이터를 이더넷을 통해 제공받아 통합적으로 제 2 보정을 수행하기 때문에 세부적인 영상 분석 및 개선이 용이하다는 장점이 있다.
Description
본 발명은 멀티카메라 통합 영상처리 시스템에 관한 것으로, 복수의 영상촬영 기기에서 생성된 복수 개의 영상 데이터를 이더넷을 통해 전달받아 통합 처리하는 멀티카메라 통합 영상처리 시스템에 관한 것이다. 특히, 본 발명은 복수의 영상촬영 기기에서 생성된 복수 개의 영상 데이터를 통합 처리함에 있어서 멀티미디어 CPU에서 발생할 수 있는 과부하 문제를 방지할 수 있는 효율적인 구조로 이루어진 멀티카메라 통합 영상처리 시스템에 관한 것이다.
현재 고급 자동차를 시작으로 장착되기 시작하고 있는 주차 지원 시스템에 대해 살펴보면 차량 전면의 좌우에 설치된 카메라에 의해서 차량의 좌우 양측을 촬영한 영상 데이터와, 자동차의 이동거리 및 방위의 변화 상황에 기초하여 주차공간의 주변에 위치하는 장해물인 다른 차량과 자동차와의 수평면상의 위치 관계를 검출하고, 그 위치 관계를 평면도로서 나타내는 합성 화상을 생성하여 차량 내부의 디스플레이 장치로 표시한다.
일반적으로 차량 AVM(Around View Monitor) 시스템이라고 불리는 기술로서 이러한 시스템은 차량 전후좌우에 장착된 복수의 카메라들로부터 복수 개의 영상 데이터를 지속적으로 제공받고, 그 제공받은 복수 개의 영상 데이터를 이용하여 자동차의 어라운드 뷰를 생성할 수 있다.
이러한 차량 AVM 시스템은 차량 전후좌우에 장착되어 피사체를 촬영하여 영상 데이터를 생성하는 복수의 카메라들, 그리고 상기 복수의 카메라들로부터 영상 데이터를 제공받고, 제공받은 영상 데이터를 이용하여 자동차의 어라운드 뷰를 생성하는 영상 처리 모듈로 구성될 수 있다.
하지만, 복수의 카메라들이 촬영한 영상 데이터들은 서로 다를 수 있기 때문에 영상 처리 모듈이 이러한 서로 다른 영상 데이터들을 이용하여 어라운드 뷰를 생성할 경우 영상 데이터간의 불일치(misfit) 등과 같은 이유로 어라운드 뷰에는 결함이 발생될 수 있다.
이와 같은 문제를 해결하기 위해서 영상 처리 모듈은 복수의 카메라들이 촬영한 영상 데이터를 제공받아 이미지 개선 및 왜곡 보정을 처리한 후에 정합시켜 어라운드 뷰를 생성한다. 이와 같이, 카메라에서 촬영된 영상 데이터가 왜곡 보정이 이루어지지 않고 게이트웨이를 통해 영상 처리 모듈로 전송될 경우, 영상 처리 모듈은 이미지 개선 및 왜곡 보정 프로세싱으로 인해 과부하가 발생될 수 있다는 단점이 있다.
또한, 복수의 카메라들이 촬영한 영상 데이터들은 게이트웨이를 통해 영상 처리 모듈로 전송되기 때문에, 게이트웨이 사용을 위한 추가적인 비용이 발생하고, 복수의 카메라들, 게이트웨이 및 영성 처리 모듈 간의 유지 보수 및 인터페이스 조율에 어려움이 발생한다는 문제점이 있다.
본 발명의 목적은 본 발명은 복수의 영상촬영 기기에서 생성된 복수 개의 영상 데이터를 이더넷을 통해 전달받아 통합 처리하는 멀티카메라 통합 영상처리 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 복수의 영상촬영 기기에서 생성된 복수 개의 영상 데이터를 통합 처리함에 있어서 멀티미디어 CPU에서 발생할 수 있는 과부하 문제를 방지할 수 있는 효율적인 구조를 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 멀티카메라 통합 영상처리 시스템은, 피사체에 대한 영상 데이터를 생성하는 이미지 센서(310)와, 위 생성된 영상 데이터에 대한 이미지 개선 신호처리 및 왜곡보정을 수행하는 멀티미디어 프로세싱부(330)와, 영상 데이터를 압축하는 영상 압축부(340)와, 위 압축된 영상 데이터를 외부로 전송하는 데이터 전송부(350)와, 이미지 센서와 멀티미디어 프로세싱부와 영상 압축부와 데이터 전송부의 동작을 제어하는 카메라 제어부(320)를 구비하여 이루어지는 복수 개의 영상촬영 기기(300-1, 300-2, 300-3, 300-4); 복수 개의 영상촬영 기기와 인터페이스하기 위한 내장 스위치(450)와, 복수 개의 영상촬영 기기로부터 제공되는 복수 개의 영상 데이터를 수신하는 영상 수신부(410)와, 위 수신된 영상 데이터를 디코딩하고 위 디코딩된 영상으로부터 카메라 렌즈효과를 보정하며 위 보정된 복수 개의 영상 데이터를 병합하는 영상처리부(430)와, 영상 수신부와 영상처리부의 동작을 제어하는 영상처리 제어부(420)를 구비하여 이루어지는 영상처리 장치(400);를 포함하여 구성된다.
본 발명의 멀티카메라 통합 영상처리 시스템에서 영상촬영 기기의 멀티미디어 프로세싱부(330)는 영상 데이터에 대한 3A 신호처리, 콘트라스트 처리, 노이즈제거, CAC(색수차 보정), LSC(렌즈 암부 보정), WDR(역광보정), 왜곡보정, 흔들림 보정의 하나 이상을 수행한다.
본 발명의 멀티카메라 통합 영상처리 시스템에서 영상촬영 기기의 데이터 전송부(350)는 이더넷 망을 통해 영상 데이터를 전송하는 이더넷 하드웨어를 포함하고 영상처리 장치의 내장 스위치(450)는 이더넷 스위치를 포함하여 구성되는 것이 바람직하다.
본 발명의 멀티카메라 통합 영상처리 시스템에서 영상처리 장치의 영상처리부(430)는, 위 수신한 복수 개의 영상 데이터를 디코딩하는 영상 복호부(431); 위 디코딩된 영상으로부터 카메라 렌즈효과를 보정하는 영상 보정부(432); 위 보정된 복수 개의 영상 데이터를 병합하는 영상 병합부(433);을 포함하여 구성된다. 이때, 영상 병합부(433)는 복수 개의 영상 데이터를 가장자리를 매칭시켜 병합함으로써 어라운드뷰 디스플레이를 구성한다.
본 발명의 멀티카메라 통합 영상처리 시스템에 따르면 복수의 영상촬영 기기에서 영상 데이터의 제 1 보정을 수행한 후에 멀티미디어 CPU로 전송하고 멀티미디어 CPU에서는 이미 제 1 보정이 수행된 복수의 영상 데이터를 이더넷을 통해 제공받아 통합적으로 제 2 보정을 수행하기 때문에 세부적인 영상 분석 및 개선이 용이하다는 장점이 있다.
[도 1a]는 일반적인 멀티카메라 통합 영상처리 시스템의 내부 구조를 개략적으로 도시한 블록도이고, [도 1b]는 이러한 멀티카메라 통합 영상처리 시스템을 통해 획득한 어라운드뷰(AVM) 이미지의 일 예를 나타내는 도면.
[도 2]는 본 발명에 따른 영상처리 시스템의 내부 구조를 개략적으로 도시한 블록도.
[도 3]은 본 발명에 따른 영상처리 시스템에서 영상촬영 기기의 내부 구조를 개략적으로 도시한 블록도.
[도 4]는 본 발명에 따른 영상처리 시스템의 영상처리 장치의 내부 구조를 개략적으로 도시한 블록도.
[도 5]는 본 발명에 따른 영상처리 시스템에서 이루어지는 영상처리를 설명하기 위한 개념도.
[도 2]는 본 발명에 따른 영상처리 시스템의 내부 구조를 개략적으로 도시한 블록도.
[도 3]은 본 발명에 따른 영상처리 시스템에서 영상촬영 기기의 내부 구조를 개략적으로 도시한 블록도.
[도 4]는 본 발명에 따른 영상처리 시스템의 영상처리 장치의 내부 구조를 개략적으로 도시한 블록도.
[도 5]는 본 발명에 따른 영상처리 시스템에서 이루어지는 영상처리를 설명하기 위한 개념도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명의 실시예를 도면을 참조하여 상세하게 설명한다.
본 발명은 멀티카메라 통합 영상처리 시스템에 관한 것으로, 이하에서는 영상처리 시스템의 실시예로 AVM(Around View Monitor) 시스템을 예로 들어 설명하겠지만, 본 발명의 영상처리 시스템이 AVM만 적용되는 것은 아니다. 즉, 본 발명에 따른 멀티카메라 통합 영상처리 시스템은 복수의 영상촬영 기기에서 생성된 복수 개의 영상 데이터를 처리하여 응용 가능한 모든 분야에 적용될 수 있다. 그러면 이하에서는, [도 1]을 참조하여 일반적인 영상처리 시스템의 내부 구조를 보다 구체적으로 설명하기로 한다.
[도 1a]는 종래기술에 따른 일반적인 멀티카메라 통합 영상처리 시스템(100)의 내부 구조를 개략적으로 도시한 블록도이고, [도 1b]는 이러한 멀티카메라 통합 영상처리 시스템을 통해 획득한 어라운드뷰(AVM) 이미지의 일 예를 나타내는 도면이다. [도 1a]를 참조하면, 일반적인 영상처리 시스템(100)은 복수 개의 영상촬영 기기(101-1, 101-2, 101-3, 101-4), 스위치(102), 영상처리 장치(103)로 구성될 수 있다.
복수 개의 영상촬영 기기(101-1, 101-2, 101-3, 101-4)는 피사체를 촬영하여 영상 데이터를 각각 생성하고, 각각 생성한 영상 데이터를 스위치(102)를 통해서 영상처리 장치(103)로 제공할 수 있다.
영상처리 장치(103)는 스위치(102)의 스위칭에 따라 복수 개의 영상촬영 기기(101-1, 101-2, 101-3, 101-4)로부터 영상 데이터를 제공받고, 그 제공받은 영상 데이터를 처리할 수 있다.
일반적인 영상처리 시스템(100)에서는 복수 개의 영상촬영 기기(101-1, 101-2, 101-3, 101-4), 복수 개의 영상촬영 기기(101-1, 101-2, 101-3, 101-4)의 게이트웨이 역할을 하는 스위치(102)가 포함되어야 하고, 스위치(102)의 스위칭에 따라 복수 개의 영상촬영 기기(101-1, 101-2, 101-3, 101-4)에 의해 생성된 영상 데이터를 처리하는 영상처리 장치(103)가 따로 존재해야 한다.
또한, 복수 개의 영상촬영 기기(101-1, 101-2, 101-3, 101-4)는 이미지 센서에 기본 제공되는 ISP(Image Signal Processor: 영상조정 프로세서)를 통해 영상 데이터에 대한 1차 보정처리를 수행하고, 그 보정한 영상 데이터를 스위치(102)를 통해 영상처리 장치(103)로 제공한다.
그 후, 복수 개의 영상촬영 기기(101-1, 101-2, 101-3, 101-4)로부터 1차 보정처리만을 수행한 복수 개의 영상 데이터가 영상처리 장치(103)로 제공되며, 영상처리 장치(103)는 이들 영상 데이터에 대해 2차 왜곡보정 및 화질개선 처리, 그리고 각종 어플리케이션 레벨의 부가 처리를 수행한다. 영상처리 장치(103)에서 이루어지는 이러한 작업은 일반적으로 상당한 프로세싱 파워를 요구하며, 그에 따라 영상촬영 기기의 갯수가 증가하게 되면 고성능의 프로세서를 영상처리 장치(103)에 채용해야 한다.
또한, 영상촬영 기기(101-1, 101-2, 101-3, 101-4)로부터 연속적으로 영상 데이터를 제공함에 따라 영상처리 장치(103)로 제공되는 데이터의 총합은 상당히 많게 되고, 그에 따라 영상처리 장치(103)는 높은 데이터 쓰루풋(throughput)이 요구된다. 이는 일반적인 멀티카메라 통합 영상처리 시스템(100)에서 고화질의 영상촬영 기기를 채용하기 곤란하게 만든다.
이러한 문제점으로 말미암아 [도 1a]에 도시된 일반적인 멀티카메라 통합 영상처리 시스템(100)에서는 실시간 영상 데이터 처리에 딜레이 발생 또는 화면 끊김이 발생하는 문제점이 있다. 그러면 이하에서는, 이러한 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 영상처리 시스템의 내부 구조를 좀더 구체적으로 설명하기로 한다.
[도 2]는 본 발명에 따른 멀티카메라 통합 영상처리 시스템(1000)의 내부 구조를 개략적으로 도시한 블록도이다. [도 2]를 참조하면, 영상처리 시스템(1000)은 복수 개의 영상촬영 기기(300-1, 300-2, 300-3, 300-4)와 영상처리 장치(400)를 포함하여 구성될 수 있다.
[도 2]의 실시예에서, 복수 개의 영상촬영 기기(300-1, 300-2, 300-3, 300-4)와 영상처리 장치(400)는 이더넷(Ethernet), 무선 통신망, 예를 들어 CDMA(Code Division Multiple Access), 근거리 통신, 블루투스, 적외선 통신 등과 같은 통신 방법을 통해 유무선 네트워크를 통해 연결될 수 있으며, 예시되지 않은 다른 기술을 통해서도 연결이 달성될 수 있다.
또한, [도 2]의 실시예에서, 가격이나 속도를 감안하여 복수 개의 영상촬영 기기(300-1, 300-2, 300-3, 300-4)와 영상처리 장치(400)는 유선 랜을 통해 유선으로 연결되는 것이 바람직한데, 이에 한정되는 것은 아니다.
복수 개의 영상촬영 기기(300-1, 300-2, 300-3, 300-4)는 서로 다른 피사체를 촬영하여 영상 데이터를 각각 생성하고, 생성한 영상 데이터를 각각 처리하여 영상처리 장치(400)로 제공할 수 있다. 여기서, 복수 개의 영상촬영 기기(300-1, 300-2, 300-3, 300-4)는 서로 다른 피사체를 촬영하여 영상 데이터를 생성할 수 있는 장치로써, DSLR, 디지털 카메라, CCTV(Closed Circuit Television), 블랙박스 등이 될 수 있다.
예를 들어, 복수 개의 영상촬영 기기(300-1, 300-2, 300-3, 300-4)는 자동차의 서로 다른 영역(앞, 뒤, 좌, 우)에 장착되어 고정되고, 고정된 위치에서 서로 다른 피사체를 촬영하여 영상 데이터를 각각 생성할 수 있다.
영상처리 장치(400)는 복수 개의 영상촬영 기기(300-1, 300-2, 300-3, 300-4)로부터 복수 개의 영상 데이터를 제공받고, 그 제공받은 복수 개의 영상 데이터를 처리할 수 있다. 그러면 이하에서는, [도 3]을 참조하여 본 발명의 일 실시예에 따른 영상처리 시스템(1000)에서 영상촬영 기기(300-1, 300-2, 300-3, 300-4)의 내부 구조를 구체적으로 설명하기로 한다.
[도 3]은 본 발명에 따른 멀티카메라 통합 영상처리 시스템(1000)에서 영상촬영 기기(300-1)의 내부 구조를 개략적으로 도시한 블록도이다.
[도 3]의 실시예에서, 복수 개의 영상촬영 기기(300-1, 300-2, 300-3, 300-4) 중 어느 하나의 영상촬영 기기(300-1)의 내부 구조를 개략적으로 도시한 도면이다. 다른 영상촬영 기기(300-2, 300-3, 300-4)는 [도 3]에 도시된 것과 사실상 동일한 내부 구조를 포함할 수 있으며, 추가적으로 다른 구성요소를 포함하여 구성될 수 있다.
[도 3]을 참조하면, 영상촬영 기기(300-1)는 이미지 센서(310), 카메라 제어부(320), 멀티미디어 프로세싱부(330), 암호/압축부(340), 데이터 전송부(350)를 포함하여 구성될 수 있다. 그러면 이하에서는 영상촬영 기기(300-1)를 구성하는 구성요소를 차례로 설명하기로 한다.
이미지 센서(310)는 영상촬영 기기(300-1)에 장착된 렌즈를 통해 들어온 빛을 감지하고, 카메라 제어부(320)의 제어에 따라 피사체에 대한 영상 데이터를 생성한다. 여기서, 이미지 센서(310)는 영상촬영 기기에 장착된 렌즈를 통해 들어온 빛을 감지하여 피사체에 대한 영상 데이터를 생성하는 CCD(Charge Coupled Device) 센서나 CMOS(Complementary Metal Oxide Semiconductor) 센서를 포함하여 구성될 수 있으며, 다른 기술이 채용될 수도 있다.
이미지 센서(310)에서 생성된 영상 데이터는 멀티미디어 프로세싱부(330)로 전달된다. 멀티미디어 프로세싱부(330)는 이미지 센서(310)에 대한 3A 신호처리를 수행할 수 있는데, 이때 3A 신호처리를 수행하는 것이란 자동 노출 보정(AE: Auto Exposure), 자동 백색 균형(AWB: Auto White Balance), 자동 초점 보정(AF: Auto Focus)을 수행하는 것이다.
예를 들어, 멀티미디어 프로세싱부(330)는 영상 데이터의 적절한 밝기를 맞추기 위해 이미지 센서(310)의 노출을 제어하고, 영상 데이터에 대한 색조의 왜곡현상을 없애기 위해 청색과 적색의 균형을 자연광 상태와 유사하게 조절하기 위해 이미지 센서(310)의 백색 균형을 제어하고, 피사체의 움직임과 주위의 환경 등을 고려하여 최상의 영상 데이터를 획득하기 위한 정초점 위치를 찾을 수 있도록 이미지 센서(310)의 초점을 제어할 수 있다.
또한, 멀티미디어 프로세싱부(330)는 이미지 센서(310)에 대한 색수차 보정(CAC: Chromatic Aberration Correction)을 수행할 수 있다. 색수차는 영상촬영 기기(300-1, 300-2, 300-3, 300-4)의 이미지 센서(310)를 통해 피사체의 상을 맺게 하면 피사체의 색(빛의 파장)에 따라 피사체의 상의 위치나 배율이 달라져 발생하는 현상이다. 즉, 피사체가 빨강에 가까울수록(긴 파장의 빛일수록) 초점이 이미지 센서(310)에서 먼 곳에 맺히게 되므로 선명해 보이고, 피사체가 보라에 가까울수록(짧은 파장의 빛일수록) 이미지 센서(310)와 가까운 곳에 초점이 맺히므로 상이 덜 선명해 보이기 때문에, 멀티미디어 프로세싱부(330)는 이러한 색수차 보정을 수행할 수 있다.
또한, 멀티미디어 프로세싱부(330)는 이미지 센서(310)에 대한 렌즈 셰이딩 보정(LSC : lens shading correction, 렌즈 암부 보정)을 수행할 수 있다. 여기서, 렌즈 셰이딩이 발생되는 원인을 설명하면, 이미지 센서(310)의 주변영역은 렌즈의 광학 특성으로 인해 충분한 빛을 받지 못하고 이로 인해 신호의 감쇄가 야기되어 발생하게 된다. 렌즈 셰이딩에 의해서 영상 데이터의 픽셀 위치 및 컬러가 달라지게 된다. 따라서, 멀티미디어 프로세싱부(330)는 이미지 센서(310)에 대한 렌즈 셰이딩 보정을 수행할 수 있다. 예를 들어, 멀티미디어 프로세싱부(330)는 게인 테이블(미도시)로부터 이미지의 중심으로부터의 거리에 따라른 픽셀의 게인을 독출하고, 게인 테이블로부터 독출한 픽셀의 게인을 이용하여 보상 대상 픽셀을 보상하여 렌즈 왜곡의 보정을 수행할 수 있다.
또한, 멀티미디어 프로세싱부(330)는 이미지 센서(310)에 대한 역광보정(WDR: Wide Dynamic Range)을 수행할 수 있다. 즉, 멀티미디어 프로세싱부(330)는 피사체가 위치하는 환경이 매우 어두운 환경 또는 매우 밝은 환경일 때 피사체가 정확히 촬영되도록 이미지 센서(310)를 제어할 수 있다. 예를 들어, 멀티미디어 프로세싱부(330)는 피사체가 위치하는 환경이 매우 어두운 환경인 경우 노출 시간을 늘려 피사체를 촬영하도록 이미지 센서(310)를 제어할 수 있고, 피사체가 위치하는 환경이 매우 밝은 환경인 경우 노출 시간을 줄여 피사체를 촬영하도록 이미지 센서(310)를 제어할 수 있다.
또한, 멀티미디어 프로세싱부(330)는 이미지 센서(310)에 대한 흔들림 보정을 수행할 수 있다. 예를 들어, 멀티미디어 프로세싱부(330)는 OIS(Optical Image Stabilizer), DIS(Digital Image Stabilizer), EIS(Eletronic Image Stabilizer) 등을 사용하여 이미지 센서(310) 이동 또는 CCD 이동, 또는 디지털 이미지 보정을 사용하여 손떨림에 대응하여 보다 안정화된 영상 데이터를 획득하도록 이미지 센서(310)를 제어할 수 있다.
또한, 멀티미디어 프로세싱부(330)는 영상 데이터에 대한 콘트라스트 처리, 노이즈제거(De-noising), 왜곡보정 등을 수행할 수 있다.
한편, 카메라 제어부(320)는 이미지 센서(310)에서 생성된 영상 데이터를 암호처리 및 압축처리하도록 암호/압축부(340)를 제어할 수 있다. 암호/압축부(340)는 이미지 센서(310)로부터 영상 데이터를 제공받고, 영상 데이터를 암호 및 압축할 수 있다. 이때, 암호/압축부(340)는 제어부(160)의 제어에 따라 암호화 알고리즘에 기초하여 영상 데이터에 대한 암호화를 수행한 후, 암호화된 영상 데이터를 압축 알고리즘에 기초하여 압축할 수 있다.
또는, 암호/압축부(340)는 카메라 제어부(320)의 제어에 따라 압축 알고리즘에 기초하여 영상 데이터에 대한 압축을 먼저 수행한 후, 암호화 알고리즘에 기초하여 압축된 영상 데이터에 대한 암호화를 수행할 수도 있다.
예를 들어, 암호화 알고리즘은 암복호화에 사용되는 키(key)의 특성에 따라 암호화 키와 복호화 키가 동일한 대칭키(Symmetric Key) 암호화 알고리즘과, 암복호화 키가 서로 다른 비대칭키(Asymmetric Key) 암호화 알고리즘을 포함할 수 있고, 압축 알고리즘은 H.264/AVC, MPEG-2, MPEG-4 등이 될 수 있다.
또한, 이처럼 암호/압축부(340)에서 암호처리 및 압축된 영상 데이터는 데이터 전송부(350)로 제공된다. 데이터 전송부(350)는 암호/압축부(340)로부터 암호처리 및 압축된 영상 데이터를 제공받고, 그 제공받은 암호처리 및 압축된 영상 데이터를 영상처리 장치(400)로 제공할 수 있다. 그러면 이하에서는, [도 4]를 참조하여 본 발명에 따른 영상처리 시스템(1000)의 영상처리 장치(400)의 내부 구조를 구체적으로 설명하기로 한다.
[도 4]는 본 발명에 따른 영상처리 시스템의 영상처리 장치의 내부 구조를 개략적으로 도시한 블록도이다.
[도 4]를 참조하면, 영상처리 장치(400)는 영상 수신부(410), 영상처리 제어부(420), 영상 처리부(430), 내장 스위치(450)를 포함하여 구성될 수 있고, 영상 처리부(430)는 구체적으로 영상 복호부(431), 영상 보정부(432), 영상 병합부(433)로 이루어질 수 있다. 또한, 영상처리 장치(400)는 추가적으로 표시부(440)를 더 포함하여 구성될 수 있다.
내장 스위치(450)는 복수 개의 영상촬영 기기(300-1, 300-2, 300-3, 300-4)와 인터페이스하기 위한 구성으로 바람직하게는 이더넷 스위치(ethernet switch)로 이루어진다. 내장 스위치(450)는 외부에 별도 칩셋으로 부착되는 것이 아니라 영상처리 장치(400) 전체가 단일 칩셋으로 형성되는 것이 바람직하며, 이 때 내장 스위치(450)는 하드웨어로서 구현된다(hardwired).
영상 수신부(410)는 복수의 영상촬영 기기에 의해 촬영된 복수 개의 영상 데이터를 제공받고, 제공받은 복수 개의 영상 데이터를 영상 복호부(431)로 제공할 수 있다.
영상처리 제어부(420)는 영상 수신부(410)가 수신한 복수 개의 영상 데이터를 식별할 수 있다. 예를 들어, 영상처리 제어부(420)는 영상 수신부(410)로부터 영상촬영 기기 A에 의해 촬영된 영상 데이터를 제공받을 경우, 영상 데이터가 영상촬영 기기 A에 의해 촬영된 데이터임을 식별할 수 있다.
또한, 영상처리 제어부(420)는 영상 수신부(410)가 수신한 복수 개의 영상 데이터를 식별하여, 복수 개의 영상 데이터가 서로 다른 영상 촬영기기에 의해 촬영되었다고 판단되면, 복수 개의 영상 데이터를 병합하도록 영상 병합부(433)를 제어할 수 있다.
또한, 영상처리 제어부(420)는 영상 수신부(410)가 수신한 복수 개의 영상 데이터에 대한 복호화(디코딩)를 실행하도록 영상 복호부(431)를 제어하고, 추가로 복수 개의 영상 데이터에 대한 렌즈 왜곡을 보정하도록 영상 보정부(432)를 제어할 수 있다.
영상 복호부(431)는 영상 수신부(410)로부터 복수 개의 영상 데이터를 제공받아 복호화(디코딩)를 수행할 수 있다. 예를 들어, 영상 복호부(431)는 영상 수신부(410)로부터 수신한 복수 개의 영상 데이터의 암호를 해제하고 압축처리를 복호화할 수 있다.
영상 보정부(432)는 영상 복호부(431)로부터 복수 개의 영상 데이터를 제공받고, 영상처리 제어부(420)의 제어에 따라 복수 개의 영상 데이터의 왜곡을 보정하여 평면 이미지를 만들 수 있다. 영상 보정부(432)는 왜곡이 보정된 영상 데이터를 영상 병합부(433)로 제공할 수 있다.
영상 병합부(433)는 영상 보정부(432)로부터 복수 개의 영상 데이터를 제공받고, 영상처리 제어부(420)의 제어에 따라 복수 개의 영상 데이터를 병합할 수 있다. 바람직하게는 영상 병합부(433)는 복수 개의 영상 데이터를 가장자리를 매칭시켜 병합함으로써 어라운드뷰 디스플레이를 구성한다. 또한, 영상 병합부(433)는 영상처리 제어부(420)의 제어에 따라 병합 생성한 영상 데이터를 표시부(440)로 제공할 수 있다.
표시부(440)는 영상 병합부(433)로부터 복수 개의 영상 데이터를 제공받고, 영상처리 제어부(420)의 제어에 따라 제공받은 복수 개의 영상 데이터를 표시할 수 있다. 예를 들어, 표시부(440)는 영상처리부(430)로부터 자동차 정면에 대한 영상 데이터 및 자동차 뒷면에 대한 영상 데이터를 제공받아 표시할 수 있다. 그러면 이하에서는, [도 5]를 참조하여 본 발명에 따른 영상처리 시스템(1000)에서 이루어지는 영상처리를 설명하기로 한다.
[도 5]는 본 발명에 따른 영상처리 시스템에서 이루어지는 영상처리를 설명하기 위한 개념도이다.
[도 5]의 실시예에서, 복수 개의 영상촬영 기기(도 2, 300-1, 300-2, 300-3, 300-4)는 자동차 외부의 일측면, 예를 들어 앞쪽, 뒤쪽, 왼쪽 및 오른쪽에 장착되어 서로 다른 피사체를 촬영하여 왼쪽(501), 뒤쪽(502), 앞쪽(503), 오른쪽(504)의 영상 데이터를 실시간으로 생성할 수 있다.
복수 개의 영상촬영 기기(도 2, 300-1, 300-2, 300-3, 300-4)는 피사체를 촬영하여 이미지 데이터를 생성하고, 생성한 영상 데이터를 영상처리 장치(도 2, 400)로 제공할 수 있다.
영상처리 장치(도 2, 400)는 영상촬영 기기(도 2, 300-1, 300-2, 300-3, 300-4)로부터 왼쪽(501), 뒤쪽(502), 앞쪽(503), 오른쪽(504)의 영상 데이터를 수신하고, 수신한 복수 개의 영상 데이터의 왜곡을 보정할 수 있다.
또한, 영상처리 장치(도 2, 400)는 왼쪽(501), 뒤쪽(502), 앞쪽(503), 오른쪽(504)의 영상 데이터가 서로 다른 영상촬영 기기로부터 수신되었다고 판단되면 복수 개의 영상 데이터를 병합하여 표시할 수 있다.
[도 5]에서, 영상처리 장치(400)는 자동차의 외부의 앞쪽, 뒤쪽, 왼쪽 및 오른쪽에 장착된 영상촬영 기기(도 2, 300-1, 300-2, 300-3, 300-4)로부터 자동차 외부의 왼쪽(501), 뒤쪽(502), 앞쪽(503), 오른쪽(504)의 영상 데이터를 수신하여 보정하고, 보정한 이미지 데이터를 병합하여 표시할 수 있다. 여기서, 영상처리 장치(도 2, 400)는 자동차의 내부의 일측면에 배치될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예컨대, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예가 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.
100: 일반적인 영상처리 시스템
101-1, 101-2, 101-3, 101-4: 영상촬영 기기
102: 스위치
103: 영상처리 장치
1000: 본 발명의 영상처리 시스템
300-1, 300-2, 300-3, 300-4: 영상촬영 기기
310: 이미지 센서
320: 카메라 제어부
340: 암호/압축부
350: 데이터 전송부
400: 영상처리 장치
410: 영상 수신부
420: 영상처리 제어부
430: 영상 처리부
431: 영상 복호부
432: 영상 보정부
433: 영상 병합부
440: 표시부
450: 내장 스위치
101-1, 101-2, 101-3, 101-4: 영상촬영 기기
102: 스위치
103: 영상처리 장치
1000: 본 발명의 영상처리 시스템
300-1, 300-2, 300-3, 300-4: 영상촬영 기기
310: 이미지 센서
320: 카메라 제어부
340: 암호/압축부
350: 데이터 전송부
400: 영상처리 장치
410: 영상 수신부
420: 영상처리 제어부
430: 영상 처리부
431: 영상 복호부
432: 영상 보정부
433: 영상 병합부
440: 표시부
450: 내장 스위치
Claims (5)
- 피사체에 대한 영상 데이터를 생성하는 이미지 센서(310)와, 상기 생성된 영상 데이터에 대한 이미지 개선 신호처리 및 왜곡보정을 수행하는 멀티미디어 프로세싱부(330)와, 상기 영상 데이터를 압축하는 영상 압축부(340)와, 상기 압축된 영상 데이터를 외부로 전송하는 데이터 전송부(350)와, 상기 이미지 센서와 상기 멀티미디어 프로세싱부와 상기 영상 압축부와 상기 데이터 전송부의 동작을 제어하는 카메라 제어부(320)를 구비하여 이루어지는 복수 개의 영상촬영 기기(300-1, 300-2, 300-3, 300-4);
상기 복수 개의 영상촬영 기기와 인터페이스하기 위한 내장 스위치(450)와, 상기 복수 개의 영상촬영 기기로부터 제공되는 복수 개의 영상 데이터를 수신하는 영상 수신부(410)와, 상기 수신된 영상 데이터를 디코딩하고 상기 디코딩된 영상으로부터 카메라 렌즈효과를 보정하며 상기 보정된 복수 개의 영상 데이터를 병합하는 영상처리부(430)와, 상기 영상 수신부와 상기 영상처리부의 동작을 제어하는 영상처리 제어부(420)를 구비하여 이루어지는 영상처리 장치(400);
를 포함하여 구성되는 멀티카메라 통합 영상처리 시스템.
- 청구항 1에 있어서,
상기 멀티미디어 프로세싱부(330)는 상기 영상 데이터에 대한 3A 신호처리, 콘트라스트 처리, 노이즈제거, CAC(색수차 보정), LSC(렌즈 암부 보정), WDR(역광보정), 왜곡보정, 흔들림보정 중에서 적어도 하나 이상을 수행하는 것을 특징으로 하는 멀티카메라 통합 영상처리 시스템.
- 청구항 1 또는 2에 있어서,
상기 데이터 전송부(350)는 이더넷 망을 통해 상기 영상 데이터를 전송하는 이더넷 하드웨어를 포함하여 구성되고,
상기 내장 스위치(450)는 이더넷 스위치를 포함하여 구성되는 것을 특징으로 하는 멀티카메라 통합 영상처리 시스템.
- 청구항 3에 있어서,
상기 영상처리부(430)는,
상기 수신한 복수 개의 영상 데이터를 디코딩하는 영상 복호부(431);
상기 디코딩된 영상으로부터 카메라 렌즈효과를 보정하는 영상 보정부(432);
상기 보정된 복수 개의 영상 데이터를 병합하는 영상 병합부(433);
을 포함하여 구성되는 것을 특징으로 하는 멀티카메라 통합 영상처리 시스템.
- 청구항 4에 있어서,
상기 영상 병합부(433)는 상기 복수 개의 영상 데이터를 가장자리를 매칭시켜 병합함으로써 어라운드뷰 디스플레이를 구성하는 것을 특징으로 하는 멀티카메라 통합 영상처리 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120010539A KR101283383B1 (ko) | 2012-02-01 | 2012-02-01 | 멀티카메라 통합 영상처리 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120010539A KR101283383B1 (ko) | 2012-02-01 | 2012-02-01 | 멀티카메라 통합 영상처리 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101283383B1 true KR101283383B1 (ko) | 2013-07-08 |
Family
ID=48996779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120010539A KR101283383B1 (ko) | 2012-02-01 | 2012-02-01 | 멀티카메라 통합 영상처리 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101283383B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AT516051B1 (de) * | 2014-12-23 | 2016-02-15 | Ats Datenverarbeitung Ges M B H & Co Kg | Überwachungseinrichtung mit einer Bildauswerteeinrichtung für Kameras in einem Switch |
| US10922781B1 (en) | 2019-12-05 | 2021-02-16 | Nxp Usa, Inc. | System for processing images from multiple image sensors |
| KR102488180B1 (ko) | 2021-11-22 | 2023-01-13 | 주식회사 알엔웨어 | 멀티카메라 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020070721A (ko) * | 2001-03-02 | 2002-09-11 | 쓰리알 주식회사 | 동영상 전송장치 |
| JP2010221980A (ja) | 2009-03-25 | 2010-10-07 | Aisin Seiki Co Ltd | 車両用周辺監視装置 |
| KR20110021241A (ko) * | 2009-08-25 | 2011-03-04 | 엘지이노텍 주식회사 | 영상 이미지 보정방법 |
| KR20110051344A (ko) * | 2009-11-10 | 2011-05-18 | 삼성전자주식회사 | 셔터-딜레이를 줄이기 위한 카메라 모듈 |
-
2012
- 2012-02-01 KR KR1020120010539A patent/KR101283383B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020070721A (ko) * | 2001-03-02 | 2002-09-11 | 쓰리알 주식회사 | 동영상 전송장치 |
| JP2010221980A (ja) | 2009-03-25 | 2010-10-07 | Aisin Seiki Co Ltd | 車両用周辺監視装置 |
| KR20110021241A (ko) * | 2009-08-25 | 2011-03-04 | 엘지이노텍 주식회사 | 영상 이미지 보정방법 |
| KR20110051344A (ko) * | 2009-11-10 | 2011-05-18 | 삼성전자주식회사 | 셔터-딜레이를 줄이기 위한 카메라 모듈 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AT516051B1 (de) * | 2014-12-23 | 2016-02-15 | Ats Datenverarbeitung Ges M B H & Co Kg | Überwachungseinrichtung mit einer Bildauswerteeinrichtung für Kameras in einem Switch |
| AT516051A4 (de) * | 2014-12-23 | 2016-02-15 | Ats Datenverarbeitung Ges M B H & Co Kg | Überwachungseinrichtung mit einer Bildauswerteeinrichtung für Kameras in einem Switch |
| EP3038065B1 (de) * | 2014-12-23 | 2018-01-10 | ATS Datenverarbeitung Gesellschaft m.b.H. & Co. KG | Überwachungseinrichtung |
| US10922781B1 (en) | 2019-12-05 | 2021-02-16 | Nxp Usa, Inc. | System for processing images from multiple image sensors |
| KR102488180B1 (ko) | 2021-11-22 | 2023-01-13 | 주식회사 알엔웨어 | 멀티카메라 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3676795B1 (en) | Local tone mapping | |
| US8111300B2 (en) | System and method to selectively combine video frame image data | |
| US8797421B2 (en) | System and method to selectively combine images | |
| US9578224B2 (en) | System and method for enhanced monoimaging | |
| US10200671B2 (en) | Primary and auxiliary image capture devices for image processing and related methods | |
| US7773115B2 (en) | Method and system for deblurring digital camera images using reference image and motion estimation | |
| US9699427B2 (en) | Imaging device, imaging method, and image processing device | |
| WO2017104411A1 (ja) | 撮像素子、画像処理装置および方法、並びにプログラム | |
| EP3891974B1 (en) | High dynamic range anti-ghosting and fusion | |
| CN107613216B (zh) | 对焦方法、装置、计算机可读存储介质和电子设备 | |
| US8384820B1 (en) | Real time video frame masking and processing for auto focus and other quality optimizations | |
| KR101283383B1 (ko) | 멀티카메라 통합 영상처리 시스템 | |
| US9928575B2 (en) | Method and system for processing a multi-channel image | |
| US20210049427A1 (en) | Image processing apparatus, image processing method, and image processing system | |
| US10944929B2 (en) | Imaging apparatus and imaging method | |
| JP5205230B2 (ja) | 画像処理装置 | |
| US10249027B2 (en) | Device and method for P-phase data compression | |
| JP6849351B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2011082921A (ja) | 撮像装置及び撮像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160603 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170607 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180625 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190612 Year of fee payment: 7 |