KR102359268B1 - 복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템 - Google Patents

Abstract

복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템이 개시된다. 본 발명의 데이터 처리 장치는, 제1 내지 제k(k는 2이상의 정수) 센서, 각각이 상기 제1 내지 제k(k는 2이상의 정수) 센서 중 적어도 하나의 센서 데이터를 수신하여 전처리(pre-processing)하는 제1 및 제2 프리 프로세서, 상기 제1 내지 제k(k는 2이상의 정수) 센서와 상기 제1 및 제2 프리 프로세서 사이에 연결되며, 제어 신호에 따라 상기 제1 내지 제k(k는 2이상의 정수) 센서 중 적어도 하나의 센서 데이터를 상기 제1 및 제2 프리 프로세서로 선택적으로 입력시키는 제1 스위칭 회로, 및 상기 제1 및 제2 프리 프로세서에 의해 전처리된 제1 및 제2 전처리 데이터를 함께 수신하여 처리하는 하이브리드 데이터 프로세싱 엔진을 포함한다.

Description

복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템{Data Processing Device For Processing Multiple Sensor Data and System including the Same}

본 발명의 개념에 따른 실시 예는, 둘 이상의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 데이터 처리 장치를 포함하는 시스템에 관한 것이다.

디지털 카메라(Digital camera) 기술이 발전하면서, 기존의 아날로그 카메라(Analog camera)의 기능을 디지털(digital)화하는 것을 넘어서 새로운 다양한 분야로 범위가 확장되고 있다.

특히 센서의 경우 CCD(Charge Coupled Device) 센서나 CIS(CMOS Image Sensor)의 한계를 극복하기 위해 다양한 센서들이 등장하고 있다. 이에 따라, 둘 이상의 센서가 채용된 스마트 폰이나 휴대용 카메라 장치도 나오고 있다.

본 발명이 이루고자 하는 기술적인 과제는 동형 혹은 이형의 복수의 센서 데이터를 효율적으로 처리할 수 있는 데이터 처리 장치 및 이를 포함하는 시스템을 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적인 과제는 다양한 센서의 종류와 개수에 대응하여 범용적으로 데이터를 처리하고, 메모리 억세스를 줄여 메모리 대역폭와 전력을 줄일 수 있는 데이터 처리 장치 및 시스템을 제공하는 것이다.

본 발명의 실시예에 따르면, 복수의 센서 데이터에 대한 보정 처리(correction processing)를 수행하는 복수의 프리 프로세서들; 적어도 두 개의 센서들로부터 출력되는 복수의 센서 데이터를 상기 복수의 프리 프로세서들 중 적어도 두 개의 프리 프로세서들로 선택적으로 매핑하여 입력시키는 제1 스위칭 회로; 및 상기 적어도 두 개의 프리 프로세서들로부터 수신된 상기 복수의 센서 데이터들에 대해 영상 개선(image enhancement) 및 거리 정보 결정 중 적어도 하나를 수행하는 하이브리드 데이터 프로세싱 엔진을 포함하는 데이터 처리 장치가 제공된다.

상기 제1 스위칭 회로는 적어도 두 개의 다른 타입의 센서들로부터 출력되는 상기 복수의 센서 데이터를 선택적으로 매핑하여 입력시킬 수 있다.

상기 제1 스위칭 회로는 상기 복수의 센서 데이터의 타입들에 따라, 상기 복수의 센서 데이터를 상기 복수의 프리 프로세서들 중 적어도 두 개의 프리 프로세서들에 선택적으로 매핑하여 입력시킬 수 있다.

제1 센서로부터 제1 센서 데이터와 제2 센서로부터 제2 센서 데이터가 상기 제1 스위칭 회로에 입력되면, 상기 제1 스위칭 회로는 제1 센서 데이터와 제2 센서 데이터를 상기 복수의 프리 프로세서들 중 제1 및 제2 프리 프로세서에 각각 매핑하여 입력시킬 수 있다.

상기 제2 센서로부터 제2 센서 데이터 및 제3 센서로부터 제3 센서 데이터가 상기 제1 스위칭 회로에 입력되면, 상기 제1 스위칭 회로는 제2 센서 데이터와 제3 센서 데이터를 제1 및 제2 프리 프로세서에 각각 매핑하여 입력시킬 수 있다.

상기 복수의 프리 프로세서들 각각은 렌즈 쉐이딩(lens shading)으로 인한 명암의 차이를 보정하는 렌즈 쉐이딩 보정부; 불량 화소의 화소값을 보정하는 불량 화소 보정부; 및 상기 렌즈의 색수차를 보정하는 색수차 보정부 중 적어도 하나를 포함할 수 있다.

상기 복수의 프리 프로세서들 중 제1 프리 프로세서는 상기 복수의 프리 프로세서들 중 제2 프리 프로세서로 입력되는 제2 센서 데이터에 기초하여 상기 제1 프리 프로세서로 입력되는 제1 센서 데이터를 교정하는 제1 교정 엔진을 포함할 수 있다.

상기 제2 프리 프로세서는 교정 엔진을 포함하지 않을 수 있다.

상기 제1 교정 엔진은 상기 제1 센서 데이터에 대해 이동(transition), 회전(rotation), 및 크기 변환(scaling) 중 적어도 하나를 수행함으로써 상기 제1 센서 데이터를 교정할 수 있다.

상기 제1 교정 엔진은 상기 제2 프리 프로세서로부터 상기 제1 교정 엔진으로 수신된 상기 제2 센서 데이터에 기초하여, 상기 제1 센서 데이터를 교정할 수 있다.

상기 제2 프리 프로세서는 제2 교정 엔진을 더 포함하고, 레지스터 또는 CPU로부터 수신된 제어 신호에 기초하여, 상기 제1 교정 엔진은 상기 제1 센서 데이터를 교정하고, 상기 제2 교정 엔진은 상기 제2 센서 데이터를 교정할 수 있다.

상기 하이브리드 데이터 프로세싱 엔진은 영상 강화 및 거리 정보 결정 중 적어도 하나를 수행하는 복수의 하드웨어 단위 처리기들을 포함한다.

상기 복수의 하드웨어 단위 처리기들 간의 연결 및 상기 복수의 하드웨어 단위 처리기들의 동작은 상기 데이터 처리 장치의 동작 모드에 따라 달라질 수 있다.

상기 데이터 처리 장치는 상기 동작 모드에 따라 상기 복수의 하드웨어 단위 처리기들 간의 연결 및 상기 복수의 하드웨어 단위 처리기들의 동작을 선택적으로 제어하는 레지스터를 더 포함할 수 있다.

상기 데이터 처리 장치는 상기 적어도 두 개의 프리 프로세서들로부터 수신된 복수의 센서 데이터의 해상도 및 픽셀 포맷 중 적어도 하나를 선택적으로 변환하는 복수의 변환기들을 더 포함할 수 있다.

상기 데이터 처리 장치는 상기 데이터 처리 장치의 동작 모드에 따라, 상기 적어도 두 개의 프리 프로세서들로부터의 상기 복수의 센서 데이터를 상기 복수의 변환기들로 선택적으로 매핑하여 입력하는 제2 스위칭 회로를 더 포함할 수 있다.

상기 하이브리드 데이터 프로세싱 엔진은 상기 적어도 두 개의 프리 프로세서들로부터 메모리 엑세스없이, 온-더-플라이(on-the-fly) 방식으로 상기 복수의 센서 데이터들을 수신할 수 있다.

상기 하이브리드 데이터 프로세싱 엔진은 상기 적어도 두 개의 프리 프로세서들로부터 메모리에 저장된 상기 복수의 센서 데이터들을 메모리 억세스를 통하여 수신할 수 있다.본 발명의 실시예에 따르면, 제1 내지 제k(k는 2이상의 정수) 센서: 각각이 상기 제1 내지 제k(k는 2이상의 정수) 센서 중 적어도 하나의 센서 데이터를 수신하여 전처리(pre-processing)하는 제1 및 제2 프리 프로세서; 상기 제1 내지 제k(k는 2이상의 정수) 센서와 상기 제1 및 제2 프리 프로세서 사이에 연결되며, 제어 신호에 따라 상기 제1 내지 제k(k는 2이상의 정수) 센서 중 적어도 하나의 센서 데이터를 상기 제1 및 제2 프리 프로세서로 선택적으로 입력시키는 제1 스위칭 회로; 및 상기 제1 및 제2 프리 프로세서에 의해 전처리된 제1 및 제2 전처리 데이터를 함께 수신하여 처리하는 하이브리드 데이터 프로세싱 엔진을 포함하는 데이터 처리 장치가 제공된다.

실시예에 따라, 제1 모드에서는, 상기 제1 내지 제k(k는 2이상의 정수) 센서 중 제1 및 제2 센서가 선택되고, 제2 모드에서는 상기 제1 및 제2 센서와는 다른 적어도 하나의 센서가 선택되며, 상기 제1 스위칭 회로는 상기 제어 신호에 응답하여, 상기 제1 모드 또는 상기 제2 모드에서 선택된 센서를 상기 제1 및 제2 프리 프로세서에 연결시킨다.

실시예에 따라, 상기 제1 및 제2 프리 프로세서 중 적어도 하나는 상기 제1 또는 제2 센서 데이터를 다른 센서 데이터에 맞추어 교정하는 교정 엔진을 포함한다.실시예에 따라, 상기 제1 및 제2 프리 프로세서 중 적어도 하나는 렌즈의 곡면으로 인한 광량의 차이에 의해 발생하는 명암의 차이를 보정하는 렌즈 쉐이딩 보정부; 불량 화소의 화소값을 보정하여 보정된 데이터를 생성하는 불량 화소 보정부; 및 상기 렌즈의 색수차를 보정하는 색수차 보정부 중 적어도 하나를 더 포함한다.

실시예에 따라, 상기 하이브리드 데이터 프로세싱 엔진은 상기 제1 및 제2 전처리 데이터에 대하여 노이즈 제거(noise reduction), 디포커싱(de-focusing), 다이나믹 레인지(dynamic range) 개선, 콘스라스트 개선(contrast enhancement) 중 적어도 하나의 영상 처리를 수행한다.

실시예에 따라, 상기 하이브리드 데이터 프로세싱 엔진은 복수의 단위 처리기들을 포함하며, 모드에 따라, 상기 복수의 단위 처리기들의 연결 관계가 달라져서, 상기 모드에 따라 서로 다른 기능(혹은 동작)을 수행한다.

상기 하이브리드 데이터 프로세싱 엔진은 상기 모드에 따른 연결 제어 신호에 따라 상기 복수의 단위 처리기들을 다르게 연결하는 적어도 하나의 연결 스위칭 회로를 더 포함할 수 있다.

상기 데이터 처리 장치는 상기 제1 프로 프로세서 또는 상기 제2 프리 프로세서와 상기 하이브리드 데이터 프로세싱 엔진 사이에 연결되며, 상기 제1 프리 프로세서의 출력 데이터의 해상도를 변경하는 변환기를 더 포함할 수 있다.

상기 데이터 처리 장치는 제2 제어 신호에 응답하여, 상기 제1 프로 프로세서 및 상기 제2 프리 프로세서의 출력 데이터를 상기 변환기 또는 상기 하이브리드 데이터 프로세싱 엔진으로 선택적으로 입력시키는 제2 스위칭 회로를 더 포함할 수 있다.

상기 제1 내지 제k(k는 2이상의 정수) 센서로부터 출력되는 센서 데이터는 메모리를 거치지 않고 온-더 플라이(on-the fly)로 상기 제1 및 상기 제2 프리 프로세서로 입력될 수 있다.

실시예에 따라, 상기 제1 및 제2 프리 프로세서 각각은 입력되는 센서 데이터에 대한 기하학적 보정 및/또는 광학적 보정을 수행한다.

본 발명의 실시예에 따르면, 제1 내지 제k(k는 2이상의 정수) 센서: 각각이 상기 제1 내지 제k(k는 2이상의 정수) 센서 중 선택된 하나의 센서 데이터를 수신하여 전처리(pre-processing)하는 제1 내지 제m 프리 프로세서; 제1 제어 신호에 따라, 상기 제1 내지 제k 센서 중 적어도 둘 이상의 센서와 상기 제1 내지 제m 프리 프로세서 중 적어도 둘 이상의 프리 프로세서 간을 선택적으로 매핑시켜 연결하는 제1 스위칭 회로; 상기 제1 내지 제m 프리 프로세서에 의해 전처리된 둘 이상의 전처리 데이터를 함께 이용하여 개선된 영상을 출력하거나 정보를 추출하는 하이브리드 데이터 프로세싱 엔진; 및 모드에 따라 상기 제1 제어 신호를 발생하는 프로세서를 포함하는 시스템 온 칩이 제공된다.

실시예에 따라, 상기 제1 내지 제m 프리 프로세서 중 적어도 하나는 입력되는 센서 데이터를 다른 센서 데이터에 맞추어 교정하는 교정 엔진을 포함한다.

실시예에 따라, 상기 제1 내지 제k(k는 2이상의 정수) 센서로부터 출력되어 상기 하이브리드 데이터 프로세싱 엔진으로 입력되는 데이터 경로는 메모리를 거치지 않고 온-더 플라이(on-the fly)로 연결된다.

실시예에 따라, 상기 모드가 제1 모드인 경우, 상기 하이브리드 데이터 프로세싱 엔진은 상기 제1 및 제2 프리 프로세서에 의해 전처리된 제1 및 제2 전처리된 데이터를 이용하여 각 픽셀(pixel)간 디스패리티(disparity)를 구하여 디스패리티 맵 데이터를 출력할 수 있다.

상기 모드가 제2 모드인 경우, 상기 제1 프리 프로세서는 상기 제1 센서에 연결되고, 상기 제2 프리 프로세서는 상기 제2 센서에 연결되고, 상기 하이브리드 데이터 프로세싱 엔진은 상기 제1 및 제2 프리 프로세서에 의해 전처리된에 의해 전처리된 제1 및 제2 전처리된 데이터를 이용하여 하이 다이나믹 레인지 영상을 생성하며, 상기 제1 센서의 노출 시간과 상기 제2 센서의 노출 시간은 다르게 설정될 수 있다.

상기 제1 및 제2 프리 프로세서 각각은 입력되는 센서 데이터에 대한 기하학적 보정 및/또는 광학적 보정을 수행할 수 있다.

본 발명의 실시예에 따르면, 제1 내지 제k(k는 2이상의 정수) 센서: 및 상기 제1 내지 제k(k는 2이상의 정수) 센서와 연결되는 시스템 온 칩을 포함하는 데이터 처리 시스템이 제공된다.

상기 시스템 온 칩은 각각이 상기 제1 내지 제k(k는 2이상의 정수) 센서 중 선택된 하나의 센서 데이터를 수신하여 전처리(pre-processing)하는 제1 내지 제m 프리 프로세서; 제1 제어 신호에 따라, 상기 제1 내지 제k 센서 중 적어도 둘 이상의 센서와 상기 제1 내지 제m 프리 프로세서 중 적어도 둘 이상의 프리 프로세서 간을 선택적으로 매핑시켜 연결하는 제1 스위칭 회로; 상기 제1 내지 제m 프리 프로세서에 의해 전처리된 둘 이상의 전처리 데이터를 함께 이용하여 개선된 영상을 출력하거나 정보를 추출하는 하이브리드 데이터 프로세싱 엔진; 및 복수의 모드들 중 하나를 결정하고, 결정된 모드에 따라 상기 제1 제어 신호를 발생하는 프로세서를 포함한다.

실시예에 따라, 상기 프로세서는 구동되는 어플리케이션 프로그램 또는 선택된 메뉴에 따라, 상기 모드를 결정한다.

실시예에 따라, 상기 데이터 처리 시스템은 휴대용 전자 장치이고, 상기 제1 내지 제k(k는 2이상의 정수) 센서는 상기 휴대용 전자 장치의 전면부에 구비된 제1 및 제2 센서를 포함할 수 있다.

상기 제1 내지 제k(k는 2이상의 정수) 센서는 상기 휴대용 전자 장치의 후면부에 구비된 제3 및 제4 센서를 포함할 수 있다.

상기 결정된 모드가 제1 모드인 경우, 상기 제1 프리 프로세서는 상기 제1 센서에 연결되고, 상기 제2 프리 프로세서는 상기 제2 센서에 연결될 수 있다.

상기 모드가 제2 모드인 경우, 상기 제1 프리 프로세서는 상기 제3 센서에 연결되고, 상기 제2 프리 프로세서는 상기 제4 센서에 연결될 수 있다.

본 발명의 실시예에 따르면, 다양한 센서의 종류와 개수에 대응할 수 있는 범용적인 형태를 제공하며, 센서 입출력 시 메모리 입출력을 최소로 억제하여 시스템 메모리 대역폭과 전력 소모를 절감할 수 있다.

본 발명의 실시예에 따르면, 복수개의 동형 또는 이형의 센서 데이터를 임의 개수의 전처리기(프리-프로세서)로 보정 후, 보정된 데이터들을 조합하여 영상을 개선하거나 부가적인 정보를 생성할 수 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1a는 본 발명의 일 실시예에 따른 데이터 처리 시스템의 구성 블록도이다. 도 1b는 본 발명의 일 실시예에 따른 데이터 처리 시스템의 변형예이다.
도 2는 도 1a에 도시된 제1 프리 프로세서의 일 실시예를 나타내는 구성 블록도이다.
도 3a은 도 1a에 도시된 제2 프리 프로세서의 일 실시예를 나타내는 구성 블록도이다.
도 3b은 도 1a에 도시된 제2 프리 프로세서의 다른 실시예를 나타내는 구성 블록도이다.
도 4는 도 2에 도시된 교정 엔진의 일 실시예를 나타내는 구성 블록도이다.
도 5 및 도 6은 도 4에 도시된 교정 엔진의 동작을 설명하기 위한 도면이다.
도 7은 도 1a에 도시된 변환기의 일 실시예를 나타내는 구성 블록도이다.
도 8a은 도 1에 도시된 하이브리드 데이터 프로세싱 엔진의 일 실시예를 나타내는 구성 블록도이다.
도 8b은 도 1에 도시된 하이브리드 데이터 프로세싱 엔진의 다른 실시예를 나타내는 구성 블록도이다.
도 9a는 본 발명의 다른 실시예에 따른 데이터 처리 시스템의 구성 블록도이다.
도 9b는 도 9a에 도시된 데이터 처리 시스템의 변형예이다.
도 10은 본 발명의 또 다른 실시예에 따른 데이터 처리 시스템의 구성 블록도이다.
도 11은 도 10에 도시된 제1 프리 프로세서의 일 실시예를 나타내는 구성 블록도이다.
도 12는 도 11에 도시된 제2 프리 프로세서의 일 실시예를 나타내는 구성 블록도이다.
도 13은 본 발명의 또 다른 실시예에 따른 데이터 처리 시스템의 구성 블록도이다.
도 14는 도 13에 도시된 데이터 처리 시스템의 외관의 일 예를 나타내는 도면이다.
도 15는 본 발명의 실시예에 따른 데이터 처리 장치가 사용될 수 있는 IoT 서비스 시스템의 개념도이다.
도 16은 본 발명의 실시예에 따른 차량(Vehicle)에 적용가능한 IoT 서비스 시스템의 개념도이다.
도 17은 본 발명의 실시 예들에 따른 홈 네트워크 기반의 IoT 서비스 시스템의 개념도이다.
도 18은 본 발명의 실시 예들에 따른 사물들간의 네트워크를 설명하기 위한 개략도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1a은 본 발명의 실시예에 따른 데이터 처리 시스템(10A)의 구성 블록도이다. 도 1b는 도 1a에 도시된 본 발명의 일 실시예에 따른 데이터 처리 시스템의 변형예(10A')이다. 도 2는 도 1a에 도시된 제1 프리 프로세서의 일 실시예를 나타내는 구성 블록도이고, 도 3a 및 도 3b는 각각 도 1a에 도시된 제2 프리 프로세서의 일 실시예를 나타내는 구성 블록도이며, 도 4는 도 2에 도시된 교정 엔진의 일 실시예를 나타내는 구성 블록도이다. 도 5 및 도 6은 도 4에 도시된 교정 엔진의 동작을 설명하기 위한 도면이다. 도 7은 도 1a에 도시된 변환기의 일 실시예를 나타내는 구성 블록도이다. 도 8a는 도 1a 및 도 1b에 도시된 하이브리드 데이터 프로세싱 엔진의 일 실시예(170A)를 나타내는 구성 블록도이다. 도 8b는 도 1a 및 도 1b에 도시된 하이브리드 데이터 프로세싱 엔진의 다른 실시예(170B)를 나타내는 구성 블록도이다.

도 1a, 1b, 2, 3a, 3b, 4 내지 7 및, 도 8a, 8b를 참조하면, 본 발명의 실시예에 따른 데이터 처리 시스템(10A, 10A')은 복수(k, k는 2 이상의 정수)의 센서(111-1~111-k, k는 2 이상의 정수) 및 데이터 처리 장치(100A, 100A')를 포함한다.

제1 내지 제k 센서(111-1~111-k) 각각은 동형(homogeneous) 센서(예컨대, 동일한 타입의 센서)일 수도 있고, 이형(heterogeneous) 센서(예컨대, 다른 타입의 센서)일 수 있다.

제1 내지 제k 센서(111-1~111-k) 각각은 2차원 칼라 이미지를 촬상하는 칼라 이미지 센서, 2차원 흑백 이미지를 촬상하는 흑백 이미지 센서, 오포 포커스 이미지 센서, 다이나믹 레인지(Dynamic Range)를 늘리기 위한 와이드 다이나믹 레인지(Wide Dynamic Range) 센서, 적외선 영역을 촬영하기 위한 적외선(IR) 센서, 또는 이미지나 대상물(object)의 거리를 측정하기 위한 거리 센서(depth sensor)일 수 있으나, 이에 한정되는 것은 아니다. 또한, 제1 내지 제k 센서(111-1~111-k) 각각의 프레임 데이터(frame data), 해상도(resolution), 노출 시간(exposure time)이 다를 수 있다.

다이나믹 레인지는 표현할 수 있는 최대 명암차를 의미한다.

오토 포커스 이미지 센서는 자동 초점을 개선하기 위한 위상차 검출(Phase Detection) 기능을 가지는 센서일 수 있다.

거리 센서는 대상물과의 거리(distance 또는 depth)를 측정하는 센서로서, 대상물로 빛(예컨대, 적외선)을 발사하고 대상물에 의해 반사되어 입력되는 빛을 수광하여 비행시간(TOF: Time Of Flight)을 측정함으로써 거리를 측정하는 TOF 센서로 구현될 수 있으나, 이에 한정되는 것은 아니다.

데이터 처리 장치(100A, 100A')는 둘 이상의 센서(110)로부터 출력되는 센서 데이터를 수신하여, 전처리, 사이즈 조절, 후처리 등의 데이터 처리를 수행할 수 있다.

데이터 처리 장치(100A)는 제1 스위칭 회로(120), 제1 내지 제m 프리 프로세서(130-1~130-m, m은 2이상의 정수), 제2 스위칭 회로(150), 변환기들(160-1-~160-n, n은 1이상의 정수) 및 하이브리드 데이터 프로세싱 엔진(170)을 포함할 수 있다. 본 발명의 실시예에 따라, 추가 구성요소가 포함될 수 있고, 하나 이상의 구성요소(예컨대, 제2 스위칭 회로(150) 및 변환기들(160-1-~160-n) 중 적어도 하나)는 생략될 수도 있다.

제1 스위칭 회로(120)는, 제1 제어 신호(CON1)에 따라, 제1 내지 제k 센서(111-1~111-k) 중 적어도 둘 이상의 센서와 상기 제1 내지 제m 프리 프로세서(130-1~130-m) 중 적어도 둘 이상의 프리 프로세서 간을 선택적으로 매핑시켜 연결한다. 즉, 제1 스위칭 회로(120)는 제1 내지 제k 센서(111-1~111-k) 중 적어도 둘 이상의 센서들로부터 출력되는 복수의 센서 데이터를 상기 제1 내지 제m 프리 프로세서(130-1~130-m) 중 적어도 두 개의 프리 프로세서들에 선택적으로 매핑하여 입력시킨다.

예를 들어, 제1 스위칭 회로(120)는 제1 내지 제k 센서(111-1~111-k) 중 선택된 둘 이상의 센서로부터 출력되는 센서 데이터를 제1 내지 제m 프리 프로세서(130-1~130-m) 중 둘 이상의 프리 프로세서로 입력되도록, 제1 내지 제k 센서의 출력(SO1~SOk)과 제1 내지 제m 프리 프로세서의 입력(PI1~PIm)을 선택적으로 연결한다.

제1 내지 제3 제어 신호(CON1~CON3)는 CPU(190)에서 출력될 수 있으나, 이에 한정되는 것은 아니다. 도 1b의 실시예에서는, 제1 내지 제3 제어 신호(CON1~CON3)는 데이터 처리 장치(100A') 내의 레지스터(195)를 설정함으로써 생성될 수 있다. 레지스터(195)는 CPU(190)에 의해 설정될 수 있다.

모드(예를 들어, 데이터 처리 장치(100A 또는 100A') 또는 데이터 처리 시스템(10A 또는 10A')의 동작 모드)에 따라, 제1 내지 제k 센서(111-1~111-k) 중 선택되는 센서가 달라질 수 있다. 이 경우, 모드는 CPU(190)에 의해 설정되거나 결정될 수도 있고, 레지스터(195)에 설정될 수도 있고, 또는 제어 신호를 통해 지시될 수도 있다. 이에 따라, 제1 스위칭 회로(120)에 의해 제1 내지 제m 프리 프로세서(130-1~130-m)로 연결되는 센서 역시 달라질 수 있다.

실시예에 따라, m은 k이하의 값일 수 있다.

설명의 편의를 위하여, m은 2인 것으로 가정한다.

일 실시예로, 제1 모드에서는 제1 내지 제k 센서(111-1~111-k) 중 제1 및 제2 센서(111-1~111-2)만 선택되어 동작할 수 있다. 이 경우, 제1 스위칭 회로(120)는 제1 제어 신호(CON1)에 응답하여, 제1 센서(111-1)의 출력을 제1 프리 프로세서(130-1)의 입력으로 연결하고, 제2 센서(111-2)의 출력을 제2 프리 프로세서(130-2)의 입력으로 연결할 수 있다.

제2 모드에서는, 제1 내지 제k 센서(111-1~111-k) 중 제2 및 제k 센서만 선택되어 동작할 수 있다. 이 경우, 제1 스위칭 회로(120)는 제1 제어 신호(CON1)에 응답하여, 제2 센서(111-2)의 출력을 제1 프리 프로세서(130-1)의 입력으로 연결하고, 제k 센서(111-k)(예컨대, 제3 센서)의 출력을 제2 프리 프로세서(130-2)의 입력으로 연결할 수 있다.

제1 내지 제m 프리 프로세서(130-1~130-m) 각각은 입력되는 센서 데이터에 대해 기하학적 보정(geometrical correction) 및 광학적 보정(optical correction) 중 적어도 하나를 수행할 수 있다.

제1 내지 제m 프리 프로세서(130-1~130-m) 중 적어도 하나는 입력되는 센서 데이터를 다른 센서 데이터에 맞추어 교정할 수 있다. 이를 위하여, 제1 내지 제m 프리 프로세서(130-1~130-m) 중 적어도 하나는 교정에 필요한 정보인 기준 센서 정보(도 2의 REF_IF1 또는 도 3b의 REF_IF2)를 수신할 수 있다.

예컨대, 제1 내지 제m 프리 프로세서(130-1~130-m) 중 적어도 하나는 CPU(190)나 레지스터(195)로부터 기준 센서 정보(도 2의 REF_IF1 또는 도 3b의 REF_IF2)를 수신하고, 입력되는 센서 데이터를 기준 센서 정보(도 2의 REF_IF1 또는 도 3b의 REF_IF2)에 맞추어 교정할 수 있다. 실시예에 따라, 제1 내지 제k 센서(111-1~111-k) 각각은 내부에 각자의 센서 특성 정보를 저장할 수 있다. 센서 특성 정보는 센서의 기하학적 특성 정보(geometrical characteristics) 및 광학적 특성 정보(optical characteristics)를 포함할 수 있다.

CPU(190)는 제1 내지 제k 센서(111-1~111-k)로부터 각 센서 특성 정보를 읽고, 읽은 센서 특성 정보에 기초하여, 제1 내지 제m 프리 프로세서(130-1~130-m) 중 적어도 하나로 기준 센서 정보(도 2의 REF_IF1 또는 도 3b의 REF_IF2)를 제공할 수 있다. 또한, 제1 내지 제m 프리 프로세서(130-1~130-m) 중 적어도 하나는 제1 내지 제m 프리 프로세서(130-1~130-m) 중 다른 프리 프로세서로부터 센서 특성 정보 또는 센서 데이터를 수신할 수 있다.

본 발명의 실시예에 따른 제1 프리 프로세서(130-1)는 도 2에 도시된 바와 같이, 렌즈 쉐이딩 보정부(lens shading corrector)(131), 및 불량 픽셀 보정부(bad pixel corrector)(133), 및 색수차 보정부(chromatic aberration corrector)(135)를 포함할 수 있다.

렌즈 쉐이딩(lens shading)은 렌즈가 곡면 형태임에 따라 중심부에서 주변부로 갈수록 광량이 부족하여 어두워지는 현상을 말한다. 렌즈 쉐이딩 보정부(131)는 상기와 같은 광량의 차이에 따른 명암의 차이를 보정한다.

불량 화소 보정부(133)는 센서 제조시 발생하는 정적 불량 화소, 또는 발열 등으로 인하여 발생하는 동적 불량 화소를 보정한다. 불량 화소 보정부(133)는 불량 화소를 검출하고, 검출된 불량 화소의 화소값을 보정하여 보정된 화소값을 생성할 수 있다.

색수차 보정부(135)는 렌즈의 색수차(chromatic aberration)를 보정한다.

색수차는 파장에 따른 굴절률의 차이로 인해 생기는 수차이다. 긴 파장의 빛일수록 렌즈를 통과한 뒤에 상대적으로 초점이 렌즈에서 먼 쪽으로 맺히기 때문에 일어나는 현상으로, 색수차 보정부(135)는 이러한 색수차를 보정한다.

실시예에 따라, 제1 프리 프로세서(130-1)는 교정 엔진(137)을 더 포함할 수 있다.

교정 엔진(137)은 센서간 얼라인먼트(alignment) 기능을 수행한다.

본 발명의 실시예에 따른 제2 프리 프로세서(130-2)는 도 3a에 도시된 바와 같이, 렌즈 쉐이딩 보정부(lens shading corrector)(131), 및 불량 픽셀 보정부(bad pixel corrector)(133), 및 색수차 보정부(chromatic aberration corrector)(135)를 포함할 수 있다.

도 3a에 도시된 제2 프리 프로세서(130-2)에는 교정 엔진(137)이 포함되지 않는다는 점에서 제1 프리 프로세서(130-2)와 차이가 있다.

제2 프리 프로세서(130-2)의 렌즈 쉐이딩 보정부(131), 불량 화소 보정부(133) 및 색수차 보정부(135)는 제1 프리 프로세서(130-1)의 렌즈 쉐이딩 보정부(131), 불량 화소 보정부(133) 및 색수차 보정부(135)와 동일하므로, 차이점 위주로 설명한다.

제1 프리 프로세서(130-1)는 교정 엔진(137)을 포함하고, 제2 프리 프로세서(130-2)는 교정 엔진(137)을 포함하지 않는다고 가정한다.

본 실시예에서, 제1 프리 프로세서(130-1)의 교정 엔진(137)은 제1 센서 데이터(SO1)를 제2 센서 데이터(SO2)에 맞추어 교정할 수 있다. 여기서, 제1 센서 데이터(SO1)의"교정"은 제1 센서(111-1) 및 제2 센서(111-2)의 광학적 특성과 센서 특성이 동일해 지도록 얼라인먼트(alignment)하는 것을 의미할 수 있다. 여기서, 제2 센서 데이터(SO2)는 제2 센서(111-2), 다른 프리 프로세서(예컨대, 제2 프리 프로세서(130-2), 레지스터(195) 또는 CPU(190)에 의해 얻어질 수 있다.

예컨대, 제1 센서(111-1)와 제2 센서(111-2)의 초점이 다른 경우, 교정 엔진(137)은 제1 센서 데이터(SO1)의 초점을 제2 센서 데이터(SO2)의 초점에 맞추어 교정할 수 있다.

또는, 제1 센서(111-1)와 제2 센서(111-2)의 수평선이 다른 경우, 교정 엔진(137)은 제1 센서 데이터(SO1)의 수평선을 제2 센서 데이터(SO2)의 수평선에 맞추어 교정할 수 있다. 이를 위하여, 교정 엔진(137)은 제2 프리 프로세서(130-2)로부터 기준 수평선 정보를 포함하는 기준 센서 정보(REF_IF1)를 수신할 수 있다. 그러나, 본 발명의 실시예가 이에 한정되는 것은 아니며, 교정 엔진(137)은 제2 센서(111-2), 레지스터(195) 또는 CPU(190)로부터 기준 센서 정보(REF_IF1)를 수신할 수도 있다.

이와 같이, 교정 엔진(137)은 입력되는 센서 데이터를 다른 센서 데이터에 맞추어 교정해 줌으로써, 이종 센서간의 출력 데이터를 동종 센서의 출력 데이터처럼 만들어 주거나, 또는 센싱 위치, 시간, 각도, 거리 등 물리적인 환경이 동일한 조건에서 각각의 데이터를 센싱한 것과 같도록 출력 데이터를 만들어 줄 수 있다. 즉, 적어도 하나의 물리적인 조건이 다른 둘 이상의 센서로부터 센싱된 데이터를 동일한 조건에서 센싱된 데이터처럼 교정할 수 있다.실시예에 따라, 교정 엔진(137)은 도 4에 도시된 바와 같이, 캐스케이드 형태(cascade form)로 연결된 둘 이상의 NxN 매트릭스 곱셈기(matrix multiplier)(138-1 내지 138-p)를 포함할 수 있다.

도 4의 실시예에서는 교정 엔진(137)은 제1 내지 제p(2이상의 정수) NxN 매트릭스 곱셈기(138-1~138-p)를 포함한다. 제1 내지 제p NxN 매트릭스 곱셈기(138-1~138-p)의 계수(coefficient)는 CPU(190)에 의해 설정될 수 있다.

제1 내지 제p NxN 매트릭스 곱셈기(138-1~138-p)의 계수에 따라, 교정 엔진(137)은 이동(transition), 회전(rotation), 및 크기 변환(scaling) 중 적어도 하나를 수행함으로써 데이터(RE1)을 교정할 수 있다.

도 5 및 도 6은 각각 교정 엔진(137)에 의해 교정되기 전과 후의 데이터의 일 예를 도시한다. 먼저 도 5를 참조하면, 도 5의 (a)는 제2 센서 데이터(SO2)이고, 도 5의 (b)는 교정 전 제1 센서 데이터(SO1)일 수 있다.

교정 엔진(137)이 제1 센서 데이터(SO1)를 교정하기 전에는 도 5에 도시된 바와 같이, 제1 센서 데이터(SO1)와 제2 센서 데이터(SO2)의 수평선이 정렬(alignment) 되어 있지 않다.

한편, 도 6을 참조하면, 도 6의 (a)는 제2 센서 데이터(SO2)이고, 도 6의 (b)는 교정 후 제1 센서 데이터(SO1)일 수 있다.

교정 엔진(137)은 제1 센서 데이터(SO1)를 시계 방향으로 특정 각도만큼 로테이션하여 제1 센서 데이터(SO1)의 수평선을 교정할 수 있다. 특정 각도는, 제1 내지 제p NxN 매트릭스 곱셈기(138-1~138-p)의 계수에 따라 설정될 수 있다. 이와 같이, 교정 엔진(137)에 의하여 교정된 후에는 도 6에 도시된 바와 같이, 제1 센서 데이터(SO1)와 제2 센서 데이터(SO2)의 수평선이 정렬된다.

실시예에 따라, 도 3a에 도시된 제2 프리 프로세서(130-2)와 달리, 도 3b에 도시된 제2 프리 프로세서(130-2')도 교정 엔진(137-2)를 포함할 수 있다.

이 경우, 제1 및 제2 프리 프로세서(130-1, 130-2')는 각자의 기준 센서 정보(REF_IF1, REF_IF2)에 따라 각자의 센서 데이터를 교정할 수 있다. 제1 및 제2 기준 센서 정보(REF_IF1, REF_IF2)는 동일할 수 있다. 이 경우, 제1 및 제2 프리 프로세서(130-1, 130-2')는 서로 다른 센서의 데이터를 동일한 조건으로 교정할 수 있다.

다시 도 1a를 참조하면, 제2 스위칭 회로(150)는, 제2 제어 신호(CON2)에 따라 제1 내지 제m 프리 프로세서(130-1~130-m)로부터 출력되는 전처리된 데이터(PO1~POm)가 적어도 하나의 변환기(160-1~160-n, n은 1이상의 정수) 중 하나의 변환기로 입력되도록 연결하거나, 아니면, 제1 내지 제m 프리 프로세서(130-1~130-m)로부터 출력되는 전처리된 데이터(PO1~POm)가 하이브리드 데이터 프로세싱 엔진(170)으로 직접 연결되도록 연결할 수 있다.

즉, 제2 스위칭 회로(150)는 제1 내지 제m 프리 프로세서의 출력(PO1~POm)과, 변환기(160-1~160-n)의 입력(RI1~RIn)을 선택적으로 연결하거나, 또는 변환기(160-1~160-n)를 바이패스할 수 있다.

제1 스위칭 회로(120) 및 제2 스위칭 회로(150) 각각은 멀티플렉서(multiplxer) 및/또는 디멀티플렉서(demultiplxer)를 포함할 수 있다.

변환기(160-1~160-n) 각각은 입력되는 데이터(RI1~RIn)의 해상도나 포맷을 변환할 수 있다.

도 7을 참조하면, 변환기(160-1)는 사이즈 변환기(161) 및 포맷 변환기(163)를 포함할 수 있다. 사이즈 변환기(161)는 사이즈 정보(SIZE_IF)에 따라, 입력되는 데이터(RI1)의 공간 해상도(spatial resolution)를 변환하고, 포맷 변환기(163)는 포맷 정보(FM_IF)에 따라 입력되는 데이터(RI1)의 픽셀 포맷을 변환한다. 사이즈 정보(SIZE_IF) 및 포맷 정보(FM_IF)는 CPU(190) 또는 레지스터(195)에 의해 제공될 수 있다.

실시예에 따라, 사이즈 변환기(161)와 포맷 변환기(163)의 연결 관계는 달라질 수 있다. 예컨대, 도 7에 도시된 바와 같이, 해상도가 먼저 조절된 후 포맷 변환이 이루어질 수도 있고, 포맷 변환이 먼저 이루어진 후, 해상도가 조절될 수도 있다.

다른 실시예에 따라, 사이즈 변환기(161) 또는 포맷 변환기(163)가 바이패스될 수 있다. 예컨대, 사이즈 변환기(161)는 바이패스됨으로써, 해상도 조절없이 포맷 변환만 이루어질 수도 있고, 포맷 변환기(163)는 바이스패스됨으로써, 포맷 변환없이 해상도만 조절될 수도 있다.

실시예에 따라, 변환기(160-1~160-n) 각각은 입력되는 데이터(RI1~RIn) 간의 공간 해상도가 같도록 조절할 수 있다. 예를 들어, 제1 프리 프로세서(111-1)의 출력 데이터(PO1)의 해상도가 제2 프리 프로세서(111-2)의 출력 데이터(PO2)의 해상도 보다 낮은 경우, 변환기(160-1)는 제1 프리 프로세서(111-1)의 출력 데이터(PO1)의 해상도를 증가시켜, 제2 프리 프로세서(111-2)의 출력 데이터(PO2)의 해상도와 같도록 만들 수 있다.

다른 예로서, 제1 프리 프로세서(111-1)의 출력 데이터(PO1)의 해상도가 제2 프리 프로세서(111-2)의 출력 데이터(PO2)의 해상도 보다 높은 경우, 변환기(160-1)는 제1 프리 프로세서(111-1)의 출력 데이터(PO1)의 해상도를 감소시켜, 제2 프리 프로세서(111-2)의 출력 데이터(PO2)의 해상도와 같도록 만들 수 있다. 제1 센서(111-1)과 제2 센서 (111-2)의 해상도가 다른 경우를 가정하면, 변환기(160-1~160-n) 각각은 업-스케일(up-scale) 혹은 다운-스케일(down-scale)하여 제1 센서(111-1)과 제2 센서 (111-2)의 해상도를 맞출 수 있다.

실시예에 따라, 변환기(160-1~160-n) 각각은 입력되는 데이터(RI1~RIn)의 픽셀 포맷을 동일하게 맞출 수 있다. 예를 들어, 픽셀 포맷은 RGB444, ARGB888, YCbCr422일 수 있으나, 이에 한정되는 것은 아니다.

하이브리드 데이터 프로세싱 엔진(170)은 2개 이상의 센서 데이터를 함께 수신하여 노이즈 리덕션(noise reduction), 하이 다이나믹 레인지(high dynamic range) 영상 생성, 디포커싱(de-focusing), 콘트라스트 익스텐션(contrast extension) 등의 영상 개선(image enhancement)을 수행하거나, 거리(depth) 정보를 추출하거나 사물 검출이나 인식 등의 부가 정보를 생성할 수 있다.

즉, 하이브리드 데이터 프로세싱 엔진(170)은 제1 내지 제m 프리 프로세서(130-1~130-m)에 의해 전처리된 둘 이상의 전처리된 센서 데이터를 이용하여 개선된 영상을 출력하거나 정보를 추출할 수 있다.

예컨대, 하이브리드 데이터 프로세싱 엔진(170)으로 입력되는 둘 이상의 전처리된 센서 데이터는, 레지스터(195) 또는 CPU(190)로부터 수신된 제어 신호에 따라, 변환기(160-1~160-m)에 의해 사이즈 조절된 데이터일 수도 있고, 변환기(160-1~160-m)을 바이패스한 데이터일 수도 있다. 실시예에 따라, 변환기(160-1~160-m)는 생략될 수도 있다.

도 8a를 참조하면, 일 실시예에 따른 하이브리드 데이터 프로세싱 엔진(170A)은 복수(2이상)의 단위처리기(Processing Element; PE)를 포함할 수 있다. 여기서, 복수의 단위처리기(PE)는 하드웨어로 구현될 수 있다.

하이브리드 데이터 프로세싱 엔진(170A)은 복수의 단위 처리기들의 조합에 따라 두 가지 이상의 동작을 수행할 수 있다.

복수의 단위 처리기들 각각의 사용여부 및 연결 관계는 CPU(도 1a의 190)나 레지스터(도 1b의 195)에 의해 제어될 수 있다. 예컨대, CPU(190)는 모드에 따라, 각 단위 처리기의 사용 여부(또는 바이패스 여부)나 단위 처리기들의 연결을 다르게 제어할 수 있다.

도 8a의 실시예에서는, 하이브리드 데이터 프로세싱 엔진(170A)은 4개의 단위 처리기, 즉 제1 내지 제4 단위 처리기(171, 172, 173, 174)를 포함하나, 단위 처리기의 수는 달라질 수 있다.

또한 본 실시예에서는, 하이브리드 데이터 프로세싱 엔진(170A)은 단위 처리기들(171, 172, 173, 174)간의 연결을 제어하기 위하여 제3 및 제4 스위치 회로(181, 182)를 포함하나, 본 발명의 실시예가 이에 한정되는 것은 아니다.

제1 내지 제4 단위 처리기(171~174) 중 적어도 하나는 노이즈 제거(noise reduction), 디포커싱(de-focusing), 다이나믹 레인지(dynamic range) 개선, 및 콘스라스트 개선(contrast enhancement) 중 적어도 하나의 영상 처리를 수행할 수 있다.

실시예에 따라, 제1 모드에서는, 하이브리드 데이터 프로세싱 엔진(170A)은 제1 내지 제2 단위 처리기(171, 172)를 사용하여, 다이나믹 레인지를 개선한 영상을 출력할 수 있다. 이 경우, 제3 내지 제4 단위 처리기(173, 174)는 해당 제어 신호(CPEc, CPEd)에 응답하여 바이패스될 수 있다.

제2 모드에서는, 하이브리드 데이터 프로세싱 엔진(170A)은 제1, 제3 및 제4 단위 처리기(171, 173, 164)를 사용하여 디스패리티 맵(disparity map) 데이터를 산출할 수 있다.

상술한 바와 같이, 본 발명의 실시예에 따르면, 하이브리드 데이터 프로세싱 엔진(170A)은 각각이 특정 영상 처리 기능을 갖는 단위 처리기를 모드에 따라 다르게 조합(combination)하여 사용함으로써, 다른 기능을 수행할 수 있다.

도 8b를 참조하면, 하이브리드 데이터 프로세싱 엔진(170B)은 MRAM(magnetic random access memory) 기반으로 만든 FPGA(field programmable gate array)로 구현될 수 있다. 예컨대, 하이브리드 데이터 프로세싱 엔진(170B)은 복수의 로직 게이트들(G-11~G-hg)로 구성된 게이트 어레이를 포함할 수 있다. 각 로직 게이트(G-11~G-hg)간의 연결은 프로그래머블(programmable)하다. 따라서, 모드에 따라, 하이브리드 데이터 프로세싱 엔진(170B)의 각 로직 게이트(G-11~G-hg)간의 연결을 다르게 함으로써, 다른 동작을 수행할 수 있다. 각 로직 게이트(G-11~G-hg)는 특정 로직 연산(예컨대, 논리합, 논리곱, 배타적 논리합 등)을 수행하는 회로일 수 있다.

실시예에 따라, 도 1a의 각 구성요소들(components)간의 데이터 경로는 메모리(미도시)를 거치지 않고 온-더-플라이(on-the-fly)로 연결될 수 있다.

예컨대, 제1 내지 제k 센서(111-1~111-k)에서 제1 내지 제m 프리 프로세서(130-1~130-m)로, 제1 내지 제m 프리 프로세서(13-1~13-m)에서 변환기(160-1~160-n)로, 변환기(160-1~160-n)에서 하이브리드 데이터 프로세싱 엔진(170, 170A 또는 170B)으로의 각 데이터 경로가 온-더-플라이(on-the-fly)로 연결될 수 있다. 더구나, 하이브리드 데이터 프로세싱 엔진(170, 170A 또는 170B)은 직접적인 메모리 억세스 없이, 온-더-플라이 방식으로 프리 프로세서들(130-1 내지 130-m) 중 적어도 두 개의 프리 프로세서들로부터 복수의 센서 데이터를 수신할 수 있다.

이와 같이 각 데이터 경로가 온-더-플라이(on-the-fly)로 연결되는 경우, 메모리(예컨대, 데이터 처리 장치(100A 또는 100A')의 외부 메모리)에 데이터를 쓰고 읽을 필요가 없으므로 메모리 대역폭(bandwidth)이 절감되고, 또한 메모리 엑세스에 따른 전력 소모가 줄어든다.

그러나, 실시예에 따라, 각 데이터 경로 중 적어도 하나에 DMA가 구비되어 하나의 구성요소에서 다른 구성요소로 메모리를 통해 데이터가 전달될 수도 있다.

도 9a는 본 발명의 다른 실시예에 따른 데이터 처리 시스템의 구성 블록도이다. 도 9a를 참조하면, 데이터 처리 시스템(100B)에서 제1 내지 제m 프리 프로세서(130-1~130-m)의 출력 데이터(PO1~POm)는 메모리(15)에 저장되고, 제1 내지 제n 변환기(160-1~160-n)는 메모리(15)로부터 제1 내지 제m 프리 프로세서(130-1~130-m)의 출력 데이터(PO1~POm)를 읽어 와서 처리할 수 있다.

도 9b는 도 9a에 도시된 본 발명의 실시예에 따른 데이터 처리 시스템의 변형예이다. 도 9b를 참조하면, 데이터 처리 시스템(100B')에서 제1 내지 제n 변환기(160-1~160-n)의 출력 데이터(RO1~ROn)는 메모리(15)에 저장되고, 하이브리드 데이터 프로세싱 엔진(170)은 메모리(15)로부터 제1 내지 제n 변환기(160-1~160-n)의 출력 데이터(RO1~ROn)를 읽어 와서 처리할 수 있다.

이와 같이, 데이터 처리 시스템(10A, 10A', 10B)에서 하나의 구성요소와 다른 구성요소간의 데이터 전송은 온-더-플라이 방식으로 이루어질 수도 있지만, 메모리(15)를 거쳐 이루어질 수도 있다. 또한, 실시예에 따라, 복수의 센서(111-1~111-k)와 데이터 처리 장치(100A, 100A', 100B, 또는 100B') 간의 연결은 유선 및/또는 무선으로 연결될 수 있다.

도 1a, 도 1b, 도 9a 또는 도 9b의 실시예에서, 각 구성요소(component)는 CPU(190)의 제어나 레지스터(195)의 설정에 따라 바이패스(bypass) 될 수 있다.

도 1a의 실시예에서는, CPU(190)는 데이터 처리 장치(100A) 외부에 구비되나, 실시예에 따라, 데이터 처리 장치(100A) 내부에 포함될 수도 있다.

도 10은 본 발명의 또 다른 실시예에 따른 데이터 처리 시스템(20)의 구성 블록도이다. 도 11은 도 10에 도시된 제1 프리 프로세서의 일 실시예를 나타내는 구성 블록도이고, 도 12는 도 10에 도시된 제2 프리 프로세서의 일 실시예를 나타내는 구성 블록도이다.

도 10 내지 도 12를 참조하면, 본 발명의 실시예에 따른 데이터 처리 시스템(20)은 제1 및 제2 센서(211-1~211-2) 및 데이터 처리 장치(200)를 포함한다.

제1 센서(Sensor R)(211-1)은 오른쪽 눈에 해당하는 카메라 센서이고, 제2 센서(Sensor L)(211-2)은 왼쪽 눈에 해당하는 카메라 센서이며, 제1 및 제2 센서(211-1, 211-2)은 초점 거리, 렌즈의 광학적 특성 및 센서 자체의 왜곡이나 신호 특성이 다를 수 있다. 데이터 처리 장치(200)는 제1 스위칭 회로(220), 제1 및 제2 프리 프로세서(230-1~230-2), 제2 스위칭 회로(250), 변환기(260) 및 하이브리드 데이터 프로세싱 엔진(270)을 포함할 수 있다. 본 발명의 실시예에 따라, 추가 구성요소가 포함될 수 있고, 하나 이상의 구성요소(예컨대, 제2 스위칭 회로(250) 및 변환기(260) 중 적어도 하나)는 생략될 수도 있다.

데이터 처리 장치(200)의 구성 및 동작은 도 1a 및 도 1b의 데이터 처리 장치(100A 및 100A') 의 구성 및 동작과 유사하므로, 차이점 위주로 설명한다.

한편, 도 10, 11 및 도 12를 참조하면, 제1 및 제2 프리 프로세서(230-1~230-2) 각각은 렌즈 쉐이딩 보정부(231), 불량 화소 보정부(233), 색수차 보정부(235) 및 교정 엔진(237-R 또는 237-L)을 포함할 수 있다.

제1 및 제2 프리 프로세서(230-1~230-2) 각각의 구성은 도 2 및 도 3a에 도시된 제1 및 제2 프리 프로세서(130-1~130-2)의 각각의 구성과 유사하다.

다만, 도 2 및 도 3a에 도시된 제1 및 제2 프리 프로세서(130-1~130-2)는 제1 프리 프로세서(130-1)에만 교정 엔진(137)가 구비되나, 도 11 및 도 12에 도시된 제1 및 제2 프리 프로세서(230-1~230-2)에는 각각에 교정 엔진(137-R 또는 137-L)가 구비된다.

이 경우, 제1 교정 엔진(237-R)과 제2 교정 엔진(237-L)이 각각 입력되는 영상을 교정함으로써, 제1 및 제2 센서 데이터(SRO, SLO)를 정렬(alignment)할 수 있다.

예컨대, 제1 및 제2 센서 데이터(SRO, SLO)를 이용하여 스테레오 영상(Stereo image)을 만드는 모드의 경우, 제1 교정 엔진(137-R)과 제2 교정 엔진(137-L)은 각각 제1 및 제2 센서 데이터(SRO, SLO)의 수직시차(vertical parallax) 제거하는 편위 교정을 수행할 수 있다.

제1 프리 프로세서(230-1)의 출력은 제2 스위칭 회로(250)에 의해 변환기(260)로 입력될 수 있다. 제2 프리 프로세서(230-2)의 출력은 제2 스위칭 회로(250)에 의해 하이브리드 데이터 프로세싱 엔진(270)으로 입력될 수 있다 변환기(260)는 제1 프리 프로세서(230-1)의 출력을 업-스케일(up-scale) 혹은 다운-스케일(down-scale)하여 제1 프리 프로세서(230-1)의 출력 데이터의 해상도를 제2 프리 프로세서(230-2)의 출력 데이터의 해상도와 같게 할 수 있다.

하이브리드 데이터 프로세싱 엔진(270)은 변환기(260)의 출력 데이터와 제2 프리 프로세서(230-2)의 출력 데이터를 함께 수신하여 처리한다.

실시예에 따라, 변환기(260)는 바이패스될 수 있다. 즉, 제1 프리 프로세서(230-1)의 출력 데이터 역시 하이브리드 데이터 프로세싱 엔진(270)으로 직접 입력될 수 있다.

하이브리드 데이터 프로세싱 엔진(270)의 구성 및 동작은 도 1의 하이브리드 데이터 프로세싱 엔진(170)의 구성 및 동작과 유사할 수 있다.

실시예에 따라, 제1 모드에서는, 하이브리드 데이터 프로세싱 엔진(270)은 두 개의 입력 데이터(RRO, PLO)로부터 각 픽셀(pixel)간 디스패리티(disparity)를 구하여 디스패리티 맵 데이터 또는 거리 정보를 출력할 수 있다.

실시예에 따라, 제2 모드에서는, 제1 및 제2 센서(211-1, 211-2)의 노출 시간이 다르게 설정되고, 하이브리드 데이터 프로세싱 엔진(270)은 두 개의 입력 데이터(RRO, PLO)로부터 하이 다이나믹 레인지 영상(high dynamic range image)를 생성할 수 있다. 이 경우, 제1 센서(211-1)의 노출 시간은 길게, 제2 센서(211-2)의 노출 시간은 짧게 설정될 수 있다.

상술한 본 발명의 실시예에 따르면, 복수개의 동형 또는 이형의 센서 데이터를 임의 개수의 프리 프로세서로 보정 후, 보정된 데이터들을 조합하여 영상을 개선하거나 부가적인 정보를 생성할 수 있다.

도 13은 본 발명의 또 다른 실시예에 따른 데이터 처리 시스템의 구성 블록도이다. 도 14는 도 13에 도시된 데이터 처리 시스템의 외관의 일 예를 나타내는 도면이다.

도 13 및 도 14를 참조하면, 데이터 처리 시스템(30)은 모바일 단말기(mobile terminal), 예컨대 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 모바일 인터넷 장치(mobile internet device(MID)), e-북(e-book), PMP(portable multimedia player) 또는 디지털 카메라 등으로 구현될 수 있다.

데이터 처리 시스템(30)은 애플리케이션 프로세서(application processor, 300), 복수의 센서(110), 디스플레이 장치(display device, 370), 및 메모리(memory, 380)를 포함할 수 있다.

복수의 센서(110)는, 도 14에 도시된 바와 같이, 데이터 처리 시스템의 전면부(30A)에 구비되는 제1 및 제2 카메라 센서(111-1, 111-2)와 후면부(30B)에 구비되는 제3 및 제4 카메라 센서(111-3, 111-4)를 포함할 수 있다.

전면부(30A)에 구비되는 제1 및 제2 카메라 센서(111-1, 111-2)는 사용자의 얼굴을 인식하거나, 데이터 처리 시스템(30)의 전방에 위치한 배경이나 사물의 스테레오 이미지를 구하는 데 사용될 수 있다.

후면부(30A)에 구비되는 제3 및 제4 카메라 센서(111-3, 111-4)는 데이터 처리 시스템(30)의 후방에 위치한 배경이나 사물의 스테레오 이미지를 구하거나, 제3 및 제4 카메라 센서(111-3, 111-4)의 노출 시간이나 초점 등 조건을 다르게 하여, 하이 다이나믹 레인지 영상(high dynamic range image)을 구하는 데 사용될 수 있다.

따라서, 사용자가 데이터 처리 시스템(30)에서 구동하는 어플리케이션 프로그램(300)이나 선택하는 메뉴에 따라, 데이터 처리 시스템(30)은 복수의 센서(111-1~ 111-3) 중 둘 이상의 센서를 선택하고, 둘 이상의 센서로부터 출력되는 센서 데이터를 조합하여 처리함으로써 다른 기능을 구현할 수 있다.

서로 다른 동작들을 구현하기 위하여, 도 1a, 1b, 2, 3a, 3b, 4 내지 7, 및 8a 및 8b에서 상술한 바와 같이, 제1 스위칭 회로(220) 및 제2 스위칭 회로(250)에 의한 데이터 경로의 연결 관계, 그리고, 하이브리드 데이터 프로세싱 엔진(170)의 복수의 단위 처리기들 각각의 사용여부 및 연결 관계가 다르게 설정될 수 있다.

애플리케이션 프로세서(300)는 CPU(central processing unit, 310), ROM(read only memory, 320), RAM(random access memory, 330), 데이터 처리 장치(DPD, 100), 센서 인터페이스(sensor interface, 340), 디스플레이 인터페이스(display interface, 350), 및 메모리 인터페이스(memory interface, 360)를 포함할 수 있다.

애플리케이션 프로세서(300)는 시스템 온 칩(system on chip(SoC))으로 구현될 수 있다. 애플리케이션 프로세서(300)의 각 구성(310, 320, 330, 100A, 340, 350, 360)은 버스(bus, 305)를 통하여 서로 데이터를 주고 받을 수 있다.

CPU(310)는 애플리케이션 프로세서(300)의 전반적인 동작을 제어할 수 있다. 예컨대, CPU(310)는 ROM(320) 및/또는 RAM(330)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행시킬 수 있다.

실시 예에 따라, CPU(310)는 2개 이상의 독립적인 프로세서들(또는 코어들)을 갖는 하나의 컴퓨팅 컴포넌트(computing component), 즉 멀티-코어 프로세서(multi-core processor)로 구현될 수 있다.

ROM(320)은 지속적으로 사용되는 프로그램들 및/또는 데이터를 저장할 수 있다. 실시 예에 따라, ROM(320)은 EPROM(erasable programmable ROM) 또는 EEPROM(electrically erasable programmable ROM) 등으로 구현될 수 있다.

RAM(330)은 프로그램들, 데이터, 및/또는 명령들(instructions)을 일시적으로 저장할 수 있다. 실시 예에 따라, RAM(330)은 DRAM(dynamic RAM) 또는 SRAM(static RAM)으로 구현될 수 있다.

RAM(330)은 인터페이스들(340, 350, 360)을 통해 입출력되거나, CPU(310)가 생성하는 데이터를 일시적으로 저장할 수 있다.

데이터 처리 장치(100)는 도 1a, 도 1b, 도 9a, 또는 도 9b에 도시된 데이터 처리 장치(100A, 100A', 100B, 100B') 를 의미한다. 데이터 처리 장치(100)는 제1 내지 제k 센서(111-1~111-k)로부터 입력받은 데이터에 대해 전처리, 사이즈 변환, 가공 등을 수행하고, 처리된 이미지 데이터를 RAM(330), 디스플레이 인터페이스(350), 또는 메모리 인터페이스(360)로 출력할 수 있다.

실시예에 따라, 데이터 처리 장치(100)는 도 8에 도시된 데이터 처리 장치(200)일 수도 있다.

센서 인터페이스(340)는 제1 내지 제k 센서(111-1~111-k)를 제어할 수 있다. 실시예에 따라, 센서 인터페이스(340)와 데이터 처리 장치(100)는 하나의 모듈로 구현될 수 있다.

디스플레이 인터페이스(350)는 애플리케이션 프로세서(300)의 외부에 있는 디스플레이 장치(370)로 출력되는 데이터(예컨대, 영상 데이터)를 인터페이싱할 수 있다.

디스플레이 장치(370)는 이미지 또는 영상에 대한 데이터를 LCD(Liquid-crystal display), AMOLED(active matrix organic light emitting diodes) 등의 디스플레이를 통해 출력할 수 있다.

메모리 인터페이스(360)는 애플리케이션 프로세서(300)의 외부에 있는 메모리(380)로부터 입력되는 데이터 또는 메모리(380)로 출력되는 데이터를 인터페이싱할 수 있다.

실시예에 따라, 메모리(380)는 비휘발성 메모리(non-volatile memory), 예컨대 플래시 메모리(flash memory) 또는 저항성 메모리(resistive memory) 등으로 구현될 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 데이터 처리 시스템은 전면부에 사용자 자신을 찍거나, 촬영자의 얼굴을 인식하기 위한 2개 이상의 센서를 구비하고, 스테레오 이미지 등을 얻기 위하여 후면에도 2개 이상의 센서를 추가로 구비할 수 있다. 이와 같이, 여러 개의 센서가 구비되는 경우, 본 발명의 실시예에 따르면 각 센서에 일대일로 대응하는 데이터 처리 장치를 두는 것이 아니라, 각 데이터 처리기의 조합을 달리하여 다양한 기능을 구현할 수 있다.

따라서, 각 센서에 대응하는 별도의 데이터 처리 장치를 필요로 하지 않으므로, 중복 기능 또는 동작의 구현 및 이로 인한 사이즈 및 전력 소모의 증가를 방지할 수 있다.

또한, 본 발명의 실시예에 따르면, 센서의 출력으로부터 하이브리드 데이터 프로세싱 엔진 간의 데이터 경로 상에서의 메모리 엑세스를 최소화하여 메모리 입출력을 위한 대역폭(bandwidth) 증가 및 전력 소모(power consumption) 증가를 방지할 수 있다.

도 15는 본 발명의 실시예에 따른 데이터 처리 장치(100A, 100A', 100B, 100B' 또는 200)가 사용될 수 있는 IoT (Internet of Thinns) 서비스 시스템(500)의 개념도이다. 도 15의 실시예는 건강, 개인안전, SNS(Social Network Service), 정보제공 및 스마트홈 서비스 등에 대한 사용 예(Usage Scenario)를 보여준다. 도 15를 참조하면, IoT 서비스 시스템(500)은 적어도 하나의 IoT 기기(510), 게이트웨이(525), 서버(540) 및 적어도 하나의 서비스 제공자(550, 560, 570)를 포함할 수 있다.

IoT 기기(510)는 스마트 글래스(smart glass, 510-1), 이어폰(510-2), 심전도 측정기 (ECG/PPG, 510-3), 허리띠(510-4), 밴드 또는 시계(510-5), 혈당측정기(510-6), 온도 조절 옷(510-7), 신발(510-8), 목걸이(510-9) 등과 같이 웨어러블 기기(510)로 구현될 수 있다. 웨어러블 기기(510)는 사용자(520)의 상태, 주변환경 및/또는 사용자 명령을 센싱하는 센서를 포함할 수 있다. 각 웨어러블 기기(510)에 포함된 센서는 상술한 제1 내지 제k 센서(111-1~111-k)에 해당할 수 있다. 또한, IoT 기기(510)는 전원공급을 위하여 교체식 배터리를 내장하거나 무선충전 기능을 포함할 수 있고, 외부와 통신을 위해 무선통신 기능을 포함할 수 있다.

게이트웨이(525)는 상기 센서들에서 수집된 정보를 통신망을 거쳐서 서버(540)로 전송하거나 서버(540)에서 전송된 분석정보를 해당 IoT 기기로 전송할 수 있다. 예를 들면, 게이트웨이(525)는 근거리 무선통신 프로토콜을 통하여 IoT 기기와 연결될 수 있다. 게이트웨이(525)는 Wi-fi, 3G, 또는 LTE와 같은 무선 통신망에 연결 가능한 스마트폰(Smartphone)일 수 있다. 게이트웨이(525)는 본 발명의 실시예에 따른 데이터 처리 장치(100)를 포함할 수 있다. 게이트웨이(525)의 데이터 처리 장치(100)는 복수의 센서로부터 수신한 센서 데이터를 보정/교정 및 사이즈 변환/해상도 변환을 수행하고, 보정/교정/변환된 데이터들을 후처리 및 조합하여 정보를 생성할 수 있다.

게이트웨이(525)는 인터넷망 또는 무선 통신망을 통하여 서버(540)에 연결될 수 있다. 서버(540)는 수집된 정보를 저장하거나 분석하여 관련된 서비스 정보를 생성하거나 저장된 정보 및/또는 분석된 정보를 서비스 제공자(550, 560, 570)에 제공할 수 있다. 서비스 제공자(550, 560, 570)는 수집된 정보를 분석하여 사용자(520)에게 서비스를 제공할 수 있다. 여기서 서비스는 사용자(520)를 위한 유용한 정보의 제공, 알람의 제공, 신변보호 정보의 제공 또는 웨어러블 IoT 기기(510)의 제어정보의 제공일 수 있다.

스마트 글래스(510-1)는 사용자(520)의 머리에 착용되어, 안구건조 센서(dry eye sensor), 눈깜박임 센서(eye blink sensor), 이미지 센서(image sensor), 뇌파센서(brainwave sensor), 터치센서(touch sensor), 음성인식센서(voice recognition sensor) 및 GPS(global positioning system) 칩 또는 센서와 같은 센서를 통하여 사용자의 주변환경이나 사용자(520)의 상태 및 사용자(520)의 명령을 센싱할 수 있다. 상기 센싱된 정보는 서버(540)로 전송되고 서버(540)는 다시 사용자(520)에게 유효한 서비스를 제공할 수 있다. 예를 들면, 서버(540)는 수신된 사용자(520)의 뇌파정보에 기초하여 사용자(520)에게 비정상 뇌파를 치료할 수 있는 전기자극 정보를 보내어 스마트글래스(510-1)를 통한 사용자(520)의 비정상 뇌파를 치료하거나 사용자(520)의 기분을 조정할 수 있다.

이어폰(510-2)은 사용자(520)의 귀에 삽입되거나 귀를 덮는 형태로 부착되어, 온도센서(temperature sensor), 이미지 센서, 및 터치센서, 근접 센서(proximity sensor), 움직임 센서(motion sensor), 제스처 센서(gesture sensor), 심박수 센서(heart rate sensor) 등과 같은 센서들을 통하여 사용자(520)의 신체정보 및 명령을 센싱할 수 있다. 상기 심전도 측정기(Electro Cardio Graphy; ECG 또는 Photo Plethysmo Gram;PPG)는 심전도 측정 센서를 이용하여 사용자(520)의 심전도를 측정할 수 있다. 허리띠(510-4)는 사용자(520)의 허리둘레, 호흡측정 또는 비만측정 센서를 포함하고 비만 또는 통증 치료를 위한 진동기능 또는 전기자극 기능을 포함할 수 있다. 밴드/시계(510-5)는 사용자(520)의 온도, 심박수, 수면, 기압, 자외선, 산소포화도, 광학, 자이로, GSP, PPG, ECG, 피부전도, 만보계 등과 관련된 센서를 포함할 수 있고 치한퇴치를 위한 가스분출 등의 기능을 포함할 수 있다. 연속 혈당 측정기(blood glucose level tester, 510-6)는 사용자(520)의 혈당을 측정하는 센서를 포함할 수 있다. 상기 혈당측정 센서는 비침습 센서일 수 있다. 상기 측정된 혈당은 사용자(520)의 스마트폰/게이트웨이(125)를 통하여 서버(540)로 전송될 수 있다.

온도 조절 옷(510-7)은 사용자(520)의 체온 또는 주변온도를 측정하는 센서를 포함할 수 있다. 온도 조절 옷(510-7)은 미리 설정된 온도와 측정된 온도를 비교하여 온도 조절 옷(510-7)의 냉방 또는 난방 기능을 제어할 수 있다. 온도 조절 옷(510-7)은 예를 들면, 유아 또는 성인용 기저귀 또는 속옷일 수 있다. 상기 기저귀 또는 속옷은 피부전도 센서, 온도 센서, 시험지 감지 센서, 또는 유압 센서를 내장하여 사용자(520)의 상태를 센싱하여 상기 기저귀 또는 속옷의 교체시기를 알리거나 또는 냉방/난방을 수행할 수 있다. 상기 기저귀 또는 속옷은 냉방/난방을 위하여 가는 열선 및/또는 냉각 파이프를 내장할 수 있다.

신발(510-8)은 사용자(520)의 몸무게, 발바닥 부위별 압력, 신발 내 공기 오염도, 습도, 냄새, GPS, 걸음(steps), 활동(activity) 등의 센서를 포함할 수 있다. 센서에서 수집된 정보는 서버(540)로 전송될 수 있고, 서버(540)는 사용자의 자세교정 또는 신발의 세척 및 교체를 알리는 알람 등의 정보를 사용자(520)에게 전송할 수 있다. 신발은 경우에 따라 사용자 스마트폰/게이트웨이(125)에 설치된 애플리케이션을 통하여 바로 사용자(520)에게 상기 정보를 제공할 수 있다.

목걸이(510-9)는 사용자(520)의 목에 장착되어 사용자의 호흡, 맥박, 체온, 운동량, 소모 칼로리, GPS, 뇌파측정, 음성, ECG, PPG, 오디오 등을 센싱하는 센서를 포함할 수 있다. 상기 센서에서 수집된 정보는 IoT 기기에서 자체적으로 분석되거나 또는 서버(540)로 전송될 수 있고, 서비스 제공자(550, 560, 570)는 서버(540)에서 수신된 사용자 정보에 기초하여 관련된 서비스를 사용자(520)에게 제공할 수 있다. 예를 들면, 목걸이(510-9)는 애완견에게 장착되고 애완견의 목소리를 센싱하고, 센싱된 정보에 기초하여 서비스 제공자는 목소리 번역서비스를 제공할 수 있다. 상기 번역서비스 정보는 목걸이(510-9)에 내장된 스피커(speaker)를 통하여 또는 외부 오디오 장치로 재생될 수 있다.

도 16은 본 발명의 실시예에 따른 차량(Vehicle)에 적용가능한 IoT 서비스 시스템의 개념도이다. 도 16의 실시예는 차량관리, 충돌방지, 차량운행 서비스 등에 대한 사용 예(Usage Scenario)를 보여준다. 도 16을 참조하면, 서비스 시스템(600)은 복수의 센서들(512-1~512-G)을 포함하는 차량(510)을 포함한다. 복수의 센서들(512-1~512-G)은 상술한 복수의 센서(111-1~111-k)에 해당한다.

또한, 서비스 시스템(600)은 엔진제어 유닛(Engine Control Unit, 530), 서버(540) 및 적어도 하나의 서비스 제공자(560, 570)를 포함할 수 있다.

복수의 센서들(512-1~512-G)은 엔진부 센서(512-1), 충돌방지 센서(512-4~512-11) 및 차량운행 센서(512-12~512-G) 중 적어도 하나를 포함할 수 있다. 복수의 센서들(512-1~512-G)은 연료 센서(Fuel Level Sensor; 521-2) 및/또는 배기 가스 센서(Exhaust gas sensor; 521-3)를 더 포함할 수 있다.

엔진부 센서(512-1)는 산소 센서(Oxygen sensor), 냉매 온도 센서(Coolant Temp. Sensor), 냉매 레벨 센서(Coolant Level Sensor), 공기량 측정 센서(Manifold Absolute Pressure Sensor; MAP sensor), 바로 압력 센서(BARO pressure sensor; BPS), 스로틀 포지션 압력 센서(Throttle Position Pressure Sensor; TPS), 대량 공기유량 센서(Mass Airflow Sensors; MAF), 베인 공기유량 센서(Vane Airflow Sensor), 카만보텍스 공기유량 센서(Karman Vortex Airflow Sensor), 녹크 센서(Knock Sensor), 공기온도 센서(Air Temperature Sensor), 배기가스 재순환 밸브위치 센서 (Exhaust Gas Recirculation Valve Position Sensor; EGR), 크랭크 포지션 센서(Crankshaft Position Sensor; CKP), 캠샤프트 포지션 센서(Camshaft Position Sensor), 엔진오일 레벨 센서(Engine Oil Level Sensor), 미션오일 레벨 센서 (Mission Oil Level Sensor), 브레이크오일 레벨 센서(Break Oil Level Sensor) 중 적어도 하나를 포함할 수 있다.

바로 압력 센서는 대기의 압력을 측정하여 ECU(530)로 보냄으로써 연료 분사량과 점화시기를 보정할 수 있다. MAP 센서는 흡기 다기관의 압력을 이용하여 체적정보를 ECU(530)에 제공하고, MAF 센서는 흡입공기의 질량에 대한 정보를 ECU(530)에 제공하여 연료량을 결정하도록 한다. 베인 공기유량 센서는 엔진 공기 흡입시스템에서 움직이는 베인이 가변 저항에 연결된 센서이다. 카만보텍스 공기유량 센서는 열선방식 및/또는 열막방식 (hot wire type, hot film type)의 공기 유량 센서이다. 녹크 센서(Knock Sensor)는 녹크 센서(Knock Sensor) 엔진에서의 녹킹 발생을 감지하는 센서로서 일종의 가속도 센서이다. 배기가스 재순환 밸브위치 센서는 연소가스에서 CO나 HC가 많을 때, 산소센서에서 ECU(530)로 신호값을 보내주고, ECU(530)에서 EGR 솔레노이드 밸브로 신호값을 보내주어 배기가스를 재순환하기 위한 센서이다. 크랭크 포지션 센서(CKP)는 엔진회전수 및 피스톤의 정확한 위치를 감지하는 역할을 하는 센서이다. 캠샤프트 포지션센서(Camshaft Position Sensor)는 연료분사시기, 점화시기를 제어하기 위한 센서이다.

충돌방지 센서(512-4~512-11)는 에어백 터짐 센서(Airbag crash sensor), 전면비디오 카메라(Front Video Camera), 후방비디오 카메라(Back Video Camera), 적외선 카메라(Infrared Camera), 멀티빔 레이져(Multi beam Laser), 장거리 레이더(Long distance radar), 단거리 레이더(Short Distance radar), 초음파센서(Ultrasonic Sensor) 중 적어도 하나를 포함할 수 있다.

차량운행 센서(512-12~512-G)는 GPS(Global Positioning System), 온도 센서(Temperature Sensor), 습도센서(Humidity Sensor), 타이어 공기압 센서(Tire Pressure Sensor), 회전각 센서(Steering angle Sensor), 휠속도 센서(Wheel Speed sensor; WSS or ABS), 차량속도 센서(Vehicle Speed Sensor; VSS), G센서 (G-Force Sensor), 전기기계식 조향 장치(Electromechanical Steering System), 전자식가속기 (Electronic Accelerator), 전자식브레이크(Electronic Breaks), 피치 센서(pitch sensor), 높이 센서(height sensor, 예컨대, wheel height sensor), 가속도 센서(an acceleration sensor), 틸트 센서(tilt sensor)들 중 적어도 하나를 포함할 수 있다.

엔진제어 유닛(ECU, 530)은 복수의 센서들(512-1~512-G)로부터 수신된 운전정보(532)를 수집하여 통신망을 거쳐 서버(540)로 전송할 수 있다.

서버(540)는 본 발명의 실시예에 따른 데이터 처리 장치(100)를 포함할 수 있다. 서버(540)의 데이터 처리 장치(100)는 복수의 센서들(512-1~512-G)로부터 수신한 센서 데이터를 보정/교정 및 사이즈 변환/해상도 변환을 수행하고, 보정/교정/변환된 데이터들을 후처리 및 조합하여 정보를 생성할 수 있다. 이때, 엔진제어 유닛(530)과 서버(540)는 차량상태정보(534), 운전자정보(536) 및/또는 사고이력정보(538)를 서로 통신할 수 있다.

서비스 회사(560)는 서버(540)에 저장된 차량상태정보(534), 운전자정보(536) 및/또는 사고이력정보(538)를 참조하여 해당 차량에 분석된 정보, 알람 등의 다양한 서비스를 제공할 수 있다. 서비스 회사(560)는 서버(540)에 저장된 차량관련 정보들을 계약된 사용자(522)와 공유할 수 있다. 도 17은 본 발명의 실시 예들에 따른 홈 네트워크 기반의 IoT 서비스 시스템(800)의 개념도이다.

도 17을 참조하면, IoT 서비스 시스템(800)은 복수의 IoT 기기(811~814)를 포함하는 홈 네트워크 시스템(810)을 포함한다. 또한, IoT 서비스 시스템(800)은 통신망(850), 서버(860) 및 서비스 제공자(870)를 더 포함할 수 있다.

홈 네트워크 시스템(810)은 유무선 네트워크를 통하여 건물(주택, 아파트, 빌딩 등) 내의 다양한 기기들을 제어하고, 기기간 컨텐츠를 공유하는 기술이다. 홈 네트워크 시스템(810)은 복수의 IoT 기기들(811~815), 홈 네트워크(820), 홈 게이트웨이(830)를 포함할 수 있다. 또한, 홈 네트워크 시스템(810)은 홈 서버(840)를 더 포함할 수 있다.

복수의 IoT 기기들(811~814)은 냉장고, 세탁기, 에어컨, 난로(stove), 오븐(oven), 식기세척기(dishwasher) 등과 같은 가전 기기(811), 도어락, CCTV, 카메라, 인터폰, 윈도우 센서, 화재 감지 센서, 전기 플러그 등과 같은 보안/안전 기기(812), TV, 오디오 장치, 오디오/비디오 장치, 비디오 장치, 디스플레이 장치, 게임기, 컴퓨터 등과 같은 엔터테인먼트 기기(813), 및 프린터, 프로젝터, 복사기, 팩스 기기, 스캐너, 다목적 장치 등과 같은 사무기기(814) 등을 포함할 수 있다. 이외에도 IoT 기기들(811~814)은 다양한 전자 기기 또는 센싱 기기 등을 포함할 수 있다. 일 실시예에 있어서, IoT 기기들(811~814) 각각은 적어도 하나의 센서를 포함할 수 있다. IoT 기기들(811~814)에 포함된 센서는 도 1a의 복수의 센서(111-1~111-k)에 해당한다.

IoT 기기들(811~814)은 홈 네트워크(820)를 통하여 서로 통신하거나 또는 홈 게이트웨이(830)와 통신할 수 있다. IoT 기기들(811~814)과 홈 게이트웨이(830)는 센서 데이터 또는 제어 정보를 송/수신할 수 있다.

홈 게이트웨이(830)는 본 발명의 실시예에 따른 데이터 처리 장치(도 1의100)를 포함할 수 있다. 홈 게이트웨이(820)의 데이터 처리 장치(도 1의 100)는 IoT 기기들(811~814)로부터 수신한 센서 데이터를 보정/교정 및 사이즈 변환/해상도 변환을 수행하고, 보정/교정/변환된 데이터들을 후처리 및 조합하여 정보를 생성할 수 있다.

홈 네트워크(820)는 다양한 유/무선 통신망을 포함할 수 있다. IoT 기기들(811~814)은 홈 게이트웨이(830)를 통하여 외부 통신망(850)에 연결될 수 있다. 홈 게이트웨이(830)는 홈 네트워크(820) 및 외부 통신망(840) 간에 프로토콜을 변환하여 서로를 연결할 수 있다. 또한, 홈 게이트웨이(830)는 홈 네트워크(820)에 포함되는 다양한 통신망들 간에 프로토콜을 변환하여, IoT 기기들(811~814) 및 홈 서버(840)를 연결할 수 있다. 홈 게이트웨이(830)는 다른 기기들과 별도로 구비되거나, 또는 다른 기기들에 포함될 수 있다. 예컨대, 홈 게이트웨이(830)는 IoT 기기들(811~814) 또는 홈 서버(840)에 포함될 수도 있다.

홈 서버(840)는 가정(또는 아파트 단지) 내에 구비되고, 수신되는 데이터를 저장하거나 분석할 수 있다. 홈 서버(840)는 분석된 정보를 기초로 관련된 서비스를 제공하거나, 분석된 정보를 외부 통신망(850)을 통해 서비스 제공자(870) 또는 사용자 기기(880)에 제공할 수도 있다. 홈 서버(840)는 홈 게이트웨이(830)를 통해 수신되는 외부 컨텐츠를 저장하고, 데이터를 처리하여 IoT 기기들(811~814)에 제공할 수도 있다.

예를 들면, 홈 서버(840)는 보안/안전 기기(812)로부터 제공된 입/출입 데이터를 저장하거나, 입/출입 데이터를 기초로 자동 방범 서비스, IoT 기기들(811~814)의 전력 관리 서비스 등을 제공할 수 있다. 또한, 홈 서버(840)는 조도, 습도, 오염도 감지 센서를 포함하는 IoT 기기들(811~814)로부터 제공된 데이터를 분석하여, 환경 정보를 생성하고, 상기 정보를 기초로 가정 내 환경 제어 서비스를 제공하거나, 또는 상기 환경 정보를 사용자 기기(880)에 제공할 수 있다.

실시예에 따라, 홈 서버(840)는 본 발명의 실시예에 따른 데이터 처리 장치(도 1의 100)를 포함할 수 있다. 홈 서버(840)의 데이터 처리 장치(100)는 IoT 기기들(811~814)로부터 수신한 센서 데이터를 보정/교정 및 사이즈 변환/해상도 변환을 수행하고, 보정/교정/변환된 데이터들을 후처리 및 조합하여 정보를 생성할 수 있다.

외부 통신망(850)은 인터넷 및/또는 공중 통신망(Public communication network)을 포함할 수 있다. 상기 공중 통신망은 이동통신망(mobile cellular network)을 포함할 수 있다. 외부 통신망(850)은 홈 네트워크 시스템(810)의 IoT 기기들(811~814)에서 수집된 정보가 전송되는 채널일 수 있다.

서버(860)는 수집된 정보를 저장하거나 분석하여 관련된 서비스 정보를 생성하거나 저장된 정보 및/또는 분석된 정보를 서비스 제공자(870) 및/또는 사용자 기기(880)에 제공할 수 있다.

서비스 제공자(870)는 수집된 정보를 분석하여 사용자에게 다양한 서비스를 제공할 수 있다. 서비스 제공자(870)는 각각의 서비스를 제공하는 사업자, 공공 시설 등일 수 있다.

서비스 제공자(870)는 원격 검침, 방범/방재, 홈 케어, 헬스 케어, 엔터테인먼트, 교육, 공공 행정 등의 서비스를 홈 네트워크 시스템(810)을 통하여 IoT 기기들(811~814)에 제공하거나, 또는 사용자 기기(880)에 제공할 수 있다. 또한, 서비스 제공자(870)는 상기 서비스를 사용자에게 직접 제공할 수도 있다.

도 18은 본 발명의 실시 예들에 따른 사물들간의 네트워크를 설명하기 위한 개략도이다.

도 18을 참조하면, 본 실시예에 따른 네트워크 시스템(900)은 다양한 IoT 기기(910, 920, 930, 940)를 포함할 수 있고, 다양한 유/무선 통신 기술이 적용될 수 있다. 구체적으로, 네트워크 시스템(900)에는 센서 네트워크, M2M 통신, D2D 통신 등을 포함하는 사물 인터넷(IoT) 기술이 적용될 수 있다.

IoT 기기들(910, 920, 930, 940)은 스마트 폰(910), 에어컨(940)과 같은 전자 기기뿐만 아니라, 종래의 비-전자 기기에 센서가 장착된 물품들, 예를 들어 신발(920) 및 침대/침구(930) 등을 포함할 수 있다. IoT 기기들(910, 920, 930, 940)은 서로 통신하여 데이터를 송/수신할 수 있다.

IoT 기기들(910, 920, 930, 940)은 적어도 하나의 센서를 포함하고, 센서를 통하여 IoT 기기 내/외부에서 발생하는 정보를 감지할 수 있다. IoT 기기들(910, 920, 930, 940)에 탑재되는 센서는 센서 소자뿐만 아니라, 통신 회로 또는 프로세서를 더 포함하는 스마트 센서로 구현될 수 있다. IoT 기기들(910, 920, 930, 940)에 탑재되는 센서는 도 1a의 복수의 센서(111-1~111-k)에 해당한다.

본 실시예에서, IoT 기기들(910, 920, 930, 940) 중 적어도 하나는 IoT 기기들(910, 920, 930, 940)을 제어하는 마스터 디바이스로 동작할 수 있다. 일 실시예에서, 마스터 디바이스는 스마트 폰(910)일 수 있으나, 본 발명은 이에 한정되지 않는다. 예를 들어, 다른 실시예에서, 마스터 디바이스는 태블릿 PC, PDA, 노트북 및 넷북과 같은 모바일 디바이스, 웨어러블 디바이스 또는 스마트 티비 등과 같은 스마트 가전 기기를 포함할 수 있다. 이하에서는, 마스터 디바이스가 스마트 폰(910)인 경우에 대해 상술하기로 한다.

스마트 폰(910)은 내부에 장착된 각종 센서들로부터 센싱된 센서 데이터 또는 IoT 기기들(920, 930, 940)로부터 수신된 센서 데이터를 기초로 제어 신호 또는 알림 신호(Notification signal)를 생성할 수 있다. 이를 위하여 스마트 폰(910)은 본 발명의 실시예에 따른 데이터 처리 장치(100A, 100A', 100B, 100B' 또는 200)를 포함할 수 있다.

제어 신호는 IoT 기기들(920, 930, 940)의 동작 또는 스마트 폰(910)의 동작을 제어하는 신호일 수 있다. 알림 신호는 IoT 기기들 (920, 930, 940)의 상태 또는 사용자의 상태를 나타내는 신호일 수 있다.

예를 들어, 스마트 폰(910)은 침대/침구(930)로부터 온도, 습도, 사용자의 호흡, 심박수 등과 같은 센싱 정보를 수신하고, 상기 센싱 정보들을 기초로 사용자의 수면 상태 및 주변 환경의 상태를 판단할 수 있다. 스마트 폰(910)은 판단 결과를 기초로 에어컨(940)의 동작을 제어하는 제어 신호를 생성하고, 제어 신호를 에어컨(940)에 제공할 수 있다.

다른 예로써, 스마트 폰(910)은 신발(920)로부터 제공되는 습도, 냄새, 압력, 위치 등과 같은 센싱 정보를 기초로, 신발(920)의 오염도를 나타내는 알림 신호를 생성하거나, 사용자의 운동량, 소비 칼로리 등을 나타내는 알림 신호를 생성할 수 있다.

데이터 처리 장치(100A, 100A', 100B, 100B' 또는 200)은 스마트 장치, 텔레비전, 모바일 장치, 컴퓨팅 장치, IoT 장치, 스마트 텔레비전, 웨어러블 장치, 스카트 웨어러블 장치, 태블릿 장치, PDA(personal digital assistant), PMP(portable multimedia player), 오디오/비디오 장치, 셋탑 박스, 디지털 카메라, 이미지 캡쳐링 장치 등과 임의의 프로세싱 장치로 구현될 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 본 발명의 실시예는 컴퓨터로 판독가능한 전송 매체(예컨대, 캐리어 웨이브)를 통해 전송되는 컴퓨터 프로그램으로 기록될 수 있고, 상기 프로그램을 실행하는 범용 또는 전용의 디지컬 컴퓨터에 수신되어 구현될 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10, 20, 30: 데이터 처리 시스템
100, 200: 데이터 처리 장치
111-1~111-k: 센서
120, 150: 스위칭 회로
130-1~130-m: 프리 프로세서
160-1~160-n: 변환기
170: 하이브리드 데이터 프로세싱 엔진

Claims (20)

1. 복수의 센서 데이터에 대한 보정 처리(correction processing)를 수행하는 복수의 프리 프로세서들;
   적어도 두 개의 센서들로부터 출력되는 복수의 센서 데이터를 상기 복수의 프리 프로세서들 중 적어도 두 개의 프리 프로세서들로 선택적으로 매핑하여 입력시키는 제1 스위칭 회로;
   상기 적어도 두 개의 프리 프로세서들로부터 출력되는 상기 복수의 센서 데이터의 해상도 또는 픽셀 포맷이 상호 동일해지도록 상기 적어도 두 개의 프리 프로세서들로부터 출력되는 상기 복수의 센서 데이터의 해상도 또는 픽셀 포맷을 변환하는 복수의 컨버터들; 및
   상기 복수의 컨버터들로부터 수신된 상기 복수의 센서 데이터에 대해 영상 개선(image enhancement) 및 거리 정보 결정 중 적어도 하나를 수행하는 하이브리드 데이터 프로세싱 엔진을 포함하고,
   상기 복수의 프리 프로세서들 중 제1 프리 프로세서는,
   상기 복수의 프리 프로세서들 중 제2 프리 프로세서로 입력되는 제2 센서 데이터에 기초하여 상기 제1 프리 프로세서에 입력되는 제1 센서 데이터를 교정하는 제1 교정 엔진을 포함하는 데이터 처리 장치.
2. 제1항에 있어서, 상기 제1 스위칭 회로는
   적어도 두 개의 다른 타입의 센서들로부터 출력되는 상기 복수의 센서 데이터를 선택적으로 매핑하여 입력시키는 데이터 처리 장치.
3. 제1항에 있어서, 상기 제1 스위칭 회로는
   상기 복수의 센서 데이터의 타입들에 따라, 상기 복수의 센서 데이터를 상기 복수의 프리 프로세서들 중 적어도 두 개의 프리 프로세서들에 선택적으로 매핑하여 입력시키는 데이터 처리 장치.
4. 제3항에 있어서, 제1 센서로부터 제1 센서 데이터와 제2 센서로부터 제2 센서 데이터가 상기 제1 스위칭 회로에 입력되면, 상기 제1 스위칭 회로는 제1 센서 데이터와 제2 센서 데이터를 상기 복수의 프리 프로세서들 중 제1 및 제2 프리 프로세서에 각각 매핑하여 입력시키는 데이터 처리 장치.
5. 제4항에 있어서, 상기 제2 센서로부터 제2 센서 데이터 및 제3 센서로부터 제3 센서 데이터가 상기 제1 스위칭 회로에 입력되면, 상기 제1 스위칭 회로는 제2 센서 데이터와 제3 센서 데이터를 제1 및 제2 프리 프로세서에 각각 매핑하여 입력시키는 데이터 처리 장치.
6. 제1항에 있어서, 상기 복수의 프리 프로세서들 각각은
   렌즈 쉐이딩(lens shading)으로 인한 명암의 차이를 보정하는 렌즈 쉐이딩 보정부;
   불량 화소의 화소값을 보정하는 불량 화소 보정부; 및
   상기 렌즈의 색수차를 보정하는 색수차 보정부 중 적어도 하나를 포함하는 데이터 처리 장치.
7. 삭제
8. 제1항에 있어서, 상기 제2 프리 프로세서는
   교정 엔진을 포함하지 않은 데이터 처리 장치.
9. 제1항에 있어서, 상기 제1 교정 엔진은
   상기 제1 센서 데이터에 대해 이동(transition), 회전(rotation), 및 크기 변환(scaling) 중 적어도 하나를 수행함으로써 상기 제1 센서 데이터를 교정하는 데이터 처리 장치.
10. 제1항에 있어서, 상기 제1 교정 엔진은
    상기 제2 프리 프로세서로부터 상기 제1 교정 엔진으로 수신된 상기 제2 센서 데이터에 기초하여, 상기 제1 센서 데이터를 교정하는 데이터 처리 장치.
11. 제1항에 있어서, 상기 제2 프리 프로세서는
    제2 교정 엔진을 더 포함하고,
    레지스터 또는 CPU로부터 수신된 제어 신호에 기초하여, 상기 제1 교정 엔진은 상기 제1 센서 데이터를 교정하고, 상기 제2 교정 엔진은 상기 제2 센서 데이터를 교정하는 데이터 처리 장치.
12. 제1항에 있어서, 상기 하이브리드 데이터 프로세싱 엔진은
    영상 강화 및 거리 정보 결정 중 적어도 하나를 수행하는 복수의 하드웨어 단위 처리기들을 포함하는 데이터 처리 장치.
13. 제12항에 있어서, 상기 복수의 하드웨어 단위 처리기들 간의 연결 및 상기 복수의 하드웨어 단위 처리기들의 동작은 상기 데이터 처리 장치의 동작 모드에 따라 달라지는 데이터 처리 장치.
14. 제13항에 있어서, 상기 데이터 처리 장치는
    상기 동작 모드에 따라 상기 복수의 하드웨어 단위 처리기들 간의 연결 및 상기 복수의 하드웨어 단위 처리기들의 동작을 선택적으로 제어하는 레지스터를 더 포함하는 데이터 처리 장치.
15. 제1항에 있어서, 상기 데이터 처리 장치는
    상기 적어도 두 개의 프리 프로세서들로부터 수신된 복수의 센서 데이터의 해상도 및 픽셀 포맷 중 적어도 하나를 선택적으로 변환하는 복수의 변환기들을 더 포함하는 데이터 처리 장치.
16. 제15항에 있어서, 상기 데이터 처리 장치는
    상기 데이터 처리 장치의 동작 모드에 따라, 상기 적어도 두 개의 프리 프로세서들로부터의 상기 복수의 센서 데이터를 상기 복수의 변환기들로 선택적으로 매핑하여 입력하는 제2 스위칭 회로를 더 포함하는 데이터 처리 장치.
17. 제1항에 있어서, 상기 하이브리드 데이터 프로세싱 엔진은
    상기 적어도 두 개의 프리 프로세서들로부터 메모리 엑세스없이, 온-더-플라이(on-the-fly) 방식으로 상기 복수의 센서 데이터들을 수신하는 데이터 처리 장치.
18. 제1항에 있어서, 상기 하이브리드 데이터 프로세싱 엔진은
    상기 적어도 두 개의 프리 프로세서들로부터 메모리에 저장된 상기 복수의 센서 데이터들을 메모리 억세스를 통하여 수신하는 데이터 처리 장치.
19. 제1 내지 제k(k는 2이상의 정수) 센서:
    각각이 상기 제1 내지 제k(k는 2이상의 정수) 센서 중 적어도 하나의 센서 데이터를 수신하여 전처리(pre-processing)하는 제1 및 제2 프리 프로세서;
    상기 제1 내지 제k(k는 2이상의 정수) 센서와 상기 제1 및 제2 프리 프로세서 사이에 연결되며, 제어 신호에 따라 상기 제1 내지 제k(k는 2이상의 정수) 센서 중 적어도 하나의 센서 데이터를 상기 제1 및 제2 프리 프로세서로 선택적으로 입력시키는 제1 스위칭 회로;
    상기 제1 및 2 프리 프로세서들로부터 출력되는 복수의 센서 데이터의 해상도 또는 픽셀 포맷이 상호 동일해지도록 상기 제1 및 2 프리 프로세서들로부터 출력되는 상기 복수의 센서 데이터의 해상도 또는 픽셀 포맷을 변환하는 제1 및 2 컨버터; 및
    상기 제1 및 제2 컨버터에 의해 변환된 데이터를 함께 수신하여 처리하는 하이브리드 데이터 프로세싱 엔진을 포함하고,
    상기 제1 프리 프로세서는,
    상기 제2 프리 프로세서로 입력되는 제2 센서 데이터에 기초하여 상기 제1 프리 프로세서에 입력되는 제1 센서 데이터를 교정하는 교정 엔진을 포함하는 데이터 처리 장치.
20. 제19항에 있어서,
    제1 모드에서는, 상기 제1 내지 제k(k는 2이상의 정수) 센서 중 제1 및 제2 센서가 선택되고, 제2 모드에서는 상기 제1 및 제2 센서와는 다른 적어도 하나의 센서가 선택되며,
    상기 제1 스위칭 회로는
    상기 제어 신호에 응답하여, 상기 제1 모드 또는 상기 제2 모드에서 선택된 센서를 상기 제1 및 제2 프리 프로세서에 연결시키는 데이터 처리 장치.
    

Images