KR20200085438A

KR20200085438A - 이미지 처리 장치 및 이미지 처리 방법

Info

Publication number: KR20200085438A
Application number: KR1020190001524A
Authority: KR
Inventors: 이석현; 이휘웅; 정경아
Original assignee: 삼성전자주식회사
Priority date: 2019-01-07
Filing date: 2019-01-07
Publication date: 2020-07-15
Also published as: CN111416923B; CN111416923A; US11758284B2; US12052513B2; TW202107884A; KR102611722B1; US20230396890A1; US11025816B2; US20200221024A1; US20210281753A1

Abstract

이미지 처리 장치 및 이미지 처리 방법이 제공된다. 이미지 처리 장치는, 이미지 센서로부터 입력 데이터를 수신하고, 상기 입력 데이터에 기초하여 상기 이미지 센서의 동작 모드(operation mode)를 검출하는 모드 검출 모듈; 상기 입력 데이터 중 이미지 데이터를 상기 검출된 동작 모드에 따라 처리하는 이미지 처리 모듈; 및 상기 이미지 센서의 동작 모드와 연관되어 미리 결정된 구성 데이터(configuration data)를 상기 이미지 처리 모듈에 제공하는 레지스터를 포함한다.

Description

이미지 처리 장치 및 이미지 처리 방법{IMAGE PROCESSOR AND IMAGE PROCESSING METHOD}

본 발명은 이미지 처리 장치 및 이미지 처리 방법에 관한 것이다.

이미지 센서(image sensor)는 피사체를 촬영하기 위한 여러 가지 동작 모드(operation mode)를 가질 수 있다. 예를 들어, 이미지 센서는 피사체의 움직임이 많은 경우 고속 촬영 모드에서 동작하여 초당 프레임(frames per second, fps)이 높은 이미지 데이터를 생성할 수도 있고, 피사체의 움직임이 적은 경우 또는 움직임이 없는 경우에는 저속 촬영 모드에서 동작하여 초당 프레임이 낮은 이미지 데이터를 생성할 수도 있다. 한편, 이미지 센서가 복수로 구비된 경우에는 각각의 이미지 센서가 서로 다른 동작 모드에서 피사체를 촬영할 수도 있다.

이미지 센서가 생성한 이미지 데이터는 이미지 신호 처리(image signal processing)를 위해 이미지 처리 장치(또는 이미지 프로세서(image processor), 이미지 처리 프로세서(image signal processor))에 전달된다. 그러면 이미지 처리 장치는 이미지 센서가 피사체를 촬영하는 동작 모드에 따라 이미지 데이터를 처리하게 된다. 예를 들어, 이미지 센서가 고속 촬영 모드에서 촬영한 이미지 데이터를 이미지 처리 장치에 전달하면, 이미지 처리 장치는 고속으로 이미지 프레임들에 대한 처리를 수행해야 출력 영상의 왜곡 또는 지연이 발생하지 않는다.

이미지 처리 장치가 자신의 동작을 이미지 센서의 동작 모드에 동기화하기 위해서는, 이미지 센서에서 이미지 처리 장치로 이미지 데이터가 전달되는 시간 외에 이미지 센서의 동작 모드에 대한 정보를 획득하기 위한 추가적인 시간이 소요될 수 있다. 추가적인 시간은 출력 영상의 왜곡 또는 지연을 야기할 수 있으므로, 이를 가능한 줄이는 것이 필요하다.

본 발명이 해결하고자 하는 기술적 과제는, 이미지 센서와 이미지 처리 장치가 독립적으로 동작하는 시스템에서, 이미지 처리 장치가 다른 장치에 의존하지 않고 직접 이미지 센서의 동작 모드를 인지할 수 있도록 하여 지연 시간을 단축시키기 위한 이미지 처리 장치 및 이미지 처리 방법을 제공하는 것이다.

본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 이미지 처리 장치는, 이미지 센서로부터 입력 데이터를 수신하고, 입력 데이터에 기초하여 이미지 센서의 동작 모드를 검출하는 모드 검출 모듈; 입력 데이터 중 이미지 데이터를 검출된 동작 모드에 따라 처리하는 이미지 처리 모듈; 및 이미지 센서의 동작 모드와 연관되어 미리 결정된 구성 데이터(configuration data)를 이미지 처리 모듈에 제공하는 구성 데이터 제공 모듈을 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 이미지 처리 장치는, 이미지 센서로부터 입력 데이터를 수신하고, 입력 데이터에 기초하여 이미지 센서의 동작 모드를 검출하는 모드 검출 모듈; 및 각각 하나 이상의 이미지 처리 코어를 포함하는 복수의 처리 경로(processing path)를 포함하고, 검출된 동작 모드에 따라 선택된 처리 경로를 통해 입력 데이터 중 이미지 데이터를 처리하는 이미지 처리 모듈을 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 이미지 처리 장치는, 제1 이미지 센서로부터 제1 입력 데이터를 수신하고, 제1 입력 데이터에 기초하여 제1 이미지 센서의 제1 동작 모드를 검출하는 제1 모드 검출 모듈; 제2 이미지 센서로부터 제2 입력 데이터를 수신하고, 제2 입력 데이터에 기초하여 제2 이미지 센서의 제2 동작 모드를 검출하는 제2 모드 검출 모듈; 제1 입력 데이터에 포함된 제1 이미지 데이터는 검출된 제1 동작 모드에 따라 처리하고, 제2 입력 데이터에 포함된 제2 이미지 데이터는 검출된 제2 동작 모드에 따라 처리하는 이미지 처리 모듈; 및 제1 동작 모드와 연관되어 미리 결정된 제1 구성 데이터와, 제2 동작 모드와 연관되어 미리 결정된 제2 구성 데이터를 이미지 처리 모듈에 제공하는 구성 데이터 제공 모듈을 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 이미지 처리 방법은, 이미지 센서로부터 입력 데이터를 수신하고, 입력 데이터에 기초하여 이미지 센서의 동작 모드를 검출하고, 이미지 센서의 동작 모드와 연관되어 미리 결정된 구성 데이터를 이용하여, 입력 데이터 중 이미지 데이터를 처리하는 것을 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 블록도이다.
도 2는 도 1에 도시된 이미지 처리 시스템의 이미지 센서를 설명하기 위한 블록도이다.
도 3은 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 일 구현례를 설명하기 위한 블록도이다.
도 4는 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 다른 구현례를 설명하기 위한 블록도이다.
도 5는 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 또 다른 구현례를 설명하기 위한 블록도이다.
도 6은 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 또 다른 구현례를 설명하기 위한 블록도이다.
도 7은 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 또 다른 구현례를 설명하기 위한 블록도이다.
도 8은 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 또 다른 구현례를 설명하기 위한 블록도이다.
도 9는 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 또 다른 구현례를 설명하기 위한 블록도이다.
도 10은 본 발명의 다른 실시예에 따른 이미지 처리 시스템을 설명하기 위한 블록도이다.
도 11은 도 10에 도시된 이미지 처리 시스템의 이미지 처리 장치의 일 구현례를 설명하기 위한 블록도이다.
도 12는 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템을 설명하기 위한 블록도이다.
도 13은 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
도 14는 본 발명의 다른 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
도 15는 본 발명의 또 다른 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.

도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(1)은 이미지 센서(10) 및 SoC(System-on-Chip)(20)를 포함한다. 여기서 SoC(20)는 AP(Application Processor)로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

이미지 센서(10)는 SoC(20)의 제어 하에 동작할 수 있다. 예를 들어, 이미지 센서(10)는 SoC(20)로부터 제어 데이터(CTL_DATA)를 수신하고, 이에 따라 촬영을 개시하거나 종료할 수 있다.

이미지 센서(10)는 도 2에 도시된 렌즈(5)를 이용하여 피사체를 촬영하고, 이미지 데이터(IMG_DATA)를 생성한다. 그리고 이미지 센서(10)는 촬영 결과로 생성한 이미지 데이터(IMG_DATA)를 SoC(20)에 전송할 수 있다.

구체적으로 이미지 센서(10)는 피사체를 다양한 방식으로 캡처(capture)하여 다양한 이미지 데이터(IMG_DATA)를 생성할 수 있다. 예를 들어, 이미지 센서(10)는 단일 이미지 데이터를 생성하거나, (예컨대 연속적인) 다중 이미지 데이터를 생성하거나, 또는 비디오 데이터를 생성할 수 있다. 또 다른 예로, 이미지 센서(10)는 픽셀 수가 높은 고해상도 이미지 데이터를 생성하거나, 픽셀 수가 낮은 저해상도 이미지 데이터를 생성할 수도 있다. 또 다른 예로, 이미지 센서(10)는 초당 프레임이 높은 고속 촬영 이미지 데이터를 생성하거나, 초당 프레임이 낮은 저속 촬영 이미지 데이터를 생성할 수도 있다. 또 다른 예로, 이미지 센서(10)는 스케일다운(scale-down) 이미지 데이터를 생성할 수도 있다. 여기서 스케일다운 이미지 데이터는 사용자가 정지영상 또는 동영상을 촬영하기 전후로 사용자에게 제공되는 프리뷰(preview) 영상을 제공하는 이미지 데이터일 수 있다. 즉, 이미지 센서(10)는 사용자가 촬영을 하는 동안에는 촬영 모드에서 설정된 실제 해상도의 이미지 데이터를 생성하고, 사용자의 촬영 전후로 제공되는 프리뷰 영상을 위해서는 촬영 모드에서 설정된 실제 해상도보다 낮은 스케일다운 이미지 데이터를 생성할 수 있다.

이미지 센서(10)는 또한 사이드 밴드 데이터(side-band data)(SIDE_DATA)를 생성할 수 있다. 사이드 밴드 데이터(SIDE_DATA)는 이미지 데이터(IMG_DATA)에 대한 추가적인 정보를 포함할 수 있다. 여기서, 사이드 밴드 데이터(SIDE_DATA)는 이미지 센서(10)의 동작 모드에 관한 정보를 포함할 수 있다. 동작 모드에 관한 정보는, 예를 들어 이미지 센서(10)가 정지 이미지 촬영을 했는지, 연속 이미지 촬영을 했는지, 비디오 촬영을 했는지 여부에 관한 정보나, 촬영 해상도, 촬영 속도, 스케일다운 여부. 스케일다운 해상도 등의 정보를 포함할 수 있다. 그러나 본 발명의 범위는 위에서 나열한 것에 한정되지 않으며, 실제 구현 목적 및 환경에 따라 다양한 정보가 사이드 밴드 데이터(SIDE_DATA)에 포함될 수 있다. 이미지 센서(10)는 이와 같은 사이드 밴드 데이터(SIDE_DATA)를 역시 SoC(20)에 전송할 수 있다.

이미지 센서(10)는 이미지 데이터(IMG_DATA)와 사이드 밴드 데이터(SIDE_DATA)를 다양한 방식으로 SoC(20)에 전송할 수 있다. 예를 들어, 이미지 센서(10)는 이미지 데이터(IMG_DATA)와 사이드 밴드 데이터(SIDE_DATA)를 카메라 직렬 인터페이스(200)에 전송할 수 있으며, 이를 위해 이미지 데이터(IMG_DATA)와 사이드 밴드 데이터(SIDE_DATA)는 임의의 다양한 정책(policy)에 따라 다양한 형태로 직렬화될 수 있다. 직렬화된 이미지 데이터(IMG_DATA)와 사이드 밴드 데이터(SIDE_DATA)는 카메라 직렬 인터페이스(200)를 통해 이미지 처리 장치(210)에 전달될 수 있다.

SoC(20)는 앞서 설명한 카메라 직렬 인터페이스(200), 이미지 처리 장치(210), CPU(Central Processing Unit)(220), 버퍼(230), I/O 인터페이스(240), 레지스터(250) 등을 포함할 수 있으나, 이것은 일 구현례에 불과하고 본 발명의 범위가 이에 한정되는 것은 아니다.

카메라 직렬 인터페이스(200)는 이미지 센서(10)와 이미지 처리 장치(210) 사이의 데이터 이동을 지원한다. 특히 카메라 직렬 인터페이스(200)는 이미지 센서(10)와 이미지 처리 장치(210)가 하나의 단일 칩으로 구현되지 않고 독립적으로 동작하는 경우, 이들 사이에 배치되어 데이터의 전달을 지원한다.

이미지 처리 장치(210)는 이미지 센서(10)로부터 제공받은 이미지 데이터(IMG_DATA)를 처리한다. 예를 들어, 이미지 처리 장치(210)는 이미지 데이터(IMG_DATA)에 대해 적어도 하나의 연산을 수행하여 이미지 데이터(IMG_DATA)를 인코딩할 수 있다. 여기서 적어도 하나의 연산은 베이어 변환(Bayer transformation), 디모자이킹(demosaicing), 노이즈 제거(noise reduction), 이미지 샤프닝(image sharpening), 이미지 안정화(image stabilization), 컬러 공간 변환(color space conversion), 압축(compression) 등을 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

CPU(220)는 SoC(20)를 전반적으로 제어할 수 있다. 구체적으로, CPU(220)는 이미지 프로세서(210)뿐 아니라 SoC(20)의 여러 요소들을 동작시키기 위한 인스트럭션을 포함하는 프로그램을 실행할 수 있다.

버퍼(230)는 데이터를 임시로 저장할 수 있는 공간을 제공한다. 예를 들어, 이미지 프로세서(210)는 필요에 따라 이미지 데이터를 버퍼(230)에 임시로 저장해 놓을 수 있다. 또한 버퍼(230)에는 CPU(220)가 실행하는 프로그램이 적재될 수도 있고, 프로그램이 사용하는 데이터가 저장될 수도 있다. 버퍼(230)는 예를 들어 SRAM(Static Random Access Memory), DRAM(Dynamic Random Access Memory) 등으로 구현될 수도 있으나, 본 발명의 범위가 이에 한정되는 것은 아니고, 필요에 따라 비휘발성 메모리로 구현될 수도 있다.

I/O 인터페이스(240)는 SoC(20) 외부에 배치되는 외부 장치들과의 데이터 교환을 제공한다. 예를 들어, 이미지 프로세서(210)가 처리한 이미지 데이터는 I/O 인터페이스(240)를 통해 디스플레이 장치에 전달되어, 사용자에게 시각적으로 표현될 수 있다.

레지스터(250) 역시 데이터를 저장할 수 있는 공간을 제공한다. 본 발명의 몇몇의 실시예에서, 버퍼(230) 및 레지스터(250)는 이미지 센서(10)의 동작 모드와 연관되어 미리 결정된 구성 데이터(configuration data)(CFG_DATA)를 저장하고, 이를 구성 데이터 모듈(216)에 제공할 수 있다. 이에 대한 세부적인 내용은 도 4를 참조하여 후술하도록 한다.

내부 버스(290)는 SoC(20) 내의 요소들, 즉 카메라 직렬 인터페이스(200), 이미지 처리 장치(210), CPU(Central Processing Unit)(220), 버퍼(230), I/O 인터페이스(240), 레지스터(250) 등이 데이터를 서로 주고 받을 수 있도록 하는 통로 역할을 한다. 여기서 내부 버스(290)는 AMBA(Advanced Microcontroller Bus Architecture)를 따르는, 예컨대 AXI(Advanced eXtensible Interface)로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 1에서와 같이 이미지 센서(10)와 이미지 처리 장치(210)가 독립적으로 동작하는 경우, 이미지 처리 장치(210)는 이미지 센서(10)의 동작 모드를 인지할 필요가 있다. 예를 들어, 이미지 센서(10)는 고속 촬영 이미지 데이터를 생성하여 이미지 처리 장치(210)에 전달하는데, 이미지 처리 장치(210)가 이미지 센서(10)가 고속 촬영 모드에서 동작했다는 사실을 인지하지 못하면, 출력 영상의 왜곡이나 지연이 발생할 수 있기 때문이다.

이에 SoC(20)의 CPU(220)가 이미지 센서(10)의 동작 모드를 인지하여 이미지 처리 장치(210)에 통지하는 방법이나, 이미지 센서(10)가 생성하는 이미지 데이터를 이미지 센서(10)에 연결되는 외부 메모리에 일시적으로 저장한 후 이미지 처리 장치(210)에 전송하는 방법 등을 고려해 볼 수는 있으나, 이와 같은 방법들은 이미지 센서(10)에서 이미지 처리 장치(210)로 이미지 데이터가 전달되는 시간 외에 이미지 센서(10)의 동작 모드에 대한 정보를 획득하기 위한 추가적인 시간이 상당량 소요되는 문제가 있다.

이를 해결하기 위해, 본 발명의 다양한 실시예에 따른 이미지 처리 장치(210)는 다른 장치에 의존하지 않고 직접 이미지 센서(10)의 동작 모드를 인지하여 지연 시간을 단축할 수 있는데, 이에 대해서는 도 2 및 도 3을 참조하여 구체적으로 설명하도록 한다.

도 2는 도 1에 도시된 이미지 처리 시스템의 이미지 센서를 설명하기 위한 블록도이다.

도 2를 참조하면, 이미지 처리 시스템(1)의 이미지 센서(10)는 센싱 모듈(100), 사이드 밴드 데이터 생성 모듈(110) 및 제어 모듈(120)을 포함할 수 있다.

센싱 모듈(100)은 렌즈(5)를 이용하여 피사체를 촬영하고 이미지 데이터(IMG_DATA)를 생성하여, 이를 SoC(20)의 카메라 직렬 인터페이스(200)를 통해 이미지 처리 장치(210)에 전달한다.

사이드 밴드 데이터 생성 모듈(110)은 도 1에서 설명한 것과 같은 이미지 데이터(IMG_DATA)에 대한 추가적인 정보를 생성하여, 이를 SoC(20)의 카메라 직렬 인터페이스(200)를 통해 이미지 처리 장치(210)에 전달한다.

제어 모듈(120)은 SoC(20)로부터 제어 데이터(CTL_DATA)를 수신하고, 이에 따라 이미지 센서(10)를 제어할 수 있다. 예를 들어 SoC(20)는 사용자의 명령을 수신한 후, 이미지 센서(10)로 하여금 특정 촬영 속도로 피사체를 촬영하도록 하는 제어 데이터(CTL_DATA)를 제어 모듈(120)에 전송하고, 제어 모듈(120)은 이에 따라 이미지 센서(10)를 동작시킬 수 있다.

이어서 도 3은 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 일 구현례를 설명하기 위한 블록도이다.

도 3을 참조하면, 이미지 처리 시스템(1)의 이미지 처리 장치(210)는 이미지 처리 모듈(212), 모드 검출 모듈(214) 및 구성 데이터 제공 모듈(216)을 포함할 수 있다.

모드 검출 모듈(214)을 먼저 설명하면, 모드 검출 모듈(214)은 카메라 직렬 인터페이스(200)를 통해 이미지 센서(10)로부터 입력 데이터(INPUT_DATA)를 수신하고, 입력 데이터(INPUT_DATA)에 기초하여 이미지 센서(10)의 동작 모드를 검출한다.

여기서 입력 데이터(INPUT_DATA)는 이미지 데이터(IMG_DATA)와, 이미지 데이터(IMG_DATA)에 대한 추가 정보를 포함하는 사이드 밴드 데이터(SIDE_DATA)를 포함한다.

모드 검출 모듈(214)은 먼저 입력 데이터(INPUT_DATA) 중 이미지 데이터(IMG_DATA)에 기초하여 이미지 센서(10)의 동작 모드를 검출할 수 있다. 예를 들어, 이미지 데이터(IMG_DATA)로 전송되는 이미지 프레임들의 단위 시간 당 빈도수가 높은 경우에는 이미지 센서(10)의 동작 모드가 고속 촬영 모드임을 인지할 수 있다. 이와 다르게 이미지 데이터(IMG_DATA)로 전송되는 이미지 프레임들의 단위 시간 당 빈도수가 낮은 경우에는 이미지 센서(10)의 동작 모드가 저속 촬영 모드임을 인지할 수 있다.

한편, 모드 검출 모듈(214)은 입력 데이터(INPUT_DATA) 중 사이드 밴드 데이터(SIDE_DATA)에 기초하여 이미지 센서(10)의 동작 모드를 검출할 수도 있다. 예를 들어, 이미지 센서(10)는 사이드 밴드 데이터 생성 모듈(110)을 통해 자신의 동작 모드를 명시적으로 나타내는 데이터를 사이드 밴드 데이터(SIDE_DATA)에 포함시킬 수 있다. 그러면 모드 검출 모듈(214)은 해당 데이터의 값에 기초하여 이미지 센서(10)의 동작 모드를 검출할 수 있다.

또 다른 예로, 이미지 센서(10)는 사이드 밴드 데이터 생성 모듈(110)을 통해 예컨대 촬영 환경을 나타내는 데이터, 예컨대 촬영 당시의 주변 밝기에 대한 데이터를 사이드 밴드 데이터(SIDE_DATA)에 포함시킬 수도 있다. 그러면 모드 검출 모듈(214)은 해당 데이터의 값에 기초하여 이미지 센서(10)의 동작 모드를 유추할 수도 있다.

이미지 처리 모듈(212)은 입력 데이터(INPUT_DATA) 중 이미지 데이터(IMG_DATA)를, 검출된 동작 모드에 따라 처리한다.

구체적으로, 앞서 설명한 바와 같이 입력 데이터(INPUT_DATA)의 이미지 데이터(IMG_DATA) 및 사이드 밴드 데이터(SIDE_DATA) 중 적어도 하나에 기초하여 이미지 센서(10)의 동작 모드를 인지한 후, 이미지 처리 모듈(212)은 정상적인 출력 영상을 생성하기 위해, 검출된 동작 모드에 따라 입력 데이터(INPUT_DATA)를 처리한다.

예를 들어, 이미지 처리 모듈(212)은 이미지 센서(10)의 동작 모드가 고속 촬영 모드임을 인지한 후에는, 고속으로 이미지 처리를 수행하도록 이미지 처리 모듈(212)의 설정을 변경할 수 있다. 이와 달리, 이미지 처리 모듈(212)은 이미지 센서(10)의 동작 모드가 저속 촬영 모드임을 인지한 후에는, 저속으로 이미지 처리를 수행하도록 이미지 처리 모듈(212)의 설정을 변경할 수 있다. 또 다른 예로, 이미지 처리 모듈(212)은 이미지 센서(10)의 촬영 환경이 밝기가 매우 낮은 야간 촬영 환경이었음을 인지한 후에는, 노이즈 제거 처리를 추가로 수행하도록 이미지 처리 모듈(212)의 설정을 변경할 수도 있다. 또 다른 예로, 이미지 처리 모듈(212)은 이미지 센서(10)의 동작 모드가 프리뷰 영상을 위한 스케일다운 촬영 모드임을 인지하고 해상도가 낮아진 이미지에 대한 처리를 수행하다가, 이미지 센서(10)의 동작 모드가 프리뷰 영상이 아닌 실제 촬영을 위한 동작 모드로 전환되면 그 전환을 인지하고, 촬영 모드에서 설정된 실제 해상도의 이미지에 대한 처리를 수행할 수도 있다.

구성 데이터 제공 모듈(216)은 이미지 센서(10)의 동작 모드와 연관되어 미리 결정된 구성 데이터 (CFG_DATA)를 레지스터(250) 또는 버퍼(230)에 저장하고, 레지스터(250) 또는 버퍼(230)에 저장된 구성 데이터(CFG_DATA)를 리드(read)하여 이미지 처리 모듈(212)에 제공한다. 구성 데이터(CFG_DATA)는 앞서 설명한 바과 같이 이미지 처리 모듈(212) 내부의 이미지 처리 코어들의 동작을 변경시킬 수 있는 데이터를 포함하고 있다. 본 발명의 일 실시예에서, 구성 데이터(CFG_DATA)가 버퍼(230)에 저장된 경우, 레지스터(250)는 버퍼(230)의 메모리 영역 중 구성 데이터(CFG_DATA)가 저장된 위치에 대한 어드레스 정보를 저장하고, 구성 데이터 제공 모듈(216)은 상기 어드레스 정보를 이용하여 버퍼(230)에 저장된 구성 데이터(CFG_DATA)를 리드할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.

예를 들어, 레지스터(250) 또는 버퍼(230)는 이미지 센서(10)의 동작 모드가 고속 촬영 모드인 경우 이미지 처리 모듈(212)에 적용할 수 있는 구성 데이터(CFG_DATA1)(216a)를 저장하고 있을 수 있다. 그리고 레지스터(250) 또는 버퍼(230)는 이미지 센서(10)의 동작 모드가 저속 촬영 모드인 경우 이미지 처리 모듈(212)에 적용할 수 있는 구성 데이터(CFG_DATA2)(216b)를 저장하고 있을 수 있다. 또한, 이미지 센서(10)의 촬영 환경이 야간 촬영 환경인 경우 이미지 처리 모듈(212)에 적용할 수 있는 구성 데이터도 레지스터(250) 또는 버퍼(230)는에 더 포함될 수 있다. 물론 이와 같은 구성 데이터(CFG_DATA)의 일부는 버퍼(230)에 저장되고, 다른 일부는 레지스터(250)에 저장되는 방식으로도 구현이 가능하다.

모드 검출 모듈(214)은 검출된 동작 모드에 따라 알맞게 값이 설정된 선택 신호(SEL)을 구성 데이터 제공 모듈(216)에 출력하면, 구성 데이터 제공 모듈(216)은 선택 신호(SEL)에 의해 선택된 구성 데이터(CFG_DATA)를 이미지 처리 모듈(212)에 제공하여, 이미지 처리 모듈(212)의 동작을 변경시킬 수 있다.

본 실시예에 따르면, 이미지 처리 장치(210)는 모드 검출 모듈(214)을 통해 이미지 센서(10)로부터 제공되는 입력 데이터(INPUT_DATA)를 수신하고, 이로부터 이미지 센서(10)의 동작 모드를 검출하는 것을 (예컨대 CPU(220)의 관여 없이) 직접 수행한다. 그리고 검출된 동작 모드에 따라 이미지 처리 모듈(212)의 동작을 알맞게 변경하는 것 역시 (예컨대 CPU(220)의 관여 없이) 직접 수행한다. 이에 따라 이미지 센서(10)와 이미지 처리 장치(210)가 독립적으로 동작하는 경우에도, 지연 시간을 최소화하여 출력 영상의 왜곡이나 지연을 방지하거나 최소화할 수 있게 된다.

도 4는 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 다른 구현례를 설명하기 위한 블록도이다.

도 4를 참조하면, 이미지 처리 장치(210)의 이미지 처리 모듈(212)은 제1 스테이지의 제1 이미지 처리 코어(2120) 및 제2 스테이지의 제2 이미지 처리 코어(2122)를 포함할 수 있다.

모드 검출 모듈(214)은 제1 이미지 처리 코어(2120) 및 제2 이미지 처리 코어(2122) 중 적어도 하나의 이미지 처리 코어를 선택하는 선택 신호(SEL)를 출력하고, 이미지 처리 모듈(212)은 선택된 이미지 처리 코어를 이용하여 이미지 데이터(IMG_DATA)를 처리할 수 있다.

예를 들어, 선택 신호(SEL)가 제1 이미지 처리 코어(2120) 및 제2 이미지 처리 코어(2122)를 모두 선택하는 경우는 이미지 데이터(IMG_DATA)를 여러 단계(스테이지)에 걸쳐 처리할 수 있다. 예를 들어, 이미지 처리 모듈(212)이 이미지 센서(10)의 촬영 환경이 밝기가 매우 낮은 야간 촬영 환경이었음을 인지한 경우에는 제1 이미지 처리 코어(2120)는 색상 보정을 수행하고 제2 이미지 처리 코어(2122)는 노이즈 제거를 수행할 수 있다.

예를 들어, 선택 신호(SEL)가 제1 이미지 처리 코어(2120) 및 제2 이미지 처리 코어(2122) 중 어느 하나만을 선택하는 경우는 이미지 데이터(IMG_DATA)의 처리에 불필요한 이미지 처리 코어를 바이패스(bypass)하도록 하여 지연 시간을 더욱 단축하고 자원을 절약할 수 있다.

도 5는 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 또 다른 구현례를 설명하기 위한 블록도이다.

도 5를 참조하면, 이미지 처리 장치(210)의 이미지 처리 모듈(212)은 제1 스테이지의 제1 이미지 처리 코어(2120) 및 제2 스테이지의 제2 이미지 처리 코어(2122)를 포함할 수 있고, 제1 이미지 처리 코어(2120) 및 제2 이미지 처리 코어(2122)는 구성 가능(configurable) 이미지 처리 코어일 수 있다.

그리고 구성 데이터 제공 모듈(216)은 선택 신호(SEL)에 의해 선택된 구성 데이터(CFG_DATA)를 제1 이미지 처리 코어(2120) 및 제2 이미지 처리 코어(2122) 중 적어도 하나에 제공할 수 있다.

본 실시예에서, 선택 신호(SEL)는 이미지 처리 코어를 선택하기 위한 데이터와, 구성 데이터(CFG_DATA)를 선택하기 위한 데이터를 모두 포함하도록 구현될 수 있다. 간단한 예로, 선택 신호(SEL)는 멀티 비트를 포함하고, 이미지 처리 코어를 선택하기 위한 데이터는 멀티 비트 중 일부 비트를 사용하여 표현되고, 구성 데이터(CFG_DATA)를 선택하기 위한 데이터는 멀티 비트 중 다른 일부 비트를 사용하여 표현될 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.

도 6은 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 또 다른 구현례를 설명하기 위한 블록도이다.

도 6을 참조하면, 이미지 처리 장치(210)의 이미지 처리 모듈(212)은 복수의 처리 경로(processing path)(2126a, 2126b, 2126c)를 포함하고, 복수의 처리 경로(2126a, 2126b, 2126c)는 각각 하나 이상의 이미지 처리 코어를 포함할 수 있다.

모드 검출 모듈(214)은 복수의 처리 경로(2126a, 2126b, 2126c) 중 하나의 처리 경로를 선택하는 선택 신호(SEL)를 출력하고, 이미지 처리 모듈(212)은 선택된 처리 경로를 통해 이미지 데이터(IMG_DATA)를 처리할 수 있다.

예를 들어, 선택 신호(SEL)가 처리 경로(2126a)를 선택하는 경우는 예컨대 이미지 데이터(IMG_DATA)를 고속으로 처리할 수 있고, 선택 신호(SEL)가 처리 경로(2126b)를 선택하는 경우는 예컨대 이미지 데이터(IMG_DATA)를 저속으로 처리할 수 있다. 또 다른 예로, 선택 신호(SEL)가 처리 경로(2126b)를 선택하는 경우는 예컨대 이미지 데이터(IMG_DATA)를 고해상도에서 처리할 수 있고, 선택 신호(SEL)가 처리 경로(2126c)를 선택하는 경우는 예컨대 이미지 데이터(IMG_DATA)를 저해상도에서 처리할 수 있다. 또 다른 예로, 선택 신호(SEL)가 처리 경로(2126a)를 선택하는 경우는 예컨대 스케일다운 이미지 데이터(IMG_DATA)를 처리할 수 있고, 선택 신호(SEL)가 처리 경로(2126c)를 선택하는 경우는 예컨대 실제 해상도의 이미지 데이터(IMG_DATA)를 처리할 수 있다.

도 7은 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 또 다른 구현례를 설명하기 위한 블록도이다.

도 7을 참조하면, 이미지 처리 장치(210)의 이미지 처리 모듈(212)은 복수의 처리 경로(2126a, 2126b, 2126c)를 포함하고, 복수의 처리 경로(2126a, 2126b, 2126c)는 각각 하나 이상의 이미지 처리 코어를 포함할 수 있으며, 선택된 처리 경로에 포함된 이미지 처리 코어는 구성 가능(configurable) 이미지 처리 코어일 수 있다.

그리고 구성 데이터 제공 모듈(216)은 선택 신호(SEL)에 의해 선택된 구성 데이터(CFG_DATA)를 선택된 처리 경로에 포함된 이미지 처리 코어에 제공할 수 있다.

본 실시예에서, 선택 신호(SEL)는 복수의 처리 경로(2126a, 2126b, 2126c) 중 하나의 처리 경로를 선택하기 위한 데이터와, 구성 데이터(CFG_DATA)를 선택하기 위한 데이터를 모두 포함하도록 구현될 수 있다. 간단한 예로, 선택 신호(SEL)는 멀티 비트를 포함하고, 복수의 처리 경로(2126a, 2126b, 2126c) 중 하나의 처리 경로를 선택하기 위한 데이터는 멀티 비트 중 일부 비트를 사용하여 표현되고, 구성 데이터(CFG_DATA)를 선택하기 위한 데이터는 멀티 비트 중 다른 일부 비트를 사용하여 표현될 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.

도 8은 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 또 다른 구현례를 설명하기 위한 블록도이다.

도 8을 참조하면, 이미지 처리 장치(210)의 이미지 처리 모듈(212)은 이미지 처리 모듈(212)의 외부에 이미지 처리 코어(2120)를 더 포함할 수 있다. 이미지 처리 모듈(212)은 외부의 이미지 처리 코어(2120)와, 선택된 처리 경로를 통해 이미지 데이터(IMG_DATA)를 처리할 수 있다.

즉, 여기서 외부의 이미지 처리 코어(2120)는 이미지 데이터(IMG_DATA) 처리를 위한 제1 스테이지가 되고, 선택된 처리 경로는 이미지 데이터(IMG_DATA) 처리를 위한 제2 스테이지가 될 수 있다.

물론 본 실시예는 일례에 불과하며, 외부의 이미지 처리 코어(2120)는 이미지 처리 모듈(212)의 후단 쪽에 배치되어, 선택된 처리 경로가 이미지 데이터(IMG_DATA) 처리를 위한 제1 스테이지가 되고, 외부의 이미지 처리 코어(2120)는 이미지 데이터(IMG_DATA) 처리를 위한 제2 스테이지가 될 수도 있다.

도 9는 도 1에 도시된 이미지 처리 시스템의 이미지 처리 장치의 또 다른 구현례를 설명하기 위한 블록도이다.

도 9를 참조하면, 이미지 처리 장치(210)의 이미지 처리 모듈(212)은 이미지 처리 모듈(212)의 외부에 이미지 처리 코어(2120)를 더 포함할 수 있다. 이미지 처리 모듈(212)은 외부의 이미지 처리 코어(2120)와, 선택된 처리 경로를 통해 이미지 데이터(IMG_DATA)를 처리할 수 있고, 외부의 이미지 처리 코어(2120)는 구성 가능 이미지 처리 코어일 수 있다.

그리고 구성 데이터 제공 모듈(216)은 선택 신호(SEL)에 의해 선택된 구성 데이터(CFG_DATA)를 외부의 이미지 처리 코어(2120) 및 선택된 처리 경로에 포함된 이미지 처리 코어 중 적어도 하나에 제공할 수 있다.

도 10은 본 발명의 다른 실시예에 따른 이미지 처리 시스템을 설명하기 위한 블록도이다. 그리고 도 11은 도 10에 도시된 이미지 처리 시스템의 이미지 처리 장치의 일 구현례를 설명하기 위한 블록도이다.

먼저 도 10을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(2)은 제1 이미지 센서(10), 제2 이미지 센서(12) 및 SoC(20)를 포함한다.

제1 이미지 센서(10)는 SoC(20)로부터 제1 제어 데이터(CTL_DATA1)를 수신하여 동작하고, 제2 이미지 센서(12)는 SoC(20)로부터 제2 제어 데이터(CTL_DATA2)를 수신하여 동작할 수 있다.

제1 이미지 센서(10)는 렌즈(5)를 이용하여 피사체를 촬영하고, 제1 이미지 데이터(IMG_DATA1)와 제1 사이드 밴드 데이터(SIDE_DATA1)를 생성한다. 제2 이미지 센서(20)는 렌즈(5)를 이용하여 피사체를 촬영하고, 제2 이미지 데이터(IMG_DATA2)와 제2 사이드 밴드 데이터(SIDE_DATA2)를 생성한다. 여기서 제1 이미지 센서(10)의 촬영 환경 및 촬영 모드와 제2 이미지 센서(20)의 촬영 환경 및 촬영 모드는 서로 다를 수 있다.

제1 이미지 센서(10)는 제1 이미지 데이터(IMG_DATA1)와 제1 사이드 밴드 데이터(SIDE_DATA1)를 제1 카메라 직렬 인터페이스(200)를 통해 이미지 처리 장치(210)에 전송하고, 제2 이미지 센서(12)는 제2 이미지 데이터(IMG_DATA2)와 제2 사이드 밴드 데이터(SIDE_DATA2)를 제2 카메라 직렬 인터페이스(202)를 통해 이미지 처리 장치(210)에 전송할 수 있다.

이어서 도 11을 참조하면, 이미지 처리 장치(210)는 이미지 처리 모듈(212), 제1 모드 검출 모듈(214), 제2 모드 검출 모듈(215) 및 구성 데이터 제공 모듈(216)을 포함할 수 있다.

제1 모드 검출 모듈(214)은 제1 이미지 센서(10)로부터 제1 입력 데이터(INPUT_DATA1)를 수신하고, 제1 입력 데이터(INPUT_DATA1)에 기초하여 제1 이미지 센서(10)의 제1 동작 모드를 검출한다.

제2 모드 검출 모듈(215)은 제2 이미지 센서(12)로부터 제2 입력 데이터(INPUT_DATA2)를 수신하고, 제2 입력 데이터(INPUT_DATA2)에 기초하여 제2 이미지 센서(12)의 제2 동작 모드를 검출한다.

이미지 처리 모듈(212)은 제1 입력 데이터(INPUT_DATA1)에 포함된 제1 이미지 데이터는, 검출된 제1 동작 모드에 따라 처리하고, 제2 입력 데이터(INPUT_DATA2)에 포함된 제2 이미지 데이터는, 검출된 제2 동작 모드에 따라 처리한다.

레지스터(250) 또는 버퍼(230)는 제1 동작 모드와 연관되어 미리 결정된 제1 구성 데이터와, 제2 동작 모드와 연관되어 미리 결정된 제2 구성 데이터를 저장하고, 구성 데이터 제공 모듈(216)은 제1 구성 데이터 및 제2 구성 데이터를 이미지 처리 모듈(212)에 제공한다.

도 4 및 도 5의 실시예와 유사하게, 이미지 처리 모듈(212)은 제1 스테이지의 제1 이미지 처리 코어(2120) 및 제2 스테이지의 제2 이미지 처리 코어(2122)를 포함할 수 있다.

이 경우, 제1 모드 검출 모듈(214) 및 제2 모드 검출 모듈(215)은 제1 이미지 처리 코어(2120) 및 제2 이미지 처리 코어(2122) 중 적어도 하나의 이미지 처리 코어를 선택하는 제1 선택 신호(SEL1) 및 제2 선택 신호(SEL2)를 각각 출력하고, 이미지 처리 모듈(212)은, 선택된 이미지 처리 코어를 이용하여 제1 이미지 데이터 및 제2 이미지 데이터를 처리할 수 있다.

이 때, 제1 이미지 처리 코어(2120) 및 제2 이미지 처리 코어(2122)는 구성 가능 이미지 처리 코어이고, 구성 데이터 제공 모듈(216)은 제1 선택 신호(SEL1) 및 제2 선택 신호(SEL2) 의해 각각 선택된 제1 구성 데이터 및 제2 구성 데이터를 제1 이미지 처리 코어(2120) 및 제2 이미지 처리 코어(2122) 중 적어도 하나에 제공할 수 있다.

도 6 및 도 7의 실시예와 유사하게, 이미지 처리 모듈(212)은 복수의 처리 경로를 포함하고, 복수의 처리 경로는 각각 하나 이상의 이미지 처리 코어를 포함할 수 있다.

이 경우, 제1 모드 검출 모듈(214) 및 제2 모드 검출 모듈(215)은 복수의 처리 경로 중 하나의 처리 경로를 선택하는 제1 선택 신호(SEL1) 및 제2 선택 신호(SEL2)를 각각 출력하고, 이미지 처리 모듈(212)은, 선택된 처리 경로를 통해 제1 이미지 데이터 및 제2 이미지 데이터를 처리할 수 있다.

이 때, 선택된 처리 경로에 포함된 이미지 처리 코어는 구성 가능 이미지 처리 코어이고, 구성 데이터 제공 모듈(216)은 제1 선택 신호(SEL1) 및 제2 선택 신호(SEL2) 의해 각각 선택된 제1 구성 데이터 및 제2 구성 데이터를, 선택된 처리 경로에 포함된 이미지 처리 코어에 제공할 수 있다.

도 12는 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템을 설명하기 위한 블록도이다.

도 12를 참조하면, 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템(3)은 이제까지 설명한 이미지 센서(10), SoC(20), 메모리(30), 스토리지(40) 및 디스플레이(50)를 포함하는 컴퓨팅 장치로 구현될 수 있다. 이미지 센서(10), SoC(20), 메모리(30), 스토리지(40) 및 디스플레이(50)는 버스(90)를 통해 데이터를 서로 주고 받을 수 있다.

도 13은 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.

도 13을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 방법은, 이미지 센서(10)로부터 입력 데이터(INPUT_DATA)에 해당하는 데이터 신호를 수신(S1301)하는 것을 포함한다.

또한 상기 방법은, 데이터 신호에 기초하여 이미지 센서(10)의 동작 모드를 검출(S1303)하는 것을 포함한다.

또한 상기 방법은, 검출된 동작 모드에 기초하여 이미지 데이터(IMG_DATA)를 처리(S1305)하는 것을 포함한다.

여기서, 단계(S1305)는 검출된 동작 모드에 따라, 제1 이미지 처리 코어(2120) 및 제2 이미지 처리 코어(2122) 중 적어도 하나의 이미지 처리 코어를 이용하여 처리하는 것을 포함할 수 있다. 그리고 제1 이미지 처리 코어(2120) 및 상기 제2 이미지 처리 코어(2122)는 구성 가능 이미지 처리 코어이고, 단계(S1305)는 구성 데이터(CFG_DATA)를 제1 이미지 처리 코어(2120) 및 제2 이미지 처리 코어(2122) 중 적어도 하나에 제공하는 것을 더 포함할 수 있다.

또한 상기 방법은, 처리한 이미지 데이터(IMG_DATA)를 출력(S1307)하는 것을 포함한다.

도 14는 본 발명의 다른 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.

도 14를 참조하면, 본 발명의 다른 실시예에 따른 이미지 처리 방법은, 이미지 센서(10)로부터 입력 데이터(INPUT_DATA)에 해당하는 데이터 신호를 수신(S1401)하는 것을 포함한다.

또한 상기 방법은, 데이터 신호에 기초하여 이미지 센서(10)의 동작 모드를 검출(S1403)하는 것을 포함한다.

또한 상기 방법은, 이미지 센서(10)의 동작 모드와 연관되어 미리 결정된 구성 데이터(CFG_DATA)를 이용하여, 입력 데이터(INPUT_DATA) 중 이미지 데이터(IMG_DATA)를 처리(S1405)하는 것을 포함한다.

또한 상기 방법은, 처리한 이미지 데이터(IMG_DATA)를 출력(S1407)하는 것을 포함한다.

도 15는 본 발명의 또 다른 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.

도 14를 참조하면, 본 발명의 다른 실시예에 따른 이미지 처리 방법은, 이미지 센서(10)로부터 입력 데이터(INPUT_DATA)에 해당하는 데이터 신호를 수신(S1501)하는 것을 포함한다.

또한 상기 방법은, 데이터 신호에 기초하여 이미지 센서(10)의 동작 모드를 검출(S1503)하는 것을 포함한다.

또한 상기 방법은, 각각 하나 이상의 이미지 처리 코어를 포함하는 복수의 처리 경로 중 하나의 처리 경로를 선택하고, 선택한 처리 경로를 통해 이미지 데이터(IMG_DATA)를 처리(S1505)하는 것을 포함한다.

여기서, 선택된 처리 경로에 포함된 이미지 처리 코어는 구성 가능 이미지 처리 코어이고, 단계(S1505)는 구성 데이터(CFG_DATA)를, 선택된 처리 경로에 포함된 이미지 처리 코어에 제공하는 것을 더 포함할 수 있다.

본 발명의 몇몇의 실시예에서, 단계(1505)는, 선택된 처리 경로의 외부에 배치된 이미지 처리 코어(2120)와, 선택된 처리 경로를 통해 상기 이미지 데이터(IMG_DATA)를 처리하는 것을 더 포함할 수 있다. 이 경우 외부에 배치된 이미지 처리 코어(2120)는 구성 가능 이미지 처리 코어이고, 단계(1505)는 구성 데이터(CFG_DATA)를, 외부에 배치된 이미지 처리 코어(2120) 및 선택된 처리 경로에 포함된 이미지 처리 코어 중 적어도 하나에 제공하는 것을 더 포함할 수 있다.

또한 상기 방법은, 처리한 이미지 데이터(IMG_DATA)를 출력(S1507)하는 것을 포함한다.

이제까지 설명한 본 발명의 다양한 실시예에 따르면, 이미지 처리 장치(210)는 모드 검출 모듈(214)을 통해 이미지 센서(10)로부터 제공되는 입력 데이터(INPUT_DATA)를 수신하고, 이로부터 이미지 센서(10)의 동작 모드를 검출하는 것을 (예컨대 CPU(220)의 관여 없이) 직접 수행한다. 그리고 검출된 동작 모드에 따라 이미지 처리 모듈(212)의 동작을 알맞게 변경하는 것 역시 (예컨대 CPU(220)의 관여 없이) 직접 수행한다. 이에 따라 이미지 센서(10)와 이미지 처리 장치(210)가 독립적으로 동작하는 경우에도, 지연 시간을 최소화하여 출력 영상의 왜곡이나 지연을 방지하거나 최소화할 수 있게 된다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

1, 2, 3: 이미지 처리 시스템 5: 렌즈
10, 12: 이미지 센서 100: 센싱 모듈
110: 사이드 밴드 데이터 생성 모듈 120: 제어 모듈
20: SoC 200, 202: 카메라 직렬 인터페이스
210: 이미지 처리 장치 212: 이미지 처리 모듈
2120, 2122: 이미지 처리 코어 2124: 디멀티플렉서
2126a, 2126b, 2126c: 처리 경로 2128: 멀티플렉서
214, 215: 모드 검출 모듈 216: 레지스터
220: CPU 230: 버퍼
240: I/O 인터페이스 290: 내부 버스
30: 메모리 40: 스토리지
50: 디스플레이 90: 버스

Claims

이미지 센서로부터 입력 데이터를 수신하고, 상기 입력 데이터에 기초하여 상기 이미지 센서의 동작 모드(operation mode)를 검출하는 모드 검출 모듈;
상기 입력 데이터 중 이미지 데이터를 상기 검출된 동작 모드에 따라 처리하는 이미지 처리 모듈; 및
상기 이미지 센서의 동작 모드와 연관되어 미리 결정된 구성 데이터(configuration data)를 상기 이미지 처리 모듈에 제공하는 구성 데이터 제공 모듈을 포함하는 이미지 처리 장치.
제1항에 있어서,
상기 이미지 처리 모듈은 제1 스테이지의 제1 이미지 처리 코어 및 제2 스테이지의 제2 이미지 처리 코어를 포함하고,
상기 모드 검출 모듈은 상기 제1 이미지 처리 코어 및 상기 제2 이미지 처리 코어 중 적어도 하나의 이미지 처리 코어를 선택하는 선택 신호를 출력하고,
상기 이미지 처리 모듈은 상기 선택된 이미지 처리 코어를 이용하여 상기 이미지 데이터를 처리하는 이미지 처리 장치.
제2항에 있어서,
상기 제1 이미지 처리 코어 및 상기 제2 이미지 처리 코어는 구성 가능(configurable) 이미지 처리 코어이고,
상기 구성 데이터 제공 모듈은 상기 선택 신호에 의해 선택된 구성 데이터를 상기 제1 이미지 처리 코어 및 상기 제2 이미지 처리 코어 중 적어도 하나에 제공하는 이미지 처리 장치.
제1항에 있어서,
상기 이미지 처리 모듈은 복수의 처리 경로(processing path)를 포함하고, 상기 복수의 처리 경로는 각각 하나 이상의 이미지 처리 코어를 포함하고,
상기 모드 검출 모듈은 상기 복수의 처리 경로 중 하나의 처리 경로를 선택하는 선택 신호를 출력하고,
상기 이미지 처리 모듈은 상기 선택된 처리 경로를 통해 상기 이미지 데이터를 처리하는 이미지 처리 장치.
제4항에 있어서,
상기 선택된 처리 경로에 포함된 이미지 처리 코어는 구성 가능(configurable) 이미지 처리 코어이고,
상기 구성 데이터 제공 모듈은 상기 선택 신호에 의해 선택된 구성 데이터를 상기 선택된 처리 경로에 포함된 이미지 처리 코어에 제공하는 이미지 처리 장치.
제4항에 있어서,
상기 이미지 처리 모듈의 외부에 이미지 처리 코어를 더 포함하고,
상기 이미지 처리 모듈은 상기 외부의 이미지 처리 코어와, 상기 선택된 처리 경로를 통해 상기 이미지 데이터를 처리하는 이미지 처리 장치.
제6항에 있어서,
상기 외부의 이미지 처리 코어는 구성 가능 이미지 처리 코어이고,
상기 구성 데이터 제공 모듈은 상기 선택 신호에 의해 선택된 구성 데이터를 상기 외부의 이미지 처리 코어 및 상기 선택된 처리 경로에 포함된 이미지 처리 코어 중 적어도 하나에 제공하는 이미지 처리 장치.
제1항에 있어서,
상기 입력 데이터는 상기 이미지 데이터와, 상기 이미지 데이터에 대한 추가 정보를 포함하는 사이드 밴드 데이터(side-band data)를 포함하는 이미지 처리 장치.
제1항에 있어서,
상기 모드 검출 모듈은 제1 모드 검출 모듈 및 제2 모드 검출 모듈을 포함하고,
상기 제1 모드 검출 모듈은 제1 이미지 센서로부터 제1 입력 데이터를 수신하고 이에 기초하여 상기 제1 이미지 센서의 제1 동작 모드를 검출하고,
상기 제2 모드 검출 모듈은 제2 이미지 센서로부터 제2 입력 데이터를 수신하고 이에 기초하여 상기 제2 이미지 센서의 제2 동작 모드를 검출하고,
상기 이미지 처리 모듈은,
상기 제1 입력 데이터에 포함된 제1 이미지 데이터는 상기 검출된 제1 동작 모드에 따라 처리하고,
상기 제2 입력 데이터에 포함된 제2 이미지 데이터는 상기 검출된 제2 동작 모드에 따라 처리하는 이미지 처리 장치.
제9항에 있어서,
상기 구성 데이터 제공 모듈은 상기 제1 동작 모드와 연관되어 미리 결정된 제1 구성 데이터와, 상기 제2 동작 모드와 연관되어 미리 결정된 제2 구성 데이터를 상기 이미지 처리 모듈에 제공하는 이미지 처리 장치.
이미지 센서로부터 입력 데이터를 수신하고, 상기 입력 데이터에 기초하여 상기 이미지 센서의 동작 모드(operation mode)를 검출하는 모드 검출 모듈; 및
각각 하나 이상의 이미지 처리 코어를 포함하는 복수의 처리 경로(processing path)를 포함하고, 상기 검출된 동작 모드에 따라 선택된 처리 경로를 통해 상기 입력 데이터 중 이미지 데이터를 처리하는 이미지 처리 모듈을 포함하는 이미지 처리 장치.
제11항에 있어서,
상기 모드 검출 모듈은 상기 검출된 동작 모드에 따라 상기 복수의 처리 경로 중 하나의 처리 경로를 선택하는 선택 신호를 출력하는 이미지 처리 장치.
제12항에 있어서,
상기 이미지 센서의 동작 모드와 연관되어 미리 결정된 구성 데이터(configuration data)를 상기 이미지 처리 모듈에 제공하는 구성 데이터 제공 모듈을 더 포함하고,
상기 선택된 처리 경로에 포함된 이미지 처리 코어는 구성 가능(configurable) 이미지 처리 코어이고,
상기 구성 데이터 제공 모듈은 상기 선택 신호에 의해 선택된 구성 데이터를 상기 선택된 처리 경로에 포함된 이미지 처리 코어에 제공하는 이미지 처리 장치.
제12항에 있어서,
상기 이미지 처리 모듈의 외부에 이미지 처리 코어를 더 포함하고,
상기 이미지 처리 모듈은 상기 외부의 이미지 처리 코어와, 상기 선택된 처리 경로를 통해 상기 이미지 데이터를 처리하는 이미지 처리 장치.
제14항에 있어서,
상기 이미지 센서의 동작 모드와 연관되어 미리 결정된 구성 데이터(configuration data)를 상기 이미지 처리 모듈에 제공하는 구성 데이터 제공 모듈을 더 포함하고,
상기 외부의 이미지 처리 코어는 구성 가능 이미지 처리 코어이고,
상기 구성 데이터 제공 모듈은 상기 선택 신호에 의해 선택된 구성 데이터를 상기 외부의 이미지 처리 코어 및 상기 선택된 처리 경로에 포함된 이미지 처리 코어 중 적어도 하나에 제공하는 이미지 처리 장치.
제1 이미지 센서로부터 제1 입력 데이터를 수신하고, 상기 제1 입력 데이터에 기초하여 상기 제1 이미지 센서의 제1 동작 모드(operation mode)를 검출하는 제1 모드 검출 모듈;
제2 이미지 센서로부터 제2 입력 데이터를 수신하고, 상기 제2 입력 데이터에 기초하여 상기 제2 이미지 센서의 제2 동작 모드를 검출하는 제2 모드 검출 모듈;
상기 제1 입력 데이터에 포함된 제1 이미지 데이터는 상기 검출된 제1 동작 모드에 따라 처리하고, 상기 제2 입력 데이터에 포함된 제2 이미지 데이터는 상기 검출된 제2 동작 모드에 따라 처리하는 이미지 처리 모듈; 및
상기 제1 동작 모드와 연관되어 미리 결정된 제1 구성 데이터와, 상기 제2 동작 모드와 연관되어 미리 결정된 제2 구성 데이터를 상기 이미지 처리 모듈에 제공하는 구성 데이터 제공 모듈을 포함하는 이미지 처리 장치.
제16항에 있어서,
상기 이미지 처리 모듈은 제1 스테이지의 제1 이미지 처리 코어 및 제2 스테이지의 제2 이미지 처리 코어를 포함하고,
상기 제1 모드 검출 모듈 및 상기 제2 모드 검출 모듈은 상기 제1 이미지 처리 코어 및 상기 제2 이미지 처리 코어 중 적어도 하나의 이미지 처리 코어를 선택하는 제1 선택 신호 및 제2 선택 신호를 각각 출력하고,
상기 이미지 처리 모듈은 상기 선택된 이미지 처리 코어를 이용하여 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 처리하는 이미지 처리 장치.
제17항에 있어서,
상기 제1 이미지 처리 코어 및 상기 제2 이미지 처리 코어는 구성 가능(configurable) 이미지 처리 코어이고,
상기 구성 데이터 제공 모듈은 상기 제1 선택 신호 및 상기 제2 선택 신호 의해 각각 선택된 제1 구성 데이터 및 제2 구성 데이터를 상기 제1 이미지 처리 코어 및 상기 제2 이미지 처리 코어 중 적어도 하나에 제공하는 이미지 처리 장치.
제16항에 있어서,
상기 이미지 처리 모듈은 복수의 처리 경로(processing path)를 포함하고, 상기 복수의 처리 경로는 각각 하나 이상의 이미지 처리 코어를 포함하고,
상기 제1 모드 검출 모듈 및 상기 제2 모드 검출 모듈은 상기 복수의 처리 경로 중 하나의 처리 경로를 선택하는 제1 선택 신호 및 제2 선택 신호를 각각 출력하고,
상기 이미지 처리 모듈은 상기 선택된 처리 경로를 통해 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 처리하는 이미지 처리 장치.
제19항에 있어서,
상기 선택된 처리 경로에 포함된 이미지 처리 코어는 구성 가능(configurable) 이미지 처리 코어이고,
상기 구성 데이터 제공 모듈은 상기 제1 선택 신호 및 상기 제2 선택 신호 의해 각각 선택된 제1 구성 데이터 및 제2 구성 데이터를 상기 선택된 처리 경로에 포함된 이미지 처리 코어에 제공하는 이미지 처리 장치.