KR101103624B1 - 이미지 처리 장치, 이미지 신호 처리 칩 및 ｉｓｐ 체인 구성 방법 - Google Patents

이미지 처리 장치, 이미지 신호 처리 칩 및 ｉｓｐ 체인 구성 방법 Download PDF

Info

Publication number
KR101103624B1
KR101103624B1 KR1020100046425A KR20100046425A KR101103624B1 KR 101103624 B1 KR101103624 B1 KR 101103624B1 KR 1020100046425 A KR1020100046425 A KR 1020100046425A KR 20100046425 A KR20100046425 A KR 20100046425A KR 101103624 B1 KR101103624 B1 KR 101103624B1
Authority
KR
South Korea
Prior art keywords
output
isp
data
input
module
Prior art date
Application number
KR1020100046425A
Other languages
English (en)
Other versions
KR20110126908A (ko
Inventor
차철
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020100046425A priority Critical patent/KR101103624B1/ko
Priority to US12/908,133 priority patent/US8928767B2/en
Publication of KR20110126908A publication Critical patent/KR20110126908A/ko
Application granted granted Critical
Publication of KR101103624B1 publication Critical patent/KR101103624B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

임의로 ISP 체인(image signal processing chain) 구조의 재구성이 가능한 이미지 처리 장치 및 ISP 체인 구성 방법이 개시된다. 이미지 센서에 연결되어 신호 처리를 수행하는 이미지 처리 장치로서, 상기 이미지 센서 및 타 ISP 기능 모듈에서 출력된 데이터들 중 선택된 하나에 대하여 미리 정해진 이미지 신호 처리를 수행하는 N(여기서, N은 2 이상의 자연수)개의 ISP 기능 모듈; 및 상기 N개의 ISP 기능 모듈 각각에서 출력되는 출력 데이터 중 하나를 선택하여 최종 출력 데이터로 출력하는 출력 모듈을 포함하는 이미지 처리 장치에 의하면, 칩으로 구현된 이후에도 임의로 ISP 체인을 재구성하는 것이 가능하여 다양한 제품 어플리케이션에 최적화된 이미지 처리 기능을 제공하는 것이 가능한 효과가 있다.

Description

이미지 처리 장치, 이미지 신호 처리 칩 및 ＩＳＰ 체인 구성 방법{Image processing device, Image signal processing chip and ISP chain configuring method}
본 발명은 이미지 처리 장치에 관한 것으로, 보다 상세하게는 임의로 ISP 체인(image signal processing chain) 구조의 재구성이 가능한 이미지 처리 장치, 이미지 신호 처리 칩 및 ISP 체인 구성 방법에 관한 것이다.
일반적으로, 이미지 처리 장치는 이미지 센서(image sensor)와 연결되어 있으며, 이미지 센서에서 출력되는 외부 영상에 대응하는 전기 신호(raw data)인 센서 데이터(sensor data)를 입력받고, 이에 대응하는 RGB 데이터, YUV 데이터 혹은 인코딩된 이미지 데이터를 생성하여 출력한다. 이와 같은 이미지 처리 장치는 여러 이미지 신호 처리 기능별로 구분되는 다양한 ISP 기능 블록들을 포함하고 있다.
도 1은 종래 이미지 처리 장치에서의 ISP 체인 구조를 나타낸 도면이다.
ISP 체인은 일정한 순서를 가지고 연결되도록 구성된 ISP 기능 블록들의 집합을 나타낸다. 예를 들면 도 1에 도시된 것과 같이 N개의 ISP 기능 블록들(10-1, 10-2, 10-3, …, 10-N)이 순차적으로 연결되어 하나의 ISP 체인을 구성할 수 있다.
여기서, 각 ISP 기능 블록(10-1, 10-2, 10-3, …, 혹은 10-N)은 이미지 신호 처리 기능 중 하나를 수행하고 있으며, 예를 들어 노이즈 저감(noise reduction), 에지 향상(edge enhancement), 감마 보정(gamma correction), 색상 보간(color interpolation) 등과 같은 이미지 신호 처리 기능 중 하나를 수행한다.
도 1을 참조하면, 제1 ISP 기능 블록(10-1), 제2 ISP 기능 블록(10-2), 제3 ISP 기능 블록(10-3), …, 제N ISP 기능 블록(10-N)의 순서로 ISP 체인이 구성되어 있다. 실행 순서가 고정된 ISP 기능 블록들(10-1~N)이 순차적으로 신호 처리를 수행하여 최종적인 이미지 처리 결과(ISP output)가 획득된다.
이미지 처리 장치는 휴대용 단말기에 장착됨으로써, 휴대용 단말기가 촬상 장치로서 기능할 수 있도록 한다. 즉, 이미지 처리 장치는 휴대 전화기, PDA, MP3 플레이어 등의 휴대용 단말기에 구비되어 다양한 장치에서 외부 영상을 전자적인 데이터로 변환하여 저장할 수 있도록 구현된다. 이 경우 이미지 처리 장치는 장착되는 휴대용 단말기에서의 제품 어플리케이션(application)에 따라 다양한 이미지 신호 처리를 필요로 하게 된다.
하지만, 도 1에 도시된 것과 같이 종래 이미지 처리 장치는 ISP 체인 구조가 결정되어 칩(chip)으로 구현된 이후에는 그 순서의 변경이 불가능하여 다양한 제품 어플리케이션마다 최적화된 이미지 신호 처리 성능을 구현하는 데에 한계가 있었다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 칩으로 구현된 이후에도 임의로 ISP 체인을 재구성하는 것이 가능하여 다양한 제품 어플리케이션에 최적화된 이미지 처리 기능을 제공하는 것이 가능한 이미지 처리 장치, 이미지 신호 처리 칩 및 ISP 체인 구성 변경 방법을 제공하기 위한 것이다.
또한, 본 발명은 이미지 처리를 위한 ISP 기능들의 수행 순서를 사용자가 결정할 수 있어 동일한 센서 데이터에 대해서도 다양한 이미지 처리 결과를 획득하는 것이 가능한 이미지 처리 장치, 이미지 신호 처리 칩 및 ISP 체인 구성 변경 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 이미지 센서에 연결되어 신호 처리를 수행하는 이미지 처리 장치로서, 상기 이미지 센서 및 타 ISP 기능 모듈에서 출력된 데이터들 중 입력 선택 신호에 의해 지정된 하나에 대하여 미리 정해진 이미지 신호 처리를 수행하는 N(여기서, N은 2 이상의 자연수)개의 ISP 기능 모듈; 및 상기 N개의 ISP 기능 모듈 각각에서 출력되는 출력 데이터 중 출력 선택 신호에 의해 지정된 하나를 최종 출력 데이터로 출력하는 출력 모듈을 포함하는 이미지 처리 장치가 제공된다.
상기 N개의 ISP 기능 모듈 중 하나인 제n ISP 기능 모듈(여기서, n은 N 이하의 자연수)은, 상기 입력 선택 신호에 상응하여 상기 이미지 센서에서 출력된 센서 데이터 및 상기 N개의 ISP 기능 모듈 중 상기 제n ISP 기능 모듈을 제외한 나머지 N-1개의 ISP 기능 모듈에서 출력된 출력 데이터 중 하나를 입력 데이터로 선택하는 멀티플렉서와; 상기 입력 데이터에 대하여 미리 정해진 이미지 신호 처리를 수행하는 기능 블록을 포함할 수 있다.
임의로 재구성된 ISP 체인 구조에 따라 각 ISP 기능 모듈이 배치되도록 각 ISP 기능 모듈에 입력될 상기 입력 선택 신호를 결정하는 구성 변경 모듈을 더 포함할 수 있다. 상기 입력 선택 신호는, 상기 제n ISP 기능 모듈이 상기 ISP 체인 구조의 최전단에 위치할 때 상기 센서 데이터가 상기 입력 데이터로 선택되도록 할 수 있다. 또한, 상기 입력 선택 신호는, 상기 ISP 체인 구조에서 상기 제n ISP 기능 모듈의 전단에 위치한 ISP 기능 모듈의 출력 데이터가 상기 입력 데이터로 선택되도록 할 수 있다.
상기 기능 블록은 노이즈 저감, 에지 향상, 감마 보정, 색상 보간을 포함하는 이미지 처리 기능 중 하나에 대한 신호 처리를 수행할 수 있다.
상기 출력 모듈은, 상기 출력 선택 신호에 따라 상기 출력 데이터들 중 하나를 상기 최종 출력 데이터로 선택하는 멀티플렉서일 수 있다.
임의로 재구성된 ISP 체인 구조에 따라 상기 ISP 체인 구조의 최후단에 위치한 ISP 기능 모듈의 출력 데이터가 상기 최종 출력 데이터로 선택되도록 상기 출력 선택 신호를 결정하는 구성 변경 모듈을 더 포함할 수 있다.
또한, 상기 출력 모듈은 상기 이미지 센서에서 출력된 센서 데이터를 더 입력받으며, 상기 센서 데이터 및 상기 출력 데이터들 중 하나를 상기 최종 출력 데이터로 선택할 수 있다.
한편, 본 발명의 다른 측면에 따르면, 이미지 센서에 연결되어 신호 처리를 수행하는 이미지 신호 처리 칩으로서, 상기 이미지 센서 및 타 ISP 기능 모듈에서 출력된 데이터들 중 입력 선택 신호에 의해 지정된 하나에 대하여 미리 정해진 이미지 신호 처리를 수행하는 N(여기서, N은 2 이상의 자연수)개의 ISP 기능 모듈; 및 상기 N개의 ISP 기능 모듈 각각에서 출력되는 출력 데이터 중 출력 선택 신호에 의해 지정된 하나를 최종 출력 데이터로 출력하는 출력 모듈을 포함하는 이미지 신호 처리 칩이 제공된다.
상기 N개의 ISP 기능 모듈 중 하나인 제n ISP 기능 모듈(여기서, n은 N 이하의 자연수)은, N개의 입력 단자와 1개의 출력 단자를 포함하며, 상기 입력 선택 신호에 상응하여 상기 N개의 입력 단자를 통해 입력된 상기 이미지 센서에서 출력된 센서 데이터 및 상기 N개의 ISP 기능 모듈 중 상기 제n ISP 기능 모듈을 제외한 나머지 N-1개의 ISP 기능 모듈에서 출력된 출력 데이터 중 하나를 입력 데이터로 선택하는 멀티플렉서와; 상기 출력 단자와 연결되어 있어 상기 입력 데이터를 입력받아 미리 정해진 이미지 신호 처리를 수행하는 기능 블록을 포함할 수 있다.
상기 출력 모듈은, N개의 입력 단자와 1개의 출력 단자를 포함하며, 상기 N개의 입력 단자는 상기 N개의 ISP 기능 모듈과 연결되고, 상기 출력 선택 신호에 상응하여 상기 N개의 입력 단자를 통해 입력된 상기 출력 데이터들 중 하나를 상기 최종 출력 데이터로 선택하는 멀티플렉서일 수 있다.
또는 상기 출력 모듈은, N+1개의 입력 단자와 1개의 출력 단자를 포함하며, 상기 N+1개의 입력 단자 중 하나는 상기 이미지 센서와 연결되어 센서 데이터를 입력받고 나머지는 상기 N개의 ISP 기능 모듈과 연결되어 상기 출력 데이터들을 입력받으며, 상기 출력 선택 신호에 상응하여 상기 N+1개의 입력 단자를 통해 입력된 상기 센서 데이터 및 상기 출력 데이터들 중 하나를 상기 최종 출력 데이터로 선택하는 멀티플렉서일 수 있다.
한편, 본 발명의 또 다른 측면에 따르면, 이미지 센서 및 타 기능 모듈에서 출력된 데이터들 중 입력 선택 신호에 의해 지정된 하나에 대하여 미리 정해진 이미지 신호 처리를 수행하는 N(여기서, N은 2 이상의 자연수)개의 ISP 기능 모듈과, 상기 N개의 ISP 기능 모듈 각각에서 출력되는 출력 데이터 중 출력 선택 신호에 의해 지정된 하나를 최종 출력 데이터로 출력하는 출력 모듈을 포함하는 이미지 처리 장치에서 ISP 체인을 구성하는 방법으로서, ISP 체인 구조를 임의로 재구성하는 단계; 및 재구성된 ISP 체인 구조에 따라 각 ISP 기능 모듈의 입력 선택 신호 및 상기 출력 모듈의 출력 선택 신호를 결정하는 단계를 포함하는 이미지 처리 장치의 ISP 체인 구성 방법이 제공된다.
한편, 본 발명의 또 다른 측면에 따르면, 이미지 센서 및 타 기능 모듈에서 출력된 데이터들 중 입력 선택 신호에 의해 지정된 하나에 대하여 미리 정해진 이미지 신호 처리를 수행하는 N(여기서, N은 2 이상의 자연수)개의 ISP 기능 모듈과, 상기 이미지 센서에서 출력되는 센서 데이터 및 상기 N개의 ISP 기능 모듈 각각에서 출력되는 출력 데이터 중 출력 선택 신호에 의해 지정된 하나를 최종 출력 데이터로 출력하는 출력 모듈을 포함하는 이미지 처리 장치에서 ISP 체인을 구성하는 방법으로서, ISP 체인 구조를 임의로 재구성하는 단계; 및 재구성된 ISP 체인 구조에 따라 각 ISP 기능 모듈의 입력 선택 신호 및 상기 출력 모듈의 출력 선택 신호를 결정하는 단계를 포함하는 이미지 처리 장치의 ISP 체인 구성 방법이 제공된다.
여기서, 상기 ISP 체인 구조의 최전단에 위치하는 ISP 기능 블록의 입력 선택 신호는 상기 이미지 센서에서 출력된 센서 데이터가 입력 데이터로 선택되도록 할 수 있다. 제n ISP 기능 모듈(여기서, n은 N 이하의 자연수)의 입력 선택 신호는, 상기 ISP 체인 구조에서 상기 제n ISP 기능 모듈의 전단에 위치한 ISP 기능 모듈의 출력 데이터가 입력 데이터로 선택되도록 할 수 있다.
또한, 상기 출력 선택 신호는 상기 ISP 체인 구조의 최후단에 위치한 ISP 기능 모듈의 출력 데이터가 상기 최종 출력 데이터로 선택되도록 할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 칩으로 구현된 이후에도 임의로 ISP 체인을 재구성하는 것이 가능하여 다양한 제품 어플리케이션에 최적화된 이미지 처리 기능을 제공하는 것이 가능한 효과가 있다.
또한, 이미지 처리를 위한 ISP 기능들의 수행 순서를 사용자가 결정할 수 있어 동일한 센서 데이터에 대해서도 다양한 이미지 처리 결과를 획득하는 것이 가능한 효과가 있다.
도 1은 종래 이미지 처리 장치에서의 ISP 체인 구조를 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치의 개략적인 구성 블록도.
도 3a 내지 3d는 본 발명의 일 실시예에 따른 ISP 기능 모듈의 개략적인 구성도.
도 4는 본 발명의 일 실시예에 따른 출력 모듈의 구성도.
도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치에서 ISP 체인을 구성하는 방법의 순서도.
도 6은 본 발명의 일 실시예에 따라 재구성된 ISP 체인 구조를 나타낸 도면.
도 7은 도 6에 도시된 ISP 체인 구조에 따라 선택 신호 및 데이터 흐름을 나타낸 도면.
도 8은 본 발명의 다른 실시예에 따라 재구성된 ISP 체인 구조를 나타낸 도면.
도 9는 도 8에 도시된 ISP 체인 구조에 따라 선택 신호 및 데이터 흐름을 나타낸 도면.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치의 개략적인 구성 블록도이고, 도 3a 내지 3d는 본 발명의 일 실시예에 따른 ISP 기능 모듈의 개략적인 구성도이며, 도 4는 본 발명의 일 실시예에 따른 출력 모듈의 구성도이다.
본 실시예에 따른 이미지 처리 장치(100)는 다양한 이미지 신호 처리 기능을 수행하는 ISP 기능 블록들에 대하여 그 수행 순서를 임의로 재구성할 수 있어 다양한 제품들의 특성에 맞게 최적화된 이미지 처리 기능의 제공이 가능한 특징을 가진다.
도 2를 참조하면, 본 실시예에 따른 이미지 처리 장치(100)는 N개의 ISP 기능 모듈(110-1, 110-2, …, 110-N) 및 출력 모듈(120)을 포함한다. 여기서, N은 2 이상의 자연수이다. 이미지 처리 장치(100)는 실시예에 따라 구성 변경 모듈(130)을 더 포함할 수 있다.
이미지 처리 장치(100)는 이미지 센서에 연결되어 있어, 이미지 센서로부터 외부 영상에 대응되는 센서 데이터를 입력받는다. 센서 데이터는 N개의 ISP 기능 모듈(110-1~N)의 입력 신호 중 하나가 된다. 실시예에 따라 출력 모듈(120)의 입력 신호 중 하나로 이용될 수도 있다.
ISP 기능 모듈은 이미지 센서 및/또는 타 ISP 기능 모듈에서 출력된 데이터들을 입력받아 그 중 하나를 선택하여 미리 정해진 이미지 신호 처리를 수행한다. 이러한 ISP 기능 모듈은 멀티플렉서(multiplexer)와 기능 블록을 포함한다.
도 3a를 참조하면, N개의 ISP 기능 모듈 중 하나인 제M ISP 기능 모듈(110-M)이 도시되어 있다.
제M ISP 기능 모듈(110-M)은 제M 멀티플렉서(112-M)와 제M 기능 블록(114-M)을 포함한다. 여기서, M은 N 이하의 자연수이다.
제M 멀티플렉서(112-M)는 N개의 입력 단자와 1개의 출력 단자를 포함하는 N to 1 구조를 가지고 있으며, 입력 선택 신호(ISP Function M Input select)에 의해 N개의 입력 단자를 통해 입력된 N개의 입력 신호 중 하나를 입력 데이터로 선택하여 출력 단자로 출력한다.
N개의 입력 단자 중 하나는 이미지 센서와 연결되어 있어 센서 데이터(Sensor data)를 입력받는다. 그리고 나머지 N-1개의 입력 단자는 N개의 ISP 기능 모듈 중 자기 자신, 즉 제M ISP 기능 모듈(110-M)을 제외한 나머지 N-1개의 ISP 기능 모듈과 연결되어 있어 출력 데이터를 입력받는다.
제M 기능 블록(114-M)은 제M 멀티플렉서(112-M)의 출력 단자와 연결되어 있어 제M 멀티플렉서(112-M)에서 선택되어 출력되는 입력 데이터에 대하여 미리 정해진 이미지 신호 처리를 수행한다. 제M 기능 블록(114-M)에서 수행되는 이미지 신호 처리는 이미지 센서에서 출력되는 전기 신호인 센서 데이터를 최종적으로 RGB 데이터, YUV 데이터 혹은 인코딩된 이미지 데이터로 변환하는 과정에서 필요로 하는 디지털 신호 처리로서, 노이즈 저감, 에지 향상, 감마 보정, 색상 보간 등과 같은 다양한 신호 처리 중 하나일 수 있다.
제M 기능 블록(114-M)으로부터 출력되는 출력 데이터(ISP Function M output)는 자기 자신, 즉 제M ISP 기능 모듈(110-M)을 제외한 나머지 N-1개의 ISP 기능 모듈에 각각 입력된다.
특히, N개의 ISP 기능 모듈 중 M이 1인 경우, M이 2인 경우, M이 N인 경우가 도 3b, 3c, 3d에 각각 도시되어 있다.
도 3b를 참조하면, 제1 ISP 기능 모듈(110-1)은 제1 멀티플렉서(112-1)와 제1 기능 블록(114-1)을 포함한다. 제1 멀티플렉서(112-1)는 N개의 입력 단자와 1개의 출력 단자를 가지고 있으며, 입력 선택 신호(ISP Function 1 Input select)에 의해 N개의 입력 단자를 통해 입력된 N개의 입력 신호 중 하나를 입력 데이터로 선택하여 출력 단자로 출력한다. 제1 멀티플렉서(112-1)의 입력 단자는 이미지 센서 및 제2 내지 제N ISP 기능 모듈과 연결되어 있어, 센서 데이터(Sensor data) 및 제2 내지 제N ISP 기능 모듈의 출력 데이터 N-1개(ISP Function 2 Output, …, ISP Function N Output)를 입력 신호로 입력받는다.
도 3c를 참조하면, 제2 ISP 기능 모듈(110-2)은 제2 멀티플렉서(112-2)와 제2 기능 블록(114-2)을 포함한다. 제2 멀티플렉서(112-2)는 N개의 입력 단자와 1개의 출력 단자를 가지고 있으며, 입력 선택 신호(ISP Function 2 Input select)에 의해 N개의 입력 단자를 통해 입력된 N개의 입력 신호 중 하나를 입력 데이터로 선택하여 출력 단자로 출력한다. 제2 멀티플렉서(112-2)의 입력 단자는 이미지 센서 및 제1, 제3 내지 제N ISP 기능 모듈과 연결되어 있어, 센서 데이터(Sensor data) 및 제1, 제3 내지 제N ISP 기능 모듈의 출력 데이터 N-1개(ISP Function 1 Output, ISP Function 3 Output,…, ISP Function N Output)를 입력 신호로 입력받는다.
도 3d를 참조하면, 제N ISP 기능 모듈(110-N)은 제N 멀티플렉서(112-N)와 제N 기능 블록(114-N)을 포함한다. 제N 멀티플렉서(112-N)는 N개의 입력 단자와 1개의 출력 단자를 가지고 있으며, 입력 선택 신호(ISP Function N Input select)에 의해 N개의 입력 단자를 통해 입력된 N개의 입력 신호 중 하나를 입력 데이터로 선택하여 출력 단자로 출력한다. 제N 멀티플렉서(112-N)의 입력 단자는 이미지 센서 및 제1 내지 제N-1 ISP 기능 모듈과 연결되어 있어, 센서 데이터(Sensor data) 및 제1 내지 제N-1 ISP 기능 모듈의 출력 데이터 N-1개(ISP Function 1 Output, …, ISP Function N-1 Output)를 입력 신호로 입력받는다.
출력 모듈(120)은 N개의 ISP 기능 모듈(110-1~N) 각각으로부터 출력된 출력 데이터 중 하나를 선택하여 이미지 처리 장치(100)의 최종 출력 데이터로 출력한다.
도 4를 참조하면, 출력 모듈(120)은 N+1개의 입력 단자와 1개의 출력 단자를 포함하는 N+1 to 1 구조의 멀티플렉서(122)일 수 있으며, 출력 선택 신호(ISP Output Input select)에 따라 N+1개의 입력 단자를 통해 입력된 N+1개의 입력 신호 중 하나를 입력 데이터로 선택하여 출력 단자로 출력한다.
N+1개의 입력 단자 중 하나는 이미지 센서와 연결되며 다른 N개의 입력 단자는 제1 내지 제N ISP 기능 모듈과 연결되어 있어, 센서 데이터(Sensor data) 및 제1 내지 제N ISP 기능 모듈의 출력 데이터 N개(ISP Function 1 Output, …, ISP Function N Output)를 입력 신호로 입력받는다.
실시예에 따라 출력 모듈(120)은 센서 데이터를 입력받지 않을 수 있으며, N개의 입력 단자만을 가지고 있어 제1 내지 제N ISP 기능 모듈의 출력 데이터 N개(ISP Function 1 Output, …, ISP Function N Output)를 입력 신호로 입력받을 수도 있다.
이상에서 설명한 N개의 ISP 기능 모듈(110-1~N)과 출력 모듈(120)은 이미지 신호 처리 칩으로 구현될 수 있으며, 각 모듈에 입력되는 선택 신호(입력 선택 신호 혹은 출력 선택 신호)에 따라 다양한 ISP 체인 구조를 가질 수 있게 된다.
다른 실시예에 의하면, 이미지 처리 장치(100)는 구성 변경 모듈(130)을 더 포함할 수 있다. 구성 변경 모듈(130)은 임의로 재구성된 ISP 체인 구조에 따라 전술한 N개의 ISP 기능 모듈(110-1~N) 및 출력 모듈(120)에 입력되는 선택 신호를 생성하여 출력한다. 이를 통해 이미지 처리 장치(100)는 다양한 ISP 체인 구조를 가질 수 있게 되어 다양한 제품 어플리케이션에 적합한 이미지 신호 처리 시스템 구현이 가능하도록 한다.
이에 따라 구성 변경 모듈(130)은 재구성된 ISP 체인 구조의 최전단에 위치하는 ISP 기능 모듈에 대해서는 센서 데이터가 입력 데이터로 선택되도록 하는 입력 선택 신호를 생성하여 출력한다. 그리고 ISP 체인 구조의 나머지 ISP 기능 모듈에 대해서는 각각 그 전단에 위치한 ISP 기능 모듈의 출력 데이터가 입력 데이터로 선택되도록 하는 입력 선택 신호를 생성하여 해당 ISP 기능 모듈로 출력한다.
그리고 출력 모듈(120)에 대해서는 ISP 체인 구조의 최후단에 위치하는 ISP 기능 모듈의 출력 데이터가 최종 출력 데이터로 선택되도록 하는 출력 선택 신호를 생성하여 출력 모듈로 출력한다.
또한, 구성 변경 모듈(130)은 임의로 재구성된 ISP 체인 구조에 포함되는 ISP 기능 모듈에 대해서만 그 입력 선택 신호를 생성하여 출력할 수 있을 것이다. 재구성된 ISP 체인 구조에 포함되지 않는 ISP 기능 모듈은 최종 출력 데이터에 아무런 영향을 미치지 않는 바, 그 입력 선택 신호가 결정되지 않을 수 있다.
이와 같이 임의로 재구성된 ISP 체인 구조에 따라 구성 변경 모듈(130)이 입력 선택 신호 및 출력 선택 신호를 생성하여 출력하는 방법을 이하 관련 도면을 참조하여 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치에서 ISP 체인을 구성하는 방법의 순서도이다. 이하에서 설명되는 각각의 단계는 이미지 처리 장치(100)의 내부 구성요소인 구성 변경 모듈(130)에 의해 수행될 수 있다.
단계 S200에서, 구성 변경 모듈(130)은 ISP 체인 구조를 임의로 재구성한다. 임의로 재구성한다는 것은 이미지 처리 장치(100)가 적용될 제품 어플리케이션에 따라 미리 설정된 순서로, 혹은 사용자가 입력한 순서로 ISP 체인 구조를 변경하는 것을 나타낸다.
단계 S210에서, 재구성된 ISP 체인 구조에 따라 각 ISP 기능 모듈(110-1~N)의 입력 선택 신호 및 출력 모듈(120)의 출력 선택 신호를 결정한다.
입력 선택 신호의 경우, 재구성된 ISP 체인 구조의 최전단에 위치하는 ISP 기능 모듈에 대해서는 센서 데이터가 입력 데이터로 선택되도록 그 입력 선택 신호를 결정한다. 그리고 ISP 체인 구조의 나머지 ISP 기능 모듈에 대해서는 각각 그 전단에 위치한 ISP 기능 모듈의 출력 데이터가 입력 데이터로 선택되도록 그 입력 선택 신호를 결정한다.
출력 선택 신호의 경우, ISP 체인 구조의 최후단에 위치하는 ISP 기능 모듈의 출력 데이터가 최종 출력 데이터로 선택되도록 그 출력 선택 신호를 결정한다.
입력 선택 신호 및 출력 선택 신호의 결정 방법에 대해서는 이하 관련 도면을 참조하여 보다 상세히 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따라 재구성된 ISP 체인 구조를 나타낸 도면이고, 도 7은 도 6에 도시된 ISP 체인 구조에 따라 선택 신호 및 데이터 흐름을 나타낸 도면이다.
도 6을 참조하면, 재구성된 ISP 체인 구조는 이미지 센서로부터 입력된 센서 데이터에 대해서 제2 ISP 기능 모듈(110-2), 제4 ISP 기능 모듈(110-4), …, 제N-3 ISP 기능 모듈(110-(N-3)), 제N ISP 기능 모듈(110-N)의 순서로 이미지 신호 처리를 수행하여 최종 출력 데이터(ISP output)를 출력하도록 되어 있다. 여기서, ISP 체인 구조는 K(4 이상 N 이하의 자연수)개의 ISP 기능 모듈로 이루어진 것을 예시로 설명하기로 한다. 하지만, 본 발명이 이에 한정되는 것은 아니며, 임의로 재구성되는 ISP 체인 구조는 하나 이상의 ISP 기능 모듈을 포함하고 있으면 충분할 것이다.
도 7에 도시된 바와 같이, ISP 체인 구조의 최전단에 위치한 제2 ISP 기능 모듈(110-2)의 멀티플렉서(112-2)에는 이미지 센서로부터 출력된 센서 데이터가 기능 블록(114-2 입력 데이터로 선택되도록 하는 입력 선택 신호(Sensor data selection)가 입력된다. 이에 의해 센서 데이터가 선택되어 기능 블록(114-2)에 입력되고, 제2 ISP 기능 모듈(110-2)에 대하여 미리 정해진 이미지 신호 처리가 수행되어 출력 데이터(ISP Function 2 output)로 출력된다.
그 다음에 위치한 제4 ISP 기능 모듈(110-4)의 멀티플렉서(112-4)에는 그 전단에 위치한 제2 ISP 기능 모듈(110-2)로부터 출력된 출력 데이터(ISP Function 2 output)가 기능 블록(114-4)의 입력 데이터로 선택되도록 하는 입력 선택 신호(ISP Function 2 output selection)가 입력된다. 이에 의해 제2 ISP 기능 모듈(110-2)의 출력 데이터가 선택되어 기능 블록(114-4)에 입력되고, 제4 ISP 기능 모듈(110-4)에 대하여 미리 정해진 이미지 신호 처리가 수행되어 출력 데이터(ISP Function 4 output)로 출력된다. 이때의 출력 데이터는 제2 ISP 기능 모듈(110-2)에 의한 1차 이미지 신호 처리 및 제4 ISP 기능 모듈(110-4)에 의한 2차 이미지 신호 처리를 거친 데이터일 것이다.
재구성된 ISP 체인 구조에 따라 전술한 과정이 순차적으로 수행되면서 도 6 및 7에 도시된 것과 같은 순서로 이미지 신호 처리가 수행될 수 있게 된다.
ISP 체인 구조의 최후단에 위치한 제N ISP 기능 모듈(110-N)에 대해서도 멀티플렉서(112-N)에 그 전단에 위치한 제N-3 ISP 기능 모듈(110-(N-3))로부터 출력된 출력 데이터(ISP Function N-3 output)가 기능 블록(114-N)의 입력 데이터로 선택되도록 하는 입력 선택 신호(ISP Function N-3 output selection)가 입력된다. 이에 의해 제N-3 ISP 기능 모듈(110-(N-3))의 출력 데이터가 선택되어 기능 블록(114-N)에 입력되고, 제N ISP 기능 모듈(110-N)에 대하여 미리 정해진 이미지 신호 처리가 수행되어 출력 데이터(ISP Function N output)로 출력된다. 이때의 출력 데이터는 제2 ISP 기능 모듈(110-2)에 의한 1차 이미지 신호 처리, 제4 ISP 기능 모듈(110-4)에 의한 2차 이미지 신호 처리, …, 제N-3 ISP 기능 모듈(110-(N-3))에 의한 K-1차 이미지 신호 처리 및 제N ISP 기능 모듈(110-N)에 의한 K차 이미지 신호 처리를 거친 데이터일 것이다.
그리고 출력 모듈(120)에 대해서는 ISP 체인 구조의 최후단에 위치한 제N ISP 기능 모듈(110-N)로부터 출력된 출력 데이터(ISP Function N output)가 최종 출력 데이터로 선택되도록 하는 출력 선택 신호(ISP Function N output selection)가 멀티플렉서(122)에 입력된다. 이에 의해 제N ISP 기능 모듈(110-N)의 출력 데이터가 이미지 처리 장치(100)의 최종 출력 데이터(ISP output)로 출력된다.
도 8은 본 발명의 다른 실시예에 따라 재구성된 ISP 체인 구조를 나타낸 도면이고, 도 9는 도 8에 도시된 ISP 체인 구조에 따라 선택 신호 및 데이터 흐름을 나타낸 도면이다.
도 8을 참조하면, 각 ISP 기능모듈에 대한 입력 선택 신호를 도 6을 참조하여 설명한 바와 달리 지정함으로써 도 6에 도시된 ISP 체인 구조와는 다르게 재구성된 ISP 체인 구조가 도시되어 있다. 도 8에 도시된 ISP 체인 구조는 이미지 센서로부터 입력된 센서 데이터에 대해서 제4 ISP 기능 모듈(110-4), 제1 ISP 기능 모듈(110-1), …, 제N-2 ISP 기능 모듈(110-(N-2)), 제N ISP 기능 모듈(110-N)의 순서로 이미지 신호 처리를 수행하여 최종 출력 데이터(ISP output)를 출력하도록 되어 있다. 여기서, ISP 체인 구조는 K(4 이상 N 이하의 자연수)개의 ISP 기능 모듈로 이루어진 것을 예시로 설명하기로 한다.
도 9에 도시된 ISP 체인 구조의 최전단에 위치한 제4 ISP 기능 모듈(110-4)의 멀티플렉서(112-4)에는 이미지 센서로부터 출력된 센서 데이터가 기능 블록(114-4)의 입력 데이터로 선택되도록 하는 입력 선택 신호(Sensor data selection)가 입력된다. 이에 의해 센서 데이터가 선택되어 기능 블록(114-4)에 입력되고, 제4 ISP 기능 모듈(110-4)에 대하여 미리 정해진 이미지 신호 처리가 수행되어 출력 데이터(ISP Function 4 output)로 출력된다.
그 다음에 위치한 제1 ISP 기능 모듈(110-1)의 멀티플렉서(112-1)에는 그 전단에 위치한 제4 ISP 기능 모듈(110-4)로부터 출력된 출력 데이터(ISP Function 4 output)가 기능 블록(114-1)의 입력 데이터로 선택되도록 하는 입력 선택 신호(ISP Function 4 output selection)가 입력된다. 이에 의해 제4 ISP 기능 모듈(110-4)의 출력 데이터가 선택되어 기능 블록(114-1)에 입력되고, 제1 ISP 기능 모듈(110-1)에 대하여 미리 정해진 이미지 신호 처리가 수행되어 출력 데이터(ISP Function 1 output)로 출력된다. 이때의 출력 데이터는 제4 ISP 기능 모듈(110-4)에 의한 1차 이미지 신호 처리 및 제1 ISP 기능 모듈(110-1)에 의한 2차 이미지 신호 처리를 거친 데이터일 것이다.
재구성된 ISP 체인 구조에 따라 전술한 과정이 순차적으로 수행되면서 도 8에 도시된 것과 같은 순서로 이미지 신호 처리가 수행될 수 있게 된다.
ISP 체인 구조의 최후단에 위치한 제N ISP 기능 모듈(110-N)에 대해서도 멀티플렉서(112-N)에 그 전단에 위치한 제N-2 ISP 기능 모듈(110-(N-2))로부터 출력된 출력 데이터(ISP Function N-2 output)가 기능 블록(114-N)의 입력 데이터로 선택되도록 하는 입력 선택 신호(ISP Function N-2 output selection)가 입력된다. 이에 의해 제N-2 ISP 기능 모듈(110-(N-2))의 출력 데이터가 선택되어 기능 블록(114-N)에 입력되고, 제N ISP 기능 모듈(110-N)에 대하여 미리 정해진 이미지 신호 처리가 수행되어 출력 데이터(ISP Function N output)로 출력된다. 이때의 출력 데이터는 제4 ISP 기능 모듈(110-4)에 의한 1차 이미지 신호 처리, 제1 ISP 기능 모듈(110-1)에 의한 2차 이미지 신호 처리, …, 제N-2 ISP 기능 모듈(110-(N-2))에 의한 K-1차 이미지 신호 처리 및 제N ISP 기능 모듈(110-N)에 의한 K차 이미지 신호 처리를 거친 데이터일 것이다.
그리고 출력 모듈(120)에 대해서는 ISP 체인 구조의 최후단에 위치한 제N ISP 기능 모듈(110-N)로부터 출력된 출력 데이터(ISP Function N output)가 최종 출력 데이터로 선택되도록 하는 출력 선택 신호(ISP Function N output selection)가 멀티플렉서(122)에 입력된다. 이에 의해 제N ISP 기능 모듈(110-N)의 출력 데이터가 이미지 처리 장치(100)의 최종 출력 데이터(ISP output)로 출력될 수 있다.
상술한 ISP 체인 구성 방법은 이미지 처리 장치에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 자명하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 이미지 처리 장치
110-1, 110-2, 110-M, 110-(N-3), 110-(N-3), 110-N: ISP 기능 모듈
112-1, 112-2, 112-M, 112-N: 멀티플렉서
114-1, 114-2, 114-M, 114-N: 기능 블록
120: 출력 모듈
122: 멀티플렉서
130: 구성 변경 모듈

Claims (18)

  1. 이미지 센서에 연결되어 신호 처리를 수행하는 이미지 처리 장치로서,
    상기 이미지 센서 및 타 ISP(image signal processing) 기능 모듈에서 출력된 데이터들 중 입력 선택 신호에 의해 지정된 하나에 대하여 미리 정해진 이미지 신호 처리를 수행하는 N(여기서, N은 2 이상의 자연수)개의 ISP 기능 모듈; 및
    상기 N개의 ISP 기능 모듈 각각에서 출력되는 출력 데이터 중 출력 선택 신호에 의해 지정된 하나를 최종 출력 데이터로 출력하는 출력 모듈을 포함하는 이미지 처리 장치.
  2. 제1항에 있어서,
    상기 N개의 ISP 기능 모듈 중 하나인 제n ISP 기능 모듈(여기서, n은 N 이하의 자연수)은,
    상기 입력 선택 신호에 상응하여 상기 이미지 센서에서 출력된 센서 데이터 및 상기 N개의 ISP 기능 모듈 중 상기 제n ISP 기능 모듈을 제외한 나머지 N-1개의 ISP 기능 모듈에서 출력된 출력 데이터 중 하나를 입력 데이터로 선택하는 멀티플렉서(multiplexer)와;
    상기 입력 데이터에 대하여 미리 정해진 이미지 신호 처리를 수행하는 기능 블록을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  3. 제2항에 있어서,
    임의로 재구성된 ISP 체인(chain) 구조에 따라 각 ISP 기능 모듈이 배치되도록 각 ISP 기능 모듈에 입력될 상기 입력 선택 신호를 결정하는 구성 변경 모듈을 더 포함하는 이미지 처리 장치.
  4. 제3항에 있어서,
    상기 입력 선택 신호는, 상기 제n ISP 기능 모듈이 상기 ISP 체인 구조의 최전단에 위치할 때 상기 센서 데이터가 상기 입력 데이터로 선택되도록 하는 것을 특징으로 하는 이미지 처리 장치.
  5. 제3항에 있어서,
    상기 입력 선택 신호는, 상기 ISP 체인 구조에서 상기 제n ISP 기능 모듈의 전단에 위치한 ISP 기능 모듈의 출력 데이터가 상기 입력 데이터로 선택되도록 하는 것을 특징으로 하는 이미지 처리 장치.
  6. 제2항에 있어서,
    상기 기능 블록은 노이즈 저감(noise reduction), 에지 향상(edge enhancement), 감마 보정(gamma correction), 색상 보간(color interpolation)을 포함하는 이미지 처리 기능 중 하나에 대한 신호 처리를 수행하는 것을 특징으로 하는 이미지 처리 장치.
  7. 제1항에 있어서,
    상기 출력 모듈은, 상기 출력 선택 신호에 따라 상기 출력 데이터들 중 하나를 상기 최종 출력 데이터로 선택하는 멀티플렉서인 것을 특징으로 하는 이미지 처리 장치.
  8. 제7항에 있어서,
    임의로 재구성된 ISP 체인(chain) 구조에 따라 상기 ISP 체인 구조의 최후단에 위치한 ISP 기능 모듈의 출력 데이터가 상기 최종 출력 데이터로 선택되도록 상기 출력 선택 신호를 결정하는 구성 변경 모듈을 더 포함하는 이미지 처리 장치.
  9. 제1항에 있어서,
    상기 출력 모듈은 상기 이미지 센서에서 출력된 센서 데이터를 더 입력받으며, 상기 센서 데이터 및 상기 출력 데이터들 중 하나를 상기 최종 출력 데이터로 선택하는 것을 특징으로 하는 이미지 처리 장치.
  10. 이미지 센서에 연결되어 신호 처리를 수행하는 이미지 신호 처리 칩으로서,
    상기 이미지 센서 및 타 ISP(image signal processing) 기능 모듈에서 출력된 데이터들 중 입력 선택 신호에 의해 지정된 하나에 대하여 미리 정해진 이미지 신호 처리를 수행하는 N(여기서, N은 2 이상의 자연수)개의 ISP 기능 모듈; 및
    상기 N개의 ISP 기능 모듈 각각에서 출력되는 출력 데이터 중 출력 선택 신호에 의해 지정된 하나를 최종 출력 데이터로 출력하는 출력 모듈을 포함하는 이미지 신호 처리 칩.
  11. 제10항에 있어서,
    상기 N개의 ISP 기능 모듈 중 하나인 제n ISP 기능 모듈(여기서, n은 N 이하의 자연수)은,
    N개의 입력 단자와 1개의 출력 단자를 포함하며, 상기 입력 선택 신호에 상응하여 상기 N개의 입력 단자를 통해 입력된 상기 이미지 센서에서 출력된 센서 데이터 및 상기 N개의 ISP 기능 모듈 중 상기 제n ISP 기능 모듈을 제외한 나머지 N-1개의 ISP 기능 모듈에서 출력된 출력 데이터 중 하나를 입력 데이터로 선택하는 멀티플렉서(multiplexer)와;
    상기 출력 단자와 연결되어 있어 상기 입력 데이터를 입력받아 미리 정해진 이미지 신호 처리를 수행하는 기능 블록을 포함하는 것을 특징으로 하는 이미지 신호 처리 칩.
  12. 제11항에 있어서,
    상기 출력 모듈은, N개의 입력 단자와 1개의 출력 단자를 포함하며, 상기 N개의 입력 단자는 상기 N개의 ISP 기능 모듈과 연결되고, 상기 출력 선택 신호에 상응하여 상기 N개의 입력 단자를 통해 입력된 상기 출력 데이터들 중 하나를 상기 최종 출력 데이터로 선택하는 멀티플렉서인 것을 특징으로 하는 이미지 신호 처리 칩.
  13. 제11항에 있어서,
    상기 출력 모듈은, N+1개의 입력 단자와 1개의 출력 단자를 포함하며, 상기 N+1개의 입력 단자 중 하나는 상기 이미지 센서와 연결되어 센서 데이터를 입력받고 나머지는 상기 N개의 ISP 기능 모듈과 연결되어 상기 출력 데이터들을 입력받으며, 상기 출력 선택 신호에 상응하여 상기 N+1개의 입력 단자를 통해 입력된 상기 센서 데이터 및 상기 출력 데이터들 중 하나를 상기 최종 출력 데이터로 선택하는 멀티플렉서인 것을 특징으로 하는 이미지 신호 처리 칩.
  14. 이미지 센서 및 타 기능 모듈에서 출력된 데이터들 중 입력 선택 신호에 의해 지정된 하나에 대하여 미리 정해진 이미지 신호 처리를 수행하는 N(여기서, N은 2 이상의 자연수)개의 ISP(image signal processing) 기능 모듈과, 상기 N개의 ISP 기능 모듈 각각에서 출력되는 출력 데이터 중 출력 선택 신호에 의해 지정된 하나를 최종 출력 데이터로 출력하는 출력 모듈을 포함하는 이미지 처리 장치에서 ISP 체인(chain)을 구성하는 방법으로서,
    ISP 체인 구조를 임의로 재구성하는 단계; 및
    재구성된 ISP 체인 구조에 따라 각 ISP 기능 모듈의 입력 선택 신호 및 상기 출력 모듈의 출력 선택 신호를 결정하는 단계를 포함하되,
    상기 ISP 체인 구조의 최전단에 위치하는 ISP 기능 블록의 입력 선택 신호는 상기 이미지 센서에서 출력된 센서 데이터가 입력 데이터로 선택되고,
    제n ISP 기능 모듈(여기서, n은 N 이하의 자연수)의 입력 선택 신호는, 상기 ISP 체인 구조에서 상기 제n ISP 기능 모듈의 전단에 위치한 ISP 기능 모듈의 출력 데이터가 입력 데이터로 선택되며,
    상기 출력 선택 신호는 상기 ISP 체인 구조의 최후단에 위치한 ISP 기능 모듈의 출력 데이터가 상기 최종 출력 데이터로 선택되는 것을 특징으로 하는 이미지 처리 장치의 ISP 체인 구성 방법.
  15. 이미지 센서 및 타 기능 모듈에서 출력된 데이터들 중 입력 선택 신호에 의해 지정된 하나에 대하여 미리 정해진 이미지 신호 처리를 수행하는 N(여기서, N은 2 이상의 자연수)개의 ISP(image signal processing) 기능 모듈과, 상기 이미지 센서에서 출력되는 센서 데이터 및 상기 N개의 ISP 기능 모듈 각각에서 출력되는 출력 데이터 중 출력 선택 신호에 의해 지정된 하나를 최종 출력 데이터로 출력하는 출력 모듈을 포함하는 이미지 처리 장치에서 ISP 체인(chain)을 구성하는 방법으로서,
    ISP 체인 구조를 임의로 재구성하는 단계; 및
    재구성된 ISP 체인 구조에 따라 각 ISP 기능 모듈의 입력 선택 신호 및 상기 출력 모듈의 출력 선택 신호를 결정하는 단계를 포함하되,
    상기 ISP 체인 구조의 최전단에 위치하는 ISP 기능 블록의 입력 선택 신호는 상기 이미지 센서에서 출력된 센서 데이터가 입력 데이터로 선택되고,
    제n ISP 기능 모듈(여기서, n은 N 이하의 자연수)의 입력 선택 신호는, 상기 ISP 체인 구조에서 상기 제n ISP 기능 모듈의 전단에 위치한 ISP 기능 모듈의 출력 데이터가 입력 데이터로 선택되며,
    상기 출력 선택 신호는 상기 ISP 체인 구조의 최후단에 위치한 ISP 기능 모듈의 출력 데이터가 상기 최종 출력 데이터로 선택되는 것을 특징으로 하는 이미지 처리 장치의 ISP 체인 구성 방법.
  16. 삭제
  17. 삭제
  18. 삭제
KR1020100046425A 2010-05-18 2010-05-18 이미지 처리 장치, 이미지 신호 처리 칩 및 ｉｓｐ 체인 구성 방법 KR101103624B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100046425A KR101103624B1 (ko) 2010-05-18 2010-05-18 이미지 처리 장치, 이미지 신호 처리 칩 및 ｉｓｐ 체인 구성 방법
US12/908,133 US8928767B2 (en) 2010-05-18 2010-10-20 Image processing device, image signal processing chip, and ISP chain configuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100046425A KR101103624B1 (ko) 2010-05-18 2010-05-18 이미지 처리 장치, 이미지 신호 처리 칩 및 ｉｓｐ 체인 구성 방법

Publications (2)

Publication Number Publication Date
KR20110126908A KR20110126908A (ko) 2011-11-24
KR101103624B1 true KR101103624B1 (ko) 2012-01-09

Family

ID=44972221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100046425A KR101103624B1 (ko) 2010-05-18 2010-05-18 이미지 처리 장치, 이미지 신호 처리 칩 및 ｉｓｐ 체인 구성 방법

Country Status (2)

Country Link
US (1) US8928767B2 (ko)
KR (1) KR101103624B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102128468B1 (ko) * 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
TWI717021B (zh) * 2019-09-18 2021-01-21 義隆電子股份有限公司 影像處理系統及其人工智慧晶片
CN114727082B (zh) * 2022-03-10 2024-01-30 杭州中天微系统有限公司 图像处理装置、图像信号处理器、图像处理方法和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067615A (en) 1993-11-30 2000-05-23 Trw Inc. Reconfigurable processor for executing successive function sequences in a processor operation
US20080114974A1 (en) 2006-11-13 2008-05-15 Shao Yi Chien Reconfigurable image processor and the application architecture thereof
US20090262212A1 (en) 2008-04-17 2009-10-22 Hon Hai Precision Industry Co., Ltd. Image processing apparatus and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065140B1 (en) * 1999-10-06 2006-06-20 Fairchild Semiconductor Corporation Method and apparatus for receiving video signals from a plurality of video cameras
US7609297B2 (en) * 2003-06-25 2009-10-27 Qst Holdings, Inc. Configurable hardware based digital imaging apparatus
US7787021B2 (en) * 2006-10-30 2010-08-31 Texas Instruments Incorporated Programmable architecture for flexible camera image pipe processing
US8379130B2 (en) * 2009-08-07 2013-02-19 Qualcomm Incorporated Apparatus and method of processing images based on an adjusted value of an image processing parameter
US8638342B2 (en) * 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067615A (en) 1993-11-30 2000-05-23 Trw Inc. Reconfigurable processor for executing successive function sequences in a processor operation
US20080114974A1 (en) 2006-11-13 2008-05-15 Shao Yi Chien Reconfigurable image processor and the application architecture thereof
US20090262212A1 (en) 2008-04-17 2009-10-22 Hon Hai Precision Industry Co., Ltd. Image processing apparatus and method

Also Published As

Publication number Publication date
KR20110126908A (ko) 2011-11-24
US20110285867A1 (en) 2011-11-24
US8928767B2 (en) 2015-01-06

Similar Documents

Publication Publication Date Title
CN107424123A (zh) 一种摩尔纹去除方法及装置
CN110780921B (zh) 数据处理方法和装置、存储介质及电子装置
US20230169320A1 (en) Signal Processing System and Method
KR101778175B1 (ko) 수평 치환을 이용한 벡터 간접 엘리먼트 수직 어드레싱 모드
CN104243590A (zh) 资源对象推荐方法和装置
US10977402B2 (en) Circuit testing and manufacture using multiple timing libraries
CN110175081B (zh) 一种针对Android音频播放的优化系统及其方法
KR101103624B1 (ko) 이미지 처리 장치, 이미지 신호 처리 칩 및 ｉｓｐ 체인 구성 방법
EP3033670A1 (en) Vector accumulation method and apparatus
CN113556442A (zh) 视频去噪方法、装置、电子设备及计算机可读存储介质
JP2009003765A (ja) データ処理装置およびその制御方法
KR102452945B1 (ko) 푸리에 변환을 수행하는 방법 및 장치
CN108595211B (zh) 用于输出数据的方法和装置
JPWO2018042520A1 (ja) プログラム編集装置、プログラム編集方法及びプログラム編集プログラム
CN115293076B (zh) 生成电路的方法、电子设备及存储介质
US20200159495A1 (en) Processing apparatus and method of processing add operation therein
KR20210097448A (ko) 영상 데이터 처리 방법 및 영상 데이터 처리 방법을 수행하는 센서 장치
JP2018516390A (ja) データ伝送の制御システム、方法、チップアレイ及びディスプレイ
JP2007279967A (ja) 画像処理装置
CN114662689A (zh) 一种神经网络的剪枝方法、装置、设备及介质
CN113836066A (zh) 一种设备串口配置方法、系统、电子设备及存储介质
US20120066655A1 (en) Electronic device and method for inspecting electrical rules of circuit boards
CN108595455B (zh) 一种空间数据坐标转换方法及装置
CN113992618B (zh) 超分辨率图像处理方法、系统、电子设备及存储介质
US20220215247A1 (en) Method and device for processing multiple modes of data, electronic device using method, and non-transitory storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171221

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 8