KR102376471B1 - 픽셀들로부터 출력된 신호들의 크기들에 기반하여 이미지의 윤곽을 추출하기 위한 이미지 센서 및 방법 - Google Patents

픽셀들로부터 출력된 신호들의 크기들에 기반하여 이미지의 윤곽을 추출하기 위한 이미지 센서 및 방법 Download PDF

Info

Publication number
KR102376471B1
KR102376471B1 KR1020180031594A KR20180031594A KR102376471B1 KR 102376471 B1 KR102376471 B1 KR 102376471B1 KR 1020180031594 A KR1020180031594 A KR 1020180031594A KR 20180031594 A KR20180031594 A KR 20180031594A KR 102376471 B1 KR102376471 B1 KR 102376471B1
Authority
KR
South Korea
Prior art keywords
signals
blocks
magnitudes
image
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180031594A
Other languages
English (en)
Other versions
KR20190109911A (ko
Inventor
유현규
강성원
권영수
이주현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180031594A priority Critical patent/KR102376471B1/ko
Priority to US16/356,788 priority patent/US11025840B2/en
Publication of KR20190109911A publication Critical patent/KR20190109911A/ko
Application granted granted Critical
Publication of KR102376471B1 publication Critical patent/KR102376471B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/708—Pixels for edge detection
    • H04N5/355—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시 예에 따른 이미지 센서는, 제 1 방향 및 제 2 방향을 따라서 배열되는 픽셀들을 포함하고, 블록들로 분할되는 픽셀 어레이, 이미지에 기초하여 픽셀들로부터 출력되는 이미지 신호들을 디지털 신호들로 변환하도록 구성되는 변환기, 및 블록들 각각에 속하는 디지털 신호들의 크기들을 더하여 블록들 중 윤곽 블록들을 판별하고, 디지털 신호들의 크기들을 비교하여 윤곽 블록들의 방향 선들이 향하는 방향들을 판별하고, 그리고 방향 선들을 연결하여 이미지의 윤곽을 추출하도록 구성되는 이미지 신호 프로세서를 포함할 수 있다.

Description

픽셀들로부터 출력된 신호들의 크기들에 기반하여 이미지의 윤곽을 추출하기 위한 이미지 센서 및 방법{IMAGE SENSOR AND METHOD FOR EXTRACTING EDGE OF IMAGE BASED ON AMPLITUDES OF SIGNALS OUTPUT FROM PIXELS}
본 발명은 이미지 센서 및 방법에 관한 것으로, 좀 더 상세하게는 픽셀들로부터 출력된 신호들의 크기들에 기반하여 이미지의 윤곽을 추출하기 위한 이미지 센서 및 방법에 관한 것이다.
최근 기술의 발전에 따라, 이미지 센서는 자율주행, 얼굴인식, 보안카메라, 공장 자동화, 의료 진단 등에서 사용되는 패턴 인식 기술 등을 위해 사용될 수 있다. 또한, 이미지 센서는 패턴뿐만 아니라 사용자의 입력, 제스처, 얼굴, 사물 등과 같은 다양한 피사체들을 인식하기 위해 사용될 수 있다.
이미지 센서는 CCD(Charge Coupled Device) 및 CIS(CMOS Image Sensor)를 포함할 수 있다. 저전력 및 고집적을 위해, CCD보다는 CIS가 주로 사용될 수 있다. 이미지 센서는 피사체로부터 광 신호들을 수신하고 전기적 신호들을 출력할 수 있다. 피사체의 인식을 위해 이미지의 윤곽의 노이즈(noise)가 제거되거나 이미지의 윤곽이 강조될 수 있다. 따라서, 전기적 신호들을 이용하여 이미지의 윤곽을 추출할 수 있는 이미지 센서가 필요하다.
본 발명은 상술한 기술적 과제를 해결하기 위한 것으로, 본 발명은 픽셀들로부터 출력된 신호들의 크기들에 기반하여 이미지의 윤곽을 추출하기 위한 이미지 센서 및 방법을 제공할 수 있다.
본 발명의 실시 예에 따른 이미지 센서는, 제 1 방향 및 제 2 방향을 따라서 배열되는 픽셀들을 포함하고, 블록들로 분할되는 픽셀 어레이, 이미지에 기초하여 픽셀들로부터 출력되는 이미지 신호들을 디지털 신호들로 변환하도록 구성되는 변환기, 및 블록들 각각에 속하는 디지털 신호들의 크기들을 더하여 블록들 중 윤곽 블록들을 판별하고, 디지털 신호들의 크기들을 비교하여 윤곽 블록들의 방향 선들이 향하는 방향들을 판별하고, 그리고 방향 선들을 연결하여 이미지의 윤곽을 추출하도록 구성되는 이미지 신호 프로세서를 포함할 수 있다.
본 발명의 실시 예에 따른 제 1 방향 및 제 2 방향을 따라서 배열되는 픽셀들을 포함하는 픽셀 어레이, 이미지에 기초하여 픽셀 어레이로부터 출력되는 이미지 신호들을 디지털 신호들로 변환하는 변환기, 및 메모리를 포함하는 이미지 센서의 동작 방법은, 이미지 신호 프로세서에 의해, 픽셀 어레이를 분할하는 블록들의 주소들을 메모리에 저장하는 단계, 이미지 신호 프로세서에 의해, 블록들 각각에 속하는 디지털 신호들의 크기(amplitude)들을 더하여 블록들 중 윤곽 블록들을 판별하는 단계, 이미지 신호 프로세서에 의해, 디지털 신호들의 크기들을 비교하여 윤곽 블록들의 방향 선들이 향하는 방향들을 판별하는 단계, 및 이미지 신호 프로세서에 의해, 방향 선들을 연결하여 이미지의 윤곽을 추출하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 픽셀들로부터 출력된 신호들의 크기들이 비교되어 이미지의 윤곽 정보가 추출될 수 있다. 본 발명의 실시 예에 따른 이미지 센서는 이미지의 윤곽 정보를 고속으로 추출할 수 있고 추출에 필요한 이미지 센서의 전력 소모가 감소할 수 있다.
도 1은 본 발명의 실시 예에 따른 이미지 센서를 예시적으로 보여주는 블록도이다.
도 2는 도 1의 픽셀 어레이를 좀 더 상세하게 도시한다.
도 3은 본 발명의 실시 예에 따라 이미지의 윤곽을 추출하는 방법을 예시적으로 보여주는 순서도이다.
도 4는 도 3의 S130 단계의 상세한 단계들을 예시적으로 보여주는 순서도이다.
도 5는 이미지 신호 프로세서가 도 4의 S131 내지 S135 단계들을 포함하는 도 3의 S130 단계에 따라서 픽셀 어레이를 분할하는 블록들을 판별하는 것을 예시적으로 도시한다.
도 6 내지 도 8은 본 발명의 실시 예에 따라 이미지의 윤곽이 판별되는 예시를 도시한다.
도 9는 본 발명의 실시 예에 따라 도 1의 픽셀 어레이가 서로 오버래핑되는 블록들로 분할되는 예시를 도시한다.
도 10은 도 3의 S140 단계의 상세한 단계들을 예시적으로 보여주는 순서도이다.
도 11 및 도 12는 제 1 방향 신호들과 제 2 방향 신호들의 크기들이 서로 동일한 윤곽 블록들을 예시적으로 도시한다.
도 13은 제 1 방향 신호들의 크기들이 서로 동일한 윤곽 블록을 예시적으로 도시한다.
도 14는 제 2 방향 신호들의 크기들이 서로 동일한 윤곽 블록을 예시적으로 도시한다.
도 15는 도 3의 S140 단계의 상세한 단계들을 예시적으로 보여주는 순서도이다.
도 16은 제 3 방향 신호들의 크기들의 합이 제 4 방향 신호들의 크기들의 합보다 큰 윤곽 블록을 예시적으로 도시한다.
도 17은 제 4 방향 신호들의 크기들의 합이 제 3 방향 신호들의 크기들의 합보다 큰 윤곽 블록을 예시적으로 도시한다.
도 18은 위쪽 픽셀들의 방향 신호들의 크기들의 합이 아래쪽 픽셀들의 방향 신호들의 크기들의 합보다 크고 그리고 왼쪽 픽셀의 방향 신호의 크기가 오른쪽 픽셀의 방향 신호의 크기보다 큰 윤곽 블록을 예시적으로 도시한다.
도 19는 위쪽 픽셀들의 방향 신호들의 크기들의 합이 아래쪽 픽셀들의 방향 신호들의 크기들의 합보다 크고 그리고 오른쪽 픽셀의 방향 신호의 크기가 왼쪽 픽셀의 방향 신호의 크기보다 큰 윤곽 블록을 예시적으로 도시한다.
도 20은 아래쪽 픽셀들의 방향 신호들의 크기들의 합이 위쪽 픽셀들의 방향 신호들의 크기들의 합보다 크고 그리고 왼쪽 픽셀의 방향 신호의 크기가 오른쪽 픽셀의 방향 신호의 크기보다 큰 윤곽 블록을 예시적으로 도시한다.
도 21은 아래쪽 픽셀들의 방향 신호들의 크기들의 합이 위쪽 픽셀들의 방향 신호들의 크기들의 합보다 크고 그리고 오른쪽 픽셀의 방향 신호의 크기가 왼쪽 픽셀의 방향 신호의 크기보다 큰 윤곽 블록을 예시적으로 도시한다.
도 22 및 도 23은 본 발명의 실시 예에 따라 이미지의 윤곽이 추출되는 예시를 도시한다.
도 24는 본 발명의 다른 실시 예에 따라 이미지의 윤곽이 계층적으로 추출되는 과정을 예시적으로 도시한다.
도 25 및 도 26은 본 발명의 또 다른 실시 예에 따라 이미지의 움직임이 추출되는 과정을 예시적으로 도시한다.
도 27은 본 발명의 다른 실시 예에 따른 이미지 센서를 예시적으로 보여주는 블록도이다.
도 28은 본 발명의 또 다른 실시 예에 따른 이미지 센서를 예시적으로 보여주는 블록도이다.
아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.
도 1은 본 발명의 실시 예에 따른 이미지 센서를 예시적으로 보여주는 블록도이다. 이미지 센서(100)는 픽셀 어레이(110), 로우 디코더(120), 컬럼 디코더(130), 변환기(140), 이미지 신호 프로세서(150), 및 타이밍 컨트롤러(160)를 포함할 수 있다.
픽셀 어레이(110)는 X축 및 Y축을 따라서 배열되는 픽셀들(미도시)을 포함할 수 있다. 픽셀들은 2차원의 매트릭스 형태로 배열될 수 있다. 픽셀들은 피사체(혹은 객체)로부터 입사되는 광 신호들을 렌즈(미도시)와 필터(미도시)를 통해 수신할 수 있다. 픽셀들은 광 신호들의 세기들에 대응하는 전기적인 이미지 신호들을 생성할 수 있다. 예를 들어, 픽셀들 각각은 포토다이오드 및 적어도 하나의 트랜지스터를 포함할 수 있다. 하나의 픽셀의 물리적 크기는 이미지 분해능을 나타내거나 이미지의 최소 선폭에 대응할 수 있다.
로우 디코더(120)는 타이밍 컨트롤러(160)로부터 픽셀 어레이(110)의 로우 주소, 타이밍 신호, 제어 신호 등을 수신할 수 있다. 로우 디코더(120)는 로우 단위로 픽셀 어레이(110)를 제어하기 위한 적어도 하나의 구동 신호들을 생성할 수 있다. 예를 들어, 로우 디코더(120)는 타이밍 컨트롤러(160)의 제어에 기초하여 픽셀 어레이(110)의 로우들을 순차적으로 구동할 수 있다.
컬럼 디코더(130)는 타이밍 컨트롤러(160)로부터 타이밍 신호, 제어 신호 등을 수신할 수 있다. 컬럼 디코더(130)는 로우 디코더(120)에 의해 선택된 로우에 연결되는 픽셀 어레이(110)의 픽셀들에서 생성된 이미지 신호들을 컬럼들을 통해 감지할 수 있다. 컬럼 디코더(130)는 타이밍 컨트롤러(160)의 제어에 기초하여 픽셀 어레이(110)의 이미지 신호들을 변환기(140)로 제공할 수 있다.
변환기(140)는 컬럼 디코더(130)로부터 이미지 신호들을 수신하고 이미지 신호들을 디지털 신호들로 변환할 수 있다. 예를 들어, 변환기(140)는 ADC(Analog-to-Digital Converter)일 수 있고, 증폭기, 비교기, 로직 게이트(logic gate), 플립 플롭(flip flop) 등을 포함할 수 있다. 변환기(140)는 변환된 디지털 신호들을 이미지 신호 프로세서(150)로 제공할 수 있다.
이미지 신호 프로세서(Image Signal Processor; ISP, 150)는 디지털 신호들을 수신하고 처리할 수 있다. 예를 들어, 이미지 신호 프로세서(150)는 디지털 카메라, 스마트 폰 등과 같은 모바일 장치들 또는 다른 전자 장치들에서 이미지 처리를 위해 사용되는 디지털 신호 프로세서(DSP)일 수 있다. 본 발명의 실시 예에 따른 이미지 신호 프로세서(150)는 이미지의 원본 정보뿐만 아니라 이미지의 윤곽을 추출하여 이미지의 윤곽 정보를 출력할 수 있다. 예를 들어, 이미지 신호 프로세서(150)는 윤곽 신호 프로세서(Edge Signal Processor; ESP)로 지칭될 수 있다.
타이밍 컨트롤러(160)는 로우 디코더(120), 컬럼 디코더(130), 변환기(140), 및 이미지 신호 프로세서(150)에 대한 타이밍 신호들과 제어 신호들을 생성할 수 있다. 타이밍 컨트롤러(160)는 로우 디코더(120), 컬럼 디코더(130), 변환기(140), 및 이미지 신호 프로세서(150)의 동작 순서, 동작 타이밍 등을 제어할 수 있다.
실시 예에 있어서, 픽셀 어레이(110), 로우 디코더(120), 컬럼 디코더(130), 변환기(140), 이미지 신호 프로세서(150), 및 타이밍 컨트롤러(160)의 전부 또는 일부는 하나의 반도체 칩(예를 들어, SoC(System on Chip), ASIC(Application Specific Integrated Circuit) 등) 또는 반도체 패키지 내에 집적될 수 있다. 또는, 픽셀 어레이(110), 로우 디코더(120), 컬럼 디코더(130), 변환기(140), 이미지 신호 프로세서(150), 및 타이밍 컨트롤러(160) 각각은 여러 개의 반도체 칩 상에서 독립적으로 제조될 수도 있다.
도 2는 도 1의 픽셀 어레이를 좀 더 상세하게 도시한다. 도 2는 도 1을 참조하여 설명될 것이다. 도 2를 참조하면, 서로 인접하는 2 X 2 픽셀들(P11, P12, P21, P22)이 정사각형 형태를 갖는 하나의 블록에 할당될 수 있다. 여기서, 픽셀은 기본 셀(basic cell; BC)로 지칭될 수도 있고 블록은 프리미티브 셀(primitive cell; PC)로 지칭될 수도 있다. 그리고 픽셀들(P11, P12, P21, P22)에서 숫자들은 X축 및 Y축 상의 상대적인 좌표들을 나타낼 수 있다.
본 발명의 실시 예에 따르면, 픽셀 어레이(110)의 블록들로 분할(partition)될 수 있다. 블록의 크기(size)는 m X n 픽셀들일 수 있다. 여기서, m은 하나의 블록 내 X축을 따라서 배열되는 픽셀들의 개수를 나타낼 수 있고 n은 하나의 블록 내 Y축을 따라서 배열되는 픽셀들의 개수를 나타낼 수 있다. m, n은 2 이상의 정수이고 서로 동일하거나 상이할 수 있다.
이미지 신호 프로세서(150)는 블록 단위로 이미지의 윤곽을 추출할 수 있다. 이미지 신호 프로세서(150)는 유저의 요청, 이미지 해상도, 윤곽의 정밀도, 윤곽 추출 속도 등에 기초하여 블록의 크기를 사전에 설정할 수 있다. 이미지 신호 프로세서(150)는 픽셀 어레이(110)와 관련된 추가 하드웨어적인 구성 요소 없이 픽셀 어레이(110)의 주소 선택을 통해 블록들을 구성할 수 있다. 이미지 신호 프로세서(150)는 블록들 각각의 2 X 2 픽셀들(P11, P12, P21, P22)에서 출력되는 이미지 신호들이 변환기(140)에 의해 변환된 디지털 신호들의 크기(amplitude)들에 기초하여, 이미지의 윤곽을 추출할 수 있다.
도 3은 본 발명의 실시 예에 따라 이미지의 윤곽을 추출하는 방법을 예시적으로 보여주는 순서도이다. 도 3은 도 1 및 도 2를 참조하여 설명될 것이다.
S110 단계에서, 픽셀 어레이(110)는 이미지에 기초하여 이미지 신호들을 출력할 수 있다. 이미지 신호들은 아날로그 신호들일 수 있고, 이미지 신호들의 크기들은 피사체로부터 입사되는 광 신호들의 세기들에 대응할 수 있다.
S120 단계에서, 변환기(140)는 픽셀 어레이(110)로부터 전송되는 이미지 신호들(아날로그 신호들)을 디지털 신호들로 변환할 수 있다. 예를 들어, 변환기(140)는 이미지 신호들의 크기들을 k 비트로 양자화할 수 있다. 이 경우, 이미지 신호들의 크기들은 2k 단계들로 양자화될 수 있다. 여기서, k는 변환기(140)의 속도, 면적, 전력 소모, 정확도(accuracy) 등에 기초하여 결정될 수 있다. k가 클수록 변환기(140)의 면적 및 전력 소모는 증가할 수 있으나 정확도도 증가할 수 있다.
S130 단계에서, 이미지 신호 프로세서(150)는 픽셀 어레이(110)의 블록들 각각에 속하는 디지털 신호들을 더할 수 있다. 예를 들어, 이미지 신호 프로세서(150)는 덧셈 연산을 위한 가산기, 카운터 등을 포함할 수 있다. 이미지 신호 프로세서(150)는 블록들 각각에 속하는 디지털 신호들의 크기들의 합을 계산하여 블록들 중 윤곽 블록들을 판별할 수 있다. 이미지의 윤곽(혹은 픽셀 어레이(110) 상의 피사체의 윤곽)은 윤곽 블록들에 위치할 수 있다.
S140 단계에서, 이미지 신호 프로세서(150)는 디지털 신호들의 크기들을 비교하고 윤곽 블록들의 방향 선들이 향하는 방향들을 판별할 수 있다. 이미지 신호 프로세서(150)는 윤곽 블록의 방향 선을 X축과 평행한 수평선, Y축과 평행한 수직선, 또는 수평선과 수직선 사이의 경사선 중 어느 하나로 판별할 수 있다. 여기서 경사선과 수평선 사이의 각도는 0도보다 크고 180도보다 작을 수 있다. 그리고, 이미지 신호 프로세서(150)에 의해 판별되는 경사선들의 개수는 적어도 하나 이상일 수 있다.
S150 단계에서, 이미지 신호 프로세서(150)는 윤곽 블록들의 방향 선들을 연결하여 이미지의 윤곽을 추출할 수 있다. 이미지 신호 프로세서(150)는 추출된 윤곽 정보를 이미지 센서(100)의 외부로 출력할 수 있다.
도 4는 도 3의 S130 단계의 상세한 단계들을 예시적으로 보여주는 순서도이다. 도 4는 도 1 내지 도 3을 참조하여 설명될 것이다.
S131 단계에서, 이미지 신호 프로세서(150)는 블록들 각각에 속하는 디지털 신호들의 크기들의 합이 제 1 기준값 이상인지를 판별할 수 있다. 예를 들어, 이미지 신호 프로세서(150)는 블록들 각각에 속하는 디지털 신호들의 크기들의 합과 제 1 기준값을 저장하는 적어도 하나의 레지스터들과 비교기를 포함할 수 있다. 적어도 하나의 레지스터들은 이미지 신호 프로세서(150)의 외부에 위치하는 메모리 장치(예를 들어, 캐시 메모리, 주 메모리 등)에 포함될 수도 있다. 제 1 기준값은 이미지 신호 프로세서(150)에 의해 사전에 설정될 수 있다. 블록들 각각에 속하는 디지털 신호들의 크기들의 합이 제 1 기준값 이상이면 S132 단계가 진행된다. 그렇지 않으면 S134 단계가 진행된다.
S132 단계에서, 이미지 신호 프로세서(150)는 블록들 각각에 속하는 디지털 신호들의 크기들의 합이 제 2 기준값보다 작은지를 판별할 수 있다. 예를 들어, 이미지 신호 프로세서(150)는 제 2 기준값을 저장하는 레지스터를 더 포함할 수 있다. 제 2 기준값은 이미지 신호 프로세서(150)에 의해 사전에 설정될 수 있다. 블록들 각각에 속하는 디지털 신호들의 크기들의 합이 제 2 기준값보다 작으면 S134 단계가 진행된다. 그렇지 않으면 S135 단계가 진행된다.
S133 단계에서, 이미지 신호 프로세서(150)는 디지털 신호들의 크기들의 합이 제 1 기준값보다 작은 블록들은 방향 선을 갖지 않는 것으로 판별할 수 있다. 즉, 이미지 신호 프로세서(150)는 S133 단계의 블록들의 방향 선들을 판별하지 않을 수 있다. S133 단계의 블록들에 이미지가 위치하지 않거나 또는 S133 단계의 블록들에 이미지의 윤곽이 위치하여도 블록들에서 발생된 이미지 신호들의 크기들이 미미할 수 있다. 따라서, 이미지 신호 프로세서(150)는 이미지의 윤곽 추출의 정확도에 기초하여 제 1 기준값을 설정할 수 있다.
S134 단계에서, 이미지 신호 프로세서(150)는 디지털 신호들의 크기들의 합이 제 1 기준값 이상이고 제 2 기준값보다 작은 블록들을 윤곽 블록들로 판별할 수 있다. 즉, 이미지 신호 프로세서(150)는 S134 단계의 블록들의 방향 선들이 향하는 방향들을 각각 판별할 수 있다. S134 단계의 블록들에 이미지의 윤곽이 위치할 수 있다. 이미지의 윤곽이 위치하는 어느 블록에서 발생된 이미지 신호들의 크기들은 이미지의 윤곽 내부에 위치하는 다른 블록에서 발생된 이미지 신호들의 크기보다 작을 수 있다. 따라서, 이미지 신호 프로세서(150)는 이미지의 윤곽 추출의 정확도에 기초하여 제 2 기준값을 설정할 수 있다.
S135 단계에서, 이미지 신호 프로세서(150)는 디지털 신호들의 크기들의 합이 제 2 기준값 이상인 블록들은 모든 방향을 향할 수 있는 방향 선들을 갖는 것으로 판별할 수 있다. S135 단계의 블록들은 전방위의(omnidirectional) 블록들일 수 있다. 이미지 신호 프로세서(150)는 S135 단계의 블록들 각각에 인접하는 블록들의 디지털 신호들의 크기들의 합에 기초하여 S135 단계의 블록들의 방향 선들이 향하는 방향들을 판별할 수 있다. 또는 이미지 신호 프로세서(150)는 S135 단계의 블록들을 이미지의 윤곽 내부에 위치하는 것으로 판별하고 S135 단계의 블록들의 방향 선들을 판별하지 않을 수도 있다.
실시 예에 있어서, S135 단계의 임의의 제 1 블록에 인접하는 블록들 중 S134 단계의 윤곽 블록들이 존재하면, 이미지 신호 프로세서(150)는 S134 단계의 윤곽 블록들의 방향 선들에 기초하여 제 1 블록의 방향 선이 향하는 방향을 판별할 수 있다. 이 경우, 제 1 블록은 윤곽 블록일 수 있다. 이미지 신호 프로세서(150)는 S134 단계의 블록들의 방향 선들을 연결하도록 제 1 블록의 방향 선이 향하는 방향을 판별할 수 있다.
다른 실시 예에 있어서, S135 단계의 임의의 제 2 블록에 인접하는 모든 블록들(즉, 제 2 블록을 둘러 쌓는 모든 블록들)의 디지털 신호들의 크기들의 합이 제 2 기준값 이상이면, 이미지 신호 프로세서(150)는 제 2 블록의 방향 선이 향하는 방향을 판별하지 않을 수 있다. 이 경우, 제 2 블록은 이미지의 윤곽에 위치하는 것이 아니라 이미지의 윤곽 내부의 면에 위치할 수 있다. 즉, 제 2 블록은 윤곽 블록이 아닐 수 있다.
정리하면, 이미지 신호 프로세서(150)는 수학식 1에 해당하는 블록의 방향 선을 판별하지 않을 수 있다. 이미지 신호 프로세서(150)는 수학식 2에 해당하는 블록의 방향 선이 향하는 방향을 판별할 수 있다. 이미지 신호 프로세서(150)는 수학식 3에 해당하는 블록의 방향 선은 모든 방향을 향할 수 있는 것으로 판별할 수 있다. 수학식 1 내지 수학식 3은 다음과 같다. 수학식 1 내지 3에서 B는 블록을 나타낼 수 있고, i 및 j는 Y축과 X축상의 상대적인 좌표값을 나타낼 수 있고, 그리고 n은 블록의 크기에 기초하여 결정될 수 있다.
Figure 112018027323426-pat00001
Figure 112018027323426-pat00002
Figure 112018027323426-pat00003
도 5는 이미지 신호 프로세서가 도 4의 S131 내지 S135 단계들을 포함하는 도 3의 S130 단계에 따라서 픽셀 어레이를 분할하는 블록들을 판별하는 것을 예시적으로 도시한다. 도 5는 도 1 내지 도 4를 참조하여 설명될 것이다.
도 5에서, 변환기(140)가 픽셀 어레이(110)의 픽셀들에서 출력되는 이미지 신호들을 1 비트의 디지털 신호들로 변환한다고 가정한다(예를 들어, 전술한 k는 1). 디지털 신호의 최소값 및 최대값은 각각 "0" 및 "1"일 수 있다. 블록은 2 X 2 픽셀들을 포함하는 것으로 가정한다. 이러한 가정에서, 하나의 블록의 디지털 신호들의 크기들의 합의 최소값과 최대값은 "0" 및 "4"일 수 있다.
실시 예에 있어서, 이미지 신호 프로세서(150)는 블록에 속하는 디지털 신호들의 크기들의 합에 기초하여 픽셀 어레이(110)를 분할하는 블록들을 N 블록 영역(111), 윤곽 블록 영역(112), 및 A 블록 영역(113)으로 나눌 수 있다. N 블록 영역(111)에는 디지털 신호들의 크기들의 합이 제 1 기준값보다 작은 블록들이 위치할 수 있다. 여기서, N은 "Null"의 약자이다. 이미지 신호 프로세서(150) N 블록 영역(111)에 위치하는 블록들의 방향 선들을 판별하지 않을 수 있다(도 4의 S133 단계 참조). 윤곽 블록 영역(112)에는 디지털 신호들의 크기들의 합이 제 1 기준값 이상이고 제 2 기준값보다 작은 윤곽 블록들이 위치할 수 있다. 이미지 신호 프로세서(150) 윤곽 블록 영역(112)에 위치하는 블록들의 방향 선들이 향하는 방향들을 판별할 수 있다(도 4의 S134 단계 참조). A 블록 영역(113)에는 디지털 신호들의 크기들의 합이 제 2 기준값 이상인 블록들이 위치할 수 있다. 여기서, A는 "All"의 약자이다. 이미지 신호 프로세서(150)는 A 블록 영역(113)에 위치하는 블록들의 방향 선들은 모든 방향들을 향할 수 있는 것으로 판별할 수 있다(도 4의 S135 단계 참조).
예를 들어, 이미지 신호 프로세서(150)는 제 1 기준값을 블록의 디지털 신호들의 크기들의 합의 최대값의 50%로 설정할 수 있다. 이미지 신호 프로세서(150)는 제 2 기준값을 블록의 디지털 신호들의 크기들의 합의 최대값의 75%로 설정할 수 있다. 상술한 가정에 따라, 하나의 블록의 디지털 신호들의 크기들의 합의 최대값은 4이므로, 제 1 기준값은 2이고 제 2 기준값은 3일 수 있다. 상술한 수치들은 모두 예시적인 것에 불과하다.
도 5를 참조하면, 디지털 신호들의 크기들의 합이 0 또는 1인 블록들은 N 블록 영역(111)에 위치할 수 있다. 디지털 신호들의 크기들의 합이 2인 블록들은 윤곽 블록 영역(112)에 위치할 수 있다. 디지털 신호들의 크기들의 합이 3 또는 4인 블록들은 A 블록 영역(113)에 위치할 수 있다.
전술한 도 5의 설명에서, 변환기(140)가 픽셀 어레이(110)의 픽셀들에서 출력되는 이미지 신호들을 1 비트의 디지털 신호들로 변환한다고 가정하였다. 변환기(140)는 이미지 신호들을 1 비트가 아닌 다른 비트의 디지털 신호들로 변환할 수 있다. 예를 들어, 변환기(140)는 이미지 신호들을 3 비트의 디지털 신호들로 변환할 수 있고, 이미지 신호는 8 단계들로 양자화될 수 있다. 본 발명의 실시 예에 따르면, 이미지 신호 프로세서(150)는 8 단계로 양자화된 디지털 신호에 0, 1, 2, 3, 4의 코드들을 할당할 수 있다. 코드 할당에 대한 구체적인 예시는 표 1을 참조하여 설명한다.
3비트 디지털 신호의 크기 신호 크기 [%] 코드 할당 오차 [%]
000 0 0 0
001 14 1 11
010 28 1 3
011 43 2 7
100 57 2 7
101 71 3 4
110 86 3 11
111 100 4 0
표 1에서, 000 내지 111로 양자화된 3비트 디지털 신호의 크기에 5 단계들의 코드들이 할당될 수 있다. 8 단계들로 양자화된 디지털 신호들에 5 단계들의 코드들이 할당되므로, 오차가 존재할 수 있다. 실시 예에 있어서, 이미지 신호 프로세서(150)가 000 내지 111로 양자화된 3비트 디지털 신호를 그대로 사용하면 표 1의 오차는 없을 수 있다. 할당되는 코드들의 개수가 작을수록 오차는 증가할 수 있으나, 이미지 신호 프로세서(150)가 이미지의 윤곽을 추출하는데 소요되는 시간이 감소할 수 있다.
표 1의 예시에서, 하나의 픽셀로부터 변환기(140)에 의해 변환된 디지털 신호는 0부터 4까지의 크기를 가질 수 있다. 블록은 2 X 2 픽셀들을 포함하는 경우, 블록의 디지털 신호들의 크기들의 합의 최소값과 최대값은 "0" 및 "16"일 수 있다. 이 경우, 제 1 기준값은 블록의 디지털 신호들의 크기들의 합의 최대값의 50%인 8일 수 있고 그리고 제 2 기준값은 블록의 디지털 신호들의 크기들의 합의 최대값의 75%인 12일 수 있다. 이하, 이미지 신호 프로세서(150)가 이미지의 윤곽을 판별하는 구체적인 예시를 설명한다.
도 6 내지 도 8은 본 발명의 실시 예에 따라 이미지의 윤곽이 판별되는 예시를 도시한다. 도 6 내지 도 8은 함께 설명될 것이고 도 1, 도 3, 도 4, 및 도 5를 참조하여 설명될 것이다.
도 6을 참조하면, 픽셀 어레이(110)는 X축 및 Y축을 따라서 배열되는 12 X 12 픽셀들을 포함할 수 있다. 픽셀 어레이(110)는 X축 및 Y축을 따라서 배열되는 6 X 6 블록들에 의해 분할될 수 있다. 블록들의 크기들은 서로 동일하고 블록들 각각은 2 X 2 픽셀들을 포함할 수 있다. 예를 들어, 이미지 숫자 "2"에 기초하는 광 신호들이 픽셀 어레이(110)로 입사될 수 있다.
도 7을 참조하면, 이미지 신호 프로세서(150)는 6 X 6 블록들 각각의 디지털 신호들의 크기들의 합에 기초하여, 6 X 6 블록들 중 윤곽 블록들의 방향 선들을 각각 판별할 수 있다(도 3의 S130 단계 참조). 예를 들어, 이미지 신호 프로세서(150)는 윤곽 블록의 방향 선을 X축을 기준으로 0도, 45도, 90도, 및 135도 중 어느 하나의 방향을 향하는 것으로 판별할 수 있다. 이미지 신호 프로세서(150)가 윤곽 블록의 방향 선이 향하는 방향을 판별하는 상세한 단계는 도 10 내지 도 21에서 후술할 것이다. 여기서, 이미지 신호 프로세서(150)가 선택할 수 있는 방향 선의 각도들의 값들과 개수들은 모두 예시적인 것에 불과하다.
6 X 6 블록들 각각은 이미지에 기초하여 이미지 신호들을 출력할 수 있다. 예를 들어, 6 X 6 블록들 중 블록들(B16, B21, B22, B23, B24, B26, B31, B32, B33, B34, B36, B41, B45, B46, B51, B53, B54, B55, B56, B61, B66)의 디지털 신호들의 크기들의 합은 제 1 기준 값(예를 들어, 50%)보다 작을 수 있다. 6 X 6 블록들 중 블록들(B11, B12, B13, B14, B15, B25, B35, B42, B43, B44, B52, B63, B64, B65)의 디지털 신호들의 크기들의 합은 제 1 기준 값 이상이고 제 2 기준 값(예를 들어, 75%)보다 작을 수 있다. 6 X 6 블록들 중 블록(B62)의 디지털 신호들의 크기들의 합은 제 2 기준 값(75%) 이상일 수 있다.
이미지 신호 프로세서(150)는 6 X 6 블록들 중 블록들(B16, B21, B22, B23, B24, B26, B31, B32, B33, B34, B36, B41, B45, B46, B51, B53, B54, B55, B56, B61, B66)은 도 5의 N 블록 영역(111)에 속하는 것으로 판별하고 블록들의 방향 선들을 판별하지 않을 수 있다(도 4의 S133 단계 참조). 이미지 신호 프로세서(150)는 6 X 6 블록들 중 블록들(B11, B12, B13, B14, B15, B25, B35, B42, B43, B44, B52, B63, B64, B65)은 도 5의 윤곽 블록 영역(112)에 속하는 것으로 판별하고 블록들의 방향 선들을 각각 판별할 수 있다(도 4의 S134 단계 참조). 이미지 신호 프로세서(150)는 6 X 6 블록들 중 블록(B62)은 도 5의 A 블록 영역(113)에 속하는 것으로 판별하고 블록의 방향 선은 모든 방향을 향할 수 있는 것으로 판별할 수 있다(도 4의 S135 단계 참조).
실시 예에 있어서, 이미지 신호 프로세서(150) 블록(B62)에 인접하는 다른 윤곽 블록들(B52, B63)의 방향 선들에 기초하여 블록(B62)의 방향 선이 향하는 방향을 판별할 수 있다. 이미지 신호 프로세서(150)는 윤곽 블록(B52)의 방향 선을 90도로 판별하고 윤곽 블록(B63)의 방향 선을 0도로 판별할 수 있다. 따라서, 이미지 신호 프로세서(150)는 윤곽 블록(B52)의 방향 선과 윤곽 블록(B63)의 방향 선을 연결할 수 있도록 블록(B62)의 방향 선을 135도로 판별할 수 있다.
도 8은 이미지 신호 프로세서(150)에 의해 판별된 6 X 6 블록들 중 윤곽 블록들의 방향 선들을 예시적으로 도시한다. 예를 들어, 방향 선은 X축을 기준으로 0도, 45도, 90도, 및 135도 중 어느 하나에 대응할 수 있다. 본 발명의 실시 예에 따른 이미지 신호 프로세서(150)는 이미지가 블록 내에 중심이 아닌 부분에 위치하여도, 방향 선이 블록의 중심을 지나도록 방향 선을 배치할 수 있다. 도 8을 참조하면, 이미지 신호 프로세서(150)는 도 6의 이미지 숫자 "2"의 윤곽을 판별하고 재구성할 수 있다.
도 9는 본 발명의 실시 예에 따라 도 1의 픽셀 어레이가 서로 오버래핑되는 블록들로 분할되는 예시를 도시한다. 도 9는 도 1 및 도 6 내지 도 8을 참조하여 설명될 것이다.
도 6 내지 도 8을 참조하면, 픽셀 어레이(110)는 서로 오버래핑(overlapping)되지 않는 6 X 6 블록들에 의해 분할될 수 있다. 본 발명의 실시 예에 따르면, 픽셀 어레이(110)를 분할하는 블록들이 서로 오버래핑될 수도 있다. 다시 말하면, 블록들은 적어도 하나의 픽셀을 공유할 수 있다. 도 9를 참조하면, 픽셀 어레이(110)는 2 X 2 픽셀들을 각각 포함하고 서로 오버래핑되는 블록들로 분할될 수 있다.
이미지 신호 프로세서(150)는 서로 오버래핑되는 블록들 각각의 디지털 신호들의 크기들의 합을 계산하고, 합에 기초하여 윤곽 블록들의 방향 선들이 향하는 방향들을 판별할 수 있다. 예를 들어, 이미지 신호 프로세서(150)는 도 4의 S140 단계에 따라 X축을 따라 위치하는 제 1 내지 제 3 블록들의 방향 선들을 각각 판별할 수 있다. 이미지 신호 프로세서(150)에 의해 제 2 블록의 방향 선이 더 판별될 수 있다. 따라서, 이미지 신호 프로세서(150)가 단지 제 1 및 제 3 블록들의 방향 선들만을 각각 판별하는 경우보다, 제 2 블록의 방향 선이 더 판별됨으로써 이미지의 윤곽이 보다 정밀하게 추출될 수 있다.
도 10은 도 3의 S140 단계의 상세한 단계들을 예시적으로 보여주는 순서도이다. 도 10은 도 1 내지 도 3을 참조하여 설명될 것이다. 도 10은 도 11 내지 도 14에 도시된 구체적인 예시들을 참조하여 함께 설명될 것이다. 도 10에서, 픽셀 어레이(110)를 분할하는 블록들 각각은 2 X 2 픽셀들(P11, P12, P21, P22)을 포함하는 것으로 가정한다. 그리고 X축 방향은 제 1 방향이고 Y축 방향은 제 2 방향이다. 도 11 내지 도 14에서 하나의 픽셀로부터 변환기(140)에 의해 변환되는 디지털 신호의 크기는 0부터 4까지인 것으로 가정한다.
S141 단계에서, 이미지 신호 프로세서(150)는 제 1 방향 신호들과 제 2 방향 신호들의 크기들이 동일한지 여부를 판별할 수 있다. S141 단계에서, 이미지 신호 프로세서(150)는 수학식 4에 기초하는 연산을 수행할 수 있다.
Figure 112018027323426-pat00004
예를 들어, 이미지 신호 프로세서(150)는 제 1 방향 신호들과 제 2 방향 신호들의 크기들 각각을 저장하는 적어도 하나의 레지스터를 포함할 수 있다. 제 1 방향 신호들과 제 2 방향 신호들의 크기들이 서로 동일하면 S142 단계가 진행될 수 있다. 그렇지 않으면, S143 단계가 진행될 수 있다.
변환기(140)는 제 1 방향을 따라 배열되는 픽셀들(P11, P12)로부터 출력되는 이미지 신호들을 제 1 방향 신호들로 변환할 수 있다. 변환기(140)는 제 1 방향을 따라 배열되는 픽셀들(P21, P22)로부터 출력되는 이미지 신호들을 제 1 방향 신호들로 변환할 수 있다. 예를 들어, 제 1 방향을 따라 배열되는 픽셀들은 제 2 방향 상의 동일한 좌표 값을 가질 수 있다.
변환기(140)는 제 2 방향을 따라 배열되는 픽셀들(P21, P11)로부터 출력되는 이미지 신호들을 제 2 방향 신호들로 변환할 수 있다. 변환기(140)는 제 2 방향을 따라 배열되는 픽셀들(P22, P12)로부터 출력되는 이미지 신호들을 제 2 방향 신호들로 변환할 수 있다. 예를 들어, 제 2 방향을 따라 배열되는 픽셀들은 제 1 방향 상의 동일한 좌표 값을 가질 수 있다.
S142 단계에서, 이미지 신호 프로세서(150)는 방향 선이 모든 방향을 향하는 것으로 판별할 수 있다. 도 11 및 도 12는 제 1 방향 신호들과 제 2 방향 신호들의 크기들이 서로 동일한 윤곽 블록들을 예시적으로 도시한다. 도 11을 참조하면, 이미지가 2 X 2 픽셀들(P11, P12, P21, P22) 상에서 균등하게 위치할 수 있다. 도 11에서 도시된 이미지는 어느 이미지의 일부이거나 그 자체일 수 있다. 2 X 2 픽셀들(P11, P12, P21, P22) 각각으로부터 출력되고 변환기(140)에 의해 변환되는 디지털 신호의 크기는, 예를 들어, 2일 수 있다. 제 1 방향 신호들과 제 2 방향 신호들의 크기들이 모두 2이므로, 이미지 신호 프로세서(150)는 윤곽 블록(116_1)의 방향 선이 모든 방향을 향할 수 있는 것으로 판별할 수 있다.
도 12를 참조하면, 이미지가 2 X 2 픽셀들(P11, P12, P21, P22) 상에서 균등하게 위치할 수 있다. 도 12에서 도시된 이미지는 어느 이미지의 일부이거나 그 자체일 수 있다. 도 12의 이미지는 도 11의 이미지와 다르지만, 2 X 2 픽셀들(P11, P12, P21, P22) 각각으로부터 출력되고 변환기(140)에 의해 변환되는 디지털 신호의 크기는, 예를 들어, 2일 수 있다. 제 1 방향 신호들과 제 2 방향 신호들의 크기들이 모두 2이므로, 이미지 신호 프로세서(150)는 윤곽 블록(116_2)의 방향 선이 모든 방향을 향할 수 있는 것으로 판별할 수 있다.
실시 예에 있어서, S142 단계에서, 이미지 신호 프로세서(150)는 방향 선이 모든 방향을 향하는 것으로 판별하고, 그 다음 S142 단계의 블록과 인접하는 임의의 블록의 방향 선에 기초하여 S142 단계의 블록의 방향 선이 향하는 방향을 판별할 수 있다.
S143 단계에서, 이미지 신호 프로세서(150)는 제 1 방향 신호들의 크기들이 서로 동일한지 판별할 수 있다. S143 단계에서, 이미지 신호 프로세서(150)는 수학식 5에 기초하는 연산을 수행할 수 있다.
Figure 112018027323426-pat00005
제 1 방향 신호들의 크기들이 서로 동일하면, S144 단계가 진행될 수 있다. 그렇지 않으면, S145 단계가 진행될 수 있다.
S144 단계에서, 이미지 신호 프로세서(150)는 윤곽 블록의 방향 선이 제 1 방향을 향하는 것으로 판별할 수 있다. 도 13은 제 1 방향 신호들의 크기들이 서로 동일한 윤곽 블록을 예시적으로 도시한다. 이미지는 제 1 방향을 따라 형성될 수 있다. 이미지의 선폭은 도 13에서 도시된 바와 같이 8, 10, 12 등으로 다양할 수 있다. 도 13에서 도시된 이미지의 선폭과 관계없이, 제 1 방향을 따라 배열되는 픽셀들(P21, P22)로부터 출력되고 변환기(140)에 의해 변환되는 제 1 방향 신호들의 크기들은 4로 동일할 수 있다. 도 13에서 도시된 이미지의 선폭이 10이면, 제 1 방향을 따라 배열되는 픽셀들(P11, P12)로부터 출력되고 변환기(140)에 의해 변환되는 제 1 방향 신호들의 크기들은 1로 동일할 수 있다. 유사하게, 도 13에서 도시된 이미지의 선폭이 12이면, 제 1 방향을 따라 배열되는 픽셀들(P11, P12)로부터 출력되고 변환기(140)에 의해 변환되는 제 1 방향 신호들의 크기들은 2로 동일할 수 있다. 따라서, 이미지 신호 프로세서(150)는 윤곽 블록(117_1)의 방향 선이 제 1 방향을 향하는 것으로 판별할 수 있다.
S145 단계에서, 이미지 신호 프로세서(150)는 제 2 방향 신호들의 크기들이 서로 동일한지 판별할 수 있다. S145 단계에서, 이미지 신호 프로세서(150)는 수학식 6에 기초하는 연산을 수행할 수 있다.
Figure 112018027323426-pat00006
제 2 방향 신호들의 크기들이 서로 동일하면, S146 단계가 진행될 수 있다. 그렇지 않으면, 다음 단계(도 15의 S147 단계)가 진행될 수 있다.
S146 단계에서, 이미지 신호 프로세서(150)는 윤곽 블록의 방향 선이 제 2 방향을 향하는 것으로 판별할 수 있다. 도 14는 제 2 방향 신호들의 크기들이 서로 동일한 윤곽 블록을 예시적으로 도시한다. 이미지는 제 2 방향을 따라 형성될 수 있다. 이미지의 선폭은 도 14에서 도시된 바와 같이 8, 10, 12 등으로 다양할 수 있다.
도 14에서 도시된 이미지의 선폭과 관계없이, 제 2 방향을 따라 배열되는 픽셀들(P21, P11)로부터 출력되고 변환기(140)에 의해 변환되는 제 2 방향 신호들의 크기들은 4로 서로 동일할 수 있다. 도 14에서 도시된 이미지의 선폭이 10이면, 제 2 방향을 따라 배열되는 픽셀들(P22, P12)로부터 출력되고 변환기(140)에 의해 변환되는 제 2 방향 신호들의 크기들은 1로 서로 동일할 수 있다. 유사하게, 도 14에서 도시된 이미지의 선폭이 12이면, 제 2 방향을 따라 배열되는 픽셀들(P22, P12)로부터 출력되고 변환기(140)에 의해 변환되는 제 2 방향 신호들의 크기들은 2로 동일할 수 있다. 따라서, 이미지 신호 프로세서(150)는 윤곽 블록(117_2)의 방향 선이 제 2 방향을 향하는 것으로 판별할 수 있다.
실시 예에 있어서, S141, S143, S145 단계들의 순서는 도 10에서 도시된 것으로 한정되지 않는다.
도 10 내지 도 14를 참조하여, 이미지 신호 프로세서(150)가 윤곽 블록의 방향 선이 제 1 방향을 향하는지 또는 제 2 방향을 향하는지(즉, 수평 방향인지 또는 수직 방향인지)를 판별하는 순서가 설명되었다. 도 15 내지 도 21을 참조하여, 이미지 신호 프로세서(150)가 제 1 방향 및 제 2 방향이 아닌 다른 방향으로 향하는 방향 선이 향하는 방향을 판별하는 단계들을 설명할 것이다.
도 15는 도 3의 S140 단계의 상세한 단계들을 예시적으로 보여주는 순서도이다. 도 15는 도 1 내지 도 3을 참조하여 설명될 것이다. 도 15는 도 16 내지 도 21에 도시된 구체적인 예시들을 참조하여 함께 설명될 것이다. 도 15에서, 픽셀 어레이(110)를 분할하는 블록들 각각은 2 X 2 픽셀들(P11, P12, P21, P22)을 포함하는 것으로 가정한다. 그리고 X축 방향은 제 1 방향이고 Y축 방향은 제 2 방향이다. 도 15 내지 도 21에서 하나의 픽셀로부터 변환기(140)에 의해 변환되는 디지털 신호의 크기는 0부터 4까지인 것으로 가정한다.
도 10의 S141 내지 S146 단계들을 통해 윤곽 블록의 방향 선이 판별되지 않을 수 있다. 이 경우, 윤곽 블록의 방향 선은 제 1 방향 또는 제 2 방향이 아닌 다른 방향으로 향할 수 있다. 다른 방향은 예를 들어 제 3 방향 또는 제 4 방향일 수 있다. 제 3 방향과 제 1 방향 사이의 각도는 45도일 수 있다. 제 4 방향과 제 1 방향 사이의 각도는 135도일 수 있다. 실시 예에 있어서, 이미지 신호 프로세서(150)는 제 1 내지 제 4 방향들뿐만 아니라 다른 각도들을 갖는 다른 방향들을 더 판별할 수 있다.
S147 단계에서, 이미지 신호 프로세서(150)는 제 3 방향 신호들의 크기들의 합이 제 4 방향 신호들의 크기들의 합보다 큰지 여부를 판별할 수 있다. 변환기(140)는 제 3 방향을 따라 배열되는 픽셀들(P21, P12)로부터 출력되는 이미지 신호들을 제 3 방향 신호들로 변환할 수 있다. 변환기(140)는 제 4 방향을 따라 배열되는 픽셀들(P22, P11)로부터 출력되는 이미지 신호들을 제 4 방향 신호들로 변환할 수 있다. 이미지 신호 프로세서(150)는 수학식 7에 기초하는 연산을 수행할 수 있다.
Figure 112018027323426-pat00007
예를 들어, 이미지 신호 프로세서(150)는 제 3 방향 신호들과 제 4 방향 신호들의 크기들 각각을 저장하는 적어도 하나의 레지스터를 포함할 수 있다. 제 3 방향 신호들의 크기들의 합이 제 4 방향 신호들의 크기들의 합보다 크면 S148 단계가 진행될 수 있다. 그렇지 않으면, S149 단계가 진행될 수 있다.
S148 단계에서, 이미지 신호 프로세서(150)는 윤곽 블록의 방향 선이 제 3 방향을 향하는 것으로 판별할 수 있다. 도 16은 제 3 방향 신호들의 크기들의 합이 제 4 방향 신호들의 크기들의 합보다 큰 윤곽 블록을 예시적으로 도시한다. 이미지는 제 3 방향을 따라 형성될 수 있다. 제 3 방향을 따라 배열되는 픽셀들(P21, P12)로부터 출력되고 변환기(140)에 의해 변환되는 제 3 방향 신호들의 크기들의 합은 8일 수 있다. 제 4 방향을 따라 배열되는 픽셀들(P22, P11)로부터 출력되고 변환기(140)에 의해 변환되는 제 4 방향 신호들의 크기들의 합은 4일 수 있다. 따라서, 이미지 신호 프로세서(150)는 윤곽 블록(118_1)의 방향 선이 제 3 방향을 향하는 것으로 판별할 수 있다.
S149 단계에서, 이미지 신호 프로세서(150)는 제 4 방향 신호들의 크기들의 합이 제 3 방향 신호들의 크기들의 합보다 큰지 여부를 판별할 수 있다. 이미지 신호 프로세서(150)는 수학식 8에 기초하는 연산을 수행할 수 있다.
Figure 112018027323426-pat00008
제 4 방향 신호들의 크기들의 합이 제 3 방향 신호들의 크기들의 합보다 크면 S150 단계가 진행될 수 있다. 그렇지 않으면, S151 단계가 진행될 수 있다.
S150 단계에서, 이미지 신호 프로세서(150)는 윤곽 블록의 방향 선이 제 4 방향을 향하는 것으로 판별할 수 있다. 도 17은 제 4 방향 신호들의 크기들의 합이 제 3 방향 신호들의 크기들의 합보다 큰 윤곽 블록을 예시적으로 도시한다. 이미지는 제 4 방향을 따라 형성될 수 있다. 제 4 방향을 따라 배열되는 픽셀들(P22, P11)로부터 출력되고 변환기(140)에 의해 변환되는 제 4 방향 신호들의 크기들의 합은 8일 수 있다. 제 3 방향을 따라 배열되는 픽셀들(P21, P12)로부터 출력되고 변환기(140)에 의해 변환되는 제 3 방향 신호들의 크기들의 합은 4일 수 있다. 따라서, 이미지 신호 프로세서(150)는 윤곽 블록(118_2)의 방향 선이 제 4 방향을 향하는 것으로 판별할 수 있다.
S151 단계에서, 제 3 방향 신호들의 크기들의 합은 제 4 방향 신호들의 크기들의 합과 동일할 수 있다. 이미지 신호 프로세서(150)는 위쪽 픽셀들의 방향 신호들의 크기들의 합이 아래쪽 픽셀들의 방향 신호들의 크기들의 합보다 큰지 여부를 판별할 수 있다.
위쪽 픽셀들은 제 2 방향을 따라 아래쪽 픽셀의 위에 배치될 수 있다. 위쪽 픽셀들의 제 2 방향 상의 좌표값은 아래쪽 픽셀들보다 제 2 방향 상의 좌표값보다 클 수 있다. 위쪽 픽셀들의 제 1 방향 상의 좌표값은 아래쪽 픽셀들보다 제 1 방향 상의 좌표값과 동일할 수 있다. 예를 들어, 위쪽 픽셀들은 픽셀들(P11, P12, 예를 들어, 제 1 서브 픽셀들로 지칭될 수 있음)이고 아래쪽 픽셀들은 픽셀들(P21, P22, 예를 들어, 제 2 서브 픽셀들로 지칭될 수 있음)일 수 있다. 위쪽 픽셀들의 방향 신호들은 위쪽 픽셀들(P11, P12)로부터 출력되고 변환기(140)에 의해 변환될 수 있는 디지털 신호들이다. 아래쪽 픽셀들의 방향 신호들은 아래쪽 픽셀들(P21, P22)로부터 출력되고 변환기(140)에 의해 변환될 수 있는 디지털 신호들이다. 이미지 신호 프로세서(150)는 수학식 9에 기초하는 연산을 수행할 수 있다.
Figure 112018027323426-pat00009
위쪽 픽셀들의 방향 신호들의 크기들의 합이 아래쪽 픽셀들의 방향 신호들의 크기들의 합보다 크면 S152 단계가 진행될 수 있다. 그렇지 않으면 S155 단계가 진행될 수 있다.
S152 단계에서, 이미지 신호 프로세서(150)는 왼쪽 픽셀의 방향 신호의 크기가 오른쪽 픽셀의 방향 신호의 크기보다 큰지 여부를 판별할 수 있다. 오른쪽 픽셀은 제 1 방향을 따라 제 1 방향을 따라 왼쪽 픽셀의 오른쪽에 배치될 수 있다. 오른쪽 픽셀의 제 1 방향 상의 좌표값은 왼쪽 픽셀의 제 1 방향 상의 좌표값보다 클 수 있다. 오른쪽 픽셀의 제 2 방향 상의 좌표값은 왼쪽 픽셀의 제 2 방향 상의 좌표값과 동일할 수 있다. 예를 들어, 왼쪽 픽셀 및 오른쪽 픽셀은 각각 제 1 방향을 따라 배열되는 픽셀들(P11, P12)일 수 있다. 또는, 왼쪽 픽셀 및 오른쪽 픽셀은 각각 제 1 방향을 따라 배열되는 픽셀들(P21, P22)일 수 있다. 이미지 신호 프로세서(150)는 수학식 10에 기초하는 연산을 수행할 수 있다.
Figure 112018027323426-pat00010
왼쪽 픽셀의 방향 신호의 크기가 오른쪽 픽셀의 방향 신호의 크기보다 크면 S153 단계가 진행될 수 있다. 그렇지 않으면 S154 단계가 진행될 수 있다.
S153 단계에서, 이미지 신호 프로세서(150)는 윤곽 블록의 방향 선이 제 3 방향을 향하는 것으로 판별할 수 있다. 도 18은 위쪽 픽셀들의 방향 신호들의 크기들의 합이 아래쪽 픽셀들의 방향 신호들의 크기들의 합보다 크고 그리고 왼쪽 픽셀의 방향 신호의 크기가 오른쪽 픽셀의 방향 신호의 크기보다 큰 윤곽 블록을 예시적으로 도시한다. 이미지는 제 3 방향을 따라 형성될 수 있다. 다만, 도 18의 이미지는 제 2 방향을 기준으로 도 16의 이미지보다 더 위에 위치할 수 있다.
도 18을 참조하면, 위쪽 픽셀들(P11, P12)의 방향 신호들의 크기들의 합은 6일 수 있다. 아래쪽 픽셀들(P21, P22)의 방향 신호들의 크기들의 합은 2일 수 있다. 왼쪽 픽셀(P11)의 방향 신호의 크기는 4일 수 있다. 오른쪽 픽셀(P12)의 방향 신호의 크기는 2일 수 있다. 왼쪽 픽셀(P21)의 방향 신호의 크기는 2일 수 있다. 오른쪽 픽셀(P22)의 방향 신호의 크기는 0일 수 있다. 따라서, 이미지 신호 프로세서(150)는 윤곽 블록(118_3)의 방향 선이 제 3 방향을 향하는 것으로 판별할 수 있다.
S154 단계에서, 이미지 신호 프로세서(150)는 윤곽 블록의 방향 선이 제 4 방향을 향하는 것으로 판별할 수 있다. 도 19는 위쪽 픽셀들의 방향 신호들의 크기들의 합이 아래쪽 픽셀들의 방향 신호들의 크기들의 합보다 크고 그리고 오른쪽 픽셀의 방향 신호의 크기가 왼쪽 픽셀의 방향 신호의 크기보다 큰 윤곽 블록을 예시적으로 도시한다. 이미지는 제 4 방향을 따라 형성될 수 있다. 다만, 도 19의 이미지는 제 2 방향을 기준으로 도 17의 이미지보다 더 위에 위치할 수 있다.
도 19를 참조하면, 위쪽 픽셀들(P11, P12)의 방향 신호들의 크기들의 합은 6일 수 있다. 아래쪽 픽셀들(P21, P22)의 방향 신호들의 크기들의 합은 2일 수 있다. 왼쪽 픽셀(P11)의 방향 신호의 크기는 2일 수 있다. 오른쪽 픽셀(P12)의 방향 신호의 크기는 4일 수 있다. 왼쪽 픽셀(P21)의 방향 신호의 크기는 0일 수 있다. 오른쪽 픽셀(P22)의 방향 신호의 크기는 2일 수 있다. 따라서, 이미지 신호 프로세서(150)는 윤곽 블록(118_4)의 방향 선이 제 4 방향을 향하는 것으로 판별할 수 있다.
S155 단계에서, 이미지 신호 프로세서(150)는 왼쪽 픽셀의 방향 신호의 크기가 오른쪽 픽셀의 방향 신호의 크기보다 큰지 여부를 판별할 수 있다. S155 단계는 S152 단계와 동일할 수 있다. 왼쪽 픽셀의 방향 신호의 크기가 오른쪽 픽셀의 방향 신호의 크기보다 크면 S156 단계가 진행될 수 있다. 그렇지 않으면 S157 단계가 진행될 수 있다.
S156 단계에서, 이미지 신호 프로세서(150)는 윤곽 블록의 방향 선이 제 3 방향을 향하는 것으로 판별할 수 있다. 도 20은 아래쪽 픽셀들의 방향 신호들의 크기들의 합이 위쪽 픽셀들의 방향 신호들의 크기들의 합보다 크고 그리고 왼쪽 픽셀의 방향 신호의 크기가 오른쪽 픽셀의 방향 신호의 크기보다 큰 윤곽 블록을 예시적으로 도시한다. 이미지는 제 4 방향을 따라 형성될 수 있다. 다만, 도 20의 이미지는 제 2 방향을 기준으로 도 17의 이미지보다 더 아래에 위치할 수 있다.
도 20을 참조하면, 위쪽 픽셀들(P11, P12)의 방향 신호들의 크기들의 합은 2일 수 있다. 아래쪽 픽셀들(P21, P22)의 방향 신호들의 크기들의 합은 6일 수 있다. 왼쪽 픽셀(P11)의 방향 신호의 크기는 2일 수 있다. 오른쪽 픽셀(P12)의 방향 신호의 크기는 0일 수 있다. 왼쪽 픽셀(P21)의 방향 신호의 크기는 4일 수 있다. 오른쪽 픽셀(P22)의 방향 신호의 크기는 2일 수 있다. 따라서, 이미지 신호 프로세서(150)는 윤곽 블록(118_5)의 방향 선이 제 4 방향을 향하는 것으로 판별할 수 있다.
S157 단계에서, 이미지 신호 프로세서(150)는 윤곽 블록의 방향 선이 제 3 방향을 향하는 것으로 판별할 수 있다. 도 21은 아래쪽 픽셀들의 방향 신호들의 크기들의 합이 위쪽 픽셀들의 방향 신호들의 크기들의 합보다 크고 그리고 오른쪽 픽셀의 방향 신호의 크기가 왼쪽 픽셀의 방향 신호의 크기보다 큰 윤곽 블록을 예시적으로 도시한다. 이미지는 제 3 방향을 따라 형성될 수 있다. 다만, 도 19의 이미지는 제 2 방향을 기준으로 도 17의 이미지보다 더 아래에 위치할 수 있다.
도 21을 참조하면, 위쪽 픽셀들(P11, P12)의 방향 신호들의 크기들의 합은 2일 수 있다. 아래쪽 픽셀들(P21, P22)의 방향 신호들의 크기들의 합은 6일 수 있다. 왼쪽 픽셀(P11)의 방향 신호의 크기는 0일 수 있다. 오른쪽 픽셀(P12)의 방향 신호의 크기는 2일 수 있다. 왼쪽 픽셀(P21)의 방향 신호의 크기는 2일 수 있다. 오른쪽 픽셀(P22)의 방향 신호의 크기는 4일 수 있다. 따라서, 이미지 신호 프로세서(150)는 윤곽 블록(118_6)의 방향 선이 제 3 방향을 향하는 것으로 판별할 수 있다.
본 발명의 실시 예에 따른 이미지 신호 프로세서(150)는 이미지가 도 16 및 도 17의 블록들(118_1, 118_2) 내 중심에 위치하는 경우 블록들(118_1, 118_2)의 방향 선들을 각각 판별할 수 있다. 또한, 이미지 신호 프로세서(150)는 이미지가 도 18 내지 도 21의 블록들(118_3~118_6) 내 중심에 위치하지 않는 경우에도 블록들(118_3~118_6)의 방향 선들을 각각 판별할 수 있다. 이미지 신호 프로세서(150)는 이미지가 블록 내 중심에 위치하는지 여부와 관계없이, 방향 선을 블록 내 중심에 위치하게 할 수 있다.
도 22 및 도 23은 본 발명의 실시 예에 따라 이미지의 윤곽이 추출되는 예시를 도시한다. 예를 들어, 삼각형 형상의 이미지에 기초하는 광 신호들이 픽셀 어레이(110)로 입사될 수 있다.
도 22를 참조하면, 삼각형 형상의 이미지에 기초하여 픽셀 어레이(110)의 픽셀들은 이미지 신호들을 생성할 수 있다. 변환기(140)는 이러한 이미지 신호들을 디지털 신호들로 변환할 수 있다. 삼각형 형상의 이미지의 외부에 대응하는 블록들 각각의 디지털 신호들의 크기들의 합은 제 1 기준값보다 작을 수 있다. 삼각형 형상의 이미지의 윤곽에 대응하는 블록들 각각의 디지털 신호들의 크기들의 합은 제 1 기준값 이상이고 제 2 기준값보다 작을 수 있다. 삼각형 형상의 이미지의 내부에 대응하는 블록들 각각의 디지털 신호들의 크기들의 합은 제 2 기준값 이상일 수 있다. 이미지 신호 프로세서(150)는 도 4의 S131 내지 S135 단계들을 포함하는 도 3의 S130 단계에 기초하여 픽셀 어레이(110)를 분할하는 블록들을 방향 선을 갖지 않는 블록, 방향 선을 갖는 윤곽 블록(E), 그리고 모든 방향을 향할 수 있는 방향 선을 갖는 블록(A)으로 분류할 수 있다. 그리고 이미지 신호 프로세서(150)는 도 10의 S141 내지 S146 단계들 및 도 15의 S147 내지 S157 단계들을 포함하는 도 3의 S140 단계에 기초하여 윤곽 블록(E)의 방향 선의 방향을 판별할 수 있다.
도 23은 도 3의 S130 및 S140 단계들에 따라 추출된 삼각형 형상의 이미지의 윤곽을 예시적으로 도시한다. 이미지 신호 프로세서(150)는 어느 블록(A)의 인접 블록들이 모두 A 모든 방향을 향할 수 있는 방향 선을 가질 수 있으면(즉, 인접 블록들의 디지털 신호들의 크기들의 합이 제 2 기준값 이상이면), 블록(A)은 이미지의 윤곽에 대응하는 방향 선을 갖지 않는 것으로 판별할 수 있다.
도 24는 본 발명의 다른 실시 예에 따라 이미지의 윤곽이 계층적으로 추출되는 과정을 예시적으로 도시한다. 도 24는 도 1 및 도 3을 참조하여 설명될 것이다.
전술한대로, 도 1의 픽셀 어레이(110)는 X축 및 Y축을 따라서 배열되는 픽셀들을 포함할 수 있다. 도 24를 참조하면, 제 1 계층에서, 픽셀 어레이(110)는 2 X 2 픽셀들을 각각 포함하는 블록들로 분할될 수 있다. 또한, 제 2 계층에서, 픽셀 어레이(110)는 2 X 2 블록들을 각각 포함하는 하이퍼 셀(Hyper Cell; HC)들로 분할될 수 있다. 여기서, 블록의 크기 및 하이퍼 셀의 크기는 각각 상술한 수치들로 한정되지 않고 유저의 요청, 이미지 해상도, 윤곽의 정밀도, 윤곽 추출 속도 등에 기초하여 결정될 수 있다.
하이퍼 셀의 블록들의 방향 선들은 도 4의 S131 내지 S135 단계들을 포함하는 도 3의 S130 단계와 도 10의 S141 내지 S146 단계들 및 도 15의 S147 내지 S157 단계들을 포함하는 도 3의 S140 단계에 기초하여 이미지 신호 프로세서(150)에 의해 판별될 수 있다. 이미지 신호 프로세서(150)는 하이퍼 셀의 블록들의 방향 선들의 방향들을 카운팅하도록 구성되는 적어도 하나의 카운터를 포함할 수 있다. 이미지 신호 프로세서(150)는 카운팅 결과에 기초하여 하이퍼 셀의 방향 선이 향하는 방향을 판별할 수 있다. 이미지 신호 프로세서(150)는 다수결 연산(majority operation)에 기초하여 하이퍼 셀의 방향 선이 향하는 방향을 판별할 수 있다.
예를 들어, 하이퍼 셀의 블록들의 방향 선들이 각각 0도, 0도, 0도, 및 90도인 경우, 이미지 신호 프로세서(150)는 하이퍼 셀의 방향 선을 0도로 선택할 수 있다. 만약 하이퍼 셀의 블록들의 방향 선들이 각각 0도, 45도, 90도, 135도인 경우(즉, 제 1 내지 제 4 방향들을 각각 나타내는 빈도 수들이 동일한 경우), 이미지 신호 프로세서(150)는 하이퍼 셀의 방향 선이 없는 것으로 판별할 수 있다.
실시 예에 있어서, 도 24에서 도시된 하이퍼 셀들은 제 1 하이퍼 셀들일 수 있고, 픽셀 어레이(110)는, 제 3 계층(미도시)에서, 적어도 4개의 제 1 하이퍼 셀들을 각각 포함하는 제 2 하이퍼 셀들(미도시)로 분할될 수 있다. 이미지 신호 프로세서(150)는 제 1 하이퍼 셀과 유사한 방식으로 제 2 하이퍼 셀의 방향 선이 향하는 방향을 판별할 수 있다. 픽셀 어레이(110)가 분할되는 계층이 증가할수록, 윤곽의 정밀도가 감소하나 윤곽 추출 속도는 증가할 수 있다.
도 25 및 도 26은 본 발명의 또 다른 실시 예에 따라 이미지의 움직임이 추출되는 과정을 예시적으로 도시한다. 도 25 및 도 26은 함께 설명될 것이고 도 1 및 도 3을 참조하여 설명될 것이다. 도 25에서 픽셀 어레이(110)는 임의의 크기를 갖는 하이퍼 셀들로 분할될 수 있다.
이미지 신호 프로세서(150)는 도 4의 S131 내지 S135 단계들을 포함하는 도 3의 S130 단계, 도 10의 S141 내지 S146 단계들 및 도 15의 S147 내지 S157 단계들을 포함하는 도 3의 S140 단계, 그리고 도 25에서 전술한 하이퍼 셀의 방향 선 판별 방법에 기초하여, t1, t2, 및 t3 시점들에서 이미지의 윤곽들을 각각 추출할 수 있다. 이미지 신호 프로세서(150)는 t1, t2, 및 t3 시점들의 이미지 윤곽들을 비교하여 시간에 따른 이미지의 움직임을 판별할 수 있다. 이미지 신호 프로세서(150)에 의해 t1, t2, 및 t3 시점들에서 추출된 이미지의 윤곽들은 도 25에 도시된 바와 같다. 이미지 신호 프로세서(150)는 t1, t2, 및 t3 시점들에서 이미지의 윤곽들의 중심들을 대표점들(t1, t2, t3)로서 검출할 수 있다.
도 26에서 픽셀 어레이(110)는 도 25의 하이퍼 셀과 동일한 물리적 크기를 갖는 타임 셀(Time Cell; TC)들로 분할될 수 있다. 타임 셀은 하이퍼 셀과 물리적으로는 동일한 크기를 갖지만 여러 시점에서의 하이퍼 셀들을 나타낼 수 있다. 예를 들어, 타임 셀(T11)은 t1 시점의 하이퍼 셀(H11), t2 시점의 하이퍼 셀(H11), 및 t3 시점의 하이퍼 셀(H11)을 나타낼 수 있다. 이미지 신호 프로세서(150)는 도 25의 대표점들(t1, t2, t3)에 관한 정보(예를 들면, 대표점이 위치하는 하이퍼 셀, 블록, 및 픽셀의 주소들)를 저장하고 타임 셀들에 기록할 수 있다. 이미지 신호 프로세서(150)는 타임 셀들에서 도 25의 대표점들(t1, t2, t3)을 연결하여 이미지의 움직임을 판별할 수 있다.
도 27은 본 발명의 다른 실시 예에 따른 이미지 센서를 예시적으로 보여주는 블록도이다. 이미지 센서(1000)는 렌즈(1100), 필터(1200), 픽셀 어레이(1300), 변환기(1400), 블록 메모리(1500), 윤곽 신호 프로세서(1700), 및 타이밍 컨트롤러(1800)를 포함할 수 있다.
렌즈(1100)는 피사체로부터 반사되는 광 신호들을 모을 수 있고, 필터(1200)는 렌즈(1100)를 통해 입사되는 광 신호들을 필터링할 수 있다. 필터링된 광 신호들은 픽셀 어레이(1300)로 제공될 수 있다. 픽셀 어레이(1300), 변환기(1400), 및 타이밍 컨트롤러(1800)는 도 1에서 전술한 픽셀 어레이(110), 변환기(140), 및 타이밍 컨트롤러(160)와 유사할 수 있다.
블록 메모리(1500)는 변환기(1400)에 의해 변환되는 블록들 각각의 디지털 신호들의 크기들과 그 합을 저장할 수 있다. 블록 메모리(1500)에 저장된 디지털 신호들의 크기들은 이미지의 윤곽 맵을 구성할 수 있다. 블록 메모리(1500)는 픽셀 어레이의 주소 정보와 블록들의 주소 정보를 더 저장할 수 있다. 블록 메모리(1500)에 저장되는 블록들의 주소 정보는 윤곽 신호 프로세서(1700)에 의해 변경될 수 있다.
윤곽 신호 프로세서(1700)는 도 1에서 전술한 이미지 신호 프로세서(150)일 수 있다. 윤곽 신호 프로세서(1700)는 블록 메모리(1500)에 저장된 블록들 각각의 디지털 신호들에 기초하여 윤곽 정보(1710)를 추출할 수 있다. 윤곽 신호 프로세서(1700)는 윤곽 정보(1710)를 블록 메모리(1500)에 저장할 수 있다.
도 28은 본 발명의 또 다른 실시 예에 따른 이미지 센서를 예시적으로 보여주는 블록도이다. 이미지 센서(2000)는 렌즈(2100), 필터(2200), 픽셀 어레이(2300), 변환기(2400), 블록 메모리(2500), 픽셀 메모리(2600), 윤곽 신호 프로세서(2700), 타이밍 컨트롤러(2800), 및 이미지 신호 프로세서(2900)를 포함할 수 있다. 렌즈(2100), 필터(2200), 픽셀 어레이(2300), 변환기(2400), 블록 메모리(2500), 윤곽 신호 프로세서(2700), 및 타이밍 컨트롤러(2800)는 도 27의 렌즈(1100), 필터(1200), 픽셀 어레이(1300), 변환기(1400), 블록 메모리(1500), 윤곽 신호 프로세서(1700), 및 타이밍 컨트롤러(1800)와 유사할 수 있다. 도 27의 이미지 센서(1000)에 비해, 이미지 센서(2000)는 픽셀 메모리(2600) 및 이미지 신호 프로세서(2900)를 더 포함할 수 있다.
픽셀 메모리(2600)는 변환기(1400)에 의해 변환되는 픽셀의 디지털 신호의 크기를 저장할 수 있다. 즉, 픽셀 메모리(2600)는 픽셀 단위로 이미지의 정보를 저장할 수 있고, 블록 메모리(2500)는 블록 단위로 이미지의 정보를 저장할 수 있다. 도 28에서 도시되진 않았으나, 이미지 센서(2000)는 하이퍼 셀 단위 또는 타임 셀 단위로 이미지의 정보를 저장하기 위한 다른 메모리를 더 포함할 수도 있다.
발명의 실시 예에 따르면, 이미지 신호 프로세서(2900)는 픽셀 메모리(2600)로부터 픽셀 단위의 이미지 정보 그리고 윤곽 신호 프로세서(2700)로부터 이미지의 윤곽 정보를 모두 수신할 수 있다. 이미지 신호 프로세서(2900)는 이미지를 처리하는데 이미지의 윤곽 정보를 이용할 수 있다.
위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.
100: 이미지 센서;
110: 픽셀 어레이;
120: 로우 디코더;
130: 컬럼 디코더;
140: 변환기;
150: 이미지 신호 프로세서;
160: 타이밍 컨트롤러;

Claims (20)

  1. 제 1 방향 및 제 2 방향을 따라서 배열되는 픽셀들을 포함하고, 블록(block)들로 분할되는 픽셀 어레이;
    이미지에 기초하여 상기 픽셀들로부터 출력되는 이미지 신호들을 디지털 신호들로 변환하도록 구성되는 변환기; 및
    상기 블록들 각각에 속하는 상기 디지털 신호들의 크기(amplitude)들을 더하여 상기 블록들 중 윤곽(edge) 블록들을 판별하고, 상기 디지털 신호들의 상기 크기들을 비교하여 상기 윤곽 블록들의 방향 선들이 향하는 방향들을 판별하고, 그리고 상기 방향 선들을 연결하여 상기 이미지의 윤곽을 추출하도록 구성되는 이미지 신호 프로세서를 포함하고,
    제 1 블록은 상기 블록들 중 어느 하나이고,
    상기 변환기는 상기 제 1 블록으로부터 출력되는 이미지 신호들을 제 1 디지털 신호들로 변환하고,
    상기 이미지 신호 프로세서는 상기 제 1 디지털 신호들의 크기들의 합이 제 1 기준값 이상이고 제 2 기준값보다 작으면, 상기 제 1 블록을 상기 윤곽 블록들 중 하나로 판별하도록 더 구성되고, 그리고
    상기 제 1 기준값 및 상기 제 2 기준값은 상기 제 1 디지털 신호들의 상기 크기들의 상기 합의 최대 값보다 작은 이미지 센서.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 이미지 신호 프로세서는 상기 제 1 디지털 신호들의 상기 크기들의 상기 합이 상기 제 1 기준값보다 작으면, 상기 제 1 블록의 방향 선을 판별하지 않도록 더 구성되는 이미지 센서.
  4. 제 1 항에 있어서,
    제 2 블록은 상기 블록들 중 어느 하나이고 상기 제 1 블록과 인접하여 배치되고,
    상기 변환기는 상기 제 2 블록으로부터 출력되는 이미지 신호들을 제 2 디지털 신호들로 변환하고,
    상기 제 2 디지털 신호들의 크기들의 합은 상기 제 1 기준값 이상이고 상기 제 2 기준값보다 작고, 그리고
    상기 이미지 신호 프로세서는 상기 제 1 디지털 신호들의 상기 크기들의 상기 합이 상기 제 2 기준값 이상이면, 상기 제 2 블록의 방향 선에 기초하여, 상기 제 1 블록의 방향 선이 향하는 방향을 판별하도록 더 구성되는 이미지 센서.
  5. 제 1 항에 있어서,
    제 2 블록들은 상기 블록들 중 일부이고 상기 제 1 블록과 인접하여 배치되고,
    상기 제 1 블록은 상기 제 2 블록들에 의해 둘러 쌓여있고,
    상기 변환기는 상기 제 2 블록들 각각으로부터 출력되는 이미지 신호들을 제 2 디지털 신호들로 변환하고,
    상기 제 2 디지털 신호들의 크기들의 합이 상기 제 2 기준값 이상이고, 그리고
    상기 이미지 신호 프로세서는 상기 제 1 디지털 신호들의 상기 크기들의 상기 합이 상기 제 2 기준값 이상이면, 상기 제 1 블록의 방향 선이 향하는 방향을 판별하지 않도록 더 구성되는 이미지 센서.
  6. 제 1 항에 있어서,
    상기 제 1 디지털 신호들의 상기 크기들의 상기 합은 제 1 기준값 이상이고 제 2 기준값보다 작고,
    상기 제 1 블록은 상기 제 1 방향을 따라서 배열되고 상기 픽셀 어레이에 포함되는 제 1 픽셀들 및 상기 제 2 방향을 따라서 배열되고 상기 픽셀 어레이에 포함되는 제 2 픽셀들을 포함하고,
    상기 변환기는 상기 제 1 픽셀들로부터 출력되는 이미지 신호들을 제 1 방향 신호들로 변환하고 그리고 상기 제 2 픽셀들로부터 출력되는 이미지 신호들을 제 2 방향 신호들로 변환하고, 그리고
    상기 이미지 신호 프로세서는:
    상기 제 1 디지털 신호들 중 상기 제 1 방향 신호들의 크기들이 서로 동일하면, 상기 제 1 블록의 방향 선이 상기 제 1 방향을 향하는 것으로 판별하고, 그리고
    상기 제 1 디지털 신호들 중 상기 제 2 방향 신호들의 크기들이 서로 동일하면, 상기 제 1 블록의 방향 선이 상기 제 2 방향을 향하는 것으로 판별하도록 더 구성되는 이미지 센서.
  7. 제 6 항에 있어서,
    제 2 블록은 상기 블록들 중 어느 하나이고 상기 제 1 블록과 인접하여 배치되고,
    상기 변환기는 상기 제 2 블록으로부터 출력되는 이미지 신호들을 제 2 디지털 신호들로 변환하고,
    상기 제 2 디지털 신호들의 크기들의 합이 상기 제 1 기준값 이상이고 상기 제 2 기준값보다 작고, 그리고
    상기 이미지 신호 프로세서는 상기 제 1 방향 신호들의 상기 크기들과 상기 제 2 방향 신호들의 상기 크기들이 서로 동일하면, 상기 제 2 블록의 방향 선에 기초하여, 상기 제 1 블록의 상기 방향 선이 향하는 방향을 판별하도록 더 구성되는 이미지 센서.
  8. 제 6 항에 있어서,
    상기 제 1 블록은 제 3 방향을 따라서 배열되고 상기 픽셀 어레이에 포함되는 제 3 픽셀들 및 제 4 방향을 따라서 배열되고 상기 픽셀 어레이에 포함되는 제 4 픽셀들을 더 포함하고,
    상기 변환기는 상기 제 3 픽셀들로부터 출력되는 이미지 신호들을 제 3 방향 신호들로 변환하고 상기 제 4 픽셀들로부터 출력되는 이미지 신호들을 제 4 방향 신호들로 변환하고, 그리고
    상기 이미지 신호 프로세서는 상기 제 1 방향 신호들의 상기 크기들이 서로 동일하지 않고 상기 제 2 방향 신호들의 상기 크기들이 서로 동일하지 않으면, 상기 제 3 방향 신호들의 크기들의 합과 상기 제 4 방향 신호들의 크기들의 합을 비교하여 상기 제 1 블록의 방향 선이 상기 제 3 방향 또는 상기 제 4 방향을 향하는 것으로 판별하도록 더 구성되는 이미지 센서.
  9. 제 8 항에 있어서,
    상기 제 1 픽셀들은 상기 제 2 방향 상의 제 1 좌표 값을 갖는 제 1 서브 픽셀들과 상기 제 2 방향 상의 제 2 좌표 값을 갖는 제 2 서브 픽셀들을 포함하고,
    상기 변환기는 상기 제 1 서브 픽셀들로부터 출력되는 이미지 신호들을 제 1 서브 방향 신호들로 변환하고 상기 제 2 서브 픽셀들로부터 출력되는 이미지 신호들을 제 2 서브 방향 신호들로 변환하고, 그리고
    상기 이미지 신호 프로세서는 상기 제 3 방향 신호들의 상기 크기들의 상기 합이 상기 제 4 방향 신호들의 상기 크기들의 상기 합과 동일하면, 상기 제 1 서브 방향 신호들의 크기들의 합과 상기 제 2 서브 방향 신호들의 크기들의 합을 비교하고, 상기 제 1 서브 방향 신호들의 상기 크기들을 비교하고, 그리고 상기 제 2 서브 방향 신호들의 상기 크기들을 더 비교하여 상기 제 1 블록의 방향 선이 상기 제 3 방향 또는 상기 제 4 방향을 향하는 것으로 판별하도록 더 구성되는 이미지 센서.
  10. 제 1 항에 있어서,
    상기 픽셀 어레이는 하이퍼 셀들로 더 분할되고, 그리고
    상기 이미지 신호 프로세서는 상기 하이퍼 셀들 각각의 상기 윤곽 블록들의 상기 방향 선들이 향하는 방향들을 판별하고, 상기 하이퍼 셀들 각각의 상기 윤곽 블록들의 상기 방향들을 카운팅(counting)하고, 그리고 카운팅 결과에 기초하여 상기 하이퍼 셀들의 방향 선들이 향하는 방향을 판별하도록 더 구성되는 이미지 센서.
  11. 제 1 항에 있어서,
    상기 디지털 신호들은 제 2 디지털 신호들이고, 상기 윤곽 블록들은 제 1 윤곽 블록들이고, 상기 방향 선들은 제 1 방향 선들이고, 그리고 상기 윤곽은 제 1 윤곽이고, 그리고
    상기 이미지 신호 프로세서는 상기 블록들 각각에 속하는 제 3 디지털 신호들의 크기들을 더하여 상기 블록들 중 제 2 윤곽 블록들을 판별하고, 상기 제 3 디지털 신호들의 상기 크기들을 비교하여 상기 제 2 윤곽 블록들의 제 2 방향 선들이 향하는 방향들을 판별하고, 상기 제 2 방향 선들을 연결하여 상기 이미지의 제 2 윤곽을 추출하고, 그리고 상기 제 1 윤곽과 상기 제 2 윤곽을 비교하여 시간에 따른 상기 이미지의 움직임을 판별하도록 더 구성되는 이미지 센서.
  12. 제 1 항에 있어서,
    상기 블록들에 대한 상기 픽셀 어레이의 주소 정보, 상기 디지털 신호들의 크기들, 및 상기 디지털 신호들의 상기 크기들의 합을 저장하도록 구성되는 메모리를 더 포함하는 이미지 센서.
  13. 제 1 방향 및 제 2 방향을 따라서 배열되는 픽셀들을 포함하는 픽셀 어레이, 이미지에 기초하여 상기 픽셀 어레이로부터 출력되는 이미지 신호들을 디지털 신호들로 변환하는 변환기, 및 메모리를 포함하는 이미지 센서의 동작 방법에 있어서;
    이미지 신호 프로세서에 의해, 상기 픽셀 어레이를 분할하는 블록들의 주소들을 상기 메모리에 저장하는 단계;
    상기 이미지 신호 프로세서에 의해, 상기 디지털 신호들의 크기(amplitude)들을 더하여 상기 블록들 중 윤곽 블록들을 판별하는 단계;
    상기 이미지 신호 프로세서에 의해, 상기 디지털 신호들의 상기 크기들을 비교하여 상기 윤곽 블록들의 방향 선들이 향하는 방향들을 판별하는 단계; 및
    상기 이미지 신호 프로세서에 의해, 상기 방향 선들을 연결하여 상기 이미지의 윤곽을 추출하는 단계를 포함하고,
    상기 윤곽 블록들을 판별하는 단계는:
    상기 블록들 중, 상기 디지털 신호들의 상기 크기들의 합이 제 1 기준값보다 작은 제 1 블록들의 방향 선들을 판별하지 않는 단계;
    상기 블록들 중, 상기 디지털 신호들의 상기 크기들의 합이 상기 제 1 기준값 이상이고 제 2 기준값보다 작은 제 2 블록들의 방향 선들이 향하는 방향들을 판별하고, 상기 제2 블록들을 상기 윤곽 블록들에 포함시키는 단계; 및
    상기 제 2 블록들의 상기 방향 선들에 기초하여, 상기 블록들 중 상기 디지털 신호들의 상기 크기들의 합이 상기 제 2 기준값 이상인 제 3 블록들의 방향 선들이 향하는 방향들을 판별하는 단계를 포함하는 동작 방법.
  14. 삭제
  15. 제 13 항에 있어서,
    상기 픽셀 어레이는, 상기 제 1 방향을 따라서 배열되는 제 1 픽셀들, 상기 제 2 방향을 따라서 배열되는 제 2 픽셀들, 제 3 방향을 따라서 배열되는 제 3 픽셀들, 및 제 4 방향을 따라서 배열되는 제 4 픽셀들을 포함하고,
    상기 제 1 내지 제 4 픽셀들은 상기 제 2 블록들 각각에 속하고,
    상기 변환기는 상기 제 1 픽셀들로부터 출력되는 이미지 신호들을 제 1 방향 신호들로 변환하고 그리고 상기 제 2 픽셀들로부터 출력되는 이미지 신호들을 제 2 방향 신호들로 변환하고, 그리고
    상기 제 2 블록들의 상기 방향 선들이 향하는 상기 방향들을 판별하는 단계는:
    상기 디지털 신호들 중 상기 제 1 방향 신호들의 크기들이 서로 동일하면, 상기 제 2 블록들의 상기 방향 선들이 상기 제 1 방향을 향하는 것으로 판별하는 단계; 및
    상기 디지털 신호들 중 상기 제 2 방향 신호들의 크기들이 서로 동일하면, 상기 제 2 블록들의 상기 방향 선들이 상기 제 2 방향을 향하는 것으로 판별하는 단계를 포함하는 동작 방법.
  16. 제 15 항에 있어서,
    상기 변환기는 상기 제 3 픽셀들로부터 출력되는 이미지 신호들을 제 3 방향 신호들로 변환하고 그리고 상기 제 4 픽셀들로부터 출력되는 이미지 신호들을 제 4 방향 신호들로 변환하고, 그리고
    상기 제 2 블록들의 상기 방향 선들이 향하는 상기 방향들을 판별하는 단계는:
    상기 제 1 방향 신호들의 상기 크기들이 서로 동일하지 않고 상기 제 2 방향 신호들의 상기 크기들이 서로 동일하지 않으면, 상기 제 3 방향 신호들의 크기들의 합과 상기 제 4 방향 신호들의 크기들의 합을 비교하여 상기 제 2 블록들의 상기 방향 선들이 상기 제 3 방향 또는 상기 제 4 방향을 향하는 것으로 판별하는 단계를 더 포함하는 동작 방법.
  17. 제 16 항에 있어서,
    상기 제 1 픽셀들은 상기 제 2 방향 상의 제 1 좌표 값을 갖는 제 1 서브 픽셀들과 상기 제 2 방향 상의 제 2 좌표 값을 갖는 제 2 서브 픽셀들을 포함하고,
    상기 변환기는 상기 제 1 서브 픽셀들로부터 출력되는 이미지 신호들을 제 1 서브 방향 신호들로 변환하고 그리고 상기 제 2 서브 픽셀들로부터 출력되는 이미지 신호들을 제 2 서브 방향 신호들로 변환하고, 그리고
    상기 제 2 블록들의 상기 방향 선들이 향하는 상기 방향들을 판별하는 단계는:
    상기 제 3 방향 신호들의 상기 크기들의 상기 합과 상기 제 4 방향 신호들의 상기 크기들의 상기 합이 같으면, 상기 제 1 서브 방향 신호들의 크기들의 합과 상기 제 2 서브 방향 신호들의 크기들의 합을 비교하고, 상기 제 1 서브 방향 신호들의 상기 크기들을 비교하고, 그리고 상기 제 2 서브 방향 신호들의 상기 크기들을 더 비교하여 상기 제 2 블록들의 상기 방향 선들이 상기 제 3 방향 또는 상기 제 4 방향을 향하는 것으로 판별하는 단계를 더 포함하는 동작 방법.
  18. 제 13 항에 있어서,
    상기 제 3 블록들의 상기 방향 선들이 향하는 상기 방향들을 판별하는 단계는:
    상기 제 3 블록들 각각과 인접하는 상기 제 2 블록들을 판별하는 단계를 포함하는 동작 방법.
  19. 제 13 항에 있어서,
    상기 픽셀 어레이는 하이퍼 셀들로 더 분할되고,
    상기 하이퍼 셀들 각각은 상기 블록들 중 일부를 포함하고,
    상기 이미지 신호 프로세서에 의해, 상기 하이퍼 셀들 각각의 블록들의 방향 선들이 향하는 방향들을 판별하고, 상기 하이퍼 셀들 각각의 상기 블록들의 상기 방향들을 카운팅(counting)하고, 그리고 카운팅 결과에 기초하여 상기 하이퍼 셀들의 방향 선들이 향하는 방향들을 판별하는 단계를 더 포함하는 동작 방법.
  20. 제 13 항에 있어서,
    상기 디지털 신호들은 제 1 디지털 신호들이고, 상기 윤곽 블록들은 제 1 윤곽 블록들이고, 상기 방향 선들은 제 1 방향 선들이고, 그리고 상기 윤곽은 제 1 윤곽이고, 그리고
    상기 이미지 신호 프로세서에 의해, 상기 변환기에 의해 변환되고 상기 블록들 각각에 속하는 제 2 디지털 신호들의 크기들을 더하여 상기 블록들 중 제 2 윤곽 블록들을 판별하는 단계;
    상기 이미지 신호 프로세서에 의해, 상기 제 2 디지털 신호들의 상기 크기들을 비교하여 상기 제 2 윤곽 블록들의 제 2 방향 선들이 향하는 방향들을 판별하는 단계;
    상기 이미지 신호 프로세서에 의해, 상기 제 2 방향 선들을 연결하여 상기 이미지의 제 2 윤곽을 추출하는 단계; 및
    상기 이미지 신호 프로세서에 의해, 상기 제 1 윤곽과 상기 제 2 윤곽을 비교하여 시간에 따른 상기 이미지의 움직임을 판별하는 단계를 더 포함하는 동작 방법.
KR1020180031594A 2018-03-19 2018-03-19 픽셀들로부터 출력된 신호들의 크기들에 기반하여 이미지의 윤곽을 추출하기 위한 이미지 센서 및 방법 Active KR102376471B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180031594A KR102376471B1 (ko) 2018-03-19 2018-03-19 픽셀들로부터 출력된 신호들의 크기들에 기반하여 이미지의 윤곽을 추출하기 위한 이미지 센서 및 방법
US16/356,788 US11025840B2 (en) 2018-03-19 2019-03-18 Image sensor and method for extracting edge of image based on amplitudes of signals output from pixels

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180031594A KR102376471B1 (ko) 2018-03-19 2018-03-19 픽셀들로부터 출력된 신호들의 크기들에 기반하여 이미지의 윤곽을 추출하기 위한 이미지 센서 및 방법

Publications (2)

Publication Number Publication Date
KR20190109911A KR20190109911A (ko) 2019-09-27
KR102376471B1 true KR102376471B1 (ko) 2022-03-21

Family

ID=67904547

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180031594A Active KR102376471B1 (ko) 2018-03-19 2018-03-19 픽셀들로부터 출력된 신호들의 크기들에 기반하여 이미지의 윤곽을 추출하기 위한 이미지 센서 및 방법

Country Status (2)

Country Link
US (1) US11025840B2 (ko)
KR (1) KR102376471B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339479A (ja) * 1999-05-28 2000-12-08 Nec Corp 画像輪郭パターン検出回路及びその方法
JP2008187249A (ja) * 2007-01-26 2008-08-14 Toshiba Corp 固体撮像装置
KR101220816B1 (ko) * 2012-05-04 2013-01-10 상명대학교 산학협력단 화면내 에지를 검출하는 방법
US20160171710A1 (en) * 2014-12-10 2016-06-16 Omnivision Technologies, Inc. Edge Detection System And Methods

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416855A (en) * 1992-03-03 1995-05-16 Massachusetts Institute Of Technology Image compression method and apparatus
JPH0879516A (ja) * 1994-09-01 1996-03-22 Fuji Xerox Co Ltd 画像処理装置
JP3240936B2 (ja) * 1996-09-30 2001-12-25 日本電気株式会社 動き処理回路
US7142224B2 (en) * 1997-07-10 2006-11-28 Yamaha Corporation Polygon drawing apparatus and method, and storage medium for implementing the same method
US6507364B1 (en) * 1998-03-13 2003-01-14 Pictos Technologies, Inc. Edge-dependent interpolation method for color reconstruction in image processing devices
US6868175B1 (en) * 1999-08-26 2005-03-15 Nanogeometry Research Pattern inspection apparatus, pattern inspection method, and recording medium
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
KR101087345B1 (ko) 2004-04-21 2011-11-25 인텔렉츄얼 벤처스 투 엘엘씨 컬러 보정 방법
US7961357B2 (en) 2004-12-08 2011-06-14 Electronics And Telecommunications Research Institute Block artifact phenomenon eliminating device and eliminating method thereof
KR100901354B1 (ko) 2007-05-31 2009-06-05 주식회사 코아로직 영상의 에지 보정장치 및 그 방법
JP5454075B2 (ja) * 2009-10-20 2014-03-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101318812B1 (ko) 2011-07-18 2013-10-17 한양대학교 산학협력단 에지의 방향 성분을 검출하는 영상 필터링 방법 및 이를 이용한 영상 인식 방법
KR101180387B1 (ko) 2011-11-21 2012-09-10 동국대학교 산학협력단 엣지 추출을 위한 이미지 센서 및 이를 이용한 엣지 이미지 생성 방법.
KR20130072073A (ko) 2011-12-21 2013-07-01 한국전자통신연구원 영상 윤곽선 추출 장치 및 방법
US9160896B1 (en) 2012-06-01 2015-10-13 The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration High speed edge detection
US10650526B2 (en) * 2016-06-28 2020-05-12 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US10664974B2 (en) * 2018-02-23 2020-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for object detection using edge characteristics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339479A (ja) * 1999-05-28 2000-12-08 Nec Corp 画像輪郭パターン検出回路及びその方法
JP2008187249A (ja) * 2007-01-26 2008-08-14 Toshiba Corp 固体撮像装置
KR101220816B1 (ko) * 2012-05-04 2013-01-10 상명대학교 산학협력단 화면내 에지를 검출하는 방법
US20160171710A1 (en) * 2014-12-10 2016-06-16 Omnivision Technologies, Inc. Edge Detection System And Methods

Also Published As

Publication number Publication date
KR20190109911A (ko) 2019-09-27
US20190289229A1 (en) 2019-09-19
US11025840B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
US11849226B2 (en) Image processing device including neural network processor and operating method thereof
US11580367B2 (en) Method and system for processing neural network
KR102499396B1 (ko) 뉴럴 네트워크 장치 및 뉴럴 네트워크 장치의 동작 방법
WO2019170164A1 (zh) 基于深度相机的三维重建方法、装置、设备及存储介质
US10643382B2 (en) Application of convolutional neural networks to object meshes
JP2024174956A (ja) 深層学習システム
US20180253636A1 (en) Neural network apparatus, neural network processor, and method of operating neural network processor
CN111738433B (zh) 一种可重配置的卷积硬件加速器
Birem et al. DreamCam: A modular FPGA-based smart camera architecture
KR101991763B1 (ko) 조밀 탐색 방법 및 화상 처리 장치
WO2021174904A1 (zh) 图像处理方法、路径规划方法、装置、设备及存储介质
CN104025567A (zh) 用于消除深度伪影的图像处理方法和装置
CN112419372B (zh) 图像处理方法、装置、电子设备及存储介质
WO2023123919A1 (zh) 数据处理电路、数据处理方法及相关产品
CN104254868A (zh) 使用至少一个较高帧速率图像流提高图像流帧速率的方法和装置
CN117292064A (zh) 一种基于结构光扫描数据的三维物体建模方法及系统
WO2020084091A1 (en) Stereo image processing
CN104851127A (zh) 一种基于交互的建筑物点云模型纹理映射方法及装置
CN112799599B (zh) 一种数据存储方法、计算核、芯片和电子设备
US11748862B2 (en) Image processing apparatus including neural network processor and method of operation
WO2015023318A2 (en) Depth image compression and decompression utilizing depth and amplitude data
KR102376471B1 (ko) 픽셀들로부터 출력된 신호들의 크기들에 기반하여 이미지의 윤곽을 추출하기 위한 이미지 센서 및 방법
CN111507430A (zh) 基于矩阵乘法的特征编码方法、装置、设备及介质
CN114859938A (zh) 机器人、动态障碍物状态估计方法、装置和计算机设备
CN110427506A (zh) 空间数据边界处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180319

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201222

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180319

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211020

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220202

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220315

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220316

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250224

Start annual number: 4

End annual number: 4