KR20220147412A - 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법 - Google Patents

이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법 Download PDF

Info

Publication number
KR20220147412A
KR20220147412A KR1020210054523A KR20210054523A KR20220147412A KR 20220147412 A KR20220147412 A KR 20220147412A KR 1020210054523 A KR1020210054523 A KR 1020210054523A KR 20210054523 A KR20210054523 A KR 20210054523A KR 20220147412 A KR20220147412 A KR 20220147412A
Authority
KR
South Korea
Prior art keywords
data
image
memory
image data
image sensor
Prior art date
Application number
KR1020210054523A
Other languages
English (en)
Inventor
고상수
김병수
김경영
하상혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210054523A priority Critical patent/KR20220147412A/ko
Priority to CN202210436213.3A priority patent/CN115249204A/zh
Priority to US17/729,533 priority patent/US11943557B2/en
Priority to TW111115941A priority patent/TW202307782A/zh
Publication of KR20220147412A publication Critical patent/KR20220147412A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 개시의 예시적 실시예에 따른 이미지 센서 모듈에 있어서, 이미지 데이터를 생성하는 이미지 센서 및 상기 이미지 데이터를 저장하는 메모리 뱅크와 복수의 프로세싱 소자들을 포함하는 PIM(Processor In Memory) 회로를 포함하는 메모리를 포함하고, 상기 메모리는, 상기 메모리 뱅크로부터 상기 이미지 데이터를 독출하고, 상기 복수의 프로세싱 소자들을 이용하여, 상기 이미지 데이터 내 포함된 적어도 하나의 객체의 시계열적 동작을 나타내는 옵티컬 플로우 데이터 및 상기 이미지 데이터의 패턴의 밀도를 나타내는 패턴 밀도 데이터를 생성하고, 상기 이미지 데이터, 상기 옵티컬 플로우 데이터 및 상기 패턴 밀도 데이터를 출력할 수 있다.

Description

이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법{IMAGE SENSOR MODULE, IMAGE PROCESSING SYSTEM AND OPERATING METHOD OF IMAGE SENSOR MODULE}
본 개시의 기술적 사상은 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법에 관한 것으로서, 더욱 상세하게는, 연산 처리를 수행하는 메모리를 포함하는 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법에 관한 것이다.
이미지 센서(image sensor)는 대상물의 2차원적 또는 3차원적 이미지를 캡쳐(capture)하는 장치이다. 이미지 센서는 대상물로부터 반사되는 빛의 세기에 따라 반응하는 광전 변환 소자를 이용해 대상물의 이미지를 생성한다. 최근 CMOS (Complementary Metal-Oxide Semiconductor) 기술이 발전하면서, CMOS를 이용한 CMOS 이미지 센서가 널리 사용되고 있다.
최근 고품질 및 고화질의 사진, 영상 등에 대한 요구가 커짐에 따라 이미지 센서가 생성하는 이미지 데이터의 크기가 증가하고 있다. 한편, 이미지 데이터의 크기가 증가하면 원활한 연산 처리를 위해 높은 대역폭(bandwidth)이 필요로 된다.
특히, 이미지 센서를 이용하는 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS)은, 안정성 확보를 위해 객체 검출의 정확도 증가 및 객체 검출의 실시간 수행을 요구한다. 객체 검출의 정확도는 해상도가 큰 이미지 데이터를 통해 확보될 수 있으며, 객체 검출의 실시간 수행은 높은 대역폭 및 높은 연산 능력을 통해 확보될 수 있다.
본 개시의 기술적 사상은, 연산 처리를 수행하는 메모리를 포함하는 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법을 제공하는 데 있다.
본 개시의 예시적 실시예에 따른 이미지 센서 모듈에 있어서, 이미지 데이터를 생성하는 이미지 센서 및 이미지 데이터를 저장하는 메모리 뱅크와 복수의 프로세싱 소자들을 포함하는 PIM(Processor In Memory) 회로를 포함하는 메모리를 포함하고, 메모리는, 메모리 뱅크로부터 이미지 데이터를 독출하고, 복수의 프로세싱 소자들을 이용하여, 이미지 데이터 내 포함된 적어도 하나의 객체의 시계열적 동작을 나타내는 옵티컬 플로우 데이터 및 이미지 데이터의 패턴의 밀도를 나타내는 패턴 밀도 데이터를 생성하고, 이미지 데이터, 옵티컬 플로우 데이터 및 패턴 밀도 데이터를 출력할 수 있다.
본 개시의 예시적 실시예에 따른 이미지 센서 모듈 및 이미지 처리 장치를 포함하는 이미지 처리 시스템은, 이미지 데이터를 생성하는 이미지 센서 및 PIM(Processor In Memory) 회로를 이용하여, 이미지 데이터 내 포함된 적어도 하나의 객체의 시계열적 동작을 나타내는 옵티컬 플로우 데이터 및 이미지 데이터의 패턴의 밀도를 나타내는 패턴 밀도 데이터를 생성하는 메모리를 포함하고, 이미지 처리 장치는, 이미지 데이터, 옵티컬 플로우 데이터 및 패턴 밀도 데이터를 기초로 이미지 데이터에 대한 객체 인식을 수행할 수 있다.
본 개시의 예시적 실시예에 따른 이미지 센서 모듈의 동작 방법은, 이미지 센서를 이용하여 이미지 데이터를 획득하는 단계, 이미지 데이터를 메모리에 포함된 복수의 뱅크들에 저장하는 단계, 메모리에 포함된 프로세싱 소자들을 이용하여 저장된 이미지 데이터에 대한 옵티컬 플로우 데이터를 생성하는 단계, 메모리에 포함된 프로세싱 소자들을 이용하여 저장된 이미지 데이터에 대한 패턴 밀도 데이터를 생성하는 단계 및 이미지 데이터, 옵티컬 플로우 데이터 및 패턴 밀도 데이터를 출력하는 단계를 포함할 수 있다.
본 개시의 예시적 실시예에 따른 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법은 연산 처리를 수행하는 메모리를 이용하여 이미지 데이터에 대한 연산 처리를 수행함으로써, 이미지 처리 동작의 연산 속도를 증가시킬 수 있다. 또한, 메모리를 이용한 이미지 데이터에 대한 연산 처리 속도가 증가하면 많은 레이어가 적용된 뉴럴 네트워크 연산을 동일 시간 내에 수행할 수 있으므로, 연산 동작의 정확도가 증가될 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 2는 뉴럴 네트워크 구조의 일 예를 나타낸다.
도 3은 본 개시의 예시적 실시예에 따른 메모리의 구성을 나타내는 블록도이다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 이미지 센서 모듈 및 이미지 처리 장치의 동작을 설명하기 위한 블록도이다.
도 5는 본 개시의 예시적 실시예에 따른 복수의 이미지 센서 모듈 및 이미지 처리 장치의 동작을 설명하기 위한 블록도이다.
도 6a 및 도 6b는 본 개시의 예시적 실시예에 따른 이미지 센서 모듈의 촬영 모드에 따른 옵티컬 플로우 데이터 생성 방법을 설명하는 도면이다.
도 7은 본 개시의 예시적 실시예에 따른 객체 인식 모듈의 구성을 나타내는 블록도이다.
도 8a 및 도 8b는 본 개시의 예시적 실시예에 따른 마스크 데이터를 나타내는 도면이다.
도 9는 본 개시의 예시적 실시예에 따른 마스크드 이미지들의 생성 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 예시적 실시예에 따른 피처 추출부 및 검출기의 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 예시적 실시예에 따른 메모리의 일부를 도시하는 블록도이다.
도 12는 본 개시의 예시적 실시예에 따른 메모리의 구조를 나타내는 블록도이다.
도 13은 본 개시의 예시적 실시예에 따른 메모리의 구조를 구체적으로 나타내는 도면이다.
도 14는 본 개시의 예시적 실시예에 따른 이미지 센서 모듈의 동작 방법을 나타내는 흐름도이다.
도 15는 이미지 센서 모듈의 분리 사시도이다.
도 16은 이미지 센서 모듈의 평면도이다.
도 17은 본 개시의 예시적 실시예에 따른 전자 장치를 나타내는 블록도이다.
이하, 첨부한 도면을 참조하여 본 개시의 실시예들에 대해 상세히 설명한다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 1을 참조하면, 이미지 처리 시스템(10)은 이미지 센서 모듈(100) 및 이미지 처리 장치(200)를 포함할 수 있다. 예를 들어, 이미지 처리 시스템(10)은 PC(personal computer), IoT (Internet of Things) 장치, 또는 휴대용 전자 기기로 구현될 수 있다. 휴대용 전자 기기는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라, 디지털 비디오 카메라, 오디오 장치, PMP(portable multimedia player), PND(personal navigation device), MP3 플레이어, 휴대용 게임 콘솔(handheld game console), e-북(e-book), 웨어러블 장치 등일 수 있다. 또한, 이미지 처리 시스템(10)은 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 전자 기기 또는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다.
이미지 센서 모듈(100)은 피사체에 대한 이미지를 센싱할 수 있고, 센싱된 이미지를 처리하거나 메모리에 저장할 수 있으며, 처리된 이미지를 메모리에 저장할 수 있다. 일부 실시예에서, 이미지 센서 모듈(100)은 이미지 센서(110), 메모리(120), 신호 프로세서(130) 및 인터페이스(140)를 포함할 수 있다. 예시적 실시예에서, 이미지 센서 모듈(100)은 복수의 반도체 칩으로 구현될 수 있다. 그러나, 이에 제한되는 것은 아니며, 이미지 센서 모듈(100)은 하나의 반도체 칩으로 구현될 수도 있다.
이미지 센서 모듈(100)은 외부의 피사체(또는 객체)를 촬영하고, 이미지 데이터를 생성할 수 있다. 이미지 센서 모듈(100)은 렌즈(LS)를 통해 입사된 피사체의 광학적 신호를 전기적 신호로 변환할 수 있는 이미지 센서(110)를 포함할 수 있다. 이미지 센서(110)는 복수의 픽셀들이 2차원적으로 배열되는 픽셀 어레이를 포함할 수 있으며, 픽셀 어레이의 복수의 픽셀들 각각에 대응하는 복수의 픽셀 값을 포함하는 이미지 데이터를 출력할 수 있다.
픽셀 어레이는 복수의 행(row) 라인, 복수의 열(column) 라인 및 각각이 행 라인과 열 라인에 접속되며 매트릭스 형태로 배치된 복수의 픽셀을 포함할 수 있다. 복수의 픽셀 각각은 적어도 하나의 광전 변환 소자(또는 광 감지 소자라고 함)를 포함할 수 있으며. 광전 변환 소자는 빛을 감지하고, 감지된 빛을 광전하로 변환할 수 있다. 예를 들어, 광전 변환 소자는 무기 포토(photo) 다이오드, 유기 포토 다이오드, 페로브 스카이트 포토 다이오드, 포토 트랜지스터, 포토 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등과 같이, 유기 물질 또는 무기 물질로 구성되는 광 감지 소자일 수 있다. 실시예에 있어서, 복수의 픽셀들 각각은 복수의 광전 변환 소자를 포함할 수 있다.
예시적 실시예에서, 이미지 센서(110)가 생성한 이미지 데이터는 픽셀 어레이로부터 출력되는 복수의 픽셀 신호들이 디지털-아날로그 변환된 복수의 픽셀 값들을 포함하는 원본 이미지 데이터(row image data) 또는 원본 이미지 데이터에 대하여 전처리(pre-processing)가 수행된 이미지 데이터를 포함할 수 있다.
예시적 실시예에서, 이미지 센서(110)는 픽셀 어레이를 제어하고, 픽셀 어레이로부터 수신된 픽셀 신호들을 픽셀 값들로 변환하기 위한 구동 및 독출 회로를 포함할 수 있다. 예를 들어, 구동 및 독출 회로는 로우 드라이버, 리드아웃 회로, 램프 신호 생성기, 타이밍 컨트롤러 등을 포함할 수 있다. 구동 및 독출 회로는 수신된 픽셀 신호들에 대응하는 픽셀 값들을 포함하는 원본 이미지 데이터를 생성할 수 있다. 예시적 실시예에서, 이미지 센서(110)는 원본 이미지 데이터에 대하여 전처리를 수행하는 처리 로직을 추가적으로 포함할 수도 있다. 이미지 센서(110)는 원본 이미지 데이터 또는 전처리가 수행된 이미지 데이터를 메모리(120) 또는 신호 프로세서(130)로 전송할 수 있다.
메모리(120)는 메모리 뱅크(122), PIM (Processor In Memory) 회로(124) 및 제어 로직(126)을 포함할 수 있다. 메모리 뱅크(122)는 복수의 뱅크들(Bank1~BankN)을 포함할 수 있으며, 뱅크들(Bank1~BankN) 각각은 복수의 메모리 셀들을 포함하는 메모리 셀 어레이를 구비할 수 있다. 뱅크는 다양하게 정의될 수 있으며, 일 예로서 메모리 셀들을 포함하는 구성으로 정의될 수 있고, 또는 메모리 셀들과 함께 하나 이상의 주변 회로들을 포함하는 구성으로 정의될 수도 있을 것이다.
메모리(120)는 이미지 센서(110)에 의해 생성된 이미지 데이터, 또는 신호 프로세서(130)에 의해 처리된 이미지 데이터를 저장할 수 있다. 예시적 실시예에서, 메모리 뱅크(122)는 이미지 센서(110) 또는 신호 프로세서(130)로부터 수신한 이미지 데이터를 복수의 뱅크들(Bank1~BankN) 중 적어도 하나에 저장할 수 있다. 또한, 메모리 뱅크(122)는 이미지 센서 모듈(100)의 제어에 따라 기저장된 이미지 데이터를 독출하고, 독출한 이미지 데이터를 신호 프로세서(130) 또는 인터페이스(140)로 전송할 수 있다.
메모리(120)는 PIM 회로(124)를 이용하여 이미지 센서(110)로부터 수신한 이미지 데이터 또는 메모리(120) 내에 저장된 이미지 데이터에 대하여 연산 처리를 수행할 수 있다. 예시적 실시예에서, PIM 회로(124)는 프로세싱 소자들(processing elements, PEs)을 이용하여 다양한 종류의 이미지 처리 동작과 관련된 연산 처리를 수행할 수 있다.
예시적 실시예에서, PIM 회로(124)는 이미지 데이터에 포함된 이미지 아티팩트들(artifacts)에 대해 이미지 향상 알고리즘(Image Enhancement Algorithm)을 적용한 동작이나, 분류(Classification) 동작, 세분화(Segmentation) 동작 등의 다양한 이미지 처리 동작을 수행할 수 있다. 이미지 향상 알고리즘을 적용한 동작은 화이트 밸런싱(white balancing), 디노이징(denoising), 디모자이킹(demosaicking), 리모자이킹(Remosaicking), 렌즈 쉐이딩(lens shading), 및 감마 보정(gamma corrections) 등을 포함할 수 있으나 이에 제한되지 않고 다양한 이미지 처리 동작을 포함할 수 있다.
본 개시의 예시적 실시예에 따르면, PIM 회로(124)는 이미지 처리 동작의 예로, 이미지 데이터를 구성하는 복수의 이미지 영역들의 패턴을 분석하여 이미지 데이터의 패턴 밀도(pattern density) 데이터를 생성하는 패턴 밀도 검출 동작을 수행할 수 있다. 또한, PIM 회로(124)는 복수의 프레임의 이미지 데이터를 분석하여 프레임 사이의 객체의 시계열적 동작을 나타내는 옵티컬 플로우(optical flow) 데이터를 생성하는 옵티컬 플로우 검출 동작을 수행할 수 있다.
예시적 실시예에서, 전술한 이미지 처리 동작은 뉴럴 네트워크 기반의 태스크들로 구현될 수 있으며, PIM 회로(124)는 뉴럴 네트워크 기반의 연산 처리들 중 적어도 일부를 수행할 수 있다. 뉴럴 네트워크는 ANN(Artificial Neural Network), CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restricted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network, Plain Residual Network, Dense Network, Hierarchical Pyramid Network, Fully Convolutional Network 중 적어도 하나에 기초한 뉴럴 네트워크 모델일 수 있다. 한편, 뉴럴 네트워크 모델의 종류는 전술한 예에 한하지 않는다. PIM 회로(124)의 뉴럴 네트워크 기반의 연산 처리를 수행하는 방법은 후술하는 도 2를 참조하여 구체적으로 설명한다.
예시적 실시예에서, PIM 회로(124)의 프로세싱 소자들(PEs)은 메모리 뱅크(122)의 복수의 뱅크들(Bank1~BankN)로부터 이미지 데이터를 독출하고, 독출한 이미지 데이터에 대하여 전술한 이미지 처리 동작을 수행할 수 있다. 그리고 메모리(120)는 PIM 회로(124)를 이용하여 연산 처리를 수행한 이미지 데이터 및/또는 연산 처리를 통해 생성한 연산 데이터를 다시 메모리 뱅크(122)에 저장할 수 있다. 또한, 메모리(120)는 PIM 회로(124)를 이용하여 연산 처리를 수행한 이미지 데이터 및/또는 연산 데이터를 신호 프로세서(130)로 제공할 수도 있다. 또한, 메모리(120)는 연산 처리를 수행한 이미지 데이터 및/또는 연산 데이터를 인터페이스(140)를 통해 이미지 센서 모듈(100)의 외부 장치로 출력할 수 있다.
제어 로직(126)은 메모리 뱅크(122) 및 PIM 회로(124)에 대한 제어 동작을 수행할 수 있다. 예시적 실시예에서, 제어 로직(126)은 메모리(120)로 제공된 커맨드 및 어드레스에 대한 디코딩 동작을 수행할 수 있으며, 디코딩 결과에 따라 메모리 동작이 수행되도록 메모리 뱅크(122) 및 PIM 회로(124)를 제어할 수 있다. 예를 들어, 메모리(120)로 제공되는 커맨드는, 데이터의 기입/독출 등의 메모리 동작과 관련된 커맨드와 연산 동작과 관련된 커맨드를 포함할 수 있다. 제어 로직(126)은 디코딩 결과에 따라 어드레스에 대응하는 저장 영역에 대하여 데이터를 기입/독출하는 메모리 동작을 수행하도록 메모리 뱅크(122)를 제어하거나, 어드레스에 대응하는 저장 영역에 기입된 데이터를 기초로 연산 동작을 수행하도록 PIM 회로(124)를 제어할 수 있다.
메모리(120)는 DDR SDRAM (Double Data Rate Synchronous Dynamic Random Access Memory), LPDDR (Low Power Double Data Rate) SDRAM, GDDR (Graphics Double Data Rate) SDRAM, RDRAM (Rambus Dynamic Random Access Memory) 등과 같은 동적 랜덤 억세스 메모리(Dynamic Random Access Memory, DRAM)일 수 있다. 그러나, 본 발명의 실시예들은 이에 국한될 필요가 없으며, 일 예로서 메모리 장치(200A)는 플래시(flash) 메모리, MRAM(Magnetic RAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM) 및 ReRAM(Resistive RAM) 등의 불휘발성 메모리로 구현되어도 무방하다.
또한, 메모리(120)는 하나의 반도체 칩에 해당하거나, 또는 독립적인 인터페이스를 갖는 다수의 채널들을 포함하는 메모리 장치에서 하나의 채널에 상응하는 구성일 수도 있다. 또는, 메모리(120)는 메모리 모듈에 상응하는 구성일 수 있으며, 또는 메모리 모듈이 다수의 메모리 칩들을 포함하고 도 1의 메모리(120)는 모듈 보드 상에 장착되는 하나의 메모리 칩에 해당할 수도 있다.
신호 프로세서(130)는 이미지 센서(110) 또는 메모리(120)로부터 수신한 이미지 데이터에 대하여 연산 처리를 수행할 수 있다. 예를 들어, 신호 프로세서(130)는 중앙 처리 장치(CPU), 마이크로프로세서(Microprocessor), 또는 MCU(Micro Controller Unit)를 포함할 수 있다. 예시적 실시예에서, 신호 프로세서(130)는 다양한 종류의 이미지 처리 동작과 관련된 연산 처리를 수행할 수 있다. 예를 들어, 신호 프로세서(130)는 메모리(120)의 PIM 회로(124)와 같이, 화이트 밸런싱(white balancing), 디노이징(denoising), 디모자이킹(demosaicking), 리모자이킹(Remosaicking), 렌즈 쉐이딩(lens shading), 및 감마 보정(gamma corrections), 분류(Classification) 동작, 세분화(Segmentation) 동작 등의 다양한 이미지 처리 동작을 수행할 수 있다.
예시적 실시예에서, 신호 프로세서(130)는 메모리(120)에 의해 특정 이미지 처리 동작이 수행된 이미지 데이터를 수신하고, 수신한 이미지 데이터에 대하여 나머지 이미지 처리 동작을 수행할 수 있다. 예를 들어, 신호 프로세서(130)는 메모리(120)에 의해 디노이징이 수행된 이미지 데이터를 수신하고, 수신한 이미지 데이터에 대하여 화이트 밸런싱, 디모자이킹, 리모자이킹, 렌즈 쉐이딩, 감마 보정, 분류 동작, 세분화 동작 등 중 적어도 하나를 수행할 수 있다.
또 다른 예로, 신호 프로세서(130)는 이미지 센서(110)로부터 이미지 데이터를 수신하고, 수신한 이미지에 대하여 다양한 이미지 처리 동작을 수행할 수 있다. 그리고 신호 프로세서(130)는 처리된 이미지 데이터를 메모리(120)에 전송할 수 있다. 메모리(120)는 신호 프로세서(130)로부터 수신한 이미지 데이터를 저장할 수 있다.
이미지 센서 모듈(100)은 인터페이스(140)를 통해 이미지 데이터를 출력할 수 있다. 예시적 실시예에서, 인터페이스(140)는 메모리(120)에 저장된 이미지 데이터 또는 신호 프로세서(130)를 통해 처리된 이미지 데이터를 출력할 수 있다. 또한, 이미지 센서 모듈(100)은 인터페이스(140)를 통해 메모리(120)의 연산 동작에 따른 연산 데이터를 출력할 수 있다. 예를 들어, 인터페이스(140)는 MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)로 구현될 수 있다. 한편, 인터페이스(140)의 종류는 이에 제한되지 않으며, 다양한 프로토콜 규격에 따라 구현될 수 있다.
이미지 처리 장치(200)는 인터페이스(210) 및 프로세서(220)를 포함할 수 있다. 이미지 처리 장치(200)는 인터페이스(210)를 통해 이미지 센서 모듈(100)로부터 이미지 데이터 및/또는 연산 데이터를 수신할 수 있다. 인터페이스(210)는 인터페이스(140)와 같이 MIPI로 구현될 수 있으나, 이에 한하지 않는다. 이미지 처리 장치(200)는 수신한 이미지 데이터 및/또는 연산 데이터를 메모리(미도시)에 저장할 수 있다.
프로세서(220)는 인터페이스(210)를 통해 수신한 이미지 데이터 및/또는 연산 데이터를 기초로 다양한 이미지 처리 동작들을 수행할 수 있다. 본 개시의 예시적 실시예에 따르면, 프로세서(220)는 이미지 처리 동작의 예로 이미지에 포함된 적어도 하나의 객체에 대한 객체 인식(detection) 또는 분류(segmentation)를 수행하는 객체 인식 동작을 수행할 수 있다. 예를 들어, 프로세서(220)는 이미지 센서 모듈(100)로부터 원본 이미지 데이터 또는 전처리가 수행된 이미지 데이터와 함께, 픽셀 밀도 데이터 및 옵티컬 플로우 데이터를 수신할 수 있다. 그리고 프로세서(220)는 픽셀 밀도 데이터 및 옵티컬 플로우 데이터를 이용한 이미지 데이터의 분석을 통해 이미지에 포함된 객체를 인식 또는 분류할 수 있다.
프로세서(220)는 CPU(Central Processing Unit), Graphic Processing Unit(GPU), AP(Application Processor), DSP(Digital Signal Processor), FPGA(Field-Programmable Gate Array), NPU(Neural network Processing unit), ECU(Electronic Control Unit), ISP(Image Signal Processor) 등 다양한 연산 처리 장치들을 포함할 수 있다.
본 개시의 예시적 실시예에 따른 이미지 센서 모듈(100)은, 연산 처리를 수행하는 메모리(120)를 이용하여 연산 처리를 수행함으로써, 이미지 처리 동작의 연산 속도가 증가할 수 있다. 구체적으로, 메모리(120) 내의 메모리 뱅크(122)와 PIM 회로(124) 간의 대역폭이 일반적으로 메모리(120)와 신호 프로세서(130) 간의 대역폭보다 높으므로, 메모리(120)를 이용하여 연산 처리를 수행하면 연산 속도가 증가할 수 있다. 또한, 연산 속도가 증가하면 더 많은 레이어가 적용된 뉴럴 네트워크 연산을 동일 시간 내에 수행할 수 있으므로, 이미지 센서 모듈(100)의 연산 동작의 정확도가 개선될 수 있다.
특히, 본 개시의 예시적 실시예에 따른 이미지 센서 모듈(100)은, 메모리(120)를 이용하여 생성한 패턴 밀도 데이터 및 옵티컬 플로우 데이터를 이미지 처리 장치(200)에 제공하고, 이미지 처리 장치(200)가 이미지 데이터와 함께 수신한 패턴 밀도 데이터와 옵티컬 플로우 데이터를 기초로 객체 인식을 수행함으로써, 이미지 처리 시스템(10)의 객체 인식 동작의 연산 속도가 증가할 수 있다.
한편, 도 1에 도시된 실시예에서 프로세싱 소자들(PEs)은 다양한 개수의 프로세싱 소자를 포함할 수 있다. 일 예로서, 각각의 프로세싱 소자가 하나의 뱅크에 대응하여 배치될 수도 있으며, 또는 각각의 프로세싱 소자가 두 개 이상의 뱅크들에 대응하여 배치될 수도 있을 것이다.
또한, 도 1에서 쉬운 이해를 위해 메모리 뱅크(122) 및 PIM 회로(124)가 구분된 것으로 도시하였지만, 본 개시는 이에 한하지 않으며, 메모리 뱅크(122) 및 PIM 회로(124) 각각의 적어도 일부는 서로 병합되는 방식으로 구현될 수 있다. 이에 대한 구체적인 설명은 도 11에서 후술한다. 도 2는 뉴럴 네트워크 구조의 일 예를 나타낸다. 도 1의 PIM 회로(124)는 도 2의 뉴럴 네트워크(NN)의 구조의 적어도 일부의 구현에 적용될 수 있다.
도 2를 참조하면, 뉴럴 네트워크(NN)는 복수의 레이어들(L1 내지 Ln)을 포함할 수 있다. 이와 같은 멀티-레이어드 구조의 뉴럴 네트워크는 딥 뉴럴 네트워크(deep neural network; DNN) 또는 딥 러닝 구조(deep learning architecture)로 지칭될 수 있다. 복수의 레이어들(L1 내지 Ln) 각각은 선형 레이어 또는 비선형 레이어일 수 있으며, 실시예에 있어서, 적어도 하나의 레이어 및 적어도 하나의 비선형 레이어가 겹합되어 하나의 레이어로 지칭될 수도 있다. 예시적으로, 선형 레이어는 컨볼루션 레이어(convolution), 풀리 커넥티드(fully connected) 레이어를 포함할 수 있으며, 비선형 레이어는 풀링(pooling) 레이어, 액티베이션 레이어를 포함할 수 있다.
예시적으로, 제1 레이어(L1)는 컨볼루션 레이어이고, 제2 레이어(L2)는 풀링(pooling) 레이어이고, 제n 레이어(Ln)는 출력 레이어로서 풀리 커넥티드(fully connected) 레이어일 수 있다. 뉴럴 네트워크(NN)는 활성(activation) 레이어를 더 포함할 수 있으며, 다른 종류의 연산을 수행하는 레이어를 더 포함할 수 있다.
복수의 레이어들(L1 내지 Ln) 각각은 입력되는 이미지 프레임 또는 이전 레이어에서 생성된 피처 맵을 입력 피처 맵으로서 수신하고, 입력 피처 맵을 연산하여 출력 피처 맵 또는 인식 신호(REC)를 생성할 수 있다. 이때, 피처 맵은 입력 데이터의 다양한 특징이 표현된 데이터를 의미한다. 피처 맵들(FM1, FM2, FM3, FMn)은 예컨대 복수의 피처 값들을 포함하는 2차원 매트릭스 또는 3차원 매트릭스(또는 텐서(tensor)라고 함) 형태를 가질 수 있다. 피처 맵들(FM1, FM2, FM3, FMn)은 너비(W)(또는 칼럼이라고 함), 높이(H)(또는 로우라고 함) 및 깊이(D)를 가지며, 이는 좌표상의 x축, y축 및 z축에 각각 대응할 수 있다. 이때, 깊이(D)는 채널 수로 지칭될 수 있다.
제1 레이어(L1)는 제1 피처 맵(FM1)을 웨이트 맵(WM)과 컨볼루션하여 제2 피처 맵(FM2)을 생성할 수 있다. 웨이트 맵(WM)은 복수의 웨이트 값들을 포함하는 2차원 매트릭스 또는 3차원 매트릭스 형태를 가질 수 있다. 웨이트 맵(WM)은 커널로 지칭될 수 있다. 웨이트 맵(WM)은 제1 피처 맵(FM1)을 필터링할 수 있으며, 필터 또는 커널로 지칭될 수 있다. 웨이트 맵(WM)의 깊이, 즉 채널 개수는 제1 피처 맵(FM1)의 깊이, 즉 채널 개수와 동일하며, 웨이트 맵(WM)과 제1 피처 맵(FM1)의 동일한 채널끼리 컨볼루션될 수 있다. 웨이트 맵(WM)이 제1 입력 피처 맵(FM1)을 슬라이딩 윈도로하여 횡단하는 방식으로 시프트된다. 각 시프트동안, 웨이트 맵(WM)에 포함되는 웨이트들 각각이 제1 피처 맵(FM1)과 중첩된 영역에서의 모든 피처값과 곱해지고 더해질 수 있다. 제1 피처 맵(FM1)과 웨이트 맵(WM)이 컨볼루션 됨에 따라, 제2 피처 맵(FM2)의 하나의 채널이 생성될 수 있다. 도 2에는 하나의 웨이트 맵(WM)이 표시되었으나, 실질적으로는 복수개의 웨이트 맵이 제1 피처 맵(FM1)과 컨볼루션됨으로써, 제2 피처 맵(FM2)의 복수개의 채널이 생성될 수 있다. 다시 말해, 제2 피처 맵(FM2)의 채널의 수는 웨이트 맵의 개수에 대응할 수 있다.
제2 레이어(L2)는 풀링을 통해 제2 피처 맵(FM2)의 공간적 크기(spatial size)를 변경함으로써, 제3 피처 맵(FM3)을 생성할 수 있다. 풀링은 샘플링 또는 다운-샘플링으로 지칭될 수 있다. 2차원의 풀링 윈도우(PW)가 풀링 윈도우(PW)의 사이즈 단위로 제2 피처 맵(FM2) 상에서 쉬프트되고, 풀링 윈도우(PW)와 중첩되는 영역의 피처값들 중 최대값(또는 피처값들의 평균값)이 선택될 수 있다. 이에 따라, 제2 피처 맵(FM2)으로부터 공간적 사이즈가 변경된 제3 피처 맵(FM3)이 생성될 수 있다. 제3 피처 맵(FM3)의 채널과 제2 피처 맵(FM2)의 채널 개수는 동일하다.
제n 레이어(Ln)는 제n 피처 맵(FMn)의 피처들을 조합하여 입력 데이터의 클래스(class)(CL)를 분류할 수 있다. 또한, 클래스에 상응하는 인식 신호(REC)를 생성할 수 있다. 한편 뉴럴 네트워크(NN)의 구조는 전술한 예에 한하지 않으며, 뉴럴 네트워크(NN)는 복수의 레이어들(L1 내지 Ln)의 일부가 생략되거나, 별도의 레이어가 추가되도록 구현될 수 있음은 물론이다.
본 개시의 예시적 실시예에 따르면, 도 1의 PIM 회로(124)의 프로세싱 소자들(PEs)은 뉴럴 네트워크(NN)의 컨볼루션 레이어, 풀리 커넥티드 레이어, 풀링 레이어, 액티베이션 레이어 중 적어도 하나를 구현할 수 있다. 예를 들어, PIM 회로(124)의 일부 프로세싱 소자들은 복수의 뱅크들(Bank1 ~ BankN)로부터 독출된 이미지 데이터에 대하여 컨볼루션 연산을 수행하고, PIM 회로(124)의 또 다른 프로세싱 소자들은 컨볼루션 결과에 대하여 풀링 연산을 수행하도록 구현될 수 있다.
또한, 본 개시의 예시적 실시예에 따르면, 도 1의 PIM 회로(124)의 프로세싱 소자들(PEs)은 패턴 밀도 검출 동작 또는 옵티컬 플로우 검출 동작을 수행하도록 훈련된 뉴럴 네트워크(NN) 모델로 구현될 수 있다.
도 3은 본 개시의 예시적 실시예에 따른 메모리의 구성을 나타내는 블록도이다. 도 3의 메모리(120)는 도 1의 메모리(120)에 대응할 수 있다.
도 3을 참조하면, 메모리 뱅크(122)는 이미지 데이터(IDT)를 PIM 회로(124)에 전송할 수 있다. 예시적 실시예에서, 메모리 뱅크(122)는, 도 1의 이미지 센서(110)로부터 이미지 데이터(IDT)를 수신하고, 이미지 데이터(IDT)를 일정 크기로 분할하여 뱅크들(Bank1~BankN) 중 적어도 하나에 저장할 수 있다. 그리고 메모리 뱅크(122)는 뱅크들(Bank1~BankN) 중 적어도 하나에 저장된 이미지 데이터(IDT)를 독출하여 PIM 회로(124)에 전송할 수 있다.
본 개시의 예시적 실시예에서, PIM 회로(124)는 제1 연산 동작을 수행하는 제1 프로세싱 소자 그룹(PEG1)과 제2 연산 동작을 수행하는 제2 프로세싱 소자 그룹(PEG2)을 포함할 수 있다. 제1 프로세싱 소자 그룹(PEG1)과 제2 프로세싱 소자 그룹(PEG2) 각각은 적어도 하나의 프로세싱 소자(PE)를 포함할 수 있다. 예시적 실시예에서, 제1 연산 동작 및 제2 연산 동작 각각은 이미지 데이터(IDT)에 대한 이미치 처리 동작들에 해당될 수 있다.
제1 프로세싱 소자 그룹(PEG1)은 이미지 데이터(IDT)를 기초로 제1 연산 동작을 수행하여 제1 연산 데이터(ODT1)를 생성할 수 있다. 또한, 제2 프로세싱 소자 그룹(PEG2)은 이미지 데이터(IDT)를 기초로 제2 연산 동작을 수행하여 제2 연산 데이터(ODT2)를 생성할 수 있다. 예시적 실시예에서, 제1 프로세싱 소자 그룹(PEG1) 및 제2 프로세싱 소자 그룹(PEG2) 각각은 제1 연산 동작 또는 제2 연산 동작을 수행하는 뉴럴 네트워크 모듈로 구현될 수 있다. 예시적 실시예에서, 제1 연산 데이터(ODT1) 및 제2 연산 데이터(ODT2)는 메모리 뱅크(122)에 저장되거나, 메모리(120)의 외부 장치(예컨대, 도 1의 이미지 처리 장치(200))로 출력될 수 있다.
본 개시의 예시적 실시예에 따르면, 제1 프로세싱 소자 그룹(PEG1)은 제1 연산 동작으로 옵티컬 플로우 검출 동작을 수행하도록 훈련된 뉴럴 네트워크 모듈로 구현될 수 있다. 제1 프로세싱 소자 그룹(PEG1)은 이미지 데이터(IDT)에 대하여 옵티컬 플로우 검출 동작을 수행하여 제1 연산 데이터(ODT1)로서 옵티컬 플로우 데이터를 생성할 수 있다.
한편, 옵티컬 플로우 검출 동작은 복수의 프레임의 이미지 데이터(IDT)를 필요로 한다. 따라서, 도 1 이미지 센서(100)는 서로 다른 시점에서 생성한 복수의 프레임의 이미지 데이터(IDT)를 메모리 뱅크(122)에 저장할 수 있고, 제1 프로세싱 소자 그룹(PEG1)은 메모리 뱅크(122)로부터 복수의 프레임의 이미지 데이터(IDT)를 수신하여 플로우 검출 동작을 수행할 수 있다.
또한, 제2 프로세싱 소자 그룹(PEG2)은 제2 연산 동작으로 패턴 밀도 검출 동작을 수행하도록 훈련된 뉴럴 네트워크 모듈로 구현될 수 있다. 제2 프로세싱 소자 그룹(PEG2)은 이미지 데이터(IDT)에 대하여 패턴 밀도 검출 동작을 수행하여 제2 연산 데이터(ODT2)로서 패턴 밀도 데이터를 생성할 수 있다.
또한, 도 3에서 쉬운 이해를 위해 메모리 뱅크(122) 및 PIM 회로(124)가 구분된 것으로 도시하였지만, 본 개시는 이에 한하지 않으며, 메모리 뱅크(122) 및 PIM 회로(124) 각각의 적어도 일부는 서로 병합되는 방식으로 구현될 수 있다. 이에 대한 구체적인 설명은 도 11에서 후술한다.
도 4a는 본 개시의 예시적 실시예에 따른 이미지 센서 모듈 및 이미지 처리 장치의 동작을 설명하기 위한 블록도이다. 도 4a의 이미지 센서 모듈(100) 및 이미지 처리 장치(200)는 도 1의 이미지 센서 모듈(100) 및 이미지 처리 장치(200)에 대응할 수 있다.
도 4a를 참조하면, 이미지 센서 모듈(100)의 PIM 회로(124)는 옵티컬 플로우 검출 동작을 수행하도록 훈련된 뉴럴 네트워크 모듈인 옵티컬 플로우 모듈(125) 및 패턴 밀도 검출 동작을 수행하도록 훈련된 뉴럴 네트워크 모듈인 패턴 밀도 모듈(126)을 포함할 수 있다. 여기서, 옵티컬 플로우 모듈(125)은 도 3의 제1 프로세싱 소자 그룹(PEG1)에 대응할 수 있으며, 패턴 밀도 모듈(126)은 도 3의 제2 프로세싱 소자 그룹(PEG2)에 대응할 수 있다.
옵티컬 플로우 모듈(125)은 메모리 뱅크(122)로부터 이미지 데이터(IDT)를 수신하고, 수신한 이미지 데이터(IDT)에 대하여 옵티컬 플로우 검출 동작을 수행하여 옵티컬 플로우 데이터(OF)를 생성할 수 있다. 패턴 밀도 모듈(126)은 메모리 뱅크(122)로부터 이미지 데이터(IDT)를 수신하고, 수신한 이미지 데이터(IDT)에 대하여 패턴 밀도 검출 동작을 수행하여 패턴 밀도 데이터(PD)를 생성할 수 있다. 이미지 센서 모듈(100)은 이미지 데이터(IDT), 옵티컬 플로우 데이터(OF) 및 패턴 밀도 데이터(PD)를 이미지 처리 장치(200, 200a)에 전송할 수 있다.
도 4a를 참조하면, 이미지 처리 장치(200)의 프로세서(220)는 뎁스(depth) 정보를 생성하는 뎁스 정보 모듈(222) 및 객체 인식을 수행하는 객체 인식 모듈(224)을 포함할 수 있다. 비제한적인 예로, 뎁스 정보 모듈(222) 및 객체 인식 모듈(224)은 뉴럴 네트워크 모듈로 구현될 수 있다.
뎁스 정보 모듈(222)은 이미지 센서 모듈(100)로부터 수신한 옵티컬 플로우 데이터(OF) 및 패턴 밀도 데이터(PD)를 기초로 이미지 데이터(IDT)에 대한 뎁스 정보(DI)를 생성할 수 있다. 뎁스 정보(DI)는, 예컨대, 도 1의 이미지 센서(110)로부터 이미지 데이터(IDT)에 포함된 각 피사체까지의 거리를 의미하는 뎁스 값들을 포함할 수 있다. 예시적 실시예에서, 뎁스 정보 모듈(222)은 피사체가 멀리 위치할수록 패턴 밀도가 높아지는 특성, 피사체가 멀리 위치할수록 시간에 따른 위치 변화가 적은 특성에 기초하여 이미지 데이터(IDT)에 대한 뎁스 정보(DI)를 생성할 수 있다. 뎁스 정보 모듈(222)은 생성한 뎁스 정보(DI)를 객체 인식 모듈(224)로 제공할 수 있다.
객체 인식 모듈(224)은 이미지 센서 모듈(100)로부터 이미지 데이터(IDT) 및 옵티컬 플로우 데이터(OF)를 수신하고, 뎁스 정보 모듈(222)로부터 뎁스 정보(DI)를 수신할 수 있다. 그리고 객체 인식 모듈(224)은 옵티컬 플로우 데이터(OF) 및 뎁스 정보(DI)를 기초로 이미지 데이터(IDT)에 대한 객체 인식을 수행할 수 있다. 객체 인식 모듈(224)은 객체 인식의 결과로 이미지 데이터(IDT)에서 인식된 객체에 대한 다양한 정보를 포함하는 객체 정보(OI)를 생성할 수 있다. 객체 정보(OI)는, 예컨대, 객체를 둘러싼 3D 바운딩 박스(3D bounding box), 객체의 형상, 객체까지의 거리, 객체의 위치 등을 포함하는 3차원 정보를 포함할 수 있으며, 객체를 구성하는 외곽(edge) 등을 포함하는 2차원 정보를 포함할 수 있다. 객체 인식 모듈(224)이 객체 정보(OI)의 생성 방법에 대한 구체적인 설명은 도 7 내지 도 10에서 후술한다.
한편, 도 4a에 도시된 실시예에서, 객체 인식 모듈(224)이 이미지 데이터(IDT), 옵티컬 플로우 데이터(OF) 및 뎁스 정보(DI)를 기초로 객체 인식을 수행하는 것으로 도시하고 설명하였지만, 실시예에 따라, 다양한 정보(예컨대, 패턴 밀도 데이터(PD))를 추가적으로 고려하여 객체 인식을 수행하도록 구현될 수도 있음은 물론이다.
한편, 도 4a에 도시된 실시예에서, 프로세서(220)가 뎁스 정보 모듈(222) 및 객체 인식 모듈(224)을 모두 포함하는 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않는다. 예를 들어, 이미지 처리 장치(200)는 뎁스 정보 모듈(222)을 포함하는 프로세서(220)와, 객체 인식 모듈(224)을 포함하는 개별적인 프로세서를 포함하도록 구현될 수 있다.
도 4b는 본 개시의 예시적 실시예에 따른 이미지 센서 모듈 및 이미지 처리 장치의 동작을 설명하기 위한 블록도이다. 상세하게는, 도 4b는 도 4a의 변형 가능한 실시예를 나타내는 도면이다. 이하에서는, 도 4a에서의 설명과 중복되는 설명은 생략한다.
도 4b를 참조하면, 이미지 처리 장치(200a)의 프로세서(200a)는 객체 인식을 수행하는 객체 인식 모듈(224a)을 포함할 수 있다. 객체 인식 모듈(224a)은 이미지 센서 모듈(100)로부터 이미지 데이터(IDT), 옵티컬 플로우 데이터(OF) 및 패턴 밀도 데이터(PD)를 수신할 수 있다. 그리고 객체 인식 모듈(224a)은 옵티컬 플로우 데이터(OF) 및 패턴 밀도 데이터(PD)를 기초로 이미지 데이터(IDT)에 대한 객체 인식을 수행할 수 있다. 그리고 객체 인식 모듈(224a)은 이미지 데이터(IDT)에 대한 객체 정보(OI)를 생성할 수 있다. 객체 인식 모듈(224a)이 객체 정보(OI)의 생성 방법에 대한 구체적인 설명은 도 7 내지 도 10에서 후술한다.
한편, 도 4a 및 도 4에서, 뎁스 정보 모듈(222) 및 객체 인식 모듈(224, 224a) 각각은 각각 펌웨어 또는 소프트웨어로 구현될 수 있고, 이미지 처리 장치(200, 200a)의 메모리(미도시)에 로딩되었다가 프로세서(220, 220a)에 의해 실행될 수 있다. 그러나, 본 개시는 이에 한정되지 않으며, 뎁스 정보 모듈(222) 및 객체 인식 모듈(224, 224a)은 각각 하드웨어로 구현되거나, 소프트웨어와 하드웨어를 결합한 형태로 구현될 수 있다.
이와 같이, 본 개시의 예시적 실시예에 따른 이미지 센서 모듈(100)은 연산 처리를 수행하는 메모리(120)를 이용하여 이미지 데이터(IDT)에 대한 옵티컬 플로우 데이터(OF) 및 패턴 밀도 데이터(PD)를 생성할 수 있다. 그리고 이미지 처리 장치(200, 200a)는 이미지 센서 모듈(100)로부터 수신한 이미지 데이터(IDT), 옵티컬 플로우 데이터(OF) 및 패턴 밀도 데이터(PD)를 기초로 객체 인식을 수행할 수 있다.
도 5는 본 개시의 예시적 실시예에 따른 복수의 이미지 센서 모듈 및 이미지 처리 장치의 동작을 설명하기 위한 블록도이다. 상세하게는, 도 5는 도 4a의 변형 가능한 실시예를 나타내는 도면이다. 이하에서는, 도 4a에서의 설명과 중복되는 설명은 생략한다.
본 개시의 예시적 실시예에 따르면, 이미지 센서 모듈(100)은 복수 개로 구현될 수 있다. 예를 들어, 도 5를 참조하면, 이미지 센서 모듈(100)은 제1 이미지 센서 모듈(100_1) 및 제2 이미지 센서 모듈(100_2)을 포함할 수 있다. 예시적 실시예에서, 제1 및 제2 이미지 센서 모듈(100_1, 100_2)은 인접하게 배치되어 동일 또는 유사한 방향을 촬영할 수 있으며, 스테레오 카메라로 지칭될 수 있다. 이하에서는, 제1 이미지 센서 모듈(100_1)은 좌안 영상을 촬영하고, 제2 이미지 센서 모듈(100_2)은 우안 영상을 촬영하는 것을 전제로 설명한다.
제1 및 제2 이미지 센서 모듈(100_1, 100_2) 각각은 도 4a의 이미지 센서 모듈(100)과 동일 또는 유사할 수 있다. 예시적 실시예에서, 제1 이미지 센서 모듈(100_1)은 제1 이미지 센서(110_1) 및 제1 PIM 회로(120_1)를 포함할 수 있다. 제1 이미지 센서(110_1)는 제1 이미지 데이터(IDT1)를 생성할 수 있고, 제1 PIM 회로(120_1)는 제1 이미지 데이터(IDT1)를 기초로 제1 옵티컬 플로우 데이터(OF1)와 제1 패턴 밀도 데이터(PD1)를 생성할 수 있다.
제2 이미지 센서 모듈(100_2)은 제2 이미지 센서(110_2) 및 제2 PIM 회로(120_2)를 포함할 수 있다. 제2 이미지 센서(110_2)는 제2 이미지 데이터(IDT2)를 생성할 수 있고, 제2 PIM 회로(120_2)는 제2 이미지 데이터(IDT2)를 기초로 제2 옵티컬 플로우 데이터(OF2)와 제2 패턴 밀도 데이터(PD2)를 생성할 수 있다.
도 5를 참조하면, 이미지 처리 장치(200b)의 프로세서(200b)는 뎁스 정보 모듈(222b) 및 객체 인식 모듈(224b)을 포함할 수 있다. 뎁스 정보 모듈(222b)은 제1 및 제2 이미지 센서 모듈(100_1, 100_2)로부터 제1 및 제2 옵티컬 플로우 데이터(OF1, OF2), 제1 및 제2 패턴 밀도 데이터(PD1, PD2)를 수신하고, 수신한 데이터를 기초로 뎁스 정보(DI)를 생성할 수 있다. 제1 및 제2 옵티컬 플로우 데이터(OF1, OF2), 제1 및 제2 패턴 밀도 데이터(PD1, PD2)는 좌안 영상(예컨대, 제1 이미지 데이터(IDT1)) 및 우안 영상(예컨대, 제2 이미지 데이터(IDT2)) 각각에 대한 데이터이고, 좌안 영상과 우안 영상의 차이는 피사체가 멀리 위치할수록 작아지는 특성이 있다. 따라서, 뎁스 정보 모듈(222b)은 상기 특징을 추가적으로 고려하여 뎁스 정보(DI)를 생성할 수 있다. 그리고 뎁스 정보 모듈(222b)은 생성한 뎁스 정보(DI)를 객체 인식 모듈(224b)로 제공할 수 있다.
객체 인식 모듈(224b)은 제1 이미지 센서 모듈(100_1)로부터 제1 이미지 데이터(IDT1) 및 제1 옵티컬 플로우 데이터(OF1)를 수신하고, 뎁스 정보 모듈(222b)로부터 뎁스 정보(DI)를 수신할 수 있다. 그리고 객체 인식 모듈(224b)은 제1 옵티컬 플로우 데이터(OF1) 및 뎁스 정보(DI)를 기초로 제1 이미지 데이터(IDT1)에 대한 객체 인식을 수행하여 객체 정보(OI)를 생성할 수 있다.
한편, 본 개시는 이에 한하지 않으며, 객체 인식 모듈(224b)은 제2 이미지 센서 모듈(100_2)로부터 제2 이미지 데이터(IDT2) 및 제2 옵티컬 플로우 데이터(OF2)를 수신하고, 뎁스 정보 모듈(222b)로부터 뎁스 정보(DI)를 수신하여 객체 인식을 수행할 수도 있음은 물론이다.
도 6a 및 도 6b는 본 개시의 예시적 실시예에 따른 이미지 센서 모듈의 촬영 모드에 따른 옵티컬 플로우 데이터 생성 방법을 설명하는 도면이다. 이하에서는, 도 1의 메모리(120)의 PIM 회로(124)가 옵티컬 플로우 모듈(도 4a의 125)을 포함하는 것을 전제로 설명한다.
예시적 실시예에서, 이미지 센서 모듈(100)은 일반 촬영 모드 및 연속 촬영 모드의 기능을 제공할 수 있다. 일반 촬영 모드는 기준 시간 단위로 피사체를 촬영하여 이미지 데이터를 생성하는 촬영 모드를 의미하고, 연속 촬영 모드는 상기 기준 시간 단위로 피사체를 복수 회 연속 촬영하여 복수의 이미지 데이터를 생성하는 촬영 모드를 의미할 수 있다.
도 6a를 참조하면, 이미지 센서 모듈(100)이 일반 촬영 모드로 동작하는 경우, 기준 시간 단위, 예컨대 1/60초 마다 하나의 프레임의 이미지 데이터를 생성할 수 있다. PIM 회로(124)는 1/60초 마다 생성된 제1 내지 제4 프레임들(Frame1 ~ Frame4)을 이용하여 옵티컬 플로우 데이터(OP1, OP2)를 생성할 수 있다.
예를 들어, PIM 회로(124)가 3개의 프레임을 이용하여 옵티컬 플로우 검출 동작을 수행하는 경우, PIM 회로(124)는 제1 내지 제3 프레임들(Frame1 ~ Frame3)을 이용하여 제1 옵티컬 플로우 데이터(OP1)를 생성할 수 있고, 제2 내지 제4 프레임들(Frame2 ~ Frame4)을 이용하여 제2 옵티컬 플로우 데이터(OP2)를 생성할 수 있다. 즉, PIM 회로(124)가 하나의 옵티컬 플로우 데이터의 생성하기 위해 3/60초(=1/20초)가 소요될 수 있다.
한편, 도 6b를 참조하면, 이미지 센서 모듈(100)이 버스트 촬영 모드로 동작하는 경우, 기준 시간 단위, 예컨대 1/60초마다 3개의 프레임의 이미지 데이터를 생성할 수 있다. PIM 회로(124)는 1/60초 마다 생성된 제1 내지 제12 프레임들(Frame1 ~ Frame12)을 이용하여 옵티컬 플로우 데이터(OP1 ~ OP4)를 생성할 수 있다. 예를 들어, PIM 회로(124)는 3개의 프레임을 이용하여 옵티컬 플로우 검출 동작을 수행할 수 있으며, 이때 PIM 회로(124)가 하나의 옵티컬 플로우 데이터의 생성하기 위해 1/60초가 소요될 수 있다.
이와 같이, 이미지 센서 모듈(100)이 버스트 촬영 모드의 기능을 지원하는 경우, 옵티컬 플로우 검출 동작의 연산 속도를 증가시킬 수 있다. 또한, 옵티컬 플로우 검출 동작을 수행하도록 훈련된 뉴럴 네트워크 모듈(즉, 옵티컬 플로우 모듈(도 4a의 125))은, 모듈에 입력되는 이미지 데이터들 간의 차이가 작을수록 더 간단한 구조로 구현될 수 있는 특징이 있다. 따라서 버스트 촬영 모드에 따라 촬영된 복수의 프레임들을 이용하여 옵티컬 플로우 검출을 수행하는 경우, 보다 간단한 구조의 옵티컬 플로우 모듈(도 4a의 125)이 PIM 회로(124)에 구현될 수 있다.
한편, 도 6a 및 도 6b에 도시된 실시예에서, PIM 회로(124)는 3개의 프레임을 이용하여 옵티컬 플로우 검출 동작을 수행하는 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않는다. 예를 들어, PIM 회로(124)는 3개의 프레임 보다 적거나 많은 프레임을 이용하여 옵티컬 플로우 검출 동작을 수행할 수 있다.
도 7은 본 개시의 예시적 실시예에 따른 객체 인식 모듈의 구성을 나타내는 블록도이다. 상세하게는, 도 7의 객체 인식 모듈(300)은 도 4a, 도 4b, 도 5의 객체 인식 모듈(224, 224a, 224b)와 동일 또는 유사할 수 있다.
도 7을 참조하면, 객체 인식 모듈(300)은 전처리기(310), 마스크 생성기(320), 마스킹 유닛(330), 피처 추출기(340) 및 검출기(350)를 포함할 수 있다.
전처리기(310)는 이미지 데이터(IDT)를 수신하고, 이미지 데이터(IDT)를 다운 샘플링하여, 복수의 피라미드 이미지(PIM)를 생성 및 출력할 수 있다. 일 예로, 이미지 데이터(IDT)의 가로 및 세로 길이를 소정의 비율로 다운 샘플링한 제1 피라미드 이미지를 생성할 수 있으며, 제1 피라미드 이미지를 상기 소정의 비율로 재차 다운 샘플링한 제2 피라미드 이미지를 생성할 수 있다. 즉, 전처리기(310)는 이미지 데이터(IDT)로부터 유래하며, 이미지 데이터(IDT)에 비하여 점진적으로 사이즈가 축소된 복수의 피라미드 이미지(PIM)들을 생성할 수 있다.
마스크 생성기(320)는 뎁스 정보(DI)를 수신하고, 뎁스 정보(DI)에 기초하여 복수의 피라미드 이미지(PIM)들에 대한 복수의 마스크 데이터(MK)들을 생성 및 출력할 수 있다. 마스크 데이터(MK)는 이미지 내 유의미한 영역을 제외한 나머지 영역을 마스킹 동작에 이용되는 데이터를 의미할 수 있다.
예시적 실시예에서, 피라미드 이미지(PIM)의 유의미한 영역은 해상도에 따라 상이할 수 있다. 예를 들어, 멀리 위치한 피사체의 객체 인식은 상대적으로 높은 해상도가 요구되지만, 가까이 위치한 피사체의 객체 인식은 상대적으로 낮은 해상도로 충분할 수 있다. 따라서, 피라미드 이미지(PIM)를 생성하기 위한 다운 샘플링 횟수가 작을수록(즉, 해상도가 높을수록) 유의미한 영역은 원거리에 해당하는 이미지 영역일 수 있다. 반대로, 피라미드 이미지(PIM)를 생성하기 위한 다운 샘플링 횟수가 클수록(즉, 해상도가 낮을수록) 유의미한 영역은 근거리에 해당하는 이미지 영역일 수 있다.
예시적 실시예에서, 마스크 생성기(320)는 뎁스 정보(DI)를 기초로 피라미드 이미지(PIM)의 해상도에 대응하는 뎁스 값들을 확인하고, 확인한 뎁스 값들을 포함하는 마스크 데이터(MK)를 생성할 수 있다. 예를 들어, 마스크 생성기(320)는 피라미드 이미지(PIM)의 해상도가 높으면 높은 뎁스 값들을 확인하고, 피라미드 이미지(PIM)의 해상도가 낮으면 낮은 뎁스 값들을 확인할 수 있다. 따라서 확인한 뎁스 값들을 포함하는 영역은 피라미드 이미지(PIM)의 유의미한 영역에 해당될 수 있다.
한편, 마스크 생성기(320)는 뎁스 정보(DI) 대신 패턴 밀도 데이터(PD)를 수신하고, 패턴 밀도 데이터(PD)에 기초하여 복수의 피라미드 이미지(PIM)들에 대한 복수의 마스크 데이터(MK)들을 생성 및 출력하도록 구현될 수 있다. 패턴 밀도는 동일한 피사체가 근거리보다 원거리에 위치할 때 더 높아지는 특성이 있다. 따라서, 패턴 밀도가 높으면 뎁스 값이 높은 것에 대응하고, 패턴 밀도가 낮으면 뎁스 값이 낮은 것에 대응할 수 있다.
마스킹 유닛(330)은 복수의 피라미드 이미지(PIM)들 및 복수의 마스크 데이터(MK)들을 수신하고, 복수의 마스크 데이터(MK)들을 복수의 피라미드 이미지(PIM)들에 적용하여 복수의 마스크드 이미지(IMK)들을 생성 및 출력할 수 있다.
예시적 실시예에서, 마스킹 유닛(330)은 피라미드 이미지(PIM)에 대응하는 마스크 데이터(MK)를 기초로 피라미드 이미지(PIM)의 유의미한 영역을 제외한 나머지 영역을 확인하고, 확인한 나머지 영역을 마스킹하여 마스크드 이미지(IMK)를 생성할 수 있다.
피처 추출기(340)는 복수의 마스크드 이미지(IMK)들을 수신하고, 복수의 마스크드 이미지(IMK)들에 대한 복수의 피처 데이터(FD)들을 출력할 수 있다. 예컨대, 피처 데이터(FD)는 도 2에서 전술한 피처 맵, 클래스(CL) 또는 인식 신호(REC)일 수 있다. 즉, 피처 데이터(FD)는 이미지 데이터(IDT) 또는 피라미드 이미지(PIM)에서 마스킹 되지 않은 영역의 피처를 포함하는 다양한 형태의 데이터로 구성될 수 있다.
검출기(350)는 복수의 피처 데이터(FD)를 수신하고, 복수의 피처 데이터(FD)에 기초하여 이미지 데이터(IDT)에 포함된 적어도 하나의 객체를 식별(또는 검출)하고, 객체에 대한 다양한 정보를 포함하는 객체 정보(OI)를 생성할 수 있다.
예시적 실시예에서, 검출기(350)는 옵티컬 플로우 데이터(OF)를 추가적으로 수신하고, 옵티컬 플로우 데이터(OF) 및 복수의 피처 데이터(FD)에 기초하여 객체를 식별할 수 있다. 옵티컬 플로우 데이터(OF)는 객체의 시계열적 동작에 대한 정보를 포함하므로, 검출기(350)는 옵티컬 플로우 데이터(OF)를 이용하여 객체 식별의 정확도를 높일 수 있다.
도 8a 및 도 8b는 본 개시의 예시적 실시예에 따른 마스크 데이터를 나타내는 도면이다. 상세하게는, 도 8a는 뎁스 정보(DI)를 기초로 생성한 마스크 데이터(MK)를 나타내는 도면이고, 도 8b는 패턴 밀도 데이터(PD)를 기초로 생성한 마스크 데이터(MK)를 나타내는 도면이다.
먼저, 도 8a를 참조하면, 마스크 생성기(230)는 뎁스 정보(DI)를 기초로 소정의 뎁스 구간들 각각에 속하는 뎁스 값들을 확인할 수 있고, 뎁스 구간 별로 확인된 뎁스 값들에 기초하여 복수의 마스크 데이터들(MK1~MK4)을 생성할 수 있다.
예시적 실시예에서, 마스크 생성기(230)는 뎁스 정보(DI)로부터 평균 값이 상대적으로 높은 제1 뎁스 구간에 속하는 제1 뎁스 값들을 확인하고, 확인한 제1 뎁스 값들을 포함하는 제1 마스크 데이터(MK1)를 생성할 수 있다. 그리고 마스크 생성기(320)는 뎁스 정보(DI)로부터 평균 값이 제1 뎁스 구간보다 상대적으로 낮은 제2 뎁스 구간에 속하는 제2 뎁스 값들을 확인하고, 확인한 제2 뎁스 값들을 포함하는 제2 마스크 데이터(MK2)를 생성할 수 있다. 그리고 마스크 생성기(320)는 뎁스 정보(DI)로부터 평균 값이 제2 뎁스 구간보다 상대적으로 낮은 제3 뎁스 구간에 속하는 제3 뎁스 값들을 확인하고, 확인한 제3 뎁스 값들을 포함하는 제3 마스크 데이터(MK3)를 생성할 수 있다. 그리고 마스크 생성기(320)는 뎁스 정보(DI)로부터 평균 값이 제3 뎁스 구간보다 상대적으로 낮은 제4 뎁스 구간에 속하는 제4 뎁스 값들을 확인하고, 확인한 제4 뎁스 값들을 포함하는 제4 마스크 데이터(MK4)를 생성할 수 있다.
먼저, 도 8b를 참조하면, 마스크 생성기(230)는 패턴 밀도 데이터(PD)를 기초로 소정의 밀도 구간들 각각에 속하는 밀도 값들을 확인할 수 있고, 밀도 구간 별로 확인된 밀도 값들에 기초하여 복수의 마스크 데이터들(MK1~MK4)을 생성할 수 있다.
예시적 실시예에서, 마스크 생성기(230)는 패턴 밀도 데이터(PD)로부터 평균 값이 상대적으로 높은 제1 밀도 구간에 속하는 제1 밀도 값들을 확인하고, 확인한 제1 밀도 값들을 포함하는 제1 마스크 데이터(MK1)를 생성할 수 있다. 그리고 마스크 생성기(320)는 패턴 밀도 데이터(PD)로부터 평균 값이 제1 밀도 구간보다 상대적으로 낮은 제2 밀도 구간에 속하는 제2 밀도 값들을 확인하고, 확인한 제2 밀도 값들을 포함하는 제2 마스크 데이터(MK2)를 생성할 수 있다. 그리고 마스크 생성기(320)는 패턴 밀도 데이터(PD)로부터 평균 값이 제2 밀도 구간보다 상대적으로 낮은 제3 밀도 구간에 속하는 제3 밀도 값들을 확인하고, 확인한 제3 밀도 값들을 포함하는 제3 마스크 데이터(MK3)를 생성할 수 있다. 그리고 마스크 생성기(320)는 패턴 밀도 데이터(PD)로부터 평균 값이 제3 밀도 구간보다 상대적으로 낮은 제4 밀도 구간에 속하는 제4 밀도 값들을 확인하고, 확인한 제4 밀도 값들을 포함하는 제4 마스크 데이터(MK4)를 생성할 수 있다.
도 9는 본 개시의 예시적 실시예에 따른 마스크드 이미지들의 생성 동작을 설명하기 위한 도면이다.
도 9를 참조하면, 마스킹 유닛(330)은 마스크 데이터들(MK1~MK4) 각각을 피라미드 이미지들(PIM1~PIM4) 각각에 적용하여, 복수의 마스크드 데이터들(MK1~MK4)을 생성할 수 있다. 수 있다. 마스킹 유닛(330)은 마스크 데이터들(MK1~MK4)에 기초하여 피라미드 이미지들(PIM1~PIM4) 각각의 유의미한 영역을 제외한 나머지 영역을 마스킹할 수 있다.
예시적 실시예에서, 마스킹 유닛(330)은 피라미드 이미지들(PIM1~PIM4)의 해상도에 따라 마스크 데이터들(MK1~MK4)을 적용할 수 있다. 예를 들어, 마스킹 유닛(330)은 높은 해상도를 갖는 제1 피라미드 이미지(PIM1)에 대하여, 높은 평균 값을 갖는 뎁스 값(또는 밀도 값)으로 구성된 제1 마스크 데이터(MK1)를 적용할 수 있다. 또한, 마스킹 유닛(330)은 낮은 해상도를 갖는 제4 피라미드 이미지(PIM4)에 대하여 낮은 평균 값을 갖는 뎁스 값(또는 밀도 값)으로 구성된 제4 마스크 데이터(MK4)를 적용할 수 있다.
제1 마스크드 이미지(IMK1)는 제1 피라미드 이미지(PIM1)의 일부인 제1 영역(C1)으로 구성되며, 제2 마스크드 이미지(IMK2)는 제2 피라미드 이미지(PIM2)의 일부인 제2 영역(C2)으로 구성되고, 제3 마스크드 이미지(IMK3)는 제3 피라미드 이미지(PIM3)의 일부인 제3 영역(C3)으로 구성되며, 제4 마스크드 이미지(IMK4)는 제4 피라미드 이미지(PIM4)의 일부인 제4 영역(C4)으로 구성된다. 복수의 영역들(C1~C4) 각각은, 복수의 마스크 데이터들(MK1~MK4)에 의해 마스킹되지 않은 피라미드 이미지들(PIM1~PIM4)의 일부 영역일 수 있다.
도 10은 본 개시의 예시적 실시예에 따른 피처 추출부 및 검출기의 동작을 설명하기 위한 도면이다.
도 10을 참조하면, 피처 추출부(340)는 제1 내지 제4 피처 추출부(340_1 ~ 340_4)를 포함할 수 있다. 제1 내지 제4 피처 추출부(340_1 ~ 340_4)는 복수의 마스크드 데이터들(MK1~MK4)을 수신하고, 복수의 마스크드 데이터들(MK1~MK4)에 대한 복수의 피처 데이터(FD1~FD4)를 생성 및 출력할 수 있다.
예를 들어, 제1 피처 추출부(340_1)는 제1 마스크드 이미지(IMK1)에 기초하여 제1 피처 데이터(FD1)를 생성할 수 있으며, 제2 피처 추출부(340_2)는 제2 마스크드 이미지(IMK2)에 기초하여 제2 피처 데이터(FD2)를 생성 및 출력할 수 있으며, 제3 피처 추출부(340_3)는 제3 마스크드 이미지(IMK3)에 기초하여 제3 피처 데이터(FD3)를 생성 및 출력할 수 있으며, 제4 피처 추출부(340_4)는 제4 마스크드 이미지(IMK4)에 기초하여 제4 피처 데이터(FD4)를 생성 및 출력할 수 있다.
예시적 실시예에서, 검출기(350)는 제1 내지 제4 피처 추출부(340_1 ~ 340_4)로부터 복수의 피처 데이터(FD1~FD4)를 수신하고, 복수의 피처 데이터(FD1~FD4)를 기초로 객체 검출을 수행할 수 있다.
도 11은 본 개시의 예시적 실시예에 따른 메모리의 일부를 도시하는 블록도이다. 도 11의 메모리(400)는 도 1의 메모리(120)에 대응할 수 있다.
먼저 도 11을 참조하면, 메모리(400)는 뱅크 그룹(410), 프로세싱 소자 그룹(420) 및 로컬 버스(430)를 포함한다. 예시적 실시예에서, 뱅크 그룹(410)은 제1 뱅크(Bank1) 내지 제4 뱅크(Bank4)를 포함하고, 프로세싱 소자 그룹(420)은 상기 제1 뱅크(Bank1) 내지 제4 뱅크(Bank4) 각각에 대응하는 제1 프로세싱 소자(PE1) 내지 제4 프로세싱 소자(PE4)를 포함한다. 또한, 프로세싱 소자 그룹(420)은 뱅크 그룹(410)에 독립적인 제5 프로세싱 소자(PE5)를 더 포함할 수 있다.
예시적 실시예에서, 제1 뱅크(Bank1) 내지 제4 뱅크(Bank4), 및 제1 프로세싱 소자(PE1) 내지 제4 프로세싱 소자(PE4)는 대응 관계에 따라 서로 연결될 수 있다. 예를 들어, 도 11을 참조하면, 제1 뱅크(Bank1) 및 제1 프로세싱 소자(PE1)는 서로 연결되고, 제2 뱅크(Bank2) 및 제2 프로세싱 소자(PE2)는 서로 연결되고, 제3 뱅크(Bank3) 및 제3 뱅크(Bank3) 및 제3 프로세싱 소자(PE3)는 서로 연결되고, 제4 뱅크(Bank4) 및 제4 프로세싱 소자(PE4)는 서로 연결될 수 있다.
메모리(400)의 저장 동작에서, 뱅크 그룹(410)은 로컬 버스(430)를 통해 전송된 데이터를 저장할 수 있다. 예시적 실시예에서, 메모리(400)는 도 1의 이미지 센서(110)로부터 이미지 데이터를 수신하고, 제1 뱅크(Bank1) 내지 제4 뱅크(Bank4) 중 적어도 하나는 이미지 데이터의 적어도 일부를 저장할 수 있다. 예를 들어, 이미지 데이터는 기설정된 크기로 분할되어 제1 뱅크(Bank1) 내지 제4 뱅크(Bank4) 중 적어도 하나에 저장될 수 있다.
메모리(400)의 연산 동작에서, 프로세싱 소자 그룹(420)의 프로세싱 소자들 중 일부(예컨대, 제1 프로세싱 소자(PE1) 내지 제4 프로세싱 소자(PE4))는 뱅크 그룹(410) 중 대응하는 뱅크에 저장된 데이터를 기초로 연산 동작을 수행할 수 있다. 이때, 제1 프로세싱 소자(PE1) 내지 제4 프로세싱 소자(PE4)는 병렬적으로 연산 동작을 수행할 수 있다. 비제한적인 예로, 제1 프로세싱 소자(PE1) 내지 제4 프로세싱 소자(PE4)들은 대응하는 뱅크에 저장된 이미지 데이터를 기초로 뉴럴 네트워크 연산 중 컨볼루션 연산을 수행할 수 있다.
예를 들어, 도 11을 참조하면, 제1 프로세싱 소자(PE1)는 제1 뱅크(Bank1)에 저장된 데이터를 기초로 연산 동작을 수행하고, 제2 프로세싱 소자(PE2)는 제2 뱅크(Bank2)에 저장된 데이터를 기초로 연산 동작을 수행하고, 제3 프로세싱 소자(PE3)는 제3 뱅크(Bank3)에 저장된 데이터를 기초로 연산 동작을 수행하고, 제4 프로세싱 소자(PE4)는 제4 뱅크(Bank4)에 저장된 데이터를 기초로 연산 동작을 수행할 수 있다.
예시적 실시예에서, 프로세싱 소자 그룹(420) 중 뱅크 그룹(410)에 독립적인 프로세싱 소자(예컨대, 제5 프로세싱 소자(PE5))는 전술한 프로세싱 소자들의 연산 결과를 기초로 연산 동작을 수행할 수 있다. 비제한적인 예로, 제5 프로세싱 소자(PE5)는 제1 프로세싱 소자(PE1) 내지 제4 프로세싱 소자(PE4)의 연산 결과를 기초로 뉴럴 네트워크 연산 중 풀링 연산을 수행할 수 있다. 제5 프로세싱 소자(PE5)는 로컬 버스(430)를 통해 제1 프로세싱 소자(PE1) 내지 제4 프로세싱 소자(PE4)의 연산 결과를 수신하고, 수신한 연산 결과들을 기초로 풀링 연산을 수행할 수 있다.
예시적 실시예에서, 프로세싱 소자 그룹(420)의 연산 결과들은 뱅크 그룹(410)에 저장될 수 있다. 예를 들어, 제1 프로세싱 소자(PE1) 내지 제4 프로세싱 소자(PE4)의 연산 결과는 대응하는 뱅크에 저장될 수 있다. 또한, 제5 프로세싱 소자(PE5)의 연산 결과는 제1 뱅크(Bank1) 내지 제4 뱅크(Bank4) 중 적어도 하나에 저장될 수 있다.
한편, 프로세싱 소자 그룹(420)의 연산 결과의 저장 위치는 전술한 예에 한하지 않으며, 프로세싱 소자와 뱅크의 대응 관계와 독립적으로 설정될 수 있다. 예를 들어, 제1 프로세싱 소자(PE1)의 연산 결과는 로컬 버스(430)를 통해 제2 뱅크(Bank2)로 전송되어 저장될 수 있다.
한편, 도 11에 도시된 실시예에서, 제1 내지 제4 뱅크(Bank1~Bank4)가 각각 제1 내지 제4 프로세싱 소자(PE1~PE4)에 연결된 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않는다. 예를 들어, 제1 내지 제4 뱅크(Bank1~Bank4) 중 적어도 하나는 프로세싱 소자와 연결되지 않는 독립적인 뱅크로 구성될 수 있다.
한편, 독립적인 뱅크에 저장된 데이터도 로컬 버스(430)를 통해 제1 내지 제4 프로세싱 소자(PE1~PE4)에 전송될 수 있다. 예시적 실시예로, 제1 내지 제4 프로세싱 소자(PE1~PE4)는 로컬 버스(430)를 통해 독립적인 뱅크의 데이터를 수신하여 바로 연산 처리를 수행할 수 있다. 또한, 독립적인 뱅크의 데이터가 로컬 버스(430)를 통해 제1 내지 제4 프로세싱 소자(PE1~PE4)에 연결된 제1 내지 제4 뱅크(Bank1~Bank4)에 저장되고, 제1 내지 제4 프로세싱 소자(PE1~PE4)가 제1 내지 제4 뱅크(Bank1~Bank4)로부터 독립적인 뱅크의 데이터를 독출하여 연산 처리를 수행할 수도 있다.
상기와 같은 연산 처리를 수행하기 위해, 도 1의 제어 로직(126)은 어드레스 정보와 연산 순서 정보를 기초로 도 1의 메모리 뱅크(122)와 도 1의 PIM 회로(124)를 제어할 수 있다. 예를 들어, 제어 로직(126)은 독립적인 뱅크의 어드레스 정보를 기초로 해당 뱅크로부터 데이터를 독출하고, 독출한 데이터를 제1 프로세싱 소자(PE1)로 전송할 수 있다. 이때, 제1 프로세싱 소자(PE1)는 제1 뱅크(Bank1)로부터 독출된 제1 이미지 데이터에 대한 연산 처리도 수행하도록 설정될 수 있다. 따라서, 제어 로직(126)은 연산 순서 정보에 따라 제1 뱅크(Bank1)로부터 독출된 제1 이미지 데이터에 대한 연산 처리가 수행되기 전 또는 후에 제1 프로세싱 소자(PE1)가 독립적인 뱅크의 데이터에 대한 연산 처리를 수행하도록 제어할 수 있다.
한편, 도 11에 도시된 실시예에서, 뱅크 그룹(410)에 포함된 뱅크들의 개수 및 프로세싱 소자 그룹(420)에 포함된 프로세싱 소자들의 개수는 하나의 예일뿐, 본 개시는 이에 한하지 않으며, 더 적거나 많은 개수의 뱅크들 또는 프로세싱 소자들이 포함될 수 있음은 물론이다.
또한, 도 11에 도시된 실시예에서, 메모리(400)가 풀링 연산을 수행하는 프로세싱 소자(예컨대, 도 11의 제5 프로세싱 소자(PE5))를 포함하는 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않는다. 예를 들어, 메모리(400)는 풀링 연산을 수행하는 프로세싱 소자를 포함하지 않을 수 있다.
도 12는 본 개시의 예시적 실시예에 따른 메모리의 구조를 나타내는 블록도이다. 도 12의 메모리(500)는 도 1의 메모리(120), 도 11의 메모리(400)에 대응할 수 있다. 또한, 도 12는 메모리(500)에서 서로 연결된 뱅크와 프로세싱 소자의 구조를 나타내는 블록도로, 예컨대 도 11의 제1 뱅크(Bank1) 및 프로세싱 소자(PE1)의 구조에 적용될 수 있다.
도 12를 참조하면, 메모리(500)는 메모리 셀 어레이(510), 어드레스 버퍼(520), 로우 디코더(530), 컬럼 디코더(540), 센스 앰프(550), 입출력 게이팅 회로(560), 프로세싱 소자(570), 데이터 입출력 회로(580) 및 제어 로직(590)을 포함할 수 있다.
메모리 셀 어레이(510)는 로우들 및 칼럼들로 배열되는 매트릭스 형태로 제공되는 복수의 메모리 셀들을 포함한다. 메모리 셀 어레이(510)는 메모리 셀들과 연결되는 복수개의 워드라인(WL)들과 복수개의 비트라인(BL)들을 포함한다. 복수의 워드라인(WL)들은 메모리 셀들의 로우들과 연결되고, 복수의 비트라인(BL)들은 메모리 셀들의 칼럼들과 연결될 수 있다.
어드레스 버퍼(520)는 어드레스(ADDR)를 수신한다. 어드레스(AD DR)는 메모리 셀 어레이(510)의 로우를 어드레싱하는 로우 어드레스(RA)와 메모리 셀 어레이(510)의 칼럼을 어드레싱하는 칼럼 어드레스(CA)를 포함한다. 어드레스 버퍼(520)는 로우 어드레스(RA)를 로우 디코더(530)로 전송하고, 칼럼 어드레스(CA)를 칼럼 디코더(340)로 전송할 수 있다.
로우 디코더(530)는 메모리 셀 어레이(510)와 연결된 복수의 워드라인들(WL) 중 어느 하나를 선택할 수 있다. 로우 디코더(530)는 어드레스 버퍼(520)로부터 수신된 로우 어드레스(RA)를 디코딩하여, 로우 어드레스(RA)에 상응하는 어느 하나의 워드라인(WL)을 선택하고, 선택된 워드라인(WL)을 활성화시킬 수 있다.
칼럼 디코더(540)는 메모리 셀 어레이(310)의 복수의 비트라인들(BL) 중 소정의 비트라인들(BL)을 선택할 수 있다. 칼럼 디코더(540)는 어드레스 버퍼(520)로부터 수신된 칼럼 어드레스(CA)를 디코딩하여 칼럼 선택 신호를 발생하고, 입출력 게이팅 회로(560)를 통하여 칼럼 선택 신호에 연결된 비트라인들(BL)을 선택할 수 있다.
센스 앰프(550)는 메모리 셀 어레이(310)의 비트라인들(BL)과 연결된다. 센스 앰프(550)는 비트라인들(BL)의 전압 변화를 감지하고, 이를 증폭하여 출력한다. 센스 앰프(550)에 의해 감지 증폭된 비트라인들(BL)은 입출력 게이팅 회로(560)에 통해 선택될 수 있다.
입출력 게이팅 회로(560)는 칼럼 선택 신호에 의해 선택된 비트라인들(BL)의 독출 데이터를 저장하는 독출 데이터 래치들과, 메모리 셀 어레이(510)에 기입 데이터를 기입하기 위한 기입 드라이버를 포함할 수 있다. 독출 데이터 래치들에 저장된 데이터는 데이터 입출력 회로(580)를 통하여 데이터 패드(DQ)로 제공될 수 있다. 데이터 패드(DQ)를 통해 데이터 입출력 회로(580)로 제공된 기입 데이터는 기입 드라이버를 통하여 메모리 셀 어레이(510)에 기입될 수 있다. 데이터 패드(DQ)는 메모리(500) 내 로컬 버스(예컨대, 도 11의 로컬 버스(430))로 연결될 수 있다.
프로세싱 소자(570)는 입출력 게이팅 회로(560) 및 데이터 입출력 회로(580)의 사이에 배치될 수 있다. 프로세싱 소자(570)는 메모리 셀 어레이(510)로부터 독출된 데이터 또는 데이터 입출력 회로(580)로부터 수신한 데이터를 기초로 연산 동작을 수행할 수 있다. 프로세싱 소자(570)는 산술 논리 연산 장치(arithmetic logic unit: ALU)일 수 있다. 프로세싱 소자(570)는 연산 결과를 메모리 셀 어레이(510)에 기입하거나, 데이터 입출력 회로(580)를 통하여 데이터 패드(DQ)로 제공할 수 있다.
제어 로직(590)은 클록(CLK) 신호 및 커맨드(CMD)를 수신하고 메모리(500)의 동작 타이밍, 메모리 동작 및/또는 연산 동작을 제어하는 제어 신호들(CTRLS)을 생성할 수 있다. 제어 로직(590)은 제어 신호들(CTRLS)을 이용하여 메모리 셀 어레이(510)로부터 데이터를 독출하고, 메모리 셀 어레이(510)에 데이터를 기입할 수 있다. 또한, 제어 로직(390)은 제어 신호들(CTRLS)을 이용하여 프로세싱 소자가 연산 처리를 수행하도록 제어할 수 있다.
한편, 도 12에 도시된 실시예에서 제어 로직(590)이 메모리(500)의 메모리 동작 및 연산 동작을 제어하는 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않는다. 예를 들어, 메모리(500)는 메모리(500)의 연산 동작을 제어하는 제어 신호들을 생성하는 별도의 구성 요소, 예컨대 프로세싱 컨트롤러를 포함할 수 있다.
또한, 도 12에 도시된 실시예에서 프로세싱 소자(570)가 포함되는 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않는다. 예를 들어, 뱅크에 연결되는 프로세싱 소자가 없는 경우, 도 12의 실시예에서 프로세싱 소자(570)는 생략될 수 있다.
도 13은 본 개시의 예시적 실시예에 따른 메모리의 구조를 구체적으로 나타내는 도면이다. 상세하게는, 도 13은 도 12의 메모리(500)의 구조를 구체적으로 나타내는 도면이다. 이하에서는, 도 13에 대한 설명 중 도 12의 설명과 중복되는 설명은 생략한다.
도 12 및 도 13을 참조하면, 메모리(500)는 연산 동작에 관련된 다양한 구성들을 더 포함할 수 있고, 일 예로서, 프로세싱 소자(570)는 메모리 셀 어레이(510)의 복수의 비트라인들(BL1 ~ BLK) 각각에 대응하는 산술 논리 연산 장치(ALU)를 포함할 수 있다.
산술 논리 연산 장치(ALU)는, 제1 내지 제3 곱셈 회로(MC1, MC2, MC3)와 제1 및 제2 덧셈 회로(AC1, AC2)를 포함할 수 있다. 제1 내지 제3 곱셈 회로(MC1, MC2, MC3)는 대응하는 비트라인 및 인접한 비트라인으로부터 독출된 데이터와 가중치(weight)들 간의 곱셈 연산을 수행함으로써, 복수의 곱셈 연산 결과를 출력할 수 있다.
예를 들어, 도 13을 참조하면, 제2 곱셈 회로(MC2)는 대응하는 비트라인으로부터 독출된 데이터와 제2 가중치 간의 곱셈 연산을 수행함으로써, 제2 곱셈 연산 결과를 출력할 수 있다. 제1 곱셈 회로(MC1)는 대응하는 비트라인의 왼쪽에 배치된 비트라인으로부터 독출된 데이터와 제1 가중치 간의 곱셈 연산을 수행함으로써, 제1 곱셈 연산 결과를 출력할 수 있다. 또한, 제3 곱셈 회로(MC3)는 대응하는 비트라인의 오른쪽에 배치된 비트라인으로부터 독출된 데이터와 제3 가중치 간의 곱셈 연산을 수행함으로써, 제3 곱셈 연산 결과를 출력할 수 있다. 여기서, 제1 가중치 내지 제3 가중치는 서로 동일 또는 상이할 수 있다. 또한, 대응하는 비트라인 및 인접한 비트라인으로부터 독출된 데이터는 센스 앰프(350)를 거쳐 독출 데이터 래치(Latch1)에 저장된 데이터에 해당될 수 있다.
제1 덧셈 회로(AC1)는 제1 내지 제3 곱셈 회로(MC1, MC2, MC3)의 곱셈 연산 결과들 간의 덧셈 연산을 수행함으로써, 제1 덧셈 연산 결과를 출력할 수 있다. 또한, 제2 덧셈 회로(AC2)는 제1 덧셈 연산 결과 및 대응하는 비트라인으로부터 독출한 데이터 간의 덧셈 연산을 수행함으로써, 제2 덧셈 연산 결과를 출력할 수 있다. 이때, 대응하는 비트라인으로부터 독출된 데이터는 센스 앰프(550) 및 독출 데이터 래치(Latch1)를 거치지 않고 메모리 셀 어레이(510)로부터 전송된 데이터에 해당될 수 있다.
이와 같이, 산술 논리 연산 장치(ALU)를 이용한 연산 동작은, 대응하는 비트라인의 데이터뿐만 아니라 인접한 비트라인들의 데이터도 입력받아 연산을 수행하므로, 컨볼루션 연산에 적용될 수 있다. 또한, 전술한 방식은 대응하는 비트라인과 인접하되 서로 다른 뱅크에 포함된 비트라인의 데이터를 입력받는 실시예로 확장될 수 있다.
예시적 실시예로, 서로 인접하게 배치된 제1 뱅크(Bank1) 및 제2 뱅크(Bank2) 각각의 복수의 산술 논리 연산 장치들(ALU) 중 가장자리에 배치된 산술 논리 연산 장치들(ALU)은 데이터 라인을 통해 인접한 뱅크의 가장자리에 배치된 산술 논리 연산 장치(ALU)와 연결될 수 있다. 예를 들어, 제1 뱅크(Bank1)의 오른쪽 가장자리에 배치된 산술 논리 장치(ALU)와 제2 뱅크(Bank2)의 왼쪽 가장자리에 배치된 산술 논리 장치(ALU)는 데이터 라인(DL)을 통해 연결될 수 있다. 여기서 데이터 라인은, 각 산술 논리 장치(ALU)에 포함된 제1 곱셈 회로(MC1) 또는 제3 곱셈 회로(MC3)와, 인접한 비트라인을 연결하는 라인을 의미할 수 있다.
데이터 입출력 회로(580)는 제2 덧셈 회로(AC2)가 출력한 제2 덧셈 연산 결과를 저장하는 연산 데이터 래치(Latch2)와, 데이터 패드(DQ)로 제공할 데이터를 선택하는 데이터 선택기(Data Selector)를 포함할 수 있다. 연산 데이터 래치(Latch2)는 제2 덧셈 회로(AC2)가 출력한 제2 덧셈 연산 결과를 저장할 수 있다. 예시적 실시예에서, 데이터 선택기(Data Selector)는 적어도 하나의 멀티 플렉서(multiplexer)를 포함할 수 있다.
한편, 도 12 및 도 13은 서로 연결된 뱅크와 프로세싱 소자의 구조를 나타내는 도면이나, 본 개시는 이에 한하지 않는다. 예를 들어, 프로세싱 소자가 연결되지 않는 뱅크의 경우, 도 12 및 도 13의 프로세싱 소자(570)와, 도 13의 데이터 입출력 회로(580)에 포함된 래치(Latch2)는 생략될 수 있다.
도 14는 본 개시의 예시적 실시예에 따른 이미지 센서 모듈의 동작 방법을 나타내는 흐름도이다. 도 14의 방법은 도 1에서 설명된 이미지 센서 모듈(100)을 이용하여 수행될 수 있다.
도 1 및 도 14를 참조하면, 이미지 센서 모듈(100)은 먼저 이미지 센서(110)를 통해 이미지 데이터를 획득할 수 있다(S100). 그리고 이미지 센서 모듈(100)은 이미지 데이터를 메모리(120)에 포함된 복수의 뱅크들에 저장할 수 있다(S200). 예시적 실시예에서, 이미지 센서 모듈(100)은 하나의 이미지 데이터를 복수의 이미지 영역들로 구분하고, 구분한 복수의 이미지 영역들을 복수의 뱅크들에 저장할 수 있다. 예를 들어, 이미지 센서 모듈(100)은 이미지 데이터의 제1 이미지 영역을 제1 뱅크에 저장하고, 이미지 데이터의 제2 이미지 영역을 제2 뱅크에 저장할 수 있다.
그리고 이미지 센서 모듈(100)은 메모리 포함된 프로세싱 소자들을 이용하여 저장된 이미지 데이터에 대한 옵티컬 플로우 데이터를 생성할 수 있다(S300). 그리고 이미지 센서 모듈(100)은 메모리 포함된 프로세싱 소자들을 이용하여 저장된 이미지 데이터에 대한 패턴 밀도 데이터를 생성할 수 있다(S400). 예시적 실시예에서, 이미지 센서 모듈(100)이 수행하는 옵티컬 플로우 데이터 및 패턴 밀도 데이터의 생성 동작은 뉴럴 네트워크 기반의 연산 처리 동작에 해당될 수 있다.
그리고 이미지 센서 모듈(100)은 이미지 데이터, 옵티컬 플로우 데이터 및 패턴 밀도 데이터를 출력할 수 있다(S500). 예시적 실시예에서, 이미지 센서 모듈(100)은 이미지 데이터, 옵티컬 플로우 데이터 및 패턴 밀도 데이터를 이미지 처리 장치(200)로 출력할 수 있다. 이미지 처리 장치(200)는 옵티컬 플로우 데이터 및 패턴 밀도 데이터를 기초로 이미지 데이터에 대한 객체 인식을 수행할 수 있다.
도 15는 이미지 센서 모듈의 분리 사시도이고, 도 16은 이미지 센서 모듈의 평면도이다. 도 15 및 도 16을 참조하면, 이미지 센서 모듈(100a)는 제1 칩(CH1), 제2 찹(CH2) 및 제3 칩(CH3)이 적층된 구조를 가질 수 있다. 제1 칩(CH1)에는 이미지 센서(도 1의 110)의 픽셀 어레이에 포함되는 복수의 픽셀들 각각의 픽셀 코어(예컨대, 적어도 하나의 광전 변환 소자 및 픽셀 회로)가 형성될 수 있다. 제2 칩(CH2)에는 로직 회로, 예컨대, 로우 드라이버, 리드아웃 회로, 램프 신호 생성기, 타이밍 컨트롤러 등을 포함하는 구동 및 독출 회로가 형성될 수 있다. 제3 칩(CH3)에는 메모리(도 1의 120)가 형성될 수 있다. 제1 칩(CH1), 제2 찹(CH2) 및 제3 칩(CH3)은 연결 부재를 통해 전기적으로 연결되거나 관통 비아를 통해 서로 전기적으로 연결될 수 있다. 그러나, 이에 제한되는 것은 아니며, 이미지 센서 모듈(100a)은 하나의 반도체 칩으로 구현될 수도 있다.
도 16에 도시된 바와 같이, 제1 칩(CH1), 제2 칩(CH1) 및 제3 칩(CH3)은 중심부에 배치되는 픽셀 어레이, 로직 회로 및 메모리(도 1의 120)를 각각 포함하고, 또한, 칩의 외곽에 배치되는 주변 영역을 포함할 수 있다.
제1 칩(CH1), 제2 칩(CH2) 및 제3 칩(CH3)의 주변 영역에는 제3 방향(Z 방향)으로 연장된 관통 비아들(through vias)(TV)이 배치될 수 있다. 제1 칩(CH1) 및 제2 칩(CH1)은 관통 비아들(TV)을 통해 서로 전기적으로 결합될 수 있다. 제1 칩(CH1), 제2 칩(CH2) 및 제3 칩(CH3)의 주변 영역에는 제1 방향(X 방향) 또는 제2 방향(Y 방향)으로 연장된 배선들이 형성될 수 있다.
도 17은 본 개시의 예시적 실시예에 따른 전자 장치를 나타내는 블록도이다.
도 17을 참조하면, 전자 장치(1000)는 어플리케이션 프로세서(1100), 카메라 모듈(1200), 워킹 메모리(1300), 스토리지(1400), 디스플레이 장치(1600), 유저 인터페이스(1700) 및 무선 송수신부(1500)를 포함할 수 있다.
어플리케이션 프로세서(1100)는 전자 장치(1000)의 전반적인 동작을 제어하며 응용 프로그램, 운영 체제 등을 구동하는 시스템 온 칩(SoC)으로 구현될 수 있다. 어플리케이션 프로세서(1100)는 카메라 모듈(1200)로부터 제공되는 이미지 데이터를 디스플레이 장치(1600)에 제공하거나 또는 스토리지(1400)에 저장할 수 있다.
도 1 내지 도 16을 참조하여 설명한 이미지 센서 모듈(100)이 카메라 모듈(1200)에 적용될 수 있다. 카메라 모듈(1200)은 연산 처리를 수행하는 메모리(1210)를 포함할 수 있으며, 메모리(1210)는 PIM 회로를 이용하여 메모리(1210)의 뱅크에 저장된 이미지 데이터에 대해 연산 처리(예컨대, 패턴 밀도 검출 동작 및 옵티컬 플로우 검출 동작)를 수행할 수 있다.
도 1 내지 도 16을 참조하여 설명한 프로세서(220, 220a, 220b)가 어플리케이션 프로세서(1100)에 적용될 수 있다. 어플리케이션 프로세서(1100)는 카메라 모듈(1200)로부터 이미지 데이터와 연산 데이터(예컨대, 패턴 밀도 데이터 및 옵티컬 플로우 데이터)를 수신하고, 연산 데이터를 기초로 이미지 데이터에 대한 추가적인 연산 처리(예컨대, 객체 인식 동작)를 수행할 수 있다. 예시적 실시예에서, 전자 장치(1000)가 자율 주행 차량인 경우, 어플리케이션 프로세서(1100)는 객체 인식 동작을 수행하여 획득한 객체 정보를 기초로 자율 주행 차량의 구동부를 제어할 수 있다.
워킹 메모리(1300)는 DRAM, SRMA 등의 휘발성 메모리 또는 FeRAM, RRAM PRAM 등의 비휘발성의 저항성 메모리로 구현될 수 있다. 워킹 메모리(1300)는 어플리케이션 프로세서(1100)가 처리 또는 실행하는 프로그램들 및/또는 데이터를 저장할 수 있다.
스토리지(1400)는 NADN 플래시, 저항성 메모리 등의 비휘발성 메모리 장치로 구현될 수 있으며, 예컨대 스토리지(1400)는 메모리 카드(MMC, eMMC, SD, micro SD) 등으로 제공될 수 있다. 스토리지(1400)는 카메라 모듈(1200)로부터 수신되는 이미지 데이터 또는 어플리케이션(1100)에서 처리 또는 생성되는 데이터를 저장할 수 있다.
유저 인터페이스(1700)는 키보드, 커튼 키 패널, 터치 패널, 지문 센서, 마이크 등 사용자 입력을 수신할 수 있는 다양한 장치들로 구현될 수 있다. 유저 인터페이스(1700)는 사용자 입력을 수신하고, 수신된 사용자 입력에 대응하는 신호를 어플리케이션 프로세서(1100)에 제공할 수 있다.
무선 송수신부(1500)는 트랜시버(1510), 모뎀(1520) 및 안테나(1530)를 포함할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 이미지 센서 모듈에 있어서,
    이미지 데이터를 생성하는 이미지 센서; 및
    상기 이미지 데이터를 저장하는 메모리 뱅크와 복수의 프로세싱 소자들을 포함하는 PIM(Processor In Memory) 회로를 포함하는 메모리;를 포함하고,
    상기 메모리는,
    상기 메모리 뱅크로부터 상기 이미지 데이터를 독출하고,
    상기 복수의 프로세싱 소자들을 이용하여, 상기 이미지 데이터 내 포함된 적어도 하나의 객체의 시계열적 동작을 나타내는 옵티컬 플로우 데이터 및 상기 이미지 데이터의 패턴의 밀도를 나타내는 패턴 밀도 데이터를 생성하고,
    상기 이미지 데이터, 상기 옵티컬 플로우 데이터 및 상기 패턴 밀도 데이터를 출력하는 것을 특징으로 하는 이미지 센서 모듈.
  2. 제1항에 있어서,
    상기 PIM 회로는,
    상기 옵티컬 플로우 데이터를 생성하는 제1 프로세싱 소자들; 및
    상기 패턴 밀도 데이터를 생성하는 제2 프로세싱 소자들을 포함하는 것을 특징으로 하는 이미지 센서 모듈.
  3. 제1항에 있어서
    상기 이미지 센서 모듈은,
    기설정된 시간 단위 동안 하나의 프레임의 이미지 데이터를 생성하는 일반 촬영 모드, 또는 기설정된 시간 단위 동안 복수의 프레임의 연속 이미지 데이터를 생성하는 연속 촬영 모드로 동작하는 것을 특징으로 하는 이미지 센서 모듈.
  4. 제3항에 있어서,
    상기 이미지 센서 모듈은,
    상기 연속 촬영 모드로 동작하여 상기 연속 이미지 데이터를 생성하고,
    상기 메모리는,
    상기 연속 이미지 데이터를 기초로 옵티컬 플로우 데이터를 생성하는 것을 특징으로 하는 이미지 센서 모듈.
  5. 이미지 센서 모듈 및 이미지 처리 장치를 포함하는 이미지 처리 시스템에 있어서,
    상기 이미지 센서 모듈은,
    이미지 데이터를 생성하는 이미지 센서; 및
    PIM(Processor In Memory) 회로를 이용하여, 상기 이미지 데이터 내 포함된 적어도 하나의 객체의 시계열적 동작을 나타내는 옵티컬 플로우 데이터 및 상기 이미지 데이터의 패턴의 밀도를 나타내는 패턴 밀도 데이터를 생성하는 메모리;를 포함하고,
    상기 이미지 처리 장치는,
    상기 이미지 데이터, 상기 옵티컬 플로우 데이터 및 상기 패턴 밀도 데이터를 기초로 상기 이미지 데이터에 대한 객체 인식을 수행하는 것을 특징으로 하는 이미지 처리 시스템.
  6. 제5항에 있어서,
    상기 이미지 처리 장치는,
    상기 옵티컬 플로우 데이터 및 상기 패턴 밀도 데이터를 기초로, 상기 이미지 센서 모듈과 상기 이미지 데이터에 포함된 적어도 하나의 객체 간의 거리를 나타내는 뎁스 정보를 생성하는 것을 특징으로 하는 이미지 처리 시스템.
  7. 제6항에 있어서,
    상기 이미지 처리 장치는,
    상기 뎁스 정보 및 상기 이미지 데이터를 이용하여 상기 이미지 데이터에 대한 객체 인식을 수행하는 것을 특징으로 하는 이미지 처리 시스템.
  8. 제7항에 있어서,
    상기 이미지 처리 장치는,
    상기 이미지 데이터를 기초로 서로 상이한 해상도를 갖는 복수의 피라미드 이미지를 생성하고,
    상기 복수의 피라미드 이미지에 대한 복수의 피처 데이터를 생성하고,
    상기 복수의 피처 데이터를 기초로 상기 이미지 데이터에 대한 객체 인식을 수행하는 것을 특징으로 하는 이미지 처리 시스템.
  9. 제8항에 있어서,
    상기 이미지 처리 장치는,
    상기 뎁스 정보를 기초로 상기 복수의 피라미드 이미지에 대응하는 복수의 마스크 데이터를 생성하고,
    상기 복수의 마스크 데이터를 상기 복수의 피라미드 이미지에 적용하여 복수의 마스크된 이미지를 생성하고,
    상기 복수의 마스크된 이미지를 기초로 상기 복수의 피처 데이터를 생성하는 것을 특징으로 하는 이미지 처리 시스템.
  10. 제9항에 있어서,
    상기 이미지 처리 장치는,
    상기 복수의 피라미드 이미지 각각에 대하여, 해당 피라미드 이미지의 해상도에 대응하는 뎁스 값들을 상기 뎁스 정보로부터 확인하고, 상기 확인한 뎁스 값들을 기초로 마스크 데이터를 생성하는 것을 특징으로 하는 이미지 처리 시스템.
KR1020210054523A 2021-04-27 2021-04-27 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법 KR20220147412A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210054523A KR20220147412A (ko) 2021-04-27 2021-04-27 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법
CN202210436213.3A CN115249204A (zh) 2021-04-27 2022-04-24 图像传感器模块、图像处理系统以及图像传感器模块的操作方法
US17/729,533 US11943557B2 (en) 2021-04-27 2022-04-26 Image sensor module, image processing system, and operating method of image sensor module
TW111115941A TW202307782A (zh) 2021-04-27 2022-04-27 影像感測器模組以及影像處理系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210054523A KR20220147412A (ko) 2021-04-27 2021-04-27 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법

Publications (1)

Publication Number Publication Date
KR20220147412A true KR20220147412A (ko) 2022-11-03

Family

ID=83693640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210054523A KR20220147412A (ko) 2021-04-27 2021-04-27 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법

Country Status (4)

Country Link
US (1) US11943557B2 (ko)
KR (1) KR20220147412A (ko)
CN (1) CN115249204A (ko)
TW (1) TW202307782A (ko)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673120A (en) * 1993-12-24 1997-09-30 Nec Corporation Image output device
US6415038B1 (en) * 1994-05-20 2002-07-02 Fuji Photo Film Co., Ltd. Image analyzing apparatus
TWI355615B (en) 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
US10379772B2 (en) 2016-03-16 2019-08-13 Micron Technology, Inc. Apparatuses and methods for operations using compressed and decompressed data
US20180068451A1 (en) * 2016-09-08 2018-03-08 Qualcomm Incorporated Systems and methods for creating a cinemagraph
KR102631964B1 (ko) * 2016-11-23 2024-01-31 엘지이노텍 주식회사 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
CN110062934B (zh) 2016-12-02 2023-09-01 谷歌有限责任公司 使用神经网络确定图像中的结构和运动
DE102017211331A1 (de) 2017-07-04 2019-01-10 Robert Bosch Gmbh Bildauswertung mit zielgerichteter Vorverarbeitung
CN107610108B (zh) * 2017-09-04 2019-04-26 腾讯科技（深圳）有限公司 图像处理方法和装置
US10839266B2 (en) 2018-03-30 2020-11-17 Intel Corporation Distributed object detection processing
US10916031B2 (en) 2018-07-06 2021-02-09 Facebook Technologies, Llc Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit
KR20200141813A (ko) 2019-06-11 2020-12-21 삼성전자주식회사 이미지 신호 프로세서, 및 상기 이미지 신호 프로세서를 포함하는 이미지 센서
KR20210027894A (ko) 2019-09-03 2021-03-11 삼성전자주식회사 주행 보조 시스템, 전자 장치 및 그 동작 방법
US20210004969A1 (en) * 2020-09-23 2021-01-07 Intel Corporation Multi-level optical flow estimation framework for stereo pairs of images based on spatial partitioning

Also Published As

Publication number Publication date
US11943557B2 (en) 2024-03-26
CN115249204A (zh) 2022-10-28
US20220345592A1 (en) 2022-10-27
TW202307782A (zh) 2023-02-16

Similar Documents

Publication Publication Date Title
US11849226B2 (en) Image processing device including neural network processor and operating method thereof
US11663691B2 (en) Method and apparatus for restoring image
US20160267666A1 (en) Image signal processor for generating depth map from phase detection pixels and device having the same
TW202014934A (zh) 電子系統以及非暫時性電腦可讀記錄媒體
US20200167637A1 (en) Neural network processor using dyadic weight matrix and operation method thereof
US11838651B2 (en) Image processing apparatus including neural network processor and method of operating the same
US20230377111A1 (en) Image processing apparatus including neural network processor and method of operation
US11734877B2 (en) Method and device for restoring image obtained from array camera
CN115242990A (zh) 图像传感器模块和操作图像传感器模块的方法
KR102633139B1 (ko) 데이터를 추출하는 집적 회로, 그것을 포함하는 뉴럴 네트워크 프로세서 및 뉴럴 네트워크 장치
KR20200129957A (ko) 피처맵 데이터에 대한 압축을 수행하는 뉴럴 네트워크 프로세서 및 이를 포함하는 컴퓨팅 시스템
KR20220147412A (ko) 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법
KR20200062014A (ko) 다이어딕 매트릭스 형태의 웨이트를 이용해 뉴럴 네트워크를 가속하는 장치 및 그것의 동작 방법
US20220188612A1 (en) Npu device performing convolution operation based on the number of channels and operating method thereof
TWI850572B (zh) 影像處理設備及系統以及操作影像處理設備的方法
US11902676B2 (en) Image signal processor, operation method of image signal processor, and image sensor device including image signal processor
KR102709413B1 (ko) 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
US20230334820A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
KR20230034875A (ko) 프리-프로세서 및 뉴럴 네트워크 프로세서를 구비하는 이미지 처리 장치 및 이의 동작 방법
KR20210114846A (ko) 고정된 기하학적 특성을 이용한 카메라 모듈, 촬상 장치 및 이미지 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination