KR102443218B1 - 전자 장치 및 그의 동작 방법 - Google Patents

전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR102443218B1
KR102443218B1 KR1020160001593A KR20160001593A KR102443218B1 KR 102443218 B1 KR102443218 B1 KR 102443218B1 KR 1020160001593 A KR1020160001593 A KR 1020160001593A KR 20160001593 A KR20160001593 A KR 20160001593A KR 102443218 B1 KR102443218 B1 KR 102443218B1
Authority
KR
South Korea
Prior art keywords
image data
image
data
deviation
processing unit
Prior art date
Application number
KR1020160001593A
Other languages
English (en)
Other versions
KR20170082334A (ko
Inventor
진성기
박일권
서형찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160001593A priority Critical patent/KR102443218B1/ko
Priority to US15/393,816 priority patent/US10158812B2/en
Publication of KR20170082334A publication Critical patent/KR20170082334A/ko
Application granted granted Critical
Publication of KR102443218B1 publication Critical patent/KR102443218B1/ko

Links

Images

Classifications

    • H04N5/345—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N5/2258—
    • H04N5/2352—
    • H04N5/3415—

Abstract

다양한 실시예에 따른 전자 장치의 동작 방법은, 일정한 레퍼런스 신호를 제공하기 위한 차광 영역인 OB(optical black, OB) 영역을 포함하는 복수의 이미지 센서로부터 복수의 영상 데이터를 획득하는 동작; 상기 OB 영역으로부터 획득된 데이터 간의 편차인 OB 편차를 상기 복수의 영상 데이터 중 적어도 어느 하나에 보정하는 동작; 및 상기 OB 편차가 보정된 상기 복수의 영상 데이터를 영상 처리부로 출력하는 동작을 포함한다.
다양한 실시예에 따른 전자 장치는, 일정한 레퍼런스 신호를 제공하기 위한 차광 영역인 OB(optical black, OB) 영역을 포함하고, 복수의 영상 데이터를 획득하는 복수의 이미지 센서; 상기 OB 영역으로부터 획득된 데이터 간의 편차인 OB 편차를 상기 복수의 영상 데이터 중 적어도 어느 하나에 보정하는 보정부; 상기 OB 편차가 보정된 데이터를 수신하는 영상 처리부; 및 상기 이미지 센서, 상기 보정부 및 상기 영상 처리부와 기능적으로 연결되는 제어부를 포함한다.

Description

전자 장치 및 그의 동작 방법{ELECTRONIC APPARATUS AND OPERATING METHOD THEREOF}
다양한 실시예들은 전자 장치 및 그의 동작 방법에 관한 것이다.
기술이 발전함에 따라, 전자 장치는 다양한 기능들이 부가되어 복합적인 기능을 수행할 수 있다. 전자 장치는 카메라부를 구비할 수 있다. 그리고 전자 장치가 카메라부를 통해 영상 데이터를 촬영할 수 있다. 최근에, 카메라부는 복수의 이미지 센서를 포함하여 복수의 영상 데이터를 촬영할 수 있다. 복수의 영상 데이터는 하나의 이미지 시그널 프로세서(image signal processor)에서 처리될 수 있다.
그런데, 상기와 같은 전자 장치에서, 복수의 이미지 센서로부터 복수의 영상 데이터를 획득하는 경우, 각 이미지 센서 간에 물리적 특성인 옵티컬 블랙(optical black, OB) 편차가 발생할 수 있다. 이는 이미지 센서 내의 픽셀 간에 물리적으로 생기는 편차이기 때문에, 보정이 필요하다. 이러한 OB 편차를 보정하기 위해서는 이미지 시그널 프로세서의 설계 변경이 필요할 수 있다. 또는, OB 편차를 보정하기 위해 이미지 센서의 수만큼 저장부(예를 들면, 프레임 버퍼(frame buffer))를 구성할 수도 있으나, 이는 전반적인 하드웨어 구성이 비대해지게 되어 현 추세에 역행한다는 문제점이 있을 수 있다. 또는, 하드웨어의 구성을 줄이기 위해 하나의 이미지 센서에서 연산된 OB 값을 기준으로 다른 이미지 센서의 영상 데이터를 일괄적으로 보정하거나, 복수의 이미지 센서의 영상 데이터를 OB 평균 값으로 보정할 수도 있다. 그러나, 이러한 방식의 OB 편차 보정 시, 영상 데이터의 처리 효율 및 처리된 영상 데이터의 신뢰성이 낮다는 문제점이 있을 수 있다.
다양한 실시예에 따른 전자 장치의 동작 방법은, 일정한 레퍼런스 신호를 제공하기 위한 차광 영역인 OB(optical black, OB) 영역을 포함하는 복수의 이미지 센서로부터 복수의 영상 데이터를 획득하는 동작; 상기 OB 영역으로부터 획득된 데이터 간의 편차인 OB 편차를 상기 복수의 영상 데이터 중 적어도 어느 하나에 보정하는 동작; 및 상기 OB 편차가 보정된 상기 복수의 영상 데이터를 영상 처리부로 출력하는 동작을 포함한다.
다양한 실시예에 따른 전자 장치는, 일정한 레퍼런스 신호를 제공하기 위한 차광 영역인 OB(optical black, OB) 영역을 포함하고, 복수의 영상 데이터를 획득하는 복수의 이미지 센서; 상기 OB 영역으로부터 획득된 데이터 간의 편차인 OB 편차를 상기 복수의 영상 데이터 중 적어도 어느 하나에 보정하는 보정부; 상기 OB 편차가 보정된 데이터를 수신하는 영상 처리부; 및 상기 이미지 센서, 상기 보정부 및 상기 영상 처리부와 기능적으로 연결되는 제어부를 포함한다.
다양한 실시예에서는 하나의 이미지 시그널 프로세서로 복수의 이미지 센서로부터 획득한 영상 데이터를 처리할 수 있다. 특히, 각 이미지 센서 간의 OB 편차를 효율적으로 보정할 수 있다. 또한, 보정된 영상 데이터의 신뢰도를 향상할 수 있다.
다양한 실시예에서는 복수의 이미지 센서를 통해 영상 데이터 획득하여 OB 편차 보정 시, 최소한의 하드웨어 추가를 통해 카메라부를 소형화할 수 있다. 또한, 최소한의 연산을 통해 OB 편차를 연산하여 보정할 수 있다.
또한 다양한 실시예에서는 기존에 사용되고 있는 이미지 시그널 프로세서의 구조 또는 설계 변경 없이도 사용 가능하다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 2는 도 1에서 카메라부의 블록도를 도시한다.
도 3은 도 2에서 이미지 센서를 도시한다.
도 4는 도 2에서 연산부를 도시한다.
도 5는 다양한 실시예에 따른 전자 장치 내에서 신호 흐름도를 도시한다.
도 6은 다양한 실시예들에 따른 전자 장치의 동작 방법의 순서도를 도시한다.
도 7은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 예시도를 도시한다.
도 8은 도 6의 OB 편차 연산 처리 및 출력 동작의 순서도를 도시한다.
도 9 및 도 10은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 예시도들을 도시한다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시예들에 따른 전자 장치의 블록도를 도시한다.
도 1을 참조하면, 다양한 실시예들에 따른 전자 장치(100)는 입력부(110), 카메라부(120), 영상 처리부(130), 표시부(140), 메모리(150) 및 제어부(160)를 포함할 수 있다.
입력부(110)는 전자 장치(100)에서 입력 데이터를 발생시킬 수 있다. 이 때 입력부(110)는 전자 장치(100)의 사용자 입력에 대응하여, 입력 데이터를 발생시킬 수 있다. 그리고 입력부(110)는 적어도 하나의 입력 수단을 포함할 수 있다. 이러한 입력부(110)는 키 패드(key pad), 돔 스위치(dome switch), 물리 버튼, 터치 패널(touch panel), 조그 셔틀(jog & shuttle) 및 센서(sensor)를 포함할 수 있다.
카메라부(120)는 전자 장치(100)에서 영상 데이터를 촬영할 수 있다. 카메라부(120)는 이미지 센서와 신호 처리부를 구비할 수 있다. 이미지 센서는 광 신호를 전기적인 영상 신호로 변환할 수 있다. 신호 처리부는 아날로그의 영상 신호를 디지털의 영상 데이터로 변환할 수 있다. 이미지 센서와 신호 처리부는 일체형으로 구현될 수 있으며, 분리되어 구현될 수도 있다. 예를 들면, 이미지 센서는 CCD 센서 및 CMOS 센서를 포함하고, 신호 처리부는 DSP(Digital Signal Processor)를 포함할 수 있다.
다양한 실시예들에 따르면, 카메라부(120)는 듀얼 카메라 구조로 구현되어, 복수의 영상 데이터를 획득할 수 있다. 이를 위해 카메라부(120)는 복수의 이미지 센서를 구비할 수 있다. 즉 복수의 이미지 센서 각각은 하나의 피사체에 대응하여 영상 데이터를 획득할 수 있다. 다양한 실시예들에 따르면, 복수의 이미지 센서 각각은 일정한 레퍼런스 신호를 제공하기 위한 차광 영역인 옵티컬 블랙(optical black, 이하, ‘OB’라 한다.) 영역을 포함할 수 있다. 복수의 이미지 센서 각각은 OB 영역을 통해 OB 데이터를 획득할 수 있다. 카메라부(120)는 OB 데이터를 통해 각 이미지 센서 간의 물리적 특성인 오프셋(offset) 차이를 보정할 수 있다.
영상 처리부(130)는 전자 장치(100)에서 영상 데이터를 표시 데이터로 처리할 수 있다. 영상 처리부(130)는 예를 들면, 이미지 시그널 프로세서(image signal processor)일 수 있다. 영상 처리부(130)는 영상 데이터를 프레임 단위로 처리하여, 표시부(140)의 특성 및 크기에 대응시킬 수 있다. 영상 처리부(130)는 영상 코덱을 구비하여, 영상 데이터를 압축하거나, 압축된 영상 데이터를 복원할 수 있다. 예를 들면, 영상 코덱은 JPEG 코덱, MPEG4 코덱 및 Wavelet 코덱을 포함할 수 있다.
표시부(140)는 전자 장치(100)에서 표시 데이터를 출력할 수 있다. 표시 데이터는 전자 장치(100)에서 처리되는 정보를 나타낼 수 있다. 예를 들면, 표시부(140)는 액정 디스플레이(LCD; Liquid Crystal Display), 발광 다이오드(LED; Light Emitting Diode) 디스플레이, 유기 발광 다이오드(OLED; Organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; Micro Electro Mechanical Systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이 중 적어도 어느 하나를 포함할 수 있다. 이 때 표시부(140)는 입력부(110)와 결합되어, 터치 스크린(touch screen)으로 구현될 수 있다.
메모리(150)는 전자 장치(100)의 동작 프로그램들을 저장할 수 있다. 이 때 메모리(150)는 카메라부(120)로부터 획득한 복수의 영상 데이터를 처리하기 위한 프로그램들을 저장할 수 있다. 그리고 메모리(150)는 프로그램들을 수행하는 중에 발생되는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(150)는 영상 압축 파일을 저장할 수 있다. 다른 실시예에 따르면, 메모리(150)는 카메라부(120)로부터 획득한 복수의 영상 데이터를 저장할 수 있다.
제어부(160)는 전자 장치(100)에서 전반적인 동작을 제어할 수 있다. 이를 위해, 제어부(160)는 전자 장치(100)의 구성요소들에 기능적으로 연결되어, 전자 장치(100)의 구성요소들을 제어할 수 있다. 그리고 제어부(160)는 전자 장치(100)의 구성요소들로부터 명령 또는 데이터를 수신하여, 처리할 수 있다. 이를 통해, 제어부(160)는 다양한 기능들을 수행할 수 있다. 예를 들면, 제어부(160)는 각각의 기능을 위한 기능 처리부를 포함할 수 있다. 또한 기능 처리부는 애플리케이션 처리부(application processor; AP)일 수 있다. 다양한 실시예들에 따르면, 제어부(160)는 카메라부(120)로부터 획득한 복수의 영상 데이터를 처리할 수 있다.
도 2는 도 1에서 카메라부의 블록도를 도시한다. 도 3은 도 2에서 이미지 센서를 도시한다. 도 4는 도 2에서 연산부를 도시한다.
도 2를 참조하면, 다양한 실시예에 따른 카메라부(120)는 이미지 센서(210) 및 보정부(220)를 포함할 수 있다. 한편, 도 1에서는 영상 처리부(130)가 카메라부(120)와 분리되어 구현되는 것으로 설명하였으나, 실시예가 이에 한정되는 것은 아니고 카메라부(120) 내에 영상 처리부(130)가 일체형으로 구현될 수도 있다.
카메라부(120)는 복수의 영상 데이터를 획득하기 위해 복수의 이미지 센서(210)를 포함할 수 있다. 복수의 이미지 센서(210) 각각을 통해 복수의 영상 데이터를 획득할 수 있다. 예를 들면, 도 2에 도시된 바와 같이, 이미지 센서(210)는 제1 이미지 센서(211) 및 제2 이미지 센서(212)를 포함할 수 있다. 한편, 도면에서는 이미지 센서(210)가 두 개의 이미지 센서를 포함하는 것으로 도시하였으나, 실시예가 이에 한정되는 것은 아니다. 따라서, 이미지 센서(210)는 세 개 이상의 이미지 센서(210)를 포함할 수도 있다.
카메라부(120)는 제1 이미지 센서(211)로부터 제1 영상 데이터를 획득하고, 제2 이미지 센서(212)로부터 제2 영상 데이터를 획득할 수 있다. 예를 들면, 제1 영상 데이터와 제2 영상 데이터는 상호에 비대칭(asymmetry)일 수 있다. 이를 위해, 제1 영상 데이터의 제1 속성 파라미터와 제2 영상 데이터의 제2 속성 파라미터가 상이할 수 있다. 한편, 제1 영상 데이터와 제2 영상 데이터는, 상호에 대칭(symmetry)일 수 있다. 그리고 카메라부(120)는 복수의 데이터를 처리할 수 있다. 이를 위해, 제1 영상 데이터의 제1 속성 파라미터와 제2 영상 데이터의 제2 속성 파라미터가 동일할 수 있다.
제1 이미지 센서(211)는 예를 들면, 픽셀 어레이(pixel array), 행 디코더(row decoder)(미도시) 및 아날로그-디지털 변환기(analog-digital converter, ADC)(미도시) 등을 포함할 수 있다.
도 3을 참조하면, 제1 이미지 센서(211)의 픽셀 어레이는 복수의 픽셀들을 포함할 수 있다. 픽셀은, 예를 들면, 하나 이상의 마이크로 렌즈, 하나 이상의 컬러 필터, 하나 이상의 포토다이오드를 포함할 수 있다. 제1 이미지 센서(211)의 픽셀 어레이는 제1 활성 영역(211B) 및 제1 OB 영역(211A)을 포함할 수 있다.
제1 활성 영역(211B)에는 복수의 픽셀들이 배치될 수 있다. 제1 활성 영역(211B)에서 제1 활성 데이터가 획득될 수 있다. 즉, 제1 활성 영역(211B)에서는 복수의 픽셀로부터 얻어진 제1 활성 데이터가 획득될 수 있다.
제1 OB 영역(211A)은 제1 이미지 센서(211)의 픽셀 어레이에서 가장자리에 배치될 수 있다. 제1 OB 영역(211A)은 제1 활성 영역(211B)에 인접하여 형성될 수 있다. 예를 들면, 제1 OB 영역(211A)은 제1 활성 영역(211B)의 상단에 형성될 수 있다. 제1 OB 영역(211A)에는 차광된 픽셀들이 배치될 수 있다. 차광된 픽셀은 제1 활성 영역(211B)에 배치되는 픽셀과 대체적으로 구성이 동일하나, 포토다이오드에 광이 입사되지 않도록 포토다이오드 상에 메탈 또는 폴리 실리콘 등으로 형성된 차광막이 더 형성될 수 있다. 제1 OB 영역(211A)에서 제1 OB 데이터가 획득될 수 있다. 즉, 제1 OB 영역(211A)에서는 차광된 픽셀로부터 얻어진 제1 OB 데이터가 획득될 수 있다.
제1 OB 영역(211A)은 입사광과 무관하게 일정한 레퍼런스 신호를 제공할 수 있다. 제1 OB 영역(211A)은 온도 변화에 따라 영상 신호의 신호 레벨이 변동하는 것을 방지하는 역할을 한다. 즉, 정상 동작 시 레퍼런스 신호의 전압 레벨은 주위 온도에 의해 발생된 것으로 간주하여, 영상 신호와 레퍼런스 신호의 전압 레벨 차이가 입사광에 의해 생성된 신호로 계산될 수 있다. 따라서, 이후 영상 처리부(130)를 통해 더 정확한 영상 신호를 생성할 수 있다.
행 디코더는 픽셀 어레이를 구동할 수 있다. 행 디코더는 로 시그널 라인(row signal lines)을 통해 선택신호, 리셋 신호 및 전송 신호와 같은 구동 신호들을 픽셀 어레이에 인가하여 픽셀 어레이의 라인 픽셀들을 선택할 수 있다. 픽셀 어레이는 행 디코더의 구동 신호들에 응답하여 각각의 픽셀들에 의해서 센싱된 전기적 신호인 픽셀 신호를 복수의 아웃풋 라인을 통해서 ADC에 제공할 수 있다.
ADC는 픽셀 어레이로부터 제공되는 픽셀 신호를 디지털 신호로 변환할 수 있다. 제1 이미지 센서(211)는 픽셀 어레이에서 획득되는 광량을 ADC을 통해 픽셀 데이터로 변환할 수 있다. 픽셀 데이터는 Image pipeline을 포함하는 보정부(220)를 통해서 출력될 수 있다. 픽셀 데이터는 보정부(220)에서 MIPI(mobile industry processor interface) 등과 같은 인터페이스를 통해서 외부(예를 들면 영상 처리부(130) 또는 제어부(160))로 전달될 수 있다.
제2 이미지 센서(212)는 예를 들면, 픽셀 어레이, 행 디코더 (미도시) 및 ADC(미도시) 등을 포함할 수 있다.
도 3을 참조하면, 제2 이미지 센서(212)의 픽셀 어레이는 복수의 픽셀들을 포함할 수 있다. 픽셀은, 예를 들면, 하나 이상의 마이크로 렌즈, 하나 이상의 컬러 필터, 하나 이상의 포토다이오드를 포함할 수 있다. 제2 이미지 센서(212)의 픽셀 어레이는 제2 활성 영역(212B) 및 제2 OB 영역(212A)을 포함할 수 있다.
제2 활성 영역(212B)에는 복수의 픽셀들이 배치될 수 있다. 제2 활성 영역(212B)에서 제1 활성 데이터가 획득될 수 있다. 즉, 제2 활성 영역(212B)에서는 복수의 픽셀로부터 얻어진 제1 활성 데이터가 획득될 수 있다.
제2 OB 영역(212A)은 제2 이미지 센서(212)의 픽셀 어레이에서 가장자리에 배치될 수 있다. 제2 OB 영역(212A)은 제2 활성 영역(212B) 에 인접하여 형성될 수 있다. 예를 들면, 제2 OB 영역(212A)은 제2 활성 영역(212B)의 상단에 형성될 수 있다. 제2 OB 영역(212A)에는 차광된 픽셀들이 배치될 수 있다. 차광된 픽셀은 제2 활성 영역(212B)에 배치되는 픽셀과 대체적으로 구성이 동일하나, 포토다이오드에 광이 입사되지 않도록 포토다이오드 상에 메탈 또는 폴리 실리콘 등으로 형성된 차광막이 더 형성될 수 있다. 제2 OB 영역(212A)에서 제1 OB 데이터가 획득될 수 있다. 즉, 제2 OB 영역(212A)에서는 차광된 픽셀로부터 얻어진 제1 OB 데이터가 획득될 수 있다.
제2 OB 영역(212A)은 입사광과 무관하게 일정한 레퍼런스 신호를 제공할 수 있다. 제2 OB 영역(212A)은 온도 변화에 따라 영상 신호의 신호 레벨이 변동하는 것을 방지하는 역할을 한다. 즉, 정상 동작 시 레퍼런스 신호의 전압 레벨은 주위 온도에 의해 발생된 것으로 간주하여, 영상 신호와 레퍼런스 신호의 전압 레벨 차이가 입사광에 의해 생성된 신호로 계산될 수 있다. 따라서, 이후 영상 처리부(130)를 통해 더 정확한 영상 신호를 생성할 수 있다.
행 디코더는 픽셀 어레이를 구동할 수 있다. 행 디코더는 로 시그널 라인(row signal lines)을 통해 선택신호, 리셋 신호 및 전송 신호와 같은 구동 신호들을 픽셀 어레이에 인가하여 픽셀 어레이의 라인 픽셀들을 선택할 수 있다. 픽셀 어레이는 행 디코더의 구동 신호들에 응답하여 각각의 픽셀들에 의해서 센싱된 전기적 신호인 픽셀 신호를 복수의 아웃풋 라인을 통해서 ADC에 제공할 수 있다.
ADC는 픽셀 어레이로부터 제공되는 픽셀 신호를 디지털 신호로 변환할 수 있다. 제1 이미지 센서는 픽셀 어레이에서 획득되는 광량을 ADC을 통해 픽셀 데이터로 변환할 수 있다. 픽셀 데이터는 image pipeline을 포함하는 보정부(220)를 통해서 출력될 수 있다. 픽셀 데이터는 보정부(220)에서 MIPI 등과 같은 인터페이스를 통해서 외부(예를 들면 영상 처리부(130) 또는 제어부(160))로 전달될 수 있다.
제1 이미지 센서(211) 및 제2 이미지 센서(212)는 노광 및/또는 리드아웃(read out) 타이밍(timing)을 동일하게 유지하기 위해 각 센서 사이에 싱크를 맞출 수 있다.
한편, 다시 도 2를 참조하면, 보정부(220)는 저장부(221) 및 연산부(222)를 포함할 수 있다. 저장부(221)는 이미지 센서(210)로부터 획득되는 데이터를 저장할 수 있다. 저장부(221)는 예를 들면, 라인 메모리(line memory), 선입선출 메모리(first in first out memory) 또는 프레임 버퍼(frame buffer) 중 적어도 어느 하나일 수 있다.
저장부(221)는 제1 영상 데이터 및 제2 영상 데이터의 OB 데이터 값을 각각 검출할 수 있다. 즉, 저장부(221)는 제1 OB 영역(211A)으로부터 획득한 제1 OB 데이터 및 제2 OB 영역(212A)으로부터 획득한 제2 OB 데이터 값을 각각 검출할 수 있다.
연산부(222)는 이러한 제1 OB 데이터 및 제2 OB 데이터로부터 OB 편차를 계산할 수 있다. 연산부(222)는 제1 영상 데이터 및 제2 영상 데이터의 OB 편차 연산을 수행할 수 있다. 도 4를 참조하면, 연산부(222)는 제1 연산부(401), 제2 연산부(403), 제3 연산부(405) 및 드라이버(407) 중 적어도 어느 하나를 포함할 수 있다. 제1 연산부(401)는 덧셈 연산을 수행하는 덧셈기일 수 있다. 제2 연산부(403)는 뺄셈 연산을 수행하는 뺄셈기일 수 있다. 제3 연산부(405)는 곱셈 연산을 수행하는 곱셈기일 수 있다. 드라이버(407)는 제1 연산부(401), 제2 연산부(403) 및 제3 연산부(405)를 제어할 수 있다. 연산부(222)의 제1 연산부(401), 제2 연산부(403), 제3 연산부(405) 및 드라이버(407)는 이미지 센서의 개수에 따라 달라질 수 있다.
보정부(220)는 연산부(222)를 통해 OB 편차를 연산할 수 있다. 예를 들면, 연산부(222)는 제1 OB 데이터의 평균값 및 제2 OB 데이터의 평균값을 계산할 수 있다. 연산부(222)는 이러한 제1 OB 데이터의 평균값 및 제2 OB 데이터의 평균값의 차이를 계산함으로써, OB 편차를 연산할 수 있다.
보정부(220)는 제1 영상 데이터 및 제2 영상 데이터를 통해 제1 이미지 센서(211) 및 제2 이미지 센서(212) 간의 OB 편차를 보정할 수 있다. 구체적으로, 보정부(220)는 연산부(222)를 통해 제1 영상 데이터 또는 제2 영상 데이터 중 기준이 되는 영상 데이터에 계산한 OB 편차를 연산할 수 있다. 예를 들면, 연산부(222)는 제2 영상 데이터에 계산한 OB 편차를 더함으로써, OB 편차를 보정할 수 있다.
또한, 보정부(220)는 제1 이미지 센서(211) 및 제2 이미지 센서(212)로부터 획득되는 제1 영상 데이터 및 제2 영상 데이터를 병합할 수 있다. 보정부(220)는 제1 영상 데이터 및 제2 영상 데이터 간의 타이밍 싱크를 맞출 수 있다. 보정부(220)는 싱크를 맞춰 출력된 제1 영상 데이터 및 제2 영상 데이터가 베이어(bayer) 패턴의 형태를 이루기 위한 리오더(re-order) 작업을 수행할 수 있다.
보정부(220)는 영상 데이터를 MIPI 등과 같은 인터페이스를 통해서 외부(예를 들면 영상 처리부(130) 또는 제어부(160))로 전달할 수 있다. 예를 들면, 보정부(220)는 OB 편차가 보정된 제1 영상 데이터 및 제2 영상 데이터를 영상 처리부(130)로 출력할 수 있다.
한편, 다시 도 2를 참조하면, 영상 처리부(130)는 보정부(220)로부터 OB 편차가 보정된 제1 영상 데이터 및 제2 영상 데이터를 수신할 수 있다. 영상 처리부(130)는 OB 편차가 보정된 제1 영상 데이터 및 제2 영상 데이터를 처리할 수 있다. 예를 들면, 영상 처리부(130)는 OB 편차가 보정된 제1 영상 데이터 및 제2 영상 데이터에 OB 데이터 값을 제외(minus)할 수 있다.
도 5는 다양한 실시예에 따른 전자 장치 내에서 신호 흐름도를 도시한다.
도 5에 도시된 바와 같이, 제1 이미지 센서(211)는 501 동작에서 제1 촬영을 수행할 수 있다. 제2 이미지 센서(212)는 503 동작에서 제2 촬영을 수행할 수 있다. 제1 촬영 및 제2 촬영은 순차적으로 수행될 수 있고 동시에 수행될 수도 있다. 제1 이미지 센서(211) 및 제2 이미지 센서(212) 각각은 일정한 레퍼런스 신호를 제공하기 위한 차광 영역인 OB 영역을 포함할 수 있다.
제1 이미지 센서(211)는 505 동작에서 제1 촬영을 통해 획득한 제1 영상 데이터를 보정부(220)로 전달할 수 있다. 제1 영상 데이터는 제1 이미지 센서(211)의 제1 OB 영역(211A)으로부터 획득한 제1 OB 데이터를 포함할 수 있다. 제2 이미지 센서(212)는 507 동작에서 제2 촬영을 통해 획득한 제2 영상 데이터를 보정부(220)로 전달할 수 있다. 제2 영상 데이터는 제2 이미지 센서(212)의 제2 OB 영역(212A)으로부터 획득한 제2 OB 데이터를 포함할 수 있다.
보정부(220)는 509 동작에서 OB 편차를 계산할 수 있다. 보정부(220)는 제1 영상 데이터 및 제2 영상 데이터로부터 제1 OB 데이터 및 제2 OB 데이터를 각각 검출할 수 있다. 보정부(220)는 제1 OB 데이터 및 제2 OB 데이터로부터 OB 편차를 계산할 수 있다. 보정부(220)는 연산부(222)를 더 구비하여 OB 편차를 계산할 수 있다. 예를 들면, 보정부(220)는 연산부(222)를 통해 제1 OB 데이터 및 제2 OB 데이터 각각의 평균값을 계산하고, 이러한 평균값의 차이를 통해 OB 편차를 계산할 수 있다.
보정부(220)는 511 동작에서 영상 처리부(130)로 출력하고자 하는 제1 영상 데이터 또는 제2 영상 데이터의 출력 라인을 결정할 수 있다. 따라서, 보정부(220)는 제1 영상 데이터 또는 제2 영상 데이터를 출력 라인에 따라 순차적으로 영상 처리부(130)로 출력할 수 있다.
보정부(220)는 513 동작에서 제1 영상 데이터를 영상 처리부(130)로 출력할 수 있다. 보정부(220)는 결정된 출력 라인에 따라 제1 영상 데이터를 라인 단위로 영상 처리부(130)로 출력할 수 있다.
결정된 출력 라인에 따른 제1 영상 데이터의 출력 이후, 보정부(220)는 515 동작에서 제2 영상 데이터의 OB 편차를 보정할 수 있다. 구체적으로, 결정된 출력 라인에 따른 제2 영상 데이터 출력 시, OB 편차를 제2 영상 데이터에 연산함으로써, OB 편차를 보정할 수 있다. 예를 들면, 보정부(220)는 연산부(222)를 통해 제2 영상 데이터에 계산된 OB 편차를 더할 수 있다. 이때, 연산부(222) 중 덧셈을 수행하는 제1 연산부(401)는 제2 영상 데이터 출력 시 활성화 모드로 전환될 수 있다. 보정부(220)는 517 동작에서 OB 편차가 보정된 제2 영상 데이터를 영상 처리부(130)로 출력할 수 있다. 보정부(220)는 517 동작에서 결정된 출력 라인에 따라 제2 영상 데이터를 라인 단위로 영상 처리부(130)로 출력할 수 있다.
영상 처리부(130)는 519 동작에서 수신한 제1 영상 데이터 및 제2 영상 데이터를 처리할 수 있다. 예를 들면, 영상 처리부(130)는 OB 편차가 보정된 제1 영상 데이터 및 제2 영상 데이터를 처리할 수 있다. 영상 처리부(130)는 OB 데이터를 포함하는 제1 영상 데이터 및 제2 영상 데이터를 수신하여 처리할 수 있다. 영상 처리부(130)는 OB 편차가 보정된 제1 영상 데이터 및 제2 영상 데이터 각각에서 OB 데이터 값을 제외할 수 있다.
도 6은 다양한 실시예에 따른 전자 장치의 동작 방법의 순서도를 도시한다. 도 7은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 예시도를 도시한다.
도 6을 참조하면, 다양한 실시예에 따른 전자 장치(100)의 동작 방법은, 보정부(220)가 카메라부(120)를 통해 601 동작에서 제1 영상 데이터(710) 및 제2 영상 데이터(720)를 획득하는 것으로부터 출발할 수 있다. 예를 들면, 카메라부(120)는 복수의 이미지 센서(210)인 제1 이미지 센서(211) 및 제2 이미지 센서(212)를 포함할 수 있다. 제1 이미지 센서(211)는 제1 촬영을 수행하여 제1 영상 데이터(710)를 획득할 수 있다. 제2 이미지 센서(212)는 제2 촬영을 수행하여 제2 영상 데이터(720)를 획득할 수 있다.
도 7에 도시된 바와 같이, 제1 이미지 센서(211)의 제1 OB 영역(211A)으로부터 제1 OB 데이터(711)를 획득할 수 있다. 또한, 제1 이미지 센서(211)의 제1 활성 영역(211B)으로부터 제1 활성 데이터(712)를 획득할 수 있다. 이와 유사하게, 제2 이미지 센서(212)의 제2 OB 영역(212A)으로부터 제2 OB 데이터(721)를 획득할 수 있다. 또한, 제2 이미지 센서(212)의 제2 활성 영역(212B)으로부터 제2 활성 데이터(722)를 획득할 수 있다.
다음으로, 보정부(220)는 603 동작에서 제1 영상 데이터(710) 및 제2 영상 데이터(720)를 저장할 수 있다. 즉, 보정부(220)는 저장부(221)를 통해 제1 이미지 센서(211) 및 제2 이미지 센서(212)가 획득한 제1 영상 데이터(710) 및 제2 영상 데이터(720)를 저장할 수 있다. 또한, 보정부(220)는 저장부(221)를 통해 제1 영상 데이터(710) 및 제2 영상 데이터(720)의 OB 데이터 값을 각각 검출할 수 있다. 즉, 저장부(221)는 제1 OB 영역(211A)으로부터 획득한 제1 OB 데이터(711) 및 제2 OB 영역(212A)으로부터 획득한 제2 OB 데이터(721) 값을 각각 검출할 수 있다.
다음으로, 보정부(220)는 605 동작에서 연산부(222)를 통해 제1 OB 데이터(711) 및 제2 OB 데이터(721)로부터 OB 편차를 계산할 수 있다. 즉, 보정부(220)는 605 동작에서 OB 편차를 계산하여 제1 이미지 센서(211) 및 제2 이미지 센서(212) 간의 OB 편차를 보정할 수 있다. 구체적으로, 보정부(220)는 연산부(222)를 통해 제1 영상 데이터(710) 또는 제2 영상 데이터(720) 중 기준이 되는 영상 데이터에 OB 편차를 연산할 수 있다. 다음으로, 보정부(220)는 제1 영상 데이터(710) 및 제2 영상 데이터(600)를 라인 단위로 출력할 수 있다. 보정부(220)는 605 동작에서 OB 편차가 연산 처리된 데이터를 영상 처리부(130)로 출력할 수 있다. 즉, 보정부(220)는 OB 편차가 보정된 제1 영상 데이터(710) 및 제2 영상 데이터(720)를 출력할 수 있다.
도 8은 도 6의 OB 편차 연산 처리 및 출력 동작의 순서도를 도시한다. 도 9 및 도 10은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 예시도들을 도시한다.
도 8 내지 도 10을 참조하여, 도 6의 OB 편차 연산 처리 및 출력 동작을 보다 상세하게 설명한다. 보정부(220)는 801 동작에서 제1 OB 데이터(711) 및 제2 OB 데이터(721)의 값을 각각 검출하고, 연산부(222)를 통해 OB 편차를 계산할 수 있다. 예를 들면, 연산부(222)는 제1 OB 데이터(711)의 평균값 및 제2 OB 데이터(721)의 평균값을 계산하고, 이러한 평균값의 차이를 계산할 수 있다.
한편, 보정부(220)는 801 동작에서 저장부(221)를 통해 저장된 제1 영상 데이터(710) 및 제2 영상 데이터(720)를 병합하는 동작을 추가적으로 수행할 수 있다. 보정부(220)는 801 동작에서 제1 영상 데이터(710) 및 제2 영상 데이터(720) 간에 타이밍을 맞추어 재정렬하는 동작을 추가적으로 수행할 수 있다. 보정부(220)는 싱크를 맞춰 출력된 제1 영상 데이터(710) 및 제2 영상 데이터(720)가 베이어 패턴의 형태를 이루기 위한 리오더 작업을 수행할 수 있다.
다음으로, 보정부(220)는 803 동작에서 영상 처리부(130)로 출력하고자 하는 제1 영상 데이터(910) 또는 제2 영상 데이터(920)의 출력 라인을 결정할 수 있다. 따라서, 보정부(220)는 제1 영상 데이터(910) 또는 제2 영상 데이터(920)를 결정된 출력 라인에 따라 순차적으로 영상 처리부(130)로 출력할 수 있다.
다음으로, 보정부(220)는 805 동작에서 결정된 출력 라인에 따라 제1 영상 데이터(910)를 출력할 수 있다. 이때, 보정부(220)는 재정렬된 제1 영상 데이터(910)를 영상 처리부(130)로 출력할 수 있다.
예를 들면, 도 9 및 도 10에 도시된 바와 같이, 보정부(220)는 제1 영상 데이터(910) 전송을 위한 제1 클럭 신호(S1)에 맞춰 제1 라인의 제1 영상 데이터(L11)를 출력할 수 있다. 이때, 제1 클럭 신호(S1)는 하이일 때 인에이블 상태인 것으로 가정한다. 보정부(220)는 제1 클럭 신호(S1)가 로우일 때, 제1 라인의 제1 영상 데이터(L11)를 영상 처리부(130)로 출력할 수 있다.
다음으로, 제1 라인의 제1 영상 데이터(L11)의 출력이 완료된 경우, 보정부(220)는 807 동작에서 연산부(222)를 통해 제1 라인의 제2 영상 데이터(L21)에 OB 편차를 보정할 수 있다. 이때, 제어부(160)는 OB 편차 보정을 위해 연산부(222)를 활성화 모드로 전환할 수 있다. 예를 들면, 연산부(222)는 제1 영상 데이터(910) 출력 시에는 비활성화 모드였다가 제2 영상 데이터(920) 출력 시에만 활성화 모드로 전환될 수 있다.
따라서, 보정부(220)는 연산부(222)를 통해 제1 라인의 제2 영상 데이터(L21)에 OB 편차를 보정할 수 있다. 즉, 연산부(222)는 801 동작에서 계산한 OB 편차를 제2 영상 데이터(720)에 라인 단위로 연산할 수 있다. 즉, 연산부(222)는 재정렬된 제2 영상 데이터(920)에 라인 단위로 OB 편차를 연산할 수 있다. 예를 들면, 연산부(222)는 재정렬된 제1 라인의 제2 영상 데이터(L21)의 값에 계산된 OB 편차 값을 더할 수 있다. 다양한 실시예에서는, 연산부(222) 중 OB 편차 보정에 필요한 연산부(222)만 활성화 모드로 전환할 수 있다. 예를 들면, 보정부(220)는 제2 영상 데이터(920) 출력 시, 제1 연산부(401)만 활성화 모드로 전환하여 제2 영상 데이터(920)에 덧셈 연산을 수행할 수 있다.
다음으로, 보정부(220)는 809 동작에서 제2 영상 데이터(920)를 라인 단위로 출력할 수 있다. 이때, 보정부(220)는 재정렬된 제2 영상 데이터(920)에서 OB 편차가 연산된 제1 라인의 제2 영상 데이터(L21)를 영상 처리부(130)로 출력할 수 있다.
예를 들면, 보정부(220)는 연산부(222)를 통해 제2 영상 데이터(920) 전송을 위한 제2 클럭 신호(S2)에 맞춰 제1 라인의 제2 영상 데이터(L21)를 연산 처리한 후 출력할 수 있다. 이때, 제2 클럭 신호(S2)는 하이일 때 인에이블 상태인 것으로 가정한다. 연산부(222)는 제2 클럭 신호(S2)가 로우일 때, 활성화되어 제2 영상 데이터(920)를 연산 처리할 수 있다. 즉, 연산부(222)는 제2 클럭 신호(S2)가 로우일 때, 제1 라인의 제2 영상 데이터(L21)의 값에 계산된 OB 편차 값을 더할 수 있다. 또한, 저장부(221)는 제2 클럭 신호(S2)가 로우일 때, OB 편차가 연산된 제1 라인의 제2 영상 데이터(L21)를 출력할 수 있다.
한편, 실시예에서는, 제2 영상 데이터(920)에 OB 편차를 연산하여 영상 처리부(130)로 출력하는 것으로 설명하였으나, 실시예가 이에 한정되는 것은 아니다. 따라서, 다양한 실시예에 따르면, 저장부(221)는 제1 영상 데이터(910)의 값에 OB 편차를 연산하여 영상 처리부(130)로 출력할 수 있다. 예를 들면, 저장부(221)는 연산부(222)를 통해 제1 영상 데이터(910)의 값에 계산된 OB 편차를 더하여 출력할 수 있다. 이때, 연산부(222)는 제1 영상 데이터(910) 출력 시 활성화 모드로 전환되고, 제2 영상 데이터(920) 출력 시, 비활성화 모드로 전환될 수 있다.
한편, 다양한 실시예에 따르면, 제1 영상 데이터(910) 및 제2 영상 데이터(920) 모두에 OB 편차를 연산하여 영상 처리부(130)로 출력할 수도 있다. 이때, 연산부(222)는 제1 영상 데이터(910) 및 제2 영상 데이터(920) 출력 시 계속해서 활성화 모드일 수 있다.
다음으로, 제어부(160)는 811 동작에서 제1 영상 데이터(910) 또는 제2 영상 데이터(920)의 출력을 종료할 것인지 결정할 수 있다. 제어부(160)는 811 동작에서 제1 영상 데이터(910) 및 제2 영상 데이터(920)의 출력이 모두 완료되었다고 결정하는 경우, 출력을 종료할 수 있다. 한편, 제어부(160)는 811 동작에서 제1 영상 데이터(910) 및 제2 영상 데이터(920)의 출력이 모두 완료되지 않았다고 결정하는 경우, 803 동작으로 리턴할 수 있다.
출력이 모두 완료되지 않았다고 결정하는 경우, 보정부(220)는 803 동작에서 영상 처리부(130)로 출력하고자 하는 제1 영상 데이터(910) 또는 제2 영상 데이터(920)의 출력 라인을 결정할 수 있다. 예를 들면, 제어부(160)는 제1 라인의 제2 영상 데이터(L21)의 출력이 완료되었다고 결정하는 경우, 제2 라인의 제1 영상 데이터(L12)를 출력하는 것으로 결정할 수 있다.
다음으로, 보정부(220)는 805 동작에서 결정된 출력 라인에 따라 제1 영상 데이터(910)를 출력할 수 있다. 즉, 보정부(220)는 제2 라인의 제1 영상 데이터(L12)를 출력하는 것으로 결정하는 경우, 805 동작에서 제2 라인의 제1 영상 데이터(L12)를 출력할 수 있다. 보정부(220)는 제1 영상 데이터(910) 전송을 위한 제1 클럭 신호(S1)에 맞춰 제2 라인의 제1 영상 데이터(L12)를 출력할 수 있다. 보정부(220)는 제1 클럭 신호(S1)가 로우일 때, 재정렬된 제2 라인의 제1 영상 데이터(L12)를 영상 처리부(130)로 출력할 수 있다.
다음으로, 제2 라인의 제1 영상 데이터(L12)의 출력이 완료된 경우, 보정부(220)는 807 동작에서 연산부(222)를 통해 제2 라인의 제2 영상 데이터(L22)에 OB 편차를 보정할 수 있다. 보정부(220)는 연산부(222)를 통해 제2 라인의 제2 영상 데이터(L22)에 OB 편차를 보정할 수 있다. 즉, 연산부(222)는 801 동작에서 계산한 OB 편차를 제2 라인의 제2 영상 데이터(L22)에 연산할 수 있다. 즉, 연산부(222)는 재정렬된 제2 라인의 제2 영상 데이터(L22)에 OB 편차를 연산할 수 있다. 예를 들면, 연산부(222)는 재정렬된 제2 라인의 제2 영상 데이터(L22)의 값에 계산된 OB 편차 값을 더할 수 있다.
다음으로, 보정부(220)는 809 동작에서 제2 영상 데이터(920)를 라인 단위로 출력할 수 있다. 이때, 보정부(220)는 재정렬된 제2 라인의 제2 영상 데이터(L22)에서 OB 편차가 연산된 제2 라인의 제2 영상 데이터(L22)를 영상 처리부(130)로 출력할 수 있다.
예를 들면, 보정부(220)는 연산부(222)를 통해 제2 영상 데이터(920) 전송을 위한 제2 클럭 신호(S2)에 맞춰 제2 라인의 제2 영상 데이터(L22)를 연산 처리한 후 출력할 수 있다. 이때, 제2 클럭 신호(S2)는 하이일 때 인에이블 상태인 것으로 가정한다. 연산부(222)는 제2 클럭 신호(S2)가 로우일 때, 활성화되어 제2 영상 데이터(920)를 연산 처리할 수 있다. 즉, 연산부(222)는 제2 클럭 신호(S2)가 로우일 때, 제2 라인의 제2 영상 데이터(L22)의 값에 계산된 OB 편차 값을 더할 수 있다. 또한, 저장부(221)는 제2 클럭 신호(S2)가 로우일 때, OB 편차가 연산된 제2 라인의 제2 영상 데이터(L22)를 출력할 수 있다.
보정부(220)는 제3 라인의 제1 영상 데이터(L13) 및 제3 라인의 제2 영상 데이터(L24)도 이와 유사한 방식으로 영상 처리부(130)로 출력할 수 있다. 또한, 제어부(160)는 제4 라인의 제1 영상 데이터(L14) 및 제4 라인의 제2 영상 데이터(L24)도 이와 유사한 방식으로 영상 처리부(130)로 출력할 수 있다.
보정부(220)는 제1 영상 데이터(910) 및 제2 영상 데이터(920)의 모든 라인을 영상 처리부(130)로 출력할 수 있다. 보정부(220)는 811 동작에서 제1 영상 데이터(910) 및 제2 영상 데이터(920)의 모든 라인이 출력되었는지 판단하여 종료 여부를 결정할 수 있다. 보정부(220)는 811 동작에서 제1 영상 데이터(910) 및 제2 영상 데이터(920)의 모든 라인이 출력되지 않았다고 판단한 경우, 803 동작으로 리턴할 수 있다. 보정부(220)는 811 동작에서 제1 영상 데이터(710) 및 제2 영상 데이터(720)의 모든 라인이 출력되었다고 판단한 경우, 605 동작을 종료할 수 있다.
다양한 실시예에서는 하나의 영상 처리부(130)로 복수의 이미지 센서(210)로부터 획득한 영상 데이터를 처리할 수 있다. 특히, 각 이미지 센서(210) 간의 OB 편차를 효율적으로 보정할 수 있다. 또한, 보정된 영상 데이터의 신뢰도를 향상할 수 있다.
다양한 실시예에서는 복수의 이미지 센서(210)를 통해 영상 데이터 획득하여 OB 편차 보정 시, 최소한의 하드웨어 추가를 통해 카메라부(120)를 소형화할 수 있다. 또한, 최소한의 연산을 통해 OB 편차를 연산하여 보정할 수 있다.
또한 다양한 실시예에서는 기존에 사용되고 있는 영상 처리부(예를 들면, 이미지 시그널 프로세서)의 구조 또는 설계 변경 없이도 사용 가능하다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 일정한 레퍼런스 신호를 제공하기 위한 차광 영역인 OB(optical black, OB) 영역을 포함하는 복수의 이미지 센서로부터 복수의 영상 데이터를 획득하는 동작;
    상기 이미지 센서는 제1 이미지 센서 및 제2 이미지 센서를 포함하고,
    상기 획득하는 동작은,
    상기 제1 이미지 센서로부터 제1 OB 데이터 및 제1 활성 데이터를 포함하는 제1 영상 데이터를 획득하고,
    상기 제2 이미지 센서로부터 제2 OB 데이터 및 제2 활성 데이터를 포함하는 제2 영상 데이터를 획득하는 동작을 포함하고,
    상기 제1 OB 데이터 및 상기 제2 OB 데이터를 통해 OB 편차를 라인 단위로 결정하는 동작;
    상기 OB 편차를 보정할 상기 복수의 영상 데이터 중 적어도 어느 하나의 출력 라인을 결정하는 동작;
    상기 복수의 영상 데이터 중에서 상기 결정된 출력 라인에 상응하는 데이터를 상기 OB 편차에 기초하여 보정하는 동작; 및
    상기 OB 편차가 보정된 상기 복수의 영상 데이터를 영상 처리부로 출력하는 동작을 포함하는 전자 장치의 동작 방법.
  2. 삭제
  3. 삭제
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 OB 편차는 상기 제1 OB 데이터의 평균값 및 상기 제2 OB 데이터의 평균값의 차이인 전자 장치의 동작 방법.
  5. 제1항에 있어서,
    상기 보정하는 동작은,
    상기 제1 영상 데이터 및 상기 제2 영상 데이터 중 적어도 어느 하나에 상기 결정된 OB 편차를 보정하는 전자 장치의 동작 방법.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 보정하는 동작은,
    상기 제1 영상 데이터 및 상기 제2 영상 데이터 중 적어도 어느 하나에 상기 결정된 OB 편차를 더하는 전자 장치의 동작 방법.
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 보정하는 동작은 상기 제2 영상 데이터를 상기 영상 처리부로 출력 시 활성화되는 전자 장치의 동작 방법.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 출력하는 동작은,
    상기 제1 영상 데이터를 상기 영상 처리부로 출력하고,
    상기 제2 영상 데이터에 상기 OB 편차를 보정하여 상기 영상 처리부로 출력하는 전자 장치의 동작 방법.
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 출력하는 동작은,
    상기 OB 편차가 보정된 상기 복수의 영상 데이터를 라인 단위로 출력하는 전자 장치의 동작 방법.
  10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 영상 처리부는 상기 복수의 영상 데이터 중 적어도 어느 하나에 OB 편차가 보정된 상기 복수의 영상 데이터를 처리하는 전자 장치의 동작 방법.
  11. 일정한 레퍼런스 신호를 제공하기 위한 차광 영역인 OB(optical black, OB) 영역을 포함하고, 복수의 영상 데이터를 획득하는 복수의 이미지 센서;
    상기 이미지 센서는 제1 이미지 센서 및 제2 이미지 센서를 포함하고,
    상기 제1 이미지 센서로부터 획득되는 제1 영상 데이터는 제1 OB 데이터 및 제1 활성 데이터를 포함하고, 및
    상기 제2 이미지 센서로부터 획득되는 제2 영상 데이터는 제2 OB 데이터 및 제2 활성 데이터를 포함하고,
    상기 제1 OB 데이터 및 상기 제2 OB 데이터를 통해 OB 편차를 라인 단위로 결정하고,
    상기 OB 편차를 보정할 상기 복수의 영상 데이터 중 적어도 어느 하나의 출력 라인을 결정하고,
    상기 복수의 영상 데이터 중에서 상기 결정된 출력 라인에 상응하는 데이터를 상기 OB 편차에 기초하여 보정하는 보정부;
    상기 OB 편차가 보정된 데이터를 수신하는 영상 처리부; 및
    상기 이미지 센서, 상기 보정부 및 상기 영상 처리부와 기능적으로 연결되는 제어부를 포함하는 전자 장치.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서,
    상기 OB 편차는 상기 제1 OB 데이터의 평균값 및 상기 제2 OB 데이터의 평균값의 차이인 전자 장치.
  15. 제11항에 있어서,
    상기 보정부는 상기 제1 영상 데이터 및 상기 제2 영상 데이터 중 적어도 어느 하나에 상기 결정된 OB 편차를 보정하는 전자 장치.
  16. 제11항에 있어서,
    상기 보정부는 상기 제1 영상 데이터 및 상기 제2 영상 데이터 중 적어도 어느 하나에 상기 결정된 OB 편차를 더하는 전자 장치.
  17. 제11항에 있어서,
    상기 보정부는 연산부를 더 포함하고,
    상기 연산부는 상기 제2 영상 데이터를 상기 영상 처리부로 출력 시 활성화 모드로 전환되는 전자 장치.
  18. 제11항에 있어서,
    상기 보정부는 상기 제1 영상 데이터를 상기 영상 처리부로 출력하고,
    상기 제2 영상 데이터에 상기 OB 편차를 보정하여 상기 영상 처리부로 출력하는 전자 장치.
  19. 제11항에 있어서,
    상기 보정부는 상기 영상 데이터의 출력 라인을 결정하고, 상기 OB 편차가 보정된 상기 복수의 영상 데이터를 라인 단위로 출력하는 전자 장치.
  20. 제11항에 있어서,
    상기 영상 처리부는 상기 복수의 영상 데이터 중 적어도 어느 하나에 OB 편차가 보정된 상기 복수의 영상 데이터를 처리하는 전자 장치.
KR1020160001593A 2016-01-06 2016-01-06 전자 장치 및 그의 동작 방법 KR102443218B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160001593A KR102443218B1 (ko) 2016-01-06 2016-01-06 전자 장치 및 그의 동작 방법
US15/393,816 US10158812B2 (en) 2016-01-06 2016-12-29 Electronic device and operation method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160001593A KR102443218B1 (ko) 2016-01-06 2016-01-06 전자 장치 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
KR20170082334A KR20170082334A (ko) 2017-07-14
KR102443218B1 true KR102443218B1 (ko) 2022-09-15

Family

ID=59227208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160001593A KR102443218B1 (ko) 2016-01-06 2016-01-06 전자 장치 및 그의 동작 방법

Country Status (2)

Country Link
US (1) US10158812B2 (ko)
KR (1) KR102443218B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102443218B1 (ko) * 2016-01-06 2022-09-15 삼성전자주식회사 전자 장치 및 그의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008183119A (ja) * 2007-01-29 2008-08-14 Matsushita Electric Ind Co Ltd ヘッド分離型カメラおよびカメラヘッド
JP2011250249A (ja) * 2010-05-28 2011-12-08 Panasonic Corp 映像信号処理装置および映像信号処理方法
US20150116533A1 (en) * 2013-10-30 2015-04-30 Novatek Microelectronics Corp. Image sensing apparatus and black level controlling method thereof

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3651248A (en) * 1969-01-11 1972-03-21 Fernseh Gmbh Black level clamping by color signal difference gated to storage during beam blocking
JPH099270A (ja) * 1995-06-23 1997-01-10 Sony Corp ビデオカメラおよびビデオカメラ装置
JP2001186419A (ja) * 1999-12-24 2001-07-06 Nec Corp イメージセンサ及び画素読出し方法
US20080192130A1 (en) * 2000-03-28 2008-08-14 Mtekvision Co., Ltd. Method And Apparatus For Compensating Black Level By Dark Current Of Image Sensor
US7218351B2 (en) * 2002-04-05 2007-05-15 Victor Company Of Japan, Limited Image-sensing apparatus for compensating video signal of a plurality of channels
US7236199B2 (en) * 2003-07-07 2007-06-26 Toshikazu Hori Multi-tap camera
JP2005109772A (ja) * 2003-09-30 2005-04-21 Sanyo Electric Co Ltd 固体撮像素子を用いたビデオカメラ装置の黒レベル補正回路および黒レベル補正方法
KR100530257B1 (ko) * 2005-04-26 2005-11-22 엠텍비젼 주식회사 이미지 센서에서의 암 전류에 의한 노이즈 제거 방법 및장치
JP2007110375A (ja) * 2005-10-13 2007-04-26 Fujifilm Corp スミア補正装置
KR100790982B1 (ko) * 2006-02-14 2008-01-03 삼성전자주식회사 옵티컬 블랙 화소들의 리셋 신호 레벨들의 평균값을이용하여 활성 화소의 리셋 신호 레벨을 보정하는 이미지센서 및 이미지 센서의 활성 화소의 리셋 신호 레벨보정방법
JP4619375B2 (ja) * 2007-02-21 2011-01-26 ソニー株式会社 固体撮像装置および撮像装置
JP6123274B2 (ja) 2012-03-08 2017-05-10 株式会社リコー 撮像装置
JP2015032842A (ja) * 2013-07-31 2015-02-16 ソニー株式会社 固体撮像素子、撮像装置、および補正方法
JP6271926B2 (ja) * 2013-09-18 2018-01-31 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
CN106999024B (zh) * 2015-09-01 2018-09-28 奥林巴斯株式会社 摄像系统
JP6711612B2 (ja) * 2015-12-21 2020-06-17 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置
KR102443218B1 (ko) * 2016-01-06 2022-09-15 삼성전자주식회사 전자 장치 및 그의 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008183119A (ja) * 2007-01-29 2008-08-14 Matsushita Electric Ind Co Ltd ヘッド分離型カメラおよびカメラヘッド
JP2011250249A (ja) * 2010-05-28 2011-12-08 Panasonic Corp 映像信号処理装置および映像信号処理方法
US20150116533A1 (en) * 2013-10-30 2015-04-30 Novatek Microelectronics Corp. Image sensing apparatus and black level controlling method thereof

Also Published As

Publication number Publication date
US10158812B2 (en) 2018-12-18
KR20170082334A (ko) 2017-07-14
US20170195594A1 (en) 2017-07-06

Similar Documents

Publication Publication Date Title
US11418751B2 (en) Electronic device and method for generating image data
US10780585B2 (en) Robot and electronic device for performing hand-eye calibration
CN113965678B (zh) 电子设备及其图像捕获方法
EP3293962B1 (en) Electronic apparatus
US11025814B2 (en) Electronic device for storing depth information in connection with image depending on properties of depth information obtained using image and control method thereof
US10979612B2 (en) Electronic device comprising plurality of cameras using rolling shutter mode
EP3494693B1 (en) Combining images aligned to reference frame
US20170026622A1 (en) Image sensor and signal processing method thereof
KR102392751B1 (ko) 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
KR102397034B1 (ko) 전자 장치 및 전자 장치의 손떨림 보정 방법
KR102659504B1 (ko) 복수의 이미지들간의 변화에 기반하여 동영상을 촬영하는 전자 장치 및 그 제어 방법
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
US20170118402A1 (en) Electronic device and camera control method therefor
KR102425895B1 (ko) 전자장치의 데이터 동기 장치 및 방법
US11012603B2 (en) Methods and apparatus for capturing media using plurality of cameras in electronic device
US20170302847A1 (en) Image capturing method and electronic device supporting the same
KR20170048792A (ko) 이미지 처리 장치 및 이의 동작 방법
KR102433293B1 (ko) 전자 장치 및 전자 장치의 제어 방법
EP3471400A1 (en) Image signal processing method, image signal processor, and electronic device
US20180054606A1 (en) Method for controlling multi-field of view image and electronic device for supporting the same
KR20200094500A (ko) 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법
KR102407624B1 (ko) 전자 장치의 영상 처리 방법 및 그 전자 장치
KR102443218B1 (ko) 전자 장치 및 그의 동작 방법
CN112637587B (zh) 坏点检测方法及装置
KR20180057171A (ko) 전방위 영상 촬영 장치 및 그것을 포함하는 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right