KR102648912B1 - 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서 - Google Patents

영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서 Download PDF

Info

Publication number
KR102648912B1
KR102648912B1 KR1020190008892A KR20190008892A KR102648912B1 KR 102648912 B1 KR102648912 B1 KR 102648912B1 KR 1020190008892 A KR1020190008892 A KR 1020190008892A KR 20190008892 A KR20190008892 A KR 20190008892A KR 102648912 B1 KR102648912 B1 KR 102648912B1
Authority
KR
South Korea
Prior art keywords
image data
processor
image
sensor
area
Prior art date
Application number
KR1020190008892A
Other languages
English (en)
Other versions
KR20200091996A (ko
Inventor
박동진
김덕수
민동기
송주남
임준혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190008892A priority Critical patent/KR102648912B1/ko
Priority to US16/587,825 priority patent/US11134203B2/en
Publication of KR20200091996A publication Critical patent/KR20200091996A/ko
Priority to US17/479,104 priority patent/US11616916B2/en
Priority to US18/187,299 priority patent/US20230232117A1/en
Application granted granted Critical
Publication of KR102648912B1 publication Critical patent/KR102648912B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 분석 회로 및 생성 회로를 포함한다. 분석 회로는 제 1 센서에 의해 촬영되는 대상 영역에 대한 제 1 영상 데이터 및 제 2 센서에 의해 촬영되는 대상 영역에 대한 제 2 영상 데이터에 기초하여, 대상 영역 중 일부 영역이 제 1 센서 및 제 2 센서 중 하나의 센서에 의해서만 촬영되는 경우 일부 영역의 크기를 분석하여 제 1 분석 결과를 출력한다. 생성 회로는 제 1 분석 결과에 따라, 제 1 영상 데이터 및 제 2 영상 데이터에 기초하여 제 1 최종 영상 데이터 또는 제 2 최종 영상 데이터를 선택적으로 생성한다. 제 1 최종 영상 데이터와 제 2 최종 영상 데이터의 차이는 제 1 센서의 제 1 특성과 제 2 센서의 제 2 특성의 차이에 기초한다.

Description

영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서{PROCESSOR ANALYZING IMAGE DATA AND GENERATING FINAL IMAGE DATA}
본 발명은 프로세서에 대한 것으로, 좀 더 상세하게는 복수의 센서 각각으로부터 영상 데이터를 수신하는 프로세서에 대한 것이다.
근래 다양한 유형의 전자 장치들이 이용되고 있다. 전자 장치들 중 이미지 센서를 포함하는 전자 장치들은 피사체를 촬영하는데 이용된다. 예로서, 이미지 센서를 포함하는 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 랩탑 PC(laptop personal computer), 웨어러블(Wearable) 장치 등과 같은 다양한 유형의 전자 장치들 중 하나로 구현될 수 있다.
전자 장치는 하나 또는 복수의 이미지 센서를 포함할 수 있다. 근래에는 하나의 이미지 센서를 포함하는 전자 장치보다 복수의 이미지 센서를 포함하는 전자 장치가 선호된다. 복수의 이미지 센서를 포함하는 전자 장치는 하나의 이미지 센서를 포함하는 전자 장치보다 넓은 영역을 촬영할 수 있고, 고화질의 영상을 표시할 수 있다.
다만, 하나의 전자 장치에 복수의 이미지 센서가 장착되므로, 불가피하게 복수의 이미지 센서 사이에 간격이 존재하게 된다. 복수의 이미지 센서 사이의 간격으로 인해, 복수의 이미지 센서 각각이 촬영하는 피사체에 차이가 생기게 된다.
본 발명은 상술된 기술적 과제를 해결하기 위한 것으로써, 본 발명의 목적은 폐색 영역(occlusion area)을 고려하여 최종 영상 데이터를 생성하는 방법을 선택하는 프로세서를 제공하는 데 있다.
본 발명의 실시 예에 따른 프로세서는 분석 회로 및 생성 회로를 포함 할 수 있다. 분석 회로는 제 1 센서에 의해 촬영되는 대상 영역에 대한 제 1 영상 데이터 및 제 2 센서에 의해 촬영되는 대상 영역에 대한 제 2 영상 데이터에 기초하여, 대상 영역 중 일부 영역이 제 1 센서 및 제 2 센서 중 하나의 센서에 의해서만 촬영되는 경우 일부 영역의 크기를 분석하여 제 1 분석 결과를 출력할 수 있다. 생성 회로는 제 1 분석 결과에 따라, 제 1 영상 데이터 및 제 2 영상 데이터에 기초하여, 제 1 최종 영상 데이터 또는 제 2 최종 영상 데이터를 선택적으로 생성할 수 있다. 제 1 최종 영상 데이터와 제 2 최종 영상 데이터의 차이는 제 1 센서의 제 1 특성과 제 2 센서의 제 2 특성의 차이에 기초할 수 있다.
본 발명의 다른 실시 예에 따른 프로세서는 제 1 위치에서 촬영되는 대상 영역에 대한 제 1 영상 데이터 및 제 1 위치와 이격된 제 2 위치에서 촬영되는 대상 영역에 대한 제 2 영상 데이터에 기초하여, 대상 영역 중 일부 영역이 제 1 영상 데이터 및 제 2 영상 데이터 중 하나의 영상 데이터에서만 나타나는 경우 일부 영역의 크기를 분석하여 제 1 분석 결과를 생성하고, 제 1 분석 결과에 기초하여, 제 1 영상 데이터의 일부 데이터를 제 2 영상 데이터에 매핑하여 제 1 최종 영상 데이터를 생성하거나 제 2 영상 데이터의 일부 데이터를 제 1 영상 데이터에 매핑하여 제 2 최종 영상 데이터를 생성할 수 있다.
본 발명의 또 다른 실시 예에 따른 프로세서는 분석 회로 및 생성 회로를 포함 할 수 있다. 분석 회로는 제 1 위치에서 촬영되는 제 1 영역에 대한 제 1 영상 데이터와 제 1 위치와 이격된 제 2 위치에서 촬영되는 제 2 영역에 대한 제 2 영상 데이터를 비교하여 비교 결과를 출력할 수 있다. 생성 회로는 비교 결과에 따라, 제 1 영상 데이터의 일부 데이터를 제 2 영상 데이터에 매핑하여 제 1 최종 영상 데이터를 생성하거나 제 2 영상 데이터의 일부 데이터를 제 1 영상 데이터에 매핑하여 제 2 최종 영상 데이터를 생성할 수 있다. 제 2 영역은 제 1 영역의 일부 영역을 포함할 수 있다.
본 발명의 프로세서는 폐색 영역, 조도 환경, 피사체와 전자 장치 간의 거리를 고려하여 색상 이동 방법 또는 디테일 이동 방법을 선택할 수 있다.
본 발명의 실시 예에 따르면, 이동 방법이 적절하게 선택되어, 프로세서에서 처리되는 데이터의 양이 감소되고 최종 영상의 화질이 향상될 수 있다.
도 1은 본 발명의 실시 예에 따른 프로세서를 포함하는 전자 장치의 예시적을 구성을 보여주는 블록도이다.
도 2는 도 1의 이미지 처리 블록으로부터 출력되는 영상 신호에 포함된 정보를 보여주기 위한 개념도이다.
도 3은 도 1의 이미지 처리 블록으로부터 출력되는 영상 신호에 포함된 정보를 보여주기 위한 개념도이다.
도 4는 도 1의 프로세서가 색상 이동 방법 또는 디테일 이동 방법을 선택하는 동작을 설명하기 위한 개념도이다.
도 5는 도 1의 프로세서가 색상 이동 방법 또는 디테일 이동 방법을 선택하는 예시적인 동작을 설명하기 위한 개념도이다.
도 6은 도 1의 프로세서의 예시적인 구성을 보여주는 블록도이다.
도 7은 디테일 이동 방법을 이용하여 생성되는 최종 영상을 설명하기 위한 개념도이다.
도 8은 색상 이동 방법을 이용하여 생성되는 최종 영상을 설명하기 위한 개념도이다.
도 9는 본 발명의 실시 예에 따른 프로세서를 포함하는 전자 장치의 예시적인 구성을 보여주는 블록도이다.
도 10은 도 9의 프로세서가 색상 이동 방법 또는 디테일 이동 방법을 선택하는 예시적인 동작을 설명하기 위한 개념도이다.
도 11은 색상 이동 방법을 이용하여 생성되는 최종 영상을 설명하기 위한 개념도이다.
도 12는 프로세서가 이동 방법을 선택하는 방법을 설명하기 위한 흐름도이다.
도 13은 프로세서가 이동 방법을 선택하는 방법을 설명하기 위한 흐름도이다.
도 14는 본 발명의 실시 예에 따른 프로세서를 포함하는 전자 장치의 예시적을 구성을 보여주는 블록도이다.
도 15는 도 14의 이미지 처리 블록으로부터 출력되는 영상 신호에 포함된 정보를 보여주기 위한 개념도이다.
도 16은 프로세서가 이동 방법을 선택하는 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 실시 예에 따른 프로세서를 포함하는 전자 시스템의 구성 및 그것의 인터페이스들을 나타낸 블록도이다.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.
도 1은 본 발명의 실시 예에 따른 프로세서를 포함하는 전자 장치의 예시적을 구성을 보여주는 블록도이다.
전자 장치(1000)는 이미지 처리 블록들(100, 200) 및 프로세서(300)를 포함할 수 있다. 전자 장치(1000)는 이미지 처리 블록들(100, 200)을 이용하여 영역들(1110, 1120, 1130)을 촬영할 수 있다. 전자 장치(1000)는 이미지 처리 블록들(100, 200) 및 프로세서(300)를 이용하여 영역들(1110, 1120, 1130)과 관련되는 영상을 표시할 수 있다. 영상에는 영역들(1110, 1120, 1130)에 위치하는 피사체들(11, 12, 13, 14, 15)이 표시될 수 있다. 다만, 영상은 피사체들(11, 12, 13, 14, 15) 뿐만 영역들(1110, 1120, 1130)의 색깔, 밝기 등을 표시할 수 있다. 예로서, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 랩탑 PC(laptop personal computer), 전자 책 리더기, MP3 플레이어, 웨어러블(Wearable) 장치 등과 같은 다양한 유형의 전자 장치들 중 하나로 구현될 수 있다.
이미지 처리 블록(100)은 렌즈(110), 조리개(120), 센서(130) 및 이미지 신호 처리기(140)를 포함할 수 있다.
렌즈(110)는 영역들(1110, 1120)에 위치하는 피사체들(11, 12, 13, 14)로부터 반사되는 빛을 수신할 수 있다.
조리개(120)는 렌즈(110)를 통과하는 빛의 양을 조절할 수 있다. 렌즈(110)를 통과하는 빛의 양에 따라 영역들(1110, 1120)과 관련되는 영상의 밝기가 달라질 수 있다.
센서(130)는 렌즈(110)를 통해 수신되는 빛에 기초하여 영역들(1110, 1120)을 촬영하기 위해 이용될 수 있다. 센서(130)는 렌즈(110)를 통해 수신되는 빛에 기초하여 영역들(1110, 1120)과 관련된 영상 신호(s1)를 생성할 수 있다. 영상 신호(s1)는 전기 신호일 수 있다.
센서(130)는 색상 필터를 포함할 수 있다. 예로서, 색상 필터는 RGB 필터 (예를 들면, 대표적으로 Bayer pattern)일 수 있다. 센서(130)는 색상 필터에 기초하여 센서(130)의 영역(예컨대, 픽셀)마다 특정 파장의 빛만을 수신할 수 있다. 예로서, 센서(130)의 영역들 중 R필터가 포함된 영역에서는 580nm~670nm 파장의 빛을 수신할 수 있다. 센서(130)는 색상 필터를 통해 수신되는 특정 파장의 빛에 기초하여 영역들(1110, 1120)의 색상에 대한 정보를 획득하기 위해 이용될 수 있다. 즉, 센서(130)는 영역들(1110, 1120)의 휘도 및 색상에 대한 정보를 획득하는 기능들을 위해 제공될 수 있다.
센서(130)는 색상 필터를 통해 수신되는 빛에 기초하여 영역들(1110, 1120)의 요소들에 대한 정보를 포함하는 영상 신호(s1)를 생성할 수 있다. 예로서, 영상 신호(s1)는 영역들(1110, 1120)의 휘도에 대한 정보 및 영역들(1110, 1120)의 색상에 대한 정보를 포함할 수 있다.
이미지 신호 처리기(140)는 영상 신호(s1)를 처리하여 영역들(1110, 1120)의 요소들에 대한 데이터를 생성할 수 있다. 이미지 신호 처리기(140)는 영상 신호(s1)를 처리하여 영역들(1110, 1120)의 휘도에 대한 데이터 및 영역들(1110, 1120)의 색상에 대한 데이터를 생성할 수 있다. 다만, 본 발명은 이에 한정되지 않고, 이미지 신호 처리기(140)는 영상 신호(s1)를 처리하여 RGB 데이터를 생성하거나, YCbCr 데이터를 생성할 수 있다. 이미지 신호 처리기(140)는 영역들(1110, 1120)의 휘도에 대한 데이터 및 영역들(1110, 1120)의 색상에 대한 데이터를 포함하는 영상 신호(s2)를 출력할 수 있다.
이미지 처리 블록(200)은 렌즈(210), 조리개(220), 센서(230) 및 이미지 신호 처리기(240)를 포함할 수 있다.
렌즈(210)는 영역들(1120, 1130)에 위치하는 피사체들(12, 13, 14, 15)로부터 반사되는 빛을 수신할 수 있다.
조리개(220)는 렌즈(210)를 통과하는 빛의 양을 조절할 수 있다. 렌즈(210)를 통과하는 빛의 양에 따라 영역들(1120, 1130)과 관련되는 영상의 밝기가 달라질 수 있다.
센서(230)는 렌즈(210)를 통해 수신되는 빛에 기초하여 영상 신호(s4)를 생성할 수 있다. 영상 신호(s4)는 전기 신호일 수 있다.
센서(230)는 렌즈(210)를 통해 수신되는 빛에 기초하여 영역들(1120, 1130)의 요소에 대한 정보를 획득하기 위해 이용될 수 있다. 즉, 센서(230)는 영역들(1120, 1130)의 휘도에 대한 정보를 획득하는 기능을 위해 제공될 수 있다.
센서(230)는 렌즈(210)를 통해 수신되는 빛에 기초하여 영역들(1120, 1130)의 요소에 대한 정보를 포함하는 영상 신호(s3)를 생성할 수 있다. 영상 신호(s3)는 영역들(1120, 1130)의 휘도에 대한 정보를 포함할 수 있다.
센서(130) 및 센서(230)는 상호보완적인 특성들을 가질 수 있다. 예로서, 센서(130) 및 센서(230)가 상이한 유형의 센서들로 구성될 수 있다. 이 경우, 센서(130) 및 센서(230)는 상이한 기능들을 가질 수 있다. 센서(130)는 색상 필터를 포함하는 센서이고, 센서(230)는 고감도의 센서일 수 있다.
다른 예로서, 센서(130) 및 센서(230)가 동일한 유형의 센서들로 구성되나, 상이한 성능의 기능들을 가질 수 있다. 센서(130) 및 센서(230)는 모두 색상 필터를 포함하나, 센서(230)가 센서(130)보다 고감도의 센서일 수 있다. 또한, 센서(130) 및 센서(230)는 모두 색상 필터를 포함하나, 센서(130)는 센서(230)보다 넓은 화각(field of view)을 갖는 센서일 수 있다. 예로서, 센서(230)에서 촬영되는 영역에 센서(130)에서 촬영되는 영역이 포함될 수 있다. 센서(130) 및 센서(230)의 상호보완적인 특성들은 다양한 방식으로 조합되어 이용될 수 있다. 구체적으로, 센서(130)에서 촬영되는 영역을 더 자세하게 나타내기 위한 방식으로 센서(130) 및 센서(230)의 특성들이 조합될 수 있다. 또한, 센서(230)에서 촬영되는 영역을 더 자세하게 나타내기 위한 방식으로 센서(130) 및 센서(230)의 특성들이 조합될 수 있다. 이하, 설명들에서, 센서(130)는 색상 필터를 포함하는 센서이고, 센서(230)는 색상 필터를 포함하지 않는 고감도의 센서인 것으로 가정되나, 본 발명은 이에 한정되지 않는다.
영상 신호(s3)는 영역들(1120, 1130)의 색상에 대한 정보를 포함하지 않을 수 있다. 다만, 센서(230)는 특정 파장의 빛을 차단하지 않고, 모든 파장의 빛을 수신할 수 있다. 따라서, 센서(230)는 동일한 시간 동안 센서(130)가 수신하는 빛의 양보다 많은 양의 빛을 수신할 수 있다. 센서(130)가 RGB 색상 필터를 포함하는 경우, 센서(230)는 동일한 시간 동안 센서(130)가 수신할 수 있는 빛의 양보다 3배 정도 많은 양의 빛을 수신할 수 있다. 따라서, 영상 신호(s3)가 영상 신호(s1)보다 영역(1120)의 휘도와 관련하여 좀 더 정확한 정보를 포함할 수 있다.
렌즈(210) 및 센서(230)는 각각 렌즈(110) 및 센서(130)와 이격될 수 있다. 즉, 렌즈(210) 및 센서(230)는 각각 렌즈(110) 및 센서(130)로부터 특정 거리만큼 떨어진 곳에 위치할 수 있다. 그 결과로, 센서(130)를 통해 촬영되는 영역들(1110, 1120)과 센서(230)를 통해 촬영되는 영역들(1120, 1130)이 다를 수 있다. 센서(130)는 영역(1110)을 촬영할 수 있지만, 센서(230)는 영역(1110)을 촬영하지 않을 수 있다. 센서(230)는 영역(1130)을 촬영할 수 있지만, 센서(230)는 영역(1110)을 촬영하지 않을 수 있다.
센서들(130, 230)은 공통적으로 영역(1120)을 촬영할 수 있다. 다만, 센서(130)는 센서(130)가 위치하는 곳에서 영역(1120)을 촬영하고, 센서(230)는 센서(230)가 위치하는 곳에서 영역(1120)을 촬영할 수 있다. 그 결과로, 영상 신호들(s1, s3)에 포함되는 피사체들(12, 13, 14)에 대한 정보가 다를 수 있다.
예로서, 영상 신호(s1)는 피사체들(12, 13)에 대한 정보를 포함하고, 피사체(14)에 대한 정보를 포함하지 않을 수 있다. 센서(130)가 위치한 곳에서 피사체(14)는 피사체(13)에 의해 가려져서 센서(130)에 의해 촬영되지 않을 수 있다.
다른 예로서, 영상 신호(s3)는 피사체들(13, 14)에 대한 정보를 포함하고, 피사체(12)에 대한 정보를 포함하지 않을 수 있다. 센서(230)가 위치한 곳에서 피사체(12)는 피사체(13)에 의해 가려져서 센서(230)에 의해 촬영되지 않을 수 있다.
이미지 신호 처리기(240)는 영상 신호(s3)를 처리하여 영역들(1120, 1130)의 요소에 대한 데이터를 생성할 수 있다. 예로서, 이미지 신호 처리기(240)는 영상 신호(s3)를 처리하여 영역들(1120, 1130)의 휘도에 대한 데이터를 생성할 수 있다. 이미지 신호 처리기(140)는 영역들(1120, 1130)의 휘도에 대한 데이터를 포함하는 영상 신호(s4)를 출력할 수 있다.
영상 신호(s4)는 영상 신호(s2)와 달리, 색상에 대한 데이터를 포함하지 않을 수 있다. 다만, 영상 신호(s4)는 영상 신호(s2)보다 영역(1120)의 휘도와 관련하여 좀 더 정확한 정보를 포함할 수 있다.
프로세서(300)는 전자 장치(1000)의 전반적인 동작들을 제어하기 위해 다양한 연산을 처리할 수 있다. 프로세서(300)는 이미지 처리 블록(100)의 동작들을 제어하거나, 이미지 처리 블록(100)으로부터 수신되는 영상 신호들(s2, s4)을 처리할 수 있다. 예로서, 프로세서(300)는 범용 프로세서, 전용 프로세서, 또는 어플리케이션 프로세서(Application Processor)로 구현될 수 있고, 하나 이상의 프로세서 코어를 포함할 수 있다. 다만, 본 발명은 이에 한정되지 않고, 프로세서(300) 및 이미지 신호 처리기들(140, 240)은 하나의 CIS 칩(Complementary Metal-Oxide Semiconductor Image Sensor Chip)에 포함될 수 있다. 프로세서(300)는 신호들(s2, s4)을 수신하여 최종 영상 데이터를 생성하는 하나의 이미지 신호 처리기일 수 있다. 이 경우, 프로세서(300)는 최종 영상 데이터를 범용 프로세서, 전용 프로세서, 또는 어플리케이션 프로세서(Application Processor)와 같은 프로세서로 출력할 수 있다.
메모리(330)는 전자 장치(1000)의 동작에 이용되는 데이터(예컨대, 프로세서(300)에 의해 처리된 또는 처리될 데이터)를 일시적으로 저장할 수 있다. 예로서, 메모리(330)는 SRAM(Static Random Access Memory), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM), PRAM(Phase-change RAM), MRAM(Magneto-resistive RAM), ReRAM(Resistive RAM), FRAM(Ferro-electric RAM) 등과 같은 휘발성/불휘발성 메모리를 포함할 수 있다.
프로세서(300)는 이미지 처리 블록(100)의 동작들을 제어할 수 있다. 예로서, 프로세서(300)는 전자 장치(1000)의 입력 인터페이스를 통해 사용자가 입력한 제어 값에 따라 이미지 처리 블록들(100, 200)의 동작들을 제어할 수 있다. 다른 예로서, 프로세서(300)는 이미지 처리 블록들(100, 200)로부터 수신되는 신호들을 분석하여 이미지 처리 블록(100)의 동작들을 제어할 수 있다.
프로세서(300)는 렌즈들(110, 210)과 센서들(130, 230) 사이의 거리를 조절할 수 있다. 프로세서(300)는 센서들(130, 230)에서 공통으로 촬영되는 피사체(13)가 센서들(130, 230)에서 동일한 크기로 인식되도록 렌즈들(110, 210)과 센서들(130, 230) 사이의 거리를 조절할 수 있다.
프로세서(300)는 이미지 처리 블록들(100, 200)로부터 수신되는 신호들을 분석하여 이미지 처리 블록들(100, 200)로부터 영역들(1110, 1120, 1130)까지의 거리를 계산할 수 있다. 예로서, 이미지 처리 블록들(100, 200)은 거리 센서, 포토 다이오드, 적외수광소자, CCD, 압전 소자 등 중 하나 이상을 포함할 수 있다. 예로서, 프로세서(300)는 3각 측량 방식, 초음파 방식을 이용하여 이미지 처리 블록들(100, 200)로부터 영역들(1110, 1120, 1130)까지의 거리를 계산할 수 있다.
프로세서(300)는 계산된 거리에 기초하여 센서들(130, 230) 및/또는 렌즈들(110, 210)의 위치를 조절할 수 있다. 프로세서(300)는 센서들(130, 230) 및/또는 렌즈들(110, 210)의 위치를 조절하여 렌즈들(110, 210)과 센서들(130, 230) 사이의 초점을 맞출 수 있다.
이하 설명들에서, 프로세서(300)에서 계산된 이미지 처리 블록들(100, 200)로부터 영역들(1110, 1120, 1130)까지의 거리는 센서들(130, 230)을 기준으로 계산되는 것으로 가정된다. 즉, 이미지 처리 블록들(100, 200)로부터 영역들(1110, 1120, 1130)까지의 거리는 센서들(130, 230)로부터 영역들(1110, 1120, 1130)까지의 거리(d1)인 것으로 가정된다.
프로세서(300)는 계산된 거리(d1)에 대한 데이터를 메모리(330)로 출력할 수 있다. 메모리(330)는 프로세서(300)로부터 수신되는 계산된 거리(d1)에 대한 데이터를 저장할 수 있다.
프로세서(300)는 조리개들(120, 220)이 열리는 정도를 조절할 수 있다. 프로세서(300)는 셔터의 속도를 조절할 수 있다. 프로세서(300)는 조리개들(120, 220)이 열리는 정도 또는 셔터의 속도를 조절함으로써 센서들(130, 230)로 수신되는 빛의 양을 조절할 수 있다. 센서들(130, 230)은 영역들(1110, 1120, 1130)의 밝기를 감지할 수 있다. 프로세서(300)는 이미지 처리 블록들(100, 200)로부터 감지된 밝기에 대한 신호를 수신할 수 있다. 프로세서(300)는 감지된 밝기에 기초하여 조리개들(120, 220)이 열리는 정도 또는 셔터의 속도를 조절할 수 있다.
프로세서(300)는 감지된 밝기의 레벨에 대한 데이터를 메모리(330)로 출력할 수 있다. 메모리(330)는 프로세서(300)로부터 수신되는 감지된 밝기의 레벨에 대한 데이터를 저장할 수 있다.
프로세서(300)는 이미지 처리 블록들(100, 200)로부터 수신되는 영상 신호들(s2, s4)을 처리하여 최종 영상 신호를 생성할 수 있다. 최종 영상 신호는 전자 장치(1000)의 출력 인터페이스(예컨대, 표시 장치)에 영상을 표시하기 위해 이용될 수 있다. 다만, 본 발명은 이에 한정되지 않고, 프로세서(300)는 세 개 이상의 영상 신호들을 처리하여 최종 영상 신호를 생성할 수 있다. 이 경우, 프로세서(300)는 아래에서 설명되는 동작들과 실질적으로 동일한 동작들을 통해 최종 영상 신호를 생성할 수 있다.
영상 신호(s2)는 영역들(1110, 1120)의 색상 및 휘도 등에 관한 정보를 포함할 수 있다. 또한, 영상 신호(s2)는 피사체들(11, 12, 13)의 윤곽, 형상, 크기, 색상 등에 관한 정보를 포함할 수 있다. 영상 신호(s4)는 영역들(1120, 1130)의 색상 및 휘도 등에 관한 정보를 포함할 수 있다. 또한, 영상 신호(s2)는 피사체들(13, 14, 15)의 윤곽, 형상, 크기, 색상 등에 관한 정보를 포함할 수 있다.
프로세서(300)는 영상 신호들(s2, s4)을 분석하여 다양한 방법으로 최종 영상 신호를 생성할 수 있다. 프로세서(300)는 퓨전(fusion) 방법을 이용하여 최종 영상을 생성할 수 있다. 퓨전 방법은 영상 신호들(s2, s4)을 분석한 분석 결과에 따라 색상 이동 방법(Color Transfer, CT) 및 디테일 이동 방법(Detail Transfer, DT) 중 하나를 선택하여 최종 영상을 생성하는 방법일수 있다. 이하, 이동 방법을 선택한다는 것은 색상 이동 방법 또는 디테일 이동 방법을 선택한다는 것을 의미한다. 다만, 본 발명은 이에 한정되지 않고, 프로세서(300)는 영상 신호들(s2, s4)을 분석한 분석 결과에 따라 제 1 방법 또는 제 2 방법을 이용하여 최종 영상 데이터를 생성할 수 있다. 제 1 방법으로 생성된 최종 영상 데이터와 제 2 방법으로 생성된 최종 영상 데이터의 차이는 센서들(130)의 특성들 차이에 기초할 수 있다.
또한, 이미지 처리 블록들(100, 200)로부터 영역들(1110, 1120, 1130)까지의 거리(d1)에 대한 데이터 및 영역들(1110, 1120, 1130)의 밝기의 레벨에 대한 데이터가 메모리(330)에 저장될 수 있다. 프로세서(300)는 메모리(330)에 저장된 데이터를 이용하여 이동 방법을 선택할 수 있다. 즉, 프로세서(300)는 영상 신호들(s2, s4)을 분석한 분석 결과, 거리(d1)에 대한 데이터, 밝기의 레벨에 대한 데이터를 이용하여 최종 영상을 생성하기 위한 이동 방법을 선택할 수 있다.
프로세서(300)가 영상 신호들(s2, s4)을 분석하여 색상 이동 방법 또는 디테일 이동 방법을 선택하는 동작에 관하여는 도 2 내지 도 16을 참조하여 자세하게 설명될 것이다.
색상 이동 방법이 선택되는 경우, 프로세서(300)는 영상 신호(s2)에 포함된 색상에 대한 데이터 및 영상 신호(s4)에 기초하여 최종 영상 신호를 생성할 수 있다. 이 경우, 최종 영상 신호에 기초하여 표시되는 출력 영상은 영역들(1120, 1130)을 표시할 수 있다.
디테일 이동 방법이 선택되는 경우, 프로세서(300)는 영상 신호(s4)에 포함된 휘도에 대한 데이터 및 영상 신호(s2)에 기초하여 최종 영상 신호를 생성할 수 있다. 이 경우, 최종 영상 신호에 기초하여 표시되는 출력 영상은 영역들(1110, 1120)을 표시할 수 있다. 색상 이동 방법 및 디테일 이동 방법에 관하여는 도 4 내지 도 5를 참조하여 자세하게 설명될 것이다.
도 2는 도 1의 이미지 처리 블록으로부터 출력되는 영상 신호에 포함된 정보를 보여주기 위한 개념도이다.
영상(1140)은 이미지 처리 블록(100)으로부터 출력되는 영상 신호(s2)에 기초하여 표시되는 영상의 예시적인 모습이다. 센서(130)가 위치하는 곳에서 영역(1120)이 촬영되는 경우, 피사체(14)는 피사체(13)에 의해 가려져서 센서(130)에서 촬영되지 않을 수 있다. 따라서, 도 1을 참조하여 설명되었듯이, 영상 신호(s1)는 피사체(14)에 대한 정보를 포함하지 않을 수 있다. 영상 신호(s2)도 피사체(14)에 대한 정보를 포함하지 않을 수 있다. 영상(1140)은 피사체(14)를 표시하지 않을 수 있다.
다만, 본 발명은 이에 한정되지 않고, 피사체의 일부가 동일한 피사체의 다른 일부를 가릴 수 있다. 또한, 하나의 피사체가 복수의 피사체를 가릴 수 있으며, 하나의 피사체가 다른 피사체의 일부를 가릴 수 있다.
이하, 영상(1140)에 표시되는 피사체(13)에 의해 가려지는 영역은 폐색 영역(occlusion area)으로 표현된다. 피사체(14)는 폐색 영역에 위치할 수 있다. 폐색 영역의 크기는 센서(130)로부터 영역들(1110, 1120)까지의 거리(d1)가 짧아질수록 커질 수 있다. 폐색 영역의 크기는 센서(130)로부터 영역들(1110, 1120)까지의 거리(d1)가 멀어질수록 작아질 수 있다. 도 1 내지 도 8은 센서(130)로부터 영역들(1110, 1120)까지의 거리(d1)가 짧은 경우에 대하여 도시한 것으로써, 도 9 내지 도 13을 참조하여 센서(130)로부터 영역들(1110, 1120)까지의 거리가 긴 경우가 설명될 것이다.
영상 신호(s2)는 영역들(1110, 1120)의 색상 및 휘도에 대한 데이터를 포함할 수 있다. 영상 신호(s2)는 영역들(1110, 1120)에 위치하는 피사체들(11, 12, 13)의 색상 및 휘도에 대한 데이터를 포함할 수 있다.
영상(1140)에는 영역들(1110, 1120)의 색상들이 표시될 수 있다. 영상(1140)에는 피사체들(11, 12, 13)의 색상들이 표시될 수 있다. 영상(1140)에 표시된 패턴들은 피사체들(11, 12, 13)의 색상들을 나타내는 것으로, 상이한 패턴들은 각각 상이한 색상들을 나타낸다.
도 1을 참조하여 설명되었듯이, 센서(130)는 색상 필터에 의해 동일한 시간 동안 센서(230)가 수신하는 빛의 양보다 적은 양의 빛을 수신할 수 있다. 구체적으로, 센서(130)의 각 픽셀은 색상 필터에 의해 단지 하나의 색(예로서, R, G, B 중 하나)에 대응하는 빛을 수신할 수 있다. 따라서, 이미지 신호 처리기(140)에서 영역들(1110, 1120)의 휘도에 대한 데이터를 생성하기 위해 인접한 픽셀의 색상 데이터를 활용한 보간 기법(interpolation)을 이용될 수 있다. 그 결과로, 영상 신호(s2)에 기초하여 표시되는 영상(1140)의 해상력은 영상 신호(s4)에 기초하여 표시되는 영상의 해상력보다 낮을 수 있다.
또한, 센서(130)의 ISO gain(예로서, analog gain 또는 digital gain)은 센서(230)의 ISO gain보다 높게 설정될 수 있다. 따라서, 이미지 신호 처리기(140)는 이미지 신호 처리기(240)에서 생성되는 휘도에 대한 데이터와 유사한 밝기를 나타내는 휘도에 대한 데이터를 생성할 수 있다. 다만, 그 결과로 영상 신호(s2)에 기초하여 표시되는 영상(1140)은 영상 신호(s4)에 기초하여 표시되는 영상보다 노이즈를 많이 포함하여 SNR(Signal to Noise Ratio)이 낮아질 수 있다. 또한, 영상 신호(s2)는 영상 신호(s4)보다 해상력이 낮아질 수 있다.
따라서, 피사체들(11, 12, 13)의 윤곽, 표면, 무늬 등이 영상(1140)에 자세하게 표시되지 않을 수 있다. 예로서, 피사체(12)가 사람인 경우, 피사체(12)의 눈, 코, 입 등이 표시되지 않을 수 있다.
도 3은 도 1의 이미지 처리 블록으로부터 출력되는 영상 신호에 포함된 정보를 보여주기 위한 개념도이다.
영상(1150)은 이미지 처리 블록(200)으로부터 출력되는 영상 신호(s4)에 기초하여 표시되는 영상의 예시적인 모습이다. 센서(230)가 위치하는 곳에서 영역(1120)이 촬영되는 경우, 피사체(12)는 피사체(13)에 의해 가려져서 센서(230)에서 촬영되지 않을 수 있다. 따라서, 도 1을 참조하여 설명되었듯이, 영상 신호(s3)는 피사체(12)에 대한 정보를 포함하지 않을 수 있다. 영상 신호(s4)도 피사체(12)에 대한 정보를 포함하지 않을 수 있다. 영상(1150)은 피사체(12)를 표시하지 않을 수 있다.
영상 신호(s4)는 영역들(1120, 1130)의 휘도에 대한 데이터를 포함할 수 있다. 영상 신호(s4)는 영역들(1120, 1130)에 위치하는 피사체들(13, 14, 15)의 휘도에 대한 데이터를 포함할 수 있다.
도 1을 참조하여 설명되었듯이, 센서(230)는 동일한 시간 동안 센서(130)가 수신하는 빛의 양보다 많은 양의 빛을 수신할 수 있다. 구체적으로, 센서(230)의 각 픽셀은 모든 가시광선 대역의 빛을 수신할 수 있다. 따라서, 이미지 신호 처리기(240)는 영역들(1120, 1130)의 휘도에 대한 데이터를 생성하기 위해 별도의 보간 기법을 이용하지 않을 수 있다. 그 결과로, 영상 신호(s4)에 기초하여 표시되는 영상(1150)의 해상력은 영상 신호(s2)에 기초하여 표시되는 영상(1140)의 해상력보다 높을 수 있다.
또한, 센서(230)는 센서(130)보다 빛에 대해 고감도이므로, 센서(230)의 ISO gain은 센서(130)의 ISO gain보다 낮게 설정될 수 있다. 그 결과로, 영상 신호(s4)는 영상 신호(s2)보다 노이즈를 적게 포함할 수 있다. 또한, 그 결과로 영상 신호(s4)에 기초하여 표시되는 영상(1150)의 해상력는 영상 신호(s2)에 기초하여 표시되는 영상(1140)의 해상력보다 높을 수 있다.
따라서, 피사체들(13, 14, 15)의 윤곽, 표면, 무늬 등이 영상(1150)에 자세하게 표시될 수 있다. 도 2에 도시된 영상(1140)을 참조하면, 영상(1150)에서 표시된 피사체(13)가 영상(1140)에서 표시된 피사체(13)보다 자세하게 나타날 수 있다.
다만, 도 1을 참조하여 설명되었듯이, 영상 신호(s4)는 영역들(1120, 1130)의 색상들에 대한 데이터를 포함하지 않을 수 있다. 따라서, 영상(1150)에 영역들(1120, 1130)이 흑색 또는 백색(gray level)으로 표시될 수 있다. 영상(1150)에 피사체들(13, 14, 15)이 흑색 또는 백색(gray level)으로 표시될 수 있다.
도 4는 도 1의 프로세서가 색상 이동 방법 또는 디테일 이동 방법을 선택하는 동작을 설명하기 위한 개념도이다. 본 발명의 이해를 돕기 위해 도 1이 함께 참조된다.
프로세서(300)는 영상 신호들(s2, s4)에 기초하여, 영상 신호(s2)에 기초하는 영상 블록들과 영상 신호(s4)에 기초하는 영상 블록들을 비교할 수 있다. 영상 신호(s2)에 기초하는 영상 블록들 각각은 영상(1140)을 구성하는 픽셀들 중 하나 이상의 픽셀에 대한 정보를 포함할 수 있다. 영상 신호(s4)에 기초하는 영상 블록들 각각은 영상(1150)을 구성하는 픽셀들 중 하나 이상의 픽셀에 대한 정보를 포함할 수 있다.
프로세서(300)는 영상 신호(s2)에 기초하는 영상 블록들과 영상 신호(s4)에 기초하는 영상 블록들을 비교하여, 폐색 영역을 표시하는 영상 블록들(1152)을 탐색할 수 있다. 도 2를 참조하여 설명된 것처럼, 폐색 영역은 도 1에 도시된 피사체(13)에 가려져서 영상(1140)에 표시되지 않는 영역일 수 있다. 구체적으로, 폐색 영역은 영상(1150)에는 표시되나 피사체(13)에 의해 영상(1140)에 표시되지 않는 영역일 수 있다. 폐색 영역을 나타내는 영상 블록들(1152)은 영상 신호(s2)에 기초하는 영상 블록들에 대응하지 않을 수 있다. 프로세서(300)는 탐색된 영상 블록들(1152)의 개수 및/또는 크기를 통해 폐색 영역의 크기를 도출할 수 있다. 이하 설명들에서, 영상 블록들(1152)의 크기는 영상 블록들(1152)이 포함하는 픽셀들의 개수에 대응할 수 있다. 즉, 영상 블록들(1152)의 크기가 크다는 것은 영상 블록들(1152)에 포함되는 픽셀들의 개수가 많다는 것을 의미할 수 있다. 또한, 폐색 영역의 크기는 폐색 영역에 포함되는 픽셀의 개수로 표현될 수 있다.
다만, 본 발명은 이에 한정되지 않고, 폐색 영역은 피사체(13)에 가려져서 영상(1150)에 표시되지 않는 영역 및/또는 피사체(13)에 의해 영상(1140)에 표시되지 않는 영역일 수 있다. 폐색 영역은 피사체(13)에 가려져서 영상(1150)에 표시되지 않는 영역 및 피사체(1141)에 의해 영상(1140)에 표시되지 않는 영역 중 더 큰 영역일 수 있다.
프로세서(300)는 광류(optical flow) 기법, 스테레오 매칭(stereo matching) 기법 등을 이용하여 폐색 영역의 크기를 도출할 수 있으나, 본 발명은 이에 한정되지 않는다. 프로세서(300)는 광류 기법을 이용하는 경우, 모션 벡터(motion vector)의 변화의 크기에 기초하여 폐색 영역의 크기를 도출할 수 있다. 예로서, 폐색 영역이 클수록 모션 벡터의 변화가 크게 나타날 수 있다.
프로세서(300)는 stereo matching 기법을 이용하는 경우, 깊이 맵(depth map)을 생성하여 깊이의 변화에 기초하여 폐색 영역의 크기를 도출할 수 있다. 예로서, 깊이가 급격하게 변한 경계 주변에서 큰 폐색 영역이 탐색될 수 있다.
프로세서(300)는 탐색된 폐색 영역의 크기 및 센서들(130, 230)로부터 영역들(1110, 1120, 1130)까지의 거리(d1)에 기초하여 이동 방법을 선택할 수 있다.
프로세서(300)는 거리(d1)와 기준 거리를 비교한 비교 결과에 따라 이동 방법을 선택할 수 있다.
프로세서(300)는 탐색된 폐색 영역의 크기와 기준 크기를 비교한 비교 결과에 따라 이동 방법을 선택할 수 있다. 또한, 프로세서(300)는 탐색된 폐색 영역에 포함되는 픽셀의 개수와 기준 개수를 비교한 비교 결과에 따라 이동 방법을 선택할 수 있다.
프로세서(300)는 영상 블록들(1152)에 포함된 영상 블록의 개수(또는, 픽셀의 개수)와 기준 개수를 비교한 비교 결과에 따라 이동 방법을 선택할 수 있다. 영상 블록의 개수와 기준 개수를 비교하는 것은 탐색된 폐색 영역의 크기와 기준 크기를 비교하는 것과 실질적으로 동일한 동작일 수 있다. 따라서, 이하 설명들에서 탐색된 폐색 영역의 크기와 기준 크기를 비교하는 동작은 모두 영상 블록의 개수와 기준 개수를 비교하는 동작으로 대체될 수 있다.
프로세서(300)는 탐색된 폐색 영역의 크기 및 거리(d1)를 다양한 방법으로 고려하여 이동 방법을 선택할 수 있다.
예로서, 프로세서(300)는 거리(d1)가 기준 거리보다 가까운 경우 디테일 이동 방법을 선택할 수 있다. 프로세서(300)는 거리(d1)가 기준 거리보다 먼 경우 탐색된 폐색 영역의 크기에 따라 색상 이동 방법 또는 디테일 이동 방법을 선택할 수 있다. 이 경우, 프로세서(300)는 탐색된 폐색 영역의 크기가 기준 크기보다 큰 경우 디테일 이동 방법을 선택할 수 있다. 프로세서(300)는 탐색된 폐색 영역의 크기가 기준 크기보다 작은 경우 색상 이동 방법을 선택할 수 있다.
다른 예로서, 프로세서(300)는 거리(d1) 및 탐색된 폐색 영역의 크기를 변환하여 생성된 변환 값과 기준 값을 비교하여 색상 이동 방법 또는 디테일 이동 방법을 선택할 수 있다.
프로세서(300)는 다양한 방법을 이동 방법을 선택할 수 있지만, 결과적으로는 탐색된 폐색 영역의 크기가 큰 경우 디테일 이동 방법을 선택하고, 탐색된 폐색 영역의 크기가 작은 경우 색상 이동 방법을 선택할 수 있다.
프로세서(300)는 탐색된 폐색 영역의 크기 뿐만 아니라 거리(d1)를 함께 고려하여 이동 방법을 선택함으로써, 데이터 처리량을 감소시키거나 프로세서(300)가 선택한 이동 방법에 대한 신뢰도를 높일 수 있다.
프로세서(300)는 영상 신호(s2)에 기초하는 영상 블록들과 영상 신호(s4)에 기초하는 영상 블록들을 비교하여, 영상 블록(1151)에 대응하는 영상 블록(1141)을 탐색할 수 있다. 영상 블록(1141)은 영상 블록(1151)이 포함하는 정보와 대응하거나 유사한 정보를 포함할 수 있다. 예로서, 영상 블록들(1141, 1151)은 피사체(13)의 일부의 휘도에 대한 정보를 포함할 수 있다. 다른 예로서, 영상 블록(1141)은 피사체(13)의 일부의 색상에 대한 정보를 포함할 수 있다.
프로세서(300)는 색상 이동 방법을 선택하는 경우, 영상 신호(s2)에 포함된 색상에 대한 데이터를 영상 신호(s4)로 매핑할 수 있다. 프로세서(300)는 영상 블록(1141)에 포함된 색상에 대한 데이터를 영상 블록(1141)에 대응하는 영상 블록(1151)으로 매핑할 수 있다. 영상 블록(1141)에 포함된 색상에 대한 데이터가 영상 블록(1151)으로 매핑되는 경우, 영상 블록(1151)에 대응하는 데이터가 영상 블록(1141)에 포함된 색상에 대한 데이터를 포함할 수 있다. 따라서, 영상 블록(1151)에 대응하는 데이터에 기초하는 영상에 색상이 표시될 수 있다.
다만, 영상 블록들(1152)은 영상 신호(s2)에 기초하는 영상 블록들에 대응하지 않으므로 영상 신호(s2)에 포함된 색상에 대한 데이터가 영상 블록들(1152)로 매핑될 수 없다.
프로세서(300)는 디테일 이동 방법을 선택하는 경우, 영상 신호(s4)에 포함된 휘도에 대한 데이터를 영상 신호(s2)로 매핑할 수 있다. 프로세서(300)는 영상 블록(1151)에 포함된 휘도에 대한 데이터를 영상 블록(1151)에 대응하는 영상 블록(1141)으로 매핑할 수 있다.
예로서, 영상 블록(1151)에 포함된 휘도에 대한 데이터가 영상 블록(1141)으로 매핑되는 경우, 영상 블록(1141)에 포함된 휘도에 대한 데이터는 영상 블록(1151)에 포함된 휘도에 대한 데이터로 대체될 수 있다. 이 경우, 프로세서(300)는 영상 블록(1151)에 포함된 휘도에 대한 데이터 및 영상 블록(1141)에 포함된 색상에 대한 데이터를 이용하여 최종 영상 신호를 생성할 수 있다.
다른 예로서, 영상 블록(1151)에 포함된 휘도에 대한 데이터가 영상 블록(1141)으로 매핑되는 경우, 영상 블록(1141)에 포함된 휘도에 대한 데이터는 영상 블록(1151)에 포함된 휘도에 대한 데이터를 포함할 수 있다. 이 경우, 프로세서(300)는 영상 블록(1151)에 포함된 휘도에 대한 데이터, 영상 블록(1141)에 포함된 휘도에 대한 데이터 및 영상 블록(1141)에 포함된 색상에 대한 데이터를 이용하여 최종 영상 신호를 생성할 수 있다.
도 5는 도 1의 프로세서가 색상 이동 방법 또는 디테일 이동 방법을 선택하는 예시적인 동작을 설명하기 위한 개념도이다. 본 발명의 이해를 돕기 위해 도 1이 함께 참조된다.
프로세서(300)는 영상들(1140, 1150)에 공통적으로 표시되지 않은 영역(1155)의 크기 및 센서들(130, 230)로부터 영역들(1110, 1120, 1130)까지의 거리(d1)에 기초하여 색상 이동 방법 또는 디테일 이동 방법을 선택할 수 있다.
프로세서(300)는 도 4를 참조하여 설명된 것과 유사한 방법으로 영역(1155)을 탐색할 수 있다. 다만, 도 4를 참조하여 설명된 방법은 프로세서(300)가 폐색 영역의 크기에 기초하여 이동 방법을 선택하는 것이고, 도 5를 참조하여 설명되는 방법은 프로세서(300)가 영역(1155)의 크기에 기초하여 이동 방법을 선택하는 것이다.
영역(1155)의 크기는 폐색 영역의 크기 및 영역들(1110, 1130)의 크기에 기초하여 결정될 수 있다. 즉, 영역(1155)의 크기는 영역(1110) 또는 영역(1130)의 크기 및 폐색 영역의 크기를 더한 크기일 수 있다.
영역들(1110, 1130)의 크기는 센서들(130, 230) 사이의 거리 및 센서들(130, 230)로부터 영역들(1110, 1120, 1130)까지의 거리(d1)에 따라 달라질 수 있다. 센서들(130, 230) 사이의 거리는 고정된 값이므로, 영역들(1110, 1130)의 크기는 거리(d1)에 따라 달라질 수 있다. 거리(d1)가 짧아질수록 영역들(1110, 1130)의 크기는 영역(1120)의 크기에 비해 커질 수 있다.
프로세서(300)는 영역(1155)의 크기 및 센서들(130, 230)로부터 영역들(1110, 1120, 1130)까지의 거리(d1)에 기초하여 색상 이동 방법 또는 디테일 이동 방법을 선택할 수 있다. 도 4를 참조하여 설명된 것처럼, 프로세서(300)는 영역(1155)의 크기 및 거리(d1)를 다양한 방법으로 고려하여 이동 방법을 선택할 수 있다.
예로서, 프로세서(300)는 거리(d1)가 기준 거리보다 가까운 경우 디테일 이동 방법을 선택할 수 있다. 프로세서(300)는 거리(d1)가 기준 거리보다 먼 경우 영역(1155)의 크기에 따라 색상 이동 방법 또는 디테일 이동 방법을 선택할 수 있다. 구체적으로, 프로세서(300)는 영역(1155)의 크기가 기준 크기보다 큰 경우 디테일 이동 방법을 선택할 수 있다. 프로세서(300)는 영역(1155)의 크기가 기준 크기보다 작은 경우 색상 이동 방법을 선택할 수 있다.
다른 예로서, 프로세서(300)는 거리(d1) 및 영역(1155)의 크기를 변환하여 생성된 변환 값과 기준 값을 비교하여 색상 이동 방법 또는 디테일 이동 방법을 선택할 수 있다.
프로세서(300)는 다양한 방법을 이동 방법을 선택할 수 있지만, 결과적으로는 영역(1155)의 크기가 큰 경우 디테일 이동 방법을 선택하고, 영역(1155)의 크기가 작은 경우 색상 이동 방법을 선택할 수 있다.
도 6은 도 1의 프로세서의 예시적인 구성을 보여주기 위한 블록도이다.
프로세서(300)는 분석 회로(310) 및 생성 회로(320)를 포함할 수 있다. 분석 회로(310) 및 생성 회로(320)는 각각 프로세서(300)가 제공하는 동작들 중 일부를 수행할 수 있다.
구체적으로, 분석 회로(310)는 영상 신호들(s2, s4)을 수신할 수 있다. 영상 신호들(s2, s4)에 기초하여, 분석 회로(310)는 폐색 영역의 크기를 도출하는 동작 및/또는 센서들(130, 230)로부터 영역들(1110, 1120, 1130)까지의 거리(d1)를 도출하는 동작을 수행할 수 있다. 또한, 분석 회로(310)는 폐색 영역의 크기와 기준 크기를 비교하는 동작 및/또는 거리(d1)와 기준 거리를 비교하는 동작을 수행할 수 있다. 분석 회로(310)는 비교 결과에 기초하여 신호(g0)를 출력할 수 있다.
생성 회로(320)는 신호(g0)를 수신할 수 있다. 신호(g0)는 폐색 영역의 크기를 기준 크기와 비교한 결과 및/또는 거리(d1)를 기준 거리와 비교한 결과를 나타낼 수 있다. 생성 회로(320)는 신호(g0)에 기초하여 색상 이동 방법 또는 디테일 이동 방법을 선택할 수 있다. 생성 회로(320)는 선택된 이동 방법에 따라 최종 영상 신호를 생성할 수 있다. 다만, 분석 회로(310) 및 생성 회로(320)는 프로세서(300)의 구성들 및 동작들을 설명하기 위해 예시적으로 도시된 것으로 본 발명은 이에 한정되지 않을 수 있다.
도 7은 디테일 이동 방법을 이용하여 생성되는 최종 영상을 설명하기 위한 개념도이다. 도 8은 색상 이동 방법을 이용하여 생성되는 최종 영상을 설명하기 위한 개념도이다. 본 발명은 이해를 돕기 위해, 도 7 및 도 8이 함께 참조된다.
영상(1160)은 디테일 이동 방법을 이용하여 생성되는 최종 영상 신호에 기초하여 표시되는 영상의 예시적인 모습이다. 도 4를 참조하여 설명된 것처럼, 영상 신호(s2)가 영상 신호(s4)에 포함되는 데이터가 나타내는 영역(1130)에 대응하는 데이터를 포함하지 않는 경우, 영상(1160)은 그 영역(1130)을 표시하지 않을 수 있다. 따라서, 디테일 이동 방법을 이용하여 생성되는 영상(1160)은 영역들(1110, 1120)에 대한 영상일 수 있다. 또한, 영상(1160)에서는 피사체(13)가 오른쪽으로 치우쳐져 위치할 수 있다.
도 1을 참조하여 설명된 것처럼, 영상 신호(s4)는 영상 신호(s2)보다 노이즈를적게 포함할 수 있다. 따라서, 영상(1160)의 해상력은 도 2에 도시된 영상(1140)의 해상력보다 높을 수 있다. 또한, 출력 영상 신호는 영상 신호(s2)보다 노이즈가 적을 수 있다. 즉, 영상(1160)은 영상(1140)보다 선명할 수 있다. 또한, 영상(1160)에는 영상(1140)에서보다 피사체(13)가 더 자세하게 표시될 수 있다.
영상(1170)은 색상 이동 방법을 이용하여 생성되는 최종 영상 신호에 기초하여 표시되는 영상의 예시적인 모습이다. 도 4를 참조하여 설명된 것처럼, 영상 신호(s4)가 영상 신호(s2)에 포함되는 데이터가 나타내는 영역(1110)에 대응하는 데이터를 포함하지 않는 경우, 영상(1170)은 영역(1110)을 표시하지 않을 수 있다. 따라서, 색상 이동 방법을 이용하여 생성되는 영상(1170)은 영역들(1120, 1130)에 대한 영상일 수 있다. 또한, 영상(1170)에는 피사체(13)가 왼쪽으로 치우쳐져 위치할 수 있다.
따라서, 사용자는 최종 영상에 표시되는 영역들 또는 최종 영상에 표시되는 피사체의 위치를 통해 최종 영상이 디테일 이동 방법과 색상 이동 방법 중 어떤 이동 방법으로 생성되었는지 판단할 수 있다.
도 1을 참조하여 설명된 것처럼, 영상 신호(s2)에 포함된 색상에 대한 데이터로 인해, 영상(1170)에서 색상이 표시될 수 있다. 다만, 영상 신호(s2)는 피사체들(14, 15)에 대한 색상 데이터를 포함하지 않으므로, 영상(1170)에서 피사체들(14, 15)이 흑색 또는 백색으로 표시될 수 있다. 폐색 영역 또는 도 5에 도시된 영역(1155)이 클수록 이러한 색 빠짐 현상 또는 부 효과가 크게 나타날 수 있다. 또한, 영상(1170)에서 피사체들(14, 15)이 실제의 색상과 다른 색상으로 표시될 수 있다. 폐색 영역 또는 도 5에 도시된 영역(1155)이 클수록 이러한 pseudo color 현상이 크게 나타날 수 있다.
따라서, 프로세서(300)는 폐색 영역이 큰 경우에 디테일 이동 방법을 사용하여 최종 영상 신호를 생성함으로써 색 빠짐 현상, 부 효과 및/또는 pseudo color 현상이 발생하는 것을 방지할 수 있다. 또한, 프로세서(300)는 영상 신호(s4)에 포함된 휘도에 대한 데이터 및 영상 신호(s2)에 기초하여 최종 영상 신호를 생성함으로써, 최종 영상의 화질을 향상시킬 수 있다.
도 9는 본 발명의 실시 예에 따른 프로세서를 포함하는 전자 장치의 예시적인 구성을 보여주는 블록도이다. 본 발명의 이해를 돕기 위해, 도 1이 함께 참조된다.
도 9는 전자 장치(1000)가 도 1에 도시된 영역들(1110, 1120, 1130)로부터 도1에 도시된 것보다 더 멀리 위치하는 경우에 대하여 도시한다. 이하 설명들에서, 센서들(130, 230)로부터 영역들(1110a, 1120a, 1130a)까지의 거리(d2)는 도 1에 도시된 거리(d1)보다 먼 것으로 가정된다.
센서들(130, 230)로부터 영역들(1110a, 1120a, 1130a)까지의 거리(d2)가 멀어질수록 센서들(130, 230)에 의해 공통으로 촬영되는 영역(1120a)의 크기가 커지게 된다. 센서들(130, 230)에 의해 공통으로 촬영되는 영역(1120a)에 피사체들(11, 12, 13, 14, 15)이 모두 위치할 수 있다. 센서(130)에 의해서만 촬영되는 영역(1110a) 및 센서(230)에 의해서만 촬영되는 영역(1130a)의 크기가 감소할 수 있다.
이 경우, 결과적으로 폐색 영역 또는 도 5에 도시된 영역(1155)이 작아지고 프로세서(300)는 색상 이동 방법을 이용하여 최종 영상 신호를 출력할 수 있다.
도 1을 참조하여 설명된 것처럼, 영상 신호(s5)는 영역들(1110a, 1120a)의 색상 및 휘도에 대한 정보를 포함할 수 있다. 이미지 처리 신호기(140)는 영상 신호(s5)에 기초하여 영역들(1110a, 1120a)의 색상에 대한 데이터 및 영역들(1110a, 1120a)의 휘도에 대한 데이터를 생성할 수 있다. 영상 신호(s6)는 영역들(1110a, 1120a)의 색상에 대한 데이터 및 영역들(1110a, 1120a)의 휘도에 대한 데이터를 포함할 수 있다.
영상 신호(s7)는 영역들(1120a, 1130a)의 색상 및 휘도에 대한 정보를 포함할 수 있다. 이미지 처리 신호기(140)는 영상 신호(s7)에 기초하여 영역들(1120a, 1130a)의 휘도에 대한 데이터를 생성할 수 있다. 영상 신호(s8)는 영역들(1120a, 1130a)의 휘도에 대한 데이터를 포함할 수 있다. 영상 신호(s8)는 영상 신호(s6)보다 영역(1120a)의 휘도와 관련하여 좀 더 정확한 정보를 포함할 수 있다.
도 10은 도 9의 프로세서가 색상 이동 방법 또는 디테일 이동 방법을 선택하는 예시적인 동작을 설명하기 위한 개념도이다.
영상(1140a)은 이미지 처리 블록(110)으로부터 출력되는 영상 신호(s6)에 기초하여 표시되는 영상의 예시적인 모습이다. 영상(1140b)은 이미지 처리 블록(110)으로부터 출력되는 영상 신호(s8)에 기초하여 표시되는 영상의 예시적인 모습이다.
도 4를 참조하여 설명된 것처럼, 프로세서(300)는 영상 신호(s6)에 기초하는 영상 블록들과 영상 신호(s8)에 기초하는 영상 블록들을 비교하여, 폐색 영역을 표시하는 영상 블록(1152a)을 탐색할 수 있다.
도 4를 참조하여 설명된 것처럼, 프로세서(300)는 탐색된 영상 블록(1152a)의 개수 및/또는 크기를 통해 폐색 영역의 크기를 도출할 수 있다. 영역들(1110a, 1120a, 1130a)로부터 센서들(130, 230)이 멀어지는 경우, 폐색 영역의 크기가 감소할 수 있다. 예로서, 도 4에 도시된 영상 블록들(1152)은 4개의 영상 블록을 포함하는 반면, 영상 블록(1152a)는 하나의 영상 블록을 포함할 수 있다.
도 4 및 도 10을 비교하면, 영역들(1110, 1120, 1130)로부터 센서들(130, 230)까지의 거리에 따라 폐색 영역의 크기가 달라짐을 확인할 수 있다. 구체적으로, 영역들(1110, 1120, 1130)로부터 센서들(130, 230)까지의 거리가 가까워지면, 폐색 영역의 크기가 커질 수 있다. 영역들(1110, 1120, 1130)로부터 센서들(130, 230)까지의 거리가 멀어지면, 폐색 영역의 크기가 작아지거나 폐색 영역이 사라질 수 있다.
다만, 도 4를 참조하여 설명된 것처럼, 본 발명에서 설명되는 폐색 영역은 다양한 실시 예로 표현될 수 있다. 즉, 폐색 영역을 표시하는 영상 블록은 영상 블록(1142a) 또는 영상 블록(1152a) 또는 영상 블록들(1142a, 1152a)을 의미할 수 있다.
도 11은 색상 이동 방법을 이용하여 생성되는 최종 영상을 설명하기 위한 개념도이다. 본 발명의 이해를 돕기 위해 도 9가 함께 참조된다.
도 9에 도시된 것처럼 영역들(1110, 1120, 1130)로부터 센서들(130, 230)이 멀어진 경우 및/또는 도 10에 도시된 것처럼 폐색 영역의 크기가 작아진 경우, 프로세서(300)는 색상 이동 방법을 이용하여 최종 영상을 생성할 수 있다.
영상(1170a)은 색상 이동 방법을 이용하여 생성되는 최종 영상 신호에 기초하여 표시되는 영상의 예시적인 모습이다. 영상(1170a)을 도 8에 도시된 영상(1170)과 비교하면, 색 빠짐 현상 및/또는 pseudo color 현상이 감소되거나 사라지는 것을 확인할 수 있다.
신호(s8)에 포함되는 휘도에 대한 데이터의 양은 신호(s6)에 포함되는 색상에 대한 데이터의 양보다 많을 수 있다. 따라서, 색상 이동 방법을 이용하는 경우 디테일 이동 방법을 이용하는 경우보다 프로세서(300)에서 처리되는 데이터의 양이 감소할 수 있다. 또한, 프로세서(300)가 색상 이동 방법을 이용하는 경우 출력 영상 신호를 생성하는 속도가 디테일 이동 방법을 이용하는 경우보다 빨라질 수 있다.
즉, 프로세서(300)가 거리(d2) 및 폐색 영역의 크기에 따라 적절하게 이동 방법을 선택함으로써, 프로세서(300)는 데이터 처리량을 감소시킬 수 있다. 또한, 전자 장치(1000)는 부 효과, 색 빠짐 현상 및/또는 pseudo color 현상 등이 감소되고, 높은 해상력을 갖는 최종 영상을 표시할 수 있다.
도 12는 프로세서가 이동 방법을 선택하는 방법을 설명하기 위한 흐름도이다. 본 발명의 이해를 돕기 위해, 도 1이 함께 참조된다.
S510 동작에서, 센서들(130, 230)이 영역들(1110, 1120, 1130)을 촬영할 수 있다. 센서(130)는 센서(130)가 있는 위치에서 영역들(1110, 1120)을 촬영할 수 있다. 센서(230)는 센서(230)가 있는 위치에서 영역들(1120, 1130)을 촬영할 수 있다.
S520 동작에서, 프로세서(300)는 센서들(130, 230)로부터 영역들(1110, 1120, 1130)까지의 거리(d1)와 기준 거리를 비교할 수 있다. 프로세서(300)는 거리(d1)를 계산할 수 있으며, 계산된 거리(d1)에 대한 데이터를 메모리(330)로 출력할 수 있다. 메모리(330)는 계산된 거리(d1)에 대한 데이터를 저장할 수 있다. 프로세서(300)는 거리(d1)와 기준 거리를 비교하기 위해 메모리에 저장된 거리(d1)에 대한 데이터를 이용할 수 있다.
거리(d1)가 기준 거리보다 큰 경우, S530 동작에서, 프로세서(300)는 영상 신호들(s2, s4)에 기초하는 영상 블록들을 비교할 수 있다. 프로세서(300)는 영상 블록들을 비교함으로써 폐색 영역을 표시하는 영상 블록들을 탐색할 수 있다. 프로세서(300)는 탐색된 영상 블록들의 개수 및/또는 크기를 통해 폐색 영역의 크기를 도출할 수 있다.
S540 동작에서, 프로세서(300)는 폐색 영역의 크기와 기준 크기를 비교할 수 있다.
폐색 영역의 크기가 기준 크기보다 작은 경우, S550 동작에서, 프로세서(300)는 색상 이동 방법을 이용하여 최종 영상 신호를 생성할 수 있다.
폐색 영역의 크기가 기준 크기보다 큰 경우, S560 동작에서, 프로세서(300)는 디테일 이동 방법을 이용하여 최종 영상 신호를 생성할 수 있다.
거리(d1)가 기준 거리보다 작은 경우, S560 동작에서, 프로세서(300)는 디테일 이동 방법을 이용하여 최종 영상 신호를 생성할 수 있다.
다만, 본 발명은 이에 한정되지 않고, 거리(d1)가 기준 거리보다 큰 경우, S560 동작에서, 프로세서(300)는 디테일 이동 방법을 이용하여 최종 영상 신호를 생성할 수 있다. 또한, 거리(d1)가 기준 거리보다 작은 경우, S530 동작을 수행한 후 S540 동작에서, 프로세서(300)는 디테일 이동 방법 또는 색상 이동 방법을 선택할 수 있다.
프로세서(300)는 S520 동작이 수행된 후 S560 동작이 수행되는 경우 폐색 영역의 크기를 계산하지 않을 수 있다. 따라서, 프로세서(300)는 거리(d1)를 기준 거리와 비교하는 동작을 폐색 영역의 크기를 기준 크기와 비교하는 동작보다 먼저 수행함으로써, 프로세서(300)에서 처리되는 데이터의 양을 감소시킬 수 있다.
도 13은 프로세서가 이동 방법을 선택하는 방법을 설명하기 위한 흐름도이다. 본 발명의 이해를 돕기 위해, 도 1이 함께 참조된다.
S610 동작에서, 센서들(130, 230)이 영역들(1110, 1120, 1130)을 촬영할 수 있다. 센서(130)는 센서(130)가 있는 위치에서 영역들(1110, 1120)을 촬영할 수 있다. 센서(230)는 센서(230)가 있는 위치에서 영역들(1120, 1130)을 촬영할 수 있다.
S620 동작에서, 프로세서(300)는 영상 신호들(s2, s4)에 기초하는 영상 블록들을 비교할 수 있다. 프로세서(300)는 영상 블록들을 비교함으로써 폐색 영역을 표시하는 영상 블록들을 탐색할 수 있다. 프로세서(300)는 탐색된 영상 블록들의 개수 및/또는 크기를 통해 폐색 영역의 크기를 도출할 수 있다.
S630 동작에서, 프로세서(300)는 도출된 폐색 영역의 크기 및 계산된 거리(d1)를 변환하여 변환 값을 생성할 수 있다. 프로세서(300)는 다양한 방법으로 변환 값을 생성할 수 있으나, 변환 값은 도출된 폐색 영역의 크기에 비례하고 계산된 거리(d1)에 반비례하도록 생성되거나, 변환 값은 도출된 폐색 영역의 크기에 반비례하고 계산된 거리(d1)에 비례하도록 생성될 수 있다.
S640 동작에서, 프로세서(300)는 기준 값과 변환 값을 비교할 수 있다.
변환 값이 기준 값보다 작은 경우, S650 동작에서, 프로세서(300)는 색상 이동 방법으로 최종 영상 신호를 생성할 수 있다.
변환 값이 기준 값보다 큰 경우, S660 동작에서, 프로세서(300)는 디테일 이동 방법으로 최종 영상 신호를 생성할 수 있다. 다만, 본 발명은 이에 한정되지 않고, 프로세서(300)는 변환 값이 기준 값보다 큰 경우 색상 이동 방법으로 최종 영상 신호를 생성할 수 있다. 또한, 프로세서(300)는 변환 값이 기준 값보다 작은 경우 디테일 이동 방법으로 최종 영상 신호를 생성할 수 있다.
S670 동작에서, 전자 장치(1000)는 최종 영상 신호에 기초하여 영상을 표시할 수 있다.
사용자는 전자 장치(1000)에 표시되는 영상에 기초하여 최종 영상 신호를 생성하기 위해 이용된 이용 방법이 변경되는지 여부를 확인할 수 있다. 구체적으로, 센서들(130, 230)로부터 영역들(1110, 1120, 1130)까지의 거리가 거리(d1)에서 거리(d2)로 변하는 경우, 도 7 및 도 11을 참조하면, 최종 영상에 표시되는 영역이 달라질 수 있다. 또한, 최종 영상에서의 피사체(13)의 위치가 오른쪽에서 왼쪽으로 이동될 수 있다. 이를 통해, 사용자는 최종 영상 신호를 생성하기 위해 이용된 이용 방법이 변경되는 것을 확인할 수 있다. 또한, 사용자는 최종 영상 신호를 생성하기 위해 이용된 이용 방법이 색상 이동 방법인지 또는 디테일 이동 방법인지를 판단할 수 있다.
도 14는 본 발명의 실시 예에 따른 프로세서를 포함하는 전자 장치의 예시적을 구성을 보여주는 블록도이다. 본 발명의 이해를 돕기 위해, 도 1이 함께 참조된다.
도 14는 도 1에 도시된 영역들(1110, 1120, 1130)보다 저조도의 영역들(1110b, 1120b, 1130b)을 도시한다. 도 14는 전자 장치(1000)가 저조도의 영역들(1110b, 1120b, 1130b)을 촬영하는 경우에 대하여 도시한다.
도 1에서 설명된 것처럼, 프로세서(300)는 조리개들(120, 220)이 열리는 정도를 조절할 수 있다. 프로세서(300)는 셔터의 속도를 조절할 수 있다. 프로세서(300)는 조리개들(120, 220)이 열리는 정도 또는 셔터의 속도를 조절함으로써 센서들(130, 230)로 수신되는 빛의 양을 조절할 수 있다.
센서들(130, 230)은 영역들(1110b, 1120b, 1130b)의 밝기를 감지할 수 있다. 프로세서(300)는 이미지 처리 블록들(100, 200)로부터 감지된 밝기에 대한 신호를 수신할 수 있다. 프로세서(300)는 감지된 밝기에 기초하여 조리개들(120, 220)이 열리는 정도 또는 셔터의 속도를 조절할 수 있다.
전자 장치(1000)가 저조도의 영역들(1110b, 1120b, 1130b)을 촬영하는 경우, 프로세서(300)가 감지한 영역들(1110b, 1120b, 1130b)의 밝기의 레벨은 낮을 수 있다. 프로세서(300)는 감지된 밝기에 기초하여, 센서들(130, 230)로 수신되는 빛의 양을 적절하게 유지하기 위해 조리개들(120, 220)을 많이 열거나 셔터의 속도를 느리게 할 수 있다.
그럼에도 불구하고, 전자 장치(1000)가 저조도 또는 극 저조도의 영역들(1110b, 1120b, 1130b)을 촬영하는 경우, 센서들(130, 230)로 수신되는 빛의 양이 적어질 수 있다. 또한, 센서(130)가 수신하는 빛의 양과 센서(230)가 수신하는 빛의 양의 차이가 커질 수 있다.
센서들(130, 230)은 수신되는 빛에 기초하여 신호들(s9, s11)을 생성할 수 있다. 신호들(s9, s11)의 세기는 수신되는 빛의 양에 따라 달라질 수 있다. 이미지 신호 처리기(140)는 신호들(s9, s11)에 기초하여 신호들(s10, s12)을 생성할 수 있다. 신호들(s10, s12)은 각각 신호들(s9, s11)의 세기에 대한 정보를 포함할 수 있다.
따라서, 프로세서(300)는 신호들(s10, s12)에 기초하여 영역들(1110b, 1120b, 1130b)이 저조도의 영역임을 판별할 수 있다. 구체적으로, 프로세서(300)는 신호들(s10, s12) 각각에 포함되는 휘도에 대한 데이터의 양의 차이에 기초하여 영역들(1110b, 1120b, 1130b)이 저조도의 영역임을 판별할 수 있다. 또한, 프로세서(300)는 감지된 밝기에 기초하여 영역들(1110b, 1120b, 1130b)이 저조도의 영역임을 판별할 수 있다. 도 6을 참조하면, 분석 회로(310)는 신호들(s10, s12)에 기초하여 영역들(1110b, 1120b, 1130b)이 저조도의 영역임을 판별할 수 있다. 분석 회로(310)는 신호(g0)를 출력할 수 있다. 신호(g0)는 영역들(1110b, 1120b, 1130b)이 저조도의 영역인지 여부를 나타낼 수 있다. 생성 회로(320)는 신호(g0)에 기초하여 이동 방법을 선택할 수 있다. 생성 회로(320)는 선택된 이동 방법에 따라 최종 영상 신호를 생성할 수 있다.
도 15는 도 14의 이미지 처리 블록으로부터 출력되는 영상 신호에 포함된 정보를 보여주기 위한 개념도이다.
영상(1140b)은 이미지 처리 블록(110)으로부터 출력되는 영상 신호(s10)에 기초하여 표시되는 영상의 예시적인 모습이다. 센서(130)가 저조도의 영역들(1110, 1120)을 촬영하는 경우, 영상(1140b)에는 피사체들(11, 12, 13)의 색상들이 표시되지 않을 수 있다. 이 경우, 최종 영상 신호를 생성하기 위해 영상 신호(s10)에 포함된 색상 데이터를 보호하는 것보다 영상 신호(s12)에 포함된 휘도 데이터를 보호하는 것이 더 중요할 수 있다.
디테일 이동 방법을 이용하는 경우, 영상 신호(s12)에 포함된 휘도 데이터를 영상 신호(s10)에 매핑하는 과정에서 휘도 데이터가 손실되거나 휘도 데이터에 노이즈가 발생할 수 있다. 따라서, 프로세서(300)는 영역들(1110b, 1120b, 1130b)이 저조도의 영역으로 판별되는 경우 색상 이동 방법을 이용하여 최종 영상 신호를 생성할 수 있다.
도 16은 프로세서가 이동 방법을 선택하는 방법을 설명하기 위한 흐름도이다. 본 발명의 이해를 돕기 위해 도 14가 함께 참조된다.
S710 동작에서, 센서들(130, 230)이 영역들(1110b, 1120b, 1130b)을 촬영할 수 있다. 센서(130)는 센서(130)가 있는 위치에서 영역들(1110b, 1120b)을 촬영할 수 있다. 센서(230)는 센서(230)가 있는 위치에서 영역들(1120b, 1130b)을 촬영할 수 있다.
S720 동작에서, 프로세서(300)는 영역들(1110b, 1120b, 1130b)의 밝기의 레벨과 기준 레벨을 비교할 수 있다. 도 1 및 도 14에서 설명된 것처럼, 프로세서(300)는 영역들(1110b, 1120b, 1130b)의 밝기를 감지할 수 있다. 프로세서(300)는 감지된 밝기의 레벨에 대한 데이터를 메모리(330)로 출력할 수 있다. 메모리(330)는 감지된 밝기의 레벨에 대한 데이터를 저장할 수 있다. 프로세서(300)는 감지된 밝기의 레벨과 기준 레벨을 비교하기 위해 메모리에 저장된 밝기의 레벨에 대한 데이터를 이용할 수 있다.
감지된 밝기의 레벨이 기준 레벨보다 큰 경우, S730 동작에서, 프로세서(300)는 영상 신호들(s10, s12)에 기초하는 영상 블록들을 비교할 수 있다. 프로세서(300)는 영상 블록들을 비교함으로써 폐색 영역을 표시하는 영상 블록들을 탐색할 수 있다. 프로세서(300)는 탐색된 영상 블록들의 개수 및/또는 크기를 통해 폐색 영역의 크기를 도출할 수 있다.
S740 동작에서, 프로세서(300)는 폐색 영역의 크기와 기준 크기를 비교할 수 있다.
폐색 영역의 크기가 기준 크기보다 큰 경우, S750 동작에서, 프로세서(300)는 디테일 이동 방법을 이용하여 최종 영상 신호를 생성할 수 있다.
폐색 영역의 크기가 기준 크기보다 작은 경우, S760 동작에서, 프로세서(300)는 색상 이동 방법을 이용하여 최종 영상 신호를 생성할 수 있다.
감지된 밝기의 레벨이 기준 레벨보다 작은 경우, S760 동작에서, 프로세서(300)는 색상 이동 방법을 이용하여 최종 영상 신호를 생성할 수 있다.
S770 동작에서, 전자 장치(1000)는 최종 영상 신호에 기초하여 영상을 표시할 수 있다. 도 13을 참조하여 설명된 것과 유사한 방법으로, 사용자는 전자 장치(1000)에 표시되는 영상에 기초하여 최종 영상 신호를 생성하기 위해 이용된 이용 방법이 변경되는지 여부를 확인할 수 있다.
도 17은 본 발명의 실시 예에 따른 프로세서를 포함하는 전자 시스템의 구성 및 그것의 인터페이스들을 나타낸 블록도이다. 전자 시스템(2000)은 MIPI(Mobile Industry Processor Interface) 연합(Alliance)에 의해 제안된 인터페이스를 이용하거나 지원할 수 있는 데이터 처리 장치로 구현될 수 있다. 예로서, 전자 시스템(2000)은 디지털 카메라, 비디오 캠코더, 스마트폰, 태블릿, 또는 웨어러블 장치(예컨대, 스마트 워치, 스마트 밴드 등) 등과 같은 전자 장치들 중 하나로 구현될 수 있다.
전자 시스템(2000)은 어플리케이션 프로세서(2100), 디스플레이(2220), 및 이미지 센서(2230)를 포함할 수 있다. 어플리케이션 프로세서(2100)는 DigRF 마스터(2110), DSI(Display Serial Interface) 호스트(2120), CSI(Camera Serial Interface) 호스트(2130), 및 물리 계층(2140)을 포함할 수 있다.
DSI 호스트(2120)는 DSI에 따라 디스플레이(2220)의 DSI 장치(2225)와 통신할 수 있다. 예로서, DSI 호스트(2120)에는 광 시리얼라이저(SER)가 구현될 수 있다. 예로서, DSI 장치(2225)에는 광 디시리얼라이저(DES)가 구현될 수 있다.
CSI 호스트(2130)는 CSI에 따라 이미지 센서들(2230, 2231)의 CSI 장치들(2235, 2236)과 통신할 수 있다. 예로서, CSI 호스트(2130)에는 광 디시리얼라이저(DES)가 구현될 수 있다. 예로서, CSI 장치들(2235, 2236)에는 광 시리얼라이저(SER)가 구현될 수 있다.
예로서, 전자 시스템(2000)이 영상을 촬영할 수 있는 전자 장치(예컨대, 디지털 카메라 또는 비디오 캠코더)로 구현된 경우, 이미지 센서들(2230, 2231)은 각각 객체를 촬영하여 영상 신호를 생성할 수 있다(도 1 참조). 어플리케이션 프로세서(2100)는 이미지 센서들(2230, 2231) 각각으로부터 출력되는 영상 신호들에 기초하여 최종 영상 신호를 생성할 수 있다. 전자 시스템(2000)는 최종 영상 신호에 기초하여 최종 영상을 디스플레이(2220)에 표시할 수 있다.
예로서, 어플리케이션 프로세서(2100)는 도 1의 연산 처리기(1110 또는 1230)로서 제공될 수 있다.
전자 시스템(2000)은 어플리케이션 프로세서(2100)와 통신하는 RF(Radio Frequency) 칩(2240)을 더 포함할 수 있다. RF 칩(2240)은 물리 계층(2242), DigRF 슬레이브(2244), 및 안테나(2246)를 포함할 수 있다. 예로서, RF 칩(2240)의 물리 계층(2242)과 어플리케이션 프로세서(2100)의 물리 계층(2140)은 MIPI 연합에 의해 제안된 DigRF 인터페이스에 의해 서로 데이터를 교환할 수 있다.
전자 시스템(2000)은 워킹 메모리(2250) 및 임베디드(Embedded)/카드 스토리지(2255)를 더 포함할 수 있다. 워킹 메모리(2250) 및 임베디드/카드 스토리지(2255)는 어플리케이션 프로세서(2100)로부터 제공받은 데이터를 저장할 수 있다.
워킹 메모리(2250)는 어플리케이션 프로세서(2100)에 의해 처리된 또는 처리될 데이터를 일시적으로 저장할 수 있다. 워킹 메모리(2250)는 SRAM, DRAM, SDRAM 등과 같은 휘발성 메모리, 및/또는 플래시(Flash) 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 불휘발성 메모리를 포함할 수 있다.
임베디드/카드 스토리지(2255)는 전원 공급에 관계없이 데이터를 저장할 수 있다. 임베디드/카드 스토리지(2255)는 하나 이상의 불휘발성 메모리들, 메모리 컨트롤러, 및 버퍼를 포함할 수 있다.
전자 시스템(2000)은 Wimax(2260), WLAN(Wireless Local Area Network; 2262), UWB(Ultra Wideband; 2264) 등과 같은 통신 모듈을 통해 외부 시스템과 통신할 수 있다. 이해를 돕기 위해 Wimax(2260), WLAN(2262), 및 UWB(2264)가 언급되었으나, 전자 시스템(2000)은 다른 다양한 통신 모듈을 더 포함할 수 있다.
전자 시스템(2000)은 음성 정보를 처리하기 위한 스피커(2270) 및 마이크(2275)를 더 포함할 수 있다. 전자 시스템(2000)은 위치 정보를 처리하기 위한 GPS(Global Positioning System) 장치(2280)를 더 포함할 수 있다. 전자 시스템(2000)은 주변 장치들과의 연결을 관리하기 위한 브릿지(Bridge) 칩(2290)을 더 포함할 수 있다.
상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

Claims (10)

  1. 제 1 위치에서 제 1 센서에 의해 촬영되는 대상 영역에 대한 제 1 영상 데이터 및 상기 제 1 위치와 이격된 제 2 위치에서 제 2 센서에 의해 촬영되는 상기 대상 영역에 대한 제 2 영상 데이터에 기초하여, 상기 대상 영역 중 일부 영역이 상기 제 1 센서 및 상기 제 2 센서 중 하나의 센서에 의해서만 촬영되는 경우 상기 일부 영역의 크기를 분석하여 제 1 분석 결과를 생성하고, 그리고 상기 제 1 위치 또는 상기 제 2 위치로부터 상기 대상 영역까지의 거리를 분석하여 제 2 분석 결과를 생성하는 분석 회로; 및
    상기 제 1 분석 결과 및 상기 제 2 분석 결과 중 적어도 하나에 따라, 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터에 기초하여, 제 1 최종 영상 데이터 또는 제 2 최종 영상 데이터를 선택적으로 생성하는 생성 회로를 포함하되,
    상기 제 1 최종 영상 데이터와 상기 제 2 최종 영상 데이터의 차이는 상기 제 1 센서의 제 1 특성과 상기 제 2 센서의 제 2 특성의 차이에 기초하는 프로세서.
  2. 제 1 항에 있어서,
    상기 제 1 특성은 상기 제 1 센서의 제 1 기능에 기초하고,
    상기 제 2 특성은 상기 제 2 센서의 제 2 기능에 기초하고,
    상기 제 1 기능은 상기 대상 영역의 색상(color)에 대한 정보를 획득하는 것이고,
    상기 제 2 기능은 상기 대상 영역의 휘도(luminance)에 대한 정보를 획득하는 것인 프로세서.
  3. 제 1 항에 있어서,
    상기 제 1 특성은 상기 제 1 센서의 제 3 기능에 대한 제 1 성능에 기초하고,
    상기 제 2 특성은 상기 제 2 센서의 상기 제 3 기능에 대한 제 2 성능에 기초하고,
    상기 제 1 성능은 상기 제 2 성능과 상이한 프로세서.
  4. 제 3 항에 있어서,
    상기 제 3 기능은 상기 대상 영역의 휘도에 대한 정보를 획득하는 것이고 상기 제 1 성능이 상기 제 2 성능보다 낮은 경우, 상기 제 1 분석 결과에 기초하여, 상기 생성 회로는 상기 일부 영역의 상기 크기가 기준 크기보다 작은 경우 상기 제 1 영상 데이터의 일부를 상기 제 2 영상 데이터에 매핑하여 상기 제 1 최종 영상 데이터를 생성하고, 상기 일부 영역의 상기 크기가 상기 기준 크기보다 큰 경우 상기 제 2 영상 데이터의 일부를 상기 제 1 영상 데이터에 매핑하여 상기 제 2 최종 영상 데이터를 생성하는 프로세서.
  5. 메모리에 저장된 명령어를 실행하도록 구성되는 프로세서에 있어서,
    상기 명령어가 상기 프로세서에 의해 실행되는 경우, 상기 프로세서는:
    제 1 위치에서 촬영되는 대상 영역에 대한 제 1 영상 데이터 및 상기 제 1 위치와 이격된 제 2 위치에서 촬영되는 상기 대상 영역에 대한 제 2 영상 데이터에 기초하여, 상기 대상 영역 중 일부 영역이 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터 중 하나의 영상 데이터에서만 나타나는 경우 상기 일부 영역의 크기를 분석하여 제 1 분석 결과를 생성하고; 그리고
    상기 제 1 분석 결과에 기초하여, 상기 제 1 영상 데이터의 일부 데이터를 상기 제 2 영상 데이터에 매핑하여 제 1 최종 영상 데이터를 생성하거나 상기 제 2 영상 데이터의 일부 데이터를 상기 제 1 영상 데이터에 매핑하여 제 2 최종 영상 데이터를 생성하도록 야기하고,
    상기 프로세서는 상기 제 1 위치 또는 상기 제 2 위치로부터 상기 대상 영역까지의 거리를 분석하여 제 2 분석 결과를 생성하고, 상기 제 1 분석 결과 및 상기 제 2 분석 결과에 기초하여, 상기 거리 및 상기 일부 영역의 상기 크기에 따라 상기 제 1 최종 영상 데이터 또는 상기 제 2 최종 영상 데이터를 선택적으로 생성하도록 더 구성되는 프로세서.
  6. 제 5 항에 있어서,
    상기 프로세서는 상기 일부 영역의 상기 크기를 기준 크기와 비교하여 상기 제 1 분석 결과를 생성하고, 상기 제 1 분석 결과에 기초하여 상기 제 1 최종 영상 데이터 또는 상기 제 2 최종 영상 데이터를 선택적으로 생성하는 프로세서.
  7. 삭제
  8. 삭제
  9. 제 1 위치에서 촬영되는 제 1 영역에 대한 제 1 영상 데이터와 상기 제 1 위치와 이격된 제 2 위치에서 촬영되는 제 2 영역에 대한 제 2 영상 데이터를 비교하여 제 1 분석 결과를 출력하고, 그리고 상기 제 1 영역 및 상기 제 2 영역 중 하나에서만 나타나는 폐색 영역의 크기를 분석하여 제 2 분석 결과를 출력하는 분석 회로; 및
    상기 제 1 분석 결과 및 상기 제 2 분석 결과 중 적어도 하나에 따라, 상기 제 1 영상 데이터의 일부 데이터를 상기 제 2 영상 데이터에 매핑하여 제 1 최종 영상 데이터를 생성하거나 상기 제 2 영상 데이터의 일부 데이터를 상기 제 1 영상 데이터에 매핑하여 제 2 최종 영상 데이터를 생성하는 생성 회로를 포함하되,
    상기 제 2 영역은 상기 제 1 영역의 일부 영역을 포함하고, 그리고 상기 일부 영역은 상기 폐색 영역에 대응하는 프로세서.
  10. 제 9 항에 있어서,
    상기 분석 회로는 상기 제 1 영상 데이터에 기초하는 제 1 영상 블록들 중 상기 제 2 영상 데이터에 기초하는 상기 제 2 영상 블록들에 대응하지 않는 영상 블록들의 개수를 기준 개수와 비교하여 상기 제 1 분석 결과를 출력하는 프로세서.
KR1020190008892A 2019-01-23 2019-01-23 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서 KR102648912B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190008892A KR102648912B1 (ko) 2019-01-23 2019-01-23 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서
US16/587,825 US11134203B2 (en) 2019-01-23 2019-09-30 Processing circuit analyzing image data and generating final image data
US17/479,104 US11616916B2 (en) 2019-01-23 2021-09-20 Processing circuit analyzing image data and generating final image data
US18/187,299 US20230232117A1 (en) 2019-01-23 2023-03-21 Processing circuit analyzing image data and generating final image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190008892A KR102648912B1 (ko) 2019-01-23 2019-01-23 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서

Publications (2)

Publication Number Publication Date
KR20200091996A KR20200091996A (ko) 2020-08-03
KR102648912B1 true KR102648912B1 (ko) 2024-03-19

Family

ID=71608781

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190008892A KR102648912B1 (ko) 2019-01-23 2019-01-23 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서

Country Status (2)

Country Link
US (3) US11134203B2 (ko)
KR (1) KR102648912B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210107955A (ko) * 2020-02-24 2021-09-02 삼성전자주식회사 컬러 스테인 분석 방법 및 상기 방법을 이용하는 전자 장치
US11172139B2 (en) * 2020-03-12 2021-11-09 Gopro, Inc. Auto exposure metering for spherical panoramic content

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8446492B2 (en) 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
US8885067B2 (en) * 2009-12-24 2014-11-11 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
CN108989649B (zh) * 2013-08-01 2021-03-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
US9154697B2 (en) 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
JP2016063248A (ja) 2014-09-12 2016-04-25 株式会社東芝 画像処理装置および画像処理方法
KR102336449B1 (ko) * 2015-05-22 2021-12-07 삼성전자주식회사 촬영 장치 및 촬영 장치의 동작방법
WO2017091927A1 (zh) * 2015-11-30 2017-06-08 华为技术有限公司 图像处理方法和双摄像头系统
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10469821B2 (en) * 2016-06-17 2019-11-05 Altek Semiconductor Corp. Stereo image generating method and electronic apparatus utilizing the method
US9860456B1 (en) 2016-11-11 2018-01-02 Motorola Mobility Llc Bayer-clear image fusion for dual camera
US10957029B2 (en) * 2016-11-17 2021-03-23 Sony Corporation Image processing device and image processing method
WO2018179671A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
US10805514B2 (en) * 2017-05-25 2020-10-13 Eys3D Microelectronics, Co. Image processor and related image system
JP2019128827A (ja) * 2018-01-25 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
US11134203B2 (en) 2021-09-28
KR20200091996A (ko) 2020-08-03
US20220006963A1 (en) 2022-01-06
US11616916B2 (en) 2023-03-28
US20230232117A1 (en) 2023-07-20
US20200236298A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
US11699219B2 (en) System, method, and computer program for capturing an image with correct skin tone exposure
CN108702437B (zh) 计算深度图的方法、系统、设备和存储介质
US10044926B2 (en) Optimized phase detection autofocus (PDAF) processing
CA2969482C (en) Method and apparatus for multiple technology depth map acquisition and fusion
US20140028861A1 (en) Object detection and tracking
ES2788854T3 (es) Método y dispositivo de procesamiento de imágenes
US20230232117A1 (en) Processing circuit analyzing image data and generating final image data
US11620754B2 (en) System, method, and computer program for adjusting image contrast using parameterized cumulative distribution functions
KR101800995B1 (ko) 위상 기반 오토포커스를 위한 신뢰도 측정
US9392196B2 (en) Object detection and tracking with reduced error due to background illumination
KR20230098575A (ko) 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들
US11334961B2 (en) Multi-scale warping circuit for image fusion architecture
WO2023086694A1 (en) Image modification techniques
TW202332252A (zh) 多感測器成像彩色校正
US20120033854A1 (en) Image processing apparatus
TW202303522A (zh) 使用多點深度感測系統資訊處理圖像資料
US11375140B2 (en) Binner circuit for image signal processor
CN112241935B (zh) 图像处理方法、装置及设备、存储介质
US20230298302A1 (en) Single read of keypoint descriptors of image from system memory for efficient header matching
CN117356102A (zh) 多相机系统中辅助相机的镜头定位

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant