KR20150100068A - 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치 - Google Patents

배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치 Download PDF

Info

Publication number
KR20150100068A
KR20150100068A KR1020140021410A KR20140021410A KR20150100068A KR 20150100068 A KR20150100068 A KR 20150100068A KR 1020140021410 A KR1020140021410 A KR 1020140021410A KR 20140021410 A KR20140021410 A KR 20140021410A KR 20150100068 A KR20150100068 A KR 20150100068A
Authority
KR
South Korea
Prior art keywords
image
generated
pixel
data corresponding
data
Prior art date
Application number
KR1020140021410A
Other languages
English (en)
Other versions
KR102125775B1 (ko
Inventor
이준호
김대관
김태찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140021410A priority Critical patent/KR102125775B1/ko
Priority to US14/608,716 priority patent/US9681063B2/en
Publication of KR20150100068A publication Critical patent/KR20150100068A/ko
Application granted granted Critical
Publication of KR102125775B1 publication Critical patent/KR102125775B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 촬영 장치를 이용하여 영상을 생성하는 방법을 제공한다. 본 발명의 영상 생성 방법은 객체에 대한 초점을 맞추고 객체를 촬영하여 하나 이상의 픽셀 센서에 대응하는 데이터가 배제된 불완전 영상을 생성하는 단계, 객체에 대한 초점을 흐리게 하여 하나 이상의 픽셀 센서의 주변 픽셀을 이용하여 생성된 하나 이상의 픽셀 센서에 대응하는 데이터를 포함하는 초점 흐림 영상을 생성하는 단계, 불완전 영상에 포함되는 데이터 및 초점 흐림 영상에 포함되는 데이터에 기초하여 하나 이상의 픽셀 센서에 대응하는 데이터를 추출하는 단계, 및 추출된 데이터를 불완전 영상 및 초점 흐림 영상 중 적어도 하나에 반영하여 최종 영상을 생성하는 단계를 포함한다. 본 발명의 실시 예에 따르면, 이미지 센서에 손실 픽셀이 포함되더라도, 높은 화질 및 높은 신뢰도를 갖는 영상이 생성될 수 있다.

Description

배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치{IMAGE GENERATING METHOD BY COMPENSATING EXCLUDED PIXEL DATA AND IMAGE GENERATING DEVICE THEREWITH}
본 발명은 영상 처리 기술에 관한 것으로, 좀 더 구체적으로 손실 픽셀(Missing Pixel)에 대응하는 데이터를 보상하여 영상을 생성하는 방법 및 장치에 관한 것이다.
디지털 데이터를 이용하여 영상을 생성 및 처리하는 장치가 널리 사용되고 있다. 디지털 데이터를 이용하여 영상을 생성 및 처리하는 기술은 디지털 카메라, 휴대용 전화기, 태블릿 등 소형 전자 기기에서 활용되고 있다.
소형 전자 기기에 구비되는 카메라 모듈(Camera Module)은 이미지 센서(Image Sensor)를 포함한다. 이미지 센서는 필터 어레이(Filter Array) 및 감광(Photo-sensitive) 소자 어레이를 포함한다. 필터 어레이 및 감광 소자 어레이는 픽셀 단위로 형성된다. 일반적으로, 각각의 픽셀에 배치되는 필터는 특정 주파수 특성을 갖는 가시광을 통과시킨다. 예컨대, 각각의 픽셀에 배치되는 필터는 적색광을 통과시키는 필터, 녹색광을 통과시키는 필터, 및 청색광을 통과시키는 필터 중 어느 하나일 수 있다. 하나의 필터에 대응하는 하나의 감광 소자는 필터를 통과한 가시광의 세기에 따라 전기 신호를 생성한다.
근래 사용되는 이미지 센서는 다양한 형태로 구현된다. 근래 사용되는 이미지 센서는 가시광 감지 외의 기능을 수행하기 위한 픽셀을 포함할 수 있다. 예컨대, 근래 사용되는 이미지 센서는 객체와 이미지 센서 사이의 거리를 측정하기 위해 사용되는 적외선 필터를 더 포함할 수 있다.
그런데, 가시광 감지 외의 기능을 수행하기 위한 픽셀은 영상을 생성하기 위해 필요한 기능을 수행하지 않는다. 따라서, 가시광 감지 외의 기능을 수행하기 위한 픽셀이 이미지 센서에 포함되면, 생성된 영상의 화질이 떨어질 수 있다. 최악의 경우, 이미지 센서가 객체를 적절히 인식하지 못할 수 있다.
영상 감지 기능을 수행하지 않는 손실 픽셀에 대응하는 데이터를 보상하여 영상을 생성하는 방법 및 장치가 제공된다. 즉, 생성되는 영상의 화질을 향상시키기 위해 손실 픽셀에 대응하는 데이터를 보상하는 방법 및 장치가 제공된다. 특히, 본 발명의 실시 예에서 손실 픽셀에 대응하는 데이터를 얻기 위해, 객체에 대한 초점을 맞추고 객체를 촬영한 영상 및 객체에 대한 초점을 흐리게 하고 객체를 촬영한 영상이 함께 활용된다.
본 발명의 일 실시 예에 따라 영상 촬영 장치를 이용하여 영상을 생성하는 방법은 객체에 대한 초점을 맞추고 객체를 촬영하여, 하나 이상의 픽셀 센서에 대응하는 데이터가 배제된 불완전 영상을 생성하는 단계; 객체에 대한 초점을 흐리게 하여, 하나 이상의 픽셀 센서의 주변 픽셀을 이용하여 생성된 하나 이상의 픽셀 센서에 대응하는 데이터를 포함하는 초점 흐림 영상을 생성하는 단계; 불완전 영상에 포함되는 데이터 및 초점 흐림 영상에 포함되는 데이터에 기초하여 하나 이상의 픽셀 센서에 대응하는 데이터를 추출하는 단계; 및 추출된 데이터를 불완전 영상 및 초점 흐림 영상 중 적어도 하나에 반영하여 최종 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 영상 생성 방법에서, 하나 이상의 픽셀 센서는 결함 영상 감지 픽셀 또는 영상 감지 외의 기능을 수행하기 위한 픽셀에 대응할 수 있다.
본 발명의 일 실시 예에 따른 영상 생성 방법에서, 불완전 영상은 객체를 촬영한 영상을 형성하는 픽셀들에 대응하는 데이터에 대해 가우시안 필터 연산을 수행하여 생성될 수 있다.
본 발명의 일 실시 예에 따른 영상 생성 방법에서, 초점 흐림 영상을 생성하는 단계는 객체에 대한 초점을 흐리게 하기 위해 영상 촬영 장치에 포함되는 렌즈 및 이미지 센서 중 적어도 하나를 이동시키는 단계를 포함할 수 있다. 이 실시 예에서, 초점 흐림 영상은 이동된 렌즈 또는 이미지 센서를 통해 객체를 촬영하여 생성될 수 있다.
본 발명의 일 실시 예에 따른 영상 생성 방법에서, 초점 흐림 영상은 불완전 영상을 형성하는 픽셀들에 대응하는 데이터에 대해 블러 필터 연산을 수행하여 생성될 수 있다.
본 발명의 일 실시 예에 따른 영상 생성 방법 중 데이터를 추출하는 단계에서, 하나 이상의 픽셀 센서에 대응하는 데이터는 초점 흐림 영상을 형성하는 픽셀들 각각에 대응하는 데이터의 값과 불완전 영상을 형성하는 픽셀들 각각에 대응하는 데이터의 값 사이의 차이에 기초하여 추출될 수 있다.
본 발명의 일 실시 예에 따른 영상 생성 방법 중 최종 영상을 생성하는 단계에서, 하나 이상의 픽셀 센서에 대응하는 데이터는 불완전 영상 또는 초점 흐림 영상을 형성하는 픽셀들 중 하나 이상의 픽셀 센서의 위치의 픽셀에 대응하는 데이터의 값에 추출된 데이터의 값을 더하여 보상될 수 있다.
본 발명의 다른 실시 예에 따른 영상 생성 장치는 객체로부터 반사된 빛을 수집하기 위한 렌즈; 수집된 빛의 특성에 기초하여 전기 신호를 생성하기 위한 이미지 센서; 생성된 전기 신호의 특성에 기초하여 최종 영상을 생성하기 위한 영상 신호 처리부; 및 렌즈, 이미지 센서, 및 영상 신호 처리부의 작동을 제어하기 위한 제어부를 포함할 수 있다. 이 실시 예에서, 영상 신호 처리부는 제어부의 제어에 따라 초점이 맞춰진 객체의 촬영에 의해 생성된 전기 신호의 특성에 기초하여, 하나 이상의 픽셀 센서에 대응하는 데이터가 배제된 불완전 영상을 생성하고; 객체에 대한 초점이 흐려지면, 하나 이상의 픽셀 센서의 주변 픽셀을 이용하여 생성된 하나 이상의 픽셀 센서에 대응하는 데이터를 포함하는 초점 흐림 영상을 생성하고; 불완전 영상에 포함되는 데이터 및 초점 흐림 영상에 포함되는 데이터에 기초하여 하나 이상의 픽셀 센서에 대응하는 데이터를 추출하고; 추출된 데이터를 불완전 영상 및 초점 흐림 영상 중 적어도 하나에 반영하여 최종 영상을 생성할 수 있다.
본 발명의 다른 실시 예에 따른 영상 생성 장치에서, 하나 이상의 픽셀 센서는 결함 영상 감지 픽셀 또는 영상 감지 외의 기능을 수행하기 위한 픽셀에 대응할 수 있다.
본 발명의 다른 실시 예에 따른 영상 생성 장치에서, 영상 신호 처리부는 객체를 촬영한 영상을 형성하는 픽셀들에 대응하는 데이터에 대해 가우시안 필터 연산을 수행하여 불완전 영상을 생성할 수 있다.
본 발명의 다른 실시 예에 따른 영상 생성 장치에서, 제어부는 객체에 대한 초점을 흐리게 하기 위해 렌즈 및 이미지 센서 중 적어도 하나가 이동하도록 제어할 수 있다. 이 실시 예에서, 초점 흐림 영상은 이동된 렌즈 또는 이미지 센서를 통해 객체를 촬영하여 생성될 수 있다.
본 발명의 다른 실시 예에 따른 영상 생성 장치에서, 영상 신호 처리부는 불완전 영상을 형성하는 픽셀들에 대응하는 데이터에 대해 블러 필터 연산을 수행하여 초점 흐림 영상을 생성할 수 있다.
본 발명의 다른 실시 예에 따른 영상 생성 장치에서, 영상 신호 처리부는 초점 흐림 영상을 형성하는 픽셀들 각각에 대응하는 데이터의 값과 불완전 영상을 형성하는 픽셀들 각각에 대응하는 데이터의 값 사이의 차이에 기초하여 하나 이상의 픽셀 센서에 대응하는 데이터를 추출할 수 있다.
본 발명의 다른 실시 예에 따른 영상 생성 장치에서, 영상 신호 처리부는 불완전 영상 또는 초점 흐림 영상을 형성하는 픽셀들 중 하나 이상의 픽셀 센서의 위치의 픽셀에 대응하는 데이터의 값에 추출된 데이터의 값을 더하여 하나 이상의 픽셀 센서에 대응하는 데이터를 보상할 수 있다.
본 발명의 실시 예에 따르면, 이미지 센서에 손실 픽셀이 포함되더라도, 손실 픽셀에 대응하는 데이터가 보상될 수 있다. 따라서, 본 발명의 실시 예에 따르면, 높은 화질 및 높은 신뢰도를 갖는 영상이 생성될 수 있다. 특히, 둘 이상의 손실 픽셀이 공간적으로 모여 있는 경우와 같이 손실 픽셀에 대응하는 데이터가 복원되기 어려운 경우에도, 본 발명의 실시 예에 따라 손실 픽셀에 대응하는 데이터가 효과적으로 보상될 수 있다.
도 1은 본 발명의 일 실시 예에 따라 영상을 생성하는 방법을 설명하는 흐름도이다.
도 2는 본 발명의 일 실시 예에 따라 영상을 생성하는 다른 방법을 설명하는 흐름도이다.
도 3 및 도 4는 객체에 대한 초점을 맞추고 객체를 촬영하는 경우를 설명하기 위한 개념도이다.
도 5 및 도 6은 객체에 대한 초점을 흐리게 하여 객체를 촬영하는 경우를 설명하기 위한 개념도이다.
도 7 내지 도 9 각각은 본 발명의 일 실시 예에 따라 영상을 생성하는 또 다른 방법을 설명하는 흐름도이다.
도 10은 본 발명의 일 실시 예의 영상 생성 방법 따라 영상이 생성되는 과정을 설명하기 위한 개념도이다.
도 11은 본 발명의 다른 실시 예에 따른 영상 생성 장치가 가질 수 있는 구성을 설명하기 위한 블록도이다.
도 12는 본 발명의 다른 실시 예의 영상 생성 장치에 포함되는 이미지 센서가 가질 수 있는 구성을 설명하기 위한 개념도이다.
도 13은 본 발명의 실시 예의 영상 생성 장치를 포함하는 전자 시스템이 가질 수 있는 구성과 인터페이스를 나타낸 블록도이다.
전술한 특성 및 이하 상세한 설명은 모두 본 발명의 설명 및 이해를 돕기 위한 예시적인 사항이다. 즉, 본 발명은 이와 같은 실시 예에 한정되지 않고 다른 형태로 구체화될 수 있다. 다음 실시 형태들은 단지 본 발명을 완전히 개시하기 위한 예시이며, 본 발명이 속하는 기술 분야의 통상의 기술자들에게 본 발명을 전달하기 위한 설명이다. 따라서, 본 발명의 구성 요소들을 구현하기 위한 방법이 여럿 있는 경우에는, 이들 방법 중 특정한 것 또는 이와 동일성 있는 것 가운데 어떠한 것으로든 본 발명의 구현이 가능함을 분명히 할 필요가 있다.
본 명세서에서 어떤 구성이 특정 요소들을 포함한다는 언급이 있는 경우, 또는 어떤 과정이 특정 단계들을 포함한다는 언급이 있는 경우는, 그 외 다른 요소 또는 다른 단계들이 더 포함될 수 있음을 의미한다. 즉, 본 명세서에서 사용되는 용어들은 특정 실시 형태를 설명하기 위한 것일 뿐이고, 본 발명의 개념을 한정하기 위한 것이 아니다. 나아가, 발명의 이해를 돕기 위해 설명한 예시들은 그것의 상보적인 실시 예도 포함한다.
본 명세서에서 사용되는 용어들은 본 발명이 속하는 기술 분야의 통상의 기술자들이 일반적으로 이해하는 의미를 갖는다. 보편적으로 사용되는 용어들은 본 명세서의 맥락에 따라 일관적인 의미로 해석되어야 한다. 또한, 본 명세서에서 사용되는 용어들은, 그 의미가 명확히 정의된 경우가 아니라면, 지나치게 이상적이거나 형식적인 의미로 해석되지 않아야 한다. 이하 첨부된 도면을 통하여 본 발명의 실시 예가 설명된다.
도 1은 본 발명의 일 실시 예에 따라 영상을 생성하는 방법을 설명하는 흐름도이다. 본 발명의 일 실시 예에 따라 영상을 생성하는 방법에서, 하나 이상의 손실 픽셀(Missing Pixel)에 대응하는 데이터가 보상될 수 있다.
손실 픽셀은 영상 감지 기능을 수행하지 않는 픽셀이다. 예컨대, 손실 픽셀은 결함을 갖게 되어 영상 감지 기능을 수행하지 못하게 된 영상 감지 픽셀일 수 있다. 또는, 손실 픽셀은 영상 감지 외의 기능을 수행하기 위한 픽셀일 수 있다. 손실 픽셀은 하나 이상 존재할 수 있다. 하나 이상의 손실 픽셀에 대한 정보는 도 1의 영상 생성 방법이 수행되기 전에 미리 수집될 수 있다. 또는, 손실 픽셀을 검출하기 위한 알고리즘을 수행하여, 하나 이상의 손실 픽셀에 대한 정보가 수집될 수 있다.
S110 단계에서, 불완전 영상이 생성될 수 있다. 불완전 영상은 객체에 대한 초점을 맞추고 객체를 촬영하여 생성될 수 있다. 객체는 촬영 대상이다. 손실 픽셀은 영상 감지 기능을 수행하지 않기 때문에, 손실 픽셀에 대응하는 데이터는 생성되지 않는다. 불완전 영상은 손실 픽셀에 대응하는 데이터를 포함하지 않는 영상이다. 불완전 영상의 생성에 관한 설명은 도 3 및 도 4에 대한 설명에서 더 언급된다.
S120 단계에서, 초점 흐림 영상이 생성될 수 있다. 본 발명의 실시 예에 따르면, 객체에 대한 초점을 흐리게 하여 초점 흐림 영상이 생성될 수 있다. 객체에 대한 초점을 흐리게 하는 방법은 여러 가지 형태로 구현될 수 있다. 객체에 대한 초점을 흐리게 하는 방법의 실시 예에 관한 설명은 도 2 및 도 7에 대한 설명에서 언급된다.
객체에 대한 초점이 흐려지면, 손실 픽셀에 맺히는 상에 대응하는 영역이 넓어질 수 있다. 손실 픽셀에 맺히는 상에 대응하는 영역이 넓어지면, 손실 픽셀에 맺히는 상이 손실 픽셀의 주변 픽셀에 영향을 준다. 이에 따라, 손실 픽셀에 대응하는 데이터가 손실 픽셀의 주변 픽셀을 통해 생성되거나, 손실 픽셀의 주변 픽셀에 대응하는 데이터가 손실 픽셀에 반영될 수 있다. 결과적으로, 본 발명의 실시 예에 따라 생성된 초점 흐림 영상은 손실 픽셀에 대응하는 데이터를 포함할 수 있다. 초점 흐림 영상의 생성에 관한 설명은 도 5 및 도 6에 대한 설명에서 더 언급된다.
S110 단계 및 S120 단계 각각에서, 불완전 영상과 초점 흐림 영상은 서로 다른 조건 하에서 촬영된다. 구체적으로, S110 단계에서, 객체에 대한 초점이 맞춰지고, 불완전 영상이 생성될 수 있다. 반면, S120 단계에서, 객체에 대한 초점이 흐려지고, 초점 흐림 영상이 생성될 수 있다. S110 단계 및 S120 단계 각각의 처리 내용은 서로 영향을 주지 않는다. 따라서, S110 단계와 S120 단계의 수행 순서는 서로 바뀔 수 있다.
S130 단계에서, 손실 픽셀에 대응하는 데이터가 추출될 수 있다. S110 단계에서 생성된 불완전 영상은 손실 픽셀에 대응하는 데이터를 포함하지 않는다. 반면, S120 단계에서 생성된 초점 흐림 영상은 손실 픽셀에 대응하는 데이터를 포함할 수 있다. 따라서, S110 단계에서 생성된 불완전 영상에 포함되는 데이터 및 S120 단계에서 생성된 초점 흐림 영상에 포함되는 데이터에 기초하여 손실 픽셀에 대응하는 데이터가 추출될 수 있다. 손실 픽셀에 대응하는 데이터를 추출하는 방법의 실시 예에 관한 설명은 도 8에 대한 설명에서 언급된다.
S140 단계에서, 최종 영상이 생성될 수 있다. 최종 영상의 생성 과정에서, 손실 픽셀에 대응하는 데이터가 보상될 수 있다. 손실 픽셀에 대응하는 데이터는 S130 단계에서 추출된 데이터를 S110 단계에서 생성된 불완전 영상 및 S120 단계에서 생성된 초점 흐림 영상 중 적어도 하나에 반영하여 보상될 수 있다. 최종 영상을 생성하는 방법의 실시 예에 관한 설명은 도 9에 대한 설명에서 언급된다.
도 2는 본 발명의 일 실시 예에 따라 영상을 생성하는 다른 방법을 설명하는 흐름도이다. 특히, 도 2는 초점 흐림 영상을 생성하는 과정을 좀 더 구체적으로 설명하는 흐름도이다. 도 2의 S210 단계, S230 단계, 및 S240 단계의 처리 내용은 도 1의 S110 단계, S130 단계, 및 S140 단계의 처리 내용을 각각 포함할 수 있다. 도 2의 S210 단계, S230 단계, 및 S240 단계의 처리 내용에 관한 설명은 도 1에 대한 설명과 중복되는 범위에서 생략된다. S220 단계는 S222 단계 및 S224 단계를 포함할 수 있다.
S222 단계에서, 렌즈 및 이미지 센서(Image Sensor) 중 적어도 하나가 이동할 수 있다. 렌즈와 이미지 센서 사이의 거리에 따라, 객체에 대한 초점이 맞춰지거나 흐려질 수 있다. 즉, 렌즈 및 이미지 센서 중 적어도 하나가 이동하면, 객체에 대한 초점이 흐려질 수 있다. 초점 흐림 영상은 객체에 대한 초점을 흐리게 하여 생성되므로, 객체에 대한 초점을 흐리게 하기 위해 렌즈 및 이미지 센서 중 적어도 하나가 이동할 수 있다. S222 단계에서, 렌즈 및 이미지 센서 중 어느 하나만 이동할 수 있다. 그러나, 경우에 따라, 렌즈 및 이미지 센서 모두 이동할 필요가 있을 수 있다.
S224 단계에서, 초점 흐림 영상이 생성될 수 있다. 초점 흐림 영상은 S222 단계에서 이동된 렌즈 및 이미지 센서를 통해 객체를 촬영하여 생성될 수 있다. S222 단계 및 S224 단계를 거쳐, 객체에 대한 초점이 흐려지고, 초점 흐림 영상이 생성될 수 있다.
도 3 및 도 4는 객체에 대한 초점을 맞추고 객체를 촬영하는 경우를 설명하기 위한 개념도이다. 도 3은 렌즈(110)를 통해 이미지 센서(120)에 상(150)이 맺힌 상태를 나타낸다. 도 4는 손실 픽셀(M)을 포함하는 픽셀 어레이(200)를 나타낸다.
도 3을 참조하면, 객체(미도시)로부터 반사된 빛은 렌즈(110)를 통해 이미지 센서(120)에 도달한다. 렌즈(110)와 이미지 센서(120)가 초점 거리(D1)만큼 떨어져 있으면, 객체에 대한 초점이 맞춰진다. 도 3의 경우에서 이미지 센서(120)에 맺히는 상(150)에 기초하여 생성되는 영상은 불완전 영상일 수 있다. 도 1에 대한 설명에서 언급된 것과 같이, 불완전 영상은 손실 픽셀(M)에 대응하는 데이터를 포함하지 않는다.
도 4를 참조하면, 픽셀 어레이(200)는 손실 픽셀(M)을 포함할 수 있다. 손실 픽셀(M)은 영상 감지 기능을 수행하지 않는다. 따라서, 손실 픽셀(M)에 맺히는 상에 대응하는 영역(C1)에 대한 데이터가 생성되지 않는다. 결과적으로, 불완전 영상은 손실 픽셀(M)에 대응하는 데이터를 포함하지 않는다. 따라서, 손실 픽셀(M)이 픽셀 어레이(200)에 포함되면 영상을 형성하기 위한 데이터의 일부가 생성되지 않으므로, 생성된 영상의 화질이 떨어질 수 있다(즉, 불완전 영상이 생성될 수 있다). 나아가, 지나치게 많은 개수의 손실 픽셀(M)이 픽셀 어레이(200)에 포함되면, 최악의 경우, 이미지 센서(120)가 객체를 적절히 인식하지 못할 수 있다.
도 5 및 도 6은 객체에 대한 초점을 흐리게 하여 객체를 촬영하는 경우를 설명하기 위한 개념도이다. 도 5는 렌즈(110)를 통해 이미지 센서(120)에 상(155)이 맺힌 상태를 나타낸다. 도 6은 손실 픽셀(M)을 포함하는 픽셀 어레이(200)를 나타낸다.
도 5를 참조하면, 객체(미도시)로부터 반사된 빛은 렌즈(110)를 통해 이미지 센서(120)에 도달한다. 도 5에서, 렌즈(110) 및 이미지 센서(120) 중 적어도 하나가 이동하여, 렌즈(110)와 이미지 센서(120)가 초점 거리(D1)보다 먼 거리(D2)만큼 떨어져 있다. 따라서, 초점 거리(D1)에서 상(150)이 맺히는 경우와 달리, 객체에 대한 초점이 흐려진다. 도 5의 경우에서 이미지 센서(120)에 맺히는 상(155)에 기초하여 생성되는 영상은 초점 흐림 영상일 수 있다. 도 1에 대한 설명에서 언급된 것과 같이, 초점 흐림 영상은 손실 픽셀(M)에 대응하는 데이터를 포함할 수 있다.
도 6을 참조하면, 픽셀 어레이(200)는 손실 픽셀(M)을 포함할 수 있다. 그런데, 객체에 대한 초점이 흐려져서, 손실 픽셀(M)에 맺히는 상에 대응하는 영역이 넓어질 수 있다(C2, C3, C4 참조). 손실 픽셀(M)에 맺히는 상에 대응하는 영역이 넓어져서, 손실 픽셀(M)에 맺히는 상이 손실 픽셀(M)의 주변 픽셀에 영향을 준다. 기본적으로 손실 픽셀(M)은 영상 감지 기능을 수행하지 않으므로, 손실 픽셀(M)에 대응하는 데이터는 생성되지 않는다. 그러나, 손실 픽셀(M)에 맺히는 상이 손실 픽셀(M)의 주변 픽셀에 영향을 주면서, 손실 픽셀(M)에 대응하는 데이터는 영상 감지 기능을 수행하는 주변 픽셀을 통해 생성될 수 있다. 결과적으로, 초점 흐림 영상은 손실 픽셀(M)에 대응하는 데이터를 포함할 수 있다.
초점 흐림 영상을 생성하기 위해 객체에 대한 초점을 흐리게 하는 정도는 필요에 따라 달라질 수 있다. 예컨대, 손실 픽셀(M)에 맺히는 상에 대응하는 영역은 손실 픽셀(M)의 인접 픽셀까지 넓어질 수 있다(C2 참조). 그러나, 손실 픽셀(M)의 인접 픽셀도 영상 감지 기능을 수행하지 않는 경우, 환경에 따라 더 많은 주변 픽셀을 이용할 필요가 있는 경우 등에는, 손실 픽셀(M)에 맞히는 상에 대응하는 영역이 더 넓어질 수 있다(C3, C4 참조). 즉, 본 발명의 실시 예는 객체에 대한 초점을 흐리게 하는 정도가 필요에 따라 달라질 수 있도록 구현될 수 있다. 객체에 대한 초점을 흐리게 하는 정도는 렌즈(110)와 이미지 센서(120) 사이의 거리를 조절하면 달라질 수 있다.
본 발명의 실시 예에서, 손실 픽셀에 대응하는 데이터를 생성하기 위해 이용되는 것은 손실 픽셀 외의 다른 픽셀에 대응하는 데이터가 아니다. 즉, 본 발명의 실시 예에서, 손실 픽셀 외의 다른 픽셀에 대응하는 데이터에 기초하여 손실 픽셀에 대응하는 데이터가 유추되지 않는다. 대신, 본 발명의 실시 예에서, 객체에 대한 초점을 흐리게 함으로써, 손실 픽셀 그 자체에 대응하는 데이터가 생성될 수 있다. 손실 픽셀은 영상 감지 기능을 수행하지 않지만, 객체에 대한 초점을 흐리게 하고 주변 픽셀을 이용함으로써, 손실 픽셀 그 자체에 대응하는 데이터가 생성될 수 있다.
따라서, 본 발명의 실시 예에 따라 손실 픽셀 그 자체에 대응하는 데이터가 생성되면, 손실 픽셀에 대응하는 데이터가 유추되는 경우보다 높은 화질 및 높은 신뢰도를 갖는 최종 영상이 생성될 수 있다. 게다가, 손실 픽셀에 대응하는 데이터가 복원되기 어려운 경우에도, 손실 픽셀에 대응하는 데이터가 생성될 수 있다. 특히, 본 발명의 실시 예는, 초점을 흐리게 하는 정도를 조절함으로써, 손실 픽셀의 분포에 대해 유연하게 대처할 수 있게 한다.
도 7은 본 발명의 일 실시 예에 따라 영상을 생성하는 또 다른 방법을 설명하는 흐름도이다. 특히, 도 7은 초점 흐림 영상을 생성하는 다른 과정을 좀 더 구체적으로 설명하는 흐름도이다. 도 7의 S310 단계, S330 단계, 및 S340 단계의 처리 내용은 도 1의 S110 단계, S130 단계, 및 S140 단계의 처리 내용을 각각 포함할 수 있다. 도 7의 S310 단계, S330 단계, 및 S340 단계의 처리 내용에 관한 설명은 도 1에 대한 설명과 중복되는 범위에서 생략된다. S320 단계는 S322 단계를 포함할 수 있다.
S322 단계에서, 초점 흐림 영상이 생성될 수 있다. 초점 흐림 영상은 S310 단계에서 생성된 불완전 영상을 흐릿하게 만들기 위한 영상 처리를 수행하여 생성될 수 있다. 즉, 도 2의 실시 예에서 렌즈 및 이미지 센서 중 적어도 하나가 이동하는 것과 달리, 도 7의 실시 예는 불완전 영상에 대해 영상 처리를 수행한다. 실시 예로서, 불완전 영상을 흐릿하게 만들기 위한 영상 처리는 불완전 영상을 형성하는 픽셀들에 대응하는 데이터에 대한 블러 필터(Blur Filter) 연산의 수행일 수 있다. 즉, 불완전 영상을 형성하는 픽셀들에 대응하는 데이터에 대해 블러 필터 연산을 수행함으로써, 초점 흐림 영상이 생성될 수 있다.
S310 단계에서 생성된 불완전 영상은 손실 픽셀에 대응하는 데이터를 포함하지 않는다. 그런데, 불완전 영상을 흐릿하게 만들기 위한 영상 처리(예컨대, 블러 필터 연산)를 수행하면, 손실 픽셀의 주변 픽셀에 대응하는 데이터가 손실 픽셀에 반영될 수 있다. 즉, 도 7의 실시 예에서, 손실 픽셀의 주변 픽셀을 이용하여 손실 픽셀에 대응하는 데이터가 생성될 수 있다. 결과적으로, 초점 흐림 영상은 손실 픽셀에 대응하는 데이터를 포함할 수 있다. 본 발명의 실시 예에 따르면, 높은 화질 및 높은 신뢰도를 갖는 영상이 생성될 수 있다
도 8은 본 발명의 일 실시 예에 따라 영상을 생성하는 또 다른 방법을 설명하는 흐름도이다. 특히, 도 8은 하나 이상의 손실 픽셀에 대응하는 데이터를 추출하는 과정을 좀 더 구체적으로 설명하는 흐름도이다. 도 8의 S410 단계, S420 단계, 및 S440 단계의 처리 내용은 도 1의 S110 단계, S120 단계, 및 S140 단계의 처리 내용을 각각 포함할 수 있다. 도 8의 S410 단계, S420 단계, 및 S440 단계의 처리 내용에 관한 설명은 도 1에 대한 설명과 중복되는 범위에서 생략된다.
S430 단계에서, 손실 픽셀에 대응하는 데이터가 추출될 수 있다. S410 단계에서 생성된 불완전 영상에 포함되는 데이터 및 S420 단계에서 생성된 초점 흐림 영상에 포함되는 데이터에 기초하여 손실 픽셀에 대응하는 데이터가 추출될 수 있다.
좀 더 구체적으로, S420 단계에서 생성된 초점 흐림 영상을 형성하는 픽셀들 각각에 대응하는 데이터의 값과 S410 단계에서 생성된 불완전 영상을 형성하는 픽셀들 각각에 대응하는 데이터의 값 사이의 차이에 기초하여 손실 픽셀에 대응하는 데이터가 추출될 수 있다. S410 단계에서 생성된 불완전 영상은 손실 픽셀에 대응하는 데이터를 포함하지 않는다. 반면, S420 단계에서 생성된 초점 흐림 영상은 손실 픽셀에 대응하는 데이터를 포함할 수 있다. 따라서, 초점 흐림 영상 및 불완전 영상 각각을 형성하는 픽셀들 각각에 대응하는 데이터의 값 사이의 차이를 산출하면, 손실 픽셀에 대응하는 데이터가 추출될 수 있다. 위 실시 예에 관한 설명은 도 10에 대한 설명에서 더 언급된다.
도 9는 본 발명의 일 실시 예에 따라 영상을 생성하는 또 다른 방법을 설명하는 흐름도이다. 특히, 도 9는 최종 영상을 생성하는 과정을 좀 더 구체적으로 설명하는 흐름도이다. 도 9의 S510 단계, S520 단계, 및 S530 단계의 처리 내용은 도 1의 S110 단계, S120 단계, 및 S130 단계의 처리 내용을 각각 포함할 수 있다. 도 9의 S510 단계, S520 단계, 및 S530 단계의 처리 내용에 관한 설명은 도 1에 대한 설명과 중복되는 범위에서 생략된다.
S540 단계에서, 최종 영상이 생성될 수 있다. 최종 영상의 생성 과정에서, 손실 픽셀에 대응하는 데이터가 보상될 수 있다. 손실 픽셀에 대응하는 데이터는 S530 단계에서 추출된 데이터를 S510 단계에서 생성된 불완전 영상 및 S520 단계에서 생성된 초점 흐림 영상 중 적어도 하나에 반영하여 보상될 수 있다.
좀 더 구체적으로, 손실 픽셀에 대응하는 데이터는 S510 단계에서 생성된 불완전 영상을 형성하는 픽셀들 중 손실 픽셀의 위치에 대응하는 데이터의 값에 S530 단계에서 추출된 데이터의 값을 더하여 보상될 수 있다. 불완전 영상은 손실 픽셀에 대응하는 데이터를 포함하지 않는다. 따라서, 추출된 데이터의 값이 불완전 영상을 형성하는 픽셀들 중 손실 픽셀의 위치에 대응하는 데이터의 값에 더해지면, 손실 픽셀에 대응하는 데이터가 보상된 최종 영상이 생성될 수 있다.
또는, 손실 픽셀에 대응하는 데이터는 S520 단계에서 생성된 초점 흐림 영상을 형성하는 픽셀들 중 손실 픽셀의 위치에 대응하는 데이터의 값에 S530 단계에서 추출된 데이터의 값을 더하여 보상될 수 있다. 다만, 초점 흐림 영상은 객체에 대한 초점을 흐리게 하여 생성되므로, 초점 흐림 영상의 초점을 다시 맞추기 위한 영상 처리가 필요할 수 있다. 위 실시 예에 관한 설명은 도 10에 대한 설명에서 더 언급된다.
도 10은 본 발명의 일 실시 예의 영상 생성 방법 따라 영상이 생성되는 과정을 설명하기 위한 개념도이다.
객체(10)는 촬영 대상이다. 객체(10)에 대한 초점을 맞추고 객체(10)를 촬영하여, 불완전 영상(310)이 생성될 수 있다. 위에서 설명된 것과 같이, 하나 이상의 손실 픽셀 때문에, 불완전 영상(310)은 손실 픽셀에 대응하는 데이터를 포함하지 않는다.
나아가, 객체(10)에 대한 초점을 흐리게 하여, 초점 흐림 영상(320)이 생성될 수 있다. 실시 예로서, 도 2에 대한 설명에서 언급된 것과 같이, 초점 흐림 영상(320)은 이동된 렌즈 및 이미지 센서를 통해 객체(10)를 촬영하여 생성될 수 있다. 즉, 초점 흐림 영상(320)은 객체(10)를 직접 촬영하여 생성될 수 있다. 다른 실시 예로서, 도 7에 대한 설명에서 언급된 것과 같이, 초점 흐림 영상(320)은 불완전 영상(310)을 흐릿하게 만들기 위한 영상 처리를 수행하여 생성될 수 있다. 즉, 초점 흐림 영상(320)은 불완전 영상(310)에 기초하여 생성될 수 있다. 이에 따라, 초점 흐림 영상(320)은 손실 픽셀에 대응하는 데이터를 포함할 수 있다.
불완전 영상(310) 및 초점 흐림 영상(320)이 생성되면, 손실 픽셀에 대응하는 데이터(330)가 추출될 수 있다. 실시 예로서, 도 8에 대한 설명에서 언급된 것과 같이, 초점 흐림 영상(320)을 형성하는 픽셀들 각각에 대응하는 데이터의 값과 불완전 영상(310)을 형성하는 픽셀들 각각에 대응하는 데이터의 값 사이의 차이에 기초하여, 손실 픽셀에 대응하는 데이터(330)가 추출될 수 있다.
다른 실시 예로서, 불완전 영상(310)을 형성하는 픽셀들에 대응하는 데이터에 대해 가우시안 필터(Gaussian Filter) 연산을 수행하여, 필터링된 불완전 영상(340)이 생성될 수 있다. 이 다른 실시 예에서, 손실 픽셀에 대응하는 데이터(330)는 초점 흐림 영상(320)을 형성하는 픽셀들 각각에 대응하는 데이터의 값과 필터링된 불완전 영상(340)을 형성하는 픽셀들 각각에 대응하는 데이터의 값 사이의 차이에 기초하여 추출될 수 있다. 초점 흐림 영상(320)은 객체(10)에 대한 초점을 흐리게 하여 생성된다. 따라서, 가우시안 필터가 적용된 필터링된 불완전 영상(340)이 이용되면, 초점 흐림 영상(320)을 형성하는 픽셀들 각각에 대응하는 데이터의 값과의 비교가 좀 더 정확하게 수행될 수 있다. 즉, 손실 픽셀에 대응하는 데이터(330)를 좀 더 정확하게 추출하기 위해, 필터링된 불완전 영상(340)이 이용될 수 있다.
손실 픽셀에 대응하는 데이터(330)가 추출되면, 최종 영상(350)이 생성될 수 있다. 실시 예로서, 도 9에 대한 설명에서 언급된 것과 같이, 최종 영상(350)은 불완전 영상(310)을 형성하는 픽셀들 중 손실 픽셀의 위치에 대응하는 데이터의 값에 추출된 데이터(330)의 값을 더하여 생성될 수 있다. 또는, 최종 영상(350)은 초점 흐림 영상(320)을 형성하는 픽셀들 중 손실 픽셀의 위치에 대응하는 데이터의 값에 추출된 데이터(330)의 값을 더하여 생성될 수 있다.
본 발명의 실시 예에 따르면, 이미지 센서에 손실 픽셀이 포함되더라도, 손실 픽셀에 대응하는 데이터가 보상될 수 있다. 특히, 본 발명의 실시 예에서, 객체에 대한 초점을 흐리게 함으로써, 손실 픽셀 그 자체에 대응하는 데이터가 생성될 수 있다. 따라서, 본 발명의 실시 예에 따르면, 높은 화질 및 높은 신뢰도를 갖는 영상이 생성될 수 있다.
도 11은 본 발명의 다른 실시 예에 따른 영상 생성 장치가 가질 수 있는 구성을 설명하기 위한 블록도이다. 영상 생성 장치(400)는 렌즈(410), 이미지 센서(430), 영상 신호 처리부(450), 및 제어부(470)를 포함할 수 있다.
렌즈(410)는 객체(10)로부터 반사된 빛을 수집할 수 있다. 즉, 렌즈(410)는 빛을 받아들이기 위한 구성 요소이다. 렌즈(410)를 통과한 빛은 이미지 센서(430)로 제공될 수 있다.
이미지 센서(430)는 제공받은 빛의 특성에 기초하여 전기 신호를 생성할 수 있다. 예컨대, 이미지 센서(430)는 제공받은 빛의 세기에 기초하여 전기 신호를 생성할 수 있다. 이미지 센서(430)는 특정 주파수 특성을 갖는 가시광을 통과시키는 필터들로 형성되는 필터 어레이(Filter Array)를 포함할 수 있다. 그리고, 이미지 센서(430)는 필터를 통과한 가시광의 특성, 예컨대 세기에 따라 전기 신호를 생성하는 감광(Photo-sensitive) 소자들로 형성되는 감광 소자 어레이를 포함할 수 있다. 필터 어레이 및 감광 소자 어레이는 픽셀 단위로 형성된다. 본 발명의 실시 예에서, 이미지 센서(430)는 하나 이상의 손실 픽셀을 포함할 수 있다.
영상 신호 처리부(450)는 이미지 센서(430)에 의해 생성된 전기 신호의 특성, 예컨대 전압 레벨에 기초하여 최종 영상을 생성할 수 있다. 특히, 영상 신호 처리부(450)는 본 발명의 실시 예에 따라 손실 픽셀에 대응하는 데이터를 보상하여 최종 영상을 생성할 수 있다.
제어부(470)는 영상 생성 장치(400)의 전반적인 작동을 제어할 수 있다. 구체적으로, 제어부(470)는 렌즈(410), 이미지 센서(430), 및 영상 신호 처리부(450)의 작동을 제어할 수 있다. 제어부(470)는 본 발명의 실시 예에 따라 손실 픽셀에 대응하는 데이터를 보상하기 위해 영상 생성 장치(400)의 구성 요소들을 제어할 수 있다.
본 발명의 실시 예에 따라 불완전 영상을 생성하기 위해, 제어부(470)는 객체(10)에 대한 초점이 맞춰지도록 렌즈(410) 및 이미지 센서(430) 중 적어도 하나를 제어할 수 있다. 객체(10)에 대한 초점이 맞춰지면 객체(10)가 촬영될 수 있다. 영상 신호 처리부(450)는 객체(10)의 촬영에 의해 생성된 전기 신호의 특성에 기초하여 불완전 영상을 생성할 수 있다. 위에서 설명된 것과 같이, 불완전 영상은 손실 픽셀에 대응하는 데이터를 포함하지 않는다.
나아가, 제어부(470)의 제어에 따라 객체에 대한 초점이 흐려지면, 영상 신호 처리부(450)는 초점 흐림 영상을 생성할 수 있다. 초점 흐림 영상은 손실 픽셀에 대응하는 데이터를 포함할 수 있다. 특히, 본 발명의 실시 예에서, 손실 픽셀에 대응하는 데이터는 손실 픽셀 각각의 주변 픽셀을 이용하여 생성될 수 있다.
제어부(470)는 객체(10)에 대한 초점을 흐리게 하기 위해 렌즈(410) 및 이미지 센서(430) 중 적어도 하나가 이동하도록 제어할 수 있다. 이 경우, 도 2 에 대한 설명에서 언급된 것과 같이, 이동된 렌즈(410) 및 이미지 센서(430)를 통해 객체(10)가 촬영되면, 영상 신호 처리부(450)는 초점 흐림 영상을 생성할 수 있다. 또는, 도 7에 대한 설명에서 언급된 것과 같이, 영상 신호 처리부(450)는 불완전 영상을 흐릿하게 만들기 위한 영상 처리를 수행하여 초점 흐림 영상을 생성할 수 있다. 실시 예로서, 영상 신호 처리부(450)는 불완전 영상을 형성하는 픽셀들에 대응하는 데이터에 대해 블러 필터 연산을 수행하여 불완전 영상을 흐릿하게 만들 수 있다.
영상 신호 처리부(450)는 불완전 영상에 포함되는 데이터 및 초점 흐림 영상에 포함되는 데이터에 기초하여 손실 픽셀에 대응하는 데이터를 추출할 수 있다. 실시 예로서, 도 8 및 도 10에 대한 설명에서 언급된 것과 같이, 영상 신호 처리부(450)는 초점 흐림 영상을 형성하는 픽셀들 각각에 대응하는 데이터의 값과 불완전 영상을 형상하는 픽셀들 각각에 대응하는 데이터의 값 사이의 차이에 기초하여 손실 픽셀에 대응하는 데이터를 추출할 수 있다.
영상 신호 처리부(450)는 추출된 데이터를 불완전 영상 및 초점 흐림 영상 중 적어도 하나에 반영하여 최종 영상을 생성할 수 있다. 실시 예로서, 도 9 및 도 10에 대한 설명에서 언급된 것과 같이, 영상 신호 처리부(450)는 불완전 영상을 형성하는 픽셀들 중 손실 픽셀의 위치에 대응하는 데이터의 값에 추출된 데이터의 값을 더하여 최종 영상을 생성할 수 있다. 또는, 영상 신호 처리부(450)는 초점 흐림 영상을 형성하는 픽셀들 중 손실 픽셀의 위치에 대응하는 데이터의 값에 추출된 데이터의 값을 더하여 최종 영상을 생성할 수 있다.
도 12는 본 발명의 다른 실시 예의 영상 생성 장치에 포함되는 이미지 센서가 가질 수 있는 구성을 설명하기 위한 개념도이다. 이미지 센서(430)는 픽셀 단위로 형성될 수 있다. 이미지 센서(430)에 포함되는 손실 픽셀은 영상 감지 외의 기능을 수행하기 위한 픽셀(432) 및 결함을 갖는 영상 감지 픽셀(434) 중 적어도 하나일 수 있다.
이미지 센서(430)는 영상 감지 외의 기능을 수행하기 위한 픽셀(432)을 포함할 수 있다. 예로서, 영상 감지 외의 기능을 수행하기 위한 픽셀(432)은 객체(10, 도 11 참조)와 이미지 센서(430) 사이의 거리를 측정하기 위해 사용되는 적외선 필터가 배치된 픽셀일 수 있다. 특히, 영상 감지 외의 기능을 수행하기 위한 픽셀(432)은 공간적으로 모여 있을 수 있다. 따라서, 영상 감지 외의 기능을 수행하기 위한 픽셀(432)에 대응하는 데이터는 유추에 의해 복원되기 어렵다. 그러나, 본 발명의 실시 예에 따르면, 영상 감지 외의 기능을 수행하기 위한 픽셀(432)의 주변 픽셀을 이용하여 영상 감지 외의 기능을 수행하기 위한 픽셀(432)에 대응하는 데이터가 보상될 수 있다. 따라서, 높은 화질 및 높은 신뢰도를 갖는 영상이 생성될 수 있다.
본 발명의 실시 예는 영상 감지 외의 기능을 수행하기 위한 픽셀(432)에 대응하는 데이터를 적절히 보상하기 위해 고안되었다. 그러나, 본 발명의 실시 예는 다른 경우에도 적용될 수 있다. 예컨대, 이미지 센서(430)는 결함을 갖는 영상 감지 픽셀(434)을 포함할 수 있다. 결함을 갖는 영상 감지 픽셀(434)은 최종 영상의 생성을 위한 전기 신호를 적절히 생성하지 못할 수 있다. 본 발명의 실시 예에 따라 결함을 갖는 영상 감지 픽셀(434)의 주변 픽셀을 이용하여, 결함을 갖는 영상 감지 픽셀(434)에 대응하는 데이터가 효과적으로 보상될 수 있다.
본 발명의 실시 예에서, 객체에 대한 초점을 흐리게 함으로써, 손실 픽셀 그 자체에 대응하는 데이터가 생성될 수 있다. 손실 픽셀은 영상 감지 기능을 수행하지 않지만, 객체에 대한 초점을 흐리게 하고 주변 픽셀을 이용함으로써, 손실 픽셀 그 자체에 대응하는 데이터가 생성될 수 있다. 따라서, 본 발명의 실시 예에 따라 손실 픽셀 그 자체에 대응하는 데이터가 생성되면, 손실 픽셀에 대응하는 데이터가 유추되는 경우보다 높은 화질 및 높은 신뢰도를 갖는 최종 영상이 생성될 수 있다. 게다가, 손실 픽셀에 대응하는 데이터가 복원되기 어려운 경우에도, 손실 픽셀에 대응하는 데이터가 생성될 수 있다.
나아가, 본 발명의 실시 예가 활용되면, 이미지 센서를 형성하는 픽셀들 중 하나 이상의 픽셀에 영상 감지 외의 기능을 수행하기 위한 픽셀이 더 포함되어도 무방하다. 영상 감지 외의 기능을 수행하기 위한 픽셀 각각의 주변 픽셀을 이용하여 영상 감지 외의 기능을 수행하기 위한 픽셀 각각에 대응하는 데이터가 보상될 수 있기 때문이다. 따라서, 이미지 센서에 다른 종류의 센서(예컨대, 자이로 센서(Gyroscope Sensor), 가속 센서, 광 센서, 중력 센서 등)가 더 포함될 수 있다. 하나의 칩에 다양한 종류의 센서가 포함되면, 칩 제작 비용 및 칩이 차지하는 공간이 감소할 수 있다.
이상의 설명에서, "데이터의 값을 더한다"거나 "데이터의 값 사이의 차이"와 같은 표현이 사용되었다. 그러나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, 통상의 기술자)는 위 표현들이 단순한 산술 연산을 의미하는 것이 아니라는 점을 이해할 것이다. 통상의 기술자는 위 표현들이 특정 픽셀에 대응하는 데이터를 얻기 위한 영상 처리의 관점의 연산을 의미한다는 것을 분명히 이해할 것이다.
도 13은 본 발명의 실시 예의 영상 생성 장치를 포함하는 전자 시스템이 가질 수 있는 구성과 인터페이스를 나타낸 블록도이다. 전자 시스템(1000)은 MIPI 인터페이스를 사용하거나 지원할 수 있는 데이터 처리 장치로 구현될 수 있다. 예로서, 전자 시스템(1000)은 휴대용 통신 단말기, PDA, PMP, 또는 스마트폰 형태로 구현될 수 있다.
전자 시스템(1000)은 어플리케이션 프로세서(1100), 디스플레이(1220), 및 이미지 센서(1230)를 포함할 수 있다. 어플리케이션 프로세서(1100)는 DigRF 마스터(1110), DSI 호스트(1120), CSI 호스트(1130), 및 PHY(1140)를 포함할 수 있다.
DSI 호스트(1120)는 DSI(Display Serial Interface)를 통하여 디스플레이(1220)의 DSI 장치(1225)와 통신할 수 있다. 예로서, DSI 호스트(1120)에는 광 시리얼라이저(SER)가 구현될 수 있다. 예로서, DSI 장치(1225)에는 광 디시리얼라이저(DES)가 구현될 수 있다.
CSI 호스트(1130)는 CSI(Camera Serial Interface)를 통하여 이미지 센서(1230)의 CSI 장치(1235)와 통신할 수 있다. 실시 예로서, CSI 호스트(1130)의 구성 및 기능에 본 발명의 실시 예에 따른 구성 및 기능이 포함될 수 있다. 즉, CSI 호스트(1130)는 객체에 대한 초점을 맞추고 촬영된 불완전 영상 및 객체에 대한 초점을 흐리게 하여 생성된 초점 흐림 영상을 이용하여 손실 픽셀에 대응하는 데이터를 보상할 수 있다. 또는, 이미지 센서(1230)의 구성 및 기능에 본 발명의 실시 예에 따른 구성 및 기능이 포함될 수 있다. 즉, 이미지 센서(1230)는 객체에 대한 초점을 맞추고 촬영된 불완전 영상 및 객체에 대한 초점을 흐리게 하여 생성된 초점 흐림 영상을 이용하여 손실 픽셀에 대응하는 데이터를 보상할 수 있다. 나아가, CSI 호스트(1130)에는 광 디시리얼라이저(DES)가 구현될 수 있다. 그리고, CSI 장치(1235)에는 광 시리얼라이저(SER)가 구현될 수 있다.
전자 시스템(1000)은 어플리케이션 프로세서(1100)와 통신하는 RF 칩(1240)을 더 포함할 수 있다. RF 칩(1240)은 PHY(1242), DigRF 슬레이브(1244), 및 안테나(1246)를 포함할 수 있다. 예로서, RF 칩(1240)의 PHY(1242)와 어플리케이션 프로세서(1100)의 PHY(1140)는 MIPI DigRF에 의해 서로 데이터를 주고 받을 수 있다.
전자 시스템(1000)은 DRAM(1250)과 스토리지(1255)를 더 포함할 수 있다. DRAM(1250)과 스토리지(1255)는 어플리케이션 프로세서(1100)로부터 제공받은 데이터를 저장할 수 있다. 또한, DRAM(1250)과 스토리지(1255)는 저장된 데이터를 어플리케이션 프로세서(1100)로 제공할 수 있다.
예로서, 전자 시스템(1000)은 Wimax(1260), WLAN(1262), 및 UWB(1264) 등에 의해 외부 시스템(미도시)과 통신할 수 있다. 또한, 전자 시스템(1000)은 음성 정보를 처리하기 위한 스피커(1270)와 마이크(1275)를 더 포함할 수 있다. 나아가, 전자 시스템(1000)은 위치 정보를 처리하기 위한 GPS 장치(1280)를 더 포함할 수 있다.
각각의 개념도에 나타낸 구성은 단지 개념적인 관점에서 이해되어야 한다. 본 발명의 이해를 돕기 위해, 개념도에 나타낸 구성 요소 각각의 형태, 구조, 크기 등은 과장 또는 축소되어 표현되었다. 실제로 구현되는 구성은 각각의 개념도에 나타낸 것과 다른 물리적 형상을 가질 수 있다. 각각의 개념도는 구성 요소의 물리적 형상을 제한하기 위한 것이 아니다.
각각의 블록도에 나타낸 장치 구성은 발명의 이해를 돕기 위한 것이다. 각각의 블록은 기능에 따라 더 작은 단위의 블록들로 형성될 수 있다. 또는, 복수의 블록들은 기능에 따라 더 큰 단위의 블록을 형성할 수 있다. 즉, 본 발명의 기술 사상은 블록도에 도시된 구성에 의해 한정되지 않는다.
이상에서 본 발명에 대한 실시 예를 중심으로 본 발명이 설명되었다. 다만, 본 발명이 속하는 기술 분야의 특성상, 본 발명이 이루고자 하는 목적은 본 발명의 요지를 포함하면서도 위 실시 예들과 다른 형태로 달성될 수 있다. 따라서, 위 실시 예들은 한정적인 것이 아니라 설명적인 측면에서 이해되어야 한다. 즉, 본 발명의 요지를 포함하면서 본 발명과 같은 목적을 달성할 수 있는 기술 사상은 본 발명의 기술 사상에 포함되는 것으로 해석되어야 한다.
따라서, 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 수정 또는 변형된 기술 사상은 본 발명이 청구하는 보호 범위에 포함되는 것이다. 또한, 본 발명의 보호 범위는 위 실시 예들로 한정되는 것이 아니다.
10 : 객체
110 : 렌즈 120 : 이미지 센서
150, 155 : 상 200 : 픽셀 어레이
310 : 불완전 영상 320 : 초점 흐림 영상
330 : 손실 픽셀에 대응하는 추출된 데이터
340 : 필터링된 불완전 영상 350 : 최종 영상
400 : 영상 생성 장치
410 : 렌즈 430 : 이미지 센서
432 : 영상 감지 외의 기능을 수행하기 위한 픽셀
434 : 결함을 갖는 영상 감지 픽셀
450 : 영상 신호 처리부 470 : 제어부
1000 : 전자 시스템 1100 : 어플리케이션 프로세서
1110 : DigRF 마스터 1120 : DSI 호스트
1130 : CSI 호스트 1140 : PHY
1220 : 디스플레이 1225 : DSI 장치
1230 : 이미지 센서 1235 : CSI 장치
1240 : RF 칩 1242 : PHY
1244 : DigRF 슬레이브 1246 : 안테나
1250 : DRAM 1255 : 저장 장치
1260 : Wimax 1262 : WLAN
1264 : UWB 1270 : 스피커
1275 : 마이크 1280 : GPS

Claims (10)

  1. 영상 촬영 장치를 이용하여 영상을 생성하는 방법에 있어서,
    객체에 대한 초점을 맞추고 상기 객체를 촬영하여, 하나 이상의 픽셀 센서에 대응하는 데이터가 배제된 불완전 영상을 생성하는 단계;
    상기 객체에 대한 초점을 흐리게 하여, 상기 하나 이상의 픽셀 센서의 주변 픽셀을 이용하여 생성된 상기 하나 이상의 픽셀 센서에 대응하는 데이터를 포함하는 초점 흐림 영상을 생성하는 단계;
    상기 생성된 불완전 영상에 포함되는 데이터 및 상기 생성된 초점 흐림 영상에 포함되는 데이터에 기초하여 상기 하나 이상의 픽셀 센서에 대응하는 데이터를 추출하는 단계; 및
    상기 추출된 데이터를 상기 생성된 불완전 영상 및 상기 생성된 초점 흐림 영상 중 적어도 하나에 반영하여 최종 영상을 생성하는 단계를 포함하는 영상 생성 방법.
  2. 제 1 항에 있어서,
    상기 하나 이상의 픽셀 센서는 결함 영상 감지 픽셀 또는 영상 감지 외의 기능을 수행하기 위한 픽셀에 대응하는 영상 생성 방법.
  3. 제 1 항에 있어서,
    상기 불완전 영상은 상기 객체를 촬영한 영상을 형성하는 픽셀들에 대응하는 데이터에 대해 가우시안 필터 연산을 수행하여 생성되는 영상 생성 방법.
  4. 제 1 항에 있어서,
    상기 초점 흐림 영상을 생성하는 단계는 상기 객체에 대한 초점을 흐리게 하기 위해 상기 영상 촬영 장치에 포함되는 렌즈 및 이미지 센서 중 적어도 하나를 이동시키는 단계를 포함하는 영상 생성 방법.
  5. 제 4 항에 있어서,
    상기 초점 흐림 영상은 상기 이동된 렌즈 또는 이미지 센서를 통해 상기 객체를 촬영하여 생성되는 영상 생성 방법.
  6. 제 1 항에 있어서,
    상기 초점 흐림 영상은 상기 생성된 불완전 영상을 형성하는 픽셀들에 대응하는 데이터에 대해 블러 필터 연산을 수행하여 생성되는 영상 생성 방법.
  7. 제 1 항에 있어서,
    상기 데이터를 추출하는 단계에서, 상기 하나 이상의 픽셀 센서에 대응하는 데이터는 상기 생성된 초점 흐림 영상을 형성하는 픽셀들 각각에 대응하는 데이터의 값과 상기 생성된 불완전 영상을 형성하는 픽셀들 각각에 대응하는 데이터의 값 사이의 차이에 기초하여 추출되는 영상 생성 방법.
  8. 제 1 항에 있어서,
    상기 최종 영상을 생성하는 단계에서, 상기 하나 이상의 픽셀 센서에 대응하는 데이터는 상기 생성된 불완전 영상 또는 상기 생성된 초점 흐림 영상을 형성하는 픽셀들 중 상기 하나 이상의 픽셀 센서의 위치의 픽셀에 대응하는 데이터의 값에 상기 추출된 데이터의 값을 더하여 보상되는 영상 생성 방법.
  9. 객체로부터 반사된 빛을 수집하기 위한 렌즈;
    상기 수집된 빛의 특성에 기초하여 전기 신호를 생성하기 위한 이미지 센서;
    상기 생성된 전기 신호의 특성에 기초하여 최종 영상을 생성하기 위한 영상 신호 처리부; 및
    상기 렌즈, 상기 이미지 센서, 및 상기 영상 신호 처리부의 작동을 제어하기 위한 제어부를 포함하되,
    상기 영상 신호 처리부는:
    상기 제어부의 제어에 따라 초점이 맞춰진 상기 객체의 촬영에 의해 생성된 전기 신호의 특성에 기초하여, 하나 이상의 픽셀 센서에 대응하는 데이터가 배제된 불완전 영상을 생성하고,
    상기 객체에 대한 초점이 흐려지면, 상기 하나 이상의 픽셀 센서의 주변 픽셀을 이용하여 생성된 상기 하나 이상의 픽셀 센서에 대응하는 데이터를 포함하는 초점 흐림 영상을 생성하고,
    상기 생성된 불완전 영상에 포함되는 데이터 및 상기 생성된 초점 흐림 영상에 포함되는 데이터에 기초하여 상기 하나 이상의 픽셀 센서에 대응하는 데이터를 추출하고,
    상기 추출된 데이터를 상기 생성된 불완전 영상 및 상기 생성된 초점 흐림 영상 중 적어도 하나에 반영하여 상기 최종 영상을 생성하는 영상 생성 장치.
  10. 제 9 항에 있어서,
    상기 제어부는 상기 객체에 대한 초점을 흐리게 하기 위해 상기 렌즈 및 상기 이미지 센서 중 적어도 하나가 이동하도록 제어하고,
    상기 초점 흐림 영상은 상기 이동된 렌즈 또는 이미지 센서를 통해 상기 객체를 촬영하여 생성되는 영상 생성 장치.
KR1020140021410A 2014-02-24 2014-02-24 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치 KR102125775B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140021410A KR102125775B1 (ko) 2014-02-24 2014-02-24 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치
US14/608,716 US9681063B2 (en) 2014-02-24 2015-01-29 Method of generating image by compensating excluded pixel data and image generation device therewith

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140021410A KR102125775B1 (ko) 2014-02-24 2014-02-24 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치

Publications (2)

Publication Number Publication Date
KR20150100068A true KR20150100068A (ko) 2015-09-02
KR102125775B1 KR102125775B1 (ko) 2020-06-23

Family

ID=53883476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140021410A KR102125775B1 (ko) 2014-02-24 2014-02-24 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치

Country Status (2)

Country Link
US (1) US9681063B2 (ko)
KR (1) KR102125775B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658405B (zh) * 2018-12-20 2020-11-24 中国气象局气象探测中心 一种农作物实景观测中图像数据质量控制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030039402A1 (en) * 2001-08-24 2003-02-27 Robins David R. Method and apparatus for detection and removal of scanned image scratches and dust
JP2003209749A (ja) * 2002-01-11 2003-07-25 Olympus Optical Co Ltd 撮像装置
KR20100056167A (ko) * 2008-11-19 2010-05-27 삼성전자주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2792376B2 (ja) 1993-02-02 1998-09-03 松下電器産業株式会社 画像ぼかし処理装置
US6330371B1 (en) * 1998-10-19 2001-12-11 Raytheon Company Adaptive non-uniformity compensation using feedforward shunting and min-mean filter
JP2001216513A (ja) 2000-02-01 2001-08-10 Yasumi Ichimura ぼけと絞り形状画像変換装置および方法
US8004564B1 (en) * 2006-07-19 2011-08-23 Flir Systems, Inc. Automated systems and methods for testing infrared cameras
US7945121B2 (en) 2006-08-29 2011-05-17 Ati Technologies Ulc Method and apparatus for interpolating image information
US8089635B2 (en) 2007-01-22 2012-01-03 California Institute Of Technology Method and system for fast three-dimensional imaging using defocusing and feature recognition
KR101341096B1 (ko) 2007-09-12 2013-12-13 삼성전기주식회사 영상 복원 장치 및 방법
TWI437878B (zh) 2007-11-20 2014-05-11 Quanta Comp Inc 用以校正影像訊號中壞點之方法及電路
JP5180795B2 (ja) 2007-12-10 2013-04-10 キヤノン株式会社 撮像装置及びその制御方法
JP5223702B2 (ja) * 2008-07-29 2013-06-26 株式会社リコー 画像処理装置、ノイズ低減方法、プログラム、記憶媒体
JP2010061565A (ja) 2008-09-05 2010-03-18 Konica Minolta Business Technologies Inc 画素補間装置、画素補間方法および画像読取装置
JP2011035737A (ja) 2009-08-03 2011-02-17 Olympus Corp 撮像装置、電子機器、画像処理装置及び画像処理方法
JP4803288B2 (ja) 2009-08-12 2011-10-26 コニカミノルタビジネステクノロジーズ株式会社 画素補間装置、画素補間方法および画像読取装置
JP5341010B2 (ja) 2010-04-15 2013-11-13 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
GB2484071B (en) 2010-09-23 2013-06-12 Imagination Tech Ltd De-interlacing of video data
JP5697433B2 (ja) 2010-12-22 2015-04-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP5464279B2 (ja) * 2010-12-22 2014-04-09 コニカミノルタ株式会社 画像処理装置、そのプログラム、および画像処理方法
JP5762002B2 (ja) 2011-01-06 2015-08-12 キヤノン株式会社 撮像装置
JP2012145664A (ja) 2011-01-11 2012-08-02 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP5589857B2 (ja) 2011-01-11 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
IN2014CN02708A (ko) 2011-09-28 2015-08-07 Pelican Imaging Corp
KR101915193B1 (ko) 2012-04-24 2018-11-05 한화테크윈 주식회사 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030039402A1 (en) * 2001-08-24 2003-02-27 Robins David R. Method and apparatus for detection and removal of scanned image scratches and dust
JP2003209749A (ja) * 2002-01-11 2003-07-25 Olympus Optical Co Ltd 撮像装置
KR20100056167A (ko) * 2008-11-19 2010-05-27 삼성전자주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR102125775B1 (ko) 2020-06-23
US9681063B2 (en) 2017-06-13
US20150244945A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
JP6173156B2 (ja) 画像処理装置、撮像装置及び画像処理方法
KR102266649B1 (ko) 이미지 처리 방법 및 장치
US9967453B2 (en) Method of operating image signal processor and method of operating imaging system including the same
CA3117946A1 (en) Bright spot removal using a neural network
WO2016168783A1 (en) Methods and apparatus for filtering image data to reduce noise and/or generating an image
CN103945145A (zh) 处理图像的设备和方法
CN103139492B (zh) 摄像装置、摄像方法以及监视系统
US11756221B2 (en) Image fusion for scenes with objects at multiple depths
CN110177212B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR20160044945A (ko) 이미지 촬영 장치
KR20240024821A (ko) 개선된 장면 무결성을 위한 시간적 필터링 재시작
CN105472263A (zh) 影像撷取方法及使用此方法的影像撷取设备
CN110995982B (zh) 图像处理装置及其控制方法、摄像装置、以及记录介质
US20200092452A1 (en) Image generating method and electronic apparatus
KR102125775B1 (ko) 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치
KR20240031246A (ko) 다수의 관심 영역들을 갖는 장면들에서 선택적으로 증가하는 피사계 심도
JP5904886B2 (ja) 撮像装置、欠陥処理方法、欠陥処理プログラムおよび電子情報機器
JP2014138378A (ja) 撮像装置、その制御方法、および制御プログラム
JP2016010080A (ja) 画像処理装置、画像処理方法及びプログラム
JP6218408B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6029464B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2013175928A (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
KR20240029000A (ko) 이미지 캡처 및/또는 프로세싱 동작들을 개선하기 위한 로컬 모션 검출
CN117356102A (zh) 多相机系统中辅助相机的镜头定位

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant