KR102114248B1 - 깊이 정보 기반 광학 왜곡 보상 장치 및 방법 - Google Patents

깊이 정보 기반 광학 왜곡 보상 장치 및 방법 Download PDF

Info

Publication number
KR102114248B1
KR102114248B1 KR1020130110476A KR20130110476A KR102114248B1 KR 102114248 B1 KR102114248 B1 KR 102114248B1 KR 1020130110476 A KR1020130110476 A KR 1020130110476A KR 20130110476 A KR20130110476 A KR 20130110476A KR 102114248 B1 KR102114248 B1 KR 102114248B1
Authority
KR
South Korea
Prior art keywords
image
depth
grid
optical distortion
compensation
Prior art date
Application number
KR1020130110476A
Other languages
English (en)
Other versions
KR20150031022A (ko
Inventor
유세운
권녕규
이웅희
이종화
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130110476A priority Critical patent/KR102114248B1/ko
Priority to US14/470,358 priority patent/US9412154B2/en
Publication of KR20150031022A publication Critical patent/KR20150031022A/ko
Application granted granted Critical
Publication of KR102114248B1 publication Critical patent/KR102114248B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

깊이 정보 기반 광학 왜곡 보상 장치 및 방법이 제공된다. 상기 깊이 정보 기반 광학 왜곡 보상 장치는 이미지의 깊이를 획득하는 깊이 획득부, 상기 이미지의 깊이 정보 및 프로젝션 매트릭스(projection matrix)를 이용하여, 상기 이미지의 깊이에 대응하는 보상 그리드(correction grid)를 동적으로 생성하는 그리드 생성부, 및 상기 보상 그리드를 이용하여 상기 이미지 내의 광학 왜곡을 보상하는 왜곡 보상부를 포함한다.

Description

깊이 정보 기반 광학 왜곡 보상 장치 및 방법{Depth information based optical distortion correction device and method}
본 발명은 깊이 정보 기반 광학 왜곡 보상 장치 및 방법에 관한 것이다.
광학 왜곡 보상(또는, 렌즈 왜곡 보상)은 렌즈의 곡률 특성에 의해 발생되는 이미지 내의 광학 왜곡을 보상하는 것이다. 일반적인 광학 왜곡 보상 장치는 하나의 보상 그리드(correction grid)를 저장하고, 이를 이용하여 이미지 내의 광학 왜곡을 보상하거나, 다수의 보상 그리드를 룩업 테이블(LUT; Look Up Table)의 형태로 저장하고, 이를 이용하여 다양한 깊이를 갖는 이미지 내의 광학 왜곡을 보상하였다.
그러나, 깊이가 서로 달라 광학 왜곡의 정도가 서로 다른 이미지에 대해서, 하나의 동일한 보상 그리드를 이용하는 경우, 광학 왜곡 보상의 정확도가 감소될 수 있다. 또한, 다수의 보상 그리드를 룩업 테이블의 형태로 저장하더라도, 모든 깊이에 대응하는 보상 그리드를 저장하는 것은 불가능하며, 메모리 공간의 소모가 증가될 수 있다.
본 발명이 해결하려는 과제는, 이미지의 다양한 깊이에 대응하는 보상 그리드를 동적으로 생성할 수 있는 깊이 정보 기반 광학 왜곡 보상 장치 및 방법을 제공하는 것이다.
본 발명이 해결하려는 다른 과제는, 모든 깊이에 대응하는 보상 그리드를 생성하여 광학 왜곡 보상의 정확도를 증가시킬 수 있는 깊이 정보 기반 광학 왜곡 보상 장치 및 방법을 제공하는 것이다.
본 발명이 해결하려는 또 다른 과제는, 보상 그리드를 저장하기 위한 메모리 공간의 소모를 감소시킬 수 있는 깊이 정보 기반 광학 왜곡 보상 장치 및 방법을 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 깊이 정보 기반 광학 왜곡 보상 장치의 일 면(aspect)은, 이미지의 깊이를 획득하는 깊이 획득부, 상기 이미지의 깊이 정보 및 프로젝션 매트릭스(projection matrix)를 이용하여, 상기 이미지의 깊이에 대응하는 보상 그리드(correction grid)를 동적으로 생성하는 그리드 생성부, 및 상기 보상 그리드를 이용하여 상기 이미지 내의 광학 왜곡을 보상하는 왜곡 보상부를 포함한다.
실시예에 따라, 상기 그리드 생성부는 원본 그리드의 좌표, 상기 이미지의 깊이 정보 및 프로젝션 매트릭스를 이용하여 상기 보상 그리드의 좌표를 동적으로 생성할 수 있다.
실시예에 따라, 상기 프로젝션 매트릭스는 렌즈의 곡률 특성에 의해 정의될 수 있다.
실시예에 따라, 상기 깊이 정보 기반 광학 왜곡 보상 장치는 이미지 센서가 촬영한 서로 다른 깊이를 갖는 둘 이상의 이미지 내의 광학 왜곡과, 상기 둘 이상의 이미지의 깊이 정보를 이용하여 상기 프로젝션 매트릭스를 계산하는 프로젝션 매트릭스 계산부를 더 포함할 수 있다.
실시예에 따라, 상기 깊이 정보 기반 광학 왜곡 보상 장치는 상기 둘 이상의 이미지와 원본 그리드를 각각 비교하여 상기 둘 이상의 이미지 내의 광학 왜곡을 각각 계산하는 왜곡 계산부를 더 포함할 수 있다.
실시예에 따라, 상기 깊이 획득부는 상기 둘 이상의 이미지의 깊이를 획득할 수 있다.
실시예에 따라, 상기 깊이 정보 기반 광학 왜곡 보상 장치는 상기 프로젝션 매트릭스를 저장하는 저장부를 더 포함할 수 있다.
실시예에 따라, 상기 깊이 획득부는 이미지 센서가 촬영한 복수의 프레임 중 적어도 하나의 프레임의 이미지의 깊이를 획득할 수 있다.
실시예에 따라, 상기 깊이 획득부는 스테레오 깊이 추출(stereo depth extraction) 알고리즘을 이용하여 상기 이미지의 깊이를 획득할 수 있다.
실시예에 따라, 상기 깊이 획득부는 AF(Auto Focus) 알고리즘을 이용하여 상기 이미지의 깊이를 획득할 수 있다.
실시예에 따라, 상기 깊이 획득부는 TOF(Time of Flight) 센서로부터 제공된 상기 이미지의 깊이를 획득할 수 있다.
실시예에 따라, 상기 깊이 획득부는 사용자로부터 입력된 상기 이미지의 깊이를 획득할 수 있다.
상기 과제를 해결하기 위한 본 발명의 깊이 정보 기반 광학 왜곡 보상 장치의 다른 면은, 제1 및 제2 이미지의 깊이를 획득하는 깊이 획득부, 상기 제1 및 제2 이미지의 깊이에 대응하는 제1 및 제2 보상 그리드를 각각 생성하는 그리드 생성부, 및 상기 제1 및 제2 보상 그리드를 이용하여 상기 제1 및 제2 이미지 내의 광학 왜곡을 각각 보상하는 왜곡 보상부를 포함하되, 상기 그리드 생성부는 프로젝션 매트릭스와 상기 제1 이미지의 깊이를 연산하여 상기 제1 보상 그리드를 생성하고, 상기 프로젝션 매트릭스와 상기 제2 이미지의 깊이를 연산하여 상기 제2 보상 그리드를 생성한다.
실시예에 따라, 상기 그리드 생성부는 상기 프로젝션 매트릭스와, 원본 그리드의 좌표 및 상기 제1 이미지의 깊이를 연산하여 상기 제1 보상 그리드의 좌표를 생성하고, 상기 프로젝션 매트릭스와, 상기 원본 그리드의 좌표 및 상기 제2 이미지의 깊이를 연산하여 상기 제2 보상 그리드의 좌표를 생성할 수 있다.
실시예에 따라, 상기 깊이 정보 기반 광학 왜곡 보상 장치는 이미지 센서가 촬영한 서로 다른 깊이를 갖는 둘 이상의 이미지 내의 광학 왜곡과, 상기 둘 이상의 이미지의 깊이 정보를 이용하여 상기 프로젝션 매트릭스를 계산하는 프로젝션 매트릭스 계산부를 더 포함할 수 있다.
실시예에 따라, 상기 깊이 정보 기반 광학 왜곡 보상 장치는 상기 둘 이상의 이미지와 원본 그리드를 각각 비교하여 상기 둘 이상의 이미지 내의 광학 왜곡을 각각 계산하는 왜곡 계산부를 더 포함할 수 있다.
실시예에 따라, 상기 깊이 획득부는 상기 둘 이상의 이미지의 깊이를 획득할 수 있다.
상기 과제를 해결하기 위한 본 발명의 깊이 정보 기반 광학 왜곡 보상 장치를 포함하는 시스템 온 칩의 일 면은, 이미지를 촬영하는 이미지 센서, 및 광학 왜곡 보상 장치를 포함하여 상기 이미지 센서가 촬영한 이미지 내의 광학 왜곡을 보상하는 프로세서를 포함하고, 상기 광학 왜곡 보상 장치는, 제1 및 제2 이미지의 깊이를 획득하는 깊이 획득부와, 상기 제1 및 제2 이미지의 깊이 정보를 이용하여, 상기 제1 및 제2 이미지의 깊이에 대응하는 제1 및 제2 보상 그리드를 각각 생성하는 그리드 생성부와, 상기 제1 및 제2 보상 그리드를 이용하여 상기 제1 및 제2 이미지 내의 광학 왜곡을 각각 보상하는 왜곡 보상부를 포함하되, 상기 그리드 생성부는 프로젝션 매트릭스에 상기 제1 이미지의 깊이를 연산하여 상기 제1 보상 그리드를 생성하고, 상기 프로젝션 매트릭스에 상기 제2 이미지의 깊이를 연산하여 상기 제2 보상 그리드를 생성한다.
실시예에 따라, 상기 그리드 생성부는 상기 프로젝션 매트릭스와, 원본 그리드의 좌표 및 상기 제1 이미지의 깊이를 연산하여 상기 제1 보상 그리드를 생성하고, 상기 프로젝션 매트릭스와, 상기 원본 그리드의 좌표 및 상기 제2 이미지의 깊이를 연산하여 상기 제2 보상 그리드를 생성할 수 있다.
실시예에 따라, 상기 광학 왜곡 보상 장치는 이미지 센서가 촬영한 서로 다른 깊이를 갖는 둘 이상의 이미지 내의 광학 왜곡과, 상기 둘 이상의 이미지의 깊이 정보를 이용하여 상기 프로젝션 매트릭스를 계산하는 프로젝션 매트릭스 계산부를 더 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 깊이 정보 기반 광학 왜곡 보상 방법의 일 면은, 이미지의 깊이를 획득하는 단계, 상기 이미지의 깊이 정보 및 프로젝션 매트릭스를 이용하여, 상기 이미지의 깊이에 대응하는 보상 그리드를 동적으로 생성하는 단계, 상기 보상 그리드를 이용하여 상기 이미지 내의 광학 왜곡을 보상하는 단계를 포함한다.
실시예에 따라, 상기 이미지의 깊이에 대응하는 보상 그리드를 동적으로 생성하는 단계는, 원본 그리드의 좌표, 상기 이미지의 깊이 정보 및 프로젝션 매트릭스를 이용하여 상기 보상 그리드의 좌표를 동적으로 생성할 수 있다.
실시예에 따라, 상기 깊이 정보 기반 광학 왜곡 보상 방법은, 상기 프로젝션 매트릭스를 생성하는 전처리 단계를 더 포함하고, 상기 프로젝션 매트릭스를 생성하는 전처리 단계는, 서로 다른 깊이를 갖는 둘 이상의 이미지를 획득하는 단계와, 상기 둘 이상의 이미지 내의 광학 왜곡과, 상기 둘 이상의 이미지의 깊이를 이용하여 상기 프로젝션 매트릭스를 계산하는 단계를 포함할 수 있다.
실시예에 따라, 상기 프로젝션 매트릭스를 생성하는 전처리 단계는, 상기 프로젝션 매트릭스를 저장하는 단계를 더 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 또 다른 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 설명하기 위한 블록도이다.
도 4는 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치의 프로젝션 매트릭스 계산 동작을 설명하기 위한 블록도이다.
도 5는 도 4에서 제1 그리드 이미지와 제2 그리드 이미지의 획득 과정을 설명하기 위한 개념도이다.
도 6은 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 포함하는 시스템 온 칩을 설명하기 위한 블록도이다.
도 7은 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 포함하는 사용자 시스템을 설명하기 위한 블록도이다.
도 8은 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 포함하는 다른 사용자 시스템을 설명하기 위한 블록도이다.
도 9는 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 포함하는 또 다른 사용자 시스템을 설명하기 위한 블록도이다.
도 10은 본 발명의 일 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 방법을 설명하기 위한 흐름도이다.
도 11은 도 10의 전처리 단계를 세부적으로 설명하기 위한 흐름도이다.
도 12는 도 10의 광학 왜곡 보상 단계를 세부적으로 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
하나의 소자(elements)가 다른 소자와 "접속된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 "직접 접속된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
소자(elements) 또는 층이 다른 소자 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 소자 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 반면, 소자가 "직접 위(directly on)" 또는 "바로 위"로 지칭되는 것은 중간에 다른 소자 또는 층을 개재하지 않은 것을 나타낸다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 소자 또는 구성 요소들과 다른 소자 또는 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 소자의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 소자를 뒤집을 경우, 다른 소자의 "아래(below)" 또는 "아래(beneath)"로 기술된 소자는 다른 소자의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 소자는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는 첨부된 도 1 내지 도 3을 참조하여 본 발명의 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치(100; ODC DEVICE)는 깊이 획득부(110; DEPTH ACQUISITION UNIT), 그리드 생성부(120; GRID GENERATION UNIT), 왜곡 보상부(130; DISTORTION CORRECTION UNIT)을 포함한다.
깊이 획득부(110)는 왜곡된 이미지(distorted image)로부터 깊이를 획득할 수 있다. 예를 들어, 깊이 획득부(110)는 스트레오 깊이 추출(stereo depth extraction) 알고리즘, 또는 AF(Auto Focus) 알고리즘을 이용하여 왜곡된 이미지의 깊이를 획득할 수 있다. 깊이 획득부(110)는 TOF(Time of Flight) 센서로부터 왜곡된 이미지의 깊이를 제공받을 수도 있다. 그러나, 본 발명이 이에 한정되는 것은 아니고, 깊이 획득부(110)는 본 발명이 속하는 기술 분야에서 잘 알려진 다양한 방법을 이용하여 왜곡된 이미지의 깊이를 획득할 수 있다.
정지 영상을 촬영하는 경우, 깊이 획득부(110)는 이미지 센서(미도시)가 촬영한 하나의 이미지의 깊이를 획득할 수 있다. 동영상을 촬영하는 경우, 깊이 획득부(110)는 이미지 센서가 촬영한 복수의 프레임 중 적어도 하나의 프레임의 이미지의 깊이를 획득할 수 있다. 동영상을 촬영하는 동안, 깊이 획득부(100)는 이미지 센서가 촬영한 프레임의 이미지의 깊이를 실시간으로 획득할 수 있다.
그리드 생성부(120)는 왜곡된 이미지의 깊이에 대응하는 보상 그리드를 동적으로(dynamically) 생성할 수 있다. 그리드 생성부(120)는 깊이 획득부(110)로부터 왜곡된 이미지의 깊이 정보를 수신할 수 있다. 그리드 생성부(120)는 왜곡된 이미지의 깊이 정보 및 프로젝션 매트릭스(121; PROJECTION MATRIX)를 이용하여 보상 그리드를 동적으로 생성할 수 있다.
하기 수학식 1과 같이, 그리드 생성부(120)는 프로젝션 매트릭스와, 원본 그리드의 좌표 및 왜곡된 이미지의 깊이를 연산하여, 보상 그리드의 좌표를 동적으로 생성할 수 있다.
[수학식 1]
수학식 1에서, u, v는 보상 그리드의 좌표를 나타내고, x, y는 원본 그리드의 좌표를 나타내고, z는 왜곡된 이미지의 깊이를 나타내고, P는 프로젝션 매트릭스를 나타낼 수 있다. 그리드의 좌표는 그리드 점(grid point)들의 좌표를 포함할 수 있다.
프로젝션 매트릭스(121)는 그리드 생성부(120) 내에 미리 저장될 수 있다. 프로젝션 매트릭스(121)는 렌즈의 곡률 특성에 의해 정의될 수 있다.
왜곡 보상부(130)는 왜곡된 이미지를 입력받고, 왜곡된 이미지 내의 광학 왜곡을 보상하여, 보상된 이미지(corrected image)를 출력할 수 있다. 왜곡 보상부(130)는 그리드 생성부(120)로부터 보상 그리드를 수신할 수 있다. 왜곡 보상부(130)는 보상 그리드를 이용하여 왜곡된 이미지 내의 광학 왜곡을 보상할 수 있다.
보상 그리드를 이용하여 광학 왜곡을 보상하는 것은 본 발명이 속하는 기술 분야의 통상의 기술자에게 자명하며, 이에 관한 설명은 본 발명의 요지를 흐릴 수 있으므로, 이하 상세한 설명은 생략하기로 한다.
도 2는 본 발명의 다른 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 설명하기 위한 블록도이다. 설명의 편의를 위하여, 도 1의 깊이 정보 기반 광학 왜곡 보상 장치(100)와의 차이점을 중점으로 하여 설명하기로 한다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치(200)는, 도 1의 깊이 정보 기반 광학 왜곡 보상 장치(100)와 비교하여, 저장부(140; STORING UNIT)를 더 포함한다.
본 발명의 다른 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치(200)에서는, 프로젝션 매트릭스(121)가 저장부(140) 내에 미리 저장될 수 있다. 예를 들어, 저장부(140)는 EEPROM(Electrically Erasable Programmable Read Only Memory) 또는 플래시 메모리(Flash Memory)와 같은 비휘발성 메모리 장치를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
그리드 생성부(120)는 저장부(140)에 억세스하여 프로젝션 매트릭스(121)를 참조할 수 있다. 그리드 생성부(120)는 깊이 획득부(110)로부터 수신한 깊이 정보 및 저장부(140)로부터 참조한 프로젝션 매트릭스(121)를 이용하여 보상 그리드를 동적으로 생성할 수 있다.
도 3은 본 발명의 또 다른 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 설명하기 위한 블록도이다. 설명의 편의를 위하여, 도 2의 깊이 정보 기반 광학 왜곡 보상 장치(200)와의 차이점을 중점으로 하여 설명하기로 한다.
도 3을 참조하면, 본 발명의 또 다른 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치(300)는, 도 2의 깊이 정보 기반 광학 왜곡 보상 장치(200)와 비교하여, 왜곡된 이미지의 깊이가 사용자(user)로부터 입력된다.
사용자는 키보드, 마우스, 버튼, 키패드, 터치 스크린과 같은 잘 알려진 다양한 입력 장치를 이용하여 왜곡된 이미지의 깊이를 수동으로(manually) 입력할 수 있다. 그리고, 깊이 획득부(110)는 사용자로부터 입력된 깊이를 획득할 수 있다.
상술한 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치에 의하면, 서로 다른 깊이를 갖는 제1 및 제2 이미지의 깊이를 획득하고, 이에 대응하는 제1 및 제2 보상 그리드를 각각 생성하고, 제1 및 제2 보상 그리드를 이용하여 제1 및 제2 이미지 내의 광학 왜곡을 각각 보상할 수 있다. 제1 및 제2 이미지의 깊이는 각각 0(zero)으로부터 무한대(∞)에 이를 수 있다. 즉, 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치는, 이미지의 다양한 깊이에 대응하는 보상 그리드를 동적으로 생성할 수 있으므로, 광학 왜곡 보상의 정확도를 증가시키고, 보상 그리드를 저장하기 위한 메모리 공간의 소모를 감소시킬 수 있다.
한편, 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치는 프로젝션 매트릭스를 계산하고, 계산된 프로젝션 매트릭스를 저장하는 전처리 동작이 요구될 수 있다. 이하에서는 첨부된 도 4 내지 도 5를 참조하여 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치의 전처리 동작을 설명하기로 한다.
도 4는 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치의 전처리 동작을 설명하기 위한 블록도이고, 도 5는 도 4에서 제1 그리드 이미지와 제2 그리드 이미지의 획득 과정을 설명하기 위한 개념도이다.
도 4를 참조하면, 왜곡 계산부(150)는 제1 및 제2 그리드 이미지(1st, 2nd grid image)를 수신할 수 있다.
도 5에 도시된 바와 같이, 이미지 센서(미도시)는 제1 및 제2 거리 상에 위치하는 원본 그리드(20, 30)를 촬영하여, 서로 다른 깊이를 갖는 제1 및 제2 그리드 이미지(1st, 2nd grid image)를 획득할 수 있다. 도 5의 도면 부호 10은 렌즈를 도시한 것이다. 렌즈의 곡률 특성에 의하여, 제1 및 제2 그리드 이미지(1st, 2nd grid image) 내에는 광학 왜곡이 발생될 수 있다. 여기서, 제1 거리는 제2 거리와 비교하여 상대적으로 렌즈에 더 가까운 거리일 수 있다(또는, 제1 그리드 이미지(1st grid image)의 제1 깊이는 제2 그리드 이미지(2nd grid image)의 제2 깊이와 비교하여 상대적으로 더 작을 수 있다). 따라서, 제2 그리드 이미지(2nd grid image) 내의 광학 왜곡의 정도는 제1 그리드 이미지(1st grid image) 내의 광학 왜곡의 정도보다 클 수 있다.
다시 도 4를 참조하면, 왜곡 계산부(150)는 제1 및 제2 그리드 이미지(1st, 2nd grid image)와 원본 그리드 이미지(original grid image)를 각각 비교하여, 제1 및 제2 그리드 이미지(1st, 2nd grid image) 내의 광학 왜곡을 각각 계산할 수 있다. 왜곡 계산부(150)는 이미지의 중앙(center)으로부터 그리드 점들까지의 거리의 편차를 광학 왜곡의 정도로 계산할 수 있다. 원본 그리드 이미지는 왜곡 계산부(150) 내에 저장되거나, 외부(예를 들어, 저장부(140))에 저장되어 왜곡 계산부(150)에 제공될 수 있다. 본 명세서에서는 제1 및 제2 그리드 이미지(1st, 2nd grid image) 내의 광학 왜곡을 각각 제1 및 제2 왜곡(1st, 2nd distortion)으로 정의하여 설명하기로 한다.
깊이 획득부(160)은 제1 및 제2 그리드 이미지(1st, 2nd grid image)로부터 깊이를 각각 획득할 수 있다. 상술한 바와 같이, 깊이 획득부(160)는 스트레오 깊이 추출(stereo depth extraction) 알고리즘, 또는 AF(Auto Focus) 알고리즘을 이용하여 제1 및 제2 그리드 이미지(1st, 2nd grid image)의 깊이를 각각 획득할 수 있다. 깊이 획득부(160)는 TOF(Time of Flight) 센서로부터 제1 및 제2 그리드 이미지의 깊이(1st, 2nd grid image)를 각각 제공받을 수도 있다. 또는, 깊이 획득부(160)는 사용자로부터 입력된 제1 및 제2 그리드 이미지(1st, 2nd grid image)의 깊이를 획득할 수도 있다. 본 명세서에서는 제1 및 제2 그리드 이미지(1st, 2nd grid image)의 깊이를 각각 제1 및 제2 깊이(1st, 2nd depth)로 정의하여 설명하기로 한다.
프로젝션 매트릭스 계산부(170)는 제1 내지 제2 왜곡(1st, 2nd distortion)과 제1 내지 제2 깊이(1st, 2nd depth) 정보를 이용하여 프로젝션 매트릭스를 계산할 수 있다. 계산된 프로젝션 매트릭스는 그리드 생성부(120)에 전송되어 저장되거나, 저장부(140)에 전송되어 저장될 수 있다.
도 4에서는 배럴(barrel) 왜곡을 광학 왜곡의 일 예로 도시하였으나, 본 발명이 이에 한정되는 것은 아니고, 핀-쿠션(pin-cushion) 왜곡에 대해서도 실질적으로 동일하게 연산될 수 있다.
실시예에 따라, 도 4를 참조하여 설명한 왜곡 계산부(150), 깊이 획득부(160), 프로젝션 매트릭스 계산부(170)는 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치의 내부 구성요소로 제공될 수 있다. 깊이 획득부(110)와 깊이 획득부(160)는 하나의 구성요소로 제공될 수 있다. 이 경우, 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치는 이니셜(initial) 설정시 또는 렌즈의 교환시에 상술한 전처리 동작을 수행할 수 있을 것이다.
또는, 도 4를 참조하여 설명한 왜곡 계산부(150), 깊이 획득부(160), 프로젝션 매트릭스 계산부(170)가 외부 장치의 구성요소로 제공되고, 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치는 상기 외부 장치로부터 계산된 프로젝션 매트릭스를 수신할 수 있다. 그리고, 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치는 제조 단계에서 프로젝션 매트릭스를 그리드 생성부(120) 또는 저장부(140) 내에 저장할 수 있을 것이다.
도 6은 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 포함하는 시스템 온 칩을 설명하기 위한 블록도이다.
도 6을 참조하면, 시스템 온 칩(1000)은 코어 프로세서(1100; CORE), 메모리 장치(1200; MEMORY), 디스플레이 컨트롤러(1300; DISPLAY CONTROLLER), 이미지 센서(1400; IMAGE SENSOR), 이미지 신호 프로세서(1500; ISP; Image Signal Processor), 인터페이스 장치(1600; INTERFACE), 데이터 버스(1700)를 포함하여 구성될 수 있다.
코어 프로세서(1100), 메모리 장치(1200), 디스플레이 컨트롤러(1300), 이미지 센서(1400), 이미지 신호 프로세서(1500), 인터페이스 장치(1600)는 데이터 버스(1700)를 통하여 서로 결합될 수 있다. 데이터 버스(1700)는 데이터들이 이동되는 통로(path)에 해당한다.
코어 프로세서(1100)는 하나의 코어(single-core)를 포함하거나, 복수의 코어들(multi-core)을 포함하여 데이터를 처리할 수 있다. 예를 들어, 코어 프로세서(1100)는 듀얼 코어(dual-core), 쿼드 코어(quad-core), 헥사 코어(hexa-core) 등의 멀티 코어(multi-core)를 포함할 수 있다. 실시예에 따라, 코어 프로세서(1100)는 내부 또는 외부에 위치하는 캐시 메모리를 더 포함할 수 있다.
메모리 장치(1200)는 코어 프로세서(1100) 및/또는 이미지 신호 프로세서(1500)가 처리하는 데이터, 코어 프로세서(1100) 및/또는 이미지 신호 프로세서(1500)가 수행하는 프로그램을 저장할 수 있다. 메모리 장치(1200)는 이미지 센서(1400)가 촬영한 이미지 데이터를 저장할 수도 있다. 예를 들어, 메모리 장치(1200)는 DDR SDRAM(Double Data Rate Static DRAM), SDR SDRAM(Single Data Rate SDRAM), SRAM(Static Random Access Memory)과 같은 하나 이상의 휘발성 메모리 장치 및/또는 EEPROM(Electrical Erasable Programmable ROM), 플래시 메모리(flash memory)와 같은 하나 이상의 비휘발성 메모리 장치를 포함할 수 있다.
디스플레이 컨트롤러(1300)는 디스플레이 장치를 제어하여, 디스플레이 장치가 이미지를 디스플레이하도록 할 수 있다.
이미지 센서(1400)는 이미지를 촬영할 수 있다. 이미지 센서(1400)는 렌즈(미도시)를 통해 광 이미지 신호를 수신하고, 수신한 광 이미지 신호를 전기 이미지 신호로 변환할 수 있다. 예를 들어, 이미지 센서(1400)는 CCD(Charge Coupled Diode) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 포함할 수 있다.
이미지 신호 프로세서(1500)는 이미지 센서(1400)가 촬영한 이미지 신호를 처리할 수 있다. 이미지 신호 프로세서(1500)는 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치(100~300)를 포함하여, 이미지 센서(1400)가 촬영한 이미지 내의 광학 왜곡을 보상할 수 있다. 도 6에서는 이미지 신호 프로세서(2300)가 도 1을 참조하여 설명한 깊이 정보 기반 광학 왜곡 보상 장치(100)를 포함하는 것으로 도시하였으나, 이미지 신호 프로세서(2300)는 도 2 내지 도 3을 참조하여 설명한 깊이 정보 기반 광학 왜곡 보상 장치(200, 300)를 포함할 수도 있다.
인터페이스 장치(1600)는 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 기능을 수행할 수 있다. 인터페이스 장치는 예를 들어, 안테나 또는 유무선 트랜시버 등을 포함할 수 있다.
도 7은 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 포함하는 사용자 시스템을 설명하기 위한 블록도이다.
도 7을 참조하면, 사용자 시스템(2000)은 렌즈(2100; LENS), 이미지 센서(2200; IMAGE SENSOR), 이미지 신호 프로세서(2300; ISP), 디스플레이 장치(2400; DISPLAY), 렌즈 위치 조정 장치(2500; LENS POSITIONING), 플래시 장치(2600; FLASH), 컨트롤러(2700; CONTROLLER), 메모리 장치(2800; MEMORY)를 포함하여 구성될 수 있다.
이미지 센서(2200)는 이미지를 촬영할 수 있다. 이미지 센서(2200)는 렌즈(2100)를 통해 광 이미지 신호를 수신하고, 수신한 광 이미지 신호를 전기 이미지 신호로 변환할 수 있다. 예를 들어, 이미지 센서(2200)는 CCD 이미지 센서 또는 CMOS 이미지 센서를 포함할 수 있다.
이미지 신호 프로세서(2300)는 이미지 센서(2200)가 촬영한 이미지 신호를 처리할 수 있다. 이미지 신호 프로세서(2300)는 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치(100~300)를 포함하여, 이미지 센서(2200)가 촬영한 이미지 내의 광학 왜곡을 보상할 수 있다. 도 7에서는 이미지 신호 프로세서(2300)가 도 1을 참조하여 설명한 깊이 정보 기반 광학 왜곡 보상 장치(100)를 포함하는 것으로 도시하였으나, 이미지 신호 프로세서(2300)는 도 2 내지 도 3을 참조하여 설명한 깊이 정보 기반 광학 왜곡 보상 장치(200, 300)를 포함할 수도 있다.
디스플레이 장치(2400)는 이미지 신호 프로세서(2300)에 의해 처리된 이미지를 디스플레이할 수 있다. 예를 들어, 디스플레이 장치(2400)는 LCD(Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diode) 디스플레이 패널을 포함할 수 있다.
렌즈 위치 조정 장치(2500)는 AF 알고리즘을 이용하여 초점 거리를 조정하고, 조정된 초점 거리에 따라 렌즈의 위치를 조정할 수 있다.
플래시 장치(2600)는 광원과 리플렉터 등을 포함하여 광을 출사할 수 있다.
컨트롤러(2700)는 사용자 시스템(2000)의 제반 동작을 제어할 수 있다.
메모리 장치(2800)는 이미지 신호 프로세서(2300)가 처리하는 데이터 및/또는 이미지 신호 프로세서(2300)가 수행하는 프로그램을 저장할 수 있다. 예를 들어, 메모리 장치(2800)는 DDR SDRAM, SDR SDRAM, SRAM과 같은 하나 이상의 휘발성 메모리 장치 및/또는 EEPROM, 플래시 메모리와 같은 하나 이상의 비휘발성 메모리 장치를 포함할 수 있다. 실시예에 따라 메모리 장치(2800)는 메모리 카드의 형태로 사용자 시스템(2000)에 결합될 수 있다.
도 7에는 명확하게 도시하지 않았으나, 사용자 시스템(2000)은 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 인터페이스 장치를 더 포함할 수도 있다. 인터페이스 장치는 예를 들어, 안테나 또는 유무선 트랜시버 등을 포함할 수 있다.
실시예에 따라, 사용자 시스템(2000)은 디지털 카메라(Digital Camera), 컴팩트 카메라(Compact Camera), 하이엔드 카메라(Hi-end Camera), DLSR 카메라(Digital Single Lens Reflex) 등과 같은 임의의 촬상 장치일 수 있다.
도 8은 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 포함하는 다른 사용자 시스템을 설명하기 위한 블록도이다.
도 8을 참조하면, 사용자 시스템(3000)은 중앙 처리 장치(3100; CPU), 키보드(3200; KEYBOARD), 디스플레이 장치(3300; DISPLAY), 메모리 장치(3400; MEMORY), 스토리지 장치(3500; STORAGE), 이미지 센서(3600; IMAGE SENSOR), 이미지 신호 프로세서(3700; ISP), 데이터 버스(3800)를 포함하여 구성될 수 있다.
중앙 처리 장치(3100), 키보드(3200), 디스플레이 장치(3300), 메모리 장치(3400), 스토리지 장치(3500), 이미지 센서(3600), 이미지 신호 프로세서(3700)는 데이터 버스(3800)를 통하여 서로 결합될 수 있다. 데이터 버스(3800)는 데이터들이 이동되는 통로(path)에 해당한다.
중앙 처리 장치(3100)는 제어 장치, 연산 장치 등을 포함하여 프로그램을 실행하고 데이터를 처리할 수 있다. 실시예에 따라, 중앙 처리 장치(3100)는 내부 또는 외부에 위치하는 캐시 메모리를 더 포함할 수 있다.
키보드(3200)는 다수의 키를 포함하여 사용자로부터 문자 및 숫자 등을 입력받거나, 각종 기능키를 통해 데이터를 입력받을 수 있다.
디스플레이 장치(3300)는 하나 이상의 모니터를 포함하여 이미지를 디스플레이할 수 있다.
메모리 장치(3400)은 DDR SDRAM, SDR SDRAM, SRAM과 같은 하나 이상의 휘발성 메모리 장치를 포함할 수 있다. 휘발성 메모리 장치는 중앙 처리 장치(3100)가 처리하는 데이터를 저장하는 동작 메모리의 기능을 수행할 수 있다. 휘발성 메모리 장치는 이미지 신호 프로세서(3700)가 처리하는 데이터를 저장할 수도 있다.
메모리 장치(3400)는 EEPROM, 플래시 메모리와 같은 하나 이상의 비휘발성 메모리 장치를 포함할 수도 있다. 비휘발성 메모리 장치는 중앙 처리 장치(3100) 및/또는 이미지 신호 프로세서(3700)가 수행하는 프로그램을 저장할 수 있다.
스토리지 장치(3500)는 플로피 디스크, 하드 디스크, CD-ROM, DVD 등의 기록 매체를 포함하여 데이터 및/또는 프로그램 등을 저장할 수 있다.
이미지 센서(3600)는 이미지를 촬영할 수 있다. 이미지 센서(3600)는 렌즈(미도시)를 통해 광 이미지 신호를 수신하고, 수신한 광 이미지 신호를 전기 이미지 신호로 변환할 수 있다. 예를 들어, 이미지 센서(3600)는 CCD 이미지 센서 또는 CMOS 이미지 센서를 포함할 수 있다.
이미지 신호 프로세서(3700)는 이미지 센서(3600)가 촬영한 이미지 신호를 처리할 수 있다. 이미지 신호 프로세서(3700)는 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치(100~300)를 포함하여, 이미지 센서(3600)가 촬영한 이미지 내의 광학 왜곡을 보상할 수 있다. 도 8에서는 이미지 신호 프로세서(3700)가 도 1을 참조하여 설명한 깊이 정보 기반 광학 왜곡 보상 장치(100)를 포함하는 것으로 도시하였으나, 이미지 신호 프로세서(3700)는 도 2 내지 도 3을 참조하여 설명한 깊이 정보 기반 광학 왜곡 보상 장치(200, 300)를 포함할 수도 있다.
도 8에는 명확하게 도시하지 않았으나, 사용자 시스템(3000)은 마우스, 버튼, 키패드, 터치 스크린, 마이크와 같은 하나 이상의 입력 장치, 및/또는 스피커와 같은 하나 이상의 출력 장치를 더 포함할 수 있다.
또한, 사용자 시스템(3000)은 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 인터페이스 장치를 더 포함할 수도 있다. 인터페이스 장치는 예를 들어, 안테나 또는 유무선 트랜시버 등을 포함할 수 있다.
실시예에 따라, 사용자 시스템(3000)은 휴대폰(Mobile Phone), 스마트 폰(Smart Phone), 개인 정보 단말기(Personal Digital Assistant; PDA), 데스크톱(Desktop), 노트북(Notebook), 태블릿(Tablet) 등과 같은 임의의 컴퓨팅 시스템일 수 있다.
도 9는 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치를 포함하는 또 다른 사용자 시스템을 설명하기 위한 블록도이다.
도 9를 참조하면, 사용자 시스템(4000)은 튜너(4100; TUNER), 프로세서(4200; PROCESSOR), 디스플레이 장치(4300; DISPLAY), 이미지 센서(4400; IMAGE SENSOR), 이미지 신호 프로세서(4500; ISP), 메모리 장치(4600; MEMORY)를 포함하여 구성될 수 있다.
튜너(4100)는 방송 신호를 수신할 수 있다. 튜너(4100)는 아날로그 방송 신호 또는 디지털 방송 신호를 수신할 수 있다. 튜너(4100)는 지상파 방송 신호, 케이블 방송 신호 또는 위성 방송 신호를 수신할 수도 있다.
프로세서(4200)는 사용자 시스템(4000)의 제반 동작을 제어할 수 있다.
디스플레이 장치(4300)는 튜너(4100)로부터 수신된 방송 신호 또는 이미지 신호 프로세서(2300)에 의해 처리된 이미지를 디스플레이할 수 있다. 예를 들어, 디스플레이 장치(4300)는 LCD(Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diode) 디스플레이 패널을 포함할 수 있다.
이미지 센서(4400)는 이미지를 촬영할 수 있다. 이미지 센서(4400)는 렌즈(미도시)를 통해 광 이미지 신호를 수신하고, 수신한 광 이미지 신호를 전기 이미지 신호로 변환할 수 있다. 예를 들어, 이미지 센서(4400)는 CCD 이미지 센서 또는 CMOS 이미지 센서를 포함할 수 있다.
이미지 신호 프로세서(4500)는 이미지 센서(4400)가 촬영한 이미지 신호를 처리할 수 있다. 이미지 신호 프로세서(4500)는 본 발명의 몇몇 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 장치(100~300)를 포함하여, 이미지 센서(4400)가 촬영한 이미지 내의 광학 왜곡을 보상할 수 있다. 도 9에서는 이미지 신호 프로세서(4500)가 도 1을 참조하여 설명한 깊이 정보 기반 광학 왜곡 보상 장치(100)를 포함하는 것으로 도시하였으나, 이미지 신호 프로세서(4500)는 도 2 내지 도 3을 참조하여 설명한 깊이 정보 기반 광학 왜곡 보상 장치(200, 300)를 포함할 수도 있다.
메모리 장치(4600)는 프로세서(4200) 및/또는 이미지 신호 프로세서(4500)가 처리하는 데이터, 프로세서(4200) 및/또는 이미지 신호 프로세서(4500)가 수행하는 프로그램을 저장할 수 있다. 메모리 장치(4600)는 이미지 센서(4400)가 촬영한 이미지 데이터를 저장할 수도 있다. 예를 들어, 메모리 장치(4600)는 DDR SDRAM, SDR SDRAM, SRAM과 같은 하나 이상의 휘발성 메모리 장치 및/또는 EEPROM, 플래시 메모리와 같은 하나 이상의 비휘발성 메모리 장치를 포함할 수 있다.
실시예에 따라, 사용자 시스템(4000)은 디지털 티브이(Digital TV), 스마트 티브이(Smart TV)와 같은 임의의 방송 수신 장치일 수 있다.
이하에서는 첨부된 도 10 내지 도 12를 참조하여 본 발명의 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 방법을 설명하기로 한다. 설명의 편의를 위하여, 상술한 내용과 중복되는 내용에 관하여는 상세한 설명은 생략하기로 한다.
도 10은 본 발명의 일 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 방법을 설명하기 위한 흐름도이고, 도 11은 도 10의 전처리 단계를 세부적으로 설명하기 위한 흐름도이고, 도 12는 도 10의 광학 왜곡 보상 단계를 세부적으로 설명하기 위한 흐름도이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 방법에서는, 먼저 프로젝션 매트릭스를 생성하는 전처리 동작을 수행한다(S410). 전처리 단계는 도 11을 참조하여, 보다 상세하게 설명하기로 한다.
도 11을 참조하면, 전처리 단게(S410)는 먼저, 서로 다른 깊이를 갖는 둘 이상의 이미지를 획득한다(S411). 이 때, 둘 이상의 이미지는 서로 다른 거리 상에 위치하는 원본 그리드를 촬영한 이미지일 수 있다. 서로 다른 깊이를 갖는 둘 이상의 이미지 내에는 서로 다른 정도의 광학 왜곡이 발생될 수 있다.
이어서, 둘 이상의 이미지 내의 광학 왜곡을 계산한다(S412). 둘 이상의 이미지를 원본 그리드 이미지와 각각 비교하여, 둘 이상의 이미지 내의 광학 왜곡을 계산할 수 있다.
이어서, 둘 이상의 이미지의 깊이를 획득한다(S413). 스트레오 깊이 추출(stereo depth extraction) 알고리즘, AF(Auto Focus) 알고리즘 또는 TOF(Time of Flight) 센서를 이용하여, 둘 이상의 이미지의 깊이를 획득할 수 있다.
이어서, 계산된 둘 이상의 이미지 내의 광학 왜곡과 획득된 둘 이상의 이미지의 깊이를 이용하여 프로젝션 매트릭스를 계산하고(S414), 계산된 프로젝션 매트릭스를 저장한다(S415).
한편, 도 11에서 도시된 바와 달리, 본 발명의 일 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 방법에서는, 둘 이상의 이미지의 깊이를 획득한 후에, 둘 이상의 이미지 내의 광학 왜곡을 계산할 수 있다. 또는, 본 발명의 일 실시예에 따른 깊이 정보 기반 광학 왜곡 보상 방법에서는, 광학 왜곡의 계산 단계와 깊이 획득 단계가 동시에 수행될 수도 있다.
이어서, 다시 도 10을 참조하면, 이미지 센서가 촬영한 왜곡된 이미지를 수신한다(S420). 예를 들어, 이미지 센서는 CCD(Charge Coupled Diode) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 이용할 수 있다.
이어서, 왜곡된 이미지 내의 광학 왜곡을 보상한다(S430). 광학 왜곡 보상 단계는 도 12를 참조하여, 보다 상세하게 설명하기로 한다.
도 12를 참조하면, 광학 왜곡 보상 단계(S430)는 먼저, 왜곡된 이미지의 깊이를 획득한다(S431). 스트레오 깊이 추출(stereo depth extraction) 알고리즘, AF(Auto Focus) 알고리즘 또는 TOF(Time of Flight) 센서를 이용하여, 왜곡된 이미지의 깊이를 획득할 수 있다.
이어서, 왜곡된 이미지의 깊이에 대응하는 보상 그리드를 동적으로 생성한다(S432). 이 때, 원본 그리드의 좌표, 왜곡된 이미지의 깊이 정보 및 프로젝션 매트릭스를 이용하여 보상 그리드의 좌표를 생성할 수 있다. 그리드의 좌표는 그리드 점(grid point)들의 좌표를 포함할 수 있다.
이어서, 보상 그리드를 이용하여 왜곡된 이미지 내의 광학 왜곡을 보상한다(S433).
본 발명의 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는, 프로세서에 의해 실행되는 하드웨어 모듈, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명의 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 연결되며, 그 프로세서는 기록 매체로부터 정보를 독출할 수 있고 기록 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 기록 매체는 사용자 단말기 내에 개별 구성 요소로서 상주할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 광학 왜곡 보상 장치
110: 깊이 획득부
120: 그리드 생성부
130: 왜곡 보상부
140: 저장부
150: 왜곡 계산부
160: 프로젝션 매트릭스 계산부

Claims (10)

  1. 이미지의 깊이를 획득하는 깊이 획득부;
    상기 이미지의 깊이 정보 및 프로젝션 매트릭스(projection matrix)를 이용하여, 상기 이미지의 깊이에 대응하는 보상 그리드(correction grid)를 동적으로 생성하는 그리드 생성부;
    이미지 센서가 촬영한 서로 다른 깊이를 갖는 둘 이상의 이미지와 원본 그리드 이미지를 비교하여 계산된 상기 둘 이상의 이미지 내의 광학 왜곡과, 상기 둘 이상의 이미지의 깊이 정보를 이용하여 상기 프로젝션 매트릭스를 계산하는 프로젝션 매트릭스 계산부; 및
    상기 보상 그리드를 이용하여 상기 이미지 내의 광학 왜곡을 보상하는 왜곡 보상부를 포함하는, 깊이 정보 기반 광학 왜곡 보상 장치.
  2. 제1항에 있어서,
    상기 그리드 생성부는 원본 그리드의 좌표, 상기 이미지의 깊이 정보 및 프로젝션 매트릭스를 이용하여 상기 보상 그리드의 좌표를 동적으로 생성하는, 깊이 정보 기반 광학 왜곡 보상 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 프로젝션 매트릭스를 저장하는 저장부를 더 포함하는, 깊이 정보 기반 광학 왜곡 보상 장치.
  5. 제1항에 있어서,
    상기 깊이 획득부는 이미지 센서가 촬영한 복수의 프레임 중 적어도 하나의 프레임의 이미지의 깊이를 획득하는, 깊이 정보 기반 광학 왜곡 보상 장치.
  6. 제1항에 있어서,
    상기 깊이 획득부는 AF(Auto Focus) 알고리즘을 이용하여 상기 이미지의 깊이를 획득하는, 깊이 정보 기반 광학 왜곡 보상 장치.
  7. 제1항에 있어서,
    상기 깊이 획득부는 사용자로부터 입력된 상기 이미지의 깊이를 획득하는, 깊이 정보 기반 광학 왜곡 보상 장치.
  8. 제1 및 제2 이미지의 깊이를 획득하는 깊이 획득부;
    상기 제1 및 제2 이미지의 깊이에 대응하는 제1 및 제2 보상 그리드를 각각 생성하는 그리드 생성부;
    이미지 센서가 촬영한 서로 다른 깊이를 갖는 둘 이상의 이미지와 원본 그리드 이미지를 비교하여 계산된 상기 둘 이상의 이미지 내의 광학 왜곡과, 상기 둘 이상의 이미지의 깊이 정보를 이용하여 프로젝션 매트릭스를 계산하는 프로젝션 매트릭스 계산부; 및
    상기 제1 및 제2 보상 그리드를 이용하여 상기 제1 및 제2 이미지 내의 광학 왜곡을 각각 보상하는 왜곡 보상부를 포함하되,
    상기 그리드 생성부는 상기 프로젝션 매트릭스와 상기 제1 이미지의 깊이를 연산하여 상기 제1 보상 그리드를 생성하고, 상기 프로젝션 매트릭스와 상기 제2 이미지의 깊이를 연산하여 상기 제2 보상 그리드를 생성하는, 깊이 정보 기반 광학 왜곡 보상 장치.
  9. 이미지를 촬영하는 이미지 센서; 및
    광학 왜곡 보상 장치를 포함하여 상기 이미지 센서가 촬영한 이미지 내의 광학 왜곡을 보상하는 프로세서를 포함하고,
    상기 광학 왜곡 보상 장치는, 제1 및 제2 이미지의 깊이를 획득하는 깊이 획득부와,
    상기 제1 및 제2 이미지의 깊이 정보를 이용하여, 상기 제1 및 제2 이미지의 깊이에 대응하는 제1 및 제2 보상 그리드를 각각 생성하는 그리드 생성부와,
    이미지 센서가 촬영한 서로 다른 깊이를 갖는 둘 이상의 이미지와 원본 그리드 이미지를 비교하여 계산된 상기 둘 이상의 이미지 내의 광학 왜곡과, 상기 둘 이상의 이미지의 깊이 정보를 이용하여 프로젝션 매트릭스를 계산하는 프로젝션 매트릭스 계산부와,
    상기 제1 및 제2 보상 그리드를 이용하여 상기 제1 및 제2 이미지 내의 광학 왜곡을 각각 보상하는 왜곡 보상부를 포함하되,
    상기 그리드 생성부는 상기 프로젝션 매트릭스에 상기 제1 이미지의 깊이를 연산하여 상기 제1 보상 그리드를 생성하고, 상기 프로젝션 매트릭스에 상기 제2 이미지의 깊이를 연산하여 상기 제2 보상 그리드를 생성하는, 시스템 온 칩.
  10. 이미지의 깊이를 획득하는 단계;
    이미지 센서가 촬영한 서로 다른 깊이를 갖는 둘 이상의 이미지와 원본 그리드 이미지를 비교하여 계산된 상기 둘 이상의 이미지 내의 광학 왜곡과, 상기 둘 이상의 이미지의 깊이 정보를 이용하여 프로젝션 매트릭스를 계산하는 단계;
    상기 이미지의 깊이 정보 및 상기 프로젝션 매트릭스를 이용하여, 상기 이미지의 깊이에 대응하는 보상 그리드를 동적으로 생성하는 단계; 및
    상기 보상 그리드를 이용하여 상기 이미지 내의 광학 왜곡을 보상하는 단계를 포함하는, 깊이 정보 기반 광학 왜곡 보상 방법.
KR1020130110476A 2013-09-13 2013-09-13 깊이 정보 기반 광학 왜곡 보상 장치 및 방법 KR102114248B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130110476A KR102114248B1 (ko) 2013-09-13 2013-09-13 깊이 정보 기반 광학 왜곡 보상 장치 및 방법
US14/470,358 US9412154B2 (en) 2013-09-13 2014-08-27 Depth information based optical distortion correction circuit and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130110476A KR102114248B1 (ko) 2013-09-13 2013-09-13 깊이 정보 기반 광학 왜곡 보상 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150031022A KR20150031022A (ko) 2015-03-23
KR102114248B1 true KR102114248B1 (ko) 2020-05-22

Family

ID=52667624

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130110476A KR102114248B1 (ko) 2013-09-13 2013-09-13 깊이 정보 기반 광학 왜곡 보상 장치 및 방법

Country Status (2)

Country Link
US (1) US9412154B2 (ko)
KR (1) KR102114248B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114248B1 (ko) * 2013-09-13 2020-05-22 삼성전자 주식회사 깊이 정보 기반 광학 왜곡 보상 장치 및 방법
US9609242B2 (en) * 2015-06-25 2017-03-28 Intel Corporation Auto-correction of depth-sensing camera data for planar target surfaces
CN105844623A (zh) * 2016-03-21 2016-08-10 西安电子科技大学 基于De序列混合编码的目标物体深度信息获取方法
CN111385546B (zh) * 2018-12-28 2022-07-19 中强光电股份有限公司 投影系统以及投影方法
CN111726602B (zh) * 2019-03-22 2022-04-22 舜宇光学（浙江）研究院有限公司 异视场角摄像-显像系统的匹配方法及其系统和计算系统
US11277544B2 (en) 2019-08-07 2022-03-15 Microsoft Technology Licensing, Llc Camera-specific distortion correction
CN110596720A (zh) * 2019-08-19 2019-12-20 深圳奥锐达科技有限公司 距离测量系统
US11663704B2 (en) 2021-04-28 2023-05-30 Microsoft Technology Licensing, Llc Distortion correction via modified analytical projection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696371A (en) 1996-05-23 1997-12-09 Eastman Kodak Company Diffractive/refractive lenslet array
JP2012141939A (ja) * 2010-12-16 2012-07-26 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104327B2 (ja) 1991-10-18 2000-10-30 松下電器産業株式会社 歪曲収差補正装置および画像合成装置
WO2002009036A2 (en) 2000-07-21 2002-01-31 The Trustees Of Columbia University In The City Of New York Method and apparatus for reducing distortion in images
JP2005311473A (ja) 2004-04-16 2005-11-04 Sharp Corp 撮像装置および信号処理方法ならびにそのプログラムと記録媒体
JP4700993B2 (ja) 2005-04-11 2011-06-15 キヤノン株式会社 撮像装置
US7920200B2 (en) 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4446193B2 (ja) 2005-11-11 2010-04-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20070126892A1 (en) 2005-11-30 2007-06-07 Haike Guan Correcting an image captured through a lens
JP4752524B2 (ja) 2006-01-31 2011-08-17 コニカミノルタホールディングス株式会社 歪曲収差補正方法及び歪曲収差補正装置
JP2008085773A (ja) 2006-09-28 2008-04-10 Olympus Corp 色収差補正撮像装置及び色収差補正方法
JP4935440B2 (ja) 2007-03-14 2012-05-23 ソニー株式会社 画像処理装置およびカメラ装置
JP5013113B2 (ja) 2008-05-22 2012-08-29 株式会社富士通ゼネラル 面状電気暖房器
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
KR101635101B1 (ko) 2009-11-19 2016-06-30 삼성전자주식회사 렌즈 왜곡과 색수차를 보정하는 장치 및 방법
KR102114248B1 (ko) * 2013-09-13 2020-05-22 삼성전자 주식회사 깊이 정보 기반 광학 왜곡 보상 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696371A (en) 1996-05-23 1997-12-09 Eastman Kodak Company Diffractive/refractive lenslet array
JP2012141939A (ja) * 2010-12-16 2012-07-26 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法

Also Published As

Publication number Publication date
KR20150031022A (ko) 2015-03-23
US9412154B2 (en) 2016-08-09
US20150077596A1 (en) 2015-03-19

Similar Documents

Publication Publication Date Title
KR102114248B1 (ko) 깊이 정보 기반 광학 왜곡 보상 장치 및 방법
CN109151301B (zh) 包括相机模块的电子装置
US10924677B2 (en) Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis
KR102385360B1 (ko) 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
US10511758B2 (en) Image capturing apparatus with autofocus and method of operating the same
KR102525000B1 (ko) 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
EP3435655B1 (en) Electronic device for acquiring image using plurality of cameras and method for processing image using the same
US10788317B2 (en) Apparatuses and devices for camera depth mapping
US10979612B2 (en) Electronic device comprising plurality of cameras using rolling shutter mode
US11924550B2 (en) Method for processing image by using artificial neural network, and electronic device supporting same
US10819897B2 (en) Electronic device and method for controlling autofocus of camera
US11582391B2 (en) Electronic device capable of controlling image display effect, and method for displaying image
KR102382871B1 (ko) 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
US10187566B2 (en) Method and device for generating images
US11483463B2 (en) Adaptive glare removal and/or color correction
KR102524982B1 (ko) 흐림 처리가 수행된 이미지에 노이즈 패턴을 반영하는 방법 및 장치
CN105578020B (zh) 自拍系统及方法
US20200228689A1 (en) Electronic device for providing function by using rgb image and ir image acquired through one image sensor
KR20200113522A (ko) 제스처 입력에 따라 기능을 실행하는 전자 장치 및 이의 동작 방법
US10491836B2 (en) Electronic device and control method in which the resolution of a combined output image can be increased without deterioration
US11323610B2 (en) Autofocus method and electronic device performing same
KR20180065642A (ko) 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치
KR20210137799A (ko) 이미지 처리 방법 및 그 전자 장치
CN118118784A (zh) 用于使图像稳定化的电子装置及其操作方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant