KR101583646B1 - 전 방위 평면 이미지를 생성하는 방법 및 장치 - Google Patents

전 방위 평면 이미지를 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR101583646B1
KR101583646B1 KR1020140056726A KR20140056726A KR101583646B1 KR 101583646 B1 KR101583646 B1 KR 101583646B1 KR 1020140056726 A KR1020140056726 A KR 1020140056726A KR 20140056726 A KR20140056726 A KR 20140056726A KR 101583646 B1 KR101583646 B1 KR 101583646B1
Authority
KR
South Korea
Prior art keywords
image
image data
circular
full
pixel
Prior art date
Application number
KR1020140056726A
Other languages
English (en)
Other versions
KR20150129548A (ko
Inventor
조중길
이선구
Original Assignee
(주)헥스하이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)헥스하이브 filed Critical (주)헥스하이브
Priority to KR1020140056726A priority Critical patent/KR101583646B1/ko
Publication of KR20150129548A publication Critical patent/KR20150129548A/ko
Application granted granted Critical
Publication of KR101583646B1 publication Critical patent/KR101583646B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

전 방위 촬영을 수행하는 방법 및 장치가 게시되어 있다. 전 방위 평면 이미지를 생성하는 장치의 이미지 처리 방법은 전 방위 촬영 광학 렌즈부를 통해 전 방위 이미지를 획득하는 단계, 획득된 전 방위 이미지를 이미지 센서를 기반으로 처리하여 원형 이미지 데이터를 생성하는 단계와 원형 이미지 데이터를 평면 이미지 데이터로 전환하고 전환된 평면 이미지 데이터에 대한 추가 이미지 처리를 수행하여 최종 출력 평면 이미지를 생성하는 단계를 포함하되, 전 방위 촬영 광학 렌즈부는 360도의 수평 화각을 가질 수 있다.

Description

전 방위 평면 이미지를 생성하는 방법 및 장치{Method and apparatus for generating omnidirectional plane image}
본 발명은 이미지 생성 방법에 관한 것으로 더욱 상세하게는 전 방위 평면 이미지를 생성하는 방법 및 장치에 관한 것이다.
국내 스마트폰 사용자 수는 2009년 말 80만 명에 불과하였으나 빠른 속도로 증가해 지난 2013년 말에는 3천만 명을 돌파할 것으로 전망되었다. 또한 그 수는 꾸준한 증가세를 보여 우리나라 폰 사용자의 90%가 스마트폰을 개통할 예정이라고 한다. 현재 스마트폰 사용자의 연령대는 어릴수록 큰 비중을 차지하고 있지만, 스마트폰이 정보를 얻고 업무를 처리하는 필수 도구가 되어가면서 사용자층이 급속히 확대되어 가고 있다.
또한 스마트폰, 태블릿 PC 등과 같은 모바일 기기가 새로 출시될 때마다 관련 액세서리 시장도 활기를 띤다. 최근 들어 모바일 기기 액세서리는 다양한 용도와 기능, 디자인을 채택하여 기기 본체의 기본 용도를 보완, 강화할 뿐만 아니라 사용자의 개성과 취향을 대변하기도 한다. 그리고 다양한 기능을 제공하는 액세서리도 속속 등장하여 기기 활용의 재미를 더하고 있다. 예를 들어, 스마트폰 사용자는 다양한 스마트폰 케이스를 사용하고, 이어폰, 탁상용 거치대(또는 차량용 거치대), 외장 배터리팩, 내장 카메라용 필터/렌즈, 외장 스피커 등과 같은 스마트폰과 관련된 액세서리 또는 주변 기기를 적극 활용하는 추세이다.
스마트폰 액세서리 시장 자체도 플랫폼의 하나로 확장되고 있다. KT 경제 경영 연구소에 따르면 2010년 2455억 원 수준이던 국내 스마트폰 액세서리 시장은 2011년 5000억 원을 넘어섰고 2012년 올해는 1조 원까지 성장할 것으로 전망된다. 전 세계 시장 규모는 2009년 265억 달러였던 것이 2015년에는 500억 달러 이상의 규모로 성장할 것으로 예상된다.
점차적으로 스마트폰 액세서리는 단순히 스마트폰의 디자인 변화뿐만 아니라 스마트폰에 기존에 구현되었던 기능을 확장하여 추가적인 기능을 확보하기 위한 모듈로서 발전되고 있다.
한편 스마트폰 액세서리 중에는 스마트폰의 렌즈 부분에 결합되어 이미지가 촬영될 때에 일반 스마트폰의 촬영모듈을 통해 제공되는 화각보다 넓은 화각을 제공하는 촬영용 액세서리가 있다. 그러나 촬영용 액세서리를 통해 넓은 화각으로 촬영된 이미지는 이미지의 테두리 부분으로 갈수록 왜곡이 심하게 포함되는 문제점이 있었다.
상기와 같은 문제점을 해소하기 위하여 한국특허 공개번호 제10-2010-0031263호는 파노라마 촬영 기능이 구비된 이동 단말기 및 그의 동작방법에 관한 것으로, 카메라 촬영동작 시 프리뷰 화면상에 적어도 2행 이상의 격자를 포함하는 파노라마 가이드부 및 상기 프리뷰 화면상에 단말기의 움직임을 감지하여, 촬영 위치를 알려주는 위치 가이드부를 표시한다.
파노라마 촬영 이미지를 제공하는 이동 단말기는 넓은 범위의 촬영 이미지를 왜곡없이 제공할 수 있으나 넓은 범위의 촬영 이미지를 촬영하여 사용자에게 제공하기 위해서는 사용자가 직접 또는 회전 장치를 통하여 이동 단말기를 회전시켜야 하므로 촬영이 번거롭고 촬영을 시행하는 데 제약이 많으며 전 방위의 이미지를 즉시 얻기 어려운 문제점이 있었다.
한국특허 공개번호 제10-2010-0031263호
상기와 같은 문제점을 해결하기 위한 본 발명의 제1 목적은 전 방위의 이미지를 한 번의 동작으로 획득하고 왜곡이 없는 파노라마 이미지를 제공하는 전 방위 평면 이미지를 생성하는 방법 및 장치를 제공하는 것이다.
본 발명의 제2 목적은 동시에 촬영된 전 방위의 분할 이미지를 제공하는 전 방위 평면 이미지를 생성하는 방법 및 장치를 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 전 방위 평면 이미지를 생성하는 방법은 전 방위 촬영 광학 렌즈부를 통해 전 방위 이미지를 획득하는 단계, 상기 획득된 전 방위 이미지를 이미지 센서를 기반으로 처리하여 원형 이미지 데이터를 생성하는 단계 및 상기 원형 이미지 데이터를 평면 이미지 데이터로 전환하고 전환된 상기 평면 이미지 데이터에 대한 추가 이미지 처리를 수행하여 최종 출력 평면 이미지를 생성하는 단계를 포함할 수 있되, 상기 전 방위 촬영 광학 렌즈부는 360도의 수평 화각을 가질 수 있다. 상기 전 방위 촬영 광학 렌즈부를 통해 전 방위 이미지를 획득하는 단계는 비구면 광학 렌즈를 통해 상기 360도의 수평 화각을 가지는 이미지 정보를 획득하는 단계 및 상기 비구면 광학 렌즈를 통해 획득된 상기 이미지 정보를 복수의 부속 구면 렌즈를 통해 재배열하고 집중시키는 단계를 포함할 수 있되, 상기 비구면 광학 렌즈 및 상기 복수의 부속 구면 렌즈는 경통을 기반으로 배열되고 고정될 수 있다. 상기 원형 이미지 데이터는, 상기 획득된 전 방위 이미지를 이미지 센서를 기반으로 변환하여 생성한 비트 포맷의 데이터일 수 있고, 상기 이미지 센서는 CCD 또는 CMOS일 수 있다. 상기 원형 이미지 데이터를 평면 이미지 데이터로 전환하고 전환된 상기 평면 이미지 데이터를 추가 이미지 처리하여 최종 출력 평면 이미지를 생성하는 단계는, 상기 원형 이미지 데이터를 폴라 변환(polar transformation)하여 상기 평면 이미지 데이터로 전환하는 단계 및 상기 평면 이미지 데이터에 대해 보간을 통한 픽셀 추가, 칼라 보정, 에지 변환 처리 중 어느 하나 이상을 수행하여 상기 최종 출력 평면 이미지를 생성하는 단계를 포함할 수 있다. 상기 원형 이미지 데이터를 폴라 변환(polar transformation)하여 상기 평면 이미지 데이터로 전환하는 단계는, 아래의 수학식을 기반으로 수행될 수 있고,
<수학식>
Figure 112014044465361-pat00001
여기서, 상기 R은 상기 원형 이미지 데이터의 반지름, 상기 cx 및 cy는 상기 원형 이미지 데이터의 중심 픽셀의 x-y 축 상의 위치, 상기 xi, yi는 상기 원형 이미지 데이터의 각 픽셀 위치, 상기 xf, yf는 상기 평면 이미지 데이터의 각 픽셀 위치, θi, ri 는 xi, yi 에 대한 원형 이미지 데이터의 중심 픽셀을 기준으로한 각도(θi) 및 거리(ri)일 수 있다. 상기 전 방위 촬영 광학 렌즈부는 스마트폰의 촬영부와 연계되어 상기 전 방위 이미지를 획득하도록 구현되고, 상기 원형 이미지 데이터 및 상기 최종 출력 평면 이미지는 상기 스마트폰의 프로세서를 기반으로 결정될 수 있다.
또한 본 발명의 전 방위 평면 이미지를 생성하는 장치는 복수의 광학 렌즈를 통해 전 방위 이미지를 획득하는 전 방위 촬영 광학 렌즈부, 상기 전 방위 촬영 광학 렌즈부를 통해 상기 획득된 전 방위 이미지를 데이터 처리하여 원형 이미지 데이터를 생성하는 전 방위 이미지 처리부 및 상기 원형 이미지 데이터를 평면 이미지 데이터로 전환하고 전환된 상기 평면 이미지 데이터에 대한 추가 이미지 처리를 수행하여 최종 출력 평면 이미지를 생성하는 평면 이미지 처리부를 포함할 수 있되, 상기 전 방위 촬영 광학 렌즈부는 360도의 수평 화각을 가질 수 있다. 상기 전 방위 촬영 광학 렌즈부는, 상기 360도의 수평 화각을 가지는 이미지 정보를 획득하는 비구면 광학 렌즈, 상기 비구면 광학 렌즈를 통해 획득된 상기 이미지 정보를 재배열하고 집중시키는 복수의 부속 구면 렌즈 및 상기 비구면 광학 렌즈 및 상기 복수의 부속 구면 렌즈를 배열하고 고정하는 경통을 포함할 수 있다. 상기 원형 이미지 데이터는, 상기 획득된 전 방위 이미지를 이미지 센서를 기반으로 변환하여 생성한 비트 포맷의 데이터이고, 상기 이미지 센서는 CCD 또는 CMOS일 수 있다. 상기 원형 이미지 데이터를 폴라 변환(polar transformation)하여 상기 평면 이미지 데이터로 전환하고, 상기 평면 이미지 데이터에 대해 보간을 통한 픽셀 추가, 칼라 보정, 에지 변환 처리를 수행하여 상기 최종 출력 평면 이미지를 생성하도록 구현될 수 있다. 상기 평면 이미지 처리부는, 상기 수학식을 기반으로 상기 폴라 변환을 수행하도록 구현될 수 있다. 상기 전 방위 촬영 광학 렌즈부는 스마트폰의 촬영부와 연계되어 상기 전 방위 이미지를 획득하도록 구현될 수 있고, 상기 원형 이미지 데이터 및 상기 최종 출력 평면 이미지는 상기 스마트폰의 프로세서를 기반으로 결정될 수 있다.
상술한 바와 같이 본 발명의 실시 예에 따른 전 방위 촬영을 수행하는 방법 및 장치를 사용함으로써 작은 부피, 가벼운 무게, 저가격 제조를 통해 팬, 틸트, 줌과 같은 물리적인 작동을 사용하지 않고 응답속도가 빠른 전 방위 이미지 촬영 장치를 구현할 수 있다. 본 발명의 실시 예에 따른 전 방위 촬영 장치를 사용함으로써 기존의 파노라마 방식의 카메라처럼 촬영자가 제자리에서 한 바퀴를 돌지 않아도 됨은 물론, 다수의 카메라를 사용하여 포착하지 않고도 상하 일정 각도의 범위 내에서 바라볼 수 있는 모든 이미지를 포착하여 사용자에게 종전에 제공할 수 없었던 360도 이미지를 사용자에게 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 전 방위 평면 이미지를 생성하는 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시 예에 따른 전 방위 촬영 광학 렌즈부를 나타낸 개념도이다.
도 3은 본 발명의 실시 예에 따른 평면 이미지를 생성하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시 예에 따른 화각을 나타낸 개념도이다.
도 5는 본 발명의 실시 예에 따른 전 방위 촬영 광학 렌즈부를 나타낸 개념도이다.
도 6은 본 발명의 실시 예에 따른 전 방위 이미지 획득 이미지 처리부를 나타낸 개념도이다.
도 7은 본 발명의 실시 예에 따른 평면 이미지 처리부를 나타낸 개념도이다.
도 8은 본 발명의 실시 예에 따른 평면 이미지 처리부의 구체적인 동작을 나타낸 개념도이다.
도 9는 본 발명의 실시 예에 따른 PDP(Partial Divide Picture) 제어를 통해 분할 또는 편집될 수 있는 전 방위 평면 이미지를 보여주는 도이다.
도 10은 본 발명의 실시 예에 따른 전 방위 평면 이미지를 생성하는 장치의 이미지 처리 동작을 나타낸 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시 예를 더욱 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
스마트 프로덕트란 스마트폰, 스마트 TV와 같은 스마트 디바이스와의 연결을 통해 소비자에게 APP 기반 서비스를 제공할 수 있는 융합 제품이다. 스마트 프로덕트는 현재 글로벌 시장이 형성되어 가고 있는 신 성장 산업 제품으로 떠오르고 있다.
본 발명의 실시 예에서는 다양한 스마트 프로덕트 중 하나로, 360도 전 방위 평면 이미지를 생성하는 장치에 대해 게시한다. 본 발명의 실시 예에 따른 전 방위 평면 이미지를 생성하는 장치는 스마트폰의 액세서리로서 장착할 수 있으며, 제공된 추가 기기에 따라 차량용 블랙박스, 홈 케어 CCTV, 헬멧 부착용 등과 같은 다양한 기기에 활용될 수 있다.
예를 들어, 본 발명의 실시 예에 따른 전 방위 평면 이미지를 생성하는 장치는 WiFi와 같은 무선 통신 기능을 통해 스마트폰으로 촬영된 이미지 데이터를 전송하고 스마트폰의 이미지 왜곡 복원 알고리즘을 가진 애플리케이션(아이폰용, 안드로이드용)을 기반으로 수신한 이미지를 파노라마의 평면 이미지로 생성할 수 있다.
본 발명의 실시 예에 따른 전 방위 평면 이미지를 생성하는 장치를 사용함으로써 기존 파노라마 방식의 카메라처럼 촬영자가 제자리에서 한 바퀴를 돌지 않아도 됨은 물론, 다수의 카메라를 사용하여 포착하지 않고도 상하 일정 각도의 범위 내에서 바라볼 수 있는 모든 이미지를 포착하여 사용자에게 종전에 제공할 수 없었던 360도 이미지를 제공할 수 있다. 이하 본 발명의 실시 예에서 이미지는 영상, 픽셀 등으로 해석될 수 있다.
도 1은 본 발명의 실시 예에 따른 전 방위 평면 이미지를 생성하는 장치를 나타낸 개념도이다.
도 1을 참조하면, 전 방위 평면 이미지를 생성하는 장치(또는 전 방위 평면 영상 생성 장치)는 전 방위 촬영 광학 렌즈부(100), 전 방위 이미지 처리부(120), 평면 이미지 처리부(140)를 포함할 수 있다.
전 방위 촬영 광학 렌즈부(100)는 전 방위에서 이미지 정보를 수신하기 위한 광학적 구조로 구현될 수 있다. 예를 들어, 전 방위 촬영 광학 렌즈부(100)는 360도 전 방위의 주위 전경을 받아들이는 비구면 광학 렌즈와 비구면 광학 렌즈를 통해 입사된 광원을 재배열하고 집중시켜 주는 복수의 부속 구면 렌즈, 비구면 광학 렌즈와 복수의 부속 구면 렌즈를 배열하고 고정시키는 경통을 포함할 수 있다.
전 방위 촬영 광학 렌즈부(100)는 다양한 사양으로 구현될 수 있다. 예를 들어, 전 방위 촬영 광학 렌즈부(100)의 시야 범위 각은 45도 전후를 선택할 수 있다. 전 방위 촬영 광학 렌즈부(100)는 인간의 눈이 가지는 사물 분별 시야각인 50도보다 약간 작은 각인 45도의 시야 범위 각으로 구현됨으로써 자연스러운 이미지를 획득할 수 있다. 또한 전 방위 촬영 광학 렌즈부(100)의 렌즈는 1/3.2“ CMOS에 대응하도록 설계될 수 있다. 1/3.2“ CMOS는 대표적인 스마트폰 카메라의 CMOS 센서이다. 이러한 전 방위 촬영 광학 렌즈부(100)의 사양은 하나의 예시로써 다른 다양한 사양으로 구현될 수 있다.
전 방위 이미지 처리부(120)는 전 방위 촬영 광학 렌즈부(100)에 의해 획득된 이미지를 이미지 데이터로 처리하기 위해 구현될 수 있다.
전 방위 이미지 처리부(120)에서는 촬영된 이미지가 비트 데이터 포맷인 이미지 데이터로 변환될 수 있다. 전 방위 이미지 처리부에서 변환된 이미지 데이터는 코덱을 기반으로 압축되어 평면 이미지 처리부(140)로 전달될 수 있다.
평면 이미지 처리부(140)는 전 방위 이미지 획득 이미지 처리부(120)에 의해 처리된 이미지 데이터를 평면 이미지로 전환하기 위해 구현될 수 있다. 예를 들어, 평면 이미지 처리부(140)는 전 방위 이미지 처리부(120)에 포함된 CMOS 센서의 ISP(image signal processor)로부터 입력받은 원형의 이미지를 평면화하여 평면 이미지(flatting image)를 생성할 수 있다. 평면 이미지 처리부(140)는 평면 이미지에 대한 추가적인 프로세싱(예를 들어, 화질 개선을 위해 왜곡된 부분을 업 스케일링(up-scaling)하는 과정, 색상 왜곡 개선을 위한 색상 보간(color interpolation) 과정)을 기반으로 최종 평면 이미지를 생성할 수 있다.
이하, 본 발명의 실시 예에서는 전 방위 촬영 광학 렌즈부(100), 전 방위 이미지 처리부(120), 평면 이미지 처리부(140)의 구체적인 동작에 대해 게시한다.
도 2는 본 발명의 실시 예에 따른 전 방위 촬영 광학 렌즈부를 나타낸 개념도이다.
전 방위 촬영 광학 렌즈부는 1/3인치 1.3백만 화소용 전 방위 비구면 렌즈, 2백만 화소용 CCD용 전 방위 비구면 렌즈, CMOS용 360도 촬영용 전 방위 비구면 렌즈 등으로 구현될 수 있다. 즉, 전 방위 촬영 광학 렌즈부는 CCD, CMOS와 같은 이미지 센서에 따라 다양하게 구현될 수 있다.
도 2의 (a)를 참조하면, 전 방위 촬영 광학 렌즈부는 전 방위에서 빛을 받아들일 수 있다. 전술한 바와 같이 전 방위 촬영 광학 렌즈부는 전 방위에서 주위 전경을 받아들이는 비구면 광학 렌즈(200), 비구면 광학 렌즈(200)를 통해 전달된 광원을 재배열하고 집중시켜 주는 복수의 부속 구면 렌즈(210) 및 비구면 광학 렌즈(200), 부속 구면 렌즈(210)를 배열하고 고정시키는 경통(220)으로 구현될 수 있다.
본 발명의 실시 예에 따른 전 방위 촬영 광학 렌즈부는 설계의 용이성과 구조의 단순성을 통해 작은 부피, 가벼운 무게, 저가격 제조를 통해 팬, 틸트, 줌과 같은 물리적인 작동을 사용하지 않고 응답 속도가 매우 빠른 특징을 가질 수 있다. 본 발명의 실시 예에 따른 전 방위 촬영 광학 렌즈부를 사용하는 경우, 기존의 파노라마 방식의 카메라처럼 촬영자가 제자리에서 한 바퀴를 돌지 않아도 전 방위의 이미지를 획득할 수 있다. 또한, 다수의 카메라를 사용하여 포착하지 않고도 상하 일정 각도의 범위 내에서 바라볼 수 있는 모든 이미지를 포착하여 사용자에게 전 방위 이미지를 제공할 수 있다.
아래의 표 1은 본 발명의 실시 예에 따른 전 방위 촬영 광학 렌즈부의 사양을 예시적으로 나타낸 것이다.
<표 1>
Figure 112014044465361-pat00002
표 1에서 게시된 전 방위 촬영 광학 렌즈의 사양은 예시적인 사양으로 전 방위 촬영 광학 렌즈부는 구현에 따라 표 1과 다른 다양한 사양으로 구현될 수 있다.
표 1을 참조하면, 전 방위 촬영 광학 렌즈부의 수평각은 0에서 360도의 범위를 가지고 수직각은 0에서 45도의 범위를 가질 수 있다. 또한 대응 이미지 센서는 스마트폰과 연계되는 동작을 위해 1/3/2”CMOS로 가정할 수 있다. 다른 렌즈 직경과 같은 전 방위 촬영 광학 렌즈의 사양은 전 방위 평면 이미지를 생성하는 장치가 구현되는 스마트 프로덕트의 사양을 고려하여 결정될 수 있다.
도 2의 (b)는 전 방위 촬영 광학 렌즈에 의해 촬영된 원형 이미지(250)를 기반으로 획득된 평면 이미지(260)를 나타낸다.
도 3은 본 발명의 실시 예에 따른 평면 이미지를 생성하는 방법을 나타낸 개념도이다.
전 방위 촬영 광학 렌즈부에서 입사된 광을 획득하는 CMOS 센서는 스마트폰에 일반적으로 포함되어 있는 CMOS 센서가 사용될 수 있다. CMOS 센서 사용시 원형 이미지를 제외한 불필요한 이미지를 제거할 필요가 있다.
도 3의 (a)를 참조하면, 전 방위 광학 렌즈부를 통해 원본 이미지를 획득하고, 우선적으로 불필요한 이미지 부분을 제거하여 원형 이미지를 획득할 수 있다.
원형 이미지(300)는 평면 이미지를 생성하기 위한 부분 왜곡 해소 및 부분 이미지 처리를 위해 분할될 수 있다. 분할된 원형 이미지의 단위(원형 분할 단위 이미지)(310)는 해상도, 원호, 픽셀, 이미지 왜곡 등을 고려하여 분할될 수 있다.
도 3의 (b)를 참조하면 원형 분할 단위 이미지(310)를 기반으로 평면 이미지를 생성하는 방법에 대해 게시한다. 우선 원형 분할 단위 이미지(310)의 픽셀 구조를 파악할 수 있다. 픽셀 구조가 파악된 원형 분할 단위 이미지(310)에 대한 기준 초점 픽셀(320)을 추출할 수 있다. 기준 초점 픽셀(320)은 확장 또는 축소가 필요하지 않은 픽셀일 수 있다. 픽셀 구조는 기준 초점 픽셀(320)을 기준으로 축소해야 하는 픽셀과 확장해야 하는 픽셀로 구분될 수 있다.
평면 분할 단위 이미지를 생성하기 위한 부분 왜곡 해소를 위해 픽셀 당 보정 처리를 수행할 수 있다. 예를 들어, 기준 초점 픽셀(320)을 기준으로 확장된 영역에 대해서는 축소 면적(330)을 결정하여 축소를 수행하고, 축소된 영역에 대해서는 확장 영역(340)을 결정하고 보간을 통해 확장을 수행할 수 있다. 해상도, 원호, 픽셀, 이미지 왜곡 등을 고려한 추가적인 이미지 처리를 통해 평면 분할 단위 이미지를 추출할 수 있다.
이러한 방법을 복수의 원형 분할 단위 이미지가 복수의 평면 분할 단위 이미지로 생성될 수 있다. 평면 분할 단위 이미지를 생성하는 방법에 대해서는 이하 본 발명의 실시 예에서 추가적으로 게시한다.
도 4는 본 발명의 실시 예에 따른 화각을 나타낸 개념도이다.
도 4에서는 전 방위 촬영 광학 렌즈부는 설치된 시야 범위 각 범위를 나타낸다.
전 방위 촬영 광학 렌즈부는 수평각으로는 360도에 해당하는 범위의 시야 범위 각을 가질 수 있고, 수직각으로는 시야 범위 각에 해당하는 45도로 제한하여 시각적으로 자연스러운 평면 이미지를 얻도록 구현할 수 있다.
도 5는 본 발명의 실시 예에 따른 전 방위 촬영 광학 렌즈부를 나타낸 개념도이다.
도 5의 (a)를 참조하면, 전 방위 촬영 광학 렌즈부가 스마트폰의 촬영부와 연계되어 구현된 것을 나타낸다. 본 발명의 실시 예에 따른 전 방위 평면 이미지를 생성하는 장치 또는 전 방위 평면 이미지를 생성하는 장치의 일부는 스마트폰과 같은 기존의 사용자 장치와 결합되어 구현될 수도 있다.
전 방위 촬영 광학 렌즈부가 스마트폰에 구현된 경우, 상기 스마트폰의 촬영부 및 전 방위 촬영 광학 렌즈부를 통해 획득된 이미지를 입력받아 처리할 수 있다. 전 방위 평면 이미지를 생성하는 장치의 나머지 구성부인 전 방위 이미지 획득을 위한 이미지 프로세서, 평면 이미지 처리부는 전 방위 촬영 광학 렌즈부와 연계되어 하나의 구성부로 구현될 수도 있으나, 별도의 구성부로 구현되거나 스마트폰의 프로세서 및 애플리케이션을 기반으로 구현될 수 있다.
전 방위 촬영 광학 렌즈부를 구현하는 광학계 렌즈 모듈의 경통과 스마트폰을 연결하기 위해서 결합용 케이스를 사용할 수 있다.
도 5의 (b)에서는 전 방위 촬영 광학 렌즈부를 구현하는 광학계 렌즈 모듈 간에 유격이 없이 결합하기 위한 케이스를 게시한다.
도 5의 (b)를 참조하면, 일반적으로 스마트폰 본체와의 안전한 결합을 위해 스마트폰과 직접적으로 닿는 부분은 연질 플라스틱을 사용할 수 있다. 렌즈 경통과 결합되는 부분은 완전한 연결을 위해 경질 플라스틱이나 금속으로 구현될 수 있다.
도 6은 본 발명의 실시 예에 따른 전 방위 이미지 처리부를 나타낸 개념도이다.
도 6을 참조하면, 전 방위 이미지 처리부는 전 방위 촬영 광학 렌즈부에 의해 전달된 이미지를 처리할 수 있다. 전 방위 촬영 광학 렌즈부에 의해 왜곡된 광이 평면 구조인 이미지 센서(CCD, CMOS)에 매칭되면 전하 결합 소자가 이미지 정보를 획득하고 이를 이미지 프로세싱 회로로 처리하여 생성된 이미지 데이터가 코덱을 기반으로 압축되어 평면 이미지 처리부로 전달될 수 있다.
전 방위 이미지 처리부는 이미지 센서(600), 통신부(610), 이미지 처리부(620), 메모리(630), 클로킹부(640) 등을 포함할 수 있다.
이미지 센서(600)는 CCD, CMOS와 같은 이미지 센서를 포함하여 전 방위 촬영 광학 렌즈부에 의해 전달된 이미지를 전기적인 신호로 생성할 수 있다.
이미지 처리부(620)는 이미지 엔진을 기반으로 이미지 센서(600)에 의해 전달된 데이터를 처리하기 위해 구현될 수 있다. 이미지 센서(600)에 의해 전달된 데이터는 이미지 처리부의 코덱을 기반으로 압축되어 이미지 데이터로 생성될 수 있다.
메모리(630) 및 클로킹부(640)는 이미지 처리부의 프로세싱을 위해 사용될 수 있으며 통신부(610)는 처리된 이미지 데이터를 외부로 전달하거나, 외부로부터 이미지 처리에 관련된 정보를 수신하기 위해 구현될 수 있다.
도 7은 본 발명의 실시 예에 따른 평면 이미지 처리부를 나타낸 개념도이다.
평면 이미지 처리부는 CMOS 센서의 ISP로부터 입력받은 원형의 이미지를 평면화 이미지(flatting Image)로 처리할 수 있다. 화질 개선을 위해 왜곡된 부분을 업-스케일링(up-scaling)하는 과정과 색 왜곡 개선을 위한 색상 보간(color interpolation) 과정을 통해 평면화한 이미지를 획득할 수 있다.
도 7의 상단을 참조하면, 전 방위 이미지 처리부로부터 원형의 이미지에 관련된 데이터를 수신한다(단계 S700).
이렇게 얻어진 전 방위 이미지를 공간 내 임의 점, 2차원의 화상 면상의 점 p(x, y)에 투영할 수 있다(단계 S710).
쌍곡면 거울을 통하여 CMOS 센서가 전 방위의 이미지를 받아들일 때, 2차원의 화상 면상에서는 전 방위의 이미지는 원형이 된다. 그러나 CMOS 센서의 화소 배열은 격자 모양의 배열이기 때문에 얻어지는 화상은 왜곡을 포함하며, 이 왜곡된 화상은 소프트웨어에 의한 왜곡 보정과 같은 이미지 처리로 보정할 수 있다(단계 S720).
도 7의 하단은 평면 이미지 처리부의 이미지 처리 블록을 나타낸다.
도 7의 하단을 참조하면, 전 방위 광학계 렌즈 모듈이 장착된 스마트폰 카메라에서 촬영된 원형의 이미지는 원형-평면 전환부(Round To Rectangle Converter)를 통해 원형 이미지에서 평면 이미지로 변환할 수 있다(단계 S730).
평면 이미지 처리부는 전 방위 촬영 광학 렌즈부 및 전 방위 이미지 처리부를 통해 입력받은 원형 이미지를 YUV 포맷(밝기값과 색차신호로 컬러정보를 표현)으로 전달받아 파노라마 평면 이미지로 복원하기 위해 변환을 수행할 수 있다. 원형-평면 전환부의 이미지 전환 방법에 대해서는 이하, 본 발명의 실시 예에서 구체적으로 게시한다.
변환된 평면 이미지에 대해 추가 이미지 처리를 수행한다(단계 S740).
변환된 평면 이미지에 대한 추가 이미지 처리(예를 들어, 보간 및 보정 등)는 다양한 절차를 통해 수행될 수 있다. 예를 들어, 추가 이미지 처리 방법으로 보간 방법을 기반으로 픽셀을 추가하는 단계(S740-3), 칼라를 보정하고 교정하는 단계(S740-6), 모서리를 변환 처리하는 단계(S740-9) 등을 수행할 수 있다. 구체적으로 원형 이미지를 평면 이미지로 변환하는 경우, 평면 이미지에 대응되는 픽셀이 원형 이미지에 존재하지 않을 수 있으므로 추가적인 픽셀을 평면 이미지에 추가할 수 있다. 또한, 평면 이미지로 변환함에 있어 발생된 색상 왜곡을 보정하고 교정할 수 있다. 추가적으로 평면 이미지로 변환함에 있어 왜곡된 모서리를 변환 처리하고, 평면 이미지를 분할 제어할 수 있다.
최종 평면 이미지를 출력한다(단계 S750).
단계 S740을 통해 추가 이미지 처리를 기반으로 생성된 최종 평면 이미지를 스마트폰의 디스플레이와 같은 다양한 사용자 장치의 디스플레이를 통해 출력할 수 있다.
도 8은 본 발명의 실시 예에 따른 평면 이미지 처리부의 구체적인 동작을 나타낸 개념도이다.
도 8에서는 도 7의 하단에서 전술한 평면 이미지 생성 방법에 대해 구체적으로 게시한다.
도 8를 참조하면, 평면 이미지를 얻기 위해서 폴라 변환(polar transformation)을 사용할 수 있다. 폴라 변환은 원형 이미지에 임의의 반지름 R을 긋고 R 내의 각 픽셀의 좌표를 동등한 직사각형에 적용할 각각의 (xf, yf) 좌표로 추출할 수 있다. 원형 이미지는 원형 영역 안에 그림 정보를 가지고 있으며 상기 원형 이미지가 평면으로 변환된 이미지의 가로는 4R이다. 전체의 원형 이미지는 메모리에 저장되고 변환 알고리즘을 통해 각각의 픽셀을 치환하여 보정 처리할 수 있다.
전 방위 원형 이미지의 중심을 (cx, cy)로 가정하고, 원형 이미지를 직사각형으로 폈을 경우 가로 길이는 4R이라 하면 가로축인 xf의 수는 0에서 4R-1개 이고, 세로축의 yf의 수는 R(원지름)-1 개이며 각도는 0에서 2도 정도일 수 있다. 세로의 yf는 원형 중심의 (cx, cy)에서 yf만큼 떨어진 점이다. 직사각형 한 점의 (xf, yf)의 각도 및 거리는 θi, ri로 표시되어 원의 중심인 (cx, cy)로부터 일정 값으로 환산될 수 있다.
아래의 수학식은 각도별 좌표의 위치를 계산하기 위한 예시적인 수식을 나타낸다.
<수학식>
Figure 112015081647017-pat00003
(R은 원형 이미지 데이터의 반지름, cx 및 cy는 원형 이미지 데이터의 중심 픽셀의 x-y 축 상의 위치, xi, yi는 원형 이미지 데이터의 각 픽셀 위치, xf, yf는 평면 이미지 데이터의 각 픽셀 위치, θi, ri 는 xi, yi 에 대한 원형 이미지 데이터의 중심 픽셀을 기준으로한 각도(θi) 및 거리(ri)임, 극좌표)
수학식에서 (1)식과 (2)식을 기반으로 직사각형의 xf와 yf와 ri 값을 찾아낼 수 있으며, (3)식과 (4)식을 기반으로 원형 이미지의 각 픽셀을 직사각형 이미지의 픽셀로 변환할 수 있다. 원형 이미지가 반지름 256이고 512x512 크기를 가진다고 가정할 때, 변환되는 직사각형의 크기는 R×4R = 256×1024이다.
위와 같은 방법으로 획득된 평면 이미지 데이터에 대해 불량 화소(bad pixel)가 존재하는지 여부를 확인하고 불량 화소가 발생한 경우 정정(correction)을 통해 불량 화소에 대한 교정을 수행할 수 있다. 불량 화소 정정(bad pixel correction)과 색상 보간(color interpolation), 색상 정정(color correction)은 동시에 수행될 수도 있다.
예를 들어, 색상 보간 방법은 비적응적 알고리즘(nonadaptive algorithms)과 적응적 알고리즘(adaptive algorithms) 중 하나를 사용할 수 있다. 비적응적 알고리즘은 모든 화소에 대해서 고정된 패턴으로 보간하는 알고리즘으로 수행이 쉽고 계산 양이 적은 장점이 있다. 반면, 적응적 알고리즘은 잃어버린 화소의 값을 찾기 위해 가장 효과적인 이웃 화소들의 특성을 이용하여 추정하는 알고리즘으로 계산양은 많지만 비적응적 알고리즘에 비해 더 나은 이미지를 얻을 수 있다.
비적응적 알고리즘은 가장 인접한 이웃 화소 보간법, 양선형 보간법, 중간 값 보간법, 점진적 색상 변화 보간법의 방법이 있고 적응 알고리즘의 방법에는 패턴 일치 보간 알고리즘, 기울기의 문턱치 기반 가변수를 이용한 보간법, 경계법 보존 보간법 등의 방법이 있다.
구체적으로 비적응적 알고리즘은 가장 인접한 이웃 화소 보간법(nearest neighbor replication)과 새롭게 생성된 화소의 값이 네 개의 가장 가까운 화소들에 가중치를 곱한 값으로 할당하는 방법의 양선형 보간법(Bilinear interpolation), 새롭게 생성된 화소의 값이 네 개의 가장 가까운 화소들에 중간값으로 할당하는 방법인 중간값 보간법(Median interpolation), 휘도 채널과 색도 채널의 차이를 이용한 점진적 색상 변화 보간법이 있다.
그리고 적응적 보간 방법에는 패턴과 이웃 화소의 차이를 계산한 후 가장 차이가 적은 값을 사용하는 패턴 일치 보간 알고리즘(Pattern matching based interpolation algorithm), 기울기의 문턱치 기반 가변수를 이용한 보간법(Interpolation using a threshold-based variable number of gradients), 휘도 변화에 의존하는 경우와 색도 변화에 의존하는 경우에 각 방향에 대해서 주어진 문턱치 값과 비교한 후 차이가 작은 방향으로 경계 값 보존 보간법(Edge sensing interpolation) 등이 있다.
위와 같은 정정 및 보간 절차 이후 평면 이미지는 마지막으로 이미지 내의 서로 다른 픽셀의 값 사이, 즉 에지(edge)에 대한 에지 향상(edge enhancement) 블록을 거쳐 최종 평면 이미지로 생성될 수 있다. 최종 평면 이미지는 PDP(Partial Divide Picture) 제어 블록으로 입력될 수 있다. PDP 제어는 외부의 신호에 따로 최종 변환된 평면 이미지에 대해 다양한 형태로 분할을 할 수 있게 한다.
도 9는 본 발명의 실시 예에 따른 PDP(Partial Divide Picture) 제어를 통해 분할 또는 편집될 수 있는 전 방위 평면 이미지를 보여주는 도이다.
도 9를 참조하면, 전술한 평면 이미지 획득 절차에 따라 원형 이미지 데이터(1000)는 최종 평면 이미지(1020)로 생성될 수 있고, 최종 평면 이미지는 화면 분할 및 편집 기능을 기반으로 분할 및/또는 편집된 이미지(1040)로 생성될 수 있다.
도 10은 본 발명의 실시 예에 따른 전 방위 평면 이미지를 생성하는 장치의 이미지 처리 동작을 나타낸 순서도이다.
도 10을 참조하면, 전 방위 촬영 광학 렌즈를 통해 전 방위 이미지를 획득한다(단계 S1100).
전 방위 촬영 광학 렌즈부를 기반으로 전 방위 이미지를 획득할 수 있다. 전 방위 촬영 광학 렌즈부는 수평각으로는 360도에 해당하는 범위의 시야 범위 각을 가질 수 있고, 수직 각으로는 시야 범위 각에 해당하는 45도로 제한하여 시각적으로 자연스러운 이미지를 얻도록 구현할 수 있다.
획득된 전 방위 이미지를 이미지 프로세서를 기반으로 처리한다(단계 S1120).
이미지 프로세서는 이미지 센서를 포함할 수 있고, 렌즈를 통해 획득된 이미지를 이미지 센서를 통해 변환하여 전기적인 비트 데이터로 처리할 수 있다. 본 발명의 실시 예에 따른 전 방위 평면 이미지를 생성하는 장치가 스마트폰을 기반으로 구현되는 경우, 이미지 프로세서는 스마트폰의 이미지 프로세서일 수도 있다.
전 방위 촬영 광학 렌즈를 통해 획득된 왜곡된 이미지 광이 평면 구조인 이미지 센서(CCD, CMOS)에 매칭되면 전하 결합 소자가 이미지를 획득하고 이를 이미지 프로세싱 회로를 사용하여 데이터 포맷으로 처리할 수 있다. 이미지 프로세서를 기반으로 처리된 데이터는 원형 이미지 데이터로써 평면 이미지 처리부에 의해 평면 이미지 데이터로 변환할 수 있다.
원형 이미지 데이터를 평면 이미지 데이터로 전환한다(단계 S1140).
원형 이미지 데이터는 원형-평면 전환부(Round To Rectangle Converter)를 통해 원형 이미지 데이터에서 평면 이미지 데이터로 전환될 수 있다. 평면 이미지 데이터에 대해 추가적인 이미지 처리(보간 및 보정, 에지 처리 등)을 수행할 수 있다. 평면 이미지 데이터로의 전환 및 전환된 이미지에 대한 보간 및 보정을 위해 전술한 다양한 방법이 사용될 수 있다. 예를 들어, 원형 이미지 데이터에서 평면 이미지 데이터로의 전환을 위해서 폴라 변환과 같은 방법을 사용할 수 있다. 또한, 평면 이미지로 전환된 이미지에 대한 보간 및 보정을 위해 불량 화소 정정, 색상 보간, 생상 정정, 모서리 변환 처리 등 전술한 다양한 방법들이 사용될 수 있다.
최종 평면 이미지를 출력한다(단계 S1160).
단계 S1140을 기반으로 한 이미지 처리를 거쳐 최종 평면 이미지를 출력할 수 있다.
전술한 바와 같이 본 발명의 실시 예에 따른 전 방위 평면 이미지를 생성하는 장치는 스마트폰과 연계되어 동작할 수 있다.
전술한 바와 같이 전 방위 평면 이미지를 생성하는 장치는 스마트폰의 촬영부 및 스마트폰의 프로세서와 연계되어 전 방위 평면 이미지를 생성하는 장치에 의해 촬영된 이미지가 스마트폰의 디스플레이를 통해 출력될 수 있다.
구체적으로 전 방위 평면 이미지를 생성하는 장치의 전 방위 촬영 광학 렌즈부는 스마트폰의 촬영부와 결합될 수 있다. 나머지 구성부인 전 방위 이미지 처리부, 평면 이미지 처리부는 전 방위 촬영 광학 렌즈부와 하나의 모듈로 구현될 수도 있으나, 전 방위 이미지 처리부, 평면 이미지 처리부는 스마트폰의 프로세서와 연계하여 구현될 수도 있다.
즉, 전 방위 촬영 광학 렌즈부를 통해 획득된 원형의 왜곡 이미지가 스마트폰의 애플리케이션을 기반으로 스마트폰의 프로세서를 통해 이미지 처리 및 평면 이미지 전환 동작이 수행될 수 있다.
또한 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자라면 전방위 촬영 광학 렌즈부를 더미 카메라로 변경할 수도 있다. 즉, 더미 카메라는 전방위 촬영 광학 렌즈부에 포함되는 비구면 광학렌즈, 복수의 부속 구면렌즈 및 경통을 포함하며 상기 전 방위 이미지 처리부는 이미지 센서, 이미지 처리부 및 통신부를 더 포함하여 어느 장치에나 적용할 수 있는 더미 카메라로 사용될 수도 있다. 또한 상기 더미 카메라는 일반 카메라와 같은 셔터, 파인더, 배터리 등은 포함되지 않는 것이 바람직할 것이다.
이상 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (13)

  1. 전 방위 평면 이미지 생성 방법에 있어서,
    전 방위 촬영 광학 렌즈부를 통해 전 방위 이미지를 획득하는 단계;
    상기 획득된 전 방위 이미지를 이미지 센서를 기반으로 처리하여 원형 이미지 데이터를 생성하는 단계; 및
    상기 원형 이미지 데이터를 평면 이미지 데이터로 전환하고 전환된 상기 평면 이미지 데이터에 대한 추가 이미지 처리를 수행하여 최종 출력 평면 이미지를 생성하는 단계를 포함하되,
    상기 전 방위 촬영 광학 렌즈부는 360도의 수평 화각을 가지는 것을 특징으로 하고,

    상기 최종 출력 평면 이미지를 생성하는 단계는,
    상기 원형 이미지 데이터를 분할하여 원형 분할 단위 이미지를 생성한 후, 원형 분할 단위 이미지의 기준 초점 픽셀 - 확장 또는 축소가 필요하지 않은 기준 픽셀임 - 을 추출하고,
    상기 기준 초점 픽셀을 기준으로 확장된 영역 및 축소된 영역을 구분한 후, 상기 확장된 영역에 대한 축소 면적을 결정하여 축소를 수행하고, 상기 축소된 영역에 대한 확장 영역을 결정하여 확장을 수행 - 상기 기준 초점 픽셀을 기준으로 상기 원형 이미지 데이터의 외곽방향으로 갈수록 축소 면적이 점점 증가하고 상기 원형 이미지 데이터의 중심방향으로 갈수록 확장 영역이 점점 증가함 - 하여 평면 분할 단위 이미지를 생성하는 것을 특징으로 하고,
    상기 원형 이미지 데이터를 폴라 변환(polar transformation)하여 상기 평면 이미지 데이터로 전환하되 아래의 수학식을 기반으로 수행되고,
    <수학식>
    Figure 112015081647017-pat00016

    여기서, 상기 R은 상기 원형 이미지 데이터의 반지름, 상기 cx 및 cy는 상기 원형 이미지 데이터의 중심 픽셀의 x-y 축 상의 위치, 상기 xi, yi는 상기 원형 이미지 데이터의 각 픽셀 위치, 상기 xf, yf는 상기 평면 이미지 데이터의 각 픽셀 위치, 상기 θi, ri 는 xi, yi 에 대한 원형 이미지 데이터의 중심 픽셀을 기준으로한 각도(θi) 및 거리(ri) - 극좌표 - 인 것을 특징으로 하는 전 방위 평면 이미지 생성 방법.
  2. 제1항에 있어서, 상기 전 방위 촬영 광학 렌즈부를 통해 전 방위 이미지를 획득하는 단계는
    비구면 광학 렌즈를 통해 상기 360도의 수평 화각을 가지는 이미지 정보를 획득하는 단계; 및
    상기 비구면 광학 렌즈를 통해 획득된 상기 이미지 정보를 복수의 부속 구면 렌즈를 통해 재배열하고 집중시키는 단계를 포함하되
    상기 비구면 광학 렌즈 및 상기 복수의 부속 구면 렌즈는 경통을 기반으로 배열되고 고정되는 것을 특징으로 하는 전 방위 평면 이미지 생성 방법.
  3. 제2항에 있어서, 상기 원형 이미지 데이터는,
    상기 획득된 전 방위 이미지를 이미지 센서를 기반으로 변환하여 생성한 비트 포맷의 데이터이고,
    상기 이미지 센서는 CCD 또는 CMOS인 전 방위 평면 이미지 생성 방법.
  4. 제2항에 있어서, 상기 원형 이미지 데이터를 평면 이미지 데이터로 전환하고 전환된 상기 평면 이미지 데이터를 추가 이미지 처리하여 최종 출력 평면 이미지를 생성하는 단계는,
    상기 원형 이미지 데이터를 폴라 변환(polar transformation)하여 상기 평면 이미지 데이터로 전환하는 단계; 및
    상기 평면 이미지 데이터에 대해 보간을 통한 픽셀 추가, 칼라 보정, 에지 변환 처리 중 어느 하나 이상을 수행하여 상기 최종 출력 평면 이미지를 생성하는 단계를 포함하는 전 방위 평면 이미지 생성 방법.
  5. 제4항에 있어서, 상기 원형 이미지 데이터를 폴라 변환(polar transformation)하여 상기 평면 이미지 데이터로 전환하는 단계는,
    아래의 수학식을 기반으로 수행되고,
    <수학식>
    Figure 112015081647017-pat00004

    여기서, 상기 R은 상기 원형 이미지 데이터의 반지름, 상기 cx 및 cy는 상기 원형 이미지 데이터의 중심 픽셀의 x-y 축 상의 위치, 상기 xi, yi는 상기 원형 이미지 데이터의 각 픽셀 위치, 상기 xf, yf는 상기 평면 이미지 데이터의 각 픽셀 위치, 상기 θi, ri 는 xi, yi 에 대한 원형 이미지 데이터의 중심 픽셀을 기준으로한 각도(θi)및 거리(ri) - 극좌표 - 인 것을 특징으로 하는 전 방위 평면 이미지 생성 방법.
  6. 제5항에 있어서, 상기 전 방위 촬영 광학 렌즈부는
    스마트폰의 촬영부와 연계되어 상기 전 방위 이미지를 획득하도록 구현되고,
    상기 원형 이미지 데이터 및 상기 최종 출력 평면 이미지는 상기 스마트폰의 프로세서를 기반으로 결정되는 것을 특징으로 하는 전 방위 평면 이미지 생성 방법.
  7. 전 방위 평면 이미지 생성 장치에 있어서,
    복수의 광학 렌즈를 통해 전 방위 이미지를 획득하는 전 방위 촬영 광학 렌즈부;
    상기 전 방위 촬영 광학 렌즈부를 통해 상기 획득된 전 방위 이미지를 데이터 처리하여 원형 이미지 데이터를 생성하는 전 방위 이미지 처리부; 및
    상기 원형 이미지 데이터를 평면 이미지 데이터로 전환하고 전환된 상기 평면 이미지 데이터에 대한 추가 이미지 처리를 수행하여 최종 출력 평면 이미지를 생성하는 평면 이미지 처리부를 포함하되,
    상기 전 방위 촬영 광학 렌즈부는 360도의 수평 화각을 가지는 것을 특징으로 하고,

    상기 평면 이미지 처리부는,
    상기 원형 이미지 데이터를 분할하여 원형 분할 단위 이미지를 생성한 후, 원형 분할 단위 이미지의 기준 초점 픽셀 - 확장 또는 축소가 필요하지 않은 기준 픽셀임 - 을 추출하고,
    상기 기준 초점 픽셀을 기준으로 확장된 영역 및 축소된 영역을 구분한 후, 상기 확장된 영역에 대한 축소 면적을 결정하여 축소를 수행하고, 상기 축소된 영역에 대한 확장 면적을 결정하여 확장을 수행 - 상기 기준 초점 픽셀을 기준으로 상기 원형 이미지 데이터의 외곽방향으로 갈수록 축소 면적이 점점 증가하고 상기 원형 이미지 데이터의 중심방향으로 갈수록 확장 면적이 점점 증가함 - 하여 평면 분할 단위 이미지를 생성하는 것을 특징으로 하고,
    상기 원형 이미지 데이터를 폴라 변환(polar transformation)하여 상기 평면 이미지 데이터로 전환하되 아래의 수학식을 기반으로 수행되고,
    <수학식>
    Figure 112015081647017-pat00017

    여기서, 상기 R은 상기 원형 이미지 데이터의 반지름, 상기 cx 및 cy는 상기 원형 이미지 데이터의 중심 픽셀의 x-y 축 상의 위치, 상기 xi, yi는 상기 원형 이미지 데이터의 각 픽셀 위치, 상기 xf, yf는 상기 평면 이미지 데이터의 각 픽셀 위치, 상기 θi, ri 는 xi, yi 에 대한 원형 이미지 데이터의 중심 픽셀을 기준으로한 각도(θi) 및 거리(ri) - 극좌표 - 인 것을 특징으로 하는 전 방위 평면 이미지 생성 장치.
  8. 제7항에 있어서, 상기 전 방위 촬영 광학 렌즈부는,
    상기 360도의 수평 화각을 가지는 이미지 정보를 획득하는 비구면 광학 렌즈;
    상기 비구면 광학 렌즈를 통해 획득된 상기 이미지 정보를 재배열하고 집중시키는 복수의 부속 구면 렌즈; 및
    상기 비구면 광학 렌즈 및 상기 복수의 부속 구면 렌즈를 배열하고 고정하는 경통을 포함하는 것을 특징으로 하는 전 방위 평면 이미지 생성 장치.
  9. 제8항에 있어서, 상기 원형 이미지 데이터는,
    상기 획득된 전 방위 이미지를 이미지 센서를 기반으로 변환하여 생성한 비트 포맷의 데이터이고,
    상기 이미지 센서는 CCD 또는 CMOS인 전 방위 평면 이미지 생성 장치.
  10. 제8항에 있어서, 상기 평면 이미지 처리부는,
    상기 원형 이미지 데이터를 폴라 변환(polar transformation)하여 상기 평면 이미지 데이터로 전환하고, 상기 평면 이미지 데이터에 대해 보간을 통한 픽셀 추가, 칼라 보정, 에지 변환 처리를 수행하여 상기 최종 출력 평면 이미지를 생성하도록 구현되는 전 방위 평면 이미지 생성 장치.
  11. 제10항에 있어서, 상기 평면 이미지 처리부는,
    아래의 수학식을 기반으로 상기 폴라 변환을 수행하도록 구현되고,
    <수학식>
    Figure 112015081647017-pat00005

    여기서, 상기 R은 상기 원형 이미지 데이터의 반지름, 상기 cx 및 cy는 상기 원형 이미지 데이터의 중심 픽셀의 x-y 축 상의 위치, 상기 xi, yi는 상기 원형 이미지 데이터의 각 픽셀 위치, 상기 xf, yf는 상기 평면 이미지 데이터의 각 픽셀 위치, 상기 θi, ri 는 xi, yi 에 대한 원형 이미지 데이터의 중심 픽셀을 기준으로한 각도(θi) 및 거리(ri) - 극좌표 - 인 것을 특징으로 하는 전 방위 평면 이미지 생성 장치.
  12. 제11항에 있어서,
    상기 전 방위 촬영 광학 렌즈부는 스마트폰의 촬영부와 연계되어 상기 전 방위 이미지를 획득하도록 구현되고,
    상기 원형 이미지 데이터 및 상기 최종 출력 평면 이미지는 상기 스마트폰의 프로세서를 기반으로 결정되는 것을 특징으로 하는 전 방위 평면 이미지 생성 장치.
  13. 제7항 내지 제12항 중 어느 한 항에 있어서,
    상기 전 방위 촬영 광학 렌즈부는 더미 카메라인 것을 특징으로 하는 전방위 평면 이미지 생성 장치.
KR1020140056726A 2014-05-12 2014-05-12 전 방위 평면 이미지를 생성하는 방법 및 장치 KR101583646B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140056726A KR101583646B1 (ko) 2014-05-12 2014-05-12 전 방위 평면 이미지를 생성하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140056726A KR101583646B1 (ko) 2014-05-12 2014-05-12 전 방위 평면 이미지를 생성하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150129548A KR20150129548A (ko) 2015-11-20
KR101583646B1 true KR101583646B1 (ko) 2016-01-19

Family

ID=54844217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140056726A KR101583646B1 (ko) 2014-05-12 2014-05-12 전 방위 평면 이미지를 생성하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101583646B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839116B1 (ko) * 2017-11-24 2018-03-15 주식회사 이노벡스 원형 동영상의 영상 처리 장치 및 그 방법
WO2019059679A1 (ko) * 2017-09-20 2019-03-28 주식회사 케이티 비디오 신호 처리 방법 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101796539B1 (ko) * 2016-01-08 2017-11-10 주식회사 날비컴퍼니 영상촬영장치 및 영상촬영방법
KR102521272B1 (ko) 2016-07-08 2023-04-12 브이아이디 스케일, 인크. 지오메트리 투영을 이용한 360도 비디오 코딩
KR101715273B1 (ko) * 2016-10-05 2017-03-10 한밭대학교 산학협력단 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법
KR20180040465A (ko) * 2016-10-12 2018-04-20 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10891711B2 (en) 2017-04-13 2021-01-12 Samsung Electronics Co., Ltd. Image processing method and apparatus
KR101991887B1 (ko) * 2017-05-02 2019-06-21 (주)헥스하이브 전방위 촬상장치
KR102442089B1 (ko) 2017-12-20 2022-09-13 삼성전자주식회사 이미지의 관심 영역의 위치에 따라 이미지를 다면체에 매핑하는 장치 및 그 영상 처리 방법
CN111630850B (zh) * 2018-01-23 2022-11-04 Lg电子株式会社 用于发送或接收包括相机镜头信息的360度视频的方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100624051B1 (ko) * 2005-07-11 2006-09-15 주식회사 나노포토닉스 Ｃｍｏｓ 이미지 센서 및 그를 포함하는 전방위 영상시스템
KR100934719B1 (ko) 2009-05-28 2009-12-30 주식회사 아이뉴정보통신 전방위 광학시스템 및 그 전방위 광학시스템을 갖는 전방위 카메라
JP2012078674A (ja) * 2010-10-04 2012-04-19 Nippon Seiki Co Ltd 全方位カメラ及び全方位レンズ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100978721B1 (ko) * 2008-08-01 2010-08-30 한국도로공사 전방위 카메라 및 ｐｔｚ 카메라를 연동하여 촬영하는촬영장치, 촬영방법 및 그 기록매체
KR101496467B1 (ko) 2008-09-12 2015-02-26 엘지전자 주식회사 파노라마 촬영 기능이 구비된 이동 단말기 및 그의 동작방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100624051B1 (ko) * 2005-07-11 2006-09-15 주식회사 나노포토닉스 Ｃｍｏｓ 이미지 센서 및 그를 포함하는 전방위 영상시스템
KR100934719B1 (ko) 2009-05-28 2009-12-30 주식회사 아이뉴정보통신 전방위 광학시스템 및 그 전방위 광학시스템을 갖는 전방위 카메라
JP2012078674A (ja) * 2010-10-04 2012-04-19 Nippon Seiki Co Ltd 全方位カメラ及び全方位レンズ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059679A1 (ko) * 2017-09-20 2019-03-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR101839116B1 (ko) * 2017-11-24 2018-03-15 주식회사 이노벡스 원형 동영상의 영상 처리 장치 및 그 방법

Also Published As

Publication number Publication date
KR20150129548A (ko) 2015-11-20

Similar Documents

Publication Publication Date Title
KR101583646B1 (ko) 전 방위 평면 이미지를 생성하는 방법 및 장치
JP5247702B2 (ja) 改良された画像品質を伴う画像システム及び関連する方法
CN108600576B (zh) 图像处理装置、方法和系统以及计算机可读记录介质
US5739852A (en) Electronic imaging system and sensor for use therefor with a nonlinear distribution of imaging elements
US9436973B2 (en) Coordinate computation device and method, and an image processing device and method
EP2932705B1 (en) Displacing image on imager in multi-lens cameras
KR102235231B1 (ko) 촬상 제어장치 및 그 제어 방법
JP2017208619A (ja) 画像処理装置、画像処理方法、プログラム及び撮像システム
US9911183B2 (en) Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
US9619871B2 (en) Image processing device, imaging apparatus, image processing method, and program
US11659287B2 (en) Method to design miniature lenses with on-purpose distortion
JP5846172B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
US10559068B2 (en) Image processing device, image processing method, and program processing image which is developed as a panorama
CN114846608A (zh) 包括图像传感器的电子设备及其操作方法
JP6222205B2 (ja) 画像処理装置
JP2015046051A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
JP2019053758A (ja) 画像処理装置
JP5847570B2 (ja) 画像処理装置及びその制御方法
JP6439845B2 (ja) 画像処理装置
KR100936354B1 (ko) 디지털 줌을 제공하는 장치 및 방법
KR20190118076A (ko) 카메라 시스템 및 그의 영상처리방법
JP2017097529A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant