KR20110103724A - 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법 - Google Patents

어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법 Download PDF

Info

Publication number
KR20110103724A
KR20110103724A KR1020100022930A KR20100022930A KR20110103724A KR 20110103724 A KR20110103724 A KR 20110103724A KR 1020100022930 A KR1020100022930 A KR 1020100022930A KR 20100022930 A KR20100022930 A KR 20100022930A KR 20110103724 A KR20110103724 A KR 20110103724A
Authority
KR
South Korea
Prior art keywords
image
augmented reality
fisheye lens
correction
interest
Prior art date
Application number
KR1020100022930A
Other languages
English (en)
Other versions
KR101222155B1 (ko
Inventor
황성재
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020100022930A priority Critical patent/KR101222155B1/ko
Publication of KR20110103724A publication Critical patent/KR20110103724A/ko
Application granted granted Critical
Publication of KR101222155B1 publication Critical patent/KR101222155B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T3/12—
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

본 발명은 어안렌즈를 이용한 증각현실 구현 장치 및 그 방법에 관한 것으로서, 보다 구체적으로는 모바일 디바이스를 기울기에 상관없이 정면 시각을 확보할 수 있도록 어안렌즈를 사용하여 주변 시각의 데이터를 모두 확보한 후, 타원체의 구면기하를 이용한 왜곡 보정 알고리즘을 통해 왜곡된 형상을 바로잡고, 기울기에 따라 영상의 일부분을 사용자에게 표시하는 장치 및 그 제공 방법에 관한 것이다.

Description

어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법{the Apparatus of Augmented Reality Using Fisheye Lens and the Method of the Same}
본 발명은 어안렌즈를 이용한 증강현실 구현 장치 및 그 방법에 관한 것으로서, 보다 구체적으로는 모바일 디바이스를 기울기에 상관없이 정면 시각을 확보할 수 있도록 어안렌즈를 사용하여 주변 시각의 데이터를 모두 확보한 후, 타원체의 구면기하를 이용한 왜곡 보정 알고리즘을 통해 왜곡된 형상을 바로잡고, 기울기에 따라 영상의 일부분을 사용자에게 표시하는 장치 및 그 제공 방법에 관한 것이다. 또한, 사용자가 원하는 부분을 선택하는 경우, 이를 중심으로 영상을 출력하는 장치 및 그 제공 방법에 관한 것이다.
최근 가상 환경(VE: Virtual Environment)과 실시계 환경(RE: Real Environment)를 서로 혼합하여 사용자에게 보다 높은 현실감을 제공하는 Mixed Reality에 대한 연구가 활발히 진행되고 있다. Mixed Reality는 가상 환경과 실제 현실 환경 중 어느 것을 기반으로 하는가에 따라 증강현실(AR: Augmented Reality)과 증강 가상 현실(AV: Augmented Virtuality)로 나누어진다. 여기에서, 증강현실(Augmented Reality)은 실세계에 3차원 가상물체를 겹쳐 보여주는 기술로, 사용자가 보고 있는 실사 영상에 가상 영상을 겹쳐(overlap), 현실 환경과 가상화면의 구분이 모호해지도록 하여 사용자를 더욱 몰입하게 하는 기술이다.
최근 모바일 디바이스의 발전으로 모바일 환경을 활용한 증강현실 서비스가 개발되었지만, 정보를 취득하기 위해 휴대용 기기를 해당 정보가 위치된 물체를 향해 들어야 하고, 이러한 형태는 사용자아게 물리적 무게를 감당하게 할 뿐 아니라, 외부 사용자에게 어떤 정보를 보고 있는지 알리게 되어 정보보호 측면에서도 문제가 될 소지가 있다.
또한, 이를 해결하기 위해 다수의 렌즈를 구비한 발명이 제시되었지만, 다수의 렌즈를 위한 비용이 크게 들고, 휴대용 기기의 크기를 키우는 단점이 있다.
이를 위해 휴대용 기기에 장착된 카메라의 렌즈가 정보를 취득하는 물체를 직접적으로 향하지 않아도 그 정보를 획득할 수 있는 방안이 논의되고 있다.
현재 광역의 영상을 획득할 수 있도록 하는 시스템으로는 크게 기계적으로 PTZ(Pan/Tilt/Zoom) 카메라를 이용하는 시스템, 어안렌즈를 구비하는 카메라를 이용하는 시스템, 다수개의 CCD 카메라를 이용하는 다중 카메라 시스템, 및 특수 제작된 NTSC(national Television System Committee Method) 카메라를 이용하는 카타디옵트릭(catadioptric) 시스템 등이 존재한다.
이중 가장 간편하고 저렴한 방식은 어안렌즈를 구비하는 카메라를 이용하는 시스템이다.
일반적인 렌즈의 경우 화각이 45도 전후이지만, 광각(wide-angle)의 경우 60~90도의 화각을 가지게 된다. 어안렌즈(Fisheye lens)의 경우 광각렌즈보다 더 넓은 시야각을 가지는 90도 이상의 렌즈를 의미하며, 입사광의 입사각과 상 크기가 대체로 비례하는 렌즈를 지칭한다. 그러나 진정한 의미에서의 어안렌즈는 화각이 180도 이상이며, 입사광의 입사각과 상 크기가 대체로 비례하는 렌즈이다. 이러한 장점으로 어안렌즈는 로보틱스, 모니터링 CCTC, 차량 후방 카메라 등에서 널리 사용되고 있다. 특히, 보안, 감시나 엔터테인먼트 등 많은 응용 예에서 화각이 180도 이상인 어안 렌즈를 필요로 한다. 하지만 렌즈의 특성상 매우 큰 방사왜곡을 가지는 단점을 가지고 있다.
어안렌즈는 의도적으로 통모양의 왜곡을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 된다. 즉, 어안렌즈는 광역의 영상을 획득할 수 있도록 하나, 이때의 획득한 영상은 심한 왜곡을 가진다.
이에 어안렌즈를 구비하는 카메라를 이용하는 시스템은 어안렌즈를 통해 광역의 영상을 획득하고, 이의 왜곡을 보정하여 사용자가 필요로 하는 영상을 제공하여 준다.
이러한 영상의 왜곡을 보정하기 위해 현재 많은 영상 보정 방법이 개시되고 사용되고 있는데, 그 예로는 Nayar 방법과 Xianghua 방법들이 있다.
Nayar 방법은 비메트릭(non-metric) 접근법으로서, 영상 왜곡의 원인으로 비점 수차와 선형 왜곡만이 있다고 본다. 이러한 가정 하에, Nayar 방법은 각각의 에러 모델을 다항식으로 표현한 후, 계수를 구하는 문제로 보고, 사영 기하학 곧, 직선은 직선으로 투용된다는 성질을 이용하여 왜곡된 곡선을 직선으로 펴는 과정을 통해 다항식의 계수를 구한다. 그리고 계산된 다항식 계수를 이용하여 렌즈의 왜곡을 보정하여 준다. 이러한 Nayar 방법은 시점의 변경과 관계없이 항상 광역의 영상에 대해 알고리즘을 수행하기 때문에, 실시간으로 시점을 변경하고자 하는 시스템에서는 적절하지 못하다.
그리고 Xianghua 방법은 메트릭(metric) 접근법으로서 일반 어안 렌즈의 경우, 왜곡이 발생하는 원인을 피사체의 중심점(Center Of Projection; COP)이 한 개가 아니라, 여러 개로 존재하기 때문이라고 본다. 이러한 가정 하에 Xianghua 방법은 캘리브레이션 패턴과 왜곡된 영상간의 매핑을 직접 지정해 준 후, 이를 기반으로 각각의 COP가 하나로 수렴토록 함으로써 왜곡을 보정한다. 이러한 Xianghua 방법의 경우, 켈리브레이션 패턴 상에 존재하는 3차원 점의 좌표를 정확히 알아야 하며, 사용자가 매핑 관계를 직접 지정해 주어야 하는 번거로움이 있으며, 그 과정에서 많은 양의 에러가 존재할 확률이 높다. 이로 인해, 왜곡 영상 보정을 하는 과정에서 정확도가 감소한다. 하지만 실시간으로 영상을 출력해야 장치의 경우에는 이러한 정확도의 감소는 해결해야 하는 중요한 문제이다.
본 발명에서는 상기의 문제점을 해결하기 위해, 모바일 디바이스를 기울기에 상관없이 정면 시각을 확보할 수 있도록 어안렌즈를 사용하여 주변 시각의 데이터를 모두 확보한 후, 타원체의 구면기하를 이용한 왜곡 보정 알고리즘을 통해 왜곡된 형상을 바로 하고, 기울기에 따라 영상의 일부분을 사용자에게 표시하는 것을 목적으로 한다. 또한, 일반 카메라 뷰에서 보이지 않는 가상의 증강(Augmented) 오브젝트 정보를 확인하기 위해 사용자의 몸을 돌려 해당 오브젝트를 정면으로 바라보아야 했던 불편함을 줄여 사용자의 편의성을 높이는 것을 목적으로 한다.
더 나아가, 증강현실 환경에서 다수의 가상의 오브젝트가 겹쳐지는 폐색(Occlusion) 현상을 뷰의 각도에 따라 없애는 것을 목적으로 한다. 폐색 현상이란, 실제 현실의 대상이 근처에 있는 경우, 증강 현실의 가상의 오브젝트들이 겹쳐 보이게 되는 것이다. 본 발명에서는 이를 해결하기 위해 head tracking(motion tracking)과 같은 기법을 사용하지 않고, 관심대상의 뷰의 위치를 조절하여 폐색 현상을 해결하는 효과를 제공한다.
특히, 증강 현실을 사용하여 모바일 디바이스를 이용하여 걸어가면서 문자 등을 입력하는 과정에서, 모바일 디바이스의 디스플레이를 통해 주변 사물을 보이게 하여 사용자의 안전성 및 편의성을 향상시키는 것을 목적으로 한다.
특히, 사용자가 특정 부분을 선택한 후 사용자 휴대용 기기의 기울기 상태에 따라 해당 위치를 보여주는 기능을 제공하는 것을 목적으로 한다. 특히, 특정 부분을 선택한 후 사용자 휴대용 기기의 시각이 이동되더라도 선택된 부분의 보정이 가능하게 하는 것을 목적으로 한다.
본 발명은 상기의 목적을 달성하기 위해 다음과 같은 과제 해결 수단을 포함한다.
본 발명은 모바일 디바이스에 제공되고, 어안 렌즈를 이용한 증강 현실 구현 시스템이고, 카메라(16)를 내장한 모바일 디바이스에 장착 가능한 어안 렌즈(15)와, 어안 렌즈(15)를 통해 왜곡 영상을 획득하고 보정하는 왜곡 영상 보정 모듈(10)과, 문자 또는 그림 등 가상 현실을 입력하는 가상 현실 입력 모듈(18)과, 상기 왜곡 영상 보정 모듈(10)을 통해 보정된 실제 현실의 영상과 상기 가상 현실 입력 모듈(18)을 통해 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 증강 현실 생성 모듈(19)과, 증강 현실 생성 모듈(19)로부터 생성된 영상을 모바일 디바이스에 표시하는 디스플레이 장치(20)를 포함하고, 상기 왜곡 영상 보정 모듈(10)은, 상기 어안 렌즈를 통한 왜곡 영상의 파라메터와, 보정 전 이미지의 특정 좌표를 획득하는 왜곡 계수 획득 모듈(11)과, 획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 영상 보정 모듈(12)을 포함한다.
또한, 다른 실시예로서, 모바일 디바이스에 제공되고, 어안 렌즈를 이용한 증강 현실 구현 시스템에 있어서, 카메라(16)를 내장한 모바일 디바이스에 장착 가능한 어안 렌즈(15)와, 어안 렌즈(15)를 통해 왜곡 영상을 획득하고 보정하는 왜곡 영상 보정 모듈(10)과, 상기 획득된 영상 중 관심 대상을 입력하는 관심 대상 입력 모듈(17)과, 문자 또는 그림 등 가상 현실을 입력하는 가상 현실 입력 모듈(18)과, 상기 왜곡 영상 보정 모듈(10)을 통해 보정된 실제 현실의 영상과 상기 가상 현실 입력 모듈(18)을 통해 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 증강 현실 생성 모듈(19)과, 증강 현실 생성 모듈(19)로부터 생성된 영상을 모바일 디바이스에 표시하는 디스플레이 장치(20)를 포함하고, 상기 왜곡 영상 보정 모듈(10)은, 상기 어안 렌즈를 통한 왜곡 영상의 파라메터와, 보정 전 이미지의 특정 좌표를 획득하는 왜곡 계수 획득 모듈(11)과, 획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 영상 보정 모듈(12)과, 상기 입력된 관심 대상을 중심으로 보정된 영상을 표시하는 관심 대상 처리 모듈(13)을 포함한다.
이 때, 상기 파라메터는 초점 거리 및 왜곡 중심인 것이 바람직하다.
또한, 상기 가상 현실 입력 모듈(18)은, 문자 메시지 입력 모듈인 것이 바람직하다. 그리고, 상기 가상 현실 입력 모듈(18)은, 상기 디스플레이 장치에 생성된 증강 현실이 표시된 상태에서 실시간으로 입력이 가능한 것이 바람직하다.
또한, 상기 관심 대상 입력 모듈(17)은, 상기 디스플레이 장치에 표시된 보정 전 이미지 또는 보정 후 이미지 중 영역을 선택하여 관심 대상을 입력하는 것이 바람직하다. 그리고, 상기 관심 대상 처리 모듈(13)은, 상기 보정 후 이미지를 상기 관심 대상을 중심 위치로 하여 재구성하는 것이 바람직하다.
본 발명은, 모바일 디바이스에 제공되고, 어안 렌즈를 이용한 증강 현실 구현 방법을 제공하며, 상기의 방법은, 상기 어안 렌즈(15)를 통해 왜곡 영상을 획득하는 단계; 상기 왜곡 영상의 파라메터와, 왜곡 영상의 보정 전 이미지의 특정 좌표를 획득하는 단계와; 획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 단계와; 문자 또는 그림 등 가상 현실을 입력받는 단계와; 보정된 실제 현실의 영상과 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 단계와; 생성된 증강 현실을 디스플레이 장치에 표시하는 단계를 포함한다.
다른 실시 예로서, 상기 어안 렌즈(15)를 통해 왜곡 영상을 획득하는 단계; 상기 왜곡 영상의 파라메터와, 왜곡 영상의 보정 전 이미지의 특정 좌표를 획득하는 단계와; 상기 보정 전 이미지 중 관심 대상을 입력 받는 단계와; 획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 단계와; 상기 보정 후 이미지 중 상기 입력 받은 관심 대상을 표시하는 단계와; 문자 또는 그림 등 가상 현실을 입력 받는 단계와; 보정된 실제 현실의 영상과 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 단계와; 생성된 증강 현실을 디스플레이 장치에 표시하는 단계를 포함할 수 있다.
또 다른 실시 예로서, 상기 어안 렌즈(15)를 통해 왜곡 영상을 획득하는 단계; 상기 왜곡 영상의 파라메터와, 왜곡 영상의 보정 전 이미지의 특정 좌표를 획득하는 단계와; 획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 단계와; 문자 또는 그림 등 가상 현실을 입력 받는 단계와; 상기 보정 후 이미지 중 관심 대상을 입력 받는 단계와; 상기 보정 후 이미지를 상기 입력 받은 관심 대상을 중심으로 재구성하는 단계와, 상기 보정된 실제 현실의 영상과 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 단계와; 생성된 증강 현실을 디스플레이 장치에 표시하는 단계를 포함할 수 있다.
이 때, 상기 파라메터는 초점 거리 및 왜곡 중심인 것이 바람직하다.
또한, 상기 가상 현실 입력 단계는, 상기 디스플레이 장치에 표시된 증강 현실을 보면서 실시간으로 입력하는 것이 바람직하다.
또한, 상기 관심 대상을 입력하는 단계는, 상기 디스플레이 장치에 표시된 증강 현실의 이미지 중 영역을 선택하여 관심 대상을 입력하는 것이 바람직하다.
또한, 상기 어안 렌즈의 초점이 이동하는 경우, 상기 입력된 관심 대상을 중심으로 증강 현실의 이미지를 상기 디스플레이 장치에 표시하는 단계를 더 포함하는 것이 바람직하다.
또한, 상기 파라메터는 초점 거리 및 왜곡 중심을 포함하고, 상기 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 단계는, 상기 왜곡 중심으로부터 상기 관심 대상이 틸트된 값을 추가로 반영하여 보정하는 것이 바람직하다.
본 발명은 상기의 과제 해결 수단을 통해, 원하는 증강현실의 환경에서 정보의 습득과 조작이 편리해져 사용성이 증대된다. 즉, 증강 현실을 사용하여 모바일 디바이스를 이용하여 걸어가면서 문자 등을 입력하는 과정에서, 모바일 디바이스의 디스플레이를 통해 주변 사물을 보이게 하여 사용자의 안전성 및 편의성을 향상시키는 효과가 있다.
특히, 사용자가 특정 부분을 선택한 후 사용자 휴대용 기기의 기울기 상태에 따라 해당 위치를 보여주는 효과가 있으며, 특정 부분을 선택한 후 사용자 휴대용 기기의 시각이 이동되더라도 선택된 부분의 보정이 가능하게 된다는 효과를 제공한다.
도 1은 본 발명에 따른 어안 렌즈를 이용한 증강 현실 구현 시스템의 개략적인 내부 구성도.
도 2는 본 발명에 따른 어안 렌즈를 이용한 증강 현실 구현 방법의 흐름도.
도 3은 본 발명에 따른 어안 렌즈를 이용한 왜곡 영상의 보정 실시예.
도 4는 본 발명에 따른 어안 렌즈를 이용한 증강 현실 구현의 일 실시예.
도 5는 본 발명에 따른 어안 렌즈를 이용한 증강 현실 구현의 일 실시예.
도 6은 본 발명에 따른 어안 렌즈를 이용한 증강 현실 구현의 일 실시예.
도 7은 본 발명에 따른 어안 렌즈를 이용한 증강 현실 구현의 일 실시예.
도 8은 본 발명에 따른 어안 렌즈를 이용한 증강 현실 구현의 일 실시예.
도 9는 본 발명에 따른 어안 렌즈를 이용한 왜곡 영상 보정 실시예.
도 10은 본 발명에 따른 디스플레이 시점에 따른 좌표계 변화의 관계도.
먼저 본 발명에서 사용되는 어안렌즈의 왜곡을 보정하는 알고리즘에 대해 구체적으로 설명하기로 한다.
3차원 공간상의 한 점이 카메라의 영상평면(image plane)에 투용되는 과정은 다음과 같다.
Figure pat00001
여기에서 R 과 t 는 카메라의 외부 파라메터로서, R은 3x3 회전행렬(rotation matrix),t는 3x1 병진벡터(translation vector)이다. (X, Y, Z)는 월드좌표계(world coordinate system)상의 한 점이고, (x, y, z)는 렌즈의 초점(focal point)을 원점으로 하는 카메라 좌표계 상의 한 점이다.
Figure pat00002
Figure pat00003
위 식은 카메라좌표계상의 점
Figure pat00004
이 초점거리 f 인 렌즈를 통해 2차원의 영상평면에 투영될 때의 관계식을 나타낸다.
렌즈왜곡은 이상점(ideal point)
Figure pat00005
를 왜곡된 영상점
Figure pat00006
로 변환시킨다. 영상의 왜곡모델은 획득된 영상에서 관측되는 왜곡된 좌표로부터 왜곡이 없는 좌표로의 맵핑으로 주어진다.
본 발명에서는 접선방향의 왜곡은 고려하지 않고 원주방향의 왜곡만을 고려한다. 역변환이 가능한 다음과 같은 함수 R을 원주방향 왜곡함수라 하면,
Figure pat00007
여기에서
Figure pat00008
와
Figure pat00009
는 각각 영상평면과 카메라의 광축이 만나는 원점(principal point)으로부터
Figure pat00010
와
Figure pat00011
까지의 거리를 나타낸다. 이 원점이 왜곡중심이다. 렌즈의 원주방향의 왜곡보정을 위한 왜곡모델로 다음과 같은 무한급수로 표현된 모델을 이용한다.
Figure pat00012
여기에서
Figure pat00013
이며, k는 왜곡상수이다. 고차항을 제외하고 단순화하면 다음과 같다.
Figure pat00014
이 때 왜곡함수의 역함수
Figure pat00015
는 다음과 같다.
Figure pat00016
여기에서
Figure pat00017
이다.
Figure pat00018
가 주어졌을 때, 위의 식은 다음과 같이
Figure pat00019
에 대한 3차 방정식이 된다.
Figure pat00020
Figure pat00021
는 카르다노(cardano)의 3차 방정식의 대수적 해법에 의해 구할 수 있다.
Figure pat00022
의 비례식을 이용하여 다음과 같이
Figure pat00023
에 대해 정리하면 다음과 같은 식이 얻어진다.
Figure pat00024
Figure pat00025
를 알 때, 뉴튼법에 의해 가장 오차를 작게 갖는
Figure pat00026
와
Figure pat00027
를 구한다. 3차원 공간상에서 기지의 N개의 표적 점들(target points) 각각의 좌표를 위의 수식을 통해 영상평면상으로 투영하여 N 개의 이상점들을 얻고, 이 점들 각각에 대해 왜곡중심에서 이 점들까지의 거리
Figure pat00028
를 얻는다. 그리고 이러한 표적점들의 왜곡이 된 디지털 영상점들 각각을 영상평면상으로 역투영한다. 이렇게 역투영된 점들 각각에 대해 왜곡중심에서 이 점들까지의 거리
Figure pat00029
를 얻고,
Figure pat00030
를 얻는다.
원주방향의 어안왜곡 보정은 가장 작은 오차를 제공하는 모델을 선택하여 다음과 같이 행한다. 첫째, 왜곡된 영상과 선택된 모델의 왜곡상수의 차수에 부합되도록 왜곡보정 후 구출될 영상의 가로, 세로 크기를 결정한다. 둘째, 보정후 영상의 각 픽셀의 위치에 채워질 밝기값을 입력된 왜곡영상으로부터 취한다. 이를 위해 보정후 영상의 임의의 픽셀의 위치를
Figure pat00031
라 할 때, 이에 대응되는 왜곡영상의 위치
Figure pat00032
를 선택된 모델에 맞게 뉴튼법으로 구한다. 도 3은 상기의 알고리즘을 통하여 어안렌즈를 통해 획득한 왜곡 형상을 보정한 영상의 실시예이다.
본 발명은 어안렌즈를 통해 획득한 왜곡 형상을 바라보는 시점을 자유롭게 변화시키는 것 또한 기술적 구성요소로 포함하고 있다.
사용자가 보정전 이미지의 특정 좌표 (a, b, f)를 선택하여 디스플레이 시점을 변경하면, 변경된 디스플레이 시점에서의 보정후 이미지를 획득하기 위해 (a, b, f)에 대응되는 새로운 좌표계를 정의 및 생성한다. 새로운 좌표계를 생성하는 방법 중 하나로 다음을 들 수 있다.
새로운 좌표계를 정의 및 생성하기 위해, 먼저 사용자가 선택한 보정전 이미지의 특정 좌표(a, b, f)에 대응되는 구상의 표면상의 좌표 (a, b, f’)를 획득하고, 획득된 구상의 표면내에 좌표 (a, b, f’)와 구상의 중심점 (0, 0, 0)을 지나는 벡터로부터 새로운 좌표계의 유닛 벡터를 정의한다. 도 10은 이에 대한 좌표계를 도시한 그림이다.
이러한 방식으로 새로운 좌표계의 유닛 벡터를 정의한 후, 앞에서 설명한 수식을 변환하면 변경된 디스플레이 시점에 맞는 보정 후 영상을 획득할 수 있다.
이렇듯 본 발명에서 사용하는 왜곡 영상을 보정하는 방법은 대상을 바라보는 시점을 기준으로 하여 영상을 재구성하게 되므로, 카메라 렌즈의 위치 및 방향에 관계없이 정확한 영상을 획득할 수 있다.
도 9에서 도시된 바와 같이 카메라 렌즈가 향하는 방향이 다르더라도 동일한 영상을 획득할 수 있는 효과가 있다. 본 발명은 이러한 왜곡 영상을 단순히 보정하는 것에 증강 현실 구현 시스템을 더욱 결합한 것을 주요 특징으로 하고 있다.
이하, 첨부된 도면을 참조하여 본 발명의 어안렌즈를 이용한 증강현실 구현 방법 및 그 시스템에 대해 자세하게 설명하기로 한다.
도 1은 본 발명에 따른 어안 렌즈를 이용한 증강 현실 구현 시스템의 개략적인 내부 구성도이다.
도 1에 도시된 바와 같이, 본 시스템은 모바일 디바이스에 제공된다. 카메라(16)를 내장한 모바일 디바이스에 장착 가능한 어안 렌즈(15)와, 어안 렌즈(15)를 통해 왜곡 영상을 획득하고 보정하는 왜곡 영상 보정 모듈(10)과, 획득된 영상 중 관심 대상을 입력하는 관심 대상 입력 모듈(17)과, 문자 또는 그림 등 가상 현실을 입력하는 가상 현실 입력 모듈(18)과, 왜곡 영상 보정 모듈(10)을 통해 보정된 실제 현실의 영상과 가상 현실 입력 모듈(18)을 통해 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 증강 현실 생성 모듈(19)과, 증강 현실 생성 모듈(19)로부터 생성된 영상을 모바일 디바이스에 표시하는 디스플레이 장치(20)를 포함한다.
카메라(16)는 어안 렌즈를 통해 180도 이상의 화각을 가지는 3차원의 영상을 2차원의 이미지로 획득한다. 이 때, 획득한 이미지는 매우 심한 왜곡을 가지게 된다. 특히, 어안 렌즈의 광학 중심점에 위치한 피사체는 왜곡을 가지지 않고, 주변에 위치한 피사체는 매우 심한 왜곡을 가지게 된다.
가상 현실 입력 모듈(18)은, 사용자가 문자나 아이콘 등의 그림을 입력하는 모듈이다. 바람직하게는, 문자 메시지 및 대화 입력 모듈이다. 본 발명의 일실시예는, 모바일 디바이스의 디스플레이에 어안 렌즈를 통한 실제 주변 영상을 표시하고, 이와 동시에 문자 메시지 입력 모듈을 표시하는 것이다.
이 경우, 모바일 디바이스 사용자는 앞을 보지 않고 이동을 하면서, 즉 문자를 입력하면서 이동하더라도, 문자 메시지 입력 모듈과 함께 표시된 실제 주변 영상을 통해 위험 요소를 인지하거나 상황을 인지할 수 있게 된다. 따라서 사용자의 안전성 및 편의성이 향상되는 장점이 있다.
도 4는 모바일 디바이스 사용자가 문자를 입력하면서 걸어가는 과정에서, 본 발명에 의한 증강현실을 구현한 모바일 디바이스의 디스플레이 장치만을 보면서 안전하게 걸어갈 수 있는 일 실시예이다.
따라서 가상 현실 입력 모듈(18)은 모바일 디바이스의 디스플레이 장치에 생성된 증강 현실이 표시된 상태에서 실시간으로 입력하는 것이 바람직하다.
관심 대상 입력 모듈(17)은 상기 디스플레이 장치에 표시된 보정 전 이미지 또는 보정 후 이미지 중 특별한 관심을 갖는 물체 및 영역을 입력하는 모듈이다. 관심 대상은 모바일 디바이스 사용자가 실제 현실의 영상을 보고 싶어하는 시점이라 할 수도 있다. 따라서, 관심 대상 처리 모듈(13)을 사용하여 보정 후 이미지를 관심 대상을 중심 위치로 하여 재구성하는 것이 바람직하다. 이에 대한 구체적인 알고리즘에 대해서는 앞에서 설명한 바 있다.
관심 대상 처리 모듈(13)은 모바일 디바이스의 카메라 방향이 바뀌거나 위치가 이동된다고 하더라도, 관심 대상의 위치를 파악하여 보정 후 이미지를 재구성하게 된다.
도 8은 어안렌즈를 통한 왜곡 영상에서 사용자가 원하는 관심 대상을 선택하는 경우, 관심 대상을 중심으로 하여 보정된 영상을 보여주는 일 실시예이다. 도 8의 위의 그림은 두 개의 가상현실이 겹쳐진 모습니다. 본 발명에서의 일실시예로서, 뷰의 위치를 아래 그림과 같이 좌측으로 옮기면 두 개의 가상현실이 이격되어 표현된다. 디스플레이 시점이 변화가 되어 두 개의 가상현실의 폐색이 제거되는 예시를 나타내고 있다.
증강 현실 생성 모듈(19)은 보정 후 이미지 영상과 가상 현실을 혼합하여 표시하는 모듈이다. 증강 현실 생성 모듈은 3차원 모델링을 통해 가상 객체(virtual object)를 생성하는 그래픽 랜더링을 수행할 수도 있다. 또한, 증강 현실 생성 모듈은 관심 대상의 위치 트래킹(position tracking)을 하여, 관심 대상의 위치 및 이동에 대한 감지와 추적을 수행하고, 가상 객체의 렌더링을 수행할 수도 있다.
증강 현실 생성 모듈은 입력된 가상 현실 혹은 생성된 가상 객체를 보정 후 이미지 영상에 위치시킨다. 특히 가상 객체 등을 현실 장면과 괴리되지 않은 모습으로 보여지도록 정합(registration) 과정을 수행한다. 이때 어색함이 없이 자연스럽게 합성되도록 끊김없는(seamless) 증강 현실을 구현한다.
이를 위하여, 정적 오차(static error), 동적 오차(dynamic error)를 고려하여야 한다. 여기서, 정적 오차란 실제 현실 환경에 가상 환경을 기하학적으로 정합할 때 발생되는 오차로서, 실제 현실 좌표계와 가상 세계의 좌표계가 일치하지 않아 발생하는 오차이다. 이러한 정적 오차를 줄이기 위해서는 관심 대상의 위치와 방향을 정확하게 측정하기 위한 위치 트래킹이 중요하다. 동적 오차란 관심 대상의 위치와 시선이 계속 변함에 따라, 가상 객체를 렌더링 하는 과정에서 발생하는 시간 지연으로 실제 현실 환경과 가상 환경의 영상 간에 서로 시각 동기가 맞지 않는 것으로 발생되는 오차이다.
왜곡 영상 보정 모듈(10)은, 어안 렌즈를 통한 왜곡 영상의 파라메터와, 보정 전 이미지의 특정 좌표를 획득하는 왜곡 계수 획득 모듈(11)과, 획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 영상 보정 모듈(12)이 주요 구성요소이다. 다만, 입력된 관심 대상을 중심으로 보정된 영상을 표시하는 관심 대상 처리 모듈(13)을 더 포함할 수 있다.
왜곡 영상의 파라메터는 초점 거리 및 왜곡 중심이 바람직하다. 본 명세서에서는 왜곡이 생기지 않는 어안 렌즈의 광학 중심점은 왜곡 중심이라는 용어로 사용되고 있다.
왜곡 계수 획득 모듈(11)이 왜곡 중심을 획득하는 방법은 정방형 격자 무늬를 가지는 테스트 이미지를 복수개의 방향에 대해 캡쳐한 경우, 왜곡 없이 나타나는 직선들이 교차되는 하나의 점을 어안 렌즈의 왜곡 중심으로 획득한다. 일반적으로, 왜곡 중심은 획득된 이미지의 정중앙점이 되며, 다만 필요에 따라 변경될 수 있다.
영상 보정 모듈(12)이 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 변환하는 알고리즘에 대해서는 전술한 바 있으므로 자세한 설명은 생략하기로 한다.
이하, 본 발명에 의한 어안렌즈를 이용한 증강 현실 구현 방법에 대해 설명하기로 한다. 도 2는 본 발명의 구현 방법에 대한 흐름도이다.
일 실시예로서, 어안 렌즈(15)를 통해 왜곡 영상을 획득하는 단계; 상기 왜곡 영상의 파라메터와, 왜곡 영상의 보정 전 이미지의 특정 좌표를 획득하는 단계와; 획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 단계와; 문자 또는 그림 등 가상 현실을 입력받는 단계와; 보정된 실제 현실의 영상과 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 단계와; 생성된 증강 현실을 디스플레이 장치에 표시하는 단계를 포함한다.
다만, 본 발명은 실시간으로 변화하는 실제 현실의 영상을 처리하는 것이기 때문에, 상기의 단계가 계속적으로 반복적으로 이루어지는 것도 권리범위에 속한다.
각 용어에 대해서는 앞에서 자세하게 설명하였으므로 재차 설명은 생략하기로 한다.
본 발명에 의한 구현 방법의 다른 실시 예로서, 어안 렌즈(15)를 통해 왜곡 영상을 획득하는 단계; 왜곡 영상의 파라메터와, 왜곡 영상의 보정 전 이미지의 특정 좌표를 획득하는 단계와; 보정 전 이미지 중 관심 대상을 입력 받는 단계와; 획득된 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 단계와; 보정 후 이미지 중 입력 받은 관심 대상을 표시하는 단계와; 문자 또는 그림 등 가상 현실을 입력 받는 단계와; 보정된 실제 현실의 영상과 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 단계와; 생성된 증강 현실을 디스플레이 장치에 표시하는 단계를 포함한다.
또 다른 실시 예로서, 어안 렌즈(15)를 통해 왜곡 영상을 획득하는 단계와; 왜곡 영상의 파라메터와, 왜곡 영상의 보정 전 이미지의 특정 좌표를 획득하는 단계와; 획득된 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 단계와; 문자 또는 그림 등 가상 현실을 입력 받는 단계와; 보정 후 이미지 중 관심 대상을 입력 받는 단계와; 보정 후 이미지를 상기 입력 받은 관심 대상을 중심으로 재구성하는 단계와, 보정된 실제 현실의 영상과 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 단계와; 생성된 증강 현실을 디스플레이 장치에 표시하는 단계를 포함한다.
가상 현실 입력 단계는 디스플레이 장치에 표시된 증강 현실을 보면서 실시간으로 입력하는 방식은 앞에서 설명한 바와 같다.
관심 대상을 입력하는 단계는 디스플레이 장치에 표시된 증강 현실의 이미지 중 해당 영역을 선택하여 입력하는 것이 바람직하다. 따라서 디스플레이 장치는 터치스크린 방식의 것이 바람직하다. 관심 대상을 입력하는 단계는 보정 전의 이미지 또는 보정 후의 이미지에서 선택하는 것 모두 가능하다.
관심 대상이란, 관심 대상을 바라보는 디스플레이 시점이라고 표현될 수도 있다. 앞에서 설명한 바와 같이 도 8의 위쪽 그림과 같이 두 개의 가상 현실이 겹쳐 보이는 경우(폐색), 관심 대상을 바라보는 디스플레이 시점을 화살표와 같이 터치스크린으로부터 입력받아, 폐색이 없어지도록 재구성을 하는 것이다(도 8의 아래쪽 그림).
이와 같이 사용자가 관심 대상을 바라보는 디스플레이 시점을 변경하면, 선택된 특정 좌표값에 대응되는 새로운 좌표계를 정의 및 생성하여 처리하면 된다. 이는 종래에 head tracking기술로 널리 알려져 있는 기술이므로 자세한 설명은 생략하기로 한다.
관심 대상이 이동하거나, 어안 렌즈의 초점이 이동하는 경우, 입력된 관심 대상을 중심으로 증강 현실의 이미지를 재구성하는 것이 필요하다. 즉, 왜곡 중심으로부터 관심 대상이 틸트(tilt)된 값을 추가로 반영하여 보정하는 것도 가능하다.
도 5는 본 발명에는 모션 트랙킹(motion tracking, head tracking) 기술이 결합하여, 관심 대상이 이동하는 경우, 관심 대상을 중심으로 하여 증강 현실을 재구성하는 예이다. 즉, 전체 영상을 획득한 후에, 모션 트랙킹 기술을 이용하여, 사용자의 방향을 추출하여 정확한 형태로 재구성하는 것도 가능할 수 있다.
도 6은 사용자의 위치를 중심으로 맵뷰로 나타내는 방식을 구현하는 실시예이다. 사용자가 모바일 디바이스를 지면을 향하게 하거나 하늘을 향해 위치시키고, 어안렌즈를 통해 주위의 360도 영상을 획득하고, 이 획득한 영상 위에 영상물의 정보를 표시하는 증강현실의 구현 예이다.
도 7은 본 발명의 또 다른 실시예로서, 사회적 인식으로 인해 피사체를 향하여 직접적으로 렌즈를 향하지 못하는 경우, 렌즈가 향하는 방향을 달리하여 피사체의 형상을 얻을 수 있다. 또한, 이에 증강현실을 추가한 응용도 가능할 수 있다.
이상 첨부 도면을 참조하여 본 발명의 실시 예에 대하여 설명하였지만 본 발명의 권리범위는 첨부하는 특허청구범위에 의하여 결정되며, 전술한 실시 예에 제한되는 것으로 해석되어서는 아니 된다.
또한, 당업자에게 자명하고 특허청구범위에 기재되어 있는 발명의 본질에서 벗어나지 않는, 변경, 개량 내지 수정된 기술도 본 발명의 권리범위에 포함됨이 명백하게 이해된다.
10 : 왜곡 영상 보정 모듈, 15 : 어안렌즈, 16 : 카메라, 17 : 관심 대상 입력 모듈, 18 : 가상 현실 입력 모듈, 19 : 증강 현실 생성 모듈, 20 : 디스플레이 장치

Claims (15)

  1. 모바일 디바이스에 제공되고, 어안 렌즈를 이용한 증강 현실 구현 시스템에 있어서,
    카메라(16)를 내장한 모바일 디바이스에 장착 가능한 어안 렌즈(15)와,
    어안 렌즈(15)를 통해 왜곡 영상을 획득하고 보정하는 왜곡 영상 보정 모듈(10)과,
    문자 또는 그림 등 가상 현실을 입력하는 가상 현실 입력 모듈(18)과,
    상기 왜곡 영상 보정 모듈(10)을 통해 보정된 실제 현실의 영상과 상기 가상 현실 입력 모듈(18)을 통해 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 증강 현실 생성 모듈(19)과,
    증강 현실 생성 모듈(19)로부터 생성된 영상을 모바일 디바이스에 표시하는 디스플레이 장치(20)를 포함하고,
    상기 왜곡 영상 보정 모듈(10)은,
    상기 어안 렌즈를 통한 왜곡 영상의 파라메터와, 보정 전 이미지의 특정 좌표를 획득하는 왜곡 계수 획득 모듈(11)과,
    획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 영상 보정 모듈(12)을 포함하는,
    어안 렌즈를 이용한 증강 현실 구현 시스템.
  2. 모바일 디바이스에 제공되고, 어안 렌즈를 이용한 증강 현실 구현 시스템에 있어서,
    카메라(16)를 내장한 모바일 디바이스에 장착 가능한 어안 렌즈(15)와,
    어안 렌즈(15)를 통해 왜곡 영상을 획득하고 보정하는 왜곡 영상 보정 모듈(10)과,
    상기 획득된 영상 중 관심 대상을 입력하는 관심 대상 입력 모듈(17)과,
    문자 또는 그림 등 가상 현실을 입력하는 가상 현실 입력 모듈(18)과,
    상기 왜곡 영상 보정 모듈(10)을 통해 보정된 실제 현실의 영상과 상기 가상 현실 입력 모듈(18)을 통해 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 증강 현실 생성 모듈(19)과,
    증강 현실 생성 모듈(19)로부터 생성된 영상을 모바일 디바이스에 표시하는 디스플레이 장치(20)를 포함하고,
    상기 왜곡 영상 보정 모듈(10)은,
    상기 어안 렌즈를 통한 왜곡 영상의 파라메터와, 보정 전 이미지의 특정 좌표를 획득하는 왜곡 계수 획득 모듈(11)과,
    획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 영상 보정 모듈(12)과,
    상기 입력된 관심 대상을 중심으로 보정된 영상을 표시하는 관심 대상 처리 모듈(13)을 포함하는,
    어안 렌즈를 이용한 증강 현실 구현 시스템.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 파라메터는 초점 거리 및 왜곡 중심인,
    어안 렌즈를 이용한 증강 현실 구현 시스템.
  4. 청구항 1 또는 청구항 2에 있어서,
    상기 가상 현실 입력 모듈(18)은, 문자 메시지 입력 모듈인,
    어안 렌즈를 이용한 증강 현실 구현 시스템.
  5. 청구항 1 또는 청구항 2에 있어서,
    상기 가상 현실 입력 모듈(18)은, 상기 디스플레이 장치에 생성된 증강 현실이 표시된 상태에서 실시간으로 입력이 가능한,
    어안 렌즈를 이용한 증강 현실 구현 시스템.
  6. 청구항 2에 있어서,
    상기 관심 대상 입력 모듈(17)은,
    상기 디스플레이 장치에 표시된 보정 전 이미지 또는 보정 후 이미지 중 영역을 선택하여 관심 대상을 입력하는,
    어안 렌즈를 이용한 증강 현실 구현 시스템.
  7. 청구항 2에 있어서,
    상기 관심 대상 처리 모듈(13)은,
    상기 보정 후 이미지를 상기 관심 대상을 중심 위치로 하여 재구성하는,
    어안 렌즈를 이용한 증강 현실 구현 시스템.
  8. 모바일 디바이스에 제공되고, 어안 렌즈를 이용한 증강 현실 구현 방법에 있어서,
    상기 어안 렌즈(15)를 통해 왜곡 영상을 획득하는 단계;
    상기 왜곡 영상의 파라메터와, 왜곡 영상의 보정 전 이미지의 특정 좌표를 획득하는 단계와;
    획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 단계와;
    문자 또는 그림 등 가상 현실을 입력받는 단계와;
    보정된 실제 현실의 영상과 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 단계와;
    생성된 증강 현실을 디스플레이 장치에 표시하는 단계를 포함하는,
    어안 렌즈를 이용한 증강 현실 구현 방법.
  9. 모바일 디바이스에 제공되고, 어안 렌즈를 이용한 증강 현실 구현 방법에 있어서,
    상기 어안 렌즈(15)를 통해 왜곡 영상을 획득하는 단계;
    상기 왜곡 영상의 파라메터와, 왜곡 영상의 보정 전 이미지의 특정 좌표를 획득하는 단계와;
    상기 보정 전 이미지 중 관심 대상을 입력 받는 단계와;
    획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 단계와;
    상기 보정 후 이미지 중 상기 입력 받은 관심 대상을 표시하는 단계와;
    문자 또는 그림 등 가상 현실을 입력 받는 단계와;
    보정된 실제 현실의 영상과 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 단계와;
    생성된 증강 현실을 디스플레이 장치에 표시하는 단계를 포함하는,
    어안 렌즈를 이용한 증강 현실 구현 방법.
  10. 모바일 디바이스에 제공되고, 어안 렌즈를 이용한 증강 현실 구현 방법에 있어서,
    상기 어안 렌즈(15)를 통해 왜곡 영상을 획득하는 단계;
    상기 왜곡 영상의 파라메터와, 왜곡 영상의 보정 전 이미지의 특정 좌표를 획득하는 단계와;
    획득된 상기 파라메터를 이용하여 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 단계와;
    문자 또는 그림 등 가상 현실을 입력 받는 단계와;
    상기 보정 후 이미지 중 관심 대상을 입력 받는 단계와;
    상기 보정 후 이미지를 상기 입력 받은 관심 대상을 중심으로 재구성하는 단계와,
    상기 보정된 실제 현실의 영상과 입력된 가상 현실을 혼합하여 증강 현실을 생성하는 단계와;
    생성된 증강 현실을 디스플레이 장치에 표시하는 단계를 포함하는,
    어안 렌즈를 이용한 증강 현실 구현 방법.
  11. 청구항 8 내지 청구항 10 중 어느 하나에 있어서,
    상기 파라메터는 초점 거리 및 왜곡 중심인,
    어안 렌즈를 이용한 증강 현실 구현 방법.
  12. 청구항 8 내지 청구항 10 중 어느 하나에 있어서,
    상기 가상 현실 입력 단계는,
    상기 디스플레이 장치에 표시된 증강 현실을 보면서 실시간으로 입력하는,
    어안 렌즈를 이용한 증강 현실 구현 방법.
  13. 청구항 10 중 어느 하나에 있어서,
    상기 관심 대상을 입력하는 단계는,
    상기 디스플레이 장치에 표시된 증강 현실의 이미지 중 영역을 선택하여 관심 대상을 입력하는,
    어안 렌즈를 이용한 증강 현실 구현 방법.
  14. 청구항 9 또는 청구항 10에 있어서,
    상기 어안 렌즈의 초점이 이동하는 경우, 상기 입력된 관심 대상을 중심으로 증강 현실의 이미지를 상기 디스플레이 장치에 표시하는 단계를 더 포함하는,
    어안 렌즈를 이용한 증강 현실 구현 방법.
  15. 청구항 9 또는 청구항 10에 있어서,
    상기 파라메터는 초점 거리 및 왜곡 중심을 포함하고,
    상기 보정 전 이미지의 특정 좌표를 보정 후 이미지의 특정 좌표로 보정하는 단계는,
    상기 왜곡 중심으로부터 상기 관심 대상이 틸트(tilt)된 값을 추가로 반영하여 보정하는,
    어안 렌즈를 이용한 증강 현실 구현 방법.
KR1020100022930A 2010-03-15 2010-03-15 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법 KR101222155B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100022930A KR101222155B1 (ko) 2010-03-15 2010-03-15 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100022930A KR101222155B1 (ko) 2010-03-15 2010-03-15 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020120053552A Division KR101222153B1 (ko) 2012-05-21 2012-05-21 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법

Publications (2)

Publication Number Publication Date
KR20110103724A true KR20110103724A (ko) 2011-09-21
KR101222155B1 KR101222155B1 (ko) 2013-01-15

Family

ID=44954846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100022930A KR101222155B1 (ko) 2010-03-15 2010-03-15 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법

Country Status (1)

Country Link
KR (1) KR101222155B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101683763B1 (ko) * 2015-09-14 2016-12-07 주식회사 프레스토솔루션 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법
KR20190042644A (ko) * 2016-08-22 2019-04-24 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
KR20190065754A (ko) 2017-12-04 2019-06-12 재단법인대구경북과학기술원 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240046577A1 (en) * 2022-08-05 2024-02-08 Samsung Electronics Co., Ltd. Video See-Through Augmented Reality

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101285360B1 (ko) * 2007-01-25 2013-07-11 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR100897006B1 (ko) * 2007-08-28 2009-05-14 중앙대학교 산학협력단 실시간으로 영상 합성이 가능한 영상 합성기 및 그 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101683763B1 (ko) * 2015-09-14 2016-12-07 주식회사 프레스토솔루션 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법
KR20190042644A (ko) * 2016-08-22 2019-04-24 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
KR20210047979A (ko) * 2016-08-22 2021-04-30 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
KR20220016308A (ko) * 2016-08-22 2022-02-08 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
KR20190065754A (ko) 2017-12-04 2019-06-12 재단법인대구경북과학기술원 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치

Also Published As

Publication number Publication date
KR101222155B1 (ko) 2013-01-15

Similar Documents

Publication Publication Date Title
CN113382168B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
US20170363949A1 (en) Multi-tier camera rig for stereoscopic image capture
KR100922250B1 (ko) 왜곡없는 실시간 이미징을 구현하는 파노라마 비디오시스템
JP6584664B2 (ja) 画像生成装置および画像生成方法
CN104246795B (zh) 用于超广角透镜图像的自适应透视修正的方法和系统
CN110456967B (zh) 信息处理方法、信息处理设备以及程序
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
KR101912396B1 (ko) 가상 카메라 기반의 임의 시점 영상 생성 장치 및 방법
JP7182920B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5743016B2 (ja) 画像を生成する装置および方法
WO2017029885A1 (ja) 画像生成装置、及び画像表示制御装置
CN107563959B (zh) 全景图生成方法及装置
GB2555908A (en) Multi-tier camera rig for stereoscopic image capture
KR20140090775A (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
KR101222153B1 (ko) 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법
KR101222155B1 (ko) 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법
US9143700B2 (en) Image capturing device for capturing an image at a wide angle and image presentation system
JP2004135209A (ja) 広視野高解像度映像の生成装置及び方法
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
JP7006912B2 (ja) 画像処理装置、画像表示装置及び画像処理プログラム
CN114257733A (zh) 具有视点偏移的全向图像的图像处理的方法和系统
JP2020167657A (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
JP2012191380A (ja) カメラ、画像変換装置、及び画像変換方法
CN110913198A (zh) 一种vr图像传输方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160115

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee