KR20150037975A - 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치 - Google Patents

사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치 Download PDF

Info

Publication number
KR20150037975A
KR20150037975A KR1020157002824A KR20157002824A KR20150037975A KR 20150037975 A KR20150037975 A KR 20150037975A KR 1020157002824 A KR1020157002824 A KR 1020157002824A KR 20157002824 A KR20157002824 A KR 20157002824A KR 20150037975 A KR20150037975 A KR 20150037975A
Authority
KR
South Korea
Prior art keywords
image
camera
rectangular
area
panoramic
Prior art date
Application number
KR1020157002824A
Other languages
English (en)
Inventor
고재용
Original Assignee
주식회사 와이드벤티지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이드벤티지 filed Critical 주식회사 와이드벤티지
Publication of KR20150037975A publication Critical patent/KR20150037975A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명인 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치는 카메라의 화각 밖의 사각 영역의 이미지를 추가적으로 공급하여 파노라마 이미지를 생성할 수 있도록 하기 위해, 중심 영역으로 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 반사시키는 제1 반사 거울과, 제1 반사 거울을 기설정된 각도로 유지되도록 하는 케이스로 이루어진 사각 이미지 공급 장치와, 사각 이미지 공급 장치로부터의 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 촬영하는 제1 카메라와, 사각 이미지 공급 장치에 의한 이미지 특성을 고려하여, 제1 카메라로부터의 촬영 이미지를 처리 및 조합하여 원하는 방향의 파노라마 이미지를 생성하는 제어부로 구성된 파노라마 이미지 생성 장치로 이루어진다.

Description

사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치{PANORAMA IMAGE GENERATING APPARATUS USING ADJACENT IMAGE SUPPLYING APPARATUS}
본 발명은 파노라마 이미지의 생성 장치에 관한 것으로서, 특히 카메라의 화각 밖의 사각 영역의 이미지를 추가적으로 공급하여 파노라마 이미지를 생성할 수 있도록 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치에 관한 것이다.
스마트폰의 성능이 향상되면서, 전/후방 카메라를 동시에 작동시켜 비디오 녹화나 카메라 촬영이 가능하게 되었다. 이러한 동시 촬영은 스마트폰의 촬영 대상과 스마트폰을 촬영하는 주체를 모두 동시에 녹화하는데 사용되며, 실제로 이러한 촬영 대상과 주체의 촬영은 기술적으로는 가능하나 소비자들이 꼭 필요한 기능으로 생각하지는 않는 경향이 있다.
한편 스마트폰 등으로 여러 개의 이미지들을 순차적으로 촬영한 후 각 이미지들을 적절한 위치에서 이어 붙이는 image stitching 알고리즘을 수행하여 파노라마 이미지(사진)을 생성한다. 그러나 이러한 파노라마 이미지는 여러 시점들에서 촬영한 이미지(사진)를 하나로 잇는 것이므로, 동영상 녹화나 움직이는 대상에 대한 촬영에 쓰일 수 없고 촬영을 하는 행위도 번거롭다.
또한, 종래의 스마트폰에 채용된 카메라의 화각(시야각)은 대개 50~60도 정도이므로, 이 각도를 넘어가는 카메라 전방의 좌우 및 상하에는 사각 영역이 넓게 존재하므로, 화각을 넓히기 위해 종래에는 볼록거울이나 오목렌즈를 써서 화각을 넓혔다. 그러나 종래의 렌즈나 거울을 사용한 방법은 가격이 비쌀 뿐 아니라, 정해져 있는 카메라에 구비된 촬상 센서(촬상 영역)의 면적에 더 많은 이미지가 들어가므로 해상도가 떨어질 수 밖에 없다.
본 발명은 스마트폰에 장착된 2개 이상의 카메라를 사용하여 복잡한 광학적인 장치 없이도 해상도를 유지하면서 파노라마 촬영이나 비디오 녹화를 가능하게 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치를 제공하는 것을 목적으로 한다.
본 발명인 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치는 기설정된 중심 영역 밖의 사각 영역의 이미지를 중심 영역으로 반사시키되, 중심 영역으로 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 반사시키는 적어도 하나 이상의 제1 반사 거울과, 적어도 하나 이상의 제1 반사 거울을 기설정된 각도로 유지되도록 하는 케이스로 이루어진 사각 이미지 공급 장치와, 사각 이미지 공급 장치로부터의 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 촬영하는 적어도 하나 이상의 제1 카메라와, 사각 이미지 공급 장치에 의한 이미지 특성을 고려하여, 제1 카메라로부터의 촬영 이미지를 처리 및 조합하여 원하는 방향의 파노라마 이미지를 생성하는 제어부로 구성된 파노라마 이미지 생성 장치로 이루어진다.
또한, 사각 이미지 공급 장치는 사각 영역과 다른 영역의 이미지를 제2 반사 거울로 반사시키는 제2 반사 거울을 구비하는 것이 바람직하다.
또한, 제1 반사 거울은 중심 영역에 대하여 대칭적으로 이루어진 한쌍의 반사 거울로 이루어진 것이 바람직하다.
또한, 제1 반사 거울은 서로 반사 각도가 상이한 복수의 반사 거울로 이루어진 것이 바람직하다.
또한, 제1 반사 거울이 제1 방향으로는 제1 카메라의 화각보다 작은 영역이고, 제1 방향에 수직인 방향으로는 제1 카메라의 화각보다 큰 영역을 지닌 이미지를 반사하는 것이 바람직하다.
또한, 제어부는 촬영 이미지에 대한 좌우 반전 처리 또는 상하 반전 처리 또는 분리 처리 중의 적어도 하나 이상을 수행하고, 처리된 촬영 이미지를 조합하여 파노라마 이미지를 생성하는 것이 바람직하다.
또한, 파노라마 이미지 생성 장치는 사각 영역의 이미지와 중첩되지 않거나 중첩이 최소인 영역의 이미지를 촬영하는 제2 카메라를 구비하고, 제어부는 제1 및 제2 카메라의 촬영 이미지를 조합하여 파노라마 이미지를 생성하는 것이 바람직하다.
또한, 파노라마 이미지 생성 장치는 사각 영역의 이미지와 중첩된 이미지를 촬영하는 제2 카메라를 구비하고, 제어부는 제1 및 제2 카메라에 의해 촬영된 사각 영역의 이미지에 포함된 피사체의 위치를 판단하거나, 제1 및 제2 카메라에 의해 촬영된 이미지를 이용하여 입체 영상을 생성하는 것이 바람직하다.
본 발명은 저가의 거울 등을 이용하고, 이미 스마트폰에 장착된 1개 또는 2개의 카메라를 동시에 사용하여 순간적인 파노라마 촬영이나 파노라마 동영상 녹화를 가능하게 하는 효과가 있다.
또한, 본 발명은 기존의 순간적인 파노라마 촬영에 필요한 고가의 무겁고 정밀한 광학도구가 필요 없이 사용자가 스마트폰을 사용하여 해상도를 떨어뜨리지 않고 파노라마 촬영을 할 수 있는 효과가 있다.
또한, 본 발명은 2개의 카메라의 이미지를 이용하여 원하는 피사체의 위치 파악하거나 입체 영상을 생성할 수 있는 효과가 있다.
도 1은 파노라마 이미지 생성 장치의 구성도이다.
도 2는 제1 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 측면도이다.
도 3a 및 3b는 제1실시예에 따른 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 4a 및 4b는 제2 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 개략 구성도와 측면도이다.
도 5a 및 5b는 제2 실시예에 따른 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 6은 제3실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 측면도이다.
도 7은 제4 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 부분 측면도이다.
도 8은 제5 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 부분 측면도이다.
도 9a 내지 9c는 제6 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이다.
도 10은 제6실시예에 따른 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 11a 내지 11b는 제7 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이다.
도 12는 제7실시예에 따른 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 13a 내지 13d는 제8 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이다.
도 14는 제8실시예에 따른 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 15는 사각 이미지 공급 장치와 파노라마 이미지 생성 장치를 연결하기 위한 결합 장치를 도시한다.
도 16은 제9실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 개략 구성도이다.
도 17은 제9실시예에 따른 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
이하에서, 본 발명은 실시예들과 도면들을 통하여 상세하게 설명된다.
도 1은 파노라마 이미지 생성 장치의 구성도이다. 파노라마 이미지 생성 장치(1)는 같은 방향 또는 반대 방향을 촬영하는 제1 및 제2 카메라(11, 12)와, 제1 및 제2 카메라(11, 12)로부터의 촬영 이미지(정지 영상, 동영상)와, 촬영 이미지를 이용하여 생성된 파노라마 이미지를 저장하는 저장부(14)와, 외부의 기기나 네트워크와 유선 또는 무선 통신을 수행하는 통신부(16)와, 사용자로부터의 입력을 획득하는 입력부(17)와, 다양한 정보 및 이미지를 표시하는 표시부(18)와, 제1 및 제2 카메라(11, 12)를 동시에 또는 순차적으로 동작시켜 촬영 이미지를 획득하고, 촬영 이미지를 이용하여 파노라마 이미지를 생성하는 제어부(19)를 포함하여 구성된다. 다만, 전원부(미도시), 저장부(14), 통신부(16), 입력부(17), 표시부(18) 등의 구성요소는 본 발명이 속하는 기술분야에 익숙한 통상의 기술자에게는 당연히 이해되는 정도의 기술에 해당되기에, 그 설명이 생략된다. 파노라마 이미지 생성 장치(1)는 예를 들면, 복수의 카메라를 구비한 스마트폰이나 테블릿 PC 등과 같은 전기 기기로 구현될 수 있다.
제1 및 제2 카메라(11, 12)는 그 장착 위치에 따라 같은 방향 또는 반대 방향을 촬영하며, 제어부(19)의 제어에 의해 동시에 동작하거나 선택적으로 동작하여 동 시간대의 이미지 또는 서로 다른 시간대의 이미지를 촬영하여 제어부(19)에 인가한다.
제어부(19)는 촬영 방향(같은 방향/반대 방향)과, 사각 이미지 공급 장치(20)에 의한 이미지 특성을 고려하여, 제1 및 제2 카메라(11, 12)로부터의 촬영 이미지를 처리 및 조합하여 원하는 방향의 전경에 대한 파노라마 이미지를 생성한다. 보다 상세한 설명은 하기에서 이루어진다.
도 2는 제1 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 측면도이다.
파노라마 이미지 생성 장치(1)는 화살표로지시되는제1 방향을 촬영하는 제1 카메라(11)와, 제1 카메라(11)의 제1 방향과 반대인 제2 방향을 촬영하는 제2 카메라(12)를 구비하며, 제1 카메라(11)와 제2 카메라(12)의 화각은 서로 중첩되지 않는다.
사각 이미지 공급 장치(20)는 제2 카메라(12)의 전방에 위치하여 제2 카메라(12)가 제1 방향을 촬영하되, 제1 카메라(11)의 화각 밖의 사각 영역(C1, C2)를 촬영하도록 한다. 자세하게는, 사각 이미지 공급 장치(20)는 제1 카메라(11)의 화각 밖의 사각 영역(C1, C2)의 이미지를 제2 카메라(12)의 전방으로 반사시키는 제1 및 제2 반사 거울(21a, 21b)와, 제1 및 제2 반사 거울(21a, 21b)에 의해 반사된 사각 영역(C1, C2)를 제2 카메라(12)의 촬상 영역(촬영 센서)으로 반사시켜 제2 카메라(12)가 사각 영역(C1, C2)를 촬영하도록 하는 제3 및 제4 반사 거울(22a, 22b)를 포함한다.
제1 및 제2 반사 거울(21a, 21b)은 평면 거울로 구성되며, 제1 카메라(11)의 화각 밖의 사각 영역(C1, C2)의 이미지를 제2 카메라(12)의 화각이 형성된 기설정된 영역(기설정된 중심 영역의 전방 영역)으로 반사시킨다.
제3 및 제4 반사 거울(22a, 22b)은 평면 거울로 구성되며, 사각 영역(C1, C2)의 이미지를 각각 기설정된 제2 카메라(12)의 촬상 영역(기설정된 중심 영역)으로 반사시키도록 기설정된 각도를 이루며 화각의 중심인 중앙선(O')에서 서로 접한다. 제3 및 제4 반사 거울(22a, 22b)은 중앙선(O')에 대하여 대칭적으로 위치된다.
제1 반사 거울(21a)와 제3 반사 거울(22a)은 사각 영역(C1)이 제2 카메라(12)의 촬상 영역의 1/2인 영역으로 반사되도록 기설정된 이격 간격과 각도로 배치된다. 또한, 제2 반사 거울(21b)와 제4 반사 거울(22b)은 사각 영역(C2)이 제2 카메라(12)의 촬상 영역의 1/2인 영역으로 반사되도록 기설정된 이격 간격과 각도로 배치된다. 이러한 배치(이격 간격과 경사 각도)를 위해, 사각 이미지 공급 장치(20)는 제1 내지 제4 반사 거울(21a, 21b, 22a, 22b)을고정장착하는케이스(30)를 구비한다. 하기에서 케이스(30)가 기재되고 있지 않더라고 반사 거울들은 이 케이스에 고정 장착된다.
다만, 제3 및 제4 반사 거울(22a, 22b)은 중앙선(O')이 아닌 영역에서 접할 수 있으며, 제2 카메라(12)의 촬상 영역 상에서의 접하는 위치에 따라 사각 영역(C1, C2)의 크기가 변경된다.
본 실시예에서, 제1 및 제2 카메라(11, 12)는 동시에 구동되어 동시 촬영을 할 수 있다. 제1 및 제2 카메라(11, 12)는 각각 중심선(O), (O')에서 -30도에서 30도에 이르는 60도의 화각을 지닌 예를 보인다.
제1 카메라(11)는 제1방향의 화각에 포함되는 주촬영 영역(M)을 촬영하고, 제2 카메라(12)는 제2 카메라(12)는 중심선(O')의 -30도에서 0도에 이르며, 주촬영 영역(M)의 좌측인 사각 영역(C2)과, 중심선(O')의 0도에서 +30도에 이르며, 주촬영 영역(M)의 우측인 사각 영역(C1)을 촬영한다.
도 3a 및 3b는 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다. 도 3a에서, 주 이미지(MI)는 제1 카메라(11)에 의해 촬영된 주촬영 영역(M)의 이미지이고, 사각 이미지(CI1, CI2)는 제2 카메라(12)에 의해 동시에 촬영된 사각 영역(C1, C2)의 이미지이다.
사각 영역(C1)은 중심선(O)의 -60도~ -30도에 해당되는 영역으로, 제1 반사 거울(21a)과 제3 반사 거울(22a)의 반사에 의해 제2 카메라(12)의 촬상 영역의 1/2에 촬영되며, 제1반사 거울(21a)와 제3 반사 거울(22a)의 좌우 반전 효과에 의해 제2 카메라(12)의 촬상 영역에서 사각 영역(C1)의 실제 이미지에 대하여 좌우 반전된 이미지가 획득된다. 같은 이유로, 사각 영역(C2)은 중심선(O)의 60도~ 30도에 해당되는 영역으로, 제2 반사 거울(21b)과 제4 반사 거울(22b)의 반사에 의해 제2 카메라(12)의 촬상 영역의 1/2에 촬영되고, 제2반사 거울(21b)과 제4 반사 거울(22b)의 좌우 반전 효과에 의해 제2 카메라(12)의 촬상 영역에서 사각 영역(C2)의 실제 이미지에 대하여 좌우 반전된 이미지가 획득되며, 이러한 특성이 사각 이미지 공급 장치(20)에 의한 이미지 특성으로 제어부(19)에 의해 이미 저장되어 있다.
또한, 주촬영 영역(M)에 대응하는 주이미지(MI)와, 사각 영역(C1, C2)에 각각 대응하는 사각 이미지(CI1, CI2)는 중첩되지 않거나, 중첩되는 것이 최소화되는 것이 바람직하다.
제어부(19)는 상술된 바와 같이, 제1 및 제2 카메라(11, 12)로부터 주이미지(MI)와 사각 이미지(CI1, CI2)의 조합 이미지를 획득한다. 제어부(19)는 사각 이미지(CI1, CI2)의 조합 이미지를 사각 이미지(CI1, CI2)로 각각 분리한다. 이때, 제어부(19)는 제2 카메라(12)의 촬상 영역 상에서 제3 및 제4 반사 거울(22a, 22b)의 접하는 위치에 따라 사각 이미지가 분리되는 위치가 결정된다.
이후에, 제어부(19)는 사각 이미지(CI1, CI2)의 이미지 특성(좌우 반전 특성)을 고려하여, 사각 이미지(CI1), (CI2)에 대한 좌우 반전 처리를 수행한다. 또한, 제어부(19)는 제1 및 제2 카메라(11, 12)의 촬영 방향을 고려하여, 주이미지(MI)의 좌측에 -60도~-30도의 영역인 사각 이미지(CI1)가 배치되고, 주이미지(MI)의 우측에 60~30도의 영역인 사각 이미지(CI2)가 배치되도록 주이미지(MI)와 사각 이미지(CI1, CI2)를 처리한다. 이러한 이미지의 재배치 과정에서, 이미지의 크기가 다를 경우, 주이미지(MI)의 크기에 대응하도록 사각 이미지(CI1, CI2)를 처리할 수도 있다. 이러한 이미지의 재배치 및 처리 과정에 의해, 도 3b의 파노라마 이미지가 생성되며, 제어부(19)는 생성된 파노라마 이미지를 저장부(14)에 저장한다.
또한, 주촬영 영역(M)과 사각 영역(C1, C2)에 포함된 피사체가 아주 가까이 있을 경우, 사각 이미지(CI1)과 주이미지(MI) 간의 접합부분과, 사각 이미지(CI2)와 주이미지(MI) 간의 접합부분에서 이미지가 깨져 보일 수 있기에, image stitching 알고리즘을 사용하여 이들 접합 부분이 자연스럽게 보이도록 조정되는 것이 바람직하다.
도 4a 및 4b는 제2 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 개략 구성도와 측면도이다.
파노라마 이미지 생성 장치(1)는 화살표로지시되는제1 방향을 촬영하는 제1 카메라(11)와, 제1 카메라(11)의 제1 방향과 반대인 제2 방향을 촬영하는 제2 카메라(12)를 구비한다.
사각 이미지 공급 장치(20a)는 제2 카메라(12)의 전방에 위치하여 제2 카메라(12)가 제1 방향을 촬영하되, 제1 카메라(11)의 화각 밖의 사각 영역(C3, C4)를 촬영하도록 한다. 자세하게는, 사각 이미지 공급 장치(20a)는 제1 카메라(11)의 화각 밖의 사각 영역(C3, C)을 제2 카메라(12)의 전방으로 반사시키는 제5 및 제6 반사 거울(21c, 21d)와, 제5 및 제6 반사 거울(21c, 21d)에 의해 반사된 사각 영역(C3, C4)를 제2 카메라(12)의 촬상 영역으로 반사시켜 제2 카메라(12)가 사각 영역(C3, C)를 촬영하도록 하는 제7 및 제8 반사 거울(22c, 22d)를 포함한다.
사각 이미지 공급 장치(20)에서의 제1 및 제3 반사거울(21a, 22a)와 제2 및 제4 반사 거울(21b, 22b)는 파노라마 이미지 생성 장치(1)를 기준으로 하여 좌우 반사 효과를 이용하는 것이고, 사각 이미지 공급 장치(20a)에서의 제5 및 제7 반사 거울(21c, 22c)와 제6 및 제8 반사 거울(21d, 22d)는 파노라마 이미지 생성 장치(1)를 기준으로 하여 상하 반사 효과를 이용한 것으로, 그 반사 방향이 상이할 뿐이다.
즉, 제5 및 제6 반사 거울(21c, 21d)은 평면 거울로 구성되며, 제1 카메라(11)의 화각 밖의 사각 영역(C3, C4)을 제2 카메라(12)의 화각이 형성된 영역으로 반사시킨다.
제7 및 제8 반사 거울(22c, 22d)은 평면 거울로 구성되며, 사각 영역(C3, C4)을 각각 제2 카메라(12)의 촬상 영역으로 반사시키도록 기설정된 각도를 이룬다.
도 2와 유사하게, 제1 카메라(11)는 제1방향의 화각(촬영각 -30도~30도)인 주촬영 영역(M)을 촬영하고, 제2 카메라(12)는 제5 및 제7 반사 거울(21c, 22c)와 제6 및 제8 반사 거울(21d, 22d)에 의해 사각 영역(C3)인 주촬영 영역(M)의 좌측 영역(-60~-30도) 및 우측 영역(60~30도)을 함께 촬영한다.
도 5a 및 5b는 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
도 5a에서, 주 이미지(MI)는 제1 카메라(11)에 의해 촬영된 주촬영 영역(M)의 이미지이고, 사각 이미지(CI3,CI4)는 제2 카메라(12)에 의해 동시에 촬영된 사각 영역(C3, C4)의 이미지이다.
사각 영역(C3)은 중심선(O)의 -60도~ -30도에 해당되는 영역으로, 제5 반사 거울(21c)과 제7 반사 거울(22c)의 반사에 의해 제2 카메라(12)의 촬상 영역의 1/2에 촬영되며, 제5반사 거울(21c)와 제7 반사 거울(22c)의 상하 반전 효과에 의해 제2 카메라(12)의 촬상 영역에서 사각 영역(C3)의 실제 이미지에 대하여 상하 반전된 이미지(CI3)가 획득된다. 같은 이유로, 사각 영역(C4)은 중심선(O)의 60도~ 30도에 해당되는 영역으로, 제6 반사 거울(21d)과 제8 반사 거울(22d)의 반사에 의해 제2 카메라(12)의 촬상 영역의 1/2에 촬영되고, 제6반사 거울(21d)과 제8 반사 거울(22d)의 상하 반전 효과에 의해 제2 카메라(12)의 촬상 영역에서 사각 영역(C4)의 실제 이미지에 대하여 상하 반전된 이미지(CI4)가 획득되며, 이러한 특성이 사각 이미지 공급 장치(20a)에 의한 이미지 특성으로 제어부(19)에 의해 이미 저장되어 있다.
제어부(19)는 상술된 바와 같이, 제1 및 제2 카메라(11, 12)로부터 주이미지(MI)와 사각 이미지(CI3, CI4)의 조합 이미지를 획득한다. 제어부(19)는 사각 이미지(CI3, CI4)의 조합 이미지를 사각 이미지(CI3, CI4)로 각각 분리한다. 이때, 제어부(19)는 제2 카메라(12)의 촬상 영역 상에서 제7 및 제8 반사 거울(22c, 22d)의 접하는 위치에 따라 사각 이미지가 분리되는 위치가 결정된다.
이후에, 제어부(19)는 사각 이미지(CI3, CI4)의 이미지 특성(상하 반전 특성)을 고려하여, 사각 이미지(CI3), (CI4)에 대한 상하 반전 처리를 수행한다. 또한, 제어부(19)는 제1 및 제2 카메라(11, 12)의 촬영 방향을 고려하여, 주이미지(MI)의 좌측에 -60도~-30도의 영역인 사각 이미지(CI3)가 배치되고, 주이미지(MI)의 우측에 60~30도의 영역인 사각 이미지(CI4)가 배치되도록 주이미지(MI)와 사각 이미지(CI3, CI4)를 처리한다. 이러한 이미지의 재배치 과정에서, 이미지의 크기가 다를 경우, 제어부(19)는 주이미지(MI)의 크기에 대응하도록 사각 이미지(CI3, CI4)를 처리하거나, 이미지가 기울어진 경우, 기울임 보정을 수행할 수도 있다. 이러한 이미지의 재배치 및 처리 과정에 의해, 도 5b의 파노라마 이미지가 생성되며, 제어부(19)는 생성된 파노라마 이미지를 저장부(14)에 저장한다.
도 6은 제3실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 측면도이다. 파노라마 이미지 생성 장치는 동일한 방향으로 동일한 화각을 지니며 일정 간격 이격된 제1 카메라(11)와 제2 카메라(12)를 구비한다.
제1 카메라(11)와 제2 카메라(12)는 촬영 가상선(L11)과 (L12) 사이에 해당되는 화각을 지니며, 화각 내의 피사체를 촬영한다. 제1 카메라(11)는 통상의 화각(L11-L12) 내의 주촬영 영역(M)을 촬영한다.
사각 이미지 공급 장치(20b)는 제2 카메라(12)의 촬상 영역 상에 위치되며 반사면이 화각(L11-L12) 내에 적어도 일부분이 위치하며, 제1 카메라(11)의 화각에 대응하는 주촬영 영역에 중첩되지 않는 제9 반사 거울(23)을 구비한다. 본 실시예의 제9 반사 거울(23)의 반사면의 제1단부(23a)는 촬영 가상선(L11)에 위치되고, 반사면의 제2단부(23b)는 화각(L11-L12) 내에 위치되므로, 제2 카메라(12)는 촬영 가상선(L23)과 (L21) 사이의 각도에 해당되는 사각 영역(C5)을 촬영한다.
파노라마 이미지 생성 장치(1)의 제어부(19)는 제1 및 제2 카메라(11, 12)로부터 주촬영 영역(M)을 촬영한 주이미지(MI)와 사각 영역(C5)을 촬영한 사각 이미지(CI5)를 각각 인가받는다. 사각 이미지(CI5)는 제9 반사 거울(23)에 의한 이미지이므로 본래의 사각 영역의 실제 이미지에 대하여 좌우 반전된 상태이므로, 제어부(19)는 사각 이미지(CI5)를 좌우 반전 처리를 수행하고, 주이미지(M)의 우측에 조합시켜 촬영 가상선(L11-L21)에 해당하는 넓은 각도 영역의 파노라마 이미지를 생성한다.
다만, 제2 카메라(12)의 촬영 가상선(L11~L12)이 제9 반사 거울(23)이 주촬영 영역과 중첩되지 않으면서, 화각(60도)만큼 꺾어 반사 이미지를 만들면서 화각(L11~L12) 전체를 활용하여 제 2 카메라(112)의 촬상 영역으로 제9 반사 거울(23)의 거울상이 유도되도록 하는 것이 어려우며, 촬영 가상선(L23)-(L12) 사이의 각도에 해당되는 영역에는 제 1 카메라(11)가 촬영한 주이미지(M)와 중복되는 직사이미지가 들어오게 된다. 아울러, 충분한 거울상을 확보하기 위해서는 제9 반사 거울(23)이 제2 카메라(12)가 향하는 방향으로 상당히 돌출되어야 하기에 휴대성이 떨어진다.
도 7은 제4 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 부분 측면도이다.
파노마라 이미지 생성 장치(1)의 제2 카메라(12)는 도 6에서와 같은 구조이다.
도 6에서의 사각 이미지 공급 장치(20b)가 제2 카메라(12)의 촬영 방향으로 상당히 돌출된 점을 해소하기 위해, 사각 이미지 공급 장치(20c)는 제9 반사 거울(23)보다 작은 제10 및 제11 반사거울(24a, 24b)을 포함한다. 제10 및 제11 반사 거울(24a, 24b)는 서로 다른 각도로 케이스에 고정 장착되어, 서로 상이한 반사 각도를 지닌다.
제10 및 제11 반사 거울(24a, 24b)의 총 반사면은 제2 카메라(12)의 화각(L11-L12) 전체와 중첩되어,즉 총 반사면이 제2 카메라(12)의 중심선(O')의 수직 단면 면적과 같거나 크도록 된다. 제10 반사 거울(24a)은 촬영 가상선(L11)과 중간 가상선(L13) 사이의 촬영 각도를 가상선(L22)-(L24) 사이의 촬영 각도로 변환하여, 가상선(L22)-(L24) 사이의 사각 영역(C6)을 반사하여 제2 카메라(12)의 촬상 영역으로 유도한다. 제11 반사 거울(24b)은 촬영 가상선(L13)과 중간 가상선(L12) 사이의 촬영 각도를 가상선(L22)-(L23) 사이의 촬영 각도로 변환하여, 가상선(L22)-(L23) 사이의 사각 영역(C7)을 반사하여 제2 카메라(12)의 촬상 영역으로 유도한다. 가상선(L23)은 제2 카메라(12)의 중심선(O')로부터 가장 멀리 확장된 촬영 가상선에 해당되며, 제2 카메라(12)는 그 영역까지의 이미지를 획득한다.
제2 카메라(12)에 의해 촬영된 사각 영역(C6)과 (C7)에 각각 대응하는 사각 이미지(CI6)과 (CI7)는 제2 카메라(12)의 촬영 영역의 좌측과 우측을 통하여 생성되며, 서로 접하는 연속된 이미지들이나, 거울 반사에 의해서 각각 좌우가 반전된 사각 이미지(C6)와 (C7)의 조합 이미지로 제2 카메라(12)로부터 제어부(19)에 인가된다. 제어부(19)는 사각 이미지 공급 장치(1)의 제10 및 제11 반사 거울(24a, 24b)의 결합 구조에 대한 정보를 저장한다.
제어부(19)는 상술된 바와 같이, 제1 및 제2 카메라(11, 12)로부터 주이미지(MI)와 사각 이미지(CI6, CI7)의 조합 이미지를 획득한다. 제어부(19)는 사각 이미지(CI6, CI7)의 조합 이미지를 사각 이미지(CI6)과 (CI7)로 분리하고, 각각 좌우 반전 처리를 하고, 사각 이미지(CI6)을 우측으로, 사각 이미지(CI7)을 좌측으로 배치하여 보정된 조합 이미지를 생성한다. 즉, 제어부(19)는 제2 카메라(12)의 화각(L11~L12)의 거의 전부를 이용하여, 본래의 화각(60도)에 대응하는 보정된 조합 이미지를 획득한다.
도 8은 제5 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 부분 측면도이다.
도 7의 제4실시예의 연장에서, 도 6의 사각 이미지 공급 장치(20c)가 2개의 제10 및 제11 반사 거울(24a, 24b)로 구성된 경우라면, 도 8의 사각 이미지 공급 장치(20d)는 3개의 반사 거울(24c, 24d, 24e)로 구성된 경우로, 제2 카메라(12)의 화각에 대응하는 촬영 영역을 3개의 반사 거울(24c, 24d, 24e)의 총 반사면(반사 면적)과 중첩되도록 하여, 파노라마 이미지 생성 장치(1)의 전방 측면을 촬영함에 있어서, 사각 이미지 공급 장치(20d)의 돌출 정도가 최소화되도록 한다.
도 9a 내지 9c는 제6 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이며, 도 10은 제2 카메라에 의해 촬영된 이미지들의 개념도이다. 도 3 내지 8에서의 거울을 이용하여 순간적인 파노라마 뷰를 얻는 단순한 장치는 하나의 카메라만을 쓰는 구성에도 적용될 수 있다.
도 9a에 도시된 바와 같이, 사각 이미지 공급 장치(2)의 제12 반사 거울(25)은 파노라마 이미지 생성 장치(1)의 제2 카메라(12)의 정면 상단에 위치된다. 제12 반사 거울(25)는 상대적으로 짧은 윗변(25a)과, 긴 밑변(25b)과, 윗변(25a)과 밑변(25b)을 연결하는 변(25c, 25d)으로 구성되며, 윗변(25a)와 밑변(25b)이 평행한 구조인 사다리꼴의 반사면을 지닌다. 또한 제12 반사 거울(25)은 제2 카메라(12)의 촬상 영역의 절반과 중첩되도록 배치된다.
도 9b는 도 9a의 제3방향에서의 측면도로, 사각 이미지 공급 장치(20e)의 제12 반사 거울(25)은 제2 카메라(12)의 정면 상단에 배치되며, 제12 반사 거울(25)의 반사면이 화살표로표시된벡터방향을향하도록기설정된경사각도로경사지게고정된다. 이러한 배치에 의해, 도 10에서와 같이 제2 카메라(12)의 촬상 영역의 좌측 상단부(81)에는 제12 반사 거울(25)에서 반사된 피사체 A의 상이 맺히고, 촬상 영역의 하단부(82)에는 제2 카메라(12)로 직접 들어온 피사체 B를 포함하는 영상이 맺힌다.
도 9c는 도 9a의 제4방향에서의 측면도로, 파노라마 이미지 생성 장치(1)를 일정 각도(대략 15도) 정도 뒤로 눕혀 평면 상에 고정된다.
제2 카메라의 상하 방향의 촬영 가상선(L51) 내지 (L52) 중 윗부분은 제12 반사 거울(25)에 의해 반사된 상(81)이 맺히고, 아랫부분(L53~L52)은 제2카메라(12)에 직접 들어오는 상(82)이 맺힌다.
제2 카메라(12)의 화각의 윗부분(L51~L53)에는 제12 반사 거울(25)에 의해 반사된 촬영 가상선(L61) 내지 (L63)에 포함된 촬영 영역이 유도되고, 또한, 이 유도되는 촬영 영역은 도 9b에서의 촬영 가상선(L21) 내지 (L23)에 포함되는 촬영 영역으로, 제2 카메라(12)의 촬상 영역 중에서 좌측 상단부(81)에 맺힌다.
부연하면, 원래 60도인 화각(촬영 가상선(L51) 내지 (L52))이 각 30도인 촬영 가상선(L53~L52)와 (L61~L63)로 제12 반사 거울(25)(윗변(25a))에 의해 나뉘어진다. 따라서, 원래 상하 좌우로 60도이던 화각이 상하로는 30도의 협각이 되고, 좌우로는 촬영 가상선(L11-L21)인 120도에 가까운 광각이 되어 평면에서 가까이 움직이는 피사체를 좌우로 넓은 영역에 대해 촬영할 수 있다. 즉, 원하는 피사체를 보다 넓게 촬영하기 위해서, 원하지 않는 피사체 또는 피사체의 부분을 반사하는 반사 거울의 길이를 짧게 한다.
제어부(19)는 제2 카메라(12)로부터의 조합 이미지(81, 82)를 인가받고, 촬상 영역(81, 82)를 소프트웨어적으로 처리하여 상하로 맺힌 조합 이미지(81, 82)를 좌측에 직사 이미지인 피사체 B를 배치하고, 거울상인 피사체 A를 좌우 반전 처리하고, 제12 반사 거울(25)의 경사 각도에 의해 기울어진 상을 보정하여 우측에 배치하여 파노라마 이미지를 생성한다. 이러한 생성 과정에서, 제어부(19)는 제12 반사 거울(25)의 두께에 의해 보이지 않는 거울상의 윤곽 부분 등을 적절히 잘라내어 처리함으로써, 저가의 광각 렌즈 이미지를 생성한다.
도 9b에서, 도 6에서와 유사하게, 제12 반사 거울(25)이 60도인 제2카메라(12)의 화각(L11~L12)을 오른쪽으로 60도 꺾어 반사 이미지를 만들면서 촬영 가상선(L11~L12)을 모두 포함시키는 것은 불가능 하며 촬상 영역의 상단부를 보다 넓은 부분(82)에 거울상이 맺히게 하기 위해서는 제12 반사 거울(25)이 파노라마 이미지 생성 장치(1)로부터 보다 많이 돌출되어야 하기에, 휴대성이 떨어질 수 있다.
도 11a 내지 11b는 제7 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이고, 도 12는 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
제7 실시예는 도 7과 도 9a 내지 9c를 조합한 실시예로, 사각 이미지 생성 장치(20f)는 평면 거울인 제13 및 제14 반사 거울(26, 27)를 파노라마 이미지 생성 장치(1)의 제2 카메라(12)의 전방에 기설정된 각각의 경사 각도로 배치되어, 돌출 정도가 현저하게 감소되어 휴대성이 우수하면서도 도 9a 내지 9c에서 논의된 단일의 제12 반사 거울(25)보다 효과적으로 제2카메라(12)의 화각을 우측으로 확장시킨다.
도 11a에 도시된 바와 같이, 제13 및 제14 반사 거울(26, 27)은 제2 카메라(12)의 전방에 배치되되, 제2 카메라(12)의 촬상 영역의 반(하단)은 이미지가 직접 맺히도록 제13 및 제14 반사 거울(26, 27)과 중첩되지 않는다.
도 12에 도시된 바와 같이, 이에 따라 제2 카메라(12)의 촬상 영역의 상단부(816)는 제13 및 제14 카메라(26, 27)에 의해 반사된 이미지(83)과 (84)가 위치되고, 촬상 영역의 아랫부분(85)은 제2카메라(12)에 직사된 이미지가 맺힌다.
도 11b에 도시된 바와 같이, 제2카메라의 촬상 영역의 아랫부분의 이미지(85)는 제2카메라(12)에 의해 정해지는 시야각 L11~L12로 직접 입사되는 이미지가 맺힌다. 촬상 영역의 윗부분 중 영역(83)에는 제13 반사 거울(26)에 반사되어 들어오는 촬영 가상선(L23~L22) 사이의 영상이 맺히고, 영역(84)에는 제14 반사 거울(27)에 의해 반사되어 들어오는 촬영 가상선(L22~L24) 사이의 영상이 맺힌다.
도 7에서 이미 논의된 바대로 촬영 가상선(L22)이 중첩되기에, 이미지(84, 83)는 가로 방향으로 연속된 두개의 이미지이나 거울상이기 때문에, 제어부(19)는 도 12에 도시된 바와 같이 각각 좌우가 뒤바뀌어 분리된 조합 이미지를 획득하게 된다. 따라서, 제어부(19)는 소프트웨어로 처리하여 자연스러운 파노라마 이미지를 를 만드는데, 이때 직사 이미지(85)를 그대로 파노라마 이미지의 왼쪽에 배치시키고, 그 오른쪽 옆에 이미지(84)의 거울상을 좌우 반전처리하여 배치하고, 그 오른쪽 옆에 이미지(83)의 거울상을 좌우 대칭 처리하여 배치함으로써, 파노라마 이미지를 완성한다. 이때 제13 및 제14 반사 거울(26, 27)의 3차원적인 기울어짐에 따른 이미지 왜곡을 보정하는 어파인 변환을 이미지(83, 83)를 처리하는 것이 바람직하다.
도 13a 내지 13d는 제8 실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 도면들이고, 도 14는 제8실시예에 따른 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
제8실시예는 제2 카메라(12)의 화각을 약 45~60도만큼 더 넓히기 위해 평면 거울인 제15 및 제16 반사 거울(28, 29)를 포함하는 사각 이미지 공급 장치(20g)를 이용한다.
도 13a에 도시된 바와 같이, 파노라마 이미지 생성 장치(1)의 제2 카메라(12) 전방에 제15 및 제16 반사 거울(28, 29)를 제15 및 제16 반사 거울(28, 29)의 반사면이 제2 및 제3 벡터 방향을 향한다. 이러한 배치 구조에서, 제2 카메라(12)의 촬상 영역 중 상단부에는 제15 및 제16 반사 거울(28, 29)에 반사된 이미지(86, 87)가 연속적으로 각각 맺히고, 촬상 영역의 하단부에는 직접 들어온 영상(88)이 맺힌다. 제15 및 제16 반사 거울(28, 29) 각각은 시각 변환(perspective transformation)된 정면도에서는 직사각형으로 보이지만, 공간상에서는 사각뿔인 카메라 화각을 사선으로 자르는 평면의 형태이므로, 도 13b에 도시된 바와 같이, 비정규적인 사각형(irregular quad) 형태이다.
도 13d에 도시된 바와 같이, 제2 카메라(12)의 수직 방향의 촬영 가상선(L5~L6) 중 윗부분의 촬영 가상선(L5~L7)은 제15 및 제16 반사 거울(28, 29)에 반사되고, 아랫부분의 촬영 가상선(L7~L6)에 대응하는 촬영 영역은 직사되어 제2카메라(12)에 직접 들어오는 이미지(88)가 맺힌다. 촬영 가상선(L5~L7) 내의 촬영 영역(피사체)는 제15 및 제16 반사 거울(28, 29)에 반사되어 꺾여 도 13d에서 촬영 가상선(L51~L71)을 이루어 직사하는 촬영 가상선(L7~L6)과 동일한 수직 방향의 촬영 가상선을 이룬다. 이 촬영 가상선(L51~L71) 내의 촬영 영역은 도 13c로부터 각각 좌측과 우측으로 기울어진 제2 및 제3 벡터 방향으로 제15 및 제16 반사 거울(28, 29)의 반사면에 반사되어 원래 제2카메라(12)의 화각인 촬영 가상선(L1~L2)보다 각각 좌측과 우측에 있는 영상을 제2카메라(12)의 촬상 영역(86, 87)에 맺히게 한다.
제어부(19)는 도 14와 같은 조합 이미지를 제2 카메라(12)로부터 획득하여, 촬상 영역(86, 87)의 이미지를 소프트웨어적으로 처리하여 직사 이미지인 촬상 영역(88)의 좌측과 우측으로 배치하여 파노라마 이미지를 생성한다.
이때 제어부(19)는 제15 및 제16 반사 거울(28, 29)에 의해 좌우 반전되고 기울어짐에 의해 기울어진 이미지를 다시 거울상으로 변환하고 기울임, 크기 등을 보정하여 사용자에게 들어오는 넓은 광각 영상처럼 자연스럽게 볼 수 있도록 한 파노라마 이미지를 생성한다. 이뿐만 아니라 다양한 파노라마 사영(panorama projection) 방법 중 하나를 선택할 수 있다.
제8 실시예와 다르게, 제15 및 제16 반사 거울(28, 29)의 경사 각도를 바꾸어 제15 반사 거울(28)이 오른쪽의 영상을 얻게 하고, 제16 반사 거울(29)이 왼쪽 영상을 얻게 하는 엇갈림 거울을 구성하고, 제어부(19)가 소프트웨어적으로 처리하여 넓은 화각을 지닌 파노라마 이미지를 생성할 수도 있다.
도 15는 사각 이미지 공급 장치와 파노라마 이미지 생성 장치를 연결하기 위한 결합 장치를 도시한다.
이러한 사각 이미지 공급 장치(20, 20a-20g)는 파노라마 이미지 생성 장치(1)에 장착될 때, 제2 카메라(12)와 기설정된 위치에 정밀하게 안착되어야 한다. 그러나 대부분의 파노라마 이미지 생성 장치(1)는 사용자가 두께나 모양이 다른 케이스를 씌워 사용하고 있기 때문에 케이스를 끼운 상태로 외부에 사각 이미지 공급 장치를 장착할 경우, 케이스의 두께만큼 사각 이미지 공급 장치와 제2카메라(12)의 상대적인 위치가 바뀌게 됨으로써, 그 변경에 의한 오차에 의해 오동작을 하게 된다. 따라서 케이스에서 파노라마 이미지 생성 장치를 분리한 이후에, 사각 이미지 공급 장치를 결합 장착하는 것이 바람직하다. 그러나, 이러한 불편을 없애기 위해 사각 이미지 공급 장치를 파노라마 이미지 생성 장치(1)의 전원 플러그나 헤드셋 플러그에 꼽아 고정시켜 연결한다.
기존의 케이스들도 플러그를 꼽는 부분은 구멍이 나 있어 플러그의 꼽히는 위치가 케이스에 의해 변하지 않으므로, 케이스의 의한 사각 이미지 공급 장치의 위치 차이가 생기지 않는다. Micro USB 등 대부분의 전원 및 데이터 플러그의 경우, 꼽히는 각도가 정해져 있어 위치와 각도가 모두 고정되나, 헤드셋 플러그와 같이 원기둥형 플러그의 경우는 정해진 위치 위에 꼽힌 후에도 1차원적으로 회전할 수 있다. 이러한 회전에 의해 사각 이미지 공급 장치의 위치가 달라지는 것을 막기 위해 플러그(71)가 꼽히는 방향과 직각이 아닌 면으로 파노라마 이미지 생성 장치나 케이스와 밀착되는 결합장치(7)를 구비된다. 특히, 이 결합 장치(7)는 서로 충분히 떨어진 적어도 두 개의 파노라마 이미지 생성 장치나 케이스 표면의 점에 동시에 밀착되도록 하고, 착탈이 쉽도록 밀착점과 플러그 사이에 탄성부재(72)를 구비하는것이 바람직하다. 또한, 결합 장치(7)는 탄성 부재(72)와 사각 이미지 공급 장치(20g)를 연결하는 연결부재(74)를 구비하고, 연결부개(74)는 플러그(71)가 리셉터클(1a)에 삽입된 때, 사각 이미지 공급 장치(20g)가 기설정된 위치와 각도로 제2 카메라(12)의 전방에 위치되도록 하는 기능을 수행한다. 이 연결부재(74)와 탄성 부재(72)는 일체로 형성될 수도 있다. 사각 이미지 생성 장치에 고정되어 꼽히는 플러그는 전원, 데이터, 소리 신호를 전달하는 전기적인 스펙을 갖출 필요는 없고, 기구적인 스펙만 동일한 플라스틱, 고무 등을 사용하여도 되고, 플러그의 리셉터클(receptacle)(1a)과 틈새 없이 충분히 정확하고 일관적으로 꼽히면 된다. 도 15의 결합 장치(7)는 상술된 다른 실시예들에도 적용된다.
본 발명에서 발명된 다수개의 카메라 각각이 바라보는 방향을 거울을 설치하여 꺾는 방법, 거울로 카메라의 일부 촬상 영역에 시야를 꺾어 촬영하는 방법, 거울 조각을 쓰고 소프트웨어로 쪼개진 영상을 재배치하여 연속적인 영상으로 복원하는 방법들을 적절히 혼합하여 사용하면, 다양한 시각적 추적이나 파노라마 구성을 할 수 있다.
도 16은 제9실시예에 따른 사각 이미지 공급 장치와 파노라마 이미지 생성 장치의 개략 구성도이고, 도 17은제9실시예에 따른 제1 및 제2 카메라에 의해 촬영된 이미지들의 개념도이다.
파노라마 이미지 생성 장치(1)는 표시부(18)가 형성된 전방을 촬영하는 제1카메라(11)과, 제1카메라(11)와 반대 방향을 촬영하는 제2카메라(12)를 구비한다. 사각 이미지 공급 장치(20h)는 평면 상에 놓여지고 제2 카메라(12)의 화각에 위치되어 제17반사 거울(30)을 구비하며, 제17 반사 거울(30)은 제1 카메라(11)가 촬영하는 방향을 제2 카메라(12)가 촬영하도록 손가락 등과 같은 피사체를 반사한다. 제1 및 제2 카메라(11, 12)는 제17 반사 거울(30)의 반사 기능에 의해 공통된 방향의 촬영 영역을 촬영한다. 즉, 제1 및 제2 카메라(11, 12)에 의해 촬영된 이미지를 일정 부분 이상 중첩되는 이미지들이다.
제어부(19)는 제1 및 제2 카메라(11, 12)로부터 도 16에서의 이미지(90, 91)를 획득하며, 이 획득된 이미지(90, 91)을 통해 입체 영상을 구성하고, 이 구성된 입체 영상으로부터 손가락의 3차원 위치를 알아낼 수 있다. 제17 반사 거울(30)과 제2 카메라(12)의 위치와 각도에 의해, 실제 제2 카메라(12)의 위치에 촬영되는 영상은 가상 카메라(12')의 위치에서 촬영되는 영상과 동일하다. 이때, 제2 카메라(12)와 반사 위치(30a) 간의 거리와, 가상 카메라(12')와 반사 위치(30a) 간의 거리는 동일하다. 가상 카메라(12')의 위치는 제1 카메라(11)와 상당히 떨어져 있는 거리에 위치되므로, 이미지(90, 91)에 촬영된 추적 위치(L1, L2)에 삼각 측량법을 적용하여 정확하게 추적 대상인 손가락 대상의 3차원 상의 위치를 알아 낼 수 있다.
도 16과 같이 제1 카메라(11)와 제2 카메라(12)는 서로 다른 방향을 촬영하거나, 서로 중첩되지 않는 영역을 촬영하는 장치이기에, 제2 카메라(12)의 화각 내에 사각 이미지 공급 장치(30)를 위치시켜, 제2 카메라(12)의 촬영 영역을 변경시킨다. 이에 따라, 제1 및 제2 카메라(11, 12)는 동일한 피사체(손가락)를 촬영하나, 그 피사체를 향하는 촬영 각도는 상이하며, 일정 부분 이상을 중첩된 이미지를 제어부(19)에 공급한다. 제어부(19)는 동일 피사체를 다른 위치(촬영 각도)로 촬영된 이미지(90, 91)를 이용하여 입체 영상(stereoscopy)을 생성할 수도 있다. 또한, 제어부(19)는 이미지(90, 91)을 이용하여 피사체와 제1 및 제2 카메라(11, 12)로부터의 거리를 포함하는 3차원 위치를 알아낼 수 있다.
본 발명에서 논의된 파노라마 이미지 생성 장치(1)가 수행하는 주이미지 및 사각 이미지의 획득 과정, 분리 처리 과정, 좌우/상하 반전 처리 과정, 기울기 보정 처리 과정 등은 프로그램 파일로 저장매체에 저장될 수 있으며, 이 프로그램 파일은 네트워크를 통한 전송에 의해 전기 기기 간에 전송되어, 다양한 전기 기기에 설치되고 동일한 동작이 수행된다. 즉, 파노라마 이미지 생성 장치(1)가 수행하는 기능은 컴퓨터 판독 가능한 저장 매체에 저장되는 프로그램으로 제공될 수 있다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

Claims (8)

  1. 기설정된 중심 영역 밖의 사각 영역의 이미지를 중심 영역으로 반사시키되, 중심 영역으로 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 반사시키는 적어도 하나 이상의 제1 반사 거울과, 적어도 하나 이상의 제1 반사 거울을 기설정된 각도로 유지되도록 하는 케이스로 이루어진 사각 이미지 공급 장치와;
    사각 이미지 공급 장치로부터의 중심 영역의 전방 영역 및, 사각 영역의 이미지 또는 사각 영역의 이미지만을 촬영하는 적어도 하나 이상의 제1 카메라와, 사각 이미지 공급 장치에 의한 이미지 특성을 고려하여, 제1 카메라로부터의 촬영 이미지를 처리 및 조합하여 원하는 방향의 파노라마 이미지를 생성하는 제어부로 구성된 파노라마 이미지 생성 장치로 이루어진 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  2. 제1항에 있어서, 사각 이미지 공급 장치는 사각 영역과 다른 영역의 이미지를 제2 반사 거울로 반사시키는 제2 반사 거울을 구비하는 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치
  3. 제1항에 있어서, 제1 반사 거울은 중심 영역에 대하여 대칭적으로 이루어진 한쌍의 반사 거울로 이루어진 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  4. 제1항에 있어서, 제1 반사 거울은 서로 반사 각도가 상이한 복수의 반사 거울로 이루어진 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  5. 제1항에 있어서, 제1 반사 거울이 제1 방향으로는 제1 카메라의 화각보다 작은 영역이고, 제1 방향에 수직인 방향으로는 제1 카메라의 화각보다 큰 영역을 지닌 이미지를 반사하는 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  6. 제1항에 있어서, 제어부는 촬영 이미지에 대한 좌우 반전 처리 또는 상하 반전 처리 또는 분리 처리 중의 적어도 하나 이상을 수행하고, 처리된 촬영 이미지를 조합하여 파노라마 이미지를 생성하는 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  7. 제1항에 있어서, 파노라마 이미지 생성 장치는 사각 영역의 이미지와 중첩되지 않거나 중첩이 최소인 영역의 이미지를 촬영하는 제2 카메라를 구비하고, 제어부는 제1 및 제2 카메라의 촬영 이미지를 조합하여 파노라마 이미지를 생성하는 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
  8. 제1항에 있어서, 파노라마 이미지 생성 장치는 사각 영역의 이미지와 중첩된 이미지를 촬영하는 제2 카메라를 구비하고, 제어부는 제1 및 제2 카메라에 의해 촬영된 사각 영역의 이미지에 포함된 피사체의 위치를 판단하거나, 제1 및 제2 카메라에 의해 촬영된 이미지를 이용하여 입체 영상을 생성하는 것을 특징으로 하는 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치.
KR1020157002824A 2013-08-24 2014-08-25 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치 KR20150037975A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20130100744 2013-08-24
KR1020130100744 2013-08-24
PCT/KR2014/007894 WO2015030449A1 (ko) 2013-08-24 2014-08-25 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치

Publications (1)

Publication Number Publication Date
KR20150037975A true KR20150037975A (ko) 2015-04-08

Family

ID=52586923

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157002824A KR20150037975A (ko) 2013-08-24 2014-08-25 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치

Country Status (2)

Country Link
KR (1) KR20150037975A (ko)
WO (1) WO2015030449A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142182A1 (ko) * 2016-02-17 2017-08-24 삼성전자 주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4124014A1 (en) * 2021-07-20 2023-01-25 Spiideo AB Devices and methods for wide field of view image capture

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201002248D0 (en) * 2010-02-10 2010-03-31 Lawton Thomas A An attachment for a personal communication device
KR20110123630A (ko) * 2010-05-07 2011-11-15 김제민 셀프 카메라 기능 부여용 핸드폰 거치대
JP2012093511A (ja) * 2010-10-26 2012-05-17 Mathematec Corp ３ｄカメラ用パノラマアタッチメント
KR101809946B1 (ko) * 2010-11-01 2017-12-18 엘지전자 주식회사 휴대용 단말기
US20120262540A1 (en) * 2011-04-18 2012-10-18 Eyesee360, Inc. Apparatus and Method for Panoramic Video Imaging with Mobile Computing Devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142182A1 (ko) * 2016-02-17 2017-08-24 삼성전자 주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
US20190037138A1 (en) * 2016-02-17 2019-01-31 Samsung Electronics Co., Ltd. Method for processing image and electronic device for supporting same
US10868959B2 (en) 2016-02-17 2020-12-15 Samsung Electronics Co., Ltd. Method for processing image and electronic device for supporting same

Also Published As

Publication number Publication date
WO2015030449A1 (ko) 2015-03-05

Similar Documents

Publication Publication Date Title
TWI692967B (zh) 影像裝置
US8581961B2 (en) Stereoscopic panoramic video capture system using surface identification and distance registration technique
US8368687B2 (en) Image generating apparatus and image generating method
EP3902236A1 (en) Terminal, photographing method, and storage medium
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
CN105530431A (zh) 一种反射式全景成像系统及方法
KR20150068299A (ko) 다면 영상 생성 방법 및 시스템
WO2011052064A1 (ja) 情報処理装置および方法
JP5510238B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN105657099B (zh) 便携式3d摄像头及可拍摄3d视频的手机
JP2007517264A (ja) 多次元の撮像装置、システムおよび方法
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
JPWO2012117617A1 (ja) 立体画像撮像装置
CN113259642B (zh) 一种影片视角调节方法及系统
WO2017118662A1 (en) Spherical virtual reality camera
KR102176963B1 (ko) 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
CN112970044B (zh) 根据广角图像的视差估计
KR20150037975A (ko) 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치
CN104460011B (zh) 立体成像装置和立体图像生成方法
US20240135499A1 (en) Image processing apparatus, imaging apparatus, image processing method
JP2022514766A (ja) 画像情報を蓄積するための多開口撮像装置を備える装置
CN107018299B (zh) 摄像装置及摄像方法
JP2013074473A (ja) パノラマ撮像装置
TWI572899B (zh) 擴充實境成像方法及其裝置
KR101469361B1 (ko) 초광각 파노라마 영상 촬영 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application