KR20120133710A - 비대칭 양안 카메라 모듈을 이용한 입체 3d 영상 생성 장치 및 그 방법 - Google Patents

비대칭 양안 카메라 모듈을 이용한 입체 3d 영상 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR20120133710A
KR20120133710A KR1020110052500A KR20110052500A KR20120133710A KR 20120133710 A KR20120133710 A KR 20120133710A KR 1020110052500 A KR1020110052500 A KR 1020110052500A KR 20110052500 A KR20110052500 A KR 20110052500A KR 20120133710 A KR20120133710 A KR 20120133710A
Authority
KR
South Korea
Prior art keywords
image
images
input
camera module
view
Prior art date
Application number
KR1020110052500A
Other languages
English (en)
Inventor
최한준
허창원
정영선
Original Assignee
주식회사 넥서스칩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥서스칩스 filed Critical 주식회사 넥서스칩스
Priority to KR1020110052500A priority Critical patent/KR20120133710A/ko
Priority to PCT/KR2011/006801 priority patent/WO2012165717A1/ko
Publication of KR20120133710A publication Critical patent/KR20120133710A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

좌안 및 우안 영상에 대응되는 서로 상이한 해상도를 지원하는 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 장치에 관한 것으로, 서로 다른 해상도를 지원하는 비대칭 양안 카메라 모듈을 이용하여 입체 3D 영상을 생성하고, 단가상승을 방지할 수 있다.

Description

비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 장치 및 그 방법{APPARATUS AND METHOD FOR GENERATING 3D IMAGE USING ASYMMETRICAL DUAL CAMERA MODULE}
서로 다른 해상도를 지원하는 두 대의 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상을 생성하는 기술이 개시된다.
종래의 양안 카메라를 이용한 3D 이미지 생성 장치는 해상도가 동일한 두 개의 카메라를 적용한 양안 카메라 모듈을 이용해서 입체 3D를 생성한다. 고해상도의 카메라 두 개를 사용함에 따라 비용 상승을 초래하는 문제가 있다.
서로 다른 해상도를 지원하는 비대칭 양안 카메라 모듈을 이용하여 입체 3D 영상을 생성할 수 있는 기술을 제시한다. 즉, 고해상도와 저해상도를 지원하는 두 대의 카메라를 이용하여 입체 3D 영상을 생성함으로써 두 대 모두 고해상도의 카메라를 이용할 때 발생하는 원가 상승을 방지하여 비용을 절감할 수 있는 기술이 제시된다.
일 양상에 따르면, 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 장치는, 좌안 및 우안 영상에 대응되며, 서로 다른 해상도를 지원하는 두 대의 카메라 모듈로부터 각각 촬영된 두 개의 영상이 입력되며, 입력된 두 개의 영상 중 적어도 고해상도 카메라 모듈로부터 촬영된 입력 영상을 저해상도 카메라 모듈로부터 촬영된 입력 영상의 화각에 맞추어 잘라내는 영상절단부와 화각이 맞추어진 두 개의 영상을 입력 지시값에 따라 컨버전스(convergence) 제어 처리하여 출력하는 컨버전스 조절부를 포함할 수 있다.
다른 양상에 따르면, 영상절단부에서 화각이 맞추어진 두 개의 영상의 해상도를 상호간에 일치시켜 컨버전스 조절부로 출력하는 스케일링부를 더 포함할 수 있다.
컨버전스 조절부는 사용자로부터 입력된 지시값 또는 미리 설정된 지시값에 따라 화각이 맞추어진 두 개의 영상을 수평 이동하여 시차를 조정할 수 있다.
또 다른 양상에 따르면, 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 방법이 제시된다. 일 양상에 따르면, 입체 3D 영상 생성 방법은, 좌안 및 우안 영상에 대응되며, 서로 다른 해상도를 지원하는 두 대의 카메라 모듈로부터 각각 촬영된 두 개의 입력 영상을 입력받는 단계와 입력된 두 개의 영상 중 적어도 고해상도 카메라 모듈로부터 촬영된 입력 영상을 저해상도 카메라 모듈로부터 촬영된 입력 영상의 화각에 맞추어 잘라내는 단계와 화각이 맞추어진 두 개의 영상을 입력 지시값에 따라 컨버전스(convergence) 제어 처리하여 출력하는 단계를 포함할 수 있다.
또한, 화각이 맞추어진 두 개의 영상의 해상도를 상호 간에 일치시키는 단계를 포함할 수 있다.
또한, 사용자로부터 입력된 지시값 또는 미리 설정된 지시값에 따라 화각이 맞추어진 두 개의 영상을 수평 이동하여 시차를 조정할 수 있다.
서로 다른 해상도를 지원하는 비대칭 양안 카메라 모듈을 이용하여 입체 3D 영상을 생성할 수 있는 입체 3D 영상 생성 장치 및 그 방법을 제공할 수 있다. 또한, 서로 다른 해상도 즉, 고해상도와 저해상도를 지원하는 두 대의 카메라를 이용하여 입체 3D 영상을 생성할 수 있는 기술을 제시함으로써, 두 대 모두 고해상도의 카메라를 이용하는 경우 발생하는 단가 상승을 방지하여 입체 3D 영상 생성 비용을 절감할 수 있다.
도 1은 일 실시예에 따른 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 장치의 블럭도이다.
도 2는 일 실시예에 따라 입력된 영상의 해상도가 동일한 경우의 입체 3D 영상 생성 절차이다.
도 3은 일 실시예에 따라 입력된 영상의 해상도가 다른 경우의 입체 3D 영상 생성 절차이다.
도 4는 고해상도와 저해상도 카메라 모듈로부터 촬영된 영상의 절단 및 스케일링되어 해상도가 일치된 후의 양 영상을 나타낸 도면이다.
도 5는 도 4의 양 영상을 수평이동하여 안정적인 입체 영상을 생성하는 과정을 나타낸 도면이다.
도 6은 일 실시예에 따른 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 방법의 흐름도이다.
이하, 실시예들에 의해 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 장치 및 그 방법을 설명하기 위하여 도면들을 참고하여 상세히 설명한다.
도 1은 일 실시예에 따른 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 장치의 블럭도이다. 도 1을 참조하면, 일 실시예에 따른 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 장치(100)는, 제1 카메라 모듈(110), 제2 카메라 모듈(120), 영상절단부(130) 및 컨버전스 조절부(150)를 포함할 수 있다.
제1 카메라 모듈(110)과 제2 카메라 모듈(120)은 서로 다른 해상도를 가진 카메라 모듈이다. 예를 들어, 제1 카메라 모듈(110)은 상대적으로 고해상도인 8M의 해상도를 지원하고, 제2 카메라 모듈은 상대적으로 저해상도인 3M의 해상도를 지원하는 카메라 모듈일 수 있다. 일 실시예에 있어서, 제1 카메라 모듈(110)로부터 촬영된 영상은 제2 카메라 모듈(120)로 촬영된 영상에 비해 보다 넓은 화각을 가져 더 넓은 범위를 촬영할 수 있다. 그러나 본 발명은 이에 한정되지 않으며, 광학계의 조절이나 설계에 의해 두 영상이 동일한 화각을 가지거나 임의의 화각을 가지도록 할 수 있다. 한편, 두 대의 카메라 모듈이 서로 다른 해상도를 지원하더라도 출력되는 영상의 해상도는 서로 동일하게 하거나 다르게 출력되는 경우도 포함한다.
영상절단부(130)는 좌안 및 우안 영상에 대응되며, 서로 상이한 해상도를 지원하는 두 대의 카메라 모듈로부터 각각 촬영된 두 개의 영상이 입력된다. 일 실시예에 따른 영상절단부(130)는 입력된 두 개의 영상 중 적어도 고해상도 카메라 모듈(110)로부터 촬영된 영상을 저해상도 카메라 모듈(120)로부터 촬영된 입력 영상의 화각에 맞추어 잘라낸다.
이때, 서로 상이한 해상도를 지원하는 두 대의 카메라 모듈로부터 각각 촬영된 두 개의 영상은 앞서 말한 바와 같이, 고해상도를 지원하는 카메라 모듈(110)과, 저해상도를 지원하는 카메라 모듈(120)에서 각각 최대로 지원할 수 있는 해상도는 서로 상이하지만 각각 출력되는 영상의 해상도는 서로 일치되도록 하여 동일한 해상도의 영상을 출력할 수 있고, 반면에 촬영시 각 카메라 모듈이 지원하는 최대 해상도의 범위내에서 대상물체의 크기를 대략적으로 동일하게 하여 촬영하여 그 영상을 출력할 수 있다. 따라서, 영상절단부에 입력되는 각 카메라 모듈(110,120)로부터 입력된 영상은 해상도가 동일할 수 있고, 해상도는 다르나 물체의 사이즈가 대략적으로 동일할 수 있는 것이다.
컨버전스 조절부(150)는 화각이 맞추어진 두 개의 영상을 입력 지시값에 따라 컨버전스(convergence) 제어 처리하여 출력한다. 이때, 컨버전스 조절부(150)는 사용자로부터 입력된 지시값 또는 미리 설정된 지시값에 따라 화각이 맞추어진 두 개의 영상을 수평 이동하거나 수직이동하여 시차를 조정할 수 있다.
한편, 입체 3D 영상 생성 장치(100)는 스케일링부(140)를 더 포함할 수 있다. 종종, 화각이 동일한 영상이 반드시 해상도가 동일한 영상을 보장하는 것은 아니다. 스케일링부(140)는 영상절단부(130)에서 화각이 맞추어진 두 개의 영상의 해상도를 상호간에 일치시켜 컨버전스 조절부(150)로 출력할 수 있다.
도 2는 일 실시예에 따라 입력된 영상의 해상도가 동일한 경우의 입체 3D 영상 생성 절차를 나타낸 도면이다. 도 2에 도시된 바와 같이, 일 실시예에 따르면 고해상도 카메라 모듈(110)과 저해상도 카메라 모듈(120)의 출력 해상도를 동일하게 하여 영상을 각각 촬영하여 그 촬영된 영상이 입력된다. 즉, 서로 다른 화각을 갖는 두 대의 카메라, 즉 8M 고해상도 카메라 모듈(110)과 3M 저해상도 카메라 모듈(120)이 영상의 출력 해상도를 동일하게 하여 입체 3D 영상을 생성하고자 하는 대상 물체를 촬영하고 그 촬영된 각 영상들이 영상절단부(130)로 입력된다. 이때, 각 카메라 모듈(110,120)로부터 촬영되어 입력된 영상의 해상도가 동일하기 때문에 화각이 넓은 고해상도 카메라 모듈(110)로부터 입력된 영상의 대상 물체들은 저해상도 카메라 모듈(120)로부터 촬영된 영상의 동일한 대상 물체들보다 그 사이즈가 작게 된다.
이 경우, 영상절단부(130)는 먼저 화각이 넓은 고해상도 카메라 모듈(110)로부터 입력된 영상의 일부 즉, 저해상도 카메라 모듈(120)로부터 입력된 영상과 화각이 일치하는 부분을 절단(cropping)한다. 그리고, 컨버전스 조절부(150)는 화각이 일치된 양 영상의 컨버전스를 조절하여 입체 3D 영상을 생성하게 된다.
이때, 스케일링부(140)가 저해상도 카메라 모듈(120)로부터 입력된 영상의 화각에 맞추어 절단된 고해상도 카메라 모듈(110)로부터 입력된 영상의 일부분을 스케일링(scaling)하여 상대적으로 영상의 사이즈가 크게 된 저해상도 카메라 모듈(120)의 영상의 사이즈와 일치되도록 양 영상의 해상도를 일치시키는 것이 바람직하다. 그리고, 컨버전스 조절부(150)는 이렇게 화각과 해상도가 일치된 양 영상의 컨버전스를 조절하여 최종적인 입체 3D 영상을 생성하는 것이 바람직하다.
이렇게 하는 경우 동일한 fps(frame per second)를 통해 어느 한쪽 카메라 영상도 놓치지 않고 처리될 수 있다.
도 3은 일 실시예에 따라 입력된 영상의 해상도가 다른 경우의 입체 3D 영상 생성 절차이다. 도 3에 나타낸 바와 같이, 8M 고해상도 카메라 모듈(110)과 3M 저해상도 카메라 모듈(120)의 두 대의 카메라를 통해 입체 3D 영상을 생성하고자 하는 대상 물체의 사이즈가 대략적으로 일치되도록 촬영하는 경우에는 화각이 넓은 고해상도 카메라 모듈(110)로부터 촬영된 영상의 사이즈가 저해상도 카메라 모듈(120)로부터 촬영된 영상의 사이즈보다 크게 된다.
따라서, 입체 3D 영상을 생성하기 위해서 먼저, 영상절단부(130)는 저해상도 카메라 모듈(120)로부터 촬영되어 입력된 영상의 화각과 일치되는 고해상도 카메라 모듈(110)로부터 촬영된 영상의 일부분을 절단(cropping)한다.
그러면, 스케일링부(140)는 먼저, 고해상도 카메라 모듈(110)의 절단된 영상의 스케일링 여부를 판단한다. 왜냐하면, 고해상도 카메라 모듈(110)과 저해상도 카메라 모듈(120)을 통해 촬영된 각 영상들은 입체 3D 영상을 생성하고자 하는 대상 물체들의 사이즈가 대략적으로 일치되도록 촬영되었기 때문에 위에서 절단된 영상의 사이즈는 대략 저해상도 카메라 모듈로부터 촬영되어 입력된 영상과 동일하게 된다.
따라서, 절단된 고해상도 카메라 모듈의 영상과 저해상도 카메라 모듈의 영상의 사이즈가 동일하고 대상물체들의 사이즈가 대략 동일하기 때문에 스케일링할 필요가 없게 된다.
그러나, 대상 물체들의 사이즈를 대략적으로 일치하여 촬영하더라도 촬영된 영상의 대상 물체들의 크기에는 약간의 차이가 발생할 수 있다. 이 경우에는 스케일링부(140)는 양 영상의 해상도를 일치시키기 위해 스케일링을 수행하게 된다.
컨버전스 조절부(150)는 화각과 해상도가 맞추어진 두 개의 영상을 입력 지시값에 따라 컨버전스(convergence) 제어 처리하여 출력한다. 이때, 컨버전스 조절부(150)는, 사용자로부터 입력된 지시값 또는 미리 설정된 지시값에 따라 화각이 맞추어진 두 개의 영상을 수평 이동하거나 수직이동하여 시차를 조정하는 것이 바람직하다.
도 4와 도 5를 참조하여 좀 더 구체적으로 설명한다. 도 4는 고해상도와 저해상도 카메라 모듈로부터 촬영된 영상의 절단 및 스케일링되어 해상도가 일치된 후의 양 영상을 나타낸 도면이다. 도 5는 도 4의 양 영상을 수평이동하여 안정적인 입체 영상을 생성하는 과정을 나타낸 도면이다.
양안 입체 영상에서는 카메라 시스템을 구성하는 좌, 우 두 대의 양 카메라모듈이 동일한 대상물을 촬영하고 있어도, 사람의 눈과 같이 그 대상물은 약간의 수평적 차이를 가지고 촬영되는데 이때 발생하는 좌우 영상의 차이를 시차라 한다. 입체영상으로 촬영한 것을 사람의 눈으로 감지하여 두뇌에서 입체감을 재현할 때, 좌, 우 카메라 간격과 물체를 향한 좌,우 영상의 시차 크기에 따라 영상이 매칭되지 않는 경우 눈이 피로해지고 두통을 일으키는 등의 문제를 발생하게 된다.
만약, 한쪽 카메라로 두 장을 촬영하면 두 영상을 완전히 일치시킬 수 있으나 두 장의 이미지 간에 시차가 없으므로 입체감을 느낄 수 없게 된다. 그러나, 일정하게 이격되어 있는 양안 카메라로 임의의 지점을 촬영하는 경우에는 좌우 영상은 주시거리에 반비례하게 서로 겹쳐지지 않고 시차가 커지게 된다. 즉, 양안 카메라로 촬영한 두 영상 사이의 시차는 원거리에서 근거리로 갈수록 시차가 커지게 되는 특성을 갖는 것이다. 좌우 영상은 서로 닮은 영상이지만 원거리에 있는 물체와 근거리에 있는 물체들이 혼재한 형태이기 때문에 배경과 피사체들이 놓인 상태에 따라 일치점에 차이가 발생하게 된다.
따라서, 컨버전스 조절부(150)는 어느 하나의 기준이 되는 대상 물체 또는 주시하고자 하는 지점, 즉 depth 0인 지점을 중심으로 양 영상을 좌우 또는 상하로 이동시켜 주시하고자 하는 지점(depth 0인 지점)을 일치시켜 입체 3D 영상을 생성하게 된다. 이때, 주시점(Depth 0)은 사용자로부터 입력된 지시값에 따라 설정되거나 미리 화면 중앙의 지점을 주시점으로 설정하여 놓을 수 있다. 그리고, 컨버전스 조절부(150)는 이렇게 시차가 조정된 양 영상을 디스플레이한다.
도 4에 도시된 (a)는 양 영상 중 좌안에 대응되는 영상을 나타낸 것이고, (b)는 양 영상 중 우안에 대응되는 영상을 나타낸 것이다. (c)는 좌우 카메라 영상 간의 시차를 나타내기 위하여 하나의 평면에 (a)와 (b)의 좌안 영상과 우안 영상을 겹쳐 놓은 것이다.
좌안 영상에서 동일한 부분의 도 4의 (c)에 있는 영상 내의 모든 물체의 이미지는 시차가 양의 성분을 가진다. 즉, 카메라의 특성에 따라 수렴(convergence)이 되는 점이 존재하지 않거나, 또는 수렴(convergence)이 되는 점이 화면 밖에 존재한다고 말할 수 있다.
도 4의 (c)와 같은 영상을 3D 스테레오 디스플레이에 표시하면, 영상 내의 모든 물체의 이미지가 화면 밖으로 나와 있는 것처럼 보이게 된다. 이런 형태의 시차 즉, 깊이감이 나타나면 사용자는 피로감을 느끼게 되며 영상의 입체적인 효과도 떨어진다.
도 5에 도시된 (a)는 도 4의 (a)의 영상을 우측으로 이동한 것을 나타내며, 도 5의 (b)는 도 4의 (b)의 영상을 좌측으로 이동한 것을 나타낸다. 도 5의 (c)는 도 5의 (a)와 (b)의 영상을 3D 스테레오 디스플레이에 합성한 것을 나타낸다.
도 5의 (c)를 참조하면, 도 4의 (c)에 비하여, 영상 전체의 시차가 감소하여, 영상의 일부 물체 151은 시차가 음의 성분(negative disparity)을 가지게 된다. 즉 영상의 일부 물체 151은 음의 깊이감(negative depth)를 가지게 되어, 물체 151이 화면 안쪽으로 들어가 있는 것처럼 보인다. 그리고, 물체 154는 시차가 0의 값을 가지는 수렴점(depth 0)이 되어 화면과 같은 깊이(depth)를 가지게 된다. 또한, 물체 152, 153은 시차가 양의 성분을 가지게 되어 영상이 화면 앞으로 나와 있는 것처럼 보인다. 도 5의 (c)와 같이 좌안 영상과 우안 영상을 합성하게 되면, 도 4의 (c)의 영상에 비하여 전체 영상 내의 물체들이 다양한 깊이감을 가지게 되어 사용자에게 안정적인 입체 영상을 제공하여 사용자가 더 많은 입체감을 느낄 수 있게 된다.
도 6는 본 발명의 바람직한 실시예에 따른 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 방법의 흐름도이다.
도 6에 나타낸 바와 같이 본 발명의 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 방법은, 먼저, 좌안 및 우안 영상에 대응되며, 서로 다른 해상도를 지원하는 두 대의 카메라 모듈로부터 각각 촬영된 두 개의 입력 영상을 입력받는다(단계 S100).
예를 들어, 제1 카메라 모듈(110)은 상대적으로 고해상도인 8M의 해상도를 지원하고, 제2 카메라 모듈은 상대적으로 저해상도인 3M의 해상도를 지원하는 카메라 모듈일 수 있다. 다만, 두 대의 카메라 모듈이 서로 다른 해상도를 지원하더라도 촬영되어 출력되는 영상의 해상도는 서로 동일하거나 다르게 출력되도록 설정할 수 있다.
두 대의 카메라 모듈 중 어느 하나를 상대적으로 저해상도를 지원하는 카메라 모듈을 사용하는 경우 양안 카메라 제작시 단가 상승을 방지할 수 있다.
그 다음, 입력된 양 영상을 화각과 해상도를 일치시킨다(단계 S200).
즉, 좀 더 구체적으로 보면, 먼저, 입력된 두 개의 영상 중 적어도 고해상도 카메라 모듈로부터 촬영된 입력 영상을 저해상도 카메라 모듈로부터 촬영된 입력 영상의 화각에 맞추어 잘라낸다(단계 S210).
그 다음, 화각이 맞추어진 두 개의 영상의 해상도를 상호 간에 일치시키는 것이 바람직하다(단계 S220).
마지막으로, 화각이 맞추어진 두 개의 영상을 입력 지시값에 따라 컨버전스(convergence) 제어 처리하여 출력한다(단계 S300).
도 2를 참조하여 입력된 영상의 해상도가 동일한 경우의 입체 3D 영상 생성 절차를 보면, 고해상도 카메라 모듈(110)과 저해상도 카메라 모듈(120)의 출력 해상도를 동일하게 하여 영상을 각각 촬영하여 그 촬영된 영상이 입력되도록 할 수 있다. 즉, 서로 다른 화각을 갖는 두 대의 카메라, 즉 8M 고해상도 카메라 모듈(110)과 3M 저해상도 카메라 모듈(120)이 영상의 출력 해상도를 동일하게 하여 입체 3D 영상을 생성하고자 하는 대상 물체를 촬영하고 그 촬영된 각 영상들이 입력된다. 이때, 각 카메라 모듈(110,120)로부터 촬영되어 입력된 영상의 해상도가 동일하기 때문에 화각이 넓은 고해상도 카메라 모듈(110)로부터 입력된 영상의 대상 물체들은 저해상도 카메라 모듈(120)로부터 촬영된 영상의 동일한 대상 물체들보다 그 사이즈가 작게 된다.
이 경우, 영상절단부(130)는 먼저 화각이 넓은 고해상도 카메라 모듈(110)로부터 입력된 영상의 일부 즉, 저해상도 카메라 모듈(120)로부터 입력된 영상과 화각이 일치하는 부분을 절단(cropping)한다. 그리고, 컨버전스 조절부(150)는 화각이 일치된 양 영상의 컨버전스를 조절하여 입체 3D 영상을 생성하게 된다.
한편, 스케일링부(140)가 저해상도 카메라 모듈(120)로부터 입력된 영상의 화각에 맞추어 절단된 고해상도 카메라 모듈(110)로부터 입력된 영상의 일부분을 스케일링(scaling)하여 상대적으로 영상의 사이즈가 크게 된 저해상도 카메라 모듈(120)의 영상의 사이즈와 일치되도록 양 영상의 해상도를 일치시키는 것이 바람직하다.
그리고, 컨버전스 조절부(150)는 이렇게 화각과 해상도가 일치된 양 영상의 컨버전스를 조절하여 최종적인 입체 3D 영상을 생성하는 것이 바람직하다.
이렇게 하는 경우 동일한 fps(frame per second)를 통해 어느 한쪽 카메라 영상도 놓치지 않고 처리할 수 있다.
도 3은 일 실시예에 따라 입력된 영상의 해상도가 다른 경우의 입체 3D 영상 생성 절차이다. 도 3에 나타낸 바와 같이, 8M 고해상도 카메라 모듈(110)과 3M 저해상도 카메라 모듈(120)의 두 대의 카메라를 통해 입체 3D 영상을 생성하고자 하는 대상 물체의 사이즈가 대략적으로 일치되도록 촬영하는 경우에는 화각이 넓은 고해상도 카메라 모듈(110)로부터 촬영된 영상의 사이즈가 저해상도 카메라 모듈(120)로부터 촬영된 영상의 사이즈보다 크게 된다.
따라서, 입체 3D 영상을 생성하기 위해서 먼저, 영상절단부(130)는 저해상도 카메라 모듈(120)로부터 촬영되어 입력된 영상의 화각과 일치되는 고해상도 카메라 모듈(110)로부터 촬영된 영상의 일부분을 절단(cropping)한다.
그러면, 스케일링부(140)는 먼저, 고해상도 카메라 모듈(110)의 절단된 영상의 스케일링 여부를 판단한다. 왜냐하면, 고해상도 카메라 모듈(110)과 저해상도 카메라 모듈(120)을 통해 촬영된 각 영상들은 입체 3D 영상을 생성하고자 하는 대상 물체들의 사이즈가 대략적으로 일치되도록 촬영되었기 때문에 위에서 절단된 영상의 사이즈는 대략 저해상도 카메라 모듈로부터 촬영되어 입력된 영상과 동일하게 된다.
따라서, 절단된 고해상도 카메라 모듈의 영상과 저해상도 카메라 모듈의 영상의 사이즈가 동일하고 대상물체들의 사이즈가 대략 동일하기 때문에 스케일링할 필요가 없게 된다.
그러나, 대상 물체들의 사이즈를 대략적으로 일치하여 촬영하더라도 촬영된 영상의 대상 물체들의 크기에는 약간의 차이가 발생할 수 있다. 이 경우에는 스케일링부(140)는 양 영상의 해상도를 일치시키기 위해 스케일링을 수행하게 된다.
그 다음, 화각이 맞추어진 두 개의 영상을 입력 지시값에 따라 컨버전스(convergence) 제어 처리하여 출력한다(단계 S300). 이때, 입력 지시값은 양 영상이 촬영된 후 주시점(주시하고자 하는 어느 한 지점, 즉, depth 0)을 입력받거나 미리 화면 중앙 또는 특정 지점을 주시점으로 설정할 수 있다.
이때, 컨버전스 조절부(150)는 사용자로부터 입력된 지시값 또는 미리 설정된 지시값에 따라 화각이 맞추어진 두 개의 영상을 수평 이동하여 시차를 조정하는 것이 바람직하다.
도 4와 도 5를 참조하여 좀 더 구체적으로 설명한다. 도 4는 고해상도와 저해상도 카메라 모듈로부터 촬영된 영상의 절단 및 스케일링되어 해상도가 일치된 후의 양 영상을 나타낸 도면이다. 도 5는 도 4의 양 영상을 수평이동하여 안정적인 입체 영상을 생성하는 과정을 나타낸 도면이다.
도 4에 도시된 (a)는 양 영상 중 좌안에 대응되는 영상을 나타낸 것이고, (b)는 양 영상 중 우안에 대응되는 영상을 나타낸 것이다. (c)는 좌우 카메라 영상 간의 시차를 나타내기 위하여 하나의 평면에 (a)와 (b)의 좌안 영상과 우안 영상을 겹쳐 놓은 것이다.
좌안 영상에서 동일한 부분의 도 4의 (c)에 있는 영상 내의 모든 물체의 이미지는 시차가 양의 성분을 가진다. 즉, 카메라의 특성에 따라 수렴(convergence)이 되는 점이 존재하지 않거나, 또는 수렴(convergence)이 되는 점이 화면 밖에 존재한다고 말할 수 있다. 도 4의 (c)와 같은 영상을 3D 스테레오 디스플레이에 표시하면, 영상 내의 모든 물체의 이미지가 화면 밖으로 나와 있는 것처럼 보이게 된다. 이런 형태의 시차 즉, 깊이감이 나타나면 사용자는 피로감을 느끼게 되며 영상의 입체적인 효과도 떨어진다.
도 5에 도시된 (a)는 도 4의 (a)의 영상을 우측으로 이동한 것을 나타내며, 도 5의 (b)는 도 4의 (b)의 영상을 좌측으로 이동한 것을 나타낸다. 도 5의 (c)는 도 5의 (a)와 (b)의 영상을 3D 스테레오 디스플레이에 합성한 것을 나타낸다.
도 5의 (c)를 참조하면, 도 4의 (c)에 비하여, 영상 전체의 시차가 감소하여, 영상의 일부 물체 151은 시차가 음의 성분(negative disparity)을 가지게 된다. 즉 영상의 일부 물체 151은 음의 깊이감(negative depth)를 가지게 되어, 물체 151이 화면 안쪽으로 들어가 있는 것처럼 보인다. 그리고, 물체 154는 시차가 0의 값을 가지는 수렴점(depth 0)이 되어 화면과 같은 깊이(depth)를 가지게 된다. 또한, 물체 152, 153은 시차가 양의 성분을 가지게 되어 영상이 화면 앞으로 나와 있는 것처럼 보인다. 도 5의 (c)와 같이 좌안 영상과 우안 영상을 합성하게 되면, 도 4의 (c)의 영상에 비하여 전체 영상 내의 물체들이 다양한 깊이감을 가지게 되어 사용자에게 안정적인 입체 영상을 제공하여 사용자가 더 많은 입체감을 느낄 수 있게 된다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 입체 3D 영상 생성 장치 110: 제1 카메라 모듈
120: 제2 카메라 모듈 130: 영상절단부
140: 스케일링부 150: 컨버전스 조절부

Claims (6)

  1. 좌안 및 우안 영상에 대응되며, 서로 다른 해상도를 지원하는 두 대의 카메라 모듈로부터 각각 촬영된 두 개의 영상이 입력되며, 입력된 두 개의 영상 중 적어도 고해상도 카메라 모듈로부터 촬영된 입력 영상을 저해상도 카메라 모듈로부터 촬영된 입력 영상의 화각에 맞추어 잘라내는 영상절단부; 및
    상기 화각이 맞추어진 두 개의 영상을 입력 지시값에 따라 컨버전스(convergence) 제어 처리하여 출력하는 컨버전스 조절부;를 포함하는 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 장치.
  2. 제1항에 있어서,
    상기 영상절단부에서 화각이 맞추어진 두 개의 영상의 해상도를 상호간에 일치시켜 컨버전스 조절부로 출력하는 스케일링부;를 더 포함하는 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 장치.
  3. 제1항 또는 제2항에 있어서, 상기 컨버전스 조절부는,
    사용자로부터 입력된 지시값 또는 미리 설정된 지시값에 따라 상기 화각이 맞추어진 두 개의 영상을 수평 이동하여 시차를 조정하는 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 장치.
  4. 입체 3D 영상 생성 방법에 있어서,
    좌안 및 우안 영상에 대응되며, 서로 다른 해상도를 지원하는 두 대의 카메라 모듈로부터 각각 촬영된 두 개의 입력 영상을 입력받는 영상 입력 단계;
    상기 입력된 두 개의 영상 중 적어도 고해상도 카메라 모듈로부터 촬영된 입력 영상을 저해상도 카메라 모듈로부터 촬영된 입력 영상의 화각에 맞추어 잘라내는 영상 절단 단계; 및
    상기 화각이 맞추어진 두 개의 영상을 입력 지시값에 따라 컨버전스(convergence) 제어 처리하여 출력하는 컨버전스 조절 단계;를 포함하는 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 방법.
  5. 제4항에 있어서, 상기 영상 절단 단계는,
    상기 화각이 맞추어진 두 개의 영상의 해상도를 상호 간에 일치시키는 단계를 포함하는 것을 특징으로 하는 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 방법.
  6. 제4항 또는 제5항에 있어서, 상기 컨버전스 조절 단계는,
    사용자로부터 입력된 지시값 또는 미리 설정된 지시값에 따라 상기 화각이 맞추어진 두 개의 영상을 수평 이동하여 시차를 조정하는 비대칭 양안 카메라 모듈을 이용한 입체 3D 영상 생성 방법.
KR1020110052500A 2011-05-31 2011-05-31 비대칭 양안 카메라 모듈을 이용한 입체 3d 영상 생성 장치 및 그 방법 KR20120133710A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110052500A KR20120133710A (ko) 2011-05-31 2011-05-31 비대칭 양안 카메라 모듈을 이용한 입체 3d 영상 생성 장치 및 그 방법
PCT/KR2011/006801 WO2012165717A1 (ko) 2011-05-31 2011-09-15 비대칭 양안 카메라 모듈을 이용한 입체 3d 영상 생성 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110052500A KR20120133710A (ko) 2011-05-31 2011-05-31 비대칭 양안 카메라 모듈을 이용한 입체 3d 영상 생성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20120133710A true KR20120133710A (ko) 2012-12-11

Family

ID=47259539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110052500A KR20120133710A (ko) 2011-05-31 2011-05-31 비대칭 양안 카메라 모듈을 이용한 입체 3d 영상 생성 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR20120133710A (ko)
WO (1) WO2012165717A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014093769A1 (en) * 2012-12-14 2014-06-19 Digitalglobe, Inc. Dual-q imaging system
US10200705B2 (en) 2015-11-27 2019-02-05 Samsung Electronics Co., Ltd. Electronic device and operating method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927757B (zh) * 2014-04-30 2016-08-17 重庆环视高科技有限公司 基于分级采样的目标物体立体视觉三维分析处理方法
FR3048515B1 (fr) 2016-03-03 2018-06-22 Stereolabs Appareil de prise de vue stereoscopique

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100653965B1 (ko) * 2005-08-01 2006-12-05 심재용 휴대용 단말기의 서로 다른 카메라를 이용한 3차원입체영상 처리 장치
KR101181532B1 (ko) * 2005-12-13 2012-09-10 엘지이노텍 주식회사 다중 카메라 모듈을 장착한 카메라
KR100735447B1 (ko) * 2005-12-20 2007-07-04 삼성전기주식회사 휴대용 단말기용 스테레오 카메라 모듈

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014093769A1 (en) * 2012-12-14 2014-06-19 Digitalglobe, Inc. Dual-q imaging system
US10200705B2 (en) 2015-11-27 2019-02-05 Samsung Electronics Co., Ltd. Electronic device and operating method thereof

Also Published As

Publication number Publication date
WO2012165717A1 (ko) 2012-12-06

Similar Documents

Publication Publication Date Title
US9872007B2 (en) Controlling light sources of a directional backlight
US10523919B2 (en) Apparatus and method for adjusting stereoscopic image parallax and stereo camera
TWI504232B (zh) 3d影像處理裝置
JP2012142922A (ja) 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
CN108632599B (zh) 一种vr图像的显示控制系统及其显示控制方法
TWI478575B (zh) 3d影像處理裝置
KR20120133710A (ko) 비대칭 양안 카메라 모듈을 이용한 입체 3d 영상 생성 장치 및 그 방법
US9258546B2 (en) Three-dimensional imaging system and image reproducing method thereof
TWI589150B (zh) 3d自動對焦顯示方法及其系統
US9225960B2 (en) Apparatus and method for attenuating stereoscopic sense of stereoscopic image
KR101165764B1 (ko) Eye-tracking을 이용한 컨버전스 자동 조절 장치 및 그 방법
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법
WO2011086932A1 (ja) 立体映像表示装置
KR101747929B1 (ko) 입체영상의 화질을 개선하기 위한 장치 및 방법
JP2012109725A (ja) 立体映像処理装置および立体映像処理方法
JP5838775B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
KR102306775B1 (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
KR101429234B1 (ko) 스케일러를 이용한 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라
KR20110137179A (ko) 스테레오 카메라의 주시각 제어 장치 및 그가 구비된 3차원 영상 처리 시스템
JP2015029215A (ja) 立体画像処理装置
WO2023230724A1 (en) Viewer-adjusted stereoscopic image display from cameras sharing a common portion of their field of view
JP5501150B2 (ja) 表示装置及びその制御方法
US20120320041A1 (en) Stereoscopic Display Apparatus and Stereoscopic Display Method
JP2012075055A (ja) 立体画像表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application