KR100915039B1

KR100915039B1 - 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법및 변환 장치와 이를 위한 기록매체

Info

Publication number: KR100915039B1
Application number: KR1020070102801A
Authority: KR
Inventors: 최명렬
Original assignee: 최명렬
Priority date: 2007-10-11
Filing date: 2007-10-11
Publication date: 2009-09-02
Also published as: KR20090037247A

Abstract

본 발명은 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법 및 변환 장치와 이를 위한 기록매체에 관한 것으로서, 본 발명에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법은, 2차원 영상에 대한 N(N>1)개의 초점위치와 초점수를 결정하는 단계와, 상기 결정된 N(N>1)개의 초점위치와 초점수에 대응하는 N(N>1)개 다중 초점 2차원 영상 데이터가 획득되면, 상기 N(N>1)개 다중 초점 2차원 영상 데이터에 대한 N(N>1)개의 초점거리를 연산하는 단계와, 상기 연산된 N(N>1)개의 초점거리에 반비례하는 N(N>1)개의 깊이값을 연산하는 단계와, N(N>1)개의 깊이값에 따라 N(N>1)개 다중 초점 2차원 영상 데이터를 합성하는 단계와, 상기 N(N>1)개 다중 초점 2차원 영상 데이터 중, 영시차(Zero Parallax) 영상 데이터와 양시차(Positive Parallax) 영상 데이터와 음시차(Negative Parallax) 영상 데이터를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 양시차 영상 데이터에 대한 시차각을 기반으로 양시차 방향 픽셀 이동 정보를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 음시차 영상 데이터에 대한 시차각을 기반으로 음시차 방향 픽셀 이동 정보를 확인하는 단계 및 상기 확인된 양시차 방향 픽셀 이동 정보를 적어도 하나 이상의 양시차 영상 데이터에 적용하고, 상기 확인된 음시차 방향 픽셀 이동 정보를 적어도 하나 이상의 음시차 영상 데이터에 적용하여 좌안 영상 데이터와 우안 영상 데이터를 생성하는 단계를 포함한다.

Description

다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법 및 변환 장치와 이를 위한 기록매체{Method and Device for Transformation from Multi Focused 2D Image to 3D Image, and Recording Media}

본 발명은 2차원 영상에 대한 N(N>1)개의 초점위치와 초점수를 결정하는 단계와, 상기 결정된 N(N>1)개의 초점위치와 초점수에 대응하는 N(N>1)개 다중 초점 2차원 영상 데이터가 획득되면, 상기 N(N>1)개 다중 초점 2차원 영상 데이터에 대한 N(N>1)개의 초점거리를 연산하는 단계와, 상기 연산된 N(N>1)개의 초점거리에 반비례하는 N(N>1)개의 깊이값을 연산하는 단계와, N(N>1)개의 깊이값에 따라 N(N>1)개 다중 초점 2차원 영상 데이터를 합성하는 단계와, 상기 N(N>1)개 다중 초점 2차원 영상 데이터 중, 영시차(Zero Parallax) 영상 데이터와 양시차(Positive Parallax) 영상 데이터와 음시차(Negative Parallax) 영상 데이터를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 양시차 영상 데이터에 대한 시차각을 기반으로 양시차 방향 픽셀 이동 정보를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 음시차 영상 데이터에 대한 시차각을 기반으로 음시차 방향 픽셀 이동 정보를 확인하는 단계 및 상기 확인된 양시차 방향 픽셀 이동 정보를 적어도 하나 이상의 양시차 영상 데이터에 적용하고, 상기 확인된 음시차 방향 픽셀 이동 정보를 적어도 하나 이상의 음시차 영상 데이터에 적용하여 좌안 영상 데이터와 우안 영상 데이터를 생성하는 단계를 포함하는 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법에 관한 것이다.

2차원 영상에서 3차원 입체 영상으로 변환하는 방법에는 기존의 2차원 영상을 3차원 입체영상으로 변환하는 방법과, 3차원 입체 영상을 위해 촬영된 2차원 영상을 3차원 입체 영상으로 변환하는 방법으로 구분될 수 있다.

여기서, 기존의 2차원 영상을 3차원 입체영상으로 변환하는 방법은, 단일 렌즈로 촬영된 2차원 영상(또는 블록단위 영상)을 이미지 프로세싱을 통해 선명도를 보정하고, 상기 2차원 영상을 시차 처리를 위해 좌우로 일정 크기만큼 픽셀을 이동하여 3차원 입체 영상으로 변환하는 방법이 일반적으로 사용된다.

그러나, 상기 2차원 영상을 3차원 입체영상으로 변환하는 방법은, 초점거리(또는 깊이값)를 고려하지 않고 전체 2차원 영상(또는 블록단위 영상)을 좌우로 일정 크기만큼 픽셀을 이동하여 3차원 입체 영상으로 변환하기 때문에 3차원 입체 영상을 감상하는 관람자에게 심한 어지러움증을 유발하는 문제점을 포함하고 있다.

또한, 3차원 입체 영상을 위해 촬영된 2차원 영상을 3차원 입체 영상으로 변환하는 방법은, 2개의 카메라(Stereoscopic Camera) 또는 2개의 렌즈(Stereoscopic Lens)를 통해 하나의 피사체에 대한 2개의 영상을 촬영하고, 상기 촬영된 2개의 영상을 3차원 입체 영상으로 변환하는 방법이 일반적으로 사용된다.

그러나, 상기 3차원 입체 영상을 위해 촬영된 2차원 영상을 3차원 입체 영상으로 변환하는 방법은, 고가의 카메라(또는 렌즈)를 필요로 하기 때문에, 일반 디지털 카메라(또는 비디오 카메라)에 구비되기에 난해한 문제점을 포함하고 있다.

상기 문제점을 해결하기 위한 본 발명의 목적은, 2차원 영상에 대한 N(N>1)개의 초점위치와 초점수를 결정하는 초점수 결정부와, N(N>1)개의 초점위치에 대하여 N(N>1)개의 초점수만큼 다중 초점을 제어하는 초점 제어부와, 상기 초점제어에 의해 N(N>1)개 다중 초점 2차원 영상 데이터를 획득하는 영상 획득부와, N(N>1)개 다중 초점 2차원 영상 데이터에 대한 N(N>1)개의 초점거리를 연산하는 초점거리 연산부와, 상기 연산된 N(N>1)개의 초점거리에 반비례하는 N(N>1)개의 깊이값을 연산하는 깊이값 연산부와, N(N>1)개의 깊이값에 따라 N(N>1)개 다중 초점 2차원 영상 데이터를 합성하는 깊이값 영상 합성부와, N(N>1)개 다중 초점 2차원 영상 데이터 중, 영시차(Zero Parallax) 영상 데이터와 양시차(Positive Parallax) 영상 데이터와 음시차(Negative Parallax) 영상 데이터를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 양시차 영상 데이터에 대한 시차각을 기반으로 양시차 방향 픽셀 이동 정보를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 음시차 영상 데이터에 대한 시차각을 기반으로 음시차 방향 픽셀 이동 정보를 확인하는 시차정보 확인부 및 상기 확인된 양시차 방향 픽셀 이동 정보를 적어도 하나 이상의 양시차 영상 데이터에 적용하고, 상기 확인된 음시차 방향 픽셀 이동 정보를 적어도 하나 이상의 음시차 영상 데이터에 적용하여 좌안 영상 데이터와 우안 영상 데이터를 생성하는 좌우 영상 생성부를 구비하는 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치를 제공함에 있다.

본 발명에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법은, 2차원 영상에 대한 N(N>1)개의 초점위치와 초점수를 결정하는 단계와, 상기 결정된 N(N>1)개의 초점위치와 초점수에 대응하는 N(N>1)개 다중 초점 2차원 영상 데이터가 획득되면, 상기 N(N>1)개 다중 초점 2차원 영상 데이터에 대한 N(N>1)개의 초점거리를 연산하는 단계와, 상기 연산된 N(N>1)개의 초점거리에 반비례하는 N(N>1)개의 깊이값을 연산하는 단계와, N(N>1)개의 깊이값에 따라 N(N>1)개 다중 초점 2차원 영상 데이터를 합성하는 단계와, 상기 N(N>1)개 다중 초점 2차원 영상 데이터 중, 영시차(Zero Parallax) 영상 데이터와 양시차(Positive Parallax) 영상 데이터와 음시차(Negative Parallax) 영상 데이터를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 양시차 영상 데이터에 대한 시차각을 기반으로 양시차 방향 픽셀 이동 정보를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 음시차 영상 데이터에 대한 시차각을 기반으로 음시차 방향 픽셀 이동 정보를 확인하는 단계 및 상기 확인된 양시차 방향 픽셀 이동 정보를 적어도 하나 이상의 양시차 영상 데이터에 적용하고, 상기 확인된 음시차 방향 픽셀 이동 정보를 적어도 하나 이상의 음시차 영상 데이터에 적용하여 좌안 영상 데이터와 우안 영상 데이터를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법은, 상기 결정된 N(N>1)개의 초점위치와 초점수에 대응하는 N(N>1)개 다중 초점 2차원 영상 데이터가 획득되면, 상기 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 기 설정된 변환 크기(또는 해상도)로 변환하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법은, N(N>1)개의 2차원 영상 데이터의 초점위치가 시선방향에 따라 정렬되도록 중첩하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법은, 상기 좌안 영상 데이터와 우안 영상 데이터에 대응하는 시차각 정보와 초점거리 정보를 기반으로 상기 좌우 영상 데이터에 대한 수평 방향 왜곡을 수정하는 축소비율을 산출하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.

한편, 상기 전술한 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법을 실행하는 프로그램을 기록한 기록매체를 포함한다.

한편, 본 발명에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치는, 2차원 영상에 대한 N(N>1)개의 초점위치와 초점수를 결정하는 초점수 결정부와, N(N>1)개의 초점위치에 대하여 N(N>1)개의 초점수만큼 다중 초점을 제어하는 초점 제어부와, 상기 초점제어에 의해 N(N>1)개 다중 초점 2차원 영상 데이터를 획득하는 영상 획득부와, N(N>1)개 다중 초점 2차원 영상 데이터에 대한 N(N>1)개의 초점거리를 연산하는 초점거리 연산부와, 상기 연산된 N(N>1)개의 초점거리에 반비례하는 N(N>1)개의 깊이값을 연산하는 깊이값 연산부와, N(N>1)개의 깊이값에 따라 N(N>1)개 다중 초점 2차원 영상 데이터를 합성하는 깊이값 영상 합성부와, N(N>1)개 다중 초점 2차원 영상 데이터 중, 영시차(Zero Parallax) 영상 데이터와 양시차(Positive Parallax) 영상 데이터와 음시차(Negative Parallax) 영상 데이터를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 양시차 영상 데이터에 대한 시차각을 기반으로 양시차 방향 픽셀 이동 정보를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 음시차 영상 데이터에 대한 시차각을 기반으로 음시차 방향 픽셀 이동 정보를 확인하는 시차정보 확인부 및 상기 확인된 양시차 방향 픽셀 이동 정보를 적어도 하나 이상의 양시차 영상 데이터에 적용하고, 상기 확인된 음시차 방향 픽셀 이동 정보를 적어도 하나 이상의 음시차 영상 데이터에 적용하여 좌안 영상 데이터와 우안 영상 데이터를 생성하는 좌우 영상 생성부를 구비하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치는, 상기 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 기 설정된 변환 크기(또는 해상도)로 변환하는 입력영상 축소부를 더 구비하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치는, N(N>1)개의 2차원 영상 데이터의 초점위치가 시선방향에 따라 정렬되도록 중첩하는 초점중첩 처리부를 더 구비하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치는, 상기 좌안 영상 데이터와 우안 영상 데이터에 대응하는 시차각 정보와 초점거리 정보를 기반으로 상기 좌우 영상 데이터에 대한 수평 방향 왜곡을 수정하는 축소비율을 산출하는 축소비율 산출부를 더 구비하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치에 있어서, 상기 초점수 결정부는, 2차원 영상 데이터에 포함된 N(N>1)개의 객체에 대한 패턴 인식(또는 이미지 인식)을 통해 상기 2차원 영상 데이터에 N(N>1)개의 객체-사람, 동물, 물건과 같이 배경(또는 다른 객체)와 구분되는 경계를 포함하는 피사체-가 포함되어 있는지 확인하고, 상기 확인결과 N(N>1)개의 객체가 확인되면, 상기 확인된 객체의 중심위치를 N(N>1)개의 초점위치로 결정하고, 상기 확인결과 객체가 확인되지 않으면, 상기 2차원 영상 데이터를 상하 방향(또는 좌우 방향, 또는 격자 방향)으로 N(N>1)개의 초점영역으로 구분하고, 상기 구분된 초점영역의 중심위치를 N(N>1)개의 초점위치로 결정하는 것을 특징으로 한다.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성요소와 본 발명을 위해 추가된 구성요소 사이의 관계도 명백하게 이해할 수 있을 것이다.

또한, 이하 실시예는 본 발명의 핵심적인 기술적 특징을 효율적으로 설명하기 위해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 명백하게 이해할 수 있도록 용어를 적절하게 변형, 또는 통합, 또는 분리하여 사용할 것이나, 이에 의해 본 발명이 한정되는 것은 결코 아니다.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.

도면1는 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치 구성을 도시한 도면이다.

보다 상세하게 본 도면1는 자동초점 제어 기능을 구비한 디지털 카메라(또는 비디오 카메라)에 있어서, 동일한 피사체에 대하여 서로 다른 초점거리를 갖는 복수개의 2차원 영상을 촬영하고, 상기 촬영된 복수개의 2차원 영상에 대한 초점거리와 깊이값을 기반으로 좌안과 우안에 대응하는 좌/우 영상을 생성하여 3차원 입체 영상으로 변환하는 장치 구성에 대한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1를 참조 및/또는 변형하여 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치 구성에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

예컨대, 본 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치 실시예는 하나의 렌즈로 2차원 영상을 촬영하며, 상기 2차원 영상에 대한 자동초점 제어 기능을 구비한 디지털 카메라(또는 비디오 카메라)에 구비되는 것으로 도시하여 설명하지만, 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치가 본 도면1에 도시된 실시예로 한정되는 것은 아니며, 당업자의 의도에 따라 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치는 상기 디지털 카메라(또는 비디오 카메라)와 연결된 외부 장치 형태로 구현되거나, 또는 상기 디지털 카메라(또는 비디오 카메라)와 통신망을 통해 연결된 장치(또는 서버) 형태로 구현되는 것이 모두 가능하며, 이에 의해 본 발명이 한정되지 아니함을 명백하게 밝혀두는 바이다.

일반적으로 하나의 렌즈로 2차원 영상을 촬영하는 디지털 카메라(또는 비디오 카메라)는, 상기 디지털 카메라(또는 비디오 카메라)를 동작을 제어하거나, 또는 상기 디지털 카메라(또는 비디오 카메라)를 통해 2차원 영상을 촬영하기 위한 키 데이터를 발생시키는 키 입력부(175)와, 상기 2차원 영상을 촬영하기 위한 키 데이터에 대응하여 하나의 렌즈를 통해 피사체에 대한 2차원 영상을 촬영하는 영상 촬영부(150)와, CCD(Charge Coupled Device)를 통해 상기 영상 촬영부(150)가 촬영한 2차원 영상에 대응하는 2차원 영상 데이터를 획득하는 영상 획득부(165)와, 상기 디지털 카메라(또는 비디오 카메라)에 대한 각종 제어 화면, 또는 상기 영상 획득부(165)를 통해 획득된 2차원 영상 데이터를 출력하는 화면 출력부(180)와, 상기 촬영된 2차원 영상 데이터를 저장하는 저장매체(183)를 구비하여 이루어지는 것을 특징으로 하며, 상기 2차원 영상에 대한 자동초점 기능을 제어하는 초점 제어부(155)를 더 구비하여 이루어지는 것을 특징으로 한다.

본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 자동초점 기능을 통해 2차원 영상을 촬영하는 상기 디지털 카메라(또는 비디오 카메라) 구성에 대한 기술적 특징을 기 숙지하고 있을 것이므로, 이에 대한 상세한 설명은 편의상 생략한다.

본 발명에 따르면, 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위해 상기 영상 촬영부(150)는 고속 촬영 기능을 구비하여 이루어지는 것을 특징으로 하며, 상기 영상 획득부(165)의 CCD 감도는 상기 고속 촬영에 용이하도록 높은 것을 특징으로 하며, 상기 초점 제어부(155)는 상기 고속 촬영에 용이하도록 상기 영상 촬영부(150)의 초점을 고속으로 제어하는 것을 특징으로 한다.

도면1를 참조하면, 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치는, 상기 영상 촬영부(150)에 의해 촬영되어, 상기 영상 획득부(165)를 통해 획득되는 미리보기 영상 데이터를 판독하여 상기 영상 촬영부(150)를 통해 촬영되는 피사체에 대한 적어도 하나 이상의 초점위치 정보와 초점수 정보를 결정하는 초점정보 결정부(160)와, 상기 결정된 초점수에 따라 상기 결정된 초점위치를 자동으로 초점하도록 제어하는 초점 제어부(155)와, 상기 초점 제어부(155)의 제어에 따라 상기 피사체의 초점위치를 상기 초점수 만큼 자동 초점하여 복수개의 다중 초점 2차원 영상을 촬영하는 영상 촬영부(150)와, 상기 영상 촬영부(150)에 의해 촬영된 다중 초점 2차원 영상에 대응하는 복수개의 다중 초점 2차원 영상 데이터를 획득하는 영상 획득부(165)를 구비하여 이루어지는 것을 특징으로 하며, 당업자의 의도에 따라 상기 촬영된 복수개의 다중 초점 2차원 영상 데이터를 저장매체(183)에 저장하는 원시 영상 저장부(170)를 더 구비하여 이루어진 2D 영상 촬영 모듈(145)을 포함하여 이루어지는 것을 특징으로 한다.

상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 기능이 구비되는 디지털 카메라(또는 비디오 카메라)는, 상기 영상 촬영부(150)를 통해 하나의 렌즈로 피사체를 촬영하고, 상기 영상 획득부(165)를 통해 상기 촬영된 2차원 영상에 대한 미리보기 영상 데이터를 획득하는데, 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터를 판독하여 상기 영상 촬영부(150)를 통해 촬영되는 피사체에 대한 N(N>1)개의 초점위치 정보를 결정하고, 상기 초점위치 개수를 상기 피사체에 대한 초점수 정보로 결정하는 것을 특징으로 한다.

상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터에 N(N>1)개의 객체(예컨대, 사람, 동물, 물건과 같이 배경(또는 다른 객체)와 구분되는 경계를 포함하는 피사체)가 포함되어 있는지 확인하는 것을 특징으로 한다.

본 발명의 일 실시 방법에 따르면, 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터에 포함된 N(N>1)개의 객체를 패턴 인식(또는 이미지 인식)을 통해 자동 인식하는 것이 바람직하다.

본 발명의 다른 일 실시 방법에 따르면, 상기 초점정보 결정부(160)는 상기 키 입력부(175)와 연계하여 상기 미리보기 영상 데이터에 포함된 N(N>1)개의 객체를 수동으로 선택하는 것이 가능하며, 이에 의해 본 발명이 한정되지 아니한다.

만약 상기 미리보기 영상 데이터 내에 N(N>1)개의 객체가 포함된 경우, 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터 내에 포함된 N(N>1)개의 객체의 중심위치를 N(N>1)개의 초점위치로 결정하는 것을 특징으로 하며, 상기 N(N>1)개의 초점위치 개수를 N(N>1)개의 초점수로 결정하는 것을 특징으로 한다.

본 발명의 실시 방법에 따르면, 상기 N(N>1)개의 초점수 정보는 상기 영상 촬영부(150)가 단위시간(예컨대, 50ms 등) 동안 촬영 가능한 최대 촬영수, 또는 상기 초점 제어부(155)가 단위시간 동안 상기 영상 촬영부(150)의 초점을 제어할 수 있는 최대 제어횟수, 또는 상기 영상 획득부(165)가 단위시간 동안 상기 영상 촬영부(150)로부터 2차원 영상 데이터를 획득할 수 있는 최대 영상 데이터 획득수를 적어도 하나 이상 포함하는 한도 초점수 보다 작게 설정되는 것이 바람직하다.

본 발명의 일 실시 방법에 따라 상기 미리보기 영상 데이터 내에 포함된 초점위치 개수(또는 초점수)가 상기 한도 초점수보다 많은 경우, 상기 초점정보 촬영부는 상기 미리보기 영상 데이터에 포함된 객체 중에서 상기 미리보기 영상 데이터의 중심위치(또는 상단, 또는 하단, 또는 좌측, 또는 우측)에 있는 객체 중 상기 한도 초점수 이내의 객체에 대한 N(N>1)개의 초점위치를 결정하는 것이 바람직하다.

본 발명의 다른 일 실시 방법에 따라 상기 미리보기 영상 데이터 내에 포함된 초점위치 개수(또는 초점수)가 상기 한도 초점수보다 적은 경우, 상기 초점정보 촬영부는 상기 미리보기 영상 데이터에 포함된 N(N>1)개의 객체에 대한 N(N>1)개의 초점위치를 결정하는 것이 바람직하다.

반면 상기 미리보기 영상 데이터 내에 식별 가능한 객체가 포함되지 않은 경우(예컨대, 하늘, 수평선, 산악지형이 없는 평야 등), 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터를 N(N>1)개의 초점영역으로 구분하고, N(N>1)개 초점영역의 중심위치를 N(N>1)개의 초점위치로 결정하는 것을 특징으로 하며, 상기 N(N>1)개의 초점위치 개수를 N(N>1)개의 초점수로 결정하는 것을 특징으로 한다.

본 발명의 실시 방법에 따르면, 상기 N(N>1)개의 초점수 정보는 상기 영상 촬영부(150)가 단위시간 동안 촬영 가능한 최대 촬영수, 또는 상기 초점 제어부(155)가 단위시간 동안 상기 영상 촬영부(150)의 초점을 제어할 수 있는 최대 제어횟수, 또는 상기 영상 획득부(165)가 단위시간 동안 상기 영상 촬영부(150)로부터 2차원 영상 데이터를 획득할 수 있는 최대 영상 데이터 획득수를 적어도 하나 이상 포함하는 한도 초점수 보다 작게 설정되는 것이 바람직하다.

본 발명의 일 실시 방법에 따르면, 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터를 상하 방향으로 N(N>1)개의 초점영역으로 구분하고, 상기와 같이 상하 방향으로 구분된 N(N>1)개 초점영역의 중심위치를 N(N>1)개의 초점위치로 결정하는 것이 바람직하다.

본 발명의 다른 일 실시 방법에 따르면, 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터를 좌우 방향으로 N(N>1)개의 초점영역으로 구분하고, 상기와 같이 좌우 방향으로 구분된 N(N>1)개 초점영역의 중심위치를 N(N>1)개의 초점위치로 결정하는 것이 바람직하다.

본 발명의 또다른 일 실시 방법에 따르면, 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터를 격자 모양에 따라 N(N>1)개의 초점영역으로 구분하고, 상기와 같이 격자 모양으로 구분된 N(N>1)개 초점영역의 중심위치를 N(N>1)개의 초점위치로 결정하는 것이 바람직하다.

상기 초점정보 결정부(160)에 의해 상기 N(N>1)개의 초점위치 정보와 N(N>1)개의 초점수가 결정되면, 상기 초점 제어부(155)는 상기 영상 촬영부(150)의 초점을 상기 N(N>1)개의 초점위치 중, 제1 초점위치에 자동 초점하도록 제어하는 것을 특징으로 하며, 상기 영상 촬영부(150)는 상기 제1 초점위치에 대한 2차원 영상을 촬영하는 것을 특징으로 하며, 상기 영상 획득부(165)는 상기 제1 2차원 영상에 대응하는 제1 2차원 영상 데이터를 획득하는 것을 특징으로 한다.

이후, 상기 초점 제어부(155)는 상기 영상 촬영부(150)의 초점을 상기 N(N>1)개의 초점위치 중, 제n(n=2,3,...,N) 초점위치에 자동 초점하도록 제어하는 것을 특징으로 하며, 상기 영상 촬영부(150)는 상기 제n(n=2,3,...,N) 초점위치에 대한 2차원 영상을 촬영하는 것을 특징으로 하며, 상기 영상 획득부(165)는 상기 제n(n=2,3,...,N) 2차원 영상에 대응하는 제n(n=2,3,...,N) 2차원 영상 데이터를 획득하는 것을 특징으로 한다.

본 발명에 따르면, 상기 초점 제어부(155)는 상기 제1 내지 제n(n=2,3,...,N) 초점위치를 자동 초점하도록 제어하는 동안, 상기 제1 내지 제n(n=2,3,...,N) 초점위치에 대한 초점제어 정보를 생성하는 것을 특징으로 하며, 상기 초점제어 정보는 상기 제1 내지 제n(n=2,3,...,N) 초점위치를 자동 초점하기 위한 렌즈 이격거리 정보와, 상기 이격된 렌즈의 굴절율 정보(또는 배율 정보)를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 일 실시 방법에 따라 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치가 디지털 카메라에 구비된 경우, 상기 초점정보 결정부(160)에 의해 결정된 N(N>1)개의 초점위치 정보와 N(N>1)개의 초점수에 따라 상기 초점 제어부(155)가 자동 초점을 N(N>1)회 제어하고, 상기 영상 촬영부(150)가 상기 자동 초점 제어에 따라 N(N>1)개의 2차원 영상을 촬영하고, 상기 영상 획득부(165)가 상기 촬영된 N(N>1)개의 2차원 영상에 대응하는 N(N>1)개의 2차원 영상 데이터를 획득하는 다중 초점 2차원 영상 데이터 획득 주기는 단위시간 동안 1회 수행되는 것이 바람직하다.

본 발명의 다른 일 실시 방법에 따라 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치가 비디오 카메라에 구비된 경우, 상기 초점정보 결정부(160)에 의해 결정된 N(N>1)개의 초점위치 정보와 N(N>1)개의 초점수에 따라 상기 초점 제어부(155)가 자동 초점을 N(N>1)회 제어하고, 상기 영상 촬영부(150)가 상기 자동 초점 제어에 따라 N(N>1)개의 2차원 영상을 촬영하고, 상기 영상 획득부(165)가 상기 촬영된 N(N>1)개의 2차원 영상에 대응하는 N(N>1)개의 2차원 영상 데이터를 획득하는 다중 초점 2차원 영상 데이터 획득 주기는 상기 비디오 카메라의 초당 프레임수 만큼 반복되는 것이 바람직하다.

예컨대, 상기 비디오 카메라가 초당 15프레임을 촬영한다면, 상기 다중 초점 2차원 영상 데이터 획득 주기는 초당 15회 반복되는 것이 바람직하며, 이 때 상기 초점정보 결정부(160)에 의해 결정된 초점수가 4개라면, 상기 초점 제어부(155)는 초당 60회 자동 초점을 제어하고, 상기 영상 촬영부(150)는 초당 60회의 2차원 영상을 촬영하고, 상기 영상 획득부(165)는 초당 60회의 2차원 영상 데이터를 획득하게 된다.

상기 영상 획득부(165)를 통해 획득된 복수개의 다중 초점 2차원 영상 데이터를 실시간 3차원 입체 영상 데이터로 변환하지 않는 경우, 상기 원시 영상 저장부(170)는 하나의 다중 초점 2차원 영상 데이터 획득 주기 동안 획득된 N(N>1)개의 2차원 영상 데이터와, 각 2차원 영상 데이터에 대한 초점위치 정보와, 초점제어 정보를 연계하여 이루어진 다중 초점 2차원 영상 데이터 파일을 저장매체(183)에 저장하는 것을 특징으로 하며, 이후 상기 저장매체(183)에 저장된 다중 초점 2차원 영상 데이터는 영상 변환 모듈(100)을 통해 3차원 입체 영상 데이터로 변환된다.

도면1를 참조하면, 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치는, 상기 2D 영상 촬영 모듈(145)을 통해 촬영된 N(N>1)개의 2차원 영상 데이터를 축소하는 입력영상 축소부(105)와, 상기 N(N>1)개의 2차원 영상 데이터에 대한 초점제어 정보를 기반으로 상기 N(N>1)개의 2차원 영상 데이터에 대한 초점거리를 연산하는 초점거리 연산부(110)와, N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역)가 시선방향에 따라 정렬되도록 중첩하는 초점중첩 처리부(115)와, N(N>1)개의 2차원 영상 데이터에 대한 초점거리에 반비례하여 N(N>1)개의 2차원 영상 데이터에 대한 깊이값을 연산하는 깊이값 연산부(120)와, 초점이 중첩된 N(N>1)개의 2차원 영상 데이터를 상기 깊이값에 따라 합성하는 깊이값 영상 합성부(125)와, 상기 초점거리와 깊이값을 기반으로 좌안과 우안에 대응하는 시차처리 정보를 확인하는 시차정보 확인부와, 상기 시차 정보에 따라 상기 합성된 2차원 영상 데이터에 시차를 처리하여 좌안 영상 데이터와 우안 영상 데이터를 생성하는 좌우 영상 생성부(140)를 구비하여 이루어지는 것을 특징으로 하며, 상기 좌우 영상 데이터에 대한 수평 방향 왜곡을 수정하는 축소비율을 산출하는 축소비율 산출부(130)를 더 구비하여 이루어진 영상 변환 모듈(100)을 포함하여 이루어지는 것을 특징으로 한다.

상기 2D 영상 촬영 모듈(145)의 영상 획득부(165)를 통해 N(N>1)개의 2차원 영상 데이터가 획득되면, 상기 입력영상 축소부(105)는 상기 영상 변환 모듈(100)의 데이터 처리 속도에 대응하여 상기 좌/우 영상 데이터를 기 설정된 변환시간 안에 생성하기 위해 상기 2차원 영상 데이터 개수(N)에 대응하는 변환 크기(또는 해상도)를 확인하는 것을 특징으로 한다.

여기서, 상기 영상 변환 모듈(100)의 데이터 처리 속도가 일정하다면, 상기 변환시간이 짧을수록 상기 변환 크기(또는 해상도)가 작아지고, 상기 변환시간이 길수록 상기 변환 크기(또는 해상도)가 커질 것이며, 또한 상기 2차원 영상 데이터 개수(N)가 많을수록 상기 변환 크기(또는 해상도)가 작아지고, 상기 2차원 영상 데이터 개수(N)가 적을수록 상기 변환 크기(또는 해상도)가 커질 것이다.

예컨대, 상기 영상 획득부(165)를 통해 입력되는 N(N>1)개의 2차원 영상 데이터가 하나의 정지 이미지라면, 상기 변환시간이 수초 이내로 길어도 무방할 것이나, 상기 영상 획득부(165)를 통해 입력되는 N(N>1)개의 2차원 영상 데이터가 동영상이라면, 상기 변환시간은 초당 프레임 수에 대응하는 수~수십 밀리 초 이내로 짧아야 한다.

상기 변환 크기(또는 해상도)가 확인되면, 상기 입력영상 축소부(105)는 상기 영상 획득부(165)로부터 입력되는 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 상기 확인된 크기(또는 해상도)에 맞게 축소하는 것을 특징으로 한다.

만약 상기 영상 획득부(165)로부터 입력되는 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)가 상기 확인된 변환 크기(또는 해상도)보다 작거나 같다면, 상기 입력영상 축소부(105)가 상기 N(N>1)개의 2차원 영상 데이터를 축소하지 않아도 무방하며, 이에 의해 본 발명이 한정되지 아니한다.

본 발명의 실시 방법에 따르면, 상기 입력영상 축소부(105)는 상기 초점거리 연산부(110)와 연계하여 상기 N(N>1)개의 2차원 영상 데이터에 대한 초점거리를 연산하고, 상기 깊이값 연산부(120)와 연계하여 상기 초점거리에 반비례하여 N(N>1)개의 2차원 영상 데이터에 대한 깊이값을 연산하고, 상기 시차정보 확인부와 연계하여 상기 초점거리와 깊이값을 기반으로 좌안과 우안에 대응하는 시차각을 확인하고, 상기 축소비율 산출부(130)와 연계하여 상기 생성될 좌우 영상 데이터에 대한 수평 방향 왜곡을 수정하는 축소비율을 산출한 후, 상기 2차원 영상 데이터의 수평 방향 크기를 상기 축소비율에 따라 더 수정하여 상기 입력되는 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 축소하는 것이 바람직하며, 이후 상기 깊이값 영상 합성부(125)가 상기 N(N>1)개의 2차원 영상 데이터를 상기 깊이값에 따라 합성하고, 상기 좌우 영상 생성부(140)가 상기 시차 정보에 따라 상기 합성된 2차원 영상 데이터에 시차를 처리하여 좌안 영상 데이터와 우안 영상 데이터를 생성하는 것이 바람직하다.

상기 초점거리 연산부(110)는 상기 2D 영상 촬영 모듈(145)에 구비된 초점정보 결정부(160)에 의해 결정된 초점위치 정보와 초점수 정보를 기반으로 상기 영상 촬영부(150)가 N(N>1)개의 2차원 영상을 촬영하도록 제어하는 과정에서 상기 초점 제어부(155)에 의해 확인된 N(N>1)개의 초점제어 정보(예컨대, 자동 초점을 위한 렌즈 이격거리 정보와, 상기 이격된 렌즈의 굴절율 정보(또는 배율 정보) 등)를 이용하여 상기 N(N>1)개의 2차원 영상 데이터에 포함된 객체(또는 초점영역)와 렌즈 간 초점거리를 연산하는 것을 특징으로 한다.

본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 상기 기본 렌즈위치에서 자동 초점을 위한 렌즈 이격거리 정보와, 상기 이격된 렌즈의 굴절율 정보(또는 배율 정보)를 이용하여 상기 N(N>1)개의 2차원 영상 데이터에 포함된 객체(또는 초점영역)와 렌즈 간 초점거리를 연산하는 과정을 유추할 수 있을 것이므로, 이에 대한 상세한 설명은 편의상 생략하기로 한다.

상기 초점거리 연산부(110)에 의해 상기 획득된 N(N>1)개의 2차원 영상 데이터에 대한 초점거리가 연산되면, 상기 초점중첩 처리부(115)는 상기 N(N>1)개의 2차원 영상 데이터에 대응하는 초점위치 정보를 확인하고, 상기 초점위치에 대응하는 객체(또는 초점영역)가 시선방향에 따라 정렬되도록 중첩하는 것을 특징으로 한다.

만약 정지된 피사체를 촬영하는 경우, 상기 초점 제어부(155)의 초점 제어에 의해 상기 영상 촬영부(150)가 단위시간 동안 N(N>1)개의 2차원 영상을 촬영하는 동안 상기 피사체가 이동하지 않을 것이나, 상기 피사체가 이동하는 경우, 상기 초점 제어부(155)의 초점 제어에 의해 상기 영상 촬영부(150)가 단위시간 동안 N(N>1)개의 2차원 영상을 촬영하는 동안 상기 피사체가 이동할 것이므로, 상기 초점중첩 처리부(115)는 상기 N(N>1)개의 2차원 영상 데이터에 대응하는 초점위치 정보를 확인하여 상기 N(N>1)개의 2차원 영상 데이터에 포함된 N(N>1)개의 객체(또는 초점영역)를 확인하고, 상기 확인된 N(N>1)개의 객체(또는 초점영역)가 시선방향에 따라 정렬되도록 중첩하는 것을 특징으로 한다.

본 발명의 일 실시 방법에 따라 상기 N(N>1)개의 2차원 영상 데이터에 N(N>1)개의 객체가 포함된 경우, 상기 초점중첩 처리부(115)는 N(N>1)개의 객체에 대한 경계가 중첩되도록 처리하는 것이 바람직하다.

본 발명의 다른 일 실시 방법에 따라 상기 N(N>1)개의 2차원 영상 데이터에 N(N>1)개의 초점영역이 포함된 경우, 상기 초점중첩 처리부(115)는 N(N>1)개의 초점영역 경계가 중첩되도록 처리하는 것이 바람직하다.

상기 초점거리 연산부(110)에 의해 상기 획득된 N(N>1)개의 2차원 영상 데이터에 대한 초점거리가 연산되면, 상기 깊이값 연산부(120)는 N(N>1)개의 2차원 영상 데이터에 대한 초점거리가 가까운 것에서 먼 순서대로 배열하여 N(N>1)개의 2차원 영상 데이터에 대한 깊이값을 연산하는 것을 특징으로 하며, 하나의 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 하나의 깊이값이 설정되는 것이 바람직하다.

본 발명의 실시 방법에 따르면, N(N>1)개의 2차원 영상 데이터에 대한 초점거리가 가까운 2차원 영상 데이터의 깊이값은 '1'로 설정되고, 상기 초점거리가 두 번째로 가까운 2차원 영상 데이터의 깊이값은 '2'로 설정되고, 상기 초점거리가 가장 먼 2차원 영상 데이터의 깊이값은 'N'으로 설정되는 것이 바람직하다.

상기 초점중첩 처리부(115)에 의해 N(N>1)개의 2차원 영상 데이터의 초점위치가 중첩되고, 상기 깊이값 연산부(120)에 의해 N(N>1)개의 2차원 영상 데이터에 대한 깊이값이 연산되면, 상기 깊이값 영상 합성부(125)는 상기 초점이 중첩된 N(N>1)개의 2차원 영상 데이터를 상기 깊이값에 따라 배열하고, 상기 배열된 N(N>1)개의 2차원 영상 데이터를 상기 깊이값에 합성하는 것을 특징으로 한다.

본 발명의 실시 방법에 따르면, 상기 깊이값 영상 합성부(125)는 N(N>1)개의 2차원 영상 데이터 중, 제m(1<=m<=N) 깊이값에 대응하는 2차원 영상 데이터의 초점위치에 대응하는 제m(0<=m<N) 객체(또는 초점영역)을 선명하게 처리하고, 상기 제m(1<=m<=N) 깊이값에 대응하는 2차원 영상 데이터에서 다른 객체(또는 초점영역) 영역을 투명(또는 제m(1<=m<=N) 객체(또는 초점영역)에서 멀어질수록 투명도가 증가)하게 처리하고, 상기 제m(1<=m<=N) 깊이값 이외에 제k(0<=k<N, m!=k) 깊이값에 대응하는 2차원 영상 데이터의 초점위치에 대응하는 제k(0<=k<N, m!=k) 객체(또는 초점영역)을 선명하게 처리하고, 상기 제k(0<=k<N, m!=k) 깊이값에 대응하는 2차원 영상 데이터에서 다른 객체(또는 초점영역) 영역을 투명(또는 제k(0<=k<N, m!=k) 객체(또는 초점영역)에서 멀어질수록 투명도가 증가)하게 처리한 후, 상기 제m(1<=m<=N) 깊이값에 대응하는 2차원 영상 데이터와 제k(0<=k<N, m!=k) 깊이값에 대응하는 2차원 영상 데이터를 합성함으로써, N(N>1)개의 2차원 영상 데이터에 포함된 N(N>1)개의 객체(또는 초점영역)가 선명하게 출력되도록 합성하는 것이 바람직하다.

인간이 좌안과 우안을 통해 거리를 인식하는 방법은, 상기 좌안과 우안의 거리와, 상기 좌안과 우안에서 초점까지 거리에 대한 삼각함수(또는 로그함수)를 포함하는 비선형 함수로 이루어지는데, 상기 시차정보 확인부는 상기 초점거리 연산부(110)에 의해 연산된 깊이값에 따른 N(N>1)개의 2차원 영상 데이터에 대한 N(N>1)개의 초점거리와, 좌안과 우안 사이의 양안 거리(예컨대, 평균 안면 크기에 따른 평균 양안 거리, 키 입력부(175)를 통해 설정 가능)를 기반으로 N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 N(N>1)개의 시차각 정보를 산출(또는 확인)하는 것을 특징으로 한다.

또한, 상기 시차정보 확인부는 N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역)) 중, 영시차(Zero Parallax)로 처리할 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))을 확인하는 것을 특징으로 한다.

본 발명의 일 실시 방법에 따르면, 상기 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))는, N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역)) 중, 초점거리가 중간(예컨대, 가장 가까운 초점거리와 가장 먼 초점거리의 중간값)에 위치하거나, 또는 깊이값이 중간(예컨대, 가장 작은 깊이값과 가장 큰 깊이값의 중간값)에 위치하는 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))를 상기 영시차 대상으로 확인하는 것이 바람직하다.

본 발명의 다른 일 실시 방법에 따르면, 상기 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))는, N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역)) 중, 초점거리가 가장 가깝거나, 또는 깊이값이 가장 작은 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))를 상기 영시차 대상으로 확인하는 것이 바람직하다.

본 발명의 또다른 일 실시 방법에 따르면, 상기 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))는, N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역)) 중, 초점거리가 가장 멀거나, 또는 깊이값이 가장 큰 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))를 상기 영시차 대상으로 확인하는 것이 바람직하다.

또한, 상기 시차정보 확인부는 상기 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))보다 초점거리가 가깝거나, 또는 깊이값이 작은 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))을 양시차(Positive Parallax) 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))로 확인하고, 상기 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))보다 초점거리가 멀거나, 또는 깊이값이 큰 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))을 음시차(Negative Parallax) 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))로 확인하는 것을 특징으로 한다.

또한, 상기 시차정보 확인부는 N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 N(N>1)개의 시차각 정보와 초점거리 정보를 삼각함수(또는 로그함수)에 대입하여, 상기 양시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 양시차 방향 픽셀이동 정보와, 상기 음시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 음시차 방향 픽셀이동 정보를 확인하는 것을 특징으로 한다.

본 발명의 실시 방법에 따르면, 상기 시차정보 확인부에 의해 확인되는 시차처리 정보는, 상기 합성된 2차원 영상 데이터에 포함된 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))와, 적어도 하나 이상의 양시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))과 양시차 방향 픽셀이동 정보와, 적어도 하나 이상의 음시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))과 음시차 방향 픽셀이동 정보를 포함하여 이루어지는 것이 바람직하다.

상기 시차정보 확인부에 의해 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))이 확인되고, 상기 영시차를 기준으로 적어도 하나 이상의 양시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))과 양시차 방향 픽셀이동 정보가 확인되고, 적어도 하나 이상의 음시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))과 음시차 방향 픽셀이동 정보가 확인되면, 상기 좌우 영상 생성부(140)는 상기 합성된 2차원 영상 데이터에 포함된 양시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대응하는 픽셀 위치를 양시차 방향 픽셀이동 정보에 따라 좌방향과 우방향으로 이동하고, 또한 상기 합성된 2차원 영상 데이터에 포함된 상기 음시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대응하는 픽셀 위치를 음시차 방향 픽셀이동 정보에 따라 좌방향과 우방향으로 이동함으로써, 상기 합성된 2차원 영상 데이터에 대한 좌안 영상 데이터와 우안 영상 데이터를 생성하는 것을 특징으로 한다.

본 발명에 따르면, 상기 좌안 영상 데이터와 우안 영상 데이터는 단일 렌즈로 촬영된 2차원 영상 데이터를 기반으로 생성되기 때문에, 상기 생성된 좌안 영상 데이터와 우안 영상 데이터는 실제 인간의 눈으로 바라보는 것보다 좌우 방향으로 펼쳐진 것처럼 왜곡되는데, 상기 축소비율 산출부(130)는 상기 좌안 영상 데이터와 우안 영상 데이터에 대응하는 시차각 정보와 초점거리 정보를 삼각함수(또는 로그함수)에 대입하여 수평 방향으로 왜곡된 영상 데이터를 축소 보정하기 위한 축소비율을 산출하는 것을 특징으로 한다.

본 발명의 실시 방법에 따르면, 상기 축소비율 산출부(130)는 상기 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대응하는 시차각 정보와 초점거리 정보를 삼각함수(또는 로그함수)에 대입하여 상기 좌안 영상 데이터와 우안 영상 데이터에 대한 축소비율을 산출하는 것이 바람직하다.

본 발명의 다른 실시 방법에 따르면, 상기 축소비율 산출부(130)는 상기 좌안 영상 데이터와 우안 영상 데이터를 생성하기 위해 이용된 N(N>1)의 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역)) 중 어느 하나의 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대응하는 시차각 정보와 초점거리 정보를 삼각함수(또는 로그함수)에 대입하여 상기 좌안 영상 데이터와 우안 영상 데이터에 대한 축소비율을 산출하는 것이 가능하며, 이에 의해 본 발명이 한정되지 아니한다.

도면1를 참조하면, 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치는, 상기 영상 변환 모듈(100)에 의해 생성된 좌안 영상 데이터와 우안 영상 데이터를 상기 산출된 축소비율에 따라 축소하여 화면 출력부(180)를 통해 출력하거나, 또는 통신부(195)를 통해 전송하는 영상 출력부(190)를 구비하거나, 상기 영상 변환 모듈(100)에 의해 생성된 좌안 영상 데이터와 우안 영상 데이터를 일대일 매칭하여 저장매체(183)에 저장하는 영상 저장부(193)를 구비하여 이루어지는 것을 특징으로 한다.

상기 영상 변환 모듈(100)에 구비된 좌우 영상 생성부(140)에 의해 좌안 영상 데이터와 우안 영상 데이터가 생성되고, 상기 축소비율 산출부(130)에 의해 상기 생성된 좌안 영상 데이터와 우안 영상 데이터에 대한 축소비율이 산출되면, 상기 영상 출력부(190)는 상기 축소비율에 따라 상기 좌안 영상 데이터와 우안 영상 데이터를 축소하여 상기 화면 출력부(180)를 통해 출력하는 것을 특징으로 하며, 상기 화면 출력부(180)는 3차원 입체 영상을 출력하기 위한 기능 구성을 포함하여 이루어지는 것이 바람직하다.

또한, 상기 영상 출력부(190)는 상기 축소비율에 따라 상기 좌안 영상 데이터와 우안 영상 데이터를 축소하여 상기 통신부(195)를 통해 다른 출력장치, 또는 통신망 상의 서버(또는 장치)로 전송하는 것을 특징으로 한다.

상기 영상 저장부(193)는 상기 영상 변환 모듈(100)에 의해 생성된 좌안 영상 데이터와 우안 영상 데이터를 일대일 매칭하여 상기 저장매체(183)에 저장하는 것을 특징으로 하며, 상기 축소비율에 따라 상기 좌안 영상 데이터와 우안 영상 데이터를 축소하여 상기 저장매체(183)에 저장하는 것이 바람직하다.

도면2a와 도면2b는 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 초점정보 결정 방법을 도시한 도면이다.

보다 상세하게 본 도면2a와 도면2b는 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치에 구비된 초점정보 결정부(160)가 피사체에 대한 N(N>1)개의 초점위치 정보와 초점수 정보를 결정하는 방법을 도시한 것으로서, 구체적으로 도면2a는 상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함되지 않은 경우, N(N>1)개의 초점영역에 대한 N(N>1)개의 초점위치 정보와 초점수 정보를 결정하는 방법을 도시한 것이고, 도면2b는 상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함된 경우, N(N>1)개의 객체에 대한 N(N>1)개의 초점위치 정보와 초점수 정보를 결정하는 방법을 도시한 것이다.

본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2a와 도면2b를 참조 및/또는 변형하여 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 초점정보 결정 방법에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2a와 도면2b에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면2a와 도면2b를 참조하면, 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터에 포함된 N(N>1)개의 객체를 패턴 인식(또는 이미지 인식)을 통해 자동 인식하거나, 또는 상기 키 입력부(175)와 연계하여 상기 미리보기 영상 데이터에 포함된 N(N>1)개의 객체를 수동으로 선택함으로써, 상기 미리보기 영상 데이터에 N(N>1)개의 객체(예컨대, 사람, 동물, 물건과 같이 배경(또는 다른 객체)와 구분되는 경계를 포함하는 피사체)가 포함되어 있는지 확인하는 것을 특징으로 한다.

상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함되지 않은 도면2a를 참조하면, 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터를 N(N>1)개의 초점영역으로 구분하고, N(N>1)개 초점영역의 중심위치를 N(N>1)개의 초점위치로 결정하는 것을 특징으로 하며, 상기 N(N>1)개의 초점위치 개수를 N(N>1)개의 초점수로 결정하는 것을 특징으로 한다.

여기서, 상기 N(N>1)개의 초점수 정보는 상기 영상 촬영부(150)가 단위시간 동안 촬영 가능한 최대 촬영수, 또는 상기 초점 제어부(155)가 단위시간 동안 상기 영상 촬영부(150)의 초점을 제어할 수 있는 최대 제어횟수, 또는 상기 영상 획득부(165)가 단위시간 동안 상기 영상 촬영부(150)로부터 2차원 영상 데이터를 획득할 수 있는 최대 영상 데이터 획득수를 적어도 하나 이상 포함하는 한도 초점수 보다 작게 설정되는 것이 바람직하다.

본 발명의 일 실시 방법에 따르면, 상기 초점정보 결정부(160)는 본 도면2a에 도시된 바와 같이 상기 미리보기 영상 데이터를 상하 방향으로 N(N>1)개의 초점영역으로 구분하고, 상기와 같이 상하 방향으로 구분된 N(N>1)개 초점영역의 중심위치를 N(N>1)개의 초점위치로 결정하는 것이 바람직하다.

상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함된 도면2b를 참조하면, 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터 내에 포함된 N(N>1)개의 객체의 중심위치를 N(N>1)개의 초점위치로 결정하는 것을 특징으로 하며, 상기 N(N>1)개의 초점위치 개수를 N(N>1)개의 초점수로 결정하는 것을 특징으로 한다.

여기서, 상기 N(N>1)개의 초점수 정보는 상기 영상 촬영부(150)가 단위시간(예컨대, 50ms 등) 동안 촬영 가능한 최대 촬영수, 또는 상기 초점 제어부(155)가 단위시간 동안 상기 영상 촬영부(150)의 초점을 제어할 수 있는 최대 제어횟수, 또는 상기 영상 획득부(165)가 단위시간 동안 상기 영상 촬영부(150)로부터 2차원 영상 데이터를 획득할 수 있는 최대 영상 데이터 획득수를 적어도 하나 이상 포함하는 한도 초점수 보다 작게 설정되는 것이 바람직하다.

도면3a와 도면3b는 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 초점거리 연산 방법을 도시한 도면이다.

보다 상세하게 본 도면3a와 도면3b는 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치에 구비된 초점거리 연산부(110)가 N(N>1)개의 2차원 영상 데이터에 대한 초점제어 정보를 기반으로 상기 N(N>1)개의 2차원 영상 데이터에 대한 초점거리를 연산하는 방법을 도시한 것으로서, 구체적으로 도면3a는 상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함되지 않은 경우, N(N>1)개의 2차원 영상 데이터에 대한 초점거리를 연산하는 방법을 도시한 것이고, 도면3b는 상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함된 경우, N(N>1)개의 2차원 영상 데이터에 대한 초점거리를 연산하는 방법을 도시한 것이다.

본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3a와 도면3b를 참조 및/또는 변형하여 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 초점거리 연산 방법에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3a와 도면3b에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면3a와 도면3b를 참조하면, 상기 초점거리 연산부(110)는 초점정보 결정부(160)에 의해 결정된 초점위치 정보와 초점수 정보를 기반으로 상기 영상 촬영부(150)가 N(N>1)개의 2차원 영상을 촬영하도록 제어하는 과정에서 상기 초점 제어부(155)에 의해 확인된 N(N>1)개의 초점제어 정보(예컨대, 자동 초점을 위한 렌즈 이격거리 정보와, 상기 이격된 렌즈의 굴절율 정보(또는 배율 정보) 등)를 이용하여 상기 N(N>1)개의 2차원 영상 데이터에 포함된 객체(또는 초점영역)와 렌즈 간 초점거리를 연산하는 것을 특징으로 한다.

상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함되지 않은 도면3a를 참조하면, N(N>1)개의 초점영역이 상기 도면2a에 도시된 바와 같이 상하 방향으로 구분되는 경우, 상기 초점거리 연산부(110)는 각 초점영역을 자동 초점하는 과정에서 확인된 초점제어 정보(예컨대, 자동 초점을 위한 렌즈 이격거리 정보와, 상기 이격된 렌즈의 굴절율 정보(또는 배율 정보) 등)를 이용하여 각각의 2차원 영상 데이터에 대한 초점거리를 연산하는 것을 특징으로 하며, 맨 아래 영역의 초점거리가 가장 가깝고, 맨 위 영역의 초점거리가 가장 멀도록 연산하는 것을 특징으로 한다.

이 때, 상기 N(N>1)개의 2차원 영상 데이터에서 자동 초점된 초점영역은 선명한 영상 데이터를 포함하고, 상기 초점영역에서 멀어질수록 흐릿한 영상 데이터를 포함하여 이루어진다.

상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함된 도면3b를 참조하면, 도면2b에 도시된 바와 같이 미리보기 영상 데이터 내에서 N(N>1)개의 객체가 식별된 경우, 상기 초점거리 연산부(110)는 각 객체를 자동 초점하는 과정에서 확인된 초점제어 정보(예컨대, 자동 초점을 위한 렌즈 이격거리 정보와, 상기 이격된 렌즈의 굴절율 정보(또는 배율 정보) 등)를 이용하여 각각의 2차원 영상 데이터에 대한 초점거리를 연산하는 것을 특징으로 하며, 상기 렌즈 이격거리가 짧은 객체가 가장 가깝고, 렌즈 이격거리가 긴 객체가 가장 멀도록 연산하는 것을 특징으로 한다.

이 때, 상기 N(N>1)개의 2차원 영상 데이터에서 자동 초점된 객체는 선명한 영상 데이터를 포함하고, 상기 초점영역에서 멀어질수록 흐릿한 영상 데이터를 포함하여 이루어진다.

도면4a와 도면4b는 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 초점중첩 과정을 도시한 도면이다.

보다 상세하게 본 도면4a와 도면4b는 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치에 구비된 초점중첩 처리부(115)가 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역)가 시선방향에 따라 정렬되도록 중첩하는 방법을 도시한 것으로서, 구체적으로 도면4a는 상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함되지 않은 경우, N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 초점영역이 시선방향에 따라 정렬되도록 중첩하는 방법을 도시한 것이고, 도면4b는 상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함된 경우, N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체가 시선방향에 따라 정렬되도록 중첩하는 방법을 도시한 것이다.

본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4a와 도면4b를 참조 및/또는 변형하여 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 초점중첩 과정에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4a와 도면4b에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면4a와 도면4b를 참조하면, 상기 초점중첩 처리부(115)는 상기 N(N>1)개의 2차원 영상 데이터에 대응하는 초점위치 정보를 확인하고, 상기 초점위치에 대응하는 객체(또는 초점영역)가 시선방향에 따라 정렬되도록 중첩하는 것을 특징으로 한다.

상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함되지 않은 도면4a를 참조하면, 상기 도면2a에 도시된 바와 같이 상기 N(N>1)개의 2차원 영상 데이터에 N(N>1)개의 초점영역이 포함된 경우, 상기 초점중첩 처리부(115)는 N(N>1)개의 초점영역 경계가 중첩되도록 처리하는 것을 특징으로 한다.

상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함된 도면4b를 참조하면, N(N>1)개의 2차원 영상 데이터에 N(N>1)개의 객체가 포함된 경우, 상기 초점중첩 처리부(115)는 N(N>1)개의 객체에 대한 경계가 중첩되도록 처리하는 것을 특징으로 한다.

도면5a와 도면5b는 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 깊이값 연산 과정을 도시한 도면이다.

보다 상세하게 본 도면5a와 도면5b는 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치에 구비된 깊이값 연산부(120)가 N(N>1)개의 2차원 영상 데이터에 대한 초점거리에 반비례하여 N(N>1)개의 2차원 영상 데이터에 대한 깊이값을 연산하는 방법을 도시한 것으로서, 구체적으로 도면5a는 상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함되지 않은 경우, N(N>1)개의 2차원 영상 데이터에 포함된 초점영역의 초점거리에 반비례하여 N(N>1)개의 2차원 영상 데이터에 대한 깊이값을 연산하는 방법을 도시한 것이고, 도면5b는 상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함된 경우, N(N>1)개의 2차원 영상 데이터에 포함된 객체의 초점거리에 반비례하여 N(N>1)개의 2차원 영상 데이터에 대한 깊이값을 연산하는 방법을 도시한 것이다.

본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5a와 도면5b를 참조 및/또는 변형하여 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 깊이값 연산 과정에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5a와 도면5b에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면5a와 도면5b를 참조하면, 상기 깊이값 연산부(120)는 N(N>1)개의 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 초점거리에 반비례하여 하나의 하나의 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 하나의 깊이값이 설정되도록 연산하는 것을 특징으로 한다.

상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함되지 않은 도면5a를 참조하면, 상기 도면2a에 도시된 바와 같이 상기 N(N>1)개의 2차원 영상 데이터에 N(N>1)개의 초점영역이 포함된 경우, 상기 깊이값 연산부(120)는 N(N>1)개의 초점영역 중 초점거리가 가까운 2차원 영상 데이터의 깊이값은 '1'로 설정하고, 상기 초점거리가 두 번째로 가까운 2차원 영상 데이터의 깊이값은 '2'로 설정하고, 상기 초점거리가 가장 먼 2차원 영상 데이터의 깊이값은 'N'으로 설정하는 것을 특징으로 한다.

상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터 내에 식별 가능한 객체가 포함된 도면5b를 참조하면, N(N>1)개의 2차원 영상 데이터에 N(N>1)개의 객체가 포함된 경우, 상기 깊이값 연산부(120)는 N(N>1)개의 객체 중 초점거리가 가까운 2차원 영상 데이터의 깊이값은 '1'로 설정하고, 상기 초점거리가 두 번째로 가까운 2차원 영상 데이터의 깊이값은 '2'로 설정하고, 상기 초점거리가 가장 먼 2차원 영상 데이터의 깊이값은 'N'으로 설정하는 것을 특징으로 한다.

도면6는 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 거리인식 방법을 도시한 도면이다.

보다 상세하게 본 도면6는 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치에 구비된 시차정보 확인부가 상기 초점거리와 깊이값을 기반으로 좌안과 우안에 대응하는 거리를 인식하는 방법을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6를 참조 및/또는 변형하여 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 거리인식 방법에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

인간이 좌안과 우안을 통해 거리를 인식하는 방법은, 상기 좌안과 우안의 거리와, 상기 좌안과 우안에서 초점까지 거리에 대한 삼각함수(또는 로그함수)를 포함하는 비선형 함수로 이루어지는데, 도면6를 참조하면, 인간은 각 개인의 시력(또는 보정시력)에 따라 초점을 맞출 수 있는 범위(본 도면6에서 "최소거리"라고 함) 내에 있는 피사체는 삼각함수에 따라 거리를 인식하고, 상기 초점을 맞추기 난해한 범위(예컨대, 최소거리보다 먼 거리)에 있는 피사체는 로그함수에 따라 거리를 인식하는 것을 특징으로 한다.

반면 상기 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치가 구비되는 디지털 카메라(또는 비디오 카메라)는 렌즈 성능(또는 배율)에 따라 상기 로그함수 영역에 존재하는 피사체까지도 선명하게 초점을 맞출 수 있다.

상기 초점거리 연산부(110)에 의해 N(N>1)개의 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 초점거리가 연산되면, 상기 시차정보 확인부는 상기 초점거리가 상기 삼각함수로 인식되는 최소거리 내에 존재하는지, 또는 로그함수로 인식되는 최소거리 밖에 존재하는지 확인하는 것을 특징으로 하며, 여기서 상기 최소거리는 상기 다중 초점 2차원 영상으로부터 변환된 3차원 입체 영상을 시청하는 시청자 그룹의 평균값을 이용하거나, 또는 상기 키 입력부(175)를 통해 상기 최소거리를 직접 설정하거나, 또는 상기 키 입력부(175)를 통해 시력(또는 보정시력) 값을 입력하면, 상기 시력(또는 보정시력)에 대응하는 최소거리가 자동 설정되는 것이 바람직하다.

본 발명의 실시 방법에 따르면, 상기 제1 내지 제n(n=2,3,...,N) 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))의 초점거리가 상기 최소거리 밖(예컨대, 로그함수 영역)에 위치하면, 상기 시차정보 확인부는 해당 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))을 시차처리 범위에서 배제하는 것이 바람직하며, 당업자의 의도에 따라 N(N>1)개의 2차원 영상 데이터가 전체적으로 확대된 경우(예컨대, 망원렌즈를 이용하여 촬영한 경우), 상기 최소거리의 시작위치를 렌즈에서 피사체로 일정 거리가 떨어진 위치에 가상으로 설정하여 상기 피사체를 상기 최소거리 내에 위치하도록 설정하는 것이 가능하다.

상기 초점거리가 상기 최소거리 내에 위치하는 N(N>1)개의 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 있어서, 상기 시차정보 확인부는 상기 초점거리 연산부(110)에 의해 연산된 깊이값에 따른 N(N>1)개의 2차원 영상 데이터에 대한 N(N>1)개의 초점거리와, 좌안과 우안 사이의 양안 거리(예컨대, 평균 안면 크기에 따른 평균 양안 거리, 키 입력부(175)를 통해 설정 가능)를 기반으로 N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 N(N>1)개의 시차각 정보를 산출(또는 확인)하는 것을 특징으로 한다.

도면7는 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 시차처리 방법을 도시한 도면이다.

보다 상세하게 본 도면7는 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치에 구비된 시차정보 확인부가 상기 초점거리와 깊이값을 기반으로 좌안과 우안에 대응하는 시차처리 정보를 생성하는 방법을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면7를 참조 및/또는 변형하여 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 시차처리 방법에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면7에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

상기 도면6에 도시된 거리인식 방법을 통해 상기 초점거리가 상기 최소거리 내에 위치하는 N(N>1)개의 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 시차각 정보가 산출(또는 확인)되면,

상기 시차정보 확인부는 N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역)) 중, 영시차(Zero Parallex)로 처리할 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))을 확인하는 것을 특징으로 한다.

또한, 상기 시차정보 확인부는 상기 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))보다 초점거리가 가깝거나, 또는 깊이값이 작은 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))을 양시차(Positive Parallex) 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))로 확인하고, 상기 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))보다 초점거리가 멀거나, 또는 깊이값이 큰 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))을 음시차(Negative Parallex) 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))로 확인하는 것을 특징으로 한다.

또한, 상기 시차정보 확인부는 N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 N(N>1)개의 시차각 정보와 초점거리 정보를 삼각함수(또는 로그함수)에 대입하여, 본 도면7에 도시된 바와 같이 상기 양시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 양시차 방향 픽셀이동 정보와, 상기 음시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 음시차 방향 픽셀이동 정보를 확인하는 것을 특징으로 한다.

도면8a와 도면8b는 본 발명의 일 실시 방법에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 과정을 도시한 도면이다.

보다 상세하게 본 도면8a와 도면8b는 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치에서, 상기 N(N>1)개의 초점정보를 결정하고, 상기 결정된 N(N>1)개의 초점정보를 기반으로 N(N>1)개의 2차원 영상 데이터를 획득하고, 상기 획득된 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 일정 변환 크기(또는 해상도)로 축소하고, 상기 N(N>1)개의 2차원 영상 데이터에 대한 초점거리를 연산하고, 초점중첩을 처리하고, 상기 초점거리에 반비례하는 깊이값을 연산하여 N(N>1)개의 2차원 영상 데이터를 합성하고, 상기 합성된 2차원 영상 데이터에 대한 시차처리 정보를 확인하고, 상기 시차처리 정보를 기반으로 좌안 영상 데이터와 우안 영상 데이터를 생성하는 실시 방법을 도시한 도면이다.

본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면8a와 도면8b를 참조 및/또는 변형하여 상기 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 과정에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면8a와 도면8b에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

예컨대, 본 도면8a와 도면8b에서 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 과정에서 다중 초점 2차원 영상을 합성하는 과정은, (N>1)개의 2차원 영상 데이터에 대한 초점거리를 연산하고, 초점중첩을 처리하고, 상기 초점거리에 반비례하는 깊이값을 연산하는 과정을 통해 이루어지는 것으로 도시하지만, 상기 다중 초점 2차원 영상을 합성하는 과정이 반드시 기 순서에 따라 처리되는 것은 결코 아니며, 당업자의 의도에 따라 일부 과정의 순서를 변경(또는 생략)할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다.

또는, 본 도면8a와 도면8b에서 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 과정에서 상기 획득되는 (N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 축소한 후, 상기 초점거리와 깊이값을 연산하여 (N>1)개의 2차원 영상 데이터를 합성한 후 상기 시차처리 정보를 확인하는 과정을 포함하는 것으로 도시하지만, 상기 획득되는 (N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 축소하는 것은 상기 초점거리와 시차처리 정보가 확인된 후 상기 (N>1)개의 2차원 영상 데이터를 합성하기 전에 수행되어도 무방하며, 이에 의해 본 발명이 한정되지 아니한다.

도면8a와 도면8b를 참조하면, 상기 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치에 구비된 초점정보 결정부(160)는 상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터에 포함된 N(N>1)개의 객체를 패턴 인식(또는 이미지 인식)을 통해 자동 인식하거나, 또는 상기 키 입력부(175)와 연계하여 상기 미리보기 영상 데이터에 포함된 N(N>1)개의 객체를 수동으로 선택함으로써, 상기 미리보기 영상 데이터에 N(N>1)개의 객체(예컨대, 사람, 동물, 물건과 같이 배경(또는 다른 객체)와 구분되는 경계를 포함하는 피사체)가 포함되어 있는지 확인함으로써, 상기 도면2a 또는 도면2b에 도시된 바와 같이 N(N>1)개의 객체(또는 초점영역)에 대한 N(N>1)개의 초점위치와 초점수를 결정한다(800).

본 발명의 일 실시 방법에 따라 상기 미리보기 영상 데이터 내에 식별 가능한 객체가 포함되지 않은 경우, 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터를 N(N>1)개의 초점영역으로 구분하고, N(N>1)개 초점영역의 중심위치를 N(N>1)개의 초점위치로 결정하는 것이 바람직하며, 상기 N(N>1)개의 초점위치 개수를 N(N>1)개의 초점수로 결정하는 것이 바람직하다.

본 발명의 일 실시 방법에 따르면, 상기 초점정보 결정부(160)는 본 도면8a와 도면8ba에 도시된 바와 같이 상기 미리보기 영상 데이터를 상하 방향으로 N(N>1)개의 초점영역으로 구분하고, 상기와 같이 상하 방향으로 구분된 N(N>1)개 초점영역의 중심위치를 N(N>1)개의 초점위치로 결정하는 것이 바람직하다.

본 발명의 다른 일 실시 방법에 따라 상기 미리보기 영상 데이터 내에 식별 가능한 객체가 포함된 경우, 상기 초점정보 결정부(160)는 상기 미리보기 영상 데이터 내에 포함된 N(N>1)개의 객체의 중심위치를 N(N>1)개의 초점위치로 결정하는 것이 바람직하며, 상기 N(N>1)개의 초점위치 개수를 N(N>1)개의 초점수로 결정하는 것이 바람직하다.

상기 초점정보 결정부(160)에 의해 상기 N(N>1)개의 초점위치 정보와 N(N>1)개의 초점수가 결정되면, 상기 초점 제어부(155)는 상기 영상 촬영부(150)의 초점을 상기 N(N>1)개의 초점위치 중, 제1 초점위치에 자동 초점하도록 제어하여 상기 영상 촬영부(150)를 통해 제1 2차원 영상을 촬영하며(805), 상기 영상 획득부(165)는 제1 초점위치에 대한 제1 2차원 영상 데이터를 획득하고(810), 이에 대응하여 상기 초점 제어부(155)는 상기 제1 자동 초점에 대한 제1 초점제어 정보를 확인하며(815), 상기 과정은 N(N>1)개의 초점위치에 대한 N(N>1)개의 2차원 영상 데이터가 획득되고, N(N>1)개의 초점위치 초점제어 정보가 확인될 때까지(825), 제n(n=2,3,...,N) 초점위치에 대하여 반복적으로 수행된다(820).

상기 과정을 통해 N(N>1)개의 2차원 영상 데이터가 획득되고, N(N>1)개의 초점위치 초점제어 정보가 확인되면(825), 상기 입력영상 축소부(105)는 상기 2차원 영상 데이터 개수(N)에 대응하는 변환 크기(또는 해상도)를 확인하고, 상기 입력되는 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)와 상기 확인된 크기(또는 해상도)를 비교하여 상기 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 축소 변환할지 확인한다(830).

본 발명의 실시 방법에 따르면, 상기 입력영상 축소부(105)는 상기 영상 변환 모듈(100)의 데이터 처리 속도에 대응하여 상기 좌/우 영상 데이터를 기 설정된 변환시간 안에 생성하기 위한 변환 크기(또는 해상도)를 확인하는 것이 바람직하다.

상기 변환 크기(또는 해상도)가 확인되면, 상기 입력영상 축소부(105)는 상기 영상 획득부(165)로부터 입력되는 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 상기 확인된 크기(또는 해상도)에 맞게 축소 변형할지 확인하는데, 만약 상기 영상 획득부(165)로부터 입력되는 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)가 상기 확인된 변환 크기(또는 해상도)보다 작거나 같다면, 상기 입력영상 축소부(105)가 상기 N(N>1)개의 2차원 영상 데이터를 축소하지 않아도 무방하다.

만약 상기 확인결과 상기 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 축소 변환해야 한다면(835), 상기 입력영상 축소부(105)는 상기 획득된 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 상기 변환 크기(또는 해상도)에 맞게 축소 변환한다(840).

상기 초점거리 연산부(110)는 상기 확인된 N(N>1)개의 초점제어 정보(예컨대, 자동 초점을 위한 렌즈 이격거리 정보와, 상기 이격된 렌즈의 굴절율 정보(또는 배율 정보) 등)를 이용하여 상기 도면3a 또는 도면3b에 도시된 바와 같이 상기 N(N>1)개의 2차원 영상 데이터에 포함된 객체(또는 초점영역)와 렌즈 간 초점거리를 연산한다(845).

만약 N(N>1)개의 2차원 영상 데이터에 대한 초점거리가 연산되면(850), 상기 초점중첩 처리부(115)는 상기 N(N>1)개의 2차원 영상 데이터에 대응하는 초점위치 정보를 확인하고, 상기 초점위치에 대응하는 객체(또는 초점영역)가 시선방향에 따라 정렬하여 상기 도면4a 또는 도면4b에 도시된 바와 같이 중첩되도록 처리한다(855).

만약 상기 N(N>1)개의 2차원 영상 데이터가 중첩 처리되면(860), 상기 깊이값 연산부(120)는 N(N>1)개의 2차원 영상 데이터에 대한 초점거리가 가까운 것에서 먼 순서대로 배열하여 N(N>1)개의 2차원 영상 데이터에 대한 깊이값을 연산하며(865), 여기서 하나의 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 하나의 깊이값이 설정되는 것이 바람직하다.

만약 상기 N(N>1)개의 2차원 영상 데이터에 대한 깊이값이 연산되면(870), 상기 깊이값 영상 합성부(125)는 상기 초점이 중첩된 N(N>1)개의 2차원 영상 데이터를 상기 깊이값에 따라 배열하고, 상기 배열된 N(N>1)개의 2차원 영상 데이터를 상기 깊이값에 합성하여 합선된 2차원 영상 데이터를 생성한다(875).

이후, 시차정보 확인부는 인간의 좌안과 우안을 통한 거리인식 방법에 따라 상기 좌안과 우안에 대응하는 시차처리 정보를 확인한다(880).

본 발명의 실시 방법에 다르면, 상기 시차정보 확인부는 상기 초점거리 연산부(110)에 의해 연산된 깊이값에 따른 N(N>1)개의 2차원 영상 데이터에 대한 N(N>1)개의 초점거리와, 좌안과 우안 사이의 양안 거리(예컨대, 평균 안면 크기에 따른 평균 양안 거리, 키 입력부(175)를 통해 설정 가능)를 기반으로 N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 N(N>1)개의 시차각 정보를 산출(또는 확인)하는 것이 바람직하다.

또한, 상기 시차정보 확인부는 상기 도면7에 도시된 바와 같이 N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역)) 중, 영시차(Zero Parallex)로 처리할 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))을 확인하는 것이 바람직하다.

또한, 상기 시차정보 확인부는 상기 도면7에 도시된 바와 같이 상기 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))보다 초점거리가 가깝거나, 또는 깊이값이 작은 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))을 양시차(Positive Parallex) 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))로 확인하고, 상기 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))보다 초점거리가 멀거나, 또는 깊이값이 큰 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))을 음시차(Negative Parallex) 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))로 확인하는 것이 바람직하다.

또한, 상기 시차정보 확인부는 상기 도면7에 도시된 바와 같이 N(N>1)개의 2차원 영상 데이터(또는 N(N>1)개의 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 N(N>1)개의 시차각 정보와 초점거리 정보를 삼각함수(또는 로그함수)에 대입하여, 상기 양시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 양시차 방향 픽셀이동 정보와, 상기 음시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대한 음시차 방향 픽셀이동 정보를 확인하는 것이 바람직하다.

만약 상기 좌안과 우안에 대응하는 시차처리 정보가 확인되면(885), 상기 좌우 영상 생성부(140)는 상기 도면7에 도시된 바와 같이 상기 합성된 2차원 영상 데이터에 포함된 양시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대응하는 픽셀 위치를 양시차 방향 픽셀이동 정보에 따라 좌방향과 우방향으로 이동하고, 또한 상기 합성된 2차원 영상 데이터에 포함된 상기 음시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대응하는 픽셀 위치를 음시차 방향 픽셀이동 정보에 따라 좌방향과 우방향으로 이동함으로써, 상기 합성된 2차원 영상 데이터에 대한 좌안 영상 데이터와 우안 영상 데이터를 생성한다(890).

만약 상기 합성된 2차원 영상 데이터에 대한 좌안 영상 데이터와 우안 영상 데이터가 생성되면(892), 상기 축소비율 산출부(130)는 상기 좌안 영상 데이터와 우안 영상 데이터에 대응하는 시차각 정보와 초점거리 정보를 삼각함수(또는 로그함수)에 대입하여 수평 방향으로 왜곡된 영상 데이터를 축소 보정하기 위한 축소비율을 산출한다(894).

만약 상기 좌안 영상 데이터와 우안 영상 데이터에 대한 축소비율이 산출되면(896), 상기 영상 출력부(190)는 상기 생성된 좌안 영상 데이터와 우안 영상 데이터를 상기 산출된 축소비율에 따라 축소하여 화면 출력부(180)를 통해 출력하거나, 또는 통신부(195)를 통해 전송하며, 또는 상기 영상 저장부(193)는 상기 생성된 좌안 영상 데이터와 우안 영상 데이터를 일대일 매칭하여 상기 저장매체(183)에 저장한다(898).

도면9a와 도면9b는 본 발명의 다른 일 실시 방법에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 과정을 도시한 도면이다.

보다 상세하게 본 도면9a와 도면9b는 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치에서, 상기 N(N>1)개의 초점정보를 결정하고, 상기 결정된 N(N>1)개의 초점정보를 기반으로 N(N>1)개의 2차원 영상 데이터를 획득하고, 상기 N(N>1)개의 2차원 영상 데이터에 대한 초점거리를 연산하고, 상기 초점거리에 반비례하는 깊이값을 연산하여 시차처리 정보를 확인하고, 상기 초점거리와 시차처리 정보에 따라 상기 수평 방향 축소비율을 산출하고, 상기 획득된 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 일정 변환 크기(또는 해상도)로 축소하되 상기 축소비율을 적용하여 축소한 후, 상기 N(N>1)개의 2차원 영상 데이터에 대한 초점중첩을 처리하고, 상기 초점거리에 반비례하는 깊이값을 연산하여 N(N>1)개의 2차원 영상 데이터를 합성하고, 상기 시차처리 정보를 기반으로 좌안 영상 데이터와 우안 영상 데이터를 생성하는 실시 방법을 도시한 도면이다.

본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 상기 도면8a와 도면8b에 도시된 변환 과정과 본 도면9a와 도면9b에 도시된 변환 과정을 참조 및/또는 응용(예컨대, 일부 과정 생략, 또는 순서 변경 등)하여 상기 다중 초점 2차원 영상을 3차원 입체 영상으로 변환하는 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면9a와 도면9b에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면9a와 도면9b를 참조하면, 상기 도면1에 도시된 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치에 구비된 초점정보 결정부(160)는 상기 영상 촬영부(150)를 통해 촬영되어 입력되는 미리보기 영상 데이터에 포함된 N(N>1)개의 객체를 패턴 인식(또는 이미지 인식)을 통해 자동 인식하거나, 또는 상기 키 입력부(175)와 연계하여 상기 미리보기 영상 데이터에 포함된 N(N>1)개의 객체를 수동으로 선택함으로써, 상기 미리보기 영상 데이터에 N(N>1)개의 객체(예컨대, 사람, 동물, 물건과 같이 배경(또는 다른 객체)와 구분되는 경계를 포함하는 피사체)가 포함되어 있는지 확인함으로써, 상기 도면2a 또는 도면2b에 도시된 바와 같이 N(N>1)개의 객체(또는 초점영역)에 대한 N(N>1)개의 초점위치와 초점수를 결정한다(900).

본 발명의 일 실시 방법에 따르면, 상기 초점정보 결정부(160)는 본 도면9a와 도면9ba에 도시된 바와 같이 상기 미리보기 영상 데이터를 상하 방향으로 N(N>1)개의 초점영역으로 구분하고, 상기와 같이 상하 방향으로 구분된 N(N>1)개 초점영역의 중심위치를 N(N>1)개의 초점위치로 결정하는 것이 바람직하다.

상기 초점정보 결정부(160)에 의해 상기 N(N>1)개의 초점위치 정보와 N(N>1)개의 초점수가 결정되면, 상기 초점 제어부(155)는 상기 영상 촬영부(150)의 초점을 상기 N(N>1)개의 초점위치 중, 제1 초점위치에 자동 초점하도록 제어하여 상기 영상 촬영부(150)를 통해 제1 2차원 영상을 촬영하며(905), 상기 영상 획득부(165)는 제1 초점위치에 대한 제1 2차원 영상 데이터를 획득하고(910), 이에 대응하여 상기 초점 제어부(155)는 상기 제1 자동 초점에 대한 제1 초점제어 정보를 확인하며(915), 상기 과정은 N(N>1)개의 초점위치에 대한 N(N>1)개의 2차원 영상 데이터가 획득되고, N(N>1)개의 초점위치 초점제어 정보가 확인될 때까지(925), 제n(n=2,3,...,N) 초점위치에 대하여 반복적으로 수행된다(920).

상기 과정을 통해 N(N>1)개의 2차원 영상 데이터가 획득되고, N(N>1)개의 초점위치 초점제어 정보가 확인되면(925), 상기 초점거리 연산부(110)는 상기 확인된 N(N>1)개의 초점제어 정보(예컨대, 자동 초점을 위한 렌즈 이격거리 정보와, 상기 이격된 렌즈의 굴절율 정보(또는 배율 정보) 등)를 이용하여 상기 도면3a 또는 도면3b에 도시된 바와 같이 상기 N(N>1)개의 2차원 영상 데이터에 포함된 객체(또는 초점영역)와 렌즈 간 초점거리를 연산한다(930).

만약 N(N>1)개의 2차원 영상 데이터에 대한 초점거리가 연산되면(935), 상기 초점중첩 처리부(115)는 상기 N(N>1)개의 2차원 영상 데이터에 대응하는 초점위치 정보를 확인하고, 상기 초점위치에 대응하는 객체(또는 초점영역)가 시선방향에 따라 정렬하여 상기 도면4a 또는 도면4b에 도시된 바와 같이 중첩되도록 처리한다(940).

만약 상기 N(N>1)개의 2차원 영상 데이터가 중첩 처리되면(945), 상기 깊이값 연산부(120)는 N(N>1)개의 2차원 영상 데이터에 대한 초점거리가 가까운 것에서 먼 순서대로 배열하여 N(N>1)개의 2차원 영상 데이터에 대한 깊이값을 연산하며(950), 여기서 하나의 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 하나의 깊이값이 설정되는 것이 바람직하다.

만약 상기 N(N>1)개의 2차원 영상 데이터에 대한 깊이값이 연산되면(955), 시차정보 확인부는 인간의 좌안과 우안을 통한 거리인식 방법에 따라 상기 좌안과 우안에 대응하는 시차각 정보를 확인한다(960).

만약 상기 좌안과 우안에 대응하는 시차각 정보가 확인되면(965), 상기 축소비율 산출부(130)는 상기 좌안 영상 데이터와 우안 영상 데이터에 대응하는 시차각 정보와 초점거리 정보를 삼각함수(또는 로그함수)에 대입하여 수평 방향으로 왜곡된 영상 데이터를 축소 보정하기 위한 축소비율을 산출한다(970).

만약 상기 축소비율이 산출되면(975), 상기 입력영상 축소부(105)는 상기 2차원 영상 데이터 개수(N)에 대응하는 변환 크기(또는 해상도)를 확인하고, 상기 입력되는 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)와 상기 확인된 크기(또는 해상도)를 비교하여 상기 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 축소 변환할지 확인한다(980).

만약 상기 확인결과 상기 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 축소 변환하지 않는다면(982), 상기 입력영상 축소부(105)는 상기 획득된 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 상기 산출된 축소비율에 맞게 축소 변환한다(984).

반면 상기 확인결과 상기 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 축소 변환해야 한다면(982), 상기 입력영상 축소부(105)는 상기 획득된 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 상기 변환 크기(또는 해상도)에 맞게 축소 변환하되, 상기 산출된 축소비율에 맞게 축소 변환한다(986).

상기 깊이값 영상 합성부(125)는 상기 초점이 중첩된 N(N>1)개의 2차원 영상 데이터를 상기 깊이값에 따라 배열하고, 상기 배열된 N(N>1)개의 2차원 영상 데이터를 상기 깊이값에 합성하여 합선된 2차원 영상 데이터를 생성한다(988).

상기 시차정보 확인부는 상기 시차각 정보와 초점거리 및 깊이값을 통해 상기 합선된 2차원 영상 데이터에 대하여 상기 좌안과 우안에 대응하는 시차처리 정보를 확인한다(990).

본 발명의 실시 방법에 따르면, 상기 시차정보 확인부에 의해 확인되는 시차처리 정보는, 상기 2차원 영상 데이터에 포함된 영시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))와, 적어도 하나 이상의 양시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))과 양시차 방향 픽셀이동 정보와, 적어도 하나 이상의 음시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))과 음시차 방향 픽셀이동 정보를 포함하여 이루어지는 것이 바람직하다.

만약 상기 시차처리 정보가 확인되면(992), 상기 좌우 영상 생성부(140)는 상기 도면7에 도시된 바와 같이 상기 합성된 2차원 영상 데이터에 포함된 양시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대응하는 픽셀 위치를 양시차 방향 픽셀이동 정보에 따라 좌방향과 우방향으로 이동하고, 또한 상기 합성된 2차원 영상 데이터에 포함된 상기 음시차 대상 2차원 영상 데이터(또는 2차원 영상 데이터의 초점위치에 대응하는 객체(또는 초점영역))에 대응하는 픽셀 위치를 음시차 방향 픽셀이동 정보에 따라 좌방향과 우방향으로 이동함으로써, 상기 합성된 2차원 영상 데이터에 대한 좌안 영상 데이터와 우안 영상 데이터를 생성한다(994).

만약 상기 합성된 2차원 영상 데이터에 대한 좌안 영상 데이터와 우안 영상 데이터가 생성되면(996), 상기 영상 출력부(190)는 상기 생성된 좌안 영상 데이터와 우안 영상 데이터를 상기 화면 출력부(180)를 통해 출력하거나, 또는 통신부(195)를 통해 전송하며, 또는 상기 영상 저장부(193)는 상기 생성된 좌안 영상 데이터와 우안 영상 데이터를 일대일 매칭하여 상기 저장매체(183)에 저장한다(998).

본 발명에 따르면, 자동 초점 기능이 구비된 디지털 카메라(또는 비디오 카메라)에 초점위치와 초점수 결정에 따라 고속으로 다중 초점 2차원 영상을 촬영하도록 하고, 상기 촬영된 복수개의 다중 초점 2차원 영상을 초점거리 및 깊이값에 따라 합성하여 3차원 입체 영상으로 변환하는 기능을 구비함으로써, 저렴하면서도 자연스러운 3차원 입체 영상을 제작하도록 하는 이점이 있다.

도 1은 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치 구성을 도시한 도면이다.

도 2a와 도 2b는 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 초점정보 결정 방법을 도시한 도면이다.

도 3a와 도 3b는 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 초점거리 연산 방법을 도시한 도면이다.

도 4a와 도 4b는 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 초점중첩 과정을 도시한 도면이다.

도 5a와 도 5b는 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 깊이값 연산 과정을 도시한 도면이다.

도 6은 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 거리인식 방법을 도시한 도면이다.

도 7은 본 발명의 실시 방법에 따라 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환을 위한 시차처리 방법을 도시한 도면이다.

도 8a와 도 8b는 본 발명의 일 실시 방법에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 과정을 도시한 도면이다.

도 9a와 도 9b는 본 발명의 다른 일 실시 방법에 따른 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 과정을 도시한 도면이다.

<도면의 주요부분에 대한 설명>

100 : 영상 변환 모듈 105 : 입력영상 축소부

110 : 초점거리 연산부 115 : 초점중첩 처리부

120 : 깊이값 연산부 125 : 깊이값 영상 합성부

130 : 축소비율 산출부 135 : 시차 처리부

140 : 좌우 영상 생성부 145 : 2D 영상 촬영 모듈

150 : 영상 촬영부 155 : 초점 제어부

160 : 초점정보 결정부 165 : 영상 획득부

170 : 원시 영상 저장부 175 : 키 입력부

180 : 화면 출력부 183 : 저장매체

185 : 3D 영상 출력 모듈 190 : 영상 출력부

193 : 영상 저장부 195 : 통신부

Claims

2차원 영상에 대한 N(N>1)개의 초점위치와 초점수를 결정하는 단계;

상기 결정된 N(N>1)개의 초점위치와 초점수에 대응하는 N(N>1)개 다중 초점 2차원 영상 데이터가 획득되면, 상기 N(N>1)개 다중 초점 2차원 영상 데이터에 대한 N(N>1)개의 초점거리를 연산하는 단계;

상기 연산된 N(N>1)개의 초점거리에 반비례하는 N(N>1)개의 깊이값을 연산하는 단계;

N(N>1)개의 깊이값에 따라 N(N>1)개 다중 초점 2차원 영상 데이터를 합성하는 단계;

상기 N(N>1)개 다중 초점 2차원 영상 데이터 중, 영시차(Zero Parallax) 영상 데이터와 양시차(Positive Parallax) 영상 데이터와 음시차(Negative Parallax) 영상 데이터를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 양시차 영상 데이터에 대한 시차각을 기반으로 양시차 방향 픽셀 이동 정보를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 음시차 영상 데이터에 대한 시차각을 기반으로 음시차 방향 픽셀 이동 정보를 확인하는 단계; 및

상기 확인된 양시차 방향 픽셀 이동 정보를 적어도 하나 이상의 양시차 영상 데이터에 적용하고, 상기 확인된 음시차 방향 픽셀 이동 정보를 적어도 하나 이상의 음시차 영상 데이터에 적용하여 좌안 영상 데이터와 우안 영상 데이터를 생성하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법.
제 1항에 있어서, 상기 결정된 N(N>1)개의 초점위치와 초점수에 대응하는 N(N>1)개 다중 초점 2차원 영상 데이터가 획득되면, 상기 N(N>1)개 다중 초점 2차원 영상 데이터에 대한 N(N>1)개의 초점거리를 연산하는 단계는,

상기 결정된 N(N>1)개의 초점위치와 초점수에 대응하는 N(N>1)개 다중 초점 2차원 영상 데이터가 획득되면, 상기 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 기 설정된 변환 크기(또는 해상도)로 변환하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법.
제 1항에 있어서, 상기 결정된 N(N>1)개의 초점위치와 초점수에 대응하는 N(N>1)개 다중 초점 2차원 영상 데이터가 획득되면, 상기 N(N>1)개 다중 초점 2차원 영상 데이터에 대한 N(N>1)개의 초점거리를 연산하는 단계는,

N(N>1)개의 2차원 영상 데이터의 초점위치가 시선방향에 따라 정렬되도록 중첩하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법.
제 1항에 있어서, 상기 확인된 양시차 방향 픽셀 이동 정보를 적어도 하나 이상의 양시차 영상 데이터에 적용하고, 상기 확인된 음시차 방향 픽셀 이동 정보를 적어도 하나 이상의 음시차 영상 데이터에 적용하여 좌안 영상 데이터와 우안 영상 데이터를 생성하는 단계는,

상기 좌안 영상 데이터와 우안 영상 데이터에 대응하는 시차각 정보와 초점거리 정보를 기반으로 상기 좌안 영상 데이터와 우안 영상 데이터에 대한 수평 방향 왜곡을 수정하는 축소비율을 산출하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법.
상기 제 1항의 방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 기록매체.
2차원 영상에 대한 N(N>1)개의 초점위치와 초점수를 결정하는 초점수 결정부;

N(N>1)개의 초점위치에 대하여 N(N>1)개의 초점수만큼 다중 초점을 제어하는 초점 제어부;

상기 초점제어에 의해 N(N>1)개 다중 초점 2차원 영상 데이터를 획득하는 영상 획득부;

N(N>1)개 다중 초점 2차원 영상 데이터에 대한 N(N>1)개의 초점거리를 연산하는 초점거리 연산부;

상기 연산된 N(N>1)개의 초점거리에 반비례하는 N(N>1)개의 깊이값을 연산하는 깊이값 연산부;

N(N>1)개의 깊이값에 따라 N(N>1)개 다중 초점 2차원 영상 데이터를 합성하는 깊이값 영상 합성부;

N(N>1)개 다중 초점 2차원 영상 데이터 중, 영시차(Zero Parallax) 영상 데이터와 양시차(Positive Parallax) 영상 데이터와 음시차(Negative Parallax) 영상 데이터를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 양시차 영상 데이터에 대한 시차각을 기반으로 양시차 방향 픽셀 이동 정보를 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 음시차 영상 데이터에 대한 시차각을 기반으로 음시차 방향 픽셀 이동 정보를 확인하는 시차정보 확인부; 및

상기 확인된 양시차 방향 픽셀 이동 정보를 적어도 하나 이상의 양시차 영상 데이터에 적용하고, 상기 확인된 음시차 방향 픽셀 이동 정보를 적어도 하나 이상의 음시차 영상 데이터에 적용하여 좌안 영상 데이터와 우안 영상 데이터를 생성하는 좌우 영상 생성부;를 구비하여 이루어지는 것을 특징으로 하는 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치.
제 6항에 있어서,

상기 N(N>1)개의 2차원 영상 데이터의 크기(또는 해상도)를 기 설정된 변환 크기(또는 해상도)로 변환하는 입력영상 축소부를 더 구비하여 이루어지는 것을 특징으로 하는 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치.
제 6항에 있어서,

N(N>1)개의 2차원 영상 데이터의 초점위치가 시선방향에 따라 정렬되도록 중첩하는 초점중첩 처리부를 더 구비하여 이루어지는 것을 특징으로 하는 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치.
제 6항에 있어서,

상기 좌안 영상 데이터와 우안 영상 데이터에 대응하는 시차각 정보와 초점거리 정보를 기반으로 상기 좌우 영상 데이터에 대한 수평 방향 왜곡을 수정하는 축소비율을 산출하는 축소비율 산출부를 더 구비하여 이루어지는 것을 특징으로 하는 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치.
제 6항에 있어서, 상기 초점수 결정부는,

2차원 영상 데이터에 포함된 N(N>1)개의 객체에 대한 패턴 인식(또는 이미지 인식)을 통해 상기 2차원 영상 데이터에 N(N>1)개의 객체-사람, 동물, 물건과 같이 배경(또는 다른 객체)와 구분되는 경계를 포함하는 피사체-가 포함되어 있는지 확인하고,

상기 확인결과 N(N>1)개의 객체가 확인되면, 상기 확인된 객체의 중심위치를 N(N>1)개의 초점위치로 결정하고,

상기 확인결과 객체가 확인되지 않으면, 상기 2차원 영상 데이터를 상하 방향(또는 좌우 방향, 또는 격자 방향)으로 N(N>1)개의 초점영역으로 구분하고, 상기 구분된 초점영역의 중심위치를 N(N>1)개의 초점위치로 결정하는 것을 특징으로 하는 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 장치.