KR101091297B1 - 화상 처리 장치 및 방법 - Google Patents

화상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101091297B1
KR101091297B1 KR1020040096122A KR20040096122A KR101091297B1 KR 101091297 B1 KR101091297 B1 KR 101091297B1 KR 1020040096122 A KR1020040096122 A KR 1020040096122A KR 20040096122 A KR20040096122 A KR 20040096122A KR 101091297 B1 KR101091297 B1 KR 101091297B1
Authority
KR
South Korea
Prior art keywords
image
cameras
matching
parallax
camera
Prior art date
Application number
KR1020040096122A
Other languages
English (en)
Other versions
KR20050051554A (ko
Inventor
우웨이구오
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20050051554A publication Critical patent/KR20050051554A/ko
Application granted granted Critical
Publication of KR101091297B1 publication Critical patent/KR101091297B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 각 카메라로부터 얻어지는 화상에 있어서의 스캔 라인상에 있는 모든 화소에 대해 동적인 대응시킴(신축 매칭)으로서 취급함에 의해, 화상간의 대응시킴을 보다 로버스트하고도 고정밀도로 행한다.
적어도 2대의 카메라에 의해 서로 다른 시점에서 피사체를 촬상함에 의해 얻어진 각 화상의 법선 방향을 맞추고, 이들 보정한 각 화상간에 있어서 상기 피사체와 관련시키면서 서로 동일한 수평 라인상에 있는 화소 위치마다 대응 관계를 구할 때, 이러한 각 화소 위치에 대해 휘도 성분 및 색 성분을 비교함에 의해 그 유사도를 식별함과 함께, 피사체의 각 화상간에 있어서의 시차를 식별하고, 식별한 유사도 및 시차에 따라 대응 관계를 구한다.
Figure R1020040096122
화상 처리 장치

Description

화상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS, AND METHOD OF THE SAME}
도 1은 본 발명을 적용한 통신 시스템의 개략을 도시하는 도면.
도 2는 화상 처리 장치(2)의 구성에 관해 설명하기 위한 도면.
도 3은 매칭부에 있어서의 대응시킴에 관해 설명하기 위한 도면.
도 4는 각 화상(Pa1, Pa2)의 법선 방향을 맞추는 정규화에 관해 설명하기 위한 도면.
도 5는 DP를 이용한 대응시킴에 관해 설명하기 위한 도면.
도 6은 에피폴러 선(L1, L1')상의 임의의 특징점(x, y)에 이르기까지의 최적의 경로를 구하는 경우를 도시한 도면.
도 7은 정규화 화상(Pm1)과 정규화 화상(Pm2)에 있어서의 에피폴러선(L1, L1')상에 있는 각 특징점의 화소 성분(휘도 또는 색 성분)의 대응 관계를 도시한 도면.
도 8은 가상 시점 화상을 작성하는 방법에 관해 설명하기 위한 도면.
도 9는 3D 화상을 생성하는 촬상 시스템에 있어서의 구성에 관해 도시한 도면.
도 10은 입체시를 실현하는 예에 관해 설명하기 위한 도면.
도 11은 사용자의 시점 위치에 따라 가상적으로 카메라를 설치하는 예에 관해 설명하기 위한 도면.
도 12는 왼쪽눈용 시차 화상(오른쪽눈용 시차 화상)의 구성예에 관해 설명하기 위한 도면.
도 13은 화면의 좌우에 설치된 2대의 카메라에 의해 촬상된 각 화상간에 대해 스테레오시에 있어서의 대응시킴을 행하는 경우에 관해 설명하기 위한 도면.
도 14는 종래 기술의 문제점에 관해 설명하기 위한 도면.
♣도면의 주요부분에 대한 부호의 설명♣
1 : 통신 시스템 2 : 화상 처리 장치
5 : 디스플레이 7 : 네트워크
11, 12 : 카메라 20 : 보정부
29 : 매칭부 30 : 가상 시점 화상 생성부
31 : 출력 제어부 33 : 정보 생성부
기술분야
본 발명은, 예를 들면 텔레비전 회의 시스템 또는 텔리비전 전화 시스템 등에 적용되고, 송수신하는 화상을 촬상하여 이것을 가상 카메라에 의해 촬상한 결과 얻어지는 가상 시점 화상으로 재구성하는 촬상 장치 및 방법, 촬상 시스템에 관한 것이다.
종래의 기술
텔리비전 전화 시스템이나 텔레비전 회의 시스템 등으로 대표되는 바와 같이, 복수의 사용자가 서로 떨어진 장소에서 상대의 표시상(表示像)을 시인(視認)하면서 원격 대화하는 시스템이 제안되어 있다. 이와 같은 시스템에서는 상대의 표시상을 디스플레이상에 표시함과 함께, 해당 디스플레이를 시인하는 사용자를 촬영 대상으로 하여 촬상하고, 얻어진 화상 신호를 공중 회선, 전용 회선등의 네트워크를 통하여 상대측의 화상 처리 장치에 송신함에 의해, 쌍방의 사용자에 대해 현장감을 갖게 하는 것이 가능해진다.
종래에 있어서의 텔레비전 회의 시스템에서는, 디스플레이의 중심 부근에 비춰지는 상대의 표시상을 시인하는 사용자를, 디스플레이 상부에 있는 카메라에 의해 촬상하기 때문에, 사용자가 아래를 향한 상태의 화상이 상대측의 디스플레이상에 표시되게 된다. 이 때문에, 실제로 디스플레이를 시인하는 사용자간에 있어서 시선이 불일치한 상태에서 대화가 이루어지게 되고, 서로 위화감을 주게된다는 문제가 있다.
이상적으로는, 상대의 표시상이 비춰지는 디스플레이의 중심 부근에 카메라를 설치하면, 쌍방의 사용자의 시선을 일치시킨 상태에서 대화를 실현할 수 있다. 그러나, 이러한 디스플레이의 중심 부근에 카메라를 설치하는 것은 물리적으로 곤란하다.
이와 같은 시선 불일치에 관한 문제점을 해결하고자, 종래에 있어서, 디스플 레이의 양측에 배치된 복수의 카메라에 의해 촬영된 입력 화상에 의거하여 피사체의 3차원 정보를 추출하고, 추출한 3차원 정보와 수신자의 시점 위치에 관한 정보에 따라 피사체의 출력 화상을 재구성하고, 이것을 상대측의 디스플레이에 표시시키는 화상 처리 장치가 제안되어 있다(예를 들면, 특개2001-52177호 공보 참조). 이 화상 처리 장치에서는, 일직선상에 배치된 복수의 카메라 영상으로부터 생성된 에피폴러 평면 화상을 이용하여 화면 중심의 가상 시점 카메라 영상을 합성함에 의해, 이용자의 시선을 일치시키고 현장감이 높은 커뮤니케이션을 실현할 수 있다.
또한, 텔레비전 회의에서 서로의 시선을 일치시키고자, 화면의 좌우에 설치된 2대의 카메라로 촬영한 화상에 의거하여 3차원 위치 정보를 생성하는 화상 통신 장치(예를 들면, 특개2002-300602호 공보 참조)도 제안되어 있다.
그런데, 상술한 바와 같이 피사체의 출력 화상을 재구성할 때에는, 적어도 2대의 카메라에 의해 서로 다른 시점에서 피사체를 촬상함에 의해 얻어진 각 화상에 대해 화소 위치마다 대응 관계를 구한다. 이로써, 피사체의 형상이나 각 카메라까지의 거리를 삼각측량 원리에 의해 구하는 것이 가능해지고, 나아가서는, 디스플레이의 중심 부근에 가상적으로 설치한 가상 카메라에 의해 촬상된 가상 시점 화상을 정밀도 좋게 생성하는 것이 가능해지기 때문이다.
여기서 기본적인 구성으로서, 화면의 좌우에 설치된 2대의 카메라에 의해 촬상된 각 화상간에 대해 스테레오시(視)에 있어서의 대응시킴을 행하는 경우에 관해 도 13을 이용하여 설명을 한다.
각 카메라의 광학 중심(C1, C2)에 의해 서로 다른 시점에서 촬영 대상의 M점 에 광축을 맞추어 촬상을 행하면, 이로써 생성되는 화상(Ps1, Ps2)은 각 카메라의 촬상면에 대해 평행으로 된다. 여기서 각 카메라와, M점을 연결하는 직선의 방향은 각 카메라에 의해 촬상된 각 화상(Ps1, Ps2)의 법선 방향(p1, p2)에 일치하지만, 이들은 서로 다른 방향을 가리키고 있다.
이와 관련하여 대응시킴은, 피사체로서의 P를 구성하는 동일한 개소에 있는 화소 위치와 휘도 성분을 화상(Ps1, Ps2) 사이에서 추출하여 대응을 취하도록 한다. 예를 들면, 화상(Ps1)의 에피폴러 선(L1)상에 있는 화소(m1)의 대응점에 대해서는 화상(Ps2)의 에피폴러 선(L1')상에 존재하는 것으로 되고, 그 L1'위를 탐색함에 의해 화소(m1)에 가장 유사한 화소(m1')를 대응점으로서 검출할 수 있다. 또한, 대응시킨 화소(m1), 화소(m1')를 이용함에 의해 3차원 공간 내의 대상(P)을 용이하게 추정할 수 있다.
구체적인 대응시킴의 수법으로서, 종래부터 화소 중심 매칭(Pixel-based matching), 영역 중심 매칭(Area-based matching), 특성 중심 매칭(Feature-based matching) 등이 제안되어 있다. 화소 중심 매칭은, 한쪽의 화상에 있어서의 화소의 대응점을, 다른쪽의 화상에서 그대로 탐색하는 방법이다(예를 들면, C.Lawrence Zitnick and Jon A. Webb: Multi-baseline Stereo Using Surface Extraction, Technical Report, CMU-CS-96-196, (1996). 참조). 영역 중심 매칭은, 한쪽의 화상에 있어서의 화소의 대응점을, 다른쪽의 화상에서 탐색하는 경우에, 그 대응점의 주위에 있어서의 국소적인 화상 패턴을 참조하면서 실행하는 대응시킴을 행한다(예를 들면, [Okutomi.M and Kanade.T: A locally adaptive window for signal matching, Int. Journal of Computer Vision, 7(2), pp.143-162, (1992)], [奧富, 金出(오쿠토미 가나데): 복수의 기선 길이를 이용한 스테레오 매칭, 전자정보통신학회 논문지 D-II, Vol.J75-D-Ⅱ, No.8, pp.1317-1327, (1992)] 참조). 또한 특성 중심 매칭은, 화상으로부터 농담 에지 등을 추출하고, 화상간의 특징 부분만을 참조하여 대응시킴을 행한다(예를 들면, [H.Baker and T.Binford: Depth from edge and intensity based stereo, In Proc. IJCAI'81, (1981)],[W.E.L.Grimson: Computational experiments with a feature based stereo algorithm, IEEE Trans. PAMI, Vol.7, No.1, pp.17 내지 34, (1985)] 참조).
그러나, 이들의 수법은 어디까지나 에피폴러 선상에 위치한 화소 중에서 유사도가 높은 것을 대응점으로서 특정하기 때문에, 예를 들면 사용자를 피사체로서 촬상한 경우에 얻어진 화상(Ps1, Ps2)간에 있어서, 도 14에 도시한 바와 같이 반복 패턴(예를 들면, 두 눈 부분)이나, 휘도 변화가 거의 생기지 않는 이른바 비특징점(예를 들면 벽부분)에 있어서 대응시킴이 곤란하였다.
또한, 다른 시점에서 촬상함에 의해 얻어지는 화상(Ps1, Ps2)에서는, 피사체로부터 카메라에 이르기까지의 거리에 의거한 시차에 의해, 예를 들면 도 14에 도시한 볼이나 귀 부분 등에 있어서 표시되는 내용이 달라진다. 이하, 이와 같은 영역을 폐색 영역(occlusion area)이라고 말한다. 이들의 폐색 영역에서는 상기 시차에 의해 한쪽의 화상(Ps1)에 표시되어 있는 대상물의 대응점이 다른쪽 화상(Ps2)에서 숨어 버려 대응시킴을 행하는 경우에 불편함이 생기는 경우가 있다.
또한, 다른 시점에서 촬상함에 의해 얻어지는 화상(Ps1, Ps2)은, 예를 들면 창의 부분 등과 같이 보는 방향에 의해 밝기가 다른 영역이나, 사용자의 코 부분 등과 같이 정반사가 생기는 영역에 있어서, 휘도 성분, 색 성분에 대해 격차가 생기고, 대응시킴이 곤란하게 되는 경우가 있다.
그래서 본 발명은, 상술한 문제점을 감안하여 안출된 것이며, 그 목적으로 하는 바는, 각 카메라로부터 얻어지는 화상에 있어서의 스캔 라인상에 있는 모든 화소에 대해 동적인 대응시킴(신축 매칭)으로서 취급함에 의해, 화상간의 대응시킴을 보다 로버스트하면서 고정밀도로 행하는 화상 처리 장치 및 방법을 제공하는데 있다.
본 발명을 적용한 화상 처리 장치 및 방법에서는, 상술한 과제를 해결하기 위해, 적어도 2대의 카메라에 의해 서로 다른 시점에서 피사체를 촬상함에 의해 얻어진 각 화상의 법선 방향을 맞추고, 이들 보정한 각 화상간에 있어서 상기 피사체와 관련시키면서 서로 동일한 수평 라인상에 있는 화소 위치마다 대응 관계를 구할 때, 이러한 각 화소 위치에 대해 휘도 성분 및 색 성분을 비교함에 의해 그 유사도를 식별함과 함께, 피사체의 각 화상간에 있어서의 시차를 식별하고, 식별한 유사도 및 시차에 따라 대응 관계를 구한다.
즉, 본 발명을 적용한 화상 처리 장치는, 적어도 2대의 카메라에 의해 서로 다른 시점에서 피사체를 촬상함에 의해 얻어진 각 화상의 법선 방향을 맞추는 화상 보정 수단과, 상기 화상 보정 수단에 의해 보정된 각 화상간에 있어서, 상기 피사체와 관련시키면서 서로 동일한 수평 라인상에 있는 화소 위치마다 대응 관계를 구 하는 매칭 수단을 구비하고, 상기 매칭 수단은 상기 대응 관계를 구하는 각 화소 위치에 대해 휘도 성분 및 색 성분을 비교함에 의해 그 유사도를 식별함과 함께, 상기 피사체의 각 화상간에 있어서의 시차를 식별하고, 상기 식별한 유사도 및 시차에 따라 상기 대응 관계를 구한다.
또한, 본 발명을 적용한 화상 처리 방법은, 적어도 2대의 카메라에 의해 서로 다른 시점에서 피사체를 촬상함에 의해 얻어진 각 화상의 법선 방향을 맞추는 화상 보정 스텝과, 상기 화상 보정 스텝에 의해 보정한 각 화상간에 있어서, 상기 피사체와 관련시키면서 서로 동일한 수평 라인상에 있는 화소 위치마다 대응 관계를 구하는 매칭 스텝을 가지며, 상기 매칭 스텝에서는, 상기 대응 관계를 구하는 각 화소 위치에 대해 휘도 성분 및 색 성분을 비교함에 의해 그 유사도를 식별함과 함께, 상기 피사체의 각 화상간에 있어서의 시차를 식별하고, 상기 식별한 유사도 및 시차에 따라 상기 대응 관계를 구한다.
본 발명을 적용한 화상 처리 장치 및 방법에서는, 적어도 2대의 카메라에 의해 서로 다른 시점에서 피사체를 촬상함에 의해 얻어진 각 화상의 법선 방향을 맞추고, 이들 보정한 각 화상간에 있어서 상기 피사체와 관련시키면서 서로 동일한 수평 라인상에 있는 화소 위치마다 대응 관계를 구할 때, 이러한 대응 관계를 구하는 각 화소 위치에 대해 휘도 성분 및 색 성분을 비교함에 의해 그 유사도를 식별함과 함께, 피사체의 각 화상간에 있어서의 시차를 식별하고, 식별한 유사도 및 시차에 따라 대응 관계를 구한다.
이로써, 폐색 영역이 존재하는 경우에 있어서도 보다 정확한 대응시킴을 행 할 수 있고, 또한 예를 들면 두 눈 부분 등의 반복 패턴이나, 휘도 변화가 거의 생기지 않는 이른바 비특징점(예를 들면 벽의 부분)에 있어서도 대응시킴의 정밀도를 향상시킬 수 있다.
이하, 본 발명을 실시하기 위한 최선의 형태에 관해 도면을 참조하면서 상세히 설명한다.
본 발명을 적용한 통신 시스템(1)은, 예를 들면 도 1에 도시한 바와 같이, A지점의 사용자(a)와, B지점의 사용자(b)와의 사이에서, 서로 떨어진 장소에서 상대의 표시상을 시인하면서 원격 대화하는 시스템이다.
A지점에는, 촬영 대상으로서의 사용자(a)를 서로 다른 시점에서 촬상하는 카메라(11a), 카메라(12a)와, B지점측에서 촬상된 사용자(b)의 화상을 사용자(a)에 대해 표시하기 위한 디스플레이(5a)와, 카메라(11a, 12a)에 의해 촬상된 각 화상(Pa1, Pa2)에 의거하여 가상 시점 화상(Ima)을 생성하고, 이것을 네트워크(7)를 통하여 B지점에 송신하는 화상 처리 장치(2a)가 배설되어 있다.
B지점에는, 촬영 대상으로서의 사용자(b)를 서로 다른 시점에서 촬상하는 카메라(11b), 카메라(12b)와, A지점측에서 촬상된 사용자(a)의 화상을 사용자(b)에 대해 표시하기 위한 디스플레이(5b)와, 카메라(11b, 12b)에 의해 촬상된 각 화상(Pb1, Pb2)에 의거하여 가상 시점 화상(Imb)을 생성하고, 이것을 네트워크(7)를 통하여 A지점에 송신하는 화상 처리 장치(2b)가 배설되어 있다.
또한, 이 화상 처리 장치(2a, 2b)에 의해 생성되는 상기 가상 시점 화상(Ima, Imb)은, 상대의 표시상이 비춰지는 디스플레이(5a, 5b)의 중심 부근에 있어서 가상적으로 설치되는 가상 카메라에 의해 촬상되는 화상에 상당한다.
카메라(11a, 11b)는, 각각 사용자(a, b)측에서 볼때 디스플레이(5a, 5b)의 좌측면에 설치되어 있고, 카메라(12a, 12b)는, 각각 사용자(a, b)측에서 볼때 디스플레이의 우측면에 설치되어 있다. 이 카메라(11, 12)는 촬영 방향, 촬영화상각이 고정된 상태에서 설치되지만, 각 사용자(a, b)로부터의 입력되는 정보에 의거하여, 이들을 자유롭게 변경하도록 하여도 좋다. 이와 관련하여, 이 통신 시스템(1)에서는 사용자의 시선의 높이에 맞추어 설치된 2대의 카메라에 의해 촬영 대상을 촬상하는 경우를 예를 들어 설명을 한다.
디스플레이(5a, 5b)는, 각각 네트워크(7)를 통하여 상대측 지점에서 공급되는 가상 시점 화상(Imb, Ima)에 의거한 화상을, 예를 들면 액정 표시면을 통하여 표시한다. 이 디스플레이(5a, 5b)에 있어서의 액정 표시면은 다수의 액정 표시 소자 등으로 이루어지고, 각 가상 시점 화상(Imb, Ima)에 의거한 출력 신호에 따라 액정 표시 소자를 광변조시켜 사용자에게 표시하는 화상을 만들어 낸다.
화상 처리 장치(2a, 2b)는, 통상 퍼스널 컴퓨터(PC) 등의 전자 기기로 구성된다. 이들의 화상 처리 장치(2a, 2b)는 네트워크(7)를 통하여 서로 통신하기 위한 기능을 구비하고, 상대측에서의 요구에 따라 화상이나 음성을 송신한다. 또한, 화상 처리 장치(2a, 2b)의 구성에 관해서는 후에 상세히 설명을 한다.
네트워크(7)는, 예를 들면 화상 처리 장치(2)와 전화 회선을 통하여 접속되는 인터넷 망을 위시하여, TA/모뎀과 접속되는 ISDN(Integrated Services Digital Network)/B(broadband)-ISDN 등과 같이, 정보의 쌍방향 송수신을 가능하게 한 공중 통신 망이다. 이와 관련하여 이 통신 시스템(1)을 일정한 좁은 지역 내에서 운용하는 경우에는, 이 네트워크(7)를 LAN(Local Area Network)으로 구성하여도 좋다. 또한 이 네트워크(7)는 동화상을 송신하는 경우에는 인터넷 프로토콜(IP)에 의거하여, 예를 들면 MPEG(Moving Picture Experts Group) 데이터를 위시한 동화상이 어떤 하나의 채널로부터 계속적으로 송신된다. 또한 정지 화상을 송신하는 경우에는 동화상을 송신하는 채널과는 다른 채널로부터 일정 시간마다 송신되게 된다. 또한, 이 네트워크(7)에는 또한 도시하지 않은 네트워크 서버를 접속하여도 좋다. 이 도시하지 않은 네트워크 서버는, 예를 들면 인터넷 정보를 관리하고, 화상 처리 장치(2)에 의한 요구를 받아, 자신에게 격납되어 있는 소정의 정보를 송신한다.
다음에, 화상 처리 장치(2)의 구성에 관해, 화상 처리 장치(2a)를 예로 들어 설명을 한다. 화상 처리 장치(2a)는, 도 2에 도시한 바와 같이, 접속된 카메라(11a, 12a)로부터 화상(Pa1, Pa2)이 공급되는 보정부(20)와, 이 보정부(20)에 접속되는 매칭부(29)와, 또한 이 매칭부(29)에 접속되는 가상 시점 화상 생성부(30)와, 가상 시점 화상 생성부(30)에 의해 생성된 가상 시점 화상(Ima)을 상대측의 단말 장치(2b)에 송신하기 위한 출력 제어부(31)와, 각 카메라(11a, 12a)에 대한 사용자(a)의 상대적인 위치 관계를 나타내는 상대 위치 정보를 생성하는 정보 생성부(33)를 구비하고 있다.
보정부(20)는, 카메라(11a, 12a)로부터 송신되는 각 화상(Pa1, Pa2)에 대해 기하학적인 화상 보정을 행하기 위한 기하학적 화상 보정부(21, 22)와, 이들 기하 학적 화상 보정부(21, 22)에 의해 화상 보정이 시행된 화상을 정규화하기 위한 정규화 처리부(24)를 구비하고 있다.
기하학적 화상 보정부(21, 22)는, 카메라 캘리브레이션부(26; calibration unit)로부터 송신되는 상기 카메라(11a, 12a)의 기하학적인 위치 관계를 포함하는 제어 정보에 의거하여, 각 화상(Pa1, Pa2)을 보정한다. 이 카메라(11a, 12a)의 기하학적인 위치 관계는, 상술한 카메라 캘리브레이션부(26)로부터 송신되는 제어 정보에 있어서 파라미터화되어 있어서도 좋다. 또한, 각 카메라(11a, 12a)의 촬영 방향 및/또는 촬영화상각을 변경하면서 촬상을 실행하는 경우에는, 카메라 캘리브레이션부(26)에 있어서 이들을 파라미터화하고, 화상을 보정할 때 이들의 파라미터를 제어 정보에 포함하도록 하여도 좋다. 이로써, 기하학적 화상 보정부(21, 22)는, 각 카메라(11a, 12a)의 촬영 방향 및/또는 촬영화상각에 따라 리얼타임으로 화상 보정할 수 있다.
또한, 이 카메라 캘리브레이션부(26)는, 마찬가지로 카메라(11a, 12a)의 각 렌즈에 있어서의 색 수차나 왜곡, 광축의 어긋남을, 예를 들면 특개2000-350239호 공보나, 특개평11-53549호 공보에 나타나 있는 카메라 교정 수법에 의거하여 파라미터화하고, 이들을 각 보정부(20)에 송신하도록 하여도 좋다. 이러한 경우에 있어서 보정부(20)는 취득한 파라미터에 의거하여 카메라(11a, 12a)로부터의 화상을 사영 변환함에 의해 기준이 되는 화상에 맞추어 넣는다. 휘도 성분 등에 대해서도 마찬가지로 카메라(11a, 12a)로부터의 화상간에 있어서 휘도의 오차가 최소로 되는 사영 변환 행렬을 이용함에 의해 서로의 조정을 도모한다.
정규화 처리부(24)는, 각 기하학적 화상 보정부(21, 22)에서 보정된 화상이 각각 공급되고, 이들에 대해 기하학적 정규화 처리를 시행한다. 이 정규화 처리부(24)는 각 카메라에 의해 촬상된 각 화상(Pa1, Pa2)의 법선 방향을 맞춘다. 즉, 이 정규화 처리부(24)는 각 화상(Pa1, Pa2)의 법선 방향을 가상적으로 설정된 가상 평면(π)의 법선 방향에 맞춤으로써 이것을 정규화하고, 각각 정규화 화상(Pm1, Pm2)을 생성한다. 이러한 경우에 있어서, 정규화 처리부(24)는 각 카메라(11a, 12a)에 의해 촬상된 각 화상(Pa1, Pa2)을 상기 가상 평면(π)에 사영하기 위한 사영 변환 행렬을 구하고, 구한 사영 변환 행렬에 의거하여 상기 각 화상의 법선 방향을 상기 가상 평면(π)의 법선 방향에 맞춘다.
이와 관련하여, 카메라 캘리브레이션부(26)는 카메라(11a, 12a)로서 이른바 고정 시점 카메라를 적용하는 경우에는, 미리 카메라 캘리브레이션부(26)에 의해 화상(Pa1, Pa2)의 법선 방향을 취득하도록 하여도 좋다. 또한, 각 카메라(11a, 12a)의 촬영 방향 및/또는 촬영화상각을 변경하면서 촬상을 실행하는 경우에는, 카메라 캘리브레이션부(26)에 있어서 이들을 파라미터화하고, 화상을 정규화할 때 이들의 파라미터를 제어 정보에 포함하도록 하여도 좋다. 이로써, 사용자(a, b)의 위치에 따라 촬영 방향 등을 순차적으로 변경하면서 촬상을 행하는 경우에 있어서도 유연하게 대응할 수 있다.
또한, 이 카메라 캘리브레이션부(26)에 있어서, 이들의 파라미터를 도시하지 않은 ROM이나 RAM에 격납하여 둠에 의해, 보정부(20)는 상황에 따라 수시로 이들을 참조할 수 있고, 고속의 보정 처리를 실현할 수 있다. 또한 카메라 캘리브레이션부(26)는 상기 카메라(11a, 12a)로부터 화상(Pa1, Pa2)이 공급될 때마다 이들의 파라미터를 구함에 의해, 기하학적 화상 보정부(21, 22)에서 정밀도가 높은 보정 처리를 실현할 수 있다.
매칭부(29)는 정규화 처리부(24)에서 생성된 정규화 화상(Pm1, Pm2)이 각각 공급된다. 이 매칭부(29)는 이들 정규화 화상(Pm1, Pm2)을 구성하는 각 화소 위치에 대해 대응 관계를 구한다.
이와 관련하여, 이 대응시킴은 사용자(a)의 얼굴을 구성하는 동일한 부분에 있는 화소 위치와 휘도 성분을 정규화 화상(Pm1, Pm2) 사이에서 추출하여 대응을 취하도록 한다. 예를 들면 도 3에 도시한 바와 같이, 정규화 화상(Pm1)의 에피폴러 선(L1)상에 있는 화소(P11)의 대응점에 대해서는 정규화 화상(Pm2)의 에피폴러 선(L1')상에 존재하는 것으로 되고, 그 L1' 위를 탐색함에 의해 가장 유사한 화소 위치(P11')를 대응점으로서 검출할 수 있다. 이와 관련하여 매칭부(29)는 이 대응시킴에 대해 특징 추출한 개소만에 대해 실행하여도 좋고, 정규화 화상(Pm1, Pm2)을 구성하는 모든 화소에 대해 실행하여도 좋다.
정보 생성부(33)는, 화소 위치마다 대응 관계를 구할 때 필요한 정보를 생성하고, 이것을 매칭부(29)에 공급한다. 정보 생성부(33)는 이 생성하여야 할 상대 위치 정보를 카메라(11a, 12a)로부터 피사체로서의 사용자(a)에 이르기까지의 거리를 식별하고, 이에 의거한 시차 정보를 생성하도록 하여도 좋다. 이러한 거리의 식별에 관해서는, 각 카메라(11a, 12a)에 의해 생성된 화상 정보로부터 Depth 정보를 취득함에 의해 실행하여도 좋다.
또한, 이 정보 생성부(33)는 생성하여야 할 상대 위치 정보를 사용자(a)의 디스플레이(5a)에 대한 시선 방향에 의거하여 생성하여도 좋다. 이러한 경우에 있어서 정보 생성부(30)는 카메라(11a, 12a)로부터 공급된 화상(Pa1, Pa2)으로부터 사용자(a)의 시선 방향을 취득하고, 이에 의거하여 상대 위치 정보를 생성한다. 이로써, 말하자면 가상 카메라의 촬영 방향을 사용자(a)의 시선 방향에 맞추어 넣는 것과 같은 처리를 실현할 수 있다.
가상 시점 화상 생성부(30)는, 매칭부(29)에 의해 서로 대응시켜진 화소 위치 및 그 휘도 성분이 각각 입력된다. 또한, 가상 시점 화상 생성부(30)는 서로 대응시켜진 화소 위치 및 그 휘도 성분으로부터 정보 생성부(33)에서 생성된 상대 위치 정보에 따라, 새롭게 생성하여야 할 가상 시점 화상(Ima)을 구성하는 화소 위치 및 그 휘도 성분을 구한다. 가상 시점 화상 생성부(30)는 구한 화소 위치 및 그 휘도 성분에 의해 구성되는 가상 시점 화상(Ima)을 출력 제어부(31)에 공급한다.
출력 제어부(31)는, 가상 시점 화상 생성부(30)에서 생성된 가상 시점 화상(Ima)을 네트워크(7)를 통하여 화상 처리 장치(2b)에 송신하도록 제어한다. 이러한 경우에 있어서, 이 출력 제어부(31)는 카메라(11a, 12a)에 의해 생성된 화상(Pa1, Pa2)을 단독으로 화상 처리 장치(2b)에 송신하도록 제어하여도 좋다.
다음에, 이 화상 처리 장치(2a)에 있어서의 구체적인 동작에 관해 설명을 한다.
촬영 대상으로서의 사용자(a)는, 카메라(11a, 12a)에 의해 서로 다른 각도로부터 촬영된다. 그 결과, 카메라(11a, 12a)에 의해 생성되는 화상(Pa1, Pa2)상의 사용자(a)의 시선 방향, 얼굴 방향 등은 서로 다른 상태로 된다. 이와 같은 화상(Pa1, Pa2)은 각각 기하학적 화상 보정부(21, 22)에 공급되고, 카메라 캘리브레이션부(26)에 의해 미리 구하여진 각 카메라(11a, 12a)의 렌즈 왜곡이나 화상 중심 등의 파라미터에 의거하여 화상의 왜곡이나 화상 중심이 어긋나지 않도록 보정을 행한다.
이들 기하학적 화상 보정부(21, 22)에서 보정된 각 화상(Pa1, Pa2)은, 정규화 처리부(24)에 공급되면 이하에 나타나는 방법에 의거하여 정규화되게 된다.
도 4는, 각 카메라(11a, 12a)에 의해 촬상한 화상(Pa1, Pa2)을 정규화하는 경우에 관해 도시하고 있다. 이 도 4에 도시된 바와 같이, 각 카메라(11a, 12a)의 광학 중심(C1, C2)에 의해 서로 다른 시점에서 촬영 대상의 M점에 광축을 맞추어 촬상을 행하면, 이로써 생성되는 화상(Pa1, Pa2)은 각 카메라(11a, 12a)의 촬상면에 대해 평행하게 된다. 여기서 각 카메라(11a, 12a)와, M점을 연결하는 직선의 방향은 각 카메라에 의해 촬상된 각 화상(Pa1, Pa2)의 법선 방향(k1, k2)에 일치하지만, 이들은 서로 다른 방향을 가리키고 있다. 이들 각 화상(Pa1, Pa2)의 법선 방향(k1, k2)이 동일 방향이 되도록 기하학적 정규화를 행함에 의해, 화상면이 서로 평행한 정규화 화상(Pm1, Pm2)을 만들어 낸다.
이 기하학적 정규화는, 카메라 캘리브레이션부(26)에 의해 미리 구하여진 사영 행렬(P1, P2)을 이용하여 카메라 내부 파라미터(A1, A2), 회전 행렬(R1, R2), 전이 행렬(T1, T2)을 추정함에 의해 실현한다. 그 결과, 보정 후의 화상 촬상면의 법선 방향(k1', k2')이 평행화된 정규화 화상(Pm1, Pm2)을 생성할 수 있다.
이와 관련하여, 이 기하학적 정규화를 시행하는 경우에는, 광학 중심(C1, C2)을 포함하는 가상 평면(π)을 설정하여 두고, 이 가상 평면(π)의 법선 방향에 대해 이들 각 화상(Pa1, Pa2)의 법선 방향이 동일 방향이 되도록, 사영 행렬(P1, P2)을 이용하여 정규화하도록 하여도 좋다.
정규화 처리부(24)에서 상술한 바와 같이 사영 변환된 정규화 화상(Pm1, Pm2)은, 매칭부(29)에서 촬영 대상과 관련시키면서, 화소 위치마다 대응시켜진다. 본 발명에 있어서는, 매칭부(29)의 전단에 있는 정규화 처리부(24)에서 미리 정규화되고, 에피폴러 선이 평행화되어 있기 때문에, 화소 탐색의 로버스트성을 향상시킬 수 있다.
이들 정규화 화상(Pm1과 Pm2)에 대해, 이 매칭부(29)에서 대응시킴을 행하는 경우에 있어서, 도 4에 도시한 바와 같이 정규화 화상(Pm1)의 에피폴러 선(L1)상에 있는 화소 P11의 대응점에 대해서는, 정규화 화상(Pm2)의 에피폴러 선(L1')상에 존재하는 것으로 되고, 그 L1' 위를 탐색함에 의해 대응점으로서의 화소(P11')를 검출할 수 있다.
예를 들면 도 5의 (a)에 도시한 바와 같이, 피사체로서의 사용자(a)가 각각 비춰진 정규화 화상(Pm1)에 있어서의 에피폴러 선(L1)상의 화소와, 정규화 화상(Pm2)에 있어서의 에피폴러 선(L1')상의 화소를 대응시키는 경우에, 에피폴러 선(L1)상의 특징점의 점렬(R1)을 왼쪽으로부터 차례로{a1, a2, a3, a4, a5}로 하고, 또한 에피폴러 선(L1')의 특징점의 점렬(R2)을 왼쪽으로부터 차례로{b1, b2, b3, b4, b5}로 한다. 여기서, 서로의 에피폴러 선(L1, L1')상에 있는 특징점(R1, R2)을 피사체와의 관계에 있어서 대응시킬 때, 우선, a1에 대해 L1' 상의 특징점은 b1이 해당하고 1:1로 대응하게 되지만, 사용자(a)의 오른쪽 귀를 구성한 특징점(a2, a3)에 대해 L1' 상의 특징점은 b2가 해당하고, 2:1로 대응하게 된다. 마찬가지로, 사용자(a)의 왼쪽 귀를 구성하는 특징점(a4)에 대해 L1'상의 특징점은 b3, b4가 해당하고, 1:2로 대응하게 된다. 또한, a5에 대해 L1'상의 특징점은 b5가 해당하고 1:1로 대응하게 된다.
이와 같이, 다른 시점에서 촬상함에 의해 얻어지는 정규화 화상(Pm1, Pm2)에서는, 피사체로부터 카메라에 이르기까지의 거리에 의거한 시차에 의해 사용자(a)의 귀 부분 등에 있어서 표시되는 내용이 달라진다. 이하, 이와 같은 영역을 폐색 영역이라고 한다. 이러한 폐색 영역에서는 상기 시차에 의해 한쪽의 정규화 화상에 표시되어 있는 피사체의 대응점이 다른쪽의 정규화 화상에 은폐되어 버리기 때문에, 종래와 마찬가지로, {(a1, b1), (a2, b2), (a3, b3), (a4, b4), (a5, b5)}와 대응시켜 버리면 오차가 생기게 된다.
이 때문에, 본 발명을 적용한 화상 처리 장치(2a)에 있어서의 매칭부(29)에서는, 이러한 시차를 식별함에 의해 도 5의 (a)에 도시된 정규화 화상의 특징점의 점렬(R1, R2)을, 결과적으로 도 5의 (b)에 도시된 바와 같이 {(a1, b1), (a2, b2), (a3, b2), (a4, b3), (a4, b4), (a5, b5)}로 대응시켜지도록 제어한다.
구체적으로는, 각 정규화 화상(Pm1, Pm2)에 있어서의 에피폴러 선상에 있는 모든 화소에 대해 도 5의 (c)에 도시한 바와 같은 최단 경로 탐색(DP: Dynamic Programming)을 이용한 동적인 대응시킴을 행한다.
이 도 5의 (c)에 있어서의 x축에 에피폴러 선(L1)상의 특징점의 점렬(R1){a1, a2, a3, a4, a5}을 배열하고, 또한 y축을 에피폴러 선(L1')상의 특징점의 점렬(R2){b1, b2, b3, b4, b5}로 할 때, 도 5의 (b)에 도시된 대응 관계를 이 그래프에 적용시키면, 도 5의 (c)에 도시된 태선으로 도시된 경로를 취하게 된다. 이하, 이 태선으로 도시된 대응점을 연결하는 직선을 최적의 경로라 한다.
이 최적의 경로에 있어서 오른쪽 위로 선형(線形) 증가하는 경우에는, 에피폴러 선(L1, L1')상을 왼쪽으로부터 오른쪽으로 시프트시켜 대응시킬 때, 서로의 특징점을 1:1로 순차적으로 시프트시켜 대응시키는 것을 나타내고 있다. 오른쪽 위로 선형 증가하는 최적의 경로의 예로서, 에피폴러 선(L1, L1')상의 특징점(a1, b1)으로부터 왼쪽으로부터 오른쪽으로 각각 하나씩 시프트시킴에 의해 특징점(a2, b2)을 정확하게 대응시킬 수 있다.
또한, 이 최적의 경로에 있어서 수평 방향으로 시프트하는 경우에는, 정규화 화상(Pm1, Pm2)간에 있어서 시차가 생긴 결과, 정규화 화상(Pm1)에 있어서 나타나 있는 특징점이 정규화 화상(Pm2)에서 은폐되어 버린 것을 시사하고 있다. 이러한 경우에는 정규화 화상(Pm2)상에 있는 하나의 특징점에 대해 정규화 화상(Pm1)상에 있는 복수의 특징점을 대응시킨다. 이 수평 방향으로 시프트하는 최적의 경로의 예로서, 에피폴러 선(L1, L1')상의 특징점(a2, b2)에 있어서 사용자(a)의 오른쪽 귀를 나타내는 b2는, 상술한 시차에 의해 또한 a3와도 대응하기 때문에, b2를 그대로 유지하면서 이것에 a3을 대응시킨다.
또한, 이 최적의 경로에 있어서 수직 방향으로 시프트한 경우에는, 정규화 화상(Pm1, Pm2)간에 있어서 시차가 생긴 결과, 정규화 화상(Pm2)에서 나타나 있는 특징점이 정규화 화상(Pm1)에서 은폐되어 버린 것을 시사하고 있다. 이러한 경우에는 정규화 화상(Pm1)상에 있는 하나의 특징점에 대해 정규화 화상(Pm2)상에 있는 복수의 특징점을 대응시킨다. 이 수직 방향으로 시프트하는 최적의 경로의 예로서, 에피폴러 선(L1, L1')상의 특징점(a4, b3)에 있어서 사용자(a)의 왼쪽 귀를 나타내는 a4는, 상술한 시차에 의해 또한 b4와도 대응하기 때문에 a4를 그대로 유지하면서 이것에 b4를 대응시킨다.
매칭부(29)는, 이들 대응시킴을 서로의 정규화 화상(Pm1, Pm2)을 구성하는 전부를 구성하는, 또는 일부를 구성하는 에피폴러 선(L1, L1')간에 있어서 실행한다. 그리고 에피폴러 선(L1, L1')마다 상술한 최적의 경로를 구함에 의해 특징점의 점렬(R1, R2)간에 있어서의 대응시킴을 행한다.
도 6은, 에피폴러 선(L1, L1')상의 임의의 특징점(x, y)에 이르기 까지의 최적의 경로를 구하는 경우에 관해 도시하고 있다.
이 특징점(x, y)에 이르는 최적의 경로는, 특징점(x-1, y-1)으로부터 왼쪽으로부터 오른쪽으로 각각 하나씩 시프트시킴에 의해 도 6에 도시된 그래프에 있어서 오른쪽 위로 선형 증가하고, 또는 특징점(x-1, y)에 있어서 y를 그대로 유지하면서 수평 방향으로 1시프트시킴에 의해 도 6에 도시된 그래프에 있어서 특징점(x-1, y)으로부터 수평 방향으로 이동한다. 또한, 이 특징점(x, y)에 이르는 최적의 경로는, 특징점(x, y-1)에 있어서 x를 그대로 유지하면서 수직 방향으로 1시프트시킴에 의해 도 6에 도시된 그래프에 있어서 특징점(x, y-1)으로부터 수직 방향으로 이동하게 된다.
즉, 특징점(x, y)을 통과하는 최적의 경로는, 도 6에 도시한 그래프에 있어서 그 왼쪽, 왼쪽 아래, 아래에 위치하는 특징점(x-1, y), (x-1, y-1), (x, y-1)의 어느 하나를 경유하게 된다. 본 발명 매칭부(29)는 어느 하나의 특징점(x-1, y), (x-1, y-1), (x, y-1)을 경유하여 특징점(x, y)에 이르는지에 관하여 이하에 설명하는 함수를 순차적으로 구하여 감에 의해 결정한다.
매칭부(29)는, 이하에 나타내는 매칭 비용 함수d(x, y)와 동적인 폐색 비용 함수dx(x, y), dy(x, y)를 구하고, 구한 각 함수에 따라 상술한 최적의 경로를 구한다. 매칭 비용 함수d(x, y)는 대응 관계를 구하는 각 화소 위치간에 있어서의 휘도 성분 및 색 성분의 유사도를 나타내는 함수이고, 또한 폐색 비용 함수dx(x, y)는 정규화 화상(Pm1)의 정규화 화상(Pm2)에 대한 피사체 화상의 은폐 정도를 나타내는 함수이고, 또한 폐색 비용 함수dy(x, y)는, 정규화 화상(Pm2)의 정규화 화상(Pm1)에 대한 피사체 화상의 은폐 정도를 나타내는 함수이다. 이들 폐색 비용 함수dx(x, y), dy(x, y)는 피사체의 각 화상간에 있어서의 시차가 반영된 형태로 된다.
우선, 매칭 비용 함수d(x, y)를 구하는 방법에 관해 설명을 한다.
d(x, y)에 관해, 비교하는 휘도 성분 또는 색 성분중 어느 쪽에 무게를 부여하는지 결정한다. 이 무게 부여는, 무게 부여 계수(α)를 이용하여 이하의 식 (1)에 의거하여 행한다.
dk(s, t)=α×dYk(s, t)+(1-α)dCk(s, t) ‥‥‥‥ (1)
여기서 (s, t)는, 특징점(x, y)에 대응하는 정규화 화상(Pm1), 정규화 화상(Pm2)에 있어서의 화소 위치를 나타내고 있다. 또한 k는, 정규화 화상(Pm1), 정규화 화상(Pm2)의 몇행째에 해당하는지를 나타내고 있다(즉 k=y). 이 식 (1)에 있어서 dYk(s, t)는, 정규화 화상(Pm1)과 정규화 화상(Pm2)의 좌표(s, t)간에 있어서의 휘도 성분의 차분 절대치를 나타내고, 이하의 (2)식으로 정의된다.
dYk(s, t)=|Y1k(s, t)-Y2k(s, t)| ‥‥‥‥ (2)
또한, 이 식 (1)에 있어서 dCk(s, t)는 정규화 화상(Pm1)과 정규화 화상(Pm2)과의 사이에 있어서의 색 성분의 차분 절대치를 나타내고, 이하의 (3)식으로 정의된다.
dCk(s, t)=|C1k(s, t)-C2k(s, t)| ‥‥‥‥ (3)
즉, 상기 식 (1)에 있어서 α를 보다 높게 설정함에 의해, 구하는 dk(s, t)에 관해, 휘도 성분의 차분 절대치 dYk(s, t)의 성분을 보다 반영시킬 수 있다.
또한 상기 식 (1)에 있어서 α를 보다 작게 설정함에 의해, 구하는 dk(s, t)에 관해, 색 성분의 차분 절대치 dCk(s, t)의 성분을 보다 반영시킬 수 있다. 이와 관련하여, 이 α에 관해서는 색 성분의 매칭 비용와, 휘도 성분의 매칭 비용의 평균치를 할당하도록 하여도 좋다.
d(x, y)는, (1)식에 의해 구하여지는 dk(s, t)에 의거하여, 또한 이하의 (4)식에 의해 구하여진다.
d(x, y)=(Σdk(s, t))/2K k=-K, ‥, K-1 ‥‥‥‥ (4)
이 (4)식은, 에피폴러 선의 상하에 위치하는 각 화소의 사이에서 평균을 취함에 의해, d(x, y)를 구할 수 있는 것을 의미하고 있다. 이 (4)식에 의해 구하는 d(x, y)에 대해 에피폴러 선의 상하에 위치하는 각 화소와의 상관 관계를 반영시킬 수 있다. 이로써 대응시킴 정밀도의 향상을 대폭적으로 도모하는 것이 가능해진다.
즉, 상술한 방법에 의해 구해진 매칭 비용d(x, y)는, 정규화 화상(Pm1)과 정규화 화상(Pm2)의 화소 위치(s, t)에 있어서의 휘도 성분, 또는 색 성분의 차분 절대치가 커짐에 따라 증가한다. 환언하면, 정규화 화상(Pm2)과 정규화 화상(Pm1)의 화소 위치(s, t)에 있어서의 휘도 성분, 또는 색 성분의 차이가 커짐에 따라 증가하고, 또한 이들이 유사함에 따라 작아진다. 즉, 이 매칭 비용d(x, y)에 의해, 정규화 화상(Pm1)과 정규화 화상(Pm2)의 화소 위치(s, t)에 있어서의 휘도 성분, 또는 색 성분의 유사도를 식별하는 것이 가능해진다.
다음에 폐색 비용 함수dx(x, y), dy(x, y)를 구하는 방법에 관해 설명을 한다.
이들 각 폐색 비용 함수dx(x, y), dy(x, y)는, 정보 생성부(33)에 의해 생성되는 시차 정보에 의거하여 생성된다. 카메라(11a, 12a)로부터 피사체로서의 사용자(a)에 이르기까지의 거리가 작아짐에 따라(시차가 커짐에 따라), 폐색 영역이 발 생할 확률이 높아진다. 이러한 경우에 있어서, 매칭부(29)는 폐색 비용 함수dx(x, y), dy(x, y)를 내림에 의해 대응한다. 한편, 카메라(11a, 12a)로부터 피사체로서의 사용자(a)에 이르기까지의 거리가 길어짐에 따라(시차가 작아짐에 따라), 폐색 영역이 발생할 확률이 작아진다. 이러한 경우에 있어서, 매칭부(29)는, 폐색 비용 함수dx(x, y), dy(x, y)를 올림에 의해 대응한다.
각 폐색 비용 함수dx(x, y), dy(x, y)는, 이하의 식 (5), (6)에 의거하여 구할 수 있다.
dx(x, y)=β×dp(x, y)+T0 ‥‥‥‥ (5)
dy(x, y)=γ×dp(x, y)+T1 ‥‥‥‥ (6)
여기서, dp(x, y)는, 상기 취득되는 시차 정보에 지배되고, 시차가 보다 커짐에 따라 감소하고, 또한 시차가 보다 작아짐에 따라 증가한다. β, γ는, dp(x, y)의 변화율을 나타내고 있고, 미리 실험적으로 구할 수 있다. 또한 T0, T1은, 초기 폐색 비용 정수로서, 이에 대해서도 미리 실험적으로 구할 수 있다.
매칭부(29)는, 이들각 함수dx(x, y), d(x, y), dy(x, y)를 구한 후, 각각 이하의 식 (7) 내지 식 (9)에 의거하여 누적 매칭 비용(C(x-1, y), C(x-1, y-1), C(x, y-1))를 가산하고, 총 비용(k1, k2, k3)를 산출한다.
k1=C(x-1, y)+dx(x, y) ‥‥‥‥ (7)
k2=C(x-1, y-1)+d(x, y) ‥‥‥‥ (8)
k3=C(x, y-1)+dy(x, y) ‥‥‥‥ (9)
여기서 C(x-1, y), C(x-1, y-1), C(x, y-1)은, 각각 특징점(x-1, y), (x-1, y-1), (x, y-1)에 있어서 구하여진 누적 매칭 비용을 나타내고 있다. 이와 관련하여, 특징점(x, y)에 있어서의 누적 매칭 비용C(x, y)는, 이하의 식 (10)에 나타낸 바와 같이, 구한 k1, k2, k3 중에서 최소로 되는 것이 할당된다.
C(x, y)=min{k1, k2, k3} ‥‥‥‥ (10)
매칭부(29)는, 구한 총 비용(k1, k2, k3) 중에서 최소로 되는 것을 선택함에 의해 최적의 경로를 구한다.
여기서, k1이 최소로 되는 경우에는, 시차가 커짐에 의해 정규화 화상(Pm1)에 있어서 나타나 있는 특징점이 정규화 화상(Pm2)에 있어서 차폐된 것을 의미하고 있다. 이러한 경우에는, 도 6 화살표(J1)로 도시한 바와 같이 특징점(x-1, y)으로부터 수평 방향으로 시프트시킴에 의해 특징점(x, y)에 이르도록 최적의 경로가 구하여지게 된다.
또한 k3이 최소가 된 경우에는, 시차가 커짐에 의해 정규화 화상(Pm2)에 있어서 나타나 있는 특징점이 정규화 화상(Pm1)에 있어서 차폐된 것을 의미하고 있다. 이러한 경우에는, 도 6 화살표 J3에 가리키도록, 특징점(x, y-1)으로부터 수직 방향으로 시프트시킴에 의해 특징점(x, y)에 이르도록 최적의 경로가 구하여지게 된다.
또한, k2가 최소로 되는 경우에는, 정규화 화상(Pm1)과 정규화 화상(Pm2)의 화소 위치(s, t)에 있어서의 휘도 성분, 또는 색 성분의 유사도가 높은 것을 의미하고 있다. 이러한 경우에는 도 6 화살표(J2)로 도시한 바와 같이 특징점(x-1, y-1)으로부터 수평, 수직 방향으로 하나씩 시프트시킴에 의해 특징점(x, y)에 이르 도록 최적의 경로가 구하여지게 된다.
도 7의 (b)는, 도 7의 (a)에 도시된 정규화 화상(Pm1)과 정규화 화상(Pm2)에 있어서의 에피폴러 선(L1, L1')상에 있는 각 특징점의 화소 성분(휘도 또는 색 성분)의 대응 관계를 도시하고 있다.
이 도 7의 (a)에 도시한 정규화 화상(Pm1)에 있어서, 사용자(a)의 양측에 나타나는 벽의 오목부(L2, L3) 및 정규화 화상(Pm2)에 있어서, 사용자(a)의 양측에 나타나는 벽의 오목부(L2', L3')는 도 7의 (b)에 있어서 화소 성분의 차분으로서 라인 형상으로 명확하게 나타나 있다. 마찬가지로, 사용자(a)를 구성하는 화소 성분에 관해서는 도 7의 (b)의 중심 부근에 있어서 화소 성분의 차분으로서 명확하게 나타나 있다.
이 도 7의 (b)에 있어서, 최적의 경로가 에피폴러 선(L1, L1')상에 있는 각 특징점에 있어서 동일한 화소 성분의 교점을 통과하고 있는 경우에는, k2가 최소로 되는 결과, 해당 화소 위치(s, t)에 있어서의 휘도 성분, 또는 색 성분의 유사도가 높은 것이 우선된 것을 의미하고 있다. 이에 대해, 최적의 경로가 에피폴러 선(L1, L1')상에 있는 각 특징점에 있어서 동일한 화소 성분의 교점 이외를 통과하고 있는 경우에는, k1 또는 k3이 최소로 되는 결과, 시차에 의해 어느 하나의 화상(Pm1, Pm2)이 차폐된 것을 의미하고 있다.
이와 같이 하여 특징점(x-1, y), (x-1, y-1), (x, y-1)의 어느 하나로부터 특징점(x, y)에 이르기 까지의 최적의 경로가 구하여지게 된다. 이 최적의 경로가 구하여진다는 것은, 휘도 성분 및 색 성분의 유사도와, 정규화 화상(Pm1, Pm2) 사 이의 시차에 따라 최적의 대응 관계가 구하여져 있는 것을 의미하고 있고, 상기 (10)식으로부터 얻어지는 C(x, y)에 관해서도, 화소 위치마다 대응 관계를 구한 다음의 최적의 누적 매칭 비용로서 정의되게 된다. 이들 누적 매칭 비용(C(x, y))를, 상기 그래프에 있어서 위, 오른쪽 위, 오른쪽에 위치하는 특징점에 이르기 까지의 최적의 경로를 구할 때 누적적으로 참작할 수 있기 때문에, 대응시킴의 정밀도를 보다 향상시킬 수 있다.
또한, 매칭부(29)에서는, 각 함수dx(x, y), d(x, y), dy(x, y)를 완전히 다른 개념에 의거하여 산출하기 때문에, 얻어진 총 비용(k1, k2, k3)를 식 (10)에 의거하여 단순하게 비교하는 경우에, 촬영 환경이나 피사체에 따라 오차가 생기는 경우도 있다. 이러한 경우에는 식 (5), (6)에 있어서 β, γ, T0, T1을 촬영 환경이나 피사체에 따라 미리 최적화하여 둠에 의해, 각 함수dx(x, y), d(x, y), dy(x, y)간의 격차를 해소할 수 있다.
이와 같이 본 발명을 적용한 화상 처리 장치(2a)에 있어서의 매칭부(29)에서는 상기 각 정규화 화상(Pm1, Pm2)간에 있어서의 대응 관계를 구할 때, 식별한 유사도 및 시차중 어느것을 우선시키는지 결정하고, 유사도를 우선시키는 경우에는 수평 라인상에 있는 동일 화소 위치간에 있어서 대응시키고, 시차를 우선시키는 경우에는 하나의 화소 위치에 대해 동일한 수평 라인상에 있는 복수의 화소 위치를 대응시킨다. 이로써, 폐색 영역이 존재하는 경우에 있어서도 보다 정확한 대응시킴을 행할 수 있다. 또한, 상술한 수법에 의거하여 대응시킴을 행함에 의해 예를 들면 두 눈 부분 등의 반복 패턴이나, 휘도 변화가 거의 생기지 않는 이른바 비특징 점(예를 들면 벽의 부분)에 있어서도 대응시킴의 정밀도를 향상시킬 수 있다. 또한, 예를 들면 창의 부분 등과 같이 보는 방향에 따라 밝기가 다른 영역이나, 사용자의 코 부분 등과 같이 정반사가 생기는 영역에 있어서도, 휘도 성분, 색 성분의 격차에 지배되는 일이 적고, 비교적 용이하게 대응시킴을 행할 수 있다.
또한, 본 발명을 적용한 화상 처리 장치(2a)에 있어서의 매칭부(29)에서는, 어디까지나 상기 유사도와 상기 시차를 식별하고, 식별한 유사도 및 시차에 따라 상기 대응 관계가 구하여져 있으면, 상술한 효과를 얻을 수 있음은 물론이다.
가상 시점 화상 생성부(30)에서는, 상술한 바와 같이 매칭부(29)에서 구하여진 대응 관계에 의거하여 가상 시점 화상(Ima)을 생성한다. 예를 들면 매칭부(29)에 있어서, 정규화 화상(Pm1)에 있어서의 화소 위치(P11)에 대해 정규화 화상(Pm2)에 있어서의 화소 위치(P11')가 그 대응점으로서 특정되어 있는 경우에, 이러한 화소 위치(P11)의 좌표를 도 8에 도시한 바와 같이 (x1, y1)로 하고, 또한 화소 위치(P11')의 좌표를 (x2, y2)로 한다. 가상 시점 화상 생성부(31)는 이러한 화소 위치(P11, P11')에 대응하는 가상 시점 화상(Ima)상의 화소 위치의 좌표(xt, yt)를, 상대 위치 정보로서의 m에 의거하여 이하의 식 (11)에 의해 결정할 수 있다.
(xt, yt)=(1-m)×(x1, y1)+m×(x2, y2) ‥‥‥‥ (11)
또한 화소 위치(P11, P11')에 있어서의 휘도 성분을 각각 J11, J11'로 하였을 때, 이러한 가상 시점 화상(Ima)상의 화소 위치(Ph)에 있어서의 휘도 성분(Pt)을 이하의 식 (12)에 의해 결정할 수 있다.
Pt=(1-m)×J11+m×J11' ‥‥‥‥ (12)
이와 같이 가상 시점 화상 생성부(31)는, 가상 시점 화상(Ima)을 구성하는 각 화소의 좌표 및 그 휘도 성분에 관해, 상대 위치 정보로서의 m에 따라 결정할 수 있다. 여기서 m은, 가상 카메라에 있어서의 가상 시점이 카메라(11a)에 가까워짐에 따라 작아지고, 또한 가상 시점이 카메라(12a)에 가까워짐에 따라 커진다.
이 때문에, 식 (11)에 의거하여 결정되는 좌표(xt, yt)는 가상 시점이 카메라(11a)에 근접함에 따라 화소 위치(P11)의 좌표(x1, y1)에 근접하고, 또한 가상 시점이 카메라(12a)에 근접함에 따라 화소 위치(P12)의 좌표(x2, y2)에 근접하게 된다. 즉, 좌표(xt, yt)를 가상 카메라의 위치에 따라 자유롭게 결정할 수 있기 때문에, 가상 시점 화상(Ima)상에 표시시키는 사용자(a)의 위치를 자유롭게 변화시킬 수 있다.
또한, 식 (12)에 의거하여 결정된 휘도 성분(Pt)은 가상 시점이 카메라(11a)에 근접함에 따라 화소 위치(P11)의 휘도 성분(J11)에 근접하고, 가상 시점이 카메라(12a)에 근접함에 따라 화소 위치(P11')의 휘도 성분(J11')에 근접하게 된다. 즉, 가상 카메라의 위치에 따라, 가상 시점 화상(Ima)상의 사용자(a)를 구성하는 화소를 휘도 성분(J11), 또는 휘도 성분(J11')에 접근할 수 있다.
특히, 카메라(11a)와 카메라(12a)는 서로 촬영 방향이 다르기 때문에, 정규화 화상(Pm1)상에 있는 화소 위치(P11)와, 이에 대응한 정규화 화상(Pm2)상에 있는 화소 위치(P11')와의 사이에서는 휘도 성분이 서로 다르다. 이 서로 다른 휘도 성분의 어느 한쪽을 최소치로 하고, 다른쪽이 최대치가 되도록 하여, 상대 위치 정보로서의 m에 따라 휘도 성분(Pt)을 선형으로 증감시킴에 의해, 가상 카메라의 위치 에 따라 가상 시점 화상(Ima)상에 표시시키는 사용자(a)를 구성하는 화소의 휘도 성분을 결정하는 것이 가능해진다. 또한, 이 생성되는 가상 지점 화상(Ima)은 상술한 매칭부(29)에서 대응시켜진 관계에 의거하여 생성되기 때문에, 얻어지는 화상의 화질 열화를 보다 감소시킬 수 있다.
상술한 바와 같이 하여 화소 위치(Ph)에 있어서의 좌표(xt, yt) 및 그 휘도 성분(Pt)을 순차적으로 결정함에 의해, 생성한 가상 시점 화상(Ima)은 표시되는 사용자(a)의 시선 방향, 얼굴 방향 등이 서로 달랐던 정규화 화상(Pm1, Pm2)에 대해 항상 정면을 향하고 있는 상태로 된다.
생성된 가상 시점 화상(Ima)은 출력 제어부(31)에 의한 제어하에 네트워크(7)에 송출된다. 그리고 상대측의 화상 처리 장치(2b)에 송신된 가상 시점 화상(Ima)은 화상 처리 장치(2b)에 있어서의 제어하에, 디스플레이(5b)상에 표시되게 된다. 사용자(b)는 디스플레이(5b)에 표시되는 가상 시점 화상(Ima)상의 사용자(a)를 시인하면서 대화를 하게 되는데, 사용자(a)의 얼굴, 시선 방향은 정면을 향하고 있는 상태에 있기 때문에, 마치 화면 중앙 부근에 설치된 가상 카메라로 촬상된 것 같은 화상을 시인하고 있는 것 같은 감각을 맛볼 수 있다. 사용자(a)에 대해서도 마찬가지로 디스플레이(5a)에 표시되는 가상 시점 화상(Imb)상의 사용자(b)를 시인하면서 대화를 하게 되는데, 정면을 향하고 있는 사용자(b)를 시인할 수 있다. 즉, 이 통신 시스템(1)에서는, 말하자면 대화하는 사용자간에 있어서 항상 시선을 일치시킨 비주얼 커뮤니케이션을 실현할 수 있고, 보다 리얼하고 현장감이 있는 원격 대화를 실현할 수 있다.
특히 이 통신 시스템(1)에서는, 적어도 2대의 카메라(11, 12)를 디스플레이(5)의 양측에 배설하면 족하고, 또한 피사체의 3차원 정보를 그때마다 추출할 필요도 없어지기 때문에, 시스템 전체가 복잡화하는 것이 없어진다는 이점도 있다.
또한, 이 통신 시스템(1)에서는 하프미러(half mirror)나 홀로그램 스크린, 나아가서는 프로젝터 등과 같은 특수 장치를 이용할 필요도 없어, 간이하고 염가의 시스템을 구성할 수 있다.
또한, 본 발명을 적용한 통신 시스템은 상술한 실시의 형태로 한정되는 것이 아니라, 예를 들면 도 9에 도시한 바와 같이 얻어진 화상에 대해 복안 입체시(立體視)를 가능하게 하기 위해 처리를 시행하기 위한 촬상 시스템(7)에 적용하여도 좋다. 이 촬상 시스템(7)에 있어서 상술한 통신 시스템(1)과 동일한 구성에 관해서는 해당 동일한 번호를 붙이고 설명을 생략한다.
이 촬상 시스템(7)은, 서로 다른 시점에서 동일한 촬영 대상(5)을 촬상하는 8대의 카메라(71_1 내지 71_8)와, 접속된 각 카메라(71_1 내지 71_8)에 의해 촬상된 화상이 공급되는 화상 보정부(72_1 내지 72_8)와, 각 화상 보정부(72_1 내지 72_8)에 있어서의 화상 보정에 필요한 파라미터를 공급하기 위한 카메라 캘리브레이션부(26)와, 접속된 각 화상 보정부(72_1 내지 72_8)로부터 공급되는 각 화상에 대해 서로 대응시킴을 취하기 위한 매칭부(29)와, 입체시 디스플레이(80)를 시인하는 사용자의 두부(頭部) 위치를 검출하고, 이에 의거하여 사용자의 상대적인 시점 위치를 추정하기 위한 양쪽눈 위치 추정부(75)와, 양쪽눈 위치 추정부(75)에 의해 추정된 사용자의 시점 위치에 따라, 입체시 디스플레이(80)에 대한 사용자의 시점 위치에 있어서 상대적인 위치 관계를 나타내는 상대 위치 정보를 생성하는 정보 생성부(76)와, 매칭부(29) 및 정보 생성부(76)에 각각 접속되어 이루어지고, 사용자의 왼쪽 눈에 의해 시인되는 왼쪽눈용 시차 화상과, 사용자의 오른쪽 눈에 의해 시인되는 오른쪽눈용 시차 화상을 생성하는 가상 시점 화상 생성부(30)와, 가상 시점 화상 생성부(30)에 의해 생성된 왼쪽눈용 시차 화상과 오른쪽눈용 시차 화상을, 접속된 입체시 디스플레이(80)상에 표시시키기 위한 표시 제어부(79)를 구비하고 있다.
카메라(71_1 내지 71_8)는, 촬상한 촬영 대상의 광학상을 그대로 CCD에 입사시킴에 의해 이것을 전기 신호로 변환한다. 이 카메라(71_1 내지 71_8)는 변환한 전기 신호에 의해 표시되는 화상을 각각 화상 보정부(72_1 내지 72_8)에 공급한다.
화상 보정부(72_1 내지 72_8)는 상기 기하학적 화상 보정부(21, 22)와 같은 역할을 담당하는 부분이며, 카메라(71_1 내지 71_8)간의 기하학적인 위치 관계를 포함하는 제어 정보에 의거하여 얻어진 화상을 보정한다.
매칭부(29)는 서로 인접하는 카메라에 의해 촬상된 화상간에 있어서, 상술한 수법을 이용함에 의해 촬영 대상(5)과 관련시키면서, 화소 위치마다 대응시킴을 행한다.
양쪽눈 위치 추정부(75)는 입체시 디스플레이(80)를 시인하는 사용자의 두부에 있어서의 3차원적인 위치나 사이즈를, 해당 입체시 디스플레이(80)와의 사이에서 상대적으로 검출한다. 이 양쪽눈 위치 추정부(75)는 예를 들면 스테레오시(視) 방식이나 레인지 파인더 방식에 의거하여 리얼타임의 위치 검출을 행하는 거리 계측 장치등에 의해 적용된다. 이 양쪽눈 위치 추정부(75)는, 검출한 사용자의 두부에 있어서의 3차원적인 위치나 사이즈에 의거하여, 3차원 공간 좌표하에 사용자의 왼쪽 눈 위치 및 오른쪽 눈 위치를 추정한다. 이 양쪽 눈 위치의 추정에 관해서는, 예를 들면, 인간의 두부와 양 눈의 상대적인 위치 관계에 관한 통계적인 계측 데이터를 참조하면서 리얼타임으로 실행하도록 하여도 좋다.
정보 생성부(76)는 양쪽눈 위치 추정부(75)에서 추정된, 사용자의 왼쪽 눈 위치 및 오른쪽 눈 위치를 파라미터화한 상대 위치 정보를 생성하고, 이것을 가상 시점 화상 생성부(30)에 송신한다.
가상 시점 화상 생성부(30)는, 매칭부(29)에 의해 서로 대응시켜진 화소 위치 및 그 휘도 성분이 각각 입력된다. 또한, 가상 시점 화상 생성부(30)는 서로 대응시켜진 화소 위치 및 그 휘도 성분으로부터 정보 생성부(76)에서 생성된 상대 위치 정보에 따라, 상기 가상 시점 화상(Ima)의 대체로서, 왼쪽눈용 시차 화상 및 오른쪽눈용 시차 화상을 생성한다.
표시 제어부(79)는, 가상 시점 화상 생성부(30)에 의해 생성된 왼쪽눈용 시차 화상과 오른쪽눈용 시차 화상에 관해, 입체시 디스플레이(80)에 있어서의 표시 방법에 따라 각 화소 위치에 있어서의 휘도 레벨(RGB)을 할당한다.
입체시 디스플레이(80)는 액정 패널상에 광학 소자를 조합시키고, 서로 다른 왼쪽눈용 시차 화상과 오른쪽눈용 시차 화상을 표시시키는 표시면이며, 사용자에 대해 전용 안경의 착용을 의무시킬 필요가 없는 점에서 우수하다.
도 10의 (a)는 점선으로 나타나는 촬영 대상(5)에 대한 각 카메라(71)의 상대적인 위치 관계를, 실선으로 나타나는 입체시 디스플레이(80)에 대한 사용자의 시점의 위치 관계에 그대로 중합시켜 표시한 것이다. 입체시 디스플레이(80)에서는 이 촬영 대상(5)에 대한 각 카메라(71)의 광학 중심의 상대적인 위치 관계가, 입체시 디스플레이(80)를 시인하는 사용자의 왼쪽 눈, 오른쪽 눈의 시점 위치의 위치 관계에 합치하는 경우에만 입체시가 실현되게 된다.
여기서, 좌표(0, 0, 0)상에 위치하는 촬영 대상(5)의 M점에 카메라(71_1 내지 71_8)의 광축을 맞추어 촬상을 행하는 경우에, 이것에 입체시 디스플레이(80)의 중심을 중합시킴에 의해, 그 중심의 좌표가 원점(0, 0, 0)에 위치하도록 설정한다. 또한 양쪽눈 위치 추정부(75)에 의해 계측된 사용자의 두부 위치의 좌표(xn, yn, zn)를 이 원점 좌표(0, 0, 0)에 의거하여 특정한다. 이와 관련하여 사용자의 두부 위치를 어떻게 정의하든지에 관해서는, 촬상 시스템(7)측에서 임의로 결정할 수 있지만, 예를 들면, 사용자의 눈썹 사이의(眉間) 중심을 두부 위치로 하여 정의하도록 하여도 좋다.
가령 사용자의 두부가 위치(A)에 있을 때, 양쪽눈 위치 추정부(75)는 그 좌표(xa, ya, za)를 특정한다. 또한 사용자의 두부가 위치(B)에 있을 때, 양쪽눈 위치 추정부(75)는 그 좌표(xb, yb, zb)를 특정한다. 또한 사용자의 두부가 위치(C)에 있을 때, 양쪽눈 위치 추정부(75)는 그 좌표(xc, yc, zc)를 각각 특정한다. 이와 관련하여 양쪽눈 위치 추정부(75)는 이러한 좌표의 특정과 함께, 사용자의 두부의 사이즈를 동시에 식별한다.
양쪽눈 위치 추정부(75)는, 이들 특정한 사용자의 두부 위치(xn, yn, zn)의 좌표에 의거하여 사용자의 왼쪽 눈 위치 및 오른쪽 눈 위치를 추정한다. 이 추정은, 예를 들면 두부 위치(A)에 대해 특정한 좌표(xa, ya, za)와, 식별한 사용자 두부의 사이즈에 의거하여 통계적인 계측 데이터를 참조하면서, 도 10의 (b)에 도시한 바와 같이 사용자의 왼쪽 눈 위치의 좌표(xaL, yaL, zaL) 및 오른쪽 눈 위치의 좌표(xaR, yaR, zaR)를 추정한다. 이로써, 입체시 디스플레이(20)의 중심 좌표(0, 0, 0)에 의거한 왼쪽 눈 위치의 좌표(xaL, yaL, zaL) 및 오른쪽 눈 위치의 좌표(xaR, yaR, zaR)를 상대적으로 구하는 것이 가능하게 된다.
이와 관련하여, 추정한 왼쪽 눈 위치의 좌표(xaL, yaL, zaL)와 오른쪽 눈 위치의 좌표(xaR, yaR, zaR)가 각각 도 10의 (a)의 점선으로 도시된 카메라(71_1 내지 71_8)의 광학 중심에 위치하고 있는 경우에는, 이러한 카메라로부터 취득되는 화상을 그대로 왼쪽눈용 시차 화상과 오른쪽눈용 시차 화상으로 하면 입체시가 실현되게 된다. 그러나, 그 밖의 경우에는 촬영 대상(5)에 대한 각 카메라(71)의 상대적인 위치 관계로부터 벗어나게 되고, 사용자에 의한 입체시의 실현이 곤란해진다.
여기서, 추정한 왼쪽 눈 위치의 좌표(xaL, yaL, zaL)와 오른쪽 눈 위치의 좌표(xaR, yaR, zaR)가 카메라(71_1 내지 71_8)의 광학 중심 이외에 위치하고 있는 경우로서, 또한 도 10의 (a)에 도시한 카메라(71) 사이의 광학 중심을 연결하는 라인(Lc)상에 위치하고 있는 경우에는, 왼쪽눈용 시차 화상(오른쪽눈용 시차 화상)을 구성하는 것만으로 이러한 위치 관계의 조정을 도모한다.
예를 들면 도 11에 도시한 바와 같이, 사용자의 두부가 위치(D)에 있고, 또한 추정한 왼쪽 눈 위치, 오른쪽 눈 위치가 각각 VcL1, VcR1에 있을 때, 이 VcL1, VcR1에 가상적으로 카메라를 설치하고 촬영 대상(5)의 M점(입체시 디스플레이(20)의 중심 좌표(0, 0, 0)에 상당한다)을 촬상한 결과 얻어지는 화상이 왼쪽눈용 시차 화상(오른쪽눈용 시차 화상)이 되도록 조정한다.
이러한 경우에 있어서, 정보 생성부(76)는 상술한 바와 같이 양쪽눈 위치 추정부(75)에 의해 추정된 왼쪽 눈 위치(VcL1), 오른쪽 눈 위치(VcR1)를 각각 취득한다. 그리고, 이 취득한 왼쪽 눈 위치(VcL1)를 가상적으로 카메라를 설치하는 가상 위치(WL1)로 하고, 이것을 실제로 촬영 대상(5)과의 사이에서 상대적인 위치 관계를 유지하면서 설치되어 있는 카메라(71_1) 내지 카메라(71_8)의 위치 관계에 적용시킨다. 마찬가지로 하여, 취득한 오른쪽 눈 위치(VcR1)를 가상적으로 카메라를 설치하는 가상 위치(WR1)로 하고, 이것을 실제로 촬영 대상(5)과의 사이에서 상대적인 위치 관계를 유지하면서 설치되어 있는 카메라(71_1) 내지 카메라(71_8)의 위치 관계에 적용시킨다.
예를 들면 도 11에 도시한 바와 같이, 왼쪽 눈 위치(VcL1), 오른쪽 눈 위치(VcR1)의 쌍방이 카메라(71_4, 71_5)의 사이에 있는 경우에 정보 생성부(76)는, 카메라(71_4, 71_5)에 대한 왼쪽 눈 위치(VcL1) 및 오른쪽 눈 위치(VcR1)의 위치 관계를 상대적으로 식별하고, 이에 따른 상대 위치 정보로서 kL1, kR1을 각각 생성한다. 이 상대 위치 정보로서의 kL1은, 가상 위치(WL1)가 카메라(71_4부터 71_5) 에 걸쳐서 kL1:1-kL1의 위치에 있는 것을 의미한다. 마찬가지로, 이 상대 위치 정보로서의 kR1은, 가상 위치(WR1)가 카메라(71_4부터 71_5)에 걸쳐서 kR1:1-kR1 의 위치에 있는 것을 의미한다. 즉, 이 상대 위치 정보로서의 kL1, kR1이 작아짐에 따라 가상 위치(WL1), 가상 위치(WR1)는 카메라(71_4)에 근접하고, 또한 이 상대 위치 정보로서의 kL1, kR1이 커짐에 따라 가상 위치(WL1), 가상 위치(WR1)는 카메라(71_5)에 근접하게 된다.
이 때문에 가상 시점 화상 생성부(18)에 있어서, 식 (11)에 의거하여 결정되는 왼쪽눈용 시차 화상(오른쪽눈용 시차 화상)상의 화소(mv')의 좌표(xt, yt)는 가상 위치(WL1)(가상 위치(WR1))가 카메라(71_4)에 근접함에 따라 (x1, y1)에 근접하고, 또한 가상 위치(WL1)(가상 위치(WR1))가 카메라(71_5)에 근접함에 따라 (x2, y2)에 근접하게 된다.
또한, 식 (12)에 의거하여 결정되는 왼쪽눈용 시차 화상(오른쪽눈용 시차 화상)상의 화소(mv')에 있어서의 휘도 성분(Pt)은 가상 위치(WL1)(가상 위치(WR1))가 카메라(71_4)에 근접함에 따라 J11'에 근접하고, 또한 가상 위치(WL1)(가상 위치(WR1))가 카메라(71_5)에 근접함에 따라 J12'에 근접하게 된다.
얻어진 왼쪽눈용 시차 화상(오른쪽눈용 시차 화상)은 VcL1(VcR1)에 가상적으로 카메라를 설치한 결과 얻어지는 화상에 상당한다. 이들을 표시 제어부(79)를 통하여 입체시 디스플레이(80)에 표시시킴에 의해 추정한 왼쪽 눈 위치, 오른쪽 눈 위치(VcL1, VcR1)에 카메라를 설치한 결과 얻어지는 화상을 왼쪽눈용 시차 화상, 오른쪽눈용 시차 화상으로서 출력할 수 있다.
도 12는 이들 왼쪽눈용 시차 화상(오른쪽눈용 시차 화상)의 구성예에 관하여 도시하고 있다. 가령 촬영 대상(5)이 인물의 얼굴인 경우에 있어서, 카메라(71_4, 71_5)에서 이것을 촬영한다. 이러한 경우에 카메라(71_4)는 촬영 범위의 우단 부근에서 파악한 촬영 대상(5)으로서의 인물을 촬상하고, 또한 카메라(71_5)는 촬영 범위의 좌단 부근에서 파악한 촬영 대상(5)으로서의 인물을, 카메라(71_4)와 다른 시점에서 촬상하게 된다. 그 결과, 카메라(71_4)에 의해 촬상되는 화상은 도 12에 도시한 바와 같이 우단 부근에서 우측을 향하고 있는 인물이 나타나 있는 상태로 되고, 또한 카메라(71_5)에 의해 촬상된 화상은 좌단 부근에서 좌측을 향하고 있는 인물이 나타나 있는 상태로 된다.
상대 위치 정보로서의 k가 작은 경우(k1의 경우)에 있어서, 가상 위치(WL1a)(가상 위치(WR1a))는 카메라(71_4)에 보다 근접된다. 또한 이 가상 위치(WL1a)에 대해 상기(11), (12)식으로부터 구하여지는 왼쪽눈용 시차 화상(오른쪽눈용 시차 화상)은 카메라(71_4)에 가까운 내용이 된다.
또한 상대 위치 정보가 k2로부터 k4로 서서히 커짐에 따라, 가상 위치는 WL1b(가상 위치(WR1b))로부터 WL1d(가상 위치(WR1d))로 서서히 카메라(71_5)에 가까워진다. 이에 수반하여 왼쪽눈용 시차 화상(오른쪽눈용 시차 화상)에 나타나는 화상은 우단부근부터 좌단 부근으로 서서히 이전되고, 또한 인물이 향하고 있는 방향도 오른쪽으로부터 왼쪽으로 서서히 변화하게 된다.
또한, 추정한 왼쪽 눈 위치의 좌표(xaL, yaL, zaL)와, 오른쪽 눈 위치의 좌 표(xaR, yaR, zaR)가 라인(Lc)상에 위치하고 있지 않은 경우에는 구성한 왼쪽눈용 시차 화상(오른쪽눈용 시차 화상)의 시야를 확대 또는 축소함에 의해 위치 관계의 조정을 도모하도록 하여도 좋다.
이와 같은 입체시를 실현하는 촬상 시스템(7)에 있어서, 시차에 의한 폐색 영역이 발생하는 경우라도, 매칭부(29)에 의해 정밀도 좋게 대응시킴을 행할 수 있다. 이 때문에, 입체시 디스플레이(80)를 시인하는 사용자의 시점 위치에 지배되는 일 없이, 시차의 어긋남을 고정밀도이고 또한 스무스하게 해소할 수 있고, 사용자에 대해 보다 자연스러운 입체 화상을 항상 제공하는 것이 가능해진다.
또한, 상술한 카메라 중심을 연결한 선상에서의 임의의 가상 시점 화상 생성을 이용함에 의해 시차의 어긋남 등을 해소시킨 홀로그램 입체 사진을 작성하는 것도 가능해진다.
본 발명을 적용한 화상 처리 장치 및 방법에서는, 적어도 2대의 카메라에 의해 서로 다른 시점에서 피사체를 촬상함에 의해 얻어진 각 화상의 법선 방향을 맞추고, 이들 보정한 각 화상간에 있어서 상기 피사체와 관련시키면서 서로 동일한 수평 라인상에 있는 화소 위치마다 대응 관계를 구할 때, 이러한 대응 관계를 구하는 각 화소 위치에 대해 휘도 성분 및 색 성분을 비교함에 의해 그 유사도를 식별함과 함께, 피사체의 각 화상간에 있어서의 시차를 식별하고, 식별한 유사도 및 시차에 따라 대응 관계를 구한다.
이로써, 폐색 영역이 존재하는 경우에 있어서도 보다 정확한 대응시킴을 행 할 수 있고, 또한 예를 들면 두 눈 부분 등의 반복 패턴이나, 휘도 변화가 거의 생기지 않는 이른바 비특징점(예를 들면 벽의 부분)에 있어서도 대응시킴의 정밀도를 향상시킬 수 있다.

Claims (16)

  1. 적어도 2대의 카메라에 의해 서로 다른 시점에서 피사체를 촬상함에 의해 얻어진 각 화상의 법선 방향을 맞추는 화상 보정 수단과,
    상기 화상 보정 수단에 의해 보정된 각 화상간에 있어서, 상기 피사체와 관련시키면서 서로 동일한 수평 라인상에 있는 화소 위치마다 대응 관계를 구하는 매칭 수단을 구비하고,
    상기 매칭 수단은, 상기 대응 관계를 구하는 각 화소 위치에 대해 휘도 성분 및 색 성분을 비교함에 의해 그 유사도를 식별함과 함께, 상기 피사체의 각 화상간에 있어서의 시차를 식별하고, 상기 식별한 유사도 및 시차에 따라 상기 대응 관계를 구하는 것을 특징으로 하는 화상 처리 장치.
  2. 제 1항에 있어서,
    상기 매칭 수단은, 상기 각 화상간에 있어서의 대응 관계를 구할 때, 상기 식별한 유사도 및 시차중 어느것을 우선시키는지 결정하고, 유사도를 우선시키는 경우에는 상기 수평 라인상에 있는 동일 화소 위치간에 있어서 대응시키고, 시차를 우선시키는 경우에는 하나의 화소 위치에 대해 동일한 수평 라인상에 있는 복수의 화소 위치를 대응시키는 것을 특징으로 하는 화상 처리 장치.
  3. 제 1항에 있어서,
    상기 매칭 수단은, 상기 유사도를 식별할 때 비교하는 휘도 성분 또는 색 성분중 어느 하나에 가중치를 주는 것을 특징으로 하는 화상 처리 장치.
  4. 제 1항에 있어서,
    상기 매칭 수단은 상기 수평 라인의 상하에 위치하는 각 화소 위치에 있어서의 휘도 성분 및 색 성분과의 상관 관계를 반영시키면서, 상기 유사도를 식별하는 것을 특징으로 하는 화상 처리 장치.
  5. 제 1항에 있어서,
    상기 매칭 수단은, 상기 각 카메라로부터 상기 피사체까지의 거리에 의거하여 상기 시차를 식별하는 것을 특징으로 하는 화상 처리 장치.
  6. 제 1항에 있어서,
    상기 화상 보정 수단은, 상기 각 카메라에 의해 촬상된 각 화상의 법선 방향을 가상적으로 설정된 가상 평면의 법선 방향에 맞추는 것을 특징으로 하는 화상 처리 장치.
  7. 제 6항에 있어서,
    상기 화상 보정 수단은, 상기 각 카메라에 의해 촬상된 각 화상을 상기 가상 평면에 사영(射影)하기 위한 사영 변환 행렬을 구하고, 구한 사영 변환 행렬에 의 거하여 상기 각 화상의 법선 방향을 상기 가상 평면의 법선 방향에 맞추는 것을 특징으로 하는 화상 처리 장치.
  8. 제 1항에 있어서,
    가상적으로 설치되는 가상 카메라에 있어서의 광학 중심의 상기 각 카메라에 대한 상대적인 위치 관계를 나타내는 상대 위치 정보를 생성하는 정보 생성 수단과,
    상기 매칭 수단에 의해 서로 대응시켜진 화소 위치 및 그 휘도 성분, 색 성분으로부터 상기 생성된 상대 위치 정보에 따라, 상기 가상 카메라에 의해 생성하여야 할 가상 시점 화상을 구성하는 화소 위치 및 그 휘도 성분을 구하는 화상 생성 수단을 또한 구비하는 것을 특징으로 하는 화상 처리 장치.
  9. 적어도 2대의 카메라에 의해 서로 다른 시점에서 피사체를 촬상함에 의해 얻어진 각 화상의 법선 방향을 맞추는 화상 보정 스텝과,
    상기 화상 보정 스텝에 의해 보정한 각 화상간에 있어서, 상기 피사체와 관련시키면서 서로 동일한 수평 라인상에 있는 화소 위치마다 대응 관계를 구하는 매칭 스텝을 가지며,
    상기 매칭 스텝에서는, 상기 대응 관계를 구하는 각 화소 위치에 대해 휘도 성분 및 색 성분을 비교함에 의해 그 유사도를 식별함과 함께, 상기 피사체의 각 화상간에 있어서의 시차를 식별하고, 상기 식별한 유사도 및 시차에 따라 상기 대 응 관계를 구하는 것을 특징으로 하는 화상 처리 방법.
  10. 제 9항에 있어서,
    상기 매칭 스텝에서는, 상기 각 화상간에 있어서의 대응 관계를 구할 때, 상기 식별한 유사도 및 시차중 어느것을 우선시키는지 결정하고, 유사도를 우선시키는 경우에는 상기 수평 라인상에 있는 동일 화소 위치간에 있어서 대응시키고, 시차를 우선시키는 경우에는 하나의 화소 위치에 대해 동일한 수평 라인상에 있는 복수의 화소 위치를 대응시키는 것을 특징으로 하는 화상 처리 방법.
  11. 제 9항에 있어서,
    상기 매칭 스텝에서는, 상기 유사도를 식별할 때 비교하는 휘도 성분 또는 색 성분중 어느 하나에 가중치를 주는 것을 특징으로 하는 화상 처리 방법.
  12. 제 9항에 있어서,
    상기 매칭 스텝에서는, 상기 수평 라인의 상하에 위치하는 각 화소 위치에 있어서의 휘도 성분 및 색 성분과의 상관 관계를 반영시키면서, 상기 유사도를 식별하는 것을 특징으로 하는 화상 처리 방법.
  13. 제 9항에 있어서,
    상기 매칭 스텝에서는, 상기 각 카메라로부터 상기 피사체까지의 거리에 의 거하여 상기 시차를 식별하는 것을 특징으로 하는 화상 처리 방법.
  14. 제 9항에 있어서,
    상기 화상 보정 스텝에서는, 상기 각 카메라에 의해 촬상된 각 화상의 법선 방향을 가상적으로 설정된 가상 평면의 법선 방향에 맞추는 것을 특징으로 하는 화상 처리 방법.
  15. 제 14항에 있어서,
    상기 화상 보정 스텝에서는, 상기 각 카메라에 의해 촬상된 각 화상을 상기 가상 평면에 사영하기 위한 사영 변환 행렬을 구하고, 구한 사영 변환 행렬에 의거하여 상기 각 화상의 법선 방향을 상기 가상 평면의 법선 방향에 맞추는 것을 특징으로 하는 화상 처리 방법.
  16. 제 9항에 있어서,
    가상적으로 설치되는 가상 카메라에 있어서의 광학 중심의 상기 각 카메라에 대한 상대적인 위치 관계를 나타내는 상대 위치 정보를 생성하는 정보 생성 스텝과,
    상기 매칭 스텝에 의해 서로 대응시킨 화소 위치 및 그 휘도 성분, 색 성분으로부터 상기 생성된 상대 위치 정보에 따라, 상기 가상 카메라에 의해 생성하여야 할 가상 시점 화상을 구성하는 화소 위치 및 그 휘도 성분을 구하는 화상 생성 스텝을 또한 갖는 것을 특징으로 하는 화상 처리 방법.
KR1020040096122A 2003-11-27 2004-11-23 화상 처리 장치 및 방법 KR101091297B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003398155A JP4069855B2 (ja) 2003-11-27 2003-11-27 画像処理装置及び方法
JPJP-P-2003-00398155 2003-11-27

Publications (2)

Publication Number Publication Date
KR20050051554A KR20050051554A (ko) 2005-06-01
KR101091297B1 true KR101091297B1 (ko) 2011-12-07

Family

ID=34649899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040096122A KR101091297B1 (ko) 2003-11-27 2004-11-23 화상 처리 장치 및 방법

Country Status (4)

Country Link
US (1) US7957581B2 (ko)
JP (1) JP4069855B2 (ko)
KR (1) KR101091297B1 (ko)
CN (1) CN100584040C (ko)

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307654B2 (en) * 2002-10-31 2007-12-11 Hewlett-Packard Development Company, L.P. Image capture and viewing system and method for generating a synthesized image
US7746321B2 (en) 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
JP4707368B2 (ja) * 2004-06-25 2011-06-22 雅貴 ▲吉▼良 立体視画像作成方法および装置
JP2006285952A (ja) * 2005-03-11 2006-10-19 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
KR100682978B1 (ko) 2005-08-19 2007-02-15 한국전자통신연구원 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템 및 그방법
JP4472607B2 (ja) * 2005-09-20 2010-06-02 日本電信電話株式会社 ３次元映像提示・撮像装置
KR101204076B1 (ko) * 2005-09-30 2012-11-22 삼성테크윈 주식회사 대상 영상의 기준 영상에 대한 유사도를 정확하게 판단하는방법
JP4465619B2 (ja) * 2005-10-31 2010-05-19 ソニー株式会社 登録装置、照合装置、画像補正方法及びプログラム
US7630002B2 (en) * 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
KR100756034B1 (ko) * 2006-01-26 2007-09-07 삼성전자주식회사 변이벡터 보정장치 및 변이벡터 보정방법
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
WO2007110000A1 (en) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
JP4257356B2 (ja) * 2006-09-26 2009-04-22 株式会社日立製作所 画像生成装置および画像生成方法
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
US8019180B2 (en) * 2006-10-31 2011-09-13 Hewlett-Packard Development Company, L.P. Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
CN101237590B (zh) * 2007-02-01 2010-05-19 广达电脑股份有限公司 立体影像显示方法
EP2143270A1 (en) * 2007-03-30 2010-01-13 Nxp B.V. A device for and a method of processing image data representative of an object
FR2922074B1 (fr) * 2007-10-05 2010-02-26 Thales Sa Procede de synchronisation de flux video
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
US8838489B2 (en) 2007-12-27 2014-09-16 Amazon Technologies, Inc. On-demand generating E-book content with advertising
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US10229389B2 (en) * 2008-02-25 2019-03-12 International Business Machines Corporation System and method for managing community assets
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
CN101325724B (zh) * 2008-07-23 2010-06-02 四川虹微技术有限公司 一种立体图像对的极线校正方法
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
JP4974984B2 (ja) * 2008-09-11 2012-07-11 三菱電機株式会社 映像記録装置及び方法
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
JP4637942B2 (ja) * 2008-09-30 2011-02-23 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
US8537196B2 (en) * 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
KR100967556B1 (ko) * 2009-01-07 2010-07-05 아진산업(주) 차량실내 감시 기록장치
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
CN102369550B (zh) * 2009-03-31 2014-01-01 松下电器产业株式会社 立体图像处理器和立体图像处理方法
CN101540832B (zh) * 2009-04-24 2011-02-09 段江 图像信号的动态范围匹配方法
JP5388032B2 (ja) * 2009-05-11 2014-01-15 独立行政法人情報通信研究機構 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
KR101806531B1 (ko) * 2009-07-27 2017-12-07 코닌클리케 필립스 엔.브이. 3ｄ 비디오 및 2ｄ 비디오 사이의 전환
JP2011059658A (ja) * 2009-08-11 2011-03-24 Sony Corp 表示装置、表示方法およびコンピュータプログラム
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
GB2473248A (en) * 2009-09-04 2011-03-09 Sony Corp Determining image misalignment by comparing image characteristics at points along a line
CN102035988A (zh) * 2009-09-29 2011-04-27 深圳富泰宏精密工业有限公司 手机摄像头拍照效果测试系统及方法
US8542267B1 (en) * 2009-10-01 2013-09-24 Hewlett-Packard Development Company, L.P. Calibrating a visual-collaborative system
CA2683206C (en) * 2009-10-17 2018-07-03 Hermary Opto Electronics Inc. Enhanced imaging method and apparatus
JP5456020B2 (ja) * 2009-10-30 2014-03-26 キヤノン株式会社 情報処理装置および方法
KR101629479B1 (ko) * 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
ES2361758B1 (es) * 2009-12-10 2012-04-27 Universitat De Les Illes Balears Procedimiento de establecimiento de correspondencia entre una primera imagen digital y una segunda imagen digital de una misma escena para la obtención de disparidades.
JP2011176800A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
WO2011115142A1 (ja) * 2010-03-19 2011-09-22 Ｏｋｉセミコンダクタ株式会社 画像処理装置、方法、プログラム及び記録媒体
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2395769B1 (en) * 2010-06-11 2015-03-04 Nintendo Co., Ltd. Image display program, image display system, and image display method
JP5073013B2 (ja) * 2010-06-11 2012-11-14 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
EP2395764B1 (en) * 2010-06-14 2016-02-17 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP5573426B2 (ja) * 2010-06-30 2014-08-20 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
CN102972032A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质
JP5292364B2 (ja) * 2010-07-07 2013-09-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
WO2012039043A1 (ja) * 2010-09-22 2012-03-29 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP5739674B2 (ja) 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5588812B2 (ja) * 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
US9736462B2 (en) * 2010-10-08 2017-08-15 SoliDDD Corp. Three-dimensional video production system
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
KR20120049997A (ko) * 2010-11-10 2012-05-18 삼성전자주식회사 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
US9380285B2 (en) 2010-12-20 2016-06-28 Samsung Display Co., Ltd. Stereo image processing method, stereo image processing device and display device
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
KR20120091585A (ko) * 2011-02-09 2012-08-20 삼성전기주식회사 디스플레이 장치 및 삼차원 영상 제공방법
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US20120259638A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Apparatus and method for determining relevance of input speech
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
JP2013038602A (ja) * 2011-08-08 2013-02-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5879873B2 (ja) * 2011-09-27 2016-03-08 日本電気株式会社 視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラム
KR20130036593A (ko) * 2011-10-04 2013-04-12 삼성디스플레이 주식회사 이미지 중첩 현상을 방지할 수 있는 3ｄ 디스플레이 장치
KR101841750B1 (ko) * 2011-10-11 2018-03-26 한국전자통신연구원 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법
CN102447932B (zh) * 2011-10-31 2013-11-06 华中科技大学 自由视点视频中视点的重建方法
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
CN102572482A (zh) * 2012-01-06 2012-07-11 浙江大学 基于fpga的立体视频到多视点视频的3d重构方法
WO2013108339A1 (ja) * 2012-01-20 2013-07-25 パナソニック株式会社 ステレオ撮影装置
US8971611B2 (en) * 2012-02-08 2015-03-03 JVC Kenwood Corporation Image process device, image process method, and image process program
JP5953916B2 (ja) * 2012-05-02 2016-07-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN103563369B (zh) * 2012-05-28 2017-03-29 松下知识产权经营株式会社 图像处理装置、摄像装置以及图像处理方法
US9610101B2 (en) 2012-06-11 2017-04-04 Lihai Zhang Long-bone fracture-reduction robot
WO2014013804A1 (ja) * 2012-07-18 2014-01-23 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
JP2014102668A (ja) * 2012-11-20 2014-06-05 Toshiba Corp 表示装置
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US8957940B2 (en) * 2013-03-11 2015-02-17 Cisco Technology, Inc. Utilizing a smart camera system for immersive telepresence
JP5942129B2 (ja) * 2013-03-14 2016-06-29 株式会社ジャパンディスプレイ 表示装置
US9232183B2 (en) 2013-04-19 2016-01-05 At&T Intellectual Property I, Lp System and method for providing separate communication zones in a large format videoconference
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
JP6128987B2 (ja) * 2013-06-25 2017-05-17 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
US9565416B1 (en) 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
CN104581112B (zh) * 2013-10-14 2016-10-05 钰立微电子股份有限公司 快速产生摄像机的距离对视差关系表的系统及其相关方法
US9154697B2 (en) 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
CN104735360B (zh) * 2013-12-18 2017-12-22 华为技术有限公司 光场图像处理方法和装置
US9380263B2 (en) * 2014-01-03 2016-06-28 Aquifi, Inc. Systems and methods for real-time view-synthesis in a multi-camera setup
DE102014204360A1 (de) * 2014-03-10 2015-09-10 Ford Global Technologies, Llc Verfahren sowie Vorrichtung zur Abschätzung des Abstandes eines in Bewegung befindlichen Fahrzeuges von einem Objekt
JP5906272B2 (ja) * 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
KR102214934B1 (ko) * 2014-07-18 2021-02-10 삼성전자주식회사 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
US10008027B1 (en) * 2014-10-20 2018-06-26 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
CN104506837B (zh) * 2014-12-04 2016-08-17 北京邮电大学 一种裸眼三维立体显示的深度控制方法
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US9541998B2 (en) 2015-01-29 2017-01-10 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
EP3274986A4 (en) * 2015-03-21 2019-04-17 Mine One GmbH METHODS, SYSTEMS, AND SOFTWARE FOR VIRTUAL 3D
WO2018164852A1 (en) 2017-02-22 2018-09-13 Mine One Gmbh Image reconstruction for virtual 3d
US10701282B2 (en) 2015-06-24 2020-06-30 Intel Corporation View interpolation for visual storytelling
WO2017046796A1 (en) * 2015-09-14 2017-03-23 Real Imaging Ltd. Image data correction based on different viewpoints
US10630965B2 (en) * 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
CN106358006B (zh) * 2016-01-15 2019-08-06 华中科技大学 视频的校正方法及装置
JPWO2017195513A1 (ja) 2016-05-10 2019-03-14 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
EP3270356A1 (en) * 2016-07-12 2018-01-17 Alcatel Lucent Method and apparatus for displaying an image transition
EP3493147B1 (en) * 2016-07-29 2021-04-07 Sony Corporation Image processing device and image processing method
US10558881B2 (en) * 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
JP7095600B2 (ja) * 2016-12-27 2022-07-05 ソニーグループ株式会社 対空標識、画像処理装置、画像処理方法、及び、プログラム
JP6636963B2 (ja) * 2017-01-13 2020-01-29 株式会社東芝 画像処理装置及び画像処理方法
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP7121470B2 (ja) * 2017-05-12 2022-08-18 キヤノン株式会社 画像処理システム、制御方法、及び、プログラム
JP2019050451A (ja) * 2017-09-07 2019-03-28 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム及び画像処理システム
CN109785390B (zh) * 2017-11-13 2022-04-01 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN109785225B (zh) * 2017-11-13 2023-06-16 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN111465818B (zh) * 2017-12-12 2022-04-12 索尼公司 图像处理设备、图像处理方法、程序和信息处理系统
JP2020101845A (ja) * 2018-12-19 2020-07-02 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、およびプログラム
CN109840894B (zh) * 2019-01-30 2021-02-09 湖北亿咖通科技有限公司 视差图精修方法、装置及存储介质
CN109872344A (zh) * 2019-02-25 2019-06-11 广州视源电子科技股份有限公司 图像特征点的跟踪方法、匹配方法和坐标获取方法、装置
CN110639143A (zh) * 2019-10-21 2020-01-03 中车大连机车研究所有限公司 一种混合动力动车组火灾防控系统
JP7467074B2 (ja) * 2019-11-05 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20220406003A1 (en) * 2021-06-17 2022-12-22 Fyusion, Inc. Viewpoint path stabilization
CN114633692B (zh) * 2022-03-14 2023-10-03 深圳市艾为智能有限公司 一种偏心镜头在cms系统中的应用方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215311A (ja) 1999-01-21 2000-08-04 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法およびその装置
JP2001092968A (ja) 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd ステレオマッチング装置、ステレオマッチング方法および無限遠対応点の特定方法
JP2001346226A (ja) 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
US6011863A (en) * 1997-06-12 2000-01-04 Nec Research Institute, Inc. Cylindrical rectification to minimize epipolar distortion
JPH1153549A (ja) 1997-08-01 1999-02-26 Sony Corp 画像処理装置、画像処理方法、および、伝送媒体
US7015951B1 (en) * 1998-05-08 2006-03-21 Sony Corporation Picture generating apparatus and picture generating method
US6519358B1 (en) * 1998-10-07 2003-02-11 Sony Corporation Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media
JP4453119B2 (ja) * 1999-06-08 2010-04-21 ソニー株式会社 カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
JP2001052177A (ja) 1999-08-11 2001-02-23 Univ Waseda 画像処理装置および画像処理方法
JP3280001B2 (ja) * 1999-09-16 2002-04-30 富士重工業株式会社 ステレオ画像の位置ずれ調整装置
US6597807B1 (en) * 1999-09-27 2003-07-22 The United States Of America As Represented By The Secretary Of The Army Method for red green blue (RGB) stereo sensor fusion
JP4501239B2 (ja) * 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
JP4576740B2 (ja) 2001-04-02 2010-11-10 ソニー株式会社 窓状撮像表示装置及びそれを使う双方向通信方法
JP2003150936A (ja) * 2001-11-08 2003-05-23 Fuji Heavy Ind Ltd 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215311A (ja) 1999-01-21 2000-08-04 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法およびその装置
JP2001092968A (ja) 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd ステレオマッチング装置、ステレオマッチング方法および無限遠対応点の特定方法
JP2001346226A (ja) 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体

Also Published As

Publication number Publication date
CN1678084A (zh) 2005-10-05
KR20050051554A (ko) 2005-06-01
US7957581B2 (en) 2011-06-07
CN100584040C (zh) 2010-01-20
US20050129325A1 (en) 2005-06-16
JP2005157921A (ja) 2005-06-16
JP4069855B2 (ja) 2008-04-02

Similar Documents

Publication Publication Date Title
KR101091297B1 (ko) 화상 처리 장치 및 방법
US7330584B2 (en) Image processing apparatus and method
US10911737B2 (en) Primary and auxiliary image capture devices for image processing and related methods
US9521362B2 (en) View rendering for the provision of virtual eye contact using special geometric constraints in combination with eye-tracking
US8494224B2 (en) Perspective improvement for image and video applications
WO2014103094A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
US20060120712A1 (en) Method and apparatus for processing image
JP2005500757A (ja) ３ｄビデオ会議システム
JP4432462B2 (ja) 撮像装置及び方法、撮像システム
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
JP4461739B2 (ja) 撮像装置
US9380263B2 (en) Systems and methods for real-time view-synthesis in a multi-camera setup
Yang et al. Eye gaze correction with stereovision for video-teleconferencing
CN109660748B (zh) 用于眼球视线校正的图像处理方法及其系统
WO2021110038A1 (zh) 3d显示设备、3d图像显示方法
Schreer et al. 3dpresence-a system concept for multi-user and multi-party immersive 3d videoconferencing
JP4617965B2 (ja) 画像処理方法、その装置およびプログラム
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
JP4595313B2 (ja) 撮像表示装置及び方法、画像送受信システム
JP2005142765A (ja) 撮像装置及び方法
CN116597488A (zh) 一种基于Kinect数据库的人脸识别方法
JP2005174148A (ja) 撮像装置及び方法、撮像システム
JP2006024141A (ja) 画像処理装置及び方法、プログラム
JP4586447B2 (ja) 画像処理装置及び方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee