KR20100093134A

KR20100093134A - 화상 처리 방법, 화상 처리 장치, 화상 처리 시스템 및 컴퓨터 판독 가능한 매체

Info

Publication number: KR20100093134A
Application number: KR1020107016172A
Authority: KR
Inventors: 라클란 포켓트; 마리우스 티코; 티모 파일바나이넨; 알레니우스 사카리
Original assignee: 노키아 코포레이션
Priority date: 2007-12-20
Filing date: 2008-12-02
Publication date: 2010-08-24
Also published as: CN101884222A; CN101884222B; US8300086B2; US20090160931A1; WO2009080449A1

Abstract

제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터에 공통하여 화상 처리가 적용된다. 또한 입체적인 표시를 위한 화상의 외관을 매칭하기 위한 기초로서 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터가 비교된다. 외관은, 현재의 한 쌍의 화상에 있어서 적어도 한 화상을 조정함으로써 및/또는 이후의 여러 쌍의 화상에 있어서 화상 데이터를 제공하는 적어도 하나의 화상 캡처 요소의 파라미터를 조정함으로써 매칭될 수 있다.

Description

화상 처리 방법, 화상 처리 장치, 화상 처리 시스템, 컴퓨터 프로그램 코드 및 컴퓨터 판독 가능한 매체{IMAGE PROCESSING FOR SUPPORTING A STEREOSCOPIC PRESENTATION}

본 발명은 입체적인 표시에 관한 것이고, 보다 상세하게는 입체적인 표시를 지원하는 화상 데이터의 처리에 관한 것이다.

입체적인 디스플레이는 사용자에게 3차원(3D) 화상으로 감지되는 화상을 표시할 수 있게 한다. 이를 위해, 시청자가 각 눈으로 서로 다른 화면을 볼 수 있도록, 입체적인 디스플레이는 화상의 특정한 서브픽셀로부터 서로 다른 방향으로 정보를 보낸다. 화면이 충분히 유사하다면, 인간의 뇌는 시청자가 하나의 물체를 보고 있다고 추정하여, 감지된 하나의 물체를 생성하기 위해 두 화면상의 매칭 포인트를 서로 결합시킬 것이다. 인간의 뇌는 왼쪽 및 오른쪽 눈의 입력으로부터 가까운 곳의 유사한 포인트를 연결시킬 것이다. 포인트의 위치에 있어서의 작은 수평의 차이는, 눈이 포인트에 모이게 하고, 눈 사이에서 감지된 시차에 관한 장면에 있어서 모든 물체의 깊이의 지각(知覺)을 만들어 내는 시차(視差)로서 표현된다. 이것은 뇌가 화면을 하나의 감지된 3D 물체로 결합하도록 할 수 있다.

3D 화상을 위한 데이터는, 예컨대, 복수의 2차원 화상을 취함으로써 또한 화상의 픽셀과 입체적인 디스플레이에서의 표시를 위한 단일 화상의 서브픽셀을 결합함으로써 얻어질 수 있다.

하나의 대안으로서, 서로에 대하여 미리 정해진 짧은 거리에 배치된 두 대의 카메라가 3D 표시를 위한 2차원 화상을 촬영한다.

종래의 2차원(2D) 화상 처리에서 알려진 바와 같이, 각 카메라는 보통 캡처된 화상에 화상 처리를 적용하는 화상 연쇄(image chain)를 포함한다.

화상을 집중시키기 위해, 가상 장면의 중앙에 제로 변위 평면 또는 제로 시차 평면(ZDP)이 있도록 이동시키기 위해, 화상 가장자리 크롭과 함께 유클리드 화상 시프트가, 처리된 화상에 적용된다. 그 후 3D 표시를 형성하기 위해 인터레이싱(interlacing)에 의해 화상이 결합된다.

ZDP의 배경에 있어서, 시차는 포인트가 왼쪽 화상에 표시되는 곳과 포인트가 오른쪽 화상에 표시되는 곳 사이의 차이의 수평 선형 측정이다. 이 시차에 대한 서로 다른 측정들, 예컨대, 눈의 60각분(arc-min), 디옵터 제한, 디스플레이상의 최대 시차, 물체가 위치한 디스플레이로부터의 거리 등이 있다. 그렇지만, 이들 측정은 모두 서로 기하학적으로 관련되어 있어, 하나의 측정으로 시차를 결정하는 것은 특정한 시각적 기하 구조(viewing geometry)에 대한 다른 모든 측정에 대하여 규정한다. 평행한 카메라로 두 화면을 촬영할 때, 카메라는 무한 거리에 있는 물체에 대한 그들 사이의 제로 각도 시차와, 카메라 해상도, 시야(FOV), 줌 및 렌즈 특성과 같은 다른 요인뿐만 아니라 물체의 접근도 및 카메라 분리에 의존하는 가까운 물체에 대한 최대 각도 시차, 즉 픽셀 시차의 최대수를 획득한다. 따라서 두 평행 카메라에 의해 촬영된 두 입력 화상 사이의 수평 시차는 제로에서 최대 시차까지 변동한다. 디스플레이 쪽에는, 예컨대, 최대 주시각(convergence angle) 및 스크린상의 최대 시차에 관련된 허용된 디옵터 불일치를 규정하는 특정한 시각적 기하 구조가 있다.

화상 크롭은 화상의 중첩되지 않는 부분을 제거하고, 유클리드 화상 시프트로 인해, ZDP에 있어서의 두 화상의 남아있는 픽셀은 같은 지표를 갖는다. ZDP에서, XY 평면상의 모든 포인트는 왼쪽 및 오른쪽 화상 양쪽의 같은 위치에 있고, 스크린의 평면에서 감지될 물체의 효과를 야기한다. ZDP는 보통 가상 장면의 중앙 근처에 있도록 조정되고, 스크린의 깊은 곳에 나타나는 물체의 깊이를 나타낸다. 양(positive)의 시차를 갖는 물체는 스크린의 앞에 나타나고 음(negative)의 시차를 갖는 물체는 스크린의 뒤에 나타난다. 수평 유클리드 시프트는 ZDP를 이동시키고, 각각 그에 대한 모든 물체의 시차를 변화시키고, 따라서 그 전체에 있어서 쾌적한 가상 시청 공간(CVVS)의 전방 또는 후방으로 장면을 이동시킨다.

디스플레이 쪽에서, 시차는 후면 제한 평면(BLP)에 나타나는 물체에 대한 음의 최대값 및 정면 제한 평면(FLP)에 나타나는 물체에 대한 최대 양의 값으로부터 변동할 수 있다. 따라서 FLP 및 BLP는, 가상 물체가 스크린의 앞에서 또는 스크린의 뒤에서 얼마나 멀리 나타날 수 있는지에 관한 가상 공간에서 제한을 제공한다.

입체적인 화상 처리에 있어서 왼쪽 및 오른쪽 화상은 동시에 시청되어 서로 비교되므로, 화상 사이의 작은 차이는 간단히 검출된다. 이것은, 입체적인 화상 처리가, 표준 2D 표시에서 인식되지 않는 화상 사이의 극미한 차이의 영향에 훨씬 민감해지게 한다. 인간의 뇌는 두 화상이 하나의 3D 물체로부터 얻어진다고 가정하므로, 화상을 비교하고, 약간의 차이점을 찾는다. 예컨대, 한 픽셀의 물체 오프셋을 유발하는 결함은 2D 화상 처리에서는 뚜렷하지 않지만, 입체 영상에서는 무한 거리에 있는 물체와 100m에 있는 물체 사이의 차이를 나타낼 수 있다. 감마, 대비, 색조화 및/또는 선명도(sharpness) 등에 있어서의 차이도 쉽게 발견할 수 있게 되어, 심각하고 부정적인 기분 나쁜 감각을 유발할 수 있다. 예컨대, F스톱 1까지의 부정확한 노출은 2D 사진에서는 중대하지 않지만, 한 쌍의 입체 화상에 있어서의 그러한 차이는 눈의 피로도의 변화 및/또는 좋지 않게 생성된 콘텐츠에 있어서의 메스꺼움을 유발할 수 있어, 입체적 시청 경험의 악화를 유발한다.

따라서 왼쪽 및 오른쪽 눈에 들어간 화상은 이상적으로 서로 다른 투영점으로 인해 발생하는 시차(parallax)를 제외한 어떤 차이도 갖지 않아야 한다.

고화질 3D 화상을 생성하기 위해, 채용된 카메라의 정렬이 중요하다. 또한, 양 카메라는 같은 개구부, 즉, 같은 직경의 조리개부(iris)를 가져야 한다. 양 카메라가 같은 초점 심도를 사용하는 것도 매우 바람직하다. 그러나, 초점은 제어하기에 매우 민감할 수 있고 또한 그 제조 편차로 인해 한 카메라의 초점을 다른 카메라에 직접 복제하지 못할 수도 있다. 마찬가지로, 채용된 전하 결합 소자(CCD) 매트릭스의 감도는 변할 수 있고, 따라서 이 매트릭스에 의해 적용된 이득값을 복제하는 것은 유사한 화상을 얻지 못할 수도 있다. 또한, 서로 다른 카메라 특성으로 인한 화상 사이의 불일치의 다른 형태, 예컨대, 화이트 밸런스, 선명도, 입상성(granularity) 및 여러 가지 다른 화상 인자의 불일치도 있을 수 있다.

제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터에 공통으로 화상 처리를 적용하는 단계를 포함하는 방법이 설명된다. 방법은 입체적인 표시를 위한 화상의 외관을 매칭하기 위한 기초로서 제 1 화상에 대한 화상 데이터와 제 2 화상에 대한 화상 데이터를 비교하는 단계를 더 포함한다.

또한, 제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터에 공통으로 화상 처리를 적용하도록 구성된 화상 처리 요소를 포함하는 장치가 설명된다. 장치는 입체적인 표시를 위한 화상의 외관을 매칭하기 위한 기초로서 제 1 화상에 대한 화상 데이터와 제 2 화상에 대한 화상 데이터를 비교하도록 구성된 화상 비교 요소를 더 포함한다.

상술한 장치의 요소는 하드웨어 및/또는 소프트웨어로 구현될 수 있다. 이는, 예컨대, 필수 기능을 실현하는 소프트웨어 프로그램 코드를 실행하는 프로세서의 형태로 구현될 수도 있다. 이와 달리, 이들은 필수 기능을 실현하도록 설계된 하나 이상의 회로의 형태, 예컨대, 집적 회로와 같은 칩셋 또는 칩으로 구현될 수 있다.

상술한 장치는 표시된 요소에 제한될 수도 있지만, 여러 가지 다른 요소, 예컨대, 두 개의 화상 캡처 요소 및/또는 입체적인 디스플레이 및/또는 캡처된 화상 데이터의 수신과 처리된 화상 데이터의 송신 중 적어도 하나를 가능하게 하는 무선 통신 요소를 동일하게 포함한다. 두 개의 화상 캡처 요소는, 예컨대, 고정된 간격을 갖고 배치된 한 쌍의 카메라 또는 두 개의 화상 센서에 대하여 같은 렌즈를 공유하는 하나의 카메라일 수 있다.

상술한 장치는, 예컨대, 디지털 카메라, 랩톱 또는 휴대 전화, 또는 전자 디바이스용 모듈과 같은 전자 디바이스일 수도 있다.

또한, 상술한 장치와, 화상 데이터를 캡처하여 캡처된 화상 데이터를 장치에 제공하도록 구성된 적어도 두 개의 화상 캡처 요소를 포함하는 시스템을 나타낸다. 장치와 화상 캡처 요소 사이의 데이터 링크는 유선 및 무선 링크를 포함하는 모든 종류일 수 있다.

마지막으로, 컴퓨터로 판독할 수 있는 매체에 프로그램 코드가 기억된 컴퓨터 프로그램 제품이 제안된다. 프로그램 코드는 컴퓨터에 의해 실행되었을 때 상술한 방법을 실현한다.

컴퓨터 프로그램 제품은, 예컨대, 분리된 메모리 장치, 또는 전자 디바이스에 집적된 메모리일 수 있다.

본 발명은 컴퓨터 프로그램 제품 및 컴퓨터로 판독할 수 있는 매체로부터 독립하여 그러한 컴퓨터 프로그램 코드를 포함하는 것이 이해되어야 한다.

본 발명은 두 화상에 대한 화상 데이터의 처리에 제한되지 않고, 보다 많은 화상에 대한 화상 데이터의 공통의 처리 및 비교를 위하여 사용될 수도 있는 것을 이해하여야 한다. 또한, 제 1 화상 및 제 2 화상은 정지 화상일 수도 있고 또는 각각의 영상에 속할 수도 있다.

화상 처리 및 화상 비교는 어떤 순서로든 수행될 수 있다. 화상 비교가 화상 처리에 앞서면, 화상 비교는 원래의 화상 데이터에 기초하여야 한다. 혹은, 원래의 화상 데이터 또는 공통적으로 처리된 화상 데이터 중 어느 쪽에도 기초할 수 있다. 화상의 외관을 매칭하는 것은 입체적인 표시를 위해 요구되는 화상 사이의 시차로부터 발생하는 차이를 제거하는 것으로 이해되어서는 안 된다.

상술한 여러 화상의 화상 데이터의 공통 처리는 개별 처리에 비해 작업량의 감소를 가능하게 하는데, 이는 수행될 필요가 있는 화상 처리의 양을 감소시키기 때문이다. 결과적으로, 요구되는 처리 시간도 단축된다. 게다가 화상 처리를 여러 화상에 공통적으로 적용하는 것은 처리가 화상에 추가적인 차이를 도입하지 않게 한다. 따라서 처리된 화상은 개별 처리를 연쇄적으로 하는 것보다 균형이 잘 유지된다. 그 결과, 입체적인 표시에서 사용되면, 화상이 왼쪽 눈과 오른쪽 눈으로 향할 때 그 사이에서 보다 적은 차이를 유발한다.

상술한 화상 데이터의 비교는 화상 사이의 원래의 차이를 감소시킬 수 있게 한다. 매칭이 처리된 화상에 기초한다면, 매칭은 화상의 데이터의 앞선 공통 처리에 의해 가능하게 되고 최적화된다. 예컨대, 화상이 서로 다른 독립 알고리즘 처리를 거치면 발생할 수 있는 런타임 차이(run-time difference)가 조합된 처리에 의해 회피될 수 있다.

전형적인 실시예에서, 제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터는 제 1 화상 및 제 2 화상의 중첩 부분의 데이터를 획득하기 위해 크롭된다. 그러면 공통 처리만이 중첩 부분의 화상 데이터에 적용될 수 있다. 이는 처리 부하를 더 감소시킨다. 또는, 크롭된 화상만이 이후의 처리에 제공되고 화상 데이터의 나머지는 폐기되거나, 모든 화상 데이터가 크롭의 양의 표시와 함께 이후의 처리에 제공된다.

공통 처리는, 예컨대, 선형화, 암전류 보상, 플레어 보상, 잡음 저감, 화이트 밸런스 조정, 디모자이킹(demosaicking), 색변환, 비선형화, 선명화(sharpening), 및 종래의 화상 처리 연쇄로부터 알려진 여러 가지 다른 조정을 포함할 수 있다.

다른 전형적인 실시예에서, 공통 화상 처리를 화상 테이터에 적용하는 단계는 제 1 화상 및 제 2 화상 각각에 화상 데이터를 제공하는 적어도 두 개의 화상 캡처 요소에 의해 채용된 파라미터에 대한 전반적 설정을 결정하는 단계를 포함한다. 전반적 설정은, 예컨대, 셔터 속도, 조리개 개구부, 화상 센서에 대한 통합 시간 및/또는 이득의 값을 포함할 수 있다.

적어도 두 개의 화상 캡처 요소의 각각에 의해 채용된 적어도 한 파라미터는 결정된 전반적 설정에 따라 공통적으로 설정될 수 있다. 적어도 한 파라미터는, 예컨대, 셔터 속도 및/또는 통합 시간일 수 있다. 다른 결정된 전반적 설정이 있다면, 추가적인 개별 설정에 대한 기초로서 사용될 수 있다.

한 전형적인 실시예에서, 화상 데이터를 비교하는 단계는 제 1 화상 및 제 2 화상의 관련 부분의 화상 데이터만을 비교하는 단계를 포함할 수 있다. 관련 부분은 특히 입체적인 표시에서 사용되는 화상의 그 부분만을 포함할 수 있다. 관련 부분은 제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터 중 적어도 하나에 적용된 유클리드 시프트에 관한 정보에 기초하여 결정될 수 있다. 또한, 관련 부분은 제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터 중 적어도 하나에 적용된 크롭에 관한 정보에 기초하여 결정될 수 있다. 양쪽 대안은 요구되는 처리량을 감소시키게 한다.

또한, 관련 부분은 각각의 다른 화상에 비교되는 화상 중 적어도 하나에 의해 경험된 폐쇄 공간에 관한 정보에 기초하여 결정될 수 있다. 후자의 대안은 또한 요구되는 처리량을 감소시키게 한다. 또한, 비교할 수 없는 화상의 부분을 무시할 수 있게 하는데, 그들은 양 화상에서 서로 다른 물체를 포함하기 때문이다. 이 단계에서 관련 부분을 결정하는 대신에, 관련 부분에 대한 화상 데이터만이 제 1 장소에서의 비교를 위해 제공될 수 있다.

한 전형적인 실시예에서, 화상 데이터의 비교의 결과는 이들 화상의 입체적인 표시를 위한 제 1 화상 및 제 2 화상의 외관을 매칭하기 위해 제 1 화상에 대한 화상 데이터 및/또는 제 2 화상에 대한 화상 데이터를 조정하도록 사용된다. 예컨대, 양 화상의 감마값, 대비, 색조화 및/또는 선명도를 매칭하기 위해 비교가 사용될 수 있다.

또한, 화상 데이터의 비교의 결과는 제 1 화상 및 제 2 화상 중 하나에 대한 화상 데이터를 제공하는 적어도 하나의 화상 캡처 요소에 대하여 채용된 파라미터에 대한 개별 설정을 결정하는 데 사용될 수 있다. 그 후 적어도 하나의 화상 캡처 요소에 의해 채용된 파라미터는 결정된 개별 설정에 따라 설정될 수 있다. 이것은 입체적인 표시를 위해 같은 화상 캡처 요소에 의해 캡처되는 이후의 화상의 외관을 매칭하게 한다. 개별 설정은, 예컨대, 초점에 대한 오프셋 및/또는 이득의 값을 포함할 수 있다. 문제가 되고 있는 파라미터에 대하여 전반적 설정이 이미 결정되어 있는 경우에, 예컨대, 이 전반적 설정을 하나의 화상 캡처 요소에 대한 개별 설정으로서 사용할 수 있다. 또한, 전반적 설정은 비교에 기초하여 조정될 수 있고 다른 화상 캡처 요소에 대한 개별 설정으로서 사용될 수 있다.

다른 전형적인 실시예에서, 화상 데이터를 비교하는 단계는 제 1 화상의 초점 내의 물체를 결정하는 단계 및 제 2 화상 내에 같은 물체를 결정하는 단계를 포함한다. 그 후 제 2 화상 내의 결정된 물체에 선명도 조정이 적용될 수 있다. 또한, 결정된 물체에 기초하여 제 2 화상을 제공하는 화상 캡처 요소에 초점 조정이 적용될 수 있다. 결과적으로, 등가 초점이 양 화상 캡처 요소에 제공된다.

제 2 화상 내에 같은 물체를 결정하는 단계는 제 1 화상을 제공하는 화상 캡처 요소의 초점에 기초하여 물체의 거리를 결정하는 단계를 포함할 수 있다. 물체의 거리는 특정한 차이에 연관성이 있어, 예컨대, 룩업테이블 또는 미리 정해진 계산 규칙을 사용하여 거리에 관련된 차이를 결정할 수 있다. 차이는 제 2 화상 내에 같은 물체를 결정하게 하고, 같은 물체에 초점을 맞추게 하기 위해 제 2 카메라의 초점 영역을 시프트하게 한다.

제시된 모든 전형적인 실시예와 그들의 개별적인 특징은 모든 적절한 조합으로 사용될 수도 있는 것을 이해하여야 한다.

본 발명의 다른 목적 및 특징은 첨부 도면과 함께 고려되는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나, 도면은 본 발명을 제한하는 정의로서가 아닌 단지 예시의 목적으로 그려졌고, 청구항에 대한 참조가 이루어져야 하는 것을 이해하여야 한다. 도면은 크기를 조정하기 위해 그려진 것이 아니고 단지 여기에 설명된 구조 및 절차를 개념적으로 예시하도록 의도된 것도 또한 이해하여야 한다.

도 1은 입체적인 표시를 위한 종래의 화상 처리를 개략적으로 도시하는 흐름도,
도 2는 본 발명의 실시예에 따른 입체적인 표시를 위한 화상 처리를 개략적으로 도시하는 흐름도,
도 3은 본 발명의 실시예에 따른 장치의 개략적인 블록도,
도 4는 도 3의 장치에서의 전형적인 동작을 도시하는 개략적인 도면,
도 5는 도 4에 제시된 동작에서 사용되는 화상 크롭을 도시하는 개략적인 도면,
도 6은 폐쇄 구역이 바람직하지 않은 영향을 가질 수 있는 전형적인 상황을 도시하는 개략적인 도면,
도 7은 어떻게 두 대의 카메라가 같은 물체에 초점을 맞출 수 있는지를 예시하는 개략적인 도면이다.

도 1 및 도 2는 입체적인 표시를 위한 종래의 화상 처리와 본 발명의 전형적인 실시예에 따른 처리 사이의 차이를 개략적으로 도시하는 흐름도이다.

도 1의 흐름도는 두 개의 평행 화상 처리 연쇄를 사용하는 종래의 방법을 나타낸다.

좌측 원화상(raw image)(11)의 화상 데이터는 제 1 화상 연쇄에서 처리된다. 제 1 화상 연쇄는 전처리, 화이트 밸런스 조정, 디모자이킹(“컬러 필터 배열 보간”이라고도 불림), 색변환 및 후처리를 포함하는 화상 처리 파이프라인에 데이터를 보낸다(단계 12). 전처리는, 예컨대, 선형화, 암전류 보상, 플레어 보상 및 잡음 저감을 포함할 수 있다. 후처리는, 예컨대, 비선형화(감마 보정), 선명화(sharpening) 등을 포함할 수 있다. 우측 원화상(13)의 화상 데이터는 대응하는 화상 처리 파이프라인의 제 2 화상 연쇄에서 개별적으로 처리된다(단계 14).

그 후 우측 원화상의 처리된 데이터는 투시 변환을 사용하여 좌측 화상의 처리된 데이터를 고려하여 더 조정된다(단계 15). 조정은, 화상이 입체적인 표현에서 사용되기 위해 결합되기 전에, 화상 사이에서 소망하는 차이만이 남도록 하는 목적을 갖는다. 조정은 처리된 좌측 및 우측 화상의 데이터를 비교하여 우측 화상을 좌측 화상에 매치하도록 조정함으로써 색조화 및 감마 보정을 적용하는 단계를 포함할 수 있다. 그러한 조정이 개별 화상 처리 연쇄의 마지막에 적용되면, 결과는 최선이 아닐 수 있다.

도 2의 흐름도는 좌측 원화상(21) 및 우측 원화상(22)의 화상 데이터를 처리하기 위해 단일 화상 처리 연쇄를 사용하는 본 발명에 따른 전형적인 방법을 나타낸다.

도 1을 참조하여 제시된 바와 같이 화상 처리 연쇄는 같은 화상 처리 파이프라인을 포함할 수 있다. 그러나 이 경우, 양 화상의 데이터는 공통적으로 같은 파이프라인에 보내지고, 따라서 포함된 처리 알고리즘의 같은 제어 파라미터가 모든 데이터의 처리에 사용된다(단계 23). 제어 파라미터는 양 화상에 대한 데이터에 기초하여 결정될 수 있다. 원화상은 같은 처리 연쇄를 동시에 거쳐가므로, 정확히 같은 전반적 화상 변환을 받는다.

좌측 및 우측 화상에 대한 데이터 사이의 일관된 바람직하지 않은 차이만이 화상 매칭을 개선하기 위해 적어도 한 화상에서 개별적으로 보상받는다(단계 24).

도 3은 본 발명에 따른 장치(30)의 전형적인 실시예를 제시한다. 예로서, 장치(30)는 휴대 전화로 가정된다.

장치(30)는 좌측 카메라(31) 및 우측 카메라(32)를 포함한다. 그렇지 않으면, 카메라(31, 32)는 장치(30)의 외부에 있을 수 있다. 어느 경우에도, 카메라(31, 32)는 서로 미리 정해진 거리에 배치되고, 보다 상세하게는 입체적인 표시를 위해 화상을 캡처할 때 같은 높이에 있다. 장치(30)는 여러 가지 처리 코드를 실행하도록 구성된 프로세서(33)를 더 포함한다. 장치(30)는 또한 메모리(34)를 포함한다.

메모리(34)는 프로그램 코드를 기억하기 위한 섹션(35)을 포함한다. 프로세서(33)는 실행을 행하기 위해 메모리(34)로부터 모든 소망하는 처리 코드를 검색할 수 있다.

기억된 프로그램 코드는 입체적인 화상 처리를 위한 코드를 포함한다. 이 코드는, 예컨대, 양 화상의 데이터의 공통 화상 처리, 양 화상의 데이터 사이의 바람직하지 않은 차이의 보상, 전반적 및/또는 개별적 카메라 설정의 생성을 위하여 두 화상, 특히 좌측(L) 화상 및 우측(R) 화상의 데이터를 크롭하고 결합하기 위한 코드를 포함한다. 메모리(34)는 데이터, 예컨대, 처리된 또는 처리되지 않은 화상 데이터를 기억하기 위한 섹션(36)을 더 포함한다.

장치(30)는 입체적 디스플레이(37) 및/또는 무선 통신 네트워크의 다른 장치 또는 액세스 포인트와 무선 통신을 가능하게 하는 송수신기(38)를 더 포함할 수 있다.

장치(30) 또는 프로세서(33) 및 메모리(34)의 조합은 모두, 예컨대, 본 발명에 따른 장치의 실시예로 간주될 수 있다.

도 4는 도 3의 장치(30)의 전형적인 상세 및 도 3의 장치(30)에서의 전형적인 처리를 도시하는 개략적인 도면이다.

도 4에서 카메라 1로 나타낸 좌측 카메라(31)에서, 셔터, 조리개 및 렌즈(411)가 제어 입력에 적용된 설정에 따라 작동되어 소망하는 셔터 속도, 소망하는 조리개 개구부 및 소망하는 초점으로 화상 센서(412)에 의해 화상이 캡처된다. 화상 센서(412)는 제어 입력을 통해 설정되는 통합 시간을 사용한다. 캡처된 화상 데이터는, 특히 제어 입력을 통해 표시되는 이득값에 따른 이득을 적용함으로써 아날로그 영역에서 처리 요소(413)에 의해 처리된다. 처리 요소(413)는 처리된 아날로그 화상 데이터를 디지털 화상 데이터로 변환하는 아날로그-디지털 변환기(ADC)를 더 포함한다. 결과는 입체적인 표시를 위해 사용되는 좌측 원화상(414)의 디지털 화상 데이터이다. 이 좌측 화상(414)은 도 4에서 화상 Ⅰ로 나타낸다.

도 4에서 카메라 2로 나타낸 우측 카메라(32)에서, 셔터, 조리개 및 렌즈(421), 화상 센서(422) 및 처리 요소(423)는 대응하는 제어 입력을 통해 제공된 고유의 설정을 사용하여 제 1 카메라(31)의 대응하는 요소와 같은 방식으로 제어되고 작동된다. 결과는 입체적인 표시를 위해 사용되는 제 2 원화상(424)의 디지털 화상 데이터이다. 이 우측 화상(424)은 도 4에서 화상 Ⅱ로 나타낸다.

움직이는 물체가 유사한 모션 블러를 나타내도록 통합 시간은 양 카메라(31, 32)에 대하여 정확히 같아야 한다. 가능하다면, 카메라 통합 클록 및 셔터는 동기화되어야 한다. 따라서, 전반적 제어값이 셔터(411, 421) 및 화상 센서(412, 422)에 적용된다. 화상 노출 사이의 차이는 요소(413, 423)에 표시되는 개별 이득 설정에 의해 제어될 수 있다. 또한 조리개 및 렌즈(411, 421)는 조리개 개구부 및 초점에 각각 개별적 설정을 제공함으로써 각 화상에 대하여 개별적으로 제어될 수 있다.

양 화상(414, 424)의 화상 데이터는 크롭 및 결합을 위한 프로그램 코드(35)를 사용하여 프로세서(33)에 의해 크롭되고 결합된다(단계 430).

크롭 및 결합이 도 5에 보다 상세하게 도시된다.

도 5의 상부에 나타낸 바와 같이, 화상 가장자리 크롭과 함께 유클리드 화상 시프트가 좌측 원화상(414) 및 우측 원화상(424)에 적용되어 양 화상의 중첩 영역(51)만이 이후의 처리에서 사용되기 위해 남겨진다. 화상(52)의 크롭된 영역은 감마 레벨에 영향을 미치지 않을 것이다. 광원(53)이 한 화상(424)의 가장자리에서만 보이는 경우, 이것은 이점이 될 수도 있다.

도 5의 하부에 나타낸 바와 같이, 크롭된 화상(431, 432)은 공통 화상 처리를 위해 결합된다. 화상(431, 432)을 결합하는 것은 양 화상(431, 432)의 데이터가 하나의 보다 큰 화상의 데이터로서 간주된다는 것을 의미할 수 있다.

도 4에서 크롭된 화상(431, 432)에 인접한 어두운 영역에 의해 표시되는 바와 같이, 크롭하는 단계는 반드시 비중첩 부분이 폐기된다는 것을 의미하는 것은 아니다. 전체 화상 데이터는 유클리드 시프트 및 크롭량에 관한 정보와 함께 보내질 수도 있다.

공통 화상 처리(단계 433)는 공통 처리를 위한 프로그램 코드(35)를 사용하여 프로세서(33)에 의해 크롭 및 결합된 화상 데이터에 적용된다. 공통 처리는, 예컨대, 도 2의 화상 처리 파이프라인의 모든 처리를 포함하는 종래의 다양한 형태의 화상 처리를 포함할 수 있다. 이것은 공통으로 처리된 화상 데이터 및 이후의 여러 쌍의 화상에 대한 전반적 설정을 야기한다. 화상 처리의 목적은 결합된 한 쌍의 화상에 있어서 전체적인 화상 품질을 최대한 좋게 하기 위한 것이다. 전반적 설정은 이후의 여러 쌍의 화상에 있어서 필수적인 변화가 가능한 한 작도록 선택된다. 전반적 화상 설정은 표준 방법을 사용하여 결합된 한 쌍의 화상으로부터 결정될 수 있다. 이것은 카메라(31, 32)의 셔터 속도 및 통합 시간에 대한 설정을 포함할 수 있다. 이것은, 예컨대, 카메라(31, 32)에 의해 적용되는 이득에 대한 예비 전반적 설정을 포함할 수도 있다.

공통 처리는 조정할 수 있는 제어 파라미터를 갖는 알고리즘을 데이터에 적용하는 단계를 포함할 수 있는데, 파라미터값은 알고리즘이 적용되는 데이터의 특성에 기초하여 결정된다. 파라미터값이 전체 데이터에 기초하여 선택되는 경우, 설정된 파라미터값을 통해 한 화상에서만 분명한 효과가 다른 화상의 데이터에 퍼질 수 있는 위험이 있다. 따라서, 제어 파라미터를 획득하기 위한 기초로서 실제로 사용되는 데이터가 미리 선택될 수 있다.

한 화상(431)의 적색, 녹색, 청색(RGB)의 값에서 다른 화상(432)의 RGB값을 빼서 획득되는, 특정 깊이의 평면을 보상하기 위한 수평 화상 시프트와의 신속한 비교는 물체의 유사성에 관한 정보를 제공할 수 있다. 결과를 미리 정해진 역치와 비교하는 것은, 화면의 어떤 부분이 양 화상 센서(412, 422)와 유사한지 또한 화면의 어떤 부분이 센서(412, 422) 중 하나에서만 보이는 폐쇄 구역인지를 나타내는 마스크를 제공한다.

도 6은 절반의 폐쇄 공간에 있는 물체 및 광원이 하나의 카메라 센서에 영향을 미치고 그 후 따로 다른 센서에 영향을 미칠 수 있는 전형적인 시나리오를 나타낸다.

제시된 상황에서, 우측 카메라(32)의 화상 센서(422)는 광원(61)을 포함하는 시나리오의 사진을 촬영한다. 좌측 카메라(31)의 화상 센서(412)는 화상 센서(422)로부터 약간 좌측에 배치되어, 기본적으로 같은 시나리오의 사진을 촬영한다. 그러나, 화상 센서(412)에 있어서, 광원(61)은 물체(62)의 뒤에 숨겨진다. 이것은 센서(412, 422)의 자연 감마 검출 레벨에 있어서의 차이를 유발하여, 한 화상에 대한 전반적 감마를 상쇄한다.

공통 처리의 제어 파라미터를 결정하기 위해 두 크롭된 화상(431, 432)의 전체적인 화상 데이터를 사용할 때, 한 화상에 대하여 전반적 감마가 상쇄될 것이고, 따라서 입체적인 시청에 있어서 문제를 유발한다. 따라서, 광원(61)을 포함하는 우측 센서(422)에 의해 촬영된 화상의 영역은 공통 화상 처리에서 채용된 제어 파라미터를 결정할 때 사용된 마스크에 의해 제외될 수 있다.

따라서 한 화상의 결과를 바이어스(bias)할 수 있는 폐쇄 구역을 제외하기 위한 노출 조정, 감마 균형 조정 및 다른 조정 알고리즘에 대한 제어 파라미터의 기초를 형성하는 데이터를 선택할 때 RGB 비교에서 획득된 마스크가 적용될 수 있다.

공통 처리에 덧붙여, 바람직하지 않은 차이를 보상하기 위한 프로그램 코드(35)를 사용하여 양 화상을 유사하게 만들기 위해 프로세서(33)는 미세 제어를 적용한다(단계 434). 이 단계에서, 한편으로는 입체적인 표시를 위해 현재의 한 쌍의 화상의 적어도 하나의 처리된 화상은 다른 처리된 화상과 보다 유사해지도록 조정된다. 다른 한편으로, 각각의 카메라 설정은, 후속의 좌측 및 우측 화상 사이의 노출 및 초점에 있어서 관찰된 차이를 최소화하기 위한 방법으로, 단계 433에서 초래되는 결정된 전반적 설정에 관련하여 조정된다.

이 목적을 달성하기 위해 현재 사용할 수 있는 좌측 및 우측 화상은 화상 비교에 의해 비교된다. 비교에 사용되는 화상은 원래의 크롭된 화상(431, 432) 또는 화상 처리 블록(433)에 의해 출력된 처리된 화상일 수 있다. 실제 비교는, 폐쇄 공간으로 인한 부정적인 효과가 회피되는 것을 보증하기 위해 결정된 마스크에 의해 더 감소되는 관련 부분, 즉, 입체적인 표시에서 사용될 크롭된 화상에만 적용된다.

화상 비교는, 카메라(31, 32) 사이의 이득 및 초점 차이를 결정하기 위해 표준 자동 초점 알고리즘과 같은 유사한 언덕 오르기 최적화(hill climbing optimization)에 기초할 수 있지만, 목적 함수로서 화상 내의 관련 물체의 밝기와 초점 사이의 차이의 척도를 사용한다.

또한, 같은 물체는 양 카메라에 있어서 선명한 초점에 있어야 한다. 한 카메라에 대한 초점 깊이가 알려지면, 이 정보는 다른 카메라에 있어서 초점 포인트에 있는 물체가 보이는 곳을 쉽게 결정하기 위해 사용될 수 있다. 보다 구체적으로, 대략적인 물체 거리에 관한 정보는 한 카메라의 초점 조절로부터 취득될 수 있다. 그 후 그 거리에 있는 물체의 차이를 찾기 위해 계산 또는 룩업테이블이 사용될 수 있다. 차이는 다른 카메라에 의해 촬영된 화상 내의 같은 물체를 결정하기 위해 사용될 수 있다. 그 후 화상의 각각을 처리하기 위해 사용되는 초점 알고리즘이 이 영역만의 선명도 척도의 기초를 형성할 수 있어, 좌측 및 우측 카메라에 동등한 초점을 제공한다.

도 7은 어떻게 두 카메라가 같은 물체를 초점에 맞출 수 있는지를 예로서 나타낸다. 도 7은 좌측 카메라(31)에 의해 보여지는 화상(71)의 표시를 좌측에, 우측 카메라(32)에 의해 보여지는 화상(76)의 표시를 우측에 포함한다. 첫 번째 단계에서, 좌측 카메라(31)는 물체(72)에 초점을 맞춘다. 채용된 초점 윈도우(73)가 파선의 직사각형에 의해 표시된다. 두 번째 단계에서, 좌측 카메라(31)로부터 물체(72)까지의 거리가 초점 설정에 기초하여 결정된다. 세 번째 단계에서, 두 화상(71, 75)에 있는 물체의 차이가 물체(72)까지의 거리에 관한 지식에 기초하여 결정된다. 네 번째 단계에서, 이전에 계산된 차이에 따라 초점 윈도우(77)를 우측 카메라(32)에 대하여 수평으로 시프트함으로써 제 2 카메라의 초점 윈도우(77)는 같은 물체(76)에 고정된다. 다섯 번째 단계에서, 양 화상에서 유사한 선명도를 달성하기 위해, 우측 카메라(32)의 초점은 초점 윈도우(77)에 위치한 화면에 초점을 맞추도록 조정된다.

공통으로 처리된 화상의 각각에 적용되는 각각의 밝기 및 선명도의 조정의 양은, 관련된 카메라(31, 32)에 대한 각각의 이득 및 초점 설정을 획득하기 위해 전반적 이득 및 초점 설정을 조정하기 위해 사용된다.

그 후 셔터 속도 및 통합 시간에 대하여 결정된 전반적 설정은 양 셔터(411, 421) 및 양 화상 센서(412, 422)의 제어 입력에 각각 공통적으로 적용된다. 초점, 조리개 및 이득에 관한 개별 설정은 조리개 및 렌즈(411, 421) 및 아날로그 처리 요소(413, 423)의 제어 입력에 각각 개별적으로 적용된다. 따라서 시스템은 피드백 제어 시스템을 형성한다. 제어 파라미터에 있어서의 변화의 효과가 관찰되고 반복하여 개선된다. 화상에 있어서의 차이를 보상하기 위해 사용되는 이러한 종류의 피드백 제어는 화상 처리 요소에 있어서의 모든 제조상의 차이에 자동적으로 적용될 것이다.

프로세서(33)는 또한 입체적인 표시를 위하여 처리된 좌측 및 우측 화상을 제공한다. 캡처되어 처리된 화상은 입체적인 디스플레이(37)를 통해 사용자에게 즉시 표시될 수 있다. 이와 달리, 이후에 사용하기 위해 메모리(34)의 데이터 섹션(36)에 기억될 수도 있고, 또는 통신 요소(38)를 통해 몇몇 다른 표시 장치에 송신될 수도 있다.

단계 434의 비교 처리가 표시를 위한 화상 데이터를 조정할 필요가 없음을 이해하여야 한다. 몇 번의 반복 후에 결과적인 좌측 및 우측 화상은 충분히 유사할 것이고 또한 더 이상의 개별 처리를 하지 않고 사용될 수 있다고 가정하면, 이 단계는 설정을 생성하고 적용하기 위해 사용될 수도 있다. 이 경우에, 단계 433에서 생성된 공통으로 처리된 화상 데이터는 표시를 위해 제공될 수 있다.

또한, 제시된 처리는 어떤 설정도 생성하지 않고서 화상 데이터에 적용시키기 위해 사용될 수도 있음을 이해하여야 한다. 예컨대, 프로세서가 휴대 전화에 포함되고 카메라가 휴대 전화의 외부에 있다면, 화상 처리를 행하는 프로세서는 카메라의 제어 입력에 액세스하지 않을 수도 있다. 또한, 휴대 전화(30)는 입체적인 표시를 위해, 예컨대, 통신 요소(38)를 통해 처리되지 않은 좌측 및 우측 화상을 수신할 수 있고, 디스플레이(37)에 화상을 표시하기 전에 카메라 설정을 생성하지 않고서 상술한 처리를 행할 수 있다. 따라서 피드백은 필수적이지 않다.

전체적으로 보면, 그 중에서도, 화상 사이의 크로스토크(cross-talk)를 피하기 위해 화상 처리로부터 선택된 영역을 제거하고, 초점 조정을 수정하는, 복수의 화상에 대한 공통 처리를 사용하는 전형적인 시스템이 제시된다. 이러한 국면의 조합뿐만 아니라 그 각각은 화상 처리의 복잡도의 감소 및 화상의 더 좋은 매칭을 가능하게 한다.

프로그램 코드(35)를 실행하는 프로세서(33)에 의해 예시된 기능은, 공통 화상 처리를 제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터에 적용하기 위한 수단과, 입체적인 표시를 위한 화상의 외관을 매칭하기 위한 기초로서 제 1 화상에 대한 화상 데이터와 제 2 화상에 대한 화상 데이터를 비교하기 위한 수단으로서 보여질 수 있다.

프로그램 코드(35)는 기능 모듈의 형태로 그러한 수단을 포함하는 것으로 보여질 수도 있다.

본 발명의 기본적인 새로운 특징은 그 바람직한 실시예에 적용되는 것으로 나타내고 설명하고 지적했지만, 상술한 장치 및 방법의 형태 및 상세에 있어서 본 발명의 정신을 벗어나지 않고서 다양한 생략 및 대체 및 변경이 당업자에 의해 이루어질 수 있음이 이해될 것이다. 예컨대, 같은 결과를 달성하기 위해 실질적으로 같은 방법으로 실질적으로 같은 기능을 행하는 요소 및/또는 방법 단계의 모든 조합은 본 발명의 범위 내에 있는 것이 명확히 의도되었다. 또한, 본 발명의 모든 개시된 형태 또는 실시예와 관련하여 제시 및/또는 묘사된 구조 및/또는 요소 및/또는 방법 단계는 설계상의 선택의 일반적인 문제로서 다른 모든 개시된 또는 묘사된 또는 제시된 형태 또는 실시예에 통합될 수 있음이 인식되어야 한다. 따라서, 여기에 첨부된 청구범위에 의해 표시된 것에 의해서만 제한되도록 의도되었다. 또한, 청구항에 있어서 기능식 청구항(means-plus-function clause)은 열거된 기능을 행하도록 여기에 묘사된 구조, 구조적 등가물, 동등한 구조를 포함하도록 의도되었다.

Claims

제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터에 공통으로 화상 처리를 적용하는 단계와,
입체적인 표시(stereoscopic presentation)를 위한 화상의 외관을 매칭하기 위한 기초로서 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터를 비교하는 단계를 포함하는
화상 처리 방법.
제 1 항에 있어서,
상기 제 1 화상 및 상기 제 2 화상의 중첩 부분의 데이터를 획득하기 위해 상기 제 1 화상에 대한 화상 데이터 및 상기 제 2 화상에 대한 화상 데이터의 크롭(cropping)을 행하는 단계를 더 포함하고,
상기 화상 처리는 상기 중첩 부분의 화상 데이터에만 적용되는
화상 처리 방법.
제 1 항 또는 제 2 항에 있어서,
상기 화상 처리를 적용하는 단계는 상기 제 1 화상 및 상기 제 2 화상 각각에 대한 화상 데이터를 제공하는 적어도 두 개의 화상 캡처 요소에 의해 채용된 파라미터에 대한 전반적 설정을 결정하는 단계를 포함하는
화상 처리 방법.
제 3 항에 있어서,
상기 결정된 전반적 설정에 따라 상기 적어도 두 개의 화상 캡처 요소의 각각에 의해 채용된 적어도 하나의 파라미터를 설정하는 단계를 더 포함하는
화상 처리 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 화상 데이터를 비교하는 단계는 상기 제 1 화상 및 상기 제 2 화상의 관련 부분의 화상 데이터만을 비교하는 단계를 포함하되,
상기 관련 부분은, 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터 중 적어도 하나에 적용된 유클리드 시프트(Euclidean shift)에 관한 정보와, 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터 중 적어도 하나에 적용된 크롭에 관한 정보와, 각각의 다른 화상과 비교된 상기 화상 중 적어도 하나에 의해 경험된 폐쇄 공간에 관한 정보 중 적어도 하나에 기초하여 결정되는
화상 처리 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
입체적인 표시를 위한 상기 제 1 화상 및 상기 제 2 화상의 외관을 매칭하기 위해 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터 중 적어도 하나를 조정하도록 상기 화상 데이터를 비교하는 단계의 결과를 사용하는 단계를 더 포함하는
화상 처리 방법.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
입체적인 표시를 위한 이후의 화상의 외관을 매칭하기 위해, 상기 제 1 화상 및 상기 제 2 화상 중 하나에 대한 화상 데이터를 제공하는 적어도 하나의 화상 캡처 요소에 대하여 채용된 파라미터에 대한 개별 설정을 결정하는 데 상기 화상 데이터를 비교하는 단계의 결과를 사용하는 단계와,
상기 결정된 개별 설정에 따라 상기 적어도 하나의 화상 캡처 요소에 의해 채용된 파라미터를 설정하는 단계를 더 포함하는
화상 처리 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 화상 데이터를 비교하는 단계는 상기 제 1 화상의 초점 내의 물체를 결정하는 단계 및 상기 제 2 화상 내에 같은 물체를 결정하는 단계를 포함하고,
상기 방법은 상기 제 2 화상 내의 상기 결정된 물체에 대한 선명도(sharpness) 조정을 적용하는 단계 및/또는 상기 결정된 물체에 기초하여 상기 제 2 화상을 제공하는 화상 캡처 요소에 초점 조정을 적용하는 단계를 더 포함하는
화상 처리 방법.
제 8 항에 있어서,
상기 제 2 화상 내에 같은 물체를 결정하는 단계는 상기 제 1 화상을 제공하는 화상 캡처 요소의 초점에 기초하여 상기 물체의 거리를 결정하는 단계와, 상기 거리에 관련된 차이를 결정하는 단계, 및 상기 차이에 기초하여 상기 제 2 화상 내에 상기 같은 물체를 결정하는 단계를 포함하는
화상 처리 방법.
제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터에 공통으로 화상 처리를 적용하도록 구성된 화상 처리 요소와,
입체적인 표시를 위한 화상의 외관을 매칭하기 위한 기초로서 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터를 비교하도록 구성된 화상 비교 요소를 포함하는
화상 처리 장치.
제 10 항에 있어서,
상기 제 1 화상 및 상기 제 2 화상의 중첩 부분의 데이터를 획득하기 위해 상기 제 1 화상에 대한 화상 데이터 및 상기 제 2 화상에 대한 화상 데이터의 크롭을 행하도록 구성된 크롭 요소를 더 포함하되,
상기 화상 처리 요소는 상기 화상 처리를 상기 중첩 부분의 화상 데이터에만 적용하도록 구성되는
화상 처리 장치.
제 10 항 또는 제 11 항에 있어서,
상기 화상 처리 요소는 상기 제 1 화상 및 상기 제 2 화상 각각에 대한 화상 데이터를 제공하는 적어도 두 개의 화상 캡처 요소에 의해 채용된 파라미터에 대한 전반적 설정을 결정하도록 구성되는
화상 처리 장치.
제 12 항에 있어서,
결정된 전반적 설정에 따라 상기 적어도 두 개의 화상 캡처 요소의 각각에 의해 채용된 적어도 하나의 파라미터를 설정하도록 구성된 파라미터 설정 요소를 더 포함하는
화상 처리 장치.
제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 화상 비교 요소는 상기 제 1 화상 및 상기 제 2 화상의 관련 부분의 화상 데이터만을 비교하도록 구성되고,
상기 화상 비교 요소는, 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터 중 적어도 하나에 적용된 유클리드 시프트에 관한 정보와, 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터 중 적어도 하나에 적용된 크롭에 관한 정보와, 각각의 다른 화상과 비교된 상기 화상 중 적어도 하나에 의해 경험된 폐쇄 공간에 관한 정보 중 적어도 하나에 기초하여 상기 관련 부분을 결정하도록 구성되는
화상 처리 장치.
제 10 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 화상 비교 요소는, 입체적인 표시를 위한 상기 제 1 화상 및 상기 제 2 화상의 외관을 매칭하기 위해 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터 중 적어도 하나를 조정하도록 상기 화상 데이터를 비교한 결과를 사용하도록 더 구성되는
화상 처리 장치.
제 10 항 내지 제 15 항 중 어느 한 항에 있어서,
상기 화상 비교 요소는, 입체적인 표시를 위한 이후의 화상의 외관을 매칭하기 위해, 상기 제 1 화상 및 상기 제 2 화상 중 하나에 대한 화상 데이터를 제공하는 적어도 하나의 화상 캡처 요소에 대하여 채용된 파라미터에 대한 개별 설정를 결정하는 데 상기 화상 데이터를 비교한 결과를 사용하도록 구성되고, 상기 결정된 개별 설정에 따라 상기 적어도 하나의 화상 캡처 요소에 의해 채용된 파라미터를 설정하도록 구성되는
화상 처리 장치.
제 10 항 내지 제 16 항 중 어느 한 항에 있어서,
상기 화상 비교 요소는, 상기 제 1 화상의 초점 내의 물체를 결정하고, 상기 제 2 화상 내에 같은 물체를 결정하며, 상기 제 2 화상 내의 상기 결정된 물체에 대한 선명도 조정을 적용하도록 및/또는 상기 결정된 물체에 기초하여 상기 제 2 화상을 제공하는 화상 캡처 요소에 초점 조정을 적용하도록 구성되는
화상 처리 장치.
제 17 항에 있어서,
상기 화상 비교 요소는, 상기 제 1 화상을 제공하는 화상 캡처 요소의 초점에 기초하여 상기 물체의 거리를 결정하고, 상기 거리에 관련된 차이를 결정하며, 상기 차이에 기초하여 상기 제 2 화상 내에 같은 물체를 결정함으로써, 상기 제 2 화상 내에 같은 물체를 결정하도록 구성되는
화상 처리 장치.
제 10 항 내지 제 18 항 중 어느 한 항에 있어서,
상기 장치는 전자 디바이스에 대한 모듈인
화상 처리 장치.
제 10 항 내지 제 18 항 중 어느 한 항에 있어서,
상기 장치는 전자 디바이스인
화상 처리 장치.
제 10 항 내지 제 20 항 중 어느 한 항에 있어서,
상기 장치는 상기 적어도 두 개의 화상 캡처 요소를 더 포함하는
화상 처리 장치.
제 10 항 내지 제 21 항 중 어느 한 항에 있어서,
상기 장치는 입체적인 디스플레이를 더 포함하는
화상 처리 장치.
제 10 항 내지 제 22 항 중 어느 한 항에 있어서,
상기 장치는, 캡처된 화상 데이터의 수신 및 처리된 화상 데이터의 송신 중 적어도 하나를 가능하게 하는 무선 통신 요소를 더 포함하는
화상 처리 장치.
제 10 항 내지 제 23 항 중 어느 한 항에 기재된 장치와,
화상 데이터를 캡처하고, 상기 캡처된 화상 데이터를 상기 장치에 제공하도록 구성된 적어도 두 개의 화상 캡처 요소를 포함하는
화상 처리 시스템.
컴퓨터 프로그램 코드로서,
상기 프로그램 코드는, 프로세서에 의해 실행될 때, 제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터에 공통으로 화상 처리를 적용하는 단계와, 입체적인 표시를 위한 화상의 외관을 매칭하기 위한 기초로서 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터를 비교하는 단계를 실행하는
컴퓨터 프로그램 코드.
프로그램 코드를 저장하는 컴퓨터 판독 가능한 매체로서,
상기 프로그램 코드는, 프로세서에 의해 실행될 때, 제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터에 공통으로 화상 처리를 적용하는 단계와, 입체적인 표시를 위한 화상의 외관을 매칭하기 위한 기초로서 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터를 비교하는 단계를 실행하는
프로그램 코드를 기억하는 컴퓨터 판독 가능한 매체.
제 1 화상에 대한 화상 데이터 및 제 2 화상에 대한 화상 데이터에 공통으로 화상 처리를 적용하는 수단과,
입체적인 표시를 위한 화상의 외관을 매칭하기 위한 기초로서 상기 제 1 화상에 대한 화상 데이터와 상기 제 2 화상에 대한 화상 데이터를 비교하는 수단을 포함하는
화상 처리 장치.