KR101620766B1 - 입체 이미지 쌍의 조건적 디스플레이에 대한 방법들 및 장치 - Google Patents

Abstract

디스플레이 디바이스 상에 입체 이미지 쌍의 조건적 디스플레이에 대한 장치 및 방법들이 개시된다. 특히, 일부 실시형태들은 제 1 이미지 및 제 2 이미지를 수신하는 것, 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 결정하는 것, 및 수직 디스패리티가 임계치 미만인 경우 입체 이미지 쌍을 디스플레이하는 것을 포함한다. 일부 구현예들은 적어도 하나의 정정된 이미지를 발생시킴으로써 수직 디스패리티를 정정하는 것, 및 정정된 이미지에 기초하여 입체 이미지 쌍을 발생시키는 것을 제공한다. 일부 실시형태들은 입체 이미지 쌍의 품질을 평가하고, 평가에 기초하여 2 차원 이미지 또는 입체 이미지 쌍을 디스플레이할 수도 있다.

Description

입체 이미지 쌍의 조건적 디스플레이에 대한 방법들 및 장치{METHODS AND APPARATUS FOR CONDITIONAL DISPLAY OF A STEREOSCOPIC IMAGE PAIR}

본 실시형태들은 이미징 디바이스들에 관한 것으로, 특히, 입체 이미지들의 캡쳐에 대한 방법들, 장치, 및 시스템들에 관한 것이다.

지난 10 년간, 디지털 이미징 능력들은 디지털 카메라들 및 모바일 폰들을 포함하여 광범위한 디바이스들에 통합되었다. 최근, 이러한 디바이스들로 입체 이미지들을 캡쳐하는 능력이 기술적으로 가능해지고 있다. 디바이스 제조자들은 다수의 디지털 이미징 센서들을 통합한 디바이스들을 선보임으로써 응답하고 있다. 모바일 무선 통신 디바이스들, 개인 휴대 정보 단말기 (PDA) 들, 개인용 음악 시스템들, 디지털 카메라들, 디지털 레코딩 디바이스들, 비디오 회의 시스템들 등을 포함한 광범위한 전자 디바이스들은 다수의 이미징 센서들을 이용하여 전자 디바이스들의 사용자들에게 다양한 능력들 및 피쳐들을 제공한다. 이들은 입체 (3D) 이미징 애플리케이션들, 예컨대, 3D 사진들 및 비디오들 또는 영화들, 뿐만 아니라, 보다 높은 명암비 이미징 및 파노라마식 이미징을 포함한다.

정확히 정렬되는 입체 이미지 쌍들을 달성하기 위해, 복수의 이미징 센서들을 갖는 디바이스는 종종 제조 프로세스 중에 캘리브레이션된다. 디바이스는 제조 라인 상에서 특별한 "캘리브레이션 모드" 에 배치될 수도 있으며, 각각의 카메라의 상대적 포지션을 명확히 식별하는 것을 보조하도록 설계된 타겟 이미지를 가리키는 이미징 센서들을 갖는다. 그 다음에, 디바이스의 각각의 카메라는 타겟 이미지 및 캡쳐된 이미지에 초점이 맞춰질 수도 있다. 각각의 캡쳐된 이미지는 그 다음에 카메라의 상대적 배향을 추출하기 위해 분석될 수 있다.

일부 카메라들은 2 개의 카메라들의 포지션들을 보다 잘 정렬하기 위해 각각의 카메라의 상대적 포지션에 대한 작은 조정들이 작업 현장에서 이루질 수 있도록 설계될 수도 있다. 예를 들어, 각각의 카메라는 카메라의 포지션에 대해 작은 조정들을 할 수 있는 능력을 제공하는 조정가능한 플랫폼 내에 장착될 수도 있다. 대안으로, 각각의 카메라에 의해 캡쳐된 이미지들은 이미지 프로세싱 소프트웨어에 의해 분석되어 다른 것들에 대한 각각의 카메라의 상대적 포지션을 결정할 수도 있다. 이러한 상대적 포지션 데이터는 그 다음에 카메라 상의 비휘발성 메모리에 저장된다. 제품이 나중에 구매되고 이용되는 경우, 온 보드 (on board) 이미지 프로세싱은 상대적 포지션 정보를 활용하여 고품질 입체 이미지들을 생성하기 위해 각각의 카메라에 의해 캡쳐된 이미지들을 전자적으로 조정한다.

이러한 캘리브레이션 프로세스들은 여러 단점들을 갖는다. 첫째로, 정확한 제조 캘리브레이션은 제조 프로세스 동안에 시간을 소비하여, 디바이스의 가격을 증가시킨다. 둘째로, 제조 동안에 생성된 임의의 캘리브레이션 데이터는 사실상 고정적이다. 그에 따라, 디바이스가 디바이스의 수명기간 동안에 이용됨에 따른 카메라 포지션에서의 변화들을 고려할 수 없다. 예를 들어, 다수의 렌즈들의 캘리브레이션은 카메라가 판매된 때에는 매우 정확할 수도 있으나, 카메라가 판매되나 구매 직후 카메라가 떨어뜨려질 수도 있다. 떨어짐의 충격은 카메라들이 캘리브레이션을 벗어나게 할 수도 있다. 이러한 것에도 불구하고, 사용자는 카메라가 떨어지는 것에서 살아남고, 고품질 입체 이미지들을 계속 생성하길 기대할 것이다.

또한, 온도 변동에 따른 카메라 부품들의 확장 및 축소는 각각의 카메라의 상대적 포지션에서의 약간의 변화들을 도입할 수도 있다. 공장 캘리브레이션들은 통상적으로 상온에서 취해지며, 온도에 따른 렌즈 포지션들에서의 변동들에 대한 보상이 없다. 따라서, 입체 이미징 피쳐들이 특히 춥거나 더운 날에 활용되는 경우, 카메라에 의해 생성된 입체 이미지 쌍들의 품질이 영향을 받을 수도 있다.

따라서, 다중 카메라 디바이스의 고정된, 공장 캘리브레이션은 그 한계들을 갖는다. 주기적 캘리브레이션이 이러한 문제들 중 일부 문제를 완화할 것이나, 사용자가 카메라의 수명주기 동안에 사용자들의 카메라의 주기적 입체 카메라 캘리브레이션을 수행하길 기대하는 것은 현실적이지 않을 수도 있다. 많은 사용자들은 캘리브레이션 절차를 성공적으로 완료하고자 하는 소망을 가지지 않고, 때로는 전문적인 기술도 가지고 있지 않다.

본 실시형태들 중 일부 실시형태는 입체 이미지 쌍을 디스플레이하는 방법을 포함할 수도 있다. 방법은 입력 디바이스로부터 제 1 이미지를 수신하는 단계, 및 입력 디바이스로부터 제 2 이미지를 수신하는 단계를 포함할 수도 있다. 방법은 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티 (disparity) 를 결정하는 단계, 및 수직 디스패리티가 임계치 미만인 경우 입체 이미지 쌍을 디스플레이하는 단계를 더 포함할 수도 있다. 방법은 적어도 하나의 정정된 이미지를 발생시킴으로써 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 정정하는 단계, 및 정정된 이미지에 기초하여 입체 이미지 쌍을 발생시키는 단계를 더 포함할 수도 있다. 일부 양상들에서, 수직 디스패리티는 입력 디바이스로부터 메타 정보를 수신함으로써 결정된다. 일부 다른 양상들에서, 방법은 수직 디스패리티가 임계치를 초과하는 경우 예외 정보를 디스플레이하는 단계를 더 포함한다. 일부 양상들에서, 예외 정보는 저품질 표시자를 포함한다. 일부 다른 양상들에서, 예외 정보는 입체 이미징을 계속할지 여부를 문의하는 프롬프트 (prompt) 를 포함한다. 일부 다른 양상들에서, 예외 정보는 2 차원 이미지이다. 일부 양상들에서, 방법은 입체 이미지의 시계 (field of view) 가 제 2 임계치 미만인 경우 시계 예외 정보를 디스플레이하는 단계를 더 포함한다. 일부 양상들에서, 시계 예외 정보는 감소된 시계 표시자이다.

일부 양상들에서, 수직 디스패리티를 결정하는 것은, 제 1 이미지에 대한 제 1 행 합 벡터를 발생시키는 것, 제 2 이미지에 대한 제 2 행 합 벡터를 발생시키는 것, 및 제 1 행 합 벡터와 제 2 행 합 벡터에 대한 최적합 (best fit) 을 결정하는 것을 포함한다. 일부 다른 양상들에서, 수직 디스패리티를 결정하는 것은, 제 1 이미지에 대한 제 1 행 에지 (edge) 합 벡터를 발생시키는 것, 제 2 이미지에 대한 제 2 행 에지 합 벡터를 발생시키는 것, 및 제 1 행 에지 합 벡터와 제 2 행 에지 합 벡터에 대한 최적합을 결정하는 것을 포함한다. 일부 양상들에서, 최적합은 상이한 값들의 최소 합에 의해 결정된다.

일부 양상들에서, 방법은 데이터 저장부에 입체 이미지 쌍을 저장하는 단계를 더 포함한다. 일부 양상들에서, 수직 디스패리티를 정정하는 것은 제 1 이미지 또는 제 2 이미지를 이동시키거나 (shift) 절취하는 (crop) 것을 포함한다.

다른 양상들은, 프로세서, 입력 디바이스, 입력 디바이스로부터 제 1 이미지를 수신하고 입력 디바이스로부터 제 2 이미지를 수신하도록 구성된 마스터 제어 모듈, 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 결정하도록 구성된 디스패리티 결정 모듈, 및 수직 디스패리티가 임계치 미만인 경우 전자 디스플레이 상에 입체 이미지 쌍을 디스플레이하도록 구성된 디스플레이 제어 모듈을 포함하는 이미지 프로세싱 디바이스에 관한 것이다. 일부 양상들에서, 디바이스는 적어도 하나의 정정된 이미지를 발생시킴으로써 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 정정하도록 구성된 이동 및 절취 모듈, 및 정정된 이미지에 기초하여 입체 이미지 쌍을 발생시키도록 구성된 인코딩 모듈을 더 포함한다. 일부 양상들에서, 디스플레이 제어 모듈은 수직 디스패리티가 임계치를 초과하는 경우 예외 정보를 디스플레이하도록 더 구성된다. 일부 다른 양상들에서, 수직 디스패리티는 입력 디바이스로부터 메타 정보를 수신함으로써 결정된다. 일부 양상들에서, 예외 정보는 수직 디스패리티가 임계치를 초과하는 경우 입체 이미징을 계속할지 여부를 문의하는 프롬프트이다. 일부 양상들에서, 예외 정보는 수직 디스패리티가 임계치를 초과하는 경우 2 차원 이미지이다. 일부 양상들에서, 디스플레이 제어 모듈은 입체 이미지의 시계가 제 2 임계치 미만인 경우 시계 예외 정보를 디스플레이하도록 더 구성된다. 일부 양상들에서, 시계 예외 정보는 감소된 시계 표시자이다.

일부 양상들에서, 디바이스는 데이터 저장부를 더 포함하며, 여기서 마스터 제어 모듈은 데이터 저장부에 입체 이미지 쌍을 저장하도록 더 구성된다. 일부 양상들에서, 디바이스는 전자 디스플레이를 더 포함하며, 여기서 디스플레이 제어 모듈은 전자 디스플레이 상에 입체 이미지 쌍을 디스플레이하도록 구성된다. 일부 양상들에서, 디스패리티 결정 모듈은, 제 1 이미지에 대한 제 1 행 합 벡터를 발생시키며, 제 2 이미지에 대한 제 2 행 합 벡터를 발생시키고, 제 1 행 합 벡터와 제 2 행 합 벡터에 대한 최적합을 결정함으로써 수직 디스패리티를 결정한다. 일부 양상들에서, 디스패리티 결정 모듈은, 제 1 이미지에 대한 제 1 행 에지 합 벡터를 발생시키며, 제 2 이미지에 대한 제 2 행 에지 합 벡터를 발생시키고, 제 1 행 에지 합 벡터와 제 2 행 에지 합 벡터에 대한 최적합을 결정함으로써 수직 디스패리티를 결정한다. 일부 양상들에서, 최적합은 2 개의 벡터들 사이의 절대 상이한 값들의 합을 최소화함으로써 결정된다. 일부 다른 양상들에서, 디스패리티 결정 모듈은 입력 디바이스로부터 메타 정보를 수신함으로써 수직 디스패리티를 결정한다. 일부 양상들에서, 이미지 프로세싱 디바이스는 무선 전화기이다.

일부 양상들은, 실행 시, 입력 디바이스로부터 제 1 이미지를 수신하며, 입력 디바이스로부터 제 2 이미지를 수신하며, 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 결정하고, 수직 디스패리티가 임계치 미만인 경우 전자 디스플레이 상에 입체 이미지 쌍을 디스플레이하는 방법을 수행하는 프로세서 실행가능 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체를 포함한다. 일부 양상들에서, 컴퓨터 판독가능 매체는, 실행 시, 수직 디스패리티가 임계치를 초과하는 경우 예외 정보를 디스플레이하는 방법을 수행하는 명령들을 더 포함한다. 일부 양상들에서, 수직 디스패리티는 입력 디바이스로부터 메타 정보를 수신함으로써 결정된다. 일부 양상들에서, 예외 정보는 수직 디스패리티가 임계치를 초과하는 경우 입체 이미징을 계속할지 여부를 문의하는 프롬프트이다.

일부 양상들은, 입력 디바이스로부터 제 1 이미지를 수신하는 수단, 입력 디바이스로부터 제 2 이미지를 수신하는 수단, 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 결정하는 수단, 및 수직 디스패리티가 임계치 미만인 경우 전자 디스플레이 상에 입체 이미지 쌍을 디스플레이하는 수단을 포함하는 이미징 디바이스에 관한 것이다. 일부 양상들에서, 이미징 디바이스는, 적어도 하나의 정정된 이미지를 발생시킴으로써 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 정정하는 수단, 및 정정된 이미지에 기초하여 입체 이미지 쌍을 발생시키는 수단을 더 포함한다. 일부 양상들에서, 디바이스는 무선 전화기 핸드셋을 포함한다. 일부 양상들에서, 수직 디스패리티를 결정하는 수단은 행 합 벡터들의 최적합을 수행하도록 프로세서를 구성하는 명령들을 포함한다. 일부 양상들에서, 수직 디스패리티를 결정하는 수단은 행 에지 합 벡터들의 최적합을 수행하도록 프로세서를 구성하는 명령들을 포함한다.

다른 본 실시형태들은 제 1 이미징 센서와 제 2 이미징 센서를 포함하는 이미징 디바이스, 및 이미징 센서들을 제어하도록 구성된 전자 프로세서를 포함할 수도 있다. 이러한 실시형태들은 또한, 제 1 이미징 센서를 이용하여 제 1 이미지를 캡쳐하며, 제 2 이미징 센서를 이용하여 제 2 이미지를 캡쳐하며, 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 결정하고, 적어도 하나의 정정된 이미지를 생성하기 위해 정정을 적용하도록 구성된 제어 모듈을 포함할 수도 있다.

일부 실시형태들에서, 수직 디스패리티를 결정하는 것은, 제 1 이미지에 대한 제 1 행 합 벡터를 발생시키는 것, 제 2 이미지에 대한 제 2 행 합 벡터를 발생시키는 것, 및 제 1 행 합 벡터와 제 2 행 합 벡터에 대한 최적합을 결정하는 것을 포함할 수도 있다. 다른 실시형태들에서, 수직 디스패리티를 결정하는 것은, 제 1 이미지에 대한 제 1 행 에지 합 벡터를 발생시키는 것, 제 2 이미지에 대한 제 2 행 에지 합 벡터를 발생시키는 것, 및 제 1 행 에지 합 벡터와 제 2 행 에지 합 벡터에 대한 최적합을 결정하는 것을 포함할 수도 있다. 일부 실시형태들에서, 최적합은 2 개의 벡터들 사이의 절대 상이한 값들의 합을 최소화함으로써 결정될 수도 있다.

일부 실시형태들에서, 방법은 정정된 이미지에 기초한 입체 이미지 쌍의 생성을 더 포함할 수도 있다. 일부 실시형태들에서, 엘리먼트들은 반복적으로 수행될 수도 있는데, 예를 들어, 각각의 입체 이미지 쌍은 입체 비디오 또는 영화의 일부분일 수도 있다. 대안으로, 입체 이미지 쌍은 스냅샷을 포함할 수도 있다. 다른 실시형태들에서, 이미징 디바이스는 무선 전화기 핸드셋을 더 포함할 수도 있다. 디바이스의 일부 실시형태들은 사용자 작동 제어를 더 포함하며, 여기서 제어 모듈은 사용자 작동 제어의 제 1 작동에 응답하여 제 1 이미지를 캡쳐하도록 더 구성된다.

다른 본 실시형태들은, 프로세서로 하여금, 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 결정하며, 적어도 하나의 정정된 이미지를 발생시킴으로써 수직 디스패리티를 정정하고, 정정된 이미지에 기초하여 입체 이미지 쌍을 발생시키도록 동작가능한 프로세서 실행가능 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체를 포함할 수도 있다. 일부 실시형태들에서, 명령들은, 프로세서로 하여금, 제 1 이미지에 대한 제 1 행 에지 합 벡터를 발생시키며, 제 2 이미지에 대한 제 2 행 에지 합 벡터를 발생시키고, 제 1 행 에지 합 벡터와 제 2 행 에지 합 벡터에 대한 최적합을 결정함으로써 수직 디스패리티를 결정하도록 할 수도 있다. 다른 실시형태들에서, 명령들은, 프로세서로 하여금, 제 1 이미지에 대한 제 1 행 합 벡터를 발생시키며, 제 2 이미지에 대한 제 2 행 합 벡터를 발생시키고, 제 1 행 합 벡터와 제 2 행 에지 합 벡터에 대한 최적합을 결정함으로써 수직 디스패리티를 결정하도록 할 수도 있다. 일부 실시형태들에서, 최적합을 결정하는 것은 2 개의 벡터들 사이의 절대 차이들의 합을 최소화하는 것을 포함한다.

개시된 양상들은 이하에서 개시된 양상들을 설명하기 위한 것으로 제한하지 않도록 제공되는 첨부된 도면들과 결부하여 설명될 것이며, 여기서 유사한 지정들은 유사한 엘리먼트들을 표시한다.
도 1a 는 일부 동작가능한 실시형태들을 구현하는 디바이스를 도시하는 블록 다이어그램이다. 모바일 디바이스의 주요 컴포넌트들이 도시된다.
도 1b 는 입체 이미지들을 발생시키는 디바이스의 일 실시형태를 도시하는 블록 다이어그램이다.
도 2a 는 전자 디스플레이 상에 입체 이미지 쌍을 디스플레이하는 프로세스의 일 실시형태의 플로우 차트이다.
도 2b 는 전자 디스플레이 상에 입체 이미지 쌍 데이터를 디스플레이하는 프로세스의 실시형태의 플로우 차트이다.
도 2c 는 전자 디스플레이 상에 입체 이미지 쌍 데이터를 디스플레이하는 프로세스의 실시형태의 플로우 차트이다.
도 3a 는 적어도 하나의 동작가능한 실시형태에서의 이미지 행 합산 및 행 합 벡터들의 생성의 프로세스를 도시한다.
도 3b 는 적어도 일 동작가능한 실시형태에서의 2 개의 행 합 벡터들 사이에서 수행되는 최적합 동작의 프로세스를 도시한다.
도 4 는 2 개의 이미지들 사이의 수직 디스패리티, 및 일 동작가능한 실시형태가 이미지들을 절취하여 수직 디스패리티를 감소시키거나 제거할 수 있는 방법을 도시한다.
도 5 는 전자 디스플레이 상에 데이터를 디스플레이하는 프로세스의 일 실시형태를 도시하는 플로우 차트이다.
도 6 은 입체 이미지 쌍을 디스플레이하기 위해 마스터 제어 모듈에 의해 이용되는 프로세스의 일 실시형태를 도시하는 데이터 흐름 다이어그램이다.
도 7 은 입체 이미지 쌍을 디스플레이하기 위해 마스터 제어 모듈에 의해 이용되는 프로세스의 일 실시형태를 도시하는 데이터 흐름 다이어그램이다.

본원에 개시된 구현예들은 다수의 이미징 센서들을 포함하는 디바이스로 입체 이미지를 발생시키는 시스템들, 방법들, 및 장치를 제공한다. 특히, 본 실시형태들은 2 개의 이미지들 사이의 수직 디스패리티를 결정하는 것, 적어도 하나의 정정된 이미지를 발생시킴으로써 수직 디스패리티를 정정하는 것, 및 정정된 이미지에 기초하여 입체 이미지 쌍을 발생시키고 디스플레이하는 것을 고려한다. 이러한 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있음을 당업자는 인식할 것이다.

다음의 설명에서, 실시예들에 대한 완전한 이해를 제공하기 위해 특정 세부사항들이 주어진다. 그러나, 실시예들은 이러한 특정 세부사항들이 없이 실시될 수도 있음이 당업자에 의해 이해될 것이다. 예를 들어, 불필요한 세부사항으로 실시예들을 모호하게 하지 않기 위해 전기 컴포넌트들/디바이스들은 블록 다이어그램들로 보여질 수도 있다. 다른 사례들에서, 이러한 컴포넌트들, 다른 구조들, 및 기법들이 상세히 보여져 실시예들을 추가적으로 설명할 수도 있다.

실시예들은 프로세스로서 설명될 수도 있으며, 프로세스는 플로우차트, 플로우 다이어그램, 유한 상태 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로 도시됨에 또한 유의한다. 플로우차트가 동작들을 순차적인 프로세스로 설명할지라도, 동작들 중 많은 동작은 병행하여, 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 프로세스의 동작들이 완료되는 경우 종료된다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 기능에 대응하는 경우, 프로세스의 종료는 호출 기능 또는 메인 기능으로의 기능의 복귀에 대응한다.

정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 이용하여 표현될 수도 있음을 당업자들은 이해할 것이다. 예를 들어, 위의 설명을 통해 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기 장들 혹은 자기 입자들, 광학 필드들 혹은 광학 입자들, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.

입체 이미징 디바이스의 다중 카메라들의 상대적인 포지션들은 각 운동의 3 개의 축 및 이동의 3 개의 축에 의해 설명될 수 있다. 이러한 논의를 위해, x 축, y 축, 및 z 축 상의 포지션들은 상대적인 이동을 설명한다. 각 회전은 "피치" 라고도 불리는 수평 (x) 축, "요 (yaw)" 라고 불리는 수직 (y) 축, 및 "z" 축 또는 "롤" 에 대한 회전들로 설명될 수 있다.

일부 축에 걸친 다중 센서들의 상대적인 포지션에서의 변동들은 다른 것들 보다 상당히 입체 이미지 품질에 영향을 준다. 예를 들어, y 축에 따른 이동 또는 피치 각에서의 변동이 지각되는 이미지 품질에 가장 큰 영향을 준다는 것을 정신물리학적 테스트들이 확인해 준다. y 축 또는 피치 각에 따른 이러한 이동들은 수직 디스패리티로 알려져 있다. 수직 디스패리티는, 예를 들어, 입체 비디오 또는 영화 애플리케이션들에서의 경우에서와 같이, 장기간에 걸쳐 뷰잉되는 경우 매스꺼움 및 두통들을 야기할 수도 있다.

수직 디스패리티에 대한 입체 이미지 쌍 품질의 민감도, 및 정확한 캘리브레이션의 상태로 다중 이미징 센서 디바이스를 유지하는 것의 상대적 어려움을 고려해 볼 때, 수직 디스패리티를 갖는 캡쳐된 이미지 쌍들에 대해 어느 정도의 용인을 갖는 이미징 디바이스를 제공하는 것이 이롭게 된다. 일 실시형태는 입체 이미지 쌍들을 동적으로 조정하여 이미지들 사이의 수직 디스패리티를 감소시키거나 제거하는 이미지 프로세싱 방법이다. 이미지들을 동적으로 조정하여 수직 디스패리티를 없애거나 감소시킴으로써, 입체 이미지 쌍들의 품질은 정확한 디바이스 캘리브레이션에 덜 의존한다. 이는 디바이스들의 실세계 적용에서 이러한 캘리브레이션들을 달성하는 것이 종종 어렵기 때문에 특히 이롭다.

도 1a 는 2 개의 이미징 센서들 (115 및 116) 에 링크된 프로세서 (120) 를 포함하는 컴포넌트들의 세트를 구비한 디바이스 (100) 의 고차원 블록 다이어그램을 도시한다. 작업 메모리 (105), 저장부 (110), 전자 디스플레이 (125), 및 메모리 (130) 가 또한 프로세서 (120) 와 통신한다.

디바이스 (100) 는 셀 폰, 디지털 카메라, 개인 휴대 정보 단말기, 태블릿 컴퓨터 등일 수도 있다. 디바이스 (100) 는 또한 데스크톱 개인용 컴퓨터, 비디오 회의 스테이션 등과 같은 보다 고정적인 디바이스일 수도 있다. 복수의 애플리케이션들이 디바이스 (100) 상에서 사용자에게 이용가능할 수도 있다. 이러한 애플리케이션들은 종래의 포토그래픽 애플리케이션들, 높은 명암비 (dynamic range) 이미징, 파노라마 비디오, 또는 3D 이미지들이나 3D 비디오를 생성하는 입체 이미징을 포함할 수도 있다.

프로세서 (120) 는 범용 프로세싱 유닛, 또는 이미징 애플리케이션들을 위해 특별히 설계된 프로세서일 수도 있다. 도시된 바와 같이, 프로세서 (120) 는 메모리 (130) 및 작업 메모리 (105) 에 접속된다. 도시된 실시형태에서, 메모리 (130) 는 이미징 센서 제어 모듈 (135), 디스패리티 결정 모듈 (140), 이동 및 절취 모듈 (155), 인코딩 모듈 (160), 캡쳐 제어 모듈 (170), 및 운영 시스템 (175) 을 저장한다. 이러한 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하도록 프로세서를 구성하는 명령들을 포함한다. 작업 메모리 (105) 는 메모리 (130) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하도록 프로세서 (120) 에 의해 이용될 수도 있다. 대안으로, 작업 메모리 (105) 는 또한 디바이스 (100) 의 동작 동안에 생성된 동적 데이터를 저장하도록 프로세서 (120) 에 의해 이용될 수도 있다.

상술된 바와 같이, 프로세서는 메모리들에 저장된 여러 개의 모듈들에 의해 구성된다. 이미징 센서 제어 모듈 (135) 은 이미징 센서 (115 및 116) 의 포커스 포지션을 조정하도록 프로세서 (120) 를 구성하는 명령들을 포함한다. 이미징 센서 제어 모듈 (135) 은 또한 이미징 센서들 (115 및 116) 로 이미지들을 캡쳐하도록 프로세서 (120) 를 구성하는 명령들을 포함한다. 따라서, 프로세서 (120) 는, 이미지 캡쳐 제어 모듈 (135), 이미징 센서 (115 또는 116), 및 작업 메모리 (105) 와 함께, 이미징 센서를 이용하여 이미지를 캡쳐하는 일 수단을 표현한다. 이미징 센서가 입력 디바이스로 고려될 수도 있기 때문에, 프로세스 (120) 는, 이미지 캡쳐 제어 모듈 (135), 이미징 센서들 (115 또는 116), 및 작업 메모리 (105) 와 함께, 또한 입력 디바이스로 이미지를 캡쳐하는 일 수단을 표현한다.

디스패리티 결정 모듈 (140) 은 이미징 센서들 (115 및 116) 에 의해 캡쳐된 2 개의 이미지들 사이의 수직 디스패리티를 결정하고 가능하게는 제거하도록 프로세서 (120) 를 구성하는 명령들을 제공한다. 따라서, 프로세서 (120) 및 작업 메모리 (105) 와 함께, 디스패리티 결정 모듈 내의 명령들은 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 결정하는 일 수단을 표현한다.

이동 및 절취 모듈 (155) 은 2 개의 이미지들 사이의 수직 디스패리티에 대한 정정하기 위해 서로에 대해 제 1 이미지 및 제 2 이미지를 이동시키도록 프로세서 (120) 를 구성할 수도 있는 명령들을 포함한다. 명령 및 절취 모듈 (155) 은 또한 2 개의 이미지들 사이의 일관된 정렬을 달성하도록 이미지 1 및/또는 이미지 2 를 절취하는 명령들을 포함할 수도 있다. 따라서, 프로세서 (120) 및 메모리 (105) 와 함께, 이동 및 절취 모듈 (155) 에 포함된 명령들은 2 개의 이미지들 사이의 수직 디스패리티를 정정하는 일 수단을 표현한다.

인코딩 모듈 (160) 은 이미징 센서 (115 및 116) 에 의해 캡쳐된 이미지들을 입체 이미지로 인코딩하도록 프로세서를 구성하는 명령들을 포함한다. 따라서, 인코딩 모듈 (160) 내에 포함된 명령들은 제 1 이미지 및 제 2 이미지에 기초하여 입체 이미지를 발생시키는 일 수단을 표현한다.

캡쳐 제어 모듈 (170) 은 디바이스 (100) 의 전체 이미지 프로세싱 기능들을 제어하는 명령들을 포함할 수도 있다. 예를 들어, 캡쳐 제어 모듈 (170) 은 이미징 센서들 (115 또는 116) 을 이용하여 제 1 및 제 2 이미지를 캡쳐하도록 프로세서 (120) 를 구성하기 위해 이미징 제어 모듈 (135) 에서 서브루틴들을 호출하는 명령들을 포함할 수도 있다. 그 다음에, 캡쳐 제어 모듈 (170) 은 2 개의 이미지들 사이의 수직 디스패리티를 결정하도록 디스패리티 결정 모듈 (140) 을 호출할 수도 있다. 그 다음에, 캡쳐 제어 모듈은 이동 및 절취 모듈 (155) 을 호출하여 이미징 센서 (115) 또는 이미징 센서 (116) 에 의해 캡쳐된 이미지들을 이동 및 절취해 이미지들을 수직으로 정렬할 수도 있다. 그 다음에, 캡쳐 제어 모듈 (170) 은 인코딩 모듈 (160) 을 호출하여, 이미징 센서 (115) 및 이미징 센서 (116) 에 의해 캡쳐되고, 이동 및 절취 모듈 (160) 에 의해 조정된 2 개의 이미지들을 입체 이미지 쌍으로 인코딩할 수도 있다. 일부 실시형태들에서, 인코딩 모듈 (160) 또는 캡쳐 제어 모듈 (170) 은 데이터 저장부 (110) 에 입체 이미지 쌍을 저장하도록 프로세서 (120) 를 구성하는 명령들을 포함할 수도 있다.

일부 다른 실시형태들에서, 캡쳐 제어 모듈 (170) 은 디스플레이 (125) 상에 데이터를 디스플레이하도록 프로세서를 구성하는 명령들을 포함할 수도 있다. 따라서, 캡쳐 제어 모듈, 프로세서 (120) 와 같은 프로세서, 및 작업 메모리 (105) 와 같은 메모리 내의 명령들은 전자 디스플레이 상에 데이터를 디스플레이하는 일 수단을 표현한다.

운영 시스템 모듈 (175) 은 디바이스 (100) 의 메모리 및 프로세싱 자원들을 관리하도록 프로세서를 구성한다. 예를 들어, 운영 시스템 모듈 (175) 은 전자 디스플레이 (125), 저장부 (110), 또는 이미징 센서 (115) 와 같은 하드웨어 자원들을 관리하는 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 위에서 논의된 이미지 프로세싱 모듈들에 포함된 명령들은, 이들 하드웨어 자원들과 직접적으로 상호작용하지 않을 수도 있고, 그 대신에, 운영 시스템 컴포넌트 (175) 에 위치된 표준 서브루틴들 또는 API 들을 통해 상호작용할 수도 있다. 그 다음에, 운영 시스템 (175) 내의 명령들은 이러한 하드웨어 컴포넌트들과 직접적으로 상호작용할 수도 있다.

예를 들어, 운영 시스템 (175) 은 디스플레이 디바이스 드라이버를 형성하는 명령들의 세트를 포함할 수도 있다. 이러한 명령들은 디스플레이 (125) 상에 데이터가 디스플레이되게 하도록 프로세서 (120) 를 구성할 수도 있다. 운영 시스템 디스플레이 디바이스 드라이버에 포함된 명령들은 메모리 (130) 와 같은 메모리들에 저장된 다른 모듈들이 전자 디스플레이 상에 데이터를 보다 쉽게 디스플레이하는 것을 가능하게 하도록 전자 디스플레이를 제어할 수도 있다. 따라서, 전자 디스플레이 (125) 및 프로세서 (120) 와 함께, 전자 디스플레이 상에 데이터를 디스플레이하도록 프로세서를 구성하는, 운영 시스템 (175) 에 포함된 명령들은 전자 디스플레이 상에 데이터를 디스플레이하는 일 수단을 표현한다.

프로세서 (120) 는 저장 모듈 (110) 에 데이터를 기록할 수도 있다. 저장 모듈 (110) 이 그래픽적으로는 종래의 디스크 디바이스로서 표현되나, 다수의 실시형태들이 디스크 기반 저장 디바이스 또는 여러 다른 타입의 저장 매체들 중 하나를 포함하여, 메모리 디스크, USB 드라이브, 플래시 드라이브, 원격 접속된 저장 매체, 가상 디스크 드라이버 등을 포함할 수 있음을 당업자들은 이해할 것이다.

도 1a 가 프로세서, 이미징 센서, 및 메모리를 포함하는 개별적인 컴포넌트들을 갖는 디바이스를 도시하고 있지만, 이러한 개별적인 컴포넌트들이 특정 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있음을 당업자는 인식할 것이다. 예를 들어, 대안적인 실시형태에서, 메모리 컴포넌트들은 프로세서 컴포넌트들과 결합되어 비용을 절약하고 성능을 개선시킬 수도 있다.

또한, 도 1a 가 여러 모듈들을 갖는 메모리 컴포넌트 (130) 와, 작업 메모리를 갖는 개별적인 메모리 (105) 를 포함하는 2 개의 메모리 컴포넌트들을 도시하고 있지만, 상이한 메모리 아키텍처들을 활용하는 여러 실시형태들을 당업자는 인식할 것이다. 예를 들어, 설계는 메모리 (130) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 활용할 수도 있다. 대안으로, 프로세서 명령들은 디바이스 (100) 내에 통합되거나 외부 디바이스 포트를 통해 접속되는 디스크 저장 디바이스로부터 시스템 시동 시에 판독될 수도 있다. 프로세서 명령들은 그 다음에 프로세서에 의한 실행을 가능하게 하도록 RAM 내로 로딩될 수도 있다. 예를 들어, 작업 메모리 (105) 는 RAM 메모리일 수도 있고, 명령들은 프로세서 (120) 에 의한 실행 전에 작업 메모리 (105) 내에 로딩된다.

도 1b 는 프로세서 (192), 및 작업 메모리 (196), 저장부 (198), 전자 디스플레이 (194), 및 프로세서 (192) 와 통신하는 메모리 (182) 를 포함하는 컴포넌트들의 세트를 갖는 디바이스 (180) 의 블록 다이어그램을 도시한다.

디바이스 (180) 는 셀 폰, 디지털 카메라, 개인 휴대 정보 단말기, 태블릿 컴퓨터 등일 수도 있다. 디바이스 (180) 는 또한 데스크톱 개인용 컴퓨터, 비디오 회의 스테이션 등과 같은 보다 고정적인 디바이스일 수도 있다. 복수의 애플리케이션들이 디바이스 (180) 상에서 사용자에게 이용가능할 수도 있다. 이러한 애플리케이션들은 종래의 포토그래픽 애플리케이션들, 높은 명암비 이미징, 파노라마 비디오, 또는 3D 이미지들이나 3D 비디오를 생성하는 입체 이미징을 포함할 수도 있다.

프로세서 (192) 는 범용 프로세싱 유닛, 또는 이미징 애플리케이션들을 위해 특별히 설계된 프로세서일 수도 있다. 도시된 바와 같이, 프로세서 (192) 는 입력부 (191), 메모리 (182), 및 작업 메모리 (196) 에 접속된다. 입력부 (191) 는 프로세서 (192) 에 데이터를 제공한다. 특정 실시형태에 따라, 입력부 (191) 로부터 제공된 데이터는 다양한 소스들로부터 올 수도 있다. 예를 들어, 일 실시형태에서, 입력부 (191) 는 네트워크 어댑터를 표현할 수도 있다. 입력부 (191) 는 네트워크를 통해 데이터 소스들과 네트워크 접속을 확립하고 이러한 데이터 소스들로부터 수신된 데이터를 프로세서 (192) 에 제공할 수도 있다. 대안으로, 다른 실시형태들에서, 입력부 (191) 는 휴대용 미디어 판독기 디바이스, 예컨대, USB 플래시 드라이브, CD-ROM 드라이브, 플로피 디스크 드라이브 등을 표현할 수도 있다. 입력부 (191) 는 휴대용 매체들로부터 데이터를 판독하고 데이터를 프로세서 (192) 에 제공할 수도 있다. 입력부 (191) 는 또한 종래의 고정식 저장 디바이스, 예컨대, 테이프 드라이브, 하드 디스크, RAM 드라이브 등을 표현할 수도 있다.

마스터 제어 모듈 (188) 내의 명령들은 입력부 (191) 로부터 데이터를 수신하도록 프로세서 (912) 를 구성하는 명령들을 포함할 수도 있다. 예를 들어, 일부 실시형태들은 입력부 (191) 로부터 제 1 이미지 또는 제 2 이미지를 수신하도록 프로세서 (192) 를 구성하는 명령들을 포함할 수도 있다. 일부 실시형태들은 입력부 (190) 로부터 또한 수직 디스패리티 메타 정보를 수신하도록 프로세서를 구성하는 명령들을 포함하는 마스터 제어 모듈을 포함할 수도 있다. 따라서, 프로세서 (192), 입력부 (191), 및 작업 메모리 (196) 와 함께, 입력부 (191) 로부터 데이터를 판독하도록 프로세서를 구성하는 마스터 제어 모듈 내의 명령들은 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 결정하는 일 수단을 표현할 수도 있다. 프로세서 (192), 입력부 (191), 및 작업 메모리 (196) 와 함께, 입력부 (191) 로부터 이미지 데이터를 판독하도록 프로세서를 구성하는 마스터 제어 모듈의 일 실시형태 내의 명령들은 입력 디바이스로부터 이미지를 수신하는 일 수단을 표현할 수도 있다.

예시된 실시형태에서, 메모리 (182) 는 이동 및 절취 모듈 (184), 인코딩 모듈 (186), 디스플레이 제어 모듈 (187), 마스터 제어 모듈 (188), 및 운영 시스템 (190) 을 포함한다. 이러한 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하도록 프로세서를 구성하는 명령들을 포함한다. 작업 메모리 (196) 는 메모리 (182) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하도록 프로세서 (192) 에 의해 이용될 수도 있다. 대안으로, 작업 메모리 (196) 는 또한 디바이스 (180) 의 동작 동안에 생성된 동적 데이터를 저장하도록 프로세서 (192) 에 의해 이용될 수도 있다.

상술된 바와 같이, 프로세서는 메모리들에 저장된 여러 개의 모듈들에 의해 구성된다. 이동 및 절취 모듈 (184) 은 2 개의 이미지들 사이의 수직 디스패리티를 정정하기 위해 서로에 대해 제 1 이미지 및 제 2 이미지를 이동시키도록 프로세서 (192) 를 구성할 수도 있는 명령들을 포함한다. 이동 및 절취 모듈 (184) 은 또한 2 개의 이미지들 사이에서 일관된 정렬을 달성하도록 제 1 이미지 및/또는 제 2 이미지를 절취하는 명령들을 포함할 수도 있다. 따라서, 프로세서 (192) 및 작업 메모리 (196) 와 함께, 이동 및 절취 모듈 (184) 내의 명령들은 적어도 하나의 정정된 이미지를 발생시킴으로써 2 개의 이미지들 사이의 수직 디스패리티를 정정하는 일 수단을 표현할 수도 있다.

인코딩 모듈 (186) 은 제 1 이미지 및 제 2 이미지를 입체 이미지로 인코딩하도록 프로세서를 구성하는 명령들을 포함할 수도 있다. 마스터 제어 모듈 (188) 은 이동 및 절취 모듈 (184) 로부터의 정정된 이미지를 인코딩 모듈 (186) 에 제공할 수도 있다. 그 다음에, 인코딩 모듈 (186) 이 정정된 이미지에 기초하여 입체 이미지 쌍을 생성할 수도 있다. 따라서, 인코딩 모듈 (186) 내에 포함된 명령들은 정정된 이미지를 포함하여, 이미지에 기초해 입체 이미지를 발생시키는 일 수단을 표현한다.

디스플레이 제어 모듈 (187) 은 전자 디스플레이 상에 데이터를 디스플레이하도록 프로세서를 구성하는 명령들을 포함할 수도 있다. 따라서, 프로세서 (192) 및 메모리 (182) 와 함께, 디스플레이 제어 모듈 (187) 내에 포함된 명령들은 전자 디스플레이 상에 데이터를 디스플레이하는 일 수단을 표현한다. 인코딩 모듈 (186) 이 입체 이미지 쌍을 인코딩할 수도 있고, 마스터 제어 모듈 (188) 이 인코딩된 입체 이미지 쌍을 디스플레이 제어 모듈 (187) 에 전달할 수도 있으므로 (디스플레이 제어 모듈 (187) 에서의 명령들은 디스플레이 (194) 와 같은 디스플레이 상에 입체 이미지가 디스플레이되도록 할 수도 있다), 프로세서 (192) 및 메모리 (182) 와 함께, 디스플레이 제어 모듈 (187) 내의 명령들은 전자 디스플레이 상에 입체 이미지 쌍을 디스플레이하는 일 수단을 표현한다.

마스터 제어 모듈 (188) 은 디바이스 (180) 의 전체 이미지 프로세싱 기능들을 제어하는 명령들을 포함할 수도 있다. 예를 들어, 마스터 제어 모듈 (188) 은 입력부 (191) 로부터 2 개의 이미지 프레임들을 수신하도록 프로세서 (192) 를 구성하는 명령들을 포함할 수도 있다. 마스터 제어 모듈은 또한 2 개의 이미지 프레임들 사이의 수직 디스패리티를 나타내는, 입력부 (191) 로부터 메타 데이터를 수신하도록 프로세서 (192) 를 구성하는 명령들을 포함할 수도 있다. 마스터 제어 모듈 (188) 은 그 다음에 이동 및 절취 모듈 (184) 을 호출하여 입력부 (191) 로부터 수신된 이미지들을 이동 및 절취해 이미지들을 수직으로 정렬할 수도 있다. 마스터 제어 모듈 (188) 은 그 다음에 인코딩 모듈 (186) 을 호출하여 이동 및 절취 모듈 (184) 에 의해 프로세싱된 후의 2 개의 이미지들을 입체 이미지 쌍으로 인코딩할 수도 있다. 일부 실시형태들에서, 인코딩 모듈 (186) 또는 마스터 제어 모듈 (188) 은 데이터 저장부 (198) 에 입체 이미지 쌍을 저장하도록 프로세서 (192) 를 구성하는 명령들을 포함할 수도 있다. 마스터 제어 모듈 (188) 은 또한 디스플레이 제어 모듈 (187) 을 호출하여 디스플레이 (194) 와 같은 전자 디스플레이 상에 데이터를 디스플레이할 수도 있다.

운영 시스템 모듈 (190) 은 디바이스 (180) 의 메모리 및 프로세싱 자원들을 관리하도록 프로세서 (192) 를 구성한다. 예를 들어, 운영 시스템 모듈 (190) 은 입력부 (191), 전자 디스플레이 (194), 또는 저장부 (198) 와 같은 하드웨어 자원들을 관리하는 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 위에서 논의된 이미지 프로세싱 모듈들에 포함된 명령들은, 이러한 하드웨어 자원들과 직접적으로 상호작용하지 않을 수도 있고, 그 대신에, 운영 시스템 컴포넌트 (190) 에 위치된 표준 서브루틴들 또는 API 들을 통해 상호작용할 수도 있다. 운영 시스템 (190) 내의 명령들은 그 다음에 이러한 하드웨어 컴포넌트들과 직접적으로 상호작용할 수도 있다.

프로세서 (192) 는 저장 모듈 (198) 에 데이터를 기록할 수도 있다. 저장 모듈 (198) 이 그래픽적으로는 종래의 디스크 디바이스로서 표현되나, 다수의 실시형태들이 디스크 기반 저장 디바이스 또는 여러 다른 유형의 저장 매체들 중 하나를 포함하여, 메모리 디스크, USB 드라이브, 플래시 드라이브, 원격 접속된 저장 매체, 가상 디스크 드라이버 등을 포함할 수 있음을 당업자들은 이해할 것이다.

도 1b 가 프로세서 및 메모리를 포함하는 개별적인 컴포넌트들을 갖는 디바이스를 도시하지만, 이러한 개별적인 컴포넌트들이 특정 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있음을 당업자는 인식할 것이다. 예를 들어, 대안적인 실시형태에서, 메모리 컴포넌트들은 프로세서 컴포넌트들과 결합되어 비용을 절약하고 성능을 개선시킬 수도 있다.

또한, 도 1b 가 여러 모듈들을 갖는 메모리 컴포넌트 (182), 및 작업 메모리를 갖는 개별적인 메모리 (196) 를 포함하는 2 개의 메모리 컴포넌트들을 도시하지만, 상이한 메모리 아키텍처들을 활용하는 여러 실시형태들을 당업자는 인식할 것이다. 예를 들어, 설계는 메모리 (182) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 활용할 수도 있다. 대안으로, 프로세서 명령들은 디바이스 (180) 내에 통합되거나 외부 디바이스 포트를 통해 접속되는 디스크 저장 디바이스로부터 시스템 시동 시에 판독될 수도 있다. 프로세서 명령들은 그 다음에 프로세서에 의한 실행을 가능하게 하도록 RAM 내로 로딩될 수도 있다. 예를 들어, 작업 메모리 (196) 는 RAM 메모리일 수도 있고, 명령들은 프로세서 (192) 에 의한 실행 전에 작업 메모리 (105) 내에 로딩된다.

도 1b 는 입력 디바이스 (190) 를 포함하는 것으로 도시되고, 도 1a 의 디바이스 (100) 는 입력 디바이스를 포함하지 않으나, 이미징 디바이스의 다른 실시형태들은 도 1a 및 도 1b 양자 모두에 도시된 다양한 컴포넌트들을 포함할 수도 있는 것으로 이해된다. 예를 들어, 일 실시형태는 이미징 센서들 (115 및 116) 및 입력 디바이스 (190) 양자 모두를 포함할 수도 있다. 이러한 실시형태에서, 이미지들이 이미지 센서들로부터 수신될 수도 있는 동안 이미지들 사이의 디스패리티를 나타내는 메타 정보가 입력부 (191) 를 통해 수신될 수도 있다. 대안적으로, 일부 이미지 쌍들이 이미지 센서들을 통해 수신될 수도 있는 동안 다른 이미지 쌍들이 입력 디바이스를 통해 수신될 수도 있다. 디바이스의 일 실시형태는 이미지들의 소스에 따라 상이한 방법들을 이용하여 2 개의 이미지들 사이의 디스패리티를 결정할 수도 있다. 예를 들어, 일 실시형태는 행 합 방법 또는 행 에지 합 방법들을 이용하여 내장된 이미지 센서들로 캡쳐된 이미지들의 수직 디스패리티를 결정할 수도 있으며, 한편 입력 디바이스 (191) 와 같은 개별적인 입력 디바이스를 통해 수신된 이미지들의 수직 디스패리티는 입력 디바이스 (191) 를 통해 수신된 메타 정보를 통해 결정될 수도 있다.

도 2a 는 전자 디스플레이 상에 데이터를 디스플레이하는 프로세스의 플로우 차트이다. 도 2a 의 프로세스 (200) 의 일부분 또는 모두는 도 1a 의 캡쳐 제어 모듈 (170) 에 포함된 명령들에 의해 일 실시형태로 구현될 수도 있다. 프로세스 (200) 는 시작 블록 (205) 에서 시작하고, 그 다음에 제 1 이미지가 캡쳐되는 블록 (210) 으로 천이한다. 제 1 이미지는 이미징 센서 제어 모듈 (135) 내부의 서브루틴들을 호출하는 캡쳐 제어 모듈 (170) 에서 명령들에 의해 캡쳐될 수도 있다. 그 다음에, 이미징 센서 제어 모듈 (135) 은 이미지를 캡쳐하기 위해, 가능하게는 운영 시스템 모듈 (175) 을 통해, 이미징 센서 (115 또는 116) 를 제어하도록 프로세서를 구성할 수도 있다. 그 다음에, 프로세스 (200) 는 제 2 이미지가 캡쳐되는 블록 (215) 으로 이동한다. 그 다음에, 프로세스 (200) 는 명령들이 캡쳐된 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 결정하는 블록 (220) 으로 이동한다. 이러한 명령들은 도 1a 의 디스패리티 결정 모듈 (140) 에 위치될 수도 있다. 대안으로, 블록 (220) 은 도 1b 의 입력 디바이스 (191) 와 같은 입력 디바이스로부터 데이터를 판독하도록 프로세서 (192) 와 같은 프로세서를 구성하는 명령들을 포함하는 마스터 제어 모듈 (188) 에서의 명령들에 의해 구현될 수도 있다.

예시된 실시형태에서, 프로세스 (200) 의 블록 (220) 은 우선 각각의 이미지의 행들을 합산함으로써 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티를 결정하는 명령들을 포함할 수도 있다. 이러한 합산 프로세스는 각각의 이미지에 대해 하나의 벡터, 즉 2 개의 벡터들을 생성한다. 벡터의 각각의 엘리먼트는 이미지에 대한 하나의 행 합을 표현한다. 예시적인 벡터가 도 3a, 항목 (310) 에 도시된다. 도 3a 에서의 이미지 (305) 의 행들은 합산되어, 그래프 (310) 에 의해 표현되는 벡터를 생성한다. 각각의 행의 합이 불연속 그래프를 생성할 것이나, 그래프는 설명을 위해 연속 라인으로 도시된다는 것에 유의한다. 2 개의 이미지들에 대한 행 합들이 도 3a 에 도시된다. 이미지 (320) 가 하나의 센서로부터 취해지고 이미지 (330) 는 다른 센서로부터 취해진다. 2 개의 그래프들에서의 차이들은 2 개의 이미지들 사이에서의 변동을 표현한다.

벡터들은 상당한 유사성들을 갖는다. 예를 들어, 2 개의 그래프들의 피크들과 밸리들 사이에 보편적인 유사함이 있다. 이들 유사성들은 2 개의 벡터들에 대해 최적합 동작이 수행되게 한다. 일부 실시형태들에서, 최적합은 2 개의 벡터들의 포지션들 사이의 절대 차이들의 합을 최소화하는 2 개의 벡터들 사이의 오프셋을 식별함으로써 결정될 수도 있다.

따라서, 프로세서 및 메모리와 함께, 행 합 벡터들의 최적합을 수행하는, 수직 디스패리티 결정 모듈 (140) 내의 명령들은, 2 개의 이미지들 사이의 수직 디스패리티를 결정하는 일 수단을 표현한다.

행 합이 디스패리티 인식 및 조정에 대한 하나의 해법을 제공하지만, 그것은 몇몇 단점들을 갖는다. 예를 들어, 그것의 유효성은 장면 의존적이고, 그것은 일부 경우들에 있어서 완전히 실패할 수도 있다. 또한, 그것의 정확성은 2 개의 이미지들 사이에 오정렬이 있는 경우 영향을 받을 수 있는데, 예를 들어, 피치에서의 오정렬은 행 합 기반 해법의 정확도에 영향을 줄 수 있다. 스케일링으로 인한 이미지 오정렬 (하나의 센서가 다른 센서보다 장면에 더 가까움) 은 또한 행 합에 기초한 수직 디스패리티 결정의 정확도에 영향을 줄 수 있다.

행 합 기법에 따른 이들 단점들 때문에, 다른 실시형태들은 수평 에지 검출 프로세스의 결과들에 기초한 벡터들을 형성할 수도 있다. 이미지의 각각의 픽셀에는 에지 검출 프로세스에 기초하여 에지 값이 할당될 수도 있다. 이미지의 행에서의 각각의 픽셀에 대한 에지 값들은 합산될 수 있고 그 결과들은 수평 에지 벡터의 대응하는 엔트리에 저장된다. 이러한 프로세스는 이미지의 모든 행에 대해 반복되며, 각각의 행 합계의 결과들은 수평 에지 벡터에서의 대응하는 엔트리에 저장된다. 2 개의 이미지들에 대해, 2 개의 수평 에지 벡터들이 이용된다.

그 다음에, 최적합이 상술된 바와 유사한 방식으로 수평 에지 벡터들에 대해 수행될 수도 있다. 예를 들어, 2 개의 벡터들의 최적합은 2 개의 벡터들에서의 대응하는 엔트리들 사이의 절대 차이들의 합을 최소화하는 2 개의 벡터들 사이의 오프셋을 식별함으로써 결정될 수도 있다. 오프셋으로 나타내어진 사이즈 및 방향으로 일 이미지를 이동시킴으로써, 이미지들이 수직으로 정렬될 수도 있다. 대안으로, 오프셋이 이미지들을 정렬하는데 필요한 수직 이동의 전체 양을 나타내므로, 이미지들 양자 모두가 오프셋에 의해 나타내어진 양의 절반만큼 이동될 수도 있다. 따라서, 프로세서 및 메모리와 함께, 수평 에지 벡터들의 최적합을 수행하는, 수직 디스패리티 결정 모듈 (140) 내의 명령들은, 2 개의 이미지들 사이의 수직 디스패리티를 결정하는 다른 수단을 표현한다.

다시 도 2a 로 돌아가면, 블록 (220) 의 다른 실시형태들은 대안적인 방법들을 이용하여 수직 디스패리티를 결정할 수도 있다. 예를 들어, 일부 실시형태들은 2 개의 이미지들의 로컬 이웃 내에서 최상의 매치 (best match) 를 식별할 수도 있다. 예를 들어, 일 실시형태는 하나의 이미지 내에서 키 피쳐 포인트들의 위치를 찾아낼 수도 있고, 다른 이미지에서의 최상의 매치를 검색할 수도 있다. 따라서, 프로세서 및 메모리와 함께, 키 피쳐 포인트에 대한 로컬 이웃 내에서 최상의 매치를 수행하는 수직 디스패리티 결정 모듈 (140) 내에서의 명령들은 2 개의 이미지들 사이의 수직 디스패리티를 결정하는 다른 수단을 표현한다.

다른 실시형태들은 입력 디바이스, 예를 들어, 도 1b 에 도시된 입력 디바이스 (190) 로부터 수신된 메타 정보에 기초하여 수직 디스패리티를 결정할 수도 있다. 예를 들어, 도 1b 에 도시된 디바이스 (180) 와 같은 디바이스는 입력 디바이스 (190) 를 통해 입체 이미지 쌍을 형성하는 2 개의 이미지들을 수신할 수도 있다. 이들 이미지들은 외부 소스에 의해 제공될 수도 있다. 예를 들어, 외부 소스는 다른 디바이스, 예컨대, 이미지 프로세싱 컴퓨터일 수도 있다. 이러한 이미지 프로세싱 컴퓨터는 또한 2 개의 이미지들 사이의 수직 디스패리티를 결정할 수도 있다. 수직 디스패리티 정보는 그 다음에 입력 디바이스 (191) 를 통해 수신되는 메타 정보로서 디바이스 (180) 에 전송될 수도 있다. 따라서, 입력 디바이스로부터 메타 정보를 수신하도록 프로세서를 구성하는 마스터 제어 모듈에서의 명령들은 2 개의 이미지들 사이의 수직 디스패리티를 결정하는 다른 수단을 표현한다.

수직 디스패리티가 결정된 후에, 프로세스 (200) 는 블록 (240) 으로 이동하며, 블록 (240) 에서 이미지들 중 일 이미지 또는 이미지들 양자 모두에 정정이 적용된다. 블록 (240) 은 도 1a 에 도시된 디바이스 (100) 의 디스패리티 결정 모듈 (140), 이동 및 절취 모듈 (155), 또는 캡쳐 제어 모듈 (170) 중 임의의 하나 또는 이들의 조합에 포함된 명령들에 의해 수행될 수도 있다. 프로세서 및 메모리와 함께 이들 모듈들에서의 명령들은 정정을 적용하여 정정된 이미지를 생성하는 일 수단을 표현한다.

임의의 수직 디스패리티를 정정하기 위해, 블록 (240) 은 하나의 이미지 또는 이미지들 양자 모두를 이동 및/또는 절취할 수도 있다. 예를 들어, 제 2 이미지에 대한 디스패리티를 제거하기 위해 제 1 이미지가 절취될 수도 있다. 그러나, 현재는, 제 1 이미지가 이제 절취된 치수면에서 보다 작기 때문에, 제 2 이미지도 제 1 이미지와 동등한 치수들을 유지하도록 절취될 필요가 있을 것이다. 이러한 절취는 원래의 이미지들의 수직 시계보다 더 작은 수직 시계를 갖는 입체 이미지 쌍을 초래한다. 그러나, 수직 디스패리티를 제거하는 것은 수직으로 정렬된 입체 이미지 쌍을 생성하기 위해 오직 이미지의 하측 및 상측에서 이미지의 높이의 5 퍼센트의 제거를 요구할 수도 있다. 이는 총 10 퍼센트만틈 수직 시계를 감소시킬 수도 있다. 상술된 바와 같은 하나의 이미지 또는 이미지들 양자 모두를 절취하는 것을 수행하는 이동 및 절취 모듈 (155) 에 포함된 명령들은 정정된 이미지를 생성하도록 정정을 적용하는 다른 수단을 표현한다.

적절한 정정들이 적용되면, 프로세서 (200) 는 임의의 정정된 이미지들에 기초하여 입체 이미지 쌍이 발생되는 블록 (245) 로 이동한다. 일 실시형태에서, 블록 (245) 은 인코딩 모듈 (160) 에서 명령들에 의해 수행될 수도 있다. 따라서, 인코딩 모듈 (160) 에서의 명령들은 입체 이미지 쌍을 발생시키는 일 수단을 표현한다. 원래의 제 1 이미지 및 제 2 이미지가 또한 이용될 수도 있다.

프로세스 (200) 는 그 다음에 블록 (245) 에서 생성된 입체 이미지 쌍이 허용가능한 품질 수준인지 여부를 결정하는 블록 (246) 으로 천이한다. 블록 (246) 은 도 1a 의 캡쳐 제어 모듈 (170) 또는 도 1b 의 마스터 제어 모듈 (188) 에서의 명령들에 의해 구현될 수도 있다. 입체 이미지 쌍의 품질 수준은, 일부 실시형태들에서, 입체 이미지 쌍에 포함된 2 개의 이미지들 사이에 남아 있는 수직 디스패리티의 양에 의해 결정될 수도 있다. 입체 이미지 쌍의 품질이 허용가능한 경우, 프로세스 (200) 는 블록 (248) 으로 천이하며, 블록 (248) 에서 입체 이미지 쌍이 디스플레이된다. 입체 이미지 쌍의 품질 수준이 허용가능하지 않은 경우, 프로세스 (200) 는 결정 블록 (246) 으로부터 입체 이미지 쌍의 2 차원 버전이 디스플레이되는 프로세싱 블록 (247) 으로 이동한다. 예를 들어, 블록 (247) 은 입체 이미지 쌍에 포함된 2 개의 이미지들 중 오직 하나의 이미지만을 디스플레이할 수도 있다. 그 다음에, 프로세스 (200) 는 종료 상태 (250) 로 천이한다.

도 2b 는 전자 디스플레이 상에 데이터를 디스플레이하는 프로세스의 플로우 차트이다. 도 2b 의 프로세스 (252) 의 일부분들 또는 모두는, 일 실시형태에서, 도 1a 의 캡쳐 제어 모듈 (170) 또는 도 1b 의 마스터 제어 모듈 (188) 에 포함된 명령들에 의해 구현될 수도 있다. 프로세스 (252) 는 시작 블록 (255) 에서 시작하고, 그 다음에 제 1 이미지가 수신되는 블록 (260) 으로 이동한다. 제 1 이미지는, 일부 실시형태들에서, 도 1a 의 이미지 센서들 (115 또는 116) 로부터 수신될 수도 있다. 대안으로, 이미지는 도 1b 의 입력부 (191) 로부터 수신될 수도 있다. 제 1 이미지가 블록 (260) 에서 수신된 후에, 프로세스 (252) 는 제 2 이미지가 수신되는 블록 (265) 으로 이동한다. 제 1 이미지와 유사하게, 제 2 이미지는 도 1a 의 이미지 센서 (115 또는 116) 또는 도 1b 의 입력부 (191) 로부터 수신될 수도 있다. 프로세스 (252) 는 그 다음에 블록들 (260 및 265) 에서 수신된 2 개의 이미지들 사이의 수직 디스패리티가 결정되는 블록 (270) 으로 이동한다. 블록 (270) 은 도 2a 에 대해서 상술된 블록 (220) 과 유사하게 기능할 수도 있다. 프로세스 (252) 는 그 다음에 블록 (270) 에서 결정된 수직 디스패리티가 적어도 하나의 정정된 이미지를 생성하기 위해 정정을 적용하는데 이용되는 블록 (272) 으로 이동한다. 제 1 이미지 및 제 2 이미지를 정정하는 것은 이미지들 중 하나의 이미지 또는 이미지들 양자 모두를 이동 또는 절취하는 것을 포함할 수도 있다. 블록 (272) 은 도 1a 에 도시된 디바이스 (100) 의 이동 및 절취 모듈 (160), 또는 도 1b 에 도시된 디바이스 (180) 의 이동 및 절취 모듈 (184) 에서 수행될 수도 있다. 프로세스 (252) 는 그 다음에 블록 (274) 으로 이동하며, 블록 (274) 에서 입체 이미지 쌍이 생성된다. 블록 (274) 에서 생성된 입체 이미지 쌍은 블록 (272) 으로부터의 정정된 이미지 또는 이미지들에 기초할 수도 있다.

입체 이미지 쌍이 생성된 후에, 프로세스 (252) 는 그러면 결정 블록 (276) 으로 이동하며, 결정 블록 (276) 에서, 블록 (274) 에서 생성된 입체 이미지 쌍의 품질이 품질 임계치와 비교된다. 입체 이미지 쌍의 품질이 품질 임계치를 초과하는 경우, 블록 (276) 은 입체 이미지 상의 품질이 허용가능하다고 결정할 것이다.

블록 (276) 은 입체 이미지 쌍의 품질이 품질 임계치를 초과하는지를 결정하는 결정 전에 입체 이미지 쌍의 하나 이상의 속성들을 평가할 수도 있다. 예를 들어, 블록 (276) 은 입체 이미지 쌍의 이미지들 사이에 남아 있는 수직 디스패리티를 평가할 수도 있다. 수직 디스패리티가 임계치를 초과하는 경우, 블록 (276) 은 입체 이미지 쌍의 품질이 품질 임계치보다 낮다고 결정할 수도 있다. 블록 (276) 은 또한 입체 이미지 쌍의 시계를 평가할 수도 있다. 시계가 시계 임계치 미만으로 감소된 경우, 블록 (276) 은 입체 이미지 쌍의 품질 수준이 품질 임계치 미만이라고 결정할 수도 있다. 블록 (276) 은 또한 수직 디스패리티 결정 및 시계 결정 양자 모두의 결과들을 평가하여 입체 이미지 쌍의 품질 수준을 결정할 수도 있다.

입체 이미지 쌍의 품질이 허용가능하다고 블록 (276) 이 결정하는 경우, 프로세스 (252) 는 입체 이미지 쌍이 디스플레이되는 블록 (277) 으로 천이한다. 예를 들어, 이미지 쌍은 도 1a 에 도시된 디바이스 (100) 의 디스플레이 (125), 또는 도 1b 에 도시된 디바이스 (180) 의 디스플레이 (194) 상에 디스플레이될 수도 있다. 그러나, 입체 이미지 쌍의 품질 수준이 허용가능한 품질이라고 고려되는 임계 수준 미만인 경우, 프로세스 (252) 는 2 차원 이미지가 디스플레이될 수도 있는 블록 (278) 으로 이동한다. 블록 (278) 에서 디스플레이된 2 차원 이미지는 또한 일부 실시형태들에서 디바이스 (100) 의 디스플레이 (125) 또는 디바이스 (180) 의 디스플레이 (194) 상에 디스플레이될 수도 있다. 이미지가 블록 (277) 또는 블록 (278) 에서 디스플레이된 후에, 프로세스 (252) 는 종료 블록 (280) 으로 이동한다.

도 2c 는 전자 디스플레이 상에 데이터를 디스플레이하는 프로세스 (286) 의 플로우 차트이다. 도 2c 의 프로세스 (286) 의 일부분들 또는 모두는, 일 실시형태에서, 도 1a 의 캡쳐 제어 모듈 (170) 또는 도 1b 의 마스터 제어 모듈 (188) 에 포함된 명령들에 의해 구현될 수도 있다. 프로세스 (286) 는 시작 블록 (287) 에서 시작하고, 그 다음에 제 1 이미지가 수신되는 블록 (288) 으로 이동한다. 이미지는, 예를 들어, 도 1a 에 도시된 디바이스 (100) 의 이미지 센서들 (115 또는 116) 로부터, 또는 도 1b 에 도시된 디바이스 (180) 의 입력부 (191) 로부터 수신될 수도 있다. 그 다음에, 프로세스 (286) 는 제 2 이미지가 수신되는 블록 (289) 으로 이동한다. 유사하게, 제 2 이미지는 또한 이미지 센서 또는 입력 디바이스로부터 수신될 수도 있다. 프로세서 (286) 는 그 다음에 블록 (290) 으로 이동하며, 블록 (290) 에서 수직 디스패리티 정보가 결정된다. 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티는 여러 방식들로 결정될 수도 있다. 예를 들어, 도 2a 에 도시된 프로세스 (200) 와 관련하여 논의된 방법들 중 임의의 방법이 이용될 수도 있다. 대안으로, 2 개의 이미지들 사이의 디스패리티는 메타 정보라고도 알려진 데이터를 수신함으로써 결정될 수도 있다. 메타 정보는 입력 디바이스, 예컨대, 도 1b 에 도시된 디바이스 (180) 의 입력부 (191) 를 통해 수신될 수도 있다.

프로세스 (286) 는 그 다음에 수직 디스패리티가 임계치에 대해 비교되는 결정 블록 (291) 으로 이동한다. 2 개의 이미지들 사이의 수직 디스패리티가 임계치 미만인 경우, 프로세스 (286) 는 수신된 제 1 이미지 또는 제 2 이미지에 정정이 적용되는 블록 (292) 으로 천이한다. 정정은 블록 (290) 에서 수신되는 경우 디스패리티 메타 정보에 기초할 수도 있다. 대안으로, 이는 이전에 논의된 디스패리티 결정 방법들의 결과들, 예컨대, 행 합 벡터들 또는 행 에지 합 벡터들의 최적합에 기초할 수도 있다. 프로세스 (286) 는 그 다음에 블록 (294) 으로 이동하며, 블록 (294) 에서, 블록 (292) 으로부터의 정정된 제 1 이미지 및 제 2 이미지에 기초하여 입체 이미지 쌍이 생성된다. 프로세스 (286) 는 그 다음에 입체 이미지 쌍이 디스플레이되는 블록 (295) 으로 천이한다.

그러나, 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티가 임계치를 초과하는 경우, 프로세스 (286) 는 결정 블록 (291) 으로부터 2 차원 이미지가 디스플레이되는 프로세싱 블록 (296) 으로 이동한다. 예를 들어, 입체 이미지 쌍에 포함된 2 개의 이미지들 중 오직 하나의 이미지만이 디스플레이될 수도 있다. 블록 (296 또는 295) 에 디스플레이된 이미지는 도 1a 에 도시된 디바이스 (100) 의 디스플레이 (125), 또는 도 1b 에 도시된 디바이스 (180) 의 디스플레이 (194) 에 디스플레이될 수도 있다. 입체 이미지 쌍이 블록 (295) 에서 디스플레이되거나 2 차원 이미지가 블록 (296) 에서 디스플레이되는 것 중 어느 일방 후에, 프로세스 (286) 는 종료 블록 (298) 으로 이동한다.

도 2a 의 블록 (240), 도 2b 의 블록 (275), 또는 도 2c 의 블록 (292) 에 도시된 프로세스의 일 실시형태에 따라 절취될 수 있는 이미지 쌍의 일 예시가 도 4b 에 의해 도시된다. 도시된 것은 호수 (450) 위의 건물 (470) 의 2 개의 이미지들이다. 이미지 (410) 는 이미지 (420) 보다 약간 낮은 관점으로부터 취해졌다. 따라서, 이미지 (410) 는 그것의 시계에서 호수가 보다 큰 부분을 차지하고, 반면에 이미지 (420) 는 그것의 시계에서 하늘 (460) 이 보다 큰 부분을 차지한다. 다른 이미지에 포함되지 않는 각각의 이미지의 일부분들은, 415 및 425 로 식별되는, 각각의 이미지의 음영 부분들에 의해 표현된다. 도시된 바와 같이, 2 개의 이미지들은 상당한 수직 디스패리티를 포함하며, 이는 입체 이미지 쌍을 형성하기 전에 제거될 수도 있다. 수직 디스패리티를 제거하기 위해, 각각의 이미지의 음영 부분 (415 및 425) 이 절취되어, 괄호 표시 영역 (440) 에 의해 식별되는, 2 개의 이미지들의 공통 부분들에 의해 표현되는 최종 시계를 초래할 것이다.

일부 이미징 환경들은, 위의 기술들이, 이미징 센서 (115) 및 이미징 센서 (116) 로부터 캡쳐된 이미지들을 성공적으로 프로세싱하도록 하여, 수직 디스패리티를 감소시키거나 제거하고 고품질 입체 이미지 쌍을 생성하지만, 일부 이미징 환경들은 적당히 보상하기에는 너무 큰 디스패리티들을 나타낼 수도 있다. 이러한 이미징 조건들 하에서는, 적당한 이미지 품질을 보장할 수 없을 수도 있기 때문에, 이미징 디바이스가 입체 이미지를 발생시키는 것을 피하는 것이 적절할 수도 있다. 일 실시형태는, 예를 들어, 이미징 디바이스가 2 차원 이미징 모드로 천이할 수도 있다. 이러한 모드에서, 오직 하나의 이미징 센서의 이미지만이 이용되어 종래의 2 차원 이미지를 발생시킬 수도 있다. 예를 들어, 디바이스가 입체 비디오 또는 영화를 이전에 발생시킨 경우, 수직 디스패리티가 특정 임계치를 초과할 시에, 디바이스는 오직 단일 이미징 센서로부터 발생된 이미지 프레임들로 종래의 2 차원 포맷을 발생시키기 시작할 수도 있다. 대안으로, 디바이스는 입체 비디오 또는 영화를 계속 발생시키기는 하지만 보다 낮은 품질로 계속 발생시키는 한편, 또한 영화의 품질 수준이 임계치 미만이라는 표시자를 제공할 수도 있다. 또 다른 실시형태들에서, 디바이스는 입체 비디오를 계속 발생시킬 수도 있으나, 사용자가 감소된 품질 수준으로 계속 디스플레이하기를 원하는지 여부를 결정하는데 사용자 프롬프트 또는 다른 입력 수신 기법이 이용될 수도 있다. 또 다른 실시형태들은 수직 디스패리티의 양에 상관없이 입체 이미지들을 계속 발생시킬 수도 있다.

일부 이미징 환경들에서, 상대적으로 높은 수직 디스패리티에도 불구하고, 이미징 디바이스는 적당한 품질의 입체 이미지를 발생시킬 수도 있으나, 결과적인 입체 이미지 쌍의 시계가 임계치 미만으로 감소될 수도 있다. 일부 실시형태들에서, 이미징 디바이스는 사용자들이 감소된 시계로 입체 이미징 애플리케이션의 디스플레이를 계속하길 원하는지 여부에 관해 사용자로부터의 프롬프트 또는 그렇지 않으면 입력을 권할 수도 있다.

도 5 는 입체 이미지 쌍을 디스플레이하기 위해 캡쳐 제어 모듈 또는 마스터 제어 모듈에 의해 이용된 프로세스의 일 실시형태를 도시하는 플로우 차트이다. 프로세스 (500) 는 시작 블록 (505) 에서 시작하고, 그 다음에 제 1 이미지가 수신되는 블록 (510) 으로 이동한다. 일부 실시형태들에서, 이미지는 도 1a 의 이미지 센서들 (115 또는 116) 또는 도 1b 의 입력 디바이스 (190) 로부터 수신될 수도 있다. 그 다음에, 프로세스 (500) 는 제 2 이미지가 수신되는 블록 (515) 으로 이동한다. 제 1 이미지와 유사하게, 일부 실시형태들에서, 제 2 이미지는 또한 이미지 센서 또는 입력 디바이스로부터 수신될 수도 있다. 프로세스 (500) 는 그 다음에 블록 (520) 으로 이동하며, 블록 (520) 에서 제 1 이미지와 제 2 이미지 사이의 수직 디스패리티가 결정된다. 블록 (520) 은, 2 개의 이미지들 사이의 수직 디스패리티를 결정하기 위해, 행 합계, 행 에지 합계, 또는 매칭하는 관심 지점들을 포함하도록, 위에서 논의된 디스패리티 결정 실시형태들 중 임의의 실시형태를 구현할 수도 있다. 이미지들을 정렬하기 위한 다른 기법들이 공지되고, 또한 구현될 수도 있다. 예를 들어, 디지털 포토리소그래피에서 공지된 이미지 등록 기법들이 또한 활용될 수도 있다.

프로세스 (500) 의 대안적인 실시형태들은 다른 방법들을 이용하여 블록 (520) 에서 수직 디스패리티를 결정한다는 것에 유의한다. 예를 들어, 일부 실시형태들은 제 1 이미지와 제 2 이미지 사이에 존재하는 수직 디스패리티를 나타내는 메타 정보를 수신함으로써 수직 디스패리티를 결정할 수도 있다. 메타 정보는, 예를 들어, 도 1b 에 도시된 입력 디바이스 (191) 를 통해 수신될 수도 있다. 정보는 네트워크, 저장 디바이스, 또는 심지어는 디스플레이 디바이스 그 자체 내에서 작동하는 다른 프로세서로부터 수신될 수도 있다.

프로세스 (500) 는 그 다음에 결정 블록 (525) 으로 이동하며, 결정 블록 (525) 에서 디스패리티에 대한 정정이 디바이스 (100) 의 이미징 프로세싱 명령들에 의해 수행되어야할지 여부를 결정하기 위해 수직 디스패리티가 임계치에 대해 비교된다. 예를 들어, 일부 실시형태들에서, 디바이스 (100) 의 이동 및 절취 모듈 (165) 이 이미지를 정정하는 수단을 제공할 수도 있으나, 소정의 수직 디스패리티들은 이동 및 절취 모듈의 보상 능력들의 능력들을 넘어설 수도 있다. 또한, 매우 큰 수직 디스패리티들로 인해, 결과적인 입체 이미지의 시계가 터무니없이 작을 수도 있다.

2 개의 이미지들 사이의 수직 디스패리티가 임계치 미만이라고 결정 블록 (525) 에서 결정이 이루어진 경우, 프로세스 (500) 는 블록 (570) 으로 이동하며, 블록 (570) 에서 디스플레이되었을 수도 있는 임의의 저품질 표시자가 뚜렷해질 수도 있다. 프로세스 (500) 는 그 다음에 블록 (575) 으로 이동하며, 블록 (575) 에서, 제 1 이미지, 제 2 이미지, 또는 이미지들 양자 모두에 대해 수직 디스패리티에 대한 정정이 적용된다. 이러한 정정은 도 1a 의 이동 및 절취 모듈 (155) 또는 도 1b 의 이동 및 절취 모듈 (184) 에 포함된 명령들에 의해 적용될 수도 있다. 프로세스 (500) 는 그 다음에 블록 (580) 으로 이동하며, 블록 (580) 에서 2 개의 이미지들이 입체 이미지 쌍으로 인코딩된다. 이러한 인코딩은 도 1a 의 인코딩 모듈 (160), 또는 도 1b 에 도시된 디바이스 (180) 의 인코딩 모듈 (186) 에 위치된 명령들에 의해 수행될 수도 있다. 프로세스 (500) 는 그 다음에 입체 이미지 쌍이 디스플레이되는 블록 (585) 으로 이동한다. 입체 이미지는 도 1a 의 디스플레이 (125) 또는 도 1b 의 디스플레이 (194) 상에 디스플레이될 수도 있다. 프로세스 (500) 는 그 다음에 블록 (510) 으로 돌아가고 프로세스 (500) 는 반복된다.

2 개의 이미지들 사이의 수직 디스패리티가 임계치 위에 있다고 결정 블록 (525) 에서 결정이 이루어지는 경우, 예외 정보가 디스플레이될 수도 있다. 예외 정보는 표시자들, 예컨대, 품질 표시자 또는 시계 표시자를 포함할 수도 있다. 예외 정보는 또한 소정의 디스플레이 능력들, 예컨대, 입체 이미지 쌍들의 디스플레이를 계속할지 여부를 사용자에게 문의하는 사용자 프롬프트들을 포함할 수도 있다. 도시된 실시형태에서, 프로세스 (500) 는 저품질 표시자를 발생시키는 블록 (530) 으로 이동한다. 일부 실시형태들에서, 표시자는 입체 이미지 쌍 자체 내에 내장될 수도 있으며, 그렇게 하여 디스플레이될 시에, 표시자가 사용자에게 뚜렷하게 보여질 수 있다.

대안으로, 프로세스 (500) 를 작동시키는 디바이스는 다른 표시자들, 예를 들어, 품질 표시자를 디스플레이하도록 구성된 광들 또는 보조 디스플레이 화면들을 포함할 수도 있다. 표시자는 이러한 디스플레이의 내장된 디스플레이 상에 디스플레이될 수도 있다. 또한, 가청 표시자들이 또한 제공될 수도 있다. 예를 들어, 수직 디스패리티가 임계치를 초과하는 경우, 톤, 비프, 또는 구두 경보가 사용자에게 제시될 수도 있다.

프로세스 (500) 는 그 다음에 결정 블록 (535) 으로 이동하는데, 여기서 명령들은 입체 이미징이 계속되어야할지 여부에 관해 디바이스가 사용자를 프롬프팅해야할지 여부를 결정한다. 도시된 실시형태에서, 구성가능한 프롬프팅은 디바이스 거동에 유연성을 제공한다. 예를 들어, 초보 사용자들은, 그들을 위해 결정들을 하기 위해, 프롬프팅되는 것을 피하고, 대신에 빌트 인 (built-in) 디바이스 로직에 의존하는 것을 선호할 수도 있다. 보다 고급 사용자들은 사용자들의 디바이스 내의 입체 이미징 프로세스들에 대한 추가적인 제어를 가지는 것을 선호할 수도 있다. 프롬프팅이 인에이블되는 경우, 프로세스 (500) 는 블록 (555) 로 이동하며, 블록 (555) 에서 사용자가 프롬프팅된다. 사용자의 프롬프팅은, 일부 실시형태들에서, 도 1b 의 마스터 제어 모듈 (188) 또는 디스플레이 제어 모듈 (187) 에 포함된 명령들에 의해 달성될 수도 있다.

다음으로, 프로세스 (500) 는 블록 (560) 으로 이동하며, 여기서 명령들은 사용자로부터 입력을 수신하도록 실행된다. 프로세스 (500) 는 그 다음에 결정 블록 (565) 으로 이동하며, 결정 블록 (565) 에서 명령들은 사용자의 응답이 사용자가 입체 이미징을 계속하길 원하는지를 나타내는지를 결정한다. 사용자가 계속하길 선택하는 경우, 프로세스 (500) 는 페이지 참조부호 "A" 를 거쳐 블록 (545) 으로 이동하며, 블록 (545) 에서 명령들은 2 차원 이미지가 발생되도록 야기한다. 2 차원 이미징 모드는 오직 블록들 (510 및 515) 에서 앞서 수신된 2 개의 이미지들 중 하나의 이미지만을 활용할 수도 있다. 일부 실시형태들에서, 블록 (545) 에 의해 발생된 이미지는 이미지 센서 1 로부터의 이미지 또는 이미지 센서 2 로부터의 이미지 중 어느 일방일 수도 있다. 대안으로, 이는 입력부, 예를 들어, 도 1b 에 도시된 입력 디바이스 (190) 로부터 수신된 이미지일 수도 있다. 프로세스 (500) 는 그 다음에 2 차원 이미지가 디스플레이되는 블록 (590) 으로 이동한다. 일부 실시형태들에서, 2 차원 이미지는 도 1a 의 디스플레이 (125) 또는 도 1b 의 디스플레이 (194) 상에 디스플레이될 수도 있다. 프로세스 (500) 는 그 다음에 반복된다.

도 5 가 임계치 위의 수직 디스패리티를 갖는 캡쳐된 모든 입체 이미지 쌍에 대해 사용자 프롬프트를 생성할 논리 흐름을 도시하나, 사용자의 지나친 프롬프팅을 피하도록 추가적인 논리가 구현될 수도 있다는 것을 당업자는 인식할 것임에 유의한다. 예를 들어, 분/시간/일 당 최대 프롬프팅의 개수가 구현될 수 있다. 대안으로, 프롬프트들은 오직 이미징 환경에서의 실질적인 수직 디스패리티 변화들로만 발생될 수도 있다. 예를 들어, 수직 디스패리티의 "낮은", "중간", 및 "높은" 양들을 정의하는 임계치들이 확립될 수도 있다. 수직 디스패리티의 양이 하나의 임계치로부터 다른 임계치를 넘는 경우, 일부 실시형태들에서, 이는 프롬프트를 발생시킬 수도 있다. 예를 들어, 어느 정도 상대적으로 작은 임계치에 도달한 후에 제 1 프롬프트가 디스플레이될 수도 있다. 사용자가 진행하길 선택한 경우, 디스패리티가 보다 더 심각한 수준에 도달하면 추가적인 프롬프트가 발생될 수도 있다. 이러한 변형들은 공지되나, 간결함을 위해 본원에서는 예시되지 않는다.

도 5 에 예시된 실시형태들이 "사용자" 와 상호작용하는 것으로 설계되나, 다른 실시형태들은 대안적인 제어의 수단을 제공할 수도 있다는 것에 또한 유의한다. 예를 들어, 일부 실시형태들은, 프롬프팅하는 대신에, 전자 메시지들의 형태로 제어 신호들을 발생시켜 입체 이미징의 상태를 통신할 수도 있다. 예를 들어, 입체 이미징 디바이스는 입력 포트 및 출력 포트로 구성될 수도 있으며, 입체 이미징 환경에서 소정의 임계치들을 넘게 되는 경우 출력 포트로 신호들이 전송된다. 이들 출력 포트들은 무선 접속, 또는 예를 들어, USB 를 통한 하드 와이어 접속들을 포함할 수 있다. 또한, 입체 이미징 디바이스는 입력 포트로부터 입력을 받아들일 수도 있다. 예를 들어, 수직 디스패리티가 특정 임계치를 초과하는 것을 나타내는 출력 신호를 발생시킨 후에, 일부 실시형태들은 입체 이미징이 계속되어야하는지 여부, 디바이스가 2 차원 이미징 모드로 이동해야하는지 여부, 또는 어쩌면 이미징이 완전히 중지되어야 하는지 여부를 나타내는 입력 포트 상의 입력을 받아들일 수도 있다.

사용자 프롬프팅이 인에이블되지 않는다고 결정 블록 (535) 이 결정하는 경우, 프로세스는 결정 블록 (540) 으로 이동하며, 여기서 수직 디스패리티에 대한 보상이, 감소된 시계로 가능할지 여부에 대한 결정이 이루어진다. 수직 디스패리티가 보상될 수 있는 경우, 프로세스 (500) 는 블록 (550) 으로 이동하며, 블록 (550) 에서 시계 예외 정보가 디스플레이될 수도 있다. 예를 들어, 도시된 실시형태에서는, 감소된 시계 표시자가 발생된다. 프로세스 (500) 는 그 다음에 블록 (575) 로 이동하고, 정정이 이미지에 적용되고, 프로세스 (500) 는 그 다음에 앞서 설명된 것을 계속한다.

수직 디스패리티가 너무 커서, 심지어 감소된 시계로도, 적당한 이미지가 발생될 수 없다고 결정 상태 (540) 에서 결정이 이루어지는 경우, 프로세스 (500) 는 블록 (545) 으로 이동하고, 2 차원 이미지가 발생된다. 프로세스 (500) 는 그 다음에 블록 (590) 에서 2 차원 이미지를 디스플레이하고, 블록 (510) 으로 되돌아가 프로세스 (500) 를 반복한다.

도 5 의 도시된 실시형태에 대해 여러 변형예들이 이용가능하다는 것을 깨달아야 한다. 예를 들어, 사용자의 프롬프팅은 일부 실시형태들에서는 구성가능하지 않을 수도 있고, 무조건적으로 인에이블되거나 수행되지 않을 수도 있다. 다른 실시형태들은 상당히 감소된 시계를 갖는 입체 이미지 쌍을 발생시키기 전에 사용자를 프롬프팅할 수도 있다. 다른 실시형태들은, 사용자 프롬프팅, 시계 결정, 또는 다양한 표시자들의 발생의 복잡함을 구현하지 않고, 수직 디스패리티가 임계치에 도달한 경우 2 차원 이미징으로 무조건적으로 천이할 수도 있다. 도 5 는 단지 입체 이미지 쌍을 발생시키는 이러한 다양한 방법들의 일 조합을 표현하고자 한다.

도 5 에 도시된 실시형태는 논의를 용이하게 하기 위해 일부 단순화들을 포함한다는 것을 또한 이해할 수 있다. 예를 들어, 일부 실시형태들은, 예를 들어, 수직 디스패리티가 쉽게 정정될 수 있는 값으로부터 사용자에 의한 프롬프팅을 요구하는 값으로 빈번하게 천이하도록 하는 환경들을 이미징하는 에지의 경우에, 과도한 사용자의 프롬프팅을 피하기 위한 프로세싱 논리를 포함할 필요가 있을 것이다. 또한, 도 5 는 프로세스 (500) 를 종료하기 위한 방법을 도시하지 않는다. 그러나, 일부 실시형태들은 종료 상태로의 천이를 인에이블하는 추가적인 조건적 논리를 사용할 것이다. 예를 들어, 디바이스 (100) 의 소정의 실시형태들은 이미징 디바이스가 입체 이미징 모드 또는 종래의 2 차원 모드인지 여부를 여부를 결정하는 사용자 작동 제어를 포함할 수도 있다. 이러한 제어의 작동은 프로세스 (500) 로 하여금 종료하도록 할 수도 있다. 대안으로, 다른 실시형태들은 캡쳐 제어 버튼으로서 작용하는 사용자 작동 제어를 가질 수도 있다. 작동될 때, 일부 실시형태들은 이미징이 현재 프로세스 중이지 않은 경우 이미징을 시작할 수도 있고, 제어가 작동될 때 이미징이 프로세스 중인 경우 이미징을 종료할 수도 있다. 이러한 제어의 작동은 일부 실시형태들에서 프로세스 (500) 를 종료할 수도 있다.

도 6 은 입체 이미지 쌍을 디스플레이하는 방법에 대한 데이터 흐름 다이어그램이다. 데이터 흐름은 오른쪽 프레임 (610) 과 왼쪽 프레임 (615) 이 입력부 (605) 로부터 수신되는 다이어그램의 좌측에서 시작한다. 다음으로, 행 투사들 (620 및 625) 이 생성되고 블록 (630) 으로 전송되며, 블록 (630) 에서 2 개의 프레임들 (610 및 615) 사이의 수직 디스패리티가 계산된다. 이러한 계산의 결과는 프레임들 (610 및 615) 을 수정하는데 이용되어 왼쪽 프레임 (640) 및 오른쪽 프레임 (635) 을 생성한다. 프레임들 (610 및 615) 의 수직 디스패리티를 조정하기 위해, 각각의 이미지는 절취되거나 이동될 수도 있다. 이동 또는 절취 동작 후에, 이미지들 (635 및 640) 은 이미지들 (610 및 615) 과 비교할 경우 보다 적은 수직 디스패리티들 갖는 개선된 품질을 가질 수도 있다. 2 개의 프레임들은 그 다음에 블록 (645) 에서 입체 이미지 쌍으로 인코딩된다. 이미지들 (635 및 640) 을 포함하는 입체 이미지 쌍은 입체 이미지 품질이 허용가능한지가 결정되는 결정 블록 (650) 으로 전송된다. 허용가능한 경우, 프로세스 (600) 는 블록 (655) 으로 이동하고, 2 개의 이미지들은 입체 이미지로서 디스플레이된다. 입체 이미지 쌍의 품질이 허용가능하지 않은 경우, 2 차원 이미지가 블록 (660) 에서 디스플레에 제공된다.

도 7 은 입체 이미지 쌍을 디스플레이하는 대안적인 방법에 대한 데이터 흐름 다이어그램이다. 도 6 과 유사하게, 오른쪽 프레임 (710) 및 왼쪽 프레임 (715) 이 입력부 (705) 로부터 수신된다. 그러나, 도 6 에서의 데이터흐름 (600) 과 달리, 입력부 (705) 는 2 개의 프레임들 (710 및 715) 사이의 수직 디스패리티를 나타내는 메타데이터를 또한 제공한다. 이러한 메타데이터는 절취 제어 파라미터들 (730) 로 해석되고, 원래의 프레임들 (710 및 715) 및 절취 데이터 (730) 에 기초하여 새로운 프레임들 (735 및 740) 이 생성된다. 이들 정정된 프레임들의 수직 디스패리티가 그 다음에 블록 (750) 에서 평가되고, 허용가능한 경우, 입체 이미지가 (755) 가 디스플레이된다. 그렇지 않으면, 2 차원 이미지 (760) 가 디스플레이된다.

본원에 개시된 구현예들 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 프로세스 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 당업자들은 또한 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 그것들의 기능성의 관점에서 일반적으로 위에서 설명되었다. 이러한 기능성이 하드웨어 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자라면, 상술한 기능성을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수도 있지만, 이러한 구현 결정은 본 발명의 범위를 벗어나게 하는 것으로 이해되어서는 안된다. 일부분 또는 일부는 전체보다 적게 또는 전체와 동일하게 포함할 수도 있음을 당업자는 인식할 것이다. 예를 들어, 픽셀들의 집합의 일부분은 이러한 픽셀들의 하위 집합으로 지칭할 수도 있다.

본원에서 개시된 실시예들과 연계하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA) 혹은 다른 프로그래머블 논리 디바이스, 이산 게이트 혹은 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.

본원에서 개시된 구현예들과 연계하여 설명된 방법 또는 프로세스의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 둘의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 비일시적 저장 매체 내에 상주할 수도 있다. 예시적인 컴퓨터 판독가능 저장 매체는 프로세서에 커플링되어, 프로세서가 컴퓨터 판독가능 저장 매체로부터 정보를 판독하거나 컴퓨터 판독가능 저장 매체에 정보를 기록할 수 있다. 대안에서, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 상주할 수도 있다. ASIC 는 사용자 단말, 카메라, 또는 다른 디바이스 내에 상주할 수도 있다. 대안에서, 프로세서와 저장 매체는 사용자 단말기, 카메라, 또는 다른 디바이스에 개별적인 컴포넌트들로서 상주할 수도 있다.

제목들은 참조를 위해 그리고 다양한 섹션들을 위치시키는 것을 돕기 위해 본원에서 포함된다. 이러한 제목들은 그와 관련하여 설명된 개념들의 범위를 제한하고자 하지 않는다. 이러한 개념들은 전체 명세서에 걸쳐 적용가능할 수도 있다.

개시된 구현예들의 앞서의 설명은 당업자가 본 발명을 실시하거나 이용하는 것을 가능하게 하도록 하기 위해 제공된다. 이러한 구현예들에 대한 다양한 수정예들이 당업자들에게는 자명할 것이고, 본원에서 정의된 일반적인 원칙들은 본 발명의 취지와 범위를 벗어나지 않으면서 다른 구현예들에 적용될 수도 있다. 따라서, 본 발명은 본원에서 보여진 예시적인 구현예들로 제한되도록 의도된 것은 아니며 본원의 개시된 원칙들과 신규의 피쳐들과 일치하는 광의의 범위에 부합되고자 한다.

Claims (39)

1. 제 1 이미지 센서로부터 영상의 좌시점을 나타내는 제 1 이미지를 수신하는 단계;
   제 2 이미지 센서로부터 상기 영상의 우시점을 나타내는 제 2 이미지를 수신하는 단계로서, 수평 디스패리티는 상기 좌시점과 우시점 사이의 수평 오프셋을 나타내는, 상기 제 2 이미지를 수신하는 단계;
   상기 제 1 이미지와 상기 제 2 이미지 사이의 수직 디스패리티를 결정하는 단계로서, 상기 수직 디스패리티는 상기 좌시점과 우시점 사이의 수직 오프셋의 측정치인, 상기 수직 디스패리티를 결정하는 단계;
   적어도 하나의 정정된 이미지를 발생시키기 위해 상기 제 1 이미지 또는 상기 제 2 이미지를 이동시키거나 절취 (cropping) 함으로써 상기 제 1 이미지와 상기 제 2 이미지 사이의 상기 수직 디스패리티를 정정하는 단계;
   상기 정정된 이미지로부터 입체 이미지 쌍의 정정된 수직 디스패리티를 평가하는 단계;
   정정된 상기 수직 디스패리티가 제 1 임계치 미만인 경우, 상기 정정된 이미지에 기초하여 입체 이미지 쌍을 디스플레이하는 단계; 및
   상기 정정된 수직 디스패리티가 제 2 임계치 이상인 경우, 상기 입체 이미지 쌍의 2 차원 버전을 디스플레이하는 단계를 포함하는, 입체 이미지 쌍을 디스플레이하는 방법.
2. 제 1 항에 있어서,
   상기 수직 디스패리티는 입력 디바이스로부터 메타 정보를 수신함으로써 결정되는, 입체 이미지 쌍을 디스플레이하는 방법.
3. 제 1 항에 있어서,
   상기 수직 디스패리티가 임계치를 초과하는 경우, 예외 정보를 디스플레이하는 단계를 더 포함하는, 입체 이미지 쌍을 디스플레이하는 방법.
4. 제 3 항에 있어서,
   상기 예외 정보는 저품질 표시자를 포함하는, 입체 이미지 쌍을 디스플레이하는 방법.
5. 제 3 항에 있어서,
   상기 예외 정보는 입체 이미징을 계속할지 여부를 문의하는 프롬프트를 포함하는, 입체 이미지 쌍을 디스플레이하는 방법.
6. 제 3 항에 있어서,
   상기 예외 정보는 2 차원 이미지인, 입체 이미지 쌍을 디스플레이하는 방법.
7. 제 1 항에 있어서,
   상기 입체 이미지의 시계가 제 2 임계치 미만인 경우, 시계 예외 정보를 디스플레이하는 단계를 더 포함하는, 입체 이미지 쌍을 디스플레이하는 방법.
8. 제 7 항에 있어서,
   상기 정정된 수직 디스패리티를 상기 제 2 임계치에 비교하는 단계; 및
   상기 제 1 임계치 초과 및 상기 제 2 임계치 미만인 상기 정정된 수직 디스패리티에 응답하여 상기 입체 이미지를 감소된 시계로 디스플레이하는 단계를 더 포함하는, 입체 이미지 쌍을 디스플레이하는 방법.
9. 제 1 항에 있어서,
   상기 수직 디스패리티를 결정하는 단계는,
   상기 제 1 이미지에 대한 제 1 행 합 벡터를 발생시키는 단계;
   상기 제 2 이미지에 대한 제 2 행 합 벡터를 발생시키는 단계; 및
   상기 제 1 행 합 벡터와 상기 제 2 행 합 벡터에 대한 최적합 (best fit) 을 결정하는 단계를 포함하는, 입체 이미지 쌍을 디스플레이하는 방법.
10. 제 1 항에 있어서,
    상기 수직 디스패리티를 결정하는 단계는,
    상기 제 1 이미지에 대한 제 1 행 에지 합 벡터를 발생시키는 단계;
    상기 제 2 이미지에 대한 제 2 행 에지 합 벡터를 발생시키는 단계; 및
    상기 제 1 행 에지 합 벡터와 상기 제 2 행 에지 합 벡터에 대한 최적합을 결정하는 단계를 포함하는, 입체 이미지 쌍을 디스플레이하는 방법.
11. 제 1 항에 있어서,
    데이터 저장부에 상기 입체 이미지 쌍을 저장하는 단계를 더 포함하는, 입체 이미지 쌍을 디스플레이하는 방법.
12. 제 10 항에 있어서,
    상기 최적합은 상이한 값들의 최소 합에 의해 결정되는, 입체 이미지 쌍을 디스플레이하는 방법.
13. 제 1 항에 있어서,
    상기 수직 디스패리티를 정정하는 단계는 상기 제 1 이미지 또는 상기 제 2 이미지를 이동시키거나 (shift) 절취하는 (crop) 단계를 포함하는, 입체 이미지 쌍을 디스플레이하는 방법.
14. 프로세서;
    제 1 이미징 센서;
    제 2 이미징 센서;
    상기 제 1 이미징 센서로부터 영상의 좌시점을 나타내는 제 1 이미지를 수신하고 상기 제 2 이미징 센서로부터 상기 영상의 우시점을 나타내는 제 2 이미지를 수신하도록 구성된 마스터 제어 모듈로서, 수평 디스패리티는 상기 좌시점과 우시점 사이의 수평 오프셋을 나타내는, 상기 이미지를 수신하도록 구성된 마스터 제어 모듈;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수직 디스패리티를 결정하도록 구성된 디스패리티 결정 모듈로서, 상기 수직 디스패리티는 상기 좌시점과 우시점 사이의 수직 오프셋의 측정치인, 상기 디스패리티 결정 모듈;
    적어도 하나의 정정된 이미지를 발생시키기 위해 상기 제 1 이미지 또는 상기 제 2 이미지를 이동시키거나 절취 (cropping) 함으로써 상기 제 1 이미지와 상기 제 2 이미지 사이의 상기 수직 디스패리티를 정정하도록 구성된 이동 및 절취 모듈;
    상기 정정된 이미지로부터 입체 이미지 쌍의 정정된 수직 디스패리티를 평가하도록 구성된 마스터 제어 모듈; 및
    정정된 상기 수직 디스패리티가 제 1 임계치 미만인 경우, 상기 정정된 이미지에 기초하여 전자 디스플레이 상에 입체 이미지 쌍을 디스플레이하도록 구성되고, 상기 정정된 수직 디스패리티가 제 2 임계치 이상인 경우, 상기 전자 디스플레이 상에 상기 입체 이미지 쌍의 2 차원 버전을 디스플레이하도록 구성된 디스플레이 제어 모듈을 포함하는, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
15. 제 14 항에 있어서,
    상기 디스플레이 제어 모듈은 또한, 상기 수직 디스패리티가 상기 임계치를 초과하는 경우, 예외 정보를 디스플레이하도록 구성되는, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
16. 제 15 항에 있어서,
    상기 예외 정보는 상기 수직 디스패리티가 임계치를 초과하는 경우, 입체 이미징을 계속할지 여부를 문의하는 프롬프트인, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
17. 제 15 항에 있어서,
    상기 예외 정보는 상기 수직 디스패리티가 임계치를 초과하는 경우, 2 차원 이미지인, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
18. 제 15 항에 있어서,
    상기 디스플레이 제어 모듈은 또한, 상기 입체 이미지의 시계가 제 2 임계치 미만인 경우, 시계 예외 정보를 디스플레이하도록 구성되는, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
19. 제 18 항에 있어서,
    상기 디스플레이 제어 모듈은 상기 제 1 임계치 초과 및 상기 제 2 임계치 미만인 상기 정정된 수직 디스패리티에 응답하여 감소된 시계에서 상기 입체 이미지 쌍을 디스플레이하도록 더 구성되는, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
20. 제 14 항에 있어서,
    데이터 저장부를 더 포함하고,
    상기 마스터 제어 모듈은 또한 상기 데이터 저장부에 상기 입체 이미지 쌍을 저장하도록 구성되는, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
21. 제 14 항에 있어서,
    전자 디스플레이를 더 포함하고,
    상기 디스플레이 제어 모듈은 상기 전자 디스플레이 상에 상기 입체 이미지 쌍을 디스플레이하도록 구성되는, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
22. 제 14 항에 있어서,
    상기 디스패리티 결정 모듈은,
    상기 제 1 이미지에 대한 제 1 행 합 벡터를 발생시키며,
    상기 제 2 이미지에 대한 제 2 행 합 벡터를 발생시키고,
    상기 제 1 행 합 벡터와 상기 제 2 행 합 벡터에 대한 최적합을 결정함으로써 상기 수직 디스패리티를 결정하는, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
23. 제 14 항에 있어서,
    상기 디스패리티 결정 모듈은,
    상기 제 1 이미지에 대한 제 1 행 에지 합 벡터를 발생시키며;
    상기 제 2 이미지에 대한 제 2 행 에지 합 벡터를 발생시키고;
    상기 제 1 행 에지 합 벡터와 상기 제 2 행 에지 합 벡터에 대한 최적합을 결정함으로써 상기 수직 디스패리티를 결정하는, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
24. 제 23 항에 있어서,
    상기 최적합은 2 개의 벡터들 사이의 절대 차이 값들의 합을 최소화함으로써 결정되는, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
25. 제 14 항에 있어서,
    상기 이미지 프로세싱 디바이스는 무선 전화 핸드셋인, 입체 이미지 쌍을 디스플레이하기 위한 이미지 프로세싱 디바이스.
26. 프로세서 실행가능 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로세서 실행가능 명령들은, 실행 시, 입체 이미지 쌍을 디스플레이하는 방법을 수행하고,
    상기 방법은,
    제 1 이미징 센서로부터 영상의 좌시점을 나타내는 제 1 이미지를 수신하는 단계;
    제 2 이미징 센서로부터 상기 영상의 우시점을 나타내는 제 2 이미지를 수신하는 단계로서, 수평 디스패리티는 상기 좌시점과 우시점 사이의 수평 오프셋을 나타내는, 상기 제 2 이미지를 수신하는 단계;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수직 디스패리티를 결정하는 단계로서, 상기 수직 디스패리티는 상기 좌시점과 우시점 사이의 수직 오프셋의 측정치인,상기 수직 디스패리티를 결정하는 단계;
    적어도 하나의 정정된 이미지를 발생시키기 위해 상기 제 1 이미지 또는 상기 제 2 이미지를 이동시키거나 절취 (cropping) 함으로써 상기 제 1 이미지와 상기 제 2 이미지 사이의 상기 수직 디스패리티를 정정하는 단계;
    상기 정정된 이미지로부터 입체 이미지 쌍의 정정된 수직 디스패리티를 평가하는 단계;
    정정된 상기 수직 디스패리티가 제 1 임계치 미만인 경우, 전자 디스플레이 상에 상기 정정된 이미지에 기초하여 입체 이미지 쌍을 디스플레이하는 단계; 및
    상기 정정된 수직 디스패리티가 제 2 임계치 이상인 경우, 상기 전자 디스플레이 상에 상기 입체 이미지 쌍의 2 차원 버전을 디스플레이하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 매체.
27. 제 26 항에 있어서,
    상기 방법은,
    상기 수직 디스패리티가 상기 임계치를 초과하는 경우, 예외 정보를 디스플레이하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
28. 제 27 항에 있어서,
    상기 예외 정보는 상기 수직 디스패리티가 임계치를 초과하는 경우, 입체 이미징을 계속할지 여부를 문의하는 프롬프트인, 비일시적 컴퓨터 판독가능 매체.
29. 제 27 항에 있어서,
    상기 방법은,
    상기 정정된 수직 디스패리티를 상기 제 2 임계치에 비교하는 단계; 및
    상기 제 1 임계치 초과 및 상기 제 2 임계치 미만인 상기 정정된 수직 디스패리티에 응답하여 상기 입체 이미지를 감소된 시계로 디스플레이하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
30. 제 1 이미징 센서로부터 영상의 좌시점을 나타내는 제 1 이미지를 수신하는 수단;
    제 2 이미징 센서로부터 상기 영상의 우시점을 나타내는 제 2 이미지를 수신하는 수단으로서, 수평 디스패리티는 상기 좌시점과 우시점 사이의 수평 오프셋을 나타내는, 상기 제 2 이미지를 수신하는 수단;
    상기 제 1 이미지와 상기 제 2 이미지 사이의 수직 디스패리티를 결정하는 수단으로서, 상기 수직 디스패리티는 상기 좌시점과 우시점 사이의 수직 오프셋의 측정치인, 상기 수직 디스패리티를 결정하는 수단;
    적어도 하나의 정정된 이미지를 발생시키기 위해 상기 제 1 이미지 또는 상기 제 2 이미지를 이동시키거나 절취 (cropping) 함으로써 상기 수직 디스패리티를 정정하는 수단;
    상기 정정된 이미지로부터 입체 이미지 쌍의 정정된 수직 디스패리티를 평가하는 수단;
    정정된 상기 수직 디스패리티가 제 1 임계치 미만인 경우, 전자 디스플레이 상에 상기 정정된 이미지에 기초하여 입체 이미지 쌍을 디스플레이하는 수단; 및
    상기 정정된 수직 디스패리티가 제 2 임계치 이상인 경우, 상기 전자 디스플레이 상에 상기 입체 이미지 쌍의 2 차원 버전을 디스플레이하는 수단을 포함하는, 입체 이미지 쌍을 디스플레이하기 위한 이미징 디바이스.
31. 제 30 항에 있어서,
    무선 전화 핸드셋을 더 포함하는, 입체 이미지 쌍을 디스플레이하기 위한 이미징 디바이스.
32. 제 30 항에 있어서,
    상기 수직 디스패리티를 결정하는 수단은, 행 합 벡터들의 최적합을 수행하도록 프로세서를 구성하는 명령들을 포함하는, 입체 이미지 쌍을 디스플레이하기 위한 이미징 디바이스.
33. 제 30 항에 있어서,
    상기 수직 디스패리티를 결정하는 수단은, 행 에지 합 벡터들의 최적합을 수행하도록 프로세서를 구성하는 명령들을 포함하는, 입체 이미지 쌍을 디스플레이하기 위한 이미징 디바이스.
34. 제 30 항에 있어서,
    상기 제 1 임계치 초과 및 상기 제 2 임계치 미만인 상기 정정된 수직 디스패리티에 응답하여 상기 입체 이미지 쌍을 감소된 시계로 디스플레이하는 수단을 더 포함하는, 입체 이미지 쌍을 디스플레이하기 위한 이미징 디바이스.
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제

Images