KR20110053348A - 에지 검출을 이용하여 깊이 데이터를 생성하기 위한 시스템 및 방법 - Google Patents

에지 검출을 이용하여 깊이 데이터를 생성하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20110053348A
KR20110053348A KR1020117005281A KR20117005281A KR20110053348A KR 20110053348 A KR20110053348 A KR 20110053348A KR 1020117005281 A KR1020117005281 A KR 1020117005281A KR 20117005281 A KR20117005281 A KR 20117005281A KR 20110053348 A KR20110053348 A KR 20110053348A
Authority
KR
South Korea
Prior art keywords
image data
edge
image
data
focus
Prior art date
Application number
KR1020117005281A
Other languages
English (en)
Inventor
바박 포루탄푸어
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20110053348A publication Critical patent/KR20110053348A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

에지 검출을 이용하여 깊이 데이터를 생성하는 시스템 및 방법이 개시된다. 특정 실시형태에서, 제 1 거리의 제 1 포커스 위치에서 이미지 캡쳐 디바이스에 의해 기록된 장면에 대응하는 제 1 이미지 데이터가 수신된다. 제 1 거리보다 더 큰 제 2 거리의 제 2 포커스 위치에 대응하는 제 2 이미지 데이터가 수신된다. 에지 검출은 제 1 이미지 데이터의 적어도 제 1 부분에 대응하는 제 1 에지 데이터를 생성하고, 제 2 이미지 데이터의 적어도 제 2 부분에 대응하는 제 2 에지 데이터를 생성한다. 에지 검출은, 제 1 부분 및 제 2 부분의 각 위치에서 에지의 존재 또는 부존재를 검출하고, 각 검출된 에지를 하드 에지 또는 소프트 에지로서 식별한다. 깊이 데이터는 제 1 포커스 위치 및 제 2 포커스 위치에 대해 생성된 에지 데이터에 기초하여 생성된다.

Description

에지 검출을 이용하여 깊이 데이터를 생성하기 위한 시스템 및 방법{SYSTEM AND METHOD TO GENERATE DEPTH DATA USING EDGE DETECTION}
본 발명은 일반적으로 캡쳐된 이미지에 기초한 에지 검출 및 깊이 데이터 (depth data) 생성에 관한 것이다.
디지털 이미징 기술은 콤팩트 디바이스가 이미지 데이터를 캡쳐 (capture) 하고, 이미지 데이터를 강화 (enhance) 및 송신할 수 있도록 한다. 예를 들어, 많은 개인 휴대용 정보 단말기 (PDA) 및 무선 전화 디바이스는 유선 또는 무선 접속을 통해 다른 디바이스들에 송신될 수 있는 스틸 이미지 (still images) 또는 모션 비디오 (motion video) 의 캡쳐를 허용하는 내장 이미징 시스템을 포함한다.
디지털 이미징 기술을 활용하여, 이미지 캡쳐 디바이스까지의 다양한 거리들에서의 오브젝트들 (objects) 간에 구별하여, 장면의 무슨 모습이 캡쳐되고, 저장되고, 송신되는지를 제어하는 것이 바람직할 수도 있다. 예를 들어, 비디오 전화의 경우, 명확함, 프라이버시, 또는 기타 이유들을 위해, 배경의 다른 사람들 또는 설정들은 캡쳐하지 않으면서 전경의 통화자를 보여주는 것이 바람직할 수도 있다. 이러한 기술을 더 활용하여, 운송 수단에 탑재되거나 시각 장애인이 지니고 다니는 디지털 이미징 디바이스는 오브젝트들이 소정의 임계 거리 내에 있는 경우 근접 경고들을 제공할 수 있을 것이다.
하지만, 거리를 결정하는 많은 종래의 시스템들은 2 이상의 이미지 센서들을 포함하는 입체시 (stereoscopic vision) 를 통상적으로 이용한다. 크기 및 전력 소모를 고려하면, PDA 또는 무선 전화기들과 같은 휴대용 전자 디바이스에 다수의 이미지 센서들을 포함하는 것은 바람직하지 않을 수도 있다.
특정 실시형태에서, 일 방법이 개시되며, 이 방법에서는, 제 1 거리의 제 1 포커스 위치에서 이미지 캡쳐 디바이스에 의해 기록된 장면에 대응하는 제 1 이미지 데이터가 수신된다. 제 1 거리보다 더 큰 제 2 거리의 제 2 포커스 위치에 대응하는 제 2 이미지 데이터가 수신된다. 에지 검출은 제 1 이미지 데이터의 적어도 제 1 부분에 대응하는 제 1 에지 데이터를 생성하고, 제 2 이미지 데이터의 적어도 제 2 부분에 대해 제 2 에지 데이터를 생성한다. 에지 검출은, 상기 제 1 부분 및 상기 제 2 부분의 각 위치에서 에지의 존재 또는 부존재를 검출하고, 각 검출된 에지를 하드 에지 또는 소프트 에지로서 식별한다. 깊이 데이터는 제 1 포커스 위치 및 제 2 포커스 위치에 대해 생성된 에지 데이터에 기초하여 생성된다.
다른 특정 실시형태에서, 일 시스템이 개시되고, 이 시스템은, 이미지 데이터를 캡쳐하도록 하는 제어 신호를 수신하기 위한 입력부를 포함한다. 이미지 캡쳐 디바이스는 제어 신호에 응답하여 복수의 포커스 위치들에서 캡쳐된 복수의 이미지 데이터 셋트들을 생성한다. 출력부는 적어도 하나의 이미지 데이터 셋트를 제공하고, 상기 적어도 하나의 이미지 데이터 셋트 내의 적어도 하나의 포인트에 대한 깊이 데이터를 제공한다. 상기 깊이 데이터는 상기 적어도 하나의 포인트가 검출가능한 에지를 갖는 것으로 판정되는 포커스 위치에 기초한다.
또 다른 특정 실시형태에서, 일 시스템이 개시되고, 이 시스템은, 이미지 캡쳐 디바이스로부터 비디오 이미지 데이터를 수신하도록 구성된 입력부를 포함한다. 비디오 이미지 데이터는 제 1 포커스 위치와 연관된 제 1 이미지 데이터 및 제 2 포커스 위치와 연관된 제 2 이미지 데이터를 포함한다. 프로세서는 제 1 이미지 데이터 및 제 2 이미지 데이터를 수신한다. 프로세서는, 깊이 데이터를 이용하여 제 1 이미지 데이터의 전경 부분과 배경 부분을 식별하기 위해 깊이 데이터를 생성하기 위해 단일 패스 (single pass) 의 에지 검출 필터를 적용함으로써 비디오 이미지 데이터의 배경 부분을 판정하도록 구성된다. 출력부는 배경 부분에 대한 이미지 데이터와는 상이하게 전경 부분에 대한 이미지 데이터를 선택적으로 현시하는 (presenting) 비디오 데이터를 제공하도록 구성된다.
적어도 하나의 개시된 실시형태들에 의해 제공된 하나의 특정 이점은, 단일의 이미지 캡쳐 디바이스를 이용하여, 그 이미지 캡쳐 디바이스에 대해 상대적인 오브젝트들의 깊이를 판정하여, 이미지 캡쳐 디바이스에 의해 기록된 장면 내의 오브젝트들의 깊이에 기초하여 이미지 데이터가 선택적으로 현시될 수 있도록 하는 능력이다.
본 개시의 다른 양태들, 이점들, 및 특징들은, 도면의 간단한 설명, 상세한 설명, 및 청구범위를 포함하는 다음의 섹션들을 포함하는 전체 명세서를 검토한 후에 명백해질 것이다.
도 1 은 에지 검출 및 깊이 맵 생성 모듈을 갖는 이미지 프로세싱 시스템을 포함하는 시스템의 특정 예시적인 실시형태의 블록도이다.
도 2 는 신호들에 잠재적으로 포함된 에지 특성들을 증폭하기 위해 강화된 신호들의 특정 예시적인 실시형태를 나타내는 한 쌍의 그래프이다.
도 3 은 3 개의 포인트들에서 샘플링된 소프트 및 하드 에지들을 나타내는 신호들의 특정 예시적인 실시형태를 나타내는 한 쌍의 그래프이다.
도 4 는 신호들이 샘플링되는 포인트들 사이의 라인들의 차분들이 분석된 것을 나타내는 도 3 의 한 쌍의 그래프이다.
도 5 는 에지 분류를 위한 임계점들이 중첩되는 3 개의 포인트들에서 샘플링된 신호들의 특정 예시적인 실시형태의 그래프이다.
도 6 은 이미지 캡쳐 디바이스로부터 다양한 포커스 거리들에서 복수의 오브젝트들을 포함하는 장면의 투시도이다.
도 7 은 이미지들의 각각이 포커스 내에 있는 도 6 의 장면의 오브젝트들의 이미지 데이터 셋트의 2 차원뷰이다.
도 8 은 도 7 의 이미지 데이터 셋트로부터 선택된 포인트에 관해 샘플링된 포인트들의 범위의 특정 예시적인 실시형태이다.
도 9 는 각각의 이미지 데이터 셋트에서 포커스 내 및 포커스 밖의 복수의 오브젝트들을 나타내는 상이한 포커스 거리들에서 캡쳐된 일련의 이미지 데이터 셋트들의 특정 예시적인 실시형태의 다이어그램이다.
도 10 은 도 9 의 이미지 데이터 셋트들로부터 도출된 일련의 에지 검출 표현의 특정 예시적인 실시형태의 다이어그램이다.
도 11 은 도 9 의 일련의 이미지 데이터 셋트들로부터 생성된 깊이 맵의 특정 예시적인 실시형태의 다이어그램이다.
도 12 는 오브젝트들이 하드 에지들, 소프트 에지들을 가지거나 검출가능한 에지들이 없는 것으로 분류되는 복수의 오브젝트들의 일련의 이미지 데이터 셋트들의 특정 예시적인 실시형태의 투시도이다.
도 13 은 이미지 데이터를 현시하기 위한 한 쌍의 플라이스루 뷰들의 특정 예시적인 실시형태의 투시도이다.
도 14 는 깊이 데이터를 생성하기 위해 에지 검출을 이용하는 프로세스의 특정 예시적인 실시형태의 흐름도이다.
도 15 는 깊이 데이터에 기초하여 선택적으로 이미지 데이터를 현시하기 위해 일련의 이미지 데이터 셋트들 및 에지 검출을 이용하는 특정 예시적인 실시형태의 흐름도이다.
도 16 은 에지 검출기/깊이 데이터 생성기를 포함하는 시스템의 특정 예시적인 실시형태의 블록도이다.
도 17 은 에지 검출기/깊이 데이터 생성기를 포함하는 시스템의 특정 예시적인 실시형태의 블록도이다.
도 1 은 이미지 캡쳐 디바이스 (110), 이미지 프로세싱 시스템 (140), 및 이미지 저장 디바이스 (170)를 포함하는 일반적으로 지정된 시스템 (100) 의 특정 예시적인 실시형태의 블록도이다. 단일의 이미지 캡쳐 디바이스 (110) 는 이미지 캡쳐 디바이스 (110) 가 이미지 데이터 (130) 를 수집하도록 지시하는 제어 입력 신호 (120) 를 수신한다. 이미지 캡쳐 디바이스 (110) 는 이미지 데이터 (130) 를 수신 및 프로세싱하는 이미지 프로세싱 시스템 (140) 에 커플링 (coupling) 된다. 이미지 프로세싱 시스템 (140) 은 프로세싱된 이미지 데이터 (160) 를 생성한다. 이미지 프로세싱 시스템 (140) 은 프로세싱된 이미지 데이터 (160) 를 수신 및 저장하는 이미지 저장 디바이스 (170) 에 커플링된다. 프로세싱된 이미지 데이터 (160) 는 이미지 데이터 (130) 로부터 추출된 적어도 하나의 이미지 및 깊이 데이터를 포함한다. 프로세싱된 이미지 데이터 (160), 프로세싱된 이미지 데이터 (160) 로부터 생성된 깊이 데이터, 또는 이들의 임의의 조합이 출력 (180) 에서 현시된다. 일반적으로, 시스템 (100) 은 비교적 제한된 프로세싱 자원을 이용하여 실시간 이미지 프로세싱을 수행하기 위해 구성되는 휴대용 전자 디바이스에서 구현될 수도 있다.
특정 실시형태에서, 이미지 캡쳐 디바이스 (110) 는 비디오 카메라 또는 스틸 카메라 등과 같은 카메라이다. 이미지 캡쳐 디바이스 (110) 는 포커싱 (focusing) 모듈 (114) 에 응답하고 노광 모듈 (116) 에 응답하는 렌즈 (112) 를 포함한다. 포커싱 모듈 (114) 은 렌즈 (112)/포커싱 모듈 (114) 구성에 기초하여 포커싱 모듈 (114) 에 알려진 렌즈로부터의 특정 거리들에서 포커스 (focus) 를 맞추기 위해 렌즈 (112) 를 조작한다. 포커싱 모듈 (114) 은 또한, 시야의 중앙 부분을 점유하는 오브젝트와 같은, 장면 (scene) 의 가정된 대상 (assumed subject) 에 기초하여 렌즈 (112) 를 자동으로 포커싱하도록 적합하게 구성된다. 포커싱 모듈 (114) 은, 렌즈 (112) 를 장면의 매크로 (macro) 포커스 위치로 불리는 렌즈의 가장 가까운 포커스로부터 무한대 포커스 위치로 불리는 렌즈의 가장 먼 포커스로 포커싱하기 위해 구성된다. 아래에서 더 자세히 설명할 것이지만, 깊이 맵을 생성할 때, 포커싱 모듈 (114) 은 복수의 상이한 포커스 거리들에서 장면의 이미지 데이터를 캡쳐하기 위해 렌즈 (112) 를 조작하도록 구성될 수도 있다.
이미지 캡쳐 디바이스는 또한, 렌즈 (112) 를 통해 수광하기 위해 그리고 렌즈 (112) 를 통해 받아들인 이미지에 응답하여 이미지 데이터 (120) 를 생성하기 위해 커플링된, 전하 결합 소자 (charge coupled device; CCD) 어레이 또는 다른 이미지 센싱 디바이스와 같은 센서 (118) 를 포함한다. 센서 (118) 에 커플링된 노광 모듈 (116) 은 이미지의 노광을 제어하기 위해 센서 (118) 및/또는 렌즈 (112) 에 응답할 수도 있다.
제어 신호 입력 (120) 은 사용자의 스위치 작동 또는 이미지 프로세싱 시스템 (140) 에 의해 생성될 수도 있다. 제어 신호 입력 (120) 은, 이미지 캡쳐 디바이스 (110) 로 하여금 이미지 데이터를 캡쳐하도록 지시하고, 이미지 캡쳐 디바이스 (110) 에 의해 생성된 이미지 데이터 (130) 가 복수의 포커스 거리들의 각각에 대해 복수의 이미지 데이터 셋트들을 포함하도록, 이미지 캡쳐 디바이스 (110) 로 하여금 복수의 포커스 거리들에서 장면의 다수의 이미지들을 캡쳐하도록 지시할 수도 있다. 포커스 거리들은 매크로 포커스 위치, 무한대 포커스 위치, 매크로 포커스 위치와 무한대 포커스 위치 사이의 하나 이상의 기타 포커스 위치들, 또는 이들의 임의의 조합을 포함할 수도 있다.
이미지 캡쳐 디바이스 (110) 에 의해 생성된 이미지 데이터 (130) 는 이미지 데이터 입력 (142) 에서 이미지 프로세싱 시스템 (140) 에 의해 수신된다. 이미지 프로세싱 시스템 (140) 은 결함이 있는 것으로 식별된 픽셀들 또는 픽셀들의 그룹들을 보정하기 위해 이미지 데이터 (130) 에 대해 조정을 수행하도록 구성된 결함 픽셀 보정 모듈 (144) 을 포함할 수도 있다. 이미지 프로세싱 시스템 (140) 은 또한, 바람직하지 않은 것으로 판정된 컬러값들을 조정하도록 구성된 컬러 보정 모듈 (146) 을 포함할 수도 있다. 결함 픽셀 보정 모듈 (144) 및 컬러 보정 모듈 (146) 은 이미지 데이터 (130) 프로세싱에 선택적으로 참여할 수도 있다. 따라서, 본 개시의 실시형태들에서, 보정 모듈들 (144 및 146) 은 모든 이미지 데이터 (130) 에 적용될 수도 있고, 또는, 나중에 더 자세히 설명할 것이지만 깊이 맵을 생성하는데 이용되는 이미지 데이터 셋트들의 프로세싱에서 스킵 (skip) 될 수도 있다.
에지 검출 및 깊이 데이터 생성 모듈 (148) 은 이미지 데이터 셋트들에서 에지들을 식별하도록, 그리고, 검출가능한 에지들을 하드 에지들 (hard edges) 또는 소프트 에지들 (soft edges) 로서 식별하도록 구성된다. 나중에 더 자세히 설명할 것이지만, 에지 검출 및 깊이 데이터 생성 모듈 (148) 은 단일 장면의 이미지 캡쳐 디바이스 (110) 에 의해 수집된 복수의 이미지 데이터 셋트들에서 하드 및 소프트 에지들을 식별한다. 가장 가까운 포커스 거리, 장면의 가정된 대상을 위해 자동 포커스 시스템에 의해 선택된 거리, 무한대, 기타 등등과 같은 2 이상의 거리와 같이, 복수의 각각의 거리들에서 복수의 포커스 위치들에서 포커싱하도록 설정된 이미지 캡쳐 디바이스 (110) 를 이용하여 복수의 이미지 데이터 셋트들이 수집된다. 에지 검출 및 깊이 데이터 생성 모듈 (148) 은 상이한 포커스 거리들에서 수집된 복수의 이미지 데이터 셋트들에서 에지들을 일단 식별하면, 이 에지 검출 및 깊이 데이터 생성 모듈 (148) 은 장면의 무슨 오브젝트들의 무슨 에지들이 하드 에지들을 나타내고, 그리고, 따라서 상이한 포커스 거리들에서 포커스에 있거나 또는 포커스에 더 가깝게 있는지를 식별한다. 따라서, 에지 검출 및 깊이 데이터 생성 모듈 (148) 은 이미지 캡쳐 디바이스 (110) 에 의해 수집된 2 차원 이미지 데이터를 이용하여 이미지 데이터 셋트들에서 오브젝트들의 이미지 캡쳐 디바이스 (110) 에 대한 깊이를 식별한다.
이미지 데이터, 깊이 데이터, 및 이들의 임의의 조합은 이미지 저장 시스템 (170) 에 제공되는 프로세싱된 이미지 데이터 (160) 를 생성하는 압축 및 저장 모듈 (150) 로 보내진다. 이미지 저장 시스템 (170) 은 하나 이상의 디스플레이 버퍼들, 레지스터들, 캐시들, 플래시 메모리 엘리먼트들, 하드 디스크들, 임의의 다른 저장 디바이스, 또는 이들의 임의의 조합과 같은, 임의의 유형의 저장 매체를 포함할 수도 있다. 시스템 (100) 의 출력 (180) 은 프로세싱된 이미지 데이터 (160) 에 포함된 깊이 데이터를 포함하여 프로세싱된 이미지 데이터 (160) 를 제공한다. 출력 (180) 은 도 1 에 도시된 바와 같이 이미지 저장 디바이스 (170) 로부터 제공될 수도 있고, 또는, 이미지 프로세싱 시스템 (140) 으로부터 제공될 수도 있다.
특정 실시형태에서, 에지 검출 및 깊이 생성 모듈 (148) 은 이미지 데이터 포인트들 사이의 차분 (differential) 들 및 에지들을 하드 또는 소프트로 식별하기 위한 차분들의 비를 평가하기 위해 이미지 데이터에 커널 필터들 또는 커널 (kernel) 들을 적용한다. 본원에서 사용된 바와 같이, "차분 (differential)" 이라는 용어는 이미지 데이터의 셋트에서 2 개의 이미지 데이터 포인트들 사이의 값의 하나 이상의 차이들을 나타내기 위해 사용된다. 즉, 나중에 더 자세히 설명하겠지만, 차분은 2 개의 이미지 데이터 포인트들을 연결하는 라인 또는 곡선의 기울기로서 여겨질 수 있다. 커널은 선택된 포인트 주위의 포인트들의 범위에 대해 측정된 값들에 적용되는 계수들 또는 가중치들의 매트릭스를 포함한다. 예시적인 실시형태에서, 매트릭스는 3×3 또는 5×5 매트릭스이고, 따라서, 그 매트릭스가 적용되는 실제 이미지 데이터의 셋트보다 훨 씬 더 작다. 이미지 데이터를 필터링하기 위해, 이미지 데이터의 모든 포인트들 또는 선택된 포인트들의 이웃 (neighborhood) 들로 잇따라 커널이 적용된다. 예를 들어, 5×5 커널이 사용되는 경우, 커널은 5×5 범위의 포인트들에 적용되고, 이 5×5 범위의 포인트들은 연구 하의 각 포인트가 하드 에지의 일부분이라는 것을 나타내는지, 소프트 에지의 일부분이라는 것을 나타내는지, 또는 에지가 전혀 없다는 것을 나타내는지를 판정하는데 도움을 주기 위해 데이터 값들을 증폭시키기 위한 계수들 또는 가중치들을 선택적으로 적용하기 위해 연구 하의 각 포인트에 관해 센터링된다.
특정 실시형태에서, 출력 (180) 은 실시간 비디오 데이터 송신을 제공하기 위한 무선 송신기 (미도시) 에 커플링된다. 실시간 비디오 데이터 송신은 실시간 무선 전화를 가능하게 할 수도 있다. 깊이 데이터를 이용하여, 실시간 비디오 전화는 강화된 전경 레졸루션 (resolution), 배경 억제, 또는 이미지의 부분들의 깊이에 기초한, 장면의 부분들의 강화 또는 억제 (suppression) 의 몇몇 다른 조합을 포함할 수도 있다.
도 2 는 소프트 에지 및 하드 에지가 각각 어떻게 이미지 데이터 셋트의 축을 따라 일련의 포인트들에 걸쳐 이미지 데이터에서 나타날 수도 있는지에 대한 예들을 나타내는 한 쌍의 곡선들 (200 및 250) 을 묘사한 그래프들을 도시한다. 하드 및 소프트 에지들을 식별하기 위한 탐색에서, 도 1 의 에지 검출 및 깊이 생성 모듈 (136) 과 같은, 에지 검출 모듈 또는 시스템은 인접 포인트들 간의 차이들을 확대 또는 과대화하기위해 이미지 데이터의 포인트들에 커널 필터 또는 커널을 적용할 수도 있다. 예를 들어, 포인트 P (210) 에 커널을 적용하는 것은 변형된 곡선 (220) 을 산출하기 위해 포인트 P 및 주위의 데이터 포인트들의 값 사이의 차분을 과대화하기 위해 주위의 데이터 포인트들에 가중된 계수들을 적용한다. 예시의 목적을 위해, 제 1 곡선 (200) 은 소프트 에지를 따른 포인트들의 샘플링을 나타내고, 제 2 곡선 (250) 은 하드 에지를 따른 포인트들의 샘플링을 나타낸다고 가정된다. 제 1 곡선 (200) 에 커널의 가중된 값들을 적용하는 것은 제 1 변형된 곡선 (220) 을 산출한다. 제 1 변형된 곡선 (220) 의 과대화된 윤곽들은, 에지가 존재하고, 하지만, 제 1 변형된 곡선 (220) 의 과장된 형태이더라도, 제 1 변형된 곡선 (220) 은 소프트 에지로서 식별될 수도 있다는 것을 명확히 할 수도 있다. 반대로, 포인트 P' (260) 에 커널을 적용하는 것은 제 2 변형된 곡선 (270) 을 산출하고, 이 제 2 변형된 곡선은 에지가 하드 에지라는 것을 명확히 할 수도 있다. 제 2 변형된 곡선 (270) 의 부분들의 차분들, 그 차분들의 비, 또는 이들의 조합을 조사하는 것은 하드 에지로서 에지가 분류되는 것을 가능하게 한다. 나중에 더 설명할 것이지만, 변형된 곡선들 (220 및 270) 은 변형된 곡선들이 하드 에지를 의미하는지 또는 소프트 에지를 의미하는지를 식별하기 위해 변형된 곡선들 (220 및 270) 의 차분들, 변형된 곡선들 (220 및 270) 의 부분들의 차분들의 비, 또는 이들의 임의의 조합을 결정하기 위해 조사된다. 커널들의 응용 및 예시적인 커널들 및 커널 값들은 나중에 더 자세히 설명된다.
도 3 은 3 개의 데이터 포인트들의 2 개의 셋트들에 대한 2 개의 가정적 변형된 커브들 (300 및 350) 의 그래픽 표현이다. 커브들 (300 및 350) 은 차분들 및 그들의 비가 어떻게 이미지 데이터의 소프트 및 하드 에지들을 식별하기 위해 사용될 수도 있는지를 예시하기 위해 제공된다. 도 3 의 그래픽 표현들의 수직 축들 상에 표현된 데이터 포인트들의 값들은 변형된 커브들 (300 및 350) 양자 모두에서 동일한 양만큼 증가한다. 하지만, 데이터 포인트들의 값들이 증가하는 비율은 2 개의 변형된 곡선들 (300 및 350) 간에 상이하고, 이는 제 1 변형된 곡선 (300) 에서 소프트 에지의 존재를 나타내고, 제 2 변형된 곡선 (350) 에서 하드 에지의 존재를 나타낸다.
포인트 A (310), B (320), 및 C (330) 를 포함하는 데이터 포인트들의 제 1 셋트 (300) 는, 포인트 A (310), B (320), 및 C (330) 의 이미지 강도 (intensity) 가 포인트 A (310) 의 낮은 값에서 포인트 B (320) 의 더 높은 값으로, 그 다음, 포인트 C (330) 의 다음 더 높은 값으로 점차 시프트되는 소프트 에지를 표현한다. 제 1 변형된 곡선을 따라 포인트 A (310) 에서 포인트 B (320) 로 그리고 포인트 C (330) 로 강도 값에서의 상대적으로 점진적인 증가는 소프트 에지의 존재를 나타낸다. 반대로, 제 2 변형된 곡선 (350) 은 포인트 D (360), E (370), 및 F (380) 를 포함하고, 하드 에지를 표현한다. 제 2 변형된 곡선 (350) 은 포인트 D (360) 및 E (370) 의 강도 값들과 포인트 F (380) 의 강도 값 사이에 상대적으로 가파르게 시프트되는 이미지 강도를 묘사한다. 포인트 D (360) 와 포인트 F (380) 사이의 이미지 강도의 시프트에 비해 포인트 E (370) 와 포인트 F (380) 사이의 이미지 강도의 상대적으로 가파른 증가는 하드 에지의 존재를 나타낸다.
제 1 변형된 곡선 (300) 및 제 2 변형된 곡선 (350) 이 강도 값들을 증가시킴으로써 식별될 수도 있는 소프트 및 하드 에지들 ("상승 에지들") 을 나타냄에도 불구하고, 소프트 및 하드 에지들은 또한 강도 값들을 감소시킴으로써 식별될 수도 있다 (하강 에지들). 예를 들어, 포인트 A 의 강도 값이 200 이고, 포인트 B 의 강도 값이 100 이며, 포인트 C 의 강도 값이 0 인 다른 실시형태에서, 포인트 A 에서 포인트 B 로 그리고 포인트 C 로의 강도 값들의 상대적으로 완만한 감소는 소프트 하강 에지를 나타낼 수도 있다. 따라서, 포인트들 사이의 강도 차이들의 크기들 또는 절대 값들은, 상승 및 하강 양자 모두에서 소프트 에지들 및 하드 에지들의 검출 및 식별을 수용하기 위해 비교될 수도 있다. 예를 들어, 포인트 A 로부터 포인트 C 로의 강도 변화의 크기와, 포인트 B 로부터 포인트 C 로의 강도 변화의 크기 사이의 비교는 상승 또는 하강 소프트 에지들 및 상승 또는 하강 하드 에지들을 식별하기 위해 이용될 수도 있다.
커브들 (300 및 350) 에 의해 표현되는 포인트들의 셋트들은 이미지 데이터 내의 소프트 에지 및 하드 에지를 각각 나타내는 이미지 내의 상이한 포인트들을 표현할 수도 있다. 다르게는, 표현된 포인트들의 셋트들은 동일한 장면의 이미지 데이터의 2 개의 셋트들 내의 동일한 3 개의 포인트들을 나타낼 수도 있다. 제 1 변형된 곡선 (300) 은, 오브젝트가 장면이 포커스 내에 있었던 포인트로부터 장면 내의 상이한 깊이에 있었기 때문에 포커스 내에 있지 않은 오브젝트의 에지에 의해 야기된 오브젝트의 소프트 에지를 표현할 수도 있다. 제 2 변형된 곡선 (350) 은 포커스 내에 있는 오브젝트로부터 초래되고 따라서 가파르게 정의되는 오브젝트의 하드 에지를 나타낼 수도 있다. 이 경우, 본 개시의 실시형태들에 따라, 에지가 제 1 알려진 포커스 거리 또는 포커스 위치에서 소프트하게 정의되는지 아니면 제 2, 제 3, 또는 다른 알려진 포커스 거리에서 가파르게 정의되는지를 판정함으로써, 또는 그 역인지를 판정함으로써, 장면 내의 오브젝트의 상대적인 깊이가 결정될 수도 있다. 장면 내의 하나 이상의 오브젝트들에 대해 연속적으로 하드/소프트 에지 판정들을 수행함으로써, 장면 내의 오브젝트들의 각각과 연관된 깊이 데이터를 이용하여 장면에 대한 깊이 맵이 형성될 수 있다.
본 개시의 실시형태들은, 3 개의 포인트들 (예를 들어, 포인트 A (310), B (320), 및 C (330) 또는 포인트 D (360), E (370), 및 F (380)) 에서 이미지의 하나의 축을 따라 2 차원 신호를 샘플링하기 위해 커널을 적용함으로써, 단일-패스 (single-pass) 프로세스에서 하드 및 소프트 에지들을 식별할 수도 있다. 본 개시의 실시형태들은 그 다음, 도 4 에 그래픽으로 도시된 바와 같이, 포인트 B (320) 및 C (330) 와 같은 리딩 (leading) 포인트들의 제 1 미분의, 포인트 A (310) 및 C (330) 와 같은, 제 1 포인트로부터 제 3 포인트로의 래깅 (lagging) 포인트들의 제 2 미분에 대한 비를 이용한다.
도 4 는 포인트들을 연결하는 라인의 기울기로서 이들 포인트들의 차분을 그래픽적으로 도시한다. 도 4 는 소프트 에지와 연관된 제 1 변형된 곡선 (300) 을 고려하면, 리딩 포인트들 B (320) 및 C (330) 사이의 라인의 차분 또는 기울기가 dBC (410) 로서 표현되고, 래깅 포인트들 A (310) 및 C (330) 사이의 라인의 차분은 dAC (420) 로서 표현된다. 도 4 의 시각적 검토는 차분 dBC (410) 와 dAC (420) 사이의 차이가 상대적으로 경미하다는 것을 나타낸다. 반면, 하드 에지와 연관된 제 2 변형된 곡선 (350) 을 고려하면, 리딩 포인트들 E (370) 및 F (380) 사이의 라인의 차분은 dEF (460) 로서 표현되고, 래깅 포인트들 D (360) 및 F (380) 사이의 라인의 차분은 dDF (470) 로서 표현된다. 도 4 에 도시된 바와 같이, 차분들 dEF (460) 와 dDF (470) 사이의 차이는 적어도 차분들 dBC (410) 와 dAC (420) 사이의 차이보다 더 크다. 따라서, 에지가 하드인지 소프트인지 알려져 있지 않은 경우에는, 차분들의 비가 에지들을 하드 또는 소프트로서 분류하기 위해 이용될 수 있다.
도 5 는 하드 또는 소프트 에지를 나타내는 것으로서 차분들 및 차분들의 비를 분류하기 위해 이용될 수도 있는 가정적인 차분 임계값들을 나타낸다. 도 5 에서, 리딩 포인트들의 셋트들 사이의 차분들은 포인트 A (310), B (320), 및 C (330) 에 대한 실제 값들로부터 포인트 1 (510), 포인트 2 (520), 포인트 3 (530), 및 포인트 4 (540) 에서 경험적으로 선택된 값들까지 점선들에 의해 표시된다. 래깅 포인트들의 셋트들 사이의 차분들은 각 포인트들 사이의 파선 (dashed line) 들에 의해 표시된다.
에지의 존재를 나타내는 것으로 표현되는 값들의 크기에서의 증가에 추가하여, 포인트들 사이의 차분들 및 이들 차분들의 비는 에지가 소프트 에지인지 또는 하드 에지인지 여부를 나타낼 수도 있다. 리딩 차분과 래깅 차분 사이의 더 큰 비는, 도 4 의 차분들 dEF (460) 및 dDF (470) 의 비에 의해 도시되는 바와 같이, 하드 에지를 나타낸다. 따라서, 예를 들어, 그 비가 포인트 B (320) 와 포인트 1 (510) 사이의 리딩 차분 및 포인트 A (310) 와 포인트 1 (410) 사이의 래깅 차분의 비였다면, 그 비는 하드 에지를 나타낼 것이다. 한편, 포인트들 B (320) 및 3 (530) 사이의 리딩 차분과 포인트 A (310) 및 포인트 3 (530) 사이의 래깅 차분의 비가 1 에 가까운 경우, 이는 포인트들 B (320) 및 3 (530) 사이의 리딩 차분과 포인트 A (310) 및 포인트 3 (530) 사이의 래깅 차분을 나타내는 직선들이 일반적으로 공통 선형성 (co-linear) 이라는 것을 나타내고, 그 비는 소프트 에지를 나타낼 것이다. 따라서, 차분들의 비를 결정하고, 그 차분들을 선택된 임계값들과 비교함으로써, 에지가 하드인지 소프트인지에 대한 효율적인 판정이 이루어질 수 있다.
커널에서 사용된 계수들은 하드 에지들, 소프트 에지들, 또는 하드 및 소프트 에지들 양자 모두를 검출하는데 있어 커널의 유효성을 제어한다. 예를 들어, 다음의 1 차 커널의 커널 (1) 은 하드 에지들을 식별하는데 유효하다.
Figure pct00001
하지만, 커널 (1) 은 소프트 에지들을 식별하지 않는다. 소위 1 차 및 2 차 커널들에서의 "차수 (order)" 는 1 은 1 차의 크기, 10 은 2 차의 크기, 100 은 3 차의 크기 등인 경우의 순차적인 차수들의 크기를 지칭하지 않는다는 것에 유의하여야 한다. 대신, 차수들의 크기는, 한자리수 값과 같은 1 차의 크기를 1 차의 크기로 지칭하고, 다음 차수의 크기가 무엇이든지 간에, 1000 등을 2 차의 크기로서 지칭한다.
추가적인 예로서, 다음과 같은 2 차 커널의 커널 (2) 은 소프트 에지들 식별에 있어서 커널 (1) 보다 더 유효하다.
Figure pct00002
하지만, 커널 (2) 는 소프트 에지들보다 하드 에지들에 대해 여전히 더 민감하고, 잡음 및 텍스쳐 (texture) 들에 민감할 수도 있다.
본 개시의 실시형태들은 하드 및 소프트 에지들 양자 모두를 식별하기 위해 선택된 커널을 적용한다. 예를 들어, 본 개시의 실시형태들은 5×5 2 차 커널을 현재 연구 중인 선택된 포인트에 관해 센터링된 8-비트 데이터 값들의 5×5 포인트 이웃에 적용할 수도 있다. 하드 에지들 및 소프트 에지들 양자 모두를 식별하기 위해 동작가능한 커널의 일예가 커널 (3) 에 의해 주어진다.
Figure pct00003
커널 (3) 은 제 1 행 및 마지막의 제 5 행의 오직 0 의 값들만 포함하는 2 개의 행들을 포함한다. 커널 (3) 은 또한, 0 이 아닌 값들을 포함하는 3 개의 행들을 포함하고, 커널 (3) 의 제 2 행은 -1, 0, -1000, 0, 및 1001 값들을 포함하고, 커널의 제 3 행은 -2, 0, -2000, 0, 및 2002 값들을 포함하며, 커널의 제 4 행은 -1, 0, -1000, 0, 및 1001 값들을 포함한다. 따라서, 3 개의 넌-제로 (non-zero) 행들의 각각은 음의 1 차 크기 값 -1 또는 -2 값, 음의 2 차 크기 값 -1000 또는 -2000, 및 1001 값에 포함된 -1 값의 1 과 같이 1 차 크기의 컴포넌트를 갖는 양의 1 차 크기를 갖는다. 아래에서 더 자세히 설명할 것이지만, 1 차 및 2 차 크기를 갖는 커널 값들을 선택하는 것은 에지 검출 모듈 (136) 이 단일 패스에서 선택된 포인트들의 2 이상의 차분들을 식별할 수 있도록 한다.
커널에서의 넌-제로 값들에 대한 차수들의 크기는 분석되는 신호의 유형에 기초하여 선택될 수도 있다. 커널 (3) 은, 각 픽셀 값의 강도가 0 에서 255 사이의 기본적인 10 개의 값을 초래하는 8-비트 값을 이용하여 표현되는 8-비트 디지털 이미지 신호에 특히 잘 어울릴 수도 있다. 넌-제로 값들에 대해 선택된 2 차 크기는, 열 (column) 의 1 차 넌-제로 컴포넌트들에 의해 곱해질 때 픽셀 값들의 합이 2 차 크기 내로 오버플로우 (overflow) 할 기회가 없거나 거의 없도록 선택된다. 일예로서 8-비트 이미지를 사용하여, 최대 픽셀 값 255 에 커널 (3) 의 1 차 크기 값들 -1, -2, 및 -1 에 의해 곱한 것의 합은 1*255+(2*255)+1*255 또는 1020 이고, 이는 커널 (3) 의 2 차 크기의 값들 -1000, -2000, 1001, 및 2002 내로 오버플로우한다. 따라서, 커널 (3) 의 2 차 크기 값들 내로의 오버플로우는 250 또는 그보다 더 높은 픽셀 값들에 대해 가능하다.
각각의 위치들 내의 픽셀들의 각각은 250 이상의 8-비트 값을 나타내어 이에 따라 커널 (3) 의 2 차 크기 내로 오버플로우할 것 같지 않다. 커널 (3) 의 2 차 크기 내로의 오버플로우를 야기할 조건의 비실현가능성에도 불구하고, 10,000 등과 같이 더 큰 2 차 크기를 선택하는 것은 오버플로우의 가능성을 제거한다. 더 큰 또는 더 작은 수의 비트들로 표현된 신호들에 대해, 더 큰 또는 더 작은 차수의 크기를 갖는 넌-제로 값들이 사용될 수도 있다. 예를 들어, 16-비트 이미지에 대해, 1,000,000 과 같은 더 큰 차수들의 크기를 갖는 넌-제로 값들이 사용될 수도 있다. 한편, 2-비트 신호에 대해, 100 과 같은 더 작은 차수들의 크기를 갖는 넌-제로 값들이 사용될 수도 있다. 따라서, 커널의 2 차 크기의 넌-제로 값들은, 하드 에지 또는 소프트 에지로서 에지를 분류하기 위해 탐색함에 있어 데이터 값들을 적절하게 확대하기 위해 신호의 최대 가능 값의 함수로서 선택될 수도 있다.
이미지에서 에지들을 식별하기 위해 커널 (3) 을 적용하고 차분들을 도출하기 위해, 도 1 의 에지 검출 및 깊이 데이터 생성 모듈 (136) 과 같은 에지 검출 모듈은 이미지 데이터의 셋트 내의 포인트들의 각각에 커널을 적용한다. 에지 검출 모듈 (136) 은 선택된 포인트를 식별하고, 그 선택된 포인트 및 이웃 포인트들에 대한 데이터 값들을 판독한다. 5×5 포인트 이웃들 및 5×5 커널을 분석하기 위해 선택함에 있어, 이미지의 분석은 이미지의 제 3 행 및 제 3 열의 포인트로 시작하여, 선택된 포인트의 좌, 우, 상, 하 적어도 2 개의 포인트에 대해 값들이 이용가능함을 보장한다. 에지 검출 모듈 (136) 은 그 다음, 픽셀 값들에 의해 곱해진 커널의 합을 계산하기 위해 커널과 선택된 포인트 주위의 데이터 값들에 대한 컨볼루션 (convolution) 을 계산함으로써 커널 (3) 을 적용한다. 포인트들의 각각과 연관된 강도를 식별하는 데이터 값들의 각각은 가중된 포인트 값들을 획득하기 위해 커널 내의 대응하는 위치의 값에 의해 곱해진다. 가중된 포인트 값들은 그 다음 합산된다. 데이터의 범위가 선택된 포인트의 좌, 우, 상, 또는 하로의 포인트들을 포함하지 않을 수도 있는, 이미지의 에지 상의 선택된 포인트들에 대해, 이들 포인트들은 스킵될 수도 있다. 다르게는, 이들 포인트들에 대한 값들은 선택된 포인트의 이웃의 이용가능한 포인트들로부터 외삽 (extrapolate) 또는 내삽 (interpolate) 될 수도 있고, 또는, 임의의 다른 적합한 프로세스로부터 값들을 공급받을 수도 있다.
예시를 위해, 커널 (3) 은 아래의 매트릭스 (4) 에 의해 표현되는 소정 범위의 값들에 적용된다. 매트릭스 (4) 의 부드럽게 변화하지만 점차로 증가하는 데이터 값들로부터, 데이터 값들의 중심에서의 선택된 포인트는 소프트 에지 상에 있다고 추론될 수 있다.
Figure pct00004
커널 (3) 과 매트릭스 (4) 의 컨볼루션은 식 (1) 에 의해 주어지는 합산된 값들을 리턴한다.
Figure pct00005
나누기 1000 또는 "div 1000" 연산 및 모듈로 (modulo) 1000 또는 "mod 1000" 연산을 적용하는 것은 80 의 신호의 리딩 에지의 차분 및 160 의 신호의 래깅 에지의 차분을 산출한다. 이 2 개의 값들을 5 개의 픽셀들에 대한 기울기 측정에 대해 정규화하기 위해, 리딩 에지 결과는 2 로 곱해져 160 과 160 의 차분들을 산출한다. 리딩 에지 차분 및 래깅 에지 차분의 비는 따라서 1 이고, 이는 소프트 에지를 나타내는 완만한 차분을 나타낸다.
추가적인 예시를 위해, 강도 값들이 부드럽게 증가하지 않아 하드 에지가 존재할 수도 있다는 것을 암시하는 매트릭스 (5) 에 의해 표현되는 신호에 커널 (3) 이 적용된다.
Figure pct00006
커널 (3) 과 매트릭스 (5) 의 컨볼루션은 식 (2) 에 의해 주어진 합산된 값들을 리턴한다.
Figure pct00007
나누기 1000 또는 "div 1000" 연산 및 모듈로 1000 또는 "mod 1000" 연산을 적용하는 것은 160 의 신호의 리딩 에지의 차분 및 160 의 래깅 에지의 차분을 산출한다. 이 2 개의 결과들을 5 개의 픽셀들에 대한 차분 측정치에 대해 정규화하기 위해, 리딩 에지 결과는 2 로 곱해져 320 과 160 의 차분들을 산출한다. 리딩 기울기와 래깅 기울기의 비는 따라서 2 이다. 이는, 이전의 매트릭스 (4) 에 의해 표현된 신호의 경우와 같이 에지가 균일하게 상승하지 않는다는 것을 나타낸다. 에지가 균일하게 상승하지 않기 때문에, 에지는 하드 에지로서 분류가능하다.
리딩 에지 차분, 래깅 에지 차분, 및 데이터 값들의 매트릭스들 (4) 및 (5) 에 대한 커널 (3) 의 적용으로부터 도출된 래깅 에지 차분에 대한 리딩 에지 차분의 비를 이용하여, 데이터 값들의 센터에서의 선택된 포인트가 하드 에지를 나타내는지 또는 소프트 에지를 나타내는지는, IF-타입의 진술문들 (statements), 룩업 테이블들, 또는 다른 프로그래밍 또는 회로 구조들을 이용하여 소정의 임계값들에 대해 그 차분들 및 그들의 비를 비교함으로써 판정될 수도 있다.
선택된 포인트 주위의 데이터 값들을 하드 에지 또는 소프트 에지를 나타내는 것으로서 분류하기 위해 데이터를 프로세싱하는 것의 일 실시형태에서, 리딩 에지의 차분이 래깅 에지의 차분보다 더 큰 거리에 걸쳐 확장하기 때문에, 리딩 에지의 차분은 넓은 에지 또는 'w-에지" 로 지칭되도록 지정되고, 래깅 에지의 차분은 좁은 에지 또는 "n-에지" 로서 지정된다. n-에지, w-에지, 및 w-에지에 대한 n-에지의 비는 실제로 데이터 값들이 에지의 존재를 나타내는지를 판정하기 위해 이용된다. 차분들이 에지의 존재를 나타내는 경우, 차분들의 비는 에지가 소프트 에지인지 또는 하드 에지인지를 판정하기 위해 고려된다.
Figure pct00008
이미지 데이터의 포인트들에 커널을 적용함에 있어서 동일한 계산적 분석에 기초하여, 하드 에지가 존재하는지를 판정하기 위해 차분들 및 그들의 비가 평가될 수도 있다. 전술한 바와 같이, 데이터 값들이 소프트 에지의 존재를 나타내는지 여부를 판정함에 있어서, 데이터가 임의의 유형의 에지가 존재하는지를 나타내는지 여부 및 그 에지가 소프트 에지인지 여부가 판정되었다. 데이터 값들이 에지의 존재를 나타내지만 에지는 소프트 에지가 아니라고 판정된 경우, 에지가 하드 에지로서 분류되어야 하는지 여부에 대한 판정의 프로세스는 상대적으로 짧을 수도 있다.
Figure pct00009
이미지 데이터의 데이터 포인트들의 매트릭스들에 커널들을 적용하는 프로세스는 계산적 프로세스들을 감소시키기 위해 실질적으로 최적화되거나 변형될 수도 있다. 본 개시의 일 실시형태에서, 전술한 5×5 커널 (3) 과 같은, 5×5 커널은 커널 (6) 에서 나타낸 바와 같이 매트릭스의 0 값들을 제거함으로써 3×3 매트릭스로 감소되어 3×3 커널 (7) 을 산출할 수도 있을 것이다.
Figure pct00010
데이터 값들의 3×3 매트릭스들에 적용된, 0 값들을 제거한 3×3 커널 (7) 을 이용하는 것은 마치 5×5 커널이 데이터 값들의 5×5 매트릭스에 적용된 것처럼 데이터 값들을 프로세싱한다. 따라서, 포인트들의 3×3 매트릭스에 3×3 커널을 적용한 결과는 5×5 커널을 포인트들의 5×5 매트릭스에 적용하는 것만큼 사실상 엄격하지만, 데이터 매트릭스들에 커널을 적용함에 있어 더 적은 계산들이 관여된다.
또한, div 1000 및 mod 1000 연산들을 적용하여 데이터 포인트들의 2 스팬 (span) 들의 높이를 산출하는 대신에, div 및 mod 연산들은 1024 를 이용하여 수행될 수도 있고, 이 1024 는 2 의 배수이므로 바이너리 프로세싱 시스템에서 더 빠른 시프트 연산자의 사용을 가능하게 한다. div 1024 및 mod 1024 연산을 수용하기 위해 커널 (7) 에서 1024 로 대체하면, 커널 (7) 은 변형된 3×3 커널 (8) 을 산출하도록 변형된다.
Figure pct00011
장면에 대해 수집된 일련의 이미지 데이터 셋트들에 대해 전술한 바와 같은 에지 검출 프로세스를 수행하면, 깊이 맵 또는 다른 깊이 데이터의 수집이 그 장면에 대해 생성될 수 있다. 본 개시의 특정 실시형태에 따르면, 복수의 상이한 포커스 거리들에서의 단일 뷰에 대해 이미지 데이터의 다수의 셋트들이 캡쳐된다. 그 다음, 이미지 데이터 셋트들의 각각이 캡쳐되는 포커스 거리를 모니터링하고, 무슨 포커스 거리들에서 장면 내의 오브젝트들의 에지들이 하드 또는 소프트로 되는지를 모니터링함으로써, 깊이 데이터가 오브젝트들과 연관될 수 있다.
도 6 은 이미지 캡쳐 디바이스 (602) 를 이용하여 이미지 데이터가 캡쳐된, 일반적으로 600 으로 지정된 장면을 도시한다. 이미지 캡쳐 디바이스 (602) 로부터 증가하는 거리의 축 (604) 은 장면 (600) 의 전경 또는 전경 부분 (606) 으로부터 장면 (600) 의 배경 또는 배경 부분 (608) 으로 뻗는다. 장면은 3 개의 오브젝트들: 정사각형 (square; 612), 원 (614), 및 삼각형 (616) 을 포함한다. 도 7 에 도시된 바와 같이, 오브젝트들 (612, 614, 및 616) 의 각각이, 오브젝트들의 각각이 포커스 내에 있는 이미지 데이터 셋트에서 캡쳐되었다면, 이미지 데이터 셋트는 이미지 (710) 와 같은 시각적 표현을 산출할 것이다. 이미지 (710) 에서, 정사각형의 표현 (712) 은 원의 표현 (714) 과 부분적으로 중첩하고, 이 원의 표현 (714) 은 다시 삼각형의 표현 (716) 과 부분적으로 중첩한다. 단순함을 위해, 도면들에서 포함된 후속 이미지들에서, 오브젝트의 뷰 또는 표현을 의미하기 위해 오브젝트의 명칭이 사용될 것이다. 따라서, 예를 들어, 정사각형 (712) 의 뷰 또는 표현은 정사각형 (712) 으로 지칭될 것이다.
도 8 은, 에지 검출 및 깊이 데이터 결정을 수행하기 위해 샘플링된 도 7 의 이미지 (710) 로부터의 이미지 데이터의 부분들의 특정 예시적인 실시형태이다. 이미지 데이터 (800) 의 부분은 선택된 포인트 (820) 에 관해 샘플링된 포인트들의 범위 (810) 를 보이기 위해 확대되었다. 전술한 바와 같이, 3×3 커널을 이용하여 프로세싱된 3×3 범위의 포인트들은 포인트들의 범위 (810) 에서의 강도 값들에 기초하여 신뢰가능한 에지 검출을 수행하기 위해 이용될 수도 있다. 따라서, 선택된 포인트 (820) 에 대해 적합한 범위의 포인트들이, 선택된 포인트 (820) 아래의 행 (830), 선택된 포인트 (830) 의 행 (840), 선택된 포인트 (820) 위의 행 (850), 선택된 포인트 (820) 의 좌측 열 (860), 선택된 포인트 (820) 를 포함하는 열 (870), 및 선택된 포인트 (820) 의 우측 열 (880) 로부터 수집된다. 다르게는, 5×5 범위의 포인트들과 같이 포인트들의 더 큰 범위가 이용되어 5×5 커널을 이용하여 프로세싱될 수도 있을 것이다.
포인트들의 범위들에 대한 데이터가 따라서 이미지 데이터 (890) 의 제 1 부분 및 이미지 데이터 (892) 의 제 2 부분과 같이, 이미지 데이터의 부분들에 대해 수집된다. 제 1 부분 (890) 은 이미지 데이터의 전경의 부분을 포함할 수도 있고, 제 2 부분 (892) 은 이미지 데이터의 배경을 포함할 수도 있고, 또는, 장면 내의 임의의 다른 포인트에서의 이미지 데이터의 부분들을 포함할 수도 있다. 이미지 데이터의 부분들 (890 및 892) 의 각각에 대해 커널 (894) 의 적용에 의해서와 같이, 전술한 바와 같이 이미지 데이터의 부분들 (890 및 892) 을 프로세싱함으로써, 이미지 데이터의 부분들 (890 및 892) 은 에지의 부존재 또는 에지의 존재를 나타내는 것으로서 분류될 것이다. 예를 들어, 정사각형의 에지를 포함하는 이미지 데이터의 제 1 부분 (890) 에 대해, 에지의 존재가 검출될 수도 있다. 한편, 장면 내의 오브젝트의 어떤 것도 포함하지 않는 이미지 데이터의 제 2 부분 (892) 에 대해, 아무런 에지도 검출되지 않을 것이다. 에지가 검출되는 이미지 데이터의 부분들에 대해, 그 다음, 에지는 하드 에지 또는 소프트 에지로서 분류될 수도 있다.
도 9 는 복수의 오브젝트들을 포함하는 단일의 장면에 대해 일반적으로 900 으로 지정된 일련의 상이한 이미지 데이터 셋트들을 도시한다. 일련의 이미지 데이터 셋트들 (900) 은 본 개시의 실시형태들이 깊이 데이터를 생성하기 위해 이미지 데이터에서 하드 및 소프트 에지들의 검출을 어떻게 이용하는지를 예시하기 위한 일예로서 사용된다. 일련의 이미지 데이터 셋트들 (900) 은 이미지 캡쳐 디바이스 (602) 에 의해 다양한 포커스 거리들에서 캡쳐된 도 6 의 장면 (600) 에 대응한다.
제 1 이미지 (910) 는, 매크로 포커스 거리와 같이, 제 1 의, 근접 포커스 거리에서 오브젝트 상에 포커스된 이미지 캡쳐 디바이스로 기록된 이미지이다. 제 1 이미지 (910) 에서, 제 1 이미지의 전경에서의 정사각형 (912) 은, 정사각형 (912) 이 제 1 포커스 거리의 포커스 내에 있다는 것을 시각적으로 반영하기 위해 실선 윤곽을 갖는 것으로서 묘사된다. 정사각형 (912) 뒤에는 원 (914) 이 전경의 정사각형 (912) 에 의해 부분적으로 가려져 있다. 원 (914) 은, 그 원 (914) 이 제 1 포커스 거리의 포커스 내에 있지 않다는 것을 시각적으로 반영하기 위해 일점 쇄선 윤곽으로 현시된다. 원 뒤에는 삼각형 (916) 이 그 삼각형 (916) 의 앞에 나타나는 원 (914) 에 의해 부분적으로 가려져 있다. 삼각형 (916) 은, 그 삼각형 (916) 이 제 1 포커스 커리에서 원 (914) 보다 더 포커스 밖에 있다는 것을 시각적으로 반영하기 위해 이점 쇄선 윤곽으로 현시되어 있다.
제 2 이미지 (920) 는 제 1 포커스 거리보다 더 큰 제 2 포커스 거리에서 기록된 이미지이다. 제 2 이미지 (920) 는 원 (924) 이 위치한 이미지의 중앙에 포커스되어 있다. 원 (924) 은, 그 원 (924) 이 제 2 포커스 거리에서 포커스 내에 있다는 것을 반영하기 위해 실선 윤곽을 갖는 것으로서 묘사된다. 전경에서, 정사각형 (922) 은, 그 정사각형 (922) 이 제 2 포커스 거리에서 포커스 내에 있지 않다는 것을 시각적으로 반영하기 위해 파선 윤곽으로 현시되어 있다. 삼각형 (926) 은, 그 삼각형 (926) 이 제 2 포커스 거리에서 다시 포커스 밖에 있고, 하지만, 제 1 이미지 (910) 에서보다는 적게 포커스 밖에 있다는 것을 반영하기 위해 역시 파선으로 현시되어 있다.
제 3 이미지 (930) 는 삼각형 (936) 을 포커스 내로 가져오는, 무한대에 또는 무한대를 향해 이미지가 포커스되는 제 3 포커스 거리에서 기록된 이미지이다. 삼각형 (936) 은, 그 삼각형 (936) 이 제 3 포커스 거리에서 제 3 이미지 (930) 에서 포커스 내에 있다는 것을 반영하기 위해 실선 윤곽을 갖는 것으로 묘사되어 있다. 전경에서, 정사각형 (932) 은, 그 정사각형 (932) 이 제 2 포커스 거리에서보다 더 포커스 밖에 있다는 것을 시각적으로 반영하기 위해 2 점 쇄선 윤곽으로 현시되어 있다. 원 (934) 은, 그 원 (934) 이 여전히 제 3 포커스 커리에서 포커스의 밖에 있지만, 정사각형 (932) 보다는 더 포커스 내에 있다는 것을 반영하기 위해 일점 쇄선 윤곽으로 현시되어 있다.
도 10 은 도 9 의 이미지 데이터 셋트들 (900) 과 대응하는 일반적으로 1000 으로 지정된 일련의 에지 표현들을 도시한다. 에지 표현들 (1000) 에서, 하드 에지는 실선 윤곽으로 표현되고, 소프트 에지는 파선으로 표현되며, 인식가능한 에지들이 검출되지 않는 곳에는 윤곽이 도시되어 있지 않다.
도 9 의 제 1 이미지 (910) 의 제 1 에지 표현 (1010) 에서, 실선 윤곽을 갖는 정사각형 (1012) 은 제 1 에지 표현 (1010) 의 전경에 현시되어 있고, 이는, 제 1 이미지 코즈 (cause) 의 정사각형 (912) 의 포커스 내 에지들이 하드 에지들로서 식별된다는 것을 나타낸다. 원 (1014) 은 파선 윤곽으로 현시되어, 도 9 의 제 1 이미지 (910) 에서의 원 (914) 이 포커스를 벗어나 있지만 그 에지들은 제 1 포커스 거리에서의 소프트 에지를 현시하는 것으로서 여전히 식별가능하다는 것을 나타낸다. 도 9 의 제 1 이미지 (910) 의 삼각형 (916) 의 어떤 표현도 제 1 에지 표현 (1010) 에 포함되지 않는데, 이는 그 이미지는 임의의 에지가 검출될 수 있을 만큼 충분히 포커스 내에 있지 않기 때문이다.
제 2 포커스 거리에서의 제 2 에지 표현 (1020) 에서, 파선 윤곽을 갖는 정사각형 (1022) 은 도 9 의 제 2 이미지 (920) 에서 포커스 밖의 정사각형 (922) 의, 제 2 포커스 거리에서 소프트 에지들을 갖는 것으로서의 분류를 반영하는 것으로 현시된다. 원 (1024) 은, 도 9 의 제 2 이미지 (920) 의 포커스 내 원 (924) 의 에지들이 제 2 포커스 커리에서 하드 에지들로서 분류된다는 것을 반영하기 위해 실선 윤곽으로 현시된다. 삼각형 (1024) 은, 도 9 의 제 2 이미지 (920) 의 포커스 밖의 삼각형 (924) 의 에지들이 제 2 포커스 거리에서 소프트 에지들로서 분류된다는 것을 반영하기 위해 파선 윤곽으로 현시된다.
제 3 포커스 거리에서의 제 3 에지 표현 (1030) 에서는, 도 9 의 제 1 이미지 (910) 및 제 2 이미지 (920) 의 정사각형 (912 및 922) 의 표현 각각은 포함되지 않고, 이는 정사각형은 그 에지들이 제 3 이미지 (930) 에서 소프트 에지들로서 분류되더라도 포커스에서 너무 벗어나 있었기 때문이다. 원 (1034) 은, 도 9 의 제 3 이미지 (930) 에서의 원 (934) 의 포커스 밖의 에지들이 소프트 에지들로서 분류되었다는 것을 나타내기 위해 파선 에지들로 현시된다. 마지막으로, 삼각형 (1036) 은, 도 9 의 제 3 이미지 (930) 의 삼각형 (936) 의 에지들이 제 3 에지 표현 (1030) 의 포커스 거리에서 하드 에지들로서 분류되는 것을 반영하기 위해 실선 윤곽을 갖는다.
도 9 의 이미지 데이터 셋트들 (900) 로부터 도출된 도 10 의 에지 표현들 (1000) 을 이용하여, 깊이 맵과 같은 깊이 데이터가 이미지 데이터 셋트들 (900) 에서 표현된 이미지의 오브젝트들에 대해 생성될 수도 있다. 본 개시의 일 실시형태에서, 깊이 맵의 생성은, 최근접 포커스 위치에서 취해진 이미지의 에지 분석 및 이미지에서의 각 포인트에 대해 그 포인트 분류를 결정하기 위해 체크하는 것으로 시작한다. 각 포인트에 대한 분류는 저장된다. 프로세스는 그 다음, 포인트의 에지 분류가 변경되었는지를 판정하기 위해, 다음으로 근접한 포커스 위치에서, 다음 이미지에서의 각 포인트를 평가한다. 더욱 구체적으로, 포인트들의 각각에 대해, 임의의 포커스 위치들에서 포인트가 하드 에지로서 분류된다면 언제 하드 에지로서 분류되는지가 판정된다. 포인트들의 각각이 하드 에지와 연관되는 포커스 위치는 깊이 데이터에서 포인트에 할당될 포인트의 깊이로서 식별된다.
예를 들어, 본 개시의 일 실시형태에서, 다음과 같은 알고리즘이 깊이 맵을 생성하기 위해 이용된다.
Figure pct00012
도 11 은 도 9 의 이미지 데이터 셋트들 (900) 및 도 10 의 에지 표현들 (1000) 로부터 도출된 깊이 데이터의 논리 표현 (1100) 을 이용하여 형성된 깊이 맵 (1150) 의 특정 실시형태를 나타낸다. 깊이 데이터 (1100) 의 논리 표현은, 오브젝트들의 각각이 하드 에지들로서 식별된 오브젝트들의 에지들에 의해 표시되는 바와 같이 포커스 내에 있는 포커스 거리를 보여준다. 각각의 오브젝트가 포커스 내로 오게 되는 포커스 위치가 각 오브젝트와 그것의 깊이로서 연관된다. 구체적으로, 정사각형 (1112) 의 에지들은 깊이 또는 포커스 거리 1 (1122) 에서 하드 에지들로서 분류되었다. 유사하게, 정사각형 (1114) 의 에지들은 깊이 또는 포커스 거리 2 (1124) 에서 하드 에지들로서 분류되었고, 삼각형 (1116) 의 에지들은 깊이 또는 포커스 거리 3 (1126) 에서 하드 에지들로서 분류되었다.
따라서, 깊이 맵 (1150) 에서, 하드 에지가 식별된 포인트들은 그 하드 에지가 식별되었던 포커스 거리와 동일한 깊이를 할당받는다. 정사각형 (1152) 의 에지 상의 포인트들은 따라서 "1" 의 깊이를 할당받는다. 원 (1154) 의 에지 상의 포인트들은 "2" 의 깊이를 할당받는다. 삼각형 (1156) 의 에지 상의 포인트들은 "3" 의 깊이를 할당받는다. 포인트 (1158) 와 같이 아무런 하드 에지들도 식별되지 않은 포인트들은 0 의 깊이 또는 다른 널 (null) 깊이 값을 할당받는다. 따라서, 깊이 맵 (1150) 은 도 6 의 장면 (600) 의 도 9 의 이미지들 (910, 920, 및 930) 에 대응하는 이미지 데이터를 장면 (600) 내의 오브젝트들 (612, 614, 및 616) 의 각각의 상대적인 거리의 수치적 표시와 연관시킨다. 이 수치적 표시는 이미지 캡쳐 디바이스 (602) 로부터 오브젝트들 (612, 614, 및 616) 의 각각의 상대적인 거리를 나타낸다. 깊이 맵 (1150) 은 또한, 에지들이 검출되지 않은 이미지 데이터의 부분들에 널 깊이 값을 연관시킨다. 다르게는, 깊이 맵 (1150) 에서, 각 오브젝트는 오브젝트가 포커스를 잃어버린, 즉, 하드 에지로부터 소프트 에지로, 또는 소프트 에지로부터 에지 없음으로 천이된 포커스 거리에 대응하는 깊이를 할당받을 수도 있다.
도 12 는, 도 6 의 이미지 캡쳐 디바이스 (602) 의 가까운 포커스 위치의 관점을 나타내는 근접 포인트 (1202) 로부터 가장 먼 포커스 위치 (1204) 를 통한 에지 천이를 나타내기 위해 분류된 도 6 의 장면 (600) 내의 오브젝트들 (612, 614, 및 616) 의 에지들을 나타내는 도 10 의 에지 표현들 (1010, 1020, 및 1030) 의 투시도이다. 에지 분류 테이블 (1208) 은, 제 1 프레임 (1210), 제 2 프레임 (1220), 및 제 3 프레임 (1230) 을 포함하는 복수의 프레임들의 각각에서 정사각형 (612), 원 (614), 및 삼각형 (616) 을 포함하는 장면 (600) 내의 오브젝트들의 각각과 에지 분류들을 연관시킨다. 에지 분류들 및 에지 분류들 사이의 천이들은 오브젝트들 (612, 614, 및 616) 중 어느 것이 아래에서 더 자세히 설명되는 바와 같이 도 6 의 장면 (600) 의 플라이스루 뷰들 (flythrough views) 에 현시될 것인지를 판정하는데 이용된다.
에지 분류 테이블 (1208) 에서, 제 1 프레임 (1210) 내의 정사각형 (1212) 의 에지들은 하드 에지들 (1213) 로서 식별되고, 원 (1214) 의 에지들은 소프트 에지들 (1215) 로서 식별되며, 삼각형 (1216) 의 에지들은 검출되지 않았고 따라서 아무런 에지들도 현시하지 않는 것 (1217) 로서 분류된다. 제 2 프레임 (1220) 에 대해, 정사각형 (1222) 의 에지들은 소프트 에지들 (1223) 로서 식별되고, 원 (1224) 의 에지들은 하드 에지들 (1225) 로서 식별되며, 삼각형 (1226) 의 에지들은 소프트 에지들 (1227) 로서 분류된다. 제 3 프레임 (1230) 에 대해, 정사각형은 나타나지 않고, 따라서, 정사각형은 아무런 에지들도 현시하지 않는 것 (1233) 으로서 식별되고, 원 (1234) 의 에지들은 소프트 에지들 (1235) 로서 식별되며, 삼각형 (1236) 의 에지들은 하드 에지들 (1237) 로서 분류된다.
본 개시의 일 실시형태에서, 오브젝트들은, 오브젝트들의 에지가 소프트 에지로서든지 하드 에지로서 먼저 나타날 때 플라이스루 뷰의 프레임들에서 현시될 것이다. 다음 프레임으로 이동시, 현재 프레임으로부터 다음의 더 먼 포커스 위치를 나타내는 프레임으로 이동이든지, 또는, 현재 프레임으로부터 다음의 더 가까운 포커스 위치를 나타내는 프레임으로 이동하든지 간에, 동일한 에지 분류를 갖거나 소프트 에지 분류로부터 하드 에지 분류로의 그 천이를 갖는 오브젝트들이 다시 현시될 것이다. 한편, 특정 포커스 위치에 대해 에지가 검출되지 않거나 에지 분류가 하드 에지로부터 소프트 에지로 천이되지 않는 오브젝트들은 현시되지 않는다. 따라서, 현재 포커스 위치에서의 프레임으로부터 다음의 더 먼 포커스 위치로 이동하는 플라이스루 뷰에서, 오브젝트의 에지들이 하드 에지들로부터 소프트 에지들로 천이될 때, 그 오브젝트는 뷰어 (viewer) 가 장면 내로 "날아들어가는 (flies into)" 것 처럼 뷰어의 뒤로 통과할 것이다. 상응하여, 현재 포커스 위치로부터 다음의 더 가까운 포커스 위치로 이동하는 플라이스루 뷰에서, 오브젝트의 에지들이 하드 에지들로부터 소프트 에지들로 천이될 때, 오브젝트는 배경 내로 통과하고 뷰어가 장면으로부터 "날아나오는 (flies out)" 것에 더 이상 관심을 두지 않는 것으로 가정된다.
도 13 은 이미지 캡쳐 디바이스 (1302) 의 기준점에 가장 가까운 가까운 또는 전경 포커스 위치를 나타내는 제 1 프레임 (1310) 으로부터, 광학적 무한대 (1304) 를 향하는 먼 또는 배경 포커스 위치를 나타내는 제 3 프레임 (1330) 으로 이동하는, 도 6 의 장면 (600) 의 제 1 플라이스루 뷰 (1300) 를 도시한다. 도 13 은 또한, 광학적 무한대 (1354) 를 향한 먼 또는 배경 포커스 위치를 나타내는 제 3 프레임 (1380) 으로부터 가장 가까운 또는 전경 포커스 위치 (1352) 를 나타내는 제 3 프레임 (1360) 으로 이동하는 제 2 플라이스루 뷰 (1350) 를 도시한다. 사용자가 도 6 의 장면 (600) 내로 "날아들어가는" 제 1 플라이스루 뷰 (1300) 에서, 제 1 프레임 (1320) 은 정사각형 (1312) 및 원 (1314) 의 뷰를 나타낸다. 도 12 를 참조하여 전술한 바와 같이, 정사각형 (1212) 및 원 (1214) 의 에지들은 먼저 제 1 프레임 (1210) 에서 모습을 드러내고, 따라서, 정사각형 (1312) 및 원 (1314) 양자 모두는 제 1 프레임 (1320) 에서 나타난다. 도 12 의 제 1 프레임 (1210) 에 대해 삼각형은 검출된 에지들이 없는 것 (1217) 으로서 분류되었기 때문에, 제 1 프레임 (1310) 에서 삼각형의 이미지는 나타나지 않는다.
제 2 프레임 (1330) 으로 이동하면, 원 (1324) 및 삼각형 (1326) 이 현시된다. 도 12 를 참조하면, 원 (1224) 의 에지 분류는 제 1 포커스 위치와 제 2 포커스 위치 사이에서 소프트 (1215) 로부터 하드 (1225) 로 변화하고, 이는 원 (1224) 이 더 포커스 내에 있고, 따라서, 제 2 프레임 (1220) 의 제 2 포커스 위치에 더 가깝게 있다는 것을 나타낸다. 따라서, 원 (1324) 은 제 2 뷰 (1320) 에 포함된다. 도 12 의 에지 분류 테이블을 참조하면, 삼각형 (1226) 의 에지들은 먼저 제 2 프레임 (1220) 에 의해 표현되는 제 2 포커스 위치에서 검출되기 때문에, 삼각형 (1326) 또한 제 2 뷰 (1320) 에서 나타난다. 도 12 의 에지 분류 테이블 (1208) 에서 표시된 바와 같이, 정사각형의 에지 분류는 하드 (1213) 로부터 소프트 (1223) 로 변화되고, 이는 정사각형이 제 2 프레임 (1320) 의 플라이스루 뷰에서 포커스 밖으로 나오면서 이동하고 따라서 뷰어의 뒤로 이동하는 것을 나타내기 때문에, 제 2 프레임 (1320) 에서 정사각형의 이미지는 나타나지 않는다. 하지만, 예를 들어, 정사각형이 제 2 프레임 (1220) 에서 여전히 하드 에지들을 갖는 것으로서 분류되었다면, 이는 정사각형이 여전히 포커스 내에 있고, 제 2 프레임 (1220) 의 뷰어 뒤로 이동하지 않는다는 것을 나타내며, 정사각형은 다시 나타날 것이다.
제 3 프레임 (1340) 으로 이동하면, 삼각형 (1336) 의 모습만이 현시된다. 도 12 를 참조하면, 원 (1236) 의 에지 분류는 제 2 포커스 위치에서의 제 2 프레임 (1220) 과 제 3 포커스 위치에서의 제 3 프레임 (1230) 사이에서 소프트 (1227) 에서 하드 (1237) 로 변화하고, 이는 삼각형 (1236) 이 제 3 뷰 (1230) 에서 표현된 제 3 포커스 위치에서의 포커스에 더 가까워지고 더 포커스 내로 간다는 거서을 나타낸다. 따라서, 삼각형 (1336) 은 제 3 뷰 (1330) 내에 포함된다. 반면, 도 12 의 에지 분류 테이블 (1208) 은, 원 (1224) 의 에지 분류가 제 2 프레임 (1320) 과 제 3 프레임 (1330) 사이에서 하드 (1225) 로부터 소프트 (1235) 로 변화하는 것을 나타내고, 이는 원이 제 3 프레임 (1330) 의 플라이스루 뷰에서 뷰어로부터 멀리 뷰어 뒤로 이동하는 것을 나타낸다.
뷰어에게 뷰들 (1310, 1320, 및 1330) 을 현시함에 있어, 뷰어가 도 6 의 장면 (600) 내로 "날아들어감" 에 따라, 오브젝트들이 그들의 에지들이 검출될 정도로 충분히 포커스 내에 나타날 때, 또는 그들의 에지들이 더 선명 (sharper) 해지고 하드 에지들로서 분류될 때 오브젝트들을 포함하는 뷰들로 뷰어에게 현시될 것이다. 뷰어가 가장 먼 또는 배경 포커스 위치 (1304) 를 향해 이동하는 연속적인 뷰들을 제공받음에 따라, 포커스 밖으로 이동하므로 뷰어로부터 더 멀어지는 것을 암시하는 에지 분류를 갖는 오브젝트들은 뷰에서 제거된다. 따라서, 뷰어는 처음에는 포커스 내에 있는 오젝트들의 뷰 또는 적어도 인식가능한 에지들을 갖는 오브젝트들의 뷰를 제공받고, 그 다음, 플라이스루가 진행됨에 따라, 포커스 밖으로 이동하는 오브젝트들은 뷰에서 제거되고, 포커스 또는 더 선명한 포커스 내로 들어오는 오브젝트들은 마치 뷰어가 선택적으로 포괄적인 뷰들에 의해 표현되는 장면을 "플라이스루 (flying through)" 하는 것처럼 뷰어에게 현시된다.
도 13 의 플라이스루 뷰 (1350) 는, 가장 먼 또는 배경 포커스 위치 (1354) 로부터 가장 가까운 또는 전경 포커스 위치 (1352) 로 변하는 전망을 보여준다. 동일한 규칙들이 플라이스루 뷰 (1350) 에 적용된다: 오브젝트의 뷰는 그 오브젝트의 에지들이 먼저 검출되거나 소프트 에지 분류로부터 하드 에지 분류로 천이될 때 현시된다. 제 3 뷰 (1380) 에서, 삼각형 (1386) 및 원 (1384) 이 현시된다. 가장 먼 포커스 위치를 표현하는 제 3 뷰 (1380) 로 시작하여, 도 12 의 에지 분류 테이블 (1208) 에서 표시된 바와 같이, 삼각형 (1386) 및 원 (1384) 양자 모두는 처음에 하드 에지 또는 소프트 에지를 갖는 갖으로서 각각 분류된다. 정사각형의 이미지는 도 12 의 제 3 프레임 (1230) 에서 정사각형에 대해 검출가능한 에지들이 없다고 (1233) 판정되었기 때문에 나타나지 않는다.
다음으로 더 가까운 포커스 위치를 나타내는 제 2 프레임 (1370) 으로 이동하면, 원 (1374) 및 정사각형 (1372) 의 이미지들이 나타난다. 도 12 의 에지 분류 테이블 (1208) 에 따르면, 원 (1374) 의 에지들은 제 3 뷰 (1230) 에서 소프트 에지들 (1235) 로서 분류되는 것으로부터 제 2 뷰 (1220) 에서 하드 에지들 (1225) 로서 분류되는 것으로 천이되었기 때문에 원 (1374) 은 보여진다. 정사각형 (1372) 은 그 정사각형이 제 2 뷰 (1220) 에서 에지들 (1223) 을 갖는 것으로서 먼저 분류되기 때문에 나타난다. 삼각형의 에지들은 하드 에지들 (1237) 로서 분류되는 것으로부터 소프트 에지들 (1227) 로 분류되는 것으로 천이되기 때문에, 제 2 뷰 (1220) 에서 삼각형의 이미지는 나타나지 않는다. 전술한 바와 같이, 오브젝트의 에지들이 하드 에지들로부터 소프트 에지들로 천이함에 따라, 오브젝트는 포커스 밖으로 이동하는 것으로 간주되고, 뷰로부터 제거될 수 있다.
제 1 프레임 (1360) 에서, 정사각형 (1362) 만이 나타난다. 도 12 의 에지 분류 테이블 (1208) 에서 나타낸 바와 같이, 정사각형의 에지들은 소프트 에지들 (1223) 로서 분류되는 것으로부터 하드 에지들 (1213) 로 분류되는 것으로 천이하고, 이는 정사각형 (1212) 이 제 1 뷰 (1210) 의 포커스 거리에서 더 선명한 포커스 내로 들어온다는 것을 나타낸다. 한편, 도 12 의 에지 분류 테이블 (1208) 에서, 원은 제 2 프레임 (1220) 에서 하드 에지들 (1225) 을 나타내는 것으로부터 제 1 프레임 (1210) 에서 소프트 에지들 (1215) 을 나타내는 것으로 천이하는 것으로서 분류되었기 때문에, 제 1 프레임 (1360) 에서 원의 이미지는 나타나지 않는다.
뷰어에게 뷰들 (1380, 1370, 및 1360) 을 현시함에 있어서, 뷰어가 도 6 의 장면 (600) 밖으로 "날아나옴" 에 따라, 오브젝트들이 그들의 에지들이 검출될 정도로 충분히 포커스 내에 나타날 때, 또는, 오브젝트들의 에지들이 더 선명해지고 하드 에지들로서 분류될 때, 그 오브젝트들을 포함하는 뷰들에 뷰어에게 현시될 것이다. 가장 가까운 또는 전경 포커스 위치 (1352) 를 향하여 이동하는 연속적인 뷰들이 뷰어에게 현시됨에 따라, 오브젝트들의 에지 분류들이 그들이 포커스 밖으로 이동하고 있고 따라서 뷰어로부터 더 멀리 이동하고 있다는 것을 암시하는 오브젝트들은 뷰로부터 제거된다. 따라서, 뷰어에게는, 포커스 내에 있는 오브젝트들의 뷰 또는 적어도 먼 포커스 위치에서 인식가능한 에지들을 갖는 오브젝트들의 뷰가 처음에 현시된다. 그 다음, 플라이스루가 진행됨에 따라, 포커스 밖으로 이동하는 오브젝트들은 뷰로부터 제거되고, 포커스 또는 더 선명한 포커스 내로 들어오는 오브젝트들이 마치 뷰어가 선택적으로 포괄적인 뷰들에 의해 표현되는 것과 같이 장면을 통해 뒤쪽 방향으로 날고 있는 것처럼 현시된다.
플라이스루 뷰를 가능하게 하기 위해 이 프로세스를 이용하는 것에 추가하여, 동일한 프로세스가 전경 또는 배경 이미지들 및 중간 거리들에서의 오브젝트들의 이미지들의 선택적인 캡쳐를 가능하게 하기 위해 사용될 수 있다. 예를 들어, 이동 전화기의 사용자가 비디오 전화 통화를 하기를 원하지만 프라이버시를 위해서 또는 선호하기 때문에 어떠한 배경도 포함하기를 원하지 않는 경우, 더 먼 이미지 셋트들에서 포커스 내로 들어오기만 하는 오브젝트들 상의 포인트들은 억제될 수 있다. 다르게는, 어떠한 전경의 오브젝트들도 캡쳐하지 않고 풍경의 경치를 캡쳐하기를 원하는 경우, 가까운 이미지 셋트들의 포커스 내의 임의의 포인트들은 억제될 수 있을 것이다.
도 14 는 본 개시의 일 실시형태에 따른 에지 검출을 이용하여 이미지 데이터를 수신 및 프로세싱하는 프로세스의 흐름도 (1400) 이다. 1402 에서, 제 1 거리에 대응하는 제 1 포커스 위치에서 캡쳐된 장면에 대해 켭쳐되었던 제 1 이미지 데이터가 수신된다. 예를 들어, 제 1 거리는 매크로 포커스 거리와 같이, 이미지 캡쳐 디바이스의 가장 가까운 포커스 거리를 나타낼 수도 있다. 1404 에서, 제 2 거리에 대응하는 제 2 포커스 위치에서 캡쳐된 장면에 대해 캡쳐되었던 제 2 이미지 데이터가 수신된다. 제 2 거리는 제 1 거리보다 더 크다. 제 2 거리는 광학적 무한대와 같이, 이미지 캡쳐 디바이스의 먼 포커스, 또는, 이미지 캡쳐 디바이스의 가장 가까운 포커스 거리 너머의 몇몇 다른 거리를 포함한 수도 있다.
1406 에서, 에지의 존재 또는 부존재를 검출하기 위해, 제 1 이미지 데이터의 제 1 부분에 대한 제 1 에지 데이터를 생성하기 위해 에지 검출 프로세스가 수행된다. 1408 에서, 제 2 이미지 데이터의 제 2 부분에 대응하는 포인트들에 대한 에지 데이터를 생성하기 위해 에지 검출 프로세스가 수행된다. 1410 에서, 에지의 존재 또는 부존재가 검출되었는지가 판정된다. 에지가 검출된 경우, 1412 에서, 에지는 하드 에지로서 또는 소프트 에지로서 식별되고, 그 다음, 프로세스는 1414 로 진행한다. 한편, 에지가 검출되지 않은 경우, 프로세스는 1414 로 진행한다. 1414 에서, 에지의 존재 또는 부존재에 기초하여 깊이 데이터가 생성되고, 각 에지는 하드 에지 또는 소프트 에지로서 식별된다. 깊이 데이터는 제 1 이미지 데이터 및 제 2 이미지 데이터에 대해 생성된다. 생성된 깊이 데이터는 도 11 을 참조하여 설명된 바와 같은 깊이 맵, 또는, 예를 들어, 이미지 데이터의 일부분들의 억제를 허용하기 위해, 플라이스루 모드를 지원하기 위해, 또는 다른 응용들을 지원하기 위해, 이미지 데이터의 전경 부분들, 배경 부분들, 또는 다른 양태들의 선택적 현시를 가능하게 할 수도 있는, 깊이 데이터의 임의의 다른 표명 (manifestation) 을 포함할 수도 있다.
도 15 는 장면의 복수의 이미지 데이터 셋트들과 연관된 깊이 데이터를 이용하여 선택적으로 이미지 데이터를 현시하기 위한 프로세스의 흐름도 (1500) 이다. 1502 에서, 장면의 복수의 이미지 데이터 셋트들과 연관된 깊이 데이터가 수신된다. 1504 에서, 이미지 데이터 셋트들로부터의 이미지 데이터는 캡쳐의 포인트로부터 특정 범위 내의 이미지 데이터의 부분들을 식별하는 깊이 데이터에 기초하여 선택적으로 현시된다. 그 결과로서, 예를 들어, 장면의 전경 내에 있는 것으로 판정된 이미지 데이터는 강화될 수도 있고, 이미지의 배경 내에 있는 것으로 판정된 이미지 데이터는 억제될 수도 있으며, 이 양자의 조합도 가능하다. 유사하게, 장면의 전경, 배경, 또는 다른 부분 내에 있는 것으로 판정된 이미지 데이터는, 사용자가 캡쳐의 포인트로부터 멀어지는 변화하는 위치들에서 장면을 볼 수 있도록 하기 위해 플라이스루 모드에서 순차적으로 또는 선택적으로 디스플레이될 수 있다.
도 16 은 에지 검출기 및 깊이 데이터 생성기 (1664) 를 포함하는 시스템 (1600) 의 특정 실시형태의 블록도이다. 시스템 (1600) 은 휴대용 전자 디바이스에서 구현될 수도 있고, 메모리 (1632) 에 커플링된 디지털 신호 처리기 (DSP) 등과 같은 신호 처리기 (1610) 를 포함한다. 에지 검출기 및 깊이 데이터 생성기 (1664) 는 신호 처리기 (1610) 내에 포함된다. 도시적인 예에서, 에지 검출기 및 깊이 데이터 생성기 (1664) 는 도 1 내지 13 에 따라, 그리고, 도 14 및 도 15 에 따라, 또는 이들의 조합에 따라 설명된 바와 같이 동작한다.
카메라 인터페이스 (1668) 는 신호 처리기 (1610) 에 커플링되고, 또한, 비디오 카메라 (1670) 와 같은 카메라에 커플링된다. 카메라 인터페이스 (1368) 는, 자동으로 또는 DSP (1610) 에 의해 생성된 신호에 응답하여, 사용자의 셔터 "클릭 (clicking)" 제어 또는 다른 이미지 캡쳐 입력 등과 같은, 단일의 이미지 캡쳐 명령에 응답하여, 장면의 다수의 이미지들을 취하도록 구성될 수도 있다. 디스플레이 제어기 (1626) 는 신호 처리기 (1610) 에 그리고 디스플레이 디바이스 (1628) 에 커플링된다. 코더/디코더 (CODEC) (1634) 또한 신호 처리기 (1610) 에 커플링될 수 있다. 스피커 (1636) 및 마이크로폰 (1638) 은 코덱 (CODEC) (1634) 에 커플링될 수 있다. 무선 인터페이스 (1640) 는 신호 처리기 (1610) 에 그리고 무선 안테나 (1642) 에 커플링될 수 있다.
신호 처리기 (1610) 는 전술한 바와 같이 이웃하는 데이터 포인트들 사이의 강도 값들에서의 변화들에 기초하여 이미지 데이터에서 에지들을 검출하도록 구성된다. 신호 처리기 (1610) 는 또한, 전술한 바와 같이 이미지 데이터를 이용하여 도출되는 깊이 맵 도는 다른 형태의 깊이 데이터와 같은 깊이 데이터 (1646) 를 생성하도록 구성된다. 이미지 데이터는, 예시적이고 비제한적 예들로서, 비디오 카메라 (1670) 로부터의 비디오 데이터, 안테나 (1642) 를 통한 무선 송신으로부터의 이미지 데이터, 또는, 유니버셜 시리얼 버스 (USB) 인터페이스 (미도시) 를 통해 커플링된 외부 디바이스와 같은 다른 소스들로부터의 이미지 데이터를 포함할 수도 있다.
디스플레이 제어기 (1626) 는 프로세싱된 이미지 데이터를 수신하고, 그 프로세싱된 이미지 데이터를 디스플레이 디바이스 (1628) 로 제공하도록 구성된다. 또한, 메모리 (1632) 는 프로세싱된 이미지 데이터를 수신하고 저장하도록 구성될 수도 있으며, 무선 인터페이스 (1640) 는 안테나 (1642) 를 통한 송신을 위해 프로세싱된 이미지 데이터를 수신하도록 구성될 수도 있다.
특정 실시형태에서, 신호 처리기 (1610), 디스플레이 제어기 (1626), 메모리 (1632), 코덱 (1634), 무선 인터페이스 (1640), 및 카메라 인터페이스 (1668) 는 시스템-인-패키지 (system-in-package; SIP) 또는 시스템-온-칩 (system-on-chip; SOC) 디바이스 (1622) 에 포함된다. 특정 실시형태에서, 입력 디바이스 (1630) 및 전원 공급기 (1644) 가 시스템-온-칩 디바이스 (1622) 에 커플링된다. 또한, 특정 실시형태에서, 도 16 에서 도시된 바와 같이, 디스플레이 디바이스 (1628), 입력 디바이스 (1630), 스피커 (1636), 마이크로폰 (1638), 무선 안테나 (1642), 비디오 카메라 (1670), 및 전원 공급기 (1644) 는 시스템-온-칩 디바이스 (1622) 외부에 있다. 하지만, 디스플레이 디바이스 (1628), 입력 디바이스 (1630), 스피커 (1636), 마이크로폰 (1638), 무선 안테나 (1642), 비디오 카메라 (1670), 및 전원 공급기 (1644) 의 각각은 인터페이스 또는 제어기와 같은, 시스템-온-칩 디바이스 (1622) 의 컴포넌트에 커플링될 수 있다.
도 17 은 에지 검출기 및 깊이 데이터 생성기 (1764) 를 포함하는 시스템 (1700) 의 특정 실시형태의 블록도이다. 시스템 (1700) 은 렌즈 (1768) 에 커플링되고 또한 휴대용 멀티미디어 디바이스의 애플리케이션 프로세서 칩셋 (1770) 에 커플링된 이미지 센서 디바이스 (1722) 를 포함한다. 일 실시형태에서, 이미지 센서 디바이스 (1722) 는 애플리케이션 프로세서 칩셋 (1770) 으로부터 입력 신호를 수신하고, 시스템 (1700) 을 이용하여 캡쳐된 각각의 장면에 대해 변화하는 포커스 거리들에서 이미지 데이터의 다수의 셋트들을 캡쳐한다. 애플리케이션 프로세서 칩셋 (1770) 에 포함된 에지 검출기 및 깊이 데이터 생성기 (1764) 는 그 이미지 데이터의 다수의 셋트들을 수신하고, 전술한 바와 같이 에지 검출 및 깊이 데이터 생성을 수행한다. 다르게는, 에지 검출기 및 깊이 데이터 생성기 (1764) 는, 이미지 데이터를 캡쳐하도록 하는 명령이 이미지 센서 디바이스에 의해 수신될 때, 이미지 데이터의 다수의 셋트들의 캡쳐 및 에지 검출/깊이 데이터 생성이 이미지 센서 디바이스 (1722) 내에서 수행될 수도 있도록, 이미지 센서 디바이스 (1722) 에 포함될 수도 있고 그 이미지 센서 디바이스 (1722) 와 분리되어 배치될 수도 있는 프로세서 (1710) 내에 통합될 수도 있을 것이다. 또 다르게는, 에지 검출기 및 깊이 데이터 생성기 (1764) 는 그 외에, 애플리케이션 프로세서 칩셋 (1770), 이미지 센서 디바이스 (1722), 또는 이들의 조합과 통신하면서 시스템 (1700) 내에 통합될 수도 있다.
애플리케이션 프로세서 칩셋 (1770) 및 에지 검출기 및 깊이 데이터 생성기 (1764) 는 이미지 센서 디바이스 (1722) 로부터 이미지 데이터를 수신한다. 이미지 센서 디바이스 (1722) 는 렌즈 (1768) 로부터 시각적 이미지를 수신하고 이미지 어레이 (1766) 에서의 데이터를 수신함으로써 이미지 데이터를 캡쳐한다. 이미지 어레이 (1766) 에서 수신된 데이터는, 예를 들어, 이미지 어레이 (1766) 의 출력을 수신하기 위해 커플링된 아날로그-대-디지털 변환기 (1726) 를 통해 수신된 데이터를 통과시킴으로써 디지털 이미지 데이터를 형성하도록 프로세싱된다. 이미지 센서 디바이스 (1722) 에 프로세서 (1710) 가 포함된 경우에 이미지 센서 디바이스 (1722) 의 프로세서 (1710) 는, 예를 들어, 배드 클러스터들 (bad clusters), 비최적 색상 또는 조명 조건들, 또는 다른 인자들에 대해 보정하기 위해 이미지 데이터를 추가적으로 프로세싱한다. 결과적인 이미지 데이터는 시스템 (1700) 에 의해 캡쳐된 이미지 데이터로부터, 깊이 맵 등과 같은, 깊이 데이터를 생성하기 위해 에지 검출기 및 깊이 데이터 생성기 (1764) 에 의해 수신된다.
당업자라면 본원에 개시된 실시형태들과 함께 설명된 다양한 예시적인 논리 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들은 전자적 하드웨어, 컴퓨터 소프트웨어, 또는 이 양자의 조합으로 구현될 수도 있다는 것을 이해할 것이다. 이러한 하드웨어와 소프트웨어의 교환가능성을 명확하게 예시하기 위해, 다양한 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들이 그들의 기능성 면에서 일반적으로 상술되었다. 이러한 기능성이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지는 특정 애플리케이션 및 전체 시스템에 부과된 설계 제약들에 의존한다. 당업자는 설명된 기능성을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수도 있지만, 이러한 실시형태 결정이 본 개시의 범위로부터 벗어나는 것으로서 해석되어서는 안된다.
본원에 개시된 실시형태들과 함께 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이 둘의 조합으로 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래머블 판독 전용 메모리 (PROM), 소거가능 프로그래머블 판독 전용 메모리 (EPROM), 전기적으로 소거가능 프로그래머블 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 착탈식 디스크, 컴팩트 디스크 판독 전용 메모리 (CD-ROM), 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되어, 프로세서가 그 저장 매체로부터 정보를 판독하고, 그 저장 매체로 정보를 쓸 수 있다. 다르게는, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 주문형 집적 회로 (ASIC) 에 상주할 수도 있다. ASIC 는 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 다르게는, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기 내의 이산 컴포넌트들로서 상주할 수도 있다.
개시된 실시형태들의 이전 설명은 당업자가 개시된 실시형태들을 만들거나 이용할 수 있도록 하기 위해 제공된 것이다. 이들 실시형태들에 대한 다양한 변형들은 당업자에게 자명할 것이고, 본원에 정의된 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시는 본원에 나타난 실시형태들로 제한되지 아니하고, 다음의 청구범위에 의해 정의된 바와 같은 원리들 및 신규한 특징들과 일치 가능한 최광의의 범위에 부합하도록 의도된다.

Claims (24)

  1. 이미지 캡쳐 디바이스로부터의 제 1 거리와 연관된 제 1 포커스 위치에서 상기 이미지 캡쳐 디바이스에 의해 기록된 장면에 대응하는 제 1 이미지 데이터를 수신하는 단계;
    상기 이미지 캡쳐 디바이스로부터의 제 2 거리와 연관된 제 2 포커스 위치에서의 상기 장면에 대응하는 제 2 이미지 데이터를 수신하는 단계로서, 상기 제 2 거리는 상기 제 1 거리보다 더 큰, 상기 제 2 이미지 데이터를 수신하는 단계;
    상기 제 1 이미지 데이터의 적어도 제 1 부분에 대응하는 제 1 에지 데이터를 생성하기 위해서, 그리고, 상기 제 2 이미지 데이터의 적어도 제 2 부분에 대응하는 제 2 에지 데이터를 생성하기 위해서, 에지 검출 프로세스를 수행하는 단계로서, 상기 에지 검출 프로세스는 상기 제 1 이미지 데이터의 상기 제 1 부분 및 상기 제 2 이미지 데이터의 상기 제 2 부분의 각 위치에서 에지의 존재 또는 부존재를 검출하고, 각 검출된 에지는 하드 에지 또는 소프트 에지로서 식별되는, 상기 에지 검출 프로세스를 수행하는 단계; 및
    상기 제 1 에지 데이터 및 상기 제 2 에지 데이터에 기초하여 깊이 데이터를 생성하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 제 1 이미지 데이터는 더 먼 오브젝트 (object) 에 대해서보다 더 가까운 오브젝트의 더 선명한 (sharper) 포커스를 포함하고, 상기 제 2 이미지 데이터는 상기 더 가까운 오브젝트에 대해서보다 상기 더 먼 오브젝트에 대해서 더 선명한 포커스를 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터는 복수의 강도 (intensity) 값들을 포함하는, 방법.
  4. 제 3 항에 있어서,
    상기 제 1 이미지 데이터 또는 상기 제 2 이미지 데이터의 선택된 포인트 주위의 포인트들의 범위에 걸친 점진적인 강도 변화는 소프트 에지 상태를 나타내고, 상기 포인트들의 범위에 걸친 가파른 강도 변화는 하드 에지 상태를 나타내는, 방법.
  5. 제 4 항에 있어서,
    상기 깊이 데이터는, 상기 제 2 이미지 데이터 내에서, 상기 제 1 에지 데이터에서는 존재하지 않았던 하드 에지 상태가 존재하는 적어도 하나의 위치를 식별하고, 상기 깊이 데이터는 상기 제 2 이미지 데이터 내의 상기 위치와 상기 제 2 포커스 위치를 연관시키는, 방법.
  6. 제 5 항에 있어서,
    상기 깊이 데이터는 깊이 맵을 포함하는, 방법.
  7. 제 1 항에 있어서,
    상기 제 1 포커스 위치는 매크로 (macro) 포커스 거리를 포함하는, 방법.
  8. 제 7 항에 있어서,
    상기 제 2 포커스 위치는 무한대 포커스 거리를 포함하는, 방법.
  9. 제 8 항에 있어서,
    상기 매크로 포커스 거리와 상기 무한대 포커스 거리 사이의 중간 포커스 거리에서 캡쳐된 적어도 하나의 추가적인 이미지 데이터의 셋트를 더 포함하는, 방법.
  10. 이미징 (imaging) 시스템으로서,
    이미지 데이터를 캡쳐하도록 하는 제어 신호를 수신하기 위한 입력부;
    상기 제어 신호에 응답하여 복수의 포커스 위치들에서 캡쳐된 복수의 이미지 데이터 셋트들을 생성하기 위한 이미지 캡쳐 디바이스; 및
    출력 이미지를 제공하고, 상기 출력 이미지에서 적어도 하나의 포인트가 검출가능한 에지를 갖는 것으로 판정되는 포커스 위치에 기초하여 상기 출력 이미지 내의 적어도 하나의 포인트에 대한 깊이 데이터를 제공하기 위한 출력부를 포함하는, 이미징 시스템.
  11. 제 10 항에 있어서,
    상기 출력 이미지 내의 선택된 포인트가 검출가능한 에지의 존재를 나타내는지 여부를 강도 값들에서의 변화들에 기초하여 판정하도록 구성된 에지 검출기를 더 포함하는, 이미징 시스템.
  12. 제 11 항에 있어서,
    상기 검출가능한 에지는 하드 에지 및 소프트 에지 중 하나를 포함하는, 이미징 시스템.
  13. 제 11 항에 있어서,
    상기 제어 신호는, 상기 이미지 캡쳐 디바이스로 하여금, 매크로 (macro) 포커스 위치 및 무한대 포커스 위치를 포함하는 복수의 포커스 위치들에서의 이미지 데이터 셋트들을 생성하게 하도록 구성되는, 이미징 시스템.
  14. 제 10 항에 있어서,
    상기 이미지 캡쳐 디바이스는 전하 결합 소자 (charge coupled device; CCD) 이미지 캡쳐 디바이스를 포함하는, 이미징 시스템.
  15. 제 1 이미지 데이터 및 제 2 이미지 데이터를 수신하기 위한 이미지 데이터 입력부로서, 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터는 단일 이미지 캡쳐 디바이스의 상이한 포커스 위치들에 대응하는, 상기 이미지 데이터 입력부; 및
    상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터에 대해 에지 검출을 수행하고, 상기 제 1 이미지 데이터에서의 에지의 제 1 선명도 (sharpness) 와 상기 제 2 이미지 데이터에서의 상기 에지의 제 2 선명도 사이의 차이에 기초하여 깊이 데이터를 생성하기 위한 깊이 모듈을 포함하는, 시스템.
  16. 제 15 항에 있어서,
    상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터는 스틸 (still) 이미지 입력 데이터를 포함하는, 시스템.
  17. 제 16 항에 있어서,
    상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터는 비디오 카메라로부터 수신되는, 시스템.
  18. 제 15 항에 있어서,
    이미지 캡쳐 디바이스에 대해 제어 신호를 제공하기 위한 이미지 제어 출력부를 더 포함하고,
    상기 제어 신호는, 상기 이미지 캡쳐 디바이스로 하여금, 제 1 포커스 위치를 이용하여 상기 제 1 이미지 데이터를 캡쳐하게 하고, 제 2 포커스 조건 (condition) 을 이용하여 상기 제 2 이미지 데이터를 캡쳐하게 하는, 시스템.
  19. 제 18 항에 있어서,
    상기 제 2 포커스 조건은 선택된 오브젝트 (object) 가 포커스 내에 있는 위치에 기초하여 제 2 포커스 위치를 선택하는, 시스템.
  20. 이미지 캡쳐 디바이스로부터 비디오 이미지 데이터를 수신하도록 구성된 입력부로서, 상기 비디오 이미지 데이터는 제 1 포커스 위치와 연관된 제 1 이미지 데이터 및 제 2 포커스 위치와 연관된 제 2 이미지 데이터를 포함하는, 상기 입력부;
    상기 제 1 이미지 데이터에 대해서 그리고 상기 제 2 이미지 데이터에 대해서 단일 패스 (single pass) 의 에지 검출 필터를 적용함으로써 상기 비디오 이미지 데이터의 배경 부분을 판정하고, 상기 제 1 이미지 데이터의 전경 부분과 배경 부분을 식별하기 위한 깊이 데이터를 생성하도록 구성된 프로세서; 및
    상기 배경 부분에 대해서보다 상기 전경 부분에 대해서 더 높은 레졸루션 (resolution) 데이터를 포함하는 비디오 데이터를 제공하도록 구성된 출력부를 포함하는, 시스템.
  21. 제 20 항에 있어서,
    상기 이미지 캡쳐 디바이스로 하여금 적어도 3 개의 상이한 포커스 거리들을 이용하여 이미지 캡쳐 동작들을 수행하게 하는 제어 신호를 생성하는 것을 더 포함하는, 시스템.
  22. 제 20 항에 있어서,
    상기 깊이 데이터가 생성되고, 상기 출력부는 무선 송신기에 커플링되어 상기 이미지 캡쳐 디바이스의 비디오 이미지 캡쳐 시간 간격 내의 상기 비디오 이미지 데이터를 제공하여 강화된 전경 레졸루션을 갖는 실시간 무선 비디오 전화를 제공하는, 시스템.
  23. 제 20 항에 있어서,
    상기 깊이 데이터는 하드 및 소프트 에지들을 이용하여 결정되는, 시스템.
  24. 제 20 항에 있어서,
    상기 출력부는, 가까운 뷰 (view) 에서 상기 전경 부분을 디스플레이하고, 상기 배경 부분의 먼 뷰에서 상기 전경 부분을 제거하는, 상기 비디오 이미지 데이터의 플라이스루 (flythrough) 뷰를 제공하는, 시스템.
KR1020117005281A 2008-08-05 2009-08-04 에지 검출을 이용하여 깊이 데이터를 생성하기 위한 시스템 및 방법 KR20110053348A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/185,887 2008-08-05
US12/185,887 US8184196B2 (en) 2008-08-05 2008-08-05 System and method to generate depth data using edge detection

Publications (1)

Publication Number Publication Date
KR20110053348A true KR20110053348A (ko) 2011-05-20

Family

ID=41091822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117005281A KR20110053348A (ko) 2008-08-05 2009-08-04 에지 검출을 이용하여 깊이 데이터를 생성하기 위한 시스템 및 방법

Country Status (7)

Country Link
US (2) US8184196B2 (ko)
EP (1) EP2324458A1 (ko)
JP (1) JP2011530880A (ko)
KR (1) KR20110053348A (ko)
CN (1) CN102113017A (ko)
TW (1) TW201020972A (ko)
WO (1) WO2010017239A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017007047A1 (ko) * 2015-07-08 2017-01-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009032922A1 (en) 2007-09-04 2009-03-12 Objectvideo, Inc. Stationary target detection by exploiting changes in background model
US20120269458A1 (en) * 2007-12-11 2012-10-25 Graziosi Danillo B Method for Generating High Resolution Depth Images from Low Resolution Depth Images Using Edge Layers
US8184196B2 (en) 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8265380B1 (en) * 2008-08-14 2012-09-11 Adobe Systems Incorporated Reuse of image processing information
KR101497503B1 (ko) * 2008-09-25 2015-03-04 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치
WO2011148233A1 (en) 2010-05-26 2011-12-01 Hiok Nam Tay Auto-focus image system
US8405742B2 (en) * 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
US8194136B1 (en) * 2009-01-26 2012-06-05 Amazon Technologies, Inc. Systems and methods for lens characterization
US20100321506A1 (en) * 2009-03-02 2010-12-23 Wei Li Calibration techniques for camera modules
US20130083232A1 (en) * 2009-04-23 2013-04-04 Hiok Nam Tay Auto-focus image system
US8159600B2 (en) 2009-12-07 2012-04-17 Hiok Nam Tay Auto-focus image system
US9131155B1 (en) * 2010-04-07 2015-09-08 Qualcomm Technologies, Inc. Digital video stabilization for multi-view systems
JP2011239195A (ja) * 2010-05-11 2011-11-24 Sanyo Electric Co Ltd 電子機器
CN102474647B (zh) * 2010-05-25 2015-08-19 松下电器（美国）知识产权公司 图像编码装置、图像编码方法以及集成电路
JP5685837B2 (ja) * 2010-06-15 2015-03-18 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US8781152B2 (en) 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US9006460B2 (en) 2010-08-16 2015-04-14 Cardiome International Ag Process for preparing aminocyclohexyl ether compounds
US8368783B2 (en) * 2010-09-10 2013-02-05 Altek Corporation Method for adjusting shooting parameters of digital camera
JP5675419B2 (ja) * 2011-02-18 2015-02-25 キヤノン株式会社 画像生成装置、及び、画像生成方法
KR20140044288A (ko) * 2011-02-18 2014-04-14 소니 주식회사 화상 처리 장치 및 화상 처리 방법
US9065999B2 (en) 2011-03-24 2015-06-23 Hiok Nam Tay Method and apparatus for evaluating sharpness of image
US8830378B2 (en) * 2011-03-29 2014-09-09 Olympus Corporation Image capturing system and image capturing method, involving image restoration processing
TWI633520B (zh) * 2011-04-06 2018-08-21 承景科技股份有限公司 計算二維影像的景深的方法、裝置與電腦程式產品
US9208571B2 (en) * 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
CN103283215B (zh) * 2011-06-09 2017-03-08 郑苍隆 自动聚焦图像系统
JP2013005091A (ja) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd 撮像装置および距離情報取得方法
TWI507807B (zh) * 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
JP5800187B2 (ja) * 2011-08-16 2015-10-28 リコーイメージング株式会社 撮像装置および距離情報取得方法
EP2562715A1 (en) * 2011-08-26 2013-02-27 Sony Ericsson Mobile Communications AB Portable electric equipment and method of processing a series of frames
WO2013035004A1 (en) * 2011-09-05 2013-03-14 Forus Health Pvt. Ltd. A method and system for detecting and capturing focused image
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN103019001B (zh) * 2011-09-22 2016-06-29 晨星软件研发(深圳)有限公司 自动对焦方法与装置
CN104170368B (zh) * 2012-02-22 2018-10-09 索尼爱立信移动通讯有限公司 关于图像内容的方法和设备
CN103324004B (zh) * 2012-03-19 2016-03-30 联想(北京)有限公司 对焦方法和图像捕捉装置
WO2013159300A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
ES2907510T3 (es) * 2012-05-14 2022-04-25 V Nova Int Ltd Descomposición de datos residuales durante la codificación, decodificación y reconstrucción de señales en una jerarquía escalonada
CN103679108B (zh) 2012-09-10 2018-12-11 霍尼韦尔国际公司 具有多个图像传感器的光学标记读取装置
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
CN103049906B (zh) * 2012-12-07 2015-09-30 清华大学深圳研究生院 一种图像深度提取方法
KR20140075068A (ko) * 2012-12-10 2014-06-19 한국전자통신연구원 화상 통화 영상 변조 장치 및 그 방법
TW201425871A (zh) * 2012-12-21 2014-07-01 Zong Jing Investment Inc 測距方法及電腦程式產品
FR3000632A1 (fr) 2012-12-28 2014-07-04 Thomson Licensing Procede d'affichage de donnees dans un reseau et dispositif mobile associe
CN103703757B (zh) * 2013-08-01 2015-09-09 华为终端有限公司 一种拍照方法及装置
KR102066938B1 (ko) * 2013-08-20 2020-01-16 한화테크윈 주식회사 영상 처리 장치 및 방법
US9973677B2 (en) * 2013-10-14 2018-05-15 Qualcomm Incorporated Refocusable images
JP2015169624A (ja) * 2014-03-10 2015-09-28 キヤノン株式会社 計測装置、計測方法及び物品の製造方法
TWI538508B (zh) * 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
DE102014222900A1 (de) * 2014-11-10 2016-05-12 Bombardier Transportation Gmbh Betrieb eines Schienenfahrzeugs mit einem Bilderzeugungssystem
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
CN104539926B (zh) * 2014-12-19 2016-10-26 北京智谷睿拓技术服务有限公司 距离确定方法和设备
EP3035284A1 (en) * 2014-12-19 2016-06-22 Thomson Licensing Method and apparatus for generating an adapted slice image from a focal stack
GB2535726B (en) * 2015-02-25 2020-12-30 Bae Systems Plc An image processing method and apparatus for determining depth within an image
WO2016135451A1 (en) 2015-02-25 2016-09-01 Bae Systems Plc An image processing method and apparatus for determining depth within an image
US20160255323A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
CN108293140B (zh) * 2015-07-16 2020-10-02 构造数据有限责任公司 公共媒体段的检测
CN105374039B (zh) * 2015-11-16 2018-09-21 辽宁大学 基于轮廓锐度的单目图像深度信息估计方法
WO2017143392A1 (en) * 2016-02-22 2017-08-31 GenMe Inc. A video background replacement system
KR101829534B1 (ko) * 2016-05-25 2018-02-19 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법
US10621729B2 (en) * 2016-06-12 2020-04-14 Apple Inc. Adaptive focus sweep techniques for foreground/background separation
US10230935B2 (en) 2016-10-11 2019-03-12 Marvel Digital Limited Method and a system for generating depth information associated with an image
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
AU2018261257B2 (en) 2017-05-01 2020-10-08 Symbol Technologies, Llc Method and apparatus for object status detection
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US11367092B2 (en) * 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10812769B2 (en) 2017-08-21 2020-10-20 International Business Machines Corporation Visualizing focus objects from video data on electronic maps
US10545215B2 (en) * 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
EP3741113B1 (en) 2018-01-19 2022-03-16 PCMS Holdings, Inc. Multi-focal planes with varying positions
WO2019183211A1 (en) 2018-03-23 2019-09-26 Pcms Holdings, Inc. Multifocal plane based method to produce stereoscopic viewpoints in a dibr system (mfp-dibr)
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
JP6977667B2 (ja) * 2018-06-01 2021-12-08 日本電信電話株式会社 物体らしさ推定装置、方法、およびプログラム
US10498948B1 (en) * 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance
JP7114371B2 (ja) * 2018-07-03 2022-08-08 株式会社ミツトヨ 光電式エンコーダの信号処理方法
WO2020010018A1 (en) 2018-07-05 2020-01-09 Pcms Holdings, Inc. Method and system for near-eye focal plane overlays for 3d perception of content on 2d displays
US20200065557A1 (en) * 2018-08-21 2020-02-27 Streem, Inc. Object recognition enhancement using depth data
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US10810700B2 (en) * 2019-03-05 2020-10-20 Aspeed Technology Inc. Method of adjusting texture coordinates based on control regions in a panoramic image
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US20210065374A1 (en) * 2019-08-26 2021-03-04 Organize Everything Inc. System and method for extracting outlines of physical objects
US11902497B2 (en) * 2019-11-28 2024-02-13 Arm Limited Depth measurement
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3429755B2 (ja) * 1990-04-27 2003-07-22 株式会社日立製作所 撮像装置の被写界深度制御装置
US5793900A (en) * 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
JP4698831B2 (ja) * 1997-12-05 2011-06-08 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像変換および符号化技術
US6995794B2 (en) * 1999-06-30 2006-02-07 Logitech Europe S.A. Video camera with major functions implemented in host software
US7058233B2 (en) * 2001-05-30 2006-06-06 Mitutoyo Corporation Systems and methods for constructing an image having an extended depth of field
US7262798B2 (en) * 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
JP4320572B2 (ja) * 2003-07-11 2009-08-26 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
WO2005013623A1 (en) * 2003-08-05 2005-02-10 Koninklijke Philips Electronics N.V. Multi-view image generation
DE102004006246A1 (de) 2004-02-05 2005-10-13 X3D Technologies Gmbh Verfahren zur Aufnahme von räumlichen Szenen bzw. Gegenständen
US7356195B2 (en) * 2004-04-29 2008-04-08 Hewlett-Packard Development Company, L.P. System and method for estimating image sharpness
US7343047B2 (en) * 2004-09-22 2008-03-11 Hewlett-Packard Development Company, L.P. Systems and methods for arriving at an auto focus Figure of Merit
JP2006166212A (ja) * 2004-12-09 2006-06-22 Seiko Epson Corp 画像処理方法、システム、装置及びプログラム並びにディジタルカメラ
US7929801B2 (en) * 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US8184196B2 (en) 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
US8229172B2 (en) * 2009-12-16 2012-07-24 Sony Corporation Algorithms for estimating precise and relative object distances in a scene

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017007047A1 (ko) * 2015-07-08 2017-01-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치

Also Published As

Publication number Publication date
JP2011530880A (ja) 2011-12-22
WO2010017239A1 (en) 2010-02-11
US8184196B2 (en) 2012-05-22
EP2324458A1 (en) 2011-05-25
TW201020972A (en) 2010-06-01
US8477232B2 (en) 2013-07-02
US20120307108A1 (en) 2012-12-06
US20100033617A1 (en) 2010-02-11
CN102113017A (zh) 2011-06-29

Similar Documents

Publication Publication Date Title
KR20110053348A (ko) 에지 검출을 이용하여 깊이 데이터를 생성하기 위한 시스템 및 방법
CN107258077B (zh) 用于连续自动聚焦(caf)的系统和方法
CN110691193B (zh) 摄像头切换方法、装置、存储介质及电子设备
CN110505411B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN107820021B (zh) 自动图像捕捉
KR101265358B1 (ko) 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법
KR102266649B1 (ko) 이미지 처리 방법 및 장치
CN111669493A (zh) 一种拍摄方法、装置与设备
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
US10015374B2 (en) Image capturing apparatus and photo composition method thereof
CN110365894B (zh) 摄像机装置中图像融合的方法及相关装置
KR20170106325A (ko) 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치
US9591231B2 (en) Image processing apparatus capable of properly emphasizing differences in brightness between bright spots, image processing method, and storage medium
US9300867B2 (en) Imaging apparatus, its control method, and storage medium
CN110602467A (zh) 图像降噪方法、装置、存储介质及电子设备
JP5725194B2 (ja) 夜景画像ボケ検出システム
JP7285791B2 (ja) 画像処理装置、および出力情報制御方法、並びにプログラム
CN110430370B (zh) 图像处理方法、装置、存储介质及电子设备
CN110717871A (zh) 图像处理方法、装置、存储介质及电子设备
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
US9621796B2 (en) Method, apparatus and computer program for capturing images with multiple image capture and image modification
JP2007158488A (ja) 手ぶれ検出装置
CN115086558B (zh) 对焦方法、摄像设备、终端设备及存储介质
JP7458723B2 (ja) 画像処理装置、撮像装置、制御方法、およびプログラム
CN113347490B (zh) 视频处理方法、终端及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application