KR20150079638A - 깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치 - Google Patents

깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치 Download PDF

Info

Publication number
KR20150079638A
KR20150079638A KR1020157010645A KR20157010645A KR20150079638A KR 20150079638 A KR20150079638 A KR 20150079638A KR 1020157010645 A KR1020157010645 A KR 1020157010645A KR 20157010645 A KR20157010645 A KR 20157010645A KR 20150079638 A KR20150079638 A KR 20150079638A
Authority
KR
South Korea
Prior art keywords
image
depth
pixel
resolution
way
Prior art date
Application number
KR1020157010645A
Other languages
English (en)
Inventor
알렉산더 에이 페티우쉬코
알렉산더 비 콜로덴코
이반 엘 마주렌코
데니스 브이 파페노브
드미트리 엔 바빈
Original Assignee
엘에스아이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘에스아이 코포레이션 filed Critical 엘에스아이 코포레이션
Publication of KR20150079638A publication Critical patent/KR20150079638A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H04N13/0022—
    • H04N13/0239—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H04N5/232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

이미지 프로세싱 시스템은 제 1 이미지 내의 적어도 하나의 깊이 아티팩트와 연관된 하나 이상의 잠재적 결함 픽셀을 식별하고, 하나 이상의 잠재적 결함 픽셀의 깊이 정보를 재구성하기 위해 제 2 이미지를 이용하는 초해상도 기법을 적용하도록 구성되는 이미지 프로세서를 포함한다. 초해상도 기법의 적용은 재구성된 깊이 정보를 갖는 제 3 이미지를 생성한다. 제 1 이미지는 깊이 이미지를 포함하고, 제 3 이미지는 제 1 이미지에 전반적으로 대응하는 깊이 이미지이지만 깊이 아티팩트가 실질적으로 제거된 깊이 이미지를 포함한다. 제 4 이미지를 이용하여 추가적인 초해상도 기법이 적용될 수 있다. 추가적인 초해상도 기법의 적용은 제 3 이미지에 비해 증가된 공간 해상도를 갖는 제 5 이미지를 생성한다.

Description

깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치{IMAGE PROCESSING METHOD AND APPARATUS FOR ELIMINATION OF DEPTH ARTIFACTS}
공간 장면(spatial scene)의 3차원(3D) 이미지를 실시간으로 생성하는 다수의 각종 기법이 알려져 있다. 예를 들어, 공간 장면의 3D 이미지는 복수의 2차원(2D) 이미지에 기초한 삼각 측량(triangulation)을 이용하여 생성될 수 있다. 그러나, 이러한 기법의 큰 단점은 일반적으로 매우 집중적인 연산을 필요로 하는 것이므로 컴퓨터 또는 다른 프로세싱 디바이스의 과도한 양의 이용 가능한 연산 리소스를 소모할 수 있다는 점이다.
다른 알려진 기법은 구조 광(structured light; SL) 카메라 또는 비행 시간(time of flight; ToF) 카메라와 같은 3D 이미저(imager)를 이용하여 3D 이미지를 직접 생성하는 것을 포함한다. 이 타입의 카메라는 통상적으로 컴팩트하고, 신속한 이미지 생성을 제공하고, 낮은 전력량을 방출하고, 휴먼 비전과의 간섭을 방지하기 위해 전자기 스펙트럼의 근적외선 부분에서 동작한다. 따라서, SL 카메라 및 ToF 카메라는 통상적으로 제스처 기반 휴먼 머신 인터페이스를 필요로 하는 비디오 게임 시스템 또는 다른 시스템에서의 제스처 인식과 같은 이미지 프로세싱 시스템에서 사용된다.
불행하게도, SL 카메라 및 ToF 카메라에 의해 생성된 3D 이미지는 통상적으로 매우 제한된 공간 해상도를 갖는다. 예를 들어, SL 카메라는 고 해상도를 성취하도록 패턴 크기가 임의로 미세 조정될(fine-granulated) 수 없는 광 패턴 기반 삼각 측량을 구현하므로 x-y 평면에서의 정밀도에 있어 본질적인 어려움을 갖는다. 또한, 눈의 손상을 방지하기 위해, 전체 패턴에 걸친 총 방출 전력뿐만 아니라 각각의 패턴 요소(예를 들어, 라린 또는 스폿)에서의 공간 및 각도(angular) 전력 밀도가 제한된다. 따라서 그 결과적인 이미지 임계치는 낮은 신호 대 잡음 비를 나타내고 다양한 깊이 아티팩트(depth artifact)를 잠재적으로 포함하는 단지 제한된 양의 깊이 맵(depth map)을 제공한다.
ToF 카메라는 SL 카메라보다 정밀하게 x-y 좌표를 결정할 수 있으나, ToF 카메라는 공간 해상도와 관련하여 문제를 또한 갖는다. 예를 들어, z 좌표의 형태의 깊이 측정은 통상적으로 아날로그 회로에서 매우 고속의 스위칭 및 시간적 적분을 필요로 하는 기법을 이용하여 ToF 카메라로 생성되며, 이는 깊이 맵의 성취 가능한 품질을 제한하고, 또한 상당한 수의 깊이 아티팩트를 포함할 수 있는 이미지를 초래할 수 있다.
본 발명의 실시예는 특히 효율적인 방식으로 깊이 아티팩트가 실질적으로 제거되거나 또는 감소될 수 있게 하는 방식으로 깊이 맵 또는 다른 타입의 깊이 이미지를 프로세싱하는 이미지 프로세싱 시스템을 제공한다. 하나 이상의 이들 실시예는 SL 카메라 또는 ToF 카메라와 같은 3D 이미저에 의해 생성되는 깊이 이미지에서 하나 이상의 깊이 아티팩트와 연관된 깊이 정보를 재구성하기 위해, 실질적으로 동일한 장면의 적어도 하나의 2D 이미지로서, 가능하게는 다른 이미지 소스로부터의 2D 이미지를 이용하여 초해상도(super resolution) 기법을 적용하는 것을 포함한다.
일 실시예에서, 이미지 프로세싱 시스템은 제 1 이미지 내의 적어도 하나의 깊이 아티팩트와 연관된 하나 이상의 잠재적 결함 픽셀(potentially defective pixel)을 식별하고, 하나 이상의 잠재적 결함 픽셀의 깊이 정보를 재구성하기 위해 제 2 이미지를 이용하는 초해상도 기법을 적용하도록 구성되는 이미지 프로세서를 포함한다. 초해상도 기법의 적용은 재구성된 깊이 정보를 갖는 제 3 이미지를 생성한다. 제 1 이미지는 깊이 이미지를 포함하고 제 3 이미지는 제 1 이미지에 일반적으로 대응하는 깊이 이미지이지만 깊이 아티팩트가 실질적으로 제거된 깊이 이미지를 포함한다. 제 1, 제 2 및 제 3 이미지는 모두 실질적으로 동일한 공간 해상도를 가질 수 있다. 제 1, 제 2 및 제 3 이미지의 공간 해상도보다 큰 공간 해상도를 갖는 제 4 이미지를 이용하여 추가적인 초해상도 기법이 적용될 수 있다. 추가적인 초해상도 기법의 적용은 제 3 이미지에 비해 증가된 공간 해상도를 갖는 제 5 이미지를 생성한다.
본 발명의 실시예는 SL 카메라와 ToF 카메라 및 다른 타입의 실시간 3D 이미저에 의해 생성되는 깊이 이미지로부터의 왜곡 및 다른 타입의 깊이 아티팩트를 효과적으로 제거할 수 있다. 예를 들어, 깊이 아티팩트와 연관된 잠재적 결함 픽셀이 식별되어 제거될 수 있고, 대응하는 깊이 정보가 제 1 초해상도 기법을 이용하여 재구성될 수 있고, 이어서 제 2 초해상도 기법을 이용하여 결과적인 깊이 이미지의 공간 해상도 증강이 후속된다.
도 1은 일 실시예에서 이미지 프로세싱 시스템의 블록도를 도시한다.
도 2는 일 실시예에서 깊이 아티팩트의 제거를 위한 프로세스의 흐름도이다.
도 3은 복수의 인접하는 잠재적 결함 픽셀의 영역을 포함하는 깊이 아티팩트를 포함하는 예시적인 깊이 이미지의 부분을 도시한다.
도 4는 예시적인 깊이 이미지에서 소정의 분리된 잠재적 결함 픽셀 근처의 이웃 픽셀을 도시한다.
도 5는 다른 실시예에서 깊이 아티팩트의 제거를 위한 프로세스의 흐름도이다.
이미지 프로세서 또는 다른 타입의 프로세싱 디바이스를 포함하고 깊이 아티팩트를 검출하고 실질적으로 제거하거나 또는 감소시키기 위해 깊이 맵 또는 다른 깊이 이미지를 프로세싱하는 초해상도 기법을 구현하는 예시적인 이미지 프로세싱 시스템과 관련하여 본 발명의 실시예가 기술될 것이다. 그러나, 본 발명의 실시예는 깊이 아티팩트를 실질적으로 제거하거나 또는 감소시키기에 바람직한 임의의 이미지 프로세싱 시스템 또는 연관된 디바이스나 기법에 보다 일반적으로 적용 가능하다는 것을 이해해야 한다.
도 1은 본 발명의 실시예에서 이미지 프로세싱 시스템(100)을 도시한다. 이미지 프로세싱 시스템(100)은 이미지 소스들(104)로부터 이미지를 수신하고 이미지 목적지(106)에 프로세싱된 이미지를 제공하는 이미지 프로세서(102)를 포함한다.
이미지 소스(104)는, 예를 들어, SL 카메라 및 ToF 카메라와 같은 3D 이미저 뿐만 아니라 2D 적외선 이미지, 그레이 스케일 이미지, 컬러 이미지 또는 다른 타입의 2D 이미지를 생성하도록 구성되는 2D 이미저와 같은 하나 이상의 2D 이미저를 임의의 조합으로 포함한다. 이미지 소스들(104) 중 하나의 다른 예는 이미지 프로세서(102)에 프로세싱할 이미지를 제공하는 저장 디바이스 또는 서버이다.
이미지 목적지들(106)은, 예를 들어, 휴먼 머신 인터페이스의 하나 이상의 디스플레이 스크린, 또는 이미지 프로세서(102)로부터 프로세싱된 이미지를 수신하는 적어도 하나의 저장 디바이스 또는 서버를 포함한다.
본 실시예에서 이미지 프로세서(102)는 이미지 소스들(104) 및 이미지 목적지들(106)과는 별개로서 도시되어 있으나, 공통 프로세싱 디바이스상에서 하나 이상의 이미지 소스 또는 이미지 목적지와 적어도 부분적으로 결합될 수 있다. 따라서, 예를 들어, 이미지 소스들(104) 중 하나 이상 및 이미지 프로세서(102)는 동일한 프로세싱 디바이스상에서 집합적으로 구현될 수 있다. 마찬가지로, 이미지 목적지들(106) 중 하나 이상 및 이미지 프로세서(102)는 동일한 프로세싱 디바이스상에서 집합적으로 구현될 수 있다.
일 실시예에서 이미지 프로세싱 시스템(100)은 사용자 제스처를 인식하기 위해 이미지를 프로세싱하는 비디오 게임 시스템 또는 다른 타입의 제스처 기반 시스템으로서 구현된다. 개시된 기법은 제스처 기반 휴먼 머신 인터페이스를 필요로 하는 폭넓은 다른 시스템에서 사용하는 데에 마찬가지로 적응될 수 있고, 로봇 공학 및 다른 산업 애플리케이션에서의 머신 비전 시스템과 같이, 제스처 인식 이외의 애플리케이션에 또한 적용될 수 있다.
본 실시예에서 이미지 프로세서(102)는 적어도 하나의 프로세싱 디바이스를 이용하여 구현되고 메모리(112)에 연결된 프로세서(110)를 포함한다. 이미지 프로세서(102)에 픽셀 식별 모듈(114) 및 초해상도 모듈(116)이 또한 포함된다. 픽셀 식별 모듈(114)은 이미지 소스들(104) 중 하나로부터 수신되는 제 1 이미지 내의 적어도 하나의 깊이 아티팩트와 연관된 하나 이상의 잠재적 결함 픽셀을 식별하도록 구성된다. 초해상도 모듈(116)은 하나 이상의 잠재적 결함 픽셀의 깊이 정보를 재구성하기 위해 가능하게는 이미지 소스들(104) 중 상이한 하나의 이미지 소스로부터 수신되는 제 2 이미지를 이용하도록 구성되어, 재구성된 깊이 정보를 갖는 제 3 이미지를 생성한다.
본 실시예에서, 제 1 이미지는 이미지 소스들(104) 중 제 1 이미지 소스로부터의 제 1 해상도의 깊이 이미지를 포함하고, 제 2 이미지는 실질적으로 동일한 장면의 2D 이미지로서, 이미지 소스(104)들 중 제 1 이미지 소스와 상이한 다른 이미지 소스로부터의 제 1 해상도와 실질적으로 동일한 해상도를 갖는 2D 이미지를 포함하는 것으로 제한 없이 가정한다. 예를 들어, 제 1 이미지 소스는 구조 광(SL) 카메라 또는 ToF 카메라와 같은 3D 이미지 소스를 포함할 수 있고, 제 2 이미지 소스는 적외선 이미지, 그레이 스케일 이미지, 또는 컬러 이미지로서 제 2 이미지를 생성하도록 구성되는 2D 이미지 소스를 포함할 수 있다. 상기 표시한 바와 같이, 다른 실시예에서 동일한 이미지 소스가 제 1 및 제 2 이미지 모두를 공급한다.
초해상도 모듈(116)은 제 3 이미지에 비해 증가된 공간 해상도를 갖는 제 5 이미지를 생성하기 위해 제 4 이미지를 이용하여 제 3 이미지를 프로세싱하도록 또한 구성될 수 있다. 이러한 실시예에서, 제 1 이미지는 예시적으로 이미지 소스들(104)의 제 1 이미지 소스로부터의 제 1 해상도의 깊이 이미지를 포함하고 제 4 이미지는 실질적으로 동일한 장면의 2D 이미지로서, 이미지 소스들(104) 중 제 1 이미지 소스와 상이한 다른 이미지 소스로부터의 제 1 해상도보다 실질적으로 큰 해상도를 갖는 2D 이미지를 포함한다.
이미지 프로세서(102)의 픽셀 식별 모듈(114) 및 초해상도 모듈(116)을 이용하여 구현된 예시적인 이미지 프로세싱 동작은 도 2 내지 도 5와 관련하여 이하에서 보다 상세하게 기술될 것이다.
도 1의 실시예의 프로세서(110) 및 메모리(112)는 마이크로프로세서, ASIC(application-specific integrated circuit), FPGA(field-programmable gate array), CPU(central processing unit), ALU(arithmetic logic unit), DSP(digital signal processor), 또는 다른 유사한 프로세싱 디바이스 컴포넌트를 포함하는 적어도 하나의 프로세싱 디바이스의 각각의 일부뿐만 아니라, 다른 타입 및 구성의 이미지 프로세싱 회로를 임의의 조합으로 포함할 수 있다.
픽셀 식별 모듈(114) 및 초해상도 모듈(116) 또는 그 일부는 메모리(112)에 저장되고 프로세서(110)에 의해 실행되는 소프트웨어의 형태로 적어도 부분적으로 구현될 수 있다. 대응하는 프로세서에 의해 실행될 소프트웨어 코드를 저장하는 소정의 이러한 메모리는, 컴퓨터 프로그램 코드가 구현되는 컴퓨터 판독가능한 매체 또는 다른 타입의 컴퓨터 프로그램 제품으로서 본 명세서에서 보다 일반적으로 지칭되는 것의 예이며, 예를 들어, RAM(random access memory) 또는 ROM(read-only memory)과 같은 전자 메모리, 자기 메모리, 광학 메모리, 또는 다르 타입의 저장 디바이스를 임의의 조합으로 포함할 수 있다. 상술한 바와 같이, 프로세서는 마이크로프로세서, ASIC, FPGA, CPU, ALU, DSP, 또는 다른 이미지 프로세싱 회로의 부분 또는 조합을 포함할 수 있다.
본 발명의 실시예는 집적 회로의 형태로 구현될 수 있음을 또한 이해해야 한다. 소정의 이러한 집적 회로의 구현예에서, 동일한 다이는 통상적으로 반도체 웨이퍼의 표면상에서 반복된 패턴으로 형성된다. 각각의 다이는 본 명세서에서 기술된 바와 같은 이미지 프로세싱 회로를 포함하고 다른 구조 또는 회로를 포함할 수 있다. 개별적인 다이는 웨이퍼로부터 절단되거나 다이싱되고, 그 다음에 집적 회로로서 패키지화된다. 당 분야에서 통상의 지식을 가진 자라면 집적 회로를 생성하기 위해 웨이퍼 및 패키지 다이를 어떻게 다이싱할지를 알 수 있을 것이다. 이와 같이 제조된 집적 회로는 본 발명의 실시예로 간주된다.
도 1에 도시된 바와 같이 이미지 프로세싱 시스템(100)의 특정의 구성은 단지 예시적인 것이며, 다른 실시예에 시스템(100)은 이러한 시스템의 종래의 구현예에서 통상적으로 발견되는 타입의 하나 이상의 요소를 포함하는, 구체적으로 도시된 이들 요소에 부가하여 또는 이들 요소 대신에, 다른 요소를 포함할 수 있다.
도 2의 흐름도를 참조하면, 일 실시예에서 3D 이미저에 의해 생성된 깊이 이미지에서 깊이 아티팩트의 제거를 위한 프로세스가 도시되어 있다. 프로세스는 그 픽셀 식별 모듈(114) 및 초해상도 모듈(116)을 이용하여 이미지 프로세서(102)에 의해 구현되는 것으로 가정한다. 이 실시예에서 프로세스는 M×N의 픽셀에서 공간 해상도 또는 크기를 갖는 깊이 이미지 D를 예시적으로 포함하는 제 1 이미지(200)로 개시한다. 이러한 이미지는 SL 카메라 또는 ToF 카메라와 같은 3D 이미저에 의해 제공되는 것으로 가정하며 이에 따라 통상적으로 하나 이상의 깊이 아티팩트를 포함할 것이다. 예를 들어, 깊이 아티팩트는 SL 카메라 또는 다른 3D 이미저를 이용하는 경우에 흔히 발생하는 "음영(shadows)"을 포함할 수 있다.
단계(202)에서, 깊이 이미지 D에서 적어도 하나의 깊이 아티팩트와 연관된 하나 이상의 잠재적 결함 픽셀이 식별된다. 이들 잠재적 결함 픽셀은 보다 구체적으로 본 명세서의 바람직한 실시예 및 다른 실시예의 문맥에서 "고장(broken)" 픽셀로서 지칭되고 일반적으로 깊이 이미지 D에서 하나 이상의 깊이 아티팩트와 연관이 되기에 충분히 높은 확률로 결정되는 임의의 픽셀을 포함하는 것으로 이해해야 한다. 그와 같이 식별되는 임의의 픽셀은 단계(202)에서 고장 픽셀로서 마크되거나 또는 표시될 수 있어, 이들 픽셀의 제거 또는 다른 후속 프로세싱을 용이하게 한다. 이와 달리, 고장 픽셀의 서브세트만이 제거 또는 임계치 또는 다른 기준에 기초한 다른 후속 프로세싱을 위해 마크될 수 있다.
단계(204)에서, 단계(202)에서 식별된 "고장" 픽셀은 깊이 이미지 D로부터 제거된다. 다른 실시예에서, 고장 픽셀은 전적으로 제거될 필요가 없음에 주목해야 한다. 대신에, 임계치 또는 다른 특정된 픽셀 제거 기준에 기초하여 이들 픽셀의 서브세트만이 제거될 수 있거나, 또는 적어도 이들 픽셀의 서브세트에 대해 특정의 추가적인 프로세싱 동작이 적용될 수 있어 깊이 정보의 후속 재구성을 용이하게 한다. 따라서, 단계(202)에서 잠재적으로 결함이 있는 것으로서 식별된 모든 픽셀의 명시적인 제거는 요구되지 않는다.
단계(206)에서, 초해상도 기법은 이 실시예에서 다른 원점으로부터의 정규 이미지로서 예시적으로 지칭되는 제 2 이미지(208)를 이용하여 변경된 깊이 이미지 D에 적용된다. 따라서, 예를 들어, 제 2 이미지(208)는 실질적으로 동일한 장면의 이미지일 수 있으나 2D 이미저와 같은 이미지 소스들(104) 중 다른 이미지 소스에 의해 제공되고, 이에 따라 일반적으로 깊이 이미지 D에서 발견되는 타입의 깊이 아티팩트를 포함하지 않을 것이다. 이 실시예에서 제 2 이미지(208)는 깊이 이미지 D와 동일한 해상도를 갖는 것으로 가정하므로, M×N 이미지이지만, 깊이 이미지에 대비되는 정규 이미지(regular image)를 포함한다. 그러나, 다른 실시예에서, 제 2 이미지(208)는 깊이 이미지 D보다 높은 해상도를 가질 수 있다. 본 명세서에서 기술된 이 실시예 및 다른 실시예에서 사용될 수 있는 정규 이미지의 예는 2D 이미저에 의해 생성된 적외선 이미지, 그레이 스케일 이미지, 또는 컬러 이미지를 포함한다.
따라서, 본 실시예에서 단계(206)는 일반적으로 2개의 상이한 타입의 이미지로서, 고장 픽셀이 제거된 깊이 이미지 및 정규 이미지를 이용하며, 이들 모두는 실질적으로 동일한 크기를 갖는다.
정규 이미지(208)를 이용하는 단계(206)에서 초해상도 기법의 적용은 단계(204)에서 이미지로부터 제거된 고장 픽셀의 깊이 정보를 재구성하도록 기능한다. 예를 들어, 단계(204)에서 제거된 고장 픽셀에 대한 깊이 정보는 제 2 이미지(208)에 대응하는 적외선 이미지, 그레이 스케일 이미지, 또는 컬러 이미지로부터의 강도 데이터를 갖는 깊이 맵 D에서 인접 픽셀들로부터의 깊이 정보를 결합함으로써 재구성될 수 있다.
이 동작은 깊이 이미지 D의 공간 해상도를 증가시키지 않고, 제거되는 픽셀과 연관된 깊이 글리치(glitch) 또는 다른 깊이 아티팩트로부터 복구하는 것으로서 보여질 수 있다. 이 실시예에서 제 3 이미지(210)는 고장 픽셀을 포함하지 않지만 그 대신에 재구성된 깊이 정보를 포함하는 해상도 M×N의 깊이 이미지 E를 포함한다. 대응하는 픽셀 그리드가 랜덤 위치에서의 고장 픽셀이 단계(204)에서 제거된 갭을 포함하므로, 단계(206)의 초해상도 기법은 깊이 포인트의 비정규 세트를 처리할 수 있어야 한다.
이하 보다 상세하게 기술되는 바와 같이, 단계(206)에 적용된 초해상도 기법은, 예를 들어, 마르코프 랜덤 필드 모델(Markov random field model)에 적어도 부분적으로 기초할 수 있다. 그러나, 제거되는 픽셀과 연관된 깊이 정보를 재구성하는데 적합한 각종 다른 초해상도 기법이 사용될 수 있음을 이해할 것이다.
또한, 추가적인 깊이 아티팩트의 위치를 탐색하고 이를 실질적으로 제거하기 위해 단계(202, 204, 206)가 반복될 수 있다.
도 2의 실시예에서, 제 1 이미지(200), 제 2 이미지(208), 및 제 3 이미지(210)는 모두 동일한 공간 해상도 또는 픽셀 크기, 즉, M×N 픽셀의 해상도를 갖는다. 제 1 및 제 3 이미지는 깊이 이미지이고, 제 2 이미지는 정규 이미지이다. 보다 구체적으로, 제 3 이미지는 제 1 이미지에 일반적으로 대응하는 깊이 이미지이지만 하나 이상의 깊이 아티팩트가 실질적으로 제거된 깊이 이미지이다. 또한, 제 1, 제 2 및 제 3 이미지는 모두 실질적으로 동일한 공간 해상도를 갖는다. 도 5와 관련하여 이하 기술될 다른 실시예에서, 제 3 이미지(210)의 공간 해상도는 일반적으로 단계(206)에서 깊이 정보를 재구성하도록 적용된 기법과는 상이한 기법인 다른 초해상도 기법을 이용하여 증가된다.
도 2의 프로세스에 의해 생성된 깊이 이미지 E는 통상적으로 원래의 깊이 이미지 D에 비해, 보다 양호한 시각적 및 기구적 품질, 보다 규칙적이고 자연스러운 형상의 보다 예리한 에지, 보다 낮은 노이즈 이미지, 및 고 반사성 표면 또는 다른 깊이 아티팩트로부터 깊이 아웃라이어(depth outlier), 스페클(speckles), 포화 스폿(saturated spots)이 없다는 특징이 있다.
도 2의 프로세스의 단계(202)에서 깊이 이미지 D에서 잠재적 결함 픽셀을 식별하는 예시적인 기법은 도 3 및 도 4를 참조하여 보다 상세하게 기술될 것이다. 몇몇 실시예에서 이러한 픽셀은, SL 카메라 또는 ToF 카메라와 같은 연관된 3D 이미저에 의해 제각각의 사전 결정된 에러 값으로 설정된 깊이 값을 갖는 임의의 픽셀로서 식별될 수 있음에 먼저 주목해야 한다. 예를 들어, 이러한 카메라는 대응하는 픽셀이 그 깊이 정보의 관점에서 잠재적으로 결함이 있음을 표시하기 위한 사전 결정된 에러 값으로서 z=0의 깊이 값을 사용하도록 구성될 수 있다. 이 타입의 실시예에서, 사전 결정된 에러 값을 갖는 임의의 픽셀은 단계(202)에서 고장 픽셀로서 식별될 수 있다.
깊이 이미지 D에서 잠재적 결함 픽셀을 식별하는 다른 기법은 도 3에 도시된 바와 같이, 인접하는 잠재적 결함 픽셀의 영역을 검출하고, 도 4에 도시된 바와 같이, 특정의 잠재적 결함 픽셀의 영역을 검출하는 것을 포함한다.
도 3을 참조하면, 깊이 이미지 D의 일부가, 복수의 연속하는 잠재적 결함 픽셀의 음영 영역을 갖는 깊이 아티팩트를 포함하는 것으로 도시되어 있다. 음영 영역에서 연속하는 잠재적 결함 픽셀의 각각은 음영 영역 외부의 픽셀의 깊이 값과 실질적으로 상이한 제각각의 예상되지 않은(unexpected) 깊이 값을 갖는 인접하는 픽셀을 포함한다. 예를 들어, 이 실시예에서 음영 영역은 미음영(unshaded) 주변 경계에 의해 둘러싸이고, 음영 영역은 주변 경계를 참조하여 다음과 같은 부등식, 즉,
Figure pct00001
을 충족하도록 정의될 수 있고, 여기서 d T는 임계치이다. 이러한 예상되지 않은 깊이 영역이 검출되는 경우, 각 검출된 영역 내부의 모든 픽셀은 고장 픽셀로서 마크된다. 다른 실시예에서 소정의 깊이 아티팩트에 대응하는 인접하는 잠재적 결함 픽셀의 영역을 식별하는데 각종 다른 기법이 사용될 수 있다. 예를 들어, 상술한 부등식은 다음과 같은 통계치(statistic), 즉,
Figure pct00002
를 이용하여 보다 일반적으로 표현될 수 있고, 여기서 통계치는 앞에서 주어진 바와 같은 평균(mean)이거나, 중앙값(median), 또는 p-norm 거리 메트릭(distance metric)과 같은 임의의 폭넓은 다른 타입의 통계치일 수 있다. p-norm 거리 메트릭의 경우에, 상기 부등식의 통계치는 다음과 같이, 즉,
Figure pct00003
로 표현될 수 있고, 이 예에서 x i 는 소정의 픽셀과 연관된 벡터 x의 요소를 보다 잠재적으로 표시하고, 여기서 p ≥ 1이다.
도 4는 깊이 이미지 D에서 소정의 분리된 잠재적 결함 픽셀 근처의 이웃 픽셀을 도시한다. 이 실시예에서, 이웃 픽셀은 특정 픽셀 p을 둘러싸는 8개의 픽셀 p 1 내지 p 8을 포함한다. 이 실시예에서 특정 픽셀 p은 특정 픽셀의 깊이 값, 및 이웃 픽셀에서의 각 픽셀의 깊이 값의 평균과 표준 편차 중 적어도 하나에 기초하여 잠재적 결함 픽셀로서 식별된다.
예시로서, 특정 픽셀 p에 대한 이웃 픽셀은 예시적으로 픽셀 p의 n개의 이웃의 세트 S p , 즉,
Figure pct00004
를 포함하고, 여기서 n개의 이웃은 각각 상기 부등식, 즉,
Figure pct00005
을 충족하고, 여기서 d는 임계치 또는 이웃 반경이고 ||.||는 그들 각각의 중심 사이에서 측정되는, x-y 평면에서의 픽셀 p과 pi 사이의 유클리드 거리(Euclidian distance)를 표시한다. 이 예에서 유클리드 거리가 사용되지만, 맨해턴(Manhattan) 거리 메트릭, 또는 보다 일반적으로 상술한 타입의 p-norm 거리 메트릭과 같은 다른 타입의 거리 메트릭이 사용될 수 있다. 픽셀 p의 8개의 이웃 픽셀에 대해 원의 반경에 대응하는 d의 예가 도 4에 도시되어 있다. 그러나, 각각의 특정 픽셀에 대해 이웃 픽셀을 식별하는데 각종 다른 기법이 사용될 수 있음에 주목해야 한다.
또한 예시로서, 소정의 특정 픽셀 p은 다음과 같은 부등식, 즉,
Figure pct00006
이 충족되는 경우, 잠재적 결함 픽셀로서 식별되고 고장인 것으로서 마크될 수 있고, 여기서 zp는 특정 픽셀의 상기 깊이 값이고, m 및 σ는 각각, 이웃 픽셀에서의 각 픽셀의 깊이 값의 평균 및 표준 편차이고, k는 신뢰도(a degree of confidence)를 특정하는 승산 계수이다. 일례로서, 몇몇 실시예에서 신뢰도 계수는 k = 3로 주어져 있다. 다른 실시예에서 각종 다른 거리 메트릭이 사용될 수 있다.
상술한 예에서 평균 m 및 표준 편차 σ는 다음과 같은 수학식, 즉,
Figure pct00007
을 이용하여 결정될 수 있다.
그러나, 다른 실시예에서 σ의 다른 정의가 사용될 수 있음을 이해해야 한다.
상술한 방식으로 식별된 개별적인 잠재적 결함 픽셀은, 예를 들어, 깊이 맵 D를 생성하는데 사용되는 3D 이미저의 물리적 제한에 기인하는 스페클형(speckle-like) 노이즈를 포함하는 깊이 아티팩트에 대응할 수 있다.
개별적인 잠재적 결함 픽셀을 식별하는 임계적인 방법은 종종 객체의 경계로부터 픽셀을 마킹하여 제거할 수 있지만, 이는 단계(206)에서 적용된 초해상도 기법이 임의의 이러한 제거된 픽셀의 깊이 값을 재구성할 수 있으므로 문제가 되지 않는다.
또한, 잠재적 결함 픽셀을 식별하는 상술한 기법의 복수의 인스턴스는 단계(202)에서 직렬로, 가능하게는 파이프라인 구현에서 하나 이상의 추가적인 필터를 갖고 구현될 수 있다.
상술한 바와 같이, 도 2의 프로세스는 그 공간 해상도를 실질적으로 증가시키기 위해 깊이 이미지 E에 적용되는 추가의 잠재적으로 별개인 초해상도 기법의 적용으로 보충될 수 있다. 이 타입의 실시예가 도 5의 흐름도에 도시되어 있다. 도시된 프로세스는 도 2와 관련하여 상술한 것과 실질적으로 동일한 방식으로, 제 3 이미지(210)를 생성하기 위해 제 1 이미지(200) 및 제 2 이미지(208)를 이용하는 단계(202, 204 및 206)를 포함한다. 프로세스는 제 1, 제 2, 제 3 이미지의 공간 해상도보다 큰 공간 해상도를 갖는 제 4 이미지(214)를 이용하여 추가적인 초해상도 기법이 적용되는 추가적인 단계(212)를 더 포함한다.
본 실시예에서 단계(212)에서 적용된 초해상도 기법은 일반적으로 단계(206)에서 적용된 기법과 상이한 기법이다. 예를 들어, 앞에서 표시한 바와 같이, 단계(206)에서 적용된 초해상도 기법은 깊이 정보의 재구성에 특히 적합한 마르코프 랜덤 필드 기반 초해상도 기법 또는 다른 초해상도 기법을 포함할 수 있다. 본 발명의 실시예에서 사용하는 데에 적응될 수 있는 예시적인 마르코프 랜덤 필드 기반 초해상도 기법에 관한 추가적인 세부사항은 본 명세서의 참조로서 인용되는, 예를 들어, 제이. 디벨 등(J. Diebel et al.,)의 "An Application of Markov Random Fields to Range Sensing," NIPS, MIT Press, pp. 291-298, 2005에서 찾아볼 수 있다. 이와 달리, 단계(212)에서 적용된 초해상도 기법은 양측방향(bilateral) 필터에 적어도 부분적으로 기초하는 초해상도 기법과 같이, 보다 높은 해상도 이미지를 이용하여 낮은 해상도 이미지의 공간 해상도를 증가시키는 데에 특히 적합한 초해상도 기법을 포함할 수 있다. 이 타입의 초해상도 기법의 예는 본 명세서의 참조로서 인용되는, 큐. 양 등(Q. Yang et al.,)의 "Spatial-Depth Super Resolution for Range Images," IEEE Conference on Computer Vision and Pattern Recognition CVPR), 2007에 기술되어 있다.
상기 내용은 단지 본 발명의 실시예에서 사용될 수 있는 초해상도 기법의 예이다. 본 명세서에서 사용되는 바와 같은 "초해상도 기법"이란 용어는 가능하게는 하나 이상의 다른 이미지를 이용함으로써 소정의 이미지의 해상도를 증강시키는 데에 사용될 수 있는 기법을 포함하기 위해 폭넓게 해석되는 것으로 의도된다.
단계(212)에서 추가적인 초해상도 기법의 적용은 제 3 이미지에 비해 증가된 공간 해상도를 갖는 제 5 이미지(216)를 제공한다. 제 4 이미지(214)는 M1×N1 픽셀의 공간 해상도 또는 픽셀 크기를 갖는 정규 이미지이고, 여기서 M1>M 및 N1>N인 것으로 가정한다. 제 5 이미지(216)는 제 1 이미지에 일반적으로 대응하는 깊이 이미지이지만 하나 이상의 깊이 아티팩트가 실질적으로 제거되고 공간 해상도가 증가된 깊이 이미지이다.
제 3 이미지(208)와 같이, 제 4 이미지(214)는 제 1 이미지를 생성하는데 사용되는 3D 이미저와 상이한 이미저에 의해 예시적으로 제공되는, 제 1 이미지(200)와 실질적으로 동일한 장면의 2D 이미지이다. 예를 들어, 제 4 이미지(214)는 2D 이미저에 의해 생성되는 적외선 이미지, 그레이 스케일 이미지, 또는 컬러 이미지일 수 있다.
앞에서 언급한 바와 같이, 단계(206) 및 단계(212)에서 상이한 초해상도 기법이 일반적으로 사용된다. 예를 들어, 제거되는 고장 픽셀을 위한 깊이 정보를 재구성하기 위해 단계(206)에서 사용된 초해상도 기법은 x-y 평면에서 충분히 정밀한 결과를 제공할 수 없다. 따라서, 측방향(lateral) 공간 에러를 보정하기 위해 단계(212)에서 적용된 초해상도 기법이 최적화될 수 있다. 예는 상술한 바와 같이, 양방향 필터에 기초한 초해상도 기법, 또는 깊이 이미지 E에서의 피쳐(feature)보다 정규 이미지(214)에서의 에지, 윤곽, 경계 및 다른 피쳐에 대해 보다 민감하도록 구성되는 초해상도 기법을 포함한다. 깊이 에러가 단계(206)에서 적용된 초해상도 기법에 의해 실질적으로 보정되므로 이들 깊이 에러는 도 5의 프로세스의 이 단계에서는 특히 중요하지 않다.
도 5에서 M1×N1 정규 이미지(214)로부터 M×N 정규 이미지(208)로의 점선은 다운샘플링 또는 다른 유사한 동작을 이용하여 전자의 이미지로부터 후자의 이미지가 생성될 수 있음을 표시한다.
도 5의 실시예에서, 깊이 아티팩트와 연관된 잠재적 결함 픽셀이 식별되어 제거되고, 단계(206)에서 제 1 초해상도 기법을 이용하여 대응하는 깊이 정보가 재구성되고, 이어서 단계(212)에서 제 2 초해상도 기법을 이용하여 결과적인 깊이 이미지의 공간 해상도 증강이 후속되고, 여기서 제 2 초해상도 기법은 일반적으로 제 1 초해상도 기법과 상이하다.
도 5의 실시예는 깊이 아티팩트를 제거하지 않는 하나의 초해상도 기법의 적용을 포함하는 종래의 구성에 비해 큰 안정성의 장점을 제공한다는 것에 또한 주목한다. 도 5의 실시예에서, 제 1 초해상도 기법은 깊이 아티팩트를 실질적으로 갖지 않는 저해상도 깊이 맵을 획득하고, 이에 의해 공간 해상도를 향상시킴에 있어 제 2 초해상도 기법의 성능을 증강시킨다.
단계(206)에서 제 1 초해상도 기법만을 이용하는 도 2의 실시예는 깊이 맵에서 깊이 아티팩트의 제거만이 요구되는 애플리케이션에서 사용되거나, 또는 도 5의 단계(212)에서 제 2 초해상도 기법을 이용하여 깊이 맵의 공간 해상도를 향상시키는 데에 이용가능한 불충분한 프로세싱 파워 또는 시간이 존재하는 경우에 사용될 수 있다. 그러나, 이미지 프로세서(102)의 사전 프로세싱 스테이지로서 도 2의 실시예를 사용하는 것은 임의의 후속 해상도 증강 프로세스로부터 얻어지는 출력 이미지에서 큰 품질의 향상을 제공할 수 있다.
이들 및 다른 실시예에서, 왜곡 및 다른 타입의 깊이 아티팩트는 SL 카메라 및 ToF 카메라 및 다른 타입의 실시간 3D 이미저에 의해 생성된 깊이 이미지로부터 효과적으로 제거된다.
본 명세서에서 기술된 바와 같은 본 발명의 실시예는 단지 예시적인 것으로 의도된다는 것에 또한 주목해야 한다. 예를 들어, 광범위한 상이한 타입 및 구성의 이미지 프로세싱 회로, 픽셀 식별 기법, 초해상도 기법 및 본 명세서에서 기술된 특정의 실시예에서 이용된 것 이외의 다른 프로세싱 동작을 이용하여 본 발명의 다른 실시예가 구현될 수 있다. 또한, 특정의 실시예를 기술하는 문맥에서 본 명세서에서 행해진 특정의 가정이 다른 실시예에 적용될 필요는 없다. 후술하는 특허청구범위의 범위 내의 이들 및 각종 다른 대안적인 실시예는 당 분야에서 통상의 지식을 가진 자에게 용이하게 명백해질 것이다.

Claims (24)

  1. 제 1 이미지 내의 적어도 하나의 깊이 아티팩트(depth artifact)와 연관된 하나 이상의 잠재적 결함 픽셀(potentially defective pixel)을 식별하는 단계와,
    상기 하나 이상의 잠재적 결함 픽셀의 깊이 정보를 재구성하기 위해 제 2 이미지를 이용하는 초해상도(super resolution) 기법을 적용하는 단계를 포함하되,
    상기 초해상도 기법의 적용은 상기 재구성된 깊이 정보를 갖는 제 3 이미지를 생성하고,
    상기 식별하는 단계 및 상기 적용하는 단계는, 메모리에 결합된 프로세서를 포함하는 적어도 하나의 프로세싱 디바이스로 구현되는
    방법.
  2. 제 1 항에 있어서,
    상기 제 1 이미지는 깊이 이미지(depth image)를 포함하고, 상기 제 3 이미지는, 상기 제 1 이미지에 전반적으로 대응하지만 상기 적어도 하나의 깊이 아티팩트가 실질적으로 제거된 깊이 이미지를 포함하는
    방법.
  3. 제 1 항에 있어서,
    제 4 이미지를 이용하는 추가적인 초해상도 기법을 적용하는 단계를 더 포함하며,
    상기 추가적인 초해상도 기법의 적용은 상기 제 3 이미지에 비해 증가된 공간 해상도를 갖는 제 5 이미지를 생성하는
    방법.
  4. 제 3 항에 있어서,
    상기 제 1 이미지는 깊이 이미지를 포함하고, 상기 제 5 이미지는, 상기 제 1 이미지에 전반적으로 대응하지만 상기 적어도 하나의 깊이 아티팩트가 실질적으로 제거되고 상기 해상도가 증가된 깊이 이미지를 포함하는
    방법.
  5. 제 1 항에 있어서,
    하나 이상의 잠재적 결함 픽셀을 식별하는 단계는,
    상기 잠재적 결함 픽셀의 적어도 서브세트를 마킹하는 단계와,
    상기 초해상도 기법을 적용하기 전에 상기 제 1 이미지로부터 상기 마킹된 잠재적 결함 픽셀을 제거하는 단계를 포함하는
    방법.
  6. 제 1 항에 있어서,
    상기 제 1 이미지는 제 1 이미지 소스로부터의 제 1 해상도의 깊이 이미지를 포함하고, 상기 제 2 이미지는 실질적으로 동일한 장면의 2차원 이미지로서 상기 제 1 이미지 소스와 상이한 다른 이미지 소스로부터의, 상기 제 1 해상도와 실질적으로 동일한 해상도를 갖는 2차원 이미지를 포함하는
    방법.
  7. 제 3 항에 있어서,
    상기 제 1 이미지는 제 1 이미지 소스로부터의 제 1 해상도의 깊이 이미지를 포함하고, 상기 제 4 이미지는 실질적으로 동일한 장면의 2차원 이미지로서 상기 제 1 이미지 소스와 상이한 다른 이미지 소스로부터의, 상기 제 1 해상도보다 실질적으로 큰 해상도를 갖는 2차원 이미지를 포함하는
    방법.
  8. 제 1 항에 있어서,
    하나 이상의 잠재적 결함 픽셀을 식별하는 단계는,
    연관된 깊이 이미저(an associated depth imager)에 의해 각각의 사전 결정된 에러 값으로 설정된 깊이 값을 갖는 상기 제 1 이미지의 픽셀을 검출하는 단계를 포함하는
    방법.
  9. 제 1 항에 있어서,
    하나 이상의 잠재적 결함 픽셀을 식별하는 단계는,
    각각의 예상되지 않은(unexpected) 깊이 값을 갖는 인접하는 픽셀의 영역(an area of contiguous pixels)을 검출하는 단계를 포함하되, 상기 예상되지 않은 깊이 값은 실질적으로 상기 영역 외부의 픽셀의 깊이 값과는 상이한 것인
    방법.
  10. 제 9 항에 있어서,
    상기 각각의 예상되지 않은 깊이 값을 갖는 인접하는 픽셀의 영역은 상기 영역의 주변 경계를 참조하여 다음과 같은 부등식을 충족하도록 정의되고,
    Figure pct00008

    여기서 d T는 임계치이고, 통계치(statistic)는 평균(mean), 중앙값(median), 및 거리 메트릭(distance metric) 중 하나를 표시하는
    방법.
  11. 제 1 항에 있어서,
    하나 이상의 잠재적 결함 픽셀을 식별하는 단계는,
    상기 하나 이상의 픽셀 중 특정 픽셀을 식별하는 단계와,
    상기 특정 픽셀에 대한 이웃 픽셀을 식별하는 단계와,
    상기 특정 픽셀의 깊이 값, 및 상기 이웃 픽셀에서의 각 픽셀의 깊이 값의 평균과 표준 편차 중 적어도 하나에 기초하여 상기 특정 픽셀을 잠재적 결함 픽셀로서 식별하는 단계를 포함하는
    방법.
  12. 제 11 항에 있어서,
    상기 특정 픽셀에 대한 이웃 픽셀을 식별하는 단계는,
    특정 픽셀 p의 n개의 이웃의 세트 S p , 즉,
    Figure pct00009

    를 식별하는 단계를 포함하고,
    여기서 n개의 이웃은 각각 다음의 부등식, 즉,
    Figure pct00010

    을 충족하고,
    여기서 d는 이웃 반경이고 ||.||는 x-y 평면에서의 픽셀 p과 pi 사이의 거리 메트릭을 표시하는
    방법.
  13. 제 11 항에 있어서,
    상기 특정 픽셀을 잠재적 결함 픽셀로서 식별하는 단계는,
    다음과 같은 부등식, 즉,
    Figure pct00011

    이 충족되는 경우, 상기 특정 픽셀을 잠재적 결함 픽셀로서 식별하는 단계를 포함하고,
    여기서 zp는 상기 특정 픽셀의 깊이 값이고, m 및 σ는 각각, 상기 이웃 픽셀에서의 각 픽셀의 깊이 값의 평균 및 표준 편차이고, k는 신뢰도를 특정하는 승산 계수인
    방법.
  14. 제 1 항에 있어서,
    상기 초해상도 기법을 적용하는 단계는,
    마르코프 랜덤 필드 모델(Markov random field model)에 적어도 부분적으로 기초하는 초해상도 기법을 적용하는 단계를 포함하는
    방법.
  15. 제 3 항에 있어서,
    상기 추가적인 초해상도 기법을 적용하는 단계는,
    양방향 필터(bilateral filter)에 적어도 부분적으로 기초하는 초해상도 기법을 적용하는 단계를 포함하는
    방법.
  16. 컴퓨터 프로그램 코드가 내장된 컴퓨터 판독가능한 저장 매체로서,
    상기 컴퓨터 프로그램 코드는 프로세싱 디바이스에서 실행될 때 상기 프로세싱 디바이스로 하여금 제 1 항의 방법을 수행하게 하는
    컴퓨터 판독가능한 저장 매체.
  17. 메모리에 결합된 프로세서를 포함하는 적어도 하나의 프로세싱 디바이스를 포함하고,
    상기 적어도 하나의 프로세싱 디바이스는,
    제 1 이미지 내의 적어도 하나의 깊이 아티팩트와 연관된 하나 이상의 잠재적 결함 픽셀을 식별하도록 구성되는 픽셀 식별 모듈과,
    상기 하나 이상의 잠재적 결함 픽셀의 깊이 정보를 재구성하기 위해 제 2 이미지를 이용하도록 구성되는 초해상도 모듈을 포함하며,
    상기 초해상도 모듈은 상기 재구성된 깊이 정보를 갖는 제 3 이미지를 생성하는
    장치.
  18. 제 17 항에 있어서,
    상기 초해상도 모듈은 상기 제 3 이미지에 비해 증가된 공간 해상도를 갖는 제 5 이미지를 생성하기 위해 제 4 이미지를 이용하여 상기 제 3 이미지를 프로세싱하도록 또한 구성되는
    장치.
  19. 제 17 항에 있어서,
    상기 제 1 이미지는 제 1 이미지 소스로부터의 제 1 해상도의 깊이 이미지를 포함하고, 상기 제 2 이미지는 실질적으로 동일한 장면의 2차원 이미지로서 상기 제 1 이미지 소스와 상이한 다른 이미지 소스로부터의, 상기 제 1 해상도와 실질적으로 동일한 해상도를 갖는 2차원 이미지를 포함하는
    장치.
  20. 제 19 항에 있어서,
    상기 제 1 이미지 소스는 구조 광 카메라(a structured light camera) 및 비행 시간 카메라(a time of flight camera) 중 하나를 포함하는 3차원 이미지 소스를 포함하는
    장치.
  21. 제 19 항에 있어서,
    상기 다른 이미지 소스는 상기 제 2 이미지를 적외선 이미지, 그레이 스케일 이미지 및 컬러 이미지 중 하나로서 생성하도록 구성되는 2차원 이미지 소스를 포함하는
    장치.
  22. 제 18 항에 있어서,
    상기 제 1 이미지는 제 1 이미지 소스로부터의 제 1 해상도의 깊이 이미지를 포함하고, 상기 제 4 이미지는 실질적으로 동일한 장면의 2차원 이미지로서 상기 제 1 이미지 소스와 상이한 다른 이미지 소스로부터의, 상기 제 1 해상도보다 실질적으로 큰 해상도를 갖는 2차원 이미지를 포함하는
    장치.
  23. 제 17 항의 장치를 포함하는
    이미지 프로세싱 시스템.
  24. 제 23 항의 이미지 프로세싱 시스템을 포함하는
    제스처 검출 시스템.
KR1020157010645A 2012-10-24 2013-05-17 깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치 KR20150079638A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2012145349/08A RU2012145349A (ru) 2012-10-24 2012-10-24 Способ и устройство обработки изображений для устранения артефактов глубины
RU2012145349 2012-10-24
PCT/US2013/041507 WO2014065887A1 (en) 2012-10-24 2013-05-17 Image processing method and apparatus for elimination of depth artifacts

Publications (1)

Publication Number Publication Date
KR20150079638A true KR20150079638A (ko) 2015-07-08

Family

ID=50545069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157010645A KR20150079638A (ko) 2012-10-24 2013-05-17 깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치

Country Status (8)

Country Link
US (1) US20140240467A1 (ko)
JP (1) JP2016502704A (ko)
KR (1) KR20150079638A (ko)
CN (1) CN104025567A (ko)
CA (1) CA2844705A1 (ko)
RU (1) RU2012145349A (ko)
TW (1) TW201421419A (ko)
WO (1) WO2014065887A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020159024A1 (ko) * 2019-02-01 2020-08-06 엘지전자 주식회사 비동일 카메라 기반 영상 처리 장치

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317925B2 (en) * 2013-07-22 2016-04-19 Stmicroelectronics S.R.L. Depth map generation method, related system and computer program product
US20150309663A1 (en) * 2014-04-28 2015-10-29 Qualcomm Incorporated Flexible air and surface multi-touch detection in mobile platform
WO2016112019A1 (en) * 2015-01-06 2016-07-14 Oculus Vr, Llc Method and system for providing depth mapping using patterned light
US9696470B2 (en) 2015-03-04 2017-07-04 Microsoft Technology Licensing, Llc Sensing images and light sources via visible light filters
LU92688B1 (en) * 2015-04-01 2016-10-03 Iee Int Electronics & Eng Sa Method and system for real-time motion artifact handling and noise removal for tof sensor images
WO2016183395A1 (en) * 2015-05-13 2016-11-17 Oculus Vr, Llc Augmenting a depth map representation with a reflectivity map representation
WO2016184700A1 (en) * 2015-05-21 2016-11-24 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image
CN105139401A (zh) * 2015-08-31 2015-12-09 山东中金融仕文化科技股份有限公司 一种深度图中深度的可信度的评估方法
US10341633B2 (en) * 2015-11-20 2019-07-02 Qualcomm Incorporated Systems and methods for correcting erroneous depth information
US9886534B2 (en) * 2016-02-03 2018-02-06 Varian Medical Systems, Inc. System and method for collision avoidance in medical systems
US10015372B2 (en) * 2016-10-26 2018-07-03 Capsovision Inc De-ghosting of images captured using a capsule camera
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
CN106780649B (zh) * 2016-12-16 2020-04-07 上海联影医疗科技有限公司 图像的伪影去除方法和装置
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) * 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
JP7450163B2 (ja) * 2018-09-18 2024-03-15 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
CN112312113B (zh) * 2020-10-29 2022-07-15 贝壳技术有限公司 用于生成三维模型的方法、装置和系统
CN113205518B (zh) * 2021-07-05 2021-09-07 雅安市人民医院 医疗车图像信息处理方法及装置
CN118056221A (zh) * 2021-09-30 2024-05-17 北京大学 用于图像处理的系统和方法
CN115908142B (zh) * 2023-01-06 2023-05-09 诺比侃人工智能科技(成都)股份有限公司 一种基于视觉识别的接触网微小部件验损方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL156124A (en) * 2003-05-26 2010-04-15 Rafael Advanced Defense Sys A method for detecting incorrect pixels against a non-uniform background
US7684642B2 (en) * 2004-03-03 2010-03-23 Eastman Kodak Company Correction of redeye defects in images of humans
US20100142767A1 (en) * 2008-12-04 2010-06-10 Alan Duncan Fleming Image Analysis
US8774512B2 (en) * 2009-02-11 2014-07-08 Thomson Licensing Filling holes in depth maps
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020159024A1 (ko) * 2019-02-01 2020-08-06 엘지전자 주식회사 비동일 카메라 기반 영상 처리 장치
US11589028B2 (en) 2019-02-01 2023-02-21 Lg Electronics Inc. Non-same camera based image processing apparatus

Also Published As

Publication number Publication date
CA2844705A1 (en) 2014-04-24
CN104025567A (zh) 2014-09-03
RU2012145349A (ru) 2014-05-10
WO2014065887A1 (en) 2014-05-01
JP2016502704A (ja) 2016-01-28
US20140240467A1 (en) 2014-08-28
TW201421419A (zh) 2014-06-01

Similar Documents

Publication Publication Date Title
KR20150079638A (ko) 깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치
US9305360B2 (en) Method and apparatus for image enhancement and edge verification using at least one additional image
US20160005179A1 (en) Methods and apparatus for merging depth images generated using distinct depth imaging techniques
JP2016505186A (ja) エッジ保存・ノイズ抑制機能を有するイメージプロセッサ
KR102516495B1 (ko) 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
US20160247284A1 (en) Image processor with multi-channel interface between preprocessing layer and one or more higher layers
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
TW201432620A (zh) 具有邊緣選擇功能性之影像處理器
JPWO2012137511A1 (ja) 画像処理装置および画像処理方法
US20150139487A1 (en) Image processor with static pose recognition module utilizing segmented region of interest
US9392146B2 (en) Apparatus and method for extracting object
KR20170047780A (ko) 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법
KR101681197B1 (ko) 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치
US20210350615A1 (en) Methods and apparatus for extracting profiles from three-dimensional images
TW201426634A (zh) 利用一種基於來自其他影像之資訊的函數之泛函之目標影像產生
JP2013250604A (ja) 物体検出装置および物体検出方法
TWI618031B (zh) 影像邊緣偵測方法
JP2008225785A (ja) 画像認識装置
JP2023000111A (ja) 三次元モデル復元装置、方法及びプログラム
CN115526817A (zh) 三角立体相机视觉定位系统、方法及终端
Park et al. Depth Evaluation from Pattern Projection Optimized for Automated Electronics Assembling Robots
Jimenez-Cabello et al. Linear Plane Border-A Primitive for Range Images Combining Depth Edges and Surface Points
WO2015076869A1 (en) Image processor with static pose recognition module utilizing segmented region of interest
CA2844694A1 (en) Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid