KR20150102011A - 다른 이미지들로부터의 정보의 함수들에 기초한 범함수를 사용한 대상 이미지 생성 - Google Patents

다른 이미지들로부터의 정보의 함수들에 기초한 범함수를 사용한 대상 이미지 생성 Download PDF

Info

Publication number
KR20150102011A
KR20150102011A KR1020157016681A KR20157016681A KR20150102011A KR 20150102011 A KR20150102011 A KR 20150102011A KR 1020157016681 A KR1020157016681 A KR 1020157016681A KR 20157016681 A KR20157016681 A KR 20157016681A KR 20150102011 A KR20150102011 A KR 20150102011A
Authority
KR
South Korea
Prior art keywords
image
function
functions
way
images
Prior art date
Application number
KR1020157016681A
Other languages
English (en)
Inventor
드미트리 엔 바빈
알렉산더 에이 페티우시코
이반 엘 마주렌코
알렉산더 비 콜로덴코
알렉세이 에이 레투노브스키
Original Assignee
엘에스아이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘에스아이 코포레이션 filed Critical 엘에스아이 코포레이션
Publication of KR20150102011A publication Critical patent/KR20150102011A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

이미지 프로세싱 시스템은 적어도 제1 및 제2 이미지들에 관한 이미지 정보의 대응 부분과 각각 연관된 복수의 함수들에 기초하여 지정 범함수를 구성하고, 구성된 지정 범함수를 이용하여 대상 이미지를 생성하도록 구성된 이미지 프로세서를 포함한다. 예를 들면, 함수들은 이미지 정보의 각각의 입력 이미지 A1, A2, ..., AL로부터의 픽셀들의 함수들 f1(A1), f2(A2), ..., fL(AL)의 세트를 포함할 수 있고, 범함수는 함수들 f1(A1), f2(A2), ..., fL(AL)의 세트 중의 함수 F(X)일 수 있으며, 여기서, X는 대상 이미지를 나타내고 범함수 F(X)를 최소화함으로써 생성된다. 입력 이미지들은 하나 이상의 이미지 소스들로부터 수신될 수 있고, 대상 이미지는 하나 이상의 이미지 수신지들에 제공될 수 있다.

Description

다른 이미지들로부터의 정보의 함수들에 기초한 범함수를 사용한 대상 이미지 생성{TARGET IMAGE GENERATION UTILIZING A FUNCTIONAL BASED ON FUNCTIONS OF INFORMATION FROM OTHER IMAGES}
본 발명은 일반적으로 이미지 프로세싱에 관한 것으로, 보다 상세하게는, 이미지 재구성 및 다른 이미지들에 관한 정보를 이용한 특정 대상 이미지의 생성을 포함하는 다른 프로세스에 관한 것이다.
이미지 프로세싱은 광범위의 다양한 애플리케이션들에 있어 중요하고, 그러한 프로세싱은, 2차원(2D) 이미지 및 3차원(3D) 이미지를 포함하는 다양한 유형의 다수의 이미지들을 포함할 수 있다. 예를 들면, 각각의 카메라가 상이한 뷰의 장면을 갖도록 배치된 각각의 카메라에 의해 캡처된 다수의 2D 이미지에 기초한 3각 측량(triangulation)을 이용하여 공간 장면의 3D 이미지가 생성될 수 있다. 대안으로, 3D 이미지는 구조형 광(structured light; SL) 카메라 또는 ToF(time of flight) 카메라와 같은 심도 이미저(depth imager)를 이용하여 직접 생성될 수 있다. 이들 및 다른 유형의 다수의 이미지들은 제스처 인식, 얼굴 검출 및 단일 또는 다수의 개인 추적과 같은 머신 비전 애플리케이션에서 프로세싱될 수 있다.
종래의 이미지 프로세싱 기술은 보간 및 수퍼 해상도와 같은 다양한 이미지 재구성 기술들을 포함한다. 보간은 정보가 특정 이미지의 일부만을 위해 이용가능할 때 전형적으로 사용된다. 수퍼 해상도 기술은, 예를 들면, 보다 높은 해상도의 또 다른 이미지를 이용하여 낮은-해상도 이미지의 해상도를 향상시키는데 사용될 수 있다. 예시적인 수퍼 해상도 기술은 마르코프 랜덤 필드 또는 양방향 필터에 기초할 수 있다.
일 실시예에서, 이미지 프로세싱 시스템은, 적어도 제1 이미지 및 제2 이미지에 관련한 이미지 정보의 대응 부분과 연관된 복수의 함수(function)들에 기초하여 지정 범함수(functional)를 구성하고, 구성된 지정 범함수를 이용하여 대상 이미지를 생성하도록 구성된 이미지 프로세서를 포함한다. 하나 이상의 이미지 소스로부터 입력 이미지가 수신될 수 있고, 하나 이상의 이미지 수신지에 대상 이미지가 제공될 수 있다. 단지 예로서, 복수의 함수들은, 각각 이미지 정보의 복수의 이미지 A 1 , A 2 , ..., A L 중 대응하는 이미지로부터의 픽셀들의 함수를 각각 포함하는 함수 f 1 (A 1 ), f 2 (A 2 ), ..., f L (A L )의 세트를 포함할 수 있고, 범함수는 함수 f 1 (A 1 ), f 2 (A 2 ), ..., f L (A L )의 세트 중의 함수일 수 있다. 범함수는 형태 F(X)일 수 있고, 여기서, X는 대상 이미지를 가리키고, 그러한 배치에서, 대상 이미지 X는 범함수 F(X)를 최소화함으로써 생성될 수 있다.
본 발명의 다른 실시예들은 방법, 장치, 시스템, 프로세싱 디바이스, 집적 회로, 및 컴퓨터 프로그램 코드가 내장된 컴퓨터 판독가능 매체를 포함할 수 있지만, 이에 한정되는 것은 아니다.
도 1은 일 실시예에서의 이미지 프로세싱 시스템의 블록도이다.
도 2는 도 1 시스템에서의 선형 방정식의 시스템을 이용하여 대상 이미지를 생성하기 위한 프로세스의 흐름도이다.
도 3은 도 1 시스템에서의 근사 반복 최소화를 이용하여 대상 이미지를 생성하기 위한 프로세스의 흐름도이다.
본 발명의 실시예는 이제, 이미지 프로세서 또는 다른 유형의 프로세싱 디바이스를 포함하고 다른 이미지들로부터의 정보의 함수들에 기초한 범함수를 이용하여 대상 이미지를 생성하기 위한 기술을 구현하는 예시적인 이미지 프로세싱 시스템과 결합하여 설명될 것이다. 그러나, 본 발명의 실시예는 임의의 이미지 프로세싱 시스템 또는 연관 디바이스 또는 다수의 다른 이미지들로부터의 정보를 이용하여 대상 이미지를 생성하는 것이 바람직한 기술에 일반적으로 적용가능하다.
도 1은 본 발명의 실시예에서의 이미지 프로세싱 시스템(100)을 도시한다. 이미지 프로세싱 시스템(100)은, 이미지 소스(104)로부터 이미지를 수신하고 프로세싱된 이미지를 이미지 수신지(106)에 제공하는 이미지 프로세서(102)를 포함한다.
이미지 소스(104)는, 예를 들면, SL 카메라 및 ToF 카메라와 같은 3D 이미저뿐만 아니라, 2D 적외선 이미지, 그레이 스케일 이미지, 컬러 이미지 또는 임의의 조합으로 다른 유형의 2D 이미지를 생성하도록 구성된 2D 이미저를 포함한다. 이미지 소스(104) 중 하나의 또 다른 예는 프로세싱을 위한 이미지 프로세서(102)에 이미지를 제공하는 저장 디바이스 또는 서버이다.
이미지 수신지(106)는 예시적으로, 예를 들면, 인간-머신 인터페이스의 하나 이상의 디스플레이 스크린, 또는 이미지 프로세서(102)로부터 프로세싱된 이미지를 수신하는 적어도 하나의 저장 디바이스 또는 서버를 포함한다.
본 실시예에서 이미지 소스(104)와 이미지 수신지(106)가 분리되어 있는 것으로 도시되어 있지만, 이미지 프로세서(102)는 적어도 부분적으로 공통의 프로세싱 디바이스 상의 하나 이상의 이미지 소스 또는 이미지 수신지와 결합될 수 있다. 따라서, 예를 들면,하나 이상의 이미지 소스(104)와 이미지 프로세서(102)는 동일한 프로세싱 디바이스 상에 집합적으로 구현될 수 있다. 유사하게, 하나 이상의 이미지 수신지(106)와 이미지 프로세서(102)가 동일한 프로세싱 디바이스 상에 집합적으로 구현될 수 있다.
일 실시예에서, 이미지 프로세싱 시스템(100)은 사용자 제스처를 인식하기 위해 이미지를 프로세싱하는 비디오 게이밍 시스템 또는 다른 유형의 제스처-기반 시스템으로서 구현된다. 개시된 기술은 제스처-기반 인간-머신 인터페이스를 요구하는 다양한 다른 시스템에서 사용하도록 유사하게 적용될 수 있고, 또한, 제스처 인식 외에 로보틱스 내의 머신 비전 시스템 및 다른 산업 애플리케이션과 같은 애플리케이션에 적용될 수 있다.
본 실시예의 이미지 프로세서(102)는 적어도 하나의 프로세싱 디바이스를 이용하여 구현되고 메모리(112)에 결합된 프로세서(110)를 포함한다. 또한 이미지 프로세서(102)에 범함수 구성 모듈(114) 및 대상 이미지 생성 모듈(116)이 포함된다.
범함수 구성 모듈(114)은 적어도 제1 이미지 및 제2 이미지에 연관된 이미지 정의 대응 부분과 각각 연관된 복수의 함수에 기초하여 지정 범함수를 구성하도록 구성된다. 여기서 사용되는 용어 "범함수(functional)"는, 예를 들면, 다수의 함수들의 함수를 포함하는 것을 의도로 한다. 보다 일반적으로, 범함수는 벡터 공간으로부터 그의 하부 스칼라 필드로의 매핑을 제공하는 것으로 보여질 수 있고, 여기서, 벡터 공간은 함수들의 공간일 수 있다. 여기서 사용되는 용어 "이미지 정보"는 제1 이미지 및 제2 이미지 자체, 이들 이미지의 일부, 또는 이들 이미지의 적어도 일부로부터 도출된 정보를 포함하도록 광범위하게 해석되는 것을 의도로 한다.
제1 이미지 및 제2 이미지 또는 그들로부터 도출된 다른 이미지 정보는 하나 이상의 이미지 소스(104)에 의해 제공될 수 있다. 예를 들면, 제1 이미지 소스 및 제2 이미지 소스는 제1 이미지 및 제2 이미지 각각을 이미지 프로세서(102)에 제공하여, 이미지 프로세서가 이들 제1 이미지 및 제2 이미지로부터 이미지 정보를 도출할 수 있게 한다. 대안으로, 소스는 각각의 이미지로부터 정보를 도출할 수 있고 도출된 정보를 이미지 프로세서(102)에 제공할 수 있다. 또 다른 예로서, 단일 이미지 소스가 다수의 이미지 또는 연관된 도출 정보를 이미지 프로세서(102)에 제공할 수 있다.
대상 이미지 생성 모듈(116)은 구성된 범함수를 이용하여 대상 이미지를 생성하도록 구성된다. 시스템(100)에서의 결과의 대상 이미지는 하나 이상의 이미지 수신지(106)에 제공된다.
본 실시예에서, 모듈(114)에서 범함수를 구성하는데 사용되는 특정 함수들은 대상 프로세서(102)의 함수들(118)로부터 선택되거나 획득된 함수들의 하나 이상의 세트들을 포함한다. 예를 들면, 도 2 및 도 3과 결합하여 아래에 설명될 프로세스에서, 모듈(114)에서 범함수를 구성하는데 사용되는 함수들은, 각각 전술한 이미지 정보의 복수의 이미지 A 1 , A 2 , ..., A L 중 대응하는 이미지로부터의 픽셀들의 함수를 포함하는 함수 f 1 (A 1 ), f 2 (A 2 ), ..., f L (A L )의 세트를 포함한다. 따라서, 그러한 배치에서, 범함수는 함수 f 1 (A 1 ), f 2 (A 2 ), ..., f L (A L )의 세트 중의 함수이다. 그러나, 다른 실시예에서 범함수를 구성하는데 다른 유형의 함수들이 사용될 수 있다.
범함수 구성 모듈(114)에서 구성된 범함수는 형태 F(X)일 수 있고, 여기서, X는 대상 이미지를 가리킨다. 대상 이미지 생성 모듈(116)은 범함수 F(X)를 최소화함으로써 대상 이미지 X를 생성하도록 구성될 수 있다. 이것은, 예를 들면, 도 2 프로세스의 선형 방정식들의 세트의 해(solution), 또는 도 3 프로세스의 근사 반복 최소화를 포함할 수 있다. 범함수 F(X)는 하나 이상의 가중치들의 세트 및 확률들의 세트를 포함할 수 있고, 이 세트들은 이미지 프로세서(102)의 각각의 가중치들(120) 및 확률들(122)로부터 선택되거나 획득된다. 다른 실시예들은 다수의 다른 유형 및 구성의 범함수 및 범함수를 이용하여 대상 이미지를 생성하기 위한 연관된 기술을 사용할 수 있다.
특정 대상 이미지를 결정하기 위해 이미지 프로세싱 시스템(100)에서 이용되는 다수의 이미지들은 심도 이미지들 및 비-심도(non-depth) 이미지들의 다양한 조합을 포함할 수 있다. 예로서, 제1 이미지는 이미지 소스들(104) 중 제1 이미지 소스로부터 제1 해상도의 심도 이미지를 포함할 수 있고, 제2 이미지는 실질적으로 동일한 장면이고 제1 이미지 소스와는 다른 이미지 소스들(104) 중 또 다른 이미지 소스로부터 제1 해상도와 실질적으로 동일한 해상도를 갖는 2D 이미지를 포함할 수 있다. 이러한 유형의 실시예에서, 제1 이미지 소스는 구조형 광(SL) 또는 ToF 카메라와 같은 3D 이미지 소스를 포함할 수 있고, 제2 이미지 소스는 제2 이미지를 적외선 이미지, 그레이 스케일 이미지 또는 컬러 이미지로서 생성하도록 구성된 2D 이미지 소스를 포함할 수 있다. 전술한 바와 같이, 다른 실시예에서, 동일한 이미지 소스는 제1 이미지 및 제2 이미지 모두를 공급한다. 또한, 제1 이미지 및 제2 이미지 이상의 이미지가 사용될 수 있다.
범함수 구성 모듈(114)의 맥락에서의 용어 "구성" 및 대상 이미지 생성 모듈(116)의 맥락에서의 "생성"은 범함수 및 대상 이미지를 각각 결정하기 위한 다양한 다른 기술들을 포함하도록 광범위하게 해석될 것을 의도로 한다는 것이 이해되어야 한다.
전술한 바와 같이, 이미지 프로세서(102)의 범함수 구성 모듈(114) 및 대상 이미지 생성 모듈(116)을 이용하여 구현되는 예시적인 이미지 프로세싱 동작들은 도 2 및 도 3을 결합하여 이후에 더 상세히 설명될 것이다.
도 1의 실시예의 프로세서(110) 및 메모리(112)는, 마이크로프로세서, ASIC(application-specific integrated circuit), FPGA(field-programmable gate array), CPU(central processing unit), ALU(arithmetic logic unit), DSP(digital signal processor), 또는 다른 유사한 프로세싱 디바이스 컴포넌트뿐만 아니라, 임의의 조합의 다른 유형 및 배치의 이미지 프로세싱 회로를 포함하는 적어도 하나의 프로세싱 디바이스의 각각의 일부를 포함할 수 있다.
범함수 구성 모듈(114) 및 대상 이미지 생성 모듈(116) 또는 그들의 일부는 메모리(112)에 저장되고 프로세서(110)에 의해 실행되는 소프트웨어의 형태의 적어도 일부로 구현될 수 있다. 대응하는 프로세서에 의한 실행을 위한 소프트웨어 코드를 저장하는 그러한 특정 메모리는 컴퓨터 프로그램 코드가 구체화된 컴퓨터 판독가능 매체 또는 다른 유형의 컴퓨터 프로그램 제품으로서 여기서 더 일반적으로 지칭되는 예이고, 예를 들면, RAM(random access memroy) 또는 ROM(read-only memory), 자기 메모리, 광학 메모리, 또는 임의의 조합의 다른 유형의 저장 디바이스를 포함할 수 있다. 메모리(112)는 하나 이상의 함수들(118), 가중치들(120) 및 확률들(122) 중 적어도 일부를 부가적으로 또는 대안으로 저장할 수 있다. 전술한 바와 같이, 프로세서(110)는 마이크로프로세서, ASIC, FPGA, CPU, ALU, DSP 또는 다른 이미지 프로세싱 회로의 부분들 또는 조합을 포함할 수 있다.
본 발명의 실시예들은 집적 회로의 형태로 구현될 수 있다는 것 또한 이해되어야 한다. 그러한 특정 집적 회로 구현예에서, 동일한 다이는 일반적으로 반도체 웨이퍼의 표면 상에 반복 패턴으로 형성된다. 각각의 다이는 여기서 설명된 이미지 프로세싱 회로를 포함하고, 다른 구조 또는 회로를 포함할 수 있다. 웨이퍼로부터 개별 다이가 절단되거나 다이싱된 후, 집적 회로로서 패키징된다. 당업자는 집적 회로를 제조하기 위해 웨이퍼를 다이싱하고 다이를 패키징하는 방법을 알 것이다. 그와 같이 제조된 집적 회로가 본 발명의 실시예에서 고려된다.
도 1에 도시된 바와 같은 이미지 프로세싱 시스템(100)의 특정 구성은 단지 예이고, 다른 실시예에서의 시스템(100)은, 그러한 시스템의 종래 구현예에서 공통적으로 발견되는 유형의 하나 이상의 구성요소를 포함하여, 특별히 도시된 것에 부가하여 또는 그들 대신에 다른 구성요소를 포함할 수 있다.
도시된 실시예에서 이미지 프로세서(102)의 동작이 이제 더 상세히 설명될 것이다. 이들 실시예에 대해, 대상 이미지 X는 하나 이상의 이미지 소스(104)에 의해 제공되는 다수의 입력 이미지 A1, A2, ..., AL에 관한 이미지 정보로부터 이미지 프로세서(102)에 의해 재구성될 크기 M×N 픽셀들의 미지의 이미지라고 가정한다. 하나 이상의 입력 이미지 A1, A2, ..., AL는 또한 각각 원하는 대상 이미지와 동일한 크기 M×N 픽셀들일 수 있다. 입력 이미지는 상이한 이미저 또는 다른 유형의 이미지 소스에 의한 장면의 동일한 또는 유사한 시점(viewpoint)으로부터 취해질 수 있다.
전술한 함수 f 1 (A 1 ), f 2 (A 2 ), ..., f L (A L )의 세트는 이미지 A1, A2, ..., AL로부터 픽셀 값들의 각각의 공지된 매핑
Figure pct00001
을 제공하도록 구성될 수 있고, 여기서,
Figure pct00002
는 실제 M×N 매트릭스의 세트이다. 그러한 매핑의 예는 여기서 더 상세하게 설명될 것이다.
본 실시예의 이미지 프로세서(102)는 함수(118)로부터 선택되거나 획득된 함수 f 1 (A 1 ), f 2 (A 2 ), ..., f L (A L )의 세트에 기초한 범함수 F(X)를 이용하여 대상 이미지 X를 재구성하도록 구성되어, X의 재구성된 픽셀 값 Xij(여기서, 1≤i≤M, 1≤j≤N)가 다른 가능한 X 값들에 대해 특정 장면에서 최적이 되게 한다. 여기서 사용되는 용어 "최적"은 하나 이상의 특정 최적 규칙들에 따라 최적화를 포함하는 것으로 광범위하게 해석되어야 하고 절대 최소화를 요구하는 것으로 보아서는 안된다.
몇몇 실시예에서의 범함수 F(X)는 다음의 형태이다.
[수학식 1]
Figure pct00003
전술한 바와 같이, 몇몇 실시예에서, 대상 이미지 X는 범함수 F(X)를 최소화한 이미지이다. 즉,
[수학식 2]
Figure pct00004
가중치들(120)로부터 선택되거나 획득된 가중치들을 이용하여, 대상 이미지의 결정 외에 더 중요한 것으로 임의의 입력 이미지들을 지정할 수 있다. 예를 들면, 가중치들 w1, ..., wL의 세트는 모든 k=1...L에 대해 wk＞0이 되도록 도입될 수 있다. 함수들 fj(Aj) 중의 특정 함수에 의해 제공되는 정보가 함수들 fi(Ai) 중 또 다른 함수에 의해 제공되는 정보보다 중요하다고 알려져 있다면(이 특정 맥락에서, 색인 i 및 j는 1≤i≤L, 1≤j≤L이 되도록 정의됨), 가중치들은 wj≥wi가 되도록 할당될 수 있다.
가중치들을 포함하도록 수정된 상기 범함수(수학식 1)는 다음에 의해 주어진다.
[수학식 1']
Figure pct00005
이 경우에, 대상 이미지 X는 다음의 최소화를 이용하여 발견될 수 있다.
[수학식 2']
Figure pct00006
어떤 입력 이미지들이 다른 것들보다 더 중요한지가 알려져 있지 않다면, 모든 가중치들은 1, 즉, w1=...=wL=1과 동일하게 설정될 수 있다. 이것은 범함수(수학식 1')을 범함수(수학식 1)로 감소시키고 최소화(수학식 2')을 최소화(수학식 2)로 감소시킨다.
확률 세트들(122)로부터의 확률들 또한 전술한 가중치들과 결합하여 또는 그 대신에 사용될 수 있다. 예를 들면, 확률들 p1, p2, ..., pL의 세트가 도입될 수 있고, 여기서, 모든 k=1...L에 대해 0≤p≤1이다. 이들 확률 값들 pk 중 특정 값은 입력 이미지 정보의 대응 부분의 신뢰성 척도(reliability measure)로 고려될 수 있다. 확률이 클수록, 범함수의 대응 항에 더 크게 기여한다.
확률들을 포함한 것으로 수정된 상기 범함수(수학식 1')는 다음에 의해 주어진다.
[수학식 1'']
Figure pct00007
이 경우에, 대상 이미지 X는 다음의 최소화를 이용하여 발견될 수 있다.
[수학식 2'']
Figure pct00008
확률들이 알려져 있지 않다면, 모든 확률은 1, 즉, p1=...=pL=1과 동일하게 설정될 수 있다. 이것은 범함수(수학식 1'')를 범함수(수학식 1')로 감소시키고 최소화(수학식 2'')를 최소화(수학식 2')로 감소시킨다.
상기 설명에서, 특정 범함수에서 사용된 특정 함수들, 가중치들 및 확률들은 이미지 프로세서(102)의 각각의 함수들(118), 가중치들(120), 및 확률들(122)로부터 선택되거나 획득된다고 가정한다. 따라서, 이미지 프로세서는 다수의 세트들의 함수들, 가중치들 및 확률들을 저장할 수 있고, 필요에 따라 특정 이미지 프로세싱 애플리케이션을 사용하기 위해 특정 세트들을 선택할 수 있다. 대안으로, 그러한 하나 이상의 세트들은 이미지 프로세서에 의해 필요에 따라 생성될 수 있다.
최소화(수학식 2, 수학식 2', 수학식 2'')를 사용하여 대상 이미지 X를 결정하는 방식이 이제 더 상세히 설명될 것이다. 두 개의 경우가 고려되며, 그 중 제1 경우는, 함수 f 1 (A 1 ), f 2 (A 2 ), ..., f L (A L )가 모두 선형 함수이고, 그 중 제2 경우는 함수 f 1 (A 1 ), f 2 (A 2 ), ..., f L (A L ) 중 적어도 하나가 비선형 함수이다.
제1 경우에, 특히 함수 f 1 (A 1 ), f 2 (A 2 ), ..., f L (A L ) 모두 그들 각각의 필수 변수들이 선형이고, 여기서, f(X)의 필수 변수는 v(f(X)로 정의된 것으로 가정한다. 예를 들면,
Figure pct00009
. 또한,
Figure pct00010
는 F(X)d의 모든 필수 변수의 세트를 정의한다. X를 결정할 때 모호함을 피하기 위해,
Figure pct00011
, 즉, 모든 변수들이 범함수 F(X)에 필수라고 또한 가정한다.
대상 이미지 X는 다음의 수학식 3을 포함하는 선형 방정식의 시스템을 해결함으로써 선형 함수들의 경에 결정될 수 있다.
[수학식 3]
Figure pct00012
선형 방정식(수학식 3)의 시스템은, 예를 들면, 가우스 소거법과 같은 다수의 공지된 기술 중 임의의 것을 사용하여 정확하게 또는 근사하게 해결될 수 있는 MN 선형 방정식들의 시스템이다.
제2 경우에, 함수 f 1 (A 1 ), f 2 (A 2 ), ..., f L (A L ) 중 적어도 하나는 비선형 함수이고, 따라서, X는 제1 경우와 같이 선형 방정식들의 시스템을 해결하는 것으로는 발견될 수 없다. 대신, 대상 이미지 X를 결정하기 위한 하나의 가능한 기술은 근사 반복 최소화에 기초하는 것이다.
[수학식 4]
Figure pct00013
여기서, 대상 이미지 X의 초기 근사치 X0에서 시작하고, 최대 반복 횟수가 충족되거나 또는 두 개의 연속적인 반복에서 대상 이미지 X의 근사치 Xi +1과 Xi 간의 차이가 임계치보다 더 작아질 때까지 반복적으로 동작한다.
초기 근사치 X0는 q개의 항등 함수 fi1(Ai1), fi2(Ai2), ..., fiq(Aiq)의 세트를 이용하여 결정될 수 있고, 이 항등 함수들 각각은 대상 이미지 X에 관한 부분 정보를 제공한다. 예를 들면, 항등 함수들은 각각 적어도 하나의 픽셀 값 fi1(Ai1)=am1,n1,fi2(Ai2)=am2,n2,..., fiq(Aiq)=amq , nq를 제공하고, 이 경우, 초기 근사치 X0는 적어도 q개의 값 am1 , n1, am2 , n2, ..., amq , nq를 이용하여 보간에 의해 결정된 M×N 근사치일 수 있다. 보다 특정한 예로서, q개의 값들은 이중 선형 보간법, 큐빅 보간 또는 다른 유형의 보간을 사용하여 X0를 결정할 수 있도록 M×N 격자의 정규 서브격자를 포함할 수 있다.
이 접근법은 MN개의 변수를 이용하고 따라서 계산 집중식이 되더라도, 이 접근법은 분석 형태에서의 그레디언트들과 같은 추가 정보의 이용을 통해 속도가 향상될 수 있다. 따라서, 예를 들면, 그레디언트들은 모든 변수에 대해 알려져 있다고 가정할 수 있다. 사용될 수 있는 프로세스들의 예는 그레디언트 강하법, 신뢰 영역법, 레벤베르크-마쿼드법 등을 포함한다.
이제, 도 2의 흐름도를 참조하면, 일 실시예서의 선형 방정식들의 시스템을 이용하여 대상 이미지의 생성을 위한 프로세스가 도시되어 있다. 이 프로세스는 범함수 구성 모듈(114)과 대상 이미지 생성 모듈(116)을 이용하여 이미지 프로세서(102)에 의해 구현될 것으로 가정한다.
이 실시예의 프로세스는 단계 200 내지 212를 포함하고, 단계 200에서 각각의 입력 이미지 A1, A2, ..., AL 각각의 함수들 f1(A1), f2(A2), ..., fL(AL)의 세트, 단계 202에서 가중치들 w1, ...., wL의 세트, 및 단계 204에서 확률들 p1, p2, ..., pL의 세트를 획득하는 것으로 시작한다. 가중치들 또는 확률들이 적용되지 않을 것이라면, 대응하는 값들은 모두 1로 설정될 수 있다.
단계 206에서, 단계 200에서 획득된 함수들은 필요하다면 조정된다. 예를 들면, 함수들은 상이한 이미지 소스들로부터의 각각의 이미지들에 연관될 수 있고, 따라서 정규화가 요구될 수 있다. 보다 특정한 예로서, 함수들이 이미지 그레디언트들을 포함하는 구현예에서, 하나의 소스로부터의 입력 이미지에 대한 이미지 그레디언트가 범위 [0..1] 내에 있을 수 있는 반면, 또 다른 소스로부터 입력 이미지에 대한 이미지 그레디언트가 상이한 범위 [-1..1] 내에 있고, 또 다른 소스로부터의 입력 이미지에 대한 이미지 그레디언트는 제3 범위 [1..1000] 내에 있다. 이들 및 다른 유사한 상황에서, 단계 206에서의 조정을 사용하여, 예를 들면, 이미지 그레디언트 값들에 적절한 정규화 계수들을 곱함으로써 이미지 그레이언트 값들을 정규화한다.
단계 208에서, 범함수 F(X)는 전술한 방식으로 구성된다. 예를 들면, 가중치들 및 확률들이 모두 사용될 것이라고 가정하면, 범함수 F(X)는 형태(수학식 1'')에서 구성될 수 있다.
단계 210에서, 선형 방정식들의 시스템 dF/dxi ,j가 구성된다. 이 실시예에 대하여, 함수들 f1(A1), f2(A2), ..., fL(AL)은 전술한 바와 같이 그들 각각의 필수 변수들의 선형 함수들이라고 가정한다. 따라서, 이 단계는 일반적으로 전술한 선형 방정식(수학식 3)의 시스템을 획득하기 위해 모든 M×N 변수들 xi,j, i=1 ... M, j=1 ... N에 의해 F(X)를 미분하는 것을 포함한다.
단계 212에서, 대상 이미지 X는 가우스 소거법과 같은 접근법을 이용하여 선형 방정식들의 시스템을 해결함으로써 결정된다.
도 3은 일 실시예에서 근사 반복 최소화를 이용하여 대상 이미지의 생성을 위한 프로세스를 도시한다. 도 2 프로세스와 유사하게, 도 3 프로세스는 범함수 구성 모듈(114)과 대상 이미지 생성 모듈(116)을 이용하여 이미지 프로세서(102)에 의해 구현될 것으로 가정한다. 또한, 도 3의 단계 300 내지 312는 일반적으로 도 2의 각각의 단계 200 내지 212에 대응한다.
이 실시예에서의 프로세스는 단계 300에서 각각의 입력 이미지 A1, A2, ..., AL 각각의 함수들 f1(A1), f2(A2), ..., fL(AL)의 세트, 단계 302에서 가중치들 w1, ...., wL의 세트, 및 단계 304에서 확률들 p1, p2, ..., pL의 세트를 획득하는 것으로 시작한다. 가중치들 또는 확률들이 적용되지 않을 것이라면, 대응하는 값들은 모두 1로 설정될 수 있다.
단계 306에서, 단계 300에서 획득된 함수들은, 도 2의 맥락에서 전술한 방식으로, 필요하다면 조정된다.
단계 308에서, 범함수 F(X) 또한 전술한 방식으로 구성된다. 예를 들면, 가중치들 및 확률들 모두 사용될 것이라고 가정하면, 범함수 F(X)는 형태(수학식 1'')에서 구성될 수 있다.
단계 310에서, 근사 반복 최소화(수학식 4)가 수행된다. 전술한 바와 같이, 이러한 근사 반복 최소화는 대상 이미지 X의 초기 근사치 X0로 시작하고, 반복의 최대 횟수가 충족되거나 또는 두 개의 연속적인 반복들에서의 대상 이미지 X의 근사치 Xi +1과 Xi 간의 차이가 임계치보다 작게 될 때까지 반복적으로 동작한다.
단계 312에서, 대상 이미지 X는 단계 310의 근사 반복 최소화의 출력에 기초하여 결정된다. 특히, 전술한 바와 같이, 근사 반복 최소화 프로세스는 반복들의 최대 횟수에 도달하거나 또는 두 개의 연속적인 반복들에 대한 대상 이미지 근사치들 간의 임계치 차이가 충족되는 것에 기초하여 종료된다.
도 3 프로세스는 또한 단계 310에서의 근사 반복 최소화에서 이용될 초기 근사치 X0를 결정하는 것과 관련된 추가의 단계 314 및 316를 더 포함한다.
단계 314에서, q개의 항등 함수들 fi1(Ai1), fi2(Ai2), ..., fiq(Aiq)의 세트가 결정되고, 이들 각각은 대상 이미지 X에 관한 부분 정보를 제공한다. 예를 들면, q개의 함수들 각각은 임의의 상당한 왜곡없이 대상 이미지 X의 단일 구성요소에 관한 정보를 제공할 수 있는데, 즉, 일부 1≤k≤L, 1≤i≤M, 1≤j≤N에 대해 fk(Ak)=ai,j이다. 항등 함수들 중 하나 이상은 a의 양의 값 및 음의 값에 대해 f(x)=ax+b와 같은 전단사 함수들일 수 있다. 따라서, 이 문맥에서 여기서 사용되는 용어 "항등"은 광범위하게 해석될 것을 의도로 한다.
단계 316에서, 단계 314에서 결정된 q개의 항등 함수들을 이용하여 단계 310에서 사용된 초기 근사치 X0를 구성한다. 예를 들면, 크기 M×N의 초기 근사치 X0를 획득하기 위해 q개의 함수 및 그들의 대응 값들을 이용하여 보간이 적용될 수 있다.
도 2 및 도 3의 실시예에서 사용된 특정 프로세스 단계들은 단지 예이고, 다른 실시예들은 상이한 유형 및 배열의 이미지 프로세싱 동작들을 이용할 수 있다는 것이 이해되어야 한다. 예를 들면, 범함수가 구성되는 특정 방식, 범함수를 이용하여 대상 이미지가 결정되는 특정 방식은 다른 실시예들에서 변경될 수 있다. 또한, 도면에서 연속적으로 수행되는 것으로 표시된 단계들은 다른 실시예에서 하나 이상의 다른 단계들과 적어도 부분적으로 병렬로 수행될 수 있다.
이제, 본 발명의 임의의 실시예에서의 이미지 프로세싱 동작을 보다 충분히 설명하기 위한 많은 예가 설명될 것이다. 이들 예는 일반적으로 전술한 유형의 범함수들 및 최소화들을 이용하도록 적응된 수퍼 해상도 기술들을 이용하는 이미지 재구성을 포함한다.
제1 예에서, 대상 이미지는 동일한 유형의 두 개의 이미지, 즉, 상이한 해상도들을 갖는 두 개의 심도 이미지 A 및 D를 이용하여 재구성된다. D는 크기 MD×ND의 보다 작은 심도 이미지이고, A는 크기 M×N의 더 큰 심도 이미지라고 하자. 간소화를 위해, A의 선형 크기들은 D의 대응 크기들의 배수, 즉, M/MD=SCALE 및 N/ND=SCALE이 되도록 정수 SCALE이 존재한다고 가정한다.
또한, D로부터의 정보는 픽셀들이 값들에 관해 신뢰성이 있고, A로부터의 정보는, 그래디언트의 싸인(sign)에 관한 지식을 포함하여, 이미지의 제1 이산 도함수 또는 그레디언트들에 관해 신뢰성이 있다고 가정한다.
크기 M×N의 심도 이미지는 다음의 의사 코드를 이용하여 구성될 수 있다:
Figure pct00014
이 예에서의 원하는 대상 이미지는, D1이 정의되는 포인트들에서 D1에 가깝게 되고, A의 수직 및 수평 그레디언트들에 가까운 모든 포인트들에서 수직 및 수평 그레디언트들을 갖는 심도 이미지 X이다.
크기 M×N의 임의의 이미지에 대해, 모든 i=1 ... M, j=1 ... N-1에 대해 Mㆍ(N-1) 수평 그레디언트들 ai,j+1-ai,j, 및 모든 i=1 ... M-1, j=1 ...N에 대해 (M-1)ㆍN 수직 그레디언트들 ai+1,j-ai,j가 존재한다. 따라서, 범함수는 다음과 같이 구성될 수 있다:
Figure pct00015
이 예에서, 모든 확률들은 1과 동일하고, 또한, 단지 3개의 상이한 가중치들(D1에 대해서는 가중치 w1, 수평 그레디언트들에 대해서는 가중치 w2, 및 수직 그레디언트들에 대해서는 가중치 w3)만이 사용된다고 가정한다.
이 예에서 그레디언트들과 같은 선형 함수들만이 존재함에 따라, 수학식 3의 결과 시스템 또한 선형이 될 것이다. 더욱이, 이 시스템은 형태 CX=b를 가질 것이고, 여기서 C는 MN×MN 매트릭스이다. 매트릭스 C는 희소하고(sparse), 특히, 5-대각 띠 매트릭스를 포함한다. 따라서, X는, 단순한 가우스 소거법에 대한 약 2M3N3/3 산술 연산들에 비해, 약 min(MN3, M3N)만을 취하는, 띠 매트릭스를 위한 가우스 소거법을 이용하는 것이 매우 효율적이라는 것이 발견될 수 있다.
대상 이미지 X는 수학식 3을 해결함으로써 결정된다. 그 결과가 충분한 품질이 아니라면, X의 품질을 향상시키는 것을 시도하기 위해 가중치들 w1, w2, w3이 조정될 수 있다.
제2 예에서, 대상 이미지는 상이한 유형의 두 개의 이미지, 즉, 실질적으로 동일한 장면의 사진 또는 적외선 이미지를 포함하는 심도 이미지 및 2D 이미지를 이용하여 재구성된다. 제1 이미지는 이 예의 맥락에서 "심도(depth)"로서 지칭되고 제2 이미지는 "사진"으로서 지칭된다. 두 개의 이미지들은 상이한 해상도들을 가질 수 있고, 이와 관련하여, 심도 이미지는 일반적으로 사진 이미지보다 매우 더 적은 해상도를 갖는다는 것을 이해해야 한다. 따라서, 이전 예에서와 같이, D는 크기 MD×ND의 보다 작은 심도 이미지이고, A는 크기 M×N의 더 큰 사진 이미지라고 하고, 간소화를 위해, A의 선형 크기들은 D의 대응 크기들의 배수, 즉, M/MD=SCALE 및 N/ND=SCALE이 되도록 정수 SCALE이 존재한다고 가정한다.
또한, D로부터의 정보는 픽셀들이 값들에 관해 신뢰성이 있고, A로부터의 정보는 이미지 내의 객체들의 에지들 및 경계들에 관해 신뢰성이 있고, 즉, 이미지의 제1 이산 도함수 또는 그레디언트들의 절대값들에 관해 신뢰성이 있다고 가정한다.
크기 M×N의 심도 이미지(D1)는 전술한 의사 코드에 의해 주어진 바와 동일한 방식으로 구성될 수 있다.
이 예에서의 원하는 대상 이미지는, D1이 정의되는 포인트들에서 D1에 가깝게 되고, A의 수직 및 수평 그레디언트들의 절대값들에 가까운 모든 포인트들에서 수직 및 수평 그레디언트들의 절대값을 갖는 심도 이미지 X이다.
이전 예와 유사하게, 범함수는 본 예에서 다음과 같이 구성될 수 있다:
Figure pct00016
여기서, abs(x)는 x의 절대값이다.
abs(x)는 선형 함수가 아니고, 따라서, 이 예에서 수학식 3의 시스템은 선형이 아닐 것이다. 따라서, 범함수는 대신 근사 반복 최소화(수학식 4)를 이용하여 최소화된다.
본 예에서, D는 크기 M×N까지 보간될 수 있고, 초기 근사치 X0로서 사용될 수 있다. 이 경우에서 숫자 q는 MDㆍND일 것이다. 예를 들면, 최단 이웃 또는 이중 선형 보간과 같은 보간 기술이 사용될 수 있다. 보간된 포인트들은 우선 행들(rows)에 의한 공지된 포인트들 간에서 발견될 수 있고, 프로세스는 열들(columns)에 의한 공지된 포인트들 사이에서 추가의 보간된 포인트들을 찾고자 반복된다.
제3 예에서, 이전 예에서 사용된 범함수 형태는 다음과 같이 변경될 수 있다:
Figure pct00017
여기서, sgns →T(x)는, 포인트 S에서 그리고 포인트 T를 향한 방향으로 재구성될 이미지 X의 대응하는 그레디언트 또는 이산 도함수의 싸인에 대응하는 -1, 0 또는 1과 동일한 미지의 상수이다.
이 예에서는 단지 선형 함수들만이 있기 때문에, 수학식 3의 결과 시스템 또한 선형이 될 것이다. 그러나, 상수 sgns →T(x)는 알려져 있지 않다.
상수 sgns →T(x)를 정의하기 위해 다수의 상이한 방법들이 제안될 수 있다. 예를 들면, D는 크기 M×N까지 보간된 다음 보간된 이미지의 수평 및 수직 그레디언트들의 싸인들이 상수 sgns →T(x)로서 사용될 수 있다. 또 다른 예로서, 그레디언트 싸인들은 범함수 F(XM1 , N1)를 최소화함으로써 완결 탐색을 이용하여 국부적으로 재구성될 수 있고, 여기서, 상기 공식으로부터의 색인 i 및 j는 초기 입력 이미지의 평방 서브-이미지들 XM1 , N1과 같은 이미지의 로컬 영역들에 루프를 돌리고, 여기서 1＜M1＜M, 1＜N1＜N이다. 이미지 X의 크기 M1×N1의 서브-이미지 XM1,N1이 고려된다면, 2ㆍM1ㆍN1 상수 sgns →T(x)의 각각의 가능한 값에 대한 선형 방정식의 32M1N1을 풀고 F(XM1 , N1)이 최소화되도록 싸인들의 조합들을 선택할 수 있다. M1 및 N1의 값들은 일반적으로 매우 작고, 예를 들면, 두 값 모두 2와 동일할 수 있다. 모든 서브-이미지 XM1, N1에 대해 상수들 sgns →T(x)이 결정된 후, 이 상수들은 모든
Figure pct00018
에 대해 평균화되어, 전체 이미지에 대한 상수들이 획득될 수 있다.
전술한 예는 단지 예로서 제시된 것으로, 어떠한 방식으로든 본 발명의 임의의 실시예의 범위를 제한하는 것으로 해석되어서는 안된다는 것이 이해되어야 한다.
상기 예에서 설명된 기술들을 이용하여 공지된 수퍼 해상도 기술들의 성능뿐만 아니라 다양한 다른 이미지 재구성 또는 이미지 프로세싱 목적을 향상시킬 수 있다.
예를 들면, 그러한 공지된 수퍼 해상도 기술은 심도 정보의 재구성에 특히 적합한 마르코프 랜덤 필드 기반 수퍼 해상도 기술 또는 다른 수퍼 해상도 기술을 포함할 수 있다. 본 발명의 실시예에 사용하는데 적용될 수 있는 예시적인 마르코프 랜덤 필드 기반 수퍼 해상도 기술에 관한 추가의 세부사항은 여기서 참조로서 통합되는, 예를 들면, J. Diebel 등의 "An Application of Markov Random Fields to Range Sensing"(NIPS, MIT Press, pp. 291-298, 2005년)에서 볼 수 있다.
본 발명의 실시예들은 또한 양방향 필터들에 기초하는 수퍼 해상도 기술들의 성능을 향상시키는데도 사용될 수 있다. 이러한 유형의 수퍼 해상도 기술의 예는 여기서 참조로서 통합되는 Q. Yang 등의 "Spatial-Depth Super Resolution for Range Images"(IEEE conference on Computer Vision and Pattern Recognition(CVPR), 2007)에 설명되어 있다.
여기에 설명된 본 발명의 실시예는 단지 예로서 의도된 것이라는 것이 다시 강조되어야 한다. 예를 들면, 본 발명의 다른 실시예들은 다양하고 상이한 유형 및 배치의 이미지 프로세싱 회로, 범함수 구성 모듈, 대상 이미지 생성 모듈, 함수들, 가중치들 및 확률들의 세트들, 및 여기서 설명된 특정 실시예에서 이용된 것들 이외의 프로세싱 동작들을 이용하여 구현될 수 있다. 부가하여, 임의의 실시예를 설명하는 맥락에서 이루어진 특정 가정들을 다른 실시예들에 적용할 필요는 없다. 다음의 청구범위 내의 이들 및 다수의 다른 대체 실시예들이 당업자에게는 자명할 것이다.

Claims (20)

  1. 적어도 제1 이미지 및 제2 이미지에 관한 이미지 정보를 획득하는 단계와,
    각각 상기 이미지 정보의 대응 부분과 연관된 복수의 함수(function)에 기초하여 지정 범함수(a designated functional)를 구성하는 단계와,
    상기 구성된 지정 범함수를 이용하여 대상 이미지(a target image)를 생성하는 단계를 포함하고,
    상기 획득하는 단계, 구성하는 단계, 및 생성하는 단계는 메모리에 결합된 프로세서를 포함하는 적어도 하나의 프로세싱 디바이스에서 구현되는
    방법.
  2. 제1항에 있어서,
    상기 이미지 정보는 하나 이상의 이미지 소스들로부터의 복수의 입력 이미지 A1, A2, ..., AL을 포함하고, 상기 대상 이미지는 상기 입력 이미지 A1, A2, ..., AL를 이용하여 재구성될 크기 M×N의 픽셀들의 대상 이미지 X를 포함하는
    방법.
  3. 제2항에 있어서,
    상기 입력 이미지 A1, A2, ..., AL 중 적어도 하나는 또한 크기 M×N의 픽셀들인
    방법.
  4. 제2항에 있어서,
    상기 복수의 함수는, 상기 입력 이미지 A1, A2, ..., AL 중 대응하는 입력 이미지로부터의 픽셀들의 함수를 각각 포함하는 함수들 f1(A1), f2(A2), ..., fL(AL)의 세트를 포함하고, 상기 범함수는 상기 함수들 f1(A1), f2(A2), ..., fL(AL)의 세트 중의 함수인 범함수 F(X)를 포함하는
    방법.
  5. 제4항에 있어서,
    상기 범함수 F(X)는 다음의 수학식
    Figure pct00019

    의 형태인
    방법.
  6. 제4항에 있어서,
    상기 범함수 F(X)는 다음의 수학식
    Figure pct00020

    의 형태이고, 여기서, wk는 가중치를 나타내고, 모든 k=1 ... L에 대해 wk＞0인
    방법.
  7. 제4항에 있어서,
    상기 범함수 F(X)는 다음의 수학식
    Figure pct00021

    의 형태이고, wk는 가중치를 나타내고, pk는 확률을 나타내며, 모든 k=1 ... L에 대해 wk＞0 및 0≤pk≤1인
    방법.
  8. 제4항에 있어서,
    상기 대상 이미지 X를 생성하는 단계는 상기 범함수 F(X)를 최소화함으로써 X를 결정하는 단계를 포함하는
    방법.
  9. 제4항에 있어서,
    상기 함수들 f1(A1), f2(A2), ..., fL(AL)는 모두 선형 함수들인
    방법.
  10. 제9항에 있어서,
    상기 대상 이미지 X를 생성하는 단계는 다음의 수학식
    Figure pct00022

    을 포함하는 선형 방정식의 시스템을 해결함으로써 X를 결정하는 단계를 포함하는
    방법.
  11. 제4항에 있어서,
    상기 함수들 f1(A1), f2(A2), ..., fL(AL) 중 적어도 하나는 비선형 함수인
    방법.
  12. 제11항에 있어서,
    상기 대상 이미지 X를 생성하는 단계는 근사 반복 최소화(an approximate iterative minimization)
    Figure pct00023

    에 기초하여 X를 결정하는 단계를 포함하고, 상기 최소화는 초기 근사치 X0에서 시작하고, 최대 반복 횟수가 충족되거나 또는 두 개의 연속적인 반복에서 근사치 Xi +1과 Xi 간의 차이가 임계치보다 더 작아질 때까지 반복적으로 동작하는
    방법.
  13. 제12항에 있어서,
    상기 초기 근사치 X0는 q개의 항등 함수들 fi1(Ai1), fi2(Ai2), ..., fiq(Aiq)의 세트를 적어도 부분적으로 이용하여 결정되고, 상기 항등 함수들의 각각은 상기 대상 이미지에 관한 부분 정보(partial information)를 제공하는
    방법.
  14. 제13항에 있어서,
    상기 항등 함수들의 각각은 적어도 하나의 픽셀 값 fi1(Ai1)=am1,n1,fi2(Ai2)=am2,n2,..., fiq(Aiq)=amq , nq를 제공하고, 상기 초기 근사치 X0는 적어도 q개의 값 am1 , n1, am2 , n2, ..., amq , nq를 이용하여 보간에 의해 결정된 X0의 M×N 근사치를 포함하는
    방법.
  15. 제1항에 있어서,
    상기 이미지 정보는,
    (i) 동일한 해상도의 제1 및 제2 심도 이미지들과,
    (ii) 상이한 해상도들의 제1 및 제2 심도 이미지들과,
    (iii) 동일한 해상도의 심도 이미지 및 비-심도 이미지와,
    (iv) 상이한 해상도들의 심도 이미지 및 비-심도 이미지
    중 적어도 하나의 픽셀 정보를 포함하는
    방법.
  16. 컴퓨터 프로그램 코드가 포함된 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램 코드는, 프로세싱 디바이스에서 실행될 때, 상기 프로세싱 디바이스로 하여금, 제1항의 방법을 수행하게 하는
    컴퓨터 판독가능 저장 매체.
  17. 메모리에 결합된 프로세서를 포함하는 적어도 하나의 프로세싱 디바이스를 포함하는 장치로서,
    상기 적어도 하나의 프로세싱 디바이스는,
    적어도 제1 및 제2 이미지들에 관한 이미지 정보의 대응 부분과 각각 연관된 복수의 함수들에 기초하여 지정 범함수를 구성하도록 구성되는 범함수 구성 모듈과,
    상기 구성된 지정 범함수를 이용하여 대상 이미지를 생성하도록 구성된 대상 이미지 생성 모듈을 포함하는
    장치.
  18. 제17항에 있어서,
    상기 복수의 함수는, 상기 이미지 정보의 상기 입력 이미지 A1, A2, ..., AL 중 대응하는 입력 이미지로부터의 픽셀들의 함수를 각각 포함하는 함수들 f1(A1), f2(A2), ..., fL(AL)의 세트를 포함하고, 상기 범함수는 상기 함수들 f1(A1), f2(A2), ..., fL(AL)의 세트 중의 함수인
    장치.
  19. 제17항에 있어서,
    상기 범함수는 범함수 F(X)를 포함하고, 여기서, X는 상기 대상 이미지를 나타내고, 상기 대상 이미지 생성 모듈은 상기 범함수 F(X)를 최소화함으로써 상기 대상 이미지 X를 생성하도록 구성되는
    장치.
  20. 이미지 프로세싱 시스템으로서,
    적어도 제1 및 제2 이미지들에 관한 이미지 정보를 제공하는 하나 이상의 이미지 소스들과,
    하나 이상의 이미지 수신지들(destinations)과,
    상기 하나 이상의 이미지 소스들과 상기 하나 이상의 이미지 수신지들 간에 결합된 이미지 프로세서를 포함하고,
    상기 이미지 프로세서는 상기 이미지 정보의 대응 부분과 각각 연관된 복수의 함수들에 기초하여 지정 범함수를 구성하고, 상기 구성된 지정 범함수를 이용하여 대상 이미지를 생성하며, 상기 대상 이미지를 상기 하나 이상의 이미지 수신지에 제공하도록 구성되는
    이미지 프로세싱 시스템.
KR1020157016681A 2012-12-24 2013-08-26 다른 이미지들로부터의 정보의 함수들에 기초한 범함수를 사용한 대상 이미지 생성 KR20150102011A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2012156158/08A RU2012156158A (ru) 2012-12-24 2012-12-24 Генерация целевого изображения с использованием функционала на основе функций от информации из других изображений
RU2012156158/08 2012-12-24
PCT/US2013/056618 WO2014105219A2 (en) 2012-12-24 2013-08-26 Target image generation utilizing a functional based on functions of information from other images

Publications (1)

Publication Number Publication Date
KR20150102011A true KR20150102011A (ko) 2015-09-04

Family

ID=51022177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157016681A KR20150102011A (ko) 2012-12-24 2013-08-26 다른 이미지들로부터의 정보의 함수들에 기초한 범함수를 사용한 대상 이미지 생성

Country Status (8)

Country Link
US (1) US9430813B2 (ko)
JP (1) JP2016519343A (ko)
KR (1) KR20150102011A (ko)
CN (1) CN104956396A (ko)
CA (1) CA2847122A1 (ko)
RU (1) RU2012156158A (ko)
TW (1) TW201426634A (ko)
WO (1) WO2014105219A2 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2012156158A (ru) 2012-12-24 2014-07-10 ЭлЭсАй Корпорейшн Генерация целевого изображения с использованием функционала на основе функций от информации из других изображений
US9460513B1 (en) * 2015-06-17 2016-10-04 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
CN114167663B (zh) * 2021-12-02 2023-04-11 浙江大学 一种包含渐晕去除算法的编码光圈光学成像系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6509902B1 (en) * 2000-02-28 2003-01-21 Mitsubishi Electric Research Laboratories, Inc. Texture filtering for surface elements
FR2810141B1 (fr) 2000-06-07 2002-08-23 Commissariat Energie Atomique Procede de reconstruction accelere d'une image tridimentionnelle
FR2846121B1 (fr) 2002-10-17 2004-12-24 Commissariat Energie Atomique Procede de reconstruction d'une image a partir d'un jeu de projections par application d'une transformee en ondelette
US8698924B2 (en) * 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US8417055B2 (en) * 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US7809155B2 (en) * 2004-06-30 2010-10-05 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation
US7471851B2 (en) * 2005-11-10 2008-12-30 Honeywell International Inc. Method and apparatus for propagating high resolution detail between multimodal data sets
US20090010507A1 (en) * 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
EP2048616A1 (en) * 2007-10-08 2009-04-15 Agfa HealthCare NV Method of generating a multiscale contrast enhanced image
US8537229B2 (en) * 2008-04-10 2013-09-17 Hankuk University of Foreign Studies Research and Industry—University Cooperation Foundation Image reconstruction
US8310233B2 (en) * 2009-02-18 2012-11-13 Mayo Foundation For Medical Education And Research Method for image reconstruction from undersampled medical imaging data
WO2010102164A1 (en) * 2009-03-06 2010-09-10 The Trustees Of Columbia University In The City Of New York Systems, methods and computer-accessible media for hyperspectral excitation-resolved fluorescence tomography
EP2488860A4 (en) * 2009-10-12 2015-12-16 Ventana Med Syst Inc MULTIMODALITY CONTRAST AND WIDE-FIELD CONTEXTING FOR IMPROVED PATHOLOGY ASSESSMENT AND MULTANALYTE DETECTION IN TISSUE
US8908936B2 (en) * 2009-10-14 2014-12-09 Carestream Health, Inc. Method for extracting a carious lesion area
US8547389B2 (en) * 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
JP5766034B2 (ja) * 2011-06-08 2015-08-19 キヤノン株式会社 画像処理方法、画像処理装置及びプログラム。
US9014470B2 (en) * 2011-08-31 2015-04-21 Adobe Systems Incorporated Non-rigid dense correspondence
KR102009292B1 (ko) * 2012-05-11 2019-08-12 한국전자통신연구원 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법
US8675999B1 (en) * 2012-09-28 2014-03-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system, and method for multi-patch based super-resolution from an image
RU2012156158A (ru) 2012-12-24 2014-07-10 ЭлЭсАй Корпорейшн Генерация целевого изображения с использованием функционала на основе функций от информации из других изображений

Also Published As

Publication number Publication date
WO2014105219A3 (en) 2015-07-16
US20150356708A1 (en) 2015-12-10
TW201426634A (zh) 2014-07-01
CA2847122A1 (en) 2014-06-24
JP2016519343A (ja) 2016-06-30
CN104956396A (zh) 2015-09-30
WO2014105219A2 (en) 2014-07-03
US9430813B2 (en) 2016-08-30
RU2012156158A (ru) 2014-07-10

Similar Documents

Publication Publication Date Title
US11341750B2 (en) Quasi-parametric optical flow estimation
Hirschmüller et al. Memory efficient semi-global matching
EP3816929B1 (en) Method and apparatus for restoring image
CN111563923A (zh) 获得稠密深度图的方法及相关装置
JP2016502704A (ja) 奥行きアーチファクトを除去するための画像処理方法および装置
Wang et al. High-fidelity view synthesis for light field imaging with extended pseudo 4DCNN
US10621446B2 (en) Handling perspective magnification in optical flow processing
KR20190059594A (ko) 디스패리티 추정 장치 및 방법
US9386266B2 (en) Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream
EP3819869B1 (en) Method and apparatus with depth image generation
CN111047630B (zh) 神经网络和基于神经网络的目标检测及深度预测方法
CN115035235A (zh) 三维重建方法及装置
KR20150102011A (ko) 다른 이미지들로부터의 정보의 함수들에 기초한 범함수를 사용한 대상 이미지 생성
JP2017126264A (ja) 情報処理装置、情報処理方法およびプログラム
JP2016513842A (ja) 異なる精度のソフトウェアアルゴリズム及びハードウェアアルゴリズムを実施する評価層を備えた画像プロセッサ
Fan et al. A multi-view super-resolution method with joint-optimization of image fusion and blind deblurring
JP2018133064A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
Hyun et al. A simplified rectification method and its hardware architecture for embedded multimedia systems
Rahnama et al. Real-time depth processing for embedded platforms
CN116205788B (zh) 一种三维特征图的获取方法、图像处理方法及相关装置
Thomas et al. Architecture and implementation of real-time 3d stereo vision on a xilinx fpga
Scarmana An application of the least squares plane fitting interpolation process to image reconstruction and enhancement
KR101627792B1 (ko) 스테레오 비전 SoC 및 그 구동 방법
Masmoudi et al. On-the-Fly Architecture Design and Implementation of a Real-Time Stereovision System
Åström et al. A high speed 2D time-to-impact algorithm targeted for smart image sensors

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid