KR20180070653A - 다중-해상도 압축 감지 이미지 처리 - Google Patents
다중-해상도 압축 감지 이미지 처리 Download PDFInfo
- Publication number
- KR20180070653A KR20180070653A KR1020187013923A KR20187013923A KR20180070653A KR 20180070653 A KR20180070653 A KR 20180070653A KR 1020187013923 A KR1020187013923 A KR 1020187013923A KR 20187013923 A KR20187013923 A KR 20187013923A KR 20180070653 A KR20180070653 A KR 20180070653A
- Authority
- KR
- South Korea
- Prior art keywords
- resolution
- regions
- compression
- image
- measurements
- Prior art date
Links
- 230000006835 compression Effects 0.000 title claims abstract description 80
- 238000007906 compression Methods 0.000 title claims abstract description 80
- 238000001514 detection method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 title claims description 16
- 238000005259 measurement Methods 0.000 claims abstract description 63
- 239000011159 matrix material Substances 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 description 16
- 238000005070 sampling Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- H04N5/23245—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G06K9/4671—
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
- H03M7/3062—Compressive sampling or sensing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- G06K2009/4666—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
단일 고유 해상도 이미지의 압축된 버전을 나타내는 압축 측정치들의 한 세트로부터 다중-해상도 이미지를 구성하기 위한 시스템들 및 방법들이 제공된다. 일 양태에서, 압축 감지 매트릭스를 사용하여 생성되고 장면의 단일 고유 해상도 이미지의 압축된 버전을 나타내는 압축 감지 측정치들이 검색된다. 원하는 2차원의 치수들, 다중-해상도 이미지, 및 복수의 영역들이 할당되고, 각 할당된 영역은 각각의 해상도를 갖는다. 각각의 할당된 영역의 해상도를 고유 해상도로 매핑하기 위해 확장 매트릭스가 정의되고, 압축 감지 측정치들, 압축 감지 매트릭스, 및 정의된 확장 매트릭스들을 이용하여 장면의 다중-해상도 이미지가 구성된다. 다양한 양태들에서, 전체 해상도 또는 다른 다중-해상도 이미지들은 새로운 압축 측정치들을 재생성하지 않고 동일한 압축 측정치들로부터 구성될 수 있다.
Description
본 개시는 압축 감지 이미지 처리를 위한 시스템들 및 방법들에 관한 것이다. 특히, 본 개시는 단일-해상도 이미지를 나타내는 압축 측정들로부터 다중-해상도 이미지를 구성하는 것에 관한 것이다.
이 섹션은 본원에 개시된 시스템들 및 방법들을 보다 잘 이해하는 데 도움이 될 수 있는 양태들을 소개한다. 따라서, 이 섹션의 설명들은 이러한 관점에서 읽혀 져야하고, 선행 기술에 있거나 그렇지 않은 것에 관한 용인으로서 이해되거나 해석되어서는 안 된다.
디지털 이미지/비디오 카메라들은 압축을 사용하여 감소된 상당량의 원시 데이터를 수집하고 처리한다. 종래의 카메라들에서, 장면을 나타내는 N-픽셀 이미지 각각에 대한 원시 데이터가 먼저 캡쳐되고, 이후 저장 및/또는 전송을 위해 적절한 압축 알고리즘을 사용하여 전형적으로 압축된다.
고 해상도 N-픽셀 이미지를 캡쳐한 후 압축하는 것이 일반적으로 유용하지만, 상당한 계산 리소스들과 시간이 필요하다. 또한, 획득된 후의 이미지 원시 데이터의 압축은 항상 의미있는 압축을 초래하지는 않는다.
압축 감지 이미징으로 당 업계에 공지된 보다 최근의 접근법은 장면의 N-픽셀 이미지(또는 비디오의 경우 이미지들)에 대한 압축된 데이터를 직접 획득한다. 압축 감지 이미징은 랜덤 또는 희박한 투영(sparse projections)을 사용하여 이미지의 자체의 기존 원시 데이터를 수집하지 않고 장면의 N-픽셀 이미지를 나중에 구성하기 위해 압축된 측정치들을 직접 생성하는 알고리즘들을 사용하여 구현된다. 감소 된 수의 압축 측정치들이 원하는 N-픽셀 이미지의 N-픽셀 값들 각각에 대한 원시 데이터를 먼저 획득한 다음 원시 데이터를 압축하는 보다 통상적인 방법과 비교하여 직접 획득되므로, 이미지를 완전히 확보한 후 이미지를 압축하는 데 필요한 리소스를 제거하거나 줄인다. 장면의 N-픽셀 이미지는 디스플레이 또는 다른 용도로 렌더링하기 위해 압축된 측정치들로 구성된다.
다양한 양태들에서, 압축 감지 이미지 프로세싱을 위한 시스템들 및 방법들이 제공된다.
일 양태는 MxN 압축 감지 매트릭스를 이용하여 생성된 M개의 압축 감지 측정치들을 검색하는 것으로서, 압축 감지 측정치들은 단일 고유 해상도의 압축된 버전, 장면의 N-픽셀 이미지를 나타내는, 상기 압축 감지 측정치들을 검색하는 것; 압축 감지 측정치들로부터 재구성될 원하는 2-차원, 다중-해상도 이미지의 치수들을 결정하는 것; 결정된 치수들에 기초하여, 원하는 2-차원, 다중-해상도 이미지에 복수의 영역들을 할당하는 것으로서, 상기 할당된 복수의 영역들 각각은 상기 단일 고유 해상도 이미지의 고유 해상도와 동일한 또는 그 이하의 결정된 픽셀 해상도를 갖는, 상기 복수의 영역들을 할당하는 것; 각각의 할당된 영역 각각에 대한 확장 매트릭스를 정의하는 것으로서, 각 확장 매트릭스의 치수들은 상기 할당된 영역의 결정된 픽셀 해상도에 기초하여 각각의 할당된 영역 각각에 대해 결정되는, 상기 확장 매트릭스를 정의하는 것; 및 압축 감지 측정치들, 압축 감지 매트릭트, 및 상기 정의된 확장 매트릭스들을 이용하여 장면의 다중-해상도 재구성된 이미지를 생성하는 것을 포함한다.
일 양태는 압축 측정치들이 검색된 후에 복수의 영역들을 할당하는 것을 포함한다.
일 양태는 다른 할당된 영역들보다 높은 결정된 픽셀 해상도를 갖는 적어도 하나의 관심 영역을 할당하는 것을 포함한다.
일 양태는 할당된 관심 영역 중 하나를 변경하거나 추가의 관심 영역들을 부가함으로써 할당된 관심 영역들을 재구성하는 것을 포함한다.
일 양태는 수동 입력에 기초하여 적어도 하나의 관심 영역을 생성하는 것을 포함한다.
일 양태는 적어도 하나의 관심 영역을 자동으로 생성하는 것을 포함한다.
일 양태는 디스플레이 상에 장면의 다중-해상도 재구성된 이미지를 생성하는 것을 디스플레이하는 것을 포함한다.
도 1은 본 개시의 다양한 양태들에 따른 압축 감지 이미징 시스템의 예를 도시한 도면.
도 2는 본 개시의 다양한 양태들에 따른 재구성 기저 매트릭스를 이용하여 압축 측정치들로부터 대상의 이미지를 재구성하기 위한 예시적인 프로세스를 도시한 도면.
도 3은 본 개시의 양태들에 따른 이미지에 영역들을 할당하는 예시적인 단계를 도시한 도면.
도 4는 본 개시의 양상들에 따라 할당된 영역들에 대한 해상도들을 결정하는 예시적인 단계를 도시한 도면.
도 5는 본 개시의 양태들에 따라 확장 매트릭스를 정의하는 예시적인 단계를 도시한 도면.
도 6은 본 개시의 다양한 양태들을 구현하기 위한 예시적인 장치를 도시한 도면.
도 2는 본 개시의 다양한 양태들에 따른 재구성 기저 매트릭스를 이용하여 압축 측정치들로부터 대상의 이미지를 재구성하기 위한 예시적인 프로세스를 도시한 도면.
도 3은 본 개시의 양태들에 따른 이미지에 영역들을 할당하는 예시적인 단계를 도시한 도면.
도 4는 본 개시의 양상들에 따라 할당된 영역들에 대한 해상도들을 결정하는 예시적인 단계를 도시한 도면.
도 5는 본 개시의 양태들에 따라 확장 매트릭스를 정의하는 예시적인 단계를 도시한 도면.
도 6은 본 개시의 다양한 양태들을 구현하기 위한 예시적인 장치를 도시한 도면.
본 개시의 다양한 양태들은 첨부 도면들을 참조하여 이하에서 설명되며, 도면에서 동일한 참조 번호들은 도면들의 설명 전반에 걸쳐 동일한 요소들을 나타낸다. 설명 및 도면들은 단지 본 개시의 원리들을 설명한다. 당업자는 비록 여기에 명시적으로 기재되거나 도시되지는 않았지만 원리를 구현하고 본 발명의 사상 및 범위 내에 포함되는 다양한 배열을 고안할 수 있음을 이해할 것이다.
본 명세서에 사용된 바와 같이, "또는" 이라는 용어는 달리 명시되지 않는 한 비-배타적인 것(예를 들어, "또는 다른" 또는 "또는 대안")을 의미한다. 또한, 본 명세서에 사용된 바와 같이, 요소들 사이의 관계를 설명하는데 사용된 단어들은 달리 지시되지 않는 한, 직접적인 관계 또는 요소들의 존재를 포함하는 것으로 폭넓게 해석되어야한다. 예를 들어, 요소가 다른 요소에 "연결"되거나 "결합" 된 것으로 언급될 때, 요소는 다른 요소에 직접 연결되거나 결합될 수 있거나 또는 중간 요소들이 존재할 수 있다. 대조적으로, 요소가 다른 요소에 "직접 연결"되거나 "직접 결합"되는 것으로 언급되는 경우, 중간에 존재하는 요소는 없다. 유사하게, "사이", "인접한" 등과 같은 단어들은 유사한 방식으로 해석되어야한다.
압축된 샘플링, 압축된 감지 또는 압축 샘플링으로 또한 알려진 압축 감지는 기존의 나이키스트 샘플링과 비교하여 향상된 효율을 나타내는 알려진 데이터 샘플링 기술이다. 압축 샘플링은 나이키스트 샘플들의 수보다 훨씬 적은 샘플들을 이용하여 스파스 신호들(sparse signal)이 표현되고 재구성되도록 한다. 신호가 희박한 표현을 가질 때, 신호는 선형 투영으로부터 적절한 기준으로 작은 수의 측정으로부터 재구성될 수 있다. 또한, 재구성은 무작위 샘플링 매트릭스가 사용될 때 높은 성공 확률을 갖는다.
압축 감지는 일반적으로 N차원 신호 벡터에 M×N 차원 샘플링 또는 감지 매트릭스 φ를 곱하여 M 차원 압축된 측정 벡터를 산출하는 수학적으로 특징 지어지며, M은 일반적으로 N보다 훨씬 작다(즉, 압축에 대해 M<<N). 신호 벡터가 그 신호 벡터에 선형적으로 관련되는 도메인에서 희박한 경우, N차원 신호 벡터는 감지 매트릭스 φ를 사용하여 M차원 압축된 측정 벡터로부터 재구성(즉, 근사화)될 수 있다
압축 샘플링의 종래의 양태들에 대한 추가 세부사항들은 예를 들어, E. J. Candes와 M.B. Wakin의 "압축 샘플링 소개(An Introduction to Compressive Sampling)", IEEE 신호 처리 매거진, 2008년 3월 넘버2, 25권, E,J. Candes, "압축 샘플링(Compressive Sampling)", 2006년 스페인 마드리드 국제 회의 논문집, 및 E. Candes 등에 의한 "강력한 불확실성 원칙 : 매우 불완전한 신호 분석 주파수 정보, (Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information,)" IEEE Trans. 정보 이론, Vol.52, No.2, pp.489-509, 2006년 2월.에서 찾을 수 있다.
이미징 시스템들에서, 장면의 N-픽셀 이미지 x(x 1 , x 2 , x 3 ... x n )의 1차원 표현의 압축된 버전을 표현하기 위해 압축 감지 이미징 장치에 의해 획득된 압축 측정치들 또는 샘플들 yk(k ∈ [1...M]) 사이의 관계는 y = Ax (아래 그림 참조)와 같이 매트릭스 형태로 표현될 수 있고, 여기에서 A(φ로 또한 알려진)는 압축 샘플들 벡터 y를 획득하는 압축 이미징 장치에 의해 구현되는 M x N 샘플링 또는 감지 매트릭스이다.
벡터 x(x 1 , x 2 , x 3 ... x N )는 그 자체로 2차원(예를 들어, 행과 열) 네이티브 이미지의 1차원 표현이고, 2차원 이미지의 행 또는 열을 단일 열 벡터로 연결하는 것과 같은 공지된 방법들을 사용하여 1차원 벡터로서 알려진 치수의 2차원 이미지를 수학적으로 표현할 수 있고, 그 반대도 가능하다는 것을 이해할 것이다. 각 행(기저 벡터라고도 함)은 장면의 전체 해상도 N-픽셀 원하는 이미지 x의 재구성에 해당하는 N값들을 갖기 때문에, 위에 표시된 매트릭스 A는 최대 길이 감지 또는 샘플링 매트릭스로도 알려져 있다.
본 개시의 초점이 압축 측정치들 y k (k ∈ [1 ... M])의 생성에 관한 것이 아니라는 것을 유의해야 하고, 본원에서 압축 측정치들이 종래의 압축 감지 장치로부터 제공되거나 수신된다고 가정해야 한다. 그러나, 압축 측정치들을 생성하기 위한 간략한 설명은 이하 도 1에 제공된다.
대신에, 본 개시의 초점은 압축 샘플들로부터의 원하는 이미지의 재구성에 관한 것이며, 특히 압축 측정치들로부터 유도된 다중-해상도 이미지의 구성에 관한 것이다. 즉, 본 개시의 양태들은 단일 네이티브 해상도 이미지의 압축된 버전을 나타내는 M × N 최대 길이 감지 매트릭스 A를 사용하여 획득된 압축 측정치들 y k (k ∈ [1 ... M]) 로부터 원하는 다중-해상도 이미지의 재구성에 관한 것이다.
본원에 개시된 시스템들 및 방법들은 의학적 이미징, 물체 인식, 또는 보안과 같은 애플리케이션들 또는 압축 측정치들로부터 전체 고유 해상도 이미지를 생성하는 것이 항상 필요하지 않거나 원하는 것보다 많은 리소스를 소비할 수 있는 다른 애플리케이션들에서 유리하게 사용될 수 있다. 특히, 본원에 개시된 시스템들 및 방법들은, 그렇게 하기를 원하거나 필요한 경우에, 획득된 압축 샘플들로부터 완전한 네이티브 해상도 이미지를 생성할 수 있는 것을 배제하지 않는다.
본 발명들 및 다른 양태들이 도면들을 참조하여 이하에 보다 상세히 설명된다.
도 1은 본 개시의 다양한 양태들에 따른 압축 이미징 재구성 시스템(100)("시스템(100)")의 개략적인 예를 도시한다. 장면(104)에서 반사하는 입사광(102)(가시 광선 또는 비-가시 광선 스펙트럼에 있을 수 있는)은 압축 측정치들 y k (k ∈ [1 ... M])(M << N)의 벡터 y를 생성하기 위해 소정의 최대 길이 감지 또는 샘플링 매트릭스 A를 사용하는 압축 감지 카메라 장치(106)에 의해 수신된다. 당업자라면 이해할 수 있는 바와 같이, 압축 측정치들 y k (k ∈ [1 ... M])은 장면의 단일 고유 해상도 N-픽셀 이미지 x(x 1 , x 2 , x 3 ... x N )(104)(예를 들어, 2차원 이미지의 행들의 연결을 사용하는 2차원 이미지의 1차원 표현으로서 표현됨)의 압축된 버전을 나타낸다.
예를 들어, 광이 선택적으로 통과하도록 허용되거나, 부분적으로 통과하거나, 개별적으로 선택가능한 조리개 요소들(예를 들어, N 마이크로-미러들)의 N 요소 어레이를 통과하지 않고 광자 검출기에 충돌하는 카메라 장치(106)에서 장면(104)에서 반사된 입사광(102)이 수신될 수 있다. 임의의 특정 시간에 빛이 통과하고 검출기에 부딪히는 것을 허용(또는 차단)하기 위해 N개의 개별 조리개 요소들 중 부분적으로 또는 전체적으로 활성화 또는 비활성화 된 것은 압축 감지 매트릭스 A를 사용하여 프로그래밍 방식으로 제어될 수 있다. 본원에서 압축 감지 매트릭스 A는 미리 결정된 최대 길이 매트릭스이다. 그러한 매트릭스의 일 예시는 랜덤하게 또는 의사-랜덤하게 생성된 MxN 월시-아다마르 매트릭스(MxN Walsh-Hadamard matrix)이다. 다른 실시예들에서, 매트릭스 A는 압축된 감지 이론(예를 들어, 직교 매트릭스의 랜덤 로우 선택)에서 특정 잘-알려진 특성들을 갖는 압축 감지에 사용하기에 적합한 임의의 유형의 희소 행렬일 수 있다.
당업자에 의해 잘 이해되는 바와 같이, 압축 감지 카메라 장치(106)는 압축 감지 행렬 A의 압축 기저 벡터들 a1, a2 ... aM 중 각각의 것들을 사용하여 각 시간들 t1, t2, ... .tM에 걸친 M개의 압축 측정치들 y k (k ∈ [1 ... M])을 주기적으로 생성하도록 광자 검출기의 출력을 프로세싱(예를 들어, 적분, 필터링, 디지털화 등)할 수 있다. 더 이해되는 바와 같이, 압축 측정치들 y k (k ∈ [1 ... M])은 집합적으로 장면(104)의 압축된 이미지를 나타낸다. 실제로, 생성된 압축 측정치들의 개수 M은 원하는 압축 레벨과 M 압축 측정치들을 사용하여 재구성될 수 있는 전체 해상도 N-픽셀 이미지의 원하는 고유 해상도 사이의 미리-결정된 균형을 나타낸다. 압축 감지 장치(106)는 이러한 균형에 기초하여 구성될 수 있다.
객체(110)의 압축된 N-픽셀 이미지 x1, x2, x3 ... xN를 나타내는 압축 측정치들 y1, y2, ... yM 의 벡터 y는 압축 감지 장치(106)에 의해 네트워크(108)를 통해 다중-해상도 재구성 장치(110)로 전송될 수 있다.
위에서 언급한 바와 같이, 본 개시의 다양한 양태들에 따르면, 재구성 장치(110)는 압축 측정치들로부터 다중-해상도 이미지를 생성하도록 구성된다. 특히, 이하에서 상세히 설명하는 바와 같이, 재구성 장치(110)는 이미지의 일부가 이미지의 다른 부분들보다 높은 해상도인 압축 측정치들로부터 이미지를 생성하도록 구성된다. 예를 들어, 재구성 장치(110)에 의해 생성된 이미지는 가능할 때 전체 해상도(즉, 압축 측정치들이 획득되는 것에 기초한 단일의 일정한 고유 해상도)에서 생성되는 하나 이상의 관심 영역들 및 관심 영역의 해상도들보다 낮은 해상도에서 생성되는 하나 이상의 다른 영역들을 가질 수 있다.
도 1에는 장치들 또는 유닛들이 개별적으로 도시되어 있지만, 이해를 돕기 위해, 일부 실시예들에서, 장치들은 단일 유닛 또는 장치로 결합될 수 있다. 예를 들어, 일 실시예에서, 단일 처리 장치는 압축 측정치들를 생성하고 원하는 이미지를 재구성하는 기능 둘 모두를 제공하도록 구성될 수 있다. 단일 처리 장치는 하나 이상의 명령들을 저장하는 메모리, 및 실행시 본원에 기술된 기능을 제공하도록 프로세서를 구성할 수 있는 하나 이상의 명령들을 실행하기 위한 프로세서를 포함할 수 있다(장치들이 분리된 경우와 같이). 단일 처리 장치는 카메라, 디스플레이, 키보드, 마우스, 네트워크 어댑터 등을 포함하는 처리 장치로/처리 장치로부터 정보를 입력/출력하기 위한 하나 이상의 입력/출력 구성 요소들과 같이 컴퓨팅 장치들에 일반적으로 존재하는 다른 구성 요소들을 포함할 수 있다. 네트워크(108)는 인트라넷, 인터넷, 또는 하나 이상의 유선 또는 무선 네트워크들의 임의의 유형 또는 조합일 수 있다.
압축 샘플들로부터 다중-해상도 이미지를 생성하기 위한 재구성 장치(110)의 상세한 동작이 이제 도 2에 도시된 프로세스(200)와 관련하여 설명된다.
단계(202)에서, 재구성 장치(110)는 MxN 압축 감지 매트릭스를 사용하여 압축 감지 장치(106)에 의해 생성된 장면의 단일 고유 해상도 N-픽셀 이미지 x의 압축된 버전을 나타내는 압축 측정치 y(y 1 , y 2 , ... . y M )들을 수신하거나 검색한다. 압축 측정치들 외에도, 일 실시예에서, 재구성 장치(110)는 또한 압축 감지 장치(106)로부터 MxN 압축 감지 매트릭스 A 또는 압축 측정치들을 생성하기 위해 압축 감지 장치에 의해 사용된 MxN 압축 감지 매트릭스 A를 생성하기 위한 정보를 수신한다. 예를 들어, 감지 매트릭스는 감지 매트릭스를 생성하기 위해 압축 감지 이미징 장치에 의해 사용된 수신된 시드 값(seed value)에 기초하여 재구성 장치에 의해 생성될 수 있다. 다른 실시예들에서, 압축 감지 장치(106)에 의해 압축 측정치들을 획득하기 위해 사용되는 압축 감지 매트릭스 A가 일반적으로 변화하지 않기 때문에, 압축 감지 장치(106)는 예를 들어 압축 감지 장치의 초기화와 같은 압축 측정치들을 획득하기 전에 압축 감지 매트릭스 A를 재구성 유닛에 전송할 수 있다. 그러나, 다른 실시예들에서, 재구성 매트릭스는 사전에 알려질 수 있거나, 재구성 장치(110)에 의해 생성될 수 있다.
단계(204)에서, 재구성 장치(110)는 압축 감지 측정치들로부터 재구성될 원하는 2차원, 다중-해상도 이미지의 차원들을 결정한다. 재구성 장치(110)는 감지 행렬을 사용하여 생성된 압축 측정치들이 1차원 N-픽셀 이미지 x의 2차원 표현의 행 및 열 크기에 대응하는 행 및 열 크기로서 치수들을 표현할 수 있으며, 여기서 행의 수와 열의 수의 합계는 N이다. 2차원 이미지를 1차원 벡터로 나타내고, 그 반대의 경우도 당업자에게 이해될 것이다. 예를 들어, 행들의 미리 결정된 연결은 압축 감지 매트릭스 및 압축 측정치들을 생성할 때 2차원 고유 해상도 이미지를 압축 감지 이미징 장치에서 1차원 벡터 x로 매핑하기 위해 사용될 수 있고, 재구성 장치는 2차원 고유 해상도 이미지의 차원들에 대응하는 원하는 2차원 다중-해상도 이미지의 차원들을 결정하기 위해 동일한 미리 결정된 연결 방법을 사용할 수 있다. 다른 실시예들에서, 2차원 고유 해상도 이미지의 차원들은 사전에 알려지거나 미리 결정될 수 있다.
단계(206)에서, 재구성 유닛은 재구성될 원하는 다중 해상도 2차원 이미지에 복수의 영역들을 할당한다. 즉, 이는 또한 2차원 이미지를 복수의 영역들로 분할하는 것으로 이해될 수 있다. 복수의 영역들을 할당하는 것은, 해상도의 관점에서, 다른 영역들보다 더 중요한 것으로 고려되는 적어도 하나의 관심 영역(ROI)을 할당하는 것을 포함한다.
도 3은 4개의 영역들을 2차원 단일 고유 해상도 이미지(302)로 할당하는 특정 예를 도시한다. 그에 의해 도시된 바와 같이, 2차원 이미지는 4개의 영역들(304, 306, 308, 및 310)로 구분, 분할, 또는 할당되며, 여기서, 예시의 목적들을 위해, X 1로 표시된 영역은 ROI의 일부가 아닌 저해상도 영역들인 X 2, X 3, 및 X 4로 표시된 영역들과 비교하여 할당된 관심 영역으로 가정된다. 보다 일반적으로, 영역들의 할당은 X = X 1 +...+ X P 와 같이 표현될 수 있고, P(이 예에서는 4)는 영역들의 수이다.
단계(208)에서, 할당된 복수의 영역들(또한 블록들로 참조 됨) 각각은 원하는 다중-해상도 이미지에 대해 원하는 해상도를 갖는 대응 영역으로서 할당되며, 여기서 원하는 다중 해상도 이미지의 영역들 각각에 할당된 각각의 해상도는 압축 측정치들 y(y 1, y 2, ... .y M)에 의해 표현되는 압축된 이미지의 단일 고유 해상도보다 작거나 동일하다.
도 4는 4개의 영역들이 할당된 도 3의 특정 예에 대한 단계(208)를 도시한다. 도 4에서 알 수 있는 바와 같이, 이미지(402)는 검색된 압축 측정치들에 의해 표현되는 2차원의, 단일 고유 해상도 이미지이고, 이미지(402) 내의 미세 그리드는 단일 고유 해상도를 설명하기 위해 본원에서 사용된다. 이미지(404)는 압축 측정치들로부터 구성되는 원하는, 다중-해상도 이미지이다. 이미지(404)는 이전 단계들에 따라 할당된 대응하는 4개의 영역들 X 1, X 2, X 3, 및 X 4을 도시한다. 추가로, 그리드들은 각각의 4개의 블록들에 각각의 해상도의 할당을 설명하기 위해, 이미지(404)의 4개의 영역들의 각각 내에 도시된다.
관심 영역으로 정의된 영역 X 1은 고유 해상도와 동일한 해상도로 할당되고, 다른 영역들과 비교하여 가장 높은 해상도를 갖는다는 것을 이미지(404)에 도시된 그리드들로부터 알 수 있다. 그리드들이 또한 도시됨에 따라, 다른 영역들 X 2, X 3, 및 X 4 각각은 모두 고유 해상도보다 작은 상이한 해상도들(결정된 관심 영역의 해상도보다 작은)로 (내림 차순으로) 할당된다.
는 원하는 해상도를 갖는 원하는 다중-해상도 이미지의 영역i이고, q i 는 단계(206)에서 단일 고유 해상도 이미지로 할당된 P 영역들의 수에서 각 영역 X i 에 대한 각 차원(수평 및 수직)에 대한 다운 샘플링 계수이다.
단계(210)에서, 재구성 장치(110)는 다중-해상도 영역들과 단일 고유 해상도 이미지 사이의 매핑을 수행하기 위해 각각의 할당된 영역마다 확장 매트릭스를 정의한다. 일반적으로, 각 영역에 대해, 확장 매트릭스는 와 같이 표현되고, X i 는 단일 고유 해상도 이미지에서 주어진 할당된 영역이고, 는 원하는 다중-해상도 이미지에서 대응하는 영역이고, E i 는 주어진 영역에 대한 확장 매트릭스이다. 도 5는 도 3 및 도 4에 도시된 영역 X 4의 특정 예에 관한 이 단계를 도시한다. 결과적으로, 단계(210)에서, 전체 단일 고유 해상도 이미지 X, 확장 매트릭스들 E 1, E 2, ... E P, 및 원하는 다중-해상도 이미지의 할당된 해상도들을 갖는 영역들 이 에 의해 주어진다. 예를 들어, 영역 이 고유 해상도와 동일한 해상도를 가지도록 할당된 경우, 대응하는 확장 매트릭스 E 1는 를 만족하는 항등 매트릭스가 될 것이다.
단계(212)에서, 재구성 유닛은 할당된 영역들, 확장 매트릭스들, 수신된 압축 감지 측정치들, 및 압축 감지 매트릭스를 사용하여 장면의 다중-해상도 재구성된 이미지를 생성한다.
이러한 단계에서, 압축 측정치들로부터 원하는 이미지를 생성하기 위한 일반적인 재구성 단계는 y = Ax 에서 로 수정된다. 수정은 원하는 다중-해상도 이미지에 대한 각 블록들을 재구성하는 데 사용된다. 본질적으로, 이 단계는 반복적으로 다음을 포함한다:
상기 방정식에서, 각 는 다중-해상도 이미지의 재구성된 영역들 중 하나이다. 는 영역들의 면적을 고려한 배율 계수들이고, 는 블록들(예를 들어, L1-놈)의 구조를 촉진시키는 정규화 함수들이다. 는 재구성될 원하는 해상도를 갖는 다중-해상도 이미지의 할당된 영역이다. g는 측정치들과 획득 모델 사이의 거리(예를 들어, L2 놈를 특징짓는 함수이다. y는 압축 측정치들의 수신된 세트이다. A는 y를 생성하는 데 이용되는 감지 매트릭스이다. E t는 원하는 해상도를 갖는 할당된 영역 에 대해 정의된 확장 매트릭스이다. 원하는 다중-해상도 이미지의 영역들 의 각각이 해결되고 획득되면, 충분한 또는 전체 원하는 다중-해상도 이미지 x *는 와 같이 획득될 수 있다. 장면의 생성된 다중-해상도 재구성된 이미지는 장면의 다중-해상도 재구성된 이미지로서 2차원 포맷으로 디스플레이 장치 상에 디스플레이될 수 있다.
본원에 개시된 시스템들 및 방법들은 단일 고유 해상도 이미지의 압축된 버전을 나타내는 압축 측정치들의 세트를 처리하는 것에 기초하여 디스플레이 장치 상에 디스플레이하기에 적합한 다중-해상도 이미지의 재구성 또는 생성을 가능하게 한다. 보다 많은 종래의 접근법들과 비교하여 공개의 견지에서 다수의 이점들이 발생한다고 믿어진다. 본원에 설명된 프로세스는 단일 고유 해상도 이미지의 압축된 버전을 나타내는 압축 측정치들의 세트에 기초하여 다중-해상도 이미지의 재구성을 가능하게 한다. 그러므로, 본 개시는 서로 다른 원하는 해상도들을 지원하기 위해 새로운 압축 측정치들을 다시 캡처하거나 재생성할 필요없이 상이한 원하는 해상도들의 상이한 이미지들이 동일한 세트의 압축 측정치들로부터 구성되는 것이 가능하도록 한다. 더욱이, 다중-해상도 이미지의 재구성이 고유 이미지의 압축된 버전을 나타내는 동일한 압축 측정치들을 기초로 하고, 이들을 사용하여 발생하기 때문에, 원하는 경우, 다른 해상도에 대해 새로운 압축 측정치들을 생성하기 위해 장면을 다시 캡쳐하지 않고 충분한 고유 해상도에서의 재구성된 이미지가 또한 재구성될 수 있다.
더욱이, 관심 영역(들), 영역들의 수(및, 영역들에 할당된 해상도들)는 압축 측정치들이 생성된 후에 변경되어, 상이한 해상도들로 다른 이미지들을 재구성하고, 그러한 변경들에 적합한 새로운 압축 측정치들을 생성할 필요 없이 생성될 수 있다. 추가로, 이것은 다중-해상도 이미지들을 재구성하는 프로세스가 압축 감지 이미지 캡처 디바이스 이외의 디바이스에서 발생할 수 있으므로, 이미지 캡처 디바이스가 상이한 원하는 해상도들에 기초하여 감지 매트릭를 재구성하고 이미지들을 다시 캡쳐하는 경우 요구될 많은 계산 리소스들을 완하한다. 유리하게, 이는 압축 감지 이미지 캡쳐 디바이스의 비용을 감소시키고, 프로세싱 동안 요구되는 상이한 영역들 또는 상이한 해상도들을 고려할 필요 없이, 상이한 상황들에 대해 압축 감지 이미지 장치를 상이하게 재구성할 필요 없이, 대량 배포에 적합하게 된다.
다른 영역들보다 높은 해상도를 갖는 관심 영역을 포함하여 본원에 설명된 영역들은 여러 가지 방법들로 결정될 수 있다. 예를 들어, 일 실시예에서, 관심 영역(및 다른 영역들)은 재구성 장치에 대한 수동 입력에 기초하여 결정될 수 있다. 일부 실시예들에서, 매우 낮은 해상도의 프리뷰 이미지가 관심 영역을 포함하는 하나 이상의 영역들을 식별하도록 구성될 수 있고, 그 다음에 원하는 다중 해상도 이미지가 프리뷰 이미지에 기초하여 구성될 수 있다. 다른 실시예에서, 캡쳐된 장면의 알려진 또는 결정된 피쳐(예를 들어, 보안 애플리케이션의 도어)에 기초하여 자동으로 결정될 수 있고, 이미지의 나머지는 낮은 해상도 영역으로 간주될 수 있다. 또 다른 실시예들에서, 관심 영역들은 이미지의 중앙 영역이 더 높은 해상도로 할당되고, 이어서 내림 차순으로 더 낮은 해상도로 다른 영역으로서 할당되는 하나 이상의 주변 영역(또는 동일한 해상도)이 뒤따른다. 장면을 캡처하는 다수의 카메라들의 뷰들에 기초하여 오버랩 커버리지 영역을 결정하고 관심 영역으로서 오버랩 영역을 결정하는 것과 같이, 당업자들에 의해 이해될 수 있는 바와 같이 관심 영역을 결정하기 위한 다른 종래의 접근법들이 또한 사용될 수 있다. 4개의 영역들이 상기 예에서 도시되었지만, 각각 할당된 해상도들을 갖는 영역들이 더 적거나 더 많을 수 있다는 것이 이해될 것이다. 일 실시예에서, 더 높은 해상도(예를 들어, 고유 해상도)를 갖는 하나의 관심 영역이 있을 수 있고, 나머지 이미지는 관심 영역보다 낮은 해상도를 갖는 제 2 영역으로 간주될 수 있다.
각 영역에 대해 본원에 개시된 확장 매트릭스(E)는 각각의 저 해상도 영역() 및 원래의 네이티브 해상도 영역() 사이의 매핑을 허용한다. 일반적으로, 원래의 해상도 매트릭스 또는 영역(d)을 얻는 것은 크기가 q x q이고, 인 블록들로 저 해상도 매트릭스 또는 영역()의 요소들을 반복하는 것을 포함한다. 특정 예로서, 4개의 요소 저 해상도 매트릭스 또는 영역()은 확장 매트릭스 1 2x2을 이용하여 네이티브 해상도(16) 요소 매트릭스 또는 영역(d)으로 다음과 같이 매핑될 수 있다:
원래의 고유 해상도 영역(d)에서 저해상도 매트릭스 또는 영역()을 얻는 다른 방법으로 이동하려면, 크기 q x q의 블록들(Bqxq) 내부에 있는 원래 해상도 매트릭스(d)의 요소들을 합산하는 작업이 다음과 같이 필요하다:
도 6은 본 개시의 다양한 양태들(예를들어, 프로세스(200)의 하나 이상의 단계들)을 구현하기에 적합한 컴퓨팅 장치(600)의 고레벨 블록 다이어그램이다. 단일 블록으로 도시되어 있지만, 다른 실시예들에서, 장치(600)는 또한 병렬 및 분산 구조들을 사용하여 구현될 수 있다. 따라서, 예를 들어, 상술된 바와 같이 도 1의 아키텍처(100)의 다양한 유닛들 중 하나 이상 및 본원에 개시된 다른 구성요소들은 장치(200)를 사용하여 구현될 수 있다. 또한, 프로세스(200)의 예에 도시된 것과 같은 다양한 단계들은 장치(600)를 사용하여 순차적으로, 병렬로, 또는 특정 구현들에 기초한 상이한 순서로 실행될 수 있다 . 예시적인 장치(600)는 다양한 입/출력 장치들(604) 및 메모리(606)와 통신 가능하게 상호 연결된 프로세서(602)(예를 들어, 중앙 처리 장치("CPU"))를 포함한다.
프로세서(602)는 범용 중앙 처리 장치("CPU") 또는 임베디드 마이크로 컨트롤러 또는 디지털 신호 프로세서("DSP")와 같은 전용 마이크로 프로세서와 같은 임의의 유형의 프로세서일 수 있다. 입/출력 장치들(604)은 프로세서(602)의 제어하에 동작하는 임의의 주변 장치일 수 있으며, 예를 들어 네트워크 어댑터들, 데이터 포트들, 및 다양한 사용자 인터페이스 장치들과 같은 장치(600)에 데이터를 입력하거나 키보드, 키패드, 마우스 또는 디스플레이와 같은 다양한 사용자 인터페이스 장치들일 수 있다.
메모리(606)는 예를 들어, 일시적 랜덤 액세스 메모리(RAM) 또는 판독 전용 메모리(ROM), 하드 디스크 드라이브 메모리, 데이터베이스 메모리, 콤팩트 디스크 드라이브 메모리, 광학 메모리 등과 같은 비 일시적인 메모리와 같은 전자 정보를 저장하고 액세스하는데 적합한 메모리의 임의의 유형 또는 조합일 수 있다. 메모리(606)는 프로세서(602)에 의한 실행시에 장치(600)가 전술한 기능 또는 양상들(예를 들어, 프로세스(200)의 하나 이상의 단계들)을 수행 또는 실행하도록 구성하거나 지시할 수 있는 데이터 및 명령어들을 포함할 수 있다. 추가로, 장치(600)는 또한 메모리(606)에 저장되고 프로세서(602)에 의해 실행되는 운영 시스템, 큐 관리자, 장치 드라이버, 데이터베이스 드라이버, 또는 하나 이상의 네트워크 프로토콜과 같은 컴퓨팅 시스템들에 일반적으로 존재하는 다른 구성 요소들을 포함할 수 있다.
장치(600)의 특정 실시 예가 도 6에 도시되어 있지만, 본 개시에 따른 다양한 양태들은 또한 하나 이상의 주문형 집적 회로들(ASICs), 필드 프로그래머블 게이트 어레이들(FPGAs), 또는 임의의 다른 전용 또는 프로그램 가능한 하드웨어의 조합을 이용하여 구현될 수 있다.
본 명세서의 양태들이 특정 실시예들을 참조하여 설명되었지만, 이들 실시 예들이 단지 본 개시의 원리들 및 응용들을 설명하는 것임을 이해해야한다. 따라서, 예시적인 실시예들에 대해 많은 변형들이 이루어질 수 있고, 본 개시물의 사상 및 범위를 벗어나지 않으면서 다른 배치들이 고안될 수 있음을 이해해야한다.
Claims (10)
- 압축 감지된 이미지들을 처리하기 위한 장치에 있어서:
명령들 및 데이터를 저장하기 위한 메모리; 및
상기 프로세서에 의해 실행될 때, 상기 메모리에 통신 가능하게 결합되고 상기 데이터 및 상기 명령들에 액세스하도록 구성된 프로세서를 포함하고, 상기 명령들은 상기 프로세서를:
단일 고유 해상도의 압축된 버전, 장면의 N-픽셀 이미지를 나타내는 MxN 압축 감지 매트릭스를 사용하여 생성된 M개의 압축 감지 측정치들을 검색하고;
상기 압축 감지 측정치들로부터 재구성될 원하는 2-차원, 다중-해상도 이미지의 치수들을 결정하고;
상기 결정된 치수들에 기초하여, 상기 원하는 2-차원, 다중-해상도 이미지에 복수의 영역들을 할당하는 것으로서, 상기 할당된 복수의 영역들 각각은 상기 단일 고유 해상도 이미지의 상기 고유 해상도와 동일한 또는 그 이하의 결정된 픽셀 해상도를 갖는, 상기 복수의 영역들을 할당하고;
각 개개의 할당된 영역에 대한 확장 매트릭스를 정의하는 것으로서, 각 확장 매트릭스의 치수들은 상기 할당된 영역의 결정된 픽셀 해상도에 기초하여 각 개개의 할당된 영역에 대해 결정되는, 상기 확장 매트릭스를 정의하고;
상기 압축 감지 측정치들, 상기 압축 감지 매트릭스, 및 상기 정의된 확장 매트릭스들을 이용하여 상기 장면의 다중-해상도 재구성된 이미지를 생성하도록 구성하는, 압축 감지된 이미지들을 처리하기 위한 장치. - 제 1 항에 있어서,
상기 프로세서는 또한 상기 압축 측정치들이 검색된 후에 상기 복수의 영역들을 할당하도록 구성되는, 압축 감지된 이미지들을 처리하기 위한 장치. - 제 1 항에 있어서,
상기 프로세서는 또한 다른 할당된 영역들보다 높은 결정된 픽셀 해상도를 갖는 적어도 하나의 관심 영역을 할당하도록 구성되는, 압축 감지된 이미지들을 처리하기 위한 장치. - 제 3 항에 있어서,
상기 프로세서는 또한 상기 할당된 관심 영역들 중 하나를 변경하거나 추가의 관심 영역들을 부가함으로써 상기 할당된 관심 영역들을 재구성하도록 구성되는. 압축 감지된 이미지들을 처리하기 위한 장치. - 제 3 항에 있어서,
상기 프로세서는 또한 수동 입력에 기초하여 적어도 하나의 관심 영역을 생성하도록 구성되는, 압축 감지된 이미지들을 처리하기 위한 장치. - 제 3 항에 있어서,
상기 프로세서는 또한 적어도 하나의 관심 영역을 자동으로 생성하도록 구성되는, 압축 감지된 이미지들을 처리하기 위한 장치. - 압축 감지된 이미지들을 처리하기 위한 컴퓨터-구현된 방법에 있어서:
MxN 압축 감지 매트릭스를 이용하여 생성된 M개의 압축 감지 측정치들을 검색하는 단계로서, 상기 압축 감지 측정치들은 단일 고유 해상도의 압축된 버전, 장면의 N개의 픽셀 이미지를 나타내는, 상기 압축 감지 측정치들을 검색하는 단계;
상기 압축 감지 측정치들로부터 재구성될 원하는 2-차원, 다중-해상도 이미지의 치수들을 결정하는 단계;
상기 결정된 치수들에 기초하여, 상기 원하는 2-차원, 다중-해상도 이미지에 복수의 영역들을 할당하는 단계로서, 상기 할당된 복수의 영역들 각각은 상기 단일 고유 해상도 이미지의 상기 고유 해상도와 동일한 또는 그 이하의 결정된 픽셀 해상도를 갖는, 상기 복수의 영역들을 할당하는 단계;
각 개개의 할당된 영역에 대한 확장 매트릭스를 정의하는 단계로서, 각 확장 매트릭스의 치수들은 상기 할당된 영역의 결정된 픽셀 해상도에 기초하여 각 개개의 할당된 영역에 대해 결정되는, 상기 확장 매트릭스를 정의하는 단계; 및
상기 압축 감지 측정치들, 상기 압축 감지 매트릭스, 및 상기 정의된 확장 매트릭스들을 이용하여 상기 장면의 다중-해상도 재구성된 이미지를 생성하는 단계를 포함하는, 압축 감지된 이미지들을 처리하기 위한 컴퓨터-구현된 방법. - 제 7 항에 있어서,
상기 압축 측정치들이 검색된 후에, 상기 복수의 영역들을 할당하는 단계를 더 포함하는, 압축 감지된 이미지들을 처리하기 위한 컴퓨터-구현된 방법. - 제 7 항에 있어서,
다른 할당된 영역들보다 높은 결정된 픽셀 해상도를 갖는 적어도 하나의 관심 영역을 할당하는 단계를 더 포함하는, 압축 감지된 이미지들을 처리하기 위한 컴퓨터-구현된 방법. - 제 9 항에 있어서,
할당된 관심 영역 중 하나를 변경하거나 추가의 관심 영역들을 부가함으로써 상기 할당된 관심 영역들을 재구성하는 단계를 더 포함하는, 압축 감지된 이미지들을 처리하기 위한 컴퓨터-구현된 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/942,020 US9615024B1 (en) | 2015-11-16 | 2015-11-16 | Multi-resolution compressive sensing image processing |
US14/942,020 | 2015-11-16 | ||
PCT/US2016/060769 WO2017087194A1 (en) | 2015-11-16 | 2016-11-07 | Multi-resolution compressive sensing image processing |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180070653A true KR20180070653A (ko) | 2018-06-26 |
KR102096767B1 KR102096767B1 (ko) | 2020-04-06 |
Family
ID=57321461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020187013923A KR102096767B1 (ko) | 2015-11-16 | 2016-11-07 | 다중-해상도 압축 감지 이미지 처리 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9615024B1 (ko) |
EP (1) | EP3378035A1 (ko) |
JP (1) | JP6689379B2 (ko) |
KR (1) | KR102096767B1 (ko) |
CN (1) | CN108475420B (ko) |
WO (1) | WO2017087194A1 (ko) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170105327A (ko) * | 2016-03-09 | 2017-09-19 | 한국전자통신연구원 | 이종 사물 인터넷 플랫폼 기반 정보 수집장치, 정보 분석장치 및 정보 전달방법 |
CN109194923B (zh) * | 2018-10-18 | 2023-08-29 | 眸芯科技(上海)有限公司 | 基于局部非均匀分辨率的视频图像处理设备、系统及方法 |
US11721031B2 (en) * | 2020-10-28 | 2023-08-08 | Stmicroelectronics (Research & Development) Limited | Scalable depth sensor |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140000518A (ko) * | 2012-06-22 | 2014-01-03 | 재단법인대구경북과학기술원 | 터치스크린을 이용한 영상 제어 방법 |
US20150317806A1 (en) * | 2013-07-01 | 2015-11-05 | Xerox Corporation | Reconstructing an image of a scene captured using a compressed sensing device |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006116134A2 (en) | 2005-04-21 | 2006-11-02 | William Marsh Rice University | Method and apparatus for compressive imaging device |
EP2147557B1 (en) * | 2007-04-18 | 2012-04-18 | Gottfried Wilhelm Leibniz Universität Hannover | Scalable compression of time-consistend 3d mesh sequences |
US8515171B2 (en) * | 2009-01-09 | 2013-08-20 | Rochester Institute Of Technology | Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof |
US8478029B2 (en) * | 2009-05-26 | 2013-07-02 | Tandent Vision Science, Inc. | Multi-resolution analysis in image segregation |
US8340415B2 (en) * | 2010-04-05 | 2012-12-25 | Microsoft Corporation | Generation of multi-resolution image pyramids |
US9634690B2 (en) * | 2010-09-30 | 2017-04-25 | Alcatel Lucent | Method and apparatus for arbitrary resolution video coding using compressive sampling measurements |
US9084036B2 (en) | 2011-05-17 | 2015-07-14 | Alcatel Lucent | Signal source localization using compressive measurements |
DE102012205847A1 (de) * | 2012-04-11 | 2013-10-17 | Siemens Aktiengesellschaft | Bilderzeugung mit Mehrfachauflösung |
US9552658B2 (en) * | 2012-07-26 | 2017-01-24 | William Marsh Rice University | Methods and systems for video compressive sensing for dynamic imaging |
CN103632341A (zh) * | 2013-08-30 | 2014-03-12 | 王勇 | 一种塔式分解和字典学习的带噪cs-mri重构方法 |
CN103985145B (zh) * | 2014-03-04 | 2017-05-24 | 西安电子科技大学 | 一种基于联合稀疏和先验约束的压缩感知图像重构方法 |
-
2015
- 2015-11-16 US US14/942,020 patent/US9615024B1/en active Active
-
2016
- 2016-11-07 WO PCT/US2016/060769 patent/WO2017087194A1/en active Application Filing
- 2016-11-07 CN CN201680066675.3A patent/CN108475420B/zh not_active Expired - Fee Related
- 2016-11-07 EP EP16795527.7A patent/EP3378035A1/en not_active Ceased
- 2016-11-07 JP JP2018525437A patent/JP6689379B2/ja not_active Expired - Fee Related
- 2016-11-07 KR KR1020187013923A patent/KR102096767B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140000518A (ko) * | 2012-06-22 | 2014-01-03 | 재단법인대구경북과학기술원 | 터치스크린을 이용한 영상 제어 방법 |
US20150317806A1 (en) * | 2013-07-01 | 2015-11-05 | Xerox Corporation | Reconstructing an image of a scene captured using a compressed sensing device |
Non-Patent Citations (1)
Title |
---|
HONG JIANG ET AL:"Arbitrary Resolution Video Coding Using Compressive Sensing",International Journal of Numerical Analysis and Modeling(2010.12.) * |
Also Published As
Publication number | Publication date |
---|---|
CN108475420B (zh) | 2022-04-08 |
WO2017087194A1 (en) | 2017-05-26 |
JP6689379B2 (ja) | 2020-04-28 |
US9615024B1 (en) | 2017-04-04 |
EP3378035A1 (en) | 2018-09-26 |
CN108475420A (zh) | 2018-08-31 |
JP2019503105A (ja) | 2019-01-31 |
KR102096767B1 (ko) | 2020-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9081731B2 (en) | Efficient transforms and efficient row generation for Kronecker products of Hadamard matrices | |
US9100514B2 (en) | Methods and systems for coded rolling shutter | |
JP6652510B2 (ja) | 圧縮センシング撮像のためのシステムおよび方法 | |
CN104065891A (zh) | 机器视觉3d线扫描图像获取及处理 | |
US9269163B2 (en) | Method and apparatus for compressing or decompressing light field images | |
JP3968121B2 (ja) | 画像圧縮方法 | |
JP2012249125A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2015511433A (ja) | 適応型多次元データ分解 | |
EP3247108B1 (en) | Multi-resolution lightfield rendering using image pyramids | |
KR102096767B1 (ko) | 다중-해상도 압축 감지 이미지 처리 | |
JP2020042801A (ja) | イメージ復元方法及び装置 | |
US20190139189A1 (en) | Image remosaicing | |
CN106683174B (zh) | 双目视觉系统的三维重建方法、装置及双目视觉系统 | |
US20180160071A1 (en) | Feature Detection In Compressive Imaging | |
JP2017069948A (ja) | 信号観測装置及び信号観測方法 | |
DE102011002824A1 (de) | Bildsensor, Bildaufnahmesystem und Verfahren zum Aufnehmen eines Bildes | |
WO2015200038A1 (en) | Systems and methods for compressive sense imaging | |
US20150170340A1 (en) | Imaging device, reconstruction device, imaging system, and imaging method | |
KR102614908B1 (ko) | 이미지 복원 방법 및 장치 | |
JP6475269B2 (ja) | 圧縮センシング撮像 | |
JP5895587B2 (ja) | 画像記録装置、画像記録方法、画像再生装置および画像再生方法 | |
JPH0528266A (ja) | テクスチヤ解析方法及び装置 | |
JP2017521942A5 (ko) | ||
Larcom et al. | Foveated image formation through compressive sensing | |
CN107657610B (zh) | 一种基于计盒方法的ct扫描结果分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |