KR20160078929A - 이미지들에 대한 자동 프로세싱 - Google Patents
이미지들에 대한 자동 프로세싱 Download PDFInfo
- Publication number
- KR20160078929A KR20160078929A KR1020157036477A KR20157036477A KR20160078929A KR 20160078929 A KR20160078929 A KR 20160078929A KR 1020157036477 A KR1020157036477 A KR 1020157036477A KR 20157036477 A KR20157036477 A KR 20157036477A KR 20160078929 A KR20160078929 A KR 20160078929A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- candidate
- candidate image
- parameters
- rti
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000001052 transient effect Effects 0.000 claims 2
- 230000000007 visual effect Effects 0.000 description 8
- 235000012167 tiramisu Nutrition 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 235000021185 dessert Nutrition 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G06T5/92—
-
- G06T7/0026—
-
- G06T7/0028—
-
- G06T7/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
Abstract
이미지들을 프로세싱하기 위한 시스템들 및 방법들이 제공된다. 특히, 프로세싱을 위해 후보 이미지를 획득될 수 있다. 후보 이미지는 관련된 하나 이상의 이미지 분류 파라미터들을 가질 수 있다. 다음으로, 후보 이미지 내에서 하나 이상의 픽셀 그룹들이 검출될 수 있으며 그리고 상기 하나 이상의 픽셀 그룹들은 시맨틱 데이터에 관련될 수 있다. 다음으로, 하나 이상의 픽셀 그룹들의 시맨틱 데이터에 적어도 일부 기초하여 적어도 하나의 기준 이미지가 식별될 수 있다. 적어도 하나의 기준 이미지가 식별되면, 복수의 조절 파라미터들이 판별될 수 있다. 다음으로, 복수의 조절 파라미터들에 적어도 일부 기초하는 프로세싱된 이미지를 생성하도록, 후보 이미지로부터의 하나 이상의 픽셀 그룹들이 프로세싱될 수 있다.
Description
일반적으로 본 발명은 이미지 분석 및 프로세싱에 관한 것이며, 좀더 상세하게는 자동으로 이미지들을 프로세싱하는 것에 관한 발명이다.
가령, 스마트 폰 혹은 테블릿에 관련된 이미지 캡춰 디바이스들은 사용자들이 디지털 이미지를 캡춰할 수 있게하고 그리고 이미지 캡춰 디바이스에 관련된 메모리에 상기 이미지를 저장할 수 있게 한다. 이들 이미지 캡춰 디바이스들은 또한, 무선 네트워크 능력을 갖는데, 이는 사용자로 하여금 이미지를 원격 컴퓨팅 디바이스로 전송할 수 있게 하며 혹은 무선 네트워크를 통해 원격 컴퓨팅 디바이스로부터 이미지를 액세스할 수 있다.
이들 이미지 캡춰 디바이스들은 또한 사진들의 품질을 향상시키기 위한 다양한 기술들을 포함할 수 있다. 예를 들어, 이미지 캡춰 디바이스들은 종종 화이트 밸런스, 플래시, 및/또는 노출 계수들 등의 다양한 설정들을 사용자가 조절할 수 있게 한다. 또한, 이미지 캡춰 디바이스들은 고 명암비 이미징(High Dynamic Range Imaging: HDR) 등과 같은 기술들을 포함할 수 있다. HDR은 서로 다른 노출들에서 캡춰된 다수의 이미지들을 이용함으로써, 채도(saturation), 밝기(brightness), 콘트라스트에서 더 넓은 범위의 다이내믹들을 허용한다. 또한, 이미지 캡춰 디바이스들 포스트 프로덕션 소프트웨어(post production software)를 갖는데, 포스트 프로덕션 소프트웨어는 사용자가 채도, 밝기, 및 콘트라스트 등의 다양한 이미지 콘트롤들을 조절할 수 있게 하며, 그리고 디양한 필터들 및/또는 변환들을 이미지에 적용할 수 있게 한다. 이러한 포스트 프로덕션 소프트웨어는 채도, 밝기, 및 콘트라스트를 소정의 정규화된 모델로 조절할 수 있는 자동보정 필터들을 포함할 수 있다.
본 발명의 양상들은 예컨대, 이미지 캡춰 디바이스에 의해서 캡춰된 이미지를 자동으로 프로세싱하는 것에 관한 것이다. 고품질 이미지들을 캡춰하는 것은 매우 어려운 작업일 수 있다. 사진찍는 사람은 예컨대, 카메라 하드웨어, 이용가능한 조명 등에 의해서 제한을 받을 수도 있고 심지어 그 자신의 능력 자체가 제약이 될 수 있다. 특히, 스마트 폰 등의 모바일 컴퓨팅 디바이스에 관련된 이미지 캡춰 디바이스는, 사람의 눈에 의해서 인식되는 것과 같은 색상 및 콘트라스트를 갖는 이미지를 캡춰하는데 어려움이 있다. 이미지 품질은, 화이트 밸런스, 플래시, 노출 조절 등의 적절한 카메라 세팅들을 이용함으로써 어느 정도까지는 개선될 수 있다. 또한, 이미지 품질은 고 명암비 이미징(HDR) 등의 카메라 기술들을 통해 및/또는 포스트 프로덕션 소프트웨어에 의해서 개선될 수 있는바, 포스트 프로덕션 소프트웨어는 채도, 밝기, 콘트라스트 등의 이미지 파라미터들을 조절할 수 있게 하며 그리고 다양한 필터들 혹은 변환들을 이미지에 적용할 수 있게 한다. 하지만, 이러한 이미지 프로세싱 기법들은 용이하게 이용가능하지 않을 수도 있으며, 또는 너무 시간이 오래 걸리거나 혹은 대부분의 사용자가 구현하기에는 어려울 수도 있다.
본 발명의 실시예들의 양상들 및 장점들은 다음의 설명 부분에 설명될 것이며 또는 상세한 설명으로부터 학습될 수 있으며 또는 실시예들의 구현을 통해 학습될 수 있다.
본 발명의 예시적인 일 양상은 컴퓨터로 구현되는, 이미지를 자동으로 프로세싱하는 방법에 관한 것이다. 상기 방법은 하나 이상의 컴퓨팅 디바이스들에 의해서, 후보 이미지를 획득하는 단계를 포함한다. 후보 이미지는 하나 이상의 이미지 분류 파라미터들(image categorization parameters)에 관련된다. 상기 방법은 또한, 상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 상기 후보 이미지 내의 하나 이상의 픽셀 그룹들을 검출하는 단계를 포함한다. 상기 방법은 또한, 상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 상기 후보 이미지의 하나 이상의 픽셀 그룹들 각각과 시맨틱(semantic) 데이터를 관련시키는 단계를 포함한다. 시맨틱 데이터는, 상기 후보 이미지의 하나 이상의 이미지 분류 파라미터들 또는 상기 픽셀 그룹의 콘텐트를 나타내는 데이터에 적어도 일부 기초하여 판별된다. 상기 방법은 또한, 상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 적어도 하나의 기준 이미지에 적어도 일부 기초하여 판별되는 복수의 조절 파라미터들을 수신하는 단계를 포함한다. 상기 적어도 하나의 기준 이미지는 상기 후보 이미지의 하나 이상의 픽셀 그룹들에 대한 시맨틱 데이터에 적어도 일부 기초하여 식별된다. 상기 방법은 또한, 프로세싱된 이미지를 생성하도록, 상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 상기 복수의 조절 파라미터들에 적어도 일부 기초하여 상기 후보 이미지의 하나 이상의 픽셀 그룹들을 프로세싱하는 단계를 포함한다.
컴퓨터로 구현되는, 본 발명에 따른 방법은 다양한 기술적 장점들을 제공할 수 있다. 예를 들어, 이미지 내의 하나 이상의 픽셀 그룹들을 검출하고 그리고 수신된 조절 파라미터들에 기초하여 픽셀 그룹들을 프로세싱함으로써, 전체 이미지를 프로세싱할 필요없이, 개선된 이미지가 제공될 수 있으며, 따라서 프로세싱 리소스들을 절약하는 것이 가능하다. 또한, 본 발명에서는 서로 다른 픽셀 그룹들이 서로 다르게 프로세싱될 수 있으며, 따라서 서로 다른 픽셀 그룹들 각각에 대하여 적절한 조절이 수행될 수 있다. 이러한 것은, 전체 이미지를 동일한 방식으로 프로세싱함으로써 제공되었던 이미지에 비하여, 개선된 프로세싱된 이미지를 제공할 수 있다. 또한, 시맨틱 데이터에 기초하여 식별되는 하나 이상의 기준 이미지들에 기초하여 조절 파라미터들을 판별함으로써, 시스템에서의 데이터 전송의 분량이 감소될 수 있다(예컨대, 조절 파라미터들을 식별하기 위하여 전체 이미지가 전송 및 분석되어야만 하는 시스템에 비하여). 또한, 기준 이미지들을 식별하기 위하여 서브젝트(subject) 이미지와 관련되는 시맨틱 데이터를 사용하는 것은, 특별하게 연관된 기준 이미지들이 발견될 가능성을 증가시킬 수 있다. 이와 같이, 기준 이미지들에 기초하여 판별되는 조절 파라미터들은, 특히나 적합할 수 있으며, 따라서 고품질의 프로세싱된 이미지를 제공할 수 있다.
본 발명의 다른 양상들은 이미지를 자동으로 프로세싱하기 위한 시스템들, 장치들, 유형인 비일시적인 컴퓨터 판독가능한 매체, 사용자 인터페이스, 및 디바이스들에 관한 것이다.
다양한 실시예들의 이들 및 다른 피처들, 양상들, 및 장점들은 다음의 상세한 설명 및 첨부된 청구항들을 참조하여 보다 잘 이해될 것이다. 본 명세서에 통합되며 본 명세서의 일부를 구성하는 첨부된 도면들은, 본 발명의 실시예들을 예시하며 그리고 발명의 상세한 설명과 함께 관련 원리들을 설명하는 역할을 수행한다.
해당 기술분야의 당업자들을 위한 실시예들에 대한 상세한 논의는 명세서에 서술되며, 이는 첨부된 도면들을 참조하여 설명된다.
도 1은 본 발명의 예시적인 일실시예를 따라 이미지 캡춰 디바이스를 갖는 예시적인 컴퓨팅 디바이스를 도시한다.
도 2는 본 발명의 일실시예에 따른 예시적인 후보 이미지를 도시한다.
도 3은 본 발명의 일실시예에 따른 프로세싱된 이미지의 일례를 도시한다.
도 4는 본 발명의 일실시예에 따라 이미지를 자동으로 프로세싱하는 방법에 대한 순서도이다.
도 5는 본 발명의 일실시예에 따라 기준 이미지를 식별하기 위한 방법의 순서도이다.
도 6은 본 발명의 일실시예에 따른 클라이언트-서버 구현의 일례에 대한 순서도이다.
도 7은 본 발명의 일례에 따른 예시적인 컴퓨팅 시스템을 도시한다.
도 1은 본 발명의 예시적인 일실시예를 따라 이미지 캡춰 디바이스를 갖는 예시적인 컴퓨팅 디바이스를 도시한다.
도 2는 본 발명의 일실시예에 따른 예시적인 후보 이미지를 도시한다.
도 3은 본 발명의 일실시예에 따른 프로세싱된 이미지의 일례를 도시한다.
도 4는 본 발명의 일실시예에 따라 이미지를 자동으로 프로세싱하는 방법에 대한 순서도이다.
도 5는 본 발명의 일실시예에 따라 기준 이미지를 식별하기 위한 방법의 순서도이다.
도 6은 본 발명의 일실시예에 따른 클라이언트-서버 구현의 일례에 대한 순서도이다.
도 7은 본 발명의 일례에 따른 예시적인 컴퓨팅 시스템을 도시한다.
용어 해설(glossary)
이미지 분류 파라미터(Image Categorization Parameter): 이미지, 픽셀 그룹 및/또는 이들의 일부의 컨텐트 혹은 콘텍스트에 관련된 데이터. 이미지 분류 파라미터의 일례는 이미지에 관련된 타임스탬프, 지리적 위치(geo-location), 메타데이터 혹은 자동 이미지 분류자(classifier)를 포함한다.
픽셀 그룹: 공통적인 엔티티에 속한 픽셀들을 갖는 이미지 영역. 픽셀 그룹의 일례는 사람, 장소, 객체, 혹은 장면 혹은 이들의 일부에 관련된 픽셀들을 포함한다.
조절 파라미터: 이미지에 대한 프로세싱 동작의 하나 이상의 특징들을 특저아는 파라미터. 조절 파라미터의 일례는 이미지 콘트롤들, 이미지 필터 혹은 이미지 변환을 포함한다.
오염된 이미지(Tainted Image): 기준 이미지로서 사용되는 것이 거부되는 소정의 품질 혹은 특징을 갖는 이미지. 오염된 이미지의 일례는 크리에이티브 플래시 혹은 필터를 포함한다.
크리에이티브 플래시(Creative Flash): 이미지에 관련된 플래시로서, 이미지의 콘텐트가 인간의 눈에 의해서 인식되는 방식과는 다른 소정의 시각적 품질 혹은 특징을 이미지에게 부여한다.
크리에이티브 필터(Creative Filter): 이미지에 관련된 필터로서, 이미지의 콘텐트가 인간의 눈에 의해서 인식되는 방식과는 다른 소정의 시각적 품질 혹은 특징을 이미지에게 부여한다.
이미지 콘트롤: 이미지에 관련된 파라미터로서, 가령, 채도, 밝기, 혹은 콘트라스(이에 한정되지 않음) 등의 이미지의 시각적인 특징을 결정한다.
유사도 점수: 2개 이상의 이미지들의 이미지 분류 파라미터들 간의 유사성을 나타내는 전자 데이터.
이미지 품질 레이팅(Image Quality Rating): 이미지 품질의 정도를 나타내는 이미지에 관련된 파라미터.
개관
이제 본 발명의 실시예들이 상세하게 참고될 것인바, 이들 실시예들의 하나 이상의 일례들은 도면들에 예시된다. 각각의 일례는 실시예를 설명하기 위해서 제공되며, 본 발명에 대한 제한으로서 제공되는 것이 아니다. 사실, 본 발명의 사상이나 범위를 벗어남이 없이도 본 발명의 실시예들에 대한 다양한 변형들 및 수정들이 가해질 수도 있음은, 해당 기술분야의 당업자들에게 자명할 것이다. 예를 들어, 일실시예의 일부로서 서술 혹은 예시된 피처들은, 다른 실시예와 함께 이용되어 또 다른 실시예를 만들어낼 수도 있다. 따라서, 본 발명의 양상들은 이러한 변형예들 및 수정예들을 커버하도록 의도된다.
본 발명의 양상들은 예컨대, 이미지 캡춰 디바이스에 의해서 캡춰된 이미지를 자동으로 프로세싱하는 것에 관한 것이다. 고품질 이미지들을 캡춰하는 것은 매우 어려운 작업일 수 있다. 사진찍는 사람은 예컨대, 카메라 하드웨어, 이용가능한 조명 등에 의해서 제한을 받을 수도 있고 심지어 그 자신의 능력 자체가 제약이 될 수 있다. 특히, 스마트 폰 등의 모바일 컴퓨팅 디바이스에 관련된 이미지 캡춰 디바이스는, 사람의 눈에 의해서 인식되는 것과 같은 색상 및 콘트라스트를 갖는 이미지를 캡춰하는데 어려움이 있다. 이미지 품질은, 화이트 밸런스, 플래시, 노출 조절 등의 적절한 카메라 세팅들을 이용함으로써 어느 정도까지는 개선될 수 있다. 또한, 이미지 품질은 고 명암비 이미징(HDR) 등의 카메라 기술들을 통해 및/또는 포스트 프로덕션 소프트웨어에 의해서 개선될 수 있는바, 포스트 프로덕션 소프트웨어는 채도, 밝기, 콘트라스트 등의 이미지 파라미터들을 조절할 수 있게 하며 그리고 다양한 필터들 혹은 변환들을 이미지에 적용할 수 있게 한다. 하지만, 이러한 이미지 프로세싱 기법들은 용이하게 이용가능하지 않을 수도 있으며, 또는 너무 시간이 오래 걸리거나 혹은 대부분의 사용자가 구현하기에는 어려울 수도 있다.
전술한 바와 같은 고유한 문제점들을 감안하여, 본 발명의 실시예들ㄹ은 이미지들을 자동으로 프로세싱할 수 있는 피처들을 제공한다. 넓은 범위의 입력들 및 소스들에 기초하여 이미지들을 조정하도록 특별한 알고리즘들이 구현된다. 특히, 프로세싱을 위해 후보 이미지들이 액세스될 수 있다. 적어도 하나의 기준 이미지가 식별될 수 있으며 그리고 복수의 조절 파라미터들을 결정하는데 이용될 수 있다. 복수의 조절 파라미터들에 기초하여, 후보 이미지 내의 하나 이상의 픽셀 그룹들이 프로세싱되어, 프로세싱된 이미지를 생성할 수 있다. 이러한 구현예들은 이미지의 품질을 개선할 수 있으며 그리고 각각의 개별 이미지에 맞춤화된 보다 지능적이고, 사용하기 쉬운(user-friendly) 이미지 프로세싱 기술을 제공할 수 있다.
본 발명의 예시적인 양상들에 따르면, 이미지 캡춰 디바이스(예컨대, 디지털 카메라)에 의해서 캡춰된 후보 이미지가 획득될 수 있다. 후보 이미지는 사용자와 관련된 모바일 컴퓨팅 디바이스에 저장될 수 있으며 또는 이미지 데이터베이스로부터 획득될 수 있다. 후보 이미지는 하나 이상의 이미지 분류 파라미터들에 관련될 수 있다. 하나 이상의 이미지 분류 파라미터들은 예컨대, 이미지의 지리적 위치, 타임스탬프, 사용자에 의해 추가된 명시적인 메타데이터(예컨대, 제목, 설명, 해시태그), 이미지에 관련된 다른 메타데이터(예컨대, 이미지가 첨부된 우편물에 대한 설명), 및/또는 자동 이미지 분류자를 포함할 수 있다.
일단 후보 이미지가 획득되면, 후보 이미지 내의 하나 이상의 픽셀 그룹들이 검출될 수 있다. 픽셀 그룹은 후보 이미지의 일부 또는 후보 이미지의 전부를 포함할 수 있다. 다음으로, 하나 이상의 픽셀 그룹은, 상기 하나 이상의 픽셀 그룹의 콘텐트를 나타내는 시맨틱 데이터(semantic data)에 관련된다. 시맨틱 데이터는, 후보 이미지의 하나 이상의 이미지 분류 파라미터들 및/또는 픽셀 그룹의 콘텐트를 나타내는 데이터에 적어도 일부 기초하여 판별될 수 있다.
시맨틱 데이터가 하나 이상의 픽셀 그룹들에 관련되면, 적어도 하나의 기준 이미지에 적어도 일부 기초하여 복수의 조절 파라미터들이 수신될 수 있다. 적어도 하나의 기준 이미지는 하나 이상의 픽셀 그룹들의 시맨틱 데이터에 적어도 일부 기초하여 식별될 수 있다. 특히, 복수의 이미지들은 이미지 데이터베이스로부터 액세스될 수 있다. 후보 이미지 내의 하나 이상의 픽셀 그룹들의 시맨틱 데이터 및/또는 후보 이미지의 하나 이상의 이미지 분류 파라미터들에 적어도 일부 기초하여, 복수의 이미지들로부터 적어도 하나의 기준 이미지가 식별될 수 있다.
예시적인 실시예에서, 복수의 이미지들 중 각 이미지의 하나 이상의 이미지 분류 파라미터들과 후보 이미지 간의 유사도 점수에 적어도 일부 기초하여, 적어도 하나의 기준 이미지가 식별될 수 있다. 추가적으로 혹은 대안적으로, 적어도 하나의 기준 이미지는 이미지 품질에 적어도 일부 기초하여 식별될 수 있다. 특히, 적어도 하나의 기준 이미지를 식별하는 것은, 복수의 이미지들로부터의 이미지를 이미지 품질 임계값에 비교하는 것을 포함할 수 있다. 이미지 품질 임계값은 상기 복수의 이미지들의 각각의 이미지가 기준 이미지로서 식별되기 위해 충족해야할 품질의 정도를 나타낼 수 있다. 이미지 품질 임계값이 결정되면, 복수의 이미지들의 각각의 이미지에 대한 이미지 품질 레이팅이 판별될 수 있다. 이미지 품질 레이팅은 예컨대, 이미지에 관련된 사용자 피드백 레이팅에 적어도 일부 기초할 수 있다.
다음으로, 이미지 품질 임계값과 복수의 이미지들의 각각의 이미지의 이미지 품질 레이팅이 비교될 수 있다. 이미지 품질 임계값 보다 높은 이미지 품질 레이팅을 갖는 이미지들은 기준 이미지로서 식별될 수 있는 반면에, 이미지 품질 임계값 보다 낮은 이미지 품질 레이팅을 갖는 이미지들은 거절될 수 있다. 예시적인 실시예에서는, 오염된 기준 이미지들 역시도 분석으로부터 제외될 수 있다. 오염된 이미지들은 기준 이미지로서의 사용으로부터 배제되도록 하는 품질 혹은 특징을 갖는 이미지들이 될 수 있으며 그리고 예컨대, 크리에이티브 필터 혹은 플래시의 사용을 야기하는 이미지들을 포함할 수 있다. 크리에이티브 필터 혹은 플래시는, 이미지의 콘텐트가 인간의 눈에 의해서 인식되는 방식과는 다른 소정의 시각적 품질 혹은 특징을 이미지에게 부여하는, 이미지에 관련된 필터 혹은 플래시가 될 수 있다.
식별된 적어도 하나의 기준 이미지에 적어도 일부 기초하여, 복수의 조절 파라미터들이 판별될 수 있다. 특히, 복수의 조절 파라미터들은 상기 적어도 하나의 기준 이미지의 하나 이상의 이미지 품질 파라미터들에 적어도 일부 기초하여 판별될 수 있다. 복수의 조절 파라미터들은 예컨대, 이미지 콘트롤들(가령, 채도, 밝기, 콘트라스트, 선예도(sharpness)) 및/또는 이미지에 관련된 다양한 필터들 또는 변환들을 포함할 수 있다. 수신된 복수의 이미지 조절 파라미터들에 적어도 일부 기초하여, 후보 이미지의 하나 이상의 픽셀 그룹들이 가령, 포스트 프로세싱 기술들을 이용하여 프로세싱될 수 있다. 포스트 프로세싱 기술들은 예컨대, 국부화된 스펙트럼들을 조절하는 것(예컨대, RGB, HSV) 그리고 후보 이미지의 하나 이상의 픽셀 그룹들에게 정규화 프로세스(normalization process)를 적용하는 것을 포함할 수 있다. 프로세싱된 이미지는 예컨대, 모바일 컴퓨팅 디바이스 상에 디스플레이를 위해 제공될 수 있다.
특정 구현예에서, 프로세싱된 이미지는 이미지 데이터베이스에 제공될 수 있으며, 따라서 프로세싱된 이미지는 다른 후보 이미지들에 대한 기준 이미지로서 식별될 수 있다. 예를 들어, 프로세싱된 이미지는 복수의 이미지들의 일부로서 액세스될 수 있으며 그리고 본 발명의 예시적인 양상들에 따라 기준 이미지로서 식별될 수 있다.
다른 특정 구현예에서는, 식별된 기준 이미지들을 사용함이 없이도, 복수의 조절 파라미터들이 판별될 수 있다. 특히, 복수의 조절 파라미터들은, 하나 이상의 픽셀 그룹들에 관련된 시맨틱 데이터에 기초하여 판별될 수 있다. 시맨틱 데이터는, 하나 이상의 픽셀 그룹들에 관련된 속성들, 가령, 픽셀 그룹 내에 도시된 특정 엔티티의 색상, 텍스처(texture), 형상 등등을 식별할 수 있다. 특정 실시예에서, 픽셀 그룹의 속성들 및/또는 분류 모델들을 식별하도록, 시맨틱 데이터는 자동 이미지 분류자를 사용할 수 있다. 예를 들어, 시맨틱 데이터는 이미지 분류자들을 이용하여, 특정 레스토랑에서 접시(plate)가 특정 색상을 가짐을 나타낼 수 있다. 다음으로, 프로세싱 동안 후보 이미지에 적용될 복수의 조절 파라미터들을 판별하는데, 시맨틱 데이터가 이용될 수 있다.
예시적인 일실시예에 따르면, 사용자는 사용자의 스마트폰에 장착된 디지털 카메라를 이용하여 사용자가 선호하는 식당에서 티라미슈 한 조각의 후보 이미지를 캡춰할 수 있다. 상기 후보 이미지는, 상기 이미지가 매사추세츠주 보스톤의 특정한 트리토리아에 있는 티라미슈 한 조각을 도시하고 있음을 나타내는, 관련 메타데이터(예컨대, 지오 코딩(geo-coding))를 가질 수 있다. 사용자는 사용자의 스마트폰에 있는 어플리케이션에 액세스할 수 있다. 어플리케이션은 이미지의 개선된 버전을 요청하도록 사용자를 촉구(프롬프트)할 수 있다. 사용자는 어플리케이션과의 상호작용을 통해 개선된 이미지를 요청할 수 있다. 사용자의 요청에 응답하여, 본 발명의 예시적인 실시예에 따라 후보 이미지가 프로세싱될 수 있으며 그리고 프로세싱된 이미지가 사용자에게 제공될 수 있다.
대안적인 구현예에서는, 본 발명의 예시적인 양상들에 따라 사용자에 의해서 입력되는 세팅들에 기초하여, 이미지가 자동으로 프로세싱될 수 있다. 예를 들어, 사용자는 어플리케이션에 관련된 세팅들을 조절하여, 사용자의 스마트폰에 관련된 이미지 캡춰 디바이스를 이용하여 캡춰된 이미지들의 일부 또는 전부가, 가능하다면, 본 발명의 예시적인 양상들에 따라 프로세싱되도록 특정할 수 있다. 이러한 방식으로, 사용자는 사용자의 디바이스에 의해서 캡춰된 이미지들에 대한 개선된 이미지들을 획득할 수 있다.
예시적인 이미지 프로세싱
이제 도면들을 참조하여 본 발명의 예시적인 양상들이 설명될 것이다. 도 1은 본 발명의 예시적인 실시예에 따른 모바일 컴퓨팅 디바이스(102)를 도시한다. 모바일 컴퓨팅 디바이스(102)는 이미지 캡춰 디바이스(104)를 포함할 수 있다. 이미지 캡춰 디바이스(104)는 이미지들 및/또는 비디오를 캡춰하는데 이용되는 디지털 카메라가 될 수 있다. 모바일 컴퓨팅 디바이스(102)는 또한 사용자가 개선된 이미지를 요청할 수 있는 어플리케이션을 포함할 수 있다. 어플리케이션은 사용자 인터페이스(가령, 사용자 인터페이스 106)를 제공하는데 이용될 수 있다. 사용자 인터페이스(106)는 예컨대, 후보 이미지, 다양한 카메라 파라미터들, 및/또는 다양한 카메라 세팅들을 디스플레이할 수 있다. 사용자 인터페이스(106)는 또한, 이미지 개선 옵션(108)을 디스플레이 할 수 있다. 이미지 개선 옵션(108)은 후보 이미지에 대한 개선된 버전을 요청하도록 사용자에게 촉구할 수 있다. 따라서, 모바일 컴퓨팅 디바이스(102)에 관련된 사용자는, 이미지 개선 옵션(108)과의 상호작용을 통해, 후보 이미지의 개선된 버전을 요청할 수 있으며, 이러한 요청에 응답하여, 프로세싱된 이미지가 본 발명의 양상들에 따라 제공될 수 있다. 프로세싱된 이미지는 모바일 컴퓨팅 디바이스(102)에 의해서 사용자 인터페이스(106)에 디스플레이되도록 제공된다.
예시적인 실시예에서, 후보 이미지의 개선된 버전에 대한 사용자로부터의 요청이 있으면, 하나 이상의 픽셀 그룹들이 후보 이미지에서 검출될 수 있다. 예를 들어, 도 2는 예시적인 후보 이미지(200)를 도시하며, 하나 이상의 픽셀 그룹들이 후보 이미지(200)에서 검출될 수 있다. 후보 이미지(200)는 사용자와 관련된 이미지 캡춰 디바이스, 가령 도 1의 이미지 캡춰 디바이스(102)에 의해서 캡춰될 수 있다. 후보 이미지(200)는 레스토랑 세팅에 따른 티라미슈 디저트(210) 한 조각을 도시한다. 도 2에서 검출된 픽셀 그룹들의 경계선은 파선(broken line)으로 도시된다. 예시된 바와 같이, 후보 이미지(200)는 픽셀 그룹(202)(테이블을 나타냄) 및 픽셀 그룹(204)(접시를 나타냄)를 포함한다. 티라미슈(210)는 티라미슈의 서로 다른 색상들 및/또는 텍스처들에 따라, 여러 개의 픽셀 그룹들로 분할될 수 있다. 예를 들어, 픽셀 그룹(206)은 티라미슈(210)의 하나의 층을 나타내고, 픽셀 그룹(208)은 티라미슈(210)의 다른 하나의 층을 나타낸다. 본 발명의 예시적인 양상들에 따라, 다양한 픽셀 그룹들이 후보 이미지(200)에서 검출되면, 복수의 조절 파라미터들이 판별될 수 있다. 다음으로, 프로세싱된 이미지를 생성하도록, 후보 이미지(200) 내의 하나 이상의 픽셀 그룹들이 복수의 조절 파라미터들에 기초하여 프로세싱될 수 있다.
도 3은 본 발명의 예시적인 실시예에 따른 프로세싱된 이미지(300)의 일례를 도시한다. 특히, 프로세싱된 이미지는 후보 이미지에서 검출된 픽셀 그룹들에 대응하는, 하나 이상의 프로세싱된 픽셀 그룹들을 나타낼 수 있다. 예를 들어, 도 3에서, 프로세싱된 이미지(300)는 프로세싱된 픽셀 그룹들(308, 310)을 나타내는데, 이들은 후보 이미지(200)의 픽셀 그룹들(208, 210)에 각각 대응한다. 가령, 더 굵은 선의 티라미슈(310)와 같이, 프로세싱된 픽셀 그룹들은 더 굵은 선으로 도 3에 예시된다. 프로세싱된 픽셀 그룹들(308, 310)은 각각의 픽셀 그룹에 적합한 서로 다른 조절 파라미터들을 이용하여 프로세싱 될 수 있다. 비록, 프로세싱된 이미지(300)가 오직 2개의 프로세싱된 그룹들만을 도시하고 있지만, 해당 기술분야의 당업자에게 자명한 바와 같이, 후보 이미지(200)에서 검출된 임의 개수의 픽셀 그룹들이 본 발명의 일실시예에 따라 프로세싱될 수 있다.
이미지들을 프로세싱 하기 위한 예시적인 방법들
도 4는 본 발명의 예시적인 실시예들에 따라 이미지를 자동으로 프로세싱하기 위한 예시적인 방법(400)을 도시한다. 방법(400)은 하나 이상의 컴퓨팅 디바이스들, 가령 도 6에 도시된 하나 이상의 컴퓨팅 디바이스들에 의해서 구현될 수 있다. 또한, 도 4는 예시 및 설명을 위한 목적으로 특정 순서대로 수행되는 단계들을 도시한다. 본 명세서에서 제공되는 바를 이용하는 해당 기술분야의 당업자라면, 본 발명의 범위를 벗어남이 없이도, 개시된 임의의 방법들의 다양한 단계들이 임의의 다양한 방법으로 생략, 조정, 변형, 재배열, 혹은 확장될 수 있음을 능히 이해할 것이다.
단계 402에서, 방법(400)은 후보 이미지를 획득하는 것을 포함할 수 있다. 후보 이미지는 이미지 캡춰 디바이스에 의해서 캡춰될 수 있으며, 정지 이미지 또는 비디오 혹은 영화와 같은 동영상이 될 수 있다. 이미지 캡춰 디바이스는 스마트 폰 혹은 테블릿 등의 모바일 컴퓨팅 디바이스에 관련될 수 있다. 후보 이미지는 하나 이상의 관련된 이미지 분류 파라미터들을 가질 수 있다. 하나 이상의 이미지 분류 파라미터들은 이미지의 콘텐트 혹은 콘텍스트에 관한 것일 수 있다. 하나 이상의 이미지 분류 파라미터들은 예컨대, 이미지의 위치, 이미지가 언제 찍혔는지를 나타내는 타임스탬프, 사용자에 의해 부가된 명시적인 메타데이터(예컨대, 제목, 설명, 해시태그), 이미지에 관련된 다른 메타데이터(예컨대, 이미지가 첨부된 우편물에 대한 설명), 및/또는 자동 이미지 분류자를 포함할 수 있다.
후보 이미지는 또한, 하나 이상의 관련된 이미지 품질 파라미터들을 포함할 수 있다. 하나 이상의 이미지 품질 파라미터들은 이미지의 시각적인 특징들에 관한 것일 수 있다. 예를 들어, 하나 이상의 이미지 품질 파라미터들은 색상, 텍스처, 및/또는 이미지의 다른 시각적인 특징들에 관한 것일 수 있으며, 그리고 이미지 콘트롤들 및/또는 이미지에 관련된 다양한 필터들 혹은 변환들을 포함할 수 있다. 이미지 품질 파라미터들은 또한, 이미지가 플래시를 이용하여 캡춰되었는지를 나타낼 수도 있다.
단계 404에서, 방법(400)은 후보 이미지에서 하나 이상의 픽셀 그룹들을 검출하는 것을 포함할 수 있다. 픽셀 그룹은 공통적인 엔티티에 속하는 픽셀들을 갖는 이미지 영역이 될 수 있는바, 공통적인 엔티티는 공통적인 사람, 장소, 객체, 혹은 장면, 혹은 이들의 일부가 될 수 있지만, 이에 한정되는 것은 아니다. 픽셀 그룹은 다른 픽셀 그룹과 공간적으로 중첩될 수 있다. 예를 들어, 본 발명의 예시적인 양상들에 따르면, 하나의 픽셀 그룹에 포함된 이미지의 일부는 다른 픽셀 그룹에도 또한 포함될 수 있다. 픽셀 그룹들은 이미지의 다양한 영역들을 분리할 수 있으며 그리고 예를 들어, 에지 검출 및/또는 국부적인 분류 기술들(local classification technologies)을 통해 검출될 수 있다. 특히, 이미지 내의 다양한 엔티티들(가령, 테이블 혹은 식사용 접시)을 분리하는 픽셀 그룹들이 검출될 수 있다. 또한, 단일 엔티티의 다양한 부분들을 분리하는 픽셀 그룹들이 검출될 수 있다. 예를 들어, 티라미슈 디저트 조각은 타리미슈의 서로 다른 색상들 및/또는 텍스처들에 적어도 일부 기초하여 다수의 픽셀 그룹들로 분리될 수 있다.
단계 406에서 방법(400)은 하나 이상의 픽셀 그룹들을 시맨틱 데이터에 관련시키는 것을 포함할 수 있다. 시맨틱 데이터는 후보 이미지의 하나 이상의 이미지 분류 파라미터들에 적어도 일부 기초하여 판별될 수 있다. 시맨틱 데이터는 픽셀 그룹에 관련된 엔티티를 서술하는 데이터가 될 수 있으며, 그리고 예컨대, 시맨틱 라벨을 포함할 수 있다. 시맨틱 라벨은 픽셀 그룹의 콘텐트를 나타내는 데이터를 포함할 수 있다. 해당 기술분야의 당업자는 다음을 능히 이해할 것인바, 하나 이상의 픽셀 그룹들과 시맨틱 데이터를 관련시키는 것은 예컨대, 자동 이미지 분류자들을 이용하여 사용자 혹은 컴퓨팅 디바이스에 의해서 수행될 수 있다.
단계 408에서 방법(400)은 적어도 하나의 기준 이미지에 적어도 일부 기초하여 복수의 조절 파라미터들을 수신하는 것을 포함할 수 있다. 특히, 복수의 이미지가 액세스될 수 있으며 그리고 후보 이미지 내의 하나 이상의 픽셀 그룹들의 시맨틱 데이터에 기초하여 적어도 하나의 기준 이미지가 복수의 이미지들로부터 식별될 수 있다. 적어도 하나의 기준 이미지는 예컨대, 유사도 점수에 적어도 일부 기초하여 식별될 수 있다. 유사도 점수는 이미지들 간의 유사도의 분량을 나타낼 수 있으며 그리고 후보 이미지에 관련된 이미지 분류 파라미터들 및 시맨틱 데이터와 복수의 이미지들 중 한 이미지의 이미지 분류 파라미터들과의 비교를 통하여 판별될 수 있다. 전술한 바와 같이, 이미지 분류 파라미터들은 이미지의 콘텐트 혹은 콘텍스트에 관련된 데이터를 포함할 수 있다. 후보 이미지의 이미지 분류 파라미터들 및 시맨틱 데이터에 대해서, 복수의 이미지들 중 한 이미지의 이미지 분류 파라미터들을 분석 및 비교함으로써, 이미지들 간의 유사도 점수가 판별될 수 있다. 유사도 점수는 복수의 이미지들 내의 각각의 이미지에 대하여 판별될 수 있다. 복수의 이미지들 내의 임의의 이미지(소정의 유사도 임계값 보다 높은 유사도 점수를 갖는)는 기준 이미지로서 식별될 수 있다.
적어도 하나의 기준 이미지에 적어도 일부 기초하여 복수의 조절 파라미터들이 판별될 수 있다. 특히, 적어도 하나의 기준 이미지에 관련된 하나 이상의 이미지 품질 파라미터들에 적어도 일부 기초하여 복수의 조절 파라미터들이 판별될 수 있다. 각각의 식별된 기준 이미지는 하나 이상의 관련 이미지 품질 파라미터들을 가질 수 있다. 하나 이상의 이미지 품질 파라미터들은 이미지의 시각적인 특징들에 관련될 수 있다. 예를 들어, 하나 이상의 이미지 품질 파라미터들은 이미지의 색상, 텍스처, 및/또는 다른 시각적인 특징들에 관련될 수 있으며, 그리고 기준 이미지에 관련된 이미지 색상들 및/또는 다양한 필터들 혹은 변환들을 포함할 수 있다. 복수의 조절 파라미터들은 적어도 하나의 기준 이미지의 이미지 품질 파라미터들에 적어도 일부 기초하여 판별될 수 있으며 그리고 방법(400)의 단계 408에서와 같이, 프로세싱 동안 후보 이미지에 적용될 수 있는바, 이에 대해서는 후술한다.
일부 일례들에서는, 적어도 하나의 기준 이미지의 소정 조합의 하나 이상의 이미지 품질 파라미터들에 대한 분석을 통하여 조절 파라미터들이 판별될 수 있다. 예를 들어, 후보 이미지에 가장 유사한 기준 이미지들의 서브세트에 대한 분석 혹은 가장 높은 품질 레이팅들을 갖는 기준 이미지들의 서브세트에 대한 분석에 기초하여, 조절 파라미터들이 판별될 수 있다.
이미지 품질에 적어도 일부 기초하여 적어도 하나의 기준 이미지가 식별될 수 있다. 예를 들어, 도 5는 적어도 하나의 기준 이미지를 식별하기 위한 예시적인 방법(500)의 순서도를 도시한다. 복수의 이미지들 중 하나의 이미지는, 상기 하나의 이미지가 소정의 품질 기준을 충족하지 못한다면, 기준 이미지로서 식별될 수 없다. 예를 들어, 이미지가 흐릿하거나(blurred) 혹은 열악한 조명(lighting)을 갖는다면, 상기 이미지는 거절될 수 있다. 이러한 이미지들은 적어도 하나의 기준 이미지로서 식별되지 못할 수도 있으며 그리고 나중에 조절 파라미터들을 판별할 때에 분석으로부터 제외될 것이다.
따라서, 단계 502에서 방법(500)은 이미지 품질 임계값을 식별하는 것을 포함할 수 있다. 이미지 품질 임계값은, 이미지가 기준 이미지로 사용될 수 있을 정도로 충분히 높은 품질을 가졌는지를 판별하는데 이용되는 신호가 될 수 있다. 이미지 품질 임계값은, 기준 이미지로 식별되기 위하여 이미지가 충족하도록 요구되는 품질의 기본 수준(baseline degree)을 나타낼 수 있다. 특히, 이미지 품질 임계값은 가령, 선예도(sharpness), 흐릿한 픽셀들, 조명, 진짜 색상들에 대한 비교, 및/또는 임의의 다른 적절한 이미지 파라미터들 등의 다양한 이미지 파라미터들의 함수로서 결정되는 점수에 기초할 수 있다.
단계 504에서 방법(500)은 복수의 이미지들 중 한 이미지의 이미지 품질 레이팅을 판별하는 것을 포함할 수 있다. 이미지 품질 레이팅(image quality rating)은 이미지의 품질 정도를 나타낼 수 있다. 예를 들어, 이미지 품질 레이팅은 가령, 선예도, 흐릿한 픽셀들, 조명, 진짜 색상에 대한 비교, 기타 등등의 다양한 이미지 파라미터들의 함수로서 결정되는 점수에 기초할 수 있다. 일실시예에서, 이미지 품질 레이팅은 이미지에 관련된 사용자 피드백 레이팅들에 적어도 일부 기초하여 판별될 수 있다.
단계 506에서 방법(500)은 이미지의 이미지 품질 레이팅을 이미지 품질 임계값에 비교하는 것을 포함할 수 있다. 단계 508에서 방법(500)은 이미지를 기준 이미지로서 식별할 수 있는지의 여부를 판별하는 것을 포함할 수 있다. 만일, 이미지의 이미지 품질 레이팅이 이미지 품질 임계값 보다 크다면, 상기 이미지는 기준 이미지로서 식별될 수 있지만, 상기 이미지의 이미지 품질 레이팅이 이미지 품질 임계값 보다 작다면, 상기 이미지는 거절될 수 있다. 거절된 이미지들은 조절 파라미터들을 판별할 때에 분석으로부터 제외될 수 있다.
단계 510에서 방법(500)은 복수의 이미지들로부터의 모든 이미지들이 이미지 품질 임계값과 비교되었는지의 여부를 판별하는 단계를 포함할 수 있다. 만일, 복수의 이미지들 중 적어도 하나의 이미지가 이미지 품질 임계값과 여전히 비교되어야만 한다면, 방법(500)은 단계 504로 되돌아가는 것을 포함할 수 있다. 만일, 복수의 이미지들 모두가 이미지 품질 임계값과 비교되었다면, 방법(500)은 종료한다. 다음으로, 복수의 조절 파라미터들이 방법(400)의 단계 408에서와 같이 판별될 수 있다.
도 4를 다시 참조하면, 단계 410에서 방법(400)은 복수의 조절 파라미터들에 적어도 일부 기초하여, 후보 이미지의 하나 이상의 픽셀 그룹들을 프로세싱하는 것을 포함할 수 있다. 보다 상세하게는, 후보 이미지의 하나 이상의 픽셀 그룹들의 이미지 품질 파라미터들은 복수의 조절 파라미터들에 적어도 일부 기초하여 조절될 수 있다. 각각의 서로 다른 픽셀 그룹에 대하여 서로 다른 조절 파라미터들이 독립적으로 판별될 수 있다. 상기 프로세싱은 예컨대, 국부화된 스펙트럼들을 조절하는 것(예컨대, RGB, HSV) 그리고 후보 이미지의 하나 이상의 픽셀 그룹들에게 정규화 프로세스를 적용하는 것을 포함할 수 있다. 정규화 프로세스는 복수의 조절 파라미터들에 적어도 일부 기초할 수 있다.
도 6은 본 발명의 예시적인 실시예들에 따라 본 발명의 시스템들 및 방법들을 구현하기 위한 클라이언트-서버 상호작용의 예시적인 순서도를 도시한다. 클라이언트-서버 상호작용은 예컨대, 도 7의 컴퓨팅 시스템에 의해서 구현될 수 있다. 하지만, 해당 기술분야의 당업자에게 능히 이해되는 바와 같이, 본 발명의 시스템 및 방법들은 다양한 다른 상호작용을 통하여 그리고 다양한 다른 적절한 컴퓨팅 시스템들(가령, 단일 컴퓨팅 디바이스)에 의해서 구현될 수 있다.
단계 602에서, 모바일 컴퓨팅 디바이스는 후보 이미지를 캡춰할 수 있다. 후보 이미지는 본 발명의 예시적인 실시예들에 따라, 다양한 이미지 분류 파라미터들에 관련될 수 있다. 단계 604에서, 모바일 컴퓨팅 디바이스는 이미지 개선 옵션을 선택하라고 사용자에게 촉구할 수 있다. 단계 606에서, 모바일 컴퓨팅 디바이스는 개선된 이미지에 대한 사용자 요청을 수신할 수 있다. 단계 608에서, 모바일 컴퓨팅 디바이스는 검출된 픽셀 그룹들을 시맨틱 데이터에 관련시킬 수 있다. 단계 610에서, 모바일 컴퓨팅 디바이스는 이미지 분류 파라미터들과 시맨틱 데이터를 서버로 전송할 수 있다.
단계 612에서, 서버는 이미지 분류 파라미터들 및 시맨틱 데이터를 수신할 수 있다. 단계 614에서, 서버는 이미지 분류 파라미터들 및 시맨틱 데이터에 적어도 일부 기초하여 적어도 하나의 기준 이미지를 식별할 수 있다. 단계 616에서, 서버는 적어도 하나의 기준 이미지에 적어도 일부 기초하여 복수의 조절 파라미터들을 판별할 수 있다. 단계 618에서, 서버는 복수의 조절 파라미터들을 모바일 컴퓨팅 디바이스로 전송할 수 있다.
단계 620에서, 모바일 컴퓨팅 디바이스는 복수의 조절 파라미터들을 수신할 수 있다. 단계 622에서, 모바일 컴퓨팅 디바이스는 복수의 조절 파라미터들에 적어도 일부 기초하여 후보 이미지를 프로세싱할 수 있다. 단계 624에서, 모바일 컴퓨팅 디바이스는 프로세싱된 이미지를 디스플레이할 수 있다.
이미지들을 프로세싱하기 위한 예시적인 컴퓨팅 시스템들
도 7은 본 발명의 예시적인 양상들에 따른 방법들 및 시스템들을 구현하는데 이용될 수 있는 컴퓨팅 시스템(700)의 일례를 도시한다. 상기 시스템(700)은 클라이언트-서버 구조를 이용하여 구현될 수 있는바, 클라이언트-서버 구조는 네트워크(740)를 통해 하나 이상의 모바일 컴퓨팅 디바이스(730)와 통신하는 서버(710)를 포함한다. 상기 시스템(700)은 다른 적절한 구조들, 가령 단일 컴퓨팅 디바이스 등을 이용하여 구현될 수도 있다.
시스템(700)은 웹 서버 등의 서버(710)를 포함한다. 서버(710)는 지리적 정보 시스템을 호스트할 수 있다. 서버(710)는 임의의 적절한 컴퓨팅 디바이스(들)을 이용하여 구현될 수 있다. 서버(710)는 하나 이상의 프로세서들(712)과 메모리(714)를 포함할 수 있다. 서버(710)는 또한, 네트워크(740)를 통해 하나 이상의 모바일 컴퓨팅 디바이스(730)와 통신하는데 이용되는 네트워크 인터페이스를 포함할 수 있다. 네트워크 인터페이스는 하나 이상의 네트워크들과 인터페이싱하기 위한 임의의 적절한 컴포넌트들을 포함할 수 있는데, 예를 들면, 전송기, 수신기, 포트들, 콘트롤러들, 안테나들, 혹은 다른 적절한 컴포넌트들을 포함한다.
하나 이상의 프로세서들(712)은 마이크로프로세서, 마이크로콘트롤러, 집적회로, 로직 디바이스, 혹은 다른 적절한 프로세싱 디바이스 등과 같은 임의의 적절한 프로세싱 디바이스를 포함할 수 있다. 메모리(714)는 하나 이상의 임의의 적절한 컴퓨터-판독가능한 매체를 포함할 수 있는데, 비-일시적인 컴퓨터-판독가능한 매체, RAM, ROM, 하드 드라이브, 플래시 드라이브, 혹은 다른 메모리 디바이스들을 포함할 수 있지만, 이에 한정되는 것은 아니다. 메모리(714)는 하나 이상의 프로세서들(712)에 의해서 실행될 수 있는 컴퓨터-판독가능한 명령들(716)을 포함하여, 하나 이상의 프로세서들(712)에 의해서 액세스가능한 정보를 저장할 수 있다. 상기 명령들(716)은 하나 이상의 프로세서들(712)에 의해서 실행되는 때에, 하나 이상의 프로세서들(712)로 하여금 연산들을 수행하게 하는 명령들의 임의의 세트가 될 수 있다. 예를 들어, 명령들(716)는, 프로세싱 모듈(720) 및/또는 본 명세서에 개시된 임의의 방법들의 다양한 양상들을 구현하도록 구성된 하나 이상의 모듈들을 구현하도록 하나 이상의 프로세서들(712)에 의해서 실행될 수 있다.
프로세싱 모듈(720)은 본 발명의 예시적인 실시예에 따라 후보 이미지를 프로세싱하도록 구성될 수 있다. 프로세싱 모듈(720)은 하나 이상의 모듈들, 가령, 픽셀 그룹 모듈, 조절 파라미터 모듈 및/또는 기준 모듈을 포함할 수 있다. 픽셀 그룹 모듈은 후보 이미지 내의 하나 이상의 픽셀 그룹들을 검출하고 그리고 각각의 픽셀 그룹을 시맨틱 데이터에 관련시키도록 구성될 수 있다. 기준 모듈은 가령, 도 5에 도시된 방법에 따라, 적어도 하나의 기준 이미지를 식별하도록 구성될 수 있다. 조절 파라미터 모듈은 적어도 하나의 기준 이미지에 적어도 일부 기초하여 복수의 조절 파라미터들을 판별하도록 구성될 수 있다.
"모듈"이라는 용어는 원하는 기능을 제공하도록 활용되는 컴퓨터 로직을 지칭함을 유의해야 한다. 따라서, 모듈은 하드웨어, 어플리케이션 특정 회로, 펌웨어 및/또는 소프트웨어 제어형 범용 프로세서로 구현될 수 있다. 일실시예에서, 모듈들은 저장 디바이스에 저장되고, 메모리에 로딩되며, 그리고 프로세서에 의해서 실행되는 프로그램 코드 파일들이거나 또는, RAM, 하드 디스크 또는 광학 혹은 자기 매체 등의 유형의 컴퓨터-판독가능한 저장 매체에 저장되는 컴퓨터 프로그램 제품들(예를 들어, 컴퓨터 실행가능한 명령들)로부터 제공될 수 있다. 소프트웨어가 이용되는 경우, 임의의 적절한 프로그래밍 언어 혹은 플랫폼이 모듈을 구현하는데 이용될 수 있다.
메모리(714)는 또한 하나 이상의 프로세서들(712)에 의해서 검색, 조작, 생성 혹은 저장될 수 있는 데이터(718)를 포함할 수 있다. 데이터(718)는 예를 들어, 후보 이미지, 복수의 이미지들, 시맨틱 데이터, 조절 파라미터들 및 다른 정보를 포함할 수 있다. 데이터(718)는 하나 이상의 데이터베이스에 저장될 수 있다. 하나 이상의 데이터베이스는 고대역 LAN 혹은 WAN에 의해서 서버(710)에 연결될 수 있으며 또는 네트워크(740)를 통하여 서버(710)에 연결될 수도 있다. 하나 이상의 데이터베이스는 분리될 수도 있으며, 따라서 이들 데이터베이스는 다수의 위치들에 위치할 수 있다.
서버(710)는 네트워크(740)를 통해 하나 이상의 모바일 컴퓨팅 디바이스(730)들과 데이터를 교환할 수 있다. 비록 2개의 모바일 컴퓨팅 디바이스(730)들이 도 7에 예시되어 있지만, 임의 개수의 모바일 컴퓨팅 디바이스(730)들이 네트워크(740)를 통해 서버(710)에 연결될 수 있다. 각각의 모바일 컴퓨팅 디바이스(730)는 범용 컴퓨터, 특수 목적 컴퓨터, 랩탑, 데스트탑, 모바일 디바이스, 스마트폰, 테블릿, 웨어러블 컴퓨팅 디바이스, 하나 이상의 프로세서들을 구비한 디스플레이, 혹은 다른 적절한 컴퓨팅 디바이스 등의, 임의의 적절한 유형의 컴퓨팅 디바이스가 될 수 있다.
서버(710)와 유사하게, 모바일 컴퓨팅 디바이스(730)는 하나 이상의 프로세서들(732) 및 메모리(734)를 포함할 수 있다. 하나 이상의 프로세서들(732)은 하나 이상의 중앙처리유닛(CPU), 이미지들을 효율적으로 렌더링하는데 전용되는 그래픽 프로세싱 유닛(GPU) 및/또는 다른 프로세싱 디바이스들을 포함할 수 있다. 메모리(734)는 하나 이상의 컴퓨터 판독가능한 매체를 포함할 수 있으며 그리고 하나 이상의 프로세서들(732)에 의해서 실행될 수 있는 명령들(736) 및 데이터(738)를 포함하여, 하나 이상의 프로세서들(732)에 의해서 액세스가능한 정보를 저장할 수 있다. 예를 들어, 메모리(734)는 이미지 캡춰를 용이하게 하도록 사용자 인터페이스 모듈을 구현하기 위한 명령들(736)을 저장할 수 있다.
도 7의 모바일 컴퓨팅 디바이스(730)는 정보를 제공하고 그리고 사용자로부터 정보를 수신하기 위한 다양한 입력/출력 디바이스들을 포함할 수 있는바, 가령 터치스크린, 터치 패드, 데이터 입력 키, 스피커 및/또는 음성 인식에 적합한 마이크로폰 등을 포함할 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스(730)는 이미지를 사용자에게 제공하는 디스플레이(735), 및 이미지들을 캡춰하기 위한 하나 이상의 이미지 캡춰 디바이스(737)를 포함할 수 있다.
모바일 컴퓨팅 디바이스(730)는 또한 포지셔닝 시스템을 포함할 수 있다. 포지셔닝 시스템은 원격 컴퓨팅 디바이스의 위치를 판별하기 위한 임의의 디바이스 혹은 회로가 될 수 있다. 예를 들어, 포지셔닝 디바이스는, 위성 네비게이션 포지셔닝 시스템(예컨대, GPS 시스템, 갈릴레오 포지셔닝 시스템, 글로벌 네비게이션 위성 시스템(GLONASS), BeiDou 위성 네비게이션 및 포지셔닝 시스템), 관성 네비게이션 시스템, 데드 레콘닝 시스템(dead reckoning system)을 이용하여, IP 어드레스 기반으로, 삼각측량법 및/또는 기지국(cellular tower) 혹은 와이파이 핫스팟과의 근접성을 이용하여, 혹은 위치를 판별하기 위한 다른 적절한 기법들을 이용하여, 실제 혹은 상대적인 위치를 판별할 수 있다.
모바일 컴퓨팅 디바이스(730)는 또한, 네트워크(740)를 통해 하나 이상의 원격 컴퓨팅 디바이스(예컨대, 서버 710)와 통신하는데 이용되는 네트워크 인터페이스를 포함할 수 있다. 네트워크 인터페이스는 하나 이상의 네트워크들과 인터페이싱하기 위한 임의의 적절한 컴포넌트들을 포함할 수 있는데, 예를 들면, 전송기, 수신기, 포트들, 콘트롤러들, 안테나들, 혹은 다른 적절한 컴포넌트들을 포함한다.
네트워크는 임의 유형의 통신 네트워크, 가령, 근거리 통신망(LAN)(예컨대, 인트라넷), 광대역 통신망(예컨대, 인터넷), 셀룰러 네트워크, 혹은 이들의 조합을 포함할 수 있다. 네트워크(740)는 또한, 모바일 컴퓨팅 디바이스(730)와 서버(710)와의 직접 연결을 포함할 수 있다. 일반적으로, 모바일 컴퓨팅 디바이스(730)와 서버(710)와의 통신은, 임의 유형의 유선 및/또는 무선 연결들, 다양한 통신 프로토콜들(예컨대, TCP/IP, HTTP, SMTP, FTP), 인코딩들 혹은 포맷들(예컨대, HTML, XML), 및/또는 보호 체계들(예컨대, VPN, 보안 HTTP, SSL)을 이용하여 네트워크 인터페이스를 통해 수행될 수 있다.
본 명세서에 서술된 기술은 서버, 데이터베이스, 소프트웨어 어플리케이션 및 다른 컴퓨터-기반 시스템들을 참조할 뿐만 아니라, 이러한 시스템들에 의해 행해지는 액션들 및 이들 시스템들로/로부터 전송되는 정보를 참조한다. 해당 기술분야의 당업자라면, 컴퓨터-기반 시스템 본연의 유연성으로 인하여, 컴포넌트들 간의 태스크들 및 기능들에 대한 매우 다양한 가능성있는 구성들, 조합들, 및 분할들이 허용됨을 능히 이해할 것이다. 예를 들어, 본 명세서에서 논의된 서버 프로세스들은, 단일 서버 혹은 조합되어 동작하는 다수의 서버들을 이용하여 구현될 수도 있다. 데이터베이스들과 어플리케이션들은, 단일 시스템 상에서 혹은 분산된 다수의 시스템들 상에서 구현될 수도 있다. 분산된 컴포넌트들은 순차적으로 혹은 병렬로 동작할 수 있다.
본 발명의 주제가 예시적인 특정 실시예들에 관련하여 상세하게 설명되었지만, 해당 기술분야의 당업자라면, 본 발명에 대한 전술한 내용들에 대한 이해에 기초하여 이러한 실시예들에 대한 대안예들, 변형예들 및 등가물들을 용이하게 만들어 낼 수 있다는 점을 능히 이해할 것이다. 따라서, 본 개시 내용의 범위는 단리 일례일 뿐이며, 본 발명을 한정하고자 의도된 것이 아니다. 본 개시 내용은 해당 기술분야의 당업자에게 자명한 바와 같은 본 발명에 대한 이러한 변형예들, 수정예들 및/또는 부가 사항들이 포함되는 것을 배제하지 않는다.
Claims (23)
- 컴퓨터로 구현되는, 이미지를 자동으로 프로세싱하는 방법으로서,
하나 이상의 컴퓨팅 디바이스들에 의해서, 후보 이미지를 획득하는 단계, 상기 후보 이미지는 하나 이상의 이미지 분류 파라미터들(image categorization parameters)에 관련되며;
상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 상기 후보 이미지 내의 하나 이상의 픽셀 그룹들을 검출하는 단계;
상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 상기 후보 이미지의 하나 이상의 픽셀 그룹들 각각과, 상기 후보 이미지의 하나 이상의 이미지 분류 파라미터들 또는 상기 픽셀 그룹의 콘텐트를 나타내는 데이터에 적어도 일부 기초하여 판별되는 시맨틱(semantic) 데이터를, 관련시키는 단계;
상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 적어도 하나의 기준 이미지에 적어도 일부 기초하여 판별되는 복수의 조절 파라미터들을 수신하는 단계, 상기 적어도 하나의 기준 이미지는 상기 후보 이미지의 하나 이상의 픽셀 그룹들에 대한 시맨틱 데이터에 적어도 일부 기초하여 식별되며; 그리고
프로세싱된 이미지를 생성하도록, 상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 상기 복수의 조절 파라미터들에 적어도 일부 기초하여 상기 후보 이미지의 하나 이상의 픽셀 그룹들을 프로세싱하는 단계
를 포함하는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 제1항에 있어서,
상기 하나 이상의 이미지 분류 파라미터들은 이미지에 관련된 메타데이터를 포함하는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 제1항 또는 제2항에 있어서,
상기 하나 이상의 이미지 분류 파라미터들은 이미지에 관련된 지리적 위치(geographical location)를 포함하는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 선행하는 임의의 한 청구항에 있어서,
상기 적어도 하나의 기준 이미지는 복수의 이미지들로부터 식별되는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 제4항에 있어서,
상기 적어도 하나의 기준 이미지는, 이미지 품질 레이팅(image quality rating)에 적어도 일부 기초하여 기준 이미지로서 식별되는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 제4항 또는 제5항에 있어서,
상기 적어도 하나의 기준 이미지는, 유사도 점수(similarity score)에 적어도 일부 기초하여 기준 이미지로서 식별되며,
상기 유사도 점수는 상기 복수의 이미지들 중 한 이미지의 하나 이상의 이미지 분류 파라미터들과 상기 후보 이미지의 하나 이상의 이미지 분류 파라미터들 간의 유사도를 나타내는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 제4항 내지 제6항 중 어느 한 항에 있어서,
상기 프로세싱된 이미지는 상기 복수의 이미지에 부가되는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 제5항에 있어서,
상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 적어도 하나의 오염된(tainted) 이미지를 거절하는 단계를 더 포함하는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 제8항에 있어서,
상기 적어도 하나의 오염된 이미지는 크리에이티브 플래시(creative flash)로부터 야기되는 이미지를 포함하는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 제8항 또는 제9항에 있어서,
상기 적어도 하나의 오염된 이미지는 크리에이티브 필터(creative filter)로부터 야기되는 이미지를 포함하는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 선행하는 임의의 한 청구항에 있어서,
상기 복수의 조절 파라미터들은 이미지 콘트롤들(image controls)을 포함하는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 선행하는 임의의 한 청구항에 있어서,
상기 후보 이미지를 프로세싱하는 단계는,
상기 후보 이미지에 정규화 프로세스(normalization process)를 적용하는 단계를 포함하는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 선행하는 임의의 한 청구항에 있어서,
상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 상기 후보 이미지에 대한 이미지 개선 옵션을 선택할 것을 사용자에게 촉구하는 단계;
상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 상기 후보 이미지를 프로세싱하도록 사용자로부터 요청을 수신하는 단계; 및
상기 요청에 응답하여, 상기 하나 이상의 컴퓨팅 디바이스들에 의해서, 상기 프로세싱된 이미지를 상기 사용자에게 제공하는 단계
를 더 포함하는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 컴퓨터로 구현되는, 이미지를 자동으로 프로세싱하는 방법으로서,
후보 이미지를 획득하는 단계, 상기 후보 이미지는 하나 이상의 이미지 분류 파라미터들에 관련되며;
상기 후보 이미지 내의 하나 이상의 픽셀 그룹들을 검출하는 단계;
상기 후보 이미지의 하나 이상의 픽셀 그룹들 각각과, 상기 후보 이미지의 하나 이상의 이미지 분류 파라미터들에 적어도 일부 기초하는 시맨틱(semantic) 데이터를 관련시키는 단계;
상기 시맨틱 데이터에 적어도 일부 기초하여 판별되는 복수의 조절 파라미터들을 수신하는 단계; 및
프로세싱된 이미지를 생성하도록, 상기 복수의 조절 파라미터들에 적어도 일부 기초하여 상기 후보 이미지의 하나 이상의 픽셀 그룹들을 프로세싱하는 단계
를 포함하는 것을 특징으로 하는 이미지를 자동으로 프로세싱하는 방법. - 하나 이상의 프로세서들과 컴퓨터-판독가능한 명령들을 저장하는 하나 이상의 컴퓨터-판독가능한 매체를 포함하는 컴퓨팅 시스템으로서,
상기 컴퓨터-판독가능한 명령들은 상기 하나 이상의 프로세서들에 의해서 실행되는 때, 상기 하나 이상의 프로세서들로 하여금 제1항 내지 제14항 중 임의의 한 항에 따른 방법을 수행하게 하는 것을 특징으로 하는 컴퓨팅 시스템. - 하나 이상의 프로세서들에 의해서 실행되는 때, 상기 하나 이상의 프로세서들로 하여금 제1항 내지 제14항 중 임의의 한 항에 따른 방법을 수행하게 하는 컴퓨터-판독가능한 명령들.
- 컴퓨팅 시스템으로서,
하나 이상의 프로세서들; 및
컴퓨터-판독가능한 명령들을 저장하는 하나 이상의 컴퓨터-판독가능한 매체
를 포함하며,
상기 컴퓨터-판독가능한 명령들은 상기 하나 이상의 프로세서들에 의해서 실행되는 때, 상기 하나 이상의 프로세서들로 하여금 동작들을 수행하게 하며, 상기 동작들은,
후보 이미지를 획득하는 단계, 상기 후보 이미지는 하나 이상의 이미지 분류 파라미터들에 관련되며;
상기 후보 이미지 내의 하나 이상의 픽셀 그룹들을 검출하는 단계;
상기 후보 이미지의 하나 이상의 픽셀 그룹들 각각과, 상기 후보 이미지의 하나 이상의 이미지 분류 파라미터들 또는 상기 픽셀 그룹의 콘텐트를 나타내는 데이터에 적어도 일부 기초하는 시맨틱 데이터를, 관련시키는 단계;
적어도 하나의 기준 이미지에 적어도 일부 기초하는 복수의 조절 파라미터들을 수신하는 단계, 상기 적어도 하나의 기준 이미지는 상기 후보 이미지의 하나 이상의 픽셀 그룹들에 대한 시맨틱 데이터에 적어도 일부 기초하여 식별되며; 그리고
프로세싱된 이미지를 생성하도록, 상기 복수의 조절 파라미터들에 적어도 일부 기초하여 상기 후보 이미지의 하나 이상의 픽셀 그룹들을 프로세싱하는 단계
를 포함하는 것을 특징으로 하는 컴퓨팅 시스템. - 제17항에 있어서,
상기 적어도 하나의 기준 이미지는, 이미지 품질 레이팅에 적어도 일부 기초하여 기준 이미지로서 식별되는 것을 특징으로 하는 컴퓨팅 시스템. - 제17항 또는 제18항에 있어서,
상기 하나 이상의 이미지 분류 파라미터들은 이미지에 관련된 메타데이터를 포함하는 것을 특징으로 하는 컴퓨팅 시스템. - 컴퓨터-판독가능한 명령들을 저장하는 하나 이상의 비-일시적인 컴퓨터-판독가능한 매체로서, 상기 컴퓨터-판독가능한 명령들은 하나 이상의 프로세서들에 의해서 실행되는 때, 상기 하나 이상의 프로세서들로 하여금 동작들을 수행하게 하며, 상기 동작들은,
후보 이미지를 획득하는 단계, 상기 후보 이미지는 하나 이상의 이미지 분류 파라미터들에 관련되며;
상기 후보 이미지 내의 하나 이상의 픽셀 그룹들을 검출하는 단계;
상기 후보 이미지의 하나 이상의 픽셀 그룹들 각각과, 상기 후보 이미지의 하나 이상의 이미지 분류 파라미터들에 적어도 일부 기초하는 시맨틱(semantic) 데이터를 관련시키는 단계;
상기 시맨틱 데이터에 적어도 일부 기초하여 판별되는 복수의 조절 파라미터들을 수신하는 단계; 및
프로세싱된 이미지를 생성하도록, 상기 복수의 조절 파라미터들에 적어도 일부 기초하여 상기 후보 이미지의 하나 이상의 픽셀 그룹들을 프로세싱하는 단계
를 포함하는 것을 특징으로 하는 하나 이상의 비-일시적인 컴퓨터-판독가능한 매체. - 제20항에 있어서,
상기 복수의 조절 파라미터들은 적어도 하나의 기준 이미지에 적어도 일부 기초하여 판별되며, 상기 적어도 하나의 기준 이미지는 상기 후보 이미지의 하나 이상의 픽셀 그룹들에 대한 시맨틱 데이터에 적어도 일부 기초하여 식별되는 것을 특징으로 하는 하나 이상의 비-일시적인 컴퓨터-판독가능한 매체. - 제21항에 있어서,
상기 적어도 하나의 기준 이미지는, 이미지 품질 레이팅에 적어도 일부 기초하여 기준 이미지로서 식별되는 것을 특징으로 하는 하나 이상의 비-일시적인 컴퓨터-판독가능한 매체. - 제21항 또는 제22항에 있어서,
상기 적어도 하나의 기준 이미지는, 유사도 점수에 적어도 일부 기초하여 기준 이미지로서 식별되며,
상기 유사도 점수는 상기 복수의 이미지들 중 한 이미지의 하나 이상의 이미지 분류 파라미터들과 상기 후보 이미지의 하나 이상의 이미지 분류 파라미터들 간의 유사도를 나타내는 것을 특징으로 하는 하나 이상의 비-일시적인 컴퓨터-판독가능한 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/560,094 | 2014-12-04 | ||
| US14/560,094 US9171352B1 (en) | 2014-12-04 | 2014-12-04 | Automatic processing of images |
| PCT/US2015/057041 WO2016089502A1 (en) | 2014-12-04 | 2015-10-23 | Automatic processing of images using adjustment parameters determined based on semantic data and a reference image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160078929A true KR20160078929A (ko) | 2016-07-05 |
| KR101725884B1 KR101725884B1 (ko) | 2017-04-11 |
Family
ID=54328263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157036477A KR101725884B1 (ko) | 2014-12-04 | 2015-10-23 | 이미지들에 대한 자동 프로세싱 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9171352B1 (ko) |
| EP (1) | EP3047457A1 (ko) |
| KR (1) | KR101725884B1 (ko) |
| AU (1) | AU2015264915B1 (ko) |
| DE (1) | DE202015009148U1 (ko) |
| WO (1) | WO2016089502A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200052416A (ko) * | 2018-10-25 | 2020-05-15 | 카페24 주식회사 | 객체 영역 추출을 수행하는 인공 신경망을 위한 학습 데이터를 생성하는 방법 및 장치 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10482091B2 (en) * | 2016-03-18 | 2019-11-19 | Oath Inc. | Computerized system and method for high-quality and high-ranking digital content discovery |
| JP6872703B2 (ja) * | 2016-10-17 | 2021-05-19 | パナソニックＩｐマネジメント株式会社 | プログラム生成方法、プログラム生成装置および制御プログラム |
| US10061984B2 (en) * | 2016-10-24 | 2018-08-28 | Accenture Global Solutions Limited | Processing an image to identify a metric associated with the image and/or to determine a value for the metric |
| US11935285B1 (en) | 2017-06-02 | 2024-03-19 | Apple Inc. | Real-time synthetic out of focus highlight rendering |
| US10410327B2 (en) | 2017-06-02 | 2019-09-10 | Apple Inc. | Shallow depth of field rendering |
| CN110012210B (zh) * | 2018-01-05 | 2020-09-22 | Oppo广东移动通信有限公司 | 拍照方法、装置、存储介质及电子设备 |
| US10896197B1 (en) * | 2018-05-22 | 2021-01-19 | Snap Inc. | Event detection system |
| US10992845B1 (en) | 2018-09-11 | 2021-04-27 | Apple Inc. | Highlight recovery techniques for shallow depth of field rendering |
| CN112532856B (zh) * | 2019-09-17 | 2023-10-17 | 中兴通讯股份有限公司 | 一种拍摄方法、装置和系统 |
| US20220312059A1 (en) * | 2021-03-26 | 2022-09-29 | Social Labs, LLC | Systems and methods for media verification, organization, search, and exchange |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080317358A1 (en) * | 2007-06-25 | 2008-12-25 | Xerox Corporation | Class-based image enhancement system |
| US20130176442A1 (en) * | 2012-01-08 | 2013-07-11 | Gary Shuster | Digital media enhancement system, method, and apparatus |
| KR20130142027A (ko) * | 2012-06-18 | 2013-12-27 | 인하대학교 산학협력단 | 영상보정 시스템, 영상보정방법 및 스마트 영상획득 장치 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6658139B1 (en) * | 1999-11-04 | 2003-12-02 | Eastman Kodak Company | Method for assessing overall quality of digital images |
| JP2002112025A (ja) * | 2000-10-03 | 2002-04-12 | Fujitsu Ltd | 画像補正装置および補正方法 |
| EP1814305B1 (en) * | 2000-10-06 | 2013-02-27 | Sony Corporation | Data storing/reproducing method |
| US20020172419A1 (en) | 2001-05-15 | 2002-11-21 | Qian Lin | Image enhancement using face detection |
| US7092573B2 (en) | 2001-12-10 | 2006-08-15 | Eastman Kodak Company | Method and system for selectively applying enhancement to an image |
| US7359572B2 (en) * | 2003-03-26 | 2008-04-15 | Microsoft Corporation | Automatic analysis and adjustment of digital images with exposure problems |
| US8254674B2 (en) * | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
| US7412105B2 (en) * | 2003-10-03 | 2008-08-12 | Adobe Systems Incorporated | Tone selective adjustment of images |
| AU2005307724A1 (en) * | 2004-11-19 | 2006-05-26 | Triad Biometrics, Llc | Methods and systems for use in biomeiric authentication and/or identification |
| JP2007166456A (ja) * | 2005-12-16 | 2007-06-28 | Fuji Xerox Co Ltd | 画像調整装置、画像調整方法及びプログラム |
| US7813526B1 (en) | 2006-01-26 | 2010-10-12 | Adobe Systems Incorporated | Normalizing detected objects |
| US8340452B2 (en) * | 2008-03-17 | 2012-12-25 | Xerox Corporation | Automatic generation of a photo guide |
| US8194992B2 (en) * | 2008-07-18 | 2012-06-05 | Xerox Corporation | System and method for automatic enhancement of seascape images |
| US8111923B2 (en) | 2008-08-14 | 2012-02-07 | Xerox Corporation | System and method for object class localization and semantic class based image segmentation |
| JP4927122B2 (ja) | 2009-06-15 | 2012-05-09 | シャープ株式会社 | 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体 |
| US8520967B2 (en) * | 2009-06-26 | 2013-08-27 | Nokia Corporation | Methods and apparatuses for facilitating generation images and editing of multiframe images |
| US8224072B2 (en) | 2009-07-16 | 2012-07-17 | Mitsubishi Electric Research Laboratories, Inc. | Method for normalizing displaceable features of objects in images |
| CN102236883A (zh) | 2010-04-27 | 2011-11-09 | 株式会社理光 | 图像增强方法和装置、物体检测方法和装置 |
| EP2402867B1 (en) * | 2010-07-02 | 2018-08-22 | Accenture Global Services Limited | A computer-implemented method, a computer program product and a computer system for image processing |
| KR101551417B1 (ko) * | 2011-02-18 | 2015-09-08 | 구글 인코포레이티드 | 얼굴 인식 |
| US8554011B2 (en) * | 2011-06-07 | 2013-10-08 | Microsoft Corporation | Automatic exposure correction of images |
| US8458174B1 (en) | 2011-09-02 | 2013-06-04 | Google Inc. | Semantic image label synthesis |
| US9154709B2 (en) * | 2012-12-21 | 2015-10-06 | Google Inc. | Recommending transformations for photography |
| US9489564B2 (en) * | 2013-07-11 | 2016-11-08 | Google Technology Holdings LLC | Method and apparatus for prioritizing image quality of a particular subject within an image |
| JP6455016B2 (ja) * | 2013-08-27 | 2019-01-23 | 株式会社リコー | 画像検査装置、画像形成システム及び画像検査方法 |
-
2014
- 2014-12-04 US US14/560,094 patent/US9171352B1/en active Active
-
2015
- 2015-10-23 EP EP15791435.9A patent/EP3047457A1/en not_active Withdrawn
- 2015-10-23 WO PCT/US2015/057041 patent/WO2016089502A1/en active Application Filing
- 2015-10-23 DE DE202015009148.2U patent/DE202015009148U1/de active Active
- 2015-10-23 KR KR1020157036477A patent/KR101725884B1/ko active IP Right Grant
- 2015-12-04 AU AU2015264915A patent/AU2015264915B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080317358A1 (en) * | 2007-06-25 | 2008-12-25 | Xerox Corporation | Class-based image enhancement system |
| US20130176442A1 (en) * | 2012-01-08 | 2013-07-11 | Gary Shuster | Digital media enhancement system, method, and apparatus |
| KR20130142027A (ko) * | 2012-06-18 | 2013-12-27 | 인하대학교 산학협력단 | 영상보정 시스템, 영상보정방법 및 스마트 영상획득 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200052416A (ko) * | 2018-10-25 | 2020-05-15 | 카페24 주식회사 | 객체 영역 추출을 수행하는 인공 신경망을 위한 학습 데이터를 생성하는 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9171352B1 (en) | 2015-10-27 |
| EP3047457A1 (en) | 2016-07-27 |
| KR101725884B1 (ko) | 2017-04-11 |
| DE202015009148U1 (de) | 2016-10-31 |
| WO2016089502A1 (en) | 2016-06-09 |
| AU2015264915B1 (en) | 2016-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101725884B1 (ko) | 이미지들에 대한 자동 프로세싱 | |
| US10628680B2 (en) | Event-based image classification and scoring | |
| US9811910B1 (en) | Cloud-based image improvement | |
| US9600741B1 (en) | Enhanced image generation based on multiple images | |
| US10110868B2 (en) | Image processing to determine center of balance in a digital image | |
| US11538096B2 (en) | Method, medium, and system for live preview via machine learning models | |
| KR102566998B1 (ko) | 이미지 선명도를 결정하기 위한 장치 및 방법 | |
| US20150317510A1 (en) | Rating photos for tasks based on content and adjacent signals | |
| CN106454079B (zh) | 图像处理方法及装置和相机 | |
| US9058655B2 (en) | Region of interest based image registration | |
| US9554060B2 (en) | Zoom images with panoramic image capture | |
| US10706512B2 (en) | Preserving color in image brightness adjustment for exposure fusion | |
| US9799099B2 (en) | Systems and methods for automatic image editing | |
| US20150189186A1 (en) | Automatic photographing method and system thereof | |
| US20150085145A1 (en) | Multiple image capture and processing | |
| US9786076B2 (en) | Image combining apparatus, image combining method and non-transitory computer readable medium for storing image combining program | |
| US9767533B2 (en) | Image resolution enhancement based on data from related images | |
| US20150085159A1 (en) | Multiple image capture and processing | |
| JP2015198300A (ja) | 情報処理装置、撮像装置、画像管理システム | |
| US20210352206A1 (en) | Digital media frame and method for configuring a field of view of a digital media frame | |
| WO2018168303A1 (ja) | 画像評価装置，画像評価方法および画像評価プログラム | |
| US9058674B1 (en) | Enhancing resolution of single images | |
| WO2022174456A1 (zh) | 图像白平衡调整方法、装置、拍摄设备及存储介质 | |
| US11341595B2 (en) | Electronic device for providing image related to inputted information, and operating method therefor | |
| CN114387157A (zh) | 一种图像处理方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |