KR20080103973A - 소스 디지털 이미지를 편집하는 방법 및 장치, 상기 방법의모든 단계를 수행하는 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 및 컴퓨터 판독가능 매체 상에 구현되는 컴퓨터 프로그램 - Google Patents

소스 디지털 이미지를 편집하는 방법 및 장치, 상기 방법의모든 단계를 수행하는 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 및 컴퓨터 판독가능 매체 상에 구현되는 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20080103973A
KR20080103973A KR20087020990A KR20087020990A KR20080103973A KR 20080103973 A KR20080103973 A KR 20080103973A KR 20087020990 A KR20087020990 A KR 20087020990A KR 20087020990 A KR20087020990 A KR 20087020990A KR 20080103973 A KR20080103973 A KR 20080103973A
Authority
KR
South Korea
Prior art keywords
image
source
level information
information
object level
Prior art date
Application number
KR20087020990A
Other languages
English (en)
Other versions
KR101376832B1 (ko
Inventor
존 윈
카르스텐 로더
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20080103973A publication Critical patent/KR20080103973A/ko
Application granted granted Critical
Publication of KR101376832B1 publication Critical patent/KR101376832B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

디지털 이미지들 내의 개체들에 대한 정보를 이용하여 디지털 이미지들을 편집하기 위한 시스템들 및 방법들이 설명된다. 예를 들어, 개체들에 대한 정보는 심도 순서 정보 및/또는 각각의 개체를 멤버로 하는 클래스에 대한 정보를 포함한다. 클래스들의 예는 하늘, 빌딩, 비행기, 초원 및 사람을 포함한다. 이러한 개체 레벨 정보는 컷 앤 페이스트(cut and paste), 타일 또는 패치워크(patchwork)를 이용한 이미지 영역들의 채우기, 디지털 태피스트리(tapestry), 알파 매트(alpha matte) 생성, 수퍼 해상도, 자동 크로핑(auto cropping), 자동 컬러 균형, 개체 선택, 심도 처리 및 개체 대체와 같은 새로운 그리고/또는 향상된 편집 기능들을 제공하는 데 사용된다. 또한, 개체 레벨 정보를 이용하는 이미지 편집 시스템들을 위한 사용자 인터페이스들의 향상들이 설명된다.
이미지 편집 시스템, 개체 레벨 이미지 편집, 디지털 이미지, 개체 레벨 정보, 클래스

Description

소스 디지털 이미지를 편집하는 방법 및 장치, 상기 방법의 모든 단계를 수행하는 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 및 컴퓨터 판독가능 매체 상에 구현되는 컴퓨터 프로그램{OBJECT-LEVEL IMAGE EDITING}
본 발명은 일반적으로 이미지 편집에 관한 것으로서, 구체적으로는 디지털 이미지들 내의 개체들에 대한 정보를 이용하여 디지털 이미지들을 편집하기 위한 시스템들 및 방법들에 관한 것이지만, 이에 제한되는 것은 아니다.
마이크로소프트의 디지털 이미지 스위트(상표), 어도비 포토샵(상표) 및 일러스트레이터(상표)는 물론, 구글 피카사(상표)와 같은 이미지 처리 도구들이 공지되어 있다. 가정용 및 전문가용 시장 양쪽에서 이러한 도구들에 대한 수요가 증가하고 있다. 이미지 처리 도구들을 조작하기 위해 사용자에게 요구되는 액션들을 단순화하는 것은 물론, 빠르고 효율적으로 동작하는 도구를 제공하는 것이 필요하다. 또한, 사용자들이 디지털 이미지 상에 보다 많은 유형의 동작들을 수행할 수 있도록 도구들 내에 향상된 기능을 제공하는 것은 물론, 동작들의 결과가 보다 현실적이고 심미적으로 만족스럽도록 기존 기능을 향상시키는 것이 필요하다.
본 명세서에 언급되는 문제들 중 하나 이상을 극복하거나 적어도 완화하는 이미지 편집 또는 이미지 처리를 위한 향상된 시스템 및 방법을 제공하는 것이 필 요하다.
<발명의 요약>
아래에서 독자에게 기본적인 이해를 제공하기 위해 명세서의 간단한 요약을 제공한다. 이 요약은 명세서의 포괄적인 개요가 아니며, 본 발명의 중요한/필수적인 요소들을 식별하거나 본 발명의 범위를 정의하지 않는다. 그 유일한 목적은 간단한 형태로 여기에 개시된 소정의 개념들을 이후에 제공되는 상세한 설명에 대한 서론으로서 제공하는 것이다.
디지털 이미지들 내의 개체들에 대한 정보를 이용하여 디지털 이미지들을 편집하기 위한 시스템들 및 방법들이 설명된다. 예를 들어, 개체들에 대한 정보는 심도 순서 정보 및/또는 각각의 개체를 멤버로 하는 클래스에 대한 정보를 포함한다. 클래스들의 예는 하늘, 빌딩, 비행기, 초원 및 사람을 포함한다. 이러한 개체 레벨 정보는 컷 앤 페이스트(cut and paste), 타일 또는 패치워크(patchwork)를 이용한 이미지 영역들의 채우기, 디지털 태피스트리(tapestry), 알파 매트(alpha matte) 생성, 수퍼 해상도, 자동 크로핑(auto cropping), 자동 컬러 균형, 개체 선택, 심도 처리 및 개체 대체와 같은 새로운 그리고/또는 향상된 편집 기능들을 제공하는 데 사용된다. 또한, 개체 레벨 정보를 이용하는 이미지 편집 시스템들을 위한 사용자 인터페이스들의 향상들이 설명된다.
본 예는 소스 디지털 이미지를 편집하는 방법으로서,
상기 소스 디지털 이미지에 대한 자동 생성 개체 레벨 정보 - 이 정보는 상기 이미지의 하나 이상의 개체로의 분할, 및 상기 개체들 각각에 대해 상기 개체를 멤버로 하는 클래스의 상세를 포함함 - 에 액세스하는 단계; 및
출력 디지털 이미지를 형성하기 위하여, 상기 개체 레벨 정보에 기초하여 상기 소스 디지털 이미지를 자동으로 처리하는 단계
를 포함하는 소스 디지털 이미지 편집 방법을 제공한다.
다른 예에서, 소스 디지털 이미지를 편집하는 장치로서,
상기 소스 디지털 이미지에 대한 자동 생성 개체 레벨 정보 - 이 정보는 상기 이미지의 하나 이상의 개체로의 분할, 및 상기 개체들 각각에 대해 상기 개체를 멤버로 하는 클래스의 상세를 포함함 - 에 액세스하는 인터페이스; 및
출력 디지털 이미지를 형성하기 위하여, 상기 개체 레벨 정보에 기초하여 상기 소스 디지털 이미지를 자동으로 처리하는 프로세서
를 포함하는 소스 디지털 이미지 편집 장치가 제공된다.
바람직하게, 상기 개체 레벨 정보는 상기 개체들 중 적어도 일부의 심도 순서에 대한 정보, 개체 속성들 및 개체 부분들의 위치에 대한 정보 중 임의의 것을 포함한다.
소정의 예들에서, 상기 방법은 상기 출력 디지털 이미지를 형성하기 위하여 상기 소스 디지털 이미지의 적어도 일부를 하나 이상의 참조 디지털 이미지와 조합하는 단계를 더 포함하고, 상기 방법은 상기 참조 디지털 이미지들에 대한 자동 생성 개체 레벨 정보 - 이 정보는 상기 참조 이미지들의 하나 이상의 개체로의 분할, 및 상기 개체들 각각에 대해 상기 개체를 멤버로 하는 클래스의 상세를 포함함 - 에 액세스하는 단계를 포함한다.
소정의 예들에서, 상기 방법은 단일 출력 이미지를 형성하기 위하여 복수의 소스 디지털 이미지에 대해 수행되며, 상기 출력 이미지는 상기 소스 이미지들 각각에 대한 개체 레벨 정보에 기초하여 자동으로 형성된다. 예를 들어, 디지털 태피스트리, 포토 몽타주 또는 다른 이미지 혼합 기술들에서. 바람직하게, 이들 방법은 상기 개체 레벨 정보에 기초하여 상기 출력 이미지 내에 포함시키기 위한 상기 소스 이미지들의 부분들을 선택하는 단계를 포함한다. 예를 들어, 상기 개체 레벨 정보에 기초하여 상기 소스 이미지들의 부분들을 배치하기 위한 상기 출력 이미지 내의 위치들을 선택하는 단계를 포함한다.
다른 예들에서, 상기 소스 이미지는 상기 출력 이미지에 비해 낮은 해상도를 갖는다. 예를 들어, 상기 소스 이미지를 처리하는 단계는 상기 소스 이미지보다 높은 해상도를 갖는 이미지들의 데이터베이스에 액세스하는 단계, 및 상기 개체 레벨 정보에 기초하여 상기 출력 이미지를 형성하는 데 사용할 이미지들을 상기 데이터베이스로부터 선택하는 단계를 포함한다.
소정 실시예들에서, 상기 출력 이미지는 상기 소스 이미지로부터 크로핑(cropping)되고, 상기 소스 이미지를 처리하는 단계는 상기 개체 레벨 정보에 기초하여 상기 소스 이미지를 자동으로 크로핑하는 단계를 포함한다. 바람직하게, 상기 방법은 복수의 지정된 템플릿들, 규칙들 또는 기준들로부터 선택된 템플릿, 규칙 또는 기준에 기초하여 상기 소스 이미지를 자동으로 크로핑하는 단계를 더 포함한다. 소정 예들에서, 상기 소스 이미지를 처리하는 단계는 상기 개체 레벨 정보에 기초하여 상기 소스 이미지의 컬러 균형을 조정하는 단계를 포함한다.
바람직하게, 상기 소스 이미지를 처리하는 단계는 상기 소스 이미지 내의 개체를 선택하기 위해 단일 사용자 입력만을 수신하고, 상기 단일 사용자 입력의 결과로서 상기 소스 이미지 내의 어떤 개체가 선택되었는지에 관한 지시를 사용자 인터페이스를 통해 사용자에게 제공하는 단계를 포함하고, 상기 선택은 상기 사용자의 단일 액션에 의해 이루어진다.
바람직하게, 상기 방법은 상기 사용자 인터페이스를 통해 사용자에게 제공되는 편집 옵션들이 상기 선택된 개체와 연관된 개체 레벨 정보에 기초하여 선택되도록 상기 사용자 인터페이스를 배열하는 단계를 더 포함한다.
소정의 예들에서, 상기 방법은 상기 선택된 개체의 컬러, 포커스 또는 심도 순서 중 임의의 것을 변경하는 단계를 더 포함한다.
바람직하게, 상기 소스 이미지를 처리하는 단계는 상기 소스 이미지 내의 개체 또는 개체의 일부를 데이터베이스로부터 선택된 개체 또는 개체 부분으로 대체하는 단계를 포함하고, 상기 개체 또는 개체 부분의 선택은 상기 개체 레벨 정보에 기초하여 이루어진다.
여기에 설명되는 장치는 전술한 방법들을 수행하기 위해 임의의 적합한 특징들을 가질 수 있다.
다른 예는 컴퓨터 상에서 실행될 때, 임의의 방법의 모든 단계를 수행하는 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램을 제공한다.
예를 들어, 상기 컴퓨터 프로그램은 컴퓨터 판독가능 매체 상에 구현된다.
상기 방법은 저장 매체 상의 기계 판독가능 형태의 소프트웨어에 의해 수행 될 수 있다. 상기 소프트웨어는 병렬 프로세서 또는 직렬 프로세서 상에서 실행하기에 적합할 수 있으며, 따라서 상기 방법의 단계들은 임의의 적절한 순서로 또는 동시에 수행될 수 있다.
이것은 소프트웨어가 귀중한, 개별적으로 거래 가능한 상품일 수 있음을 확인한다. 원하는 기능들을 수행하기 위해 "덤(dumb)" 또는 표준 하드웨어 상에서 실행되거나 이를 제어하는 소프트웨어를 포함하는 것을 의도한다(따라서, 소프트웨어는 본질적으로 레지스터의 기능들을 정의하고, 따라서 소프트웨어가 그의 표준 하드웨어와 결합되기 전에도 레지스터로 지칭될 수 있다). 유사한 이유로, 실리콘 칩들을 설계하기 위해, 또는 유니버셜 프로그래머블 칩들을 구성하기 위해 사용될 때, 원하는 기능들을 수행하기 위해, 하드웨어 기술 언어(HDL) 소프트웨어와 같이 하드웨어의 구성을 "기술"하거나 정의하는 소프트웨어를 포함하는 것을 또한 의도한다.
많은 부수적인 특징들은 첨부 도면들과 관련하여 고찰되는 아래의 상세한 설명을 참조하여 더욱 잘 이해될 때 보다 쉽게 인식될 것이다.
도 1은 개체 레벨 이미지 편집 시스템에 대한 입력의 개략도이다.
도 2는 개체 레벨 이미지 편집 시스템의 보다 상세한 개략도이다.
도 3은 개체 레벨 이미지 편집 시스템을 이용하여 이미지를 편집하는 방법의 하이 레벨 흐름도이다.
도 4는 개체 레벨 정보에 의해 안내되는 타일링을 이용하여 이미지를 편집하 는 방법의 흐름도이다.
도 5는 의미적 개체 제거에 사용되는 개체 레벨 이미지 편집 시스템의 2개의 예시적인 사용자 인터페이스 표시를 나타내는 도면이다.
도 6은 스마트 카피 앤 페이스트 및 스마트 컷 앤 페이스트의 방법의 흐름도이다.
도 7a 및 7b는 스마트 카피 앤 페이스트를 나타내는 개략도들이다.
도 8은 스마트 디지털 태피스트리를 이용하여 생성된 출력 이미지의 일례를 나타내는 도면이다.
도 9는 개체 레벨 정보를 이용하여 안내되는 디지털 태피스트리의 방법의 흐름도이다.
도 10은 개체 레벨 정보를 이용하는 수퍼 해상도의 방법의 흐름도이다.
도 11은 개체 레벨 정보를 이용하여 이미지를 자동 크로핑하는 방법의 흐름도이다.
도 12는 개체 레벨 정보를 이용하여 소스 이미지의 컬러를 자동 조정하는 방법의 흐름도이다.
도 13은 개체를 선택하는 단일 사용자 액션 방법의 흐름도이다.
도 14는 소스 이미지, 및 개체 레벨 정보를 이용하여 소스 이미지로부터 4마리 소의 그룹인 전경 개체를 선택한 결과를 나타내는 도면이다.
도 15는 이미지 편집 시스템을 이용한 개체 대체를 나타내는 예시적인 사용자 인터페이스 표시들을 나타내는 도면이다.
도 16은 개체 레벨 정보를 이용한 개체 대체의 방법의 흐름도이다.
도 17은 개체 레벨 정보를 이용한 심도 조작을 나타내는 2개의 사용자 인터페이스 표시를 나타내는 도면이다.
도 18은 개체 레벨 정보를 이용하여 이미지 편집 시스템의 사용자 인터페이스를 제공하는 방법의 흐름도이다.
첨부 도면들에서 동일 부분들을 표시하기 위해 동일 참조 번호들이 사용된다.
본 설명은 첨부 도면들을 참조하는 아래의 상세한 설명으로부터 보다 잘 이해될 것이다.
첨부 도면들과 관련하여 이하에 제공되는 상세한 설명은 본 실시예들의 설명으로서 의도하며, 본 실시예가 구성되거나 이용될 수 있는 유일한 형태들을 나타내고자 하는 의도는 없다. 본 설명은 실시예의 기능들 및 실시예를 구성하고 동작시키는 단계들의 시퀀스를 설명한다. 그러나, 동일하거나 균등한 기능들 및 시퀀스들이 상이한 실시예들에 의해 달성될 수 있다.
도 1은 개체 레벨 이미지 편집 시스템에 대한 입력들을 나타내는 개략도이다. 디지털 형태의 임의의 적절한 유형의 소스 이미지(10)가 개체 인식 시스템(11)에 제공된다. 본 예에서의 소스 이미지(10)는 빌딩 정면의 초원에 서 있는 경비행기를 나타낸다. 빌딩 위로 구름 낀 하늘이 보인다. 개체 인식 시스템은 소스 이미지의 분석을 생성한다. 분석 결과들은 도 1에 이미지(12)로서 표현되지만, 이는 필수적은 아니다. 임의의 적절한 형태의 표현이 사용될 수 있다. 소스 이미지의 분석은 소스 이미지의 하나 이상의 개체로의 분할을 포함한다. 도시된 예에서, 이미지는 도 1의 이미지(12) 내의 음영 영역들로 표시되는 4개의 주요 영역으로 분할된다. 개체 인식 시스템은 또한, 각각의 분할된 영역을 특정 유형의 개체 클래스로서 분류한다. 이 예에서, 4개의 영역은 개체 클래스들인 하늘(14), 초원(16), 빌딩(15) 및 비행기(17)로서 식별된다. 개체 인식 시스템에 의해 생성된 정보는 여기서 개체 레벨 정보로서 참조되며, 이것은 소스 이미지(10) 자체와 함께 본 발명의 이미지 편집 시스템(13)에 의해 액세스될 수 있다.
소스 이미지를 분할하고 소스 이미지의 분할된 영역들에 대한 적절한 개체 클래스들을 식별할 수 있는 능력을 갖춘 임의의 적절한 유형의 개체 인식 시스템이 사용될 수 있다. 분할된 이미지 영역들을 분류하기 위해 적어도 복수의 가능한 개체 클래스, 바람직한 예에서는 약 20개의 개체 클래스가 사용되며, 시스템의 스케일을 향상시키고 훨씬 더 많은 수의 개체 클래스를 사용하는 것이 가능하다. 개체 클래스들의 예는 하늘, 초원, 사람, 빌딩, 말, 비행기, 소, 양, 물, 보트, 나무, 길 및 꽃을 포함한다. 소정의 실시예들에서, 개체 인식 시스템(11)은 바람직하게도 식별된 개체들에 대한 심도 순서 정보를 제공할 수 있지만, 이는 필수적은 아니다. 또한, 개체 인식 시스템은 필수적이 아니라 바람직하게 개체들의 특정 사례들을 식별하고(예를 들어, 사람의 이미지를 특정 이름의 개인으로 인식한다), 개체의 방향, 개체 속성들, 개체 부분들(예를 들어, 사람의 얼굴, 나무의 잎들, 빌딩의 지붕)의 존재 및 위치와 같은 개체에 대한 정보를 식별할 수 있다. 개체 인식 시스템은 옵션으로, 클래스가 사람 및 빌딩인 개체들의 상대적 크기들에 대한 정보 또는 이미지들 내의 하늘과 같은 개체들의 일반 위치에 대한 정보와 같이 개체 클래스들과 연관된 의미 정보(semantic information)를 포함할 수 있다.
도 2는 도 1의 개체 레벨 이미지 편집 시스템(13)의 보다 상세한 개략도이다. 하나 이상의 소스 이미지(10) 및 옵션으로 하나 이상의 참조 이미지(9)가 전술한 개체 인식 시스템(11)에 입력된다. 예를 들어, 소스 이미지는 벽을 배경으로 하는 사람의 사진을 포함할 수 있다. 참조 이미지는 정원 풍경을 포함할 수 있다. 사람의 이미지가 정원 풍경 위에 붙여지는 경우, 출력 이미지는 정원 풍경을 배경으로 하는 사람의 이미지를 포함할 것이다. 개체 인식 시스템은 소스 이미지들과 참조 이미지들 양자를 분석하기 위해 바람직하게 사용된다. 소스 이미지(10) 및 참조 이미지(9)에 더하여 인식 결과들은 개체 레벨 이미지 편집 시스템(13)에 의해 이용 가능하게 된다. 이 시스템은 개체 인식 시스템(11)과 인터페이스하거나 임의의 적절한 방식으로 개체 인식 시스템의 결과들에 액세스하는 개체 레벨 정보 인터페이스(8)를 포함한다. 프로세서(7)도 제공되며, 사용자 인터페이스(6)는 옵션이다. 프로세서는 퍼스널 컴퓨터, 운영 체제, 전용 프로세서 또는 분산형 시스템과 같은 임의의 적절한 유형이다. 개체 레벨 이미지 편집 시스템은 다양한 입력에 기초하여 출력 이미지(5)를 생성한다.
개체 인식 시스템에 의해 제공되는 개체 레벨 정보를 이용함으로써, 본 발명은 이미지들을 자동으로 편집하는 새로운 방법들을 제공하고, 이미지들을 자동으로 편집하는 기존의 방법들을 개량할 수 있다. 이제, 이미지를 편집하는 방법의 하이 레벨 요약이 제공된 후, 특정 방법들의 예들이 설명된다.
여기에 설명되는 임의의 실시예에서, 사용자는 이미지 편집을 위해 개체 레벨 정보를 이용하기 전에 옵션으로 개체 레벨 정보를 변경하거나 수정할 수도 있다. 사용자는 이러한 변경 또는 수정을 수동으로 또는 임의의 다른 적절한 방식으로 행할 수 있다.
도 3은 개체 레벨 이미지 편집 시스템을 이용하여 이미지를 편집하는 방법의 하이 레벨 흐름도이다. 하나 이상의 소스 이미지에 대한 개체 레벨 정보, 및 옵션으로 하나 이상의 참조 이미지가 액세스된다(박스 35 참조). 이것은 도 2의 인터페이스(8)를 이용하여 수행된다. 소스 이미지(들) 및 참조 이미지(들)는 개체 레벨 정보에 기초하여 처리되어(박스 36 참조), 출력 이미지가 형성된다(박스 37 참조).
이제, 개체 레벨 정보를 이용하여 이미지들을 편집하는 특정 방법들의 예들이 제공된다.
스마트 타일링(Smart tiling)
공개 번호 US2004-0165787A1로 2004년 8월 26일자로 공개된 "Image region filling by emample-based tiling"이라는 제목의 본 출원인의 보다 이른 미국 특허 출원에서는, 이미지 데이터의 타일들을 이용하여 디지털 이미지의 수리(예를 들어, 찢긴 틈, 스크래치, 얼룩 및 다른 손상의 숨김), 수정(예를 들어, 적목(red eye) 및 다른 바람직하지 않은 특징들의 제거), 및 변경(예를 들어, 이미지의 특징들의 제거)을 포함하지만 이에 제한되지 않는 다양한 태스크를 수행하는 것을 설명하고 있다. 많은 이러한 액티비티에서, 태스크는 이미지 내의 영역을 다른 이미지 데이터로 "채움(filling)"으로써 달성될 수 있다. 상기 보다 이른 특허 출원에서는, 목적 이미지 영역의 부근 또는 소정의 다른 소스로부터 이미지 데이터의 견본 타일들을 차용하여 영역 내의 채우기를 위한 새로운 이미지 데이터를 생성하는 것을 설명하고 있다. 설명되는 견본 기반 채우기 시스템은 이미지 내의 목적 영역을 대체할 적절한 채우기 재료를 식별하고 이 재료를 이용하여 목적 영역을 채움으로써, 이미지 내의 영역을 채우는 데 필요한 수동 편집의 양을 줄이거나 최소화한다. 목적 영역들은 사용자 입력(예를 들어, 사용자에 의한 이미지 영역의 선택)에 의해, 또는 다른 수단(예를 들어, 대체될 컬러 또는 특징의 지정)에 의해 지정될 수 있다.
본 출원에서는, 적절한 채우기 재료의 선택이 개체 레벨 정보를 이용하여 안내되는 것을 가능하게 함으로써 상기 보다 이른 특허 출원을 확장 구축한다. 또한, 개체 레벨 정보를 이용함으로써 목적 영역들의 지정이 자동으로 달성되는 것을 가능하게 한다. "타일"이라는 용어는 본 명세서에서 디지털 이미지의 목적 영역을 채우는 데 적합한 이미지 데이터의 영역 또는 패치를 지칭하는 데 사용된다. 타일은 픽셀들의 그룹 또는 그리드에 의해, 또는 임의의 다른 적절한 방식으로 표현될 수 있다.
도 4는 본 발명의 개체 레벨 이미지 편집 시스템에서 타일들을 이용하는 방법의 흐름도이다. 이 도면은 이미지 데이터의 타일들이 처리 단계에서 사용된다(박스 39 참조)는 점 외에는 도 3과 동일하다. 예를 들어, 이미지 데이터의 타일들은 픽셀들의 패치들 또는 픽셀들의 그리드들이다. 이미지 데이터의 타일들은 예를 들어 개체가 삭제된 이미지의 영역들을 채우는 데 사용될 수 있다. 바람직하게, 이미지 데이터의 타일들은 개체 레벨 정보에 기초하여 선택된다(박스 38 참조). 예를 들어, 이들은 채우기가 필요한 개체/부분들과 동일한 클래스의 개체(또는 동일 개체 부분)로부터 선택된다. 타일들은 소스 및 참조 이미지들, 소스 및 참조 이미지들 내의 동일 클래스의 다른 개체들, 및 (채워지는 개체와) 동일한 클래스의 다른 개체들의 저장소 중 임의의 것으로부터 선택될 수 있다.
또한, 이미지 영역들을 채우기 위한 타일들의 선택을 안내하기 위하여 심도 깊이 정보가 이용될 수 있다. 예를 들어, 선택된 타일들은 제거될 개체 뒤의 개체들과 조화되기만 하면 된다. 이것은 이제 도 5의 예를 참조하여 설명된다. 도 5는 의미적 개체 제거에 사용되는 본 발명의 개체 레벨 이미지 편집 시스템으로부터의 2개의 예시적인 사용자 인터페이스 표시(35, 36)를 제공한다. 표시(35)는 나무들과 하늘이 보이는 배경(30) 내로 멀어지는 길을 갖는 초원 영역에 서 있는 사람(31)의 이미지를 포함한다. 각각의 표시(35, 36)는 계층적 선택 구조(34) 및 조작 바(33)와 같은 그래픽 사용자 인터페이스 장치들을 구비한다. 표시(35)에서, 조작 바(33)는 이미지의 포커스가 조작되고 있음을 나타내고, 이미지 내의 블러(blur)의 양을 조정하기 위한 슬라이더 바(33)를 제공하며, 예를 들어 컬러가 아니라 이미지 계조를 만들기 위한 선택 박스를 제공한다. 설정들을 적용하거나 이들을 취소하기 위한 버튼들도 제공된다. 표시(35)의 예에서, 사용자는 마우스 포인터를 사람(31) 위에 배치하는 것과 같은 임의의 적절한 방식으로 사람(31)을 선택하였으며, 이 예에서는 삭제, 포커스, 적목 수정, 및 컬러 레벨들을 포함하는 이용 가능 액션들의 메뉴(32)가 제공된다. 사용자가 메뉴(32)로부터 삭제 기능을 선택하는 것을 가정한다. 사람(31)의 이미지는 "의미적으로(semantically)" 삭제되어 표시(36)에 도시된 결과를 제공한다.
표시(36)에서는, 배경(30)이 보존되고, 사람(31)의 이미지가 제거되며, 사람(31)의 이미지에 의해 이전에 점유되었던 이미지 영역이 나머지 이미지에 적절한 방식으로 채워진 것을 알 수 있다.
사람에 의해 이전에 점유되었던 이미지 영역은 도 5에 참조 번호 40 및 41로 지시된다. 사람 뒤의 영역이 영역(41) 내의 "초원형" 타일들 및 영역(40) 내의 "나무형" 타일들을 이용하여 채워질 것을 추론하기 위해 심도 순서 및 형상 정보가 이용된다. 이러한 심도 순서 정보가 없는 경우, 사람(31)의 이미지가 이전에 있었던 전체 영역을 채우기 위해 "초원형" 타일들이 사용될 수 있다. 또한, 삭제된 사람의 정면에 개체들이 존재하였던 경우, 심도 정보는 이 개체들이 채우기 동안 무시되는 것을 가능하게 할 것이다. 또한, 이미지를 초원, 나무들, 사람 개체들 및 하늘로 분할하는 분할 정보를 이용하여 어떤 유형의 타일들을 사용할지를 추론한다.
스마트 카피 앤 페이스트(및 스마트 컷 앤 페이스트)
이미지 영역들을 복사하고 절단하는 프로세스들은 절단 프로세스가 영역이 절단된 소스 이미지의 영역의 채우기를 필요로 한다는 점 외에는 바람직하게 동일하다. 바람직하게, 채우기 프로세스는 개체 레벨 정보를 이용하여 지능적으로 수행된다.
도 6은 스마트 카피 앤 페이스트 또는 스마트 컷 앤 페이스트를 위해 개체 레벨 정보를 이용하는 방법의 흐름도이다. 소스 이미지가 절단 또는 복사될 개체를 포함하고, 이 예에서 타겟 이미지로서 참조되는 참조 이미지가 절단/복사된 개체를 붙일 타겟 이미지로서 제공되는 것으로 가정한다. 방법은 전술한 바와 같이 소스 및 타겟 이미지들에 대한 개체 레벨 정보에 액세스한다(도 6의 박스 60 참조). 개체 레벨 정보를 이용하여 소스 이미지로부터 개체를 복사 또는 절단한다(박스 61 참조). 예를 들어, 분할 정보를 이용하여 개체들을 식별하고, 이들 중 하나가 자동으로(예를 들어, 전경 개체를 선택하기 위해 심도 순서 정보를 이용하거나, 개체 클래스 정보와 함께 사전 지정 규칙들을 이용함), 또는 사용자 입력의 결과로서 선택된다. 개체가 선택되면, 개체를 절단 또는 복사하는 임의의 적절한 방법이 이 분야에 공지된 바와 같이 이용된다. 절단의 경우, 또한 바람직하게, 영역이 절단된 소스 이미지의 영역을 채운다. 이러한 채우기는 개체 레벨 정보를 이용하여 지능적으로 수행된다.
이어서, 소스 이미지 내에 폐색된 절단/복사 개체의 임의의 영역들이 존재하는지에 대한 평가가 이루어진다. 심도 순서 정보 및 다른 개체 레벨 정보가 이러한 평가를 행하는 데 사용된다. 폐색된 영역들이 존재하는 경우, 이들은 (전술한 바와 같이) 소스 이미지로부터 개체 레벨 정보를 이용하여 선택된 타일들을 이용하여 채워진다(박스 63 참조). 또한, 임의의 절단 동작의 결과로서 공백으로 남은 소스 이미지 내의 영역들이 필요한 경우에 채워진다. 이것은 개체 레벨 정보를 이용하여 선택된 타일들을 사용하여 행해진다.
다음 단계는 절단/복사 개체 및 타겟 이미지 양자에 대한 개체 레벨 정보를 비교하고, 절단/복사 개체가 편집되는 것이 필요한지를 판정하는 단계(박스 64 참조)를 포함한다. 예를 들어, 절단/복사 개체의 크기는 타겟 이미지 내의 개체들의 스케일에 대응하도록 변경될 필요가 있을 수 있다. 개체 클래스 정보는 상이한 클래스들의 개체들의 상대적 크기에 대한 정보를 포함할 수 있다. 예를 들어, 클래스가 빌딩인 개체들은 클래스가 사람인 개체들보다 소정 비율만큼 크게 지정될 수 있다. 이러한 정보를 심도 순서 정보와 함께 이용하여, 타겟 이미지 내에 붙여질 개체의 적절한 크기를 자동으로 결정하는 것이 가능하다. 다른 예에서, 붙여질 개체의 포커스는 타겟 이미지 내의 포커스와 매칭되도록 변경될 필요가 있을 수 있다. 또한, 심도 순서 정보를 타겟 이미지 내의 심도에 대한 정보와 함께 이용하여, 붙여질 개체에 어떤 포커스를 적용할지를 결정할 수 있다. 다른 실시예에서, 붙여질 개체의 컬러는 타겟 이미지의 컬러 디테일에 따라 변경될 수 있다. 다른 옵션들은 붙여질 개체의 조명 또는 배향의 변경, 사람 이미지들 내의 얼굴 표정들을 타겟 이미지 내의 개체들의 표정과 매칭되도록 변경하는 것 등을 포함한다.
붙여질 개체를 특정 방식으로 편집하기로 결정된 경우, 그 개체는 필요에 따라 자동으로 편집되고(박스 65 참조), 이어서 타겟 이미지에 붙여진다(박스 66). 방법의 임의의 단계들은 동일한 결과를 달성하기 위해 병렬로 또는 상이한 순서들로 수행될 수 있다.
도 7a 및 7b는 스마트 카피 앤 페이스트를 이용하는 일례를 나타낸다. 도 7a는 기둥 뒤에 서 있는 사람(71)의 이미지를 나타낸다. 사람의 이미지는 복사되고, 이 예에서 타겟 이미지(74; 도 7b 참조)로서 참조되는 참조 이미지에 붙여진다. 사람의 이미지의 복사의 결과가 도 7a에 도시되며, 기둥(70)이 이전에 사람의 이미지의 일부를 폐색하였던 곳에 공백 영역(72)이 존재한다는 것을 알 수 있다. 복사 프로세스 동안, 사람에 대한 분할 및 기둥 및 사람에 대한 심도 순서 정보를 제공하는 사람에 대한 개체 레벨 정보가 사용된다.
폐색된 영역(72)을 타일들을 이용하여 채움으로써 완전한 이미지(73)를 생성한다(도 7b 참조). 이 완전한 이미지(73)는 집을 보여주는 타겟 이미지(74) 내에 붙여진다. 타겟 이미지에 대한 개체 레벨 정보는 집 및 사람의 상대적인 크기가 완전한 이미지(73)의 크기가 조절되는 것이 필요한 크기라는 것을 나타낸다. 적절한 크기 조절 및 리포커싱 또는 리컬러링과 같은 임의의 다른 결정된 편집들 후에, 사람의 이미지(75)가 참조 이미지 내에 붙여진다.
향상된 디지털 태피스트리
도 8은 향상된 디지털 태피스트리를 수행한 후에 본 발명의 개체 레벨 이미지 편집 시스템으로부터 생성된 출력 이미지의 일례이다. "디지털 태피스트리"라는 용어는 본 명세서에서 복수의 소스 이미지의 부분들을 이용하고 이들 부분을 함께 혼합하여 단일 출력 이미지를 형성하는 것을 지칭하기 위해 사용된다. 도 8에 도시된 예에서는, 소스 이미지들이 단일 디지털 태피스트리 출력 이미지를 형성하는 데 사용되었다.
이미지 부분들을 함께 혼합하는 임의의 적절한 방법이 이용될 수 있다. 예를 들어, "Image Blending"이라는 제목으로 2005년 7월 28일자로 출원된 본 출원인의 유럽 특허 출원 번호 05254745.2는 디지털 태피스트리의 적절한 방법을 설명하고 있다. 본 출원인의 Carsten Rother, Sanjiv Kumar, Vladimir Kolmogorov, Andrew Blake, 2005, San Diego, USA의 "Image Blending"이라는 제목의 CVPR 회의 논문도 디지털 태피스트리의 적절한 방법을 설명하고 있다. 본 출원에서, 디지털 태피스트리는 소스 이미지로부터의 이미지 부분들의 선택이 소스 이미지들에 대한 개체 레벨 정보를 이용하여 안내되는 것을 가능하게 함으로써 개선된다. 또한, 이러한 이미지 부분들을 배치할 출력 이미지 내의 위치들의 선택이 개체 레벨 정보를 이용하여 안내된다.
도 9는 향상된 디지털 태피스트리 또는 이미지 혼합의 방법의 흐름도이다. 이 방법은 전술한 방법들을 이용하여 복수의 소스 이미지 각각에 대한 개체 레벨 정보에 액세스하는 단계를 포함한다(박스 90 참조). 개체 레벨 정보를 이용하여, 사용될 소스 이미지 영역을 선택한다(박스 91 참조). 예를 들어, 적절한 이미지 영역들을 선택하기 위해 개체 클래스 정보가 지정 기준들 또는 규칙들과 함께 이용될 수 있다. 예를 들어 많은 사람들의 이미지들이 존재하는 경우, 이들 중 임계 개수만을 포함을 위해 선택하도록 지정될 수 있다. 기준들 또는 규칙들은 소정의 개체 클래스들을 다른 것들보다 선호하도록 지정될 수 있는데, 예를 들어 초원 또는 도로들이 동물들 또는 사람들보다 낮은 선호도를 부여받을 수 있다. 소스 이미지들 내에 예를 들어 하나 또는 둘만이 존재하는 드문 클래스들의 개체들에 대해 선호가 주어질 수도 있다.
또한, 개체 레벨 정보를 이용하여, 선택된 소스 이미지 영역들에 대한 출력 이미지 내의 위치들을 자동으로 선택할 수 있다(박스 92 참조). 예를 들어, 소스 이미지 영역들은 출력 이미지의 상부 근처에 클래스가 하늘인 개체들이 배치되도록 배치될 수 있다. 이어서, 소스 이미지 영역들을 혼합하여, 전술한 바와 같은 디지털 태피스트리를 형성한다(박스 93 참조). 예를 들어, 도 8에서, 하늘을 포함하는 소스 이미지 영역들은 모두, 하늘이 합성 출력 이미지의 상부에 있도록 배치된다는 것을 알 수 있다. 또한, 사람들의 이미지들은 상이한 사람들이 보이도록, 또는 동일한 사람이 두 번 이상 보여지는 경우에는 그 사람의 상이한 포즈들이 제공되도록 선택된다.
개체 레벨 정보를 이용한 수퍼 해상도
수퍼 해상도는 저해상도 이미지로부터 고해상도 이미지를 형성하는 프로세스이다. 기존의 수퍼 해상도 방법들은 고해상도 이미지를 생성할 때 개체의 유형을 무시하며, 따라서 종종 부적절한 디테일을 채운다. 기존 수퍼 해상도 방법들의 일례가 William T. Freeman, Thouis R. Jones, and Egon C. Pasztor, "Example-based super-resolution", IEEE Computer Graphics and Applications, March/April, 2002에 제공되어 있다.
도 10은 개체 레벨 정보를 이용하여 수퍼 해상도를 향상시키는 방법의 흐름도이다. 소스 이미지는 출력 이미지보다 낮은 해상도를 갖는다. 전술한 바와 같이 소스 이미지에 대한 개체 레벨 정보가 액세스된다(박스 110 참조). 이어서, 소스 이미지보다 높은 해상도를 갖는 이미지들의 패치들 또는 타일들의 데이터베이스가 액세스된다(박스 110 참조). 이미지 편집 시스템은 소스 이미지 내의 개체와 동일한 개체 클래스 또는 개체 부분의 패치들 또는 타일들을 선택하고(박스 112 참조), 선택된 패치들 또는 타일들을 이용하여 고해상도 이미지를 구성한다(박스 113 참조). 타일들 및 이 타일들을 이용하여 채우는 방법은 "스마트 타일링"이라는 제목의 섹션에서 전술한 바와 같거나, 임의의 다른 적절한 방법이 이용될 수 있다.
개체 레벨 정보를 이용한 자동 크로핑
이미지 편집에서의 일반적인 필요한 것은 묘사되는 다양한 개체의 비율들 및 개체들 및 컬러들의 상대적 위치들이 조화를 이루고 호감이 가는 심미적으로 만족스런 이미지들을 생성하도록 이미지들을 크로핑할 수 있는 능력이다. 또한, 여권 사진들과 같은 특정 요건을 만족시키고, 가장 선명하고 이해 가능한 방식으로 개체들 또는 장면들을 나타내도록 이미지들을 크로핑할 수 있는 것이 필요하다. 이전에, 아티스트들 및 그래픽 디자이너들은 이들 및 유사한 목적들을 달성하기 위해 수동으로 디지털 이미지들을 크로핑하였다. 그러나, 비전문적인 사용자들이 이미지들을 효과적으로 크로핑할 수 있고, 사람의 개입 없이 이미지들을 자동으로 크로핑하는 시스템을 제공하는 것이 필요하다.
도 11은 개체 레벨 정보를 이용하여 소스 이미지를 자동으로 크로핑하는 방법의 흐름도이다. 전술한 바와 같이, 소스 이미지에 대한 개체 레벨 정보가 액세스된다(박스 120 참조). 이어서, 이미지 편집 시스템은 이미지 크로핑을 위한 규칙들, 기준들 및/또는 템플릿들(이것은 개연적일 수 있다)에 액세스한다. 이러한 규칙들, 기준들 및/또는 템플릿들은 사전 지정된다. 예를 들어, 이들은 어떻게 전문가 아티스트들 및 이미지 크로퍼들이 주어진 디지털 이미지를 크로핑된 이미지로 변환하는지에 대한 경험 데이터에 기초하여 생성된다. 규칙들, 기준들 및/또는 템플릿들은 여권 사진들에 대한 템플릿들, 풍경 사진들에 대한 템플릿들, 인물 사진들에 대한 템플릿들, 정지 생명체의 이미지들에 대한 규칙들, 이동체들의 이미지들에 대한 규칙들 등과 같이 특정 상황들과 연관될 수 있다. 규칙의 일례는 풍경화 장면의 이미지에서 1/3 하늘 대 2/3 땅의 비율을 유지하는 것일 수 있다.
이어서, 규칙들, 기준들 및 템플릿들 중 적절한 것들이 선택된다(박스 122 참조). 이러한 선택은 사용자 입력에 기초하거나 이루어지거나, 소스 이미지 내의 개체 레벨 정보에 기초하여 자동으로 이루어질 수 있다. 예를 들어, 개체 레벨 정보가 이미지가 전경 내에 사람을 포함하고 배경 내에 초원을 포함하는 것을 지시하는 경우, 인물 사진 템플릿이 선택될 수 있다.
이어서, 선택된 규칙들, 기준들 및 템플릿들을 이용하여, 소스 이미지가 크로핑된다(박스 123 참조).
개체 레벨 정보를 이용한 자동 컬러 균형
종종, 아티팩트(artifact)들 또는 다른 프로세스들로 인해, 주어진 디지털 이미지의 컬러 분포가 현실적이 아니거나, 심미적으로 만족스럽지 않거나, 부정확할 수 있다. 이러한 상황들에서는, 컬러 분포를 수동으로, 또는 시행착오에 의해 반자동으로 변경하는 것이 공지되어 있다. 본 발명은 개체 레벨 정보가 컬러 균형화를 안내하고 개선하는 데 사용될 수 있게 함으로써 이를 개선한다.
도 12는 개체 레벨 정보를 이용하여 이미지를 자동으로 컬러 균형화하는 방법의 흐름도이다. 전술한 바와 같이, 소스 이미지에 대한 개체 레벨 정보가 액세스된다(박스 130 참조). 이어서, 소스 이미지 내의 개체의 컬러 디테일과 동일 클래스의 개체들에 대한 사전 지정 컬러 디테일의 비교가 행해진다(박스 131 참조). 예를 들어, 이미지가 클래스가 초원인 개체를 포함하는 것으로 가정한다. 실제 이미지 내의 그 개체의 컬러 분포는 클래스가 초원인 개체들에 대한 공지된, 사전 지정된 컬러 분포들과 상당히 다른 특정 값으로 치우칠 수 있다. 두 컬러 분포 간의 차이는 보다 현실적이고 그리고/또는 만족스런 결과를 제공하기 위해 전체 소스 이미지의 컬러 분포가 어떻게 조정되어야 하는지에 관한 지시를 제공한다. 비교되는 컬러 디테일은 컬러 분포, 컬러 값, 특정 컬러 통계 또는 임의의 다른 적절한 컬러 정보일 수 있다. 이어서, 비교에 기초하여 소스 이미지의 컬러를 조정할 수 있다(박스 132 참조). 개체만의 컬러 또는 전체 이미지의 컬러가 변경될 수 있다.
터치컷(TouchCut)
여기에 설명되는 바와 같은 이미지 편집 시스템에서의 개체 레벨 정보의 이용은 단일 클릭(또는 단일 사용자 액션) 개체 선택을 가능하게 하므로 특히 이롭다. 이러한 능력은 이미지 내의 소정의 개체들을 나머지 이미지와 별개로 또는 독립적으로 편집하는 것이 통상적으로 필요한 이미지 편집자들에게 특히 유용하다. 이전에는, 필요한 개체들을 선택하기 위해 필요한 개체들 주위에 올가미 도구(lassoing tool), 드로잉 도구 등을 이용하여 수동으로 그리는 것이 필요하였다. 이것은 시간 소모적이며, 섬세한 손 솜씨 및 기술을 필요로 한다. 본 발명의 단일 클릭 개체 선택은 이러한 문제를 피하며, 여기서 터치컷으로도 참조된다.
도 13은 이러한 방법의 흐름도이다. 전술한 바와 같이, 소스 이미지에 대한 개체 레벨 정보가 액세스된다(박스 140 참조). 이어서, 이미지 편집 시스템은 소스 이미지 내의 개체를 선택하는 사용자 입력을 수신한다. 이 사용자 입력은 마우스 클릭, 터치 스크린 이벤트, 키 프레스, 사운드 또는 다른 사용자 입력과 같은 임의의 적절한 유형일 수 있다. 사용자 입력은 개체를 선택하기 위하여 단일 사용자 액션만이 행해지는 것을 필요로 한다(박스 141 참조). 이것은, 개체들이 일반적으로 그들의 테두리 주위에 그림으로써 선택되어야 했던 종래 기술에 비해 커다란 향상이다. 이어서, 이미지 편집 시스템은 개체를 선택하고(박스 142), 예를 들어 선택된 개체를 하이라이팅하거나, 선택된 개체의 주위에 밝은 테두리를 표시하거나, 다른 방식으로 사용자 인터페이스를 통해 이를 지시하거나 지시하지 않을 수 있다.
도 14는 초원을 배경으로 하는 네 마리 소의 그룹의 소스 이미지(20)를 나타낸다. 터치컷을 이용하여, 네 마리 소의 그룹(22)인 전경 개체를 선택한다. 이것은 소들을 포함하는 소스 이미지(20)의 영역 내의 어느 곳에서나 단일 마우스 클릭을 이용하여 달성된다.
터치컷을 이용하여 개체를 선택한 경우, 그 개체는 예를 들어 개체의 컬러, 포커스 또는 크기를 변경하거나, 그 개체에 테두리를 추가하거나, 음영을 추가하거나, 이미지 내의 다른 개체들에 비해 그 개체의 심도 순서를 변경하거나, 또는 임의의 다른 적절한 방식으로 그 개체를 강조하기 위해 임의의 적절한 방식으로 조작될 수 있다. 대안으로, 이러한 액션들 및 조작들은 선택되지 않은 소스 이미지의 부분들에 대해 행해질 수 있다.
이제, 선택된 개체가 다른 이미지에 의해 대체되는 특정 실시예가 설명된다.
스마트 대체(SmartReplace)
도 15는 스마트 대체가 사용되는 본 발명의 이미지 편집 시스템의 예시적인 사용자 인터페이스 표시들을 나타낸다. 제1 사용자 인터페이스 표시(50)는 위에 하늘이 보이는 빌딩 정면의 초원에 서 있는 비행기의 이미지를 포함한다. 제1 사용자 인터페이스 표시(50)에서, 터치컷을 이용하여, 또는 임의의 다른 적절한 방식으로 하늘 개체(54)가 선택된 것을 알 수 있다. 이 예에서, 선택은 하늘 개체(54) 주위의 점선 테두리에 의해 지시된다. 또한, 하늘 개체에 대해 수행될 가능한 액션들의 메뉴(53)가 표시된다. 메뉴는 옵션들, 이 예에서는 대체 및 컬러 레벨들을 포함한다.
사용자가 대체 옵션을 선택하는 것으로 가정하며, 이어서 표시(51)가 제공된다. 현재 대체 기능에 있음을 지시하고, 기존 하늘을 대체하는 데 사용할 2개의 예시적인 하늘 개체 사례(55)를 제공하는 명령 바가 표시된다. 사용자는 이러한 개체 사례들 중 하나를 선택하고 적용을 클릭한다. 이어서, 제1 표시(50)의 하늘 개체는 제2 표시(51)에 나타난 바와 같이 선택된 하늘 개체 사례로 대체된다.
사용자가 빌딩 개체 및 초원 개체를 삭제하고 이들 이미지 영역을 하늘로 채우기 시작하는 것으로 가정하며, 그 결과가 하늘만을 배경으로 하는 비행기를 나타내는 제3 표시(52)에 표시된다. 하늘은 이전에 빌딩 및 초원에 의해 점유되었던 영역들을 채우는 데 사용되었다. 이 표시에서, 이제 명령 바는 비행기 개체를 삭제하거나 다시 채우는 옵션(56)을 표시하며, 이것은 필요한 경우에 개체 라벨들을 무시하면서(57) 행해질 수 있다.
따라서, 스마트 대체는 선택된 개체에 대한 개체 레벨 정보를 이용하여, 선택된 개체를 대체할 적절한 재료를 선택하는 것을 포함한다. 도 16은 스마트 대체의 방법의 흐름도이다.
소스 이미지 내의 선택된 개체에 대해, 이미지 편집 시스템은 그 개체 및/또는 전체 소스 이미지에 대한 개체 레벨 정보에 액세스한다(박스 170 참조). 이어서, 참조 개체가 데이터베이스로부터 선택된다(박스 171 참조). 참조 개체는 바람직하게, 동일 클래스이거나, 선택된 개체와 관련된 클래스이다. 예를 들어, 맑은 하늘이 구름낀 하늘로 대체될 수 있다. 대안으로, 선명하지 않은 소의 이미지가 말의 이미지로 대체될 수 있다. 선택은 또한, 전체 소스 이미지에 대한 개체 레벨 정보에 기초하여 행해질 수 있다. 예를 들어, 이 정보는 소스 이미지가 풍경 사진이며, 따라서 이러한 풍경에 포함시키기에 부적합한 개체 사례들이 선택되지 않아야 한다는 것을 지시할 수 있다. 다음 단계는 선택된 개체를 참조 개체로 대체하는 단계를 포함한다(박스 172 참조). 이것은 이 분야의 전문가에게 공지된 임의의 적절한 방식으로 달성된다. 특정 실시예에서, 스마트 대체 프로세스는 개체 합성을 포함한다. 예를 들어, 사람의 특정 사례의 이미지를 그 사람의 머리카락을 대체함으로써 변경하는 것이 필요한 것으로 가정한다. 이 경우, 개체 레벨 정보는 사람 이미지의 머리카락 개체 부분을 식별하고 위치를 결정하는 데 사용된다. 타일들이 머리카락 개체 부분의 다른 사례로부터 유래되도록 타일들이 데이터베이스로부터 선택된다. 이어서, 선택된 타일들은 이미지 내의 기존 머리카락을 대체하는 데 사용된다. 이러한 방식으로, 특정 클래스의 새로운 개체 사례가 생성되는데, 이 새로운 개체 사례는 데이터베이스의 일부가 아니었다.
스마트 심도 조작
개체 레벨 정보는 스마트 심도 조작에도 사용될 수 있다. 예를 들어, 도 17은 이미지 편집 시스템으로부터의 2개의 사용자 인터페이스 표시(180, 181)를 나타낸다. 제1 사용자 인터페이스 표시(180)는 배경 내로 멀어지는 초원 영역을 갖는 전경에 서 있는 사람(31)의 소스 이미지를 나타낸다. 전술한 바와 같이, 터치컷 또는 임의의 다른 적절한 방법을 이용하여 사람(31)을 선택한다. 사람(31)의 이미지에 대해 가능한 액션들을 지시하는 메뉴(32)가 표시된다. 이들은 예를 들어 삭제, 포커스, 적목 수정 및 컬러 레벨들을 포함한다. 포커스가 선택된 것으로 가정한다. 이것은 제2 사용자 인터페이스 표시(181) 내의 명령 바 내에 표시된다. 블러의 레벨을 조정하기 위한 슬라이더 바(33)가 제공되며, 블러의 양이 높게 선택될 때, 그 결과들이 표시(181) 내에 표시된다. 사람(31)의 이미지가 포커스에 유지되는 동안, 블러가 이미지의 나머지에 적용된다는 것을 알 수 있다. 그러나, 이것은 필수적은 아니다. 심도는 개체 레벨 정보를 고려하여 임의의 적절한 방식으로 조정될 수 있다.
사용자 인터페이스 향상
본 발명은 또한 개체 레벨 정보를 이용하여 이미지 편집 시스템의 사용자 인터페이스를 개량한다. 이것은 사용자 인터페이스를 통해 사용자에게 제공되는 편집 옵션들이 선택된 개체와 연관된 개체 레벨 정보에 기초하여 선택되도록 사용자 인터페이스를 배열함으로써 달성된다. 예를 들어, 도 5에서, 선택된 사람(31)의 이미지와 연관된 메뉴(32)는 사람의 이미지에 대한 조작에 적합한 옵션들을 포함한다. 이들은 삭제, 포커스, 적목 수정, 컬러/레벨들을 포함한다. 이와 달리, 도 15는 개체 하늘과 연관된 메뉴(53)를 도시한다. 이 메뉴는 단지 대체 및 컬러/레벨들의 옵션들을 제공한다. 이것은 적목 수정 및 포커스와 같은 조작들이 클래스가 하늘인 개체들에 적합하지 않기 때문이다. 이를 달성하기 위하여, 클래스에 고유한 편집 옵션들이 지정되며, 이미지 편집 시스템에 의해 액세스될 수 있다. 메뉴 옵션들은 개체 클래스의 속성들, 예를 들어 클래스가 구조화되어 있는지, 또는 클래스가 더 넓은 카테고리, 예를 들어 차량에 속하는지에 의존할 수 있다.
도 18은 개체 레벨 정보를 이용하여 이미지 편집 시스템의 사용자 인터페이스를 제공하는 방법의 흐름도이다. 사용자 인터페이스에 표시되어 있는 이미지에 대한 개체 레벨 정보가 액세스된다(박스 190 참조). 이어서, 이미지 내의 개체가 선택된다(박스 191 참조). 예를 들어, 이것은 사용자 입력을 이용하여 달성되거나, 편집 시스템에 의해 자동으로 수행된다. 이어서, 클래스 고유 편집 옵션들이 지정된 클래스 고유 편집 옵션들의 저장소로부터 액세스된다. 선택된 개체의 클래스에 적합한 편집 옵션들이 액세스되고(박스 192), 사용자 인터페이스를 통해 제공된다(박스 193 참조).
이 분야의 전문가들은 프로그램 명령어를 저장하는 데 사용되는 저장 장치들이 네트워크를 통해 배포될 수 있다는 것을 알 것이다. 예를 들어, 원격 컴퓨터가 소프트웨어로서 기술되는 프로세스의 예를 저장할 수 있다. 로컬 또는 단말 컴퓨터가 원격 컴퓨터에 액세스하여 프로그램을 실행하기 위한 소프트웨어의 일부 또는 전부를 다운로드할 수 있다. 대안으로, 로컬 컴퓨터는 필요한 소프트웨어를 다운로드하거나, 로컬 단말에서 일부 소프트웨어 명령어를 실행하고 원격 컴퓨터(또는 컴퓨터 네트워크)에서 일부를 실행할 수 있다. 이 분야의 전문가들은 이 분야의 전문가들에게 공지된 통상의 기술을 이용하여, 소프트웨어 명령어의 모두 또는 일부가 DSP, 프로그래머블 로직 어레이 등과 같은 전용 회로에 의해 수행될 수 있음도 알 것이다.
여기에 제공되는 임의의 범위 또는 장치 값은 이 분야의 전문가에게 명백하듯이 추구되는 효과를 잃지 않고도 확장 또는 변경될 수 있다.
여기에 설명되는 방법들의 단계들은 임의의 적절한 순서로 또는 적절한 경우에 동시에 수행될 수 있다.
위의 바람직한 실시예의 설명은 단지 예시적으로 제공되며, 이 분야의 전문가들에 의해 다양한 변형이 이루어질 수 있음을 이해할 것이다.
본 실시예들은 디지털 정지 이미지들에 대한 이미지 편집 시스템에서 구현되는 것으로 설명되고 도시되었지만, 설명된 시스템은 제한이 아니라 일례로서 제공된다. 이 분야의 전문가들이 이해하듯이, 본 실시예들은 비디오 처리, 의학 이미지 조작 시스템, 가상 현실 시스템, 컴퓨터 게임 프리젠테이션 시스템, 및 카메라에 구축된 편집 설비와 같은 다양한 상이한 유형의 이미지 처리 시스템에 적용하기에 적합하다.

Claims (20)

  1. 소스 디지털 이미지를 편집하는 방법으로서,
    (i) 상기 소스 디지털 이미지에 대한 자동 생성 개체 레벨 정보 - 이 정보는 상기 이미지의 하나 이상의 개체로의 분할, 및 상기 개체들 각각에 대해 상기 개체를 멤버로 하는 클래스의 상세를 포함함 - 에 액세스하는 단계; 및
    (ii) 출력 디지털 이미지를 형성하기 위하여, 상기 개체 레벨 정보에 기초하여 상기 소스 디지털 이미지를 자동으로 처리하는 단계
    를 포함하는 소스 디지털 이미지를 편집하는 방법.
  2. 제1항에 있어서, 상기 개체 레벨 정보는 상기 개체들 중 적어도 일부의 심도 순서에 대한 정보, 개체 속성들 및 개체 부분들의 위치에 대한 정보 중 임의의 것을 포함하는 소스 디지털 이미지를 편집하는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 출력 디지털 이미지를 형성하기 위하여 상기 소스 디지털 이미지의 적어도 일부를 하나 이상의 참조 디지털 이미지와 조합하는 단계를 더 포함하고, 상기 방법은 상기 참조 디지털 이미지들에 대한 자동 생성 개체 레벨 정보 - 이 정보는 상기 참조 이미지들의 하나 이상의 개체로의 분할, 및 상기 개체들 각각에 대해 상기 개체를 멤버로 하는 클래스의 상세를 포함함 - 에 액세스하는 단계를 포함하는 소스 디지털 이미지를 편집하는 방법.
  4. 제1항 또는 제2항에 있어서, 상기 방법은 단일 출력 이미지를 형성하기 위하여 복수의 소스 디지털 이미지에 대해 수행되며, 상기 출력 이미지는 상기 소스 이미지들 각각에 대한 개체 레벨 정보에 기초하여 자동으로 형성되는 소스 디지털 이미지를 편집하는 방법.
  5. 제4항에 있어서, 상기 개체 레벨 정보에 기초하여 상기 출력 이미지 내에 포함시키기 위한 상기 소스 이미지들의 부분들을 선택하는 단계를 포함하는 소스 디지털 이미지를 편집하는 방법.
  6. 제4항 또는 제5항에 있어서, 상기 개체 레벨 정보에 기초하여 상기 소스 이미지들의 부분들을 배치하기 위한 상기 출력 이미지 내의 위치들을 선택하는 단계를 포함하는 소스 디지털 이미지를 편집하는 방법.
  7. 제1항에 있어서, 상기 소스 이미지는 상기 출력 이미지에 비해 낮은 해상도를 갖는 소스 디지털 이미지를 편집하는 방법.
  8. 제7항에 있어서, 상기 소스 이미지를 처리하는 단계 (ii)는 상기 소스 이미지보다 높은 해상도를 갖는 이미지들의 데이터베이스에 액세스하는 단계, 및 상기 개체 레벨 정보에 기초하여 상기 출력 이미지를 형성하는 데 사용할 이미지들을 상 기 데이터베이스로부터 선택하는 단계를 포함하는 소스 디지털 이미지를 편집하는 방법.
  9. 제1항에 있어서, 상기 출력 이미지는 상기 소스 이미지로부터 크로핑(cropping)되고, 상기 소스 이미지를 처리하는 단계 (ii)는 상기 개체 레벨 정보에 기초하여 상기 소스 이미지를 자동으로 크로핑하는 단계를 포함하는 소스 디지털 이미지를 편집하는 방법.
  10. 제9항에 있어서, 복수의 지정된 템플릿들, 규칙들 또는 기준들로부터 선택된 템플릿, 규칙 또는 기준에 기초하여 상기 소스 이미지를 자동으로 크로핑하는 단계를 더 포함하는 소스 디지털 이미지를 편집하는 방법.
  11. 제1항 또는 제2항에 있어서, 상기 소스 이미지를 처리하는 단계 (ii)는 상기 개체 레벨 정보에 기초하여 상기 소스 이미지의 컬러 균형을 조정하는 단계를 포함하는 소스 디지털 이미지를 편집하는 방법.
  12. 제1항 또는 제2항에 있어서, 상기 소스 이미지를 처리하는 단계 (ii)는 상기 소스 이미지 내의 개체를 선택하기 위해 단일 사용자 입력만을 수신하고, 상기 단일 사용자 입력의 결과로서 상기 소스 이미지 내의 어떤 개체가 선택되었는지에 관한 지시를 사용자 인터페이스를 통해 사용자에게 제공하는 단계를 포함하고, 상기 선택은 상기 사용자의 단일 액션에 의해 이루어지는 소스 디지털 이미지를 편집하는 방법.
  13. 제12항에 있어서, 상기 사용자 인터페이스를 통해 사용자에게 제공되는 편집 옵션들이 상기 선택된 개체와 연관된 개체 레벨 정보에 기초하여 선택되도록 상기 사용자 인터페이스를 배열하는 단계를 더 포함하는 소스 디지털 이미지를 편집하는 방법.
  14. 제12항 또는 제13항에 있어서, 상기 선택된 개체의 컬러, 포커스 또는 심도 순서 중 임의의 것을 변경하는 단계를 더 포함하는 소스 디지털 이미지를 편집하는 방법.
  15. 제1항 또는 제2항에 있어서, 상기 소스 이미지를 처리하는 단계 (ii)는 상기 소스 이미지 내의 개체 또는 개체의 일부를 데이터베이스로부터 선택된 개체 또는 개체 부분으로 대체하는 단계를 포함하고, 상기 개체 또는 개체 부분의 선택은 상기 개체 레벨 정보에 기초하여 이루어지는 소스 디지털 이미지를 편집하는 방법.
  16. 소스 디지털 이미지를 편집하는 장치로서,
    (i) 상기 소스 디지털 이미지에 대한 자동 생성 개체 레벨 정보 - 이 정보는 상기 이미지의 하나 이상의 개체로의 분할, 및 상기 개체들 각각에 대해 상기 개체 를 멤버로 하는 클래스의 상세를 포함함 - 에 액세스하는 인터페이스; 및
    (ii) 출력 디지털 이미지를 형성하기 위하여, 상기 개체 레벨 정보에 기초하여 상기 소스 디지털 이미지를 자동으로 처리하는 프로세서
    를 포함하는 소스 디지털 이미지를 편집하는 장치.
  17. 제16항에 있어서, 상기 개체 레벨 정보는 상기 개체들 중 적어도 일부의 심도 순서에 대한 정보, 개체 속성들 및 개체 부분들의 위치에 대한 정보 중 임의의 것을 포함하는 소스 디지털 이미지를 편집하는 장치.
  18. 제16항 또는 제17항에 있어서, 상기 프로세서는 상기 출력 디지털 이미지를 형성하기 위하여 상기 소스 디지털 이미지의 적어도 일부를 하나 이상의 참조 디지털 이미지와 조합하고, 상기 인터페이스는 상기 참조 디지털 이미지들에 대한 자동 생성 개체 레벨 정보 - 이 정보는 상기 참조 이미지들의 하나 이상의 개체로의 분할, 및 상기 개체들 각각에 대해 상기 개체를 멤버로 하는 클래스의 상세를 포함함 - 에 액세스하는 소스 디지털 이미지를 편집하는 장치.
  19. 컴퓨터 상에서 실행될 때, 제1항 내지 제15항 중 어느 한 항의 방법의 모든 단계를 수행하는 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램.
  20. 제19항에 있어서, 컴퓨터 판독가능 매체 상에 구현되는 컴퓨터 프로그램.
KR1020087020990A 2006-02-28 2008-08-27 소스 디지털 이미지를 편집하는 방법 및 장치, 상기 방법의모든 단계를 수행하는 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 및 컴퓨터 판독가능 매체 상에 구현되는 컴퓨터 프로그램 KR101376832B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20060270024 EP1826723B1 (en) 2006-02-28 2006-02-28 Object-level image editing
EP06270024.0 2006-02-28
PCT/US2007/003529 WO2007100470A1 (en) 2006-02-28 2007-02-08 Object-level image editing

Publications (2)

Publication Number Publication Date
KR20080103973A true KR20080103973A (ko) 2008-11-28
KR101376832B1 KR101376832B1 (ko) 2014-03-20

Family

ID=36609493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087020990A KR101376832B1 (ko) 2006-02-28 2008-08-27 소스 디지털 이미지를 편집하는 방법 및 장치, 상기 방법의모든 단계를 수행하는 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 및 컴퓨터 판독가능 매체 상에 구현되는 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US9135732B2 (ko)
EP (1) EP1826723B1 (ko)
KR (1) KR101376832B1 (ko)
CN (1) CN101390090B (ko)
WO (1) WO2007100470A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101056753B1 (ko) * 2010-12-08 2011-08-12 주식회사 네오시드넷 고해상도 이미지의 딥인딥 편집을 이용한 콘텐츠 저작 서비스 제공시스템

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4289420B2 (ja) 2007-05-10 2009-07-01 セイコーエプソン株式会社 画像処理装置および画像処理方法
DE102007045834B4 (de) 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US8233739B1 (en) 2008-08-29 2012-07-31 Adobe Systems Incorporated Patch jittering for visual artifact correction
US8340463B1 (en) 2008-08-29 2012-12-25 Adobe Systems Incorporated Candidate pruning for patch transforms
KR101498206B1 (ko) * 2008-09-30 2015-03-06 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법
US8401222B2 (en) * 2009-05-22 2013-03-19 Pictometry International Corp. System and process for roof measurement using aerial imagery
US8854395B2 (en) 2009-07-30 2014-10-07 Intellectual Ventures Fund 83 Llc Method for producing artistic image template designs
US8274523B2 (en) * 2009-07-30 2012-09-25 Eastman Kodak Company Processing digital templates for image display
US8422794B2 (en) 2009-07-30 2013-04-16 Intellectual Ventures Fund 83 Llc System for matching artistic attributes of secondary image and template to a primary image
US8849853B2 (en) 2009-07-30 2014-09-30 Intellectual Ventures Fund 83 Llc Method for matching artistic attributes of a template and secondary images to a primary image
US8645287B2 (en) * 2010-02-04 2014-02-04 Microsoft Corporation Image tagging based upon cross domain context
US8483518B2 (en) 2010-02-19 2013-07-09 Microsoft Corporation Image-based CAPTCHA exploiting context in object recognition
CN102339472B (zh) * 2010-07-15 2016-01-27 腾讯科技（深圳）有限公司 图片编辑方法及装置
US8503801B2 (en) * 2010-09-21 2013-08-06 Adobe Systems Incorporated System and method for classifying the blur state of digital image pixels
US9436685B2 (en) 2010-12-23 2016-09-06 Microsoft Technology Licensing, Llc Techniques for electronic aggregation of information
US9715485B2 (en) 2011-03-28 2017-07-25 Microsoft Technology Licensing, Llc Techniques for electronic aggregation of information
TWI567570B (zh) * 2011-06-15 2017-01-21 微軟技術授權有限責任公司 用於產生代表內容檔案之客製物件的技術
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
CN104204938B (zh) * 2012-04-19 2017-11-17 索尼移动通信株式会社 图像聚焦
US8867841B2 (en) 2012-08-08 2014-10-21 Google Inc. Intelligent cropping of images based on multiple interacting variables
JP2014068273A (ja) * 2012-09-26 2014-04-17 Olympus Imaging Corp 画像編集装置、画像編集方法、およびプログラム
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
US9860510B2 (en) * 2013-03-15 2018-01-02 Intuitive Surgical Operations, Inc. Depth based modification of captured images
US20150089446A1 (en) * 2013-09-24 2015-03-26 Google Inc. Providing control points in images
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9325906B2 (en) 2013-10-18 2016-04-26 The Lightco Inc. Methods and apparatus relating to a thin camera device
US9557519B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9460533B2 (en) 2013-10-27 2016-10-04 Google Inc. Generating image compositions
US9686471B2 (en) 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
US10114532B2 (en) * 2013-12-06 2018-10-30 Google Llc Editing options for image regions
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9773313B1 (en) * 2014-01-03 2017-09-26 Google Inc. Image registration with device data
US10931866B2 (en) 2014-01-05 2021-02-23 Light Labs Inc. Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture
US10026206B2 (en) 2014-02-19 2018-07-17 Qualcomm Incorporated Image editing techniques for a device
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
WO2016004422A1 (en) 2014-07-04 2016-01-07 The Lightco Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
US10210642B2 (en) * 2014-07-28 2019-02-19 Hewlett-Packard Development Company, L.P. Representing an edit
CN105447895A (zh) * 2014-09-22 2016-03-30 酷派软件技术（深圳）有限公司 一种层次化的图片黏贴方法、装置及终端设备
US9912865B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for supporting burst modes of camera operation
WO2016100756A1 (en) 2014-12-17 2016-06-23 The Lightco Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US9569697B1 (en) * 2015-02-19 2017-02-14 Google Inc. Object oriented image editing
US10580220B2 (en) * 2015-03-04 2020-03-03 Pixar Selecting animation manipulators via rollover and dot manipulators
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
WO2016172641A1 (en) 2015-04-22 2016-10-27 The Lightco Inc. Filter mounting methods and apparatus and related camera apparatus
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
CN105120336A (zh) * 2015-09-23 2015-12-02 联想(北京)有限公司 一种信息处理方法及电子设备
US10051182B2 (en) 2015-10-05 2018-08-14 Light Labs Inc. Methods and apparatus for compensating for motion and/or changing light conditions during image capture
US9749549B2 (en) * 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
CN105701823A (zh) * 2016-01-14 2016-06-22 无锡北邮感知技术产业研究院有限公司 由遮挡关系恢复深度次序的方法
CN105719288A (zh) * 2016-01-19 2016-06-29 无锡北邮感知技术产业研究院有限公司 基于二叉树的单目图像中物体深度次序估计方法
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
US10198839B2 (en) 2016-09-22 2019-02-05 Apple Inc. Style transfer-based image content correction
US10147459B2 (en) 2016-09-22 2018-12-04 Apple Inc. Artistic style transfer for videos
KR102257909B1 (ko) * 2016-11-07 2021-05-28 스냅 인코포레이티드 이미지 변경자들의 선택적 식별 및 순서화
JP2018077644A (ja) * 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理システム及びプログラム
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
CN106791111A (zh) * 2016-12-23 2017-05-31 努比亚技术有限公司 一种图像分享方法、装置及终端
US10789694B1 (en) 2017-09-11 2020-09-29 Apple Inc. Real-time adjustment of temporal consistency constraints for video style
US10614604B2 (en) * 2017-12-04 2020-04-07 International Business Machines Corporation Filling in an entity within an image
US10636186B2 (en) 2017-12-04 2020-04-28 International Business Machines Corporation Filling in an entity within a video
CN108230343B (zh) * 2018-01-05 2020-06-05 厦门华联电子股份有限公司 一种图像处理方法及装置
US11367163B2 (en) 2019-05-31 2022-06-21 Apple Inc. Enhanced image processing techniques for deep neural networks
US11100664B2 (en) * 2019-08-09 2021-08-24 Google Llc Depth-aware photo editing
WO2021080158A1 (en) 2019-10-25 2021-04-29 Samsung Electronics Co., Ltd. Image processing method, apparatus, electronic device and computer readable storage medium
CN111402271A (zh) * 2020-03-18 2020-07-10 维沃移动通信有限公司 一种图像处理方法及电子设备
US11764941B2 (en) * 2020-04-30 2023-09-19 International Business Machines Corporation Decision tree-based inference on homomorphically-encrypted data without bootstrapping
US11294556B1 (en) * 2021-01-05 2022-04-05 Adobe Inc. Editing digital images using multi-panel graphical user interfaces

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5469536A (en) 1992-02-25 1995-11-21 Imageware Software, Inc. Image editing system including masking capability
US5420966A (en) 1992-04-29 1995-05-30 Canon Information Systems Canon Kabushiki Kaisha Method and apparatus for filling an object based rasterized image
US5596693A (en) 1992-11-02 1997-01-21 The 3Do Company Method for controlling a spryte rendering processor
US5872867A (en) 1995-08-04 1999-02-16 Sarnoff Corporation Method and apparatus for generating image textures
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
JPH10228547A (ja) * 1997-02-14 1998-08-25 Canon Inc 画像編集方法及び装置並びに記憶媒体
US6070167A (en) * 1997-09-29 2000-05-30 Sharp Laboratories Of America, Inc. Hierarchical method and system for object-based audiovisual descriptive tagging of images for information retrieval, editing, and manipulation
JP4365950B2 (ja) 1998-09-11 2009-11-18 キヤノン株式会社 高速ラスタ形式レンダリングのためのグラフィックオブジェクト処理方法および装置
CA2309378C (en) 1999-05-25 2005-09-27 Nippon Telegraph And Telephone Corporation Image filling method, apparatus and computer readable medium for reducing filling process in producing animation
US6404426B1 (en) * 1999-06-11 2002-06-11 Zenimax Media, Inc. Method and system for a computer-rendered three-dimensional mannequin
US6593933B1 (en) 2000-01-13 2003-07-15 Microsoft Corporation Block-based synthesis of texture in computer rendered images
AU2002239703A1 (en) 2000-12-20 2002-07-01 Pulsent Corporation Method of filling exposed areas in digital images
US6879717B2 (en) 2001-02-13 2005-04-12 International Business Machines Corporation Automatic coloring of pixels exposed during manipulation of image regions
US6587592B2 (en) 2001-11-16 2003-07-01 Adobe Systems Incorporated Generating replacement data values for an image region
US6762769B2 (en) 2002-01-23 2004-07-13 Microsoft Corporation System and method for real-time texture synthesis using patch-based sampling
US7199793B2 (en) 2002-05-21 2007-04-03 Mok3, Inc. Image-based modeling and photo editing
JP2006024116A (ja) * 2004-07-09 2006-01-26 Dainippon Screen Mfg Co Ltd カラー画像の領域分割
US7873909B2 (en) * 2004-08-10 2011-01-18 Photoinaphoto.Com, Inc. Manipulation and merging of graphic images
US20060053374A1 (en) * 2004-09-07 2006-03-09 Adobe Systems Incorporated Localization of activity with respect to digital data
US7835577B2 (en) * 2005-01-18 2010-11-16 Siemens Corporation System and method for multi-label image segmentation of digital photographs
EP1748389A1 (en) 2005-07-28 2007-01-31 Microsoft Corporation Image blending

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101056753B1 (ko) * 2010-12-08 2011-08-12 주식회사 네오시드넷 고해상도 이미지의 딥인딥 편집을 이용한 콘텐츠 저작 서비스 제공시스템

Also Published As

Publication number Publication date
WO2007100470A1 (en) 2007-09-07
US20090096808A1 (en) 2009-04-16
KR101376832B1 (ko) 2014-03-20
US9135732B2 (en) 2015-09-15
EP1826723A1 (en) 2007-08-29
EP1826723B1 (en) 2015-03-25
CN101390090A (zh) 2009-03-18
CN101390090B (zh) 2011-11-16

Similar Documents

Publication Publication Date Title
KR101376832B1 (ko) 소스 디지털 이미지를 편집하는 방법 및 장치, 상기 방법의모든 단계를 수행하는 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 및 컴퓨터 판독가능 매체 상에 구현되는 컴퓨터 프로그램
US8644644B2 (en) Methods and apparatus for blending images
US11468614B2 (en) Presenting multiple image segmentations
US7573486B2 (en) Method and system for automatic generation of image distributions
US7986298B1 (en) Identifying changes to an image file
US20140035950A1 (en) System and Method for Image Composition Using Non-Destructive Editing Model and Fast Gradient Solver
EP1826724B1 (en) Object-level image editing using tiles of image data
JP3690391B2 (ja) 画像編集装置、画像のトリミング方法、及びプログラム
US20080229232A1 (en) Full screen editing of visual media
US10067646B2 (en) Color selector for desktop publishing
CN101606179B (zh) 用于遮罩、选择和路径的通用前端
US11386589B2 (en) Method and device for image generation and colorization
US20050057576A1 (en) Geometric space decoration in graphical design system
JPH11328380A (ja) 画像処理装置、画像処理方法およびその方法をコンピュ―タに実行させるプログラムを記録したコンピュ―タ読み取り可能な記録媒体
US20070188510A1 (en) Self-Adaptive Brush for Digital Images
US20060282777A1 (en) Batch processing of images
Díaz et al. Adaptive Cross‐sections of Anatomical Models
Whitt Beginning photo retouching and restoration using GIMP
Dayley et al. Photoshop CS5 Bible
Nielsen et al. ClickRemoval: Interactive pinpoint image object removal
JP2004046493A (ja) 画像調節装置およびそのプログラム並びに画像調節方法
JP2004246510A (ja) 建築画像における画像張り替え方法
Team et al. Adobe Photoshop CC
Borodajkewycz Tomorrow’s Photoshop Effects
Andrews Adobe Photoshop Elements 5.0 AZ: Tools and features illustrated ready reference

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200218

Year of fee payment: 7