KR101288670B1

KR101288670B1 - 최초 배경 복구에 대한 대응책

Info

Publication number: KR101288670B1
Application number: KR1020107029637A
Authority: KR
Inventors: 그레고리 제이. 던; 보아즈 제이. 수퍼
Original assignee: 모토로라 솔루션즈, 인크.
Priority date: 2008-09-17
Filing date: 2009-08-04
Publication date: 2013-07-22
Also published as: US8111913B2; KR20110025780A; US20100067782A1; WO2010033312A4; WO2010033312A1

Abstract

전경 및 최초 또는 대체 배경을 포함하는 이미지를 수정하는 장치 및 방법이 개시된다. 경계 픽셀들은 최초 배경만을 포함하거나 또는 최초 배경 및 전경을 포함한다. 최초 배경은 미리 결정된 또는 임의의 색으로 교체되거나 또는 대체 배경에 대응하는 색으로 교체된다. 전체 경계 픽셀은 교체 색으로 교체될 수 있다. 다르게는, 이웃 픽셀들로부터 전경 대 최초 배경의 비율이 추정될 수 있고 최초 배경만이 교체 색으로 교체될 수 있다. 일단 배경 픽셀들의 일부 또는 전부가 교체되면, 이미지는 다른 장치들 또는 뷰어들에 전송되거나 다른 방법으로 전달될 수 있다. 영상 내의 이미지들의 일부 또는 전부가 수정될 수 있다.

Description

최초 배경 복구에 대한 대응책{COUNTERMEASURES AGAINST ORIGINAL BACKGROUND RETRIEVAL}

본 출원은 통신 장치들에 관한 것이다. 특히, 본 출원은 이미지의 최초 배경(original background) 대신에 새로운 배경으로 대체된 후에 복구에 대항하여 최초 이미지를 보호하는 것에 관한 것이다.

최근에, 확장된 기능과 함께 영상 회의 능력을 제공할 수 있는 통신 장치들의 수가 급격히 증가하였고 그들의 사용의 용이함이 현저히 개선되었다. 영상 회의에서 사용되는 전형적인 통신 장치들은, 예를 들면, 셀룰러 및 스마트 폰들, PDA(personal digital assistant)들, 및 랩톱 및 데스크톱 컴퓨터들을 포함한다. 그 장치들의 꾸준히 성장하는 처리 능력으로 인해 점점 더 이용 가능하게 되었고, 그 결과 인기가 증가된 하나의 확장된 기능은, 최초 배경 대신에 상이한 선택 가능한 배경으로 대체하는 능력이다. 이 특징은 영상 회의와 같은 실시간 통신에 제한되지 않고; 최근 폭발적인 인터넷 사이트들에의 영상 게시들에서, 일부 영상들은 배경 대체(background substitution)를 이용하여 최초 전경(original foreground) 및 대체 배경(substitute background)을 포함하는 합성 이미지를 형성할 수 있다.

배경 대체를 채용하는 데는 여러 가지 이유들이 있다. 이 이유들은, 예를 들면, 순전히 오락 또는 해학적인 목적, 또는 기밀성 목적을 포함할 수 있다. 후자의 이유는 특정한 목표 청중 또는 권한이 없는 뷰어들(unauthorized viewers)이 보기에 부적당하다고 생각되는 자료들을 감추는 것을 포함한다. 그러한 자료들은 배포가 부적당할 기밀 업무 또는 개인 자료들 또는 익명으로 남기를 바랄 수 있는 피사체(subject)가 식별되거나 또는 고용주 또는 특정한 장소와 관련되고 따라서 위험 곤란, 보복, 괴롭힘, 또는 신분 위장 절도(identity theft), 표적 강도(targeted burglary), 또는 스토킹과 같은 범죄 이용과 관련되는 것을 가능케 할 신원 관련 자료들을 포함할 수 있다.

특정한 상황에서 최초 배경은 그것을 대체 배경으로 교체함에도 불구하고 복구되거나 재생될 수 있어, 상기 문제들을 초래할 수 있다. 최초 배경이 복구되거나 재생되는 가능성을 최소화하면서 최초 배경을 대체 배경으로 교체하는 능력을 제공할 수 있다면 바람직하다.

이제 첨부 도면들에 관련하여 예로서 실시예들이 설명될 것이다.
도 1은 하나의 실시예에 따른 장치를 이용한 이미지 캡처를 도시한다.
도 2는 하나의 실시예에 따른 대체 배경을 갖는 이미지를 도시한다.
도 3은 도 2의 이미지에서 경계 픽셀들을 나타낸다.
도 4는 도 2의 경계 픽셀들로부터 최초 배경을 나타낸다.
도 5는 도 2의 다수의 이미지들의 영상 또는 시퀀스의 경계 픽셀들로부터 재구성된 최초 배경을 나타낸다.
도 6A 및 6B는 도 2의 경계 픽셀들의 색들의 수치 예를 묘사한다.
도 7A 및 7B는 하나의 실시예에서 경계 픽셀 수정 후에 도 2의 경계 픽셀들의 색들의 수치 예를 묘사한다.
도 8A 및 8B는 하나의 실시예에서 경계 픽셀 수정 후에 도 2의 경계 픽셀들의 색들의 수치 예를 묘사한다.
도 9A 및 9B는 하나의 실시예에 따른 경계 픽셀 수정의 순서도를 나타낸다.

이미지에서 경계 픽셀들을 교체하는 방법이 개시된다. 경계 픽셀들은 최초 배경 색만으로부터 또는 최초 배경 및 전경 색들의 조합으로부터 형성될 수 있다. 전체 경계 픽셀이 설정된 색의 픽셀로 교체되거나 또는 경계 픽셀 내의 최초 배경 색만이 사용자에 의해 결정된 색으로 또는 경계 픽셀 내의 최초 배경 색과 관계없는 색으로 교체된다. 후자의 경우에, 경계 픽셀에서, 예를 들면, 전경 및/또는 배경을 포함하는 이웃 픽셀들로부터 최초 배경 색 및 전경 및 최초 배경의 퍼센티지(percentage)가 추정된다. 최초 배경 색은 공제되고 대체 또는 최초 배경, 전경에 대응하는 색, 또는 설정된 색이 최초 배경 색을 대체한다. 최초 배경 색을 제거하기 위해 경계 픽셀들의 적어도 상당한 퍼센티지가 재구성되고(reformulated) 경계 픽셀들은 다시 채색된(recolored) 경계 픽셀들로 교체된다. 정적인 이미지들의 또는 영상의 이미지들 내의 경계 픽셀들이 교체될 수 있다. 일단 경계 픽셀들이 교체되면, 이미지는 다른 장치들에 및/또는 뷰어들에 전송되거나 또는 다른 방법으로 전달될 수 있다.

도 1에 전형적인 통신 장치가 도시되어 있다. 장치(100)는 이 기술 분야에서 공지된 부품들 및 회로를 포함하고, 편의상 여기에서는 그것들 중 일부만이 라벨로 표시되고 식별된다. 장치(100)는 프로세서(102), 메모리(104), 디스플레이(106), (키보드, 조이스틱, 터치 스크린, 마이크, 소프트(소프트웨어 정의된) 키들, 하드 키들, 안테나, 또는 스피커와 같은) I/O 장치들(108), 가속도계 또는 자이로스코프와 같은 센서(미도시), 및 하나 이상의 카메라들(110)을 포함하고, 이것들은 버스(112)를 통해 연결된다. 그러한 장치는, 예를 들면, 셀룰러 또는 스마트 폰, PDA(personal data assistant), 랩톱 컴퓨터, 또는 데스크톱 컴퓨터일 수 있다. 송신/수신 회로 및 입력/출력 회로와 같은, 장치(100) 내의 다른 회로는 편의상 도시되지 않았다.

프로세서(102)는, 여럿 가운데서, 인텔(Intel), AMD, 프리스케일(Freescale), 및 사이릭스(Cyrix)로부터 상업적으로 입수할 수 있는 전통적인 프로세서일 수 있다. 유사하게, 메모리(104)는 상업적으로 입수할 수 있는 전통적인 메모리일 수 있다. 메모리(104)는, 예를 들면, 컴퓨터 액세스 가능한 매체를 포함하는 RAM(random-access memory) 및/또는 ROM(read-only memory)을 포함할 수 있다. 프로세서(102)는 컴퓨터 액세스 가능한 매체에 저장된 컴퓨터 프로그램들을 실행한다. 상기한 바와 같이, 그러한 부품들은, 장치(100)의 다른 부품들과 마찬가지로, 이 기술 분야에서 공지되었고, 따라서 여기에서 추가 설명을 피할 것이다.

유사하게, 장치(100)는 이 기술 분야에서 공지된 방식으로 유선 또는 무선 연결을 통해 인터넷에 통신 연결될 수 있다. 유선 연결들은, 예를 들면, 그 자신이, 예를 들면, T1 라인을 통해 인터넷에 연결되는 LAN(local-area network) 또는 WAN(wide-area network)에 연결된 모뎀 또는 이더넷 또는 유사한 네트워크 카드를 이용하여 제공될 수 있다. 무선 연결들은 와이파이(WiFi) 또는 어떤 다른 연결을 이용하여 제공될 수 있다. 장치(100)는, 여럿 가운데서, Microsoft Windows®, Apple MacOS®, Linux®, 및 UNIX®와 같은 운영 체제들에서 동작할 수 있다. 그러나, 예들은 임의의 특정한 운영 체제에 제한되지 않고, 상기한 바와 같이, 그러한 운영 체제의 구성 및 사용은 이 기술 분야 내에 공지되었고 따라서 여기에서 추가 설명을 피할 것이다.

카메라(110)는 장치(100) 내의 임의의 편리한 위치에 배치될 수 있다. 카메라(110)는, I/O 장치들(108)을 이용하여 작동될 때, 가상 경계(190)에 의해 배경(180)으로부터 분리된 전경(170)을 포함하는 장면의 이미지를 촬영할 수 있다. 전경(170)은 피사체(150)를 포함한다. 가상 경계(190)의 위치는 장치(100)의 입력(예를 들면, 휠, 업/다운 버튼들, 등)을 이용하여 수동으로 또는 프로세서(102)에 의해 자동으로 설정될 수 있다. 이미지는, 장치(100) 내의 프로세서(102)에 의해 또는 유선 또는 무선 연결(미도시)을 통하여 장치(100)에 연결된 외부 장치 또는 시스템(미도시)에서 처리되어, 합성 이미지를 형성한다.

대체 배경은 장치에서 메모리(104) 내에 저장된 및/또는 원격으로(즉, 이미지를 촬영하는 장치 이외의 장치에서) 저장된 하나 이상의 배경들로부터 선택될 수 있다. 유사하게, 배경을 대체하고 최초 전경 및 대체 배경을 포함하는 합성 이미지를 생성하는 처리는 장치에서 및/또는 원격으로 수행될 수 있다.

대체 배경은 정지 이미지들 또는 영상들의 라이브러리로부터 선택 가능하다. 대체 배경은 자유의 여신상, 그랜드 캐니언, 에펠 탑, 만리장성, 또는 백악관과 같은 잘 알려진 장소들을 포함할 수 있다. 실내 또는 실외 장면들(예를 들면, 좋아하는 장소, 열대지방 섬, 숲, 또는 콘서트 무대), 대기권 밖 우주, 수중, 지하, 또는 만화 장소들, 등과 같은 보다 공상적인 장소들, 예술 작품들, 또는 시각적으로 제시된 정보와 같은 다른 이미지들 또는 영상들이 사용자 또는 다른 사람들에 의해 특별히 창작될 수 있다.

배경 대체는 사용자가 시각적으로 및/또는 청각적으로(예를 들면, 원격지간 회의(teleconferencing) 동안에) 및/또는 문자로 통신하는 동안에 또는 통신 전에 사용자에 의해 활성화될 수 있다. 대체 배경이 선택되는 방식은 다수의 상이한 방법들로 변화할 수 있다. 일례로, 사용자는 하나 이상의 배경들을 나타내기 위해 장치(100) 상의 I/O 장치(108)를 작동시킨다. 배경들은 디스플레이(106) 상에 개별적으로 또는 무리를 지어 디스플레이될 수 있다. 이용 가능한 배경들의 목록이 디스플레이될 수도 있다. 만약 단일 배경이 디스플레이된다면, 그것은 입력(예를 들면 소프트 또는 하드 키, 휠, 등)을 작동시키는 것에 의해 선택될 수 있다. 이 경우, 입력이 작동될 때 디스플레이된 특정한 배경에 따라서 상이한 배경들을 선택하기 위해 동일한 입력이 이용될 수 있다. 만약 다수의 배경들이 디스플레이된다면, 상이한 입력들이 상이한 배경들의 선택에 대응할 수 있다. 휠과 같은 사용자 입력은 하나 이상의 배경들의 디스플레이들을 통하여 스크롤하기 위해 이용될 수 있다. 배경은 다른 사용자들과의 통신이 확립되기 전에 또는 확립된 후에 선택될 수 있다.

배경 대체를 제공하는 하나의 방법에서는, 하나 이상의 카메라들을 포함하는 장치를 이용하여, 피사체가 존재하는 및 피사체가 존재하지 않는 이미지들이 임의의 순서로 촬영되고, 피사체가 있는 이미지들의 어느 부분들이 배경인지를 결정하기 위해 비교된다. 배경 부분들의 결정은, 예를 들면, Richard J. Radke, Srinivas Andra, Omar Al-Kofahi, 및 Badrinath Roysam의, "Image Change Detection Algorithms: A Systematic Survey", IEEE Transactions on Image Processing, Vol. 14, No. 3, March 2005에서 참조된 방법들을 이용하여 수행될 수 있다. 배경 부분들 대신에 사용자에 의해 선택된 다른 배경으로 대체된다. 불행하게도, 이 기법은 움직이지 않는 전경 부분들도 교체할 수 있다. 또한, 예를 들면, 움직임 또는 조명 변화들로 인해, 현저한 변화들을 경험하는 배경 부분들은 수정된 이미지에서 교체되는 대신에 계속 유지될 수 있다.

다른 기법에서는, 피사체가 존재하고 각 픽셀이 깊이 정보(depth information), 즉, 장면의 상이한 부분들의 거리들을 나타내는 픽셀 값들을 포함하는 이미지가 획득된다. 그러한 이미지는 피사체가 존재하지 않는 이미지들을 촬영하지 않고도 전경으로부터 배경을 분리하기 위해 이용될 수 있는 정보를 포함한다. 깊이 정보는 이 기술 분야의 숙련자들에게 잘 알려진 방법들을 이용하여 상이한 카메라들로부터의 신호들의 조합에 의해 제공된다. 전경과 배경 사이의 색들의 차이들도 전경으로부터 배경을 분리하기 위해 이용될 수 있다. 전과 같이, 배경 대신에 사용자에 의해 선택된 다른 배경으로 대체된다.

도 2에 합성 이미지의 일례가 도시되어 있다. 이미지(200)는 전경(210) 및 대체 배경(220)을 갖는다. 최초 배경(사무실) 대신에, 도 2의 이미지의 대체 배경(220)은 나무들, 푸른 하늘, 등으로 충만한 실외 장면이다. 이미지(200)는 또한 전경(210)과 대체 배경(220) 사이의 경계를 형성하는 경계 픽셀들(230)을 포함한다. 그러나, 경계가 어디에 위치하는지를 결정하는 알고리즘들은 완벽하지 않으므로, 알고리즘을 실행하는 프로세서 및 시스템에 의한 경계의 위치 지정(positioning)에서 오류들이 생긴다. 이것은 실제 경계에 인접한 최초 배경의 하나 이상의 픽셀들이 교체되는 대신에 계속 유지되는 결과를 초래할 수 있다.

그러나, 경계 위치 지정의 문제는 최초 배경 정보가 여전히 의도하지 않게 이용 가능한 가장 명백한 예일 뿐이다. 최초 배경이 이용 가능한 보다 미묘한 방식은, 도 3의 합성 이미지(200)의 확대에서 도시된 바와 같이, 전경과 배경에 걸치는 경계 픽셀들이다. 도시된 합성 이미지(200)의 전이 영역(transition area)(300)은 경계 픽셀들(230)의 세트를 포함한다. 경계 픽셀들(230) 각각은 도 3에서 상이한 음영 영역들(shaded region)에 의해 도시된 바와 같이 전경(210)과 최초 배경(240) 양쪽 모두로부터의 색 요소들(color elements)을 포함한다. 도 3은 각 경계 픽셀(230)에 존재하는 색들의 비율들(proportions)을 도시한다는 것에 주목한다. 그 이유는 실제로는 각 경계 픽셀(230)은 최초 픽셀의 대응하는 영역에 존재하는 다양한 색들의 퍼센티지에 따라서 그의 값이 변화하는 단일 스칼라 또는 벡터 색(이것은 가장 가까운 이웃 경계 픽셀(230)의 색과 다를 수 있다)만을 제공하기 때문이다. 따라서, 비록 경계 픽셀(230) 내의 최초 배경 색(240)은 눈에 보이지 않을 수 있지만, 그럼에도 불구하고 그것은 픽셀 색 값에 인코딩된다. 이것은, 비록 배경은 경계의 밖에서 대체될 수 있지만, 최초 배경으로부터의 색 데이터는 여전히 경계 픽셀(230) 내에 존재한다는 것을 의미한다.

상이한 알고리즘을 이용하여, 일례로 합성 이미지 내의 경계 픽셀의 색 및 합성 이미지 내의 전경 픽셀 또는 픽셀들의 색 또는 색들을 각각 처리하는 것에 의해 경계 픽셀의 최초 배경 색에 관한 정보가 얻어질 수 있다. 예를 들면, u는 합성 이미지 내의 경계 픽셀의 색을 나타낸다고 하고 w는 합성 이미지 내의 경계 픽셀에서 추정된 순수한 전경 색을 나타낸다고 하면; w는 경계 픽셀에 가까운 합성 이미지에서, 전경 픽셀 또는 픽셀들의 색 또는 색들을 각각 처리하는 것에 의해 결정될 수 있다. w를 결정하기 위한 하나의 기법은 경계 픽셀 근처의 전경 픽셀들의 색들의 가중 합계(weighted sum)를 산출하는 것이고, 여기서 가중치들은 전경 픽셀들과 배경 픽셀 사이의 각각의 거리들에 역비례로 관련된다. 이 기술 분야의 숙련자들은 w를 추정하는 다수의 다른 방법들이 있고, 또한 u 및 w 및 u와 W의 조합들은 스칼라 또는 벡터 량들일 수 있다는 것을 이해할 것이다. 예를 들면, u 및 w 및 u와 w의 조합들은 한 픽셀에서 적색의 양, 녹색의 양, 및 청색의 양을 나타내는 3차원 벡터들일 수 있다. u로부터 w를 차감하는 것에 의해 다른 벡터 v가 결정될 수 있다. w에 배치된, 벡터 v는 최초 배경 색 b의 방향으로 w를 통하여 광선 R을 정의한다. 최초 배경 색 b는 광선 R을 따라서 위치한다. 이 기술 분야의 숙련자들은 배경 색 b가, 잡음, w의 추정의 변화성, 및 다른 요인들로 인해, 정확하게 광선 R 위에 위치하지 않을 수 있다는 것을 이해할 것이다. 광선 R은 가능한 또는 있음직한 b의 값들에 관한 정보를 인코딩한다.

이 예를 계속하여, 어떤 규칙에 따라서 R 위의 점을 선택하는 것에 의해 b의 추정치가 결정될 수 있다. 하나의 예시적인 규칙은 b의 값으로서 점 w + 2v를 선택하는 것이다. 이 기술 분야의 숙련자들은 다른 규칙들이 이용될 수 있다는 것을 이해할 것이다; 예를 들면, u 및 w에 관하여 b의 있음직한 위치의 추정된 또는 알려진 확률 분포들에 기초한 규칙.

이 예를 더 계속하여, 다수의 픽셀들로부터 또는 다수의 합성 이미지들로부터의 정보를 조합하는 것에 의해 개선된 b의 추정치들이 결정될 수 있다. 예를 들면, 이웃 경계 픽셀들은 종종 유사한 최초 배경 색들을 갖고, 이 속성은 최초 배경 색들의 이웃 추정치들은 서로 유사하다는 제약(constraint)을 실시하기 위해 이용될 수 있다. 이 기술 분야의 숙련자들은 이 제약은 합성 이미지의 일부 또는 모든 영역들에서 선택적으로 적용될 수 있고 제약의 강도는 변경될 수 있다는 것을 이해할 것이다. 다른 예로서, 영상 내의 공간 위치는 그 영상을 형성하는 합성 이미지들의 시퀀스의 둘 이상에서 경계 픽셀일 수 있다. 시간들 t1 및 t2에서 각각 촬영된 영상의 2개의 합성 이미지들의 대응하는 경계 픽셀들의, 위와 같이 결정된, 광선들을 R1 및 R2로 표시한다. 만약 최초 경계 픽셀의 색이 시간 t1 및 t2에서 실질적으로 동일하고, 만약 또한 R1 및 R2가 동일한 광선이 아니라면, R1 및 R2는 함께 R1 또는 R2 단독으로보다 b의 값에 관한 더 많은 정보를 인코딩할 수 있다. 예를 들면, 개별적으로 R1 또는 R2로부터 결정된 b의 개별 추정치들을 평균하는 것에 의해 개선된 b의 추정치가 구해질 수 있다.

이미지 또는 영상에서 전경 물체를 결정하는 방법들이 합성 이미지의 전경을 결정하기 위해 이용될 수 있다. 전경 물체를 결정하기 위한 예시적인 방법들은 사용자에 의한 수동 선택; Weiming Hu, Tieniu Tan, Liang Wang, 및 Steve Maybank의, "A Survey on Visual Surveillance of Object Motion and Behaviors", IEEE Transactions on Systems , Man , and Cybernetics - Part C: Applications and Reviews, Vol. 34, No. 3, August 2004에서 참조된 모션 세분화(motion-segmentation) 방법들과 같은 모션 기반 세분화; Chris Stauffer 및 W. Eric L. Grimson의, "Learning Patterns of Activity Using Real-Time Tracking", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 8, Aug. 2000에서 설명된 방법과 같은 배경 학습을 포함하지만 이들에 제한되지는 않는다. 여기에서 인용된 참고 문헌들 각각은 온전히 그대로 통합된다는 것에 주목한다. 이 기술 분야의 숙련자들은 전경의 경계 픽셀들을 어떻게 결정하는지를 이해할 것이다; 예를 들면, 전경이 아닌 픽셀들에 인접하는 전경 픽셀들을 탐색하는 것에 의해 경계 픽셀들이 결정될 수 있다.

이것은 정적인 이미지에 대해서는 여전히 비교적 중요치 않은 문제이다. 그 이유는 정적인 이미지의 경계 픽셀들에서 최초 배경 색을 복구하는 것은 도 4에 도시된 바와 같이 윤곽(400)만을 산출하기 때문이다. 그러나, 짧은 영상조차 수천 개의 정지 이미지들을 포함하고, 그 각각에서 전경은 피사체가 움직이기 때문에 약간 상이할 수 있다. 사실, 영상의 진행 동안 피사체의 머리 움직임들, 몸짓들, 및 다른 물리적 행동들은 전체 프레임의 상당한 부분을 커버할 수 있다. 만약 각 개별 이미지(각각은 도 4에 도시된 것과 같은 윤곽을 산출함)로부터의 경계 픽셀들의 최초 배경 색에 관한 정보가 모아지면, 경계 픽셀들 내의 복구된 최초 배경 색들은 도 5에 도시된 바와 같이 최초 배경(500)의 대응하는 상당한 부분을 드러낼 수 있다. 도 4 및 5는 단순히 설명을 위해 도시되었고 실제 샘플 출력들이 아니라는 것에 주목한다.

최초 배경의 복구에 대항하기 위해 다양한 기법들이 이용될 수 있다. 이러한 기법들을 설명하기 위하여, 도 6A 및 6B는 색들을 나타내는 숫자들을 이용하여 도 3에 도시된 합성 이미지(200)의 전이 영역(300)을 묘사한다. 도 6A는 전이 영역(300) 내의 전경을 색 627로서 묘사한다. 각 색은 (예를 들면, 적색, 녹색, 및 청색 채널들에 대한 3개의 요소들을 포함하는) 벡터 량일 수 있다는 것에 주목한다. 전경 색은, 물론, 픽셀마다 변화할 수 있지만 여기에서는 편의상 단일 색으로서 표현된다. 최초 배경 색은 일반적으로 픽셀마다 약간 변화하는 것으로 도시되지만(각 배경 숫자는 인접한 배경 숫자에 가까움), 이웃 픽셀들은 도 6A의 하부 오른쪽 코너에 도시된 바와 같이, 현저하게 변화하는 배경을 가질 수도 있다. 그러나, 전술한 바와 같이, 각 픽셀에 의해 하나의 스칼라 또는 벡터 색만이 제공된다. 전경 및 배경 색들의 조합인, 픽셀의 전체 색은 따라서 그 픽셀에 대한 단일 색에 도달하도록 픽셀에 존재하는 전경 및 배경의 퍼센티지에 비례하여 대응하는 전경 및 배경 숫자들을 조합한다. 픽셀들의 색들을 나타내는 결과 숫자들의 예가 도 6B에 도시되어 있다. 픽셀 내의 전경 이미지의 형상 또는 퍼센티지의 (다른 알고리즘을 이용한) 더 나은 결정에 의해, 예를 들면, 가장 가까운 이웃 픽셀들 내의 퍼센티지 또는 형상으로부터, 배경 색은 더 잘 추정될 수 있다는 것에 주목한다.

최초 배경 정보를 제거하는 하나의 기법은 전경 및 최초 배경이 확립되고 분리된 후의 경계 픽셀들을 (원한다면 경계의 주위에서 변화할 수 있는) 주어진 소망의 색의 경계 픽셀들로 단순히 교체하는 것이다. 도 7A에 도시된 바와 같이, 경계 픽셀 색들은 균일하게 블랙(0)이지만, 로컬(즉, 장치) 또는 원격 메모리에 저장된 색 값들을 이용하여 전경 색(627)과 대체 배경 색(편의상 그 중 하나 - 893 - 만이 제시됨) 사이의 색이 선택될 수 있다. 다르게는, 경계 픽셀들이 결정된 후에, 각 경계 픽셀 색은, 도 7B에 도시된 바와 같이, 경계 픽셀 근처의 대체 배경 픽셀들의 색들 중 하나 또는 그 색들의 조합으로 교체된다. 이 경우, 전경에 인접한 대체 배경 픽셀들은 바깥에 있는 인접한 픽셀들과 유사하다. 다르게는, 도 7B의 기법은 바깥에 있는 대체 배경 픽셀들이 전경에 더 가까운 대체 배경 픽셀들을 교체하기 때문에 전경 주위의 대체 배경을 "축소시키기" 위해 이용될 수 있다.

그러나, 도 7A 또는 7B의 기법들에서 경계 픽셀들 내의 최초 경계 색 정보의 제거로 인해 전경 피사체의 끝이 잘릴 수 있다(truncated). 이것은 머리카락과 같은 미세한 세부가 손실되기 때문에 이미지의 사실성을 손상시킨다. 또한, 전경 피사체의 윤곽이 표시되거나(outlined) 대체 배경이 일그러질 수 있다.

최초 배경 색 정보의 복구에 대항하기 위한 다른 기법에서는, 경계 픽셀의 색이 경계 픽셀에 가까운 전경 픽셀들의 색들 중 하나 또는 그 색들의 조합으로 교체된다.

합성 이미지에서 전경과 배경 사이의 보다 사실적으로 보이는 경계를 산출하는 기법은 경계 픽셀 색을 이웃 전경 픽셀들의 하나 이상의 색들과 이웃 대체 배경 픽셀들의 하나 이상의 색들의 조합으로 교체한다. 최초 이미지 경계 픽셀의 전경 색은 이웃 전경 픽셀 색들의 가중 평균을 이용하여 추정된다. 최초 이미지 경계 픽셀의 배경 색은 이웃 배경 픽셀 색들의 가중 평균을 이용하여 추정된다. 최초 이미지 경계 픽셀은 2개의 색 성분들의 가중 평균으로서 모델링되고; 2개의 색 성분 중 하나는 경계 픽셀의 추정된 전경 색이고 다른 하나는 경계 픽셀의 추정된 배경 색이다. 가중 평균의 2개의 가중치들은 가중 평균이 최초 이미지 내의 경계 픽셀의 색에 가능한 한 가깝도록 그리고 가중치들의 합계가 1이 되도록 결정된다. 가중치들의 결정은 목표 경계 픽셀 내의 최초 배경의 퍼센티지를 결정한다. 경계 픽셀에 대한 교체 색은 가중 평균에서 최초 배경의 추정된 색 대신에 다른 색으로 대체하는 것에 의해 결정된다. 따라서, 소망의 색이 비례하여 대체물로서 이용될 수 있다. 예를 들면, 가중 평균에서 최초 배경의 추정된 색을 교체하는 색은 대체 배경의 대응하는 픽셀의 색일 수 있다. 최초 배경 색을 교체하기 위해 선택된 색은 모든 경계 픽셀에 대하여 동일할 수 있고 또는 목표 경계 셀의 위치에 따라서 변화할 수 있다.

도 8A에 도시된 예에서는, 경계 픽셀이 최초 전경 색(627) 및 최초 배경 색(900)의 가중 평균을 포함한다. 가중 평균에서 색(900) 대신에 이웃 대체 배경 픽셀들(893 및 855)의 색들에 가까운 교체 배경 색으로 대체되어 도 8B에 도시된 합성 이미지에서 색(763)을 산출할 수 있다. 목표 경계 픽셀의 결과 색은 전경 및 대체 배경 양쪽 모두의 색들에 의존하는 색을 포함하고, 이로써 최초 배경에 관한 정보를 감소시키면서 최초 전경에 관한 정보를 유지한다.

도 9A 및 9B는 하나의 실시예에 따른 순서도들이다. 단계(900)에서는, 통신 세션이 시작된다. 통신 세션은, 예를 들면, 다른 사람들과의 영상 회의 또는 저장 및 나중의 재생을 위해 영상을 기록하는 것을 포함할 수 있다. 단계(902)에서는, 셀 폰 또는 랩톱과 같은 전자 장치 상의 하나 이상의 카메라들을 이용하여 이미지가 캡처된다. 이 이미지는 전자 장치 상에 로컬로 또는 다른 장치 상에 원격으로(또는 양쪽 모두에) 저장된다. 이미지는 유선 또는 무선 연결을 통하여 또는 메모리 스틱 또는 저장 디스크와 같은 이동식 저장 장치를 이용하여 이 다른 장치에 전달될 수 있다. 어쨌든, 이미지는 그 이미지를 수정하는 프로세서를 포함하는 장치에 제공된다. 구체적으로, 프로세서는 단계(904)에서 이미지의 최초 배경으로부터 이미지의 전경을 분리하는 공지된 알고리즘을 포함하고, 그의 예들은 앞에 제공되었다. 상기한 바와 같이, 이 알고리즘은 분리를 수행하기 위해, 예를 들면, 픽셀들의 깊이 및/또는 색 정보를 이용할 수 있다. 일단 분리되면, 전경 및 배경은 원한다면 메모리에 따로따로 저장될 수 있다.

그 후 단계(906)에서 상기 기법들 중 하나와 유사한 방식으로 경계 픽셀이 결정된다. 비록 단계(904)에서의 전경 및 배경의 분리 후에 도시되어 있지만, 단계(906)는 단계(904)에서의 분리 전에 또는 그와 동시에 수행될 수 있다. 다음으로 단계(908)에서 대체 배경이 선택되지만, 전과 마찬가지로, 이것은 최초 배경 대신에 대체되기 전에 프로세스의 임의의 시점에서(예를 들면, 이미지가 캡처되거나 또는 단계(900)에서 세션이 시작되기 전이라도) 일어날 수 있다. 그 후 단계(910)에서 경계 픽셀이 이미지 내의 픽셀들을 분석하고 교체되어야 하는지 또는 이미지 내의 픽셀들을 분석하지 않고 교체되어야 하는지에 따라서 상이한 방법들이 취해질 수 있다.

만약 보다 사실적인 이미지를 원한다면, 경계 픽셀 교체 전에 추가의 분석이 수행되고 도 9B의 단계(916)에서 시작된다. 단계(916)에서는 목표 경계 픽셀이 선택되고 목표 경계 픽셀 내의 전경의 색 및 퍼센티지가 결정된다. 예를 들면, 색은 앞에 설명된 바와 같이 결정될 수 있다. 형상은, 예를 들면, 스플라인 모델과 같은 곡선 모델들을 경계에 피팅(fitting)하여 경계의 서브픽셀 로컬라이제이션(subpixel localization)을 결정하는 것에 의해 결정될 수 있다. 하나의 실시예에서, 이 결정을 행하기 위해 이웃 전경 픽셀들, 대체 배경 픽셀들, 및/또는 다른 경계 픽셀들 내의 정보가 이용된다. 특히, 단계(918)에서 목표 경계 픽셀 내의 전경 대 배경의 대략의 비율이 결정되지만, 목표 경계 픽셀 내의 전경의 정확한 곡률은 확인되지 않을 수 있다. 전경의 색(및 퍼센티지)은 목표 경계 픽셀 내의 배경의 색(및 나머지 퍼센티지)이 새로운 색으로 교체되어야 하는 동안에 계속 유지되어야 한다. 단계(920)에서는, 이 새로운 색이 목표 경계 픽셀 부근의 대체 배경의 색에 관련될 수 있고 소망대로 선택될 수 있다. 전자의 경우에, 프로세서는 단계(922)에서 목표 경계 픽셀의 가까이에 있는 하나 이상의 대체 배경 픽셀들을 검사하고 적당한 색을 선택하는 알고리즘을 실행한다. 후자의 경우에, 프로세서는 단계(924)에서 단지 이미지가 획득된 후에 확립되는 그 목표 경계 픽셀의 교체를 위하여 사용자에 의해 설정된 미리 결정된 색을 선택하거나 또는 소망의 색들의 세트로부터 임의의 색을 선택한다. 만약 미리 결정된 색이 이용된다면, 그 색은 전경의 전체 경계를 따라서 동일할 수 있고(예를 들면, 블랙) 또는 경계를 따라서 소망대로 변화할 수 있다. 이 경우, 경계 색은 위치, 전경/배경 비율, 전경의 색과 같은 목표 경계 픽셀의 하나 이상의 특성들, 및/또는 그들의 위치들, 만일 있다면 전경/배경 비율들, 또는 색들과 같은 이웃 픽셀들의 하나 이상의 특성들에 따라서 변화할 수 있다. 만약 임의의 색이 이용된다면, 프로세서는 무작위화 선택(randomization selection)을 위한 임의의 공지된 기법을 이용하여 그 색을 임의로 선택할 수 있다.

그 후 단계(926)에서는 메모리에 저장된 전경의 색 및 퍼센티지 및 위에 결정된 새로운 색의 색 및 나머지 퍼센티지를 이용하여 목표 경계 픽셀의 색이 재구성된다(reformulated). 그 후 단계(928)에서는 최초 목표 경계 픽셀이 재구성된 목표 경계 픽셀로 교체된다. 만약 전경의 전체 경계(즉, 목표 경계 픽셀들 전부), 또는 적어도 경계 픽셀들의 소망의 서브세트가 교체되지 않았다면, 단계(930)에서 새로운 목표 경계 픽셀이 선택되고 프로세스는 단계(916)에서 색 및 퍼센티지를 결정하는 것으로부터 반복한다.

만약 보다 적은 계산을 원한다면, 목표 경계 픽셀이 선택되고 추가의 분석을 수행하지 않고 교체 색으로 대체된다(즉, 최초 배경 색 대 전경 색의 비율을 분석하여 그 비율만을 대체하지 않고, 교체 색은 경계 픽셀 내의 임의의 색 성분들과 관계없다). 단계(940)에서는, 교체 색이 목표 경계 픽셀 부근의 대체 배경의 색에 관련될 수 있고 또는 소망대로 선택될 수 있다. 전자의 경우에, 프로세서는 단계(942)에서 상기와 유사한 방식으로 목표 경계 픽셀의 가까이에 있는 하나 이상의 대체 배경 픽셀들을 검사하고 적당한 색을 선택하는 알고리즘을 실행한다. 후자의 경우에, 프로세서는 단계(944)에서 단지 이미지가 분석되기 전에 확립되는 미리 결정된 색을 선택하거나 또는 소망의 색들의 세트로부터 임의의 색을 선택한다. 후자의 경우에 이 선택된 색은 전경의 경계를 따라서 소망대로 변화할 수 있다. 그 후 단계(946)에서 최초 목표 경계 픽셀이 교체된다. 만약 전경의 전체 경계(즉, 목표 경계 픽셀들 전부), 또는 적어도 경계 픽셀들의 소망의 서브세트가 교체되지 않았다면, 단계(948)에서 새로운 목표 경계 픽셀이 선택되고 프로세스는 단계(940)에서 새로운 색을 결정하는 것으로부터 반복한다.

추가의 분석이 수행되든 수행되지 않든 간에, 일단 전경의 전체 경계가 수정되었거나(즉, 소망의 목표 픽셀들 전부가 교체되었거나) 또는 적어도 그의 상당한 부분이 수정되었다면, 단계(912)에서 선택된 대체 배경은 수정된 경계 픽셀들을 포함하는 전경과 조합되어 합성 이미지를 형성한다. 이 합성 이미지는 그 후 메모리에 저장되고 단계(914)에서 뷰어들(원한다면 전경 내의 피사체를 포함함)에 제공된다. 합성 이미지는 실시간 통신을 제공하기 위해 장치에서 로컬로 또는 원격으로 버퍼링될 수 있고 또는 나중의 사용을 위해 저장될 수 있다. 이 기술 분야의 숙련자들은 본 발명의 정신으로부터 일탈하지 않고 단계들의 순서가 변경될 수 있다는 것을 이해할 것이다. 예를 들면, 선택된 대체 배경은 경계 픽셀들의 수정 전에 전경과 조합될 수 있다.

이미지 캡처를 수행하는 장치 및 프로세서는 처리를 수행하는 장치, 통신하기 위해 이용되는 장치, 및/또는 이미지 또는 배경을 저장하는 장치와 다를 수 있다는 것에 주목한다. 이러한 장치들은 서로에 대해 로컬이거나 원격이고 시스템 내에 존재할 수 있다. 또한, 비록 앞에 설명되지는 않았지만, 이미지의 전경은 배경 대체 전에 또는 후에 공지된 알고리즘들을 이용하여 개별적으로 변경될 수 있다. 또한, 만약 예를 들어 전력 또는 처리 능력이 경계 픽셀들의 수정 동안에 문제가 된다면, 수정이 실시되는 방식이 변경될 수 있고(예를 들면 분석으로부터 미리 결정된 색으로의 단순 교체로) 또는 만약, 예를 들면, 경계 픽셀들의 충분한 퍼센티지가 이미 수정되었다면 완전히 종료될 수 있다. 이 퍼센티지는 경계 픽셀들의 총수의 미리 결정된 퍼센티지(예를 들면, 90-99%)일 수 있고 또는 전경의 움직임에 의존할 수 있다. 유사하게, 경계 픽셀 교체는 영상 내의 모든 이미지들에서 또는 이미지들 중 일부에서만 일어날 수 있다.

추가적인 실시예에서는, 최초 배경을 대체하기 위해 대체 배경 또는 미리 결정된 색을 이용하기보다는, 이러한 경계 픽셀들에 제2 이미지를 암호화하는 알고리즘이 이용될 수 있다. 이것을 실행하기 위해, 알고리즘은 경계 픽셀들에서 제2 이미지의 부분을 취하고 제2 이미지의 그 부분의 색들을, 위에서 대체 배경 픽셀들을 경계 픽셀들에 인코딩하는 것과 유사한 방식으로, 경계 픽셀들에 인코딩한다. 전경 피사체(즉 사용자)가 제2 이미지를 포함하는 분리된 이미지들에 의해 생성된 영상의 진행 동안에 제2 이미지의 전체 프레임에 걸쳐서 움직인다고 가정하여, 제2 이미지에 포함된 정보가 영상에 인코딩된다. 제2 이미지의 사이즈는 전경 및 최초 배경을 포함하는 캡처된 이미지의 사이즈와 다를 수 있기 때문에, 전경 피사체의 움직임은 제2 이미지를 재구성할 수 있을 캡처된 이미지의 프레임보다 더 작은 면적을 커버할 수 있다. 일단 전송되거나 다른 방법으로 전달되면, 영상의 경계 픽셀들에 포함된 제2 이미지의 정보를 추출하고 따라서 제2 이미지를 재편성하기 위해 앞에 설명된 것과 유사한 복구 알고리즘이 프로세서에 의해 이용될 수 있다.

"이웃 픽셀"(neighboring pixel)과 같은 용어들은 인접한(즉, 측면 또는 모서리를 공유하는) 또는 가까이에 있지만 인접하지 않은 픽셀들을 지시할 수 있다.

물론, 경계 픽셀들에서 최초 배경 색을 제거하기 위해 이미지를 수정하는 상기 방법들에 더하여, 수정되지 않은 이미지로부터 최초 배경 색이 추출될 수 있다. 경계 픽셀로부터 최초 배경 색을 추출하기 위하여, 다수의 상기 기법들이 개별적으로 또는 조합하여 이용될 수 있다. 예를 들면, 경계 픽셀의 전경 색(들)을 결정하기 위해 하나 이상의 이웃 전경 픽셀들의 색(들)이 이용될 수 있고, 경계 픽셀 내의 가능한 배경 색들은 경계 픽셀 내의 전경 색 및/또는 경계 픽셀의 색에 기초하여 색 공간의 소구역(subregion) 안에 있도록 제한될 수 있고, 및/또는 가능한 배경 색들이 얼마나 최초 배경 색일 것 같은지에 따라서 목표 경계 픽셀 내의 가능한 최초 배경 색들에 스코어가 매겨질 수 있다(scored). 경계 픽셀에서 최초 배경 색을 추출하기 위해 목표 경계 픽셀의 전경 색, 제약들, 또는 스코어들 중 적어도 하나가 다른 경계 픽셀로부터의 전경 색, 제약들, 또는 스코어들 중 적어도 하나와 조합될 수 있다. 다른 경계 픽셀은 동일한 이미지 내의 또는 상이한 이미지(예를 들면, 양쪽 이미지들을 포함하는 영상 내의 다른 이미지) 내의 경계 픽셀일 수 있다.

이 문서에서 사용된 용어들 및 표현들은 이 문서에서 다른 특정한 의미가 제시된 경우를 제외하고는 그들의 대응하는 각각의 조사 및 연구 분야들에 관하여 그러한 용어들 및 표현들에 주어지는 통상의 의미를 갖는다는 것을 이해할 것이다. 제1 및 제2 등과 같은 관계 용어들은 단지 하나의 엔티티 또는 액션을 다른 엔티티 또는 액션과 구별하기 위해 이용될 수 있고 반드시 그러한 엔티티들 또는 액션들 사이에 임의의 실제의 그러한 관계 또는 순서를 요구하거나 암시하는 것은 아니다. 용어들 "comprises", "comprising", 또는 그것의 임의의 다른 변형은, 엘리먼트들의 목록을 포함하는(comprises) 프로세스, 방법, 물건, 또는 장치가 그 엘리먼트들만을 포함하지 않고 명백히 열거되지 않은 또는 그러한 프로세스, 방법, 물건, 또는 장치에 내재해 있는 다른 엘리먼트들을 포함할 수 있도록, 비배타적인 포함(non-exclusive inclusion)을 포함하는 것으로 의도된다. 다르게 구체적으로 지시되지 않는 한은, 이 명세서에서 단일 엘리먼트의 사용은 그 엘리먼트를 포함하는 프로세스, 방법, 물건, 또는 장치에 추가적인 동일한 엘리먼트들의 존재를 배제하지 않는다. 예를 들면, 청구항에서 용어 "a"의 사용은 그 뒤에 오는 용어들 중 하나 이상을 포함하는 것으로 의도된다.

이 명세의 요약서는 독자가 기술 명세의 본질을 신속히 확인하는 것을 가능하게 할 요약서를 요구하는 37 C.F.R. §1.72(b)에 따라서 제공된다. 그것은 그것이 청구항들의 범위 또는 의미를 해석하거나 제한하기 위해 이용되지 않을 것이라는 조건으로 제출된다. 또한, 전술한 상세한 설명에서는, 명세를 능률화하기 위하여 단일 실시예에 다양한 특징들이 함께 모아져 있는 것을 알 수 있다. 이 명세의 방법은 청구된 실시예들이 각 청구항에서 명백히 기재된 것보다 더 많은 특징들을 필요로 한다는 의도를 반영하는 것으로 해석되지 않아야 한다. 도리어, 다음의 청구항들이 반영하는 바와 같이, 본 발명의 내용은 단일의 개시된 실시예의 모든 특징들보다 적은 특징들에 있다. 따라서, 다음의 청구항들은 이로써 상세한 설명에 통합되고, 각 청구항은 개별적으로 청구된 내용으로서 독립해 있다.

이 기술의 숙련자들은 청구항들에 의해 정의된 발명의 범위 및 정신으로부터 일탈하지 않고 앞에 설명된 실시예들에 관하여 매우 다양한 수정들, 변경들, 및 조합들이 이루어질 수 있고, 그러한 수정들, 변경들, 및 조합들이 본 발명의 개념 내에 있는 것으로 간주되어야 한다는 것을 인지할 것이다. 따라서, 본 명세서 및 도면들은 제한적인 점에서보다는 설명적인 점에서 고려되어야 하고, 모든 그러한 수정들은 본 발명의 범위 내에 포함되는 것으로 의도된다. 이익들, 이점들, 문제의 해법들, 및 임의의 이익, 이점, 또는 해법이 일어나거나 또는 더욱 두드러지게 할 수 있는 임의의 엘리먼트(들)는 임의의 또는 모든 청구항들의 결정적인, 필수적인, 또는 본질적인 특징들 또는 엘리먼트들로서 해석되지 않아야 한다. 본 발명은 발행된 청구항들의 임의의 보정들 및 모든 등가물들을 포함하는 첨부된 청구항들에 의해서만 정의된다.

Claims

전경(foreground), 최초 또는 대체 배경(original or substitute background), 및 상기 전경과 상기 최초 또는 대체 배경 사이의 경계 상의 경계 픽셀들을 포함하는 이미지를 수정하는 방법으로서,
상기 경계 픽셀들 중 목표 경계 픽셀을 결정하는 단계;
상기 목표 경계 픽셀 내의 최초 배경의 색과는 상이한 상기 목표 경계 픽셀에 대한 교체 색을 선택하는 단계 ― 상기 교체 색은, 상기 목표 경계 픽셀에 이웃하는 이웃 전경 픽셀, 상기 목표 경계 픽셀에 이웃하는 이웃 최초 배경 픽셀, 상기 목표 경계 픽셀, 상기 목표 경계 픽셀 이외의 경계 픽셀 중 적어도 하나의 색, 미리 결정된 교체 색, 및 교체 색들의 세트로부터 임의로 선택된 색 중 적어도 하나에 기초하여 선택됨 ―;
상기 선택된 교체 색에 기초하여 수정된 목표 경계 픽셀의 색을 확립하는 단계; 및
상기 목표 경계 픽셀의 색을 상기 수정된 목표 경계 픽셀의 색으로 교체하는 단계
를 포함하는 이미지 수정 방법.
제1항에 있어서, 상기 경계 픽셀들의 미리 결정된 퍼센티지(percentage)가 수정된 경계 픽셀들로 교체될 때까지 상기 결정하는 단계, 선택하는 단계, 확립하는 단계, 및 교체하는 단계를 반복하는 단계를 더 포함하는 이미지 수정 방법.
제2항에 있어서, 상기 선택하는 단계는 상기 미리 결정된 교체 색을 선택하는 단계 및 상기 목표 경계 픽셀의 특성 또는 상기 목표 경계 픽셀의 이웃 픽셀의 특성에 따라서 상기 전경의 경계를 따라서 상기 미리 결정된 교체 색을 변경하는 단계를 포함하는 이미지 수정 방법.
제2항에 있어서, 대체 배경이 제공되고, 상기 선택하는 단계는 상기 수정된 경계 픽셀들 중 적어도 하나에 대하여 상기 이웃 최초 배경 픽셀 내의 상기 대체 배경의 색에 따라서 상기 교체 색을 선택하는 단계를 포함하는 이미지 수정 방법.
제2항에 있어서, 상기 선택하는 단계는 상기 미리 결정된 교체 색을 선택하는 단계 및 상기 경계 픽셀들을 따라 단일 교체 색을 유지하는 단계를 포함하는 이미지 수정 방법.
제1항에 있어서,
(a) 상기 경계 픽셀들의 미리 결정된 퍼센티지(percentage)가 수정된 경계 픽셀들로 교체될 때까지 상기 결정하는 단계, 선택하는 단계, 확립하는 단계, 및 교체하는 단계를 반복하는 단계; 및
(b) 영상 내의 복수의 이미지들의 각 이미지에 대하여 (a)를 반복하는 단계
를 더 포함하는 이미지 수정 방법.
제1항에 있어서, 상기 목표 경계 픽셀의 색은 전경의 색 및 최초 배경의 색 양쪽 모두의 성분들을 갖고,
상기 선택하는 단계는,
상기 목표 경계 픽셀 내의 상기 최초 배경의 색 및 상기 전경의 색을 결정하는 단계; 및
상기 목표 경계 픽셀 내의 최초 배경 대 전경의 비율을 결정하는 단계를 포함하고,
상기 확립하는 단계는 상기 목표 경계 픽셀의 상기 전경의 색 및 상기 목표 경계 픽셀 내의 최초 배경의 퍼센티지에 기초하여 상기 목표 경계 픽셀의 색을 재구성하는(reformulating) 단계를 포함하고, 상기 목표 경계 픽셀 내의 상기 최초 배경의 색은 상기 수정된 목표 경계 픽셀의 색을 제공하기 위해 상기 목표 경계 픽셀 내의 상기 최초 배경의 퍼센티지에 비례하여 상기 선택된 교체 색으로 교체되는 이미지 수정 방법.
제7항에 있어서, 상기 경계 픽셀들의 미리 결정된 퍼센티지(percentage)가 수정된 경계 픽셀들로 교체될 때까지 상기 결정하는 단계, 선택하는 단계, 확립하는 단계, 및 교체하는 단계를 반복하는 단계를 더 포함하는 이미지 수정 방법.
제8항에 있어서, 상기 선택하는 단계는 상기 미리 결정된 교체 색을 선택하는 단계 및 상기 목표 경계 픽셀의 특성 또는 상기 목표 경계 픽셀의 이웃 픽셀의 특성에 따라서 상기 전경의 경계를 따라서 상기 미리 결정된 교체 색을 변경하는 단계를 포함하는 이미지 수정 방법.
제8항에 있어서, 대체 배경이 제공되고, 상기 선택하는 단계는 상기 수정된 경계 픽셀들 중 적어도 하나에 대하여 상기 이웃 최초 배경 픽셀 내의 상기 대체 배경의 색에 따라서 상기 교체 색을 선택하는 단계를 포함하는 이미지 수정 방법.
제1항에 있어서, 상기 목표 경계 픽셀의 색은 전경의 색 및 최초 배경의 색 중 상기 최초 배경 색의 성분만을 갖는 이미지 수정 방법.
제1항에 있어서, 상기 교체 색은 상기 목표 경계 픽셀 내의 어떤 색 성분들과도 상이한 이미지 수정 방법.
이미지 내의 경계 픽셀들로부터 최초 배경의 복구를 방지하는 방법 ― 상기 이미지는 전경, 상기 이미지의 상기 최초 배경과는 다른 대체 배경, 및 상기 전경과 상기 대체 배경 사이의 경계 상의 상기 최초 배경의 색 성분을 포함하는 경계 픽셀들을 포함함 ― 으로서,
상기 경계 픽셀들 중 목표 경계 픽셀을 선택하는 단계; 및
상기 목표 경계 픽셀을 다시 채색하는(recoloring) 것에 의해 상기 목표 경계 픽셀로부터 상기 목표 경계 픽셀의 상기 최초 배경 색이 추출되는 것을 방지하는 단계
를 포함하는 방법.
제13항에 있어서, (a) 상기 경계 픽셀들의 미리 결정된 퍼센티지가 다시 채색된 경계 픽셀들로 교체될 때까지 상기 선택하는 단계 및 방지하는 단계를 반복하는 단계를 더 포함하는 방법.
제14항에 있어서, (b) 영상 내의 복수의 이미지들의 각 이미지에 대하여 (a)를 반복하는 단계를 더 포함하는 방법.
제13항에 있어서, 상기 목표 경계 픽셀은 다시 채색된 목표 경계 픽셀의 색이 상기 목표 경계 픽셀 내의 어떤 색 성분들과도 상이하도록 다시 채색되는 방법.
제13항에 있어서, 상기 목표 경계 픽셀의 색은 전경의 색 및 최초 배경의 색 양쪽 모두의 성분들을 갖고, 상기 방지하는 단계는,
상기 목표 경계 픽셀 내의 상기 최초 배경의 색 및 상기 전경의 색을 결정하는 단계;
상기 목표 경계 픽셀 내의 최초 배경 대 전경의 비율을 결정하는 단계; 및
상기 목표 경계 픽셀 내의 상기 최초 배경의 색이 상기 목표 경계 픽셀 내의 상기 최초 배경의 퍼센티지에 비례하여 다시 채색된 목표 경계 픽셀로 교체되도록 상기 목표 경계 픽셀의 상기 전경의 색 및 상기 목표 경계 픽셀 내의 상기 최초 배경의 퍼센티지에 기초하여 상기 목표 경계 픽셀을 다시 채색하는 단계
를 포함하는 방법.
전경, 대체 배경을 포함하고, 경계 픽셀들 내에, 최초 배경을 포함하는 이미지를 수정하는 프로세서를 포함하는 장치로서, 상기 프로세서는,
상기 경계 픽셀들 중 적어도 일부를 결정하고;
상기 경계 픽셀들 중 상기 적어도 일부의 목표 경계 픽셀에 대하여 상기 최초 배경의 색과는 상이한 교체 색을 선택하고 ― 상기 교체 색은 상기 목표 경계 픽셀에 이웃하는 이웃 전경 픽셀들, 상기 목표 경계 픽셀에 이웃하는 이웃 최초 배경 픽셀들, 다른 경계 픽셀들, 미리 결정된 교체 색, 및 교체 색들의 세트로부터 임의로 선택된 색 중 적어도 하나에 기초하여 선택됨 ―;
상기 선택된 교체 색에 기초하여 수정된 목표 경계 픽셀의 색을 확립하고;
상기 목표 경계 픽셀을 상기 수정된 목표 경계 픽셀로 교체하고;
상기 경계 픽셀들의 미리 결정된 퍼센티지가 수정된 경계 픽셀들로 교체될 때까지 상기 결정하고, 선택하고, 확립하고, 교체하는 것을 반복하는 장치.
제18항에 있어서, 상기 프로세서는 상기 교체 색으로서 상기 미리 결정된 교체 색을 선택하고 상기 목표 경계 픽셀의 특성 또는 상기 목표 경계 픽셀의 이웃 픽셀의 특성에 따라서 상기 전경의 경계를 따라서 상기 미리 결정된 교체 색을 변경하는 장치.
제19항에 있어서, 상기 프로세서는 상기 이웃 최초 배경 픽셀들 내의 상기 대체 배경의 색에 따라서 상기 미리 결정된 교체 색을 선택하는 장치.
제18항에 있어서,
상기 선택하는 것은,
상기 목표 경계 픽셀의 상기 최초 배경의 색 및 상기 전경의 색을 결정하는 것; 및
상기 목표 경계 픽셀 내의 최초 배경 대 전경의 비율을 결정하는 것을 포함하고,
상기 확립하는 것은 상기 목표 경계 픽셀의 상기 전경의 색 및 상기 목표 경계 픽셀 내의 최초 배경의 퍼센티지에 기초하여 상기 목표 경계 픽셀의 색을 재구성하는(reformulating) 것을 포함하고, 상기 목표 경계 픽셀 내의 상기 최초 배경은 상기 수정된 목표 경계 픽셀의 색을 제공하기 위해 상기 선택된 색으로 교체되는 장치.