KR101468347B1 - 이미지 내 가상 시각 정보를 식별하는 방법 및 장치 - Google Patents

Abstract

실제 시각 정보(real visual information) 및 가상 시각 정보(virtual visual information)를 포함하는 시각 장면(scene)의 연속적인 이미지의 제 1 시퀀스로부터 적어도 두 개의 이미지에 있는 가상 시각 정보를 식별하는 방법으로서, 적어도 두 개의 이미지 중 적어도 하나에서 특징점 검출(feature detection)을 수행하는 단계, 적어도 두 개의 이미지 사이에서 검출된 특징점의 이동(movement)을 결정함으로써 이동 세트를 얻는 단계, 세트 중 어떤 이동이 실질적으로 수직인 평면(vertical plane)에서 이동에 속하는지 결정함으로써 수직 이동 세트를 얻는 단계, 가상 시각 정보를 식별하기 위해, 수직 이동에 속하는 특징점을 적어도 두 개의 이미지 내의 가상 시각 정보와 관련시키는 단계를 포함한다. 상기 방법의 실시예를 수행하는 장치가 또한 공개된다.

Description

이미지 내 가상 시각 정보를 식별하는 방법 및 장치{METHOD AND ARRANGEMENT FOR IDENTIFYING VIRTUAL VISUAL INFORMATION IN IMAGES}

본 발명은 실제 시각 정보와 가상 시각 정보를 포함하는 시각 장면의 연속적인 이미지 시퀀스로부터 적어도 두 개의 이미지 안에 있는 가상 시각 정보를 식별하는 방법 및 장치에 관한 것이다.

하나 또는 그 이상의 카메라를 이용하여 실세계 장면(real-world scene)을 촬영할 때, 예를 들어, 투사에 의해 가상으로(virtually) 존재하는 것이 아닌, 현재의 사실에 있는 장면 객체를 촬영하기만 하는 것이 바람직하다. 예시는, 구분된 다수의 회의실에 물리적으로 위치한 다수의 사람 사이의 화상 회의(video conference)를 가능하게 하는 미래 화상 회의 시스템일 수 있다. 그러한 시스템에서, 모든 참여자가 위치된 가상 환경이 스크린상에서 투사에 의해 표현되거나, 실제 회의실 안에 있는 이용 가능한 하나 이상의 시각화 디바이스로 렌더링될 수 있다. 이러한 가상 환경의 렌더링이 가능하도록, 필요한 정보, 예를 들어, 어떤 사람이 참여하고 있는지, 그들의 움직임, 그들의 표정 등을 촬영하기 위해, 상이한 회의실에 위치되어 있는 카메라들이 사용된다. 하지만, 이러한 카메라들은 방 안의 실제 사람 및 객체뿐만 아니라, 예를 들어, 동일한 회의실 내의 큰 스크린상에 가상으로 렌더링되는 사람 및 객체도 추적한다. 물론 더 나은 화상 회의 경험이 가능하도록 실제 사람은 추적될 필요가 있는 반면, 그들의 투사는 그럴 필요가 없거나 적어도 다음 단계에서 필터링되어야 한다.

이러한 문제에 가능한 기존 해결책은, 조정된 카메라(calibrated cameras)와 협력하는 고정된 위치의 시각화 디바이스를 이용하는 것으로, 이는 원치 않는 시각 정보를 필터링하기 위한 간단한 규칙을 야기할 수 있다. 이것은 회의실 내 고정된 위치에 있는 전통적인 스크린에 사용될 수 있다.

이 해결책의 문제는 구성 요소(composition)가 미리 알려진, 비교적 정적인 장면에 대하여만 작동한다는 것이다. 또한 이 해결책은 쉬운 배치(deployability)를 요구하는 이러한 환경에서 문제점을 나타내는 수동 조정 단계를 요구한다. 다른 문제점은, 컨텐츠에 상관없이, 투사된 가상 컨텐츠의 스크린 영역에 대응하는, 촬영된 이미지 영역이 필터링 될 것이라는 사실과 관련된다. 이는 구식의 스크린에 적합할 수 있으나, 예를 들어, 말하는 사람의 컷-아웃 비디오를 디스플레이하는 경우, 디스플레이될 필요가 있는 무엇인가가 있을 때, 특정 영역만 불투명해지도록 하는 예를 들어, 반투명(translucent) 스크린과 같은 최신 스크린 기술에서는 더 이상 적합하지 않다. 이러한 경우, 특정 카메라에 대하여 '가상'으로서 할당된 영역이 모든 경우에서 시간에 맞지 않는다. 더욱이 이동하는 카메라는 이 해결책을 이용해서는 지원하기 어렵다.

그러므로, 본 발명의 실시예의 목적은 실제 시각 정보와 가상 시각 정보를 포함하는 시각 장면의 연속적인 이미지 시퀀스 중 적어도 두 개 이미지 내에서 가상 시각 정보를 식별하는 방법을 제공하는 것이지만, 종래의 기술 방법에 내재하는 문제점들을 나타내지는 않는다.

본 발명의 실시예에 따라, 이러한 목적은

상기 적어도 두 개의 이미지 중 적어도 하나에서 특징점 검출(feature detection)을 수행하는 단계,

상기 적어도 두 개의 이미지 사이에서 상기 검출된 특징점의 이동(movement)을 결정함으로써 이동 세트를 얻는 단계,

상기 세트 중 어떤 이동이 실질적으로 수직인 평면(vertical plane)에서의 이동에 속하는지 식별함으로써 수직 이동 세트를 식별하는 단계,

상기 가상 시각 정보를 식별하기 위해, 상기 수직 이동에 속하는 상기 특징점을 상기 적어도 두 개의 이미지 내 상기 가상 시각 정보와 관련시키는 단계를 포함하는 방법에 의해 달성된다.

이러한 방법으로, 수직 평면(vertical plane) 내 특징점 이동(movements of features)의 검출은 이러한 특징점과 관련된 이미지 부분의 가상 컨텐츠를 식별하는데 사용될 것이다. 이러한 특징점은 사람, 테이블, 벽, 스크린, 의자, 또는 입, 귀, 눈과 같은 사람의 일부와 같은 인식된 객체(recognized objects)일 수 있다. 또한 이러한 특징점들은 모서리, 선(lines), 경사(gradient), 또는 잘 알려진 SIFT(Scale Invariant Feature Transform) 알고리즘과 같은 알고리즘에 의해 제공되는 더 복잡한 특징점일 수 있다.

회의실 내의 가상 스크린 정보는 일반적으로 회의 참여자의 이미지를 포함하는데, 이는 일부 움직임, 예를 들어, 말하기, 쓰기, 머리 돌리기 등에 의한 일부 움직임들을 보통 나타내고, 스크린의 위치는 실질적으로 수직으로 고려될 수 있기 때문에, 이후 내용에서 수직 이동(vertical movements)으로 표시되는 수직면에서의 이동 검출(detection of movements)은 이미지상의 가상 시각 컨텐츠를 식별하는 간단한 방법이 될 수 있다. 왜냐하면, 투사된 사람이 아닌 실제 사람의 실제 이동은 일반적으로 수직 평면에 있는 것이 아닌 3차원 이동이기 때문이다. 그러므로 이렇게 식별된 가상 시각 정보는 그 이후 후속 이미지 또는 비디오 처리 단계에서의 이미지로부터 추가로 필터링될 수 있다.

본 방법의 일 실시예에서, 수직 이동은, 호모그래피(homography)에 의해 상기 특징점에 속하는 제 2 이동 세트의 이동과 관련된 상기 이동 세트의 이동으로서 식별되되, 상기 제 2 이동 세트는 제 2 이미지 시퀀스의 적어도 두 개의 다른 이미지로부터 얻어지고, 상기 제 1 이미지 시퀀스의 상기 적어도 두 개 이미지와 동일한 타이밍 인스턴스(timing instances)에 속한다.

두 개의 이동 세트 사이에서 호모그래피를 결정하는 것이 오히려 쉽고 간단한 작업이기 때문에, 이러한 실시예들은 수직 평면에서 이동 검출이 쉽게 가능하도록 한다. 이러한 이동은 일반적으로 수직 스크린상에 투사된 이동에 대응하는데, 그래서 이는 가상 시각 정보의 이동을 대표한다.

제 1 이동 세트는 제 1 비디오 시퀀스상에서 결정되는 반면, 제 2 이동 세트는, 제 2 카메라에 의해 찍힌 동일한 장면의 제 2 이미지 시퀀스, 또는 대안으로는 가상 정보를 포함하기만 하는 미리 결정된 시퀀스 중 하나로부터 결정된다. 이 미리 결정된 시퀀스는 예를 들어, 스크린상에 투사될 시퀀스에 해당할 수도 있고, 별도의 비디오 또는 TV 채널에 의해 장치로 제공될 수도 있다.

제 1 시퀀스의 이동을 제 2 시퀀스의 이동과 비교함으로써, 그리고 어떤 것이 호모그래피적으로 관련된 것인지 식별함으로써, 제 2 시퀀스의 일부 이동과 함께 호모그래피적인 관계를 가진 이동은, 평면에 있는 움직임이라는 것이 추론될 수 있다. 왜냐하면, 호모그래피적 관계의 특성이기 때문이다. 평면에 어떤 다른 움직임이 존재하지 않는 것이 장면 정보로부터 알려진다면, 즉, 예를 들어, 모든 사람이 테이블 주변에 앉아 있으면서 단지 움직이는 경우, 검출된 이동은 스크린상의 이동에 해당하는 것이고, 따라서 수직 평면에 놓여 있는 이동에 대응한다고 결론내려질 수 있다. 왜냐하면, 평면 내에서 다른 움직임은 없기 때문이다.

하지만 사람이 또한 회의실 주위에서 이동하는 경우, 이동은 또한 바닥(floor)의 수평면(horizontal plane)상에서 검출될 수 있다. 이러한 경우를 위해, 수평 이동을 필터링하는 추가 필터링 단계, 또는 대안으로는, 평면 내 검출된 모든 이동으로부터 수직 평면 내 이동만을 선택하는 추가 선택 단계가 적합할 수 있다.

일단 수직 이동이 발견되면, 이러한 수직 이동의 대응 특징점에 속하는 각 이미지 부분들이 가상 시각 정보로서 식별될 수 있다.

수직성(verticality)은 수평 참조 평면과 관련하여 결정되는데, 이는 예를 들어, 제 1 카메라의 수평 참조 평면 또는 회의실의 바닥에 대응할 수 있다. 이 수평 참조 평면에 관하여 일반적으로 90도인 정각(vertical angle)의 허용 오차(tolerances)는, 전형적으로 90도에서 10도 초과 및 10도 미만 범위이다.

본 발명은 또한 본 방법 실시예들을 수행하는 장치에 관한 실시예와 관련되고, 본 방법을 수행하는 코드를 포함하는 컴퓨터 프로그램 제품과 관련되고, 이러한 장치를 포함하는 이미지 분석기와 관련된다.

청구항에서 사용되는 '결합된'이라는 용어가 직접적인 연결로 한정되는 것으로 해석되어서는 안 된다는 것을 유의한다. 그러므로, '디바이스 B에 결합된 디바이스 A'라는 표혐의 범주는 디바이스 A의 출력이 디바이스B의 입력에 직접적으로 연결된 시스템 또는 디바이스에 한정되어서는 안 된다. 이것은 A의 출력과 B의 입력 사이에 경로가 존재하여 다른 디바이스 또는 수단을 포함하는 경로일 수 있다는 것을 의미한다.

청구항에서 사용되는 '포함하는'이라는 용어가 이후 열거되는 수단으로 제한되는 것으로 해석되어서는 안 된다는 것을 유의한다. 그러므로, '수단 A 및 B를 포함하는 디바이스'라는 표현의 범주는 부품 A 및 B만으로 구성된 디바이스로 제한되어서는 안 된다. 이것은 본 발명에 관하여 단지 디바이스의 관련 부품이 A와 B라는 것을 의미할 뿐이다.

첨부된 도면들과 함께 일 실시예에 관한 다음의 설명을 참조함으로써, 본 발명에 관한 위의 및 다른 목적과 특징이 더 명백해질 것이고 본 발명 자체가 가장 잘 이해될 것이다.
도 1은 본 방법의 제 1 변형에 관한 상위 레벨의 개략적인 실시예를 도시한다.
도 2a 내지 2b는 도 1의 모듈 200에 관한 더 상세한 구현을 도시한다.
도 3 내지 6은 본 방법의 다른 변형에 관한 더 상세한 구현을 도시한다.
설명 및 도면은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 본 명세서에 명시적으로 도시되거나 설명되지 않더라도, 본 발명의 원리를 구현하고 본 발명의 정신 및 범주 내에서 포함되는 다양한 장치들을 고안할 수 있을 것이다. 또한, 본 명세서에서 언급된 모든 예시들은, 읽는이로 하여금 기술 분야를 발전시키는 발명자(들)에 의해 기여된 개념 및 본 발명의 원리를 이해하도록 돕는 교수상의 목적만을 위한 것임이 주로 의도되고, 그러한 구체적으로 언급된 예시 및 조건들에 한정되지 않는 것으로 해석되어야 한다. 더욱이, 본 발명에 관한 원리, 특징점, 및 실시예들 뿐만 아니라 그것들의 예시를 언급하는 본 명세서의 모든 서술은 그것들의 등가물을 포괄하고자 한다.
당업자는 본 명세서에 있는 임의의 블록 다이어그램들은 본 발명의 원리를 구현하는 예시의 회로에 관한 개념을 표현하는 것임을 유념해야 한다. 비슷하게, 임의의 플로우차트, 플로우 다이어그램, 상태 천이 다이어그램, 유사 부호(pseudo code) 등은 다양한 프로세스를 표현하는데, 이는 컴퓨터 판독 가능한 매체에서 실질적으로 표현될 수 있고, 그러한 컴퓨터 또는 프로세서가 명시적으로 도시되어있든지 안 되어있든지, 컴퓨터 또는 프로세서에 의해 실행될 수 있다는 것을 유념해야 한다.

도 1은 본 방법의 제 1 실시예에 관한 상위 레벨의 개략적인 형식을 도시한다. 이미지 시퀀스로부터 두 개 이미지 I0t0 및 I0ti상에서 이동 특징점이 추출된다. 이미지 시퀀스는 예를 들어, 단독형 또는 내장된 비디오 카메라, 웹캠 등(소스 0으로 표시됨), 하나의 소스에 의해 기록되거나 제공된다. 각 이미지는 이 시퀀스로부터, 100 및 101로 표시된 단계에서, 시간상의 두 개 인스턴스(instances)에서, 선택되거나 취해지는데, 이러한 타이밍 인스턴스(timing instances)는 t0 및 ti로 표시된다. 시간상의 두 개의 인스턴스는, 유의미한(meaningful) 이동을 검출하도록 서로로부터 충분히 떨어져 있다. 이것은 사람의 이동을 포함할 수 있지만, 또한 예를 들어, 회의실 안의 다른 아이템의 다른 이동 또한 포함할 수 있다. 일반적인 값은 0.1초와 2초 사이이다.

이동 특징점 추출은 단계 200에서 발생한다. 이러한 이동 특징점은 모션 벡터 그 자체(motion vectors themselves)와 같이 특징점의 이동과 관련될 수 있거나, 대안으로는 단일 특징점에 속하는 모션 벡터들의 집합적인(aggregate) 시작점 및 끝점과 관련될 수 있는데, 이렇게 하여 이동 그 자체와 관련된 특징점과 더 관련된다. 특징점의 이러한 이동을 결정하는 방법은 도 2를 참조하여 설명된다.

일단 특징점의 이동이 결정되면, 이러한 특징점의 이동이 본 명세서에서 수직 평면(vertical plane)에서의 이동을 의미하는 수직 이동(vertical movements)에 속하는지가 단계 300에서 체크될 것이다. 수직 평면은 특정 허용 오차 내에 있는, 수평 참조 평면(horizontal reference plane)과 관련되어 정의된다. 이 수평 참조 평면은 예를 들어, 회의실의 바닥, 카메라의 수평 참조 평면 또는 제 1 이미지 시퀀스를 제공하는 소스에 해당할 수 있다. 전형적인 값은 이 수평 참조 평면에 대하여 80 내지 100이다. 수직 이동에 관한 이러한 결정이 실행되는 방법은 도 3을 참조하여 설명될 것이다. 수직 이동은 검색되는데, 이것은 식별될 가상 이미지가 수직 스크린상에 투사되는 사람 또는 사람의 아바타에 관한 이미지와 보통 관련된다는 사실과 관련되기 때문이다. 따라서, 수직 이동을 검출하는 것은 방 안에 있는 사람의 투사된 이미지/묘사(representations)를 식별할 수 있게 하는데, 이는 그 이후 가상 정보로서 식별될 것이다.

특징점의 이동이 수직 평면에 있는지를 결정하는 방법은 도 3 내지 4를 참조하여 설명될 것이다.

일단 수직 평면에 있는 특징점의 이동이 결정되면, 이러한 특징점들은 식별될 것이고, 소스의 촬영된 이미지의 각 이미지 부분(image parts)과 다시 관련된다. 이것은 단계 400 및 500에서 실시된다. 따라서 그 이후 이러한 이미지 부분은 식별되거나 가상 정보로 표시되는데, 이는 적합한 경우 필터링 될 수 있다.

도 2a 내지 2b는 특징점 이동 추출에 대한 보다 상세한 실시예를 도시한다. 제 1 단계 201 및 202에서, 특징점은 두 개 이미지 I0t0 및 I0ti 상에서 추출되고 검출된다. 특징점은 객체와 관련될 수 있고, 또한 모서리, 선(lines), 경사(gradient)와 같은 더 추상적인 아이템, 또는 SIFT(Scale Invariant Feature Transform) 알고리즘과 같은 알고리즘에 의해 제공되는 더 복잡한 특징점과 관련될 수 있다. 특징점 추출은 캐니 에지 코너 검출(canny edge corner detector) 또는 앞서 언급된 SIFT 방법과 같은 표준 방법을 이용하여 실시될 수 있다. 두 개 이미지 I0t0 및 I0ti가 동일한 장면을 기록하는 단일 소스에 의해 제공된 동일한 시퀀스로부터 오기 때문에, 두 개의 이미지 내에서 정합(matching)하거나 비슷한 특징점을 식별함으로써 이동을 검출하는 것이 가능하다. 하지만 픽셀들 또는 매크로블록들 사이에서 모션 벡터를 결정하는 종래의 블록 정합(block matching) 기술에 의해, 이 이미지의 검출된 특징점에 속한 모든 픽셀의 모션 벡터를 결정하는 전통적인 방법으로 이미지들 중 하나에서 특징점을 검출하기만 하고, 그 이후 이러한 특징점의 이동을 결정하는 것이 또한 가능하다(미도시).

따라서, 도 2a 내지 2b에서 묘사된 실시예들에서, 특징점 추출은 두 개 모두의 이미지상에서 수행되고 정합된 특징점들 사이의 변위(displacement)가 정합된 특징점들 사이의 모션 벡터나 이동을 제공한다. 이것은 특징점 당 단일 모션 벡터, 즉 예를 들어, 정합 객체의 중력점(gravity point)의 변위일 수 있고, 대안으로는 객체를 형성하는 픽셀들의 변위를 식별하기 위한 모션 벡터 그룹일 수 있다. 또한 이것은 특징점 추출이 하나의 이미지상에서만 수행되고, 이 특징점을 형성하는 모든 픽셀들의 변위가 계산되는 대안의 방법을 위한 경우일 수 있다. 또한, 이러한 경우, 하나의 단일 모션 벡터가 특징점의 이동 벡터를 나타내기 위해, 그룹에서 선택될 수 있다.

도 2a 내지 2b에서 하나의 이미지 및 다른 하나의 이미지 사이의 특징점의 정합 및 특징점 이동에 관한 대응하는 결정은 단계 203에서 실행되어 정합된 특징점 당 하나 또는 그 이상의 모션 벡터들을 발생시킨다. 이 결과는 도 2a 내지 2b에서 이동 벡터(movement vectors)로 표시된다. 유의미한 이동을 선택하기만 하도록, 선택적인 필터링 단계(204)가 존재할 수 있다. 이것은 예를 들어, 잡음으로 간주될 수 있는 작은 이동을 필터링하기 위해 사용될 수 있다. 이러한 필터링 단계는 보통 특정 임계값 아래에 있는 모든 검출된 이동을 제거함으로써 실행되는데, 이 임계값은 일반적으로 카메라 특성과 관련된다.

이 선택적 필터링 단계 결과는 유의미한 이동의 표시일 수 있는 모션 벡터이고, 이렇게 하여 특정 잡음 임계값(noise threshold)보다 위에 놓인다. 이러한 이동 벡터는 그 자체로, 도 2a에서의 경우와 같이 제공될 수 있고, 또는 도 2b와 같은 대안의 실시예와 같이, 특징점 당 모션 벡터의 시작점 및 끝점을 종합(aggregate)하는 것이 적합할 수 있다.

다음 단계에서, 검출된 특징점 이동이나, 또는 대안으로 특징점 이동과 관련된 특징점들은 그 이후 수직 평면 내 이동에 속하는지를 결정하기 위해 체크를 받는다.

도 3은 이러한 특징점 이동이 수직 평면 내 놓여 있는지 결정하기 위해 선호되는 실시예를 도시한다. 도 3의 실시예는, 식별된 특징점 이동 및 이러한 동일한 특징점의 제 2 이동 세트 사이에 호모그래피적인 관계가 존재하는지를 식별하는 수단에 의해 수행된다. 이 제 2 이동 세트는, 제 2 카메라 또는 소스로부터 녹화된 동일한 장면의 이미지의 제 2 시퀀스로부터, 유사한 방식으로 결정될 수 있다. 이 실시예는 도 3에 도시되는데, 여기서 제 2 소스는 소스 1로 표현되고, 제 2 소스로부터 선택된 이미지들은 I1t0 및 I1ti로 표현되어 있다. 이미지 I0t0 및 I1t0는 시간상으로 동일한 인스턴스에서 찍히게 된다. 이미지 I0ti 및 I1ti에 대해서도 위와 마찬가지이고, 타이밍 인스턴스는 여기서 ti로 표현된다.

대안으로는, 이 제 2 시퀀스는, 예를 들어, 가상 스크린상에 투사된 가상 시퀀스를 생성하도록 적응된 컴포우징 애플리케이션(composing application)으로부터, 외부에서 제공될 수 있다. 이 컴포우징 애플리케이션은 스크린상에 디스플레이될 컨텐츠를 제공하는 소스로서 장치에 제공될 수 있고, 그럼으로써 예를 들어, 하나의 큰 회의실 내 함께 회의하는 모든 사람들의 가상 장면과 같은 가상 정보를 포함하기만 한다. 가상 정보를 포함하기만 하는 이 시퀀스로부터, 인스턴스 t0 및 ti에서의 이미지들이 다시 촬영되는데, 이에 대하여 특징점 추출 및 특징점 이동 결정 연산이 수행된다. 그 이후 특징점 이동의 식별된 세트 두 개 모두는, 두 개 세트의 다수 이동 사이에 호모그래피적인 관계가 있는지를 결정하는 단계로 보내진다. 호모그래피적인 관계의 존재는 동일한 평면에 속하고 있는지를 나타낸다. 각각의 평면과 연관된 각각의 이동 세트가 얻어진다. 도 3은 그러한 호모그래피적인 관계가 얻어질 수 있는 방법을 도시하는데, 주로 잘 알려진 Random Sample Consensus의 축약인 RANSAC 알고리즘을 사용한다. 하지만, 소진적인 검색(exhaustive searching)과 같은 다른 방법이 또한 대안으로 사용될 수 있다.

이 단계의 결과는 하나 이상의 이동 세트인데, 각 이동 세트는 평면 내 이동에 속한다. 특히 또 다른 평면에서의 이동이 예상되는 상황을 위해, 수직 평면에 속하는 이동 세트를 선택하기만 하는 선택적 필터링 또는 선택 단계가 후속할 수 있다. 예를 들어 이것은 방 안에서 걷는 사랑의 경우 일 수 있는데, 이는 수평 바닥에서의 이동을 또한 생성할 것이다.

일부 실시예에서, 카메라와 관련된 평면의 방향은 수평으로 위치하는 것으로 가정될 수 있고, 그래서 참조 수평 평면을 표현하는 카메라 관련 평면은 호모그래피 분해(homography decomposition) 방법에 의해 호모그래피로부터 계산될 수 있는데, 호모그래피 분해 방법은 당업자에게 잘 알려져 있고, 예를 들어 http://hal.archives-ouvertes.fr/docs/00/17/47/39/PDF/RR-6303.pdf에 공개되어 있다. 이후 이러한 기술들은 평면상의 모든 이동 그룹으로부터 수직 이동을 선택하는데 사용될 수 있다.

수직 이동의 결정에서, 수직 이동과 관련된 특징점이 다시 결정되고, 뒤이어 이미지 I0t0 및 I0ti 내 각 부분으로 수직 이동의 특징점 매핑이 결정되는데, 이때 이미지 부분은 이후 가상 정보에 속하는 것으로서 식별된다.

동일한 장면을 녹화하는 제 2 카메라 또는 소스를 사용하는 일 실시예의 경우, 식별된 수직 이동은 또한 이미지 I1t0 및 I1ti 내 이미지 부분 및 특징점과 다시 관련될 수 있다.

도 4는 도 3과 유사한 실시예지만, 이전 인스턴스와 종합(aggregation)하는 추가적인 단계를 포함한다. 이 종합 단계는, 시간상으로 이전 인스턴스에서 결정된 특징점을 사용하는데, 이는 호모그래피의 결정 동안 도움이 될 수 있다.

도 5는 또 다른 실시예를 도시하는데, 여기서 두 개 소스의, 예컨대 시간상 복수의 인스턴스, 예를 들어, 비디오 시퀀스의 복수의 프레임이 정합하는 특징점을 찾기 위해 추적된다. 개별 특징점의 개별 이동을 추적하여 야기되는 합성(composite) 모션 벡터는 그 이후 두 개 모두의 시퀀스를 발생시킬 것이다. 이후 합성 경로를 따라 이동하는 특징점에 대해 호모그래피적인 관계가 검색될 것이다. 이는 동일 이동 경로 내의 특징점은 동일한 호모그래피 내에 있어야 한다는 지식을 가지는 이점이 있다. 이것은 문제에 관한 자유도(degrees of freedom)를 감소시켜 호모그래피에 의해 관련된 특징점에 관한 보다 쉬운 해결책을 가능하게 한다.

도 6은, 이동 경로를 따라 특징점을 추적하는 것에 의해, 그렇게 구성된 모션 벡터(composed motion vector)가 사용되는 방법에 관한 예시를 도시한다. 이것은 예를 들어, 너무 작은 이동에 대하여, 중간적인(intermediate) 필터링 연산을 수행하도록 한다.

본 발명의 원리는 특정 장치와 관련되어 위에서 설명되었으나, 이러한 설명은 예시로써만 만들어지고, 첨부된 청구항에서 정의된 것과 같은 본 발명의 범주에 대한 제한으로서 만들어진 것이 아님이 분명히 이해되어야 한다.

Claims (15)

1. 실제 시각 정보 및 가상 시각 정보를 포함하는 시각 장면(visual scene)의 연속적인 이미지의 제 1 시퀀스로부터 적어도 두 개의 이미지에 있는 상기 가상 시각 정보를 식별하는 방법으로서,
   상기 적어도 두 개의 이미지 중 적어도 하나에서 특징점 검출(feature detection)을 수행하는 단계,
   상기 적어도 두 개의 이미지 사이에서 상기 검출된 특징점의 이동(movement)을 결정함으로써 이동 세트를 얻는 단계,
   상기 세트 중 어떤 이동이 수직인 평면(vertical plane)에서의 이동에 속하는지 결정함으로써 수직 이동 세트를 얻는 단계,
   상기 가상 시각 정보를 식별하기 위해, 상기 수직 이동에 속하는 상기 특징점을 상기 적어도 두 개의 이미지 내의 상기 가상 시각 정보와 관련시키는 단계를 포함하는
   방법.
   
2. 제 1 항에 있어서,
   수직 이동은, 호모그래피(homography)에 의해 상기 특징점에 속하는 제 2 이동 세트의 이동과 관련된 상기 이동 세트의 이동으로서 식별되되, 상기 제 2 이동 세트는 제 2 이미지 시퀀스의 적어도 두 개의 다른 이미지로부터 얻어지고, 상기 제 1 이미지 시퀀스의 상기 적어도 두 개 이미지와 동일한 타이밍 인스턴스(timing instances)에 속하는
   방법.
   
3. 제 2 항에 있어서,
   상기 제 2 이미지 시퀀스는 상기 시각 장면을 녹화하는 제 2 카메라에 의해 제공되는
   방법.
   
4. 제 2 항에 있어서,
   상기 제 2 이미지 시퀀스 중 상기 적어도 두 개의 이미지는 상기 가상 정보만을 포함하는
   방법.
   
5. 제 2 항에 있어서,
   수직 평면 내에서 호모그래피에 의해 관련된 이동을 선택하는 단계를 더 포함하는
   방법.
   
6. 제 1 항에 있어서,
   상기 특징점의 이동 결정(movement determination)이 가능하도록, 상호 간의 시간적 분리에 기초하여 상기 제 1 시퀀스로부터 상기 적어도 두 개의 이미지를 선택하는 단계를 더 포함하는
   방법.
   
7. 제 1 항에 있어서,
   상기 수직인 평면은 상기 장면의 수평 참조 평면(horizontal reference plane)에 관하여 80도 및 100도 사이에서 경사각(tilting angle)을 가지는
   방법.
   
8. 실제 시각 정보 및 가상 시각 정보를 포함하는 시각 장면의 연속적인 이미지의 제 1 시퀀스로부터 적어도 두 개 이미지 내에서 상기 가상 시각 정보를 식별하는 장치로서, 상기 장치는 연속적인 이미지의 상기 제 1 시퀀스를 수신하도록 적응되고, 또한,
   상기 적어도 두 개 이미지 중 적어도 하나에서 특징점 검출을 수행하고,
   상기 적어도 두 개 이미지 사이에서 상기 검출된 특징점의 이동을 결정하여 이동 세트(set of movement)를 얻고,
   상기 세트 중 어떤 이동이 수직인 평면에서의 이동에 속하는지를 식별하여 수직 이동 세트를 얻고,
   상기 가상 시각 정보를 식별하기 위해, 상기 수직 이동에 속하는 상기 특징점을 상기 적어도 두 개의 이미지 내 상기 가상 시각 정보와 관련시키도록 적응된
   장치.
   
9. 제 8 항에 있어서,
   상기 장치는 수직 이동을, 호모그래피(homography)에 의해 상기 특징점에 속하는 제 2 이동 세트의 이동과 관련된 상기 세트의 이동으로서 식별하도록 더 적응되되, 상기 장치는 상기 장치에 제공된 제 2 이미지 시퀀스의 적어도 두 개의 다른 이미지로부터 상기 제 2 이동 세트를 얻도록 더 적응되고, 상기 제 2 이동 세트는 상기 제 1 이미지 시퀀스의 상기 적어도 두 개의 이미지와 동일한 타이밍 인스턴스(timing instances)에 속하는
   장치.
   
10. 제 9 항에 있어서,
    상기 장치로 상기 제 1 이미지 시퀀스를 제공하는 제 1 카메라와 같이 상기 시각 장면을 동시에 녹화하는 제 2 카메라로부터 상기 제 2 이미지 시퀀스를 수신하도록 더 적응된
    장치.
    
11. 제 9 항에 있어서,
    상기 제 2 이미지 시퀀스는 상기 가상 정보를 포함하기만 하여, 상기 장치는 상기 가상 정보를 제공하기만 하도록 상기 장치에 등록된 비디오 소스로부터 상기 제 2 이미지 시퀀스를 수신하도록 적응된
    장치.
    
12. 제 9 항에 있어서,
    수직 평면 내에서 호모그래피에 의해 관련된 이동을 선택하도록 더 적응된
    장치.
    
13. 제 8 항에 있어서,
    상기 특징점에 관한 이동 결정을 가능하게 하기 위해, 상기 적어도 두 개 이미지가 상호 간에 시간적으로 분리되도록, 상기 제 1 시퀀스로부터 상기 적어도 두 개 이미지를 선택하도록 더 적응된
    장치.
    
14. 제 8 항에 있어서,
    상기 수직인 평면은 상기 장면의 수평 참조 평면에 관하여 80도 및 100도 사이의 경사각을 갖는
    장치.
    
15. 데이터-프로세싱 장치상에서 실행될 때, 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법을 실행하도록 적응된 소프트웨어를 포함하는
    컴퓨터 판독 가능한 저장 매체.

Images