KR102186691B1 - 증강된 이미지 제작 시스템 - Google Patents

증강된 이미지 제작 시스템 Download PDF

Info

Publication number
KR102186691B1
KR102186691B1 KR1020197013687A KR20197013687A KR102186691B1 KR 102186691 B1 KR102186691 B1 KR 102186691B1 KR 1020197013687 A KR1020197013687 A KR 1020197013687A KR 20197013687 A KR20197013687 A KR 20197013687A KR 102186691 B1 KR102186691 B1 KR 102186691B1
Authority
KR
South Korea
Prior art keywords
image
module
animation
control data
state
Prior art date
Application number
KR1020197013687A
Other languages
English (en)
Other versions
KR20190067861A (ko
Inventor
랄프 드라곤
Original Assignee
우니크페에드 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 우니크페에드 아게 filed Critical 우니크페에드 아게
Publication of KR20190067861A publication Critical patent/KR20190067861A/ko
Application granted granted Critical
Publication of KR102186691B1 publication Critical patent/KR102186691B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명인 적어도 하나의 이미지 녹화 장치(12)와, 상기 이미지 녹화 장치(12)에 연결된 적어도 하나의 분석 모듈(14)과, 상기 분석 모듈(14)에 연결된 적어도 하나의 표시 장치(18)를 구비하는 증강된 이미지를 생성하는 시스템(10)에 관한 것으로, 상기 이미지 녹화 장치(12)는 이미지를, 특히 이미지 데이터를 상기 분석 모듈(14)에 전송하도록 구성되며, 상기 분석 모듈(14)은 제어 데이터(S2)를 상기 표시 장치(18)로 전송하도록 구성되며, 상기 제어 데이터(S2)는 이미지 내의 적어도 하나의 증강 표시를 위한 상기 이미지 데이터 및 명령 데이터를 포함하고, 상기 표시 장치는 상기 제어 데이터(S2)에 기초하여 녹화된 이미지 및 연관된 증강을 재제작하도록 구성되며, 상기 시스템(10)은 상기 분석 모듈(14)과 표시 장치(18) 사이의 전달 경로에 배치되는 확장 모듈(16)을 더 포함하며, 상기 분석 모듈(14)은 각각의 이미지에 대해 적어도 하나의 신뢰도 정보 (R2)를 생성하도록 추가로 구성되고, 상기 확장 모듈(16)은 상기 분석 모듈(14)로부터 상기 제어 데이터(S2) 및 상기 신뢰도 정보(R2)를 수신하고 상기 제어 데이터(S2) 및 신뢰도 정보(R2)를 기초하여 수정된 제어 데이터(S2b)를 생성하고 상기 수정된 제어 데이터를 상기 표시 장치(18)에 전송한다.

Description

증강된 이미지 제작 시스템
본 발명은 적어도 하나의 이미지 기록 장치, 상기 이미지 녹화 장치에 연결된 적어도 하나의 분석 모듈 및 상기 분석 모듈에 연결된 적어도 하나의 표시 장치를 포함하는 증강된 이미지 생성 시스템에 관한 것으로, 상기 이미지 녹화 장치는 이미지를, 특히 이미지 데이터를 상기 분석 모듈에 전송하도록 구성되며, 분석 모듈은 표시 장치에 제어 데이터를 전송하도록 구성되며, 제어 데이터는 이미지 내의 적어도 하나의 증강의 표시를 위한 이미지 데이터 및 명령 데이터를 포함하고, 표시 장치는 상기 제어 데이터에 기초하여 기록된 이미지 및 연관된 증강을 재제작하도록 구성된다.
이러한 시스템은 특히 소위 증강 현실 시스템에 사용된다. 이들은 일반적으로 카메라(이미지 녹화 장치), 처리 장치(분석 모듈) 및 디스플레이(표시 장치)로 구성된다. 상기 처리 장치는 카메라와 환경 사이의 기하학적 및 방사성 관계에 대한 정보를 식별하므로 사실적으로 보이는 물체를 연속적으로 장면에 삽입 할 수 있다. 상기 기하학적 관계는, 즉 공간에서의 카메라의 위치는, 예를 들어 외부 적외선 추적기, 상기 장면의 가시적 마커, 또는 가속 센서 또는 단계 센서에 의해 결정될 수 있다. 상기 방사성 관계는, 즉 녹화된 환경과 인위적으로 생성된 이미지 사이의 조명 차이는 예를 들어 템플릿과 현재 녹화 간의 강도 비교에 의해 결정될 수 있다.
그러나, 이러한 공지된 시스템에서, 카메라와 환경 사이의 기하학적 또는 방사성 관계를 검출하거나 계산하는 구성 요소에 어려움이 있거나 또는 다른 이유로 인해 현실적인 이미지가 생성될 수 없는 경우, 일반적으로 현실감이 없는 이미지 또는 어떤 증강 현실도 페이드 인되지 않는 이미지가 생성된다. 두 경우 모두 표시 장치에서 표시되는 이미지에서 부적절한 결과가 나타난다.
본 발명의 목적은 이미지의 증강을 위한 시스템을 제공하는 것이며, 이는 상기 단점을 피할 수 있게 한다.
이 문제의 해결을 위해, 상기 시스템은 분석 모듈과 표시 장치 사이의 전달 경로에 배치되는 확장 모듈을 더 포함하고, 상기 분석 모듈은 적어도 하나의 신뢰도 정보를 생성하고, 상기 확장 모듈은 상기 분석 모듈로부터 상기 제어 데이터 및 상기 신뢰도 정보를 수신하고, 상기 제어 데이터 및 상기 신뢰도 정보에 기초하여 수정된 제어 데이터를 생성하여 상기 표시 장치에 전송하도록 구성된다.
이 프로세스에서, 상기 확장 모듈은 신뢰도 정보를 이용하여, 예를 들어 센서의 측정 허용 오차를 고려하거나 센서 시스템이 어떤 상태(오작동 / 작동 중 등)인지를 결정할 수 있게 한다. 따라서, 일반적으로 표시 장치에 직접 전달되는 제어 데이터는 필요에 따라 확장 모듈에 의해 조정되고 변화되거나 수정되어, 상기 수정된 제어 데이터가 표시 장치로 전송되어 표시될 수 있으며, 특히 상기 이미지 녹화 장치에 의해 기록되어 상기 표시 장치에 의해 재제작된 이미지들 내의 증강들에 관해서 양호한 결과를 갖는 예를 나타낸다.
본 명세서에서 사용된 "증강(augmentation)"이라는 용어는 현실의 재제작에서의 일종의 증강 또는 변화를 지정하는 것을 의미한다. 예를 들어 현실에서 영어로 쓰여진 광고 메시지를 동일하게 스포츠 필드 배너 상이나, 텔레비전 방송을 볼 수 있는 대상 국가의 언어와 같은 다른 언어로 된 다른 광고 상에 겹쳐서 표시하는 것이다. 그러나 중첩이 제작 이미지를 변경하거나 증강할 수 있는 유일한 방법은 아니다. 오히려, 본 발명의 범위 내의 증강은 제작 이미지 자체가 부분적으로 변경되는 것으로 이해될 수 있다. 여기에 사용된 독일 용어 "Anreicherung"은 기술 용어에서 "Augmentierung"으로도 알려져 있으며 영어 용어 "augment"는 향상, 향상, 풍부화를 의미한다.
상기 확장 모듈은 상태 모듈 및 애니메이션 모듈을 가질 수 있으며, 상기 상태 모듈은 신뢰도 정보를 수신하고, 복수의, 특히 4 개의 상태 정보로부터 1개의 상태 정보를 선택하고, 선택된 상태 정보를 애니메니션 모듈로 전달하도록 구성된다. 이 프로세스에서, 상기 애니메이션 모듈은 상기 제어 데이터를 수신하고 상태 정보에 기초하여 수정된 제어 데이터를 생성하도록 구성 될 수 있다.
상기 애니메이션 모듈은 또한 상태 정보에 따라, 증강을 위한 스위치 온 상태에 대응하는 수정된 제어 데이터로서 증강을 위한 상기 이미지 데이터 및 명령 데이터를 전송하도록 구성될 수 있으며,
증강을 위한 스위치 오프 상태에 대응하는 수정된 제어 데이터로서 상기 이미지 데이터만을 전송하거나, 또는 상기 수정된 제어 데이터의 일부로서 전이(transition) 애니메이션을 전송할 수 있으며, 상기 전이 애니메이션은 스위치 온 상태와 스위치 오프 상태 간의 전환 시에 선택된다.
바람직하게는, 상기 전이 애니메이션은 이미지 녹화 장치에 의해 검출된 실제 데이터 및 표시될 증강의 데이터가 통합된 방식으로 처리되어 표시되는 방식으로 설계된다. 따라서 실제에 전이 애니메이션으로 통합하여 현실감이 얻어 질 수 있으며, 상기 시스템이 현재 증강을 표시하거나 증강 없이 실제 이미지를 나타낼 경우 표시 장치의 시청자에게 인식될 수 없다.
상기 애니메이션 모듈은 특정 수의 이미지를 갖는 전이 애니메이션을 생성하고 이를 애니메이션 버퍼에 저장하도록 구성된 실현 모듈을 포함할 수 있다. 또한, 상기 애니메이션 모듈은 컴퓨터 판독 가능 명령의 형태로 소정의 전이 애니메이션을 저장하도록 구성된 애니메이션 메모리를 포함할 수 있다. 따라서, 미리 제작되거나 쉽게 프로그래밍된 전이 애니메이션이 애니메이션 메모리에 제공 될 수 있다. 이들 저장된 전이 애니메이션은 상기 제어 데이터, 특히 신뢰도 정보 및 상태 정보에 따라 실현 모듈에 의해 상기 애니메이션 메모리로부터 판독될 수 있고, 상기 제어 데이터와 결합됨으로써 수정된 제어 데이터가 스위치 온 상태와 스위치 오프 상태 사이에서 전환을 가능하게 하는 상기 선택된 전이 애니메이션을 포함한다.
상기 애니메이션 모듈은 또한, 스위치 오프 상태에서, 상기 분석 모듈에 의해 제공된 제어 데이터로부터 증강을 위한 명령 데이터를 제거하고, 이미지 데이터를 수정된 제어 데이터로서 표시 장치로 전송만하도록 더 구성될 수 있다.
또한, 상기 애니메이션 모듈은 스위치 온 상태와 스위치 오프 상태 사이를 전환 할 때 전이 애니메이션이 원활하게 삽입되도록 상기 상태 정보에 따라 상기 분석 모듈의 제어 신호를 수정하도록 구성될 수 있다.
상기 전이 애니메이션은 가상 롤링 배너 또는 가상 창 등으로 실행될 수 있습니다.
전술된 스위치 온 상태와 스위치 오프 상태 사이의 전환은 스위치 온 상태에서 스위치 오프 상태로, 그리고 스위치 오프 상태에서 스위치로의 양 방향으로의 시프트를 포함한다는 것이 지적된다.
또한, 본 발명은 텔레비전 방송 시스템 및/또는 가상 광고 디스플레이 시스템 및/또는 증강 현실 시스템에서의 상술한 시스템의 사용에 관한 것이다.
본 발명에 따른 시스템은 현실을 증강(가상 객체)의 스위치-온 또는 스위치-오프 전이 애니메이션을 통하여 증강의 표시 또는 중첩과 관련된 시스템이 활성화(스위치 온 상태)시키거나 또는 비활성화(스위치 오프 상태)시키는지의 여부를 인식할 수 없도록 한다.
도 1은 증강된 이미지의 시스템의 단순화되고 개략적인 표현을 도시한다.
도 2는 시스템의 확장 모듈을 개략적인 및 간략화된 방식으로 도시한다.
도 3은 가능한 상태들 및 연관된 상태 전이들을 개략적으로 단순화된 방식으로 도시한다.
도 4는 확장 모듈의 애니메이션 모듈의 개략적인 단순화된 기능을 도시한다.
도 5는 가상 롤링 배너에 기초한 전이 애니메이션의 절차를 개략적이고 간략화된 방식으로 도시한다.
텔레비전 방송 시스템의 범위 내에서 본 명세서에 설명된 시스템을 사용하기 위해, 동일한 날짜에 출원된 동일한 출원인의 "증강된 이미지를 생성하기 위한 텔레비전 방송 시스템"이란 제목의 병렬 출원이 참조된다. 특히, 도 4 내지 도 6을 참조하여 상기 곱셈 모듈과 제어 모듈이 참조되고, 본 발명에 따른 시스템이 통합될 수 있다.
다음의 본문에서, 본 발명은 첨부 된 도면을 참조하여 예시적이고 제한 없이 설명된다.
도 1은 단순화되고 개략적인 방식으로 증강된 이미지를 생성하기 위한 시스템(10)의 다이어그램을 도시한다. 시스템(10)은 이미지 녹화 장치 또는 카메라(12)와, 분석 모듈(14)과, 확장 모듈(16) 및 표시 장치 또는 디스플레이(18)으로 구성된다. 상기 이미지 녹화 장치(12)는 카메라 이미지(및 필요하다면 추가 센서 데이터)를 카메라 데이터(S1)로서 상기 분석 모듈(14)로 전송한다. 상기 분석 모듈(14)은 이들 카메라 데이터(S1)를 처리하고, 거기로부터 제어 데이터(S2) 또는 제어 명령(S2)을 생성한다. 이러한 제어 데이터 또는 제어 명령(S2)은 예를 들어, OpenGL 명령 및 OpenGL 텍스처일 수 있다. 제어 데이터(S2)는 상기 확장 모듈(16)로 전송된다. 상기 확장 모듈(16)은 제어 데이터(S2)를 변경하도록 구성된다. 상기 센서 데이터 또는 카메라 데이터(S1)는 신뢰도 정보(R2), 예를 들어 센서의 측정 허용 오차에 의해, 상기 분석 모듈(14)에 의해 확장된다. 상기 확장 모듈(16)은 상기 제어 장치(S2) 및 신뢰도 정보(R2)로부터 수정된 제어 데이터(S2b)를 생성하여 상기 표시 장치(18)를 제어한다.
도 2를 참조하면, 상기 확장 모듈(16)이 다음의 텍스트에서 설명된다. 상기 확장 모듈(16)은 신뢰도 정보(R2) 또는 신뢰도 신호(R2)를 이진 신호(OK(t))로 변환하도록 구성된 구성 요소(V)를 포함한다. 이 프로세스에서 상기 변환은 어느 이진 값이 상기 신호(OK)에 할당되어야 하는지를 결정하기 위해, 예를 들어 임계값의 비교를 기반으로 할 수 있다. 상기 신호(OK(t))는 제어 데이터(S2(t))가 표시되기 적합한지의 여부를 나타낸다. 상기 신호(OK)는 구성 요소(V)로부터 상태 관리자로 지정될 수 있는 상태 모듈(20)로 전달된다.
상태 모듈(20)은 복수의, 본 예에서 4 개의 가능한 상태(Z(t)) 중 하나를 선택하고, 이 상태(Z(t))를 애니메이션 관리자로 지정될 수 있는 애니메이션 모듈 (22)로 전달한다. 이 과정에서, 상태(Z(t))의 선택은 상태(Z(t-N))와 같은 이전 상태에 기초한다. Z(t-N), Z(t-N + 1) 등과 같은 이전 상태들은 상태 버퍼(PZ)에 저장되고, 필요한 경우 상태 모듈(20)에 의해 검색될 수 있다.
상기 애니메이션 모듈(22)은 지연될 수 있거나 버퍼(PS)에 의해 최대 N 사이클만큼 지연 될 수 있는 제어 데이터(S2)를 수신한다. 또한, 상기 애니메이션 모듈(22)은 입력 변수 또는 입력으로서 상태(Z(t))를, 즉 N 사이클에서 달성되어야 하는 상태를 수신한다.
상기 상태 모듈(20)은 상기 애니메이션 모듈(22)의 상태를 결정한다. 본 예에서, 상기 애니메이션 모듈(22)의 수정된 제어 데이터(S2b(t))의 출력에 영향을 주는 4 개의 상태(Z (t))가 구별된다.
이 과정에서 상태는 (EN)과 (TR)의 두 변수로 설명할 수 있다. EN은 증강이 스위치 온(켜지거나)이거나 스위치 오프(꺼지는)인지 여부를 나타내며, TR은 온 상태 및 스위치 오프 상태 간의 스위칭 시에 전이 애니메이션이 재생될지 여부를 나타낸다.
상태는 다음과 같습니다.
EN = 1 및 TR = 0인 Z=1의 경우, 상기 애니메이션 모듈(22)은 수정되지 않은 제어 데이터(S2(t-N))를 출력하고, 즉 증강이 스위치 온 된다(스위치 온 상태);
EN = 0 및 TR = 0인 Z=2의 경우, 상기 애니메이션 모듈(22)은 수정된 제어 데이터(S2b)로서 상기 제어 데이터(S2(t-N))로부터의 원본 이미지를 증강의 페이드 인없이 출력하고, 즉, 증강이 스위치 오프된다(스위치 오프 상태);
EN = 1 및 TR = 1 인 Z=3의 경우, 상기 애니메이션 모듈(22)은 스위치 온 상태(Z = 1)로부터 스위치 오프 상태(Z = 2)로 이동하는 전이 애니메이션을 재생한다.
EN = 0 및 TR = 1 인 Z=4의 경우, 상기 애니메이션 모듈(22)은 스위치 - 오프 상태(Z = 2)로부터 스위치 온 상태(Z = 1)로 이동하는 전이 애니메이션을 재생한다.
상태 Z(t) = 1 내지 4 및 그 전이는 예시적인 방식으로 도 3에 도시된다. 이 과정에서, 증강 표시를 스위치 오프하는 것은 Z=1 및 OK=0 (데이터(S2(t))가 표시에 적합하지 않음)부터 Z=3을 통하여 Z=2으로의 N 사이클 지속되는 전이이다. 증강 표시를 스위치 온하는 것은 Z=2 및 OK=1 (데이터(S2(t))가 표시에 적합 함)에서 Z=4를 통하여 Z= 1으로의 N 사이클 지속되는 전이이다.
도 4에서, 상기 애니메이션 모듈(22)의 기능이 다이어그램으로 개략적으로 도시되어 있다. 상기 애니메이션 모듈(22)의 목적은 상태가 변할 때 부드러운 전이 애니메이션이 삽입될 수 있고 표시 장치(18)가 상기 상태(Z=2)에 대한 상기 녹화 장치(12)에 의해 녹화된 상기 원본 이미지를 표시하도록 하기 위해, 상태(Z(t))를 기반으로 하거나 또는 그에 따라 상기 제어 신호(S2)를 수정하는 것이다.
이 과정에서, 상기 전이 애니메이션은 확대가 천천히 점점 더 페이드 인되거나 페이드 아웃되는 방식으로 구성되거나 실행될 뿐만 아니라 오히려, 제어 명령은 확장 모듈 (16)에 의해, 특히 상기 애니메이션 모듈(22)에 의해 수정될 수 있다. 따라서, 전이 애니메이션은 고의적으로 생성됨으로써 표시 장치(18)의 관람자가 현재 현실(원본 이미지) 또는 증강된 이미지(증강)이 표시되는지 여부를 인식할 수 없다.
상기 상태(Z(t))는 S2(t-N)가 변경되지 않고 출력될지의 여부, 즉 상기 증강이 모듈(24)에 의해 제어 데이터(S2)로부터 증가가 제거될 지의 여부, 또는 전이 애니메이션(A)이 재생되어야 하는지의 여부를 선택한다.
상태 변화 또는 Z=1로부터 Z=3의 변환(스위치 오프)으로 및 Z=2로부터 Z= 4로의 변환(스위치 온)의 경우, 실현 모듈(26)에 의해 N 개의 이미지들의 긴 애니메이션(A)이 생성되어, 상기 애니메이션 버퍼(PA)에 저장된다. 계속해서, 변형 된 제어 데이터(S2b)로서 S2 대신에 상기 전이 애니메이션(A)이 표시 장치(18)에 송신된다.
A(1)은 표시 장치(18)에 의해 생성된 전이 애니메이션(A)의 첫 번째 이미지를 나타내고, A(N)을 마지막 이미지를 나타낸다. 부드러운 스위치-오프 전이 애니메이션의 경우, 렌더링된 이미지(A(N))은 이미지(S2(t))에 대응해야 한다(증강 없이). 유사하게 A(1)은 부드러운 스위치-온 전이 애니메이션을 위해 이미지(S2(t-N))에 대응해야 한다(증강 없이).
상기 애니메이션 모듈(22)은 애니메이션 데이터베이스(애니메이션 메모리) (28)를 더 포함한다. 상기 애니메이션 데이터베이스(28)에서, 상기 전이 애니메이션(A)은 상기 제어 코드(S2)를 상기 전이 애니메이션(A)으로 변환하는데 사용되는 프로그램 코드 명령의 형태이다. 예를 들어, 상기 명령들은 실행 시간(runtime)에 S2(t)에서 S2(t-N)의 부분에 의해 대체만 되는 텍스처를 사용할 수 있다. 이것은 후반 작업을 위한 알려진 비선형 비디오 편집 프로그램 (예 : Adobe After Effects, Adobe Premiere, Davinci Resolve, Nuke)의 애니메이션 정의와 유사한 방식으로 수행된다. 그러나 이러한 알려진 프로그램은 실시간으로 사용할 수 없으며 이러한 프로그램에서 생성된 효과는 제어 정보와 연결되지 않고 전체 비디오 클립에 적용된다.
전이 애니메이션이 생성될 시점에서, 상기 애니메이션 모듈(22)은 상기 제어 데이터(S2(t) 내지 S2(t-N))를 포함하여, 상태 Z = 1에서 증강이 표현되는 방법과 장소에 대한 모든 정보를 갖는다. 상기 애니메이션 모듈(22)에 포함된 효과 데이터베이스(28)는 실현 모듈 (26)에서 효과 실현을 위한 제어 데이터(S2)가 전이 애니메이션(A)을 생성하고 이를 애니메이션 버퍼(PA)에 저장하기 위해 수정되어야 하는 방법을 정의한다.
예를 들어, 2D 또는 3D 시프트 또는 회전을 달성하기 위해 실현 모듈(26)에 의해 제어 데이터 (S2)의 OpenGL 좌표 변환이 수행되거나, S2에 포함된 이미지에 기초하여 OpenGL 텍스처가 생성되어 전이 애니메이션(A)에 통합될 수 있다.
도 5는 소위 가상 롤링 배너의 전이 애니메이션을 순전히 예시적이고 단순화 된 방식으로 도시한다. 첫 번째 이미지(왼쪽)의 상태(Z=2) (스위치 오프 상태, 증강 없음)로부터의 전이가 이미지(2 내지 4) (왼쪽으로부터)에서의 상태(Z=4) (전이 애니메이션)을 통해 상기 상태(Z=1)(스위치 온 상태, 증강이 표시되거나 중첩됨)로 이루어진다. 이 프로세스에서, 점선으로 표시된 점선 영역 또는 표면은 상기 상태(Z=1)에서 증강될 영역을 나타내지만 5번째의 이미지(상기 이미지들(2-4)에서의 전이를 재생한 후)에서의 완전히 증강될 영역을 나타낸다.
상기 전이 애니메이션은 순전히 모범적인 방식으로, 여기서 N=5 사이클만큼 영향을 받는다. 구체적인 응용 프로그램에서 전이 애니메이션은 유창하거나 부드러운 전이를 위해 더 많은 사이클들이 필요합니다. 전이 애니메이션의 실현은 다음과 같이 실현 될 수 있습니다.
증강이 페이드 인되는 위치에서 S2(t-N)의 원본 이미지에서 텍스쳐 "reality"가 추출된다. 새로운 텍스쳐 T는 "reality"와 "augment"를 수직으로 연결하여 생성된다. 따라서 상기 제어 명령은 전이 애니메이션(A)에서 조정되므로 "augment"의 직접 (전이 없이) 표시 대신에 "reality"과 "augment"의 조합인 새로운 텍스처 T가 표시된다.
수직 롤 이동은 예를 들어 텍스처 T에 적용되는 ROI (region of interest) 연산자에 의해 생성될 수 있다. A(1)에서 상부 절반(즉, reality)를 선택한 다음 A(5)에서 텍스처 "augment"를 정확하게 선택할 때까지 A(2) 내지 A(5)에서 더 깊고 깊은 ROI를 A(4)로 설정하고, 상태 Z=1이 성취되므로 상기 애니메이션 후 추가로 표시된다.
실현을 위한 제어 명령은 상술된 바와 같이 상기 전이 애미메니션(A)으로 통합되고, 수정된 제어 데이터(S2b(t))로서 출력되고 궁극적으로 표시 장치(18)에 의해 출력된다.
따라서, 여기에 제시된 시스템은 현실을 증강(가상 객체)의 스위치-온 또는 스위치-오프 전이 애니메이션을 통하여 증강의 표시 또는 중첩과 관련된 시스템이 활성화(스위치 온 상태)시키거나 또는 비활성화(스위치 오프 상태)시키는지의 여부를 인식할 수 없도록 한다.

Claims (13)

  1. 적어도 하나의 이미지 녹화 장치(12)와,
    상기 적어도 하나의 이미지 녹화 장치(12)에 연결된 적어도 하나의 분석 모듈(14)과,
    상기 적어도 하나의 분석 모듈(14)에 연결된 적어도 하나의 표시 장치(18) 및,
    상기 적어도 하나의 분석 모듈(14)과 상기 적어도 하나의 표시 장치(18) 사이의 전달 경로에 배치되는 확장 모듈(16)로 구성된 증강된 이미지를 생성하는 시스템에 있어서,
    상기 적어도 하나의 이미지 녹화 장치(12)는 이미지 데이터를 포함하는 이미지들을 상기 적어도 하나의 분석 모듈(14)에 전송하도록 구성되며,
    상기 적어도 하나의 분석 모듈(14)은 제어 데이터(S2)를 상기 표시 장치(18)로 전송하도록 구성되며, 상기 제어 데이터(S2)는 이미지 내의 적어도 하나의 증강 표시를 위한 상기 이미지 데이터 및 명령 데이터를 포함하고,
    상기 적어도 하나의 표시 장치는 상기 제어 데이터(S2)에 기초하여 녹화된 이미지 및 연관된 증강을 재제작하도록 구성되며,
    상기 적어도 하나의 분석 모듈(14)은 각각의 이미지에 대해 적어도 하나의 신뢰도 정보 (R2)를 생성하도록 구성되고, 상기 신뢰도 정보(R2)는 상기 시스템의 구성 요소에 대한 데이터를 포함하고, 상기 구성 요소는 상기 적어도 하나의 이미지 녹화 장치(12)와 환경 사이의 기하학적 또는 방사성 관계를 검출하거나 계산하고,
    상기 확장 모듈(16)은 상기 분석 모듈(14)로부터 상기 제어 데이터(S2) 및 상기 신뢰도 정보(R2)를 수신하고 상기 제어 데이터(S2) 및 신뢰도 정보(R2)를 기초하여 수정된 제어 데이터(S2b)를 생성하고 상기 수정된 제어 데이터를 상기 표시 장치(18)에 전송하고,
    상기 확장 모듈(16)은 상태 모듈(20) 및 애니메이션 모듈(22)을 포함하고, 상기 상태 모듈(20)은 상기 신뢰도 정보(R2)를 수신하고, 복수의 상태 정보 조각들로부터 하나의 상태 정보를 선택하고, 상기 선택된 상태 정보(Z)를 상기 애니메이션 모듈(22)로 전송하는 것을 특징으로 하는 증강된 이미지를 생성하는 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 애니메이션 모듈(22)은 상기 제어 데이터(S2)를 수신하고 상기 상태 정보(Z)에 기초하여 상기 수정된 제어 데이터(S2b)를 생성하도록 구성된 것을 특징으로 하는 증강된 이미지를 생성하는 시스템.
  4. 제 1 항 또는 제 3 항에 있어서,
    상기 애니메이션 모듈(22)은 상기 상태 정보(Z)에 따라, 증강을 위한 스위치-온 상태(Z=1)에 대응하는, 증강을 위한 상기 이미지 데이터와 명령 데이터를 수정된 제어 데이터(S2b)로서 전송하거나,
    증강을 위한 스위치-오프 상태(Z=2)에 대응하는, 상기 이미지 데이터만을 수정된 제어 데이터로서 전송하거나,
    상기 스위치-온 상태(Z=1)와 상기 스위치-오프 상태(Z=2) 간에 전환될 때 선택된 전이 애니메이션(A)을 상기 수정된 제어 데이터(S2b)의 부분으로서 전송하는 것을 특징으로 하는 증강된 이미지를 생성하는 시스템.
  5. 제 4 항에 있어서,
    상기 전이 애니메이션(A)은, 상기 이미지 녹화 장치(12)에 의해 검출된 실제 데이터와 표시될 증강의 데이터가 통합된 형태로 처리되어 표시되도록 구성되는 것을 특징으로 하는 증강된 이미지를 생성하는 시스템.
  6. 제 4 항에 있어서,
    상기 애니메이션 모듈(22)은 특정 개수(N)의 이미지들을 갖는 전이 애니메이션(A)을 생성하여 애니메이션 버퍼(PA)에 저장하도록 구성된 구현 모듈 (26)을 포함하는 것을 특징으로 하는 증강된 이미지를 생성하는 시스템.
  7. 제 4 항에 있어서,
    상기 애니메이션 모듈(22)은 컴퓨터 판독 가능 명령어들의 형태로 소정의 전이 애니메이션들(A)을 저장하도록 구성된 애니메이션 메모리(28)를 포함하는 것을 특징으로 하는 증강된 이미지를 생성하는 시스템.
  8. 제 4 항에 있어서,
    상기 애니메이션 모듈(22)은 상기 스위치-오프 상태(Z=2)에서 상기 분석 모듈(14)에 의해 제공되는 제어 데이터 (S2b)로부터 증강을 위한 상기 명령 데이터를 제거하고, 상기 표시 장치(18)로 상기 이미지 데이터만을 수정된 제어 데이터(S2b)로서 전송하는 것을 특징으로 하는 증강된 이미지를 생성하는 시스템.
  9. 제 4 항에 있어서,
    상기 애니메이션 모듈(22)은 상기 상태 정보(Z)에 대응하는 상기 분석 모듈 (14)의 제어 신호를, 스위치-온 상태(Z = 1)와 스위치-오프 상태(Z = 2) 사이에서 전환할 때 전이 애니메이션(A)이 부드럽게 삽입되도록 하는 방식으로 수정하는 것을 특징으로 하는 증강된 이미지를 생성하는 시스템.
  10. 제 4 항에 있어서,
    상기 전이 애니메이션(A)은 가상 롤링 배너 또는 가상 윈도우 등으로 설계되는 것을 특징으로 하는 증강된 이미지를 생성하는 시스템.
  11. 제 1 항에 따른 시스템을 포함하는 것을 특징으로 하는 텔레비전 방송 시스템.
  12. 제 1 항에 따른 시스템을 포함하는 것을 특징으로 하는 가상 광고 디스플레이 시스템.
  13. 제 1 항에 따른 시스템을 포함하는 것을 특징으로 하는 증강 현실 시스템.
KR1020197013687A 2016-10-14 2017-10-09 증강된 이미지 제작 시스템 KR102186691B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016119640.1 2016-10-14
DE102016119640.1A DE102016119640A1 (de) 2016-10-14 2016-10-14 System zur Erzeugung angereicherter Bilder
PCT/EP2017/075625 WO2018069220A1 (de) 2016-10-14 2017-10-09 System zur erzeugung angereicherter bilder

Publications (2)

Publication Number Publication Date
KR20190067861A KR20190067861A (ko) 2019-06-17
KR102186691B1 true KR102186691B1 (ko) 2020-12-07

Family

ID=60138360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197013687A KR102186691B1 (ko) 2016-10-14 2017-10-09 증강된 이미지 제작 시스템

Country Status (19)

Country Link
US (1) US10805558B2 (ko)
EP (1) EP3526773B1 (ko)
JP (1) JP7125410B2 (ko)
KR (1) KR102186691B1 (ko)
CN (1) CN109804412B (ko)
CA (1) CA3039747C (ko)
CY (1) CY1123711T1 (ko)
DE (1) DE102016119640A1 (ko)
DK (1) DK3526773T3 (ko)
ES (1) ES2843876T3 (ko)
HR (1) HRP20202061T1 (ko)
HU (1) HUE053189T2 (ko)
LT (1) LT3526773T (ko)
PL (1) PL3526773T3 (ko)
PT (1) PT3526773T (ko)
RS (1) RS61265B1 (ko)
SG (1) SG11201903218VA (ko)
SI (1) SI3526773T1 (ko)
WO (1) WO2018069220A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110567106A (zh) * 2018-06-05 2019-12-13 珠海格力电器股份有限公司 一种房间空气质量显示及控制系统和方法
US11979620B2 (en) 2021-12-17 2024-05-07 Industrial Technology Research Institute System, non-transitory computer readable storage medium and method for automatically placing virtual advertisements in sports videos
DE102022101086A1 (de) * 2022-01-18 2023-07-20 Uniqfeed Ag Videoverbreitungssystem mit Umschalteinrichtung für das Umschalten zwischen mehreren angereicherten Regiebildabfolgen eines aufgenommenen realen Ereignisses

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1119481A (zh) 1993-02-14 1996-03-27 Orad有限公司 在电视中检测，识别和插入广告的设备和方法
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
GB9601101D0 (en) * 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
IL115288A (en) * 1995-09-13 1999-06-20 Scidel Technologies Ltd Method and apparatus for implanting images into a video sequence
US6381362B1 (en) 1999-04-08 2002-04-30 Tata America International Corporation Method and apparatus for including virtual ads in video presentations
ES2264414T3 (es) 1999-07-19 2007-01-01 Leo Vision Camaras multiples, sistemas y metodos de insercion virtual e interactivo y alimentacion multiple.
AU3180501A (en) 2000-01-31 2001-08-14 Erkki Rantalainen Method for modifying a visible object shot with a television camera
GB2394611A (en) 2002-10-21 2004-04-28 Sony Uk Ltd Metadata generation providing a quasi-unique reference value
DE10314105A1 (de) 2003-03-28 2004-01-08 Bts Media Solutions Gmbh Verfahren zur Steuerung einer Einrichtung zur Verteilung und Bearbeitung von Videosignalen
GB2408164A (en) 2003-11-12 2005-05-18 Alastair Breward Controlling a dynamic display apparatus
SG119229A1 (en) * 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
JP5038307B2 (ja) * 2005-08-09 2012-10-03 トタル イメルシオン 実在環境内においてデジタルモデルを視覚化する方法、装置、及びコンピュータプログラム
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
US20130050294A1 (en) 2010-04-22 2013-02-28 Martin Professional A/S Electronic Sun Shader For Perimeter Boards
FR2959339A1 (fr) 2010-04-26 2011-10-28 Citiled Procede de commande d'au moins un panneau d'affichage d'images variables dans un lieu tel qu'un stade
EP2463821A1 (en) 2010-12-08 2012-06-13 Alcatel Lucent Method and system for segmenting an image
EP2498488A1 (en) 2011-03-09 2012-09-12 Thomson Licensing Method and system digital for processing digital content according to a workflow
WO2012170023A1 (en) 2011-06-08 2012-12-13 Empire Technology Development Llc Two-dimensional image capture for an augmented reality representation
KR101343609B1 (ko) 2011-08-24 2014-02-07 주식회사 팬택 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법
KR101887548B1 (ko) * 2012-03-23 2018-08-10 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
GB2502986B (en) 2012-06-12 2014-05-14 Supponor Oy Apparatus and method for image content replacement
WO2014031899A1 (en) 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US10205889B2 (en) 2013-03-08 2019-02-12 Digitarena Sa Method of replacing objects in a video stream and computer program
EP2806404B1 (en) 2013-05-23 2018-10-10 AIM Sport AG Image conversion for signage
EP2822287A1 (en) 2013-07-01 2015-01-07 Thomson Licensing Method and apparatus for frame accurate advertisement insertion
JP5888372B2 (ja) * 2013-08-29 2016-03-22 キヤノンマーケティングジャパン株式会社 情報処理システムとその処理方法及びプログラム
GB2531969B (en) 2013-10-03 2016-08-10 Supponor Oy Method and apparatus for image frame identification
JP2015149032A (ja) * 2014-02-10 2015-08-20 株式会社メガチップス 拡張現実提供システム、プログラムおよび拡張現実提供方法
GB2529182B (en) 2014-08-12 2019-03-27 Supponor Oy Method and apparatus for dynamic image content manipulation
US9847645B2 (en) * 2015-02-03 2017-12-19 King Fahd University Of Petroleum And Minerals Neuro-fuzzy control system for grid-connected photovoltaic systems
US20160373814A1 (en) * 2015-06-19 2016-12-22 Autodesk, Inc. Real-time content filtering and replacement
CN105892639A (zh) * 2015-12-01 2016-08-24 乐视致新电子科技（天津）有限公司 一种对虚拟现实vr设备进行控制的方法及设备
US10169894B2 (en) 2016-10-06 2019-01-01 International Business Machines Corporation Rebuilding images based on historical image data

Also Published As

Publication number Publication date
DE102016119640A1 (de) 2018-04-19
CN109804412A (zh) 2019-05-24
PL3526773T3 (pl) 2021-08-02
EP3526773A1 (de) 2019-08-21
SI3526773T1 (sl) 2021-02-26
US10805558B2 (en) 2020-10-13
JP2019537174A (ja) 2019-12-19
DK3526773T3 (da) 2021-01-11
JP7125410B2 (ja) 2022-08-24
CA3039747A1 (en) 2018-04-19
RS61265B1 (sr) 2021-01-29
CN109804412B (zh) 2023-03-10
CY1123711T1 (el) 2022-03-24
HUE053189T2 (hu) 2021-06-28
SG11201903218VA (en) 2019-05-30
KR20190067861A (ko) 2019-06-17
HRP20202061T1 (hr) 2021-02-19
EP3526773B1 (de) 2020-11-25
LT3526773T (lt) 2021-01-11
US20190327427A1 (en) 2019-10-24
PT3526773T (pt) 2021-01-12
WO2018069220A1 (de) 2018-04-19
ES2843876T3 (es) 2021-07-20
CA3039747C (en) 2021-06-08

Similar Documents

Publication Publication Date Title
CN106982387B (zh) 弹幕的显示、推送方法及装置及弹幕应用系统
KR102186691B1 (ko) 증강된 이미지 제작 시스템
KR101842622B1 (ko) 3차원 콘텐츠와 텍스트를 조합하기 위한 시스템 및 방법
US20100321377A1 (en) System and method for integrating multiple virtual rendering systems to provide an augmented reality
US9445034B2 (en) Method and apparatus for processing video image
WO2020133371A1 (zh) 竞技比赛视频的字幕处理方法和导播系统
KR20120037400A (ko) 입체 영화용 시청자 중심 사용자 인터페이스
KR20120123087A (ko) 3ｄ 텍스트를 3ｄ 콘텐츠와 결합하기 위한 시스템 및 방법
EP2232845B1 (en) A method for modifying the content of a television image
US11276196B2 (en) Video processing
KR101613777B1 (ko) 라이브 댄스 클래스 및 라이브 뮤직 룸을 위한 서비스 시스템 및 서비스 방법
US10032447B1 (en) System and method for manipulating audio data in view of corresponding visual data
Cha et al. Client system for realistic broadcasting: A first prototype
GB2399248A (en) Projection of supplementary image data onto a studio set
CN108280882B (zh) 一种在虚拟显示空间植入ar前景物品位置的方法及系统
KR20130081569A (ko) 3ｄ 영상을 출력하기 위한 장치 및 방법
US11943560B2 (en) Information processing apparatus, image generation apparatus, information processing method, image generation method, and storage medium for generating virtual viewpoint images with additional information
KR101613778B1 (ko) 라이브 뮤직비디오를 위한 서비스 시스템 및 서비스 방법
JP7395725B2 (ja) メディアリソースの再生およびテキストレンダリング方法、装置、機器および記憶媒体
JP6391629B2 (ja) ３ｄテキストを３ｄコンテンツと合成するシステムおよび方法
US20210400255A1 (en) Image processing apparatus, image processing method, and program
KR20160051963A (ko) 극장 시뮬레이션 장치 및 방법
Broll et al. Live Will Never be the Same! How Broadcasting Might Influence the Acceptance and Widespread Usage of Augmented Reality
Lonsing Viewing Ambispace
CN117745986A (zh) 在xr虚实合成中实现物件虚实穿越的方法、装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant