KR20130096735A - 장소의 배경 및 전경 구별방법 및 장소 이미지의 배경 대체 방법 - Google Patents

장소의 배경 및 전경 구별방법 및 장소 이미지의 배경 대체 방법 Download PDF

Info

Publication number
KR20130096735A
KR20130096735A KR1020137009967A KR20137009967A KR20130096735A KR 20130096735 A KR20130096735 A KR 20130096735A KR 1020137009967 A KR1020137009967 A KR 1020137009967A KR 20137009967 A KR20137009967 A KR 20137009967A KR 20130096735 A KR20130096735 A KR 20130096735A
Authority
KR
South Korea
Prior art keywords
background
image
foreground
color
image sensor
Prior art date
Application number
KR1020137009967A
Other languages
English (en)
Other versions
KR101826178B1 (ko
Inventor
울프강 보놀펜
라이너 울시에펜
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20130096735A publication Critical patent/KR20130096735A/ko
Application granted granted Critical
Publication of KR101826178B1 publication Critical patent/KR101826178B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/28—Mobile studios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Landscapes

  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Silver Salt Photography Or Processing Solution Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 전자 카메라에 의해 기록된 경관의 이미지 또는 필름에서 배경 및 전경을 구별하기 위한 방법에 관한 것이다. 본 발명은 전경이 유지되는 동안 기록된 장소의 이미지 또는 필름에서 배경을 대체하는 방법에 더 관련된 것이다.

Description

장소의 배경 및 전경 구별방법 및 장소 이미지의 배경 대체 방법{METHOD FOR DIFFERENTIATING BACKGROUND AND FOREGROUND OF A SETTING AND METHOD FOR REPLACING A BACKGROUND IN IMAGE OF A SETTING}
본 발명은 전자 카메라로 기록된 경관의 이미지 또는 필름에서 배경 및 전경을 구별하는 방법에 관한 것이다. 게다가 본 발명은 전경을 유지하는 동안 경관 필름의 기록된 이미지에서 전경을 대체하는 방법에 관한 것이다.
카메라로 기록된, 실제 장면에서 다른 하나의 앞에 하나가 서있어서 서로 각각 숨겨진 객체 또는 사람을 분리하기 위하여, 기술적 수준에 따라 다양한 방법이 존재한다. 매우 광범위하게 사용되는 방법은 긴 시간동안 사용되어오고, 실제 장면에서 배경이 전경 객체에 발생하지 않는 한정 컬러(definite colour)를 가지는 크로마 키잉(chroma keying)이다.
기록된 이미지의 단순한 컬러 분석에 의하여 배경이 검출될 수 있고 전경으로부터 분리될 수 있다. 실제 장면의 배경이 많은 상황에서 이루어지지 않는 한정 컬러로 존재해야 하는 방법은 불리하다.
본 발명의 목적은 배경 및 전경의 설계가 자유로운 전자 카메라에 의해 기록된 경관의 이미지 또는 필름에서 배경 및 전경을 구별하는 방법을 나타내는 것이다. 또한, 본 발명의 목적은 배경 및 전경이 자유롭게 설계될 수 있는 경관의 이미지 또는 필름에서 배경을 교체하는 방법을 나타내는 것이다.
이러한 목적은 청구항 1항에 따른 전자 카메라에 의해 기록된 경관의 이미지에서 배경 및 전경을 구별하는 방법, 청구항 제 28항에 따른 경관의 이미지에서 배경을 대체하는 방법 및 청구항 제 29항을 따른 전자 디스플레이 시스템(electronic display system)으로 이루어진다. 종속항은 본 발명에 따른 방법의 바람직한 발전을 나타낸다.
본 발명에 따라, 방법은 전자 카메라로 기록된 경관의 이미지에서 서로 구별될 수 있는 배경 및 전경에 의해 제공된다. 따라서 카메라로부터 떨어져 있는 경관의 일부는 배경 및 전경으로 카메라에 가까이 있는 전경의 일부로 간주된다. 경관은 배경 및 전경의 객체 전체이다. 여기에서 참조가 이미지로 만들어지는 경우, 객체는 이미지 또는 바람직하게 필름의 프레임에 고정될 수 있다. 때문에 배경 또는 전경은 이미지에 완전히 가득차지 않아야 하고, 부분으로만 나타날 수 있거나 이미지로 나타날 수 없다. 또한 본 발명에 따른 방법은 이미지의 부분 영역에 이용될 수 있다. 따라서 예를 들어 스포츠 경기(sporting event)의 기록에서, 경기장 주변(pitch perimeter) 광고는 광고의 앞에 서있는 선수(players)와 구별될 수 있다. 일반적으로 전경은 카메라의 관점 영역에서 배경을 커버하는 것으로 가정된다.
본 발명에 따른 방법은 전자 카메라, 예를 들어 CCD 또는 CMOS 이미지 센서를 가지는 카메라로 기록된 경관의 정적 이미지 및 필름으로 실행될 수 있다. 또한 원칙적으로, 방법은 아날로그식 전기 카메라(electrical camera)에 의해 기록된 이미지 신호를 기반으로 실행될 수 있으나 디지털 카메라의 실행이 선호된다.
본 발명에 따라서, 배경은 어떠한 이미지를 표시할 수 있다. 예를 들어 배경은 복수의 컬러 및/또는 복수의 밝기 단계를 가지는 이미지가 될 수 있다. 특히, 흑백(monochrome) 및 균일하게 밝은 표면은 바람직하게 문서의 측면에서 이미지로 이해되지 않는다.
배경 이미지는 경관의 직접 사람 관찰자(human observer)를 위한 이미지의 시정(visibility)을 보호하는 코딩(coding)으로 보여지거나 심지어 경관의 관찰자를 위해 완전히 보이지 않는다. 경관의 직접 관찰자(direct observer)에 의해 알아볼 수 있는, 코딩을 가지는 이미지는 관찰자가 원위치에서 경관을 직접 관찰하고 배경에서 상당한 거리에 있는 경우, 관찰자가 여전히 이미지의 인식이 가능한 거리에서 적어도 시정이 제공된다. 따라서 관찰자가 교란 효과를 가지거나 감지할 수 있는 구조를 가지지 않고 충분한 거리에서 이미지를 인식하는 것이 좋다면 이미지의 코딩이 이미지 또는 배경의 구조를 포함할 수 있다.
배경 및 코딩 및 배경의 앞에 위치한 전경을 가지는 경관의 이미지 또는 필름은 전자 카메라에 의해 기록된다. 경관의 이미지를 기록하는 카메라의 이미지 센서에 의해 신호를 생성한다. 신호에서, 배경은 코팅에 의해 전경과 구별된다. 때문에 배경은 코딩을 가지나 전경을 가지지 않는 것으로 이용된다.
전경과 배경의 구별은 디스플레이 또는 추가 처리 또는 전송을 위해 경관의 이미지 또는 필름을 기록하는 이미지 센서의 신호로 이루어지기 때문에, 방법은 요구되는 복수의 이미지 센서 없이 하나의 이미지 센서, 즉 하나의 기록된 이미지만 가지는 카메라로 실행될 수 있다. 따라서 바람직하게, 방법은 정확히 하나의 이미지 센서로 실행된다. 또한 본 발명에 따라서, 하나의 이미지 센서의 정확히 하나의 이미지 신호만 요구된다.
몇 몇 구체예에서, 이미지 신호는 카메라 또는 이미지 센서로 기록된 이미지를 적합하게 변경하도록 코딩에 의해 배경을 인식하기 위하여 필요할 수 있다. 기록된 경관 이미지가 보관을 위해 변경되는 경우, 생성된 이미지에서 적어도 전경이 비변형 이미지인 것 처럼 완전하도록 이미지의 기록 전에 변경이 이루어지지 않게추가 처리 또는 전송되는 것은 바람직하다.
본 발명의 바람직한 실시예에서, 이미지 또는 배경의 코딩은 이미지의 다른 부분, 완전한 이미지를 포함하는 각각의 1 주기(one period)의 컴포넌트(component)가 주기적으로 번달아 표시하는 배경을 포함할 수 있다. 지속 시간, 즉 이미지의 모든 컴포넌트가 한번 보여지는 시간은 완전한 이미지가 전경의 직접 관찰자에게 보일수 있게 짧게 선정된다. 카메라의 노출 시간은 컴포넌트의 디스플레이로 동기화되어서 카메라는 항상 선택된 하나의 이미지의 컴포넌트만 기록하여 키잉 방법, 바람직하게 예를 들어 크로마-키잉(chroma keying)과 같은 컬러 기반 키잉(colour-based keying)으로 전경 및 배경 사이의 구별을 허용한다. m이 이미지가 세분된 컴포넌트의 수인 경우, 카메라가 각 주기의 정확히 하나의 컴포넌트를 기록하는 경우 바람직하게 카메라의 노출 빈도를 m- 회(m - times)로 나타낼 때 빈도에서 컴포넌트가 변경된다.
컴포넌트를 보여주는 과정에서, 이미지의 디스플레이에 영향을 주는 적어도 하나의 이미징 매개변수(imaging parameter)는 1주기의 과정에서 변경될 수 있다. 이미징 매개변수, 예를 들어 컬러 채널(colour channels), 콘트라스트(contrast), 밝기(brightness) 조절 및/또는 각각의 픽셀(pixels), 픽셀(패턴(patterns)) 그룹 또는 완전한 이미지의 분리에 적합한 가중 요소(weighting factor) 또는 스케일링 요소(scaling factor) 값의 값또는 그룹으로 이해될 수 있다.
키잉(keying)을 위하여, 카메라 노출 동안 기록된 배경의 컴포넌트는 전경에서 배경을 구별하는 마스트(mask)를 제공한다. 따라서 예를 들어 노출된 컴포넌트는 확대된 배경 또는 독점적 배경 이미지의 특정 컬러를 표시할 수 있고, 바람직하게 컬러 컴포넌트(colour component)는 존재하지 않거나 전경에만 약하게 있도록 선택된다. 이러한 경우, 전경은 예를 등러 컬러-기반 키잉, 특히 크로마-키잉으로 배경으로부터 구별될 수 있다.
본 발명에 따라, 전경에서 구별되는 배경에 의하여 마스크를 생성하는 임의의 방법은 본 발명의 모든 구체예에서 키잉 공정으로 이해될 것이다. 일반적으로, "키잉(keying)"은 이미지(image) 또는 비디오(video)에서 컴포넌트를 검출하는 공정을 설명한다. 따라서 컴포넌트는 인식될 수 있거나 필터링(이미지 분석)될 수 있으며 다른 이미지 소스(이미지 합성)로 대체가 가능하다. 이미지 분석에서, 이미지의 특정 특징 또는 코딩은 검출되고, 이로부터 검출되는 이미지 컴포넌트에 대응하는 마스크가 형성된다. 마스크는 이미지 합성에서 템플릿(template)으로 제공될 수 있다. 특성(property) 또는 코딩을 기반으로 마스크의 계산은 반드시 완전할 필요가 없으며 추가 공정으로 보충된다. 여기에서 예를 들어 광 흐름(optical flow), 컬러, 에지(edges) 또는 그밖의 유사한 것에 따른 이미지 분할 또는 휴리스틱(heuristic)(즉, 장면(scene)의 객체 추측) 같은 이미지 분석 공정을 포함한다. 특히, 정보(information)는 장면에서 배경 또는 전경의 위치 및 크기가 미리 결정될 수 있도록 알려져 있는 카메라의 시야각(viewing angle)의 도움으로 카메라 트래킹(camera tracking)으로부터 유도될 수 있다.
전반적으로, 특성은 전경에서 발생하지 않거나 더 약하게만 발생하여서 배경이 특성에 기반하는 마스크에서 전경과 구별될 수 있는 코딩으로 배경에 더해진다.
위에 기술한 구체예에서, 노출을 위해 사용된 컴포넌트는 키잉을 위해 사용된 마스크를 이용할 수 있게 한다. 다른 컴포넌트 또는 1 주기의 컴포넌트는 경관의 직접 관찰자를 위해 완전한 이미지를 형성하도록 이미지를 완성한다. 바람직하게 다른 컴포넌트를 보여주는 동안, 카메라는 기록하지 않는다.
예를 들어, 노출동안 보여준 컴포넌트(component)는 전경이 칼라 컴포넌트에 의해 배경과 구별될 수 있도록 증폭되거나 감소괸 이미지의 특정 칼라 컴포넌트를 표시할 수 있다. 따라서 노출된 컴포넌트는 전경이 감소되는 것을 보여줄 때 증가하거나 전경이 증가하는 것을 보여줄 때 감소되는 컬러 컴포넌트를 나타낸다. 배경이 1 주기에서 나타나는 컴포넌트 또는 다른 컴포넌트는 경관의 직접 관찰자가 이미지의 실제 컬러를 감지하도록 대응적으로 감도되거나 증가하는 상호 보완적 컬러 컴포넌트를 나타낸다.
본 발명의 바람직한 실시예에서, 배경의 이미지는 특정 빈도로 번갈아 나오는 각각 정확히 두 개의 컴포넌트로 나뉘어 질 수 있다. 카메라는 교환 빈도의 반으로 동시에 기록할 수 있다. 따라서 항상 이미지의 두 개의 컴포넌트는 카메라의 1 사이클(one cycle) 동안 보여진다. 따라서 나타낸 컴포넌트가 변경되는 빈도는 카메라의 노출보다 두배로 높다.
위에 기술한 구체예의 예로 주어진 다른 구현에서, 컬러는 세 개의 컴포넌트로 분배될 수 있고 3분의 1만 노출된다. 따라서 카메라는 3개의 컴포넌트 중 오직 하나만 노출한다. 이 경우, 컴포넌트가 변경되는 빈도는 카메라의 노출 빈도보다 3배 높도록 선택된다.
본 발명에 따른 방법의 추가 구체예는 완전한 이미지를 형성하도록 1 주기 애네 서로 보완하는 일시적으로 번갈아 나오는 패턴을 표시하는 배경을 포함하는 이미지 또는 배경의 코딩을 제공한다. 배경은 주기적으로 번갈아 나오는 패턴에 의하여 이미지 센서의 신호로 전경과 구별될 수 있다.
발명의 바람직한 실시예에서, 예를 들어 푸리에 변환(Fourier transform) 및/또는 푸리에 필터링(Fourier filtering)에 기반하는 패턴 검출은 이미지 센서의 신호로 수행될 수 있다. 따라서, 배경은 패턴이 번갈아 나타나는 빈도에 의해 전경과 구별될 수 있다. 푸리에 변환에서 배경 영역은 전경이 보이지 않는 교체 빈도(alternating frequency)의 컴포넌트를 나타낸다. 배경을 나타내는 패턴은 바람직하게 이미지 센서의 스캔 방향(scanning direction)으로 주기적일 수 있고, 특히 예를 들어 체스판(chessboard) 패턴일 수 있다. 각각의 패턴 영역, 즉 예를 들어 체스판의 정사각형은 다양한 컬러 컴포넌트 사이처럼 빛과 어둠 사이를 왔다갔다 한다.
왕복하는(oscillating) 패턴을 생성하기 위하여, 배경은 예를 들어, 그중에서도 LED 디스플레이 같이 자가 발광(self-illuminating)할 수 있거나 패턴에 대응하는 제어가능한 필터(filter)는 또한 필터가 주기적으로 대안 이미지의 다른 부분을 차단하는 배경의 이미지 앞에 배치된다.
체스판 패턴의 경우, 왕복하는 패턴은 대안적으로 체스판 패턴 및 역 체스판 패턴으로 나타낼 수 있다.
바람직하게 패턴은 2진법(binary)이고, 즉 정확히 두 개의 상태(states)사이에서 스위칭(swiched)된다. 하나의 상태에서 패턴의 주어진 영역은 완전히 이미지의 광(light)을 통과시키거나 최대 밝기로 비추고, 다른 상태에서 이미지의 광을 톤 다운(tones down)하거나 감소된 밝기로 비춘다. 또한 톤 다운(toning down)은 완전하게 톤 다운되거나 완전히 어두울 수 있다.
본 발명의 추가 구체예에서, 이미지 또는 배경의 코딩은 배경막(backdrop)에 착색된 점(coloured dots)의 형상으로 그리드(grid)에 나타나는 이미지를 포함할 수 있다. 인근의 배경막과 함께 착색된 점은 착색된 점의 위치에서 이미지의 컬러를 구성한다. 또한 이미지의 배경막은 검정색이어서 이미지의 컬러가 착색된 점의 컬러에 의해 정확히 주어진다.
컬러 필터(colour filter)는 컬러 필터가 정확히 착색된 점의 컬러를 톤 다운하거나 필터링하고 가능한 톤 다운 없이 통과하여 배경 컬러를 통과시키는 이미지 센서의 앞 또는 카메라의 앞에 배치된다. 실제로 배경이 완전히 검정색이 아니기 때문에, 검은 배경의 경우에서도 컬러 필터는 톤 다운 없이 착색된 점의 컬러가 아닌 컬러를 통과시킨다.
이미지 센서에 의해 기록된 이미지에서, 이미지 배경막의 컬러는 필터의 결과로 착색된 점의 컬러와 관련하여 증가된다. 본 발명의 모든 컬러 기반 구체예의 경우, 컬러는 전경에 있거나 약하게만 있는 배경막을 위해 선택되며, 이 때 배경은 컬러 기반 키잉(colour-based keying)에 의해 전경과 구별될 수 있다. 또한 컬러 필터의 선택이 가능하여서 착색된 점을 제외한 경관의 모든 컬러는 컬러 필터로 통과시키는 컬러로부터 구성될 수 있다.
컬러 편차(colour deviation) 없이 완전히 생성된 이미지에서 전경을 표시하기 위하여 이미지 센서 앞의 컬러 필터의 효과가 추정될(computated) 수 있다.
특히 바람직한 실시예에서, 이미지 센서 앞의 컬러 필터는 전체 가시 범위(visible range)를 거쳐 분포된 가시 스펙트럼(visible spectrum)의 특정 범위를 필터링하는 스펙트럼 필터(spectral filter), 특히 간섭 필터(interference filter)일 수 있다. 각각의 착색된 점의 앞에서, 카메라 앞의 필터와 상호 보완적인 스펙트럼 필터 또는 간섭 필터는 배치될 수 있고, 필터의 부분은 가시 스펙트럼을 거쳐 균일하게 분포된 컬러를 통과시켜서 이미지의 표시를 위해 요구되는 모든 컬러는 표시될 수 있다. 착색된 점 및 카메라의 컬러 필터가 상호 보완적인 사실은 가시 범위 없이 가시 스펙트럼의 다른 본질적 비중첩(non overlapping) 범위를 통과시키는 것을 의미한다. 또한 간섭 필터 대신 예를 들어 노치 필터(notch filter)가 사용될 수 있다.
착색된 점 때문에, 배겨은 그리드(grid)에서 이미지를 나타낸다. 그리드의 해상도(resolution)는 바람직하게 경관 관찰자가 특정 거리에서 이미지를 인식하도록 선택된다. 배경의 착색된 점은 반사 또는 자가발광(self illuminating) 되도록 구성될 수 있다. 착색된 자가 발광형 점은 예를 들어 전구(light bulbs) 또는 발광 다이오드(LEDs)에 의해 생성될 수 있다. 발광 다이오드가 매우 흑백 광(monochrome light)으로 실현될 수 있기 때문에, 발광 다이오드에서 배경의 착색된 점을 구성할 수 있고, 이미지 센서 또는 카메라 앞의 필터, 예를 들어 간섭 필터는 발광 다이오드에 의해 투과된 빈도를 정확히 필터링 하거나 톤 다운을 가능하게 한다. 발광 다이오드에 의해 전송되지 않은 빈도(frequencies)가 톤 다운 되지 않은 카메라 앞의 필터를 통과하는 경우, 이미지 및 전경의 배경막은 이러한 컬러로부터 표시될 수 있다.
본 발명의 추가 구체예에서, 이미지의 코딩은 스펙트럼에서 서로로부터 간격을 둔 가시 스펙트럼의 적어도 하나, 바람직하게 적어도 두 범위에서 선택된 컬러로만 방사(radiating) 또는 반사되는 배경을 포함할 수 있다. 경관에서 나오는 광이 이미지 센서에 영향을 주기 전 진행되는 컬러 필터는 이미지 센서 또는 카메라의 앞에 배치된다. 상기 컬러 필터는 이미지 컬러가 선택되나 톤 다운 없이 범위 사이에 위치한 가시 스펙트럼의 범위를 통과시키는 가시 스펙트럼의 범위를 톤 다운하도록 선택된다. 이러한 방법에서, 배경은 배경이 컬러필터를 통과시키는 컬러로 구성되는 동안 톤 다운(toned down) 또는 어두운 이미지 센서에 존재한다. 통과된 필터링 범위 또는 스펙트럼의 범위는 적합하게 선택되어서 전경의 모든 컬러가 표시될 수 있다. 또한 특히, 통과된 범위의 선택은 전경에 발생하는 컬러로 조정될 수 있다.
이미지 센서로 기록된 이미지에서, 전경은 톤 다운 영역(toned-down regions)의 키잉(keying)에 의해 배경과 구별될 수 있다. 따라서 톤 다운의 경우 키잉 마스크(keying mask)를 생성한다. 이미지 센서 앞의 필터에 의한 톤 다운이 완전하지 않은 경우, 필수적으로 제공된 톤 다운 영역, 특히 전경은 최종 이미지를 표시하기 위하여 계산적으로 재구성될 수 있다.
바람직하게, 배경의 코딩은 배경의 앞 및 전경의 뒤, 즉 배경 및 전경 사이에서 대응하는 컬러 필터, 즉 예를 들어 간섭 필러 배치에 의한 경우로 이루어진다. 이러한 방법에서, 전경에서 나오는 광(light)은 배경에서 필수적으로 배경 및 전경 사이의 필터로 필터링되는 광만 카메라 앞의 컬러 필터에 영향을 주도록 컬러필터를 통해 진행된다. 카메라 앞의 필터로 필터링 되거나 톤 다운되지 않은 컬러 컴포넌트는 전경에서만 나온다.
본 발명의 추가 가능한 구체예에서, 배경의 코딩은 적어도 하나의 비가시(non-visible) 스펙트럼 범위로 전자기 방사선(electromagnetic radiation)을 방출하는 배경을 포함할 수 있다. 변환 장치(conversion device)는 이미지 센서의 앞 또는 카메라의 앞에 배치될 수 있다. 변환 장치는 본질적으로 이미지 센서와 병렬 및/또는 카메라의 광 입구 표면과 병렬로 지향된 표면을 가지는 평면 구성(planar configuration)을 가질 수 있다.
변환 장치는 영역을 가지며, 한편으로는 가시광이 임피던스(impedance) 없이 장치를 통과할 수 있다. 다른 영역에서, 장치는 가시광으로 비가시 방사선의 변환을 야기하며 배경에서 나오는 광의 빔 경로(beam path)에서 변환된 광을 포함하는 소자(elements)를 가진다. 빔 경로의 포함은 배경의 부분으로 카메라에 나올 수 있도록 예를 들어 카메라 렌즈 시스쳄의 빔 경로에서 광변환 소자(light-converting element)를 포함하는 하나 이상의 적합한 렌즈에 의해 이루어질 수 있다. 바람직하게 이러한 타입의 분리된 렌즈는 각 광변환 소자에 할당된다.
바람직하게, 변환 소자는 그리드에서 변환 장치의 표면에 배치된다. 따라서 변환 소자는 등거리 간격(equidistant spacings)으로 표면에 존재한다. 가시광은 변환 소자 사이의 장치를 통과할 수 있다.
비가시 전자기 방사선(non-visible electromagnetic radiation)은 UV 방사 또는 적외선 방사(infrared radiation)일 수 있다.
본 발명의 추가 가능한 구체예에서, 이미지의 코딩은 하나의 특정 분극(polarisation) 방향 또는 회전의 분극 방향으로만 편광된 광을 방사 및 또는 반사하는 배경 또는 이미지를 포함할 수 있다. 선형 분극 또는 원형 분극은 여기에서 사용될 수 있다. 컬러 필터 및 분극 필터(polarisation filter)는 이미지 센서에 영향을 주기 전 전경에서 나오는 빛을 필터링 하는 카메라 또는 이미지 센서의 앞에 배치된다. 바람직하게, 컬러 필터는 경관에서 나오는 빛이 이미지 센서에 영향을 주기 전 컬러 필터 및 분극 필터를 통해 첫 번째로 진행되도록 분극 필터의 앞에 배치된다. 바람직하게 컬러 필터는 하나의 컬러 컴포넌트를 톤 다운 또는 증가 또는 증폭시킬 수 있다.
때문에 이미지 센서 앞의 분극 필터는 지향되어서, 이미지에 의해 방사되거나 반사되는 분극의 광을 필터링한다. 결과로, 전경에서 배경의 구별은 이미지 센서에 의해 생성된 이미지에서 어두운 이미지 컴포넌트로 키잉에 의해 영향을 받을 수 있다.
바람직하게 컬러필터만 대응하는 컬러 컴포넌트를 톤 다운하지만 완전히 필터링 하지 않는 사실로 참조 사항이 만들어 질 수 있다. 이러한 방법에서, 분극 필터가 배경의 편광된 광을 필터링 하는 사실의 결과로 생성된 검은 영역(black regions)은 컬러 필터의 컬러 톤(colour tone)을 포함하는 더 밝은 검정을 가지는 사실의 결과로 가능한 전경의 검은 영역과 구별될 수 있다. 자연 경관에서 기록된 검정은 완전히 어둡지 않고 어두운 회색이다. 또한 객체는 컬러 필터 때문에 감지할 수 없으나 측정가능한 컬러 톤을 얻는다. 그러나 분극 필터로 감소된 광은 독립적으로 컬러를 매우 광법위하게 흡수한다.
본 발명의 추가 가능한 구체예에서, 이미지 또는 배경의 코딩은 UV또는 적회선과 같은 적어도 하나의 비가시 스펙트럼 범위의 전자기 방사선을 방출하는 배경을 포함한다. 광이 이미지 센서에 영향을 주기 전 경관에서 나오는 변환 장치는 이미지 센서 앞에 배치된다. 변환 장치는 가시광으로 경관에서 나오고 이미지 센서의 시각(perspective)으로부터 경관에 합쳐지는 비가시 전자기 방사선을 변환한다.
바람직하게, 변환 장치는 광이 이미지 센서에 영향을 주기 전에 흐르고, 변환기(converter)쪽으로 적어도 일부의 비가시 방사선을 검출하는 빔 스플리터(beam splitter)를 가지며, 상기 변환기는 비가시 방사선을 검출하고 정확히 배경에 대응하는 가시광의 대응 패턴을 생성한다. 가시광은 이미지 센서가 반투과성 미러(semi permeable mirror) 및 빔 스플리터를 통해 경관을 보도록 예를 들어 반투과성 미러를 통해 이미지 센서 쪽으로 빔 경로에 혼합될 수 있다. 따라서 구체예에서, 첫째로 비가시 방사선은 빔 경로의 밖으로 적어도 일부가 빔 스플리터를 통해 검출되며, 배경에 대응하는 이미지는 반투과성 미러를 통해 합쳐진다.
변환기는 이미지 센서 및 배경 이미지가 비가시 방사선에서 이미지 센서로 생성되는 이미지 렌즈를 가질 수 있다. 변환 장치는 예를 들어 이미지 디스플레이, 기술된대로 카메라의 빔 경로에 합쳐진 이미지에 의하여 대응하는 가시 방사선을 생성할 수 있다. 디스플레이의 합쳐진 이미지(blended-in image)는 카메라의 이미지 센서에 의해 생성된 이미지의 배경 영역에서 추가적인 컬러 톤(colour tone) 또는 패턴(pattern)을 형성한다. 그 다음 키잉(keying)은 전경과 구별되는 배경에 의하여 마스크(mask)를 생성한다.
모든 구체예에서, 카메라 앞 또는 이미지 센서 앞에 배치된 소자(element)는 이미지 센서 및 경관의 전경 사이에 배치되는 것을 의미한다. 따라서, 소자는 카메라 렌즈 시스템 또는 카메라 렌즈 시스템 및 이미지 센서 사이에서 카메라 렌즈 시스템의 앞에 수용될 수 있다. 필터가 배경의 앞에 배치될 수 있는 사실은 반변 이미지 또는 배경 및 반면 전경에 배치되는 것을 의미한다.
본 발명의 모든 구체예에서, 주기적으로 배경 또는 배경이미지의 교체 컴포넌트를 나타내며, 바람직하게 교체 빈도(alternating frequency)는 25Hz의 감지할 수 있는 최대 교체 빈도보다 크며, 나타낸 교체 컴포넌트는 컴포넌트로 구성된 이미지로 관찰자에 의해 인지된다.
본 발명은 다음의 여러 도면을 예로 참조하여 설명할 수 있다. 동일한 참조 번호는 동일하거나 대응하는 특징에 해당한다. 예에서 나타낸 특징은 다양한 예에서 결합될 수 있고 독립적으로 구체적인 예를 생성한다.
도 1은 본 발명의 제 1 구체예에 따라 본 발명에 따른 방법을 수행하는 구조이다.
도 2는 본 발명의 제 2 구체예에 따라 본 발명에 따른 방법을 수행하는 구조이다.
도 3은 본 발명의 제 3 구체예에 따라 본 발명에 따른 방법을 수행하는 구조이다.
도 4는 본 발명의 제 4 구체예에 따라 본 발명에 따른 방법을 수행하는 구조이다.
도 5는 본 발명의 제 5 구체예에 따라 본 발명에 따른 방법을 수행하는 구조이다.
도 6는 본 발명의 제 6 구체예에 따라 본 발명에 따른 방법을 수행하는 구조이다.
도 7은 본 발명에 제 7 구체예에 따라 본 발명에 따른 방법을 수행하는 구조이다.
도 8은 도식적 표현(schematic representation)으로 두 개의 상호 보완적인 간섭 필터의 두 개의 스펙트럼이다.
도 1은 본 발명의 제 1 구체예에 따라 본 발명에 따른 방법을 수행하는 장치를 나타낸다. 전경(2) 및 배경(3)을 가지는 경관은 카메라(1)에 의하여 촬영된다. 카메라(1)는 이미지 분석 및/또는 이미지 처리(image processingm, 5)를 위한 장치레 공급되는 이미지 신호(image signal, 4)를 생성하는, 도시되지 않은 이미지 센서를 가진다. 예를 들어 카메라(1)는 이미징 렌즈 시스템(imaging lens system, 1a) 및 이미지 센서가 배치되는 카메라 하우징(camera housing, 1b)을 가질 수 있다.
전경(foreground, 2)은 설명된 예에서 간단한 큐브(cube)이다. 그러나 모든 구체예에서, 본 발명에 따른 방법은 임의의 전경(2) 특히 예를 들어 스포츠 경기의 운동선수로 수행될 수 있다. 또한 배경(background, 3)은 본 발명을 수행하기 위해 요구된 코딩을 허용하는 동안 어떤 종류일 수 있다. 예를 들어, 배경은 경기장(stadium)에서 광고하는 스튜디오 배경(studio background) 또는 경기장 주위(pitch perimeter)일 수 있다.
도 1에서 나타낸 예에서, 배경(3)은 이미지를 나타낸다, 이미지의 각각 1 주기의 주기적으로 교차하는 다른 컴포넌트를 나타내며, 컴포넌트는 완전한 이미지를 포함한다. 시간 t1, t2, t3 ..., t8, ...에서 이미지 컴포넌트의 디스플레이(display)는 카메라가 적어도 1주기, 바람직하게 각 주기에서, 키잉에 의해 이미지 신호로 전경 및 배경 사이를 구별하도록 선택되는 컴포넌트 t1, t3, t5, ...의 특정 하나를 기록하도록 카메라의 노출로 동기화된다. 예를 들어 키잉(keying)은 컬러 기반 키잉(colour-based keying), 바람직하게 크로마 키잉(chroma keying)일 수 있다. 분석 장치(5)는 카메라(1)의 이미지 센서에 의해 기록된 이미지(4)에서 전경과 배경을 구별한다.
기술된 예에서, 배경이미지는 예를 들어 두 개의 이미지로 분리될 수 있고, 제 1 이미지는 배경의 본래 이미지에서 선택적으로 감소된 컬러 컴포넌트를 포함하고, 제 2 이미지는 본래 이미지가 두 이미지의 결합에서 생성되도록 보완적으로 컬러를 포함한다. 두 개의 이미지는 더이상 관찰자(예를 들어, 100Hz)에 의해 개별적으로 감지되지 않는 것을 번갈아 나오는 높은 빈도에서 나타낼 수 있다. 레코딩 카메라(recording camera, 1)는 선택된 컬러 컴포넌트를 가지는 두 개의 이미지 중 제 1 이미지만 카메라에 의해 기록되도록 빈도의 반(예를 들어, 50Hz) 및 감소된 노출 시간(예를 들어, 1/100 sec)으로 동시에 작동할 수 있다. 또한 본 방법은 반사된 배경으로 수동적으로 여기에서 생성될 수 있다. 이러한 목적을 위해, 작동 가능한 LCD 컬러 필터는 필터의 앞에 배치될 수 있고, 상기 필터는 각각의 이미지의 대응하는 컴포넌트를 통과시킨다. 배경이 자가발광(예를 들어, LCD 디스플레이)하는 경우, 배경은 대응적으로 이미지의 컴포넌트를 나타내기 위하여 명확하게 작동될 수 있다.
도 2는 본 발명에 따른 방법을 수행하는데 더 바람직한 구조를 나타낸다. 코딩의 배경은 컴포넌트가 완전한 이미지를 형성하도록 1 주기 내에 있는, 주기적으로 번갈아 나오는 패턴을 나타낸다. 1 주기의 모든 패턴이 함께 간주되는 경우, 완전한 이미지가 생성된다.
배경(3) 및 전경(2)을 포함하는 경관은 카메라(1)의 이미지 센서에 의해 기록되며, 이미지 신호(4)는 분석 장치(5)에 의해 분석된다. 이미지 센서에 의해 기록된 이미지에서, 배경(3)은 주기적으로 번갈아 나오는 패턴에 의해 전경(2)과 구별될 수 있다. 이러한 목적을 위해, 푸리에 변환(Fourier transform)은 예를 들어 이미지 센서의 신호(4)로 수행될 수 있고, 배경(3)은 패턴의 교체 디스플레이(alternating display)의 빈도에 의해 전경(2)과 구별될 수 있다. 따라서 이미지 센서는 예를 들어 라인(lines)에서 스캔될(scanned) 수 있으며, 분석은 직접 스캔 신호(scan signal)로 수행될 수 있다. 주기적으로 번갈아 나오는 패턴은 배경이 이미지화되는 교체 빈도로 푸리에 변환에서 빈도 컴포넌트를 생성한다.
분석은 연속적인 이미지 및 하나의 이미지 내 분석에 의해 둘 다 시간이 지나면서 영향을 받을 수 있다. 따라서, 카메라(1)의 이미지 분석에서 대응하는 패턴은 발견될 수 있다. 분석은 카메라 트랙킹(camera tracking)에서 정보에 의해 지원될 수 있다.
다른 패턴은 가능하다. 기술된 경우에서, 배경(3)은 교차하는 검은색 정사각형 및 대응하는 정사각형의 위치로 이미지에서 오려낸 것을 보여주는 정사각형을 가지는 체스판 패턴을 나타낸다. 체스판 패턴 및 여기에 보완적인 체스판 패턴은 실제 체스판 패턴에 관련되어 교환되는 이미지를 나타내는 검정색 정사각형 및 정사각형의 경우, 여기서 교차하는 것을 나타낸다.
진동 빈도는 관찰자(예를 들어, 50Hz)에 의해 감지될 수 없는 곳에서 매우 높게 선택된다. 또한 빈도는 카메라의 이미지 빈도에 연결될 수 있다.
배경의 패턴은 예를 들어 LCD 필터와 같은 작동가능한 필터에 의해 수동적으로 제조될 수 있다. 또한 배경 패턴은 자가 발광 배경, 예를 들어 LED 디스플레이로 활동적으로 형성될 수 있다.
도 3은 본 발명에 따른 방법을 수행하기 위한 추가 가능한 배열를 나타낸다. 코딩을 위해, 이미지는 배경막(7)의 착색된 점(6)에 의해 나타난다. 배경막(7)의 착색된 점(6)은 바람직하게 그리드(grid)에 배치된다. 착색된 점(6)은 인근의 배경막과 각각 함께 대응하는 위치에서 이미지의 컬러를 나타낸다. 또한 배경막은 착색된 점에 의해 이미지의 컬러의 완전한 기여가 제공되도록 검은색 일 수 있다. 컬러필터(8)는 카메라(1)의 이미지 센서 앞, 바람직하게 카메라(1)의 렌즈(1a) 앞에 배치되고, 상기 컬러 필터는 착색된 점에서 발하는 컬러를 정확히 톤 다운하거나 필터링한다. 바람직하게 배경의 배경막(7) 컬러는 전경(2)에서 발생하지 않거나 조금만 발생하도록 선택된다. 카메라(1)의 이미지 센서에 의해 생성된 이미지 신호(4)에서, 전경(2)은 배경막(7)의 컬러톤으로 키잉에 의하여 분석 장치(5)로 배경(3)과 구별될 수 있다. 따라서 여기서 배경막(7)은 키잉을 위한 마스크의 제조를 위해 분석(또는 패턴)되는 컬러를 형성한다.
바람직하게, 점은 그리드가 특정 최소 거리에서 직접 관찰자를 위해 그리드 형상으로 나타나지 않도록 배치된다. 예를 들어 최소 거리는 예를 들어 광고하는 경기장 주위로부터 가까운 좌석의 거리에 의해 경기장에서 광고하는 경기장 주위의 경우, 경관 자체에서 관찰자의 보통 위치(normal location)에 의해 제공될 수 있다. 착색된 점(6)이 서로에 관한 작은 간격에서 특히 착색 또는 검정색 배경막(7)의 그리드에 배치되는 경우, 실제 이미지는 관찰자를 위해 관측된다. 또한 그리드는 그리드가 특정 최소거리로 위치에서 카메라에 의해 검출되지 않도록 매우 좁게 선택되야 한다. 경관에서 카메라 및 관찰자 둘 다를 위해, 원하는 컬러 인상(coloured impression)은 배경에 관하여 대응하는 거리에서 생성된다. 착색된 점은 근본적으로 배경막의 컬러로만 이미지 센서의 왼쪽에 남아있도록 이미지 센서 앞의 컬러 필터(8)에 의해 정확히 필터링되는 가시광 범위에서 특정 파장만을 방사한다.
도 3에서 나타나며, 도 8을 참조하여 더 자세히 다뤄지는, 간섭 필터를 가지는 솔루션(solution)은 특히 바람직하게 이루어질 수 있다. 가시 스펙트럼의 빈도의 일부만 통과하는 간섭 필터는 각각 착색된 점(6) 앞에 배치된다. 바람직하게 일부는 이미지 컬러가 구성되도록 가시 스펙트럼을 너머 분포되는 서로의 간격에서 복수의 영역을 가진다. 컬러 필터(colour filter, 8)는 착색된 점(6) 앞의 컬러 필터로 상호 보완되는 간섭필터이며, 상기 간섭 필터는 톤 다운 없이 착색된 점(6)의 앞의 컬러 필터에 의해 통과되는 컬러를 정확히 필터링 하거나 톤 다운한다. 바람직하게 착색된 점(6)은 자가 발광, 즉 예를 들어 백열 전구(light bulbs) 또는 LEDs이다.
도 4는 본 발명에 따른 방법을 수행하기 위해 추가 가능한 구체예를 나타낸다. 컬러 필터는 배경(3) 및 전경(2) 사이에 배치되며, 컬러 필터(9)는 스펙트럼에서 서로로부터 간격을 두고 떨어진 가시광의 적어도 하나, 적어도 두 개의 범위에서 선택된 컬러만 방사한다. 카메라(1)의 이미지 센서 또는 렌즈 시스템(1a)의 앞에, 경관에서 나오는 광이 이미지 센서로 가는 도중에 흐르는 추가 컬러 필터(8)를 배치한다. 컬러 필터(8)는 컬러 필터(9)에 의해 통과되는 스펙트럼의 범위를 정확히 필터링 하거나 톤 다운한다. 그 결과, 이미지 센서로 배경은 특히 컬러 필터(8)에 의해 통과된 빈도 범위의 광을 방사하는 전경(2)에 관련하여 톤 다운되거나 검정색으로 나타난다. 따라서 어두운 영역은 어두운 영역 및 배경으로 마스크 키잉(mask keying)이 수행되는 이미지 센서의 이미지 신호(4)에서 마스크를 형성한다. 이러한 방식으로, 이미지 분석 장치(5)는 전경(2)와 배경(3)을 구별할 수 있다.
구체예에서, 필터(8, 9)는 또한 바람직하게 서로 상호 보완적인, 즉 다른, 바람직하게 가시 스펙트럼의 비겹침(non overlapping) 범위가 투과 가능한 간 섭 필터이다.
또한 컬러 필터(9)는 배경(3)이 필터(8)에 의해 필터링 되는 특정 빈도 범위의 광 그 자체만 방사하는 경우로 분배된다. 이러한 자가 발광 배경은 예를 들어 정의된 스펙트럼을 방사하는 LEDs로 생성될 수 있다. 컬러 필터(8)는 LEDs에 의해 방사된 빈도를 정확히 톤 다운하거나 필터링하도록 설계된다.
필터(9)는 가시 스펙트럼의 컬러 영역이 배경에서 발생하는 컬러를 디스플레이 하는데 충분한 필터에 의해 통과되도록 선택될 수 있다. 또한 대응적으로 컬러 필터(8)는 빈도가 전경(2)에서 발생하는 컬러를 디스플레이 하는데 충분한 필터에 의해 통과하도록 선택될 수 있다. 이러한 방법에서, 이미지 센서로 생성된 이미지는 보정 없이 추가 사용될 수 있다. 그러나 전경 컬러의 보정(correction)은 항상 필터 때문에 가능한 컬러 편차를 보정하는 이미지 센서에 의해 기록된 이미지를 가능하게 한다.
도 5는 본 발명에 따른 방법을 수행하기 위한 추가 구조를 나타낸다. 코딩을 위해, 배경은 예를 들어 자외선 방사선(ultraviolet radiation) 또는 적외선 방사선(infrared radiation)일 수 있는 비가시 방사선(10)을 방사한다. 평면의 변환 장치(11)는 카메라(1)의 이미지 센서의 앞 또는 렌즈(1a)의 앞에 배치되고, 상시 변환 장치는 영역에 영향을 주는 방사선을 통과시키며 가시광(13)으로 변환되는 비가시 방사선(10)에 의해 예를 들어 형광(fluorescent) 또는 인광(phosphorescent)인 영역에서 소자(15)를 가진다. 따라서 소자(15)는 가시 광(12)이 한편으론 모든 영역을 통과 할 수 있도록, 다른 한편으로는 비가시 방사선(10)이 가시광으로 전환될 수 있도록 균일하게 배치될 수 있으며 특히 장치(11)의 표면을 넘어 그리드에 배치될 수 있다. 이미지 센서에 영향을 주는 모든 방사선은 장치(11)에 퍼진다. 이미지 센서로, 한편으로는 변함없이 장치를 통과하는 광(light)을 나타내고, 다른 한편으로는 비가시 방사선(10)의 변환으로 생성된 광(13)을 나타낸다. 비가시 방사선(10)이 배경(3)에서 나오기 때문에, 카메라(10)의 이미지 센서는 배경(3)이 정확히 이미지화되는 광(13)을 기록한다. 바람직하게, 장치(11)에 의해 생성된 광(13)의 컬러는 전경(2)에서 발생하는 컬러와 구별되도록 선택된다. 생성된 광(13)은 키잉 공정에 의해 전경(2)과 구별되는 배경(3)에 의해 마스크를 형성한다.
도 6은 본 발명에 따른 방법을 수행하기 위해 추가 가능한 배열를 나타낸다. 이로써 배경(3)은 특정 편광 방향의 편광된 광(16) 을 방사한다. 또한 컬러 필터(17) 및 편광 필터(18)는 카메라의 이미지 센서 앞에 배치되고, 통로 방향은 배경에서 방사된 광(16)의 편광 방향과 수직을 이룬다. 원편광(circular polarization)을 사용할 때, 통로 회전 방향은 편광 회전을 보완할 것이다. 바람직하게, 경관에서 나오는 광은 첫째로 컬러 필터(17)를 통해 흐르며, 이 전에 편광 필터(18)는 이미지 센서에 영향을 준다. 이미지 센서에 의해 기록된 이미지에서, 배경은 이러한 배열에서 컬러 톤 없이 어둡게 나타난다. 경관의 직접 관찰자를 위하여, 대조적으로 배경(3)은 관찰자가 편광된 광(polarised light, 16)을 감지하기 때문에 보통 컬러(normal colours)로 나타난다. 배경(2)가 컬러 필터(17)로 인해 카메라(1)의 이미지 센서로 생성된 이미를 가지는 컬러 톤(colour tone)은 이 후에 컴퓨터에 의해 이미지 신호(4)로 보충될 수 있다.
방법의 구체예에서, 컬러 톤이 없는 어두운 이미지 컴포넌트, 즉 배경(3)을 야기하는 이미지 컴포넌트(image components)는 전경(2)과 배경(3)을 구별하기 위하여 수행되는 키잉(keying)에 의하여 마스크(mask)를 형성한다.
도 7은 본 발명에 따른 방법을 수행하는 추가 배열을 나타낸다. 이로써 배경(3)은 비가시 방사선(10), 예를 들어 실제 이미지 뿐만 아니라 자외선 방사선 또는 적외선 방사선을 방사한다. 이미지 센서의 앞에서, 바람직하게 카메라(1)의 이미징 렌즈 시스템(1a) 뒤 빔 경로(beam path)의 방향에서, 변환 장치(19)는 비가시 광에서 생성될 수 있는 배경(3)의 비가시 이미지(non-visible image)에 의하여 이러한 구체예에서 배치된다. 따라서 장치(19)는 경관에서 이미지 센서에 영향을 주는 광의 빔 경로에서 잇달아 배치되는 빔 스플리터(beam splitter, 20) 및 반투막성 미러(semipermeable mirror 21)를 가진다. 빔 스플리터(20)는 변환 장치의 이미지 센서(22)에 적어도 부분적으로 비가시 광을 편향시킨다. 변환기(24)는 비가시 방사선(10)으로부터 이미지 센서(22)에 의해 생성된 이미지를 기록하고, 이미지 디스플레이(image display, 23)로 이미지 센서에 의해 기록된 이미지에 대응하는 가시광 이미지를 생성하며, 따라서 비가시 방사선(10)에 의해 미리 조정되는 패턴을 정확히 나타낸다. 이미지 디스플레이에 의해 생성된 이미지는 반투과성 미러(21)에 의하여 경관으로부터 카메라(1)의 이미지 센서에 영향을 주는 광 경로에 합쳐지며, 키잉으로 배경(2)과 구별될 수 있는 전경(2)에 의하여 키잉 마스크의 제조를 위한 패턴으로 카메라(1)의 이미지 센서에 의해 생성된 이미지 센서로 제공된다.
도 8은 상부 및 하부에서 도식적 표현으로 서로 상호 보완적인 간섭 필터의 2 개의 스펙트럼을 나타낸다. 광의 빈도는 수평축(horizontal axis)에 도표화되고, 기술된 예에서 필수적으로 가시 범위를 교차할 것이다. 대응하는 간섭 필터를 통과하는 광의 각각의 강도는 간섭 필터가 동일한 강도를 가지는 기술된 범위의 모든 빈도를 포함하는 백광(white light)으로 방사되는 경우 수직 축에 도표화된다. 간섭 필터가 통과하는 스펙트럼에서 간격을 두고 떨어진 복수의 가시광 범위를 허용하는 것을 감지할 수 있다. 통과한 광의 영역은 배경(3) 또는 전경(2)의 요구된 모든 컬러가 구성될 수 있도록 두 간섭 필터로 선택될 수 있다. 기술된 두 개의 간섭 필터는 서로 상호 보완적이며, 상부 간섭 필터에 의해 필터링된 빈도가 하부 간섭 필터에 의해 정확히 통과되는 동안 상부에서 보여진 간섭 필터에 의해 통과되는 스펙트럼의 영역이 하부에서 보여진 간섭필터에 의해 정확히 필터링되는 것을 의미한다. 참고사항은 필터가 가능한 본 발명에 따른 방법을 만들기 위하여 대응하는 컬러 컴포넌트를 완전히 필터링할 필요가 없는 사실로 만들어질 수 있다. 또한 톤 다운(toning down)은 적절하다. 게다가 빈도 범위가 도 6에 도식적으로 나타낸대로 매우 선명하세 서로 분리되는 것을 요구하지 않는다. 어느 정도의 겹치는 범위는 허용되는 다른 필터에 의해 통과된다.

Claims (29)

  1. 전자 카메라(electronic camera)로 기록된 이미지에서 경관의 배경 및 전경을 구별하는 방법으로서,
    배경은 이미지가 배경의 직접 관찰자(direct observer)에게 인식 가능하도록 코딩(coding)으로 부호화된(coded) 임의의 이미지를 나타내며,
    배경은 코딩에 의해 카메라의 이미지 센서(image sensor)로 생성된 신호로 비부호화된(non-coded) 전경과 구별되고, 상기 이미지 센서는 이미지를 기록하는, 경관의 배경 및 전경을 구별하는 방법.
  2. 제 1항에 있어서,
    상기 코딩(coding)은 이미지를 형성하는 성분(component)의 주기적 시퀀스(periodic sequence)로서 이미지를 나타내는 배경을 포함하고,
    이미지의 디스플레이(display)에 영향을 주는 적어도 하나의 이미징 매개변수(imaging parameter)는 각 주기 동안 각각 변경되며,
    특정 성분의 디스플레이와 카메라의 이미지 센서의 노출이 동시에 일어나는, 경관의 배경 및 전경을 구별하는 방법.
  3. 제 2항에 있어서,
    적어도 한 주기를 걸쳐 코드화된 이미지의 일시적 평균(temporal averaging)은 이미지에 대응하는, 경관의 배경 및 전경을 구별하는 방법.
  4. 제 2항 또는 제 3항에 있어서,
    상기 이미지 센서의 기록 주기(recording cycle)의 지속 기간은 성분의 디스플레이의 주기적 시퀀스(periodic sequence)의 지속 시간보다 작거나 동일한, 경관의 배경 및 전경을 구별하는 방법.
  5. 제 1항 내지 4항 중 어느 한 항에 있어서,
    상기 코딩은 이미지의 주기적으로 번갈아 나오는 다른 성분을 표시하는 배경을 포함하고, 각 주기의 각각의 성분은 완전한 이미지를 형성하고,
    성분의 디스플레이는 카메라가 적어도 한 주기, 바람직하게 각 주기에서 성분 중 하나만 기록하도록 카메라의 노출과 동기화되는, 경관의 배경 및 전경을 구별하는 방법.
  6. 제 5항에 있어서,
    키잉(keying), 바람직하게 크로마 키잉(chroma keying)에 의해 배경으로부터 전경을 구별하도록 상기 카메라로 기록된 성분이 선택되며,
    배경은 키잉, 바람직하게 크로마 키잉에 의해 이미지 센서로 기록된 이미지에서 전경과 구별되는, 경관의 배경 및 전경을 구별하는 방법.
  7. 제 6항에 있어서,
    상기 이미지 센서로 기록된 한 주기의 성분은 본질적으로 전경에서 발생하지 않는 증가된 컬러 성분을 표시하며, 성분이 이미지의 컬러를 같이 형성하도록 대응적으로 감소된 컬러 성분을 다른 성분이 표시하는, 경관의 배경 및 전경을 구별하는 방법.
  8. 제 2항 내지 7항 중 어느 한 항에 있어서,
    두 성분은 카메라의 노출 빈도보다 2배 높은 빈도로 번갈아 나오는, 경관의 배경 및 전경을 구별하는 방법.
  9. 제 1항 내지 8항 중 어느 한 항에 있어서,
    이미지의 코딩은 완전한 이미지를 형성하도록 한 주기 내에서 서로 보완(complement)하는 주기적으로 번갈아 나오는 패턴(patterns)을 표시하는 배경을 포함하며,
    배경은 주기적으로 번아 나오는 패턴에 의해 이미지 센서의 신호로 전경과 구별되는 것을 특징으로 하는, 경관의 배경 및 전경을 구별하는 방법.
  10. 제 9항에 있어서,
    상기 이미지 센서의 노출 빈도 및 패턴의 표시는 서로 동기화되고 및/또는 이미지 센서의 신호에 푸리에 변환(Fourier transform)이 실행되며, 배경은 패턴의 번갈아 나오는 디스플레이의 빈도 의해 전경과 구별되는, 경관의 배경 및 전경을 구별하는 방법.
  11. 제 9항 및 10항 중 어느 한 항에 있어서,
    상기 패턴은 수학적으로 구별 가능한 구조, 바람직하게 이미지 센서의 스캐닝 방향(scanning direction)에 주기적인 구조로 존재하며, 바람직하게 패턴은 체스판 패턴(chessboard pattern)인, 경관의 배경 및 전경을 구별하는 방법.
  12. 제 9항 내지 11항 중 어느 한 항에 있어서,
    한 주기의 각 패턴은 영역에서 완전히 광투과 또는 자가 발광하며, 영역에서 하나의 컬러의 광을 위해 적은 광을 투과하거나 적게 투과하거나 대응 광을 투과시키지 않거나 대응하는 모든 컬러에서 더 약하게 발광하거나 발광하지 않는 이진 패턴(binary pattern)인, 경관의 배경 및 전경을 구별하는 방법.
  13. 제 1항에 있어서,
    상기 코딩은 서로의 간격에서 적어도 하나, 바람직하게 적어도 두 개의 가시 스펙트럼(visible spectrum) 범위에서 선택된 컬러로만 이미지를 표시하는 배경을 포함하며,
    배경에서 나오는 광은 이미지 센서에 영향을 주기 전에, 컬러 필터(coloured filter), 바람직하게 간섭 필터(interference filter)를 통과하며, 상기 컬러 필터는 가시 스펙트럼의 범위를 필터링하거나 톤 다운(tones down)하며, 가시 스펙트럼 외의 범위는 톤 다운 없이 통과시키는, 경관의 배경 및 전경을 구별하는 방법.
  14. 제 1항 또는 제 13항에 있어서,
    상기 코딩은 배경막(backdrop)의 착색된 점(coloured dots)의 그리드에서 나타나는 이미지를 포함하고, 상기 착색된 점은 각각 주위의 배경막과 함께 이미지의 컬러를 형성하며,
    상기 컬러 필터는 이미지 센서의 앞에 배치되며, 착색된 점의 컬러를 톤 다운하고, 바람직하게 톤 다운 없이 배경막의 컬러를 통과하며,
    배경은 키잉, 바람직하게 크로마 키잉에 의해 배경막의 컬러에서 전경과 구별되는 것을 특징으로 하는, 경관의 배경 및 전경을 구별하는 방법.
  15. 제 14항에 있어서,
    상기 착색된 점의 컬러 및 배경막의 컬러는 가시 스펙트럼의 분리된 부분(disjoint part)을 형성하고, 바람직하게 착색된 점의 광은 적어도 하나의 스펙트럼 필터(spectral filter), 바람직하게 간섭 필터를 통과하며, 상기 배경막에서 방출된 광은 통과하지 않으며,
    상기 이미지 센서의 앞에 배치된 필터는 스펙트럼 필터, 바람직하게 간섭 필터이며, 상기 필터는 간섭 필터 또는 착색된 점의 앞의 필터와 상호 보완적인, 경관의 배경 및 전경을 구별하는 방법.
  16. 제 14항 및 15항 중 어느 한 항에 있어서,
    상기 착색된 점은 자가발광, 바람직하게 발광 다이오드(light diodes)인, 경관의 배경 및 전경을 구별하는 방법.
  17. 제 1항 또는 13항에 있어서,
    상기 코딩은 스펙트럼에서 서로의 간격에서, 적어도 하나, 바람직하게 두 개의 가시 스펙트럼 범위에서 선택된 컬러만 방사하는 배경을 포함하며,
    경관에서 나오는 광은 이미지 센서에 영향을 주기 전 컬러 필터를 통과하고, 상기 컬러 필터는 이미지의 컬러가 선택되는 가시 스펙트럼의 범위를 톤 다운하고, 톤 다운 없이 상기 가시 스펙트럼 범위 사이에 배치된 가시 스펙트럼의 범위를 통과시키며,
    상기 배경은 이미지 센서 앞의 컬러 필터에 의해 톤 다운된 스펙트럼의 범위로 키잉에 의해 전경과 구별되는, 경관의 배경 및 전경을 구별하는 방법.
  18. 제 17항에 있어서,
    간섭 필터는 전경 뒤 및 이미지 앞의 경관에 배치되고, 상기 간섭 필터는 배경 컬러가 선택되는 범위가 아닌 가시 스펙트럼의 범위를 톤 다운하며, 광이 이미지 센서에 영향을 주기 전 통과하는 컬러 필터(colour filter)는 언급된 간섭 필터와 상호 보완적인 간섭 필터인, 경관의 배경 및 전경을 구별하는 방법.
  19. 제 1항에 있어서,
    상기 코딩은 적어도 하나의 비가시 스펙트럼 범위의 전자기 방사선(electromagnetic radiation)을 방사하고, 통과시키거나 반사하는 배경을 포함하고,
    이미지 센서에 의해 검출된 가시광으로 비가시 전자기 방사선을 변환하는, 변환 장치(conversion device)는 이미지 센서 앞에 배치되는, 경관의 배경 및 전경을 구별하는 방법.
  20. 제 19항에 있어서,
    상기 변환 장치는 평면이고, 적어도 표면의 일부로, 배경에 의해 방사되고, 통과되거나 반사되는 비가시 방사선을 이미지 센서로 검출되는 가시 광으로 변환하며,
    상기 배경은 변환된 광으로 키잉에 의해 전경과 구별되는, 경관의 배경 및 전경을 구별하는 방법.
  21. 제 20항에 있어서,
    상기 필터는 표면, 바람직하게 그리드(grid)에 배치된 표면에 걸쳐 분포된 형광(fluorescent) 물질 또는 인광(phosphorescent) 물질의 점(dots)을 가지며,
    상기 점(dot)은 비가시 방사선으로 여기되는 특정 파장으로 조사(illuminate)하며,
    장치, 바람직하게 렌즈(lens)가 이미지 센서에 형광 물질의 점 또는 인광물질의 점에 대응하는 이미지를 형성하기 위하여 각각의 점에 할당되는, 경관의 배경 및 전경을 구별하는 방법.
  22. 제 1항에 있어서,
    상기 코딩은 하나의 특정 편광(polarisation) 방향 또는 편광 회전으로만 편광된 광(polarised light)을 방사하거나 반사하는 배경을 포함하고,
    배경에서 나오는 광은 이미지 센서에 영향을 주기 전 컬러 필터 및 편향 필터를 통과하고, 상기 필터는 배경에서 방사되고 반사된 편향된 광을 필터링 하도록 방향이 결정되며,
    컬러 필터의 컬러톤(colour tone)을 가지지 않는 이미지 센서로 기록된 이미지의 어두운 영역에서 키잉에 의해 배경에서 전경이 구별되며,
    경관에서 나오는 광은 바람직하게 먼저 컬러 필터를 통과한 후 이어서 편광 필터를 통과하는, 경관의 배경 및 전경을 구별하는 방법.
  23. 제 19항에 있어서,
    상기 경관에서 나오는 전자기 방사선은 이미지 센서에 영향을 주기 전, 바람직하게 카메라의 이미징 렌즈 시스템(imaging lens system)을 통과한 후 변환 장치를 통과하며,
    상기 변환 장치는 가시광으로 비가시 전자기 방사선을 변환하며 배경의 위치에서 카메라의 관점으로부터 경관으로 그것을 합치는, 경관의 배경 및 전경을 구별하는 방법.
  24. 제 23항에 있어서,
    상기 변환 장치는 방사된 전자기 방사선에 의해 이미지 센서의 앞, 바람직하게 부분적으로 투과할 수 있는 미러(mirror)를 통해 빔 경로로 배경에 대응하는 이미지를 합치는 변환기(converter) 쪽으로 방사선의 일부 및/또는 비가시 전자기 방사선을 편향시키는 빔 스플리터(beam splitter)를 가지는, 경관의 배경 및 전경을 구별하는 방법.
  25. 제 1항 내지 24항 중 어느 한 항에 있어서,
    상기 이미지의 코딩은 이미지 시퀀스(image sequence)에 걸친 진동을 포함하며, 진동은 배경과 전경의 구별로 발생하는, 경관의 배경 및 전경을 구별하는 방법.
  26. 제 1항 내지 25항 중 어느 한 항에 있어서,
    상기 전경은 배경 및 전경의 구별 후 이미지 신호(image signal)에서 재구조화되는, 경관의 배경 및 전경을 구별하는 방법.
  27. 제 1항 내지 26항 중 어느 한 항에 있어서,
    상기 이미지는 카메라 트랙킹(camera tracking)의 도움으로 이미지 센서의 이미지에 배치되고 및/또는 카메라 트랙킹은 배경 및 전경의 구별을 돕는, 경관의 배경 및 전경을 구별하는 방법.
  28. 배경이 제 1항 내지 27항 중 어느 한 항에 따른 방법으로 전경과 구별되며, 배경은 다른 배경으로 대체되는, 경관의 이미지에서 배경을 대체하는 방법.
  29. 제 1항 내지 28항 중 어느 한 항에 따른 방법이 전자 디스플레이 시스템으로 수행될 수 있는, 적어도 하나의 디스플레이 및 적어도 하나의 카메라를 가지는 전자 디스플레이 시스템(electronic display system).
KR1020137009967A 2010-09-20 2011-08-16 장소의 배경 및 전경 구별방법 및 장소 이미지의 배경 대체 방법 KR101826178B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010046025.7 2010-09-20
DE102010046025 2010-09-20
PCT/EP2011/004114 WO2012038009A1 (de) 2010-09-20 2011-08-16 Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187003087A Division KR102002331B1 (ko) 2010-09-20 2011-08-16 장소의 배경 및 전경 구별방법 및 장소 이미지의 배경 대체 방법

Publications (2)

Publication Number Publication Date
KR20130096735A true KR20130096735A (ko) 2013-08-30
KR101826178B1 KR101826178B1 (ko) 2018-03-22

Family

ID=44514625

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187003087A KR102002331B1 (ko) 2010-09-20 2011-08-16 장소의 배경 및 전경 구별방법 및 장소 이미지의 배경 대체 방법
KR1020137009967A KR101826178B1 (ko) 2010-09-20 2011-08-16 장소의 배경 및 전경 구별방법 및 장소 이미지의 배경 대체 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187003087A KR102002331B1 (ko) 2010-09-20 2011-08-16 장소의 배경 및 전경 구별방법 및 장소 이미지의 배경 대체 방법

Country Status (32)

Country Link
US (4) US9355325B2 (ko)
EP (3) EP2619975B1 (ko)
JP (2) JP5944904B2 (ko)
KR (2) KR102002331B1 (ko)
CN (1) CN103155539B (ko)
AR (3) AR083054A1 (ko)
AU (2) AU2011304767B2 (ko)
BR (1) BR112013006763B1 (ko)
CA (2) CA3024819C (ko)
CL (1) CL2013000751A1 (ko)
CO (1) CO6680715A2 (ko)
DK (1) DK3340610T3 (ko)
EC (1) ECSP13012500A (ko)
ES (2) ES2938620T3 (ko)
HR (1) HRP20230172T1 (ko)
HU (1) HUE061085T2 (ko)
IL (1) IL225194A (ko)
MA (1) MA34597B1 (ko)
MX (3) MX2013002984A (ko)
MY (1) MY164379A (ko)
NZ (4) NZ705445A (ko)
PE (2) PE20140057A1 (ko)
PH (1) PH12017500065A1 (ko)
PL (2) PL2619975T3 (ko)
PT (2) PT2619975T (ko)
RS (1) RS64048B1 (ko)
RU (1) RU2572207C2 (ko)
SG (3) SG188569A1 (ko)
TR (1) TR201807589T4 (ko)
UA (1) UA115303C2 (ko)
WO (1) WO2012038009A1 (ko)
ZA (1) ZA201301772B (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK3340610T3 (da) 2010-09-20 2023-02-20 Fraunhofer Ges Forschung Fremgangsmåde til adskillelse af baggrunden og forgrunden i et motiv samt fremgangsmåde til erstatning af en baggrund på billeder i et motiv
EP2912643A1 (en) * 2012-10-29 2015-09-02 Net Entertainment NE AB Architecture for multi-player, multi-game, multi- table, multi-operator&multi-jurisdiction live casino gaming
CN103929585B (zh) * 2013-01-15 2018-02-27 联想(北京)有限公司 一种偏光片的控制方法、电子设备及系统
US20150289338A1 (en) * 2014-04-08 2015-10-08 Revolution Display, Inc. Automatic chroma key background generator with incident key lighting
WO2015175818A1 (en) * 2014-05-16 2015-11-19 Musco Corporation Sports lighting to increase contrast
US9838661B2 (en) * 2014-05-30 2017-12-05 Lifetouch Inc. Photographic scene replacement system
CN104361577B (zh) * 2014-10-20 2015-08-19 湖南戍融智能科技有限公司 一种基于深度图像与可见光图像融合的前景检测方法
CN104361580B (zh) * 2014-10-22 2015-06-24 山东大学 基于平面幕布的投影图像实时校正方法
US10321100B2 (en) * 2014-12-02 2019-06-11 Ademco Inc. System and method of foreground extraction for digital cameras
EP3104330B1 (de) 2015-06-09 2019-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum nachverfolgen zumindest eines objektes und verfahren zum ersetzen zumindest eines objektes durch ein virtuelles objekt in einem von einer kamera aufgenommenen bewegtbildsignal
CN105611426B (zh) * 2016-01-15 2019-04-05 深圳市奥拓电子股份有限公司 一种虚拟显示图像方法及装置
JP6833348B2 (ja) * 2016-05-25 2021-02-24 キヤノン株式会社 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム
CN106199971A (zh) * 2016-08-30 2016-12-07 上海丹诺西诚智能科技有限公司 用于抬头显示器的显示图像颜色自适应方法及装置
DE102016119639A1 (de) * 2016-10-14 2018-04-19 Uniqfeed Ag System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen
DE112017005244T5 (de) * 2016-10-17 2019-07-11 Sony Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung
CA3049732C (en) 2017-01-27 2021-11-23 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers
ES2755776T3 (es) 2017-02-02 2020-04-23 Fraunhofer Ges Forschung Procedimiento para sustituir contenidos de imágenes
KR102583929B1 (ko) 2017-02-24 2023-10-04 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2018170272A1 (en) * 2017-03-16 2018-09-20 Timothy Joseph Erskine Automatically controlling a multiplicity of televisions over a network by the outputs of a subset of interfaces
US10270986B2 (en) 2017-09-22 2019-04-23 Feedback, LLC Near-infrared video compositing
US10560645B2 (en) 2017-09-22 2020-02-11 Feedback, LLC Immersive video environment using near-infrared video compositing
US10674096B2 (en) 2017-09-22 2020-06-02 Feedback, LLC Near-infrared video compositing
CA3061699C (en) 2017-12-14 2023-03-07 Canon Kabushiki Kaisha Generation device, generation method and non-transitory computer-readable meadium storing a program for generating a three-dimensional model from an image
CN108289220B (zh) * 2018-01-15 2020-11-27 深圳市奥拓电子股份有限公司 虚拟图像处理方法、图像处理系统及存储介质
CN108765278B (zh) * 2018-06-05 2023-04-07 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CA3105905A1 (en) * 2018-07-27 2020-01-30 Appario Global Solutions (AGS) AG Method and system for dynamic image content replacement in a video stream
KR102622082B1 (ko) * 2018-11-19 2024-01-09 삼성전자주식회사 디스플레이 장치, 서버, 전자 장치 및 그 제어 방법들
US11057576B2 (en) 2019-02-15 2021-07-06 Shutterfly, Llc System and method for automated detection and replacement of photographic scenes
JP7267123B2 (ja) * 2019-06-20 2023-05-01 日東電工株式会社 画像生成システム用光学フィルムのセット
JP7267122B2 (ja) * 2019-06-20 2023-05-01 日東電工株式会社 画像生成システム用光学フィルムのセット
CN110896498A (zh) * 2019-10-03 2020-03-20 刘纪君 计算机场景特效系统
US11496691B2 (en) 2019-12-16 2022-11-08 Disney Enterprises, Inc. Realistic illumination of a character for a scene
DE102019220278A1 (de) * 2019-12-19 2021-06-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Anzeige von Videos
CN111225198A (zh) * 2020-03-11 2020-06-02 潍坊学院 液晶偏振隐形提词dlp投影机系统及视频数据处理方法
CN111246192A (zh) * 2020-03-16 2020-06-05 潍坊学院 隐形提词投影机系统及视频数据处理方法
US11800048B2 (en) * 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
DE102021215048A1 (de) 2021-12-27 2023-06-29 Friedrich-Schiller-Universität Jena Anordnung und Verfahren zum Unterscheiden zwischen einem Hintergrund und einem Vordergrundobjekt einer Szene
WO2023175114A1 (en) 2022-03-16 2023-09-21 Pucki Gmbh Method for producing a video stream
EP4287630A1 (en) 2022-06-02 2023-12-06 Pucki GmbH Method for producing a video stream

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3723005A (en) * 1965-12-13 1973-03-27 Gen Electric Wide angle sighting apparatus
JPS539692B2 (ko) * 1972-06-19 1978-04-07
FR2566934B1 (fr) 1984-06-29 1987-05-07 Giraud Daniel Procede d'affichage d'informations telles que par exemple des messages publicitaires sur un certain nombre de panneaux a elements d'affichage disposes dans un lieu de manifestations sportives et systeme pour la mise en oeuvre d'un tel procede
FR2661061B1 (fr) 1990-04-11 1992-08-07 Multi Media Tech Procede et dispositif de modification de zone d'images.
JPH0483480A (ja) * 1990-07-26 1992-03-17 Nippon Hoso Kyokai <Nhk> 偏光キー方式画像合成装置
ATE181631T1 (de) 1991-07-19 1999-07-15 Princeton Video Image Inc Fernsehanzeigen mit ausgewählten eingeblendeten zeichen
ATE192622T1 (de) 1993-02-14 2000-05-15 Orad Inc Vorrichtung und verfahren zur detektierung, identifizierung und einfügung in ein video
NZ271237A (en) 1993-10-27 1996-09-25 Princeton Video Image Inc Electronic billboard insertion of images into broadcast video stream
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
DE4418143A1 (de) 1994-05-25 1995-11-30 Siemens Ag Verfahren und System zum Auswechseln oder Einblenden von Bildinhalten in Fernsehbilder
GB2305049B (en) 1995-09-08 2000-06-07 Orad Hi Tec Systems Ltd Electronic billboard replacement switching system
GB2305051B (en) 1995-09-08 2000-06-21 Orad Hi Tec Systems Ltd Method and apparatus for automatic electronic replacement of billboards in a video image
GB9601101D0 (en) 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
CA2187614C (en) * 1995-10-10 2002-11-26 Jonathan Erland Traveling mat backing
FR2749116B1 (fr) * 1996-05-24 1998-06-19 Thomson Multimedia Sa Camera a effets speciaux
SE506544C2 (sv) 1996-06-20 1998-01-12 Telia Ab Anordning och metod för generering av digitala reklamskyltar
US6310733B1 (en) * 1996-08-16 2001-10-30 Eugene Dolgoff Optical elements and methods for their manufacture
US5986718A (en) * 1996-09-19 1999-11-16 Video Magic, Inc. Photographic method using chroma-key and a photobooth employing the same
US6532022B1 (en) * 1997-10-15 2003-03-11 Electric Planet, Inc. Method and apparatus for model-based compositing
JPH11353703A (ja) * 1998-04-06 1999-12-24 Seitai Hikari Joho Kenkyusho:Kk 情報記録媒体および情報読取システム
WO1999061948A1 (fr) * 1998-05-25 1999-12-02 Matsushita Electric Industrial Co., Ltd. Telemetre et appareil photographique
JP3241327B2 (ja) * 1998-08-22 2001-12-25 大聖電機有限会社 クロマキーシステム
JP4121639B2 (ja) * 1998-11-12 2008-07-23 三洋電機株式会社 物体画像切り出し方法、装置、システム及びそのプログラムを記録した媒体
US6342887B1 (en) * 1998-11-18 2002-01-29 Earl Robert Munroe Method and apparatus for reproducing lighting effects in computer animated objects
US7653923B2 (en) 2000-02-18 2010-01-26 Prime Research Alliance E, Inc. Scheduling and presenting IPG ads in conjunction with programming ads in a television environment
ATE256363T1 (de) 1999-07-15 2003-12-15 Scannova Gmbh Verfahren zur bilddatenverarbeitung und kameraaufnahmesystem
GB2358098A (en) * 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
JP2002041955A (ja) 2000-07-27 2002-02-08 Mitsubishi Electric Corp スポーツ中継における広告配信システム及び広告配信方法
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
EP1449357A4 (en) * 2001-06-19 2006-10-04 Ecole Polytech METHOD AND SYSTEM FOR COMBINING VIDEO SEQUENCES WITH SPATIO-TEMPORAL ALIGNMENT
JP2003046854A (ja) * 2001-08-01 2003-02-14 Olympus Optical Co Ltd 撮像装置
US6980177B2 (en) 2001-08-03 2005-12-27 Waterstrike Incorporated Sequential inverse encoding apparatus and method for providing confidential viewing of a fundamental display image
US7319755B2 (en) 2001-08-03 2008-01-15 Waterstrike Incorporated Image altering apparatus and method for providing confidential viewing of a fundamental display image
KR100443678B1 (ko) * 2001-09-29 2004-08-09 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법
US20030202124A1 (en) 2002-04-26 2003-10-30 Alden Ray M. Ingrained field video advertising process
JP4033006B2 (ja) * 2003-03-12 2008-01-16 日本電信電話株式会社 画像処理装置及び方法並びにプログラム
US20050057663A1 (en) 2003-07-16 2005-03-17 Thomas Graham Alexander Video processing
FR2868185B1 (fr) * 2004-03-23 2006-06-30 Realeyes3D Sa Procede d'extraction de donnees brutes d'une image resultant d'une prise de vue
IES20060558A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
ITRM20060136A1 (it) * 2006-03-10 2007-09-11 Link Formazione S R L Sistema multimediale interattivo
US7609327B2 (en) * 2006-04-19 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Polarization difference matting using a screen configured to reflect polarized light
GB2437575A (en) 2006-04-27 2007-10-31 Andrew Peter Phelan Audience-specific image display
US7344305B2 (en) * 2006-08-01 2008-03-18 Siemens Medical Solutions Usa, Inc. Remote visual feedback of collimated area and snapshot of exposed patient area
JP2008092120A (ja) * 2006-09-29 2008-04-17 Fujifilm Corp 画像合成システム
US8045060B2 (en) * 2006-10-04 2011-10-25 Hewlett-Packard Development Company, L.P. Asynchronous camera/projector system for video segmentation
DE102007041719B4 (de) 2006-11-06 2010-01-28 Bauhaus-Universität Weimar Verfahren zur Erzeugung erweiterter Realität in einem Raum
US20080168512A1 (en) * 2007-01-04 2008-07-10 Nguyen Thuyen X System and Method to Implement Interactive Video Streaming
DE102007004719B4 (de) * 2007-01-31 2018-04-05 Mhz Hachtel Gmbh & Co. Kg Verfahren zur Montage einer Aufwickelanordnung eines Behangs
CN101236717B (zh) 2007-02-01 2010-09-15 明基电通股份有限公司 动态图像数据序列产生方法及动态图像显示装置
JP2008241447A (ja) * 2007-03-27 2008-10-09 Fujifilm Corp 画像読取装置及び画像読取方法
US7934862B2 (en) * 2007-09-24 2011-05-03 Munisamy Anandan UV based color pixel backlight for liquid crystal display
JP5038101B2 (ja) * 2007-11-12 2012-10-03 キヤノン株式会社 放射線撮像装置、その駆動方法及びプログラム
JP2010014639A (ja) * 2008-07-07 2010-01-21 Hitachi Maxell Ltd 画像取得装置、変換装置、及び熱画像取得方法
US9479786B2 (en) * 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
FI20090040A0 (fi) * 2009-02-09 2009-02-09 Mika Daniel Letonsaari Videon käsittely
US9311618B2 (en) 2009-04-07 2016-04-12 Clearslide, Inc. Mixed content type presentation system
FR2947939B1 (fr) 2009-07-08 2011-08-19 Electricite De France Simulateur de parcours en fauteuil roulant.
US20110251969A1 (en) * 2010-04-07 2011-10-13 Sproxil, Inc Systems and methods for verifying authenticity of a product
DK3340610T3 (da) 2010-09-20 2023-02-20 Fraunhofer Ges Forschung Fremgangsmåde til adskillelse af baggrunden og forgrunden i et motiv samt fremgangsmåde til erstatning af en baggrund på billeder i et motiv
DE102010046529A1 (de) 2010-09-24 2012-03-29 Volkswagen Ag Rahmensystem für Batteriezellen sowie Batteriemodul
US8928729B2 (en) 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
GB201204129D0 (en) 2012-03-08 2012-04-25 Supponor Oy Apparatus and method for image content detection and image content replacement system
GB2502986B (en) 2012-06-12 2014-05-14 Supponor Oy Apparatus and method for image content replacement
EP3104330B1 (de) 2015-06-09 2019-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum nachverfolgen zumindest eines objektes und verfahren zum ersetzen zumindest eines objektes durch ein virtuelles objekt in einem von einer kamera aufgenommenen bewegtbildsignal
CN105472399B (zh) 2015-11-20 2019-04-05 深圳市奥拓电子股份有限公司 一种转播视频与现场显示视频分离方法及装置
CN105611426B (zh) 2016-01-15 2019-04-05 深圳市奥拓电子股份有限公司 一种虚拟显示图像方法及装置
WO2018133011A1 (zh) 2017-01-19 2018-07-26 深圳市奥拓电子股份有限公司 一种视频转播方法及系统
CA3049732C (en) 2017-01-27 2021-11-23 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers
EP3398963B1 (en) * 2017-05-04 2021-09-29 Eberhard Karls Universität Tübingen Medizinische Fakultät Chemically modified mrna for use in the treatment of a disease associated with the cftr gene

Also Published As

Publication number Publication date
WO2012038009A1 (de) 2012-03-29
DK3340610T3 (da) 2023-02-20
IL225194A (en) 2017-06-29
BR112013006763A2 (pt) 2020-10-06
HRP20230172T1 (hr) 2023-03-31
NZ705446A (en) 2016-10-28
CN103155539B (zh) 2016-06-22
AU2016202378A1 (en) 2016-05-05
EP3340610B1 (de) 2022-11-16
US10313607B2 (en) 2019-06-04
US9355325B2 (en) 2016-05-31
AR106832A2 (es) 2018-02-21
CA3024819A1 (en) 2012-03-29
US20220046187A1 (en) 2022-02-10
EP2619975A1 (de) 2013-07-31
RU2572207C2 (ru) 2015-12-27
EP2619975B1 (de) 2018-03-28
EP4175286A1 (de) 2023-05-03
US20130243248A1 (en) 2013-09-19
MX337498B (es) 2016-03-09
EP3340610A2 (de) 2018-06-27
PE20140057A1 (es) 2014-03-01
US20160255283A1 (en) 2016-09-01
KR20180015757A (ko) 2018-02-13
UA115303C2 (uk) 2017-10-25
AU2016202378B2 (en) 2018-05-24
SG10201507715WA (en) 2015-10-29
NZ705445A (en) 2016-02-26
MX337499B (es) 2016-03-09
RS64048B1 (sr) 2023-04-28
PL2619975T3 (pl) 2019-03-29
CL2013000751A1 (es) 2013-09-13
PT3340610T (pt) 2023-02-22
KR102002331B1 (ko) 2019-07-23
PL3340610T3 (pl) 2023-04-11
JP2016154338A (ja) 2016-08-25
AU2011304767A1 (en) 2013-04-04
JP2013537384A (ja) 2013-09-30
CN103155539A (zh) 2013-06-12
HUE061085T2 (hu) 2023-05-28
JP6431861B2 (ja) 2018-11-28
CA3024819C (en) 2022-04-12
JP5944904B2 (ja) 2016-07-05
CA2811222A1 (en) 2012-03-29
PH12017500065B1 (en) 2018-03-05
KR101826178B1 (ko) 2018-03-22
BR112013006763B1 (pt) 2022-10-18
NZ724280A (en) 2018-03-23
NZ609152A (en) 2015-05-29
CO6680715A2 (es) 2013-05-31
PT2619975T (pt) 2018-06-07
EP3340610A3 (de) 2018-09-26
ZA201301772B (en) 2014-03-26
SG10201507710TA (en) 2015-10-29
ES2673306T3 (es) 2018-06-21
AR106831A2 (es) 2018-02-21
SG188569A1 (en) 2013-04-30
US11950014B2 (en) 2024-04-02
ECSP13012500A (es) 2013-05-31
PE20180320A1 (es) 2018-02-12
IL225194A0 (en) 2013-06-27
US20190215466A1 (en) 2019-07-11
MY164379A (en) 2017-12-15
TR201807589T4 (tr) 2018-06-21
US11165973B2 (en) 2021-11-02
CA2811222C (en) 2019-08-27
ES2938620T3 (es) 2023-04-13
AR083054A1 (es) 2013-01-30
MA34597B1 (fr) 2013-10-02
PH12017500065A1 (en) 2018-03-05
RU2013114194A (ru) 2014-10-27
AU2011304767B2 (en) 2016-01-14
MX2013002984A (es) 2013-08-01

Similar Documents

Publication Publication Date Title
US11950014B2 (en) Method for differentiating between background and foreground of scenery and also method for replacing a background in images of a scenery
JP6796602B2 (ja) 歯科用オブジェクトの３ｄ測定のためのカメラおよび手法
EP2476296B1 (en) Illumination system for enhancing the appearance of an object and method thereof
WO2010049578A1 (en) Video processing
SK500152015A3 (sk) Zobrazovací prvok s RGB LED diódami prispôsobený na prekrytie iným zobrazením pri jeho optickom snímaní kamerou, RGB LED dióda a spôsob spracovania obrazu
JP6925489B2 (ja) チャート装置

Legal Events

Date Code Title Description
A201 Request for examination