KR20170023858A - 비디오 장면을 프로세싱하기 위한 방법 및 대응 디바이스 - Google Patents

비디오 장면을 프로세싱하기 위한 방법 및 대응 디바이스 Download PDF

Info

Publication number
KR20170023858A
KR20170023858A KR1020167036366A KR20167036366A KR20170023858A KR 20170023858 A KR20170023858 A KR 20170023858A KR 1020167036366 A KR1020167036366 A KR 1020167036366A KR 20167036366 A KR20167036366 A KR 20167036366A KR 20170023858 A KR20170023858 A KR 20170023858A
Authority
KR
South Korea
Prior art keywords
candidate
replacement
signature
objects
library
Prior art date
Application number
KR1020167036366A
Other languages
English (en)
Inventor
뱅상 알롬
피에리끄 주에
파스깔 부르동
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20170023858A publication Critical patent/KR20170023858A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H04N13/0018—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

본 개시물은 비디오 장면을 프로세싱하기 위한 방법과 관련되며, 방법은, -장면의 3D 표현을 수신하는 단계 (S1), 및 - 적어도 하나의 후보 오브젝트를 상기 3D 표현으로 결정하는 단계 (S2) 로서, 상기 적어도 하나의 후보 오브젝트는 3D 포인트들의 클라우드를 포함하는, 상기 3D 표현으로 결정하는 단계 (S2), - 적어도 하나의 후보 오브젝트에 대한 적어도 하나의 기준의 값을 산출하는 단계 (S3), - 적어도 하나의 후보 오브젝트의 시그니처를 산출하는 단계 (S4) 로서, 상기 시그니처는 상기 적어도 하나의 후보 오브젝트의 3D 피처들을 나타내는, 상기 시그니처를 산출하는 단계 (S4), - 제거될 오브젝트 및 라이브러리의 복수의 후보 치환 오브젝트들로부터의 치환 오브젝트를 결정하는 단계 (S5) 로서, 각각의 후보 치환 오브젝트는 시그니처를 가지며, 상기 결정은 시그니처들의 비교 및 후보 오브젝트 기준 값들에 기초하는, 제거될 오브젝트 및 라이브러리의 복수의 후보 치환 오브젝트들로부터의 치환 오브젝트를 결정하는 단계 (S5), 및 - 비디오 장면으로 상기 치환 오브젝트에 의해 제거될 오브젝트를 대체하는 단계 (S6) 를 포함한다.

Description

비디오 장면을 프로세싱하기 위한 방법 및 대응 디바이스{METHOD FOR PROCESSING A VIDEO SCENE AND CORRESPONDING DEVICE}
본 개시물은 비디오 프로세싱의 분야에 관한 것이고, 보다 구체적으로는 영화 (film) 에서의 오브젝트들 또는 제품들의 배치 또는 대체의 분야에 관한 것이다.
영화에 간접 광고 (product placement) 가 있는 영화 산업이, 새로운 사업 및 새로운 수입원을 새로운 제공하기 때문에, 성장 추세를 보이고 있다. 이러한 간접 광고는, 예를 들어 영화에서 주요 브랜드의 탄산 음료 한 병의 배치일 수 있다. 이러한 동작은 또한 영화의 장면들에서 모든 병들을 다른 병들로 대체하는데 있을 수도 있다. 예를 들어, 모든 와인 병들이 물 또는 탄산 음료의 병들로 대체될 수 있다.
모노 카메라 캡처 또는 2D 슈팅 (shooting) 을 사용한 영화 산업에 있어서, 오브젝트 배치는 통상적으로 슈팅이 발생하기 전에 비디오 장면에서 한번 행해진다. 이후 원하는 오브젝트의 대체 또는 부가가, 포스트 프로세싱 방법들에 의해 또한 가능하지만, 특히 영화 전체에 걸친 많은 비디오 장면들에서 오브젝트를 배치하기 위해, 그러한 부가가 유도할 수 있는 잠재적 비용들에 관하여 상당히 도전적이다.
본 개시물은 배치될 오브젝트에 의해 비디오 장면으로부터의 오브젝트를 대체하기 위한 새로운 방법을 제안한다. 이 방법은 비디오 장면의 3D 포착 (acquisition) 을 행하고, 대체될 오브젝트와 실질적으로 공통인 3D 피처들을 갖는 제품에 대응하는 치환 오브젝트에 의해 비디오 장면의 오브젝트를 대체하는 것을 제안한다. 이것은 은닉된 표면들 또는 흡장 (occlusion) 들의 출현 (appearance) 을 최소화하는 것을 허용한다.
보다 구체적으로, 본 개시물은 장면의 비디오를 프로세싱하기 위한 방법과 관련되며, 방법은,
- 장면의 3D 표현을 수신하는 단계,
- 적어도 하나의 후보 오브젝트를 3D 표현으로 결정하는 단계로서, 적어도 하나의 후보 오브젝트는 3D 포인트들의 클라우드를 포함하는, 상기 3D 표현으로 결정하는 단계,
- 적어도 하나의 후보 오브젝트에 대한 적어도 하나의 기준의 값을 산출하는 단계,
- 적어도 하나의 후보 오브젝트의 시그니처를 산출하는 단계로서, 상기 시그니처는 상기 적어도 하나의 후보 오브젝트의 3D 피처들을 나타내는, 상기 시그니처를 산출하는 단계,
- 제거될 오브젝트 및 라이브러리의 복수의 후보 치환 오브젝트들로부터의 치환 오브젝트를 결정하는 단계로서, 각각의 후보 치환 오브젝트는 시그니처를 가지며, 상기 결정은 시그니처들의 비교 및 후보 오브젝트 기준 값들에 기초하는, 상기 제거될 오브젝트 및 라이브러리의 복수의 후보 치환 오브젝트들로부터의 치환 오브젝트를 결정하는 단계, 및
- 비디오 장면으로 상기 치환 오브젝트에 의해 제거될 오브젝트를 대체하는 단계를 포함한다.
특정 실시형태에 있어서, 적어도 하나의 후보 오브젝트에 대한 적어도 하나의 기준의 값은 사용자에 의해 결정된다.
이롭게, 상기 적어도 하나의 기준은,
- 비디오 장면에서의 그 지리적 포지션;
- 비디오 장면의 전경으로의 그 위치결정 (localisation);
- 비디오 장면의 그 가시성 지속기간
으로부터 선정된다.
이들 기준의 목적은, 대체 단계 후에, 최종 장면에서 치환 오브젝트의 가시성을 개선하는 것이다.
특정 실시형태에 있어서, 오브젝트 류 (family) 들로 분류된 라이브러리는 복수의 후보 치환 오브젝트들을 포함하고, 치환 오브젝트는 적어도 하나의 선택된 오브젝트 류들에 속하는 후보 치환 오브젝트들 중에서 결정된다.
특정 실시형태에 있어서, 선택된 오브젝트 류들은 사용자에 의해 선정된다.
특정 실시형태에 있어서, 각각의 오브젝트의 시그니처는, 기하학적 피처들이라 칭하는 오브젝트의 기하학적 구조를 나타내는 피처들, 및/또는 뷰포인트 피처들이라 칭하는 오브젝트의 뷰포인트를 나타내는 3D 피처들을 포함한다.
특정 실시형태에 있어서, 오브젝트의 시그니처는 다음의 히스토그램들:
- 뷰 포인트 피처 히스토그램 또는 VFH;
- 군집 뷰포인트 피처 히스토그램 또는 CVFH;
- 포인트 피처 히스토그램 또는 PFH;
- 빠른 포인트 피처 히스토그램 또는 FPFH
의 그룹 중에서의 적어도 하나의 히스토그램이다.
특정 실시형태에서 있어서, 치환 오브젝트는:
- 후보 오브젝트의 시그니처와 라이브러리의 후보 치환 오브젝트들의 시그니처들을 비교하는 것, 및
- 유사성 기준에 따라 후보 오브젝트의 시그니처와 동일한 또는 근접한 시그니처를 갖는 라이브러리의 후보 치환 오브젝트를 식별하는 것에 의해 결정되고, 치환 오브젝트는 라이브러리의 식별된 후보 치환 오브젝트이다.
다른 실시형태에 있어서, 치환 오브젝트는, 복수의 후보 치환 오브젝트들의 조합으로부터 생성된다. 보다 구체적으로, 치환 오브젝트는,
- 후보 오브젝트의 시그니처와 라이브러리의 후보 치환 오브젝트들의 시그니처를 비교하는 것, 및
- 유사성 기준에 따라 후보 오브젝트의 시그니처와 동일한 또는 근접한 시그니처를 갖는 라이브러리의 복수의 후보 치환 오브젝트들을 식별하는 것에 의해 결정되고, 치환 오브젝트는 라이브러리의 복수의 식별된 후보 치환 오브젝트들의 조합이다.
특정 실시형태에 따라, 방법은, 라이브러리의 후보 치환 오브젝트들의 시그니처들을, 후보 오브젝트의 시그니처에 비교하기 전에, 산출하는 단계를 더 포함한다.
변형에 있어서, 라이브러리의 후보 치환 오브젝트들의 시그니처들은 미리 산출되고 라이브러리에 저장된다.
특정 실시형태에 있어서, 후보 오브젝트의 시그니처 및 라이브러리의 후보 치환 오브젝트들의 시그니처들을 산출하기 전에, 방법은, 후보 오브젝트 및 라이브러리의 후보 치환 오브젝트들이 실질적으로 동일한 포인트 밀도를 갖기 위해서 후보 오브젝트 및/또는 라이브러리의 후보 치환 오브젝트들을 필터링하기 위한 단계를 더 포함한다.
본 개시물은 또한, 장면의 비디오를 프로세싱하기 위한 디바이스와 관련되며, 디바이스는,
- 장면의 3D 표현을 수신하기 위해 구성된 인터페이스, 및
- 프로세싱 유닛으로서, 적어도 하나의 후보 오브젝트를 상기 3D 표현으로 결정하기 위한 것으로서, 상기 적어도 하나의 후보 오브젝트는 3D 포인트들의 클라우드를 포함하는, 상기 3D 표현으로 결정하기 위한 것, 상기 적어도 하나의 후보 오브젝트에 대한 적어도 하나의 기준의 값을 산출하기 위한 것, 상기 적어도 하나의 후보 오브젝트의 시그니처를 산출하기 위한 것으로서, 상기 시그니처는 상기 적어도 하나의 후보 오브젝트의 3D 피처들을 나타내는, 상기 시그니처를 산출하기 위한 것, 제거될 오브젝트 및 라이브러리의 복수의 후보 치환 오브젝트들로부터의 치환 오브젝트를 결정하기 위한 것으로서, 각각의 후보 치환 오브젝트는 시그니처를 가지며, 상기 결정은 시그니처들의 비교 및 후보 오브젝트 기준 값들에 기초하는, 제거될 오브젝트 및 라이브러리의 복수의 후보 치환 오브젝트들로부터의 치환 오브젝트를 결정하기 위한 것, 및 비디오 장면으로 상기 치환 오브젝트에 의해 제거될 오브젝트를 대체하기 위한 것인, 상기 프로세싱 유닛을 포함한다.
본 개시물은 또한 컴퓨터 프로그램 제품과 관련되며, 컴퓨터 프로그램 제품은, 프로그램이 컴퓨터 상에서 실행될 때, 위에 기재된 방법을 수행하기 위해 적어도 하나의 프로세서에 의한 실행을 위한 프로그램 코드의 명령들을 포함한다.
본 개시물은 다음의 설명을 읽으면 더 잘 이해될 것이고, 다른 특정 피처들 및 이점들이 드러날 것이며, 설명은 첨부된 도면들을 참조한다.
- 도 1 은 본 개시물에 따른 방법의 단계들의 플로우 다이어그램을 나타낸다.
- 도 2 는 본 개시물의 특정 실시형태에 따른 비디오 장면에서 제거될 또는 삽입될 오브젝트들을 위한 시그니처로서 제 1 히스토그램을 나타낸다.
- 도 3 은 본 개시물의 특정 실시형태에 다른 비디오 장면에서 제거될 또는 삽입될 오브젝트들의 시그니처로서 제 2 히스토그램을 나타낸다.
- 도 4 는 본 개시물에 따른 방법의 구현 전후의 비디오 장면을 나타낸다.
- 도 5 는 본 개시물의 방법을 구현하기 위한 디바이스를 나타낸다.
발명의 방법은 프로세싱될 비디오 장면의 3D 포착을 행하고 실질적으로 동일한 3D 피처들을 갖는 치환 오브젝트에 의해 이 장면의 오브젝트를 대체하는 것을 제안한다.
도 1 은 본 개시물에 따른 방법의 상이한 단계들을 나타낸다. S1 이라 칭한 제 1 단계는 장면의 3D 표현을 수신하는 것이다. 3D 표현은 장면의 포착을 통해 수행될 수도 있다. 이러한 포착은 3D 또는 스테레오 카메라에 의해 또는 2D 카메라 및 레이저 스캐너를 포함하는 배열에 의해 행해질 수 있다. 변형에 따라, 3D 표현은, 3D 데이터가 이용가능한, 인터넷과 같은 네트워크로부터 수신된다.
S2 라 칭한 제 2 단계에서, 장면의 3D 표현은 대체될 복수의 후보 오브젝트들을 획득하기 위해서 세분화된다. 각각의 후보 오브젝트는 3D 포인트들의 클라우드이다. 세분화 동작의 공통 접근은 다음의 단계들을 행하는 데에 있다:
- 예를 들어, (랜덤 샘플 콘센서스 (Random Sample Consensus) 에 대한) RANSAC 알고리즘을 사용하여 3D 장면에서 평면들을 검출하는 단계;
- 이들 평면들의 적어도 일부, 예를 들어 벽들에 대응하는 큰 평면들에 속하는 모든 포인트들을 제거하는 단계; 및
- 예를 들어, 포인트들의 세트 사이의 유클리드 거리 (Euclidian distance) 에 기초하는 기준을 사용하여 나머지 포인트들을 군집화하는 단계; 임계 거리 위의 포인트들의 세트들은 별개의 오브젝트들로서 고려된다.
단계 S2 의 종료에서, 장면에서의 복수의 후보 오브젝트들이 결정되었다. 실내 장면을 위해, 후보 오브젝트들은 예를 들어, 테이블 또는 의자들과 같은 가구, 및 꽃병 또는 병과 같은 장식 아이템들이다.
S3 라 칭한 제 3 단계에서, 단계 S2 에서 결정된 후보 오브젝트를 치환 오브젝트에 의해 대체할 때의, 영향 (impact) 이 평가된다. 보다 정확하게, 후보 오브젝트에 의해 현재 점유된 영역의 영향은, 비제한적인 예들에서, 사이즈, 장면에서의 가시성 지속기간, 그것이 다른 오브젝트들에 의해 흡장되는지 여부와 같은, 그 영역의 다양한 특성들에 의존하여 달라진다. 이러한 평가는 인터페이스를 통해 사용자에 의해 이루어질 수도 있다. 이 경우 사용자는 단계 S2 에서 결정된 각각의 후보 오브젝트에 대한 기준에 값을 할당한다.
이롭게, 후보 오브젝트에 대한 값은 비디오 장면의 전경 또는 배경으로의 그 위치결정 및/또는 비디오 장면에서의 그 지리적 포지션의 함수로서 산출된다. 예를 들어, 디스플레이의 중앙에, 그리고 전경에 위치된 영역들은 디스플레이의 배경에 및/또는 코너에 위치된 영역들 보다 간접 광고 어플리케이션들에 더 관심이 있으며, 이는 그 영역에 배치될 제품이 더 가시성을 가질 것이기 때문이다. 이롭게, 특정 후보 오브젝트에 대한 적어도 하나의 기준의 값이 다른 후보 오브젝트들에 대해 산출된 값 보다 상당히 더 높을 때, 특정 오브젝트는 단일 후보 오브젝트로서 선택된다. 변형에 있어서, 후보 오브젝트에 대한 값은 비디오 장면에서의 그 존재의 지속기간의 함수로서 산출된다. 간접 광고는, 더 긴 기간 동안 가시성인 오브젝트가, 시간의 짧은 기간 동안 가시성인 다른 오브젝트보다 사용자에게 영향을 주게 될 많은 기회들이 있기 때문에 더 긴 기간 동안 가시성인 오브젝트에 더 관심이 있다. 이롭게, 후보 오브젝트에 대하여, 비디오 장면에서 그 지리적 포지션, 비디오 장면의 전경 또는 배경으로의 그 위치결정, 비디오 장면에서의 그 가시성 지속기간을 포함한, 복수의 기준의 값이 산출된다.
특정 실시형태에 있어서, 적어도 하나의 기준의 값은 그 변형 중 임의의 것으로 단계 S2 에서 결정된 후보 오브젝트들의 각각에 대해 산출된다. 예를 들어, 몇몇 후보 오브젝트들이 전경에서 더 유사하거나 덜 유사한 위치결정을 갖는 경우, 다중 후보 오브젝트들을 선택하고 간접 광고를 위해 다중 후보들을 유지하는 것이 이롭다. 다른 예에서, 제 1 후보 오브젝트는 전경에 있지만 그 가시성 지속시간이 전경에 위치되는, 제 2 후보 오브젝트보다 더 짧다. 양자의 후보 오브젝트들을 선택하고 이들을 제거될 선택된 후보 오브젝트들로서 유지하는 것이 또한 이롭다. 이롭게, 제거될 적어도 하나의 오브젝트가 그 대응 기준 값 (즉, 가시성 지속기간, 위치결정, …) 과 함께 선택되어, 추가적인 평가/다른 팩터에 대한 랭킹를 허용한다.
S4 라 칭한 제 4 단계에서, 적어도 하나의 선택된 후보 오브젝트의 3D 시그니처가 산출된다. 산출된 시그니처는 오브젝트의 3D 피처들을 나타낸다. 이롭게, 오브젝트의 시그니처는 기하학적 피처들로 칭하는 오브젝트들의 기하학적 구조를 나타내는 3D 피처들 및/또는 뷰포인트 피처들로 칭하는 오브젝트의 뷰포인트를 나타내는 3D 피처들을 포함한다. 기하학적 구조는 오브젝트의 형상, 예를 들어 오브젝트에서의 에지들 또는 평면들의 존재와 관련된다. 피처들의 뷰포인트는 예를 들어 캡처 디바이스에 의해 오브젝트가 슈팅되는 각도 및/또는 거리를 포함한다.
이러한 시그니처는 바람직하게, 예를 들어 뷰포인트 피처 히스토그램 (VFH), 군집 뷰포인트 피처 히스토그램 (CVFH), 포인트 피처 히스토그램 (PFH), 또는 빠른 포인트 피처 히스토그램 (FPFH) 와 같은, 3D 피처들의 히스토그램이다. 이들 히스토그램들은 다양한 문헌들에 기재되어 있으며, 특히 Luis A. Alexandre 의 "3D descriptors for Object and Category Recognition: a Comparative Evaluation" 문헌에 기재되어 있다.
뷰포인트 피처 히스토그램 (VFH) 의 예는 도 2 에 의해 주어진다. 이 히스토그램에서, 값 (수직 축) 은 복수의 3D 피처들 (수평 축) 에 대해 산출된다. 이 히스토그램에서, 히스토그램 값들의 좌측 부분은 기하학적 피처들에 관련되고 우측 부분은 뷰포인트 피처들에 관련된다.
시그니처는 이들 값들 모두 또는 이들의 일부를 포함한다. 시그니처는 기하학적 및 뷰포인트 피처 값들 또는 이들의 일부만 또는 기하학적 피처 값들만 또는 뷰포인트 피처 값들만을 포함할 수 있다.
특정 실시형태에서, 오브젝트의 컬러 정보가 또한 시그니처에 통합된다.
도 3 은 오브젝트들에 대한 시그니처로서 사용될 수 있는 히스토그램의 다른 예인, 빠른 포인트 피처 히스토그램 (FPFH) 을 나타낸다.
S5 라 칭한 제 5 단계에서, 치환 오브젝트가 라이브러리의 복수의 후보 치환 오브젝트들로부터 결정된다. 후보 치환 오브젝트들은 바람직하게 라이브러리 내의 오브젝트 류들로 분류된다. 실내 장면들에 대한 오브젝트 류들은 예를 들어, 병들, 가구, 책들, 박스들 … 이다.
시그니처는 이들 후보 치환 오브젝트들의 각각에 대해 산출된다. 이 시그니처는 미리 산출되고 라이브러리에 저장될 수 있다. 변형에 있어서, 후보 치환 오브젝트들의 시그니처는, 후보 치환 오브젝트들의 포인트 클라우드와 적어도 하나의 후보의 포인트 클라우드 사이의 포인트 밀도의 개연성 차이를 고려하기 위해서 프로세스에서 나중에 산출된다.
결정 단계 S5 는 시그니처들 및 기준 값들의 비교에 기초한다. 제 1 변형에 있어서, 단일 후보 오브젝트가 선택되고 이 단일 후보 오브젝트의 시그니처가 라이브러리의 후보 치환 오브젝트들의 시그니처들과 비교된다. 유사도 기준에 따라 단일 후보 오브젝트의 시그니처와 동일하거나 근접한 시그니처를 갖는 후보 치환 오브젝트가 선택된다. 단일 후보 오브젝트의 시그니처와 각각의 후보 치환 오브젝트의 시그니처 사이의 거리가 산출되고, 시그니처가 단일 후보 오브젝트의 시그니처와 가장 작은 거리를 갖는 후보 치환 오브젝트가 제거될 오브젝트의 치환 오브젝트로서 선택된다.
제 2 변형에 있어서, 더 많은 단일의 선택된 후보 오브젝트가 있는데, 이는 예를 들어 몇몇 후보 오브젝트들이 유사한 기준 값들을 갖기 때문이다. 이 변형에 있어서, 선택된 후보 오브젝트들의 시그니처들은 유사도 기준, 예를 들어 시그니처들 사이의 거리에 따라, 라이브러리의 후보 치환 오브젝트들의 시그니처들과 비교된다. 제거될 후보 오브젝트들은 또한 그 기준 값들 (예를 들어 중앙의 지리적 전경 위치결정, 가시성 지속기간) 에 관하여 그들 자신에 대해 평가된다. 환언하면, 후보 치환 오브젝트와의 시그니처 매치에 부가하여, 다양한 후보 영역들의 영향이 또한 평가된다. 제거될 한 쌍의 후보 오브젝트 및 후보 치환 오브젝트는 그들 자신들 사이에서 높은 임계 값을 갖는 것과 작은 시그니처 거리를 갖는 것 사이의 최상의 절충을 제공할 때 선택된다.
변형에 있어서, 치환 오브젝트는 가장 근접한 후보 치환 오브젝트들의 조합이다. 예를 들어, 치환 오브젝트는, 시그니처가 제거될 오브젝트의 시그니처와 가장 작은 거리를 갖는 2 개의 후보 치환 오브젝트들에 기초하여 생성된다.
특정 실시형태에 있어서, 시그니처들을 비교하기 전에, 단계 S5 는, 실행될 비교들의 수를 감소시키고 단계 S5 의 프로세싱 시간을 감소시키기 위해서, 사용자 인터페이스를 통해 라이브러리의 오브젝트 류를 선택하는 것을 제안한다. 이러한 선택은 또한 사업상 이유들로 행해질 수 있다. 선택된 오브젝트 류들은 클라이언트의 오브젝트들을 포함한 것들이다. 사용자는 단계 S3 에서 선택된 오브젝트에 대응하는 오브젝트 류들을 사용자 인터페이스를 통해 선택할 수도 있다. 예를 들어, 단계 S3 에서 선택된 오브젝트가 병들인 경우, 사용자는 병들에 대응하는 오브젝트 류들을 선택할 것이다. 사용자는 S3 에서 선택된 오브젝트에 대응하지 않는 오브젝트를 선택할 수도 있다. 사용자는 병들을 책들로 대체하기를 원할 수도 있다. 그 경우, 사용자는 책들을 포함하는 오브젝트 류를 선택할 것이고 발명의 방법은 단계 S3 에서 선택된 병과 가장 유사한 3D 피처들을 갖는 책을 선택할 것이다.
이로운 실시형태에 있어서, 적어도 하나의 후보 오브젝트의 포인트 클라우드의 포인트 밀도 및 라이브러리의 후보 치환 오브젝트들의 포인트 클라우드의 포인트 밀도가 비교된다. 이들 포인트 밀도들이 상이한 경우, 동일하거나 또는 실질적으로 동일한 포인트 밀도를 갖는 오브젝트들을 비교 (단계 S5) 하기 위해서 필터링 단계가 적어도 하나의 후보 오브젝트의 포인트 클라우드에 또는 후보 치환 오브젝트들의 포인트 클라우드에 적용된다. 후보 치환 오브젝트들의 포인트 밀도가 적어도 하나의 후보 오브젝트보다 높은 경우, 후보 치환 오브젝트들의 포인트 밀도는 적어도 하나의 후보 오브젝트의 포인트 밀도와 실질적으로 동일하도록 감소된다. 이것은 빈번한 경우이다. 동일한 방식으로, 적어도 하나의 후보 오브젝트의 포인트 밀도가 치환 오브젝트들 보다 더 높은 경우, 적어도 하나의 후보 오브젝트의 포인트 밀도는 후보 치환 오브젝트들의 포인트 밀도와 실질적으로 동일하도록 감소된다.
필터링 단계는 후보 치환 오브젝트들의 시그니처 및 적어도 하나의 후보 오브젝트의 시그니처가 산출되기 전에 동일한 포인트 밀도들로 산출되도록 하기 위해 행해진다.
S6 이라 칭한 최종 단계에서, 제거될 오브젝트는 단계 5 에서 결정된 치환 오브젝트에 의해 비디오 장면으로 대체된다.
대체 단계 S6 후에 흡장들이 나타나는 경우, 인페인팅 동작들이 이러한 흡장들을 채우기 위해 행해진다. 인페인팅 프로세스는 선행 동작들로부터 발행된 장면의 3D 정보의 이익을 효율적으로 취할 수 있다:
발명의 방법의 원리가 도 4 에 의해 도시된 어플리케이션의 예를 통해 예시된다. 이 어플리케이션에서는, 클라이언트의 물병들로 장면에서의 모든 물병들을 대체하는 것이 제안된다. 클라이언트의 상이한 후보 치환 병들은 라이브러리에 저장된다. 이들 후보 치환 병들은 클라이언트의 상이한 형상들 또는 상이한 사이즈들의 상이한 병들에 대응한다.
프로세싱될 장면은 도 4 의 좌측에 나타나 있다. 이 장면은 테이블 (T) 상에 놓인 시계 (W) 및 병 (B) 을 포함한다. 본 개시물에 따른 클라이언트 병에 의한 병 (B) 의 대체가 이제 설명된다.
단계 S1 에서, 프로세싱될 장면의 3D 표현이 포착된다. 단계 S2 에서, 이러한 3D 표현은 오브젝트들로 세분화된다. 본 경우에서, 3 개의 오브젝트들이 장면에서 발견된다: 테이블 (T), 시계 (W) 및 병 (B). 단계 S3 에서 병 (B) 은 제거될 또는 대체될 오브젝트로서 선택된다. 단계 S4 에서, 히스토그램 기반 시그니처는 병 (B) 에 대해 산출된다. 단계 S5 에서, 치환 병은 라이브러리에 저장된 클라이언트의 병들 (B1, B2, B3 및 B4) 중에서 결정된다. 이들 4 개의 병들은 도 4 의 중간 부분에 나타나 있다. 이 단계에서, 병들 (B1 내지 B4) 의 미리 산출되거나 산출되지 않은 시그니처들은 병 (B) 의 시그니처와 비교되고 병 (B3) 은 병 (B) 을 대체하기 위해 3D 피처들에 관하여 더 적절한 것으로서 고려된다. 단계 S6 에서, 병 (B) 은 장면에서 병 (B3) 에 의해 대체된다. 최종 장면이 도 4 의 우측에 나타나 있다.
이 예는 영화 또는 비디오 게임에서 주어진 시간에 비디오 장면의 프로세싱을 예시한다. 물론, 이러한 대체 동작은 바람직하게 필요하다면 상이한 시간들에서 장면에 적용된다, 오브젝트 포인트들의 대체는 또한, 장면이 관측 뷰포인트에 관하여 정지 상태를 유지하는 경우 한번 행해질 수 있다.
도 5 는 본 개시물이 방법을 구현하기 위해 배열된 디바이스 (11) 의 하드웨어 실시형태의 예를 개략적으로 도시한다.
이 하드웨어 실시형태는, 장면의 3D 표현을 포착하기 위한, 심도 디바이스 (예를 들어, 레이저 스캐너) 를 포함한 2D 카메라 또는 3D 카메라와 같은, 3D 캡처 디바이스 (10), 및 발명의 방법의 단계들 S2 내지 S6 를 구현하기 위한 프로세싱 디바이스 (11) 를 포함한다. 이 프로세싱 디바이스 (11) 는, 입력/출력 디바이스들 (12), 예를 들어 사용자 인터페이스들 및 발명의 프로세싱의 중개 또는 최종 결과들을 디스플레이하기 위한 디스플레이 및 사용자 인터페이스들을 통한 선택 동작들을 위한 키보드 또는 마우스가 구비된다.
프로세싱 디바이스는,
- 마이크로프로세서 또는 CPU;
- 그래픽스 보드로서,
·복수의 그래픽스 프로세서들 (또는 GPU들);
·그래픽 랜덤 액세스 메모리 (또는 GRAM)을 포함하는, 상기 그래픽스 보드;
- 리드 온니 메모리 (ROM);
- 데이터를 수신 및/또는 송신하도록 구성된 인터페이스; 및
- 랜덤 액세스 메모리 (RAM)
을 포함할 수도 있다.
디바이스들 (10, 12) 및 디바이스 (11) 내의 상이한 컴포넌트들은 어드레스 및 데이터 버스에 의해 상호접속될 수도 있다.
본 개시물의 프로세스는 캡처 디바이스 (10) 에 의한 장면 캡처 후에 행해질 것으로 예상된다. 하지만, 변형에 따라, 장면의 3D 데이터는, 3D 데이터가 이용가능한, 인터넷과 같은 네트워크에 의해 제공되고/네트워크로부터 수신될 수도 있다.
본질적으로, 본 개시물은 이전에 기재된 실시형태들에 제한되지 않는다.
본 명세서에 기재된 구현들은, 예를 들어 방법 또는 프로세스, 장치 또는 소프트웨어 프로그램에서 구현될 수도 있다. 구현의 단일 형태의 맥락에서만 논의되더라도, 논의된 피처들의 구현들은 또한 다른 형태들 (예를 들어 프로그램) 로 구현될 수도 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트에어 및 펌웨어에서 구현될 수도 있다. 방법들은 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그램가능 로직 디바이스를 포함한, 일반적으로 프로세싱 디바이스들을 지칭하는, 예를 들어 프로세서와 같은 장치에서 구현될 수도 있다. 프로세서들은 또한 통신 디바이스들, 이를테면 예를 들어 스마트폰들, 테블릿들, 컴퓨터들, 모바일 폰들, 포터블/개인용 디지털 보조기들 ("PDA들"), 및 엔드 사용자들 간 정보의 통신을 용이하게 하는 다른 디바이스들을 포함한다.
본 명세서에 기재된 다양한 프로세스들 및 피처들의 구현들은 여러 상이한 장비 또는 어플리케이션들, 특히 비디오 편집과 연관된 장비 또는 어플리케이션들에서 실시될 수도 있다.
부가적으로, 방법들은 프로세서에 의해 수행될 명령들에 의해 구현될 수도 있고, 그러한 명령들 (및/또는 구현에 의해 생성된 데이터 값들) 은 프로세서 판독가능 매체, 이를테면 예를 들어 집적 회로, 소프트웨어 캐리어 또는 다른 저장 디바이스, 이를테면 예를 들어 하드 디스크, 컴팩 디스켓 ("CD"), 광학 디스크 (예를 들어, 디지털 다기능 디스크 또는 디지털 비디오 디스크로서 종종 지칭되는 DVD 등), 랜덤 액세스 메모리 ("RAM"), 또는 리드 온니 메모리 ("ROM") 상에 저장될 수도 있다. 명령들은 프로세서 판독가능 매체 상에서 유형으로 수록되는 어플리케이션 프로그램을 형성할 수도 있다. 명령들은, 예를 들어 하드웨어, 펌웨어, 소프트웨어, 또는 조합일 수도 있다. 명령들은, 예를 들어 오퍼레이팅 시스템, 별도의 어플리케이션, 또는 2 개의 조합에서 발견될 수도 있다. 프로세서는 이에 따라, 예를 들어 프로세스를 실행하도록 구성된 디바이스 및 프로세스를 실행하기 위한 명령들을 갖는 프로세서 판독가능 매체 (이를테면 저장 디바이스) 를 포함하는 디바이스의 양자로서 특징화될 수도 있다. 또한, 프로세서 판독가능 매체는 명령들에 부가하여 또는 명령들을 대신하여, 구현에 의해 생성된 데이터 값들을 저장할 수도 있다.
당업자에게 자명하게 될 바와 같이, 구현들은 예를 들어 저장되거나 송신될 수도 있는 정보를 반송하기 위해 포맷된 다양한 신호들을 생성할 수도 있다. 정보는, 예를 들어 방법을 수행하기 위한 명령들 또는 기재된 구현들 중 하나에 의해 생성된 데이터를 포함할 수도 있다.
다수의 구현들이 기재되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수도 있다는 것이 이해될 것이다. 예를 들어, 상이한 구현들의 엘리먼트들이 결합되고, 보충되고, 수정되거나 제거되어 다른 구현들을 생성할 수도 있다. 부가적으로, 당업자는 다른 구조들 및 프로세스들이 개시된 것들에 대해 치환될 수도 있고 결과의 구현들은, 적어도 실질적으로 동일한 기능(들) 을 적어도 실질적으로 동일한 방식(들) 로 수행하여, 개시된 구현들과 적어도 실질적으로 동일한 결과(들) 을 달성할 것이라는 것을 이해할 것이다. 따라서, 이들 및 다른 구현들이 이 출원에 의해 고려된다.

Claims (13)

  1. 장면의 비디오를 프로세싱하기 위한 방법으로서,
    - 상기 장면의 3D 표현을 수신하는 단계 (S1), 및
    - 적어도 하나의 후보 오브젝트를 상기 3D 표현으로 결정하는 단계 (S2) 로서, 상기 적어도 하나의 후보 오브젝트는 3D 포인트들의 클라우드를 포함하는, 상기 3D 표현으로 결정하는 단계 (S2) 를 포함하고,
    상기 방법은,
    - 상기 적어도 하나의 후보 오브젝트에 대한 적어도 하나의 기준의 값을 산출하는 단계 (S3),
    - 상기 적어도 하나의 후보 오브젝트의 시그니처를 산출하는 단계 (S4) 로서, 상기 시그니처는 상기 적어도 하나의 후보 오브젝트의 3D 피처들을 나타내는, 상기 시그니처를 산출하는 단계 (S4),
    - 제거될 오브젝트 및 라이브러리의 복수의 후보 치환 오브젝트들로부터의 치환 오브젝트를 결정하는 단계 (S5) 로서, 각각의 후보 치환 오브젝트는 시그니처를 가지며, 상기 결정은 시그니처들의 비교 및 후보 오브젝트 기준 값들에 기초하는, 제거될 오브젝트 및 라이브러리의 복수의 후보 치환 오브젝트들로부터의 치환 오브젝트를 결정하는 단계 (S5), 및
    - 상기 장면의 상기 비디오로 상기 치환 오브젝트에 의해 상기 제거될 오브젝트를 대체하는 단계 (S6)
    를 더 포함하는 것을 특징으로 하는, 장면의 비디오를 프로세싱하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 후보 오브젝트에 대한 적어도 하나의 기준의 값은 사용자에 의해 결정되는, 장면의 비디오를 프로세싱하기 위한 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 적어도 하나의 기준은,
    - 상기 장면의 비디오에서의 상기 오브젝트의 지리적 포지션;
    - 상기 장면의 비디오의 전경으로의 상기 오브젝트의 위치결정 (localisation);
    - 상기 장면의 비디오에서의 상기 오브젝트의 가시성 지속기간
    으로부터 선정되는, 장면의 비디오를 프로세싱하기 위한 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 복수의 후보 치환 오브젝트들을 포함하는 라이브러리는 오브젝트 류들로 분류되고, 상기 치환 오브젝트는 적어도 하나의 선택된 오브젝트 류들에 속하는 후보 치환 오브젝트들 중에서 결정되는, 장면의 비디오를 프로세싱하기 위한 방법.
  5. 제 4 항에 있어서,
    상기 선택된 오브젝트 류들은 사용자에 의해 선정되는, 장면의 비디오를 프로세싱하기 위한 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    각각의 상기 오브젝트의 시그니처는, 기하학적 피처들이라 칭하는 상기 오브젝트의 기하학적 구조를 나타내는 3D 피처들, 및/또는 뷰포인트 피처들이라 칭하는 상기 오브젝트의 뷰포인트를 나타내는 3D 피처들을 포함하는, 장면의 비디오를 프로세싱하기 위한 방법.
  7. 제 6 항에 있어서,
    상기 오브젝트의 시그니처는 다음의 히스토그램들:
    - 뷰 포인트 피처 히스토그램;
    - 군집 뷰포인트 피처 히스토그램;
    - 포인트 피처 히스토그램;
    - 빠른 포인트 피처 히스토그램
    의 그룹 중에서의 적어도 하나의 히스토그램인, 장면의 비디오를 프로세싱하기 위한 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 치환 오브젝트는:
    - 상기 적어도 하나의 후보 오브젝트의 시그니처와 상기 라이브러리의 상기 후보 치환 오브젝트들의 시그니처들을 비교하는 것, 및
    - 유사성 기준에 따라 상기 적어도 하나의 후보 오브젝트의 시그니처와 동일한 또는 근접한 시그니처를 갖는 상기 라이브러리의 후보 치환 오브젝트를 식별하는 것에 의해 결정되고,
    상기 치환 오브젝트는 상기 라이브러리의 식별된 후보 치환 오브젝트인, 장면의 비디오를 프로세싱하기 위한 방법.
  9. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 치환 오브젝트는,
    - 상기 적어도 하나의 후보 오브젝트의 시그니처와 상기 라이브러리의 후보 치환 오브젝트들의 시그니처들을 비교하는 것, 및
    - 유사성 기준에 따라 상기 적어도 하나의 후보 오브젝트의 시그니처와 동일한 또는 근접한 시그니처를 갖는 상기 라이브러리의 복수의 후보 치환 오브젝트들을 식별하는 것에 의해 결정되고,
    상기 치환 오브젝트는 상기 라이브러리의 복수의 식별된 후보 치환 오브젝트들의 조합인, 장면의 비디오를 프로세싱하기 위한 방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 방법은 상기 라이브러리의 후보 치환 오브젝트들의 시그니처들을 산출하는 것을 더 포함하는, 장면의 비디오를 프로세싱하기 위한 방법.
  11. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 라이브러리의 후보 치환 오브젝트들의 시그니처들은 미리 산출되고 상기 라이브러리에 저장되는, 장면의 비디오를 프로세싱하기 위한 방법.
  12. 장면의 비디오를 프로세싱하기 위해 구성된 디바이스로서,
    - 상기 장면의 3D 표현을 수신하기 위해 구성된 인터페이스, 및
    - 프로세싱 유닛 (11) 으로서,
    적어도 하나의 후보 오브젝트를 상기 3D 표현으로 결정하기 위한 것으로서, 상기 적어도 하나의 후보 오브젝트는 3D 포인트들의 클라우드를 포함하는, 상기 3D 표현으로 결정하기 위한 것,
    상기 적어도 하나의 후보 오브젝트에 대한 적어도 하나의 기준의 값을 산출하기 위한 것,
    상기 적어도 하나의 후보 오브젝트의 시그니처를 산출하기 위한 것으로서, 상기 시그니처는 상기 적어도 하나의 후보 오브젝트의 3D 피처들을 나타내는, 상기 시그니처를 산출하기 위한 것,
    제거될 오브젝트 및 라이브러리의 복수의 후보 치환 오브젝트들로부터의 치환 오브젝트를 결정하기 위한 것으로서, 각각의 후보 치환 오브젝트는 시그니처를 가지며, 상기 결정은 시그니처들의 비교 및 후보 오브젝트 기준 값들에 기초하는, 제거될 오브젝트 및 라이브러리의 복수의 후보 치환 오브젝트들로부터의 치환 오브젝트를 결정하기 위한 것, 및
    상기 장면의 비디오로 상기 치환 오브젝트에 의해 상기 제거될 오브젝트를 대체하기 위한 것인,
    상기 프로세싱 유닛 (11) 을 포함하는 것을 특징으로 하는, 장면의 비디오를 프로세싱하기 위해 구성된 디바이스.
  13. 컴퓨터 프로그램 제품으로서,
    프로그램이 컴퓨터 상에서 실행될 때, 제 1 항 내지 제 11 항 중 적어도 하나에 기재된 방법을 수행하기 위해 적어도 하나의 프로세서에 의한 실행을 위한 프로그램 코드의 명령들을 포함하는, 컴퓨터 프로그램 제품.
KR1020167036366A 2014-06-26 2015-04-09 비디오 장면을 프로세싱하기 위한 방법 및 대응 디바이스 KR20170023858A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14306008.5 2014-06-26
EP14306008.5A EP2960906A1 (en) 2014-06-26 2014-06-26 Method for processing a video scene and corresponding device
PCT/EP2015/057729 WO2015197216A1 (en) 2014-06-26 2015-04-09 Method for processing a video scene and corresponding device

Publications (1)

Publication Number Publication Date
KR20170023858A true KR20170023858A (ko) 2017-03-06

Family

ID=51178836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167036366A KR20170023858A (ko) 2014-06-26 2015-04-09 비디오 장면을 프로세싱하기 위한 방법 및 대응 디바이스

Country Status (6)

Country Link
US (1) US10096340B2 (ko)
EP (2) EP2960906A1 (ko)
JP (1) JP2017527878A (ko)
KR (1) KR20170023858A (ko)
CN (1) CN106664466A (ko)
WO (1) WO2015197216A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288249A (zh) * 2018-01-25 2018-07-17 北京览科技有限公司 一种用于替换视频中的对象的方法和装置
KR20210129583A (ko) * 2020-04-20 2021-10-28 사운드하운드, 인코포레이티드 미디어 재생 디바이스에서의 콘텐츠 필터링
US11734860B2 (en) * 2020-12-22 2023-08-22 Cae Inc. Method and system for generating an augmented reality image

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063603A (en) 1989-11-06 1991-11-05 David Sarnoff Research Center, Inc. Dynamic method for recognizing objects and image processing system therefor
JPH03178719A (ja) 1989-12-01 1991-08-02 Nachi Fujikoshi Corp 内歯歯車のシェービング仕上用工具
JP2003178719A (ja) 2001-12-12 2003-06-27 Harison Toshiba Lighting Corp 蛍光ランプ
JP2004288170A (ja) * 2003-03-05 2004-10-14 Olympus Corp 三次元モデル検索方法及びシステム
KR101348521B1 (ko) 2005-09-16 2014-01-06 플릭서, 인크. 비디오의 개인화
US20080033812A1 (en) * 2006-07-14 2008-02-07 Vulano Group, Inc. System for highlighting a dynamic personalized object placed in a multi-media program
US20090305204A1 (en) * 2008-06-06 2009-12-10 Informa Systems Inc relatively low-cost virtual reality system, method, and program product to perform training
US8752087B2 (en) * 2008-11-07 2014-06-10 At&T Intellectual Property I, L.P. System and method for dynamically constructing personalized contextual video programs
US20110321086A1 (en) 2010-06-29 2011-12-29 William Smith Alternating embedded digital media content responsive to user or provider customization selections
EP2439664A1 (en) * 2010-09-23 2012-04-11 Dassault Systèmes Designing a modeled object within a session of a computer-aided design system interacting with a database
EP2437220A1 (en) * 2010-09-29 2012-04-04 Alcatel Lucent Method and arrangement for censoring content in three-dimensional images
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
KR101907081B1 (ko) * 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법
US9626798B2 (en) * 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
US9098913B2 (en) * 2012-05-11 2015-08-04 Cornell University Prediction of successful grasps by end of arm tooling
US9971882B2 (en) * 2012-09-24 2018-05-15 Qatar Foundation System and method for multimedia content protection on cloud infrastructures
GB2514320B (en) * 2013-03-15 2020-01-29 3D Industries Ltd A method and system for 3D model database retrieval
US9996636B2 (en) * 2014-05-13 2018-06-12 Atheer, Inc. Method for forming walls to align 3D objects in 2D environment

Also Published As

Publication number Publication date
US20170140793A1 (en) 2017-05-18
JP2017527878A (ja) 2017-09-21
EP2960906A1 (en) 2015-12-30
EP3161830A1 (en) 2017-05-03
CN106664466A (zh) 2017-05-10
WO2015197216A1 (en) 2015-12-30
US10096340B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
AU2017339440B2 (en) Techniques for incorporating a text-containing image into a digital image
US20160118080A1 (en) Video playback method
US8988464B2 (en) System and method for multi-layered augmented reality
CN106663196B (zh) 用于识别主体的方法、系统和计算机可读存储介质
US10140513B2 (en) Reference image slicing
US8442327B2 (en) Application of classifiers to sub-sampled integral images for detecting faces in images
US11030495B2 (en) Systems and methods for instance segmentation
WO2012033768A2 (en) Efficient information presentation for augmented reality
JP2015532988A (ja) 画像における対象物の識別方法及び装置
US9781382B2 (en) Method for determining small-object region, and method and apparatus for interpolating frame between video frames
US9100642B2 (en) Adjustable depth layers for three-dimensional images
KR101599786B1 (ko) 참조 영역 분할을 이용한 인페인팅 장치 및 방법
CN111836118B (zh) 视频处理方法、装置、服务器及存储介质
WO2020142328A1 (en) Image bounding shape using 3d environment representation
US9870647B2 (en) System and method for processing color of three-dimensional object
US9256792B2 (en) Image processing apparatus, image processing method, and program
Oliveira et al. Selective hole-filling for depth-image based rendering
US20170054964A1 (en) Method and electronic device for playing subtitles of a 3d video, and storage medium
KR20170023858A (ko) 비디오 장면을 프로세싱하기 위한 방법 및 대응 디바이스
US11189053B2 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
CN114399595A (zh) 三维全景数字展厅的图像自动处理方法、系统及终端
CN108780576B (zh) 使用对象边界框的视频片段中的重影去除的系统和方法
US11281935B2 (en) 3D object detection from calibrated 2D images
US9678991B2 (en) Apparatus and method for processing image
EP3846136A1 (en) Augmenting a video flux of a real scene