KR102299565B1 - 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치 - Google Patents

실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치 Download PDF

Info

Publication number
KR102299565B1
KR102299565B1 KR1020210054439A KR20210054439A KR102299565B1 KR 102299565 B1 KR102299565 B1 KR 102299565B1 KR 1020210054439 A KR1020210054439 A KR 1020210054439A KR 20210054439 A KR20210054439 A KR 20210054439A KR 102299565 B1 KR102299565 B1 KR 102299565B1
Authority
KR
South Korea
Prior art keywords
image
target
image processing
condition
graphic
Prior art date
Application number
KR1020210054439A
Other languages
English (en)
Inventor
박형섭
Original Assignee
(주)비코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비코 filed Critical (주)비코
Priority to KR1020210054439A priority Critical patent/KR102299565B1/ko
Application granted granted Critical
Publication of KR102299565B1 publication Critical patent/KR102299565B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06K9/00221—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 방송 상에서 실시간으로 객체를 인식하고 영상 처리하는 방법은 실시간 방송 영상 처리 장치가 영상 소스를 수신하고 영상 소스 상에서 타겟 영상을 결정하는 단계, 실시간 방송 영상 처리 장치가 상기 타겟 영상에 대한 AR(augmented reality) 영상 처리를 수행하는 단계와 실시간 방송 영상 처리 장치가 AR 영상 처리된 타겟 AR 영상을 출력부로 전송하는 단계를 포함할 수 있다.

Description

실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치{Method for real time person object cognition and real time image processing on real time broadcasting image and apparatus for performing the method}
본 발명은 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 실시간으로 촬영되는 화면 상에서 지정된 객체를 인식하고 인식된 인물 객체에 대한 영상 처리를 수행하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다.
최근 라이브 콘서트, 뮤지컬 등의 공연 및 라이브 방송, 홈쇼핑, 라이브 커머스 중계화면에서 조명, 영상, 카메라 등 다양한 기기들이 사용되고 있다. 기존의 공연 및 방송 영상 연출 방식은 미리 정의된 영상을 재생 하거나, 별도의 오퍼레이터가 공연, 방송을 녹화하여 CG작업후 동적인 효과를 합성 혹은 편집하여 송출하는 방식이다. 이러한 기존의 방식은 라이브로 진행하는 공연, 방송의 관람객 혹은 아티스트 실시간 분위기나 라이브 공연영상 등에 실시간 그래픽화 하여 반영하기가 어렵고, 관람객의 호응을 극대화하는데 어려움이있다. .
이뿐만 아니라, 기존에 안면을 인식하여 안면에 대한 영상 처리를 통해 특수 효과를 부여하는 어플리케이션들이 개발되었으나, 아직까지 실시간으로 촬영되는 방송 영상에서 객체를 인식하여 실시간으로 객체에 대한 영상 처리를 수행하는 기술은 개발되지 않았다.
따라서, 실시간으로 브로드캐스트되는 방송 상에서 특정 객체를 인식하고 인식된 객체에 대한 영상 처리를 추가적으로 수행하기 위한 기술에 대한 개발이 필요하다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 다양한 영상 소스에 대한 영상 처리를 실시간으로 수행하여 실시간 방송 영상 상의 객체에 대한 추가적인 영상 효과를 주는 것을 목적으로 한다.
또한, 본 발명은, 실시간 방송시 영상 처리 효과를 극대화하기 위해서 실시간으로 영상 처리가 가능한 타겟 영상을 판단하여 효과적으로 영상 처리를 수행하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 실시예에 따르면, 방송 상에서 실시간으로 객체를 인식하고 영상 처리하는 방법은 실시간 방송 영상 처리 장치가 영상 소스를 수신하고 상기 영상 소스 상에서 타겟 영상을 결정하는 단계, 상기 실시간 방송 영상 처리 장치가 상기 타겟 영상에 대한 AR(augmented reality) 영상 처리를 수행하는 단계와 상기 실시간 방송 영상 처리 장치가 AR 영상 처리된 타겟 AR 영상을 출력부로 전송하는 단계를 포함할 수 있다.
한편, 상기 타겟 영상은 영상 처리 조건을 만족하는 영상이고, 상기 영상 처리 조건은 영상 소스 조건과 영상 객체 조건을 포함하고, 상기 영상 소스 조건은 특정 영상 소스를 식별하기 위한 조건 또는 상기 특정 영상 소스를 생성하는 특정 영상 촬상 장치를 식별하기 위한 조건을 포함하고, 상기 영상 객체 조건은 영상 내 포함된 객체에 대한 조건을 포함할 수 있다.
또한, 상기 AR 영상 처리는 상기 AR 영상 처리를 위한 AR 그래픽에 포함되는 적어도 하나의 하위 AR 그래픽과 상기 적어도 하나의 하위 AR 그래픽 각각에 대응되는 적어도 하나의 타겟 객체 각각을 기반으로 수행되고, 상기 적어도 하나의 타겟 객체에 대한 인식은 상기 적어도 하나의 타겟 객체의 객체 인식 우선 순위를 기반으로 수행될 수 있다.
본 발명의 다른 실시예에 따르면, 방송 상에서 실시간으로 객체를 인식하고 영상 처리하는 실시간 방송 영상 처리 장치는 영상 소스를 수신하도록 구현된 영상 입력부와 상기 영상 입력부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되, 상기 프로세서는 상기 영상 소스 상에서 타겟 영상을 결정하고, 상기 타겟 영상에 대한 AR(augmented reality) 영상 처리를 수행하고, AR 영상 처리된 타겟 AR 영상을 출력부로 전송하도록 구현될 수 있다.
한편, 상기 타겟 영상은 영상 처리 조건을 만족하는 영상이고, 상기 영상 처리 조건은 영상 소스 조건과 영상 객체 조건을 포함하고, 상기 영상 소스 조건은 특정 영상 소스를 식별하기 위한 조건 또는 상기 특정 영상 소스를 생성하는 특정 영상 촬상 장치를 식별하기 위한 조건을 포함하고, 상기 영상 객체 조건은 영상 내 포함된 객체에 대한 조건을 포함할 수 있다.
또한, 상기 AR 영상 처리는 상기 AR 영상 처리를 위한 AR 그래픽에 포함되는 적어도 하나의 하위 AR 그래픽과 상기 적어도 하나의 하위 AR 그래픽 각각에 대응되는 적어도 하나의 타겟 객체 각각을 기반으로 수행되고, 상기 적어도 하나의 타겟 객체에 대한 인식은 상기 적어도 하나의 타겟 객체의 객체 인식 우선 순위를 기반으로 수행될 수 있다.
본 발명에 의하면, 다양한 영상 소스에 대한 영상 처리를 실시간으로 수행하여 실시간 방송 영상 상의 객체에 대한 추가적인 영상 효과가 제공될 수 있다.
또한, 본 발명에 의하면, 실시간 방송시 영상 처리 효과를 극대화하기 위해서 실시간으로 영상 처리가 가능한 타겟 영상을 판단하여 효과적으로 영상 처리가 수행될 수 있다.
도 1은 본 발명의 실시예에 따른 실시간 방송 영상 처리 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 영상 처리 판단부의 동작을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 객체 인식 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시간 방송 영상 처리 장치의 입출력을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 객체 인식 및 추적을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 타겟 AR 영상의 생성을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 영상 통합부의 동작을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
본 발명의 실시예에 따른 실시간 방송 영상 상에서 객체를 인식하고 처리하는 방법은 방송 카메라 기술을 사용하는 모든 라이브 분야(방송, 이벤트, 콘서트, 뮤지컬, 스트리밍 등)에서 실시간으로 객체 인식 및 객체 추적을 통하여 실시간으로 방송되는 영상 상에서 AR(augmented reality) 그래픽 처리와 같은 영상 처리를 수행하는 방법을 개시한다.
기존의 방송에서는 녹화된 영상에 추가적인 CG(computer graphic) 작업을 통하여 영상 처리가 수행되었다. 하지만, 본 발명의 실시예에 따른 실시간 방송 영상 상에서 객체를 인식하고 처리하는 방법이 사용되는 경우, 실시간 라이브 영상을 송출시 바로 객체 인식 및 객체 추적을 통해 객체에 대한 그래픽 처리가 수행될 수 있다. 이러한 방법을 통해 녹화 이후, 영상에 CG 처리를 하기 위한 시간과 비용이 감소되고, 시청자의 시각적 효과는 극대화될 수 있다.
도 1은 본 발명의 실시예에 따른 실시간 방송 영상 처리 장치를 나타낸 개념도이다.
도 1에서는 객체를 인식하고 인식된 객체에 대한 영상 처리를 수행하기 위한 실시간 방송 영상 처리 장치가 개시된다.
도 1을 참조하면, 실시간 방송 영상 처리 장치는 영상 입력부(100), 영상 선택부(110), 영상 처리 판단부(120), 영상 처리부(140), 영상 바이패스부(130), 영상 통합부(150), 영상 출력부(160) 및 프로세서(170)를 포함할 수 있다.
영상 입력부(100)는 실시간으로 촬영되어 생성되는 영상 소스들을 수신하기 위해 구현될 수 있다. 영상 입력부는 SDI(Serial Digital Interface) 입력, HDMI(High-Definition Multimedia Interface　) 입력, DVI(Digital Visual Interface) 입력, USB(Universal Serial Bus) 입력과 같은 다양한 인터페이스를 통해 다양한 영상 촬상 장치로부터 영상 소스를 수신할 수 있다.
본 발명에서 영상 입력부(100)는 미리 결정된 방송으로 출력될 하나의 영상 소스만을 수신할 수도 있고, 복수의 영상 소스를 실시간으로 병렬적으로 수신할 수도 있다.
영상 입력부(100)로 하나의 영상 소스만이 입력되는 것은 단일 영상 소스 입력 옵션이라는 용어로 표현될 수 있다. 영상 입력부(100)로 복수의 영상 소스가 입력되는 것은 복수 영상 소스 입력 옵션이라는 용어로 표현될 수 있다.
영상 선택부(110)는 복수 영상 소스 입력 옵션이 사용되는 경우, 복수의 영상 소스 중 최종적으로 출력될 하나의 영상 소스를 선택하기 위해 구현될 수 있다. 영상 선택부(110)는 선택적인 구조로 단일 영상 소스 입력 옵션이 사용되는 경우 별도로 구현되지 않을 수 있다.
영상 처리 판단부(120)는 영상 입력부(100)를 통해 전달된 영상에 대해 AR 영상 처리를 수행할 것인지 여부를 결정하기 위해 구현될 수 있다. 실시간 방송 영상의 경우, 특정한 영상 처리 조건에 해당하는 영상에 대해서만 AR 영상 처리가 수행될 수 있고, 영상 처리 판단부(120)는 수신한 영상이 영상 처리 조건에 맞는지 여부에 대한 판단이 수행될 수 있다.
본 발명에서 AR 영상 처리는 원본 이미지를 변화시켜 새로운 이미지를 생성하는 다양한 영상 처리를 포함하는 넓은 의미로 사용될 수 있다.
영상 처리 조건은 영상에 포함된 객체와 관련된 조건일 수도 있고, 영상 소스(예를 들어, 특정 카메라에 의해 촬영된 영상)와 관련된 조건일 수도 있다. 예를 들어, 관객석에 대한 영상이고, 영상 내의 객체 사이즈가 임계 사이즈 이상인 경우에만 영상 처리가 수행되도록 영상 처리 조건이 설정될 수 있다. 또는 특정한 카메라에 의해 촬영된 특정 영상 소스에 대해서만 영상 처리를 수행하도록 영상 처리 조건이 설정될 수도 있다.
영상 처리 조건을 만족하는 영상은 영상 처리의 대상이 되는 타겟 영상, 영상 처리 조건을 만족하지 않는 영상은 영상 처리의 대상이 되지 않는 비타겟 영상이라는 용어로 표현될 수 있다.
영상 처리 판단부(120)는 AR 영상 처리가 필요한 타겟 영상을 영상 처리부(140)로 전송하고, 영상 처리 판단부(120)는 AR 영상 처리가 필요하지 않은 비타겟 영상은 영상 바이패스부(130)로 전송할 수 있다.
영상 바이패스부(130)로 전달된 비타겟 영상은 영상 통합부(150)로 전달되고, 영상 통합부(150) 상에서 영상 처리 판단부(120)에서 타겟 영상을 처리하여 생성된 타겟 AR 영상과 결합되고, 결합된 영상은 영상 출력부(160)로 전달되어 출력될 수 있다.
영상 처리부(140)는 영상 처리 판단부(120)를 통해 수신한 타겟 영상에 대한 처리를 위해 구현될 수 있다. 영상 처리부(140)는 객체 인식부 및 객체 영상 처리부를 포함할 수 있다. 객체 인식부(143)는 타겟 영상 상에서 AR 영상 처리를 수행할 객체에 대한 인식을 위해 구현될 수 있다. 객체 영상 처리부(146)는 인식된 객체에 대한 영상 처리를 위해 구현될 수 있다.
만약, 객체가 사람 얼굴인 경우, 객체 인식부(143)는 실시간 영상 분석을 통해 사람 얼굴을 인식할 수 있다. 객체 영상 처리가 사람 얼굴에 추가적인 그래픽을 덧입히는 AR(augmented reality) 영상 처리인 경우, 인식된 사람 얼굴에 AR 영상 처리가 수행될 수 있다. AR 영상 처리는 객체에 따라 다양하게 수행될 수 있다. 구체적인 AR 영상 처리 방법은 후술된다. 이하, 설명의 편의상 객체 영상 처리부(146)에 의해 타겟 영상을 AR 영상 처리한 영상은 타겟 AR 영상이라는 용어로 표현된다. 본 발명에서 사용되는 타겟 AR 영상이라는 용어는 오리지날 영상에 대해 추가적인 그래픽 처리를 통해 생성되는 영상을 포함하는 의미로 넓게 사용될 수 있다.
영상 통합부(150)는 영상 바이패스부(130)를 통해 전달된 비타겟 영상과 영상 처리부(140)를 통해 전달된 타겟 AR 영상을 시간에 따른 싱크를 맞추어 통합하기 위해 구현될 수 있다.
영상 출력부(160)는 영상 처리부(140)에 의해 전달된 AR 영상을 출력하기 위해 구현될 수 있다. 영상 출력부(160)는 모니터, LED 월 시스템과 같은 출력부로 AR 영상을 전송할 수 있다.
프로세서(170)는 영상 입력부(100), 영상 선택부(110), 영상 처리 판단부(120), 영상 처리부(140), 영상 바이패스부(130), 영상 통합부(150), 영상 출력부(160)의 동작을 제어하기 위해 구현될 수 있다.
도 2는 본 발명의 실시예에 따른 영상 처리 판단부의 동작을 나타낸 개념도이다.
도 2에서는 영상 처리 판단부가 영상 처리 조건에 따라 영상 입력부를 통해 전달된 영상을 타겟 영상 또는 비타겟영상으로 구분하기 위한 방법이 개시된다.
도 2를 참조하면, 영상 처리 판단부는 영상 처리 조건에 따라 타겟 영상에 대한 영상 처리를 수행할 수 있다.
영상 처리 조건은 영상 소스 조건(200)과 영상 객체 조건(220)으로 별도로 설정될 수 있다.
영상 소스 조건(200)은 특정 카메라에 의해 생성된 영상 소스는 타겟 영상으로 설정되는 조건일 수 있다. 즉, 영상 소스 조건(200)이 설정된 경우, 영상 내의 객체에 대한 분석없이 영상 소스 식별 정보만을 고려하여 타겟 영상이 결정될 수 있다. 예를 들어, 관객석을 촬영하는 카메라A에 의해 생성되는 영상 소스A는 타겟 영상으로 설정될 수 있고, 이러한 카메라A 또는 영상 소스A는 영상 소스 조건(200)으로 설정될 수 있다.
영상 객체 조건(220)은 영상 내에 포함된 객체에 대한 조건일 수 있다. 예를 들어, 영상 내에 특정 위치의 객체가 임계 사이즈 이상일 경우에만 타겟 영상으로 결정되는 것이 영상 객체 조건(220)으로 설정될 수 있다.
본 발명의 실시예에 따르면, AR 영상 처리시 사용되는 AR 그래픽 정보에 따라 영상 객체 조건(220)이 자동적으로 설정될 수도 있다. 특정 AR 그래픽이 선택되는 경우, AR 그래픽에 대응되는 영상 객체 조건(220)이 자동적으로 설정될 수도 있다. 예를 들어, AR 그래픽이 사용자의 코에 추가적인 표시를 하는 것이라면, 사용자 코에 대한 임계 정확도 이상의 인식이 가능한 객체 사이즈가 영상 객체 조건(220)으로서 설정될 수 있다.
따라서, AR 그래픽 별로 적용 가능한 임계 객체 사이즈가 설정될 수 있다. 예를 들어, AR 그래픽이 인식된 객체 상에 상대적으로 정밀하게 처리되어야 하거나, 객체의 인식 정확도에 따라 그래픽 적용 효과의 차이가 상대적으로 큰 경우, AR 그래픽에 대응되는 객체별 임계 객체 사이즈가 상대적으로 크게 설정될 수 있다.
또한, AR 그래픽 별로 객체수에 따른 그래픽 효과에 대한 제한이 영상 객체 조건으로 설정될 수 있다. 예를 들어, AR 그래픽은 영상 내에 객체가 임계 개수 이하인 경우에만 적용되도록 설정될 수 있고, 특정 AR 그래픽이 선택되는 경우, 임계 개수 이하의 객체에 대해서만 적용되도록 영상 객체 조건이 자동적으로 설정될 수 있다.
예를 들어, 관객석을 비출 때 관객의 수가 30명 이상인 경우, AR 그래픽 효과가 떨어질 수 있고, 2인 이하일 때에만 AR 그래픽 효과가 클 수 있다. 이러한 AR 그래픽의 특성을 고려하여 임계 개수 이하의 객체에 대해서만 적용되도록 AR 그래픽을 선택시 영상 객체 조건이 자동적으로 설정될 수 있다.
반대로 AR 그래픽은 영상 내에 객체가 임계 개수 초과인 경우에만 적용되도록 설정될 수 있고, 특정 AR 그래픽이 선택되는 경우, 임계 개수 초과의 객체에 대해서만 적용되도록 영상 객체 조건이 자동적으로 설정될 수 있다.
영상 처리 판단부는 영상 처리 조건을 만족하는 영상을 타겟 영상으로 영상 처리부로 전송하고, 영상 처리 조건을 만족하지 않는 영상을 비타겟 영상으로 영상 바이패스부로 전송할 수 있다.
도 3은 본 발명의 실시예에 따른 객체 인식 방법을 나타낸 개념도이다.
도 3에서는 영상 처리 판단부에 의해 결정된 타겟 영상 상에서 객체를 인식하기 위한 방법이 개시된다. 객체의 예시로 얼굴이 개시되나, 얼굴이 아닌 다른 다양한 객체에 대한 인식이 수행될 수 있고, 이러한 객체 인식 또한 본 발명의 권리 범위에 포함될 수 있다.
도 3을 참조하면, 영상 처리부의 객체 인식부는 사용자 얼굴에 대한 인식을 위해 객체에 대한 학습 정보 및/또는 객체 특징점 정보를 활용할 수 있다.
AR 영상 처리시 사용되는 AR 그래픽 정보는 AR 그래픽(300)이 적용될 적어도 하나의 타겟 객체에 대한 정보를 포함할 수 있다.
선택된 AR 그래픽(300)에 대응되는 타겟 객체(310)에 대한 객체 인식이 수행될 수 있다.
영상 처리부는 적어도 하나의 타겟 객체에 대하여 객체 인식 우선 순위(320)를 기반으로 객체를 인식할 수 있다.
예를 들어, 얼굴에서 코와 이마 부분이 인식되어야 한다면, 얼굴, 코, 이마와 같은 순서로 상대적으로 인식이 빠르게 수행될 수 있는 부분에 대한 순차적인 인식이 수행되도록 객체 인식 우선 순위(320)를 설정하여 객체 인식이 수행될 수 있다.
또한, 객체 인식을 수행함에 있어서 객체 간의 연관도를 고려하여 객체 인식의 속도를 높일 수 있다. 예를 들어, 사람의 얼굴 상의 눈, 코, 입 각각이 타겟 객체로서 인식되어야 하는 경우가 가정될 수 있다. 눈, 코, 입은 상대적인 거리를 가지고 있는 객체로서 하나의 객체를 기반으로 다른 객체가 존재하는 상대적인 위치가 판단될 수 있고, 상대적인 위치를 기반으로 보다 빠르게 객체 인식이 수행될 수 있다.
예를 들어, 객체 인식 난이도를 고려하여 가장 객체 인식이 용이한 타겟 객체가 상대적으로 높은 객체 인식 우선 순위로 설정되고, 이후, 다음 객체 인식 우선 순위로 상대적인 위치를 기반으로 보다 빠르게 다른 타겟 객체에 대한 인식이 수행될 수 있다.
영상 처리부는 복수의 타겟 객체 각각에 대해 타겟 객체 인식 확률(330), 타겟 객체와 연관된 다른 연관 타겟 객체(340)에 대한 정보를 저장할 수 있다. 영상 처리부는 타겟 객체 인식 확률(330), 특정 타겟 객체를 기준으로 상대적인 위치에 존재하는 다른 타겟 객체에 대한 정보인 연관 타겟 객체(340)에 대한 정보를 기반으로 복수의 타겟 객체의 객체 인식 우선 순위를 설정할 수 있다.
또한, 본 발명에서 AR 그래픽(300) 별로 별도의 그래픽 민감도가 설정될 수 있다. 그래픽 민감도가 상대적으로 높을수록 객체에 대한 인식이 정확하게 수행되지 않은 경우, AR 그래픽(300)의 적용으로 인한 효과의 감소가 상대적으로 클 수 있다. 예를 들어, 하나의 AR 그래픽(300)은 복수의 하위 AR 그래픽을 포함하고, 복수의 하위 AR 그래픽 각각은 직접적으로 객체 인식 후 적용되어야 할 하위 AR 그래픽(객체 인식)(350)과 특정 객체의 인식 후 상대적인 위치로 인식 가능한 하위 AR 그래픽(상대 위치)(360)을 포함할 수 있다. 예를 들어, AR 그래픽(300)이 토끼 모양의 가면인 경우, 하위 AR 그래픽(객체 인식)(350)은 코 부분에 덧 입혀지는 그래픽이고, 하위 AR 그래픽(상대 위치)(360)은 이마 부분에 덧입혀지는 그래픽일 수 있다.
예를 들어, 하위 AR 그래픽(객체 인식)(350)은 코에 적용되는 그래픽으로 코를 직접적으로 인식하여야만 코 위에 생성될 수 있다. 하위 AR 그래픽(상대 위치)(360)은 이마에 적용되는 그래픽으로 이마를 직접적으로 인식하지 않더라도 코를 인식한 이후 상대적인 위치에 생성될 수 있다. 하위 AR 그래픽(상대 위치)(360)에는 하위 AR 그래픽(상대 위치)(360)를 대응시킬 타겟 객체에 대한 정보뿐만 아니라 상대적으로 타겟 객체의 위치를 결정하기 위한 기준 객체에 대한 정보가 대응되어 존재할 수 있다.
AR 그래픽에 포함되는 하위 AR 그래픽 중 하위 AR 그래픽(객체 인식)(350)의 비중이 클수록 그래픽 민감도가 높은 AR 그래픽일 수 있다. 하위 AR 그래픽(객체 인식)(350)에 대응되는 타겟 객체는 상대적으로 높은 객체 인식 우선 순위를 설정하여 객체 인식을 수행하도록 할 수 있다.
하위 AR 그래픽(상대 위치)(360)의 경우, 초기 화면 상에서는 기준 객체를 기준으로 상대적인 위치를 고려하여 영상 처리가 되나, 임계 프레임 이후에는 직접적으로 하위 AR 그래픽(상대 위치)(360)에 대응되는 타겟 객체를 인식하여 영상 처리를 수행하도록 할 수 있다. 즉, 초기 화면의 경우 빠르게 AR 그래픽을 적용하기 위해 하위 AR 그래픽(상대 위치)는 기준 객체를 기준으로 상대적인 위치를 고려하여 영상 처리가 되나, 초기 화면 이후에는 하위 AR 그래픽(상대 위치)도 하위 AR 그래픽(객체 인식)으로 전환되어 동작할 수 있다.
도 4는 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 개념도이다.
도 4에서는 객체 인식 이후 객체 추적을 통해 AR 영상 처리를 위해 객체를 추적하는 방법이 개시된다.
도 4를 참조하면, 객체 인식 이후, 객체 상에 AR 그래픽이 적용될 수 있고, 객체 추적을 통해서 객체 상에 적용된 AR 그래픽이 실시간으로 객체 변화에 따라 변화되도록 설정될 수 있다.
본 발명에서는 AR 그래픽이 객체의 움직임에 따라 변화되는 경우, AR 그래픽에는 객체의 움직임에 따라 변화 가능 범위가 설정될 수 있다.
예를 들어, 특정 AR 그래픽 별로 변화 가능한 범위가 구를 기준으로 설정될 수 있다. AR 그래픽의 디폴트 위치(410)가 구의 수평면을 기준으로 구 상의 특정 지점 상에 정의되고, 특정 지점에 대응되어 메인 타겟 객체(420)와 매칭되도록 설정될 수 있다.
AR 그래픽의 디폴트 위치는 AR 그래픽 상에서 가장 중점적으로 표현되어야 할 메인 타겟 객체(420)와 대응되어 정의될 수 있다. 메인 타겟 객체(420)는 전술한 객체 인식 우선 순위가 가장 높은 타겟 객체일 수 있다.
AR 그래픽의 변화 가능 범위는 디폴트 위치(410)를 기준으로 구의 표면 상 일정 영역을 변화 가능 범위(450)로 설정할 수 있다. 객체가 디폴트 위치(410)를 기준으로 변화 가능 범위(450) 내로 이동하거나 회전하는 경우, 객체의 움직임에 따라 변화되는 위치를 기반으로 AR 그래픽은 변화될 수 있다. 객체의 움직임이 변화 가능 범위(450)를 벋어나는 경우, AR 그래픽 처리는 중단되거나 새로운 디폴트 위치(410)를 설정하고, 새로운 변화 가능 범위(450)가 설정될 수 있다.
AR 그래픽 별 그래픽 효과를 고려하여 AR 그래픽의 변화 가능 범위(450)는 서로 다르게 설정될 수 있다. 예를 들어, AR 그래픽 별로 효과적으로 객체와 어색하지 않게 AR 영상 처리 가능한 범위는 서로 다를 수 있고, 이러한 AR 그래픽 별 그래픽 효과를 고려하여 변화 가능 범위(450)는 서로 다르게 설정될 수 있다.
위와 같은 구는 변화 가능 범위(450)를 설정하기 위한 변화 정의 공간의 하나의 예시이고, 변화 정의 공간은 AR 그래픽의 특성에 따라 다양하게 정의될 수도 있다. 예를 들어, 3D 공간 상의 튜브 형태의 공간이 변화 정의 공간으로 정의될 수도 있다. AR 그래픽을 생성시 이러한 변화 정의 공간과 변화 정의 공간 내의 변화 가능 범위(450)가 별도로 결정되어 생성될 수 있다.
또한, 본 발명에서는 영상 처리 가능 시간에 따라 변화 가능 범위가 서로 다르게 설정될 수 있다. 생방송의 성격상 실시간으로 처리가 필요한 경우, AR 그래픽의 변화 가능 범위(450)는 상대적으로 좁게 설정될 수 있고, 실시간 처리가 필요하지 않은 경우, AR 그래픽의 변화 가능 범위(450)가 상대적으로 넓게 설정될 수 있다.
또한, 본 발명에서는 실시간 방송도 방송 딜레이 시간에 따라 AR 그래픽의 변화 가능 범위(450)가 서로 다르게 설정될 수 있다. 예를 들어, 실시간 방송의 경우도 촬영 후 영상 처리 후 방송까지의 딜레이가 일부 존재할 수 있고, 이러한 방송 딜레이 시간을 고려하여 AR 그래픽의 변화 가능 범위(450)가 서로 다르게 설정될 수도 있다.
도 5는 본 발명의 실시간 방송 영상 처리 장치의 입출력을 나타낸 개념도이다.
도 5를 참조하면, 실시간 방송 영상 처리 장치는 SDI(Serial Digital Interface) 입력, HDMI(High-Definition Multimedia Interface　) 입력, DVI(Digital Visual Interface) 입력, USB(Universal Serial Bus) 입력과 같은 다양한 인터페이스를 통해 다양한 영상 촬상 장치로부터 영상 소스를 수신할 수 있다.
또한, 영상 출력부 Monitor, LED wall 시스템을 통해 타겟 AR 영상을 출력할 수 있다.
도 6은 본 발명의 실시예에 따른 객체 인식 및 추적을 나타낸 개념도이다.
도 6에서는 객체인 사용자 얼굴에 대한 인식을 수행하는 방법이 개시된다.
도 6을 참조하면, 영상 내에서 객체인 사람 얼굴을 인식하는 화면이 개시된다. 타겟 객체가 사람 얼굴 내의 눈, 코, 잎인 경우, 사람 얼굴 상의 눈, 코, 잎과 같은 타겟 객체에 대한 인식이 수행될 수 있다.
도 7은 본 발명의 실시예에 따른 타겟 AR 영상의 생성을 나타낸 개념도이다.
도 7에서는 객체에 대한 인식 및 추적 이후 타겟 AR 영상을 생성하는 방법이 개시된다.
도 7을 참조하면, 인식된 객체 및 인식된 객체에 대응되는 타겟 AR 영상이 생성될 수 있다. 이미지와 같이 객체인 사용자 얼굴에서 타객 객체인 코와 이마 부분을 인식하여 타겟 객체에 대응되는 타겟 AR 영상이 생성될 수 있다.
도 8은 본 발명의 실시예에 따른 영상 통합부의 동작을 나타낸 개념도이다.
도 8에서는 영상 통합부에서 비타겟 영상과 타겟 AR 영상을 통합하기 위한 동작이 개시된다.
도 8을 참조하면, 우선적으로 영상 통합부는 타겟 AR 영상(820)의 생성 시간과 비타겟 영상(810)의 생성 시간을 고려하여 기반을 타겟 AR 영상(820)과 비타겟 영상(810)을 합쳐서 실시간으로 출력되는 AR 영상(830)을 생성할 수 있다.
영상 통합부는 타겟AR 영상(820)의 타겟 AR 영상 품질을 기반으로 출력 길이에 대한 자동 편집을 수행할 수 있다.
예를 들어, 타겟 AR 영상(820)이 3초의 길이를 가지는 경우 최대 3초의 길이를 기반으로 영상 통합부에서 AR 영상을 생성하되, 3초의 타겟 AR 영상 중 일부의 길이의 타겟 AR 영상(820)만을 선택적으로 출력할 수도 있다.
이러한 AR 영상의 생성을 위해 타겟 AR 영상(820)이 생성되는 타겟 AR 영상 시간(850)을 기준으로 타겟 AR 영상 시간(850)에 생성된 비타겟 영상(810)이 추가적으로 영상 통합부로 전달될 수 있다. 비타겟 영상(810)은 최종적으로 결정된 타겟 AR 영상의 길이에 따라 AR 영상에 추가적으로 포함될 수 있다. 즉, 타겟 AR 영상(820)의 타겟 AR 영상 품질이 좋지 않은 경우, 비타겟 영상(810)을 대체될 수 있다.
이러한 방법을 통해 타겟 AR 영상(820) 중 AR 영상 효과가 떨어지는 타겟 AR 영상(820)에 대한 출력은 제외될 수 있다.
구체적으로 타겟 AR 영상 품질에 대한 분석은 타겟 AR 영상(820)의 이미지 중 검증 주기에 따라 추출된 n개의 검증 타겟 AR 이미지를 기반으로 수행될 수 있다. 검증 타겟 AR 이미지에 대한 검증을 위해 검증 타겟 AR 이미지 상에서 복수의 타겟 객체를 추출하고, 복수의 타겟 객체에 대응되는 복수의 하위 AR 그래픽을 추출할 수 있다.
복수의 타겟 객체 각각에 대응되는 복수의 제1 판단 위치 각각 및 복수의 하위 AR 그래픽 각각에 대응되는 복수의 제2 판단 위치 각각이 결정되고, 복수의 제1 판단 위치와 복수의 제2 판단 위치 간의 매칭 여부를 판단하여 타겟 AR 영상 품질이 결정될 수 있다.
제1 판단 위치는 판단 위치는 타겟 객체 상에 하위 AR 그래픽을 생성하기 위한 기준점이 되는 위치이고, 제2 판단 위치는 제1 판단 위치와 대응되어 매칭되어야 하는 하위 AR 그래픽 상의 위치일 수 있다.
제1 판단 위치1 내지 제1 판단 위치n과 제2 판단 위치1 내지 제2 판단 위치n 각각이 대응되어 제1 판단 위치x과 제2 판단 위치x간(여기서, x는 1부터 n)의 거리 차이의 합을 기반으로 타겟 AR 영상 품질이 결정될 수 있다.
제1 판단 위치x과 제2 판단 위치x간의 거리 차이의 합이 작을수록 타겟 AR 영상 품질이 상대적으로 높은 것으로 판단될 수 있다.
이때 전체 제1 판단 위치와 전체 제2 판단 위치 간의 비교 대신에 하위 AR 그래픽(객체 인식)에 대응되는 제2 판단 위치와 이러한 제2 판단 위치에 대응되는 제1 판단 위치에 대한 매칭 여부를 판단하여 보다 빠르게 타겟 AR 영상 품질이 결정될 수 있다.
또한, 본 발명에서 n개의 검증 타겟 AR 이미지를 결정하기 위한 검증 주기는 타겟 객체의 인식 확률을 고려하여 결정될 수 있다. 타겟 객체 인식 확률이 상대적으로 높을수록 검증 주기는 상대적으로 길어지고, 타겟 객체 인식 확률이 상대적으로 낮을수록 검증 주기는 상대적으로 짧이질 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (6)

  1. 방송 상에서 실시간으로 객체를 인식하고 영상 처리하는 방법은,
    실시간 방송 영상 처리 장치가 영상 소스를 수신하고 상기 영상 소스 상에서 타겟 영상을 결정하는 단계;
    상기 실시간 방송 영상 처리 장치가 상기 타겟 영상에 대한 AR(augmented reality) 영상 처리를 수행하는 단계; 및
    상기 실시간 방송 영상 처리 장치가 AR 영상 처리된 타겟 AR 영상을 출력부로 전송하는 단계를 포함하되,
    상기 타겟 영상은 영상 처리 조건을 만족하는 영상이고,
    상기 영상 처리 조건은 영상 소스 조건과 영상 객체 조건을 포함하고,
    상기 영상 소스 조건은 특정 영상 소스를 식별하기 위한 조건 또는 상기 특정 영상 소스를 생성하는 특정 영상 촬상 장치를 식별하기 위한 조건을 포함하고,
    상기 영상 객체 조건은 영상 내 포함된 객체에 대한 조건을 포함하고,
    상기 AR 영상 처리는 상기 AR 영상 처리를 위한 AR 그래픽에 포함되는 적어도 하나의 하위 AR 그래픽과 상기 적어도 하나의 하위 AR 그래픽 각각에 대응되는 적어도 하나의 타겟 객체 각각을 기반으로 수행되고,
    상기 적어도 하나의 타겟 객체에 대한 인식은 상기 적어도 하나의 타겟 객체의 객체 인식 우선 순위를 기반으로 수행되는 것을 특징으로 하는 방법.
  2. 삭제
  3. 삭제
  4. 방송 상에서 실시간으로 객체를 인식하고 영상 처리하는 실시간 방송 영상 처리 장치는,
    영상 소스를 수신하도록 구현된 영상 입력부; 및
    상기 영상 입력부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되,
    상기 프로세서는 상기 영상 소스 상에서 타겟 영상을 결정하고,
    상기 타겟 영상에 대한 AR(augmented reality) 영상 처리를 수행하고,
    AR 영상 처리된 타겟 AR 영상을 출력부로 전송하도록 구현되고,
    상기 타겟 영상은 영상 처리 조건을 만족하는 영상이고,
    상기 영상 처리 조건은 영상 소스 조건과 영상 객체 조건을 포함하고,
    상기 영상 소스 조건은 특정 영상 소스를 식별하기 위한 조건 또는 상기 특정 영상 소스를 생성하는 특정 영상 촬상 장치를 식별하기 위한 조건을 포함하고,
    상기 영상 객체 조건은 영상 내 포함된 객체에 대한 조건을 포함하고,
    상기 AR 영상 처리는 상기 AR 영상 처리를 위한 AR 그래픽에 포함되는 적어도 하나의 하위 AR 그래픽과 상기 적어도 하나의 하위 AR 그래픽 각각에 대응되는 적어도 하나의 타겟 객체 각각을 기반으로 수행되고,
    상기 적어도 하나의 타겟 객체에 대한 인식은 상기 적어도 하나의 타겟 객체의 객체 인식 우선 순위를 기반으로 수행되는 것을 특징으로 하는 실시간 방송 영상 처리 장치.
  5. 삭제
  6. 삭제
KR1020210054439A 2021-04-27 2021-04-27 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치 KR102299565B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210054439A KR102299565B1 (ko) 2021-04-27 2021-04-27 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210054439A KR102299565B1 (ko) 2021-04-27 2021-04-27 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치

Publications (1)

Publication Number Publication Date
KR102299565B1 true KR102299565B1 (ko) 2021-09-08

Family

ID=77787740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210054439A KR102299565B1 (ko) 2021-04-27 2021-04-27 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치

Country Status (1)

Country Link
KR (1) KR102299565B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240001631A (ko) * 2022-06-27 2024-01-03 네이버 주식회사 라이브 방송 제공 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150105069A (ko) * 2014-03-07 2015-09-16 장순철 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법
KR101850482B1 (ko) * 2016-10-27 2018-04-19 주식회사 씨제이헬로 방송 연동형 증강현실 서비스 시스템 및 방법
KR102117238B1 (ko) * 2019-01-17 2020-06-01 주식회사 비전소프트 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치
KR20200109032A (ko) * 2019-03-12 2020-09-22 최재호 영상 인식 기반의 방송 프로그램 인식 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150105069A (ko) * 2014-03-07 2015-09-16 장순철 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법
KR101850482B1 (ko) * 2016-10-27 2018-04-19 주식회사 씨제이헬로 방송 연동형 증강현실 서비스 시스템 및 방법
KR102117238B1 (ko) * 2019-01-17 2020-06-01 주식회사 비전소프트 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치
KR20200109032A (ko) * 2019-03-12 2020-09-22 최재호 영상 인식 기반의 방송 프로그램 인식 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240001631A (ko) * 2022-06-27 2024-01-03 네이버 주식회사 라이브 방송 제공 방법 및 시스템
KR102632812B1 (ko) 2022-06-27 2024-02-01 네이버 주식회사 라이브 방송 제공 방법 및 시스템

Similar Documents

Publication Publication Date Title
US10074012B2 (en) Sound and video object tracking
JP7396341B2 (ja) 映像音響処理装置および方法、並びにプログラム
CN112165590B (zh) 视频的录制实现方法、装置及电子设备
US10762653B2 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
US11562471B2 (en) Arrangement for generating head related transfer function filters
US11785328B2 (en) System and camera device for capturing images
JP2018107793A (ja) 仮想視点画像の生成装置、生成方法及びプログラム
KR20090093904A (ko) 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템
KR102072022B1 (ko) 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
JP2011071685A (ja) 映像音響処理システム、映像音響処理方法及びプログラム
KR102299565B1 (ko) 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치
US10224073B2 (en) Auto-directing media construction
KR102037997B1 (ko) 전자 장치 및 콘텐츠 생성 방법
KR20160021016A (ko) 영상 콘텐츠 제공 방법 및 영상 콘텐츠 제공 장치
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
US20130051633A1 (en) Image processing apparatus
Lampi et al. An automatic cameraman in a lecture recording system
KR102350182B1 (ko) 가상 피팅 서비스를 위한 시스템 및 그 동작 방법
KR102066857B1 (ko) 객체 영상 트랙킹 스트리밍 시스템 및 이를 이용한 스트리밍 방법
KR20200124870A (ko) 다초점 영상 재생 장치 및 방법
CN115803772A (zh) 用于检测和显示白板文本和/或活跃说话者的系统和方法
JP2008090570A (ja) 情報処理装置及び情報処理方法
WO2024062971A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR102334503B1 (ko) 다초점 영상 재생 장치 및 방법
KR102284913B1 (ko) 360도 영상에서의 사용자 시야각 선택 방법 및 그 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant