KR102596322B1 - 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents
차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDFInfo
- Publication number
- KR102596322B1 KR102596322B1 KR1020220044098A KR20220044098A KR102596322B1 KR 102596322 B1 KR102596322 B1 KR 102596322B1 KR 1020220044098 A KR1020220044098 A KR 1020220044098A KR 20220044098 A KR20220044098 A KR 20220044098A KR 102596322 B1 KR102596322 B1 KR 102596322B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- effect
- sequence
- effect object
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 150
- 230000008451 emotion Effects 0.000 claims description 14
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 241000270666 Testudines Species 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8545—Content authoring for generating interactive applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 일 태양에 따르면, 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법으로서, 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 단계, 상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 단계, 및 상기 차량 내부 영상에 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 단계를 포함하는 방법이 제공된다.
Description
본 발명은 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
근래에 들어, 통신 및 인공지능(Artificial Intelligence; AI) 기술 발달과 함께 차량 자율 주행 서비스가 상용화되는 등 자율 주행 자동차 시장이 활성화되고 있다. 이러한 자율 주행 자동차에는 주변의 장애물을 탐지하거나 차량 내부의 상태를 파악하기 위하여 수많은 카메라가 장착되어 있으며, 이를 통해 주행 중에 해당 차량의 내부 또는 외부를 촬영하게 된다.
하지만, 촬영된 차량 내부 영상은 탑승자의 유무나 상태 등을 파악하는 용도 외에는 다른 용도가 없어 차량 주행 이후(또는 차량 주행 중에도)에 자동으로 삭제되거나 새로운 영상으로 덮어씌워져 기록될 뿐이었다.
이에, 본 발명자들은, 차량 내부 영상을 기반으로 콘텐츠를 저작할 수 있도록 지원함으로써 차량 탑승자의 흥미 진작과 영상 활용도를 높일 수 있는 신규하고도 진보된 기술을 제안하는 바이다.
본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 차량 내부 영상을 기반으로 누구나 손쉽고 간편하게 콘텐츠를 저작할 수 있도록 지원하는 것을 그 목적으로 한다.
또한, 본 발명은, 차량 내부 영상의 활용도를 높이고, 차량 운행 중에 따분할 수 있는 차량 탑승자에게 흥미를 부여하는 것을 그 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법으로서, 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 단계, 상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 단계, 및 상기 차량 내부 영상에 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 차량 내부 영상을 기반으로 콘텐츠를 저작하는 시스템으로서, 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 이펙트 파라미터 획득부, 및 상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 시퀀스 결정부, 및 상기 차량 내부 영상에 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 콘텐츠 저작부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 차량 내부 영상을 기반으로 누구나 손쉽고 간편하게 콘텐츠를 저작할 수 있게 된다.
또한, 본 발명에 의하면, 차량 내부 영상의 활용도를 높이고, 차량 운행 중에 따분할 수 있는 차량 탑승자에게 흥미를 부여할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠를 저작하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠가 저작되는 상황을 예시적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠가 저작되는 상황을 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
본 명세서에서, 콘텐츠란, 통신망을 통하여 접근 가능한, 문자, 부호, 음성, 음향, 이미지, 동영상 등으로 이루어지는 디지털 정보 또는 개별 정보 요소를 총칭하는 개념이다. 이러한 콘텐츠는, 예를 들면, 텍스트, 이미지, 동영상, 오디오, 링크(예를 들면, 웹 링크) 등의 데이터 또는 이러한 데이터 중 적어도 두 가지의 조합을 포함하여 구성될 수 있다.
또한, 본 명세서에서, 객체란, 영상 내의 소정 영역에 구현되거나 부가될 수 있는 대상을 총칭하는 개념으로서, 예를 들어, 문자, 숫자, 기호, 심볼, 도형, 사진, 이미지, 소리, 동영상, 또는 이들의 조합으로 이루어질 수 있으며, 그에 부여될 수 있는 속성(attribute)(예를 들어, 밝기, 명도, 채도)까지도 포함하는 개념일 수 있다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠를 저작하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 콘텐츠 저작 시스템(200) 및 디바이스(300)를 포함하여 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망, 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 무선 주파수(RF; Radio Frequency) 통신, 와이파이(WiFi) 통신, 셀룰러(LTE 등) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 디바이스일 수 있다. 예를 들어, 이러한 콘텐츠 저작 시스템(200)은 서버 시스템일 수 있다.
본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)은 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하고, 그 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하며, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하고, 위의 차량 내부 영상에 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 차량 내부 영상은 촬영 방향이 차량 내부를 향하도록 장착되는 적어도 하나의 카메라 모듈(예를 들어, RGB 카메라, 적외선 카메라, 자외선 카메라, TOF(Time-of-Flight) 카메라 등) 또는 적어도 하나의 스캐너 모듈(예를 들어, 라이다(LiDAR) 센서, 레이더(radar) 센서 등)에 의해 차량의 내부가 실시간으로 또는 소정 기간 동안 촬영되는 영상을 의미할 수 있다. 또한, 위와 같은 차량 내부 영상은 2차원 영상 또는 3차원 영상을 포함할 수 있다. 한편, 본 발명의 일 실시예에 따른 카메라 모듈 또는 스캐너 모듈의 종류가 반드시 위의 열거된 실시예에만 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있음을 밝혀 둔다.
본 발명에 따른 콘텐츠 저작 시스템(200)의 구성과 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다. 한편, 콘텐츠 저작 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 콘텐츠 저작 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 후술할 디바이스(300) 또는 외부 시스템(미도시됨) 내에서 실현되거나 디바이스(300) 또는 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.
다음으로, 본 발명의 일 실시예에 따른 디바이스(300)는 통신망(100)을 통해 콘텐츠 저작 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대 가능한 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 디바이스(300)에는 콘텐츠를 재생하기 위한 디스플레이 모듈(예를 들어, LCD, LED 디스플레이, OLED 디스플레이 등)이 더 포함될 수 있다.
한편, 본 발명의 일 실시예에 따른 디바이스(300)에는, 본 발명에 따른 콘텐츠 저작 기능을 지원하기 위한 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 콘텐츠 저작 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.
콘텐츠 저작 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 콘텐츠 저작 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.
도 2에 도시된 바와 같이, 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240), 통신부(250) 및 제어부(260)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 콘텐츠 저작 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 콘텐츠 저작 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 이펙트 파라미터 획득부(210)는 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 기능을 수행할 수 있다.
예를 들어, 이펙트 파라미터 획득부(210)는 차량 내부 영상 내에서 이펙트 파라미터와 연관되는 적어도 하나의 특징점 또는 특징 영역을 특정할 수 있고, 그 적어도 하나의 특징점 또는 특징 영역을 기준으로 차량 내부 영상을 분석(예를 들어, 형상, 크기, 색채, 주파수, 피치 등을 분석)함으로써 이펙트 파라미터를 획득할 수 있다.
보다 구체적으로, 이펙트 파라미터 획득부(210)는, (i) 차량 내부 영상 내에서 특정되는 차량 탑승자의 소정 신체 부위(예를 들어, 눈, 눈썹, 동공, 코, 입 등)의 크기, 형상, 또는 그 크기나 형상의 변화에 관한 정보, (ii) 차량 내부 영상 내에서 특정되는 차량 탑승자의 소정 신체 부위(예를 들어, 머리, 손, 발 등)의 위치 또는 그 위치의 변화(또는 해당 신체 부위에 의한 제스처)에 관한 정보, (iii) 차량 내부 영상 내에서 특정되는 차량 탑승자의 소정 신체 부위에서 발생되는 소리(예를 들어, 입에서 발생되는 소리) 또는 그 소정 신체 부위에 의하여 발생되는 소리(예를 들어, 손으로 차량의 헤드레스트(headrest)나 스티어링 휠(steering wheel)을 두드림에 의하여 발생되는 소리)에 관한 정보 등을 차량 탑승자와 연관되는 이펙트 파라미터로서 획득할 수 있다.
한편, 이펙트 파라미터 획득부(210)는 차량 내부 영상을 영상 시퀀스 및 음성 시퀀스 중 적어도 하나로 분리하고, 분리된 영상 시퀀스로부터 시각과 연관되는 이펙트 파라미터(예를 들어, 차량 탑승자의 표정이나 움직임에 관한 이펙트 파라미터)를 획득하고, 분리된 음성 시퀀스로부터 청각과 연관되는 이펙트 파라미터(예를 들어, 차량 탑승자에 의해 발생되는 소리에 관한 이펙트 파라미터)를 획득할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 시퀀스 결정부(220)는 위의 이펙트 파라미터 획득부(210)에 의해 획득된 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따른 이펙트 객체는, 시각, 청각, 촉각 및 후각 중 적어도 하나의 감각을 기반으로 하는 객체를 포함할 수 있다. 예를 들어, 이펙트 객체가 시각을 기반으로 하는 객체인 경우에, 이미지 또는 영상을 기반으로 하는 객체가 위의 이펙트 객체로 포함될 수 있다.
예를 들어, 시퀀스 결정부(220)는 차량 탑승자의 얼굴 내의 소정 신체 부위의 형상에 관한 정보(즉, 이펙트 파라미터)에 기초하여 차량 탑승자의 감정(예를 들어, 기쁨(喜), 화남(怒), 슬픔(哀), 즐거움(樂) 등으로 분류될 수 있음)을 추정할 수 있고, 그 추정되는 감정과 연관되는 적어도 하나의 이펙트 객체를 특정할 수 있으며, 그 특정되는 적어도 하나의 이펙트 객체 및 위의 이펙트 파라미터(또는 위의 감정에 관한 정보)에 기초하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 보다 구체적으로, 시퀀스 결정부(220)는 위의 차량 탑승자의 얼굴 내의 소정 신체 부위의 형상에 관한 정보에 기초하여 추정되는 차량 탑승자의 감정이 "기쁨"인 경우에, 적어도 하나의 음표 이미지를 "기쁨"과 연관되는 이펙트 객체로서 특정할 수 있고, 해당 감정(즉, "기쁨")에 따라(즉, 이펙트 파라미터에 기초하여 추정되는 감정에 따라) 위의 적어도 하나의 음표 이미지가 소정 시간 동안 활발하게 움직이는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다. 또한, 시퀀스 결정부(220)는 위의 차량 탑승자의 얼굴 내의 소정 신체 부위의 형상에 관한 정보에 기초하여 추정되는 차량 탑승자의 감정이 "슬픔"인 경우에, 배경 이미지를 "슬픔"과 연관되는 이펙트 객체로서 특정할 수 있고, 해당 감정(즉, "슬픔")에 따라(즉, 이펙트 파라미터에 기초하여 추정되는 감정에 따라) 위의 배경 이미지의 밝기가 소정 시간 동안 어두워지는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다.
다른 예를 들어, 시퀀스 결정부(220)는 차량 탑승자에 의해 발생되는 소리(예를 들어, 차량 탑승자의 신체 기관을 통해 직접적으로 발생되는 소리나 차량 탑승자의 신체 기관이 다른 사물을 타격함으로써 간접적으로 발생되는 소리)에 관한 정보(예를 들어, 위의 소리의 세기, 높낮이 및 음색 중 적어도 하나에 관한 정보)(즉, 이펙트 파라미터)에 기초하여 적어도 하나의 이펙트 객체를 특정할 수 있고, 그 특정되는 적어도 하나의 이펙트 객체 및 위의 소리에 관한 정보에 기초하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 보다 구체적으로, 시퀀스 결정부(220)는 차량 탑승자에 의해 발생되는 소리의 세기에 관한 정보에 기초하여 배경 이미지를 이펙트 객체로서 특정할 수 있고, 위의 소리가 발생될 때마다 위의 배경 이미지의 밝기가 위의 소리의 세기에 비례하여 변경(또는 점멸)되는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다.
또 다른 예를 들어, 시퀀스 결정부(220)는 차량 탑승자에 의해 발생되는 제스처에 관한 정보에 기초하여 적어도 하나의 이펙트 객체를 특정할 수 있고, 그 특정되는 적어도 하나의 이펙트 객체 및 위의 제스처에 관한 정보에 기초하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 보다 구체적으로, 시퀀스 결정부(220)는 차량 탑승자의 손 제스처에 관한 정보(예를 들어, 손 제스처의 발생 위치, 속도, 방향 등에 관한 정보를 포함함)에 기초하여 물결 이미지 및 물결 소리를 이펙트 객체로서 특정할 수 있고, 위의 손 제스처의 발생 위치 및 방향을 따라 물결 이미지가 생성되고, 위의 손 제스처의 속도에 따라 물결 소리의 박자가 변경되는 것을 위의 적어도 하나의 이펙트 객체에 관한 시퀀스로서 결정할 수 있다.
다만, 본 발명의 일 실시예에 따른 이펙트 객체 및 그에 관한 시퀀스가 반드시 상기 열거된 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있음을 밝혀 둔다.
한편, 시퀀스 결정부(220)는 이펙트 파라미터와 연관되는 이펙트 객체에 관한 룩업 테이블 및 이펙트 파라미터와 연관되는 시퀀스에 관한 룩업 테이블 중 적어도 하나를 참조하여 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다.
또한, 시퀀스 결정부(220)는 차량 내부 영상에서 특정되는 차량 탑승자의 개인 정보에 더 기초하여 위의 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 본 발명의 일 실시예에 따른 차량 탑승자의 개인 정보에는, 차량 탑승자의 연령, 성별, 인종, 지역, 선호 이펙트 객체, 관심사 등에 관한 정보가 포함될 수 있다.
예를 들어, 시퀀스 결정부(220)는 차량 내부 영상에서 차량 탑승자의 얼굴을 기반으로 차량 탑승자의 신원을 특정하고, 그 특정되는 신원에 따라 해당 차량 탑승자가 선호하는 적어도 하나의 이펙트 객체 및 그 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 즉, 차량 탑승자의 개인 정보를 기반으로 이펙트 객체 또는 그 이펙트 객체에 관한 시퀀스가 서로 다르게 개별 맞춤화되어 결정될 수 있다.
한편, 시퀀스 결정부(220)는 차량 탑승자와 연관되는 상황 정보에 더 기초하여 위의 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 본 발명의 일 실시예에 따른 상황 정보는, 차량 탑승자 또는 그 차량 탑승자의 주변(또는 차량 내)의 분위기(예를 들어, 기쁨, 즐거움, 슬픔, 화남 등), 차량 탑승자의 움직임, 차량 탑승자의 목소리 등으로부터 추론되는 상황을 나타내는 정보를 포함할 수 있다. 예를 들어, 차량 탑승자 또는 그 차량 탑승자의 주변(또는 차량 내)의 분위기, 차량 탑승자의 움직임, 차량 탑승자의 목소리 등에 관한 정보와 동일하거나 유사한 정보에 대응되는 사례가 사례 데이터베이스에서 검색될 수 있으며, 이에 따라 검색된 사례가 해당 상황을 나타내는 정보가 될 수 있다. 이러한 사례 데이터베이스는 복수의 차량 탑승자에 관한 다양한 사례를 기반으로 딥 러닝(deep learning), 기계 학습(machine learning) 등을 수행함으로써 동적으로 업데이트될 수 있다. 즉, 동일한 이펙트 파라미터가 획득되는 경우라도, 차량 탑승자와 연관되는 상황 정보(예를 들어, 분위기)에 따라 이펙트 객체 또는 그 이펙트 객체에 관한 시퀀스가 다르게 결정될 수 있다.
또한, 시퀀스 결정부(220)는 차량의 주행 정보에 더 기초하여 위의 적어도 하나의 이펙트 객체를 특정하고, 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정할 수 있다. 본 발명의 일 실시예에 따른 주행 정보에는, 차량의 출발지, 목적지, 현 위치, 주행 속도, 주행 상태(예를 들어, 정지, 출발 등) 등에 관한 정보가 포함될 수 있다.
예를 들어, 시퀀스 결정부(220)는 차량이 목적지에 근접한 경우에, 결승점과 연관되는 적어도 하나의 이펙트 객체(예를 들어, 결승점을 테마로 하여 생성될 수 있는 결승선 리본 이미지 등) 및 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스(예를 들어, 결승점을 테마로 하여 생성될 수 있는 결승선 리본 이미지가 흩날리는 시퀀스 등)를 결정할 수 있다.
다른 예를 들어, 시퀀스 결정부(220)는 차량의 속도가 소정 수준 이하인 경우에, 느림과 연관되는 적어도 하나의 이펙트 객체(예를 들어, 거북이 이미지 등) 및 그 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스(예를 들어, 거북이 이미지가 차량 주행 속도에 대응하여 천천히 기어가는 시퀀스 등)를 결정할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 콘텐츠 저작부(230)는 차량 내부 영상에 위의 시퀀스 결정부(220)에 의해 결정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 콘텐츠를 저작하는 기능을 수행할 수 있다.
예를 들어, 콘텐츠 저작부(230)는 차량 내부 영상을 기반으로 위의 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합시킴으로써 증강 현실(Augmented Reality; AR) 영상 및 혼합 현실(Mixed Reality; MR) 영상 중 적어도 하나의 콘텐츠를 저작할 수 있다.
다음으로, 콘텐츠 관리부(240)는 콘텐츠 저작부(230)에 의해 저작되는 콘텐츠가 저장 또는 공유되도록 하는 기능을 수행할 수 있다.
예를 들어, 콘텐츠 관리부(240)는 위의 저작되는 콘텐츠가 차량 탑승자와 연관되는 디바이스(300)(예를 들어, 차량 탑승자의 스마트폰, 클라우드 등) 내에 저장되도록 하거나, 차량 탑승자와 연관되는 소셜 네트워크 서비스(SNS), 클라우드, 웹 서버 등을 통해 위의 저작된 콘텐츠가 다른 차량 탑승자와 공유(예를 들어, 실시간 공유)되도록 할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(250)는 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230) 및 콘텐츠 관리부(240)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(260)는 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(260)는 콘텐츠 저작 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 콘텐츠 저작 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 이펙트 파라미터 획득부(210), 시퀀스 결정부(220), 콘텐츠 저작부(230), 콘텐츠 관리부(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 차량 내부 영상을 기반으로 콘텐츠가 저작되는 상황을 예시적으로 나타내는 도면이다.
제1 실시예
도 3을 참조하면, 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)이 차량 내 디바이스(300)에 포함되는 상황을 가정해 볼 수 있다. 여기서, 디바이스(300)는 차량 내의 소정 장소(예를 들어, 헤드 레스트, 스티어링 휠 등)에 대하여 고정되거나 탈착될 수 있는 태블릿 또는 스마트폰을 포함할 수 있다.
먼저, 차량 내 디바이스(300)는 차량 탑승자가 스티어링 휠을 반복적으로 두드리는 차량 내부 영상(도 3의 (a) 참조)으로부터 그러한 두드림에 의하여 발생되는 소리의 세기, 높낮이 및 음색 중 적어도 하나에 관한 정보를 이펙트 파라미터로서 획득할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 소리의 세기, 높낮이 및 음색 중 적어도 하나에 관한 정보에 기초하여 적어도 하나의 음표 이미지를 적어도 하나의 이펙트 객체로 특정하고, 위의 소리의 높낮이에 따라 위의 적어도 하나의 음표 이미지의 색채가 변경되고(예를 들어, 위의 소리가 높낮이가 높을수록 색채가 붉은색이 되고 낮을수록 푸른색이 됨), 위의 소리의 세기에 따라 위의 적어도 하나의 음표 이미지의 크기가 변경되며(예를 들어, 위의 소리의 세기가 클수록 크기가 커지고 작을수록 크기가 작아짐), 위의 소리의 음색에 따라 위의 적어도 하나의 음표의 이미지의 명도가 변경되는 시퀀스를 위의 적어도 하나의 음표 이미지에 관한 시퀀스로서 결정할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 차량 내부 영상(즉, 실세계 영상)에 위의 결정되는 적어도 하나의 음표 이미지에 관한 시퀀스를 결합시킴으로써 증강 현실 콘텐츠(도 3의 (b) 참조)를 저작할 수 있다.
제2 실시예
본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)이 차량 내 디바이스(300)에 포함되는 상황을 가정해 볼 수 있다. 여기서, 디바이스(300)는 차량 내의 소정 장소(예를 들어, 헤드 레스트, 스티어링 휠 등)에 대하여 고정되거나 탈착될 수 있는 태블릿 또는 스마트폰을 의미할 수 있다.
먼저, 차량 내 디바이스(300)는 차량 탑승자가 노래를 부르는 차량 내부 영상으로부터 그러한 노래에 의해 발생되는 소리의 박자 및 리듬 중 적어도 하나에 관한 정보를 이펙트 파라미터로서 획득할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 소리의 박자 및 리듬 중 적어도 하나에 관한 정보에 기초하여 적어도 하나의 음표 이미지를 적어도 하나의 이펙트 객체로 특정하고, 위의 소리의 박자 및 리듬 중 적어도 하나의 변화에 따라 위의 적어도 하나의 음표 이미지가 빠르게 움직이거나 그 수가 늘어나는 시퀀스를 위의 적어도 하나의 음표 이미지에 관한 시퀀스로서 결정할 수 있다.
그 다음에, 차량 내 디바이스(300)는 위의 차량 내부 영상에 위의 적어도 하나의 음표 이미지에 관한 시퀀스를 결합시킴으로써 증강 현실 콘텐츠를 저작할 수 있다.
제3 실시예
도 4를 참조하면, 본 발명에 따른 콘텐츠 저작 시스템(200)의 일부가 차량 내 디바이스(미도시됨)(본 발명에 따른 디바이스(300))에 포함되고, 다른 일부가 외부 서버(미도시됨)에 포함되는 상황을 가정해볼 수 있다. 구체적으로, 위의 디바이스 및 그 디바이스와 무선 통신(예를 들어, 와이파이(WiFi), 블루투스(Bluetooth) 등)으로 연결되는 외부 서버를 통해 콘텐츠가 저작되는 상황일 수 있다.
먼저, 차량 탑승자 중 한 명이 졸린 표정을 짓고 있고(또는 졸고 있고) 다른 한 명이 기쁜 표정을 짓고 있는 차량 내부 영상(도 4의 (a) 참조)으로부터 두 차량 탑승자의 얼굴의 소정 신체 부위의 형상에 관한 정보가 이펙트 파라미터로서 획득될 수 있다.
그 다음에, 위의 차량 탑승자의 얼굴의 소정 신체 부위의 형상에 관한 정보에 기초하여 한 명의 차량 탑승자의 감정이 "졸림"이고 다른 한 명의 차량 탑승자의 감정이 "기쁨"인 것이 추정될 수 있고, 그 추정되는 감정과 연관되는 수면 이미지 및 천사 이미지 각각이 적어도 하나의 이펙트 객체로 특정될 수 있다.
그 다음에, 위의 수면 이미지 및 위의 천사 이미지 각각이 위의 두 차량 탑승자 각각의 얼굴의 소정 신체 부위의 형상을 추적하여 따라다니는 것이 위의 수면 이미지 및 천사 이미지에 관한 시퀀스로서 결정될 수 있다.
그 다음에, 위의 차량 내부 영상에 위의 결정되는 수면 이미지 및 천사 이미지에 관한 시퀀스가 결합됨으로써 증강 현실 콘텐츠(도 4의 (b) 참조)가 저작될 수 있다.
제4 실시예
도 5를 참조하면, 본 발명의 일 실시예에 따른 콘텐츠 저작 시스템(200)이 외부 서버(미도시됨)에 포함되는 상황을 가정해 볼 수 있다. 구체적으로, 차량 내 디바이스(미도시됨)(본 발명에 따른 디바이스(300))와 무선 통신(예를 들어, 와이파이(WiFi), 블루투스(Bluetooth) 등)으로 연결되는 외부 서버를 통해 콘텐츠가 저작되는 상황일 수 있다.
먼저, 차량 탑승자가 주먹을 휘두르는 차량 내부 영상(도 5의 (a) 참조)으로부터, 주먹의 발생 위치, 속도 및 방향에 관한 정보가 이펙트 파라미터로서 획득될 수 있다.
그 다음에, 위의 주먹의 발생 위치, 속도 및 방향에 관한 정보에 기초하여 적어도 하나의 권투 장갑 이미지 및 권투 샌드백 이미지를 적어도 하나의 이펙트 객체로 특정하고, 위의 주먹의 발생 위치, 속도 및 방향에 대응되도록 권투 장갑이 휘둘러지고 이에 따라 권투 샌드백이 움직이는 시퀀스가 위의 권투 장갑 이미지 및 권투 샌드백 이미지에 관한 시퀀스로서 결정될 수 있다.
그 다음에, 위의 차량 내부 영상(실세계 영상)에 위의 차량의 외부 영상(가상 현실 영상; 이러한 영상은 가상 현실 생성 기술을 통해 위의 차량 내부 영상을 기반으로 생성될 수 있음))(미도시됨) 및 위의 권투 장갑 이미지 및 권투 샌드백 이미지에 관한 시퀀스가 결합됨으로써 혼합 현실 콘텐츠(도 5의 (b) 참조)가 저작될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 통신망
200: 콘텐츠 저작 시스템
210: 이펙트 파라미터 획득부
220: 시퀀스 결정부
230: 콘텐츠 저작부
240: 콘텐츠 관리부
250: 통신부
260: 제어부
300: 디바이스
200: 콘텐츠 저작 시스템
210: 이펙트 파라미터 획득부
220: 시퀀스 결정부
230: 콘텐츠 저작부
240: 콘텐츠 관리부
250: 통신부
260: 제어부
300: 디바이스
Claims (19)
- 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법으로서,
실세계 영상인 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 단계,
상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 단계, 및
상기 차량 내부 영상을 기반으로 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 증강 현실(Augmented Reality; AR) 영상 및 혼합 현실(Mixed Reality; MR) 영상 중 적어도 하나의 콘텐츠를 저작하는 단계를 포함하는
방법. - 제1항에 있어서,
상기 획득 단계는,
상기 차량 내부 영상 내에서 상기 이펙트 파라미터와 연관되는 적어도 하나의 특징점 또는 특징 영역을 특정하는 단계, 및
상기 적어도 하나의 특징점 또는 특징 영역을 기준으로 상기 차량 내부 영상을 분석함으로써 상기 이펙트 파라미터를 획득하는 단계를 포함하는
방법. - 제1항에 있어서,
상기 획득 단계는,
상기 차량 내부 영상을 영상 시퀀스 및 음성 시퀀스 중 적어도 하나로 분리하는 단계, 및
상기 영상 시퀀스로부터 상기 이펙트 파라미터 중 시각과 연관되는 이펙트 파라미터를 획득하고, 상기 음성 시퀀스로부터 상기 이펙트 파라미터 중 청각과 연관되는 이펙트 파라미터를 획득하는 단계를 포함하는
방법. - 제1항에 있어서,
상기 결정 단계에서, 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자의 감정에 관한 정보와 연관되는
방법. - 제1항에 있어서,
상기 결정 단계에서, 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 소리에 관한 정보와 연관되는
방법. - 제1항에 있어서,
상기 결정 단계에서, 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 제스처에 관한 정보와 연관되는
방법. - 제1항에 있어서,
상기 결정 단계에서, 상기 차량 탑승자의 개인 정보 및 상기 차량 탑승자와 연관되는 상황 정보 중 적어도 하나에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
방법. - 제1항에 있어서,
상기 결정 단계에서, 상기 차량의 주행 정보에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
방법. - 제1항에 있어서,
상기 저작되는 콘텐츠가 저장 또는 공유되도록 하는 단계를 더 포함하는
방법. - 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
- 차량 내부 영상을 기반으로 콘텐츠를 저작하는 시스템으로서,
실세계 영상인 차량 내부 영상으로부터 차량 탑승자와 연관되는 이펙트 파라미터를 획득하는 이펙트 파라미터 획득부,
상기 이펙트 파라미터에 기초하여 적어도 하나의 이펙트 객체를 특정하고, 상기 특정되는 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는 시퀀스 결정부, 및
상기 차량 내부 영상을 기반으로 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결합하여 증강 현실(Augmented Reality; AR) 영상 및 혼합 현실(Mixed Reality; MR) 영상 중 적어도 하나의 콘텐츠를 저작하는 콘텐츠 저작부를 포함하는
시스템. - 제11항에 있어서,
상기 이펙트 파라미터 획득부는, 상기 차량 내부 영상 내에서 상기 이펙트 파라미터와 연관되는 적어도 하나의 특징점 또는 특징 영역을 특정하고, 상기 적어도 하나의 특징점 또는 특징 영역을 기준으로 상기 차량 내부 영상을 분석함으로써 상기 이펙트 파라미터를 획득하는
시스템. - 제11항에 있어서,
상기 이펙트 파라미터 획득부는, 상기 차량 내부 영상을 영상 시퀀스 및 음성 시퀀스 중 적어도 하나로 분리하고, 상기 영상 시퀀스로부터 상기 이펙트 파라미터 중 시각과 연관되는 이펙트 파라미터를 획득하고, 상기 음성 시퀀스로부터 상기 이펙트 파라미터 중 청각과 연관되는 이펙트 파라미터를 획득하는
시스템. - 제11항에 있어서,
상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자의 감정에 관한 정보와 연관되는
시스템. - 제11항에 있어서,
상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 소리에 관한 정보와 연관되는
시스템. - 제11항에 있어서,
상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스는, 상기 차량 탑승자에 의해 발생되는 제스처에 관한 정보와 연관되는
시스템. - 제11항에 있어서,
상기 시퀀스 결정부는, 상기 차량 탑승자의 개인 정보 및 상기 차량 탑승자와 연관되는 상황 정보 중 적어도 하나에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
시스템. - 제11항에 있어서,
상기 시퀀스 결정부는, 상기 차량의 주행 정보에 더 기초하여 상기 적어도 하나의 이펙트 객체 및 상기 적어도 하나의 이펙트 객체에 관한 시퀀스를 결정하는
시스템. - 제11항에 있어서,
상기 저작되는 콘텐츠가 저장 또는 공유되도록 하는 콘텐츠 관리부를 더 포함하는
시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190073163 | 2019-06-19 | ||
| KR20190073163 | 2019-06-19 | ||
| KR1020200073555A KR102477703B1 (ko) | 2019-06-19 | 2020-06-17 | 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200073555A Division KR102477703B1 (ko) | 2019-06-19 | 2020-06-17 | 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220049501A KR20220049501A (ko) | 2022-04-21 |
| KR102596322B1 true KR102596322B1 (ko) | 2023-10-31 |
Family
ID=74037369
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200073555A KR102477703B1 (ko) | 2019-06-19 | 2020-06-17 | 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
| KR1020220044098A KR102596322B1 (ko) | 2019-06-19 | 2022-04-08 | 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200073555A KR102477703B1 (ko) | 2019-06-19 | 2020-06-17 | 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
Country Status (2)
| Country | Link |
|---|---|
| KR (2) | KR102477703B1 (ko) |
| WO (1) | WO2020256403A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005076618A1 (en) | 2004-02-05 | 2005-08-18 | Sony United Kingdom Limited | System and method for providing customised audio/video sequences |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030007700A1 (en) * | 2001-07-03 | 2003-01-09 | Koninklijke Philips Electronics N.V. | Method and apparatus for interleaving a user image in an original image sequence |
| KR100651034B1 (ko) * | 2004-12-08 | 2006-11-29 | 한국전자통신연구원 | 대상 물체 검출 시스템 및 그 방법 |
| KR20120074977A (ko) * | 2010-12-28 | 2012-07-06 | (주)이지런 | 음성인식 및 명령을 수행하는 증강현실용 교육자재 및 그 사용방법 |
| US20150348112A1 (en) * | 2015-08-12 | 2015-12-03 | Madhusoodhan Ramanujam | Providing Advertisements to Autonomous Vehicles |
| KR101855940B1 (ko) * | 2015-10-27 | 2018-05-09 | 엘지전자 주식회사 | 차량용 증강현실 제공 장치 및 그 제어방법 |
| US10366290B2 (en) * | 2016-05-11 | 2019-07-30 | Baidu Usa Llc | System and method for providing augmented virtual reality content in autonomous vehicles |
| KR20180014910A (ko) | 2016-08-02 | 2018-02-12 | 김지현 | 가상현실 속 증강현실을 이용한 관광 콘텐츠 및 그 제공시스템 |
| KR101894956B1 (ko) * | 2017-06-21 | 2018-10-24 | 주식회사 미디어프론트 | 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법 |
| KR20190026507A (ko) * | 2017-09-05 | 2019-03-13 | 주식회사 아이닉스 | 차량용 영상 생성 장치 및 방법 |
-
2020
- 2020-06-17 KR KR1020200073555A patent/KR102477703B1/ko active IP Right Grant
- 2020-06-17 WO PCT/KR2020/007839 patent/WO2020256403A1/ko active Application Filing
-
2022
- 2022-04-08 KR KR1020220044098A patent/KR102596322B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005076618A1 (en) | 2004-02-05 | 2005-08-18 | Sony United Kingdom Limited | System and method for providing customised audio/video sequences |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200145730A (ko) | 2020-12-30 |
| KR20220049501A (ko) | 2022-04-21 |
| WO2020256403A1 (ko) | 2020-12-24 |
| KR102477703B1 (ko) | 2022-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160110922A1 (en) | Method and system for enhancing communication by using augmented reality | |
| CN111295671A (zh) | 自主个人伴侣的模块化层次结构视觉系统 | |
| CN108933723B (zh) | 消息展示方法、装置及终端 | |
| US11660022B2 (en) | Adaptive skeletal joint smoothing | |
| CN111201539A (zh) | 由自主个人伴侣基于描述用户的情景环境的所识别标签来不断地选择场景以供由用户的人工智能模型执行 | |
| US20220074756A1 (en) | Real-time route configuring of entertainment content | |
| CN109086860B (zh) | 一种基于虚拟人的交互方法及系统 | |
| KR20190104927A (ko) | 사진 영상 제공 장치 및 사진 영상 제공 방법 | |
| US11954762B2 (en) | Object replacement system | |
| US20210160588A1 (en) | Electrical devices control based on media-content context | |
| JP7278307B2 (ja) | コンピュータプログラム、サーバ装置、端末装置及び表示方法 | |
| JPWO2016181670A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20200081535A1 (en) | Emotion recognition apparatus and control method thereof | |
| US20240062500A1 (en) | Generating ground truths for machine learning | |
| KR20230173638A (ko) | 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
| KR102231909B1 (ko) | 인공지능 장치 | |
| KR102596322B1 (ko) | 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
| US11960653B2 (en) | Controlling augmented reality effects through multi-modal human interaction | |
| US11562548B2 (en) | True size eyewear in real time | |
| WO2022213030A1 (en) | Neural networks accompaniment extraction from songs | |
| KR20220004156A (ko) | 디지털 휴먼에 기반한 자동차 캐빈 인터랙션 방법, 장치 및 차량 | |
| KR102592675B1 (ko) | 콘텐츠를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
| US11922587B2 (en) | Dynamic augmented reality experience | |
| EP4375805A1 (en) | Audio output | |
| US20240007585A1 (en) | Background replacement using neural radiance field |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |