KR102636480B1 - 인공지능 영상생성 시스템 - Google Patents

인공지능 영상생성 시스템 Download PDF

Info

Publication number
KR102636480B1
KR102636480B1 KR1020230168128A KR20230168128A KR102636480B1 KR 102636480 B1 KR102636480 B1 KR 102636480B1 KR 1020230168128 A KR1020230168128 A KR 1020230168128A KR 20230168128 A KR20230168128 A KR 20230168128A KR 102636480 B1 KR102636480 B1 KR 102636480B1
Authority
KR
South Korea
Prior art keywords
background
artificial intelligence
image
control unit
images
Prior art date
Application number
KR1020230168128A
Other languages
English (en)
Inventor
윤주희
Original Assignee
윤주희
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤주희 filed Critical 윤주희
Priority to KR1020230168128A priority Critical patent/KR102636480B1/ko
Application granted granted Critical
Publication of KR102636480B1 publication Critical patent/KR102636480B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Processing Or Creating Images (AREA)

Abstract

인공지능 영상생성 시스템은 외부의 음성을 수신하는 마이크, 마이크에서 수신되는 외부의 음성을 인식하여 텍스트로 변환하고, 텍스트 중 키워드를 추출하며, 추출된 키워드에 기초하여 키워드와 관련된 복수의 배경이미지를 생성하고, 생성된 복수의 배경이미지를 이용하여 패턴영상을 생성하는 것을 포함한다.

Description

인공지능 영상생성 시스템{Artificial Intelligence Image Creation System}
본 발명은 인공지능 영상생성 시스템에 관한 것으로, 보다 상세하게는 인공지능 (Artificial Intelligence, AI)을 이용해 생성된 이미지를 바탕으로 실시간으로 영상패턴화 시키는 인공지능 영상생성 시스템에 관한 것이다.
최근 인터넷 기술의 진화와 빠른 보급, 다양한 미디어 저작 도구들의 등장으로 직접 동영상을 제작하고 배포할 수 있게 되었다. 인터넷 환경을 통해 동영상의 실시간 스트리밍이 가능해지고, 모바일 기기들의 급속한 보급으로 언제 어디서나 동영상에 접근할 수 있다. 이제는 일반 사용자들이 각자의 능력과 의지가 있다면 콘텐츠를 직접 생산하고 배포할 수 있게 되었다.
그러나 이렇게 콘텐츠를 직접 제작할 수 있게 되었으나 사진과 배경음악을 합쳐서 동영상을 제작하는 것은 기초 단계의 동영상 제작만을 지원할 뿐이고, 개인이나 소규모 업주들이 직접 미디어 콘텐츠를 제작하기에는 전문적 지식의 부족, 추가비용 소요 등에 의한 부담이 여전히 크다. 또한, 사용자들이 원하는 콘텐츠를 위한 것을 말로 하는 경우에도 배경영상의 콘텐츠가 생성되도록 하는 편리성이 없으므로 불편함이 있는 것이 현실이다.
따라서 본 발명의 목적은 사용자의 음성에서 키워드를 추출한 후 키워드에 관련한 이미지 및 배경이미지를 생성하며 이를 바탕으로 실시간으로 영상을 패턴화시키는 인공지능 영상생성 시스템을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 인공지능 영상생성 시스템은 외부의 음성을 수신하는 마이크; 및 상기 마이크에서 수신되는 외부의 음성을 인식하여 텍스트로 변환하고, 텍스트 중 키워드를 추출하며, 추출된 상기 키워드에 기초하여 상기 키워드와 관련된 복수의 배경이미지를 생성하고, 생성된 상기 복수의 배경이미지를 이용하여 패턴영상을 생성하는 것을 포함한다. 음성을 수신하면 음성을 텍스트화하며, 키워드를 추출하고 키워드에 관련된 이미지를 수집 생성하고 이를 이용하여 배경이미지를 만들고 패턴영상을 생성하므로 사용자의 요구에 맞는 영상을 만들 수 있으며 영상 제작에 대한 사용자의 편리성이 향상될 수 있다.
여기서, 외부와 통신하는 통신부를 더 포함하며, 상기 제어부는, 네트워크를 통하여 추출된 상기 키워드와 관련된 관련이미지를 수집하도록 상기 통신부를 제어하고, 수집된 상기 관련이미지를 이용하여 상기 배경이미지를 생성하며 저장하면 음성에 대한 키워드와 관련된 이미지를 수집하여 이용할 수 있어 바람직하다.
그리고 상기 제어부는, 네트워크를 통하여 추출된 상기 키워드와 관련된 관련음악을 수집하도록 상기 통신부를 제어하고, 수집된 상기 관련음악을 이용하여 배경음악을 생성하며 저장하면 키워드와 관련된 관련음악을 배경이미지와 어울리게 적용할 수 있어 바람직하다.
여기서, 상기 제어부는, 생성된 상기 배경음악의 리듬, 박자, 음높이, 악기종류 중 적어도 하나에 기초하여 생성된 상기 복수의 배경이미지를 변경하는 상기 패턴영상을 생성하면 배경이미지를 이용하여 영상을 패턴화하며 배경음악에 맞추어서 배경이미지가 변경되도록 하여 어울리는 영상의 패턴화가 이루어질 수 있어 바람직하다.
그리고 상기 패턴영상의 광을 출력하는 빔프로젝트; 및 상기 배경음악을 출력하는 스피커를 더 포함하며, 상기 제어부는, 생성된 상기 패턴영상에 대응하는 상기 패턴영상이 출력되도록 상기 빔프로젝트를 제어하며, 상기 패턴영상에 대응하는 상기 배경음악이 출력되도록 상기 스피커를 제어하면 패턴영상을 빔프로젝트로 보이도록 하면서 배경음악이 어우러지게 할 수 있어 바람직하다.
또한, 여기서 체험자의 모습 및 동작을 감지하는 깊이센서를 더 포함하며, 상기 제어부는, 상기 깊이센서로부터 감지되는 체험자의 모습 및 동작에 기초하여 상기 배경음악의 리듬, 박자, 음높이, 악기종류 중 적어도 하나가 변경되도록 제어하면 체험을 하는 사용자의 동작 및 형태 등에 따라 배경음악이 변경되도록 하여 체험의 효과를 증대시킬 수 있어 바람직하다.
그리고 상기 제어부는, 상기 깊이센서로부터 감지되는 체험자의 모습 및 동작에 기초하여 상기 복수의 배경이미지의 변경, 하이라이트, 전체 색상변경, 부분 색상변경, 밝기변경, 명도변경, 채도변경 및 휘도변경 중 적어도 하나가 변경되도록 제어하면 배경음악이 변경되는 것과 함께 사용자의 동작 및 형태 등에 따라 배경이미지가 변경되도록 하여 체험의 효과를 증대시킬 수 있어 바람직하다.
여기서 상기 깊이센서는, 체험자의 모습 및 동작을 인식하는 깊이카메라; 적외선을 출력하여 체험자의 모습 및 동작을 인식하는 적외선센서; 및 초음파를 이용하여 체험자의 모습 및 동작을 감지하는 초음파거리센서를 포함하면 사용자의 동작 및 형상 등을 정확히 감지하여 배경음악과 배경이미지를 변경할 수 있어 바람직하다.
그리고 상기 제어부는, 상기 제어부는, 추출된 상기 키워드 및 생성된 상기 배경이미지에 기초하여 색 및 효과를 적용하면 사용자가 원하는 느낌의 색과 효과를 갖는 이미지가 생성될 수 있어 바람직하다.
여기서 상기 제어부는, 상기 마이크로 수신되는 음성의 리듬, 박자, 음높이, 악기종류 중 적어도 하나에 기초하여 생성된 상기 복수의 배경이미지의 변경, 하이라이트, 전체 색상변경, 부분 색상변경, 밝기변경, 명도변경, 채도변경 및 휘도변경 중 적어도 하나를 수행하는 상기 패턴영상을 생성하면 외부로부터 수신되는 음성의 변화에 대응하여 배경이미지를 변경시킬 수 있어 바람직하다.
본 발명에 따르면 음성을 수신하면 음성을 텍스트화하며, 키워드를 추출하고 키워드에 관련된 이미지를 수집 생성하고 이를 이용하여 배경이미지를 만들고 패턴영상을 생성하므로 사용자의 요구에 맞는 영상을 만들 수 있으며 영상 제작에 대한 사용자의 편리성이 향상될 수 있는 효과가 있다.
또한, 음성에 대한 키워드와 관련된 이미지를 수집하여 이용할 수 있고, 키워드와 관련된 관련음악을 배경이미지와 어울리게 적용할 수 있는 효과가 있다.
또한, 패턴영상을 빔프로젝트로 보이도록 하면서 배경음악이 어우러지게 할 수 있고, 체험을 하는 사용자의 동작 및 형태 등에 따라 배경음악이 변경되도록 하여 체험의 효과를 증대시킬 수 있는 효과가 있다.
또한, 배경음악이 변경되는 것과 함께 사용자의 동작 및 형태 등에 따라 배경이미지가 변경되도록 하여 체험의 효과를 증대시킬 수 있고, 사용자의 동작 및 형상 등을 정확히 감지하여 배경음악과 배경이미지를 변경할 수 있는 효과가 있다.
또한, 사용자가 원하는 느낌의 색과 효과를 갖는 이미지가 생성될 수 있고, 외부로부터 수신되는 음성의 변화에 대응하여 배경이미지를 변경시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 인공지능 영상생성 시스템을 이용하여 패턴영상을 생성하는 예시도이다.
도 2는 수집된 관련이미지를 이용하여 배경이미지를 생성하는 예시도이다.
도 3은 수집된 관련음악을 이용하여 배경음악을 생성하는 예시도이다.
도 4는 배경음악의 리듬에 따라 배경이미지를 변경하는 예시도이다.
도 5는 사용자의 동작 및 모습에 따라 배경음악과 배경이미지를 출력하는 예시도이다.
도 6은 인공지능 영상생성 시스템의 제어블록도이다.
도 7 내지 도 9는 인공지능 영상생성 시스템(1)을 이용하여 패턴영상을 생성하는 다양한 예시도이다.
이하, 첨부된 도면들을 참조하면서 본 발명의 바람직한 실시 예에 따른 인공지능 영상생성 시스템(1)을 상세히 설명한다.
도 1은 본 발명에 따른 인공지능 영상생성 시스템(1)을 이용하여 패턴영상을 생성하는 예시도이고, 도 2는 수집된 관련이미지를 이용하여 배경이미지를 생성하는 예시도이며, 도 3은 수집된 관련음악을 이용하여 배경음악을 생성하는 예시도이고, 도 4는 배경음악의 리듬에 따라 배경이미지를 변경하는 예시도이며, 도 5는 사용자의 동작 및 모습에 따라 배경음악과 배경이미지를 출력하는 예시도이고, 도 6은 인공지능 영상생성 시스템(1)의 제어블록도이다.
도 1 내지 도6을 참조하여 인공지능 영상생성 시스템(1)의 구성을 상세히 설명한다.
인공지능 영상생성 시스템(1)은 마이크(10), 통신부(20), 깊이센서(30), 빔프로젝트(40), 스피커(50), 디스플레이부(60), 사용자입력부(70) 및 제어부(80)를 포함한다.
마이크(10)는 외부의 음성을 수신하여 제어부(80)로 전달한다.
통신부(20)는 외부와 통신할 수 있다. 통신부(20)는 무선통신을 수행할 수 있으며, 무선통신은 적외선 통신, RF, 지그비, 블루투스 중 적어도 하나를 포함한다. 통신부(20)는 영상신호를 수신하여 후술할 제어부(80)에 전달하며, 수신하는 영상신호의 규격 및 사용자단말기의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 통신부(20)는 방송국(미도시)으로부터 송출되는 RF(radio frequency) 신호를 무선으로 수신하거나, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia interface) 규격 등에 의한 영상신호를 유선으로 수신할 수 있다. 영상신호가 방송신호인 경우, 통신부(20)는 이 방송신호를 채널별로 튜닝하는 튜너(tuner)를 포함할 수 있다.
깊이센서(30)는 체험자의 모습 및 동작을 감지할 수 있다. 깊이센서(30)는 깊이카메라(31), 적외선센서(32) 및 초음파거리센서(33)를 포함한다.
깊이카메라(31)는 체험자의 모습 및 동작을 인식할 수 있다.
적외선센서(32)는 적외선을 출력하여 체험자의 모습 및 동작을 인식할 수 있다.
초음파거리센서(33)는 초음파를 이용하여 체험자의 모습 및 동작을 감지할 수 있다.
빔프로젝트(40)는 패턴영상의 광을 출력할 수 있다.
스피커(50)는 배경음악을 출력할 수 있다.
디스플레이부(60)는 영상처리에 의해 처리되는 영상신호에 기초하여 영상을 표시한다. 디스플레이부(60)의 구현 방식은 한정되지 않으며, 예컨대 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드 (light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surfaceconduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이부(60)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(60)가 액정 방식인 경우, 디스플레이부(60)는 액정 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트유닛(미도시)과, 패널(미도시)을 구동시키는 패널구동기판(미도시)을 포함한다. 디스플레이부(60)는 인식된 음성에 대한 정보로서 음성인식결과를 표시할 수 있다. 여기서, 음성인 식결과는 텍스트, 그래픽, 아이콘 등의 다양한 형태로 표시 가능하며, 텍스트는 문자와 숫자를 포함한다. 디스플레이부(60)는 음성인식 결과에 따른 후보 명령어 및 어플리케이션 정보를 더 표시할 수 있다. 사용자는 디스플레이부(60)에 표시된 음성인식결과에 의해 음성이 올바르게 인식되었는지를 확인할 수 있으며, 리모컨에 마련된 사용자입력부(70)를 조작하여 표시된 후보 명령어 중에서 사용자가 발화한 음성에 대응하는 명령어를 선택하거나, 음성인식 결과와 관련된 정보를 선택하여 확인할 수도 있다.
사용자입력부(70)는 사용자가 사용자명령을 입력할 수 있는 입력수단으로 이루어질 수 있다. 사용자입력부(70)는 사용자의 터치입력 또는 리모트 컨트롤러(remote controller)를 이용한 사용자의 원격입력을 수신하여 해당 사용자제어부(70)로 전달할 수 있다. 또한, 사용자입력부(70)는 사용자가 발화하는 음성입력을 수신하여 그 음성신호를 제어부(80)로 전달할 수 있다. 그 경우 사용자입력부(70)는, 예를 들어, 마이크로 구현될 수 있다. 사용자입력부(70)는 수신한 음성신호에 대한 신호처리를 자체적으로 수행할 수도 있다. 다만, 사용자입력부(70)가 수신 가능한 사용자 입력에 형태는 이에 한정되는 것은 아니고, 예를 들어 모션 인식 등을 통한 사용자 입력 등도 수신할 수 있다.
제어부(80)는 마이크(10)에서 수신되는 외부의 음성을 인식하여 텍스트로 변환하고, 텍스트 중 키워드를 추출하며, 추출된 키워드에 기초하여 키워드와 관련된 복수의 배경이미지를 생성하고, 생성된 복수의 배경이미지를 이용하여 패턴영상을 생성한다.
제어부(80)는 네트워크를 통하여 추출된 키워드와 관련된 관련이미지를 수집하도록 통신부(20)를 제어하고, 수집된 관련이미지를 이용하여 배경이미지를 생성하며 저장할 수 있다.
제어부(80)는 네트워크를 통하여 추출된 키워드와 관련된 관련음악을 수집하도록 통신부(20)를 제어하고, 수집된 관련음악을 이용하여 배경음악을 생성하며 저장할 수 있다.
제어부(80)는 생성된 배경음악의 리듬, 박자, 음높이, 악기종류 중 적어도 하나에 기초하여 생성된 복수의 배경이미지를 변경하는 패턴영상을 생성할 수 있다.
제어부(80)는 생성된 패턴영상에 대응하는 패턴영상이 출력되도록 빔프로젝트(40)를 제어하며, 패턴영상에 대응하는 배경음악이 출력되도록 스피커(50)를 제어할 수 있다.
제어부(80)는 깊이센서(30)로부터 감지되는 체험자의 모습 및 동작에 기초하여 배경음악의 리듬, 박자, 음높이, 악기종류 중 적어도 하나가 변경되도록 제어할 수 있다.
제어부(80)는 추출된 키워드 및 생성된 배경이미지에 기초하여 색 및 효과를 적용할 수 있다.
제어부(80)는 마이크(10)로 수신되는 음성의 리듬, 박자, 음높이, 악기종류 중 적어도 하나에 기초하여 생성된 복수의 배경이미지의 변경, 하이라이트, 전체 색상변경, 부분 색상변경, 밝기변경, 명도변경, 채도변경 및 휘도변경 중 적어도 하나를 수행하는 패턴영상을 생성할 수 있다.
도 1은 본 발명에 따른 인공지능 영상생성 시스템(1)을 이용하여 패턴영상을 생성하는 예시도이다.
도 1 (a) 사용자가 "산림속의 푸르름을 보여줘" 라고 말한다.
도 1 (b) 마이크(10)에서 "산림속의 푸르름을 보여줘"의 음성을 수신하여 제어부(80)로 전달하면 제어부(80)는 음성을 인식하여 텍스트로 변환하고, 텍스트 중 키워드를 "산림"과 "초록"을 추출한다.
도 1 (c) 제어부(80)는 산림과 초록의 키워드를 이용하여 네트워크에서 키워드와 관련된 관련이미지(푸른 산 풍경 1, 푸른 산 풍경 2, 푸른 산 풍경 3)를 수집하도록 한다. 여기서, 푸른 산 풍경 1, 푸른 산 풍경 2, 푸른 산 풍경 3의 관련이미지는 서로 다른 이미지이다.
도 1 (d) 제어부(80)는 수집된 관련이미지를 이용하여 배경이미지를 생성하며 저장하며 푸른 산 풍경 1, 푸른 산 풍경 2, 푸른 산 풍경 3의 순서대로 패턴영상을 생성할 수 있다.
도 2는 수집된 관련이미지를 이용하여 배경이미지를 생성하는 예시도이다.
도 2 (a) 제어부(80)는 산림과 초록의 키워드를 이용하여 네트워크에서 키워드와 관련된 관련이미지(푸른 산 풍경 1, 푸른 산 풍경 2, 푸른 산 풍경 3, 푸른 산 풍경 4 내지 푸른 산 풍경 N)를 수집하도록 한다.
도 2 (b) 제어부(80)는 수집된 관련이미지를 조합하여 배경이미지 1, 2, 3 내지 N을 생성할 수 있다.
여기서, 수집된 관련이미지를 조합하는 것은 수집된 관련이미지의 복수의 부분을 추출한 후 어색하지 않은 배경이미지가 되도록 합성하는 것이 바람직하다.
도 3은 수집된 관련음악을 이용하여 배경음악을 생성하는 예시도이다.
도 3 (a) 제어부(80)는 산림과 초록의 키워드를 이용하여 네트워크에서 키워드와 관련된 관련음악(클래식 1 내지 N, 락 1 내지 N, 팝 1 내지 N, 가요 1 내지 N)를 수집하도록 한다.
도 3 (b) 제어부(80)는 수집된 관련음악을 조합하여 배경음악 1, 2, 3 내지 N을 생성할 수 있다.
여기서, 수집된 관련음악을 조합하는 것은 수집된 관련음악의 복수의 부분을 추출한 후 어색하지 않도록 하는 배경음악이 되도록 합성하는 것이 바람직하다.
도 4는 배경음악의 리듬에 따라 배경이미지를 변경하는 예시도이다.
도 4 (a) 배경음악이 잔잔한 클래식인 경우에는 배경음악의 리듬이 잔잔하므로 이와 가장 어울리는 평화로운 호수풍경의 이미지가 배경이미지로 변경되어 표시되도록 하여 패턴영상을 생성할 수 있다.
도 4 (b) 배경음악이 빠른 템포의 EDM인 경우에는 배경음악의 리듬이 빠르고 신나므로 이와 가장 어울리는 빠르게 이동하는 차량에서 바라본 외부 풍경 영상의 이미지가 배경이미지로 변경되어 표시되도록 하여 패턴영상을 생성할 수 있다.
도 5는 사용자의 동작 및 모습에 따라 배경음악과 배경이미지를 출력하는 예시도이다.
체험자의 동작 및 모습에 따라 즉, 만세를 하는 동작의 경우 환호성이 배경음악으로 출력될 수 있으며, 스포츠 경기에서 환호하는 순간의 영상이 출력되도록 할 수도 있다. 또는 축구 경기에서 골이 들어가서 환호하는 관중의 영상이 출력되도록 할 수도 있다.
체험자가 춤을 추는 경우 춤을 추는 아이돌이 영상으로 출력되도록 할 수도 있으며, 체험자의 춤추는 동작과 유사한 춤동작의 춤영상이 출력되도록 하며 가능한 한 유사한 동작이 출력될 수 있도록 싱크를 맞출 수도 있다. 또한, 관련 춤동작의 춤영상에 대응하는 음악이 출력되도록 할 수도 있다.
인공지능 영상생성 시스템(1)을 이용하여 패턴영상을 생성하는 다양한 예시를 설명한다.
(예시 1) - 인공지능 (Artificial Intelligence, AI)을 이용해 제네레이팅 된 이미지를 바탕으로 실시간으로 영상패턴화 시키는 기술
1. 음성인식을 통해 입력된 음성 데이터를 프로그래밍을 통해 텍스트 키워드로 변환하고,
2. 이 키워드를 AI Engine - Stable Diffusion의 연산으로 배경 이미지를 실시간 생성
3. 생성된 배경 이미지를 TouchDesigner 소프트웨어에 입력하여 키워드와 연관된 컬러 및 효과를 적용
4. 자연스러운 패턴 영상으로 만드는 기술로 소리에 반응하는 프로젝션 매핑 미디어아트를 구성
5. 더불어 동시에 입력된 텍스트 키워드에 맞는 BGM을 자동 선택하여 스피커로 확성하여 영상의 주목도를 높임
- 음성명령 예시와 연산되는 키워드는 다음과 같다.
산림 속의 푸름을 보여줘 -> 산림, 초록
비오는 밤 도시의 야경을 보여줘 등 -> 비, 밤, 도시, 야경
- 구조: 사람 -> 음성인식(마이크) -> 음성 텍스트화 -> AI연산/이펙트구성 -> 이미지생성 -> 이미지 패턴 영상화 -> 매체노출(비디오, 오디오)
(예시 2) - 레이저와 센서를 이용하여 다양한 소리를 들려주며, 그 소리에 맞춰 영상이 프로젝션 되는 반응형 미디어아트 시스템
1. 레이저 빔(Beam)의 어느 한 부분을 손이나 다른 물체로 막았을 때 해당 위치의 공간을 인식하여 음의 높낮이를 표현하거나 위치에 따라 리듬을 생성하여 악기 소리 등을 스피커로 출력하는 기술
2. 체험자가 체험 위치에 올라서면 깊이 센서가 사람을 인식하여 미디어아트 체험이 시작.
3. 각 레이저 빛줄기에 할당된 소리가 있음 (드럼, 신디 등)
4. 레이저의 빛줄기의 시인성을 위해 포그머신을 사용
5. 체험 공간 일부에 (벽면 및 바닥 등) 프로젝터를 설치 투사하고,
실시간으로 만들어진 소리에 반응하는 디자인 요소를 자동으로 조정하여
향상된 사용자 경험을 제공
추가1. 루프스테이션 모드 추가로 SNS 홍보 용도 등의 공연 체험이 가능
(예시 3) - 레이저 및 센서 융합 기술이 적용된 미디어 아트
빔의 컬러변경이 가능한 레이저(with ILDA)
1. 깊이 카메라 (Depth Camera)
2. 적외선 센서
3. 초음파 거리 센서
* 1.2 센서는 레이저와의 간섭이 발생할 수 있어 개선방안 서치 중
아두이노(Arduino)로 센서를 이용하여 장애물에 대한 거리를 측정.
되돌아오는 시간을 기준으로 프로그래밍하여 거리에 따른 시간마다 각기 다른 소리를 입력
모든 제어는 Millumin 소프트웨어의 시스템을 이용하여 통합 제어
기타 연동 된 하드웨어 (스피커, 오디오 인터페이스, 포그머신)
(예시 4) - 미디어아트 속 미디어아트
도 7을 참조하며,
1. AR기술과 미디어아트를 접목
2. 대형 미디어 아트에 스마트폰 카메라를 비추면 현실에서 볼 수 없는 숨겨진 새로운 세상을 스마트폰속에서 표현하여 새로운 재미를 보여줌
3. 현실 옥외 미디어아트에서는 직접적인 광고성 컨테츠를 다루기가 힘들기 때문에 AR로 아트에 녹아들 광고들을 보여줄 수 있는 기술
4. 미디어 아트 시작전 스마트폰의 AR카메라가 인식할 수 있는 패턴(QR코드같은)을 보여주고 미디어아트 시작과 동시에 스마트폰의 화면에도 현실 미디어아트와 융합된 미디어아트가 시작함.
5. 아나모픽 같은 경우에도 현실의 미디어아트 프레임을 넘어 가상공간까지 연출하여 더 큰 입체감을 보여줄 수 있다
시스템은 일반적인 미디어아트 시스템, AR마커(현실 매체 혹은 미디어아트 소스내부 노출), APP으로 이루어진다.
(예시 5)
도 8을 참조하며,
1. 개인이 생각하는 공간에 미디어아트를 구성하고 싶을 때 스마트폰을 이용하여 손쉽게 시각화 하는 기술
2. 사용자가 시뮬레이션을 프로젝션 위치에서 실행하면 데이터화된 공간 자료로 동기화된 프로젝션 매핑이 가능한 기술
미디어아트 플랫폼과 연동할 수 있다.
시스템은 프로젝터-PC(인터넷연결)-미디어아트(전체화면)-스마트폰앱 연동 사이즈 조정, 플랫폼 소스와 로컬소스 선택가능하다.
(예시 6) - 인공지능 생성 패턴 영상 시스템
1. 최근 들어 AI 엔진을 통한 생성된 이미지들을 쉽게 만들 수 있고, 처리 시간이 단축됨.
2. 음성인식을 통해 입력된 데이터를 텍스트 키워드로 변환하고 해당 기술을 응용하여 AI의 연산으로 배경 이미지 생성.
3. AI Engine - Stable Diffusion
4. 이미지를 터치디자이너 프로그램에서 알맞은 이펙트를 적용하여 실시간 패턴 영상을 생성
5. 실시간으로 연산하여 만들어지는 패턴 영상 시각화로 미디어 아트 공간을 만듬
6. 키워드에 맞는 배경음악 재생
- 키워드: 자연, 도시 사물 등
- 구조: 마이크 -> 음성인식 -> 음성 텍스트화 -> AI연산/이펙트구성 -> 이미지생성 -> 이미지 패턴 영상화 -> 매체노출(비디오, 오디오)
(예시 7) - 레이저 및 깊이센서 융합 기술이 적용된 미디어 아트
1. 레이저는 시각적인 부분만을 담당하고, 센서는 거리를 측정하여 각 위치값을 소리로 변환
2. 여러 개의 레이저와 센서는 각각의 악기(소리)를 담당하고 레이저의 선이 잘 보이게 기기에는 포그머신이 장착되어 있어 레이저의 빛줄기를 보이게 하고 빛을 손이나 다른 물체로 막았을 때 해당 위치의 공간을 인식하여 음의 높낮이를 표현하거나 위치에 따라 리듬을 생성하여 루프스테이션 공연 체험이 가능
3. 동시에 레이저의 빛줄기는 포그와 합쳐져서 자체로 스크린 되어 리듬의 분위기에 맞는 패턴 노출
4. 시스템은 컬러변경이 가능한 레이저(ILDA신호 입력 가능한) 시스템, 적외선 거리센서로 이루어질 수 있다.
상기의 인공지능 영상생성 시스템(1)으로 인하여, 음성을 수신하면 음성을 텍스트화하며, 키워드를 추출하고 키워드에 관련된 이미지를 수집 생성하고 이를 이용하여 배경이미지를 만들고 패턴영상을 생성하므로 사용자의 요구에 맞는 영상을 만들 수 있으며 영상 제작에 대한 사용자의 편리성이 향상될 수 있다.
또한, 음성에 대한 키워드와 관련된 이미지를 수집하여 이용할 수 있고, 키워드와 관련된 관련음악을 배경이미지와 어울리게 적용할 수 있다.
또한, 패턴영상을 빔프로젝트로 보이도록 하면서 배경음악이 어우러지게 할 수 있고, 체험을 하는 사용자의 동작 및 형태 등에 따라 배경음악이 변경되도록 하여 체험의 효과를 증대시킬 수 있다.
또한, 배경음악이 변경되는 것과 함께 사용자의 동작 및 형태 등에 따라 배경이미지가 변경되도록 하여 체험의 효과를 증대시킬 수 있고, 사용자의 동작 및 형상 등을 정확히 감지하여 배경음악과 배경이미지를 변경할 수 있다.
또한, 사용자가 원하는 느낌의 색과 효과를 갖는 이미지가 생성될 수 있고, 외부로부터 수신되는 음성의 변화에 대응하여 배경이미지를 변경시킬 수 있다.
1: 인공지능 영상생성 시스템
10: 마이크
20: 통신부
30: 깊이센서 31: 깊이카메라
32: 적외선센서 33: 초음파거리센서
40: 빔프로젝트
50: 스피커
60: 디스플레이부
70: 사용자입력부
80: 제어부

Claims (10)

  1. 인공지능 영상생성 시스템에 있어서,
    외부의 음성을 수신하는 마이크;
    체험자의 모습 및 동작을 감지하는 깊이센서;
    외부와 통신하는 통신부; 및
    상기 마이크에서 수신되는 외부의 음성을 인식하여 텍스트로 변환하고, 텍스트 중 키워드를 추출하며, 추출된 상기 키워드에 기초하여 상기 키워드와 관련된 복수의 배경이미지를 생성하고, 생성된 상기 복수의 배경이미지를 이용하여 패턴영상을 생성하며, 네트워크를 통하여 추출된 상기 키워드와 관련된 관련이미지를 수집하도록 상기 통신부를 제어하고, 수집된 상기 관련이미지 및 관련음악을 이용하여 상기 배경이미지를 생성하며 저장하며, 수집된 상기 관련음악을 이용하여 배경음악을 생성하며 저장하고, 상기 깊이센서로부터 감지되는 체험자의 모습 및 동작에 기초하여 상기 배경음악의 리듬, 박자, 음높이, 악기종류 중 적어도 하나가 변경되도록 제어하며, 레이저의 빛줄기를 보이게 하고 빛을 손이나 다른 물체로 막았을 때 해당 위치의 공간을 인식하여 음의 높낮이를 표현하거나 위치에 따라 리듬을 생성하고, 각 레이저 빛줄기에 할당된 소리를 저장하고 빛을 손이나 다른 물체로 막았을 때 할당된 해당 소리가 출력되도록 하고, 빛을 손이나 다른 물체로 막았을 때 거리에 따라 각기 다른 소리가 출력되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 인공지능 영상생성 시스템.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서,
    상기 제어부는,
    생성된 상기 배경음악의 리듬, 박자, 음높이, 악기종류 중 적어도 하나에 기초하여 생성된 상기 복수의 배경이미지를 변경하는 상기 패턴영상을 생성하는 것을 특징으로 하는 인공지능 영상생성 시스템.
  5. 제1 항에 있어서,
    상기 패턴영상의 광을 출력하는 빔프로젝트; 및
    상기 배경음악을 출력하는 스피커를 더 포함하며,
    상기 제어부는,
    생성된 상기 패턴영상에 대응하는 상기 패턴영상이 출력되도록 상기 빔프로젝트를 제어하며, 상기 패턴영상에 대응하는 상기 배경음악이 출력되도록 상기 스피커를 제어하는 것을 특징으로 하는 인공지능 영상생성 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 제어부는,
    상기 깊이센서로부터 감지되는 체험자의 모습 및 동작에 기초하여 상기 복수의 배경이미지의 변경, 하이라이트, 전체 색상변경, 부분 색상변경, 밝기변경, 명도변경, 채도변경 및 휘도변경 중 적어도 하나가 변경되도록 제어하는 것을 특징으로 하는 인공지능 영상생성 시스템.
  8. 제1항에 있어서,
    상기 깊이센서는,
    체험자의 모습 및 동작을 인식하는 깊이카메라;
    적외선을 출력하여 체험자의 모습 및 동작을 인식하는 적외선센서; 및
    초음파를 이용하여 체험자의 모습 및 동작을 감지하는 초음파거리센서를 포함하는 것을 특징으로 하는 인공지능 영상생성 시스템.
  9. 제1 항에 있어서,
    상기 제어부는,
    추출된 상기 키워드 및 생성된 상기 배경이미지에 기초하여 색 및 효과를 적용하는 것을 특징으로 하는 인공지능 영상생성 시스템.
  10. 제1 항에 있어서,
    상기 제어부는,
    상기 마이크로 수신되는 음성의 리듬, 박자, 음높이, 악기종류 중 적어도 하나에 기초하여 생성된 상기 복수의 배경이미지의 변경, 하이라이트, 전체 색상변경, 부분 색상변경, 밝기변경, 명도변경, 채도변경 및 휘도변경 중 적어도 하나를 수행하는 상기 패턴영상을 생성하는 것을 특징으로 하는 인공지능 영상생성 시스템.
KR1020230168128A 2023-11-28 2023-11-28 인공지능 영상생성 시스템 KR102636480B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230168128A KR102636480B1 (ko) 2023-11-28 2023-11-28 인공지능 영상생성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230168128A KR102636480B1 (ko) 2023-11-28 2023-11-28 인공지능 영상생성 시스템

Publications (1)

Publication Number Publication Date
KR102636480B1 true KR102636480B1 (ko) 2024-02-13

Family

ID=89899554

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230168128A KR102636480B1 (ko) 2023-11-28 2023-11-28 인공지능 영상생성 시스템

Country Status (1)

Country Link
KR (1) KR102636480B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140023665A (ko) * 2012-08-17 2014-02-27 주식회사 디자인피버 합성 영상을 이용한 노래방 시스템
KR101405439B1 (ko) * 2013-01-03 2014-06-11 양승철 동작인식 배경영상 제공시스템, 동작인식 배경영상 제공방법 및 그 기록매체
KR20160042211A (ko) * 2014-10-07 2016-04-19 주식회사 엘지유플러스 통화 내용 기반 주요 키워드 정보 및 배경 이미지 제공을 위한 단말, 서버, 방법, 기록 매체, 및 컴퓨터 프로그램
KR101804679B1 (ko) * 2016-05-31 2017-12-05 박제현 스토리에 기초하는 멀티미디어 콘텐츠 개발 장치 및 방법
KR20200092453A (ko) * 2019-01-04 2020-08-04 삼성전자주식회사 키워드에 기초하여 이미지를 생성하는 이미지 생성 장치 및 이미지 생성 방법
US20210089267A1 (en) * 2012-08-17 2021-03-25 Aimi Inc. Music generator
US20210274620A1 (en) * 2018-06-15 2021-09-02 Signify Holding B.V. Method and controller for selecting media content based on a lighting scene
KR20220113647A (ko) * 2015-10-07 2022-08-16 삼성전자주식회사 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140023665A (ko) * 2012-08-17 2014-02-27 주식회사 디자인피버 합성 영상을 이용한 노래방 시스템
US20210089267A1 (en) * 2012-08-17 2021-03-25 Aimi Inc. Music generator
KR101405439B1 (ko) * 2013-01-03 2014-06-11 양승철 동작인식 배경영상 제공시스템, 동작인식 배경영상 제공방법 및 그 기록매체
KR20160042211A (ko) * 2014-10-07 2016-04-19 주식회사 엘지유플러스 통화 내용 기반 주요 키워드 정보 및 배경 이미지 제공을 위한 단말, 서버, 방법, 기록 매체, 및 컴퓨터 프로그램
KR20220113647A (ko) * 2015-10-07 2022-08-16 삼성전자주식회사 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
KR101804679B1 (ko) * 2016-05-31 2017-12-05 박제현 스토리에 기초하는 멀티미디어 콘텐츠 개발 장치 및 방법
US20210274620A1 (en) * 2018-06-15 2021-09-02 Signify Holding B.V. Method and controller for selecting media content based on a lighting scene
KR20200092453A (ko) * 2019-01-04 2020-08-04 삼성전자주식회사 키워드에 기초하여 이미지를 생성하는 이미지 생성 장치 및 이미지 생성 방법

Similar Documents

Publication Publication Date Title
CN106502388B (zh) 一种互动式运动方法及头戴式智能设备
CN106648083B (zh) 增强演奏场景合成控制方法及装置
US9898850B2 (en) Support and complement device, support and complement method, and recording medium for specifying character motion or animation
TWI486904B (zh) 律動影像化方法、系統以及電腦可讀取記錄媒體
US20110111849A1 (en) Spatially Aware Mobile Projection
US20070180979A1 (en) Portable Music Player with Synchronized Transmissive Visual Overlays
KR102186607B1 (ko) 증강현실을 통한 발레 공연 시스템 및 방법
CN104811829A (zh) 卡拉ok互动多功能特效系统
CN112511750A (zh) 视频拍摄方法、装置、设备及介质
US11211074B2 (en) Presentation of audio and visual content at live events based on user accessibility
KR20120081874A (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
JP4238371B2 (ja) 画像表示方法
TWI672948B (zh) 影像製作系統及方法
KR20140023665A (ko) 합성 영상을 이용한 노래방 시스템
JP2006293999A5 (ko)
KR102636480B1 (ko) 인공지능 영상생성 시스템
EP4252195A1 (en) Real world beacons indicating virtual locations
WO2015008756A1 (ja) 投影装置、制御装置、制御プログラム、および投影制御方法
WO2020234939A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN116168134A (zh) 数字人的控制方法、装置、电子设备以及存储介质
CN111223174A (zh) 一种环境渲染系统及渲染方法
CN111225233A (zh) 一种多维环境渲染系统及渲染方法
KR102556886B1 (ko) 게임 동화형 조명무드 제어장치 및 그 방법
CN114419285A (zh) 应用于复合型剧场的虚拟人物表演控制方法和系统
CN112587915B (en) Lighting effect presentation method and device, storage medium and computer equipment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant