KR102236914B1 - 3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템 - Google Patents
3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템 Download PDFInfo
- Publication number
- KR102236914B1 KR102236914B1 KR1020190135904A KR20190135904A KR102236914B1 KR 102236914 B1 KR102236914 B1 KR 102236914B1 KR 1020190135904 A KR1020190135904 A KR 1020190135904A KR 20190135904 A KR20190135904 A KR 20190135904A KR 102236914 B1 KR102236914 B1 KR 102236914B1
- Authority
- KR
- South Korea
- Prior art keywords
- display device
- unit
- hologram
- hologram display
- user
- Prior art date
Links
- 238000004891 communication Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000007405 data analysis Methods 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000003909 pattern recognition Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
- G03H1/268—Holographic stereogram
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Computing Systems (AREA)
Abstract
본 발명은 3D 홀로그램 디스플레이 장치의 각 사용자가 사용하는 사용 캐릭터에 맞는 최적의 음성을 지원하여 보다 현실적인 3D홀로그램을 구현할 수 있고, 3D 홀로그램 디스플레이 장치를 통해 다양한 정보 전달 및 사용자 간 커뮤니케이션을 가능하게 하며, 다양하고 사용자 친화적인 콘텐츠 플레이의 업데이트를 통하여 기능성과 제품 경쟁력을 향상시킬 수 있는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 관한 것이다. 본 발명에 따르면, 캐릭터 또는 피규어를 포함하는 홀로그램 콘텐츠을 3D 홀로그램으로 디스플레이하도록 구성되는 복수의 3D 홀로그램 디스플레이 장치; 상기 3D 홀로그램 디스플레이 장치에 구성되는 통신모듈과 유무선 통신하여 상기 3D 홀로그램 디스플레이 장치 각각에서 디스플레이되는 홀로그램 콘텐츠가 소정 제어 동작을 실행하도록 서비스하는 중앙 서비스 서버; 및 연동 애플리케이션이 설치되어 상기 3D 홀로그램 디스플레이 장치와 근거리 통신하여 연동하는 사용자 단말장치;를 포함하는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템이 제공된다.
Description
본 발명은 3D홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 관한 것으로, 더욱 상세하게는 3D 홀로그램 디스플레이 장치의 각 사용자가 사용하는 사용 캐릭터에 맞는 최적의 음성을 지원하여 보다 현실적인 3D홀로그램을 구현할 수 있고, 3D 홀로그램 디스플레이 장치를 통해 다양한 정보 전달 및 사용자 간 커뮤니케이션을 가능하게 하며, 다양하고 사용자 친화적인 콘텐츠 플레이의 업데이트를 통하여 기능성과 제품 경쟁력을 향상시킬 수 있는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 관한 것이다.
정보통신기술과 디스플레이 기술의 발전에 따라 3차원 입체 영상과 같이 좀 더 현실감 있는 영상에 대한 요구가 증가하고 있으며, 입체 영상을 디스플레이하기 위한 장치에 대한 수요는 비약적으로 증가하고 있다.
이러한 요구에 맞추어 다양한 입체 영상 기술이 제안되어 왔으며, 이러한 기술로 가상현실을 이용한 기술, 홀로그래피 기술을 이용하여 입체 영상을 구현하는 기술 등이 있다.
가상현실을 이용한 기술은 이용자가 고글 형태의 장치를 착용하고 컴퓨터그래픽을 이용한 가상의 영상을 보는 방식이 대표적인 방식이다. 그러나 이러한 방식은 이용자가 가상의 영상을 보기 위해 별도의 장치를 착용해야 하므로, 이용자가 편리하게 이용할 수 없다는 단점이 있다.
다른 방법으로 홀로그래피 기술을 이용하여 공간에 홀로그램 영상을 구현하는 방식이 있다. 홀로그램은 기록매질에 참조광과 정보를 기록하고자 하는 물체로부터 반사된 광, 즉 물체광을 입사시켜 참조광과 물체광의 간섭패턴을 기록함으로써 만들어진다.
데니스 게이버(Dennis Garbor)가 홀로그램을 처음 발명한 이후 현재까지 가장 보편적인 방법은 E, Leith 등이 개발한 투 빔 투과 홀로그램(Two beam transmission hologram) 과 Denisyuk 등이 개발한 원 빔 반사 홀로그램(One beam reflection hologram) 그리고 N Phillips 등이 발전시킨 에지릿 홀로그램(Edge-lit hologram) 등이 있다.
상기 투과형 홀로그램은 기록시 참조광과 물체광을 기록매질에 대해 같은 방향으로 입사시키며, 재생시에는 참조광이 기록매질에 기록된 홀로그램을 투과하도록 하여 참조광과 반대방향에서 홀로그램이 재생되도록 한다.
상기 반사형 홀로그램은 기록시 참조광과 물체광을 기록매질에 대해 반대방향으로 입사시키며, 재생시에는 참조광이 홀로그램을 반사하도록 하여 참조광과 같은 방향에서 홀로그램이 재생되도록 한다.
그러나 상기한 바와 같은 종래의 기술에서는, 홀로그램 영상을 화면에 출력하여 보여주기 위해서는, 별도의 프로젝터를 구비하거나 고가의 홀로그램 장비를 사용해야 하므로 경제적인 부담으로 홀로그램의 대중화에 걸림돌이 되는 문제점이 있다.
또한, 종래에는 획일적이고 간단한 홀로그램만을 디스플레이하는 단순한 기능만을 갖는 한계가 있어 콘텐츠를 다양화하고 기능화하기 위한 연구가 필요한 실정이다.
따라서, 상기한 종래의 문제점을 해결하기 위한 본 발명은, 3D 홀로그램 디스플레이 장치의 각 사용자가 사용하는 사용 캐릭터에 맞는 최적의 음성을 지원하여 보다 현실적인 3D홀로그램을 구현할 수 있는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 3D 홀로그램 디스플레이 장치를 통해 다양한 정보 전달 및 사용자 간 커뮤니케이션을 가능하게 하며, 다양하고 사용자 친화적인 콘텐츠 플레이의 업데이트를 통하여 기능성과 제품 경쟁력을 향상시킬 수 있는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 제공하는데 다른 목적이 있다.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 본 발명의 목적들 및 다른 특징들을 달성하기 위한 본 발명의 일 관점에 따르면, 캐릭터 또는 피규어를 포함하는 홀로그램 콘텐츠을 3D 홀로그램으로 디스플레이하도록 구성되는 복수의 3D 홀로그램 디스플레이 장치; 상기 3D 홀로그램 디스플레이 장치에 구성되는 통신모듈과 유무선 통신하여 상기 3D 홀로그램 디스플레이 장치 각각에서 디스플레이되는 홀로그램 콘텐츠가 소정 제어 동작을 실행하도록 서비스하는 중앙 서비스 서버; 및 연동 애플리케이션이 설치되어 상기 3D 홀로그램 디스플레이 장치와 근거리 통신하여 연동하는 사용자 단말장치;를 포함하고, 상기 3D 홀로그램 디스플레이 장치는, 3D홀로그램 디스플레이 장치본체와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 홀로그램 영상을 출력하는 홀로그램 콘텐츠 출력수단과, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 상기 홀로그램 콘텐츠 출력수단으로부터 출력되는 홀로그램 영상을 투영시켜 홀로그램이 나타나도록 하는 홀로그램 스크린부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 음성을 입력받는 마이크부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 사용자의 모션을 인식하는 모션 센서부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 음향을 출력하는 스피커부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 상기 중앙 서비스 서버 및 사용자 단말장치와 통신하는 통신모듈과, 상기 3D홀로그램 디스플레이 장치본체에 구비되고, 상기 중앙 서비스 서버로부터 전송되는 제어 명령을 전송받거나, 자체 설정 조건에 따라 상기 홀로그램 콘텐츠 출력수단과 연동하여 홀로그램 콘텐츠를 제어하는 제어 모듈, 및 상기 3D홀로그램 디스플레이 장치본체에 구성되어 전력을 공급하기 위한 전원부;를 포함하며, 상기 중앙 서비스 서버는, 사용자의 기본 개인정보, 관심 분야, 관심 콘텐츠, 사용 3D 홀로그램 디스플레이 장치의 정보를 포함하는 사용자 등록 정보를 저장하는 사용자정보 데이터베이스부와, 상기 3D 홀로그램 디스플레이 장치를 통해 전송되는 사용자의 음성정보를 제공받는 음성 데이터부와, 상기 음성 데이터부에서 제공되는 음성 정보의 의미를 분석하는 음성정보 의미 분석부와, 상기 음성 정보를 텍스트로 변환하거나 텍스트에서 음성으로 변환하도록 이루어지는 음성정보 변환부와, 상기 음성정보 변환부에서 변환된 텍스트에 사용자의 사용 캐릭터의 음성을 합성하는 음성합성부, 및 상기 합성된 음성을 사용 캐릭터의 3D 홀로그램 디스플레이 장치로 전송하는 음성전송부를 포함하는 것을 특징으로 하는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템이 제공된다.
본 발명에 있어서, 상기 제어모듈은 상기 홀로그램 콘텐츠 출력수단 또는 상기 중앙 서비스 서버와 연동하여 홀로그램 콘텐츠를 제어하도록 이루어지는 연동 컨트롤부; 상기 모션 센서부에서 인식된 소정 모션 패턴에 근거하여 패턴인식 데이터베이스에 저장된 해당 모션 패턴에 따른 동작을 실행하도록 제어하는 모션동작 검출부; 상기 마이크부를 통해 입력된 음성을 인식하여 인식된 해당 음성에 따른 동작을 실행하도록 제어하는 음성인식부; 및 상기 홀로그램 콘텐츠 출력수단으로 전송되는 메시지를 음성으로 변환하여 스피커로 출력하도록 제어하는 문자음성 변환부;를 포함할 수 있다.
본 발명에 있어서, 상기 연동 컨트롤부는 상기 사용자 단말장치의 SMS이나 MMS 데이터를 공유하여 홀로그램 콘텐츠에서 음성 및 말풍선 기능으로 전달하도록 이루어지고, 상기 사용자 단말장치의 스케줄 애플리케이션과 연동하여 기설정된 스케줄을 확인하거나 새로운 스케줄을 등록할 수 있도록 이루어지며, 상기 3D 홀로그램 디스플레이 장치가 있는 위치의 날씨와 기온 정보를 홀로그램 콘텐츠에 표시하도록 이루어질 수 있다.
본 발명에 있어서, 상기 제어모듈은 상기 음성인식부를 통해 인식된 입력 명령을 통해 상기 3D 홀로그램 디스플레이 장치 본체에 저장되어 있는 음악을 재생하거나, 상기 연동 컨트롤부에 의해 사용자 단말장치에 저장된 음악을 3D 홀로그램 콘텐츠와 함께 실행되도록 하는 음악 플레이부; 선택 캐릭터의 스타일과 패션 및 이펙트를 포함하는 아이템을 적용하도록 이루어지는 커스터마이징부; 및 상기 모션동작 검출부 및 음성인식부을 통한 조작 명령으로 게임 콘텐츠가 플레이되도록 이루어지는 게임 실행부;를 더 포함할 수 있다.
본 발명에 있어서, 상기 중앙 운용 서버의 음성 합성부는 검색 및 시멘틱 과정을 통하여 분석 처리된 텍스트 파일을 자연어 데이터 파일화하고, 자연어화된 데이터 파일에 사용캐릭터의 고유 음성을 합성하도록 이루어질 수 있다.
본 발명에 있어서, 홀로그램 콘텐츠에 대한 정보, 각 사용자들의 관심 콘텐츠에 대한 정보, 사용자 요구 정보, 문화적 이슈 정보를 빅데이터로 수집 저장하는 빅데이터부; 상기 빅데이터부에 구축된 빅데이터에 근거하여 신규 콘텐츠 데이터로 활용할 수 있도록 사용자별, 콘텐츠별, 분야별을 포함하는 카테고리별로 메타데이터화하고, 분석한 분석 데이터를 구축하는 데이터 분석부; 상기 3D 홀로그램 디스플레이 장치의 커스터마이징부에 제공되는 아이템의 구매를 위한 아이템 스토어부; 상기 3D 홀로그램 디스플레이 장치의 게임 실행부에서 실행되는 게임을 제공하기 위한 게임 서비스부; 신규 3D 홀로그램 콘텐츠를 저장하는 홀로그램콘텐츠 데이터베이스부; 상기 사용자정보 데이터베이스부에 등록되어 있는 사용자 등록 정보에 포함된 관심 콘텐츠에 기반하여 신규 3D 홀로그램 콘텐츠에 대한 정보와 데모 버전을 해당 사용자의 3D 홀로그램 디스플레이 장치로 자동 송출하도록 이루어지는 실시간 업데이트부; 및 사용자의 결재 내역에 근거하여 상기 실시간 업데이트부로부터 해당 3D 홀로그램 콘텐츠 콘텐츠의 풀 버전을 전송하도록 이루어지는 결재부;를 포함할 수 있다.
본 발명에 있어서, 상기 데이터 분석부는 미리 마련된 기준 분석데이터 이외의 신규 정보에 근거하여 사용자별의 패턴 및 환경을 재분석 구축하고, 재분석된 데이터에 근거하여 기준 분석데이터의 경향과 규칙을 업데이트하도록 이루어지며, 상기 실시간 업데이트부는 상기 사용자정보 데이터베이스부에 저장된 데이터에 근거하여 해당 사용자가 사용하고 있는 홀로그램 콘텐츠에 대한 정보를 제공하며, 상기 데이터분석부와 연동하여 분석된 결과를 토대로 해당 사용자에게 새로운 정보를 도출하여 제공하도록 이루어질 수 있다.
본 발명에 있어서, 상기 중앙 서비스 서버는 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치로부터 다른 사용자와의 대화 요청 명령을 입력받게 되는 경우, 대화 수락이 활성화된 하나 이상의 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치와 중계하도록 이루어질 수 있다.
본 발명에 있어서, 상기 중앙 서비스 서버는 상기 3D 홀로그램 디스플레이 장치를 통하여 사용자간 대화를 위한 특정단어의 입력을 인식하는 경우, 사용자간 대화가 활성화되어 있는 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치들의 연결 정보를, 사용자대화 요청의 3D 홀로그램 디스플레이 장치 또는 사용자대화요청의 3D 홀로그램 디스플레이 장치와 연동하는 해당 사용자 단말장치로 전송하고, 연결할 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치를 선택하게 되면, 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치의 연결 수락여부를 확인하여 연결하도록 이루어질 수 있다.
본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 의하면 다음과 같은 효과를 제공한다.
첫째, 본 발명은 3D 홀로그램 디스플레이 장치의 각 사용자가 사용하는 사용 캐릭터에 맞는 음성을 분석 추출하여 해당 사용 캐릭터를 사용하는 3D 홀로그램 디스플레이 장치로 지원하여 각 사용자로 하여금 보다 현실적인 감성 인터렉티브가 가능한 효과가 있다.
둘째, 본 발명은 3D 홀로그램 디스플레이 장치를 통해 다양한 정보 전달 및 사용자 간 커뮤니케이션을 가능하게 하여 기능성과 사용성을 향상시킬 수 있는 효과가 있다.
셋째, 본 발명은 다양하고 사용자 친화적인 콘텐츠 플레이의 업데이트를 통하여 기능성과 제품 경쟁력을 더욱 향상시킬 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 일 실시 예를 나타내는 도면이다.
도 3은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 다른 실시 예를 나타내는 도면이다.
도 4는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 제어 모듈의 구성을 블록화하여 개략적으로 나타내는 도면이다.
도 5는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 중앙 지원 서버의 구성을 블록화하여 개략적으로 나타내는 도면이다.
도 6은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 연동 컨트롤부와 사용자 단말장치 간의 연동 콘텐츠를 설명하기 위한 개념도이다.
도 7은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 연동 콘텐츠 중 스케쥴링 서비스를 설명하기 위한 개념도이다.
도 8은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 연동 콘텐츠 중 기상정보 서비스에 대한 화면 예시를 나타내는 도면이다.
도 9는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 음악 플레이부에 의해 재생되는 홀로그램 콘텐츠의 예시를 나타내는 도면이다.
도 10은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 커스터마이징부에 의해 재생되는 홀로그램 콘텐츠의 예시를 나타내는 도면이다.
도 11은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 구현되는 핸드 패턴 형식별 핸드제스처 인식 예시를 나타내는 개념도이다.
도 12는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 딥러닝을 통한 음성 합성 과정을 나타내는 개념도이다.
도 13은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 사용자 간 대화 커뮤니케이션 가능하게 접속시키는 프로세스를 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 일 실시 예를 나타내는 도면이다.
도 3은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 다른 실시 예를 나타내는 도면이다.
도 4는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 제어 모듈의 구성을 블록화하여 개략적으로 나타내는 도면이다.
도 5는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 중앙 지원 서버의 구성을 블록화하여 개략적으로 나타내는 도면이다.
도 6은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 연동 컨트롤부와 사용자 단말장치 간의 연동 콘텐츠를 설명하기 위한 개념도이다.
도 7은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 연동 콘텐츠 중 스케쥴링 서비스를 설명하기 위한 개념도이다.
도 8은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 연동 콘텐츠 중 기상정보 서비스에 대한 화면 예시를 나타내는 도면이다.
도 9는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 음악 플레이부에 의해 재생되는 홀로그램 콘텐츠의 예시를 나타내는 도면이다.
도 10은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 커스터마이징부에 의해 재생되는 홀로그램 콘텐츠의 예시를 나타내는 도면이다.
도 11은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 구현되는 핸드 패턴 형식별 핸드제스처 인식 예시를 나타내는 개념도이다.
도 12는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 딥러닝을 통한 음성 합성 과정을 나타내는 개념도이다.
도 13은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 사용자 간 대화 커뮤니케이션 가능하게 접속시키는 프로세스를 설명하기 위한 개념도이다.
본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다.
본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 본원 명세서 전체에서, 어떤 단계가 다른 단계와 "상에"또는 "전에" 위치하고 있다고 할 때, 이는 어떤 단계가 다른 단계와 직접적 시계열적인 관계에 있는 경우 뿐만 아니라, 각 단계 후의 혼합하는 단계와 같이 두 단계의 순서에 시계열적 순서가 바뀔 수 있는 간접적 시계열적 관계에 있는 경우와 동일한 권리를 포함한다.
이하, 본 발명의 바람직한 실시 예에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 대하여 첨부 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템의 구성을 개략적으로 나타내는 도면이고, 도 2는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 일 실시 예를 나타내는 도면이고, 도 3은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 다른 실시 예를 나타내는 도면이고, 도 4는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 제어 모듈의 구성을 블록화하여 개략적으로 나타내는 도면이며, 도 5는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 중앙 지원 서버의 구성을 블록화하여 개략적으로 나타내는 도면이다.
본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템은, 도 1 내지 도 5에 나타낸 바와 같이, 크게 사용자가 선택한 캐릭터 또는 피규어의 콘텐츠(이하, "홀로그램 콘텐츠"로 통칭함)를 3D 홀로그램으로 디스플레이하도록 구성되는 복수의 3D 홀로그램 디스플레이 장치(100); 및 상기 3D 홀로그램 디스플레이 장치(100)에 구성되는 통신모듈과 유무선 통신하여 3D 홀로그램 디스플레이 장치(100) 각각에서 디스플레이되는 홀로그램 콘텐츠가 소정 제어 동작을 실행하도록 서비스하는 중앙 서비스 서버(200);를 포함한다.
이에 더하여, 본 발명의 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템은, 연동 애플리케이션이 설치되어 상기 3D 홀로그램 디스플레이 장치와 근거리통신하여 연동되는 사용자 단말장치(300);를 더 포함할 수 있다.
구체적으로, 상기 3D 홀로그램 디스플레이 장치(100)는 도 2 및 도 3의 실시 예들에 나타낸 바와 같이, 3D홀로그램 디스플레이 장치본체(110)와, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 홀로그램 영상을 출력하는 홀로그램 콘텐츠 출력수단(120)과, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 상기 홀로그램 콘텐츠 출력수단(120)으로부터 출력되는 홀로그램 영상을 투영시켜 홀로그램이 나타나도록 하는 홀로그램 스크린부(130)과, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 음성을 입력받는 마이크부(미도시)와, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 사용자의 모션을 인식하는 모션 센서부(미도시)와, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 음향을 출력하는 스피커부(140)와, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 중앙 서비스 서버(200) 및 사용자 단말장치(300)와 유무선 통신하는 유무선 통신모듈(미도시)과, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되고, 상기 중앙 서비스 서버(200)로부터 전송되는 제어 명령을 전송받거나, 및/또는 자체 설정 조건에 따라 상기 홀로그램 콘텐츠 출력수단(200)과 연동하여 홀로그램 콘텐츠를 제어하는 제어 모듈(150), 및 상기 3D홀로그램 디스플레이 장치본체(110)에 구성되어 전력을 필요로 하는 구성요소에 전력을 공급하기 위한 전원부;를 포함한다.
상기 홀로그램 콘텐츠 출력수단(120)은 상기 3D홀로그램 디스플레이 장치본체(110)에 일체형으로 구비되는 임베디드 홀로그램 디스플레이 장치로 구성되거나, 홀로그램 영상 애플리케이션을 구비하여 내부 메모리에 저장된 홀로그램 영상을 화면을 통해 출력하도록 이루어지되 상기 3D홀로그램 디스플레이 장치본체(110)에 형성되는 안착부에 탈장착 가능하게 구비되는 스마트폰이나 태블릿으로 구성될 수 있다.
다음으로, 상기 제어모듈(150)은 상기 홀로그램 콘텐츠 출력수단(120) 및/또는 유무선 통신모듈을 통해 상기 중앙 서비스 서버(200)와 연동하여 홀로그램 콘텐츠를 제어하도록 이루어지는 연동 컨트롤부(151)와, 상기 모션 센서부에서 인식된 소정 모션 패턴에 근거하여 패턴인식 데이터베이스에 저장된 해당 모션 패턴에 따른 동작을 실행하도록 제어하는 모션동작 검출부(152)와, 상기 마이크부를 통해 입력된 음성을 인식하여 인식된 해당 음성에 따른 동작을 실행하도록 제어하는 음성인식부(153), 및 상기 홀로그램 콘텐츠 출력수단(120)으로 전송되는 메시지를 음성으로 변환하여 스피커로 출력하도록 제어하는 문자음성 변환부(154)를 포함하여 이루어질 수 있다.
상기 연동 컨트롤부(151)는 상기 모션 센서로부터 움직임을 인식되는 경우 홀로그램이 표출되도록 홀로그램 콘텐츠을 활성화시키고, 상기 홀로그램 콘텐츠 출력수단(120)에 구비되는 일정 프로그램과 연동하여 입력된 일정이 있을 경우, 홀로그램 콘텐츠가 일정알림 말풍선과 함께 일정을 표출하도록 이루어지고, 상기 홀로그램 콘텐츠 출력수단(120)에 메시지가 수신되는 경우, 홀로그램 콘텐츠에 메시지수신 말풍선과 함께 알림할 수 있도록 이루어질 수 있다.
구체적으로, 도 6은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 연동 컨트롤부와 사용자 단말장치 간의 연동 콘텐츠를 설명하기 위한 개념도이고 도 7은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 연동 콘텐츠 중 스케쥴링 서비스를 설명하기 위한 개념도이며, 도 8은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 연동 콘텐츠 중 기상정보 서비스에 대한 화면 예시를 나타내는 도면이다.
상기 제어모듈(150)의 연동 컨트롤부(151)는, 연동 애플리케이션을 통해 연동되는 사용자 단말장치(300)의 SMS이나 MMS 데이터를 공유하여 홀로그램 콘텐츠에서 음성 및 말풍선 기능으로 전달하도록 이루어질 수 있다.
또한, 상기 제어모듈(150)의 연동 컨트롤부(151)는, 사용자 단말장치(300)의 스케줄 애플리케이션과 연동하여 기존에 설정된 스케줄을 확인하거나 새로운 스케줄을 등록할 수 있도록 이루어질 수 있다. 여기에서, 스케줄의 등록 및 확인은 사용자 음성을 인식하여 등록 및 확인할 수 있으며, 등록된 일정은 홀로그램 콘텐츠의 음성으로 확인 할 수 있도록 이루어진다.
또한, 상기 제어모듈(150)의 연동 컨트롤부(151)는, 3D 홀로그램 디스플레이 장치가 있는 위치의 날씨와 기온 정보를 홀로그램 콘텐츠에 표시하도록 이루어질 수 있으며, 이때 정보의 표시 및 확인 명령은 사용자의 음성을 인식하고 이를 홀로그램 콘텐츠를 통해 확인할 수 있도록 할 수 있다.
한편, 도 9는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 음악 플레이부에 의해 재생되는 홀로그램 콘텐츠의 예시를 나타내는 도면이다.
상기 제어모듈(150)은 도 9에 예시로 나타낸 바와 같이 음악을 플레이할 수 있는 홀로그램 콘텐츠를 실행하는 음악 플레이부(155)를 더 포함할 수 있다.
상기 음악 플레이부(155)는 3D 홀로그램 디스플레이 장치 본체(100)에 저장되어 있는 음악을 재생하거나, 상기 연동 컨트롤부(151)에 의해 사용자 단말장치(300)에 저장된 음악을 재생하도록 이루어질 수 있다.
이러한 음악 플레이부(155)는 재생되고 있는 음악을 일시 정지하거나 다음곡을 재생하거나 곡을 처음부터 다시 재생하거나 음악의 볼륨을 조정할 수 있는 기능을 갖고 있으며, 음악의 선택과 동작 제어는 사용자의 음성을 인식하고 이를 플레이할 수 있도록 이루어질 수 있다.
이때, 상기 음악 플레이부(155)는 플레이되는 홀로그램 콘텐츠에 포함되는 캐릭터가 음악의 파형을 분석하여 필요한 비트 데이터를 추출하고 그에 맞추어 캐릭터가 댄스를 추도록 이루어질 수 있다.
상기 제어모듈(150)은 상기한 기능 이외에도, 도 10은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 커스터마이징부에 의해 재생되는 홀로그램 콘텐츠의 예시를 나타내는 도면으로, 자신의 캐릭터들을 다양한 스타일과 패션, 이펙트로 치장할 수 있도록 사용자가 설정한 선택 캐릭터의 스타일과 패션 및 이펙트 등을 포함하는 아이템을 적용하기 위한 커스터마이징부(156)를 더 포함할 수 있다.
이때, 캐릭터는 K-POP STAR, 마블, 디즈니 등 다양한 IP 라이센스를 획득한 캐릭터들과 자체 제작한 캐릭터들을 장치의 캐릭터로 사용할 수 있으며, 캐릭터들은 고유의 목소리를 가지고 있어 장치가 제공하는 다양한 기능과 익명 대화서비스에서 해당 캐릭터의 목소리를 활용할 수 있게 이루어질 수 있다.
이 경우, 상기 중앙 서비스 서버(200)는 커스터마이징부(156)에서 선택할 수 있는 아이템을 정기적으로 전송할 수 있으며, 아이템의 구매를 위한 아이템 스토어부를 포함할 수 있다.
또한, 상기 제어모듈(150)은 모션동작 검출부(152) 및 음성인식부(153)를 통한 조작 명령으로 플레이할 수 있도록 중앙 서비스 서버(200)의 게임 서비스부에서 제공되는 게임을 실행할 수 있는 게임 실행부(157)를 더 포함할 수 있다.
계속해서, 상기 모션동작 검출부(152)는 모션 센서부로부터 검출되는 손 동작의 의미를 분석하고 분석된 메뉴로 이동하며 기능을 동작시키도록 이루어질 수 있다.
도 11은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 구현되는 핸드 패턴 형식별 핸드제스처 인식 예시를 나타내는 개념도이다.
구체적으로, 상기 모션동작 검출부(152)는 도 11에 예시한 바와 같이, 모션 센서부에서 검출되는 손 구역 추출과 추출된 손 모양의 패턴을 판별하며, 손 모양의 조합으로 손동작을 인식하여 다양한 의미 추출이 가능하도록 이루어진다.
이 경우, 핸드 제스처의 패턴은 손바닥과 손가락의 모양 자체에 의미를 부여하여 인식하도록 하는 단일 패턴 방식과 각 손의 모양의 변화 패턴을 의미 단위로 해석하는 조합 패턴 방식을 구별하여 손동작 인식에 적용할 수 있다.
상기 3D 홀로그램 디스플레이 장치(100)에 구성되어 전력을 필요로 하는 구성요소에 전력을 공급하기 위한 전원부는 통상의 전력망으로부터 전원을 공급받을 수 있도록 연결되는 전원 케이블 및/또는 교체형 배터리로 이루어질 수 있다. 본 발명에서 상기 전원부는 전원 케이블 및 교체형 배터리를 모두 적용될 수 있는 겸용으로 이루어지는 것이 바람직하다.
다음으로, 상기 중앙 서비스 서버(200)는, 사용자 등록 정보를 저장하는 사용자정보 데이터베이스부(210)와, 상기 3D 홀로그램 디스플레이 장치(100)를 통해 전송되는 사용자의 음성정보를 제공받는 음성 데이터부(220)와 상기 음성 데이터부(220)에서 제공되는 음성 정보의 의미를 분석하는 음성정보 의미 분석부(230)와, 상기 음성 정보를 텍스트로 변환하거나 텍스트에서 음성으로 변환하도록 이루어지는 음성정보 변환부(240)와, 상기 음성정보 변환부(240)에서 변환된 텍스트에 사용자의 사용 캐릭터의 음성을 합성하는 음성합성부(250), 및 상기 합성된 음성을 사용 캐릭터의 3D 홀로그램 디스플레이 장치(100)로 전송하는 음성전송부(260)를 포함하여 구성될 수 있다.
상기 사용자정보 데이터베이스부(210)에는 사용자의 기본 개인정보, 관심 분야, 관심 콘텐츠(예를 들면, 캐릭터 종류, 가수, 음악 종류 등), 사용 3D 홀로그램 디스플레이장치 등의 정보를 포함한다.
상기 음성정보 변환부(240)는 음성인식 알고리즘 중 HMM(Hidden Markov Model)을 사용하여 언어 모델을 구성하도록 이루어질 수 있다.
그리고 상기 음성정보 의미 분석부(230)와 음성정보 변환부(240) 및 음성합성부(250)는 딥러닝을 기반으로 이루어질 수 있다.
도 12는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 딥러닝을 통한 음성 합성 과정을 나타내는 개념도이다.
상기 중앙 서비스 서버(200)는, 사용자들의 음성을 전송받아 음성데이터를 생성하고(음성 데이터부(220)), 생성된 음성데이터를 딥러닝을 통해 분석하여 사용자의 의도를 판별하며(음성정보 의미 분석부(230)), 판별된 음성데이터를 텍스트로 변환한다(음성정보 변환부(240)).
그리고 상기 중앙 서비스 서버(200)는, 검색 및 시멘틱 과정을 통하여 분석 처리된 텍스트 파일을 자연어 데이터 파일화하고, 자연어화된 데이터 파일에 사용캐릭터의 고유 음성을 합성하여(음성 합성부(250)) 사용자가 발화한 자연어와 같은 형태를 갖추도록 한 다음 해당 3D 홀로그램 디스플레이 장치(100)로 전송(음성 전송부(260)) 하도록 이루어진다.
한편, 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템은, 사용자의 3D 홀로그램 디스플레이 장치 간에 커뮤니케이션 가능하게 이루어질 수 있다.
도 13은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 사용자 간 대화 커뮤니케이션 가능하게 접속시키는 프로세스를 설명하기 위한 개념도이다. 도 13에 기재된 문구는 사용자 간 대화 커뮤니케이션을 실행하기 위한 예시 문구로서 이에 한정되는 것은 아니다.
본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템은, 3D 홀로그램 디스플레이 장치(100)를 통하여 사용자간 대화를 위한 특정단어가 입력되어 중앙 서비스 서버(200)에서 인식되면(예를 들면, 3D 홀로그램 디스플레이 장치의 마이크부를 통하여 입력명령이 입력되어 익명대화가 인식되면), 상기 중앙 서비스 서버(200)에서는 사용자간 대화가 활성화되어 있는 다른 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300)들의 연결 정보를, 사용자대화 요청의 3D 홀로그램 디스플레이 장치(100) 또는 사용자대화요청의 3D 홀로그램 디스플레이 장치(100)와 연동하는 해당 사용자 단말장치(300)로 전송하고, 연결할 다른 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300)를 선택하게 되면, 선택 정보는 중앙 서비스 서버(200)로 다시 전송되며, 상기 중앙 서비스 서버(200)는 다른 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300)의 연결 수락여부를 확인하며, 연결대상(3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300))의 연결 수락 정보가 있을 경우 상기 중앙 서비스 서버(200)는 사용자대화 요청의 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300)로 연결이 완료되었음을 전송하게 된다.
그리고 사용자대화 요청의 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300)와 연결대상의 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300) 간은 각자의 홀로그램 콘텐츠를 통해 대화를 행하게 된다.
이러한 사용자 간의 대화는 음성 및 말풍선으로 이루어질 수 있다. 여기에서, 음성은 환경 설정을 통해 사용자 본인 음성 또는 사용 캐릭터의 음성으로 이루어질 수 있다.
여기에서, 상기 사용자 본인 음성인 경우 3D 홀로그램 디스플레이 장치 간 직접 대화가 이루어질 수 있으며, 사용 캐릭터의 음성인 경우 앞서 설명한 바와 같이 중앙 서비스 서버(200)를 통하여 그 중앙 서비스 서버(200)의 음성 합성부(250)에서 합성된 음성이 제공될 수 있다.
한편, 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서, 상기 중앙 운용 서버(200)는 사용자들에게 제공되어 있는 홀로그램 콘텐츠에 대한 정보, 각 사용자들의 관심 콘텐츠에 대한 정보, 사용자 요구 정보, 문화적 이슈 정보를 빅데이터로 수집 저장하는 빅데이터부(271)와, 상기 빅데이터부(271)에 구축된 빅데이터에 근거하여 신규 콘텐츠 데이터로 활용할 수 있도록 사용자별, 콘텐츠별, 분야별을 포함하는 카테고리별로 메타데이터화하고, 분석한 분석 데이터를 구축하는 데이터 분석부(272)와, 상기 3D 홀로그램 디스플레이 장치(100)의 커스터마이징부(156)에 제공되는 아이템의 구매를 위한 아이템 스토어부(273), 및 상기 3D 홀로그램 디스플레이 장치(100)의 게임 실행부(157)에서 실행되는 게임을 제공하기 위한 게임 서비스부(274)를 더 포함할 수 있다
상기 데이터 분석부(272)는 미리 마련된 기준 분석데이터 이외에 신규 정보가 발생하는 경우, 이에 근거하여 사용자별의 패턴 및 환경을 재분석 구축하고, 재분석된 데이터에 근거하여 기준 분석데이터의 경향과 규칙을 업데이트하도록 이루어지도록 하여, 새로운 환경 변화에 신속하고 자동적으로 대응할 수 있도록 이루어질 수 있다.
또한, 상기 중앙 운용 서버(200)는 신규 3D 홀로그램 콘텐츠를 저장하는 홀로그램콘텐츠 데이터베이스부(281)와, 상기 사용자정보 데이터베이스부(210)에 등록되어 있는 사용자 등록 정보에 포함된 관심 콘텐츠에 기반하여 신규 3D 홀로그램 콘텐츠에 대한 정보와 데모 버전을 해당 사용자의 3D 홀로그램 디스플레이 장치(100)로 자동 송출하도록 이루어지는 실시간 업데이트부(282), 및 사용자의 결재 내역에 근거하여 상기 실시간 업데이트부(282)로부터 해당 3D 홀로그램 콘텐츠 콘텐츠의 풀 버전을 전송하도록 이루어지는 결재부(283)를 포함한다.
상기 홀로그램콘텐츠 데이터베이스부(281)는 현재 사용자들에게 제공된 홀로그램 콘텐츠와 관련 콘텐츠뿐만 아니라, 상기 빅데이터부(271) 및 데이터분석부(272)와 연동하여 분석된 결과를 토대로 신규 개발된 홀로그램 콘텐츠와 관련 콘텐츠를 구축하도록 이루어질 수 있다.
그리고 상기 실시간 업데이트부(282)는 1차적으로 상기 사용자정보 데이터베이스부(210)에 저장된 데이터에 근거하여 해당 사용자가 사용하고 있는 홀로그램 콘텐츠에 대한 정보를 제공하도록 이루어진다. 그리고 상기 실시간 업데이트부(282)는 2차적으로 데이터분석부(272)와 연동하여 분석된 결과를 토대로 해당 사용자에게 새로운 정보를 도출하여 제공하도록 이루어질 수 있다.
계속해서, 상기 결재부(283)는 사용자의 결재 정보를 확인하여 해당 결재 내역에 따른 홀로그램 콘텐츠를 제공하도록 이루어질 수 있다.
한편, 상기 사용자 단말장치(300)에는 3D 홀로그램 디스플레이 장치(100)와 블루투스와 같은 근거리 통신을 통하여 통신하고, 연동 애플리케이션이 설치되어 상기 3D 홀로그램 디스플레이 장치(100)와 연동되게 된다.
이상에서 설명한 바와 같은 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 따르면, 3D 홀로그램 디스플레이 장치의 각 사용자가 사용하는 사용 캐릭터에 맞는 음성을 분석 추출하여 해당 사용 캐릭터를 사용하는 3D 홀로그램 디스플레이 장치로 지원하여 각 사용자로 하여금 보다 현실적인 감성 인터렉티브가 가능하고, 3D 홀로그램 디스플레이 장치를 통해 다양한 정보 전달 및 사용자 간 커뮤니케이션을 가능하게 하여 기능성과 사용성을 향상시킬 수 있으며, 다양하고 사용자 친화적인 콘텐츠 플레이의 업데이트를 통하여 기능성과 제품 경쟁력을 더욱 향상시킬 수 있는 이점이 있다.
상기한 바와 같은 실시 예들은 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
본 명세서에서 설명되는 실시 예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시 예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 3D 홀로그램 디스플레이 장치
110: 3D홀로그램 디스플레이 장치본체
120: 홀로그램 콘텐츠 출력수단
130: 홀로그램 스크린부
140: 스피커부
150: 제어 모듈
151: 연동 컨트롤부
152: 모션동작 검출부
153: 음성인식부
154: 문자음성 변환부
155: 음악 플레이부
156: 커스터마이징부
157: 게임 실행부
200: 중앙 서비스 서버
210: 사용자정보 데이터베이스부
220: 음성 데이터부
230: 음성정보 의미 분석부
240: 음성정보 변환부
250: 음성합성부
260: 음성전송부
271: 빅데이터부
272: 데이터 분석부
273: 아이템 스토어부
274: 게임 서비스부
281: 홀로그램콘텐츠 데이터베이스부
282: 실시간 업데이트부
283: 결재부
300: 사용자 단말장치
110: 3D홀로그램 디스플레이 장치본체
120: 홀로그램 콘텐츠 출력수단
130: 홀로그램 스크린부
140: 스피커부
150: 제어 모듈
151: 연동 컨트롤부
152: 모션동작 검출부
153: 음성인식부
154: 문자음성 변환부
155: 음악 플레이부
156: 커스터마이징부
157: 게임 실행부
200: 중앙 서비스 서버
210: 사용자정보 데이터베이스부
220: 음성 데이터부
230: 음성정보 의미 분석부
240: 음성정보 변환부
250: 음성합성부
260: 음성전송부
271: 빅데이터부
272: 데이터 분석부
273: 아이템 스토어부
274: 게임 서비스부
281: 홀로그램콘텐츠 데이터베이스부
282: 실시간 업데이트부
283: 결재부
300: 사용자 단말장치
Claims (9)
- 캐릭터 또는 피규어를 포함하는 홀로그램 콘텐츠을 3D 홀로그램으로 디스플레이하도록 구성되는 복수의 3D 홀로그램 디스플레이 장치;
상기 3D 홀로그램 디스플레이 장치에 구성되는 통신모듈과 유무선 통신하여 상기 3D 홀로그램 디스플레이 장치 각각에서 디스플레이되는 홀로그램 콘텐츠가 소정 제어 동작을 실행하도록 서비스하는 중앙 서비스 서버; 및
연동 애플리케이션이 설치되어 상기 3D 홀로그램 디스플레이 장치와 근거리 통신하여 연동하는 사용자 단말장치;를 포함하고,
상기 3D 홀로그램 디스플레이 장치는, 3D홀로그램 디스플레이 장치본체와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 홀로그램 영상을 출력하는 홀로그램 콘텐츠 출력수단과, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 상기 홀로그램 콘텐츠 출력수단으로부터 출력되는 홀로그램 영상을 투영시켜 홀로그램이 나타나도록 하는 홀로그램 스크린부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 음성을 입력받는 마이크부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 사용자의 모션을 인식하는 모션 센서부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 음향을 출력하는 스피커부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 상기 중앙 서비스 서버 및 사용자 단말장치와 통신하는 통신모듈과, 상기 3D홀로그램 디스플레이 장치본체에 구비되고, 상기 중앙 서비스 서버로부터 전송되는 제어 명령을 전송받거나, 자체 설정 조건에 따라 상기 홀로그램 콘텐츠 출력수단과 연동하여 홀로그램 콘텐츠를 제어하는 제어 모듈, 및 상기 3D홀로그램 디스플레이 장치본체에 구성되어 전력을 공급하기 위한 전원부;를 포함하고,
상기 중앙 서비스 서버는, 사용자의 기본 개인정보, 관심 분야, 관심 콘텐츠, 사용 3D 홀로그램 디스플레이 장치의 정보를 포함하는 사용자 등록 정보를 저장하는 사용자정보 데이터베이스부와, 상기 3D 홀로그램 디스플레이 장치를 통해 전송되는 사용자의 음성정보를 제공받는 음성 데이터부와, 상기 음성 데이터부에서 제공되는 음성 정보의 의미를 분석하는 음성정보 의미 분석부와, 상기 음성 정보를 텍스트로 변환하거나 텍스트에서 음성으로 변환하도록 이루어지는 음성정보 변환부와, 상기 음성정보 변환부에서 변환된 텍스트에 사용자의 사용 캐릭터의 음성을 합성하는 음성합성부, 및 상기 합성된 음성을 사용 캐릭터의 3D 홀로그램 디스플레이 장치로 전송하는 음성전송부를 포함하며,
상기 제어모듈은, 상기 홀로그램 콘텐츠 출력수단 또는 상기 중앙 서비스 서버와 연동하여 홀로그램 콘텐츠를 제어하도록 이루어지는 연동 컨트롤부와, 상기 모션 센서부에서 인식된 소정 모션 패턴에 근거하여 패턴인식 데이터베이스에 저장된 해당 모션 패턴에 따른 동작을 실행하도록 제어하는 모션동작 검출부와, 상기 마이크부를 통해 입력된 음성을 인식하여 인식된 해당 음성에 따른 동작을 실행하도록 제어하는 음성인식부와, 상기 홀로그램 콘텐츠 출력수단으로 전송되는 메시지를 음성으로 변환하여 스피커로 출력하도록 제어하는 문자음성 변환부와, 상기 음성인식부를 통해 인식된 입력 명령을 통해 상기 3D 홀로그램 디스플레이 장치 본체에 저장되어 있는 음악을 재생하거나, 상기 연동 컨트롤부에 의해 사용자 단말장치에 저장된 음악을 3D 홀로그램 콘텐츠와 함께 실행되도록 하는 음악 플레이부와, 선택 캐릭터의 스타일과 패션 및 이펙트를 포함하는 아이템을 적용하도록 이루어지는 커스터마이징부, 및 상기 모션동작 검출부 및 음성인식부을 통한 조작 명령으로 게임 콘텐츠가 플레이되도록 이루어지는 게임 실행부를 포함하며,
상기 중앙 서비스 서버는, 홀로그램 콘텐츠에 대한 정보, 각 사용자들의 관심 콘텐츠에 대한 정보, 사용자 요구 정보, 문화적 이슈 정보를 빅데이터로 수집 저장하는 빅데이터부와, 상기 빅데이터부에 구축된 빅데이터에 근거하여 신규 콘텐츠 데이터로 활용할 수 있도록 사용자별, 콘텐츠별, 분야별을 포함하는 카테고리별로 메타데이터화하고, 분석한 분석 데이터를 구축하는 데이터 분석부와, 상기 3D 홀로그램 디스플레이 장치의 커스터마이징부에 제공되는 아이템의 구매를 위한 아이템 스토어부와, 상기 3D 홀로그램 디스플레이 장치의 게임 실행부에서 실행되는 게임을 제공하기 위한 게임 서비스부와, 신규 3D 홀로그램 콘텐츠를 저장하는 홀로그램콘텐츠 데이터베이스부와, 상기 사용자정보 데이터베이스부에 등록되어 있는 사용자 등록 정보에 포함된 관심 콘텐츠에 기반하여 신규 3D 홀로그램 콘텐츠에 대한 정보와 데모 버전을 해당 사용자의 3D 홀로그램 디스플레이 장치로 자동 송출하도록 이루어지는 실시간 업데이트부, 및 사용자의 결재 내역에 근거하여 상기 실시간 업데이트부로부터 해당 3D 홀로그램 콘텐츠 콘텐츠의 풀 버전을 전송하도록 이루어지는 결재부를 더 포함하는 것을 특징으로 하는
3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
- 삭제
- 제1항에 있어서,
상기 연동 컨트롤부는
상기 사용자 단말장치의 SMS이나 MMS 데이터를 공유하여 홀로그램 콘텐츠에서 음성 및 말풍선 기능으로 전달하도록 이루어지고,
상기 사용자 단말장치의 스케줄 애플리케이션과 연동하여 기설정된 스케줄을 확인하거나 새로운 스케줄을 등록할 수 있도록 이루어지며,
상기 3D 홀로그램 디스플레이 장치가 있는 위치의 날씨와 기온 정보를 홀로그램 콘텐츠에 표시하도록 이루어지는 것을 특징으로 하는
3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
- 삭제
- 제1항에 있어서,
상기 중앙 서비스 서버의 음성 합성부는
검색 및 시멘틱 과정을 통하여 분석 처리된 텍스트 파일을 자연어 데이터 파일화하고, 자연어화된 데이터 파일에 사용캐릭터의 고유 음성을 합성하도록 이루어지는 것을 특징으로 하는
3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
- 삭제
- 제1항에 있어서,
상기 데이터 분석부는 미리 마련된 기준 분석데이터 이외의 신규 정보에 근거하여 사용자별의 패턴 및 환경을 재분석 구축하고, 재분석된 데이터에 근거하여 기준 분석데이터의 경향과 규칙을 업데이트하도록 이루어지며,
상기 실시간 업데이트부는 상기 사용자정보 데이터베이스부에 저장된 데이터에 근거하여 해당 사용자가 사용하고 있는 홀로그램 콘텐츠에 대한 정보를 제공하며, 상기 데이터분석부와 연동하여 분석된 결과를 토대로 해당 사용자에게 새로운 정보를 도출하여 제공하도록 이루어지는 것을 특징으로 하는
3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
- 제1항에 있어서,
상기 중앙 서비스 서버는 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치로부터 다른 사용자와의 대화 요청 명령을 입력받게 되는 경우, 대화 수락이 활성화된 하나 이상의 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치와 중계하도록 이루어지는 것을 특징으로 하는
3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
- 제1항에 있어서,
상기 중앙 서비스 서버는
상기 3D 홀로그램 디스플레이 장치를 통하여 사용자간 대화를 위한 특정단어의 입력을 인식하는 경우, 사용자간 대화가 활성화되어 있는 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치들의 연결 정보를, 사용자대화 요청의 3D 홀로그램 디스플레이 장치 또는 사용자대화요청의 3D 홀로그램 디스플레이 장치와 연동하는 해당 사용자 단말장치로 전송하고, 연결할 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치를 선택하게 되면, 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치의 연결 수락여부를 확인하여 연결하도록 이루어지는 것을 특징으로 하는
3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190135904A KR102236914B1 (ko) | 2019-10-29 | 2019-10-29 | 3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템 |
| PCT/KR2019/014969 WO2021085708A1 (ko) | 2019-10-29 | 2019-11-06 | 3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190135904A KR102236914B1 (ko) | 2019-10-29 | 2019-10-29 | 3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102236914B1 true KR102236914B1 (ko) | 2021-04-06 |
Family
ID=75472720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190135904A KR102236914B1 (ko) | 2019-10-29 | 2019-10-29 | 3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102236914B1 (ko) |
| WO (1) | WO2021085708A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230145748A1 (en) * | 2021-11-10 | 2023-05-11 | AHA Consulting Co., Ltd. | Digital mat system for management and analysis of user's cognitive and physical ability |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150120712A (ko) | 2014-04-18 | 2015-10-28 | 이상원 | 개인용 홀로그램 장치 |
| KR20160090735A (ko) * | 2015-11-11 | 2016-08-01 | 서용창 | 홀로그램 영상 기반 메시지 서비스 제공 방법 및 사용자 단말, 그리고 홀로그램 영상 표시 장치 |
| KR20160107690A (ko) | 2015-03-05 | 2016-09-19 | 주식회사 메인정보시스템 | 3차원 홀로그램 디스플레이 장치 |
| KR101661163B1 (ko) * | 2015-05-27 | 2016-09-29 | 일마일 주식회사 | 영상 분석을 통한 운전자 안전 운전 보조와 지도 ｄｂ의 실시간 갱신을 처리하기 위한 안전 운전 시스템 |
| KR20170073119A (ko) | 2015-12-18 | 2017-06-28 | (주)젬백스테크놀러지 | 홀로그램 기반의 입체 영상 표시 장치 |
| JP2018513701A (ja) * | 2015-01-22 | 2018-05-31 | 奇鋭科技股▲分▼有限公司 | ホログラフィックプロジェクションゲーム及び学習システム |
| KR20190104941A (ko) * | 2019-08-22 | 2019-09-11 | 엘지전자 주식회사 | 감정 정보 기반의 음성 합성 방법 및 장치 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140267598A1 (en) * | 2013-03-14 | 2014-09-18 | 360Brandvision, Inc. | Apparatus and method for holographic poster display |
| KR20150084586A (ko) * | 2014-01-14 | 2015-07-22 | 주식회사 글로브포인트 | 가상 ３ｄ 아바타를 이용한 동영상 강의 저작 키오스크 및 저작 시스템 |
| KR20160131505A (ko) * | 2015-05-07 | 2016-11-16 | 주식회사 셀바스에이아이 | 음성 변환 방법 및 음성 변환 장치 |
| KR20170131790A (ko) * | 2016-05-20 | 2017-11-30 | 김수연 | 홀로그램을 이용한 휴대용 단말의 정보제공 시스템 및 방법 |
| KR102002383B1 (ko) * | 2017-08-04 | 2019-07-23 | ㈜아이센두 | 홀로그래픽 디스플레이 시스템 |
-
2019
- 2019-10-29 KR KR1020190135904A patent/KR102236914B1/ko active IP Right Grant
- 2019-11-06 WO PCT/KR2019/014969 patent/WO2021085708A1/ko active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150120712A (ko) | 2014-04-18 | 2015-10-28 | 이상원 | 개인용 홀로그램 장치 |
| JP2018513701A (ja) * | 2015-01-22 | 2018-05-31 | 奇鋭科技股▲分▼有限公司 | ホログラフィックプロジェクションゲーム及び学習システム |
| KR20160107690A (ko) | 2015-03-05 | 2016-09-19 | 주식회사 메인정보시스템 | 3차원 홀로그램 디스플레이 장치 |
| KR101661163B1 (ko) * | 2015-05-27 | 2016-09-29 | 일마일 주식회사 | 영상 분석을 통한 운전자 안전 운전 보조와 지도 ｄｂ의 실시간 갱신을 처리하기 위한 안전 운전 시스템 |
| KR20160090735A (ko) * | 2015-11-11 | 2016-08-01 | 서용창 | 홀로그램 영상 기반 메시지 서비스 제공 방법 및 사용자 단말, 그리고 홀로그램 영상 표시 장치 |
| KR20170073119A (ko) | 2015-12-18 | 2017-06-28 | (주)젬백스테크놀러지 | 홀로그램 기반의 입체 영상 표시 장치 |
| KR20190104941A (ko) * | 2019-08-22 | 2019-09-11 | 엘지전자 주식회사 | 감정 정보 기반의 음성 합성 방법 및 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230145748A1 (en) * | 2021-11-10 | 2023-05-11 | AHA Consulting Co., Ltd. | Digital mat system for management and analysis of user's cognitive and physical ability |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021085708A1 (ko) | 2021-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
| US20190193273A1 (en) | Robots for interactive comedy and companionship | |
| US20200234478A1 (en) | Method and Apparatus for Processing Information | |
| US9332100B2 (en) | Portable communications device | |
| CN110400251A (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| US20080096533A1 (en) | Virtual Assistant With Real-Time Emotions | |
| KR20110008059A (ko) | 이용자 명령에 기초하여 리프리젠테이션을 수정하기 위한 방법 | |
| WO2001084275A2 (en) | Virtual representatives for use as communications tools | |
| JP7193015B2 (ja) | コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム | |
| JP2018008316A (ja) | 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム | |
| KR20200090355A (ko) | 실시간 번역 기반 멀티 채널 방송 시스템 및 이를 이용하는 방법 | |
| KR20220129989A (ko) | 아바타에 기초한 인터랙션 서비스 방법 및 장치 | |
| KR102236914B1 (ko) | 3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템 | |
| KR20240038941A (ko) | 텍스트 기반 아바타 생성 방법 및 시스템 | |
| KR20220165666A (ko) | 자연어로 표현된 스타일 태그를 이용한 합성 음성 생성 방법 및 시스템 | |
| JPH11109991A (ja) | マンマシンインターフェースシステム | |
| Anderson et al. | Language learning with interactive virtual agent scenarios and speech recognition: Lessons learned | |
| KR101406983B1 (ko) | 텍스트 인식을 이용한 음성재생 서비스 제공 시스템, 서버 및 단말 | |
| US20220301250A1 (en) | Avatar-based interaction service method and apparatus | |
| CN117370605A (zh) | 一种虚拟数字人驱动方法、装置、设备和介质 | |
| Luerssen et al. | Head x: Customizable audiovisual synthesis for a multi-purpose virtual head | |
| KR20200123689A (ko) | 외형 이미지를 고려한 음성 합성 장치 및 음성 합성 방법 | |
| KR102659886B1 (ko) | 가상 현실 및 ai 인식 영어 학습 시스템 | |
| KR20200063301A (ko) | 인공지능 기반의 음성 학습을 통한 게임 음향 재생 시스템 | |
| Batista | A pipeline for facial animations on low budget VR productions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |