KR20210064830A - 영상처리 시스템 - Google Patents
영상처리 시스템 Download PDFInfo
- Publication number
- KR20210064830A KR20210064830A KR1020190153474A KR20190153474A KR20210064830A KR 20210064830 A KR20210064830 A KR 20210064830A KR 1020190153474 A KR1020190153474 A KR 1020190153474A KR 20190153474 A KR20190153474 A KR 20190153474A KR 20210064830 A KR20210064830 A KR 20210064830A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- voice
- module
- user
- smart glasses
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 56
- 239000004984 smart glass Substances 0.000 claims abstract description 44
- 230000003190 augmentative effect Effects 0.000 claims abstract description 36
- 238000004891 communication Methods 0.000 claims abstract description 29
- 239000011521 glass Substances 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 42
- 238000004458 analytical method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 21
- 238000010191 image analysis Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 8
- 238000003058 natural language processing Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 208000003028 Stuttering Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G06K9/20—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Acoustics & Sound (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 음성인식 및 정보 가시화를 위한 영상처리 시스템에 관한 것으로, 통신망을 통해 상호 통신하는 스마트 글래스 및 정보제공서버를 포함하되, 상기 스마트 글래스는, 사용자의 안면에 착용되어 상기 정보제공서버로 사용자가 바라보는 물체를 촬영한 실물영상과, 사용자의 발화에 따른 음성명령을 제공하고, 상기 정보제공서버는, 상기 스마트 글래스로부터 상기 실물영상 및 상기 음성명령을 수신하여 상기 실물영상 및 상기 음성명령을 분석하고, 상기 실물영상 및/또는 상기 음성명령에 대응하는 증강현실 컨텐츠를 상기 스마트 글래스에게 제공하는 것을 특징으로 하는, 영상처리 시스템을 제공한다.
Description
본 발명은 영상처리 시스템에 관한 것으로, 더욱 상세하게는 음성인식 및 정보 가시화를 위한 영상처리 시스템에 관한 것이다.
산업 현장에서는 양손을 쓰지 못하는 상황에서 발생할 수 있는 안전사고 발생가능성을 최소화할 수 있는 시스템 제어방법, 지식제안, 협업 도구를 위한 기술 개발이 절실히 필요하다.
특히, 일반적인 스마트 글래스는 작업 도중 모션 및 터치를 실시하기 위하여 작업 시간을 지연시키고 안정상 문제가 발생할 가능성이 있으므로 해당 부분의 문제점을 개선하기 위한 필요성이 대두되고 있다.
또한, 산업 현장의 생산성 향상을 위하여 화자의 의도를 분석하여 화자에게 보조지식을 전달할 수 있는 기술에 대한 개발도 필요한 상황이다.
본 발명이 해결하고자 하는 기술적 과제는 영상식별 기술을 통한 이미지 인식을 용이하도록 하여 설비 및 제조 현장에서 상품에 대한 정보를 실시간을 확인할 수 있는 영상처리 시스템을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 기술적 과제는 음성인식을 통한 마킹 기법을 적용하여 화면내에 표시할 수 있는 영상처리 시스템을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 기술적 과제는 화자의 의도를 분석하여 화자에게 보조지식을 전달할 수 있는 리모트 어시스턴스, 비전피킹, 원격 협업 등의 기술을 통해 현장의 생산성을 향상시킬 수 있는 영상처리 시스템을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시예는 통신망을 통해 상호 통신하는 스마트 글래스 및 정보제공서버를 포함하되, 상기 스마트 글래스는, 사용자의 안면에 착용되어 상기 정보제공서버로 사용자가 바라보는 물체를 촬영한 실물영상과, 사용자의 발화에 따른 음성명령을 제공하고, 상기 정보제공서버는, 상기 스마트 글래스로부터 상기 실물영상 및 상기 음성명령을 수신하여 상기 실물영상 및 상기 음성명령을 분석하고, 상기 실물영상 및/또는 상기 음성명령에 대응하는 증강현실 컨텐츠를 상기 스마트 글래스에게 제공하는 것을 특징으로 하는, 영상처리 시스템을 제공한다.
본 발명의 실시예에 있어서, 상기 스마트 글래스는, 사용자의 안면에 착용되는 프레임 및 렌즈로 이루어져 상기 프레임에 장착되며 기 설정된 좌표영역이 표시되도록 설정된 디스플레이부를 포함하는 글래스모듈, 상기 프레임에 설치되어 사용자의 시선 및/또는 이동에 따라 사용자가 바라보는 물체를 실시간으로 촬영하여 상기 실물영상을 생성하는 카메라 모듈, 상기 프레임에 적어도 하나가 설치되어 사용자의 음성을 입력 처리하는 음성입력모듈, 상기 프레임에 설치되어 서버와 통신하는 글래스통신모듈, 및 상기 글래스통신모듈을 통해 수신한 영상신호를 상기 글래스모듈의 디스플레이부에 표시되도록 처리하고, 상기 음성에 대응하여 기 설정된 동작을 수행하도록 처리하는 글래스제어모듈을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 글래스제어모듈은, 상기 정보제공서버로부터 수신한 증강현실 컨텐츠가 상기 글래스모듈에서 표시되도록 상기 증강현실 컨텐츠를 신호처리하여 상기 글래스모듈(110)로 제공하는 영상처리부, 상기 음성입력모듈로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 정보제공서버로 음성명령을 제공하는 음성처리부, 및 상기 음성입력모듈을 통해 사용자의 음성이 입력되면, 입력된 음성을 신호처리하도록 상기 음성처리부를 제어하거나, 상기 영상처리부를 통해 증강현실 컨텐츠를 영상신호로 신호처리하여 상기 글래스모듈로 표시할 때 상기 음성입력모듈을 통해 컨텐츠에 대한 실행을 명령하는 사용자의 음성이 입력되면 음성명령을 실행하도록 상기 영상처리부를 제어하는 메인제어부를 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 음성처리부는, 사용자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이부에 설정된 좌표영역에 대한 좌표영역 키워드를 추출하거나, 증강현실 컨텐츠의 실행명령에 대한 실행명령 키워드를 추출하여 음성명령으로 신호처리하고 상기 정보제공서버에 음성명령을 제공할 수 있다.
본 발명의 실시예에 있어서, 상기 정보제공서버는, 상기 글래스통신모듈과 무선 통신하는 서버통신모듈, 기 설정된 이미지 인식 모델을 이용하여 상기 스마트 글래스(100)로부터 수신된 영상으로부터 객체를 분석하고, 분석결과를 하기 컨텐츠제공모듈 및/또는 하기 서버제어모듈로 제공하는 영상분석모듈, 자연어 처리모델을 이용하여 상기 스마트 글래스로부터 수신한 음성명령으로부터 상기 음성명령에 포함된 키워드를 분석하고, 분석결과를 하기 컨텐츠제공모듈 및/또는 하기 서버제어모듈로 제공하는 음성명령분석모듈, 상기 영상분석모듈 및/또는 상기 음성명령분석모듈의 분석결과를 수신하여 기 저장된 증강현실 컨텐츠를 상기 스마트 글래스에 제공하고 상기 스마트 글래스에서 촬영한 영상에 대한 영상정보를 저장하고, 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 저장하는 컨텐츠제공모듈, 및 상기 영상분석모듈 및/또는 상기 음성명령분석모듈로부터 분석결과를 수신하여 상기 실물영상, 상기 좌표영역 키워드 및 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 매칭하여 상기 스마트 글래스에 제공하도록 상기 컨텐츠제공모듈을 제어하는 서버제어모듈을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 영상분석모듈은, 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되, 상기 이미지 인식 모델은, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원할 수 있다.
본 발명의 실시예에 있어서, 상기 음성명령분석모듈은, 노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 상기 자연어 처리모델을 이용하여 상기 음성명령을 분석할 수 있다.
본 발명의 실시예에 따르면, 영상식별 기술을 통한 이미지 인식을 용이하도록 하여 설비 및 제조 현장에서 상품에 대한 정보를 실시간을 확인할 수 있다.
또한, 본 발명의 실시예에 따르면, 음성인식을 통한 마킹 기법을 적용하여 화면내에 표시할 수 있다.
또한, 본 발명의 실시예에 따르면, 음성인식 기술 및/또는 언어 처리 기술 도입으로 워크플로우를 원활하게 만들어 방해와 주의 분산을 없애 생산성을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 화자의 의도를 분석하여 화자에게 보조지식을 전달할 수 있는 리모트 어시스턴스, 비전피킹, 원격 협업 등의 기술을 통해 현장의 생산성을 향상시킬 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 영상처리 시스템의 구성을 나타내는 도면이다.
도 2는 도 1의 스마트 글래스의 외형 및 구성을 예시적으로 나타내는 도면이다.
도 3은 도 1의 글래스제어모듈의 세부 구성을 예시적으로 나타내는 도면이다.
도 4는 눈금자 유저인터페이스를 적용한 증강현실 컨텐츠의 인터렉션 예시를 나타내는 도면이다.
도 2는 도 1의 스마트 글래스의 외형 및 구성을 예시적으로 나타내는 도면이다.
도 3은 도 1의 글래스제어모듈의 세부 구성을 예시적으로 나타내는 도면이다.
도 4는 눈금자 유저인터페이스를 적용한 증강현실 컨텐츠의 인터렉션 예시를 나타내는 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상처리 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상처리 시스템은 스마트 글래스(100) 및 정보제공서버(200)를 포함할 수 있다.
상기 스마트 글래스(100)는 상기 정보제공서버(200)와 통신망으로 연결되고, 사용자의 안면에 착용되어 상기 정보제공서버(200)로 사용자가 바라보는 물체를 촬영한 영상을 실시간으로 제공할 수 있다. 이를 위하여, 상기 스마트 글래스(100)는 글래스모듈(110), 카메라모듈(120), 음성입력모듈(130), 글래스통신모듈(140) 및 글래스제어모듈(150)을 포함할 수 있다.
도 2를 더 참조하면, 상기 글래스모듈(110)은 사용자의 안면에 착용할 수 있도록 안경 형태의 형상으로 형성될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 사용자의 안면에 착용되는 프레임(112) 및 렌즈로 이루어져 상기 프레임(112)에 장착되며 기 설정된 좌표영역이 표시되도록 설정된 디스플레이부(114)를 포함할 수 있다.
여기서, 상기 글래스모듈(110)은 상기 카메라모듈(120), 상기 음성입력모듈(130), 상기 글래스통신모듈(140) 및 상기 글래스제어모듈(150)을 상기 프레임(112)에 내장할 수 있다. 또한, 상기 글래스모듈(110)은 도 4에 도시된 바와 같이 눈금자 유저인터페이스로 상기 디스플레이부(114)에 좌표영역이 설정될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 눈금자 유저인터페이스를 상기 디스플레이부(114)에서 별도의 고정출력신호에 따라 표시하거나, 눈금자 유저인터페이스가 포함된 영상신호를 수신하여 상기 디스플레이부(114)에서 출력할 수 있다.
상기 카메라모듈(120)은 상기 프레임(112)의 일측에 설치되어 사용자의 시선 및/또는 이동에 따라 사용자가 바라보는 물체를 실시간으로 촬영하여 실물영상을 생성할 수 있다.
상기 음성입력모듈(130)은 상기 프레임(112)의 일측에 적어도 하나가 설치되어 사용자의 음성을 입력 처리할 수 있다. 예를 들면, 상기 음성입력모듈(130)은 마이크로 구현되며, 상기 글래스모듈(110)을 착용한 사용자의 발화로부터 음성을 감지할 수 있다. 이때, 상기 음성입력모듈(130)이 감지하는 소리는 사용자에 의한 발화와, 사용자 이외에 다양한 요인에 의해 발생하는 소리를 포함할 수 있다.
상기 글래스통신모듈(140)은 상기 프레임(112)의 일측에 설치되어 상기 정보제공서버(200)와 무선 통신할 수 있다. 이러한 상기 글래스통신모듈(140)은 상기 정보제공서버(200)의 통신 프로토콜(protocol)에 따라서 유선/무선을 통한 광역/근거리 네트워크나 로컬 접속 방식으로 상기 정보제공서버(200)에 접속할 수 있다.
상기 글래스제어모듈(150)은 상기 글래스통신모듈(140)을 통해 수신한 영상신호를 상기 글래스모듈(110)의 디스플레이부(114)에 표시되도록 처리하고, 상기 음성에 대응하여 기 설정된 동작을 수행하도록 처리할 수 있다. 이를 위하여, 상기 글래스제어모듈(150)은 도 3에 도시된 바와 같이 영상처리부(152), 음성처리부(154), 메인제어부(156)를 포함할 수 있다.
상기 영상처리부(152)는 상기 정보제공서버(200)로부터 수신한 증강현실 컨텐츠가 상기 글래스모듈(110)에서 표시되도록 상기 증강현실 컨텐츠를 신호처리하여 상기 글래스모듈(110)로 제공할 수 있다. 여기서, 상기 영상처리부(152)는 수신된 증강현실 컨텐츠에 포함된 영상신호에 대해 다양한 영상처리 프로세스를 수행할 수 있다. 또한, 상기 영상처리부(152)는 이러한 프로세스를 수행한 영상신호를 상기 글래스모듈(110)의 디스플레이부(114)을 통해 출력시킬 수 있다. 이를 통해, 상기 영상처리부(152)는 상기 디스플레이부(114)에 해당 영상신호에 기초하는 영상을 표시되게 만들 수 있다. 예를 들면, 상기 영상처리부(152)는 수신한 증강현실 컨텐츠로부터 해당 증강현실 컨텐츠에 대응하는 영상, 음성 및 부가데이터를 추출하고, 기 설정된 해상도로 조정하여 상기 글래스모듈(110)을 통해 출력시킬 수 있다.
상기 영상처리부(152)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
상기 음성처리부(154)는 상기 음성입력모듈(130)로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈(140)을 통해 상기 정보제공서버(200)로 음성명령을 제공할 수 있다.
구체적으로, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 입력되는 음성 및/또는 소리에 대한 음성처리 프로세스를 수행할 수 있다. 여기서, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 음성 및/또는 소리가 입력되면, 입력된 음성 및/또는 소리가 사용자에 의한 발화인지 아니면 기타 요인에 의하여 발생한 소리인지 여부를 판단할 수 있다. 그러나, 이러한 판단 방법은 다양한 구조가 적용될 수 있으므로 입력된 음성 및/또는 소리가 사람의 목소리에 대응하는 파장 및/또는 주파수 대역에 해당하는지 판단하거나, 또는 사전에 지정된 사용자의 음성의 프로파일에 해당하는지 판단하는 등의 방법을 사용할 수 있다.
또한, 상기 음성처리부(154)는 사용자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이부(114)에 설정된 좌표영역에 대한 키워드(이하, 좌표영역 키워드)를 추출하거나, 증강현실 컨텐츠의 실행명령에 대한 키워드(실행명령 키워드)를 추출하여 음성명령으로 신호처리하고 상기 정보제공서버(200)에 음성명령을 제공할 수 있다. 이를 통해, 상기 음성처리부(154)는 사용자의 발화에 따라 기 설정된 대응 동작이 수행될 수 있도록 지원할 수 있다.
상기 메인제어부(156)는 상기 음성입력모듈(130)을 통해 사용자의 음성이 입력되면, 입력된 음성을 신호처리하도록 상기 음성처리부(154)를 제어할 수 있다. 또한, 상기 메인제어부(156)는 상기 영상처리부(152)를 통해 증강현실 컨텐츠를 영상신호로 신호처리하여 상기 글래스모듈(110)로 표시할 때 상기 음성입력모듈(130)을 통해 컨텐츠에 대한 실행을 명령하는 사용자의 음성이 입력되면 음성명령을 실행하도록 상기 영상처리부(152)를 제어할 수 있다.
상기와 같은, 상기 글래스제어모듈(150)은 이러한 여러 기능을 통합시킨 SOC(system-on-chip), 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 구성들이 인쇄회로기판 상에 장착됨으로써 영상처리보드(미도시)로 구현되어 상기 글래스모듈(110)에 내장될 수 있다.
상기 정보제공서버(200)는 상기 스마트 글래스(100)와 통신망으로 연결되고 상기 스마트 글래스(100)로부터 상기 실물영상 및 상기 음성명령을 수신하여 상기 실물영상 및/또는 상기 음성명령을 분석하고, 상기 실물영상 및/또는 상기 음성명령에 대응하는 증강현실 컨텐츠를 상기 스마트 글래스(100)에게 제공할 수 있다.
이를 위하여, 상기 정보제공서버(200)는 서버통신모듈(210), 영상분석모듈(220), 음성명령분석모듈(230), 컨텐츠제공모듈(240), 서버제어모듈(250)을 포함할 수 있다.
상기 서버통신모듈(210)은 상기 글래스통신모듈(140)과 무선 통신할 수 있다. 여기서, 상기 서버통신모듈(210)은 상기 글래스통신모듈(140)로부터 영상 및/또는 음성명령을 수신하고, 증강현실 컨텐츠를 영상신호로 송신할 수 있다.
상기 영상분석모듈(220)은 상기 스마트 글래스(100)로부터 수신된 영상으로부터 객체를 분석하고, 분석결과를 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 영상분석모듈(220)은 기 설정된 이미지 인식 모델을 이용하여 영상으로부터 객체를 구분하고, 구분된 객체를 생명체와 사물로 분석할 수 있다.
여기서, 상기 이미지 인식 모델은 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정될 수 있으며, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리, (오브젝트 디텍션, OCR, 바코드 또는 QR코드, 객체 추적 등을) 시뮬레이션하는 인식처리 등의 항목을 지원할 수 있다.
예를 들면, 상기 이미지 인식 모델은 상기 데이터 아규먼트가 적용된 이미지 데이터셋 약 1만장 기준으로 약 94% 이상의 정확도를 확보할 수 있다.
상기 음성명령분석모듈(230)은 상기 스마트 글래스(100)로부터 수신한 음성명령으로부터 상기 음성명령에 포함된 키워드를 분석하고, 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 음성명령분석모듈(230)은 상기 음성명령에 포함된 좌표영역 키워드 또는 실행명령 키워드를 분석할 수 있다. 이때, 상기 음성명령분석모듈(230)은 자연어 인식에 관련된 처리모델(이하, 자연어 처리모델)을 이용하여 음성명령을 분석할 수 있다.
여기서, 상기 자연어 처리모델은 노이즈와 음성을 분리하여 딥러닝 학습할 수 있다. 또한, 상기 자연어 처리모델은 딥러닝을 통해 학습된 인공지능 모델에 음성인식(speech-to-text) 기법을 적용하여 음성 데이터를 텍스트로 변환할 수 있다.
또한, 상기 음성명령분석모듈(230)은 음성에 대한 감정 판별 엔진의 음성 감정 인식 특성(Voice Emotion Recognition Feature: VERF)을 이용하여 사용자의 감정을 분석할 수 있다.
예를 들면, 사용자의 음성에서 피치(pitch) 측면으로 소리가 떨리고 더듬거리며 같은 단어를 반복하는 경우, 또는 음색(timbre) 측면으로 사용자의 고유 습관이 있는 경우, 톤(tone) 측면으로 목소리 톤 변화가 크게 없거나 목소리 톤의 높낮이가 느껴지지만 인위적인 경우에, 상기 음성명령분석모듈(230)은 사용자의 다양한 감정을 분석할 수 있다. 즉, 음성명령분석모듈(230)은 사용자가 발화했을 때 불안해하는 부분, 서두르는 부분, 애매한 부분 등을 분석하여 분석 결과를 생성할 수 있다.
상기 컨텐츠제공모듈(240)은 상기 영상분석모듈(220) 및/또는 상기 음성명령분석모듈(230)의 분석결과를 수신하여 기 저장된 증강현실 컨텐츠를 상기 스마트 글래스(100)에 제공할 수 있다.
여기서, 상기 컨텐츠제공모듈(240)은 상기 스마트 글래스(100)에서 촬영한 영상에 대한 정보(이하, 영상정보)를 저장하고, 상기 영상정보, 상기 좌표영역 키워드 또는 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 저장하며, 상기 서버제어모듈(250)의 제어에 따라 증강현실 컨텐츠를 상기 스마트 글래스로 제공할 수 있다. 이때, 상기 컨텐츠제공모듈(240)은 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드와, 상기 증강현실 컨텐츠를 상호 대응하게 맵핑하는 관계 데이터베이스를 저장할 수 있다.
상기 서버제어모듈(250)은 상기 영상분석모듈(220) 및/또는 상기 음성명령분석모듈(230)로부터 분석결과를 수신하여 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 매칭하여 상기 스마트 글래스(100)에 제공하도록 상기 컨텐츠제공모듈(240)을 제어할 수 있다.
본 발명의 실시예에 따르면, 영상식별 기술을 통한 이미지 인식을 용이하도록 하여 설비 및 제조 현장에서 상품에 대한 정보를 실시간을 확인할 수 있다.
또한, 본 발명의 실시예에 따르면, 음성인식을 통한 마킹 기법을 적용하여 화면내에 표시할 수 있다.
또한, 본 발명의 실시예에 따르면, 음성인식 기술 및/또는 언어 처리 기술 도입으로 워크플로우를 원활하게 만들어 방해와 주의 분산을 없애 생산성을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 화자의 의도를 분석하여 화자에게 보조지식을 전달할 수 있는 리모트 어시스턴스, 비전피킹, 원격 협업 등의 기술을 통해 현장의 생산성을 향상시킬 수 있다.
[실시예]
도 4는 눈금자 유저인터페이스를 적용한 증강현실 컨텐츠의 인터랙션 예시를 나타내는 도면이다.
도 4의 1번 영역(좌표영역)과 관련하여, 음성으로 좌표영역과 요구사항을 명령할 수 있도록 스마트 글래스에서 사용자에게 눈금자 유저인터페이스를 보여줄 수 있다.
또한, 도 4의 2번 영역(챗봇영역)과 관련하여, 스마트 글래스는 리모트 어시스턴트를 위해 연결된 채널정보 및 리모트 어시스턴트측과의 커뮤니케이션 목록을 출력하여 사용자에게 보여줄 수 있다.
또한, 도 4의 3번 영역(파일공유영역)과 관련하여, 스마트 글래스는 리모트 어시스턴트 채널과 주고받은 파일의 목록으로 사용자가 전송한 파일과 수신할 파일을 보여줄 수 있다.
또한, 도 4의 4번 영역(증강현실 컨텐츠 인터랙션)과 관련하여, 모션인식이 아닌 음성인식을 통한 마킹 기법을 적용하여 사용자가 궁금한 사항이나 요구사항을 화면 내에서 표기할 수 있다. 이때, 인터렉션은 드로우(draw), 텍스트(text), 하이라이트(highlight), 포인트(point), 인디케이터(indicator) 중 적어도 하나를 포함할 수 있다.
만약, 사용자가 눈금자 유저인터페이스를 이용하여 “7콤마7에 원을 3cm크기로 그려줘”와 같이 명령하면, 정보제공서버에서는 사용자가 현재 보고 있는 화면(영상)에 원형 마킹이 적용된 증강현실 컨텐츠를 스마트 글래스로 전송하고, 스마트 글래스는 증강현실 컨텐츠를 출력하여 사용자에게 보여줄 수 있다.
또는, 사용자가 눈금자 유저인터페이스를 이용하여 “가로(x)라인 15~17, 세로(y)라인 0~5의 적재상태를 알려줘”와 같이 명령하면, 정보제공서버에서는 사용자가 보고 잇는 화면에 해당 영역에 사각 마킹을 적용하고 불량입니다 등으로 적재상태를 나타내는 증강현실 컨텐츠를 출력하여 사용자에게 보여줄 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 스마트 글래스
200: 정보제공서버
200: 정보제공서버
Claims (7)
- 통신망을 통해 상호 통신하는 스마트 글래스 및 정보제공서버를 포함하되,
상기 스마트 글래스는,
사용자의 안면에 착용되어 상기 정보제공서버로 사용자가 바라보는 물체를 촬영한 실물영상과, 사용자의 발화에 따른 음성명령을 제공하고,
상기 정보제공서버는,
상기 스마트 글래스로부터 상기 실물영상 및 상기 음성명령을 수신하여 상기 실물영상 및 상기 음성명령을 분석하고, 상기 실물영상 및/또는 상기 음성명령에 대응하는 증강현실 컨텐츠를 상기 스마트 글래스에게 제공하는 것을 특징으로 하는, 영상처리 시스템.
- 제1항에 있어서,
상기 스마트 글래스는,
사용자의 안면에 착용되는 프레임 및 렌즈로 이루어져 상기 프레임에 장착되며 기 설정된 좌표영역이 표시되도록 설정된 디스플레이부를 포함하는 글래스모듈;
상기 프레임에 설치되어 사용자의 시선 및/또는 이동에 따라 사용자가 바라보는 물체를 실시간으로 촬영하여 상기 실물영상을 생성하는 카메라 모듈;
상기 프레임에 적어도 하나가 설치되어 사용자의 음성을 입력 처리하는 음성입력모듈;
상기 프레임에 설치되어 서버와 통신하는 글래스통신모듈; 및
상기 글래스통신모듈을 통해 수신한 영상신호를 상기 글래스모듈의 디스플레이부에 표시되도록 처리하고, 상기 음성에 대응하여 기 설정된 동작을 수행하도록 처리하는 글래스제어모듈;
을 포함하는 것을 특징으로 하는, 영상처리 시스템.
- 제2항에 있어서,
상기 글래스제어모듈은,
상기 정보제공서버로부터 수신한 증강현실 컨텐츠가 상기 글래스모듈에서 표시되도록 상기 증강현실 컨텐츠를 신호처리하여 상기 글래스모듈로 제공하는 영상처리부;
상기 음성입력모듈로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 정보제공서버로 음성명령을 제공하는 음성처리부; 및
상기 음성입력모듈을 통해 사용자의 음성이 입력되면, 입력된 음성을 신호처리하도록 상기 음성처리부를 제어하거나, 상기 영상처리부를 통해 증강현실 컨텐츠를 영상신호로 신호처리하여 상기 글래스모듈로 표시할 때 상기 음성입력모듈을 통해 컨텐츠에 대한 실행을 명령하는 사용자의 음성이 입력되면 음성명령을 실행하도록 상기 영상처리부를 제어하는 메인제어부;
를 포함하는 것을 특징으로 하는, 영상처리 시스템.
- 제3항에 있어서,
상기 음성처리부는,
사용자의 발화가 입력된 것으로 판단되면, 상기 사용자의 음성으로부터 상기 디스플레이부에 설정된 좌표영역에 대한 좌표영역 키워드를 추출하거나, 증강현실 컨텐츠의 실행명령에 대한 실행명령 키워드를 추출하여 음성명령으로 신호처리하고 상기 정보제공서버에 음성명령을 제공하는 것을 특징으로 하는, 영상처리 시스템.
- 제4항에 있어서,
상기 정보제공서버는,
상기 글래스통신모듈과 무선 통신하는 서버통신모듈;
기 설정된 이미지 인식 모델을 이용하여 상기 스마트 글래스(100)로부터 수신된 영상으로부터 객체를 분석하고, 분석결과를 하기 컨텐츠제공모듈 및/또는 하기 서버제어모듈로 제공하는 영상분석모듈;
자연어 처리모델을 이용하여 상기 스마트 글래스로부터 수신한 음성명령으로부터 상기 음성명령에 포함된 키워드를 분석하고, 분석결과를 하기 컨텐츠제공모듈 및/또는 하기 서버제어모듈로 제공하는 음성명령분석모듈;
상기 영상분석모듈 및/또는 상기 음성명령분석모듈의 분석결과를 수신하여 기 저장된 증강현실 컨텐츠를 상기 스마트 글래스에 제공하고 상기 스마트 글래스에서 촬영한 영상에 대한 영상정보를 저장하고, 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 저장하는 컨텐츠제공모듈; 및
상기 영상분석모듈 및/또는 상기 음성명령분석모듈로부터 분석결과를 수신하여 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 매칭하여 상기 스마트 글래스에 제공하도록 상기 컨텐츠제공모듈을 제어하는 서버제어모듈;
을 포함하는 것을 특징으로 하는, 영상처리 시스템.
- 제5항에 있어서,
상기 영상분석모듈은,
형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되,
상기 이미지 인식 모델은,
상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원하는 것을 특징으로 하는, 영상처리 시스템.
- 제5항에 있어서,
상기 음성명령분석모듈은,
노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 상기 자연어 처리모델을 이용하여 상기 음성명령을 분석하는 것을 특징으로 하는, 영상처리 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190153474A KR102291740B1 (ko) | 2019-11-26 | 2019-11-26 | 영상처리 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190153474A KR102291740B1 (ko) | 2019-11-26 | 2019-11-26 | 영상처리 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210064830A true KR20210064830A (ko) | 2021-06-03 |
| KR102291740B1 KR102291740B1 (ko) | 2021-08-23 |
Family
ID=76396908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190153474A KR102291740B1 (ko) | 2019-11-26 | 2019-11-26 | 영상처리 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102291740B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113609919A (zh) * | 2021-07-12 | 2021-11-05 | 江西影创信息产业有限公司 | 一种应用于mr眼镜交互的全自由度头部交互模块 |
| CN115933948A (zh) * | 2022-11-01 | 2023-04-07 | 杭州灵伴科技有限公司 | 扫码图像信息显示方法、装置、设备和计算机可读介质 |
| WO2023153544A1 (ko) * | 2022-02-14 | 2023-08-17 | 엘지전자 주식회사 | 사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기 |
| WO2023163376A1 (ko) * | 2022-02-25 | 2023-08-31 | 계명대학교 산학협력단 | 가상협업 비대면 실시간 원격 실험 시스템 |
| CN118568551A (zh) * | 2024-08-05 | 2024-08-30 | 深圳市天趣星空科技有限公司 | 智能穿戴眼镜数据分析处理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160053391A (ko) * | 2014-11-04 | 2016-05-13 | 넥시스 주식회사 | 글라스형 웨어러블 디바이스를 이용한 외부디바이스 내 콘텐츠 관리 시스템, 방법 및 글라스형 웨어러블 디바이스용 어플리케이션 |
| KR20170018930A (ko) * | 2014-06-14 | 2017-02-20 | 매직 립, 인코포레이티드 | 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들 |
| KR20190014908A (ko) * | 2017-08-04 | 2019-02-13 | 삼성전자주식회사 | 관심 객체를 검출하는 방법 및 장치 |
| KR20190045012A (ko) * | 2017-10-23 | 2019-05-02 | 주식회사 에이알미디어웍스 | 증강현실 기반의 스마트 글래스를 이용한 전시장 및 전시물 가이드 시스템 |
| KR20190101323A (ko) | 2019-08-12 | 2019-08-30 | 엘지전자 주식회사 | Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법 |
-
2019
- 2019-11-26 KR KR1020190153474A patent/KR102291740B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170018930A (ko) * | 2014-06-14 | 2017-02-20 | 매직 립, 인코포레이티드 | 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들 |
| KR20160053391A (ko) * | 2014-11-04 | 2016-05-13 | 넥시스 주식회사 | 글라스형 웨어러블 디바이스를 이용한 외부디바이스 내 콘텐츠 관리 시스템, 방법 및 글라스형 웨어러블 디바이스용 어플리케이션 |
| KR20190014908A (ko) * | 2017-08-04 | 2019-02-13 | 삼성전자주식회사 | 관심 객체를 검출하는 방법 및 장치 |
| KR20190045012A (ko) * | 2017-10-23 | 2019-05-02 | 주식회사 에이알미디어웍스 | 증강현실 기반의 스마트 글래스를 이용한 전시장 및 전시물 가이드 시스템 |
| KR20190101323A (ko) | 2019-08-12 | 2019-08-30 | 엘지전자 주식회사 | Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113609919A (zh) * | 2021-07-12 | 2021-11-05 | 江西影创信息产业有限公司 | 一种应用于mr眼镜交互的全自由度头部交互模块 |
| WO2023153544A1 (ko) * | 2022-02-14 | 2023-08-17 | 엘지전자 주식회사 | 사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기 |
| WO2023163376A1 (ko) * | 2022-02-25 | 2023-08-31 | 계명대학교 산학협력단 | 가상협업 비대면 실시간 원격 실험 시스템 |
| KR20230127734A (ko) * | 2022-02-25 | 2023-09-01 | 계명대학교 산학협력단 | 가상협업 비대면 실시간 원격 실험 시스템 |
| CN115933948A (zh) * | 2022-11-01 | 2023-04-07 | 杭州灵伴科技有限公司 | 扫码图像信息显示方法、装置、设备和计算机可读介质 |
| CN118568551A (zh) * | 2024-08-05 | 2024-08-30 | 深圳市天趣星空科技有限公司 | 智能穿戴眼镜数据分析处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102291740B1 (ko) | 2021-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102291740B1 (ko) | 영상처리 시스템 | |
| CN112088402B (zh) | 用于说话者识别的联合神经网络 | |
| US11854550B2 (en) | Determining input for speech processing engine | |
| US20140129207A1 (en) | Augmented Reality Language Translation | |
| US11848968B2 (en) | System and method for augmented reality video conferencing | |
| WO2008069519A1 (en) | Gesture/speech integrated recognition system and method | |
| KR20080050994A (ko) | 제스처/음성 융합 인식 시스템 및 방법 | |
| CN113835522A (zh) | 手语视频生成、翻译、客服方法、设备和可读介质 | |
| KR102290549B1 (ko) | 동영상 이미지를 통한 ar 콘텐츠 생산 시스템 | |
| CN109313532B (zh) | 信息处理设备、信息处理方法和程序 | |
| JP2023153283A (ja) | 作業支援システムおよび作業支援方法ならびに作業支援装置 | |
| US11468123B2 (en) | Co-reference understanding electronic apparatus and controlling method thereof | |
| KR102605552B1 (ko) | 증강현실시스템 | |
| WO2023220198A1 (en) | Multi-stage summarization for customized, contextual summaries | |
| KR102706447B1 (ko) | 가상협업 비대면 실시간 원격 실험 시스템 | |
| KR20230077178A (ko) | 원격협업 지원 시스템 | |
| KR20230076411A (ko) | 매뉴얼 제공 시스템 | |
| Kepuska et al. | uC: Ubiquitous collaboration platform for multimodal team interaction support | |
| Bakare et al. | Multimodal Framework for Multilingual Social Interaction Assistive Application (MSIAA) for Elderly People | |
| Jagnade et al. | Advancing Multimodal Fusion in Human-Computer Interaction: Integrating Eye Tracking, Lips Detection, Speech Recognition, and Voice Synthesis for Intelligent Cursor Control and Auditory Feedback | |
| US20240023857A1 (en) | System and Method for Recognizing Emotions | |
| KR20230076410A (ko) | 메타버스 샵 운영시스템 | |
| Shwetha et al. | SignZ-Sign Language Recognition Platform | |
| Abraham et al. | Seeing Through Sound: Object Detection and Distance Analyzer for the Visually Impaired Using Audio Feedback | |
| Prasad et al. | Audio Assistance for Visually Impaired Teachers using Image Processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |