KR20220071326A - 카메라 사진/동영상 랜더링 및 ar 마커 기반의 ar 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법 - Google Patents

카메라 사진/동영상 랜더링 및 ar 마커 기반의 ar 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법 Download PDF

Info

Publication number
KR20220071326A
KR20220071326A KR1020200158323A KR20200158323A KR20220071326A KR 20220071326 A KR20220071326 A KR 20220071326A KR 1020200158323 A KR1020200158323 A KR 1020200158323A KR 20200158323 A KR20200158323 A KR 20200158323A KR 20220071326 A KR20220071326 A KR 20220071326A
Authority
KR
South Korea
Prior art keywords
user
video
camera
photo
smart device
Prior art date
Application number
KR1020200158323A
Other languages
English (en)
Inventor
최원서
Original Assignee
모바일 앱개발 협동조합
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모바일 앱개발 협동조합 filed Critical 모바일 앱개발 협동조합
Priority to KR1020200158323A priority Critical patent/KR20220071326A/ko
Publication of KR20220071326A publication Critical patent/KR20220071326A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

본 발명은 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법에 관한 것이다. 본 발명은, 모바일 스마트 디바이스(10)가 입출력부(11)에 사진 적용 AR 콘텐츠 앱의 메인 화면을 구현하여 AR 오브젝트 보기 모드 사진/동영상 촬영 모드 중 하나에 대한 모바일 스마트 디바이스(10) 사용자의 선택 입력을 수신대기 하는 제 1 단계; 모바일 스마트 디바이스(10)가 AR 오브젝트 보기 모드에 대한 선택 입력을 수신시, 카메라(13)를 활용하여 사용자에 대해서 AR 오브젝트가 배치된 모습을 입출력부(11)를 통해 사용자에게 확인 과정을 거치는 2단계; 모바일 스마트 디바이스(10)가 촬영 모드에 대한 선택 입력을 수신시, 카메라(13)를 활용하여 AR 오브젝트가 배치된 사용자 모습에 대한 촬영을 수행하는 제 3 단계; AI 기술을 활용하여 촬영된 사진의 사용자에 대한 얼굴/성별/표정 등을 인식하여 감정 인식 분석을 실시하고 입출력부(11)를 통해 감정 인식 결과를 사용자에게 확인 과정을 거치는 4단계; 사용자의 반응 데이터를 빅데이터 서버(21)로 전송하는 5단계;를 포함하는 것을 특징으로 한다.
이에 의해, 제작된 AR 카메라 오브젝트가 자동으로 유아 등을 포함한 사용자 얼굴을 중심으로 적절하게 배치되며, 단순한 UI와 가이드 영상을 통해 유아 사용자가 해당 과정을 어려움 없이 수행할 수 있는 효과를 제공한다.
또한, 본 발명은, 유아가 관심 있은 동화/애니메이션 등 콘텐츠 기반의 AR 오브젝트 콘텐츠 제공을 통해 많은 유아 아이들에게 동화 AR 콘텐츠에 대한 관심을 불러일으키고 교육용으로 활용할 수 있는 교육 콘텐츠를 제공할 수 있는 효과가 있다.

Description

카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법 {System and method for narrating augmented reality contents of AR object based on rendering camera photo/video and AR marker}
본 발명은 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법에 관한 것으로, 보다 구체적으로는, 유아가 관심 있은 동화/애니메이션 등 콘텐츠 기반의 AR 오브젝트 콘텐츠 제공을 통해 많은 유아 아이들에게 동화 AR 콘텐츠에 대한 관심을 불러일으키고 교육용으로 활용하도록 하기 위한 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법에 관한 것이다.
증강현실(AR : Augemented Reality)는 현실 환경을 기반으로 컴퓨터에서 생성한 가상의 정보를 부가함으로써 현실세계에 대한 사용자의 인식을 향상시키는 기술이다. 특정 대상을 인식시키면 AR이 구현되는 AR 마커 기술이 보편화되면서 일반적인 사람들도 AR을 쉽게 구현할 수 있게 되었다.
모바일 디바이스 기술의 발전으로 현재 다양한 AR 콘텐츠가 제공되고 있으며, 그 중 사용자 자신이 주인공이 되는 AR 카메라 서비스가 제공되고 있다. 또한 다양한 AR 오브젝트 콘텐츠가 제공되고 있으며, AR 콘텐츠가 제공되고 있으나 유아 사용자를 대상으로 한 AR 카메라 서비스는 아직 상용화되지 않았다.
보다 구체적으로 종래의 AR 카메라 서비스는 다양한 필터와 얼굴인식 스티커, 편집, 스튜디오 기능 등 많은 기능이 내장되어 있지만 필터나 스튜디오 기능들은 유아가 사용하기 적합하지 않은 기능이며 또한 기능들이 많은 만큼 UI 또한 복잡해져 유아가 사용하기에는 적합하지 않게 디자인되었다. 또한 AR 기능 역시 단순히 카메라 사진 기술로 재미와 흥미만을 위한 기능들이며 유아 사용자의 얼굴을 통해 성별이나 기분 등을 인식하고 분석해주는 AI 기능이 탑재된 서비스는 거의 제공되지 않고 있다.
대한민국 특허공개공보 공개번호 제10-2003-0039210호 "사용자 이미지 합성 기능을 갖는 뮤직 비디오 시스템" 대한민국 특허공개공보 공개번호 제10-1998-0019441호 "영상합성장치 및 방법" 대한민국 특허공개공보 공개번호 제10-2005-0010086호 "인터넷을 이용한 원격 동화나라 교육 시스템“ 대한민국 특허공개공보 공개번호 제10-2005-0010086호 "증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템 및 이러한 시스템을 이용한 증강 현실 영상 제공 방법“
본 발명은 상기의 문제점을 해결하기 위한 것으로, 제작된 AR 카메라 오브젝트가 자동으로 유아 등을 포함한 사용자 얼굴을 중심으로 적절하게 배치되며, 또한 UI 역시 단순하고 가이드 또한 잘 되어있어서 유아가 사용하는 데도 큰 무리 없이 수행할 수 있도록 하기 위한 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법에 관한 것이다.
또한, 본 발명은 사진/동영상 촬영 시 고객의 성별, 기분 등을 분석하며, 선택한 AR 오브젝트 및 오브젝트에 대한 반응 데이터를 서버(21)에 전송하고 해당 데이터를 분석하여 고객별로 커스터마이징된 콘텐츠를 제공할 수 있도록 하기 위한 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시 예에 따른 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법은, 모바일 스마트 디바이스(10)가 입출력부(11)에 사진 적용 AR 콘텐츠 앱의 메인 화면을 구현하여 AR 오브젝트 보기 모드 사진/동영상 촬영 모드 중 하나에 대한 모바일 스마트 디바이스(10) 사용자의 선택 입력을 수신대기 하는 제 1 단계; 모바일 스마트 디바이스(10)가 AR 오브젝트 보기 모드에 대한 선택 입력을 수신시, 카메라(13)를 활용하여 사용자에 대해서 AR 오브젝트가 배치된 모습을 입출력부(11)를 통해 사용자에게 확인 과정을 거치는 2단계; 모바일 스마트 디바이스(10)가 촬영 모드에 대한 선택 입력을 수신시, 카메라(13)를 활용하여 AR 오브젝트가 배치된 사용자 모습에 대한 촬영을 수행하는 제 3 단계; AI 기술을 활용하여 촬영된 사진의 사용자에 대한 얼굴/성별/표정 등을 인식하여 감정 인식 분석을 실시하고 입출력부(11)를 통해 감정 인식 결과를 사용자에게 확인 과정을 거치는 4단계; 사용자의 반응 데이터를 빅데이터 서버(21)로 전송하는 5단계;를 포함하는 것을 특징으로 한다.
이때, 상기 제 2 단계는, 모바일 스마트 디바이스(10)가 남자/여자/동물/전체로 구분된 AR 오브젝트 보기 모드에 대한 선택 화면을 입출력부(11) 상으로 구현하는 단계;를 더 포함하는 것을 특징으로 한다.
또한, 상기 제 2단계에 있어서 모바일 스마트 디바이스(10)는 사용자가 선택한 AR 오브젝트를 별도의 리소스 다운로드 없이 내부에서 자동으로 처리하는 것을 특징으로 한다.
또한, 상기 제 2 단계에 있어서 모바일 스마트 디바이스(10)는, 사용자가 선택한 AR 오브젝트와 관련된 콘텐츠에 대해 자사의 서비스인 동화히어로 카메라 서비스를 다운받을 수 있는 링크 아이콘을 입출력부(11) 상으로 구현하는 단계;를 더 포함하는 것을 특징으로 한다.
또한, 상기 제 3 단계에 있어서 모바일 스마트 디바이스(10)는, 사진 촬영에 대한 선택 신호를 수신한 경우, AR 오브젝트가 배치된 사용자에 대해 카메라(13)를 활용한 사진 촬영을 수행한 뒤, 시스템 메모리상으로 임시파일로 촬영된 사진을 저장하며, 동영상 촬영에 대한 선택 신호를 수신한 경우, 동영상 시작 버튼을 누르고 다시 한 번 화면을 누를 때까지 카메라(13)를 활용한 동영상 촬영을 수행한 뒤, 시스템 메모리상으로 임시파일로 촬영된 동영상을 저장하는 것을 특징으로 한다.
또한, 상기 제 4 단계에 있어서 모바일 스마트 디바이스(10)는, AI 기술을 활용하여 사용자에 대한 감정 인식 분석 결과는 성별 및 나이 그리고 행복/분노/싫음/경멸/공포/슬픔/놀람/중립의 정도를 총 합이 100이 되도록 수치를 나눈 결과를 보여주는 것을 특징으로 한다.
또한, 상기 제 4단계의 감정 인식 분석 결과는 각 감정의 정도를 기반으로 자사의 알고리즘을 통해 행복지수를 도출해낸 결과를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법은, 제작된 AR 카메라 오브젝트가 자동으로 유아 등을 포함한 사용자 얼굴을 중심으로 적절하게 배치되며, 단순한 UI와 가이드 영상을 통해 유아 사용자가 해당 과정을 어려움 없이 수행할 수 있는 효과를 제공한다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법은, 유아가 관심 있은 동화/애니메이션 등 콘텐츠 기반의 AR 오브젝트 콘텐츠 제공을 통해 많은 유아 아이들에게 동화 AR 콘텐츠에 대한 관심을 불러일으키고 교육용으로 활용할 수 있는 교육 콘텐츠를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 시스템을 나타내는 도면이다.
도 2는 도 1의 모바일 스마트 디바이스(10)의 구성을 나타내는 블록도이다.
도 3은 도 1의 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 시스템에서 수행되는 AR 오브젝트 적용 및 구연 과정의 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법의 전체적인 과정을 나타내는 흐름도이다.
도 5는 도 4의 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법 중 얼굴 인식과 AR 오브젝트 적용을 구체적으로 나타내는 흐름도이다.
도 6은 도 4의 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법 중 감성 분석과 행복도 측정을 구체적으로 나타내는 흐름도이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 시스템을 나타내는 도면이다.
도 1을 참조하면, 모바일 스마트 디바이스(10)에서 생성된 촬영 사진에 대한 랜더링 기반의 AR 오브젝트 구연 시스템으로서, 사용자 자신의 얼굴에 배치된 AR 콘텐츠를 자동 제작하여 제공하기 위해 적어도 하나 이상의 모바일 스마트 디바이스(10), 네트워크(20)를 포함한다.
여기서 모바일 스마트 디바이스(10)는 사진/동영상 촬영 시 고객의 성별, 기분 등을 분석하며, 선택한 AR 오브젝트 및 오브젝트에 대한 반응 데이터를 서버(21)에 전송하고 해당 데이터를 분석하여 고객별로 커스터마이징된 콘텐츠를 제공할 수 있다.
이 경우, 모바일 스마트 디바이스(10)는 개별 AR 오브젝트를 개별 구입하거나 정액제(주/월/연)로 회원 가입을 할 수 있다.
또한, 모바일 스마트 디바이스(10)는 촬영된 사용자의 사진/동영상에 대한 자동 이미지보정과 AR 오브젝트 배치가 완료된 AR 콘텐츠에 대해서 저장부(15)에 자체적으로 저장할 수 있다.
이와 달리, 별도의 서버(미도시)에 개별 AR 오브젝트를 저장해두고 모바일 스마트 디바이스(10)의 요청에 따라 이를 모바일 스마트 디바이스(10)에게 제공할 수도 있다.
도 2는 도 1의 모바일 스마트 디바이스(10)의 구성을 나타내는 블록도이다. 도 2를 참조하면, 모바일 스마트 디바이스(10)는 터치스크린으로 구성가능한 입출력부(11), 무선 통신부(12), 카메라(13), 제어부(14) 및 저장부(15)를 포함한다. 그리고 제어부(14)는 촬영 모듈(14a), 트래킹 모듈(14b), 랜더링 모듈(14c), 그리고 측정 모듈(14d)을 포함한다.
도 3 내지 도 5는 도 1의 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 시스템에서 수행되는 AR 오브젝트 구연 과정의 개념을 설명하기 위한 도면이다.
이하에서는 도 2의 제어부(14)의 구성을 중심으로, 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 시스템에 대해서 구체적으로 살펴보도록 한다.
제어부(14)는 유아 전용 AR 카메라 앱을 저장부(15)에 저장한 뒤, 설치를 수행한다.
이에 따라, 사진/동영상 콘텐츠 앱의 구성요소로 촬영 모듈(14a), 트래킹 모듈(14b), 랜더링 모듈(14c), 그리고 측정 모듈(14d)이 각각 순차대로 웨이크업(wake-up) 될 수 있다.
이하에서는 각 모듈에 대해서 개별적으로 살펴보도록 한다.
촬영 모듈(14a)은 입출력부(11)에 AR 오브젝트 콘텐츠 앱의 메인 화면을 구현함으로써, AR 오브젝트 보기 모드 또는 사진/동영상 촬영 모드 중 하나에 대한 모바일 스마트 디바이스(10) 사용자의 선택 입력을 수신 대기한다.
촬영 모듈(14a)은 사진/동영상 촬영 모드에 대한 선택 입력을 수신하는 경우, AR 오브젝트가 배치된 사용자에 대해 카메라(13)를 활용한 사진 촬영을 수행한 뒤, 시스템 메모리상으로 임시파일로 촬영된 사진을 저장하며, 동영상 촬영에 대한 선택 신호를 수신한 경우, 동영상 시작 버튼을 누르고 다시 한 번 화면을 누를 때까지 카메라(13)를 활용한 동영상 촬영을 수행한 뒤, 시스템 메모리상으로 임시파일로 촬영된 동영상을 저장한다.
트래킹 모듈(14b)은 가상물체인 AR 오브젝트와 실제 사용자 얼굴 사이의 매개체를 지속적으로 추적하고 인식하여 가상물체의 생성을 위한 기준 좌표계를 설정하여 카메라를 통해 획득되어진 영상 정보를 기반으로 가상물체를 생성하기 위한 영상 처리를 수행한다.
랜더링 모듈(14c)은 트래킹 모듈을 통해 생성된 좌표계를 기반으로 가상물체의 생성 및 제거를 수행한다. 이를 통해 모든 가상물체가 상대적인 움직임을 가지지 않는 경우에는 하나의 마커로 가상 시스템 전체를 실제 환경에 정합할 수 있다.
이후, 측정 모듈(14d)은 AR 브라우저를 통해 획득된 2차원 영상에서 가상물체들 간의 위치 및 거리정보를 파악하기 위해 가상물체들 간의 거리 측정, 생성된 좌표계간의 거리와 방향 측정 및 가상물체간의 간섭 여부를 확인하는 작업을 수행함으로써 최종적으로 랜더링 완료된 AR 오브젝트를 획득한다.
도 4는 본 발명의 실시예에 따른 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법의 전체적인 과정을 나타내는 흐름도이다.
도 4를 참조하면, 모바일 스마트 디바이스(10)는 AR 오브젝트 콘텐츠 앱을 저장부(15)에 저장하여 설치를 수행한 뒤, 입출력부(11) 상에 표시된 유아 전용 AR 카메라 앱에 대한 사용자의 실행 요청에 따라 AR 오브젝트 콘텐츠 앱을 실행함으로써(S11), 시스템 메모리(미도시) 상에 로딩(loading) 한다.
이에 따라, 시스템 메모리에 로딩된 유아 전용 AR 카메라 앱에 의해 모바일 스마트 디바이스(10)의 구성요소가 제어된다.
이하에서는 설명의 편의와 각 구성 간의 유기적 동작에 의해 수행되는바, 유아 전용 AR 카메라 앱이 아닌 모바일 스마트 디바이스(10)를 동작 수행의 주체로 설명하도록 한다.
단계(S11) 이후, 모바일 스마트 디바이스(10)는 입출력부(11)에 유아 전용 AR 카메라 앱의 메인 화면을 구현함으로써, AR 오브젝트 보기 모드 또는 촬영 모드 중 하나에 대한 모바일 스마트 디바이스(10) 사용자의 선택 입력을 수신대기 한다(S12).
단계(S12) 이후, 모바일 스마트 디바이스(10)는 저장부(15)에 미리 저장된 AR 오브젝트 이미지들 중 처음 보이는 디폴트(default) 값으로 AR 오브젝트 중 하나를 랜덤으로 추출한다. 이후, 추출한 이미지를 사용자의 얼굴을 인식한 뒤 해당 얼굴을 중심으로 적절하게 배치한다.(S16)
단계(S13) 이후, 사용자에 의한 입출력부(11)에 구현된 AR 오브젝트 보기 모드에 대한 선택 신호를 수신한 경우, 모바일 스마트 디바이스(10)는 저장부(15)에 미리 저장된 AR 오브젝트 이미지들을 남자/여자/동물/전체로 구분하여 입출력부(11)를 통해 보여준다.(S14). 만약, 사용자에 의한 입출력부(11)에 구현된 촬영 모드에 대한 선택의 경우, AR 오브젝트가 배치된 사용자에 대해 카메라(13)를 활용한 사진 촬영을 수행한 뒤, 시스템 메모리상으로 임시파일로 촬영된 사진을 저장하며, 동영상 촬영에 대한 선택 신호를 수신한 경우, 동영상 시작 버튼을 누르고 다시 한 번 화면을 누를 때까지 카메라(13)를 활용한 동영상 촬영을 수행한 뒤, 시스템 메모리상으로 임시파일로 촬영된 동영상을 저장한다.(S18).
도 5는 도 4의 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법 중 얼굴 인식(S15) 내지 AR 오브젝트 적용(S16)을 구체적으로 나타내는 흐름도이다.
도 5를 참조하면, 카메라(13)가 사람을 분석하고 데이터베이스에 있는 얼굴 데이터와 매칭하는 얼굴인식 AI 학습은 먼저, CCTV를 통해 사람의 얼굴을 캡처(Capturing)하고(S30), 그 즉시 눈과 눈썹, 코와 입, 턱 등의 얼굴 특징이 변하는 각 부위 60여곳을 분석해 특징(Feature)되는 데이터를 추출한다.(S31)
그 다음으로, 추출된 데이터와 데이터베이스에 저장된 얼굴의 특징 데이터와 비교해 일치 여부를 통해 얼굴을 인식한다.(S32). 얼굴의 특징을 추출하는 방법에는 열상(Thermogram) 및 자외선을 이용하거나 3차원 측정기를 이용하는 방법 등이 있다. 얼굴인식은 얼굴검출, 얼굴매칭(얼굴인식), 인식결과 도출 세 단계로 크게 구분되는데 먼저, 얼굴 이미지를 분할하고, 얼굴의 특징 중 어떤 것을 선택할 것인지 결정한다. 선택된 얼굴 이미지를 특징값에 따라 분류, 필터링, 퓨전 등의 작업을 통해 인식 과정을 수행한다. 그 후 얼굴인식이 되면, 다른 정보들과의 결합 및 비교 분석을 통해 최종 인식 결과를 도출하는 과정을 거친다.(S33)
한편 단계(S18)의 사진 촬영 결과에 대해 AI를 통한 감성분석을 실시한다.(S19) 감성 인식은 현재 마이크로소프트사에서 제공하는 Face API를 기반으로 하고 있지만 추후 딥러닝 학습을 통해 자사의 알고리즘으로 대체할 계획이다. 단계(S19) 이후의 촬영된 결과물을 Face API 서버에 전송하여 결과물의 표정을 분석하여 감성을 분석한다.
단계(S19) 이후, 해당 값으로 토대로 자사의 행복도 측정 알고리즘을 통해 사용자의 행복도를 분석한 뒤(S20), 현재의 AR 오브젝트와 행복도 결과를 메타 데이터로 빅데이터 서버(21)에 전송한다.(S21)
도 6은 감성 인식 분석 결과를 토대로 행복도를 도출하는 단계(S20)에 대해 구체적으로 나타낸 흐름도이다. 감성 인식 결과는 촬영된 사진에 대해 행복/분노/싫음/경멸/공포/슬픔/놀람/중립의 감정정도를 총 합이 1이 되는 수치로 산출되는데 감정 : 값과 같이 JSON의 형태로 제공된다. 이때, 각 감정들에 대해 행복과 관련된 감정을 중심으로 배율을 산정하여 각각의 감정값들에 적용한다. 예를 들어, 행복이란 감정은 1배율로 1을 곱하고 중립과 같은 감정들엔 0.1을 곱하는 방식이다. 이렇게 각각의 값들에 배율을 곱한 값들을 한 출한 뒤 긍정적인 감정들은 합산을 하고 부정적 감정들은 차감을 하여 감정값들의 총점을 구한다. 이후, 해당 값에 100을 곱한 수치를 최종 행복도의 값으로 산정한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10 : 모바일 스마트 디바이스
11 : 입출력부
12 : 무선 통신부
13 : 카메라
14 : 제어부
14a : 촬영 모듈
14b : 사진 보정 모듈
14c : 콘텐츠 랜더링 모듈
14d : 콘텐츠 재생 모듈
15 : 저장부
20 : 네트워크
21 : 서버

Claims (1)

  1. 모바일 스마트 디바이스(10)가 입출력부(11)에 사진 적용 AR 콘텐츠 앱의 메인 화면을 구현하여 AR 오브젝트 보기 모드 사진/동영상 촬영 모드 중 하나에 대한 모바일 스마트 디바이스(10) 사용자의 선택 입력을 수신대기 하는 제 1 단계;
    모바일 스마트 디바이스(10)가 AR 오브젝트 보기 모드에 대한 선택 입력을 수신시, 카메라(13)를 활용하여 사용자에 대해서 AR 오브젝트가 배치된 모습을 입출력부(11)를 통해 사용자에게 확인 과정을 거치는 2단계;
    모바일 스마트 디바이스(10)가 촬영 모드에 대한 선택 입력을 수신시, 카메라(13)를 활용하여 AR 오브젝트가 배치된 사용자 모습에 대한 촬영을 수행하는 제 3 단계;
    AI 기술을 활용하여 촬영된 사진의 사용자에 대한 얼굴/성별/표정 등을 인식하여 감정 인식 분석을 실시하고 입출력부(11)를 통해 감정 인식 결과를 사용자에게 확인 과정을 거치는 4단계; 및
    사용자의 반응 데이터를 빅데이터 서버(21)로 전송하는 5단계;를 포함하는 것을 특징으로 하는 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법

    각 단계는 다음의 방법을 포함한다.
    상기 제 2 단계에 있어서 모바일 스마트 디바이스(10)는, 남자/여자/동물 /전체로 구분된 AR 오브젝트 보기 모드에 대한 선택 화면을 입출력부(11) 상으로 구현하는 것을 특징으로 하는 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법과
    모바일 스마트 디바이스(10)는 사용자가 선택한 AR 오브젝트를 별도의 리소스 다운로드 없이 내부에서 자동으로 처리하는 것을 특징으로 하는 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법.

    상기 제 3 단계는, 모바일 스마트 디바이스(10)가 사진 촬영에 대한 선택 신호를 수신한 경우, AR 오브젝트가 배치된 사용자에 대해 카메라(13)를 활용한 사진 촬영을 수행한 뒤, 시스템 메모리상으로 임시파일로 촬영된 사진을 저장하며, 동영상 촬영에 대한 선택 신호를 수신한 경우, 동영상 시작 버튼을 누르고 다시 한 번 화면을 누를 때까지 카메라(13)를 활용한 동영상 촬영을 수행한 뒤, 시스템 메모리상으로 임시파일로 촬영된 동영상을 저장하는 것을 특징으로 하는 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법.

    상기 제 4단계는, 모바일 스마트 디바이스(10)는, AI 기술을 활용하여 사용자에 대한 감정 인식 분석 결과는 성별 및 나이 그리고 행복/분노/싫음/경멸/공포/슬픔/놀람/중립의 정도를 총 합이 100이 되도록 수치를 나눈 결과를 보여주는 것을 특징으로 하는 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴/성별/표정 인식을 통한 인공지능 서비스 구연 방법과
    상기 제 4단계의 감정 인식 분석 결과는 각 감정의 정도를 기반으로 자사의 알고리즘을 통해 행복지수를 도출해낸 결과를 포함하는 것을 특징으로 하는 카메라 사진/동영상 랜더링 및 AR 마커 기반의 AR 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법.
KR1020200158323A 2020-11-24 2020-11-24 카메라 사진/동영상 랜더링 및 ar 마커 기반의 ar 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법 KR20220071326A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200158323A KR20220071326A (ko) 2020-11-24 2020-11-24 카메라 사진/동영상 랜더링 및 ar 마커 기반의 ar 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200158323A KR20220071326A (ko) 2020-11-24 2020-11-24 카메라 사진/동영상 랜더링 및 ar 마커 기반의 ar 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법

Publications (1)

Publication Number Publication Date
KR20220071326A true KR20220071326A (ko) 2022-05-31

Family

ID=81780167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200158323A KR20220071326A (ko) 2020-11-24 2020-11-24 카메라 사진/동영상 랜더링 및 ar 마커 기반의 ar 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법

Country Status (1)

Country Link
KR (1) KR20220071326A (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980019441A (ko) 1998-03-18 1998-06-05 이준식 영상 합성 장치 및 방법(device and method for image synthetic)
KR20030039210A (ko) 2001-11-12 2003-05-17 이스타뱅크(주) 사용자 이미지 합성 기능을 갖는 뮤직 비디오 시스템
KR20050010086A (ko) 2003-07-16 2005-01-27 김인덕 인터넷을 이용한 원격 동화나라 교육 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980019441A (ko) 1998-03-18 1998-06-05 이준식 영상 합성 장치 및 방법(device and method for image synthetic)
KR20030039210A (ko) 2001-11-12 2003-05-17 이스타뱅크(주) 사용자 이미지 합성 기능을 갖는 뮤직 비디오 시스템
KR20050010086A (ko) 2003-07-16 2005-01-27 김인덕 인터넷을 이용한 원격 동화나라 교육 시스템

Similar Documents

Publication Publication Date Title
US9560411B2 (en) Method and apparatus for generating meta data of content
JP2019145108A (ja) 顔に対応する３次元アバターを用いて顔の動きが反映された３ｄアバターを含むイメージを生成する電子装置
US20180330152A1 (en) Method for identifying, ordering, and presenting images according to expressions
US9524418B2 (en) Systems and methods for detecting, identifying and tracking objects and events over time
CN110488975B (zh) 一种基于人工智能的数据处理方法及相关装置
CN109905593B (zh) 一种图像处理方法和装置
EP3410258B1 (en) Method for pushing picture, mobile terminal and storage medium
CN111414506A (zh) 基于人工智能情绪处理方法、装置、电子设备及存储介质
KR20200092207A (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
CN105580050A (zh) 提供图像中的控制点
CN111800650B (zh) 视频配乐方法、装置、电子设备及计算机可读介质
Lehmuskallio The camera as a sensor: The visualization of everyday digital photography as simulative, heuristic and layered pictures
Lo et al. Augmediated reality system based on 3D camera selfgesture sensing
Szwoch On facial expressions and emotions RGB-D database
Zhang Algorithmic photography: A case study of the Huawei moon mode controversy
US11163822B2 (en) Emotional experience metadata on recorded images
US10943117B2 (en) Translation to braille
US11328187B2 (en) Information processing apparatus and information processing method
KR20220071326A (ko) 카메라 사진/동영상 랜더링 및 ar 마커 기반의 ar 오브젝트 구연 시스템 및 얼굴인식을 통한 인공지능 서비스 구연 방법
CN108628454B (zh) 基于虚拟人的视觉交互方法及系统
WO2022206605A1 (zh) 确定目标对象的方法、拍摄方法和装置
CN114708443A (zh) 截图处理方法及装置、电子设备和计算机可读介质
Baskaran et al. Smart vision: Assistive device for the visually impaired community u sing online computer vision service
Jikadra et al. Video calling with augmented reality using WebRTC API
Moore et al. The blind date: Improving the accessibility of mobile dating applications for individuals with visual impairments