KR101889025B1 - R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법 - Google Patents

R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법 Download PDF

Info

Publication number
KR101889025B1
KR101889025B1 KR1020170063103A KR20170063103A KR101889025B1 KR 101889025 B1 KR101889025 B1 KR 101889025B1 KR 1020170063103 A KR1020170063103 A KR 1020170063103A KR 20170063103 A KR20170063103 A KR 20170063103A KR 101889025 B1 KR101889025 B1 KR 101889025B1
Authority
KR
South Korea
Prior art keywords
image
portable terminal
object recognition
result
output
Prior art date
Application number
KR1020170063103A
Other languages
English (en)
Inventor
이석호
신동학
리차드
레니
Original Assignee
동서대학교산학협력단
주식회사 홀로랩
신동학
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단, 주식회사 홀로랩, 신동학 filed Critical 동서대학교산학협력단
Priority to KR1020170063103A priority Critical patent/KR101889025B1/ko
Application granted granted Critical
Publication of KR101889025B1 publication Critical patent/KR101889025B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • G06K9/00201
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법을 제공한다. 이와 같은 본 발명에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법은 종래 시스템의 성능이 낮은 휴대단말기의 환경에서 가상현실 또는 증강현실에 필요한 3차원 영상 이미지를 구현하기 위하여 많은 부하가 발생함으로써 발생하는 휴대단말기의 다운현상이나, 객체 인식을 많은 시간이 소요되는 문제점을 해결하기 위하여 휴대단말기에서 탐색하고자 하는 물체에 대한 객체 인식을 별도의 딥러닝 알고리즘에 의해 사전 훈련 된 신경망을 사용하여 수행 한 FAST R-CNN 알고리즘을 이용하여 실시간의 객체 인식이 가능한 객체인식서버를 통해 수행한 객체 인식 결과를 기반으로 휴대단말기에서 해당 객체에 대한 집적영상을 이용하여 가상현실 또는 증강현실에 활용할 수 있는 3차원 영상을 사용자에게 출력할 수 있도록 하여 시스템 성능이 낮은 휴대단말기에서도 가상현실 또는 증강현실에 필요한 3차원 영상을 쉽고, 빠르게 실시간으로 구현할 수 있도록 한다.
본 발명에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템은 3차원 영상으로 출력하고자 하는 탐지 대상의 물체를 촬영한 영상파일이나 동영상파일을 저장하여 객체인식서버에 전송하고, 객체인식서버로부터 인식된 결과를 추출하여 해당 결과에 부합하는 객체에 대한 집적영상을 출력하는 휴대단말기;와 상기 휴대단말기로부터 전송된 영상파일이나 동영상파일에 포함된 이미지로부터 RPN을 이용하여 객체영역을 특정하고, 특정된 객체영역에서 객체인식 알고리즘을 이용하여 이미지에 포함된 객체를 인식한 결과를 저장하는 객체인식서버; 및 상기 휴대단말기 출력화면의 상단에 위치하여 객체인식서버로부터 전송된 인식결과에 의해 출력되는 해당 객체의 집적영상을 3차원 입체영상으로 표시하는 렌티큘러 필터가 내장된 폴리오케이스;를 포함하는 구성으로 이루어지며,
본 발명에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력방법은 휴대단말기의 영상기기를 이용하여 물체를 촬영한 영상파일이나 동영상파일을 객체인식서버에 전송하는 영상전송단계;와 객체인식서버에서 상기 영상전송단계를 통해 수신한 영상파일이나 동영상파일에 포함된 이미지로부터 객체영역을 특정하고, 특정된 객체영역에서 객체인식 알고리즘을 이용하여 이미지에 포함된 객체를 인식한 결과를 저장하는 객체인식단계; 및 휴대단말기에서 상기 객체인식단계에서 인식된 객체에 대한 정보를 추출하여 해당 정보에 대응하는 객체의 집적영상을 이용하여 렌티큘러 필터가 내장된 폴리오케이스를 통해 3차원 입체영상으로 출력하는 영상출력단계;를 포함하는 구성으로 이루어진다.

Description

R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법{System and Method for Displaying 3-Dimension Images for Mobile Terminal Using Object Recognition Based on R-CNN Algorithm}
본 발명은 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법에 관한 것으로, 좀더 구체적으로는 스마트폰과 같은 휴대단말기 상에서 렌티큘러 필터가 내장된 폴리오케이스를 통해 스마트 폰 위에 표시되는 3차원 집적영상을 위한 마커가 없는 증강현실을 제공하는 시스템 및 방법으로서, 마커가 없는 증강현실은 스마트폰과 같은 휴대단말기에 내장된 영상 장치를 통해 탐지한 물체 등의 객체를 실시간으로 인식하기 위해 시스템 성능이 낮은 휴대단말기보다 인식계산 속도가 훨씬 빠른 별도의 서버에서 휴대단말기로부터 탐지하고자하는 객체의 이미지를 캡처하여 딥러닝 알고리즘인 빠른 R-CNN(Region-Convolution Neural Network) 알고리즘을 이용하여 실시간으로 객체를 인식하여 그 결과를 휴대단말기에서 피드백 받아 휴대단말기에서 인식된 객체의 집적영상을 재생하여 사용자에게 증강현실 또는 가상현실의 3차원 영상을 출력할 수 있도록 하는 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법에 관한 것이다.
최근 스마트폰과 같은 많은 전자통신기기가 보편화되고, IT기술의 인프라가 증대되어 전자통신기기를 이용하여 실제 현실세계를 가상의 화면상에 표현하는 증강 현실(AR: Augmented Reality)기술이 점차 대중화되고 있다. 이러한 증강 현실은 현실의 이미지를 바탕으로 3차원 가상 이미지를 융합하여 하나의 화면상에 표시하는 현시 기술을 의미한다.
따라서, 카메라 모듈을 이용하여 촬영하는 경우, 현실의 공간에 다양한 정보를 덧씌워 보여주는 증강 현실(AR; Agumented Reality)기법을 이용한 컨텐츠 제공에 대한 연구가 활발하게 이루어지고 있다.
이러한 증강 현실기술과 함께 가상의 공간과 사물을 이용하는 가상 현실기술은 최근 영화, 게임 등 엔터테이먼트 분야뿐만 아니라 교육, 디자인 등 여러 분야에서 많이 활용되어 더욱 주목받고 있다. 특히 증강 현실 기술에 있어서, 특정 마커(QR코드, AR 태그, 바코드 등)를 인식하거나 위치 정보를 이용하여 해당 화면에서 객체를 증강시키는 방법이 주로 이용되고 있다.
대한민국 등록특허공보 제10-1714983호 제품을 활용한 증강 현실을 구현하기 위한 서버 및 사용자 장치 및 제품에서 도 1에 도시된 바와 같이, 제품에 표시된 이미지나 마크, 글자를 통해 문자, 이미지, 사운드, 동영상, 2d,3d 입체동영상을 현시하기 위한 증강 현시 된 컨텐츠를 다양하게 활용하기 위한 증강현실 제품현시시스템에서, 제 1 타겟 대상의 적어도 일부분을 포함하는 제 1 영상을 촬영할 수 있도록 배치된 하나 이상의 카메라부; 상기 제 1 타겟 대상은, 이미지 및 텍스트 중 적어도 하나를 포함하며, 상기 제 1 타겟 대상에 대하여 실행하고자 하는 하나 이상의 동작에 대한 사용자 선택 입력을 수신하는 사용자 선택입력부와 상기 하나 이상의 동작은, 상기 제 1 타겟 대상에 대하여 증강현실 시스템을 접목하여 수행되며, 상기 사용자 선택 입력을 수신하기 위한 사용자 인터페이스를 생성하고, 상기 사용자 선택 입력에 적어도 부분적으로 기초하여 상기 제 1 타겟 대상이 적어도 하나 이상의 동작을 수행하도록 결정하며, 상기 하나 이상의 동작을 수행하는 상기 제 1 타겟 대상에 관련된 제 2 영상을 출력할 것을 허용하며, 상기 제 2 영상을 저장하도록 결정하며, 사용자 장치와 관련된 저장 매체 및 서버 중 적어도 하나에 저장된 하나 이상의 영상들을 포함하는 영상 리스트를 생성하며, 그리고 상기 하나 이상의 영상들 중 사용자 선택 입력을 수신한 적어도 하나 이상의 영상에 대한 편집 동작, 삭제 동작 및 공유 동작 중 적어도 하나를 수행하도록 허용하는 제어부; 및 상기 사용자 인터페이스, 상기 제 1 영상 및 상기 제 2 영상 중 적어도 하나를 출력하는 디스플레이부; 를 포함하는 사용자 장치이다.
이러한 제품을 활용한 증강 현실을 구현하기 위한 서버 및 사용자 장치 및 제품의 경우 사용자 장치를 통하여 입력받은 정보를 마커로 객체의 영상을 배경 영상에 이용하게 되는데, 이러한 마커를 이용하는 경우에는 정형화된 규칙에 의거하기 때문에 다양한 상호 작용과 할당되지 않은 개체를 사용하여 응용 프로그램을 만들려면 마커가 없는 방법이 필요하다.
대한민국 공개특허공보 제10-2014-0139319호 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체에서는 도 1에 도시된 바와 같이, (a) 소정의 센서를 이용하여 모바일 단말기의 움직임을 감지함으로써 상기 모바일 단말기가 소정 시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 단계;와 (b) 상기 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통하여 인식되도록 하는 단계; 및 (c) 상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 부가하여 증강 현실 서비스를 제공하는 단계를 포함하되, 상기 (a) 단계는, 상기 모바일 단말기가 상기 소정 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되, 상기 기 설정된 변위 값은, 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴이 저장되고 이를 통해 데이터 학습을 통하여 적응적으로 조정되는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법에 관한 것이다.
하지만 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체는 상대적으로 성능이 낮은 모바일 단말기에서 실제 사물을 그대로 인식하여 증강 현실을 제공하기 위하여 많은 시스템의 부하가 현실적으로 필요하기 때문에 이를 구동하기 위해서 자이로 센서를 이용하여 모바일 단말기를 움직임이 없는 가운데서 이루어지고, 또 실제 사물을 인식하는데 많은 부하가 필요함에도 이를 극복하는데 한계점이 있다.
대한민국 등록특허공보 제10-1714983호 "제품을 활용한 증강 현실을 구현하기 위한 서버 및 사용자 장치 및 제품" 대한민국 공개특허공보 제10-2014-0139319호 "모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체"
따라서 본 발명은 이와 같은 종래 기술의 한계를 극복하기 위한 것으로, 시스템의 성능이 비교적 낮은 휴대단말기 환경에서 가상현실 및 증강현실에 부합하는 3차원 영상을 구현하기 위해서, 다양한 상호 작용과 할당되지 않은 개체를 구현할 수 있도록 마커가 없는 가상현실 또는 증강현실 환경에서 보다 빠른 객체인식이 이루어질 수 있도록 휴대단말기를 통하여 탐지한 물체를 촬영한 영상이미지를 높은 성능을 가지고 있는 객체인식서버에 전송하여 딥러닝 알고리즘인 R-CNN 알고리즘을 이용하여 학습된 객체정보를 기반으로 휴대단말기보다 훨씬 빠르고 정확하게 물체에 대한 객체 인식을 수행하게 됨으로써, 이러한 인식 결과를 기반으로 휴대단말기에서 해당 객체에 대한 집적영상을 검색하여 출력하고, 이를 사용자에게 폴리오케이스를 통해 가상현실 또는 증강현실의 3차원 영상으로 표시할 수 있는 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위하여, 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템은 3차원 영상으로 출력하고자 하는 탐지 대상의 물체를 촬영한 영상파일이나 동영상파일을 저장하여 객체인식서버에 전송하고, 객체인식서버로부터 인식된 결과를 추출하여 해당 결과에 부합하는 객체에 대한 집적영상을 출력하는 휴대단말기;와 상기 휴대단말기로부터 전송된 영상파일이나 동영상파일에 포함된 이미지로부터 RPN을 이용하여 객체영역을 특정하고, 특정된 객체영역에서 객체인식 알고리즘을 이용하여 이미지에 포함된 객체를 인식한 결과를 저장하는 객체인식서버; 및 상기 휴대단말기 출력화면의 상단에 위치하여 객체인식서버로부터 전송된 인식결과에 의해 출력되는 해당 객체의 집적영상을 3차원 입체영상으로 표시하는 렌티큘러 필터가 내장된 폴리오케이스;;를 포함하는 구성으로 이루어져 있다.
이와 같은 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템의 객체인식서버는, 객체인식 알고리즘으로 R-CNN 알고리즘을 이용하여, 객체를 특정하는 RPN과 R-CNN알고리즘을 컨볼루션하여 객체를 인식할 수 있다.
이와 같은 본 발명의 다른 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력방법은 휴대단말기의 영상기기를 이용하여 물체를 촬영한 영상파일이나 동영상파일을 객체인식서버에 전송하는 영상전송단계;와 객체인식서버에서 상기 영상전송단계를 통해 수신한 영상파일이나 동영상파일에 포함된 이미지로부터 객체영역을 특정하고, 특정된 객체영역에서 객체인식 알고리즘을 이용하여 이미지에 포함된 객체를 인식한 결과를 저장하는 객체인식단계; 및 휴대단말기에서 상기 객체인식단계에서 인식된 객체에 대한 정보를 추출하여 해당 정보에 대응하는 객체의 집적영상을 이용하여 렌티큘러 필터가 내장된 폴리오케이스를 통해 3차원 입체영상으로 출력하는 영상출력단계;를 포함하는 구성으로 이루어져 있다.
이와 같은 본 발명의 다른 실시예에 따른 러닝 알고리즘 기반 객체인식을 통한 모바일 3차원영상 출력방법의 객체인식단계는, 상기 영상전송단계에서 전송된 영상파일이나 동영상파일의 이미지에서 인식하고자 하는 물체에 해당하는 영역을 RPN을 이용하여 지정하는 영역지정단계;와 상기 영역지정단계에서 지정한 영역내의 물체를 학습된 R-CNN 알고리즘을 객체데이터베이스에 저당된 객체특성을 비교하여 이미지속의 객체로 특정하는 객체특정단계; 및 상기 객체특정단계에서 특정하여 인식한 결과인 객체의 명칭을 객체데이터베이스에 저장하는 결과저장단계;를 포함하는 구성으로 이루어져 있다.
이와 같은 본 발명의 다른 실시예에 따른 러닝 알고리즘 기반 객체인식을 통한 모바일 3차원영상 출력방법의 영상출력단계는, 휴대단말기에서 상기 객체데이터베이스에 저장된 인식결과를 추출하는 결과추출단계;와 상기 결과추출단계로부터 추출한 결과에 해당하는 객체에 대응하는 집적영상 을 검색하여 휴대단말기의 출력기기에 출력하는 집적영상출력단계; 및 상기 집적영상출력단계에서 출력되는 집적영상을 렌티큘러 필터를 내장한 폴리오케이스을 통해 3차원 입체영상으로 표시하는 입체영상출력단계;를 포함하는 구성으로 이루어져 있다.
본 발명에 의한 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법에 의하면, 종래 시스템의 성능이 낮은 휴대단말기의 환경에서 가상현실 또는 증강현실에 필요한 3차원 영상 이미지를 구현하기 위하여 많은 부하가 발생함으로써 발생하는 휴대단말기의 다운현상이나, 객체 인식을 많은 시간이 소요되는 문제점을 해결하기 위하여 휴대단말기에서 탐색하고자 하는 물체에 대한 객체 인식을 별도의 딥러닝 알고리즘에 의해 사전 훈련 된 신경망을 사용하여 수행 한 FAST R-CNN 알고리즘을 이용하여 실시간의 객체 인식이 가능한 객체인식서버를 통해 수행한 객체 인식 결과를 기반으로 휴대단말기에서 해당 객체에 대한 집적영상을 이용하여 가상현실 또는 증강현실에 활용할 수 있는 3차원 영상을 사용자에게 출력할 수 있도록 하여 시스템 성능이 낮은 휴대단말기에서도 가상현실 또는 증강현실에 필요한 3차원 영상을 쉽고, 빠르게 실시간으로 구현할 수 있는 효과가 있다.
도 1은 종래 발명에 실시예에 따른 제품을 활용한 증강 현실을 구현하기 위한 시스템의 구성도;
도 2는 종래 발명에 실시예에 따른 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법의 흐름도;
도 3은 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템의 구성도;
도 4는 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템의 휴대단말기 및 폴리오케이스의 배치도;
도 5는 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템의 흐름도;
도 6은 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력방법의 순서도;
도 7은 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력방법의 객체인식단계의 순서도;
도 8은 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력방법의 객체영상출력단계의 순서도;
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부된 도면 도 3 내지 도 7에 의거하여 상세히 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 통상적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공 되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 한편, 도면과 상세한 설명에서 휴대단말기, 객체인식서버, 객체데이터베이스 등 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히, 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.
도 3은 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템의 구성도이다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템(100)은 휴대단말기(110), 객체인식서버(120), 폴리오케이스(130)를 포함하는 구성으로 이루어진다.
휴대단말기(110)는 스마트폰, 휴대폰, 태블릿, 노트북 등 휴대가 가능한 단말기로서, 카메라와 같은 영상기기(111)를 탑재하고 있으며, 무선 LANs, CDMA 등 다양한 형태의 무선네트워크를 기반의 단말기통신기기(112)를 통해 통신이 가능하다. 그리고 휴대단말기(110)는 촬영된 동영상이나 이미지를 저장하는 저장기기(113)가 있으며, 사용자에게 동영상이나 이미지를 표시할 수 있는 OLED, LED, LCD를 이용하여 출력하는 출력기기(114)을 장착하고, 이러한 영상기기(111), 단말기통신기기(112), 저장기기(113) 및 출력기기(114)를 제어하는 중앙처리기(114)를 포함한다.
상기 영상기기(111)와 단말기통신기기(112)를 휴대단말기에 탑재되지 않고, 별도의 외부기기로 연결될 수 있다.
상기 휴대단말기(110)는 출력기기(113)를 통해 3차원 영상을 출력하고자 하는 대상으로 탐지하고자하는 물체에 대하여 영상기기(111)를 이용하여 촬영한 영상파일이나 동영상파일을 저장기기(113)에 저장한 후, 저장된 영상파일이나 동영상파일을 상기 단말기통신기기(112)을 이용하여 객체인식서버(120) 전송한다.
상기 영상기기(111)는 휴대단말기(110)에 탑재된 경우를 서술하였으나, 이에 한정하지 않으며, 휴대단말기의 외부에서 위치하여 탐지하고자 하는 물체를 촬영하여 휴대단말기에 전송할 수도 있다.
또한 단말기통신기기(112)의 경우에도 휴대단말기(110)에 탑재되어 있으나, 휴대단말기와 연결된 별도의 통신기기에 의해 객체인식서버(120)와 통신을 수행할 수 있다.
객체인식서버(120)에 전송된 영상파일이나 동영상파일은 객체인식서버(120)에 전송된 후, 휴대단말기(110)의 저장기기(113)의 저장 공간을 확보하기 위하여 삭제된다.
상기 객체인식서버(120)는 서버통신기기(121), 객체인식연산기(122), 객체데이터베이스(123)를 포함하여 이루어져 상기 휴대단말기(110)로부터 전송된 영상파일이나 동영상파일을 수신하여 영상파일이나 동영상파일의 이미지에 포함되어 있는 물체에 해당하는 객체영역을 특정하여 객체가 무었에 해당하는지 인식하여 저장한다.
상기 객체인식서버(120)는 먼저 서버통신기기(121)를 통해 휴대단말기(110)의 단말기통신기기(112)로부터 전송된 영상파일이나 동영상 파일을 수신한다. 그리고 수신된 영상파일이나 동영상파일의 이미지에 포함되어 있는 물체에 해당하는 영역을 특정하기 위하여 RPN(Region Proposal Network)를 이용하여 객체영역을 추출한다.
상기 추출된 객체영역에 있는 물체를 하나의 객체로 인식하기 위하여 상기 객체인식연산기(122)에서 딥러닝 알고리즘인 R-CNN알고리즘을 이용하여 학습하여 저장된 객체데이터베이스(123)의 여러 객체들과 비교하여 이미지 속의 물체가 객체데이터베이스(123)의 객체로 인식이 되면 인식된 객체의 명칭 결과를 객체데이터베이스(123)에 저장하여 학습 결과를 업그레이드한다.
상기 객체인식서버(120)는 객체영역을 특정하는 RPN과 특정된 객체를 인식하는 알고리즘인 Fast R-CNN을 하나의 네트워크로 컨볼루션 결합을 통해 보다 빠르게 객체인식을 객체인식을 위해 이미지내의 물체와 객체데이터베이스에 저장된 다양한 정보와 비교함으로써 발생하는 많은 연산에 따라 소요되는 시간을 줄임으로써, 시스템 성능이 낮은 휴대단말기(110)보다 훨씬 빠르게 객체를 인식할 수 있다.
상기 휴대단말기(110)는 객체인식서버(120)에서 수행한 객체인식의 결과를 통해 얻어진 객체에 대한 집적영상을 휴대단말기의 출력기기(114)에 출력한다.
도 4는 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템의 휴대단말기 및 폴리오케이스의 배치도이다.
도 4에 도시된 바와 같이, 상기 폴리오케이스(130)는 렌티큘러 필터를 내장하고 있어, 상기 휴대단말기(110)의 출력화면 상단에 위치하여 출력되는 해당 객체의 집적영상을 가상현실 또는 증강현실에 사용되는 3차원 입체영상으로 표시한다.
도 5는 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템의 흐름도이다.
도 5에 도시된 바와 같이, 상기와 같이 구성된 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템은 휴대단말기(110)의 영상기기(111)를 이용하여 촬영한 영상이나 동영상파일을 저장한 후 단말기통신기기(112)와 서버통신기기(121)간의 무선통신을 이용하여 객체인식서버(120)에 영상이미지를 전송하면 객체인식서버(120)는 이미지에 포함되어 있는 RPN를 이용하여 물체의 객체영역을 특정하고, 특정된 객체영역의 물체이미지와 종래 객체데이터베이스(123)에 저장된 다양한 물체이미지와 R-CNN알고리즘을 이용하여 얻은 객체로 인식된 명칭 등과 같은 결과를 객체데이터베이스(123)에 저장한 후, 결과를 휴대단말기(110)에 전송하면, 휴대단말기(110)는 해당 결과에 부합하는 집적영상을 검색하여 출력기기(113)에 출력한다. 출력기기(113)에 출력되는 집적영상은 렌티큘러 필터를 내장된 폴리오케이스(130)를 통해 사용자에게 가상현실 또는 증강현실에 활용되는 3차원영상으로 출력된다.
도 6은 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력방법의 순서도이다.
도 6에 도시된 바와 같이, R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력방법은 영상전송단계(S110), 객체인식단계(S120), 영상출력단계(130)를 포함하여 이루어진다.
상기 영상전송단계(S110)는 휴대단말기(110)의 영상기기(111)를 이용하여 탐지하고자하는 물체를 촬영한 영상파일이나 동영상파일을 저장기기(113)에 먼저 저장하여 단말기통신기기(112)를 이용하여 객체인식서버(120)에 전송한다. 전송이 완료된 후에는 객체인식서버(120)에 전송한 영상파일이나 동영상파일을 삭제한다.
도 7은 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력방법의 객체인식단계의 순서도이다.
도 7에 도시된 바와 같이, 객체인식단계(S120)는 영역지정단계(S121), 객체특정단계(S122), 결과저장단계(S123)를 포함하여 이루어져 객체인식서버(120)의 객체인식연산기(122)를 이용하여 상기 영상전송단계(S110)를 통해 수신한 영상파일을 대상으로 딥러닝 알고리즘을 통해 영상내의 객체를 인식한 결과를 저장한다.
딥러닝 알고리즘의 하나인 R-CNN알고리즘을 이용하여 객체를 자동적으로 인식하기 위해서는 먼저 많은 객체 정보에 대하여 사전에 학습이 필요하다. 다양한 대상 객체이미지를 대상으로 해당 이미지에 대한 답을 제시함으로써, 어떤 이미지에 포함되어 있는 물체에 대한 객체특성을 R-CNN알고리즘을 통해 학습이 이루어지도록 한다. 이러한 학습을 통하여 R-CNN알고리즘은 훈련되어 점점 더 업그레이드된다.
따라서 향후 새로운 물체에 대한 이미지에 대하여 해당 물체에 대한 객체특성을 파악하여 특정 객체로 인식이 이루어지고, 새로운 물체에 대하여 R-CNN알고리즘에 대하여 업그레이드가 이루어질 수 있다.
영역지정단계(S121)는 상기 영상전송단계(S110)에서 전송된 영상파일의 이미지내에 포함된 물체를 인식하기 위하여 인식에 필요한 물체외의 영역을 제거할 수 있도록 RPN을 이용하여 이미지내의 물체영역을 지정한다.
객체특정단계(S122)는 상기 영역지정단계(S121)에서 지정한 영역내의 물체를 대상으로 사전에 학습된 R-CNN알고리즘을 통해 학습하여 저장된 객체데이터베이스(123)의 여러 객체특성과 비교하여 이미지 속의 물체가 객체데이터베이스(123)의 객체로 인식이 되면 인식된 객체의 명칭 등의 결과를 도출한다.
결과저장단계(S123)는 상기 객체특정단계(S122)에서 인식한 결과를 객체데이터베이스(123)에 추가로 저장한다. 이렇게 저장된 결과는 R-CNN알고리즘을 업그레이드하는 새로운 학습으로 저장된다.
도 8은 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력방법의 영상출력단계의 순서도이다.
상기 영상출력단계(130)는 결과추출단계(S131), 집적영상출력단계(S132), 입체영상출력단계(S133)를 포함하여 이루어져 휴대단말기(110)에서 상기 객체인식단계(S120)에서 인식된 객체에 대한 정보를 추출하여 해당 정보에 대응하는 객체의 집적영상을 이용하여 3차원 입체영상으로 출력한다.
상기 결과추출단계(S131)는 상기 휴대단말기(110)에서 상기 객체인식서버(120)의 객체데이터베이스(123)를 일정한 시간 간격으로 체크하여 상기 결과저장단계(123)에서 인식된 결과가 저장되었는지를 확인한다. 새롭게 인식된 결과가 객체데이터베이스(123)에 저장되면 휴대단말기(110)는 객체데이터베이스(123)에서 인식결과를 추출한다.
상기 결과추출단계(S131)는 상기 결과저장단계(123)에서 객체데이터베이스(123)에 저장된 인식결과를 서버통신기기(121)를 이용하여 휴대단말기(110)에 전송할 수 있다.
상기 집적영상출력단계(S132)는 객체인식서버(120)에서 해당 물체에 대한 객체 인식이 완료되어 전송된 인식결과에 해당하는 객체의 집적영상을 검색하여 휴대단말기(110)의 출력기기(114)에 출력한다. 출력되는 집적영상은 3ds 파일에서 3D(Dimension) 객체를 생성하는 jPCT 라이브러리를 사용하여 제작한 데이터를 구동하여 출력기기(141)에 출력한다.
상기 입체영상출력단계(S133)는 상기 집적영상출력단계(S132)에서 출력기기(141)에 출력되는 집적영상을 가상현실이나 증강현실의 3차원 입체영상으로 나타날 수 있도록 렌티큘러 필터를 내장한 폴리오케이스(130)을 통해 출력한다.
상술한 바와 같은, 본 발명의 실시예에 따른 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.
100 : 출력시스템
110 : 휴대단말기
111 : 영상기기
112 : 단말기통신기기
113 : 저장기기
114 : 출력기기
115 : 중앙처리기
120 : 객체인식서버
121 : 서버통신기기
122 : 객체인식연산기
123 : 객체데이터베이스
130 : 폴리오케이스
S110 : 영상전송단계
S120 : 객체인식단계
S121 : 영역지정단계
S122 : 객체특정단계
S123 : 결과저장단계
S130 : 영상출력단계
S131 : 결과추출단계
S132 : 집적영상출력단계
S133 : 입체영상출력단계

Claims (5)

  1. 3차원 영상으로 출력하고자 하는 탐지 대상의 물체를 촬영한 영상파일이나 동영상파일을 저장하여 객체인식서버에 전송하고, 객체인식서버를 일정한 시간 간격으로 체크하여 새롭게 저장된 인식된 결과를 추출하여 해당 결과에 부합하는 객체에 대한 집적영상을 출력하는 휴대단말기;
    상기 휴대단말기로부터 전송된 영상파일이나 동영상파일에 포함된 이미지로부터 RPN을 이용하여 객체영역을 특정하고, 특정된 객체영역에서 객체인식 알고리즘으로 R-CNN 알고리즘을 이용하여 이미지에 포함된 객체를 인식한 결과를 저장하는 객체인식서버; 및
    상기 휴대단말기 출력화면의 상단에 위치하여 객체인식서버로부터 전송된 인식결과에 의해 출력되는 해당 객체의 집적영상을 3차원 입체영상으로 표시하는 렌티큘러 필터가 내장된 폴리오케이스;를 포함하는 것을 특징으로 하는 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템.
  2. 삭제
  3. 휴대단말기의 영상기기를 이용하여 물체를 촬영한 영상파일이나 동영상파일을 객체인식서버에 전송하는 영상전송단계;
    객체인식서버에서 상기 영상전송단계를 통해 수신한 영상파일이나 동영상파일에 포함된 이미지로부터 인식하고자 하는 물체에 해당하는 객체영역에 대하여 RPN을 이용하여 특정하고, 특정된 객체영역내의 물체를 학습된 R-CNN 알고리즘을 이용하여 객체데이터베이스에 저장된 객체특성을 비교하여 이미지에 포함된 객체를 특정하여 인식한 결과인 객체의 명칭을 객체데이터베이스에 저장하는 객체인식단계; 및
    휴대단말기에서 상기 객체인식단계에서 인식된 객체에 대한 정보를 추출하여 해당 정보에 대응하는 객체의 집적영상을 이용하여 렌티큘러 필터가 내장된 폴리오케이스를 통해 3차원 입체영상으로 출력하는 영상출력단계;를 포함하여 이루어지는 것을 특징으로 하는 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력방법.
  4. 삭제
  5. 제 3 항에 있어서,
    상기 영상출력단계는,
    휴대단말기에서 상기 객체데이터베이스를 일정한 시간 간격으로 체크하여 상기 결과저장단계에서 인식된 결과가 저장되었는지를 확인하여, 저장된 새롭게 인식결과를 추출하는 결과추출단계;
    상기 결과추출단계로부터 추출한 인식된 결과에 해당하는 객체에 대응하는 집적영상을 검색하여 휴대단말기의 출력기기에 출력하는 집적영상출력단계; 및
    상기 집적영상출력단계에서 출력되는 집적영상을 렌티큘러 필터를 내장한 폴리오케이스을 통해 3차원 입체영상으로 표시하는 입체영상출력단계;를 포함하여 이루어지는 것을 특징으로 하는 R-CNN 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력방법.
KR1020170063103A 2017-05-22 2017-05-22 R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법 KR101889025B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170063103A KR101889025B1 (ko) 2017-05-22 2017-05-22 R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170063103A KR101889025B1 (ko) 2017-05-22 2017-05-22 R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법

Publications (1)

Publication Number Publication Date
KR101889025B1 true KR101889025B1 (ko) 2018-08-16

Family

ID=63443484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170063103A KR101889025B1 (ko) 2017-05-22 2017-05-22 R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법

Country Status (1)

Country Link
KR (1) KR101889025B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020045804A1 (ko) * 2018-08-27 2020-03-05 삼성전자 주식회사 인포그래픽을 제공하기 위한 전자 장치 및 그에 관한 방법
WO2021002681A1 (ko) * 2019-07-01 2021-01-07 삼성전자 주식회사 객체를 인식하기 위한 전자 장치 및 그의 동작 방법
US11443502B2 (en) 2019-10-08 2022-09-13 Samsung Display Co., Ltd. Object detection post-processing device, and display device including the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128654A (ko) * 2013-04-29 2014-11-06 주식회사 제이엠랩 증강현실 제공 장치 및 그 방법
KR20140139319A (ko) 2013-05-27 2014-12-05 테크빌닷컴 주식회사 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체
KR20150145160A (ko) * 2014-06-18 2015-12-29 삼성전자주식회사 무안경 3d 디스플레이 모바일 장치, 이의 설정방법 및 사용방법
KR101714983B1 (ko) 2016-08-25 2017-03-22 한상선 제품을 활용한 증강 현실을 구현하기 위한 서버 및 사용자 장치 및 제품

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128654A (ko) * 2013-04-29 2014-11-06 주식회사 제이엠랩 증강현실 제공 장치 및 그 방법
KR20140139319A (ko) 2013-05-27 2014-12-05 테크빌닷컴 주식회사 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체
KR20150145160A (ko) * 2014-06-18 2015-12-29 삼성전자주식회사 무안경 3d 디스플레이 모바일 장치, 이의 설정방법 및 사용방법
KR101714983B1 (ko) 2016-08-25 2017-03-22 한상선 제품을 활용한 증강 현실을 구현하기 위한 서버 및 사용자 장치 및 제품

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shaoqing Ren et al., "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", Advances in Neural Information Processing Systems 28 (NIPS 2015)* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020045804A1 (ko) * 2018-08-27 2020-03-05 삼성전자 주식회사 인포그래픽을 제공하기 위한 전자 장치 및 그에 관한 방법
KR20200023750A (ko) * 2018-08-27 2020-03-06 삼성전자주식회사 인포그래픽을 제공하기 위한 전자 장치 및 그에 관한 방법
KR102521408B1 (ko) * 2018-08-27 2023-04-14 삼성전자주식회사 인포그래픽을 제공하기 위한 전자 장치 및 그에 관한 방법
WO2021002681A1 (ko) * 2019-07-01 2021-01-07 삼성전자 주식회사 객체를 인식하기 위한 전자 장치 및 그의 동작 방법
US11443502B2 (en) 2019-10-08 2022-09-13 Samsung Display Co., Ltd. Object detection post-processing device, and display device including the same

Similar Documents

Publication Publication Date Title
US10839605B2 (en) Sharing links in an augmented reality environment
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US20170177976A1 (en) Scalable image matching
US9076069B2 (en) Registering metadata apparatus
US10013633B1 (en) Object retrieval
EP3206163B1 (en) Image processing method, mobile device and method for generating a video image database
KR100983912B1 (ko) 증강 현실 기법을 이용한 정보처리 장치 및 정보 입력,검색방법
US10606824B1 (en) Update service in a distributed environment
EP3201788A1 (en) Method and apparatus for recognition and matching of objects depicted in images
CN104781849A (zh) 单眼视觉同时定位与建图(slam)的快速初始化
KR101889025B1 (ko) R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법
CN102436461A (zh) 用户终端、远程终端和用于共享增强现实服务的方法
KR101545138B1 (ko) 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
EP2672401A1 (en) Method and apparatus for storing image data
JP2022508733A (ja) 拡張現実システムおよび方法
EP3340154A1 (en) Method and system for remote management of virtual message for a moving object
CN111859002A (zh) 兴趣点名称生成方法及装置、电子设备和介质
US20170034586A1 (en) System for content matching and triggering for reality-virtuality continuum-based environment and methods thereof
KR20190101620A (ko) 증강현실 기술을 이용한 무빙 트릭아트 구현 방법
CN113822263A (zh) 图像标注方法、装置、计算机设备及存储介质
KR102314782B1 (ko) 3차원 증강현실 표시 방법
CN105683959A (zh) 信息处理设备、信息处理方法及信息处理系统
KR20200100274A (ko) 증강 현실을 이용한 영상패턴 mark 및 이미지 인식시스템
CN106778449B (zh) 动态影像的物件辨识方法及自动截取目标图像的互动式影片建立方法
CN110427936B (zh) 一种酒窖的藏酒管理方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant