KR20170030421A - 가상 카메라를 이용한 개인화된 쇼핑몰 시스템 - Google Patents

가상 카메라를 이용한 개인화된 쇼핑몰 시스템 Download PDF

Info

Publication number
KR20170030421A
KR20170030421A KR1020160071102A KR20160071102A KR20170030421A KR 20170030421 A KR20170030421 A KR 20170030421A KR 1020160071102 A KR1020160071102 A KR 1020160071102A KR 20160071102 A KR20160071102 A KR 20160071102A KR 20170030421 A KR20170030421 A KR 20170030421A
Authority
KR
South Korea
Prior art keywords
virtual camera
shopping mall
image
unit
interest
Prior art date
Application number
KR1020160071102A
Other languages
English (en)
Inventor
박상열
Original Assignee
주식회사 아이티엑스엠투엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티엑스엠투엠 filed Critical 주식회사 아이티엑스엠투엠
Publication of KR20170030421A publication Critical patent/KR20170030421A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/30—
    • G06Q50/32—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/225—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Graphics (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Operations Research (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 가상 카메라를 이용한 개인화된 쇼핑몰 시스템에 관한 것으로, 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있도록 한 것이다.

Description

가상 카메라를 이용한 개인화된 쇼핑몰 시스템{Personalized shopping mall system using virtual camera}
본 발명은 온라인 쇼핑몰에 관련한 기술로, 특히 가상 카메라를 이용한 개인화된 쇼핑몰 시스템에 관한 것이다.
대한민국 공개특허 제10-2011-0072846호(2011. 06. 29)에서 카메라에서 출력된 영상 중 움직임이 발생한 부분 혹은 사람의 얼굴이나 차량 번호판과 같은 주목 영상 부분만을 크로핑(cropping)하여 출력하는 기술을 제안하고 있다.
대한민국 공개특허 제10-2013-0039652호(2013. 04. 22)에서 콘텐츠를 저장하고 있는 둘 이상의 서브넷을 검색하고, 검색 결과 검색된 서브넷이 둘 이상인 경우 검색된 둘 이상의 서브넷 중에서 네트워크 상태에 따라 요청된 콘텐츠를 제공하는 서브넷 및 서브넷에 포함된 노드를 선정하여 사용자에게 콘텐츠를 전달함으로써 콘텐츠 서버에서 사용자에게 콘텐츠를 전달하는 과정에서 네트워크 내에서 최적의 서버 노드가 선정되어 트래픽 효율을 높일 수 있으며, 양질의 실시간 스트리밍 서비스를 제공할 수 있는 부하 분산 기술을 제안하고 있다.
본 발명자는 상기한 영상 크로핑(cropping) 기술을 이용해 하나의 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍 하는 기술에 대한 연구를 하였다.
또한, 본 발명자는 상기한 영상 크로핑(cropping) 기술을 이용해 다수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 순차적으로 연결하여 구성한 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍 하는 기술에 대한 연구를 하였다.
또한, 본 발명자는 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍 하는 기술에 대한 연구를 하였다.
또한, 본 발명자는 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 제공하되, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송하는 기술에 대한 연구를 하였다.
대한민국 공개특허 제10-2011-0072846호(2011. 06. 29), 대한민국 공개특허 제10-2013-0039652호(2013. 04. 22)
본 발명은 상기한 취지하에 발명된 것으로, 하나의 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템을 제공함을 그 목적으로 한다.
또한, 본 발명은 다수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 순차적으로 연결하여 구성한 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍 하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템을 제공함을 그 목적으로 한다.
또한, 본 발명은 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍 하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템을 제공함을 그 목적으로 한다.
또한, 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 제공하되, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송하는 가상 카메라를 이용한 개인화된 쇼핑몰 페이지의 부하 분산 시스템을 제공함을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 가상 카메라를 이용한 개인화된 쇼핑몰 시스템이 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라와; 상기 인접 배치된 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 수신하는 영상 수신부와, 상기 영상 수신부에 의해 수신된 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 3D 객체들을 검출하고, 검출된 3D 객체들을 포함하는 오프라인 매장 화면을 구성하고, 구성된 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하는 가상 카메라 관리부를 포함하는 영상 처리 장치와; 오프라인 매장 화면에서 특정 3D 객체가 위치한 영역을 관심 영역으로 선택하는 관심 영역 선택부와, 상기 관심 영역 선택부에 의해 선택된 관심 영역의 3D 객체를 랜더링하여 표시하는 관심 영역 재생부와, 사용자 단말의 조작에 따라, 상기 관심 영역 재생부에 의해 랜더링되어 표시되는 3D 객체를 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 처리하는 영상 처리부를 포함하는 가상 카메라를; 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라 관리부가 사용자 단말 접속 및 접속 해제를 처리하는 접속 관리부와; 상기 접속 관리부에 의해 접속 처리된 사용자 단말로 제공될 가상 카메라를 생성하는 가상 카메라 생성부와; 상기 가상 카메라 생성부에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성하는 쇼핑몰 페이지 생성부와; 상기 쇼핑몰 페이지 생성부에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공하는 쇼핑몰 페이지 제공부와; 상기 쇼핑몰 페이지 제공부에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여하는 제어권 부여부를; 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라에 대한 제어권이 랜더링되어 표시되는 3D 객체의 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 권한인 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 쇼핑몰 페이지 생성부에 의해 생성되는 쇼핑몰 페이지가 관리자 단말에 의해 업로드 되는 관심 상품 영상이 등록되는 관심 상품 영역을 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 쇼핑몰 페이지 생성부에 의해 생성되는 쇼핑몰 페이지가 관리자 단말과 사용자 단말간 화상 채팅을 처리하는 화상 채팅 영역을 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 쇼핑몰 페이지 생성부에 의해 생성되는 쇼핑몰 페이지가 오프라인 매장 정보를 제공하는 매장 정보 영역을 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라가 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작신호에 따라, 관심 영역 재생부에 의해 재생되는 관심 영역의 영상을 가상 카메라 영역 범위내에서 소프트웨어적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 가상 카메라 제어 명령을 상기 영상 처리부로 출력하는 모의 팬틸트줌 처리부를; 더 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라가 관심 영역 재생부에 의해 재생되는 관심 영역의 영상이 가상 카메라 영역 범위를 벗어날 경우, 물리적인 카메라를 물리적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 물리적인 카메라 구동 명령을 물리적인 카메라로 출력하는 광학 팬틸트줌 처리부를; 더 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라가 가상 카메라 설정정보를 저장하는 설정정보 저장부와; 사용자로부터 가상 카메라 설정 정보를 입력받아 상기 설정정보 저장부에 저장하는 가상 카메라 설정부를; 더 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라 설정부가 초기 관심 영역 위치, 관심 영역 크기, 해상도, 품질, 압축 포맷, 가상 카메라 영역 패턴 중 적어도 하나를 가상 카메라 설정 정보로 설정하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 영상 처리부가 물리적인 카메라에 의해 촬영되는 매장 영상을 저장하는 메모리와; 상기 메모리에 저장되는 매장 영상으로부터 상기 관심 영역 선택부에 의해 선택된 관심 영역의 영상을 카메라 설정 정보에 설정된 관심 영역 크기로 추출하는 관심 영역 추출부와; 상기 관심 영역 추출부에 의해 추출된 관심 영역 영상을 카메라 설정 정보에 설정된 해상도로 변환하는 영상 스케일러와; 상기 영상 스케일러에 의해 변환된 관심 영역 영상을 카메라 설정 정보에 설정된 압측 포맷으로 압축하는 코덱을; 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 영상 처리부가 카메라 설정 정보에 설정된 품질에 맞게 관심 영역 영상의 프레임율을 변환하는 프레임율 변환부를; 더 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 관심 영역 재생부가 관심 영역내에 겹치는 복수의 3D 객체가 존재할 경우, 이들 중 선택된 특정의 3D 객체만 표시하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 관심 영역 재생부가 관심 영역내에 존재하는 복수의 3D 객체 중 사람을 인식하고, 인식된 사람의 얼굴을 마스킹(Masking) 처리하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 관심 영역 선택부에 의해 선택되는 각 사용자별 관심 영역(ROI)들이 서로 중첩될 수 있는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 영상 처리 장치가 복수의 사용자별 가상 카메라에 의해 재생되는 관심 영역 영상들을 각각 동일한 네트워크 주소이면서 서로 상이한 포트에서 출발한(originated) 패킷 영상신호로 변환하고 이들을 다중화하여 단일의 패킷 영상 스트림으로 변환하는 다중화부와; 상기 다중화부에 의해 다중화된 단일의 패킷 영상 스트림을 단일의 물리계층을 통해 사용자 단말들로 전송하는 영상 전송부를; 더 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 가상 카메라 관리부가 상기 접속 관리부에 의해 접속 해제 처리된 사용자 단말에게 부여된 가상 카메라에 대한 제어권을 회수하는 제어권 회수부를; 더 포함하는 것을 특징으로 한다.
본 발명은 하나의 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 효과가 있다.
또한, 본 발명은 다수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 순차적으로 연결하여 구성한 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 효과가 있다.
또한, 본 발명은 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 효과가 있다.
또한, 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 제공하되, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 쇼핑몰 페이지를 빠른 속도로 제공할 수 있는 효과가 있다.
도 1 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제1실시예의 구성을 도시한 블럭도이다.
도 2 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제2실시예의 구성을 도시한 블럭도이다.
도 3 은 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태 및 매장 화면의 일 예를 도시한 도면이다.
도 4 는 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태 및 매장 화면의 또 다른 예를 도시한 도면이다.
도 5 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제3실시예의 구성을 도시한 블럭도이다.
도 6 은 도 5 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태의 일 예를 도시한 도면이다.
도 7 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제4실시예의 구성을 도시한 블럭도이다.
도 8 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 영상 처리 장치의 가상 카메라 관리부의 일 실시예의 구성을 도시한 블럭도이다.
도 9 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 영상 처리 장치에 의해 생성되는 쇼핑몰 페이지의 일 예를 도시한 도면이다.
도 10 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 가상 카메라의 일 실시예의 구성을 도시한 블럭도이다.
도 11 은 도 1 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
도 12 는 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
도 13 은 도 5 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
도 14 는 도 7 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
도 15 는 도 10 에 도시한 가상 카메라에 의한 관심 영역 추출 절차의 일 예를 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 개요도이다. 도 1 에 도시한 바와 같이, 이 실시예에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템은 하나의 물리적인 카메라(100)와, 영상 처리 장치(200)를 포함하여 이루어진다.
도 2 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제2실시예의 구성을 도시한 블럭도이다. 도 2 에 도시한 바와 같이, 이 실시예에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템은 다수의 물리적인 카메라(100)와, 영상 처리 장치(200)를 포함하여 이루어진다.
도 3 은 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태 및 매장 화면의 일 예를 도시한 도면이다. 도 3 에 도시한 바와 같이 상기 다수의 물리적인 카메라(100)가 일렬로 설치될 수도 있다.
도 4 는 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태 및 매장 화면의 또 다른 예를 도시한 도면이다. 도 4 에 도시한 바와 같이 방사형으로 설치될 수도 있다.
도 5 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제3실시예의 구성을 도시한 블럭도이다. 도 5 에 도시한 바와 같이, 이 실시예에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템은 인접 배치된 복수의 물리적인 카메라(100)와, 영상 처리 장치(200)를 포함하여 이루어진다.
도 6 은 도 5 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 물리적인 카메라들의 설치 형태의 일 예를 도시한 도면이다. 도 6 에 도시한 바와 같이, 인접 배치되는 복수의 물리적인 카메라(100)가 사방에 설치될 수 있다.
도 7 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 제4실시예의 구성을 도시한 블럭도이다. 도 7 에 도시한 바와 같이, 이 실시예에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템은 물리적인 카메라(100)와, 영상 처리 장치(200)와, 로컬 서버(300)와, 스트리밍 전용 서버(400)를 포함하여 이루어진다.
상기 카메라(100)는 오프라인 매장에 설치되어, 오프라인 매장의 영상을 실시간 촬영한다. 예컨대, 상기 카메라(100)가 일반적인 고해상도 카메라, 파노라마 카메라, 어안 렌즈 카메라 등일 수 있다.
상기 영상 처리 장치(200)는 상기 물리적인 카메라(100)에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성하고, 사용자별 가상 카메라가 가상 카메라 영역에 포함되는 다수의 사용자별 쇼핑몰 페이지들을 구성하여 각 사용자 단말로 제공한다.
이 때, 관심 영역(ROI)이 상이한 사용자별 가상 카메라는 오프라인 매장의 영상으로부터 사용자별로 상이한 개인화된 관심 영역(ROI)의 영상을 크롭(Crop)하여 재생하는 소프트웨어 모듈을 의미한다.
상기 로컬 서버(300)는 상기 영상 처리 장치(200)에 의해 사용자 단말로 제공되는 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들을 각 사용자 단말들로 스트리밍 한다.
상기 스트리밍 전용 서버(400)는 상기 로컬 서버(300)의 스트리밍 부하가 임계치를 초과할 경우, 로컬 서버를 대신하여 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송한다.
도 8 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 영상 처리 장치의 가상 카메라 관리부의 일 실시예의 구성을 도시한 블럭도이다. 영상 처리 장치(200)는 영상 수신부(210)와, 가상 카메라 관리부(220)를 포함한다.
(제1실시예)
상기 영상 수신부(210)는 상기 물리적인 카메라(100)에 의해 촬영되는 오프라인 매장의 영상을 수신한다.
상기 가상 카메라 관리부(220)는 상기 영상 수신부(210)에 의해 수신된 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성한다.
한편, 상기 가상 카메라 관리부(220)는 접속 관리부(221)와, 가상 카메라 생성부(222)와, 쇼핑몰 페이지 생성부(223)와, 쇼핑몰 페이지 제공부(224)와, 제어권 부여부(225)를 포함한다.
상기 접속 관리부(221)는 사용자 단말 접속 및 접속 해제를 처리한다. 예컨대, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속 요청하는 사용자 단말로부터 입력되는 사용자 ID와 패스워드를 회원 등록 DB(도면 도시 생략)로부터 검색하여 사용자 단말 접속을 처리하도록 구현될 수 있다.
한편, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속된 사용자 단말로부터의 접속 해제 요청에 따라, 사용자 단말의 접속 해제를 처리하도록 구현될 수 있다. 이 때, 사용자 단말은 PC 또는 스마트폰 등의 휴대용 단말일 수 있다.
상기 가상 카메라 생성부(222)는 상기 접속 관리부(221)에 의해 접속 처리된 사용자 단말로 제공될 가상 카메라를 생성한다. 예컨대, 가상 카메라 생성부(222)가 수신된 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성하도록 구현될 수 있다.
이 때, 가상 카메라는 오프라인 매장의 영상으로부터 사용자가 관심을 가지는 특정의 관심 영역(ROI)의 영상을 크롭(Crop)하여 재생하는 소프트웨어 모듈로, 추후 자세히 설명한다.
상기 쇼핑몰 페이지 생성부(223)는 상기 가상 카메라 생성부(222)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다. 이 때, 쇼핑몰 페이지가 관리자 단말(도면 도시 생략)에 의해 업로드 되는 관심 상품 영상이 등록되는 관심 상품 영역과, 관리자 단말과 사용자 단말간 화상 채팅을 처리하는 화상 채팅 영역과, 오프라인 매장 정보를 제공하는 매장 정보 영역 등을 더 포함할 수 있다.
상기 쇼핑몰 페이지 제공부(224)는 상기 쇼핑몰 페이지 생성부(223)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.
사용자 단말로 쇼핑몰 페이지가 제공되면, 쇼핑몰 페이지의 가상 카메라 영역에 포함된 가상 카메라가 실제 오프라인 매장의 관심 영역 영상을 실시간 스트리밍한다.
사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상을 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌을 받는다.
상기 제어권 부여부(225)는 상기 쇼핑몰 페이지 제공부(224)에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다.
이 때, 상기 가상 카메라에 대한 제어권이 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out) 권한일 수 있다. 한편, 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out)은 물리적인 동작 제어가 아니라 소프트웨어적인 화면 상/하/좌/우 이동 및 화면 확대/축소 처리이다.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 상/하/좌/우 방향으로 손가락 터치시 가상 카메라 화면 팬(Pan)/틸트(Tilt) 이벤트가 발생하여 관심 영역이 이동되면서 오프라인 매장의 다른 영역의 영상이 가상 카메라에 의해 스트리밍 되어 재생되도록 구현될 수 있다.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 두 손가락을 벌리거나 오므릴 경우 가상 카메라 화면 줌인(Zoom In)/줌아웃(Zoom Out) 이벤트가 발생하여 관심 영역 영상이 확대되거나 축소되도록 구현될 수 있다.
각 사용자는 자신의 사용자 단말에 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어를 독립적으로 수행하여 자신이 관심을 가지는 영역의 영상을 수신하게 되므로, 사용자별로 상이한 개인화된 관심 영역 영상이 각 사용자 단말별로 재생된다.
이와 같이 구현함에 의해 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.
(제2실시예)
상기 영상 수신부(210)는 상기 다수의 물리적인 카메라(100)에 의해 각각 촬영되는 오프라인 매장의 영상들을 수신한다.
상기 가상 카메라 관리부(220)는 상기 영상 수신부(210)에 의해 수신된 오프라인 매장의 영상들을 순차적으로 연결하여 통합된 오프라인 매장 화면을 구성하고, 구성된 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성한다.
이 때, 가상 카메라 관리부(220)가 오프라인 매장의 영상들의 일부가 중첩되도록 연결하여 오프라인 매장 화면을 구성하도록 구현될 수 있다. 오프라인 매장의 영상들의 일부가 중첩되도록 연결할 경우 누락되는 영역을 방지할 수 있다.
한편, 상기 가상 카메라 관리부(220)는 접속 관리부(221)와, 가상 카메라 생성부(222)와, 쇼핑몰 페이지 생성부(223)와, 쇼핑몰 페이지 제공부(224)와, 제어권 부여부(225)를 포함한다.
상기 접속 관리부(221)는 사용자 단말 접속 및 접속 해제를 처리한다. 예컨대, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속 요청하는 사용자 단말로부터 입력되는 사용자 ID와 패스워드를 회원 등록 DB(도면 도시 생략)로부터 검색하여 사용자 단말 접속을 처리하도록 구현될 수 있다.
한편, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속된 사용자 단말로부터의 접속 해제 요청에 따라, 사용자 단말의 접속 해제를 처리하도록 구현될 수 있다. 이 때, 사용자 단말은 PC 또는 스마트폰 등의 휴대용 단말일 수 있다.
상기 가상 카메라 생성부(222)는 상기 접속 관리부(221)에 의해 접속 처리된 사용자 단말로 제공될 가상 카메라를 생성한다. 예컨대, 상기 가상 카메라 생성부(222)가 수신된 오프라인 매장의 영상들을 순차적으로 연결하여 통합된 오프라인 매장 화면을 구성하고, 구성된 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성하도록 구현될 수 있다.
이 때, 가상 카메라는 오프라인 매장의 영상으로부터 사용자가 관심을 가지는 특정의 관심 영역(ROI)의 영상을 크롭(Crop)하여 재생하는 소프트웨어 모듈로, 추후 자세히 설명한다.
상기 쇼핑몰 페이지 생성부(223)는 상기 가상 카메라 생성부(222)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다. 이 때, 쇼핑몰 페이지가 관리자 단말(도면 도시 생략)에 의해 업로드 되는 관심 상품 영상이 등록되는 관심 상품 영역과, 관리자 단말과 사용자 단말간 화상 채팅을 처리하는 화상 채팅 영역과, 오프라인 매장 정보를 제공하는 매장 정보 영역 등을 더 포함할 수 있다.
상기 쇼핑몰 페이지 제공부(224)는 상기 쇼핑몰 페이지 생성부(223)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.
사용자 단말로 쇼핑몰 페이지가 제공되면, 쇼핑몰 페이지의 가상 카메라 영역에 포함된 가상 카메라가 실제 오프라인 매장의 관심 영역 영상을 실시간 스트리밍한다.
사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상을 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌을 받는다.
상기 제어권 부여부(225)는 상기 쇼핑몰 페이지 제공부(224)에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다.
이 때, 상기 가상 카메라에 대한 제어권이 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out) 권한일 수 있다. 한편, 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out)은 물리적인 동작 제어가 아니라 소프트웨어적인 화면 상/하/좌/우 이동 및 화면 확대/축소 처리이다.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 상/하/좌/우 방향으로 손가락 터치시 가상 카메라 화면 팬(Pan)/틸트(Tilt) 이벤트가 발생하여 관심 영역이 이동되면서 오프라인 매장의 다른 영역의 영상이 가상 카메라에 의해 스트리밍 되어 재생되도록 구현될 수 있다.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 두 손가락을 벌리거나 오므릴 경우 가상 카메라 화면 줌인(Zoom In)/줌아웃(Zoom Out) 이벤트가 발생하여 관심 영역 영상이 확대되거나 축소되도록 구현될 수 있다.
각 사용자는 자신의 사용자 단말에 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어를 독립적으로 수행하여 자신이 관심을 가지는 영역의 영상을 수신하게 되므로, 사용자별로 상이한 개인화된 관심 영역 영상이 각 사용자 단말별로 재생된다.
이와 같이 구현함에 의해 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.
(실시예3)
상기 영상 수신부(210)는 인접 배치된 복수의 물리적인 카메라(100)에 의해 각각 촬영되는 오프라인 매장의 2D 영상들을 수신한다.
상기 가상 카메라 관리부(220)는 상기 영상 수신부(210)에 의해 수신된 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 3D 객체들을 검출하고, 검출된 3D 객체들을 포함하는 오프라인 매장 화면을 구성하고 구성된 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성한다.
이 때, 가상 카메라 관리부(220)에 의해 구성되는 오프라인 매장 화면은 사방에 설치되는 복수의 물리적인 카메라(100)들 중 어느 한쪽에 설치되는 복수의 물리적인 카메라(100)에 의해 실시간 촬영되어 합성되는 오프라인 매장의 화면일 수 있다.
한편, 스테레오 시각차를 이용해 3D 객체를 검출하는 스테레오 시각(Stereo Vision) 기법은 인간의 시각 시스템이 좌/우 눈의 위치 차이에 의해 서로 다른 영상을 받아들이고 뇌는 이것을 입체로 받아들여 거리감을 갖게 되는 과정에서 입체감을 생성하는 원리를 이용한 3D 영상 처리 기법으로, 이 출원전에 이미 공지되어 시행되는 통상의 기술이므로, 이에 대한 구체적인 설명은 생략한다.
한편, 상기 가상 카메라 관리부(220)는 접속 관리부(221)와, 가상 카메라 생성부(222)와, 쇼핑몰 페이지 생성부(223)와, 쇼핑몰 페이지 제공부(224)와, 제어권 부여부(225)를 포함한다.
상기 접속 관리부(221)는 사용자 단말 접속 및 접속 해제를 처리한다. 예컨대, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속 요청하는 사용자 단말로부터 입력되는 사용자 ID와 패스워드를 회원 등록 DB(도면 도시 생략)로부터 검색하여 사용자 단말 접속을 처리하도록 구현될 수 있다.
한편, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속된 사용자 단말로부터의 접속 해제 요청에 따라, 사용자 단말의 접속 해제를 처리하도록 구현될 수 있다. 이 때, 사용자 단말은 PC 또는 스마트폰 등의 휴대용 단말일 수 있다.
상기 가상 카메라 생성부(222)는 상기 접속 관리부(221)에 의해 접속 처리된 사용자 단말로 제공될 가상 카메라를 생성한다. 예컨대, 가상 카메라 생성부(222)가 수신된 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 3D 객체들을 검출하고, 검출된 3D 객체들을 포함하는 오프라인 매장 화면을 구성하고 구성된 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하도록 구현될 수 있다.
이 때, 가상 카메라는 오프라인 매장 화면으로부터 사용자별로 상이한 관심 3D 객체들이 위치한 개인화된 관심 영역(ROI)의 영상을 크롭(Crop)하여 재생하는 소프트웨어 모듈로, 추후 자세히 설명한다.
상기 쇼핑몰 페이지 생성부(223)는 상기 가상 카메라 생성부(222)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다. 이 때, 쇼핑몰 페이지가 관리자 단말(도면 도시 생략)에 의해 업로드 되는 관심 상품 영상이 등록되는 관심 상품 영역과, 관리자 단말과 사용자 단말간 화상 채팅을 처리하는 화상 채팅 영역과, 오프라인 매장 정보를 제공하는 매장 정보 영역 등을 포함할 수 있다.
상기 쇼핑몰 페이지 제공부(224)는 상기 쇼핑몰 페이지 생성부(223)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.
사용자 단말로 쇼핑몰 페이지가 제공되면, 쇼핑몰 페이지의 가상 카메라 영역에 포함된 가상 카메라가 실제 오프라인 매장의 관심 영역 영상을 실시간 스트리밍한다. 이 때, 스테레오 시각차에 의해 검출되는 3D 객체가 가상 카메라 영역에 랜더링(rendering)되어 표시된다.
사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상에 위치하는 3D 객체를 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌을 받는다.
상기 제어권 부여부(225)는 상기 쇼핑몰 페이지 제공부(224)에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다.
이 때, 상기 가상 카메라에 대한 제어권이 랜더링되어 표시되는 3D 객체의 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 권한일 수 있다. 한편, 가상 카메라 화면에 랜더링되어 표시되는 3D 객체의 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt)는 물리적인 동작 제어가 아니라 소프트웨어적인 화면 회전, 화면 확대/축소 및 화면 이동 처리이다.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 상/하/좌/우 방향으로 손가락 터치시 3D 객체 회전 이벤트가 발생하여 가상 카메라 화면에 랜더링되어 표시되는 3D 객체가 해당 방향으로 회전되도록 구현될 수 있다.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 두 손가락을 벌리거나 오므릴 경우 3D 객체 줌인(Zoom In)/줌아웃(Zoom Out) 이벤트가 발생하여 가상 카메라 화면에 랜더링되어 표시되는 3D 객체가 확대되거나 축소되도록 구현될 수 있다.
각 사용자는 자신의 사용자 단말에 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어를 독립적으로 수행하여 자신이 관심을 가지는 3D 객체를 포함하는 영역의 영상을 수신하게 되므로, 사용자별로 상이한 개인화된 관심 영역 영상이 각 사용자 단말별로 재생된다.
이와 같이 구현함에 의해 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.
이 때, 각 사용자마다 가상 카메라를 통해 랜더링되어 표시되는 3D 객체들에 대한 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 제어가 가능하므로, 단일 카메라를 이용한 영상 스트리밍시의 영상 제어를 한 사람밖에 할 수 없는 한계를 극복할 수 있다.
(실시예4)
상기 영상 수신부(210)는 상기 물리적인 카메라(100)에 의해 촬영되는 오프라인 매장의 영상을 수신한다.
상기 가상 카메라 관리부(220)는 상기 영상 수신부(210)에 의해 수신된 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성한다.
한편, 상기 가상 카메라 관리부(220)는 접속 관리부(221)와, 가상 카메라 생성부(222)와, 쇼핑몰 페이지 생성부(223)와, 쇼핑몰 페이지 제공부(224)와, 제어권 부여부(225)를 포함한다.
상기 접속 관리부(221)는 사용자 단말 접속 및 접속 해제를 처리한다. 예컨대, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속 요청하는 사용자 단말로부터 입력되는 사용자 ID와 패스워드를 회원 등록 DB(도면 도시 생략)로부터 검색하여 사용자 단말 접속을 처리하도록 구현될 수 있다.
한편, 상기 접속 관리부(221)가 영상 처리 장치(200)에 접속된 사용자 단말로부터의 접속 해제 요청에 따라, 사용자 단말의 접속 해제를 처리하도록 구현될 수 있다. 이 때, 사용자 단말은 PC 또는 스마트폰 등의 휴대용 단말일 수 있다.
상기 가상 카메라 생성부(222)는 상기 접속 관리부(221)에 의해 접속 처리된 사용자 단말로 제공될 가상 카메라를 생성한다. 예컨대, 가상 카메라 생성부(222)가 수신된 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 복수의 사용자별 가상 카메라를 생성하도록 구현될 수 있다.
이 때, 가상 카메라는 오프라인 매장의 영상으로부터 사용자가 관심을 가지는 특정의 관심 영역(ROI)의 영상을 크롭(Crop)하여 재생하는 소프트웨어 모듈로, 추후 자세히 설명한다.
상기 쇼핑몰 페이지 생성부(223)는 상기 가상 카메라 생성부(222)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다. 이 때, 쇼핑몰 페이지가 관리자 단말(도면 도시 생략)에 의해 업로드 되는 관심 상품 영상이 등록되는 관심 상품 영역과, 관리자 단말과 사용자 단말간 화상 채팅을 처리하는 화상 채팅 영역과, 오프라인 매장 정보를 제공하는 매장 정보 영역 등을 더 포함할 수 있다.
상기 쇼핑몰 페이지 제공부(224)는 상기 쇼핑몰 페이지 생성부(223)에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.
사용자 단말로 쇼핑몰 페이지가 제공되면, 쇼핑몰 페이지의 가상 카메라 영역에 포함된 가상 카메라가 실제 오프라인 매장의 관심 영역 영상을 실시간 스트리밍한다.
사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상을 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌을 받는다.
상기 제어권 부여부(225)는 상기 쇼핑몰 페이지 제공부(224)에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다.
이 때, 상기 가상 카메라에 대한 제어권이 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out) 권한일 수 있다. 한편, 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out)은 물리적인 동작 제어가 아니라 소프트웨어적인 화면 상/하/좌/우 이동 및 화면 확대/축소 처리이다.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 상/하/좌/우 방향으로 손가락 터치시 가상 카메라 화면 팬(Pan)/틸트(Tilt) 이벤트가 발생하여 관심 영역이 이동되면서 오프라인 매장의 다른 영역의 영상이 가상 카메라에 의해 스트리밍 되어 재생되도록 구현될 수 있다.
예컨대, 제어권을 부여받은 사용자 단말의 터치 스크린을 통해 두 손가락을 벌리거나 오므릴 경우 가상 카메라 화면 줌인(Zoom In)/줌아웃(Zoom Out) 이벤트가 발생하여 관심 영역 영상이 확대되거나 축소되도록 구현될 수 있다.
각 사용자는 자신의 사용자 단말에 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어를 독립적으로 수행하여 자신이 관심을 가지는 영역의 영상을 수신하게 되므로, 사용자별로 상이한 개인화된 관심 영역 영상이 각 사용자 단말별로 재생된다.
로컬 서버(300)는 상기 영상 처리 장치(200)에 의해 사용자 단말로 제공되는 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들을 각 사용자 단말들로 스트리밍 한다.
한편, 스트리밍 전용 서버(400)는 상기 로컬 서버(300)의 스트리밍 부하가 임계치를 초과할 경우, 로컬 서버를 대신하여 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송한다.
즉, 영상 처리 장치(200)에 의해 사용자 단말로 쇼핑몰 페이지가 제공되면, 쇼핑몰 페이지의 가상 카메라 영역에 포함된 가상 카메라에 의해 실제 오프라인 매장의 관심 영역 영상이 로컬 서버(300) 또는 스트리밍 전용 서버(400)에 의해 실시간 스트리밍된다.
이 때, 상기 로컬 서버(300)의 스트리밍 부하에 따라, 로컬 서버(300)가 직접 가상 카메라들에 의해 재생되는 관심 영역 영상들을 스트리밍하거나 또는 스트리밍 전용 서버(400)를 통해 간접적으로 가상 카메라들에 의해 재생되는 관심 영역 영상들을 스트리밍한다.
한편, 이 실시예에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 페이지의 부하 분산 시스템은 쇼핑몰 관리서버(500)를 더 포함할 수 있다. 상기 쇼핑몰 관리서버(500)는 로컬 서버(300)의 스트리밍 부하를 감시하여, 로컬 서버의 스트리밍 부하가 임계치를 초과하는지 판단하고, 로컬 서버의 스트리밍 부하가 임계치를 초과한다 판단된 경우, 스트리밍 제어권을 로컬 서버(300)로부터 회수하여 스트리밍 전용 서버(400)에 이양한다.
예컨대, 로컬 서버의 스트리밍 부하가 임계치를 초과하는지 여부를 판단하는 것은 처리할 수 있는 초당 세션 수(SPS : Session Per Second), 처리할 수 있는 초당 패킷 수(PPS : Packet Per Second), 처리할 수 있는 초당 트랜젝션 수(TPS : Transaction Per Second) 등을 검출함에 의해 가능하다.
한편, 상기 쇼핑몰 관리서버(500)는 스트리밍 제어권이 스트리밍 전용 서버(400)로 이양된 상태에서, 로컬 서버(300)의 스트리밍 부하가 임계치 이하로 떨어진 경우, 스트리밍 제어권을 스트리밍 전용 서버(400)로부터 회수하여 로컬 서버(300)에 반환한다.
이와 같이 구현함에 의해 사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상을 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌을 받는다.
또한, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송함으로써 쇼핑몰 페이지를 빠른 속도로 제공할 수 있다.
상기한 실시예1 내지 실시예4에 의해 생성되는 쇼핑몰 페이지를 도 9 를 참조하여 알아본다. 도 9 는 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 영상 처리 장치에 의해 생성되는 쇼핑몰 페이지의 일 예를 도시한 도면이다. 쇼핑몰 페이지(600)에 가상 카메라 영역(610), 관심 상품 영역(620), 화상 채팅 영역(630), 매장 정보 영역(640)이 포함되어 있음을 볼 수 있다.
한편, 발명의 부가적인 양상에 따르면, 상기 영상 처리 장치(200)가 다중화부(230)와, 영상 전송부(240)를 더 포함할 수 있다.
상기 다중화부(230)는 복수의 사용자별 가상 카메라에 의해 재생되는 관심 영역 영상들을 각각 동일한 네트워크 주소이면서 서로 상이한 포트에서 출발한(originated) 패킷 영상신호로 변환하고 이들을 다중화하여 단일의 패킷 영상 스트림으로 변환한다.
상기 영상 전송부(240)는 상기 다중화부(230)에 의해 다중화된 단일의 패킷 영상 스트림을 단일의 물리계층을 통해 사용자 단말들로 전송한다.
예컨대, 복수의 사용자별 가상 카메라에 의해 출력되는 관심 영역 영상신호들은 각각의 네트워크 주소를 가진 패킷 신호일 수 있다. 이 경우, 다중화부(230)는 네트워크 주소 변환(Network Address Translation : NAT) 기능을 이용해 복수의 사용자별 가상 카메라에 의해 출력되는 관심 영역 영상신호들 각각의 네트워크 주소를 동일한 네트워크 주소로 변환하면서 상이한 포트 번호를 할당하여 다중화할 수 있다.
예컨대, 복수의 사용자별 가상 카메라에 의해 출력되는 관심 영역 영상신호들이 영상 스트림 데이터일 수 있다. 이 경우, 다중화부(230)는 복수의 사용자별 가상 카메라에 의해 출력되는 관심 영역 영상신호들 각각의 영상신호들을 동일한 네트워크 주소이면서 상이한 포트 번호를 가진 패킷으로 변환하여 다중화할 수 있다.
예를 들면, 하나의 가상 카메라에 의해 출력되는 관심 영역 영상신호의 주소는 '160,245,200,1:8091'로 할당하고, 다른 가상 카메라에 의해 출력되는 관심 영역 영상신호의 주소는 '160,245,200,1:8092'로 할당할 수 있다. 동일한 IP 주소를 가지는 이들 다중화된 영상 패킷들은 단일의 물리 계층(PHY)인 영상 전송부(240)를 통해 출력될 수 있다.
한편, 발명의 부가적인 양상에 따르면, 상기 가상 카메라 관리부(220)가 제어권 회수부(226)를 더 포함할 수 있다. 상기 제어권 회수부(226)는 상기 접속 관리부(221)에 의해 접속 해제 처리된 사용자 단말에게 부여된 가상 카메라에 대한 제어권을 회수한다.
즉, 이 실시예는 상기 제어권 부여부(225)에 의해 가상 카메라에 대한 제어권을 부여받은 사용자 단말이 접속 해제되면, 상기 제어권 회수부(226)를 통해 사용자 단말에게 부여된 가상 카메라에 대한 제어권을 회수하도록 한 실시예이다.
위와 같이 구현함에 의해 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.
이 때, 각 사용자마다 가상 카메라에 대한 팬(Pan)/틸트(Tilt) 제어가 가능하므로, 사용자 마다의 개별 관심 영역(ROI)들이 서로 중첩될 수 있어, 단일 카메라를 이용한 영상 스트리밍시의 팬(Pan)/틸트(Tilt) 제어를 한 사람밖에 할 수 없는 한계를 극복할 수 있다.
도 10 은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 가상 카메라의 일 실시예의 구성을 도시한 블럭도이다. 도 10 에 도시한 바와 같이, 쇼핑몰 페이지의 가상 카메라 영역에 포함되는 가상 카메라(700)는 관심 영역 선택부(710)와, 관심 영역 재생부(720)와, 영상 처리부(730)를 포함한다.
상기 실시예1, 실시예2 및 실시예4의 경우, 상기 관심 영역 선택부(710)는 상기 물리적인 카메라(100)에 의해 촬영되는 오프라인 매장의 영상 중 관심 영역을 선택한다. 예컨대, 오프라인 매장의 인기 상품을 진열한 영역을 초기 관심 영역 위치로 저장하고, 이 초기 관심 영역 위치에 대응하는 영역을 상기 관심 영역 선택부(710)가 관심 영역으로 선택하도록 구현될 수 있다.
상기 실시예3의 경우, 상기 관심 영역 선택부(710)는 오프라인 매장 화면에서 특정 3D 객체가 위치한 영역을 관심 영역으로 선택한다. 예컨대, 관심 영역 선택부(710)가 인접 배치된 복수의 물리적인 카메라(100)에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들에 대한 사용자 선택을 통해 특정 3D 객체가 위치한 영역을 관심 영역으로 선택하도록 구현될 수 있다.
상기 실시예1, 실시예2 및 실시예4의 경우, 상기 관심 영역 재생부(720)는 상기 관심 영역 선택부(710)에 의해 선택된 관심 영역의 영상을 재생한다. 이에 따라, 사용자는 가상 카메라에 의해 실시간 스트리밍되는 오프라인 매장의 관심 영역 영상을 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌으로 온라인 쇼핑을 즐기게 된다.
상기 실시예3의 경우, 상기 관심 영역 재생부(720)는 상기 관심 영역 선택부(710)에 의해 선택된 관심 영역의 3D 객체를 랜더링하여 표시한다. 이에 따라, 사용자는 가상 카메라에 의해 실시간 랜더링 되어 표시되는 관심 영역의 3D 객체를 온라인을 통해 시청하면서 실제 오프라인 매장을 방문하여 쇼핑하는 것과 같은 느낌으로 온라인 쇼핑을 즐기게 된다.
상기 실시예1, 실시예2 및 실시예4의 경우, 상기 영상 처리부(730)는 사용자 단말의 조작에 따라, 상기 관심 영역 재생부(720)에 의해 재생되는 관심 영역의 영상을 화면 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 처리한다.
상기 실시예 3의 경우, 상기 영상 처리부(730)는 사용자 단말의 조작에 따라, 상기 관심 영역 재생부(720)에 의해 랜더링되어 표시되는 3D 객체를 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 처리한다.
한편, 상기 관심 영역 재생부(720)가 관심 영역내에 겹치는 복수의 3D 객체가 존재할 경우, 이들 중 선택된 특정의 3D 객체만 표시하도록 구현될 수 있다. 즉, 랜더링 표시되기를 원하는 관심 3D 객체와 겹치는 다른 3D 객체가 전경 또는 배경 객체로 존재할 경우, 상기 관심 영역 재생부(720)가 랜더링 표시되기를 원하는 관심 3D 객체만 선택하여 표시하도록 하는 것으로, 랜더링 표시되기를 원하는 관심 3D 객체는 관심 영역 선택부(710)에 의해 선택될 수 있다.
상기 실시예1, 실시예2 및 실시예4의 경우, 관심 영역 선택부(710)에 의해 선택되어 관심 영역 재생부(720)에 의해 재생되는 관심 영역 영상은 가상 카메라에 대한 제어권을 부여받은 사용자 단말의 가상 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out) 조작에 의해 변경된다.
사용자 단말의 카메라 화면 팬(Pan)/틸트(Tilt) 및 줌인(Zoom In)/줌아웃(Zoom Out) 조작에 따라 상기 영상 처리부(730)는 관심 영역의 영상을 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 처리한다.
상기 실시예3의 경우, 관심 영역 선택부(710)에 의해 선택되어 관심 영역 재생부(720)에 의해 재생되는 관심 영역 영상은 가상 카메라에 대한 제어권을 부여받은 사용자 단말의 3D 객체 회전(Rotation) 또는 카메라 화면 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 조작에 의해 변경된다.
사용자 단말의 3D 객체 회전(Rotation) 또는 카메라 화면 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 조작에 따라 상기 영상 처리부(730)는 관심 영역의 영상에 포함되는 3D 객체를 회전(Rotation) 또는 관심 영역의 영상을 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 처리한다.
한편, 발명의 부가적인 양상에 따르면, 상기 가상 카메라(700)가 모의 팬틸트줌 처리부(740)를 더 포함할 수 있다. 상기 모의 팬틸트줌 처리부(740)는 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작신호에 따라, 관심 영역 재생부(720)에 의해 재생되는 관심 영역의 영상을 가상 카메라 영역 범위내에서 소프트웨어적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 가상 카메라 제어 명령을 상기 영상 처리부(730)로 출력한다.
사용자가 사용자 단말을 통해 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작을 하면, 모의 팬틸트줌 처리부(740)는 사용자 조작에 대응하여 관심 영역 재생부(720)에 의해 재생되는 관심 영역의 영상을 팬/틸트하거나 줌인/줌아웃하도록 지시하는 가상 카메라 제어 명령을 상기 영상 처리부(730)로 출력하고, 영상 처리부(730)는 가상 카메라 영역 범위내에서 관심 영역의 영상을 소프트웨어적으로 팬/틸트하거나 줌인/줌아웃시킴으로써 관심 영역이 변경된다.
한편, 발명의 부가적인 양상에 따르면, 상기 가상 카메라(700)가 광학 팬틸트줌 처리부(750)를 더 포함할 수 있다. 상기 광학 팬틸트줌 처리부(750)는 관심 영역 재생부(720)에 의해 재생되는 관심 영역의 영상이 가상 카메라 영역 범위를 벗어날 경우, 물리적인 카메라(100)를 물리적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 물리적인 카메라 구동 명령을 물리적인 카메라(100)로 출력한다.
모의 팬틸트줌 처리부(740)에 의한 가상 카메라에 대한 소프트웨어적인 팬/틸트 또는 줌인/줌아웃 제어에는 한계가 있다. 관심 영역의 영상이 가상 카메라 영역 범위를 벗어날 경우, 가상 카메라에 대한 소프트웨어적인 팬/틸트 또는 줌인/줌아웃 제어는 불가능하고, 대신 광학 팬틸트줌 처리부(750)를 통해 물리적인 카메라(100)를 직접 팬/틸트 또는 줌인/줌아웃 제어해야 한다.
사용자 단말을 통한 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작에 의해 관심 영역의 영상이 가상 카메라 영역 범위를 벗어나면, 광학 팬틸트줌 처리부(750)가 물리적인 카메라(100)를 물리적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 물리적인 카메라 구동 명령을 물리적인 카메라(100)로 출력하고, 물리적인 카메라(100)는 가상 카메라 영역 범위를 벗어난 위치로 물리적으로 팬/틸트하거나 줌인/줌아웃시킴으로써 관심 영역이 변경된다.
한편, 발명의 부가적인 양상에 따르면, 상기 가상 카메라(700)가 설정정보 저장부(760)와, 가상 카메라 설정부(770)를 더 포함할 수 있다.
상기 설정정보 저장부(760)는 가상 카메라 설정정보를 저장한다. 예컨대, 상기 가상 카메라 설정정보가 초기 관심 영역 위치, 관심 영역 크기, 해상도, 품질, 압축 포맷, 가상 카메라 영역 패턴 중 적어도 하나를 포함할 수 있다.
상기 가상 카메라 설정부(770)는 사용자로부터 가상 카메라 설정 정보를 입력받아 상기 설정정보 저장부(760)에 저장한다. 예컨대, 상기 가상 카메라 설정부(770)가 초기 관심 영역 위치, 관심 영역 크기, 해상도, 품질, 압축 포맷, 가상 카메라 영역 패턴 중 적어도 하나를 가상 카메라 설정 정보로 설정하도록 구현될 수 있다.
한편, 발명의 부가적인 양상에 따르면, 상기 영상 처리부(730)가 메모리(731)와, 관심 영역 추출부(732)와, 영상 스케일러(733)와, 코덱(734)을 포함할 수 있다.
상기 메모리(731)는 물리적인 카메라에 의해 촬영되는 매장 영상을 저장한다. 예컨대, 상기 메모리(731)가 물리적인 카메라에 의해 촬영되는 매장 영상 신호를 버퍼링하여 프레임별로 저장하는 반도체 메모리일 수 있다. 이 때, 상기 메모리(731)에 저장되는 매장 영상의 크기는 물리적인 카메라에 의해 촬영되는 매장 영상의 크기와 동일하거나 이보다 작을 수 있다.
상기 관심 영역 추출부(732)는 상기 메모리(731)에 저장되는 매장 영상으로부터 상기 관심 영역 선택부(710)에 의해 선택된 관심 영역의 영상을 카메라 설정 정보에 설정된 관심 영역 크기로 추출한다.
예컨대, 상기 관심 영역 추출부(732)가 메모리(731)에 버퍼링되어 저장되는 매장 영상 프레임들로부터 관심 영역 크기의 관심 영역 영상을 실시간 추출하도록 구현될 수 있다. 이 때, 관심 영역 크기는 메모리(731)에 버퍼링되어 저장되는 매장 영상 크기보다 작아야 한다.
상기 영상 스케일러(733)는 상기 관심 영역 추출부(732)에 의해 추출된 관심 영역 영상을 카메라 설정 정보에 설정된 해상도로 변환한다. 예컨대, 카메라 설정 정보에 설정된 해상도가 '640*480'이라면, 상기 영상 스케일러(733)가 관심 영역 영상을 '640*480' 해상도로 변환할 수 있다.
상기 코덱(734)은 상기 영상 스케일러(733)에 의해 변환된 관심 영역 영상을 카메라 설정 정보에 설정된 압측 포맷으로 압축한다. 예컨대, 상기 코덱(734)이 MPEG-2와 같은 특정한 포맷으로 관심 영역 영상을 압축하여 출력할 수 있다.
한편, 발명의 부가적인 양상에 따르면, 상기 영상 처리부(730)가 프레임율 변환부(735)를 더 포함할 수 있다. 상기 프레임율 변환부(735)는 카메라 설정 정보에 설정된 품질에 맞게 관심 영역 영상의 프레임율을 변환한다. 이 때, 카메라 설정 정보에 설정되는 품질이 고품질/중품질/저품질 등과 같이 단계적으로 설정될 수 있고, 상기 프레임율 변환부(735)가 관심 영역 영상의 품질이 고품질로 설정될 수록 프레임율을 상대적으로 높게 변환한다.
한편, 발명의 부가적인 양상에 따르면, 상기 영상 처리부(730)가 영상 분석(Video Analytic) 기술을 이용해 관심 영역의 영상으로부터 배경(Background) 객체와 전경(Foreground) 객체를 추출하고, 전경 객체가 제거된 배경 객체만 포함하는 관심 영역의 영상이 상기 관심 영역 재생부(720)를 통해 재생되도록 구현될 수 있다.
예컨대, '배경 영상만 재생'하는 메뉴를 제공하여, 사용자로부터 '배경 영상만 재생'하는 메뉴 선택이 있을 경우, 상기 영상 처리부(730)가 전경 객체가 제거된 배경 객체만 포함하는 관심 영역의 영상을 재생하도록 구현될 수 있다.
이 실시예는 매장의 진열된 '상품'과 카메라 사이를 사람이 지나다니거나 머무를 경우 상품이 가려져 안보이므로, 배경 객체인 상품만 보이도록 전경 객체인 사람을 제거하여 재생하도록 한 실시예이다.
한편, 발명의 부가적인 양상에 따르면, 상기 영상 처리부(730)가 관심 영역의 영상으로부터 사람을 인식하고, 인식된 사람의 얼굴을 마스킹(Masking) 처리하도록 구현될 수 있다.
예컨대, 상기 영상 처리부(730)가 관심 영역내에 존재하는 복수의 객체 중 사람을 인식하고, 인식된 사람의 얼굴을 마스킹(Masking) 처리하도록 구현될 수 있다.
이 실시예는 오프라인 매장에서 쇼핑하는 손님들의 얼굴이 매스킹된 매장 영상을 온라인 사용자들에게 제공함으로써 오프라인 매장에서 쇼핑하는 손님들을 식별 불가능하도록 하여 개인정보를 보호할 수 있도록 한 실시예이다.
이상에서 설명한 바와 같은 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작을 도 11 내지 도 14 를 통해 알아본다.
도 11 은 도 1 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
먼저, 단계 810에서 사용자 단말이 접속되면 영상 처리 장치가 사용자 단말로 제공될 가상 카메라를 생성한다.
그리고, 단계 820에서 영상 처리 장치가 상기 단계 810에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다.
그리고, 단계 830에서 영상 처리 장치가 상기 단계 820에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.
그리고, 단계 840에서 영상 처리 장치가 상기 단계 830에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다.
그러면, 단계 850에서 오프라인 매장에 설치된 물리적인 카메라에 의해 실시간 촬영되는 오프라인 매장의 영상 중 관심 영역 영상이 사용자 단말로 제공되는 쇼핑몰 페이지의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생된다.
그리고, 단계 860에서 가상 카메라에 대한 제어권을 부여받은 사용자 단말의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생되는 관심 영역 영상에 대한 사용자의 조작에 따라 관심 영역 영상의 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 동작이 수행된다.
이와 같이 구현함에 의해 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.
도 12 는 도 2 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
먼저, 단계 910에서 사용자 단말이 접속되면 영상 처리 장치가 사용자 단말로 제공될 가상 카메라를 생성한다.
그리고, 단계 920에서 영상 처리 장치가 상기 단계 910에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다.
그리고, 단계 930에서 영상 처리 장치가 상기 단계 920에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.
그리고, 단계 940에서 영상 처리 장치가 상기 단계 930에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다.
그러면, 단계 950에서 오프라인 매장에 설치된 다수의 물리적인 카메라에 의해 각각 실시간 촬영되는 오프라인 매장의 영상들이 순차적으로 연결되어 구성되는 오프라인 매장 화면 중에서 관심 영역 영상이 사용자 단말로 제공되는 쇼핑몰 페이지의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생된다.
그리고, 단계 960에서 가상 카메라에 대한 제어권을 부여받은 사용자 단말의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생되는 관심 영역 영상에 대한 사용자의 조작에 따라 관심 영역 영상의 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 동작이 수행된다.
이와 같이 구현함에 의해 본 발명은 다수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 순차적으로 연결하여 구성한 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.
도 13 은 도 5 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
먼저, 단계 1010에서 사용자 단말이 접속되면 영상 처리 장치가 사용자 단말로 제공될 가상 카메라를 생성한다.
그리고, 단계 1020에서 영상 처리 장치가 상기 단계 1010에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다.
이 때, 쇼핑몰 페이지의 가상 카메라 영역에는 인접 배치된 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들 중 선택된 특정의 3D 객체가 포함될 수 있다.
그리고, 단계 1030에서 영상 처리 장치가 상기 단계 1020에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다. 이 때, 쇼핑몰 페이지에 포함되는 가상 카메라를 통해 3D 객체가 랜더링되어 표시된다.
그리고, 단계 1040에서 영상 처리 장치가 상기 단계 1030에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라를 통해 랜더링되어 표시되는 3D 객체에 대한 제어권을 해당 사용자 단말에 부여한다.
그러면, 단계 1050에서 영상 처리 장치가 3D 객체에 대한 제어권을 부여받은 사용자 단말로부터의 사용자 조작에 따라, 가상 카메라를 통해 랜더링되어 표시되는 3D 객체에 대한 제어를 수행된다.
이 때, 3D 객체에 대한 제어가 가상 카메라에 의해 랜더링되어 표시되는 3D 객체에 대한 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 제어일 수 있다.
이와 같이 구현함에 의해 본 발명은 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.
도 14 는 도 7 에 도시한 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 쇼핑몰 페이지 제공 동작의 일 예를 도시한 흐름도이다.
먼저, 단계 1110에서 사용자 단말이 접속되면 영상 처리 장치가 사용자 단말로 제공될 가상 카메라를 생성한다.
그리고, 단계 1120에서 영상 처리 장치가 상기 단계 1110에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성한다.
그리고, 단계 1130에서 영상 처리 장치가 상기 단계 1120에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공한다.
그리고, 단계 1140에서 영상 처리 장치가 상기 단계 1130에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여한다.
그러면, 오프라인 매장에 설치된 물리적인 카메라에 의해 실시간 촬영되는 오프라인 매장의 영상 중 관심 영역 영상이 사용자 단말로 제공되는 쇼핑몰 페이지의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생된다.
이 때, 단계 1150에서 로컬 서버의 스트리밍 부하에 따라, 로컬 서버가 직접 가상 카메라들에 의해 재생되는 관심 영역 영상들을 스트리밍하거나 또는 스트리밍 전용 서버를 통해 간접적으로 가상 카메라들에 의해 재생되는 관심 영역 영상들을 스트리밍한다.
그리고, 단계 1160에서 가상 카메라에 대한 제어권을 부여받은 사용자 단말의 가상 카메라 영역에 포함되는 가상 카메라에 의해 재생되는 관심 영역 영상에 대한 사용자의 조작에 따라 관심 영역 영상의 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 동작이 수행된다.
이와 같이 구현함에 의해 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 제공하되, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 쇼핑몰 페이지를 빠른 속도로 제공할 수 있다.
도 15 를 참조하여 본 발명에 따른 가상 카메라를 이용한 개인화된 쇼핑몰 시스템의 가상 카메라에 관심 영역 추출 동작을 알아본다. 도 15 는 도 10 에 도시한 가상 카메라에 의한 관심 영역 추출 절차의 일 예를 도시한 흐름도이다.
먼저, 단계 1210에서 가상 카메라가 사용자로부터 가상 카메라 설정 정보를 입력받아 저장한다. 예컨대, 상기 가상 카메라 설정 정보에는 초기 관심 영역 위치, 관심 영역 크기, 해상도, 품질, 압축 포맷, 가상 카메라 영역 패턴 중 적어도 하나가 포함될 수 있다.
그 다음, 단계 1220에서 가상 카메라가 가상 카메라 설정 정보에 설정된 초기 관심 영역 위치를 관심 영역으로 결정하고, 물리적인 카메라로부터 수신되는 매장 영상에서 관심 영역에 대응하는 부분을 관심 영역 크기로 추출하여 재생한다.
그 다음, 단계 1230에서 사용자로부터 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작이 있으면, 가상 카메라가 재생되는 관심 영역의 영상을 가상 카메라 영역 범위내에서 소프트웨어적으로 팬/틸트하거나 줌인/줌아웃시킨다.
만약, 사용자로부터의 팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작에 의해 재생되는 관심 영역의 영상이 가상 카메라 영역 범위(물리적인 카메라 촬영 범위)를 벗어날 경우, 단계 1240에서 가상 카메라가 물리적인 카메라를 물리적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 물리적인 카메라 구동 명령을 물리적인 카메라로 출력한다.
이상에서 설명한 바와 같이, 본 발명은 하나의 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.
또한, 본 발명은 다수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 순차적으로 연결하여 구성한 오프라인 매장 화면으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.
또한, 본 발명은 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 검출된 3D 객체들을 포함하는 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 스트리밍함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있다.
또한, 본 발명은 물리적인 카메라에 의해 촬영되는 오프라인 매장의 영상으로부터 관심 영역(ROI)이 상이한 사용자별 가상 카메라를 생성하여 이를 쇼핑몰 페이지에 포함하여 제공하되, 사용자별 쇼핑몰 페이지들의 가상 카메라 영역에 포함되는 사용자별 가상 카메라들에 의해 재생되는 관심 영역 영상들의 스트리밍 부하를 분산하여 전송함으로써 사용자에게 실제 오프라인 매장에서 쇼핑하는 것과 같은 느낌을 줄 수 있는 쇼핑몰 페이지를 빠른 속도로 제공할 수 있다.
본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.
본 발명은 온라인 쇼핑몰 관련 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.
100 : 카메라
200 : 영상 처리 장치
210 : 영상 수신부
220 : 가상 카메라 관리부
221 : 접속 관리부
222 : 가상 카메라 생성부
223 : 쇼핑몰 페이지 생성부
224 : 쇼핑몰 페이지 제공부
225 : 제어권 부여부
226 : 제어권 회수부
230 : 다중화부
240 : 영상 전송부
300 : 로컬 서버
400 : 스트리밍 전용 서버
500 : 쇼핑몰 관리서버
600 : 쇼핑몰 페이지
610 : 가상 카메라 영역
620 : 관심 상품 영역
630 : 화상 채팅 영역
640 : 매장 정보 영역
700 : 가상 카메라
710 : 관심 영역 선택부
720 : 관심 영역 재생부
730 : 영상 처리부
731 : 메모리
732 : 관심 영역 추출부
733 : 영상 스케일러
734 : 코덱
735 : 프레임율 변환부
740 : 모의 팬틸트줌 처리부
750 : 광학 팬틸트줌 처리부
760 : 설정정보 저장부
770 : 가상 카메라 설정부

Claims (17)

  1. 인접 배치되어 각각 매장의 영상을 실시간 촬영하는 복수의 물리적인 카메라와;
    상기 인접 배치된 복수의 물리적인 카메라에 의해 각각 촬영되는 오프라인 매장의 영상들을 수신하는 영상 수신부와, 상기 영상 수신부에 의해 수신된 오프라인 매장의 2D 영상들의 스테레오 시각차를 이용해 3D 객체들을 검출하고, 검출된 3D 객체들을 포함하는 오프라인 매장 화면을 구성하고, 구성된 오프라인 매장 화면으로부터 3D 객체들이 위치한 영역을 관심 영역(ROI)으로 하는 상이한 복수의 사용자별 가상 카메라를 생성하는 가상 카메라 관리부를 포함하는 영상 처리 장치와;
    오프라인 매장 화면에서 특정 3D 객체가 위치한 영역을 관심 영역으로 선택하는 관심 영역 선택부와, 상기 관심 영역 선택부에 의해 선택된 관심 영역의 3D 객체를 랜더링하여 표시하는 관심 영역 재생부와, 사용자 단말의 조작에 따라, 상기 관심 영역 재생부에 의해 랜더링되어 표시되는 3D 객체를 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 처리하는 영상 처리부를 포함하는 가상 카메라를;
    포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  2. 제 1 항에 있어서,
    상기 가상 카메라 관리부가:
    사용자 단말 접속 및 접속 해제를 처리하는 접속 관리부와;
    상기 접속 관리부에 의해 접속 처리된 사용자 단말로 제공될 가상 카메라를 생성하는 가상 카메라 생성부와;
    상기 가상 카메라 생성부에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 구성하는 쇼핑몰 페이지 생성부와;
    상기 쇼핑몰 페이지 생성부에 의해 생성된 가상 카메라가 가상 카메라 영역에 포함되는 쇼핑몰 페이지를 사용자 단말로 제공하는 쇼핑몰 페이지 제공부와;
    상기 쇼핑몰 페이지 제공부에 의해 제공되는 쇼핑몰 페이지에 포함되는 가상 카메라에 대한 제어권을 해당 사용자 단말에 부여하는 제어권 부여부를;
    포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  3. 제 2 항에 있어서,
    상기 가상 카메라에 대한 제어권이:
    랜더링되어 표시되는 3D 객체의 회전(Rotation) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 또는 팬(Pan)/틸트(Tilt) 권한인 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  4. 제 2 항에 있어서,
    상기 쇼핑몰 페이지 생성부에 의해 생성되는 쇼핑몰 페이지가:
    관리자 단말에 의해 업로드 되는 관심 상품 영상이 등록되는 관심 상품 영역을 포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  5. 제 2 항에 있어서,
    상기 쇼핑몰 페이지 생성부에 의해 생성되는 쇼핑몰 페이지가:
    관리자 단말과 사용자 단말간 화상 채팅을 처리하는 화상 채팅 영역을 포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  6. 제 2 항에 있어서,
    상기 쇼핑몰 페이지 생성부에 의해 생성되는 쇼핑몰 페이지가:
    오프라인 매장 정보를 제공하는 매장 정보 영역을 포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  7. 제 1 항에 있어서,
    상기 가상 카메라가:
    팬(Pan)/틸트(Tilt) 또는 줌인(Zoom In)/줌아웃(Zoom Out) 조작신호에 따라, 관심 영역 재생부에 의해 재생되는 관심 영역의 영상을 가상 카메라 영역 범위내에서 소프트웨어적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 가상 카메라 제어 명령을 상기 영상 처리부로 출력하는 모의 팬틸트줌 처리부를;
    더 포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  8. 제 7 항에 있어서,
    상기 가상 카메라가:
    관심 영역 재생부에 의해 재생되는 관심 영역의 영상이 가상 카메라 영역 범위를 벗어날 경우, 물리적인 카메라를 물리적으로 팬/틸트하거나 줌인/줌아웃하도록 지시하는 물리적인 카메라 구동 명령을 물리적인 카메라로 출력하는 광학 팬틸트줌 처리부를; 더 포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  9. 제 1 항에 있어서,
    상기 가상 카메라가:
    가상 카메라 설정정보를 저장하는 설정정보 저장부와;
    사용자로부터 가상 카메라 설정 정보를 입력받아 상기 설정정보 저장부에 저장하는 가상 카메라 설정부를;
    더 포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  10. 제 9 항에 있어서,
    상기 가상 카메라 설정부가:
    초기 관심 영역 위치, 관심 영역 크기, 해상도, 품질, 압축 포맷, 가상 카메라 영역 패턴 중 적어도 하나를 가상 카메라 설정 정보로 설정하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  11. 제 9 항에 있어서,
    상기 영상 처리부가:
    물리적인 카메라에 의해 촬영되는 매장 영상을 저장하는 메모리와;
    상기 메모리에 저장되는 매장 영상으로부터 상기 관심 영역 선택부에 의해 선택된 관심 영역의 영상을 카메라 설정 정보에 설정된 관심 영역 크기로 추출하는 관심 영역 추출부와;
    상기 관심 영역 추출부에 의해 추출된 관심 영역 영상을 카메라 설정 정보에 설정된 해상도로 변환하는 영상 스케일러와;
    상기 영상 스케일러에 의해 변환된 관심 영역 영상을 카메라 설정 정보에 설정된 압측 포맷으로 압축하는 코덱을;
    포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  12. 제 11 항에 있어서,
    상기 영상 처리부가:
    카메라 설정 정보에 설정된 품질에 맞게 관심 영역 영상의 프레임율을 변환하는 프레임율 변환부를;
    더 포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  13. 제 1 항에 있어서,
    상기 관심 영역 재생부가:
    관심 영역내에 겹치는 복수의 3D 객체가 존재할 경우, 이들 중 선택된 특정의 3D 객체만 표시하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  14. 제 1 항에 있어서,
    상기 관심 영역 재생부가:
    관심 영역내에 존재하는 복수의 3D 객체 중 사람을 인식하고, 인식된 사람의 얼굴을 마스킹(Masking) 처리하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  15. 제 1 항에 있어서,
    상기 관심 영역 선택부에 의해 선택되는 각 사용자별 관심 영역(ROI)들이:
    서로 중첩될 수 있는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  16. 제 1 항에 있어서,
    상기 영상 처리 장치가:
    복수의 사용자별 가상 카메라에 의해 재생되는 관심 영역 영상들을 각각 동일한 네트워크 주소이면서 서로 상이한 포트에서 출발한(originated) 패킷 영상신호로 변환하고 이들을 다중화하여 단일의 패킷 영상 스트림으로 변환하는 다중화부와;
    상기 다중화부에 의해 다중화된 단일의 패킷 영상 스트림을 단일의 물리계층을 통해 사용자 단말들로 전송하는 영상 전송부를;
    더 포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
  17. 제 2 항에 있어서,
    상기 가상 카메라 관리부가:
    상기 접속 관리부에 의해 접속 해제 처리된 사용자 단말에게 부여된 가상 카메라에 대한 제어권을 회수하는 제어권 회수부를;
    더 포함하는 가상 카메라를 이용한 개인화된 쇼핑몰 시스템.
KR1020160071102A 2015-09-09 2016-06-08 가상 카메라를 이용한 개인화된 쇼핑몰 시스템 KR20170030421A (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20150127917 2015-09-09
KR1020150127917 2015-09-09
KR1020150134902 2015-09-23
KR20150134902 2015-09-23
KR20150162825 2015-11-19
KR1020150162825 2015-11-19
KR20160006535 2016-01-19
KR1020160006535 2016-01-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170181139A Division KR20180004068A (ko) 2015-09-09 2017-12-27 가상 카메라를 이용한 개인화된 쇼핑몰 시스템

Publications (1)

Publication Number Publication Date
KR20170030421A true KR20170030421A (ko) 2017-03-17

Family

ID=58502032

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020160071102A KR20170030421A (ko) 2015-09-09 2016-06-08 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020160071103A KR102191067B1 (ko) 2015-09-09 2016-06-08 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020160071101A KR102191050B1 (ko) 2015-09-09 2016-06-08 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020160071099A KR102191047B1 (ko) 2015-09-09 2016-06-08 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020170181139A KR20180004068A (ko) 2015-09-09 2017-12-27 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020170181138A KR20180001550A (ko) 2015-09-09 2017-12-27 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020170181137A KR20180004067A (ko) 2015-09-09 2017-12-27 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020170181140A KR20180001551A (ko) 2015-09-09 2017-12-27 가상 카메라를 이용한 개인화된 쇼핑몰 시스템

Family Applications After (7)

Application Number Title Priority Date Filing Date
KR1020160071103A KR102191067B1 (ko) 2015-09-09 2016-06-08 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020160071101A KR102191050B1 (ko) 2015-09-09 2016-06-08 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020160071099A KR102191047B1 (ko) 2015-09-09 2016-06-08 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020170181139A KR20180004068A (ko) 2015-09-09 2017-12-27 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020170181138A KR20180001550A (ko) 2015-09-09 2017-12-27 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020170181137A KR20180004067A (ko) 2015-09-09 2017-12-27 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR1020170181140A KR20180001551A (ko) 2015-09-09 2017-12-27 가상 카메라를 이용한 개인화된 쇼핑몰 시스템

Country Status (1)

Country Link
KR (8) KR20170030421A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045385A1 (ko) * 2017-08-29 2019-03-07 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
KR20190044596A (ko) * 2019-04-19 2019-04-30 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
WO2019156263A1 (ko) * 2018-02-08 2019-08-15 라인플러스 주식회사 대화방을 3차원 형태로 제공하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
US12135860B2 (en) 2022-06-10 2024-11-05 LINE Plus Corporation Method, system, and non-transitory computer readable record medium for providing chatroom in 3D form

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876878B (zh) * 2017-05-08 2021-11-09 腾讯科技（深圳）有限公司 头像生成方法及装置
US12104741B2 (en) 2018-09-25 2024-10-01 Legged Thing Limited Reversible L-bracket
GB2577496B (en) * 2018-09-25 2022-06-08 3 Legged Thing Ltd Reversible L-Bracket
GB2584304B (en) 2019-05-29 2021-12-29 3 Legged Thing Ltd L-bracket
CN114207557A (zh) * 2019-09-09 2022-03-18 苹果公司 虚拟和物理相机的位置同步
WO2022181861A1 (ko) * 2021-02-26 2022-09-01 애드커넥티드 주식회사 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
CN116596611A (zh) * 2023-04-15 2023-08-15 阿里巴巴（中国）有限公司 商品对象信息展示方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110072846A (ko) 2009-12-23 2011-06-29 클레어픽셀 주식회사 감시 카메라 장치 및 영상 데이터 처리 방법
KR20130039652A (ko) 2011-10-12 2013-04-22 한국전자통신연구원 콘텐츠 중심 네트워크의 부하분산 방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
JP2001051890A (ja) * 1999-08-10 2001-02-23 Toshiba Corp 仮想分散ファイルサーバシステム
KR100388419B1 (ko) * 2000-05-10 2003-06-25 김석배 인터넷에서 실영상의 가상공간을 이용한 전자 상거래시스템 및 그 방법
KR20010025404A (ko) * 2000-12-22 2001-04-06 유명현 카메라 동작 분석을 이용한 가상 광고 삽입 장치 및 방법
US7823058B2 (en) * 2002-12-30 2010-10-26 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive point-of-view authoring of digital video content
KR20090041192A (ko) * 2007-10-23 2009-04-28 에스케이 텔레콤주식회사 가상의 쇼핑 공간을 제공하는 방법, 시스템 및 서버
US20130182184A1 (en) * 2012-01-13 2013-07-18 Turgay Senlet Video background inpainting
KR101215948B1 (ko) * 2012-04-02 2012-12-27 주식회사 뉴인테크 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
KR20140092211A (ko) * 2013-01-15 2014-07-23 삼성전자주식회사 미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치
KR101513180B1 (ko) * 2013-09-10 2015-04-17 주식회사 제론헬스케어 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법
KR101484736B1 (ko) * 2013-12-05 2015-01-22 최명진 실제 공간을 제공하는 쇼핑몰 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110072846A (ko) 2009-12-23 2011-06-29 클레어픽셀 주식회사 감시 카메라 장치 및 영상 데이터 처리 방법
KR20130039652A (ko) 2011-10-12 2013-04-22 한국전자통신연구원 콘텐츠 중심 네트워크의 부하분산 방법 및 장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045385A1 (ko) * 2017-08-29 2019-03-07 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
KR20190023469A (ko) * 2017-08-29 2019-03-08 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
CN111052185A (zh) * 2017-08-29 2020-04-21 小猫星球 影像配准方法及其装置
US11354882B2 (en) 2017-08-29 2022-06-07 Kitten Planet Co., Ltd. Image alignment method and device therefor
US20220262091A1 (en) * 2017-08-29 2022-08-18 Kitten Planet Co., Ltd. Image alignment method and device therefor
WO2019156263A1 (ko) * 2018-02-08 2019-08-15 라인플러스 주식회사 대화방을 3차원 형태로 제공하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
US11392262B2 (en) 2018-02-08 2022-07-19 LINE Plus Corporation Method, system, and non-transitory computer readable record medium for providing chatroom in 3D form
KR20190044596A (ko) * 2019-04-19 2019-04-30 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
US12135860B2 (en) 2022-06-10 2024-11-05 LINE Plus Corporation Method, system, and non-transitory computer readable record medium for providing chatroom in 3D form

Also Published As

Publication number Publication date
KR20180001550A (ko) 2018-01-04
KR102191067B1 (ko) 2020-12-14
KR20180004068A (ko) 2018-01-10
KR102191050B1 (ko) 2020-12-14
KR20170030420A (ko) 2017-03-17
KR102191047B1 (ko) 2020-12-14
KR20170030419A (ko) 2017-03-17
KR20170030422A (ko) 2017-03-17
KR20180004067A (ko) 2018-01-10
KR20180001551A (ko) 2018-01-04

Similar Documents

Publication Publication Date Title
US9967446B2 (en) Personalized shopping mall system using virtual camera
KR102191067B1 (ko) 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
US10650244B2 (en) Video conferencing system and related methods
JP7135141B2 (ja) 情報処理システム、情報処理方法、および情報処理プログラム
EP2406951B1 (en) System and method for providing three dimensional imaging in a network environment
US9965026B2 (en) Interactive video display method, device, and system
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
KR102069930B1 (ko) 이머전 통신 클라이언트, 서버 및 컨텐츠 뷰를 획득하는 방법
JP6241802B1 (ja) 映像配信システム、ユーザ端末装置および映像配信方法
JP7237538B2 (ja) 情報処理装置、それを含むシステム、情報処理方法、およびプログラム
CN107409239B (zh) 基于眼睛追踪的图像传输方法、图像传输设备及图像传输系统
CN114651448B (zh) 信息处理系统、信息处理方法和程序
CN111882669A (zh) 虚拟实境设备及其控制方法以及移动装置控制方法
WO2022143212A1 (zh) 由组合传送的多个串流取出特定串流播放的系统及方法
CN115225915B (zh) 直播录设备、直播录系统及直播录方法
CN114143460A (zh) 视频显示方法、装置及电子设备
Seo et al. Immersive panorama TV service system
JP3184028B2 (ja) 人物映像表示システム
JP2002262138A (ja) 撮像システム、テレビ会議システム、監視システムおよび撮像機能を有した情報端末機器
CN115039410B (zh) 信息处理系统、信息处理方法和程序
CN118511515A (zh) 用于实现视频高保真放大的技术
CN114283055A (zh) 一种虚拟现实设备及图片显示方法
Hanák et al. Building a panoramic recording and presentation system for telepresence

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2018101003199; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20180727

Effective date: 20190829

S901 Examination by remand of revocation
E902 Notification of reason for refusal
E902 Notification of reason for refusal
S601 Decision to reject again after remand of revocation