KR102259210B1 - 영상 처리 방법, 전자 장치, 및 저장 매체 - Google Patents

영상 처리 방법, 전자 장치, 및 저장 매체 Download PDF

Info

Publication number
KR102259210B1
KR102259210B1 KR1020197036057A KR20197036057A KR102259210B1 KR 102259210 B1 KR102259210 B1 KR 102259210B1 KR 1020197036057 A KR1020197036057 A KR 1020197036057A KR 20197036057 A KR20197036057 A KR 20197036057A KR 102259210 B1 KR102259210 B1 KR 102259210B1
Authority
KR
South Korea
Prior art keywords
target
coordinate information
item
virtual
virtual item
Prior art date
Application number
KR1020197036057A
Other languages
English (en)
Other versions
KR20200005598A (ko
Inventor
자 웨이
잉 사
저촨 장
훙 장
샤오 판
촨캉 판
샤오웨이 판
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20200005598A publication Critical patent/KR20200005598A/ko
Application granted granted Critical
Publication of KR102259210B1 publication Critical patent/KR102259210B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5372—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

영상 처리 방법은 촬영된 영상을 획득하는 단계; 촬영된 영상으로부터 적어도 하나의 촬영된 물체의 촬영된 물체 정보를 추출하는 단계; 각각의 촬영된 물체의 촬영된 물체 정보에 따라, 대응하는 가상 아이템을 결정하는 단계; 각각의 촬영된 물체의 촬영된 물체 정보 및 촬영된 영상에 따라, 각각의 가상 아이템의 좌표 정보를 결정하는 단계; 및 좌표 정보, 가상 아이템, 및 촬영된 영상에 따라 가상 장면을 발생하는 단계를 포함한다.

Description

영상 처리 방법, 전자 장치, 및 저장 매체
관련 출원
본원은 그 전체가 본원에 참조로 포함된, 2017년 11월 23일자 중국 특허청에 제출된 발명의 명칭이 "IMAGE PROCESSING METHOD AND APPARATUS, AND STORAGE MEDIUM"인 중국 특허 출원 201711184883.6호를 우선권 주장한다.
본 개시내용은 컴퓨터 기술들의 분야, 및 특히, 영상 처리 방법, 전자 장치 및 저장 매체에 관한 것이다.
증강 현실(AR)은 카메라 영상들의 위치들 및 각도들을 실시간으로 계산하고 대응하는 영상들, 비디오들, 및 3차원 모델들을 추가하는 기술이다. 이 기술은 화면 상에 가상 세계를 놓고 실제 세계에서 가상 세계와 상호작용하고자 하는 기술이다.
AR 게임은 실제 환경과 가상 아이템들이 동일한 화면 상에 또는 동일한 공간 내에 실시간으로 중첩되므로, 사용자들이 가상 입체 영상들을 완전히 인지하고 조작할 수 있는 전자 게임이다. AR 게임들의 구현은 카메라를 갖는 하드웨어 디바이스들을 필요로 하고, 하드웨어 디바이스는 컴퓨터, 이동 전화, 게임 콘솔, AR 헬멧, AR 안경 등을 포함하지만 이들로 제한되지 않는다. 기존의 AR 게임은 주로 카메라를 통해 게임 카드 상의 영상 정보를 식별하고, 다음에 아이템들, 예를 들어, 영상 정보에 대응하는 요트 및 스프라이트와 같은 3차원 모델들을 실제 장면으로 렌러딩한다. 기존의 AR 게임은 복수의 게임 카드를 동시에 식별할 수 없다. 결과적으로, 특정한 게임 아이템들의 단지 하나 또는 하나의 그룹이 단일 게임 내에 프리젠트될 수 있다. 그러므로, 상호작용은 간단하고, 게임 콘텐트는 제한된다.
본 개시내용의 실시예들은 영상 처리 방법과 장치, 저장 매체, 및 전자 장치를 제공한다.
영상 처리 방법은 전자 장치에 의해 수행되고,
캡처된 영상을 획득하는 단계;
캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출하는 단계;
각각의 대상의 대상 정보에 따라 대응하는 가상 아이템을 결정하는 단계;
각각의 대상의 대상 정보 및 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정하는 단계; 및
좌표 정보, 가상 아이템, 및 캡처된 영상에 따라 가상 장면을 발생하는 단계
를 포함한다.
영상 처리 장치는
캡처된 영상을 획득하도록 구성되는 획득 모듈;
캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출하도록 구성되는 추출 모듈;
각각의 대상의 대상 정보에 따라 대응하는 가상 아이템을 결정하도록 구성되는 제1 결정 모듈;
각각의 대상의 대상 정보 및 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정하도록 구성되는 제2 결정 모듈; 및
좌표 정보, 가상 아이템, 및 캡처된 영상에 따라 가상 장면을 발생하도록 구성되는 발생 모듈
을 포함한다.
전자 장치는 메모리 및 프로세서를 포함한다. 메모리는 컴퓨터 판독가능 명령어들을 저장하고, 컴퓨터 판독가능 명령어들은 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금
캡처된 영상을 획득하는 동작;
캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출하는 동작;
각각의 대상의 대상 정보에 따라 대응하는 가상 아이템을 결정하는 동작;
각각의 대상의 대상 정보 및 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정하는 동작; 및
좌표 정보, 가상 아이템, 및 캡처된 영상에 따라 가상 장면을 발생하는 동작
을 수행하게 한다.
비휘발성 컴퓨터 판독가능 저장 매체는 복수의 컴퓨터 판독가능 명령어를 저장한다. 컴퓨터 판독가능 명령어들은 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금
캡처된 영상을 획득하는 동작;
캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출하는 동작;
각각의 대상의 대상 정보에 따라 대응하는 가상 아이템을 결정하는 동작;
각각의 대상의 대상 정보 및 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정하는 동작; 및
좌표 정보, 가상 아이템, 및 캡처된 영상에 따라 가상 장면을 발생하는 동작
을 수행하게 한다.
본 개시내용의 실시예들의 기술적 해결책들 또는 관련된 기술을 보다 명확히 설명하게 위해, 다음에 실시예들 또는 관련된 기술을 설명하기 위해 요구되는 첨부 도면들이 간단히 도입된다. 분명히, 다음 설명에서의 첨부 도면들은 단지 본 개시내용의 일부 실시예들을 도시하고, 본 기술 분야의 통상의 기술자는 창의적 노력들 없이 이들 첨부 도면으로부터 다른 도면들을 여전히 도출해 낼 수 있다.
도 1은 본 개시내용의 실시예에 따른 영상 처리 방법의 개략적 흐름도이다.
도 2a는 본 개시내용의 실시예에 따른 영상 처리 방법의 개략적 흐름도이다.
도 2b는 본 개시내용의 실시예에 따른 AR 게임 상호작용 장면의 개략도이다.
도 2c는 본 개시내용의 실시예에 따른 해전 게임의 가상 장면의 개략도이다.
도 3a는 본 개시내용의 실시예에 따른 영상 처리 장치의 개략적 구조도이다.
도 3b는 본 개시내용의 실시예에 따른 제2 결정 모듈의 개략 구조도이다.
도 3c는 본 개시내용의 실시예에 따른 발생 모듈의 개략 구조도이다.
도 3d는 본 개시내용의 실시예에 따른 업데이트 모듈의 개략 구조도이다.
도 4는 본 개시내용의 실시예에 따른 전자 장치의 개략 구조도이다.
이하에서는 본 개시내용의 실시예들의 첨부 도면들을 참조하여 본 개시내용의 실시예들의 기술적 해결책들을 분명하고 완전히 설명한다. 분명히, 설명된 실시예들은 실시예들의 모두라기보다는 본 개시내용의 실시예들의 일부이다. 창의적 노력들 없이 본 개시내용의 실시예들에 기초하여 본 기술 분야의 통상의 기술자에 의해 획득된 모든 다른 실시예들이 본 개시내용의 보호 범위 내에 들 것이다.
본 개시내용의 실시예들은 이하에서 상세히 각각 설명되는 영상 처리 방법과 장치, 및 저장 매체를 제공한다.
영상 처리 방법은 캡처된 영상을 획득하는 단계; 캡처된 영상으로부터 대상의 대상 정보를 추출하는 단계; 대상 정보에 따라, 대상에 대응하는 가상 아이템을 결정하는 단계; 대상 정보 및 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정하는 단계; 및 좌표 정보, 가상 아이템, 및 캡처된 영상에 따라 가상 장면을 발생하는 단계를 포함한다. 도 1에 도시한 것과 같이, 영상 처리 방법의 특정한 프로세스는 다음과 같을 수 있다.
S101: 캡처된 영상을 획득한다.
이 실시예에서, 캡처된 영상은 단말기에 내장된 (카메라와 같은) 영상 취득 장치에 의해 획득될 수 있다. 영상 취득 장치는 AR 게임 디바이스에 내장될 수 있다. AR 게임 디바이스는 주로 AR 게임에 적용될 수 있다. 각각의 AR 게임에 참가하는 플레이어들의 수는 실제 요건에 따라 결정될 수 있다. 그 수는 하나 이상일 수 있다. 복수의 플레이어가 AR 게임에 참가할 때, 하나의 플레이어의 AR 게임 디바이스가 주 디바이스로서 지정될 수 있고, 주 디바이스에 의해 취득된 영상이 캡처된 영상으로서 결정될 수 있다.
S102: 캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출한다.
이 실시예에서, 대상은 특정한 가상 아이템, 예를 들어 공식적으로 출시된 게임 카드를 참조하는 기능을 갖는 물리적 물체일 수 있다. 각각의 게임 카드는 하나의 가상 아이템에 대응하고, 가상 아이템, 예를 들어, 게임 내의 캐릭터, 무기, 또는 소품이 가상 네트워크 세계로부터 도출된다. 구체적으로, 대상 정보는 랜덤 포레스트, 서포트 벡터 머신(SVM) 등과 같은 분류기를 사용하여 캡처된 영상으로부터 추출될 수 있다.
S103: 각각의 대상의 대상 정보에 따라 대응하는 가상 아이템을 결정한다;
예를 들어, 동작 S103은 구체적으로 이하의 동작들을 포함할 수 있다.
1-1: 대상 정보로부터 특징 정보를 추출하는 동작.
이 실시예에서, 특징 정보는 색 특징, 조직 특징, 형상 특징, 공간적 관계 특징 중 적어도 하나를 포함할 수 있다. 상이한 특징들이 상이한 알고리즘들을 사용하여 추출될 수 있다. 예를 들어, 색 특징은 색 히스토그램 방법을 통해 추출되고, 조직 특징은 기하학적 방법을 통해 추출된다.
1-2: 특징 정보에 따라, 대상에 대응하는 아이템 식별자를 결정하는 동작.
이 실시예에서, 아이템 식별자는 가상 아이템의 고유 식별자이다. 가상 아이템은 일반적으로 3차원 모델에 의해 렌더링된 입체 영상이다. 아이템 식별자는 네트워크 플랫폼 상에 가상 아이템을 등록할 때 사람에 의해 설정된 이름, 또는 시스템에 의해 자동으로 할당되는 스트링일 수 있다. 각각의 가상 아이템(또는 가상 아이템들의 각각의 그룹)은 하나의 아이템 식별자에 대응한다. 구체적으로, 사용자는 (게임 카드들과 같은) 모든 준비된 대상들에 대해 영상 취득을 미리 수행하고 특징 정보를 추출할 수 있고, 다음에 추출된 특징 정보를 특징 정보가 참조하는 가상 아이템의 아이템 식별자와 연관시키고, 그 연관성을 저장할 수 있다. 이 방식으로, 대응하는 아이템 식별자가 특징 정보에 따라 후속하여 발견될 수 있다.
1-3: 아이템 식별자에 따라 저장된 가상 아이템 라이브러리로부터 대응하는 가상 아이템을 획득하는 동작.
이 실시예에서, 사용자는 각각의 설계된 가상 아이템에 대한 아이템 식별자를 미리 설정하고, 아이템 식별자와 가상 아이템 간의 연관성을 가상 아이템 라이브러리 내에 저장할 수 있다.
S104: 각각의 대상의 대상 정보 및 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정한다.
예를 들어, 동작 S104는 구체적으로 이하의 동작들을 포함할 수 있다.
2-1: 캡처된 영상에서 대상 정보의 디스플레이 위치를 검출하는 동작.
이 실시예에서, 디스플레이 위치는 캡처된 영상의 상부 경계, 하부 경계, 좌측 경계, 및 우측 경계로부터의 상대적 위치일 수 있다. 캡처된 영상 내의 대상의 투사가 단일 픽셀 점 대신에 픽셀 영역이기 때문에, 픽셀 영역의 중심의 디스플레이 위치가 전체 대상의 디스플레이 위치를 나타내기 위해 사용될 수 있다. 물론, 다른 방식이 또한 사용될 수 있고, 이것은 여기서 제한되지 않는다.
2-2: 디스플레이 위치에 따라 적어도 하나의 대상으로부터 타깃 대상을 선택하는 동작.
이 실시예에서, 타깃 대상이 실제 요건에 따라 선택될 수 있다. 예를 들어, 고정된 점으로부터 가장 멀거나 또는 고정된 점에 가장 가까운 대상이 타깃 대상으로서 결정될 수 있다. 고정된 점은 상좌측 정점, 중심 점, 하우측 정점 등일 수 있고, 경계에 위치한 대상은 타깃 대상으로서 선택될 수 있다.
예를 들어, 동작 2-2는 구체적으로 이하의 동작들을 포함할 수 있다:
적어도 하나의 대상에서, 그 디스플레이 위치가 캡처된 영상의 프리셋 에지에 가장 가까운 대상을 결정하는 동작; 및
타깃 대상으로서 결정된 대상을 사용하는 동작.
이 실시예에서, 프리셋 에지는 좌측 에지, 우측 에지, 상부 에지, 또는 하부 에지와 같은, 사용자에 의해 설정된 임의의 에지일 수 있다.
2-3: 타깃 대상 및 디스플레이 위치에 따라 각각의 가상 아이템의 좌표 정보를 결정하는 동작.
예를 들어, 동작 2-3은 구체적으로 이하의 동작들을 포함할 수 있다:
좌표 원점으로서 타깃 대상의 디스플레이 위치를 갖는 3차원 좌표계를 생성하는 동작; 및
대응하는 가상 아이템의 좌표 정보로서 3차원 좌표계 내의 각각의 디스플레이 위치의 좌표 정보를 획득하는 동작.
이 실시예에서, 3차원 좌표계는 좌표 원점으로서 타깃 대상의 디스플레이 위치를 사용하고 캡처된 영상이 (X축 및 Y축과 같은) 2개의 좌표 축이 위치하는 평면으로서 위치한 평면을 사용함으로써 생성될 수 있다. 다음에, 대응하는 3차원 좌표 값들이 X축, Y축 및 Z축에 대한 각각의 디스플레이 위치의 투사 위치들에 따라 결정되고, 3차원 좌표 값들은 가상 아이템의 좌표 정보로서 사용된다. 좌표 정보의 각각의 부분 내의 (Z축과 같은) 제3 좌표 축의 값은 일반적으로 0이다.
S105: 좌표 정보, 가상 아이템, 및 캡처된 영상에 따라 가상 장면을 발생한다.
예를 들어, 동작 S105는 구체적으로 이하의 동작을 포함할 수 있다:
가상 장면을 발생하기 위해 좌표 정보에 따라 캡처된 영상 위에 대응하는 가상 아이템을 중첩하는 동작.
이 실시예에서, 가상 장면은 변환이 가상 영상 및 실제 영상에 대해 수행된 후에 특정된 공통 공간 좌표계에서 발생된 새로운 영상을 참조한다. 공통 공간 좌표계는 주로 생성된 3차원 좌표계를 참조하고, 변환은 중첩을 포함할 수 있다. 가상 장면 내의 가상 아이템은 실제 게이밍 초점에 따라 주로 결정된, 캡처된 영상 위에 직접적으로 또는 간접적으로 중첩될 수 있다. 초점이 실제 환경 체험 상에 있으면, 직접적인 중첩이 사용된다. 초점이 가상 세계 내의 실제 상호작용들의 프리젠테이션 상에 있으면, 간접적인 중첩이 사용된다.
예를 들어, 가상 아이템이 간접적으로 중첩될 때, "좌표 정보에 따라 캡처된 영상 위에 대응하는 가상 아이템을 중첩하는" 전술한 동작은 구체적으로 이하의 동작들을 포함할 수 있다.
3-1: 아이템 식별자에 따라 저장된 장면 영상 라이브러리 내의 타깃 장면 영상을 결정하는 동작.
이 실시예에서, 장면 영상 라이브러리의 장면 영상들이 일반적으로 게임 콘텐트에 따라 미리 설계되고, 주로 게임 배경들의 역할을 한다. 상이한 게임들은 상이한 장면 영상들을 가질 수 있다. 상이한 게임들에서, 요구된 가상 아이템들은 상이하고, 각각의 가상 아이템이 아이템 식별자에 의해 식별될 수 있다. 그러므로, 현재 런닝하고 있는 게임의 장면 영상이 가상 아이템의 아이템 식별자에 따라 결정될 수 있다.
3-2: 좌표 정보에 따라 캡처된 영상 위에 타깃 장면 영상을 중첩하는 동작.
이 실시예에서, 타깃 장면 영상의 크기 및 중첩 위치가 에지에 위치한 가상 아이템의 좌표 정보에 따라 조정될 수 있으므로, 각각의 가상 아이템이 타깃 장면 영상 위에 위치하는 것을 보장한다.
3-3: 좌표 정보에 따라 타깃 장면 영상 위에 대응하는 가상 아이템을 중첩하는 동작.
이 실시예에서, 타깃 장면 영상 위의 좌표 정보의 각각의 부분의 대응하는 위치가 먼저 결정될 수 있고, 다음에 대응하는 가상 아이템이 대응하는 위치에 중첩된다.
물론, 가상 장면이 발생된 후에, 가상 장면이 사용자에게 추가로 프리젠트될 수 있으므로, 사용자는 프리젠트된 영상에 따라 상호작용을 수행할 수 있다. 사용자가 상이한 위치들에 서있을 때, 사용자의 시각 각도들은 역시 분명히 상이하다. 가상 장면이 사용자에게 프리젠트될 때, 사용자들의 몰입 감정들을 심화시키도록, 각각의 사용자의 시각 각도에 따라 가상 아이템의 배치 방향들 및 타깃 장면 영상을 신축성있게 조정하는 것이 요구된다. 각각의 사용자의 시각 각도가 각각의 취득된 배경 영상의 배향으로부터 획득될 수 있다.
또한, 가상 장면이 사용자에게 프리젠트된 후에, 각각의 대상의 움직임을 실시간으로 추적하고 움직임에 따라 대응하는 가상 장면을 업데이트하는 것이 또한 요구된다. 즉, 동작 3-3 후에, 영상 처리 방법은 이하의 동작들을 추가로 포함할 수 있다:
차이 세트를 획득하기 위해 좌표 정보의 각각의 부분과 좌표 정보의 나머지 부분들 간의 차이들을 획득하는 동작 - 좌표 정보의 각각의 부분은 하나의 차이 세트에 대응함 -;
각각의 차이 세트에서 차이들의 변화들을 검출하는 동작; 및
변화들에 기초하여 가상 장면을 업데이트하는 동작.
이 실시예에서, 차이는 2개의 가상 아이템 간의 좌표 차이이고, 차이의 변화는 상대적 이동 또는 상대적 회전과 같은, 2개의 가상 아이템 간의 상대적 움직임을 반영할 수 있다. 검출된 변화가 영이 아닐 때, 이동하지 않은 가상 아이템의 좌표 정보에 따라 게임 장면을 고정하고 이동한 가상 아이템의 좌표 정보에 따라 가상 아이템을 업데이트하는 것이 요구된다.
예를 들어, 타깃 장면 영상의 프리젠테이션이 이동하지 않은 가상 아이템에 따라 고정될 필요가 있을 때, "변화들에 기초하여 가상 장면을 업데이트하는" 전술한 동작은 이하의 동작들을 포함할 수 있다:
각각의 차이 세트에서 영과 동일한 변화들을 갖는 차이들의 양을 획득하는 동작;
계수된 양에 따라 차이 세트들에서 타깃 차이 세트를 결정하는 동작; 및
앵커로서 타깃 차이 세트에 대응하는 좌표 정보를 사용하여 가상 장면 내에 타깃 장면 영상을 고정하는 동작.
이 실시예에서, 변화가 0(즉, 상대적 이동이 일어나지 않음)인 것은 2개의 상황: 2개의 가상 아이템의 모두가 동시에 동일한 거리로 이동하는 상황; 또는 2개의 가상 아이템의 어느 것도 이동하지 않은 상황을 갖는다. 이 경우에, 이동하지 않은 가상 아이템들이 0과 동일한 변화들을 갖는 차이들의 양에 따라 추가로 결정될 수 있다. 예를 들어, 1 순위 양(top ranking quantity)(즉, 움직임의 양은 가상 아이템들의 대부분에 대해 0)을 갖는 차이 세트는 타깃 차이 세트로서 결정될 수 있고, 타깃 차이 세트에 대응하는 가상 아이템은 이동하지 않은 가상 아이템으로서 결정되고, 가상 아이템의 좌표들은 타깃 장면 영상을 계속 고정하기 위해 앵커들로서 사용된다.
그런데, 가상 아이템이 이동한 가상 아이템의 좌표 정보에 따라 업데이트될 필요가 있을 때, "변화들에 기초하여 가상 장면을 업데이트하는" 전술한 동작은 이하의 동작들을 포함할 수 있다:
각각의 차이 세트에서 영보다 큰 변화들을 갖는 모든 차이들을 획득하는 동작;
프리셋 임계치 이하인 차이가 모든 획득된 차이들 내에 존재하는지를 결정하는 동작;
차이가 존재하는 경우에, 상호작용 물체 좌표 정보로서 프리셋 임계치 이하인 차이에 대응하는 좌표 정보를 결정하고, 상호작용 물체 식별자로서 상호작용 물체 좌표 정보에 대응하는 아이템 식별자를 결정하는 동작; 및
상호작용 물체 좌표 정보 및 상호작용 물체 식별자에 따라 타깃 장면 영상 위에 중첩된 가상 아이템을 업데이트하는 동작.
이 실시예에서, 이동한 모든 가상 아이템들이 업데이트될 필요는 없고, 업데이트들은 2개의 가상 아이템 간에 상호작용이 있다면 단지 필요하다. 프리셋 임계치는 주로 상호작용 상태 및 비상호작용 상태를 정의하기 위해 사용되고, 특정한 값이 실제 요건에 따라 결정될 수 있다. 상호작용 상태에서의 상호작용 모드들은 접근, 주밍, 충돌, 회전 등을 포함할 수 있다. 상이한 상호작용 모드들은 일반적으로 상이한 상호작용 명령들을 표시한다. 예를 들어, 접근은 공격을 표시할 수 있고, 주밍은 후퇴를 표시할 수 있고, 회전은 방어를 표시할 수 있다. 동일한 상호작용 모드는 또한 상이한 게임들에서 상이한 상호작용 명령들을 표시할 수 있다.
2개의 가상 아이템 간의 거리가 프리셋 임계치 내일 때, 2개의 가상 아이템은 상호작용 상태에 있는 것으로 정의될 수 있다. 이 경우에, 상호작용 모드들은 양쪽(both parties) 간의 거리 값에 따라 추가로 결정될 필요가 있고, 가상 아이템은 상호작용 모드에 따라 업데이트될 필요가 있다. 즉, "상호작용 물체 좌표 정보 및 상호작용 물체 식별자에 따라 타깃 장면 영상 위에 중첩된 가상 아이템을 업데이트하는" 전술한 동작은 구체적으로 이하의 동작들을 포함할 수 있다.
4-1: 상호작용 물체 식별자에 따라, 가상 아이템에 대응하는 아이템 파라미터를 획득하는 동작.
이 실시예에서, 아이템 파라미터는 주로 가상 아이템의 속성 파라미터, 예를 들어, 공격 범위 값, 공격 손상 값, 방어 값, 게임 내의 상이한 캐릭터들의 수명 값을 포함한다.
4-2: 아이템 파라미터 및 상호작용 물체 좌표 정보에 따라 상호작용 값을 계산하는 동작.
예를 들어, 동작 4-2는 구체적으로 이하의 동작들을 포함할 수 있다:
프리셋 임계치 이하인 차이에 따라 타깃 상호작용 함수를 결정하는 동작; 및
타깃 상호작용 함수, 아이템 파라미터, 및 상호작용 물체 좌표 정보에 따라 상호작용 값을 계산하는 동작.
이 실시예에서, 2개의 가상 아이템 간의 상이한 거리들은 상이한 상호작용 모드들에 대응하고, 각각의 상호작용 모드는 상호작용 값을 계산하기 위해 특정된 상호작용 함수를 갖는다. 상호작용 함수들은 일반적으로 사용자에 의해 프리셋되고 특정된 거리 범위와 연관된 후에 데이터베이스 내에 저장되므로, 대응하는 상호작용 함수가 후속하여 거리에 따라 결정될 수 있다.
4-3: 가상 아이템을 업데이트하기 위해 상호작용 값에 따라 대응하는 아이템 파라미터를 업데이트하는 동작.
이 실시예에서, 아이템 파라미터를 업데이트하는 방법은 실제 요건, 예를 들어, 간단한 가산 및 감산 방법, 즉, 아이템 파라미터 상의 상호작용 값을 가산 또는 감산하는 것에 따라 결정될 수 있다. 일반적으로, 상이한 상호작용 값들은 가상 아이템들에 대한 상이한 상호작용 영향들을 갖고, 더 큰 상호작용 값들은 더 큰 상호작용 영향을 표시한다. 상이한 상호작용 영향들은 게임에서의 패배, 죽음, 혈액 손실을 포함하는 상이한 상호작용 결과들에 이르게 하고, 각각의 상호작용 결과는 업데이트된 아이템 파라미터들에 따라 결정될 필요가 있다. 예를 들어, 가상 아이템의 수명 값이 상호작용 후에 0이면, 가상 아이템의 상호작용 결과는 죽음이다. 또한, 상이한 상호작용 결과들에 대해, 가상 아이템의 상이한 영상들이 프리젠트될 수 있다. 예를 들어, 상호작용 결과가 죽음일 때 죽음 효과가 가상 아이템 주위에 발생될 수 있고, 상호작용 결과가 혈액 손실일 때 가상 아이템 위의 혈액 박스가 그에 따라 변화될 수 있다.
상기로부터 알 수 있는 것과 같이, 이 실시예에서 제공된 영상 처리 방법에서, 캡처된 영상이 획득되고, 적어도 하나의 대상의 대상 정보가 캡처된 영상으로부터 추출되고, 대상에 대응하는 가상 아이템이 대상 정보에 따라 결정되고, 각각의 가상 아이템의 좌표 정보가 대상 정보 및 캡처된 영상에 따라 결정되고, 가상 장면이 좌표 정보, 가상 아이템, 및 캡처된 영상에 따라 발생되어, 복수의 실제 아이템의 상대적 위치 관계들에 따라 실제 장면 내에 대응하는 가상 아이템을 프리젠트한다. 이 방식으로, 큰 게임 장면들의 구성이 구현되고, 게임 상호작용 모드들이 풍부해지고, 높은 신축성이 제공된다.
전술한 실시예에서 설명된 방법에 따라, 다음에 예들을 사용하여 상세한 설명이 추가로 제공된다.
이 실시예에서, 전자 장치에 통합된 영상 처리 장치가 상세한 설명을 위해 예로서 사용된다.
도 2a에 도시한 것과 같이, 영상 처리 방법의 특정한 프로세스는 다음과 같을 수 있다.
S201: 전자 장치는 캡처된 영상을 획득하고, 캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출한다.
예를 들어, 도 2b를 참조하면, AR 게임에 동시에 참가한 플레이어들은 A 및 B를 포함한다. 플레이어들 A 및 B는 각각 AR 게임 디바이스들을 착용하고, 각각의 AR 게임 디바이스는 영상 정보를 실시간으로 취득한다. 이 경우에, A가 주 제어 플레이어이면, 플레이어 A에 의해 취득된 영상이 캡처된 영상으로서 결정될 수 있다. 다음에, 전자 장치는 SVM 분류기를 사용하여 배경 제거를 수행하고 대상 정보를 추출할 수 있다.
S202: 전자 장치는 각각의 대상의 대상 정보로부터 특징 정보를 추출한다.
예를 들어, 대상이 게임 카드들{카드1, 카드2, 카드3...카드N}을 포함하면, 각각의 카드에 대응하는 특징 정보가 추출될 수 있고, 특징 정보는 색 특징, 조직 특징, 형상 특징, 공간적 관계 특징 등 중 적어도 하나를 포함할 수 있다.
S203: 전자 장치는 특징 정보에 따라 대응하는 아이템 식별자를 결정하고, 아이템 식별자에 따라 저장된 가상 아이템 라이브러리로부터 대응하는 가상 아이템을 획득한다.
예를 들어, 아이템 식별자는 {ID1, ID2, ID3...IDn}을 포함할 수 있고, 각각의 아이템 식별자는 시스템에 의해 할당된 스트링일 수 있다. 가상 아이템은 게임 내의 캐릭터 또는 무기와 같은, 가상 네트워크 게임 세계로부터 도출된 아이템일 수 있고, 각각의 가상 아이템은 입체 영상을 통해 사용자에게 프리젠트되도록 설계된다.
S204: 전자 장치는 캡처된 영상에서 대상 정보의 각각의 부분의 디스플레이 위치를 검출하고, 적어도 하나의 대상에서, 그 디스플레이 위치가 캡처된 영상의 프리셋 에지에 가장 가까운 대상을 타깃 대상으로서 결정한다.
예를 들어, 영상 위의 각각의 대상의 중심 투사 점의 위치가 디스플레이 위치로서 정의될 수 있고, 그 디스플레이 위치가 프레임의 하좌측 모서리에 가장 가까운 대상이 타깃 대상으로서 결정될 수 있다.
S205: 전자 장치는 좌표 원점으로서 타깃 대상의 디스플레이 위치를 갖는 3차원 좌표계를 생성하고, 대응하는 가상 아이템의 좌표 정보로서 3차원 좌표계 내의 각각의 디스플레이 위치의 좌표 정보를 획득한다.
예를 들어, 3차원 좌표계는 좌표 원점으로서 타깃 대상의 디스플레이 위치를 사용하고 캡처된 영상이 X축 및 Y축이 위치하는 평면으로서 위치한 평면을 사용함으로써 생성될 수 있다. 이 경우에, 타깃 대상의 디스플레이 위치는 (0, 0, 0)이고, 수직 축 Z 상의 각각의 디스플레이 위치의 값은 0이다.
S206: 전자 장치는 아이템 식별자에 따라 저장된 장면 영상 라이브러리 내의 타깃 장면 영상을 결정한다.
예를 들어, 런닝될 필요가 있는 게임 콘텐트는 현재의 가상 아이템과 조합하여 결정될 수 있고, 다음에 대응하는 장면 영상이 타깃 장면 영상으로서 획득된다. 예를 들어, 현재의 가상 아이템이 상이한 유형들을 갖는 복수의 전함을 포함하면, 게임은 해전 게임이라고 결정될 수 있고, 다음에 해전 게임에 대응하는 장면 영상이 타깃 장면 영상으로서 결정될 수 있다.
S207: 전자 장치는 좌표 정보의 각각의 부분에 따라 캡처된 영상 위에 타깃 장면 영상을 중첩하고, 좌표 정보에 따라 타깃 장면 영상 위에 대응하는 가상 아이템을 중첩한다.
예를 들어, 도 2c를 참조하면, 해전 장면 영상의 크기가 에지에 위치한 전함의 좌표 정보에 따라 조정될 수 있으므로, 각각의 전함이 해전 장면 영상 위에 위치할 수 있는 것을 보장한다. 다음에 해전 장면 영상이 캡처된 영상 위에 중첩되고, 전함들이 전함 투사의 중심 점의 좌표들로서 대상의 중심 점의 좌표들을 사용하여 해전 장면 위에 중첩된다.
S208: 전자 장치는 차이 세트를 획득하기 위해 좌표 정보의 각각의 부분과 좌표 정보의 나머지 부분들 간의 차이들을 획득하고, 좌표 정보의 각각의 부분은 하나의 차이 세트에 대응한다.
예를 들어, 각각의 전함과 또 하나의 전함 간의 좌표 차이가 계산될 수 있다. 일반적으로, 동일한 해상을 이동하는 전함들에 대해, 좌표 차이는 2개의 배 간의 상대적 거리이다.
S209: 전자 장치는 각각의 차이 세트에서 차이들의 변화들을 검출한다.
예를 들어, 가상 장면은 어떤 전함이 이동할 때 업데이트될 필요가 있다. 예를 들어, 이동하지 않은 전함의 좌표 정보에 따라 게임 장면을 계속 고정하고, 이동한 전함에 따라 가상 아이템을 업데이트하는 것이 요구된다. 그러므로, 또 하나의 전함에 대한 각각의 전함의 거리의 변화가 실시간으로 검출될 필요가 있고, 전함이 이동한지 여부가 변화에 따라 결정된다.
S210: 전자 장치는 각각의 차이 세트에서 영과 동일한 변화들을 갖는 차이들의 양을 획득하고, 계수된 양에 따라 모든 차이 세트들에서 타깃 차이 세트를 결정한다.
예를 들어, 차이의 변화가 0(즉, 상대적 이동이 일어나지 않음)인 것은 2개의 상황: 차이에 대응하는 2개의 전함의 모두가 동시에 동일한 거리로 이동하는 상황; 또는 2개의 전함의 어느 것도 이동하지 않은 상황을 갖는다. 이 경우에, 이동하지 않은 전함들이 영과 동일한 변화들을 갖는 차이들의 양에 따라 추가로 결정될 수 있다. 예를 들어, 영과 동일한 변화들을 갖는 차이들의 양이 특정된 값을 초과하는 차이 세트가 타깃 차이 세트로서 결정될 수 있고, 타깃 차이 세트에 대응하는 전함들은 이동하지 않은 전함들이다.
S211: 전자 장치는 앵커로서 타깃 차이 세트에 대응하는 좌표 정보를 사용하여 가상 장면 내에 타깃 장면 영상을 고정한다.
예를 들어, 게임 장면은 이동하지 않은 전함의 좌표 정보를 앵커로서 사용하여 고정될 수 있다. 즉, 게임 장면과 이동하지 않은 전함의 상대적 위치들이 변화하지 않은 채로 남는 것이 보장되고, 이동한 또 하나의 전함의 좌표 정보가 좌표 정보를 기준으로서 사용하여 업데이트된다.
S212: 전자 장치는 각각의 차이 세트에서 영보다 큰 변화들을 갖는 모든 차이들을 획득하고, 프리셋 임계치 이하인 차이가 모든 획득된 차이들 내에 존재하는지를 결정하고, 차이가 존재하는 경우에, 동작 S213 내지 동작 S215를 수행하고, 차이가 존재하지 않는 경우에, 돌아가서 동작 S209를 수행한다.
예를 들어, 프리셋 임계치가 1㎝일 수 있다. 즉, 2개의 전함 간의 거리가 1㎝ 미만일 때, 2개의 전함이 상호작용하였다고 결정될 수 있다. 상호작용 모드는 접근, 주밍, 충돌, 회전 등을 포함할 수 있다. 2개의 전함 간의 거리가 1㎝보다 크면, 2개의 전함이 상호작용하지 않았다고 결정될 수 있다.
S213: 전자 장치는 상호작용 물체 좌표 정보로서 프리셋 임계치 이하인 차이에 대응하는 좌표 정보를 결정하고, 상호작용 물체 식별자로서 상호작용 물체 좌표 정보에 대응하는 아이템 식별자를 결정한다.
예를 들어, 2개의 전함 간의 거리가 1㎝ 미만일 때, 즉, 2개의 전함이 상호작용할 때, 2개의 전함의 좌표 정보 및 아이템 식별자들이 획득될 수 있다. 예를 들어, 상호작용한 2개의 전함은 ID1 및 ID2이다.
S214: 전자 장치는 상호작용 물체 식별자에 따라, 가상 아이템에 대응하는 아이템 파라미터를 획득하고, 아이템 파라미터 및 상호작용 물체 좌표 정보에 따라 상호작용 값을 계산한다.
예를 들어, ID1 및 ID2의 아이템 파라미터들이 별도로 획득될 수 있다. 아이템 파라미터는 공격 손상 값, 방어 값, 수명 값 등을 포함할 수 있다. 다음에 상호작용 모드가 ID1과 ID2 간의 상대적 거리에 따라 결정된다. 상호작용 모드는 접근, 주밍, 충돌, 회전 등을 포함할 수 있다. 상이한 상대적 거리들을 상이한 상호작용 모드들을 나타낼 수 있고, 각각의 상호작용 모드는 상호작용 값을 계산하기 위해 특정된 상호작용 함수를 갖는다. 상호작용 값은 주로 손상 값을 참조하고, 일반적으로 부상된 쪽에 적용된다. 일반적으로, 더 작은 상대적 거리 또는 공격자의 더 큰 공격 손상 값은 방어자에 대한 더 큰 손상을 나타내고, 더 큰 상대적 거리 또는 방어자의 더 큰 방어 값은 방어자가 받은 더 적은 손상을 나타낸다. 예를 들어, ID1이 ID2에 접근할 때, 그들 사이의 상대적 거리가 5㎝로 감소되면, 상호작용 모드는 "접근하는" 것으로 고려될 수 있다. 이 경우에, "접근"에 대응하는 상호작용 함수가 획득되고, ID1의 공격 값 및 ID2의 방어 값이 손상 값을 계산하기 위해 상호작용 함수로 대체된다.
S215: 전자 장치는 가상 아이템을 업데이트하기 위해 상호작용 값에 따라 대응하는 아이템 파라미터를 업데이트한다.
예를 들어, 가장 최근의 수명 값은 방어자의 전함에 대응하는 수명 값으로부터 손상 값을 감산함으로써 획득될 수 있고, 가상 아이템이 가장 최근의 수명 값에 따라 업데이트된다. 수명 값이 0일 때, 전함의 죽음이 고지되고, 전함은 가상 장면으로부터 제거된다.
동작들 S210 내지 S211과 동작들 S212 내지 S215 간에는 명확한 순차적 순서가 없으며, 동작들은 동시에 수행될 수 있다.
상기로부터 알 수 있는 것과 같이, 이 실시예에 의해 제공된 영상 처리 방법에서, 전자 장치는 캡처된 영상을 획득하고, 캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출한다. 다음에, 전자 장치는 대상 정보로부터 특징 정보를 추출하고, 특징 정보에 따라, 대상에 대응하는 아이템 식별자를 결정하고, 아이템 식별자에 따라 저장된 가상 아이템 라이브러리로부터 대응하는 가상 아이템을 획득한다. 전자 장치는 캡처된 영상에서 대상 정보의 디스플레이 위치를 검출하고, 그 디스플레이 위치가 캡처된 영상의 프리셋 에지에 가장 가까운 대상을 타깃 대상으로서 획득하고, 좌표 원점으로서 타깃 대상의 디스플레이 위치를 갖는 3차원 좌표계를 생성하고, 대응하는 가상 아이템의 좌표 정보로서 3차원 좌표계 내의 각각의 디스플레이 위치의 좌표 정보를 획득한다. 다음에, 전자 장치는 아이템 식별자에 따라 저장된 장면 영상 라이브러리 내의 타깃 장면 영상을 결정하고, 좌표 정보의 각각의 부분에 따라 캡처된 영상 위에 타깃 장면 영상을 중첩하고, 좌표 정보에 따라 타깃 장면 영상 위에 대응하는 가상 아이템을 중첩하여, 복수의 실제 아이템의 상대적 위치 관계들에 따라 실제 장면 내에 대응하는 가상 아이템을 프리젠트하고 큰 게임 장면들의 구성을 구현한다. 다음에, 전자 장치는 차이 세트를 획득하기 위해 좌표 정보의 각각의 부분과 좌표 정보의 나머지 부분들 간의 차이들을 계산하고 - 좌표 정보의 각각의 부분은 하나의 차이 세트에 대응함 -, 각각의 차이 세트에서 차이들의 변화들을 검출할 수 있다. 전자 장치는 각각의 차이 세트에서 영과 동일한 변화들을 갖는 차이들의 양을 계수하고; 계수된 양에 따라 차이 세트들에서 타깃 차이 세트를 결정한다. 전자 장치는 다음에 앵커로서 타깃 차이 세트에 대응하는 좌표 정보를 사용하여 가상 장면 내에 타깃 장면 영상을 고정한다. 동시에, 전자 장치는 각각의 차이 세트에서 영보다 큰 변화들을 갖는 모든 차이들을 획득하고, 프리셋 임계치 이하인 차이가 모든 획득된 차이들 내에 존재하는지를 결정한다. 차이가 존재하는 경우에, 전자 장치는 상호작용 물체의 좌표 정보로서 프리셋 임계치들 이하인 차이에 대응하는 좌표 정보를 결정하고, 상호작용 물체 식별자로서 상호작용 물체 좌표 정보에 대응하는 아이템 식별자를 결정한다. 다음에, 전자 장치는 상호작용 물체 식별자에 따라, 가상 아이템에 대응하는 아이템 파라미터를 획득하고, 아이템 파라미터 및 상호작용 물체 좌표 정보에 따라 상호작용 값을 계산한다. 다음에, 전자 장치는 가상 아이템을 업데이트하기 위해 상호작용 값에 따라 대응하는 아이템 파라미터를 업데이트한다. 이 방식으로, 가상 장면이 실제 환경 내의 플레이어의 조작 정보에 따라 실시간으로 업데이트될 수 있고, 가상 세계와 실제 세계 간의 그리고 플레이어들 간의 상호작용들이 구현되고, 게임 상호작용 모드들이 풍부해지고, 높은 신축성 및 양호한 체험이 제공된다.
전술한 실시예에서 설명된 방법에 따르면, 이 실시예는 영상 처리 장치의 관점으로부터 추가 설명을 제공한다. 영상 처리 장치는 구체적으로 독립적인 개체로서 구현되거나 단말기 또는 서버와 같은 전자 장치 내로 통합될 수 있다. 단말기는 스마트폰, 태블릿 컴퓨터, 퍼스널 컴퓨터 등을 포함할 수 있다.
도 3a를 참조하면, 도 3a는 획득 모듈(10), 추출 모듈(20), 제1 결정 모듈(30), 제2 결정 모듈(40) 및 발생 모듈(50)을 포함하는, 이 실시예에 의해 제공된 영상 처리 장치를 구체적으로 설명한다.
(1) 획득 모듈(10)
획득 모듈(10)은 캡처된 영상을 획득하도록 구성된다.
이 실시예에서, 획득 모듈(10)은 단말기에 내장된 (카메라와 같은) 영상 취득 장치를 사용하여 캡처된 영상을 획득할 수 있다. 영상 취득 장치는 AR 게임 디바이스에 내장될 수 있다. AR 게임 디바이스는 주로 AR 게임에 적용될 수 있다. 각각의 AR 게임에 참가하는 플레이어들의 수는 실제 요건에 따라 결정될 수 있다. 그 수는 하나 이상일 수 있다. 복수의 플레이어가 AR 게임에 참가할 때, 하나의 플레이어의 AR 게임 디바이스가 주 디바이스로서 지정될 수 있고, 주 디바이스에 의해 취득된 영상이 캡처된 영상으로서 결정될 수 있다.
(2) 추출 모듈(20)
추출 모듈(20)은 캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출하도록 구성된다.
이 실시예에서, 대상은 특정한 가상 아이템, 예를 들어 공식적으로 출시된 게임 카드를 참조하는 기능을 갖는 물리적 물체일 수 있다. 각각의 게임 카드는 하나의 가상 아이템에 대응하고, 가상 아이템, 예를 들어, 게임 내의 캐릭터, 무기, 또는 소품이 가상 네트워크 세계로부터 도출된다. 구체적으로, 대상 정보가 랜덤 포레스트, 서포트 벡터 머신(SVM) 등과 같은 분류기를 사용하여 캡처된 영상으로부터 추출될 수 있다.
(3) 제1 결정 모듈(30)
제1 결정 모듈(30)은 대상 정보에 따라 대상에 대응하는 가상 아이템을 결정하도록 구성된다.
예를 들어, 제1 결정 모듈(30)은 구체적으로 이하의 것을 하도록 구성될 수 있다:
1-1: 대상 정보로부터 특징 정보를 추출하는 것.
이 실시예에서, 특징 정보는 색 특징들, 조직 특징들, 형상 특징들, 공간적 관계 특징들 중 적어도 하나를 포함할 수 있다. 상이한 특징들이 상이한 알고리즘들을 사용하여 추출될 수 있다. 예를 들어, 색 특징들은 색 히스토그램 방법을 통해 추출되고, 조직 특징들은 기하학적 방법을 통해 추출된다.
1-2: 특징 정보에 따라, 대상에 대응하는 아이템 식별자를 결정하는 것.
이 실시예에서, 아이템 식별자는 가상 아이템의 고유 식별자이다. 가상 아이템은 일반적으로 3차원 모델에 의해 렌더링된 입체 영상이다. 아이템 식별자는 네트워크 플랫폼 상에 가상 아이템을 등록할 때 사람에 의해 설정된 이름, 또는 시스템에 의해 자동으로 할당되는 스트링일 수 있다. 각각의 가상 아이템(또는 가상 아이템들의 각각의 그룹)은 하나의 아이템 식별자에 대응한다. 구체적으로, 사용자는 (게임 카드들과 같은) 모든 준비된 대상들에 대해 영상 취득을 미리 수행하고 특징 정보를 추출할 수 있고, 다음에 추출된 특징 정보를 특징 정보가 참조하는 가상 아이템의 아이템 식별자와 연관시키고, 그 연관성을 저장할 수 있다. 이 방식으로, 대응하는 아이템 식별자가 특징 정보에 따라 후속하여 발견될 수 있다.
1-3: 아이템 식별자에 따라 저장된 가상 아이템 라이브러리로부터 대응하는 가상 아이템을 획득하는 것.
이 실시예에서, 사용자는 각각의 설계된 가상 아이템에 대한 아이템 식별자를 미리 설정하고, 아이템 식별자와 가상 아이템 간의 연관성을 가상 아이템 라이브러리 내에 저장할 수 있다.
(4) 제2 결정 모듈(40)
제2 결정 모듈(40)은 대상 정보 및 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정하도록 구성된다.
예를 들어, 도 3b를 참조하면, 제2 결정 모듈(40)은 구체적으로 제1 검출 서브모듈(41), 선택 서브모듈(42), 및 제1 결정 서브모듈(43)을 포함할 수 있다.
제1 검출 서브모듈(41)은 캡처된 영상에서 대상 정보의 디스플레이 위치를 검출하도록 구성된다.
이 실시예에서, 디스플레이 위치는 캡처된 영상의 상부 경계, 하부 경계, 좌측 경계, 및 우측 경계로부터의 상대적 위치일 수 있다. 캡처된 영상 내의 대상의 투사가 단일 픽셀 점 대신에 픽셀 영역이기 때문에, 픽셀 영역의 중심의 디스플레이 위치가 전체 대상의 디스플레이 위치를 나타내기 위해 사용될 수 있다. 물론, 다른 방식이 또한 사용될 수 있고, 이것은 여기서 제한되지 않는다.
선택 서브모듈(42)은 디스플레이 위치에 따라 적어도 하나의 대상으로부터 타깃 대상을 선택하도록 구성된다.
이 실시예에서, 타깃 대상이 실제 요건에 따라 선택될 수 있다. 예를 들어, 고정된 점으로부터 가장 멀거나 또는 고정된 점에 가장 가까운 대상이 선택 서브모듈(42)에 의해 타깃 대상으로서 결정될 수 있다. 고정된 점은 상좌측 정점, 중심 점, 하우측 정점 등일 수 있고, 경계에 위치한 대상은 타깃 대상으로서 선택될 수 있다.
예를 들어, 선택 서브모듈(42)은 추가로
그 디스플레이 위치가 캡처된 영상의 프리셋 에지에 가장 가까운 대상을 획득하고;
타깃 대상으로서 결정된 대상을 사용하도록 구성될 수 있다.
이 실시예에서, 프리셋 에지는 좌측 에지, 우측 에지, 상부 에지, 또는 하부 에지와 같은, 사용자에 의해 설정된 임의의 에지일 수 있다.
제1 결정 서브모듈(43)은 타깃 대상 및 디스플레이 위치에 따라 각각의 가상 아이템의 좌표 정보를 결정하도록 구성된다.
예를 들어, 제1 결정 서브모듈(43)은 구체적으로
좌표 원점으로서 타깃 대상의 디스플레이 위치를 갖는 3차원 좌표계를 생성하고;
대응하는 가상 아이템의 좌표 정보로서 3차원 좌표계 내의 각각의 디스플레이 위치의 좌표 정보를 획득하도록 구성될 수 있다.
이 실시예에서, 3차원 좌표계가 좌표 원점으로서 타깃 대상의 디스플레이 위치를 사용하고 캡처된 영상이 (X축 및 Y축과 같은) 2개의 좌표 축이 위치하는 평면으로서 위치한 평면을 사용함으로써 생성될 수 있다. 다음에, 대응하는 3차원 좌표 값들이 X축, Y축 및 Z축에 대한 각각의 디스플레이 위치의 투사 위치들에 따라 결정되고, 3차원 좌표 값들은 가상 아이템의 좌표 정보로서 사용된다. 좌표 정보의 각각의 부분 내의 (Z축과 같은) 제3 좌표 축의 값은 일반적으로 0이다.
(5) 발생 모듈(50)
발생 모듈(50)은 좌표 정보, 가상 아이템, 및 캡처된 영상에 따라 가상 장면을 발생하도록 구성된다.
예를 들어, 발생 모듈(50)은
가상 장면을 발생하기 위해 좌표 정보에 따라 캡처된 영상 위에 대응하는 가상 아이템을 중첩하도록 구성될 수 있다.
이 실시예에서, 가상 장면은 변환이 가상 영상 및 실제 영상에 대해 수행된 후에 특정된 공통 공간 좌표계에서 발생된 새로운 영상을 참조한다. 공통 공간 좌표계는 주로 생성된 3차원 좌표계를 참조하고, 변환은 중첩을 포함할 수 있다. 가상 장면 내의 가상 아이템은 실제 게이밍 초점에 따라 주로 결정된, 캡처된 영상 위에 직접적으로 또는 간접적으로 중첩될 수 있다. 초점이 실제 환경 체험 상에 있으면, 직접적인 중첩이 사용된다. 초점이 가상 세계 내의 실제 상호작용들의 프리젠테이션 상에 있으면, 간접적인 중첩이 사용된다.
예를 들어, 도 3c를 참조하면, 가상 아이템이 간접적으로 중첩될 때, 발생 모듈(50)은 구체적으로 제2 결정 서브모듈(51), 제1 중첩 서브모듈(52), 및 제2 중첩 서브모듈(53)을 포함할 수 있다.
제2 결정 서브모듈(51)은 아이템 식별자에 따라 저장된 장면 영상 라이브러리 내의 타깃 장면 영상을 결정하도록 구성된다.
이 실시예에서, 장면 영상 라이브러리의 장면 영상들이 일반적으로 게임 콘텐트에 따라 미리 설계되고, 주로 게임 배경들의 역할을 한다. 상이한 게임들은 상이한 장면 영상들을 가질 수 있다. 상이한 게임들에서, 요구된 가상 아이템들은 상이하고, 각각의 가상 아이템이 아이템 식별자에 의해 식별될 수 있다. 그러므로, 현재 런닝하고 있는 게임의 장면 영상이 가상 아이템의 아이템 식별자에 따라 결정될 수 있다.
제1 중첩 서브모듈(52)은 좌표 정보에 따라 캡처된 영상 위에 타깃 장면 영상을 중첩하도록 구성된다.
이 실시예에서, 타깃 장면 영상의 크기 및 중첩 위치가 에지에 위치한 가상 아이템의 좌표 정보에 따라 조정될 수 있으므로, 각각의 가상 아이템이 타깃 장면 영상 위에 위치하는 것을 보장한다.
제2 중첩 서브모듈(53)은 좌표 정보에 따라 타깃 장면 영상 위에 대응하는 가상 아이템을 중첩하도록 구성된다.
이 실시예에서, 타깃 장면 영상 위의 좌표 정보의 각각의 부분의 대응하는 위치가 먼저 결정될 수 있고, 다음에 대응하는 가상 아이템이 대응하는 위치에 중첩된다.
물론, 가상 장면이 발생된 후에, 가상 장면이 사용자에게 추가로 프리젠트될 수 있으므로, 사용자는 프리젠트된 영상에 따라 상호작용을 수행할 수 있다. 사용자가 상이한 위치들에 서있을 때, 사용자의 시각 각도들은 역시 분명히 상이하다. 가상 장면이 사용자에게 프리젠트될 때, 사용자들의 몰입 감정들을 심화시키도록, 각각의 사용자의 시각 각도에 따라 가상 아이템 및 타깃 장면 영상의 배치 방향들을 신축성있게 조정하는 것이 요구된다. 각각의 사용자의 시각 각도가 각각의 취득된 배경 영상의 배향으로부터 획득될 수 있다.
또한, 가상 장면이 사용자에게 프리젠트된 후에, 각각의 대상의 움직임을 실시간으로 추적하고 움직임에 따라 대응하는 가상 장면을 업데이트하는 것이 또한 요구된다. 즉, 도 3d를 참조하면, 영상 처리 장치는 업데이트 모듈(60)을 추가로 포함할 수 있다. 업데이트 모듈(60)은 구체적으로 계산 서브모듈(61), 제2 검출 서브모듈(62), 및 업데이트 서브모듈(63)을 포함할 수 있다.
계산 서브모듈(61)은 제2 중첩 서브모듈(53)이 좌표 정보에 따라 타깃 장면 영상 위에 대응하는 가상 아이템을 중첩한 후에, 차이 세트를 획득하기 위해 좌표 정보의 각각의 부분과 좌표 정보의 나머지 부분들 간의 차이들을 획득하도록 - 좌표 정보의 각각의 부분은 하나의 차이 세트에 대응함 - 구성된다.
제2 검출 서브모듈(62)은 각각의 차이 세트에서 차이들의 변화들을 검출하도록 구성된다.
업데이트 서브모듈(63)은 변화들에 기초하여 가상 장면을 업데이트하도록 구성된다.
이 실시예에서, 차이는 2개의 가상 아이템 간의 좌표 차이이고, 차이의 변화는 상대적 이동 또는 상대적 회전과 같은, 2개의 가상 아이템 간의 상대적 움직임을 반영할 수 있다. 검출된 변화가 영이 아닐 때, 이동하지 않은 가상 아이템의 좌표 정보에 따라 게임 장면을 고정하고 이동한 가상 아이템의 좌표 정보에 따라 가상 아이템을 업데이트하는 것이 요구된다.
예를 들어, 타깃 장면 영상의 프리젠테이션이 이동하지 않은 가상 아이템에 따라 고정될 필요가 있을 때, 업데이트 서브모듈(63)은 구체적으로
각각의 차이 세트에서 영과 동일한 변화들을 갖는 차이들의 양을 획득하고;
계수된 양에 따라 차이 세트들에서 타깃 차이 세트를 결정하고;
앵커로서 타깃 차이 세트에 대응하는 좌표 정보를 사용하여 가상 장면 내에 타깃 장면 영상을 고정하도록 구성될 수 있다.
이 실시예에서, 변화가 0(즉, 상대적 이동이 일어나지 않음)인 것은 2개의 상황: 2개의 가상 아이템의 모두가 동시에 동일한 거리로 이동하는 상황; 또는 2개의 가상 아이템의 어느 것도 이동하지 않는 상황을 갖는다. 이 경우에, 이동하지 않은 가상 아이템들이 0과 동일한 변화들을 갖는 차이들의 양에 따라 추가로 결정될 수 있다. 예를 들어, 1 순위 양들(즉, 움직임의 양은 가상 아이템들의 대부분에 대해 0)을 갖는 차이 세트는 타깃 차이 세트로서 결정될 수 있고, 타깃 차이 세트에 대응하는 가상 아이템은 이동하지 않은 가상 아이템으로서 결정되고, 가상 아이템의 좌표들은 타깃 장면 영상을 계속 고정하기 위해 앵커들로서 사용된다.
그런데, 가상 아이템이 이동한 가상 아이템의 좌표 정보에 따라 업데이트될 필요가 있을 때, 업데이트 서브모듈(63)은 구체적으로
각각의 차이 세트에서 영보다 큰 변화들을 갖는 모든 차이들을 획득하고;
프리셋 임계치 이하인 차이가 모든 획득된 차이들 내에 존재하는지를 결정하고;
차이가 존재하는 경우에, 상호작용 물체 좌표 정보로서 프리셋 임계치 이하인 차이에 대응하는 좌표 정보를 결정하고, 상호작용 물체 식별자로서 상호작용 물체 좌표 정보에 대응하는 아이템 식별자를 결정하고;
상호작용 물체 좌표 정보 및 상호작용 물체 식별자에 따라 타깃 장면 영상 위에 중첩된 가상 아이템을 업데이트하도록 구성될 수 있다.
이 실시예에서, 이동한 모든 가상 아이템들이 업데이트될 필요는 없고, 업데이트들은 2개의 가상 아이템 간에 상호작용이 있다면 단지 필요하다. 프리셋 임계치는 주로 상호작용 상태 및 비상호작용 상태를 정의하기 위해 사용되고, 특정한 값이 실제 요건에 따라 결정될 수 있다. 상호작용 상태에서의 상호작용 모드들은 접근, 주밍, 충돌, 회전 등을 포함할 수 있다. 상이한 상호작용 모드들은 일반적으로 상이한 상호작용 명령들을 표시한다. 예를 들어, 접근은 공격을 표시할 수 있고, 주밍은 후퇴를 표시할 수 있고, 회전은 방어를 표시할 수 있다. 동일한 상호작용 모드는 또한 상이한 게임들에서 상이한 상호작용 명령들을 표시할 수 있다.
2개의 가상 아이템 간의 거리가 프리셋 임계치 내일 때, 2개의 가상 아이템은 상호작용 상태에 있는 것으로 정의될 수 있다. 이 경우에, 상호작용 모드는 양쪽 간의 거리 값에 따라 추가로 결정될 필요가 있고, 가상 아이템은 상호작용 모드에 따라 업데이트될 필요가 있다. 즉, 업데이트 서브모듈(63)은 이하의 것을 하도록 구성될 수 있다:
4-1: 상호작용 물체 식별자에 따라, 가상 아이템에 대응하는 아이템 파라미터를 획득하는 것.
이 실시예에서, 아이템 파라미터는 주로 가상 아이템의 속성 파라미터, 예를 들어, 공격 범위 값, 공격 손상 값, 방어 값, 게임 내의 상이한 캐릭터들의 수명 값을 포함한다.
4-2: 아이템 파라미터 및 상호작용 물체 좌표 정보에 따라 상호작용 값을 계산하는 것.
예를 들어, 동작 4-2는 구체적으로 이하의 동작들을 포함할 수 있다.
프리셋 임계치 이하인 차이에 따라 타깃 상호작용 함수를 결정하는 동작; 및
타깃 상호작용 함수, 아이템 파라미터, 및 상호작용 물체 좌표 정보에 따라 상호작용 값을 계산하는 동작.
이 실시예에서, 2개의 가상 아이템 간의 상이한 거리들은 상이한 상호작용 모드들에 대응하고, 각각의 상호작용 모드는 상호작용 값을 계산하기 위해 특정된 상호작용 함수를 갖는다. 상호작용 함수들은 일반적으로 사용자에 의해 프리셋되고 특정된 거리 범위와 연관된 후에 데이터베이스 내에 저장되므로, 대응하는 상호작용 함수가 후속하여 거리에 따라 결정될 수 있다.
4-3: 가상 아이템을 업데이트하기 위해 상호작용 값에 따라 대응하는 아이템 파라미터를 업데이트하는 동작.
이 실시예에서, 아이템 파라미터를 업데이트하는 방법은 실제 요건, 예를 들어, 간단한 가산 및 감산 방법, 즉, 아이템 파라미터들 상의 상호작용 값을 가산 또는 감산하는 것에 따라 결정될 수 있다. 일반적으로, 상이한 상호작용 값들은 가상 아이템들에 대한 상이한 상호작용 영향들을 갖고, 더 큰 상호작용 값들은 더 큰 상호작용 영향을 표시한다. 상이한 상호작용 영향들은 게임에서의 패배, 죽음, 혈액 손실을 포함하는 상이한 상호작용 결과들에 이르게 하고, 각각의 상호작용 결과는 업데이트된 아이템 파라미터들에 따라 결정될 필요가 있다. 예를 들어, 가상 아이템의 수명 값이 상호작용 후에 0이면, 가상 아이템의 상호작용 결과는 죽음이다. 또한, 상이한 상호작용 결과들에 대해, 가상 아이템의 상이한 영상들이 프리젠트될 수 있다. 예를 들어, 상호작용 결과가 죽음일 때 죽음 효과가 가상 아이템 주위에 발생될 수 있고, 상호작용 결과가 혈액 손실일 때 가상 아이템 위의 혈액 박스가 그에 따라 변화될 수 있다.
특정한 구현들에서, 전술한 유닛들은 독립하는 개체들로서 구현될 수 있고, 또한 자유롭게 조합되고 동일한 개체 또는 여러 개의 개체들로서 구현될 수 있다. 전술한 유닛들의 특정한 구현들을 위해, 전술한 방법 실시예들이 참조될 수 있고, 그것은 여기서 다시 설명되지 않는다.
상기로부터 알 수 있는 것과 같이, 이 실시예에서 제공된 영상 처리 장치에서, 획득 모듈(10)은 캡처된 영상을 획득하고, 추출 모듈(20)은 캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출하고, 제1 결정 모듈(30)은 각각의 대상의 대상 정보에 따라 대응하는 가상 아이템을 결정하고, 제2 결정 모듈(40)은 각각의 대상의 대상 정보 및 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정하고, 발생 모듈(50)은 좌표 정보, 가상 아이템, 및 캡처된 영상에 따라 가상 장면을 발생하여, 복수의 실제 아이템의 상대적 위치 관계들에 따라 실제 장면 내에 대응하는 가상 아이템을 프리젠트한다. 이 방식으로, 큰 게임 장면들의 구성이 구현되고, 게임 상호작용 모드들이 풍부해지고, 높은 신축성이 제공된다.
대응하여, 본 개시내용의 실시예들이 본 개시내용의 실시예들에 의해 제공된 임의의 영상 처리 장치를 포함하는, 영상 처리 시스템을 추가로 제공한다. 영상 처리 장치는 전자 장치 내에 통합될 수 있다.
전자 장치는 캡처된 영상을 획득하고; 캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출하고; 각각의 대상의 대상 정보에 따라 대응하는 가상 아이템을 결정하고; 각각의 대상의 대상 정보 및 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정하고; 좌표 정보, 가상 아이템, 및 캡처된 영상에 따라 가상 장면을 발생할 수 있다.
전술한 디바이스들의 특정한 구현들을 위해, 전술한 실시예들이 참조될 수 있고, 그것은 여기서 다시 설명되지 않는다.
영상 처리 시스템이 본 개시내용의 실시예들에 의해 제공된 임의의 영상 처리 장치를 포함할 수 있기 때문에, 웹페이지 인가 시스템은 본 개시내용의 실시예들에 의해 제공된 임의의 영상 처리 장치에 의해 구현될 수 있는 유익한 효과들을 구현할 수 있다. 상세들을 위해, 전술한 실시예들을 참조하고, 그것은 여기서 다시 설명되지 않는다.
대응하여, 본 개시내용의 실시예들은 전자 장치를 추가로 제공한다. 도 4는 본 개시내용의 실시예들에 관련된 전자 장치의 개략 구조도이다.
전자 장치는 하나 이상의 프로세싱 코어를 갖는 프로세서(701), 하나 이상의 컴퓨터 판독가능 저장 매체를 갖는 메모리(702), 전원(703), 및 입력 유닛(704)과 같은 컴포넌트들을 포함할 수 있다. 본 기술 분야의 통상의 기술자는 도 4에 도시한 전자 장치의 구조는 전자 장치에 제한을 두지 않고, 전자 장치는 도면에 도시한 것들보다 많거나 적은 수의 컴포넌트들을 포함할 수 있고, 또는 일부 컴포넌트들을 조합될 수 있고, 또는 상이한 컴포넌트 배치가 사용될 수 있다는 것을 이해할 수 있다.
프로세서(701)는 전자 장치의 제어 중심이고, 모든 종류들의 인터페이스들 및 라인들을 사용하여 전체 전자 장치의 모든 부분들을 접속한다. 메모리(702) 내에 저장된 소프트웨어 프로그램들 및/또는 모듈들을 런닝 또는 실행하고 메모리(702) 내에 저장된 데이터를 불러냄으로써, 프로세서(701)는 전자 장치를 전체적으로 모니터하기 위해 전자 장치의 모든 기능들 및 데이터 처리를 수행한다. 선택적으로, 프로세서(701)는 하나 이상의 프로세싱 코어를 포함할 수 있다. 바람직하게는, 애플리케이션 프로세서 및 모뎀 프로세서가 프로세서(701) 내로 통합될 수 있다. 애플리케이션 프로세서는 주로 운영 체제, 사용자 인터페이스, 애플리케이션 등을 처리하고, 모뎀 프로세서는 주로 무선 통신들을 처리한다. 모뎀 프로세서는 프로세서(701) 내로 통합되지 않을 수 있다는 것을 이해할 수 있다.
메모리(702)는 소프트웨어 프로그램 및 모듈을 저장하도록 구성될 수 있다. 프로세서(701)는 다양한 기능적 애플리케이션들 및 데이터 처리를 구현하기 위해 메모리(702) 내에 저장된 소프트웨어 프로그램 및 모듈을 런닝한다. 메모리(702)는 주로 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 프로그램 저장 영역은 운영 체제, (사운드 재생 기능 및 영상 디스플레이 기능과 같은) 적어도 하나의 기능에 의해 요구되는 애플리케이션 등을 저장할 수 있다. 데이터 저장 영역은 전자 장치의 사용 등에 따라 생성된 데이터를 저장할 수 있다. 또한, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리와 같은 비휘발성 메모리, 또는 또 하나의 휘발성 고상 저장 디바이스를 포함할 수 있다. 대응하여, 메모리(702)는 메모리 제어기를 추가로 포함할 수 있으므로, 메모리(702)에 대한 프로세서(701)의 액세스를 제공한다.
전자 장치는 컴포넌트들에 전력을 공급하는 전원(703)을 추가로 포함한다. 바람직하게는, 전원(703)은 전력 관리 시스템을 사용하여 프로세서(701)에 논리적으로 접속될 수 있어서, 전원 관리 시스템을 사용하여, 충전, 방전 및 전력 소비 관리와 같은, 기능들을 구현한다. 전원(703)은 하나 이상의 직류 또는 교류 전원, 재충전 시스템, 전력 고장 검출 회로, 전원 컨버터 또는 인버터, 전원 상태 표시기, 및 임의의 기타 컴포넌트들을 추가로 포함할 수 있다.
전자 장치는 입력 유닛(704)을 추가로 포함할 수 있다. 입력 유닛(704)은 입력 숫자 또는 문자 정보를 수신하고, 사용자 설정 및 기능 제어에 관련된 키보드, 마우스, 조이스틱, 광학, 또는 트랙 볼 신호 입력을 발생하도록 구성될 수 있다.
도면에 도시하지 않았지만, 전자 장치는 여기에 추가로 설명되지 않는 디스플레이 유닛을 추가로 포함할 수 있다. 구체적으로, 이 실시예에서, 다양한 기능들을 구현하기 위해, 전자 장치 내의 프로세서(701)는 이하의 컴퓨터 판독가능 명령어들에 따라 하나 이상의 애플리케이션 처리에 대응하는 실행가능한 파일들을 메모리(702) 내로 로드한다:
캡처된 영상을 획득하는 명령어;
캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출하는 명령어;
각각의 대상의 대상 정보에 따라 대응하는 가상 아이템을 결정하는 명령어;
각각의 대상의 대상 정보 및 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정하는 명령어;
좌표 정보, 가상 아이템, 및 캡처된 영상에 따라 가상 장면을 발생하는 명령어.
전자 장치는 본 개시내용의 실시예들에 의해 제공된 임의의 영상 처리 장치에 의해 구현될 수 있는 유익한 효과들을 구현할 수 있다. 상세들을 위해, 전술한 실시예들을 참조하고, 그것은 여기서 다시 설명되지 않는다.
본 기술 분야의 통상의 기술자는 전술한 실시예들의 방법들의 동작들의 모두 또는 일부는 컴퓨터 판독가능 명령어들에 의해, 또는 관련 하드웨어를 제어하기 위해 컴퓨터 판독가능 명령어들을 사용하여 구현될 수 있다는 것을 이해할 수 있다. 컴퓨터 판독가능 명령어들은 컴퓨터 판독가능 저장 매체 내에 저장되고, 프로세서에 의해 로드되고 실행될 수 있다.
그러므로, 본 개시내용의 실시예들은 복수의 컴퓨터 판독가능 명령어를 저장하는 비휘발성 컴퓨터 판독가능 저장 매체를 제공한다. 컴퓨터 판독가능 명령어들은 본 개시내용의 실시예들에 의해 제공된 영상 처리 방법의 임의의 동작을 수행하기 위해 프로세서에 의해 로드될 수 있다. 저장 매체는 리드 온리 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크, 광학 디스크 등을 포함할 수 있다.
저장 매체 내에 저장된 컴퓨터 판독가능 명령어들은 본 개시내용의 실시예들에 의해 제공된 임의의 영상 처리 방법의 임의의 동작을 수행할 수 있기 때문에, 본 개시내용의 실시예들에 의해 제공된 임의의 영상 처리 방법에 의해 구현될 수 있는 유익한 효과들이 구현가능하다. 상세들을 위해, 전술한 실시예들을 참조하고, 그것은 여기서 다시 설명되지 않는다.
영상 처리 방법과 장치, 저장 매체, 전자 장치, 및 시스템이 위에 상세히 설명되었다. 본 개시내용의 원리들 및 구현들이 특정한 예들을 사용하여 명세서에 설명되고, 전술한 실시예들의 설명들은 단지 본 개시내용의 방법 및 그 주 아이디어를 이해하는 데 도움을 주기 위해 사용된다. 본 기술 분야의 통상의 기술자는 본 개시내용의 아이디어에 따라 특정한 구현들 및 개시내용 범위 내에서 변화들을 이룰 수 있다. 결론적으로, 본 명세서의 내용은 본 개시내용의 제한으로서 이해되지 않을 것이다.

Claims (20)

  1. 전자 장치에 의해 수행되는, 영상 처리 방법으로서,
    캡처된 영상을 획득하는 단계;
    상기 캡처된 영상으로부터 적어도 하나의 대상의 대상 정보를 추출하는 단계;
    각각의 대상의 상기 대상 정보에 따라 대응하는 가상 아이템을 결정하는 단계;
    각각의 대상의 상기 대상 정보 및 상기 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정하는 단계; 및
    가상 장면을 발생하기 위해 상기 좌표 정보에 따라 상기 캡처된 영상 위에 상기 대응하는 가상 아이템을 중첩하는 단계
    를 포함하고, 상기 좌표 정보에 따라 상기 캡처된 영상 위에 상기 대응하는 가상 아이템을 중첩하는 단계는,
    아이템 식별자에 따라 저장된 장면 영상 라이브러리 내의 타깃 장면 영상을 결정하는 단계;
    상기 좌표 정보에 따라 상기 캡처된 영상 위에 상기 타깃 장면 영상을 중첩하는 단계; 및
    상기 좌표 정보에 따라 상기 타깃 장면 영상 위에 상기 대응하는 가상 아이템을 중첩하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서, 각각의 대상의 상기 대상 정보에 따라 대응하는 가상 아이템을 결정하는 단계는
    상기 대상 정보로부터 특징 정보를 추출하는 단계;
    상기 특징 정보에 따라, 상기 대상에 대응하는 상기 아이템 식별자를 결정하는 단계; 및
    상기 아이템 식별자에 따라 저장된 가상 아이템 라이브러리로부터 상기 대응하는 가상 아이템을 획득하는 단계
    를 포함하는 영상 처리 방법.
  3. 제1항에 있어서, 각각의 대상의 상기 대상 정보 및 상기 캡처된 영상에 따라 각각의 가상 아이템의 좌표 정보를 결정하는 단계는
    상기 캡처된 영상에서 상기 대상 정보의 디스플레이 위치를 검출하는 단계;
    상기 디스플레이 위치에 따라 상기 적어도 하나의 대상으로부터 타깃 대상을 선택하는 단계; 및
    상기 타깃 대상 및 상기 디스플레이 위치에 따라 각각의 가상 아이템의 상기 좌표 정보를 결정하는 단계
    를 포함하는 영상 처리 방법.
  4. 제3항에 있어서, 상기 디스플레이 위치에 따라 상기 적어도 하나의 대상으로부터 타깃 대상을 선택하는 단계는
    상기 적어도 하나의 대상에서, 상기 디스플레이 위치가 상기 캡처된 영상의 프리셋 에지에 가장 가까운 대상을 결정하는 단계; 및
    상기 타깃 대상으로서 상기 결정된 대상을 사용하는 단계
    를 포함하는 영상 처리 방법.
  5. 제3항에 있어서, 상기 타깃 대상 및 상기 디스플레이 위치에 따라 각각의 가상 아이템의 상기 좌표 정보를 결정하는 단계는
    좌표 원점으로서 상기 타깃 대상의 상기 디스플레이 위치를 갖는 3차원 좌표계를 생성하는 단계; 및
    상기 대응하는 가상 아이템의 상기 좌표 정보로서 상기 3차원 좌표계 내의 각각의 디스플레이 위치의 좌표 정보를 획득하는 단계
    를 포함하는 영상 처리 방법.
  6. 제1항에 있어서, 상기 좌표 정보에 따라 상기 타깃 장면 영상 위에 상기 대응하는 가상 아이템을 중첩하는 단계 이후에, 상기 방법은
    차이 세트를 획득하기 위해 상기 좌표 정보의 각각의 부분(each piece)과 상기 좌표 정보의 나머지 부분들 간의 차이들을 획득하는 단계 - 상기 좌표 정보의 각각의 부분은 하나의 차이 세트에 대응함 -;
    각각의 차이 세트에서 차이들의 변화들(variations)을 검출하는 단계; 및
    상기 변화들에 기초하여 상기 가상 장면을 업데이트하는 단계
    를 추가로 포함하는 영상 처리 방법.
  7. 제6항에 있어서, 상기 변화들에 기초하여 상기 가상 장면을 업데이트하는 단계는
    각각의 차이 세트에서 영과 동일한 변화들을 갖는 차이들의 양을 획득하는 단계;
    상기 획득된 양에 따라 상기 차이 세트들에서 타깃 차이 세트를 결정하는 단계; 및
    앵커로서 상기 타깃 차이 세트에 대응하는 좌표 정보를 사용하여 상기 가상 장면 내에 상기 타깃 장면 영상을 고정하는 단계
    를 포함하는 영상 처리 방법.
  8. 제6항에 있어서, 상기 변화들에 기초하여 상기 가상 장면을 업데이트하는 단계는
    각각의 차이 세트에서 영보다 큰 변화들을 갖는 모든 차이들을 획득하는 단계;
    프리셋 임계치(preset threshold) 이하인 차이가 모든 획득된 차이들 내에 존재하는지를 결정하는 단계;
    상기 차이가 존재하는 경우에, 상호작용 물체 좌표 정보(interactive object coordinate information)로서 상기 프리셋 임계치 이하인 상기 차이에 대응하는 상기 좌표 정보를 결정하고, 상호작용 물체 식별자로서 상기 상호작용 물체 좌표 정보에 대응하는 아이템 식별자를 결정하는 단계; 및
    상기 상호작용 물체 좌표 정보 및 상기 상호작용 물체 식별자에 따라 상기 타깃 장면 영상 위에 중첩된 상기 가상 아이템을 업데이트하는 단계
    를 포함하는 영상 처리 방법.
  9. 제8항에 있어서, 상기 상호작용 물체 좌표 정보 및 상기 상호작용 물체 식별자에 따라 상기 타깃 장면 영상 위에 중첩된 상기 가상 아이템을 업데이트하는 단계는
    상기 상호작용 물체 식별자에 따라, 상기 가상 아이템에 대응하는 아이템 파라미터를 획득하는 단계;
    상기 아이템 파라미터 및 상기 상호작용 물체 좌표 정보에 따라 상호작용 값을 계산하는 단계; 및
    상기 가상 아이템을 업데이트하기 위해 상기 상호작용 값에 따라 상기 대응하는 아이템 파라미터를 업데이트하는 단계
    를 포함하는 영상 처리 방법.
  10. 제9항에 있어서, 상기 아이템 파라미터 및 상기 상호작용 물체 좌표 정보에 따라 상호작용 값을 계산하는 단계는
    상기 프리셋 임계치 이하인 상기 차이에 따라 타깃 상호작용 함수를 결정하는 단계; 및
    상기 타깃 상호작용 함수, 상기 아이템 파라미터, 및 상기 상호작용 물체 좌표 정보에 따라 상기 상호작용 값을 계산하는 단계
    를 포함하는 영상 처리 방법.
  11. 컴퓨터 판독가능 명령어들을 저장하는 메모리 및 프로세서를 포함하는 전자 장치로서, 상기 컴퓨터 판독가능 명령어들은 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 제1항 내지 제10항 중 어느 한 항에 따른 방법을 수행하게 하는 전자 장치.
  12. 복수의 컴퓨터 판독가능 명령어를 저장하는 비휘발성 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 판독가능 명령어들은 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 제1항 내지 제10항 중 어느 한 항에 따른 방법을 수행하게 하는 비휘발성 컴퓨터 판독가능 저장 매체.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020197036057A 2017-11-23 2018-11-06 영상 처리 방법, 전자 장치, 및 저장 매체 KR102259210B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711184883.6A CN108022301B (zh) 2017-11-23 2017-11-23 一种图像处理方法、装置以及存储介质
CN201711184883.6 2017-11-23
PCT/CN2018/114167 WO2019100936A1 (zh) 2017-11-23 2018-11-06 图像处理方法、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
KR20200005598A KR20200005598A (ko) 2020-01-15
KR102259210B1 true KR102259210B1 (ko) 2021-06-01

Family

ID=62080175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197036057A KR102259210B1 (ko) 2017-11-23 2018-11-06 영상 처리 방법, 전자 장치, 및 저장 매체

Country Status (5)

Country Link
US (1) US11004272B2 (ko)
JP (1) JP7035185B2 (ko)
KR (1) KR102259210B1 (ko)
CN (1) CN108022301B (ko)
WO (1) WO2019100936A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022301B (zh) * 2017-11-23 2020-05-19 腾讯科技（上海）有限公司 一种图像处理方法、装置以及存储介质
CN109260705A (zh) * 2018-08-06 2019-01-25 光锐恒宇（北京）科技有限公司 游戏的实现方法、装置、智能终端和计算机可读存储介质
CN109360275B (zh) * 2018-09-30 2023-06-20 北京观动科技有限公司 一种物品的展示方法、移动终端及存储介质
CN109782901A (zh) * 2018-12-06 2019-05-21 网易（杭州）网络有限公司 增强现实交互方法、装置、计算机设备及存储介质
CN111383344A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 一种虚拟场景的生成方法及装置、计算机设备、存储介质
CN109771943A (zh) * 2019-01-04 2019-05-21 网易（杭州）网络有限公司 一种游戏场景的构造方法和装置
CN110060611A (zh) * 2019-03-15 2019-07-26 深圳壹账通智能科技有限公司 智能互动导游方法、装置及存储介质、服务器
CN109862276B (zh) * 2019-03-31 2020-11-20 联想(北京)有限公司 一种信息处理方法及装置
CN109961523B (zh) * 2019-04-18 2023-07-04 广州市百果园信息技术有限公司 虚拟目标的更新方法、装置、系统、设备及存储介质
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
CN110389703A (zh) * 2019-07-25 2019-10-29 腾讯数码（天津）有限公司 虚拟物品的获取方法、装置、终端和存储介质
CN111223192B (zh) * 2020-01-09 2023-10-03 北京华捷艾米科技有限公司 一种图像处理方法及其应用方法、装置及设备
CN111429348A (zh) * 2020-03-20 2020-07-17 中国铁建重工集团股份有限公司 一种图像生成方法、装置、系统及可读存储介质
CN111773658B (zh) * 2020-07-03 2024-02-23 珠海金山数字网络科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN111880664A (zh) * 2020-08-03 2020-11-03 深圳传音控股股份有限公司 Ar互动方法、电子设备及可读存储介质
CN112312111A (zh) * 2020-10-30 2021-02-02 北京字节跳动网络技术有限公司 虚拟图像的显示方法、装置、电子设备及存储介质
CN112650422B (zh) * 2020-12-17 2022-07-29 咪咕文化科技有限公司 设备的ar交互方法、装置、电子设备及存储介质
CN112843713B (zh) * 2020-12-31 2023-04-18 上海米哈游天命科技有限公司 一种视野中心点的确定方法、装置、设备及介质
CN112791396B (zh) * 2020-12-31 2023-05-30 上海米哈游天命科技有限公司 一种拍摄画面的生成方法、装置、电子设备及存储介质
CN112973122A (zh) * 2021-03-02 2021-06-18 网易（杭州）网络有限公司 游戏角色上妆方法、装置及电子设备
CN112957732B (zh) * 2021-04-08 2023-03-31 腾讯科技（深圳）有限公司 搜索方法、装置、终端及存储介质
CN114115528B (zh) * 2021-11-02 2024-01-19 深圳市雷鸟网络传媒有限公司 虚拟对象控制方法、装置、计算机设备和存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3904562B2 (ja) 2004-02-18 2007-04-11 株式会社ソニー・コンピュータエンタテインメント 画像表示システム、記録媒体及びプログラム
JP3844482B2 (ja) 2004-09-01 2006-11-15 株式会社ソニー・コンピュータエンタテインメント 画像処理装置
US9164577B2 (en) * 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
KR101669119B1 (ko) 2010-12-14 2016-10-25 삼성전자주식회사 다층 증강 현실 시스템 및 방법
JP5812628B2 (ja) 2011-02-25 2015-11-17 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置、及び情報処理システム
CN102156808A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟饰品试戴系统及方法
CN102646275B (zh) * 2012-02-22 2016-01-20 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和系统
CN103310099A (zh) * 2013-05-30 2013-09-18 佛山电视台南海分台 一种利用图像捕获和识别技术实现增强现实的方法和系统
CN103366610B (zh) * 2013-07-03 2015-07-22 央数文化(上海)股份有限公司 基于增强现实的三维互动学习系统及方法
KR101583286B1 (ko) 2014-05-16 2016-01-07 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
CN104270577A (zh) * 2014-08-22 2015-01-07 北京德馨同创科技发展有限责任公司 用于移动智能终端的图像处理方法和装置
WO2017019991A1 (en) * 2015-07-29 2017-02-02 Sensel Inc. Systems and methods for manipulating a virtual environment
KR101600456B1 (ko) * 2015-12-31 2016-03-08 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
CN105975080A (zh) * 2016-05-19 2016-09-28 常州市筑友展示器材有限公司 一种陈列系统及其工作方法
US10001901B2 (en) * 2016-06-14 2018-06-19 Unity IPR ApS System and method for texturing in virtual reality and mixed reality environments
CN106200914B (zh) * 2016-06-28 2019-04-05 Oppo广东移动通信有限公司 增强现实的触发方法、装置及拍照设备
IL310337A (en) * 2016-08-11 2024-03-01 Magic Leap Inc Automatic positioning of a virtual object in 3D space
CN106355153B (zh) * 2016-08-31 2019-10-18 上海星视度科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN106383587B (zh) * 2016-10-26 2020-08-04 腾讯科技（深圳）有限公司 一种增强现实场景生成方法、装置及设备
CN107065164B (zh) * 2017-04-20 2019-09-20 深圳市元征科技股份有限公司 图像展示方法及装置
CN107272889A (zh) * 2017-05-23 2017-10-20 武汉秀宝软件有限公司 一种基于三维坐标的ar界面交互方法及系统
CN108022301B (zh) * 2017-11-23 2020-05-19 腾讯科技（上海）有限公司 一种图像处理方法、装置以及存储介质

Also Published As

Publication number Publication date
US20200051339A1 (en) 2020-02-13
US11004272B2 (en) 2021-05-11
CN108022301B (zh) 2020-05-19
JP7035185B2 (ja) 2022-03-14
WO2019100936A1 (zh) 2019-05-31
KR20200005598A (ko) 2020-01-15
CN108022301A (zh) 2018-05-11
JP2021503138A (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
KR102259210B1 (ko) 영상 처리 방법, 전자 장치, 및 저장 매체
KR102592632B1 (ko) 가상 환경에서 마크 정보를 생성하는 방법 및 장치, 전자 장치 및 저장 매체
US20200393953A1 (en) Method and apparatus, computer device, and storage medium for picking up a virtual item in a virtual environment
CN107823882B (zh) 信息处理方法、装置、电子设备及存储介质
CN109925720B (zh) 信息处理方法和装置
KR101251701B1 (ko) 게임용 스테레오 비디오에 대하여 장치가 프로세스를실행할 수 있게 하는 정보를 저장하는 하나 이상의 컴퓨터판독가능 매체
US8237707B2 (en) Image generating apparatus, method of generating image, program, and recording medium
KR102629359B1 (ko) 가상 객체 공격 프롬프트 방법 및 장치, 그리고 단말 및 저장 매체
US8593456B2 (en) Image generating apparatus, method of generating image, program, and recording medium
JP7387758B2 (ja) インタフェース表示方法、装置、端末、記憶媒体及びコンピュータプログラム
US8212813B2 (en) Image generating apparatus, method of generating image, program, and recording medium
CN107213636B (zh) 镜头移动方法、装置、存储介质和处理器
US20230059116A1 (en) Mark processing method and apparatus, computer device, storage medium, and program product
US20220032194A1 (en) Information display method and apparatus, device, and storage medium
US20220051469A1 (en) Image processing apparatus, image processing method, and storage medium
CN106536004B (zh) 增强的游戏平台
KR20210151866A (ko) 가상 객체 선택 방법 및 장치, 디바이스, 및 저장 매체
US20220032188A1 (en) Method for selecting virtual objects, apparatus, terminal and storage medium
CN113633975A (zh) 虚拟环境画面的显示方法、装置、终端及存储介质
CN111389004B (zh) 虚拟角色的控制方法、存储介质及处理器
CN113577766A (zh) 对象处理方法及装置
CN113509730B (zh) 信息预览方法、装置、设备以及存储介质
CN113599829B (zh) 虚拟对象的选择方法、装置、终端及存储介质
WO2023140004A1 (ja) 情報処理装置および情報処理方法
WO2023157471A1 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant