KR102658480B1 - 실시간 데이터 처리 장치 - Google Patents

실시간 데이터 처리 장치 Download PDF

Info

Publication number
KR102658480B1
KR102658480B1 KR1020227031689A KR20227031689A KR102658480B1 KR 102658480 B1 KR102658480 B1 KR 102658480B1 KR 1020227031689 A KR1020227031689 A KR 1020227031689A KR 20227031689 A KR20227031689 A KR 20227031689A KR 102658480 B1 KR102658480 B1 KR 102658480B1
Authority
KR
South Korea
Prior art keywords
input
data
unit
data input
processing
Prior art date
Application number
KR1020227031689A
Other languages
English (en)
Other versions
KR20220169473A (ko
Inventor
사토루 이와시타
노리타카 코부세
아키미치 히비
나오토 시게마사
스스무 토미타
케이시 나가사쿠
Original Assignee
가부시키가이샤 덴츠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 덴츠 filed Critical 가부시키가이샤 덴츠
Publication of KR20220169473A publication Critical patent/KR20220169473A/ko
Application granted granted Critical
Publication of KR102658480B1 publication Critical patent/KR102658480B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Abstract

실시간 데이터 처리 장치(1)에서는, 카메라 영상이 래스터 형식의 영상 데이터로서 입력되고, 핸드 드로잉 입력이 벡터 형식의 드로잉 데이터로서 입력되면, 래스터 형식의 반전 영상 데이터와 벡터 형식의 반전 드로잉 데이터가 생성되고, 터치 패널부의 드로잉 영역(A1)에 벡터 형식의 드로잉 데이터가 표시되는 한편, 프리뷰 영역(A2)에 래스터 형식의 반전 영상 데이터와 벡터 형식의 반전 드로잉 데이터가 중첩 표시된다. 벡터 형식의 드로잉 데이터를 인코딩 처리하여, 래스터 형식의 드로잉 데이터가 생성되고, 래스터 형식의 영상 데이터와 래스터 형식의 드로잉 데이터를 렌더링 처리하여, 보존용 합성 데이터가 생성된다.

Description

실시간 데이터 처리 장치
본 발명은, 영상 데이터(인카메라 영상)와 드로잉 데이터(핸드 드로잉 입력)를 중첩 표시할 수 있는 실시간 프리뷰 기능을 구비한 실시간 데이터 처리 장치에 관한 것이다.
종래, 카메라 영상과 핸드 드로잉 입력을 중첩 표시하는 방법이 제안되어 있다(예를 들면, 특허문헌 1 참조). 종래의 방법에서는, 네트워크를 통해 라이브 방송을 진행하는 라이브 스트리밍 방법에 있어서, 카메라로부터의 영상 데이터 위에 방송자에 의해 그려진 묘화가 중첩된 영상 데이터(합성 영상 데이터)가 생성된다.
종래의 방법에서는, 데이터 형식에 대해 아무것도 특정되어 있지 않지만, 일반적으로, 2개의 데이터를 합성하는 경우에는, 동일한 데이터 형식이 사용된다. 카메라로부터의 영상 데이터의 데이터 형식으로서는 래스터 형식이 사용되는 것이 일반적이다. 따라서, 종래의 방법에서는, 방송자에 의해 그려진 드로잉 데이터의 데이터 형식으로서, 래스터 형식이 사용되는 것이 일반적인 것으로 생각된다. 종래의 방법에서는, 저비용으로 높은 표현성의 방송을 실현하는 것을 목적으로 하고 있는 것으로부터도, 굳이 상이한 데이터 형식을 사용할 의의는 없다. 또한, 시청자용으로 네트워크에 출력하는 합성 영상 데이터를 효율적으로 생성하기 위해서도, 종래의 방법에서는, 드로잉 데이터의 데이터 형식으로서, 영상 데이터와 동일한 래스터 형식이 사용되는 것으로 생각된다.
그런데, 종래의 방법에서는, 합성 영상 데이터를 실시간 프리뷰하는 기술에 대해서는 아무것도 제안되어 있지 않고, 실시간 프리뷰를 위한 처리 부하를 경감하는 기술에 대해서도 아무것도 제안되어 있지 않다. 합성 영상 데이터의 실시간 프리뷰를 진행하는 경우에, 드로잉 데이터를 래스터 형식으로 표시 처리하고자 하면, 그 처리가 무겁기 때문에, 비교적, 처리 능력이 낮은 장치(예를 들면, PC보다 처리 능력이 낮은 태블릿 장치 등)로는 실시간 처리가 어려워지는 경우가 있다. 처리 능력이 낮은 장치로도 실시간 처리를 가능하게 하기 위해서는, 데이터의 해상도를 낮출 필요가 있지만, 그렇게 하면, 시청자용으로 네트워크에 출력하는 데이터의 해상도가 불충분해진다.
일본국 특허공개공보 2005-51703호 공보(단락 0203-단락 0210, 도 12-도 13)
본 발명은 상기 배경하에서 안출된 것이다. 본 발명의 목적은, 실시간 프리뷰의 처리 부하를 줄이면서, 고해상도 합성 데이터를 생성할 수 있는 실시간 데이터 처리 장치를 제공하는 것에 있다.
본 발명의 일 형태는, 장치를 사용하고 있는 유저 자신의 영상을 촬영하는 인카메라부; 인카메라부에 의해 촬영되는 영상을 유저에게 표시할 수 있고, 또한, 유저에 의한 핸드 드로잉 입력을 받아들일 수 있는 터치 패널부; 및 유저의 음성이 입력되는 마이크부를 구비하는 실시간 데이터 처리 장치이고, 터치 패널부에는, 핸드 드로잉 입력을 받아들이기 위한 영역인 드로잉 영역과, 인카메라부에서 촬영되는 영상을 표시하기 위한 영역인 프리뷰 영역이 마련되어 있고, 이 실시간 데이터 처리 장치는, 인카메라부에서 촬영되는 영상이, 래스터 형식의 영상 데이터로서 입력되는 영상 데이터 입력부; 영상 데이터 입력부로부터 입력되는 래스터 형식의 영상 데이터를 반전하여, 래스터 형식의 반전 영상 데이터를 생성하는 영상 반전 처리부; 터치 패널부로부터 입력되는 핸드 드로잉 입력이, 벡터 형식의 드로잉 데이터로서 입력되는 드로잉 데이터 입력부; 드로잉 데이터 입력부로부터 입력되는 벡터 형식의 드로잉 데이터를 반전하여, 벡터 형식의 반전 드로잉 데이터를 생성하는 드로잉 반전 처리부; 마이크부로부터 입력되는 유저의 음성이, 음성 데이터로서 입력되는 음성 데이터 입력부; 터치 패널부의 드로잉 영역에, 드로잉 데이터 입력부로부터 입력되는 벡터 형식의 드로잉 데이터를 표시하는 한편, 터치 패널부의 프리뷰 영역에, 영상 반전 처리부에서 생성되는 래스터 형식의 반전 영상 데이터와 드로잉 반전 처리부에서 생성되는 벡터 형식의 반전 드로잉 데이터를 중첩 표시하고, 또한, 음성 데이터 입력부로부터 입력되는 음성 데이터를 출력하는, 실시간 프리뷰 처리부; 드로잉 데이터 입력부로부터 입력되는 벡터 형식의 드로잉 데이터를 인코딩 처리하여, 래스터 형식의 드로잉 데이터를 생성하는 인코딩 처리부; 및 영상 데이터 입력부로부터 입력되는 래스터 형식의 영상 데이터와, 인코딩 처리부에서 생성되는 래스터 형식의 드로잉 데이터와, 음성 데이터 입력부로부터 입력되는 음성 데이터를 렌더링 처리하여, 보존용 합성 데이터를 생성하는 렌더링 처리부를 구비하고 있다.
본 발명의 다른 형태는, 장치를 사용하고 있는 유저 자신의 영상을 촬영하는 인카메라부; 인카메라부에서 촬영되는 영상을 유저에게 표시할 수 있고, 또한, 유저에 의한 핸드 드로잉 입력을 받아들일 수 있는 터치 패널부; 및 유저의 음성이 입력되는 마이크부를 구비하는 실시간 데이터 처리 장치에서 실행되는 방법이고, 터치 패널부에는, 핸드 드로잉 입력을 받아들이기 위한 영역인 드로잉 영역과, 인카메라부에서 촬영되는 영상을 표시하기 위한 영역인 프리뷰 영역이 마련되어 있고, 이 방법은, 인카메라부에서 촬영되는 영상이, 래스터 형식의 영상 데이터로서 입력되는 영상 데이터 입력 스텝; 터치 패널부로부터 입력되는 핸드 드로잉 입력이, 벡터 형식의 드로잉 데이터로서 입력되는 드로잉 데이터 입력 스텝; 마이크부로부터 입력되는 유저의 음성이, 음성 데이터로서 입력되는 음성 데이터 입력 스텝; 영상 데이터 입력 스텝에서 입력되는 래스터 형식의 영상 데이터를 반전하여, 래스터 형식의 반전 영상 데이터를 생성하는 영상 반전 처리 스텝; 드로잉 데이터 입력 스텝에서 입력되는 벡터 형식의 드로잉 데이터를 반전하여, 벡터 형식의 반전 드로잉 데이터를 생성하는 드로잉 반전 처리 스텝; 터치 패널부의 드로잉 영역에, 드로잉 데이터 입력 스텝에서 입력되는 벡터 형식의 드로잉 데이터를 표시하는 한편, 터치 패널부의 프리뷰 영역에, 영상 반전 처리 스텝에서 생성되는 래스터 형식의 반전 영상 데이터와 드로잉 반전 처리 스텝에서 생성되는 벡터 형식의 반전 드로잉 데이터를 중첩 표시하고, 또한, 음성 데이터 입력 스텝에서 입력되는 음성 데이터를 출력하는, 실시간 프리뷰 처리 스텝; 드로잉 데이터 입력 스텝에서 입력되는 벡터 형식의 드로잉 데이터를 인코딩 처리하여, 래스터 형식의 드로잉 데이터를 생성하는 인코딩 처리 스텝; 및 영상 데이터 입력 스텝에서 입력되는 래스터 형식의 영상 데이터와, 인코딩 처리 스텝에서 생성되는 래스터 형식의 드로잉 데이터와, 음성 데이터 입력 스텝에서 입력되는 음성 데이터를 렌더링 처리하여, 보존용 합성 데이터를 생성하는 렌더링 처리 스텝을 포함하고 있다.
본 발명의 다른 형태는, 장치를 사용하고 있는 유저 자신의 영상을 촬영하는 인카메라부; 인카메라부에서 촬영되는 영상을 유저에게 표시할 수 있고, 또한, 유저에 의한 핸드 드로잉 입력을 받아들일 수 있는 터치 패널부; 및 유저의 음성이 입력되는 마이크부를 구비하는 실시간 데이터 처리 장치에서 실행되는 프로그램이고, 터치 패널부에는, 핸드 드로잉 입력을 받아들이기 위한 영역인 드로잉 영역과, 인카메라부에서 촬영되는 영상을 표시하기 위한 영역인 프리뷰 영역이 마련되어 있고, 이 프로그램은, 실시간 데이터 처리 장치에, 인카메라부에서 촬영되는 영상이, 래스터 형식의 영상 데이터로서 입력되는 영상 데이터 입력 처리; 터치 패널부로부터 입력되는 핸드 드로잉 입력이, 벡터 형식의 드로잉 데이터로서 입력되는 드로잉 데이터 입력 처리; 마이크부로부터 입력되는 유저의 음성이, 음성 데이터로서 입력되는 음성 데이터 입력 처리; 영상 데이터 입력 처리에서 입력되는 래스터 형식의 영상 데이터를 반전하여, 래스터 형식의 반전 영상 데이터를 생성하는 영상 반전 처리; 드로잉 데이터 입력 처리 에서 입력되는 벡터 형식의 드로잉 데이터를 반전하여, 벡터 형식의 반전 드로잉 데이터를 생성하는 드로잉 반전 처리; 터치 패널부의 드로잉 영역에, 드로잉 데이터 입력 처리에서 입력되는 벡터 형식의 드로잉 데이터를 표시하는 한편, 터치 패널부의 프리뷰 영역에, 영상 반전 처리에서 생성되는 래스터 형식의 반전 영상 데이터와 드로잉 반전 처리에서 생성되는 벡터 형식의 반전 드로잉 데이터를 중첩 표시하고, 또한, 음성 데이터 입력 처리에서 입력되는 음성 데이터를 출력하는 실시간 프리뷰 처리; 드로잉 데이터 입력 처리에서 입력되는 벡터 형식의 드로잉 데이터를 인코딩 처리하여, 래스터 형식의 드로잉 데이터를 생성하는 인코딩 처리; 및 영상 데이터 입력 처리에서 입력되는 래스터 형식의 영상 데이터와, 인코딩 처리에서 생성되는 래스터 형식의 드로잉 데이터와, 음성 데이터 입력 처리에서 입력되는 음성 데이터를 렌더링 처리하여, 보존용 합성 데이터를 생성하는 렌더링 처리를 실행시킨다.
이하에 설명하는 바와 같이, 본 발명에는 다른 형태가 존재한다. 따라서, 본 발명의 개시는, 본 발명의 일부 형태의 제공을 의도하고 있고, 여기서 기술되어 청구되는 발명의 범위를 제한하는 것은 의도하고 있지 않다.
도 1은, 본 발명의 실시예에 따른 실시간 데이터 처리 장치의 블록도이다.
도 2는, 실시간 데이터 처리 장치에서 실행되는 처리의 설명도이다.
도 3은, 실시간 프리뷰 처리의 표시예를 나타내는 도면이다.
도 4는, 실시간 데이터 처리 장치에서 실행되는 처리의 흐름을 나타내는 플로 차트이다.
이하에 본 발명의 상세한 설명을 기술한다. 다만, 이하의 상세한 설명과 첨부 도면은 발명을 한정하는 것은 아니다.
본 발명의 실시간 데이터 처리 장치는, 장치를 사용하고 있는 유저 자신의 영상을 촬영하는 인카메라부; 인카메라부에서 촬영되는 영상을 유저에게 표시할 수 있고, 또한, 유저에 의한 핸드 드로잉 입력을 받아들일 수 있는 터치 패널부; 및 유저의 음성이 입력되는 마이크부를 구비하는 실시간 데이터 처리 장치이고, 터치 패널부에는, 핸드 드로잉 입력을 받아들이기 위한 영역인 드로잉 영역과, 인카메라부에서 촬영되는 영상을 표시하기 위한 영역인 프리뷰 영역이 마련되어 있고, 실시간 데이터 처리 장치는, 인카메라부에서 촬영되는 영상이, 래스터 형식의 영상 데이터로서 입력되는 영상 데이터 입력부; 영상 데이터 입력부로부터 입력되는 래스터 형식의 영상 데이터를 반전하여, 래스터 형식의 반전 영상 데이터를 생성하는 영상 반전 처리부; 터치 패널부로부터 입력되는 핸드 드로잉 입력이, 벡터 형식의 드로잉 데이터로서 입력되는 드로잉 데이터 입력부; 드로잉 데이터 입력부로부터 입력되는 벡터 형식의 드로잉 데이터를 반전하여, 벡터 형식의 반전 드로잉 데이터를 생성하는 드로잉 반전 처리부; 마이크부로부터 입력되는 유저의 음성이, 음성 데이터로서 입력되는 음성 데이터 입력부; 터치 패널부의 드로잉 영역에, 드로잉 데이터 입력부로부터 입력되는 벡터 형식의 드로잉 데이터를 표시하는 한편, 터치 패널부의 프리뷰 영역에, 영상 반전 처리부에서 생성되는 래스터 형식의 반전 영상 데이터와 드로잉 반전 처리부에서 생성되는 벡터 형식의 반전 드로잉 데이터를 중첩 표시하고, 또한, 음성 데이터 입력부로부터 입력되는 음성 데이터를 출력하는, 실시간 프리뷰 처리부; 드로잉 데이터 입력부로부터 입력되는 벡터 형식의 드로잉 데이터를 인코딩 처리하여, 래스터 형식의 드로잉 데이터를 생성하는 인코딩 처리부; 및 영상 데이터 입력부로부터 입력되는 래스터 형식의 영상 데이터와, 인코딩 처리부에서 생성되는 래스터 형식의 드로잉 데이터와, 음성 데이터 입력부로부터 입력되는 음성 데이터를 렌더링 처리하여, 보존용 합성 데이터를 생성하는 렌더링 처리부를 구비하고 있다.
이 구성에 의하면, 실시간 프리뷰에 있어서, 터치 패널부의 프리뷰 영역에, 래스터 형식의 반전 영상 데이터와 벡터 형식의 반전 드로잉 데이터를 사용한 중첩 표시가 진행된다. 핸드 드로잉 입력의 표시용으로 벡터 형식의 데이터가 사용되기 때문에, 래스터 형식을 사용하는 경우에 비해, 표시 처리의 부하를 가볍게 할 수 있다. 따라서, 래스터 형식을 사용하는 경우에 처리 부하를 경감하기 위해, 해상도를 낮게 하는 등의 처리가 필요했지만, 그러한 처리는 불필요하다.
또한, 프리뷰 영역에 표시되는 영상 데이터(반전 영상 데이터)에 맞춰 드로잉 데이터가 반전되어 있기(반전 드로잉 데이터가 사용되기) 때문에, 프리뷰 영역의 표시에 유저가 부정합감을 느끼는 것을 억제할 수 있다.
또한, 이때, 터치 패널부의 드로잉 영역에, 벡터 형식의 드로잉 데이터(반전하지 않은 드로잉 데이터)를 사용한 표시가 진행되기 때문에, 유저는 위화감을 느끼지 않고 자신의 핸드 드로잉 입력을 용이하게 확인할 수 있다.
그리고, 벡터 형식의 드로잉 데이터로부터 생성된 래스터 형식의 드로잉 데이터를 사용하여, 보존용 합성 데이터가 생성된다. 이에 의해, 실시간 프리뷰의 처리 부하를 경감하는 한편, 고해상도의 합성 데이터를 생성할 수 있다.
또한, 본 발명의 실시간 데이터 처리 장치에서는, 실시간 프리뷰 처리부는, 영상 반전 처리부에서 생성되는 래스터 형식의 반전 영상 데이터를 하층 레이어에 배치하고, 드로잉 반전 처리부에서 생성되는 벡터 형식의 반전 드로잉 데이터를 상층 레이어에 배치하는 것에 의해, 프리뷰 영역에서의 중첩 표시를 진행해도 좋다.
이 구성에 의하면, 프리뷰 영역에서의 중첩 표시에 있어서, 래스터 형식의 반전 영상 데이터가 하층 레이어에 배치되고, 벡터 형식의 반전 드로잉 데이터가 상층 레이어에 배치된다. 이러한 다층 레이어를 사용한 중첩 표시를 진행하는 것에 의해, 프리뷰 영역에서의 중첩 표시의 처리 부하를 경감할 수 있다.
본 발명의 방법은, 장치를 사용하고 있는 유저 자신의 영상을 촬영하는 인카메라부; 인카메라부에서 촬영되는 영상을 유저에게 표시할 수 있고, 또한, 유저에 의한 핸드 드로잉 입력을 받아들일 수 있는 터치 패널부; 및 유저의 음성이 입력되는 마이크부를 구비하는 실시간 데이터 처리 장치에서 실행되는 방법이고, 터치 패널부에는, 핸드 드로잉 입력을 받아들이기 위한 영역인 드로잉 영역과, 인카메라부에서 촬영되는 영상을 표시하기 위한 영역인 프리뷰 영역이 마련되어 있고, 방법은, 인카메라부에서 촬영되는 영상이, 래스터 형식의 영상 데이터로서 입력되는 영상 데이터 입력 스텝; 터치 패널부로부터 입력되는 핸드 드로잉 입력이, 벡터 형식의 드로잉 데이터로서 입력되는 드로잉 데이터 입력 스텝; 마이크부로부터 입력되는 유저의 음성이 음성 데이터로서 입력되는 음성 데이터 입력 스텝; 영상 데이터 입력 스텝에서 입력되는 래스터 형식의 영상 데이터를 반전하여, 래스터 형식의 반전 영상 데이터를 생성하는 영상 반전 처리 스텝; 드로잉 데이터 입력 스텝에서 입력되는 벡터 형식의 드로잉 데이터를 반전하여, 벡터 형식의 반전 드로잉 데이터를 생성하는 드로잉 반전 처리 스텝; 터치 패널부의 드로잉 영역에, 드로잉 데이터 입력 스텝에서 입력되는 벡터 형식의 드로잉 데이터를 표시하는 한편, 터치 패널부의 프리뷰 영역에, 영상 반전 처리 스텝에서 생성되는 래스터 형식의 반전 영상 데이터와 드로잉 반전 처리 스텝에서 생성되는 벡터 형식의 반전 드로잉 데이터를 중첩 표시하고, 또한, 음성 데이터 입력 스텝에서 입력되는 음성 데이터를 출력하는, 실시간 프리뷰 처리 스텝; 드로잉 데이터 입력 스텝에서 입력되는 벡터 형식의 드로잉 데이터를 인코딩 처리하여, 래스터 형식의 드로잉 데이터를 생성하는 인코딩 처리 스텝; 및 영상 데이터 입력 스텝에서 입력되는 래스터 형식의 영상 데이터와, 인코딩 처리 스텝에서 생성되는 래스터 형식의 드로잉 데이터와, 음성 데이터 입력 스텝에서 입력되는 음성 데이터를 렌더링 처리하여, 보존용 합성 데이터를 생성하는 렌더링 처리 스텝을 포함한다.
이 방법에 의해서도, 상기와 같이, 실시간 프리뷰에 있어서, 터치 패널부의 프리뷰 영역에, 래스터 형식의 반전 영상 데이터와 벡터 형식의 반전 드로잉 데이터를 사용한 중첩 표시가 진행된다. 핸드 드로잉 입력의 표시용으로 벡터 형식의 데이터가 사용되기 때문에, 래스터 형식을 사용하는 경우에 비해, 표시 처리의 부하를 가볍게 할 수 있다. 따라서, 래스터 형식을 사용하는 경우에 처리 부하를 경감하기 위해, 해상도를 낮게 하는 등의 처리가 필요했지만, 그러한 처리는 불필요하다.
또한, 프리뷰 영역에 표시되는 영상 데이터(반전 영상 데이터)에 맞춰 드로잉 데이터가 반전되어 있기(반전 드로잉 데이터가 사용되기) 때문에, 프리뷰 영역의 표시에 유저가 부정합감을 느끼는 것을 억제할 수 있다.
또한, 이때, 터치 패널부의 드로잉 영역에, 벡터 형식의 드로잉 데이터(반전하지 않은 드로잉 데이터)를 사용한 표시가 진행되기 때문에, 유저는 위화감을 느끼지 않고 자신의 핸드 드로잉 입력을 용이하게 확인할 수 있다.
그리고, 벡터 형식의 드로잉 데이터로부터 생성된 래스터 형식의 드로잉 데이터를 사용하여, 보존용 합성 데이터가 생성된다. 이에 의해, 실시간 프리뷰의 처리 부하를 경감하는 한편, 고해상도의 합성 데이터를 생성할 수 있다.
본 발명의 프로그램은, 장치를 사용하고 있는 유저 자신의 영상을 촬영하는 인카메라부; 인카메라부에서 촬영되는 영상을 유저에게 표시할 수 있고, 또한, 유저에 의한 핸드 드로잉 입력을 받아들일 수 있는 터치 패널부; 및 유저의 음성이 입력되는 마이크부를 구비하는 실시간 데이터 처리 장치에서 실행되는 프로그램이고, 터치 패널부에는, 핸드 드로잉 입력을 받아들이기 위한 영역인 드로잉 영역과, 인카메라부에서 촬영되는 영상을 표시하기 위한 영역인 프리뷰 영역이 마련되어 있고, 프로그램은, 실시간 데이터 처리 장치에, 인카메라부에서 촬영되는 영상이, 래스터 형식의 영상 데이터로서 입력되는 영상 데이터 입력 처리; 터치 패널부로부터 입력되는 핸드 드로잉 입력이, 벡터 형식의 드로잉 데이터로서 입력되는 드로잉 데이터 입력 처리; 마이크부로부터 입력되는 유저의 음성이, 음성 데이터로서 입력되는 음성 데이터 입력 처리; 영상 데이터 입력 처리에서 입력되는 래스터 형식의 영상 데이터를 반전하여, 래스터 형식의 반전 영상 데이터를 생성하는 영상 반전 처리; 드로잉 데이터 입력 처리에서 입력되는 벡터 형식의 드로잉 데이터를 반전하여, 벡터 형식의 반전 드로잉 데이터를 생성하는 드로잉 반전 처리; 터치 패널부의 드로잉 영역에, 드로잉 데이터 입력 처리에서 입력되는 벡터 형식의 드로잉 데이터를 표시하는 한편, 터치 패널부의 프리뷰 영역에, 영상 반전 처리에서 생성되는 래스터 형식의 반전 영상 데이터와 드로잉 반전 처리에서 생성되는 벡터 형식의 반전 드로잉 데이터를 중첩 표시하고, 또한, 음성 데이터 입력 처리에서 입력되는 음성 데이터를 출력하는 실시간 프리뷰 처리; 드로잉 데이터 입력 처리에서 입력되는 벡터 형식의 드로잉 데이터를 인코딩 처리하여, 래스터 형식의 드로잉 데이터를 생성하는 인코딩 처리; 및 영상 데이터 입력 처리에서 입력되는 래스터 형식의 영상 데이터와, 인코딩 처리에서 생성되는 래스터 형식의 드로잉 데이터와, 음성 데이터 입력 처리에서 입력되는 음성 데이터를 렌더링 처리하여, 보존용 합성 데이터를 생성하는 렌더링 처리를 실행시킨다.
이 프로그램에 의해서도, 상기와 같이, 실시간 프리뷰에 있어서, 터치 패널부의 프리뷰 영역에, 래스터 형식의 반전 영상 데이터와 벡터 형식의 반전 드로잉 데이터를 사용한 중첩 표시가 진행된다. 핸드 드로잉 입력의 표시용으로 벡터 형식의 데이터가 사용되기 때문에, 래스터 형식을 사용하는 경우에 비해, 표시 처리의 부하를 가볍게 할 수 있다. 따라서, 래스터 형식을 사용하는 경우에 처리 부하를 경감하기 위해, 해상도를 낮게 하는 등의 처리가 필요했지만, 그러한 처리는 불필요하다.
또한, 프리뷰 영역에 표시되는 영상 데이터(반전 영상 데이터)에 맞춰 드로잉 데이터가 반전되어 있기(반전 드로잉 데이터가 사용되기) 때문에, 프리뷰 영역의 표시에 유저가 부정합감을 느끼는 것을 억제할 수 있다.
또한, 이때, 터치 패널부의 드로잉 영역에, 벡터 형식의 드로잉 데이터(반전하지 않은 드로잉 데이터)를 사용한 표시가 진행되기 때문에, 유저는 위화감을 느끼지 않고 자신의 핸드 드로잉 입력을 용이하게 확인할 수 있다.
그리고, 벡터 형식의 드로잉 데이터로부터 생성된 래스터 형식의 드로잉 데이터를 사용하여, 보존용 합성 데이터가 생성된다. 이에 의해, 실시간 프리뷰의 처리 부하를 경감하는 한편, 고해상도의 합성 데이터를 생성할 수 있다.
본 발명에 의하면, 실시간 프리뷰의 처리 부하를 경감하는 한편, 고해상도의 합성 데이터를 생성할 수 있다.
(실시예)
이하, 본 발명의 실시예에 따른 실시간 데이터 처리 장치에 대해, 도면을 참조하여 설명한다. 본 실시예에서는, 카메라 영상과 드로잉을 실시간으로 합성하는 애플리케이션을 제공하는 서비스(예를 들면, 스포츠 선수나 저명인 등과 팬을 연결하는, 카메라 영상과 필적의 합성을 실시간 프리뷰할 수 있고, 동영상 파일화할 수 있는 어플리케이션을 제공하는 서비스 등)에 사용되는 실시간 데이터 처리 장치(예를 들면, 태블릿 장치 등)의 경우를 예시한다.
본 발명의 실시예에 따른 실시간 데이터 처리 장치의 구성을 도면을 참조하여 설명한다. 도 1은, 본 실시예의 실시간 데이터 처리 장치의 구성을 나타내는 블록도이다. 도 1에 나타내는 바와 같이, 실시간 데이터 처리 장치(1)는, 인카메라부(2)와, 터치 패널부(3)와, 마이크부(4)와, 기억부(5)와 데이터 처리부(6)를 구비한다.
인카메라부(2)는, 예를 들면, 매립형 카메라 등으로 구성되어 있다. 인카메라부(2)는, 실시간 데이터 처리 장치(1)의 터치 패널부(3)의 상부에 배치되어 있고, 실시간 데이터 처리 장치(1)를 사용하고 있는 유저 자신의 영상을 촬영하는 기능을 구비하고 있고. 인카메라부(2)는, 외부 장착형 카메라로 구성되어도 좋다.
터치 패널부(3)는, 예를 들면, 터치 패널 디스플레이 등으로 구성되어 있다. 터치 패널부(3)는, 인카메라부(2)에 의해 촬영되는 영상을 유저에게 표시하는 기능과, 유저에 의한 핸드 드로잉 입력을 받아들이는 기능을 구비하고 있다. 터치 패널부(3)는, 이른바 표시부와 입력부의 기능을 모두 구비하고 있다고도 할 수 있다. 실시간 데이터 처리 장치(1)가 실시간 프리뷰 모드로 되어 있을 때, 터치 패널부(3)에는, 핸드 드로잉 입력을 받아들이기 위한 영역인 드로잉 영역(A1)과, 인카메라부(2)에서 촬영되는 영상을 표시하기 위한 영역인 프리뷰 영역(A2)이 마련된다(도 3 참조).
마이크부(4)는, 예를 들면, 디바이스 내장형의 마이크 등으로 구성되어 있다. 마이크부(4)로부터, 실시간 데이터 처리 장치(1)를 사용하고 있는 유저의 음성 등이 입력(음성 입력)된다.
기억부(5)는, 예를 들면, HDD나 메모리 등으로 구성되어 있다. 기억부(5)에는, 각종의 데이터를 보존할 수 있다. 또한, 기억부(5)에는, 실시간 데이터 처리 장치(1)에 각종의 처리를 실행시키는 프로그램이 보존되어 있다. 기억부(5)에 기억되어있는 프로그램을 실행하는 것에 의해, 이하에 설명하는 실시간 프리뷰 처리가 실행된다.
데이터 처리부(6)는, 예를 들면, CPU나 MPU 등으로 구성되어 있고, 각종의 데이터 처리를 진행하는 기능을 구비하고 있다. 더욱 구체적으로는, 데이터 처리부(6)는 기능 블록으로서, 영상 데이터 입력부(60), 드로잉 데이터 입력부(61), 음성 데이터 입력부(62), 영상 반전 처리부(63), 드로잉 반전 처리부(64), 실시간 프리뷰 처리부(65), 인코딩 처리부(66), 렌더링 처리부(67)를 구비하고 있다.
영상 데이터 입력부(60)에는, 인카메라부(2)에서 촬영되는 영상이, 래스터 형식의 영상 데이터로서 입력된다. 영상 반전 처리부(63)는, 영상 데이터 입력부(60)로부터 입력되는 래스터 형식의 영상 데이터를 반전하여, 래스터 형식의 반전 영상 데이터를 생성하는 기능을 구비하고 있다. 드로잉 데이터 입력부(61)에는, 터치 패널부(3)로부터 입력되는 핸드 드로잉 입력이, 벡터 형식의 드로잉 데이터로서 입력된다. 드로잉 반전 처리부(64)는, 드로잉 데이터 입력부(61)로부터 입력되는 벡터 형식의 드로잉 데이터를 반전하여, 벡터 형식의 반전 드로잉 데이터를 생성하는 기능을 구비하고 있다. 음성 데이터 입력부(62)에는, 마이크부(4)로부터 입력되는 유저의 음성이, 음성 데이터로서 입력된다.
실시간 프리뷰 처리부(65)는, 실시간 데이터 처리 장치(1)가 실시간 프리뷰 모드로 되어 있을 때, 터치 패널부(3)의 드로잉 영역(A1)에, 드로잉 데이터 입력부(61)로부터 입력되는 벡터 형식의 드로잉 데이터를 표시(정대(正對) 표시)하는 한편, 터치 패널부(3)의 프리뷰 영역(A2)에, 영상 반전 처리부(63)에서 생성되는 래스터 형식의 반전 영상 데이터와 드로잉 반전 처리부(64)에서 생성되는 벡터 형식의 반전 드로잉 데이터를 중첩 표시하고, 또한, 음성 데이터 입력부(62)로부터 입력되는 음성 데이터를 출력하는 기능을 구비하고 있다.
실시간 데이터 처리 장치(1)가 실시간 프리뷰 모드로 되어 있을 때, 실시간 프리뷰 처리부(65)는, 영상 반전 처리부(63)에서 생성되는 래스터 형식의 반전 영상 데이터를 하층 레이어에 배치하고, 드로잉 반전 처리부(64)에서 생성되는 벡터 형식의 반전 드로잉 데이터를 상층 레이어에 배치하는 것에 의해, 프리뷰 영역(A2)에서의 중첩 표시를 진행한다.
인코딩 처리부(66)는, 드로잉 데이터 입력부(61)로부터 입력되는 벡터 형식의 드로잉 데이터를 인코딩 처리하여, 래스터 형식의 드로잉 데이터를 생성하는 기능을 구비하고 있다. 렌더링 처리부(67)는, 영상 데이터 입력부(60)로부터 입력되는 래스터 형식의 영상 데이터와, 인코딩 처리부(66)에서 생성되는 래스터 형식의 드로잉 데이터와, 음성 데이터 입력부(62)로부터 입력되는 음성 데이터를 렌더링 처리하여, 보존용 합성 데이터를 생성하는 기능을 구비하고 있다. 렌더링 처리에 의해 생성되는 합성 데이터는, 기억부(5)에 보존된다.
이상과 같이 구성된 실시간 데이터 처리 장치(1)에 대해, 도면을 참조하여 그 동작을 설명한다. 도 2는, 실시간 데이터 처리 장치(1)에서 실행되는 처리의 설명도이고, 도 3은, 실시간 프리뷰 처리의 표시예를 나타내는 도면이다. 도 4는, 실시간 데이터 처리 장치(1)에서 실행되는 처리의 흐름을 나타내는 플로 차트이다.
도 2 및 도 4에 나타내는 바와 같이, 본 실시예의 실시간 데이터 처리 장치(1)에서는, 인카메라부(2)에 의해 촬영되는 영상이, 래스터 형식의 영상 데이터로서 입력되는 한편(S1), 터치 패널부(3)로부터 입력되는 핸드 드로잉 입력이, 벡터 형식의 드로잉 데이터로서 입력되고(S2), 또한, 마이크부(4)로부터 입력되는 유저의 음성이, 음성 데이터로서 입력된다(S3).
다음으로, 상기 스텝 S1에서 입력되는 래스터 형식의 영상 데이터가 반전되어, 래스터 형식의 반전 영상 데이터가 생성된다(S4). 또한, 스텝 S2에서 입력되는 벡터 형식의 드로잉 데이터가 반전되어, 벡터 형식의 반전 드로잉 데이터가 생성된다(S5).
그리고, 도 3에 나타내는 바와 같이, 터치 패널부(3)의 프리뷰 영역(A2)에, 상기 스텝 S4에서 생성되는 래스터 형식의 반전 영상 데이터(반전된 카메라 영상(VR))과 상기 스텝 S5에서 생성되는 벡터 형식의 반전 드로잉 데이터(반전된 핸드 드로잉 입력(WR))가 중첩 표시되는 한편(S6), 터치 패널부(3)의 드로잉 영역(A1)에, 상기 스텝 S2에서 입력되는 벡터 형식의 드로잉 데이터(반전되지 않은 핸드 드로잉 입력(W))가 표시되고(S7), 또한, 상기 스텝 S3에서 입력되는 음성 데이터가 출력된다(S8).
상기 스텝 S6에서, 프리뷰 영역(A2)에서의 중첩 표시가 진행될 때에는, 상기 스텝 S4에서 생성되는 래스터 형식의 반전 영상 데이터(반전된 카메라 영상(VR))가 하층 레이어에 배치되고, 상기 스텝 S5에서 생성되는 상기 벡터 형식의 반전 드로잉 데이터(반전된 핸드 드로잉 입력(WR))가 상층 레이어에 배치된다.
이어서, 상기 스텝 S2에서 입력되는 벡터 형식의 드로잉 데이터를 인코딩 처리되어, 래스터 형식의 드로잉 데이터가 생성된다(S9). 그리고, 상기 스텝 S1에서 입력되는 래스터 형식의 영상 데이터와, 상기 스텝 S9에서 생성되는 래스터 형식의 드로잉 데이터와, 상기 스텝 S3에서 입력되는 음성 데이터가 렌더링 처리되어, 보존용 합성 데이터가 생성되고(S10), 생성된 합성 데이터가 기억부(5)에 기억된다(S11).
이와 같은 본 실시예의 실시간 데이터 처리 장치(1)에 의하면, 실시간 프리뷰에 있어서, 터치 패널부(3)의 프리뷰 영역(A2)에, 래스터 형식의 반전 영상 데이터(반전된 카메라 영상(VR))와 벡터 형식의 반전 드로잉 데이터(반전된 핸드 드로잉 입력(WR))를 사용한 중첩 표시가 진행된다. 핸드 드로잉 입력의 표시용으로 벡터 형식의 데이터가 사용되기 때문에, 래스터 형식을 사용하는 경우에 비해, 표시 처리의 부하를 가볍게 할 수 있다. 따라서, 래스터 형식을 사용하는 경우에 처리 부하를 경감하기 위해, 해상도를 낮게 하는 등의 처리가 필요했지만, 그러한 처리는 불필요하다.
또한, 프리뷰 영역(A2)에 표시되는 영상 데이터(반전 영상 데이터(반전된 카메라 영상(VR)))에 맞춰 드로잉 데이터가 반전되기(반전 드로잉 데이터(반전된 핸드 드로잉 입력(WR))가 사용되기) 때문에, 프리뷰 영역(A2)의 표시에 유저가 부정합감을 느끼는 것을 억제할 수 있다.
또한, 이때, 터치 패널부(3)의 드로잉 영역(A1)에, 벡터 형식의 드로잉 데이터(반전하지 않은 드로잉 데이터(W))를 사용한 표시가 진행되기 때문에, 유저는 위화감을 느끼지 않고 자신의 핸드 드로잉 입력을 용이하게 확인할 수 있다.
그리고, 벡터 형식의 드로잉 데이터로부터 생성된 래스터 형식의 드로잉 데이터를 사용하여, 보존용 합성 데이터가 생성된다. 이에 의해, 실시간 프리뷰의 처리 부하를 경감하는 한편, 고해상도의 합성 데이터를 생성할 수 있다.
또한, 본 실시예에서는, 프리뷰 영역(A2)에서의 중첩 표시에 있어서, 래스터 형식의 반전 영상 데이터(반전된 카메라 영상(VR))가 하층 레이어에 배치되고, 벡터 형식의 반전 드로잉 데이터(반전된 핸드 드로잉 입력(WR)) )가 상층 레이어에 배치된다. 이와 같은 다층 레이어를 사용한 중첩 표시를 진행하는 것에 의해, 프리뷰 영역(A2)에서의 중첩 표시의 처리 부하를 경감할 수 있다.
이상, 본 발명의 실시예를 예시에 의해 설명했지만, 본 발명의 범위는 이들에 한정되는 것은 아니며, 청구항에 기재된 범위 내에서 목적에 따라 변경·변형 가능하다.
이상과 같이, 본 발명에 따른 실시간 데이터 처리 장치는, 실시간 프리뷰의 처리 부하를 경감하는 한편, 고해상도의 합성 데이터를 생성할 수 있는 효과를 가지며, 카메라 영상과 드로잉을 실시간으로 함성하는 애플리케이션을 제공하는 서비스 등에 사용되며, 유용하다.
1: 실시간 데이터 처리 장치
2: 인카메라부
3: 터치 패널부
4: 마이크부
5: 기억부
6: 데이터 처리부
60: 영상 데이터 입력부
61: 드로잉 데이터 입력부
62: 음성 데이터 입력부
63: 영상 반전 처리부
64: 드로잉 반전 처리부
65: 실시간 프리뷰 처리부
66: 인코딩 처리부
67: 렌더링 처리부
A1: 드로잉 영역
A2: 프리뷰 영역

Claims (4)

  1. 장치를 사용하고 있는 유저 자신의 영상을 촬영하는 인카메라부;
    상기 인카메라부에서 촬영되는 영상을 상기 유저에게 표시할 수 있고, 또한, 상기 유저에 의한 핸드 드로잉 입력을 받아들일 수 있는 터치 패널부; 및
    상기 유저의 음성이 입력되는 마이크부를 구비하는 실시간 데이터 처리 장치이고,
    상기 터치 패널부에는, 상기 핸드 드로잉 입력을 받아들이기 위한 영역인 드로잉 영역과, 상기 인카메라부에서 촬영되는 영상을 표시하기 위한 영역인 프리뷰 영역이 마련되어 있고,
    상기 실시간 데이터 처리 장치는,
    상기 인카메라부에서 촬영되는 상기 영상이, 래스터 형식의 영상 데이터로서 입력되는 영상 데이터 입력부;
    상기 영상 데이터 입력부로부터 입력되는 상기 래스터 형식의 영상 데이터를 반전하여, 래스터 형식의 반전 영상 데이터를 생성하는 영상 반전 처리부;
    상기 터치 패널부로부터 입력되는 상기 핸드 드로잉 입력이, 벡터 형식의 드로잉 데이터로서 입력되는 드로잉 데이터 입력부;
    상기 드로잉 데이터 입력부로부터 입력되는 상기 벡터 형식의 드로잉 데이터를 반전하여, 벡터 형식의 반전 드로잉 데이터를 생성하는 드로잉 반전 처리부;
    상기 마이크부로부터 입력되는 상기 유저의 음성이, 음성 데이터로서 입력되는 음성 데이터 입력부;
    상기 터치 패널부의 드로잉 영역에, 상기 드로잉 데이터 입력부로부터 입력되는 상기 벡터 형식의 드로잉 데이터를 표시하는 한편, 상기 터치 패널부의 프리뷰 영역에, 상기 영상 반전 처리부에서 생성되는 상기 래스터 형식의 반전 영상 데이터와 상기 드로잉 반전 처리부에서 생성되는 상기 벡터 형식의 반전 드로잉 데이터를 중첩 표시하고, 또한, 상기 음성 데이터 입력부로부터 입력되는 상기 음성 데이터를 출력하는, 실시간 프리뷰 처리부;
    상기 드로잉 데이터 입력부로부터 입력되는 상기 벡터 형식의 드로잉 데이터를 인코딩 처리하여, 래스터 형식의 드로잉 데이터를 생성하는 인코딩 처리부; 및
    상기 영상 데이터 입력부로부터 입력되는 상기 래스터 형식의 영상 데이터와, 상기 인코딩 처리부에서 생성되는 상기 래스터 형식의 드로잉 데이터와, 상기 음성 데이터 입력부로부터 입력되는 상기 음성 데이터를 렌더링 처리하여, 보존용 합성 데이터를 생성하는 렌더링 처리부를 구비하는 것을 특징으로 하는 실시간 데이터 처리 장치.
  2. 제1항에 있어서,
    상기 실시간 프리뷰 처리부는,
    상기 영상 반전 처리부에서 생성되는 상기 래스터 형식의 반전 영상 데이터를 하층 레이어에 배치하고, 상기 드로잉 반전 처리부에서 생성되는 상기 벡터 형식의 반전 드로잉 데이터를 상층 레이어에 배치하는 것에 의해, 상기 프리뷰 영역에서의 중첩 표시를 진행하는 실시간 데이터 처리 장치.
  3. 장치를 사용하고 있는 유저 자신의 영상을 촬영하는 인카메라부;
    상기 인카메라부에서 촬영되는 영상을 상기 유저에게 표시할 수 있고, 또한, 상기 유저에 의한 핸드 드로잉 입력을 받아들일 수 있는 터치 패널부; 및
    상기 유저의 음성이 입력되는 마이크부를 구비하는 실시간 데이터 처리 장치에서 실행되는 방법이고,
    상기 터치 패널부에는, 상기 핸드 드로잉 입력을 받아들이기 위한 영역인 드로잉 영역과, 상기 인카메라부에서 촬영되는 영상을 표시하기 위한 영역인 프리뷰 영역이 마련되어 있고,
    상기 방법은,
    상기 인카메라부에서 촬영되는 상기 영상이, 래스터 형식의 영상 데이터로서 입력되는 영상 데이터 입력 스텝;
    상기 터치 패널부로부터 입력되는 상기 핸드 드로잉 입력이, 벡터 형식의 드로잉 데이터로서 입력되는 드로잉 데이터 입력 스텝;
    상기 마이크부로부터 입력되는 상기 유저의 음성이, 음성 데이터로서 입력되는 음성 데이터 입력 스텝;
    상기 영상 데이터 입력 스텝에서 입력되는 상기 래스터 형식의 영상 데이터를 반전하여, 래스터 형식의 반전 영상 데이터를 생성하는 영상 반전 처리 스텝;
    상기 드로잉 데이터 입력 스텝에서 입력되는 상기 벡터 형식의 드로잉 데이터를 반전하여, 벡터 형식의 반전 드로잉 데이터를 생성하는 드로잉 반전 처리 스텝;
    상기 터치 패널부의 드로잉 영역에, 상기 드로잉 데이터 입력 스텝에서 입력되는 상기 벡터 형식의 드로잉 데이터를 표시하는 한편, 상기 터치 패널부의 프리뷰 영역에, 상기 영상 반전 처리 스텝에서 생성되는 상기 래스터 형식의 반전 영상 데이터와 상기 드로잉 반전 처리 스텝에서 생성되는 상기 벡터 형식의 반전 드로잉 데이터를 중첩 표시하고, 또한, 상기 음성 데이터 입력 스텝에서 입력되는 상기 음성 데이터를 출력하는, 실시간 프리뷰 처리 스텝;
    상기 드로잉 데이터 입력 스텝에서 입력되는 상기 벡터 형식의 드로잉 데이터를 인코딩 처리하여, 래스터 형식의 드로잉 데이터를 생성하는 인코딩 처리 스텝; 및
    상기 영상 데이터 입력 스텝에서 입력되는 상기 래스터 형식의 영상 데이터와, 상기 인코딩 처리 스텝에서 생성되는 상기 래스터 형식의 드로잉 데이터와, 상기 음성 데이터 입력 스텝에서 입력되는 상기 음성 데이터를 렌더링 처리하여, 보존용 합성 데이터를 생성하는 렌더링 처리 스텝을 포함하는 것을 특징으로 하는 방법.
  4. 장치를 사용하고 있는 유저 자신의 영상을 촬영하는 인카메라부;
    상기 인카메라부에서 촬영되는 영상을 상기 유저에게 표시할 수 있고, 또한, 상기 유저에 의한 핸드 드로잉 입력을 받아들일 수 있는 터치 패널부; 및
    상기 유저의 음성이 입력되는 마이크부를 구비하는 실시간 데이터 처리 장치에서 실행되는 프로그램을 포함하는, 프로그램이 기록된 기록매체이고,
    상기 터치 패널부에는, 상기 핸드 드로잉 입력을 받아들이기 위한 영역인 드로잉 영역과, 상기 인카메라부에서 촬영되는 영상을 표시하기 위한 영역인 프리뷰 영역이 마련되어 있고,
    상기 프로그램이 기록된 기록매체에 포함된 상기 실행되는 프로그램은, 상기 실시간 데이터 처리 장치에,
    상기 인카메라부에서 촬영되는 상기 영상이, 래스터 형식의 영상 데이터로서 입력되는 영상 데이터 입력 처리;
    상기 터치 패널부로부터 입력되는 상기 핸드 드로잉 입력이, 벡터 형식의 드로잉 데이터로서 입력되는 드로잉 데이터 입력 처리;
    상기 마이크부로부터 입력되는 상기 유저의 음성이, 음성 데이터로서 입력되는 음성 데이터 입력 처리;
    상기 영상 데이터 입력 처리에서 입력되는 상기 래스터 형식의 영상 데이터를 반전하여, 래스터 형식의 반전 영상 데이터를 생성하는 영상 반전 처리;
    상기 드로잉 데이터 입력 처리에서 입력되는 상기 벡터 형식의 드로잉 데이터를 반전하여, 벡터 형식의 반전 드로잉 데이터를 생성하는 드로잉 반전 처리;
    상기 터치 패널부의 드로잉 영역에, 상기 드로잉 데이터 입력 처리에서 입력되는 상기 벡터 형식의 드로잉 데이터를 표시하는 한편, 상기 터치 패널부의 프리뷰 영역에, 상기 영상 반전 처리에서 생성되는 상기 래스터 형식의 반전 영상 데이터와 상기 드로잉 반전 처리에서 생성되는 상기 벡터 형식의 반전 드로잉 데이터를 중첩 표시하고, 또한, 상기 음성 데이터 입력 처리에서 입력되는 상기 음성 데이터를 출력하는 실시간 프리뷰 처리;
    상기 드로잉 데이터 입력 처리에서 입력되는 상기 벡터 형식의 드로잉 데이터를 인코딩 처리하여, 래스터 형식의 드로잉 데이터를 생성하는 인코딩 처리; 및
    상기 영상 데이터 입력 처리에서 입력되는 상기 래스터 형식의 영상 데이터와, 상기 인코딩 처리에서 생성되는 상기 래스터 형식의 드로잉 데이터와, 상기 음성 데이터 입력 처리에서 입력되는 상기 음성 데이터를 렌더링 처리하여, 보존용 합성 데이터를 생성하는 렌더링 처리를 실행시키는 것을 특징으로 하는, 프로그램이 기록된 기록매체.
KR1020227031689A 2021-06-18 2021-10-04 실시간 데이터 처리 장치 KR102658480B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021101804A JP7026839B1 (ja) 2021-06-18 2021-06-18 リアルタイムデータ処理装置
JPJP-P-2021-101804 2021-06-18
PCT/JP2021/036544 WO2022264440A1 (ja) 2021-06-18 2021-10-04 リアルタイムデータ処理装置

Publications (2)

Publication Number Publication Date
KR20220169473A KR20220169473A (ko) 2022-12-27
KR102658480B1 true KR102658480B1 (ko) 2024-04-18

Family

ID=81175168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227031689A KR102658480B1 (ko) 2021-06-18 2021-10-04 실시간 데이터 처리 장치

Country Status (7)

Country Link
EP (1) EP4142282A1 (ko)
JP (1) JP7026839B1 (ko)
KR (1) KR102658480B1 (ko)
CN (1) CN115918063A (ko)
AU (1) AU2021427874B2 (ko)
TW (1) TWI824324B (ko)
WO (1) WO2022264440A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150029224A1 (en) 2013-07-29 2015-01-29 Canon Kabushiki Kaisha Imaging apparatus, control method and program of imaging apparatus, and recording medium
JP2017090478A (ja) 2015-11-02 2017-05-25 株式会社フォトロン 手書き情報処理装置
US20170278549A1 (en) 2016-03-24 2017-09-28 Fujitsu Limited Drawing processing device and method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051703A (ja) 2003-07-31 2005-02-24 Institute Of Tsukuba Liaison Co Ltd ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
CN103797812B (zh) * 2012-07-20 2018-10-12 松下知识产权经营株式会社 带评论运动图像生成装置及带评论运动图像生成方法
TW201502851A (zh) * 2013-07-05 2015-01-16 Think Cloud Digital Technology Co Ltd 電子簽章方法
US9881224B2 (en) * 2013-12-17 2018-01-30 Microsoft Technology Licensing, Llc User interface for overlapping handwritten text input
NO20161728A1 (en) * 2016-11-01 2018-05-02 Bja Holding As Written text transformer
CN112613283B (zh) * 2020-12-16 2021-07-23 江苏中威科技软件系统有限公司 基于ofd版式文件叠加签批分层查看的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150029224A1 (en) 2013-07-29 2015-01-29 Canon Kabushiki Kaisha Imaging apparatus, control method and program of imaging apparatus, and recording medium
JP2015027055A (ja) 2013-07-29 2015-02-05 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム並びに記録媒体
JP2017090478A (ja) 2015-11-02 2017-05-25 株式会社フォトロン 手書き情報処理装置
US20170278549A1 (en) 2016-03-24 2017-09-28 Fujitsu Limited Drawing processing device and method

Also Published As

Publication number Publication date
CN115918063A (zh) 2023-04-04
WO2022264440A1 (ja) 2022-12-22
AU2021427874B2 (en) 2023-05-04
TWI824324B (zh) 2023-12-01
AU2021427874A1 (en) 2023-01-19
JP7026839B1 (ja) 2022-02-28
JP2023000791A (ja) 2023-01-04
KR20220169473A (ko) 2022-12-27
TW202301265A (zh) 2023-01-01
EP4142282A1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
US20180152663A1 (en) View-dependent operations during playback of panoramic video
US10244215B2 (en) Re-projecting flat projections of pictures of panoramic video for rendering by application
JP4970302B2 (ja) 画像処理装置，画像処理方法及び撮像装置
KR20100056049A (ko) 이미지 합성 방법 및 장치
JP4528857B2 (ja) 画像処理装置及び画像処理方法
US20090284538A1 (en) Video streaming data processing method
KR102658480B1 (ko) 실시간 데이터 처리 장치
JP5509061B2 (ja) 潜像重畳方法、および、潜像重畳装置、潜像重畳システム
CN107580228B (zh) 一种监控视频处理方法、装置及设备
JP2004056488A (ja) 画像処理方法、画像処理装置および画像通信装置
JP4649640B2 (ja) 画像処理方法、画像処理装置、及びコンテンツ作成システム
WO2014115522A1 (ja) フレームレート変換装置及びフレームレート変換方法並びにフレームレート変換装置を備えた表示装置及び撮像装置
JP5818326B2 (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
CN111034187A (zh) 动态图像的生成方法、装置、可移动平台和存储介质
JP5238849B2 (ja) 電子機器、電子機器の制御方法及び電子機器の制御プログラム
JP2007019956A (ja) 画像合成装置及び画像合成方法
JP2007201816A (ja) 映像表示システム及び映像受信装置
JP6349355B2 (ja) 画像合成装置、情報処理装置、および画像合成方法
JP6320946B2 (ja) 映像再生装置及び方法
JP2014045425A (ja) 電子機器、電子機器の制御方法
JP2004088719A (ja) 画像捕獲方法及びその装置
CN111356013B (zh) 图片的显示方法、装置、机顶盒和计算机可读存储介质
KR101102388B1 (ko) 디지털 방송 수신기에서의 정지 영상 캡쳐 장치 및 방법
TW200810537A (en) Method and system for image overlay processing
CN117336612A (zh) 视频图像处理电路、方法和电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right