KR20190065760A - Video conferencing device utilizing transparent display - Google Patents

Video conferencing device utilizing transparent display Download PDF

Info

Publication number
KR20190065760A
KR20190065760A KR1020170165254A KR20170165254A KR20190065760A KR 20190065760 A KR20190065760 A KR 20190065760A KR 1020170165254 A KR1020170165254 A KR 1020170165254A KR 20170165254 A KR20170165254 A KR 20170165254A KR 20190065760 A KR20190065760 A KR 20190065760A
Authority
KR
South Korea
Prior art keywords
unit
transparent display
video
image
display unit
Prior art date
Application number
KR1020170165254A
Other languages
Korean (ko)
Inventor
박구만
양지희
김영애
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020170165254A priority Critical patent/KR20190065760A/en
Publication of KR20190065760A publication Critical patent/KR20190065760A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To solve problems that, in conventional video conference, correctness of an image is decreased due to a low resolution when the image is displayed on a screen through a projector and a probability transmitting only a side surface of a user′s face through a conference image is high and communication among the users is difficult when the user′s face and a camera are not placed on a front surface, the present invention provides a video conference providing apparatus through an in-site transparent display unit and a smart content presentation content. According to the present invention, the video conference providing apparatus comprises a wide-angle image acquisition unit (100), a sound acquisition unit (200), the in-site transparent display unit (300), a video/audio communication control unit (400), and the smart content presentation unit (500). Accordingly, the wide-angle image acquisition unit is disposed at a position facing the eyes of participants who attend a video conference such that eye contact between the participants is realized, thereby increasing a sense of facing between the participants by two to four times more than a conventional manner. Through the in-site transparent display unit, a background of a display screen displaying information is formed to be optically shown by using a transparent oxide semiconductor film, thereby displaying a content screen of video data and conference data by a good quality improved by 80% in comparison with an existing manner. Moreover, all participants attending the video conference can easily share and receive the conference data displayed on a display, thereby improving realistic sense and immersion of the participant by 90% in comparison with an existing manner.

Description

현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치{VIDEO CONFERENCING DEVICE UTILIZING TRANSPARENT DISPLAY}[0001] VIDEO CONFERENCING DEVICE UTILIZING TRANSPARENT DISPLAY [0002]

본 발명에서는 화상회의에 참석한 회의자의 눈과 대면한 위치에 광각 영상 획득부를 배치함으로서, 회의자간의 눈 맞춤을 가능하게 하여, 회의자 간의 대면감을 향상시킬 수 있고, 현장용 투명 디스플레이(Transparent Display)부를 통해, 정보를 표시하는 디스플레이 화면의 뒷 배경이 비춰보이도록 투명한 산화물 반도체막을 이용하여 광학적으로 투명하게 형성시킬 수 있어, 양질의 영상데이터와 회의자료 컨텐츠화면을 표출시킬 수 있는 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치에 관한 것이다.In the present invention, the wide-angle image acquiring unit is disposed at a position facing the eyes of the singer who attended the video conference, thereby enabling the eyes to be adjusted between the eyes, thereby improving the face-to- A transparent display unit for on-the-spot display capable of displaying high-quality image data and a conference data content screen, which can be formed optically transparent using a transparent oxide semiconductor film so that the background of the display screen for displaying information can be seen through the transparent oxide semiconductor film And a device for providing a video conference through a smart content display control unit.

주로 화상 회의는 서로 다른 공간에 있는 회의자들이 각자의 공간에서 스크린 위 또는 아래에 설치되어 있는 카메라를 통해 획득된 회의자의 영상을 다른 화상회의 장치로 전송한다. Mainly, videoconferencing transmits the image of the delegate obtained through the camera installed in the space above or below the screen to the other videoconferencing device.

화상회의 장치는 다른 화상회의 장치가 전송한 영상을 스크린에 디스플레이 한다. The video conferencing device displays the video transmitted by the other video conferencing device on the screen.

화상회의를 하는데 있어서 프로젝터를 통해 스크린에 영상을 띄우는 경우 해상도가 낮아 영상 정확도가 떨어지는 문제점이 있었다. In video conferencing, when an image is projected on a screen through a projector, the resolution is low and the image accuracy is low.

또한, 사용자의 얼굴과 카메라가 정면에 위치하지 않을 경우 사용자 얼굴의 측면만 회의 영상을 통해 전송될 확률이 높으며 서로의 의사소통에 대한 문제점이 발생되었다.Also, if the user 's face and the camera are not located on the front, only the side of the user' s face is likely to be transmitted through the meeting image, and there is a problem in communication with each other.

국내공개특허공보 제10-2015-0061331호Korean Patent Publication No. 10-2015-0061331

상기의 문제점을 해결하기 위해 본 발명에서는 In order to solve the above problems,

화상회의에 참석한 회의자의 눈과 대면한 위치에 광각 영상 획득부를 배치함으로서, 회의자간의 눈 맞춤을 가능하게 하여, 회의자 간의 대면감을 향상시킬 수 있고, 현장용 투명 디스플레이(Transparent Display)부를 통해, 정보를 표시하는 디스플레이 화면의 뒷 배경이 비춰보이도록 투명한 산화물 반도체막을 이용하여 광학적으로 투명하게 형성시킬 수 있으며, 화상회의에 참석한 모든 회의자들이 디스플레이에 표출되는 회의 자료 등을 쉽게 공유하고 제공받을 수 있는 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치를 제공하는데 그 목적이 있다.By arranging the wide-angle image acquiring unit at a position facing the eyes of the meeting person who attended the video conference, it is possible to make eye contact between the conference persons, thereby improving the face-to-face feelings between the conference persons, and through the transparent display unit for on- It can be formed optically transparent using a transparent oxide semiconductor film so that the background of the display screen displaying information can be seen, and it is possible to easily share and provide conference materials displayed on the display by all the conference attendees And to provide a video conference providing apparatus using the smart contents display control unit.

상기의 목적을 달성하기 위해 본 발명에 따른 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치는In order to accomplish the above object, an apparatus for providing video conference through the on-site transparent display unit and the smart content display control unit according to the present invention comprises:

현장용 투명 디스플레이부 후단 일측에 위치되어, 영상을 수집, 획득하는 광각 영상 획득부(100)와,A wide-angle image acquiring unit (100) positioned at a rear end of the field transparent display unit and collecting and acquiring images,

광각 영상 획득부 일측에 위치되어, 음성을 수집, 획득하는 음성획득부(200)와,A voice acquiring unit 200 located at one side of the wide-angle image acquiring unit and collecting and acquiring voice;

광각 영상 획득부 선단에 위치되어, 정보를 표시하는 디스플레이 화면의 뒷 배경이 비춰보이도록 투명한 산화물 반도체막을 이용하여 광학적으로 투명하게 형성시키는 현장용 투명 디스플레이(Transparent Display)부(300)와,A transparent display unit 300 located at the front end of the wide-angle image acquisition unit and optically transparent using a transparent oxide semiconductor film so that the background of the display screen on which information is displayed can be seen,

현장용 투명 디스플레이부 일측에 위치되어, 현장용 투명 디스플레이부와 원격지의 또 다른 투명 디스플레이부 간에 영상(image)과 음성(sound) 데이터를 주고받는 양방향통신망을 형성시키는 영상음성 통신제어부(400)와,A video and audio communication control unit 400 located at one side of the on-site transparent display unit and forming a bidirectional communication network for exchanging image and sound data between the on-site transparent display unit and another transparent display unit on the remote place,

광각 영상 획득부, 음성획득부, 현장용 투명 디스플레이부, 영상음성 통신제어부와 연결되어, 각 기기의 전반적인 동작을 제어하면서, 투명 디스플레이부에서 회의자세를 추정하여, 회의자의 회의자세에 따라 맞춤형 영상을 원격지의 또 다른 투명 디스플레이부쪽으로 전송시키면서, 투명 디스플레이부 상에서 터치된 이벤트명령신호에 따라 투명 디스플레이부에 제어명령을 전달하여 특정 컨텐츠 및 회의용 데이터를 불러와, 투명 디스플레이부 화면상에 표출 제어하는 스마트 컨텐츠 표출제어부(500)로 구성됨으로서 달성된다.A wide angle image acquiring unit, a sound acquiring unit, a field transparent display unit, and an image and audio communication control unit, and controls a general operation of each device, estimates a meeting posture in a transparent display unit, And transmits the control command to the transparent display unit according to the event command signal touched on the transparent display unit to transmit the specific contents and the conference data to the transparent display unit, And a content display control unit (500).

이상에서 설명한 바와 같이, 본 발명에서는 As described above, in the present invention,

첫째, 화상회의에 참석한 회의자의 눈과 대면한 위치에 광각 영상 획득부를 배치함으로서, 회의자간의 눈 맞춤을 가능하게 하여, 회의자 간의 대면감을 기존에 비해 2배~4배 향상시킬 수 있다.First, by arranging the wide-angle image acquiring unit at a position facing the eyes of the singer who attended the videoconference, it is possible to make the eyesight between the skeighters, and the face-to-face feeling between the skeighers can be improved by two to four times.

둘째, 현장용 투명 디스플레이(Transparent Display)부를 통해, 정보를 표시하는 디스플레이 화면의 뒷 배경이 비춰보이도록 투명한 산화물 반도체막을 이용하여 광학적으로 투명하게 형성시킬 수 있어, 기존에 비해 80% 향상된 양질의 영상데이터와 회의자료 컨텐츠화면을 표출시킬 수 있다.Second, through transparent transparent display (Transparent Display), it is possible to optically transparently form a transparent oxide semiconductor film so that the background of the display screen displaying information can be seen. Thus, 80% higher quality image data And the conference data contents screen can be displayed.

셋째, 화상회의에 참석한 모든 회의자들이 디스플레이에 표출되는 회의 자료 등을 쉽게 공유하고 제공 받을 수 있어, 회의자의 사실감과 몰입감을 기존에 비해 90% 향상시킬 수 있다.Third, all the conferrers who attended the videoconference can easily share and present the meeting materials displayed on the display, so that the sense of realism and immersion of the conferencer can be improved by 90% compared with the conventional one.

도 1은 본 발명에 따른 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치의 구성요소를 도시한 블럭도,
도 2는 본 발명에 따른 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치(1)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 현장용 투명 디스플레이(Transparent Display)부의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 영상음성 통신제어부의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 영상음성 통신 송신부의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 영상음성 통신수신부의 구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 본 발명에 따른 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치의 구체적인 동작과정을 도시한 일실시예도.FIG. 1 is a block diagram illustrating components of an apparatus for providing a video conference through a transparent display unit for on-site use and a smart content display control unit according to the present invention.
FIG. 2 is a configuration diagram showing components of the video conference providing apparatus 1 through the on-site transparent display unit and the smart contents display control unit according to the present invention.
3 is a block diagram illustrating components of a field transparent display unit according to the present invention,
4 is a block diagram illustrating the components of the video and audio communication control unit according to the present invention.
FIG. 5 is a block diagram illustrating the components of the video-audio communication transmitting unit according to the present invention.
FIG. 6 is a block diagram illustrating components of an image and voice communication receiving unit according to the present invention.
FIG. 7 is a flowchart illustrating a specific operation of the on-site transparent display unit according to the present invention and the apparatus for providing a video conference through the smart content display control unit according to the present invention.

이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명에 따른 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치의 구성요소를 도시한 블럭도에 관한 것이고, 도 2는 본 발명에 따른 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 광각 영상 획득부(100), 음성획득부(200), 현장용 투명 디스플레이(Transparent Display)부(300), 영상음성 통신제어부(400), 스마트 컨텐츠 표출제어부(500)로 구성된다.FIG. 1 is a block diagram showing components of an apparatus for providing a video conference through a transparent display unit for on-site use and a smart content display control unit according to the present invention, and FIG. 2 is a block diagram showing components of a video- And includes a wide angle image acquisition unit 100, a sound acquisition unit 200, a transparent display unit 300, a display unit 300, A voice communication control unit 400, and a smart content display control unit 500.

먼저, 본 발명에 따른 광각 영상 획득부(100)에 관해 설명한다.First, the wide-angle image obtaining unit 100 according to the present invention will be described.

상기 광각 영상 획득부(100)는 현장용 투명 디스플레이부 후단 일측에 위치되어, 영상을 수집, 획득하는 역할을 한다.The wide-angle image acquiring unit 100 is located at a rear end of the transparent display unit for the purpose of collecting and acquiring images.

이는 광각 카메라로 구성되고, 광각 카메라에서 영상 획득하는 비디오 에스알씨(videosrc)가 포함되어 구성된다.It consists of a wide angle camera and includes a video rc (video rc) which acquires images from a wide angle camera.

본 발명에서는 화상 회의시 대면감을 높이기 위해 투명 디스플레이부 후단 중앙 일측에 광각 카메라를 두어 회의자의 정면을 획득한다. In the present invention, a wide-angle camera is disposed on one side of the rear center of the transparent display unit to increase the face-to-face feeling in a video conference, thereby obtaining the front face of the conference person.

또한, 시야각이 넓은 광각 카메라를 통해 현장감을 제공하여 서로 원거리에서 느낄 수 있는 거리감을 낮출 수 있다.In addition, wide-angle cameras with wide viewing angles provide a sense of presence, which can reduce the sense of distance that can be felt from a distance.

다음으로, 본 발명에 따른 음성획득부(200)에 관해 설명한다.Next, the voice acquisition unit 200 according to the present invention will be described.

상기 음성획득부(200)는 광각 영상 획득부 일측에 위치되어, 음성을 수집, 획득하는 역할을 한다.The voice acquisition unit 200 is located at one side of the wide-angle image acquisition unit, and collects and acquires voice.

이는 음성녹음기로 구성된다.It consists of a voice recorder.

화상 회의시 발언자의 음성을 녹음시키도록 구성된다.And to record the voice of the speaker during a video conference.

다음으로, 본 발명에 따른 현장용 투명 디스플레이(Transparent Display)부(300)에 관해 설명한다.Next, a field transparent display unit 300 according to the present invention will be described.

상기 현장용 투명 디스플레이(Transparent Display)부(300)는 광각 영상 획득부 선단에 위치되어, 정보를 표시하는 디스플레이 화면의 뒷 배경이 비춰보이도록 투명한 산화물 반도체막을 이용하여 광학적으로 투명하게 형성시키는 역할을 한다.The transparent display unit 300 is positioned at the front end of the wide-angle image acquiring unit and optically transparently forms a transparent oxide semiconductor film so that the background of the display screen on which information is displayed can be seen .

이는 투명 디스플레이 환경 구성에는 빔프로젝터와, 영상된 상을 맺히도록 하는 투명한 프로젝션 필름이 구성된다.This structure consists of a beam projector and a transparent projection film to form the image.

본 발명에서는 낮은 비용으로 빠르게 제작 가능하면서도 유사한 효과를 테스트 하기 용이한 투사형 방식으로 구성된다.In the present invention, a projection-type method which can be manufactured quickly at low cost, and easily tests similar effects is configured.

상기 현장용 투명 디스플레이(Transparent Display)부는 영상음성 통신제어부로부터 전송받은 영상 및 음성 데이터를 렌즈 영역을 제외한 투명 디스플레이에 표출하여 회의자에게 화상회의 서비스를 제공한다. The on-site transparent display unit displays video and audio data received from the video and audio communication control unit on a transparent display except for the lens area, and provides a video conference service to the conference person.

이는 일반 모니터와 다르게 양면에서 볼 수 있는 장점이 있기 때문에 회의자는 회의시 중요한 정보나 데이터를 투명 디스플레이에 메모함으로써 상대 회의자에게 공유할 수 있다. This has the advantage of being viewed on both sides differently from a normal monitor, so that the conferenceer can share important information or data during meetings with the other party by making a note on the transparent display.

상대 회의자는 투명 디스플레이부 뒤에 설치되어 있는 광각영상획득부로부터 획득한 회의자의 정면과 정보를 반전시켜 각기의 실내에 설치된 투명 디스플레이부에 비친 영상 및 음성 등을 통하여 회의를 진행할 수 있다.The opposing party can invert the face and information of the skeptics obtained from the wide-angle image acquiring unit provided behind the transparent display unit, and proceed through the video and voice reflected on the transparent display unit installed in the respective rooms.

하이-피델리티(High-Fidelity) 프로토타입에서 사용자는 현장용 투명 디스플레이(Transparent Display)부를 통해 현장용 투명 디스플레이(Transparent Display)부와 함께 놓인 배경을 동시에 인식시킬 수 있다.In the High-Fidelity prototype, the user can simultaneously recognize the background with the Transparent Display part with the field transparent display part.

본 발명에 따른 현장용 투명 디스플레이(Transparent Display)부는 도 3에 도시한 바와 같이, 터치 인터랙션(Touch Interaction)부(310), 텐져블 UI부(Tangible UI)(320)로 구성된다.The transparent display unit according to the present invention includes a touch interaction unit 310 and a tangible UI unit 320 as shown in FIG.

상기 터치 인터랙션(Touch Interaction)부(310)는 투명 디스플레이 전단표면에 위치되어, 사용자에 의해 터치된 이벤트명령신호를 감지하는 역할을 한다.The touch interaction unit 310 is positioned on the front surface of the transparent display and senses an event command signal touched by the user.

이는 프로젝션 필름이 투명한 4.8인치 크기의 4핀 감압식 터치패널에 부착되어 구성된다.It consists of a 4-pin pressure-sensitive touch panel with a 4.8-inch transparent projection film.

현장용 투명 디스플레이(Transparent Display)부의 양면에서 모두 터치 인터랙션이 가능하도록 맞붙인 두장의 패널과 각각의 패널에서 신호를 받아 원격지의 또 다른 투명디스플레이부로 전달하는 두개의 USB 방식 터치 컨트롤러가 사용된다.Two USB touch controllers are used to transmit the signals from each panel to the other transparent display part of the remote place, and two panels to allow touch interaction on both sides of the transparent display part.

이는 투명성으로 인해 양면 접근이 가능하고, 또한 양면의 구분이 거의 없는 투명 디스플레이 사용 환경에서, 상기 기술한 터치 인터랙션 구현 방식을 통해 사용자가 접근 방향과 관계없이, TD가 MD에 중첩되거나 병치된 상황에서 동일한 터치 인터랙션을 연속적으로 경험할 수가 있다.This is because, in a transparent display use environment in which two-sided approach is possible due to transparency and there is little division of both sides, in a situation where the TD is overlapped or juxtaposed with the MD regardless of the approach direction by the above- The same touch interaction can be continuously experienced.

이러한 양면 활용 가능성은 텐져블 UI부와 결합하여 물리적 사용자 인터페이스를 구성한다.This possibility of double-sided utilization is combined with the programmable UI part to configure the physical user interface.

상기 텐져블 UI부(Tangible UI)(320)는 터치 인터랙션(Touch Interaction)부에 터치된 이벤트명령신호를 스마트 컨텐츠 표출제어부로 보낸 후, 이에 따른 응답신호인 특정 컨텐츠 및 회의용 데이터를 불러와, 화면상에 표출 제어시키는 역할을 한다.The Tangible UI unit 320 sends a touched event command signal to a touch interaction unit to a smart content display control unit and then calls a specific content and a conference data corresponding to the tentative UI unit 320, And controls the display on the screen.

이는 현장용 투명 디스플레이(Transparent Display)부를 여닫는 물리적인 인터랙션을 Adobe Flash CS6와 ActionScript 3를 기반으로 제작된 다양한 어플리케이션에 간단히 적용하기 위해 Firmata 및 NETLabHub 플러그린을 활용하도록 구성된다.It is configured to utilize the Firmata and NETLabHub plug-ins to easily apply the physical interactions that open and close the Transparent Display section to a variety of applications built on Adobe Flash CS6 and ActionScript 3.

본 발명에서는 물리적인 압력 및 조작방식을 추가함으로써, 현장용 투명 디스플레이(Transparent Display)부를 더욱 직관적이고 다이나믹하게 활용할 수가 있다.In the present invention, by adding the physical pressure and the operation method, it is possible to utilize the field transparent display unit more intuitively and dynamically.

즉, 사용자가 현장용 투명 디스플레이(Transparent Display)부를 여닫는 행동을 감지하여, 사용 맥락에 접합한 디스플레이 상황을 제공한다.That is, the user senses the action of opening and closing the transparent display unit for the user, and provides a display situation that is connected to the context of use.

다음으로, 본 발명에 따른 영상음성 통신제어부(400)에 관해 설명한다.Next, the video-audio communication control unit 400 according to the present invention will be described.

상기 영상음성 통신제어부(400)는 현장용 투명 디스플레이부 일측에 위치되어, 현장용 투명 디스플레이부와 원격지의 또 다른 투명 디스플레이부 간에 영상(image)과 음성(sound) 데이터를 주고받는 양방향통신망을 형성시키는 역할을 한다.The video and audio communication control unit 400 is located at one side of the transparent display unit for the purpose of forming a bidirectional communication network for transmitting image and sound data between the transparent display unit for the site and another transparent display unit at the remote site .

이는 주로 각 매개체 장비들과 장비 내부의 I/O(camera, mic, speaker, display)들 간의 sound, image data를 주고받는 기능을 설계한다. It mainly designes the function of exchanging sound and image data between I / O devices (camera, mic, speaker, display) and each media equipment.

영상 송수신은 영상을 H.264 코덱으로 압축하여 RTSP(Real Time Streaming Protocol) 프로토콜로 전송한다.The video transmission / reception is performed by compressing the video using the H.264 codec and transmitting it through the RTSP (Real Time Streaming Protocol) protocol.

H.264 코덱은 영상 압축 표준의 하나로, 현재 고선명 비디오의 녹화, 압축, 배포를 위한 가장 일반적인 포맷 가운데 하나이다.The H.264 codec is one of the video compression standards and is currently one of the most common formats for recording, compressing, and distributing high definition video.

매우 높은 데이터 압축률을 자랑한다.It boasts a very high data compression rate.

RTSP 프로토콜은 RTP프로토콜(Real-time Transport Protocol)에 미디어 데이터를 제어하는 명령이추가된 통신 규약이다.The RTSP protocol is a communication protocol to which an instruction to control media data is added to the RTP protocol (Real-time Transport Protocol).

RTP 프로토콜은 IP 네트워크를 통해 오디오와 비디오를 전달하기 위한 표준화된 패킷 포맷을 정의한다. The RTP protocol defines a standardized packet format for delivering audio and video over an IP network.

RTP는 스트리밍 미디어를 포함한 커뮤니케이션 및 엔터테인먼트 시스템에 널리 쓰이고 있다. RTP is widely used in communications and entertainment systems, including streaming media.

RTP는 국제 인터넷 표준화 기구(IETF)의 오디오 비디오 트랜스포트 워킹 그룹이 개발하였으며 RTC 1889로 1996년 처음 출판되었으며 2003년에 RFC 3550가 RTP를 대신하게 되었다. RTP was developed by the Audio-Video Transport Working Group of the International Internet Standardization Organization (IETF), first published in 1996 as RTC 1889, and in 2003 RFC 3550 replaced RTP.

이러한 RTP 프로토콜에 미디어를 제어하는 명령을 추가한 프로토콜이 바로 RTSP이다.The protocol that adds media control commands to RTP protocols is RTSP.

본 발명에 따른 영상음성 통신제어부는 구성요소(element)와 파이프라인을 기반으로 하여 구성된다.The video and audio communication control unit according to the present invention is configured based on elements and pipelines.

구성요소는 전체 영상송수신 단계에서 하나의 역할을 하는 블랙박스기능을 수행한다.The component performs a black box function that plays a role in the entire image transmission / reception step.

상기 영상음성 통신제어부(400)는 도 4에 도시한 바와 같이, 영상음성 통신 송신부(410), 영상음성 통신수신부(420)로 구성된다.As shown in FIG. 4, the video and audio communication control unit 400 includes a video and audio communication transmitting unit 410 and a video and audio communication receiving unit 420.

첫째, 본 발명에 따른 영상음성 통신 송신부(410)에 관해 설명한다.First, the video-audio communication transmitting unit 410 according to the present invention will be described.

상기 영상음성 통신 송신부(410)는 원격지의 또 다른 투명 디스플레이부쪽으로 현재 촬영한 영상(image)과 음성(sound) 데이터를 송신시키는 역할을 한다.The video and audio communication transmitting unit 410 transmits the image and sound data photographed to another transparent display unit at a remote place.

이는 도 5에 도시한 바와 같이, 인코딩부(411), RTP패킷추가부(412), 영상추가부(413), TCP 전송부(414)로 구성된다.As shown in FIG. 5, the encoding unit 411, the RTP packet adding unit 412, the image adding unit 413, and the TCP transmission unit 414 are included.

상기 인코딩부(411)는 영상을 H.264 포맷으로 인코딩시키는 역할을 한다.The encoding unit 411 encodes the image into the H.264 format.

이는 h264parse로 구성된다.It consists of h264parse.

상기 RTP패킷추가부(412)는 H.264 영상을 RTP 패킷에 추가시키는 역할을 한다.The RTP packet adder 412 adds the H.264 video to the RTP packet.

이는 rtph264pay로 구성된다.It consists of rtph264pay.

상기 영상추가부(413)는 데이터 스트리밍 버퍼에 영상을 추가시키는 역할을 한다.The image adding unit 413 adds an image to the data streaming buffer.

이는 gdppay로 구성된다.It consists of gdppay.

상기 TCP 전송부(414)는 RTP 영상을 TCP 방식으로 전송시키는 역할을 한다.The TCP transmission unit 414 transmits the RTP image in the TCP mode.

이는 tcpserversink로 구성된다.It consists of tcpserversink.

둘째, 본 발명에 따른 영상음성 통신수신부(420)에 관해 설명한다.Second, the video and audio communication receiving unit 420 according to the present invention will be described.

상기 영상음성 통신수신부(420)는 원격지의 또 다른 투명 디스플레이부 일측에 위치되어, 현장의 투명 디스플레이부에서 전송한 영상(image)과 음성(sound) 데이터를 수신시키는 역할을 한다.The video and audio communication receiving unit 420 is located at one side of another transparent display unit at a remote place and receives image and sound data transmitted from the transparent display unit of the site.

이는 도 6에 도시한 바와 같이, 영상스트리밍 수신부(421), RTP 패킷수신부(422), 디코딩부(423), 색공간변환부(424), 영상출력제어부(425)로 구성된다.As shown in FIG. 6, the video streaming receiving unit 421, the RTP packet receiving unit 422, the decoding unit 423, the color space converting unit 424, and the video output control unit 425.

상기 영상스트리밍 수신부(421)는 영상 스트리밍을 수신하는 역할을 한다.The video streaming receiver 421 receives video streaming.

이는 tclientsrc로 구성된다.It consists of tclientsrc.

상기 RTP 패킷수신부(422)는 수신한 영상 중 RTP 패킷에서 H264 영상을 수신하는 역할을 한다.The RTP packet receiver 422 receives the H264 image from the received RTP packet.

이는 rtph264depay로 구성된다.It consists of rtph264depay.

상기 디코딩부(423)는 H264 영상을 디코딩시키는 역할을 한다.The decoding unit 423 decodes the H264 image.

이는 avdec_h264로 구성된다.It consists of avdec_h264.

상기 색공간변환부(424)는 영상의 색공간을 변환시키는 역할을 한다.The color space converting unit 424 converts the color space of the image.

이는 videoconvert로 구성된다.It consists of a videoconvert.

상기 영상출력제어부(425)는 영상을 투명 디스플레이부쪽으로 표시시키는 역할을 한다.The image output controller 425 serves to display an image on the transparent display unit.

이는 autovideosink로 구성된다.It consists of autovideosink.

다음으로, 본 발명에 따른 스마트 컨텐츠 표출제어부(500)에 관해 설명한다.Next, the smart content display control unit 500 according to the present invention will be described.

상기 스마트 컨텐츠 표출제어부(500)는 광각 영상 획득부, 음성획득부, 현장용 투명 디스플레이부, 영상음성 통신제어부와 연결되어, 각 기기의 전반적인 동작을 제어하면서, 투명 디스플레이부에서 회의자세를 추정하여, 회의자의 회의자세에 따라 맞춤형 영상을 원격지의 또 다른 투명 디스플레이부쪽으로 전송시키면서, 투명 디스플레이부 상에서 터치된 이벤트명령신호에 따라 투명 디스플레이부에 제어명령을 전달하여 특정 컨텐츠 및 회의용 데이터를 불러와, 투명 디스플레이부 화면상에 표출 제어하는 역할을 한다.The smart content display control unit 500 is connected to the wide-angle image acquiring unit, the sound acquiring unit, the in-field transparent display unit, and the video and audio communication control unit to estimate the conference posture in the transparent display unit while controlling the overall operation of each device, And transmits the control command to the transparent display unit according to the event command signal touched on the transparent display unit to transmit the specific content and the conference data to the transparent display unit while transmitting the customized image to the transparent display unit of the remote place according to the meeting attitude of the conference person, And controls display control on the display unit screen.

이는 회의자세추정 컴포넌트(head poseestimation component), 컨텐츠명령매니저(Contents command manager)가 구성되고, 원격지의 또 다른 투명 디스플레이부 쪽에 컨텐츠명령매니저(Contents command manager)가 구성된다.This includes a head pose estimation component, a contents command manager, and a contents command manager on another transparent display unit side of the remote place.

본 발명에서는 3D 실린더 모델 기반의 회의자세 추정 알고리즘을 이용해서 영상음성 통신제어부에서 받아온 영상정보에서 회의자세를 추정하는 연산에 관련된 부분을 구분하여 현장용 투명 디스플레이부쪽의 회의자세추정 컴포넌트를 구성한다. In the present invention, the conference posture estimation component of the field transparent display unit is configured by dividing the part related to the calculation for estimating the meeting posture in the image information received from the video and audio communication control unit using the conference posture estimation algorithm based on the 3D cylinder model.

그리고 회의자세추정 컴포넌트로부터 얻어지는 회의자세 값을 이용해서 실제 컨텐츠를 제어하는 값으로 변환하는 기능, 변환된 값을 6 Byte 패킷으로 묶어 값을 보내는 기능, TCP/IP 통신의 서버기능을 원격지의 또 다른 투명 디스플레이부쪽의 컨텐츠명령매니저에도 함께 구분하여 구성한다.A function of converting the actual contents into a value to be controlled using the meeting posture value obtained from the conference posture estimation component, a function of sending the converted values by bundling them into 6-byte packets, and a server function of TCP / IP communication And the content command manager of the transparent display unit.

또한, 원격지의 또 다른 투명 디스플레이부 쪽의 컨텐츠명령매니저에는 현장용 투명 디스플레이부로부터 받아온 컨텐츠제어명령 값을 받는 기능, TCP/IP의 클라이언트 기능, 블루투스통신으로 컨텐츠제어기에 받은 명령을 보내는 기능이 포함되어 구성된다.In addition, the content command manager on the other transparent display unit side of the remote site includes a function of receiving a content control command value received from the field transparent display unit, a client function of TCP / IP, and a function of sending a command received from the content controller through Bluetooth communication .

이하, 본 발명에 따른 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치의 구체적인 동작과정에 관해 설명한다.Hereinafter, a specific operation process of the in-field transparent display unit according to the present invention and the video conference providing apparatus through the smart content presentation control unit will be described.

먼저, 도 7에 도시한 바와 같이, 현장용 투명 디스플레이부 후단 일측에 위치한 광각 영상 획득부를 통해, 영상을 수집, 획득한다.First, as shown in FIG. 7, an image is collected and acquired through a wide-angle image acquisition unit located at a rear end of the transparent display unit for the field.

다음으로, 음성획득부를 통해 음성을 수집, 획득한다.Next, voice is acquired and acquired through the voice acquiring unit.

다음으로, 현장용 투명 디스플레이(Transparent Display)부에서 정보를 표시하는 디스플레이 화면의 뒷 배경이 비춰보이도록 투명한 산화물 반도체막을 이용하여 광학적으로 투명하게 형성시킨다.Next, a transparent oxide semiconductor film is used to form optically transparent so that the background of the display screen on which information is displayed in the transparent display unit for the field can be seen.

즉, 스마트 컨텐츠 표출제어부의 제어하에 투명 디스플레이부 상에서 터치된 이벤트명령신호에 따라 투명 디스플레이부에 제어명령을 전달하여 특정 컨텐츠 및 회의용 데이터를 불러와, 투명 디스플레이부 화면상에 표출 제어한다.That is, under the control of the smart contents display control unit, the control command is transmitted to the transparent display unit according to the event command signal touched on the transparent display unit, and the specific contents and the conference data are displayed and controlled on the transparent display unit screen.

다음으로, 영상음성 통신제어부에서 현장용 투명 디스플레이부와 원격지의 또 다른 투명 디스플레이부 간에 영상(image)과 음성(sound) 데이터를 주고받는 양방향통신망을 형성시킨다.Next, the video and audio communication control unit forms a bidirectional communication network in which image and sound data are exchanged between the transparent display unit for the site and another transparent display unit at the remote site.

다음으로, 스마트 컨텐츠 표출제어부의 제어하에 회의자의 회의자세에 따라 맞춤형 영상을 원격지의 또 다른 투명 디스플레이부쪽으로 전송시킨다. Next, the customized image is transmitted to another transparent display unit of the remote place in accordance with the meeting posture of the conference person under the control of the smart contents display control unit.

끝으로, 원격지의 또 다른 투명 디스플레이부상에 영상음성 통신제어부로부터 전송된 영상(image)과 음성(sound) 데이터, 특정 컨텐츠 및 회의용 데이터를 출력시킨다.Finally, on the other transparent display part of the remote place, it outputs image and sound data, specific contents and conference data transmitted from the video and audio communication control part.

1 : 화상 회의 제공 장치 100 : 광각 영상 획득부
200 : 음성획득부
300 : 현장용 투명 디스플레이(Transparent Display)부
400 : 영상음성 통신제어부
500 : 스마트 컨텐츠 표출제어부1: video conference providing apparatus 100: wide angle video acquiring unit
200:
300: Field Transparent Display
400: video / audio communication control unit
500: Smart content display control unit

Claims (5)

현장용 투명 디스플레이부 후단 일측에 위치되어, 영상을 수집, 획득하는 광각 영상 획득부(100)와,
광각 영상 획득부 일측에 위치되어, 음성을 수집, 획득하는 음성획득부(200)와,
광각 영상 획득부 선단에 위치되어, 정보를 표시하는 디스플레이 화면의 뒷 배경이 비춰보이도록 투명한 산화물 반도체막을 이용하여 광학적으로 투명하게 형성시키는 현장용 투명 디스플레이(Transparent Display)부(300)와,
현장용 투명 디스플레이부 일측에 위치되어, 현장용 투명 디스플레이부와 원격지의 또 다른 투명 디스플레이부 간에 영상(image)과 음성(sound) 데이터를 주고받는 양방향통신망을 형성시키는 영상음성 통신제어부(400)와,
광각 영상 획득부, 음성획득부, 현장용 투명 디스플레이부, 영상음성 통신제어부와 연결되어, 각 기기의 전반적인 동작을 제어하면서, 투명 디스플레이부에서 회의자세를 추정하여, 회의자의 회의자세에 따라 맞춤형 영상을 원격지의 또 다른 투명 디스플레이부쪽으로 전송시키면서, 투명 디스플레이부 상에서 터치된 이벤트명령신호에 따라 투명 디스플레이부에 제어명령을 전달하여 특정 컨텐츠 및 회의용 데이터를 불러와, 투명 디스플레이부 화면상에 표출 제어하는 스마트 컨텐츠 표출제어부(500)로 구성되는 것을 특징으로 하는 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치.
A wide-angle image acquiring unit (100) positioned at a rear end of the field transparent display unit and collecting and acquiring images,
A voice acquiring unit 200 located at one side of the wide-angle image acquiring unit and collecting and acquiring voice;
A transparent display unit 300 located at the front end of the wide-angle image acquisition unit and optically transparent using a transparent oxide semiconductor film so that the background of the display screen on which information is displayed can be seen,
A video and audio communication control unit 400 located at one side of the on-site transparent display unit and forming a bidirectional communication network for exchanging image and sound data between the on-site transparent display unit and another transparent display unit on the remote place,
A wide angle image acquiring unit, a sound acquiring unit, a field transparent display unit, and an image and audio communication control unit, and controls a general operation of each device, estimates a meeting posture in a transparent display unit, And transmits the control command to the transparent display unit according to the event command signal touched on the transparent display unit to transmit the specific contents and the conference data to the transparent display unit, And a content display control unit (500), wherein the video display control unit (500) and the smart display control unit
제1항에 있어서, 상기 현장용 투명 디스플레이(Transparent Display)부(300)는
투명 디스플레이 전단표면에 위치되어, 사용자에 의해 터치된 이벤트명령신호를 감지하는 터치 인터랙션(Touch Interaction)부(310)와,
터치 인터랙션(Touch Interaction)부에 터치된 이벤트명령신호를 스마트 컨텐츠 표출제어부로 보낸 후, 이에 따른 응답신호인 특정 컨텐츠 및 회의용 데이터를 불러와, 화면상에 표출 제어시키는 텐져블 UI부(Tangible UI)(320)로 구성되는 것을 특징으로 하는 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치.
The apparatus of claim 1, wherein the field transparent display unit (300)
A touch interaction unit 310 positioned on the front surface of the transparent display and sensing an event command signal touched by the user,
A tangible UI unit (tangible UI) for sending a touched event command signal to a smart content display control unit and calling specific response data, (300), and a smart content display controller (300).
제1항에 있어서, 상기 영상음성 통신제어부(400)는
원격지의 또 다른 투명 디스플레이부쪽으로 현재 촬영한 영상(image)과 음성(sound) 데이터를 송신시키는 영상음성 통신 송신부(410)와,
원격지의 또 다른 투명 디스플레이부 일측에 위치되어, 현장의 투명 디스플레이부에서 전송한 영상(image)과 음성(sound) 데이터를 수신시키는 영상음성 통신수신부(420)로 구성되는 것을 특징으로 하는 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치.
2. The apparatus of claim 1, wherein the video and audio communication control unit (400)
A video and audio communication transmitting unit 410 for transmitting video and sound data photographed at the other transparent display unit of the remote site,
And a video and audio communication receiving unit (420) located at one side of another transparent display unit of the remote site and receiving image and sound data transmitted from a transparent display unit in the field. And a smart content presentation control unit.
제3항에 있어서, 상기 영상음성 통신 송신부(410)는
영상을 H.264 포맷으로 인코딩시키는 인코딩부(411)와,
H.264 영상을 RTP 패킷에 추가시키는 RTP패킷추가부(412)와,
데이터 스트리밍 버퍼에 영상을 추가시키는 영상추가부(413)와,
RTP 영상을 TCP 방식으로 전송시키는 TCP 전송부(414)로 구성되는 것을 특징으로 하는 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치.
4. The system of claim 3, wherein the video and audio communication transmitting unit (410)
An encoding unit 411 for encoding an image in the H.264 format,
An RTP packet adder 412 for adding an H.264 video to an RTP packet,
An image adding unit 413 for adding an image to the data streaming buffer,
And a TCP transmission unit (414) for transmitting the RTP video in the TCP format.
제3항에 있어서, 상기 영상음성 통신수신부(420)는
영상 스트리밍을 수신하는 영상스트리밍 수신부(421)와,
수신한 영상 중 RTP 패킷에서 H264 영상을 수신하는 RTP 패킷수신부(422)와,
H264 영상을 디코딩시키는 디코딩부(423)와,
영상의 색공간을 변환시키는 색공간변환부(424)와,
영상을 투명 디스플레이부쪽으로 표시시키는 영상출력제어부(425)로 구성되는 것을 특징으로 하는 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치.
4. The apparatus of claim 3, wherein the video and audio communication receiving unit (420)
A video streaming receiving unit 421 for receiving video streaming,
An RTP packet receiving unit 422 for receiving the H264 image in the RTP packet among the received images,
A decoding unit 423 for decoding the H264 image,
A color space conversion unit 424 for converting the color space of the image,
And a video output control unit (425) for displaying an image on the transparent display unit side. The apparatus for providing video conference through the on-site transparent display unit and the smart content display control unit.
KR1020170165254A 2017-12-04 2017-12-04 Video conferencing device utilizing transparent display KR20190065760A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170165254A KR20190065760A (en) 2017-12-04 2017-12-04 Video conferencing device utilizing transparent display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170165254A KR20190065760A (en) 2017-12-04 2017-12-04 Video conferencing device utilizing transparent display

Publications (1)

Publication Number Publication Date
KR20190065760A true KR20190065760A (en) 2019-06-12

Family

ID=66846121

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170165254A KR20190065760A (en) 2017-12-04 2017-12-04 Video conferencing device utilizing transparent display

Country Status (1)

Country Link
KR (1) KR20190065760A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150061331A (en) 2013-11-27 2015-06-04 한국전자통신연구원 Method for controlling electric devices using transparent display and apparatus using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150061331A (en) 2013-11-27 2015-06-04 한국전자통신연구원 Method for controlling electric devices using transparent display and apparatus using the same

Similar Documents

Publication Publication Date Title
US9270941B1 (en) Smart video conferencing system
US8860776B2 (en) Conference terminal, conference server, conference system and data processing method
US20110216153A1 (en) Digital conferencing for mobile devices
Jansen et al. Enabling composition-based video-conferencing for the home
US20100103244A1 (en) device for and method of processing image data representative of an object
EP2352290B1 (en) Method and apparatus for matching audio and video signals during a videoconference
CN101939989B (en) Virtual table
CN103238178A (en) System and method for providing enhanced graphics in a video environment
CN103597468A (en) Systems and methods for improved interactive content sharing in video communication systems
AU2013312634A1 (en) Method, device and system for media negotiation in multi-stream meeting
WO2013178188A1 (en) Video conference display method and device
CN109274921A (en) Video conferencing system
US20160014371A1 (en) Social television telepresence system and method
JP2018515979A (en) Communication processing method and electronic apparatus
CN111163280B (en) Asymmetric video conference system and method thereof
WO2016206471A1 (en) Multimedia service processing method, system and device
US20130093834A1 (en) Device, Method and System for Real-time Screen Interaction in Video Communication
US7190388B2 (en) Communication terminal and system
CN112203126A (en) Screen projection method, screen projection device and storage medium
US11178361B2 (en) Virtual window for teleconferencing
KR101295976B1 (en) 3d video conference system
KR20190065760A (en) Video conferencing device utilizing transparent display
JP2016048855A (en) Remote communication device and program
KR102391898B1 (en) Remote access system for transmitting video data and method performing there of
CN115174978B (en) Sound and picture synchronization method for 3D digital person and electronic equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application