KR101686143B1 - Image processing apparatus and image processing method thereof - Google Patents
Image processing apparatus and image processing method thereof Download PDFInfo
- Publication number
- KR101686143B1 KR101686143B1 KR1020140193386A KR20140193386A KR101686143B1 KR 101686143 B1 KR101686143 B1 KR 101686143B1 KR 1020140193386 A KR1020140193386 A KR 1020140193386A KR 20140193386 A KR20140193386 A KR 20140193386A KR 101686143 B1 KR101686143 B1 KR 101686143B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- person
- image processing
- specific object
- target image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Abstract
본 발명의 일 실시예에 따른 영상 처리 장치는 촬영된 영상을 수신하는 영상 수신부와; 하나의 프레임에 대응하는 전체 영상에서 상기 전체 영상에 포함되어 있는 특정 객체를 판단하고, 상기 특정 객체에 대응하여 상기 전체 영상 중 일부를 커팅하여 타겟 영상을 생성하는 영상 처리부와; 상기 타겟 영상을 외부로 전송하기 위한 영상 송신부를 포함할 수 있다. 이에 의해 쉽고 빠르게 원하는 영상을 편집할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공된다.According to an aspect of the present invention, there is provided an image processing apparatus including an image receiving unit for receiving a photographed image; An image processing unit for determining a specific object included in the entire image in a whole image corresponding to one frame and generating a target image by cutting a part of the entire image corresponding to the specific object; And an image transmitter for transmitting the target image to the outside. Thereby, an image processing apparatus and an image processing method capable of easily and quickly editing a desired image are provided.
Description
본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것으로서, 보다 상세하게는 카메라를 통하여 촬영된 영상에 대하여 특정 영역의 영상을 커팅 및 편집하는 영상 처리 장치 및 그 영상 처리 방법에 관한 것이다.BACKGROUND OF THE
영상에 포함되어 있는 객체를 인식하고 추적하는 기술은 영상 합성, 모션 캡쳐, 보안 감시 시스템, 휴먼 컴퓨터 인터랙션 등의 많은 분야에 널리 적용되고 있다. The technology of recognizing and tracking objects included in images is widely applied in many fields such as image synthesis, motion capture, security surveillance system, and human computer interaction.
최근 동영상 강의와 같은 교육 콘텐츠의 확산 및 보급으로 인하여 동영상을 촬영 및 이를 편집에 대한 다양한 요구가 증가되고 있다. 이런 경우 카메라와 같은 촬영기기, 촬영된 영상을 편집하여 배급하는 시스템 등에 대한 개발이 필요하고, 적은 비용으로 고 사향 동영상 강의를 제공할 수 있는 서비스 역시 많은 관심의 대상이 되고 있다. 촬영 및 편집된 동영상을 관리하고 이를 이용하여 이윤을 창출할 수 있는 방법 역시 중요한 논점이 된다. Due to the diffusion and dissemination of educational contents such as recent video lectures, various demands for shooting and editing video are increasing. In this case, it is necessary to develop a camera, a camera, and a system for editing and distributing photographed images, and a service capable of providing high-definition video lectures at low cost is also of interest. The way in which you can manage your photographed and edited video and use it to make a profit is also an important issue.
동영상을 제작하는 유저는 저비용으로 원하는 고화질의 영상을 얻어 관리하고, 동영상을 사용하는 유저는 필요한 콘텐츠를 쉽고 간편하게 얻는 것을 원하게 된다. A user who produces a moving image wants to obtain and manage a desired high-quality image at low cost, and a user using the moving image can easily and easily obtain necessary content.
이에 영상의 촬영부터 이를 편집하고 보급하는 개별적인 장치 및 이를 위한 전체적인 시스템 구축이 이슈가 되고 있다.Therefore, it is becoming an issue to construct an individual device for editing and distributing the image, and a whole system for the editing.
본 발명의 일 실시예는 쉽고 빠르게 원하는 영상을 편집할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공한다. An embodiment of the present invention provides an image processing apparatus and an image processing method capable of easily and quickly editing a desired image.
본 발명의 일 실시예는 영상에 포함되어 있는 인물 중심으로 전체 영상의 소정 픽셀을 커팅할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공한다.One embodiment of the present invention provides an image processing apparatus and an image processing method capable of cutting predetermined pixels of a whole image centered on a person included in the image.
본 발명의 또 다른 실시예는 영상에 포함되어 있는 인물의 위치에 따라 전체 영상의 소정 픽셀을 커팅할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공한다.Another embodiment of the present invention provides an image processing apparatus and an image processing method capable of cutting a predetermined pixel of an entire image according to a position of a person included in the image.
또한 본 발명의 다른 실시예는 영상에 포함되어 있는 인물의 시선에 따라 전체 영상의 소정 픽셀을 커팅할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공한다.According to another embodiment of the present invention, there is provided an image processing apparatus and an image processing method capable of cutting predetermined pixels of a whole image according to a line of sight of a person included in the image.
한편, 본 발명의 다른 실시예는 영상에 포함되어 있는 인물의 이동에 따라 전체 영상의 소정 픽셀을 커팅할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공한다.According to another embodiment of the present invention, there is provided an image processing apparatus and an image processing method capable of cutting a predetermined pixel of an entire image according to movement of a person included in the image.
본 발명의 일 실시예에 따른 영상 처리 장치는 촬영된 영상을 수신하는 영상 수신부와; 하나의 프레임에 대응하는 전체 영상에서 상기 전체 영상에 포함되어 있는 특정 객체를 판단하고, 상기 특정 객체에 대응하여 상기 전체 영상 중 일부를 커팅하여 타겟 영상을 생성하는 영상 처리부와; 상기 타겟 영상을 외부로 전송하기 위한 영상 송신부를 포함할 수 있다.According to an aspect of the present invention, there is provided an image processing apparatus including an image receiving unit for receiving a photographed image; An image processing unit for determining a specific object included in the entire image in a whole image corresponding to one frame and generating a target image by cutting a part of the entire image corresponding to the specific object; And an image transmitter for transmitting the target image to the outside.
상기 특정 객체가 상기 전체 영상의 상단에 위치하는 칠판인 경우, 상기 영상 처리부는 상기 전체 영상에서 상기 칠판에 대응되는 기설정된 개수의 열 픽셀을 커팅하여 타겟 영상을 생성할 수 있다. If the specific object is a blackboard located at the top of the entire image, the image processor may cut a predetermined number of column pixels corresponding to the blackboard in the entire image to generate a target image.
제1 특정 객체가 상기 전체 영상의 상단에 위치하는 칠판이고, 제2 특정 객체가 인물인 경우, 상기 영상 처리부는 상기 전체 영상에서 상기 칠판에 대응되는 기설정된 개수의 열 픽셀을 커팅하고, 상기 인물을 중심으로 기설정된 개수의 행 픽셀을 커팅하여 타겟 영상을 생성할 수 있다. If the first specific object is a blackboard positioned at the top of the entire image and the second specific object is a character, the image processing unit cuts a predetermined number of column pixels corresponding to the blackboard in the entire image, A predetermined number of row pixels may be cut around the center of the target pixel to generate a target image.
제1 특정 객체가 상기 전체 영상의 상단에 위치하는 칠판이고, 제2 특정 객체가 인물인 경우, 상기 영상 처리부는 상기 전체 영상을 적어도 두 개의 세로 영역으로 분할하고, 상기 세로 영역에 대응하는 커팅 영역을 설정하고, 상기 인물이 상기 세로 영역 중 어느 하나에 포함되면, 상기 인물이 포함된 세로 영역에 대응하는 커팅 영역을 커팅하여 타겟 영상을 생성할 수 있다. If the first specific object is a blackboard located at the top of the entire image and the second specific object is a character, the image processing unit divides the entire image into at least two vertical regions, And if the person is included in one of the longitudinal regions, a cutting region corresponding to the longitudinal region including the person may be cut to generate a target image.
상기 특정 객체가 소정의 인물인 경우, 상기 영상 처리부는 상기 인물을 중심으로 상하좌우 기설정된 크기의 커팅 영역을 설정하고, 상기 커팅 영역만큼 상기 전체 영상을 커팅하여 상기 타겟 영상을 생성할 수 있다.If the specific object is a predetermined person, the image processing unit sets a cutting area of a predetermined size up and down and left and centered on the person, and cuts the entire image by the cutting area to generate the target image.
상기 인물의 시선이 오른쪽을 향하는 경우, 상기 영상 처리부는 상기 타겟 영상에서 상기 인물의 오른쪽 배경이 상기 인물의 왼쪽 배경보다 더 많이 포함되도록 상기 전체 영상을 커팅할 수 있다. If the gaze of the person is directed to the right, the image processing unit may cut the entire image so that the background of the right side of the person is more than the background of the left side of the person.
상기 인물의 시선이 왼쪽을 향하는 경우, 상기 영상 처리부는 상기 타겟 영상에서 상기 인물의 왼쪽 배경이 상기 인물의 오른쪽 배경보다 더 많이 포함되도록 상기 전체 영상을 커팅할 수 있다.When the gaze of the person is directed to the left, the image processing unit may cut the entire image so that the background of the left side of the person is more than the background of the right side of the person.
상기 영상 처리부는 상기 인물이 이동하고, 상기 인물의 이동 거리가 기설정된 범위를 벗어나는 경우, 상기 커팅 영역을 변경할 수 있다. The image processing unit may change the cutting area when the person moves and the moving distance of the person is out of a preset range.
상기 영상 수신부는 상기 촬영된 영상을 촬영과 동시에 실시간으로 수신하고, 상기 영상 처리부는 수신된 영상을 실시간으로 처리할 수 있다. The image receiving unit receives the photographed image at the same time as the photographed image, and the image processing unit can process the received image in real time.
상기 영상 처리부에서 수행되는 영상 커팅 조건에 대한 사용자 입력을 수신하는 사용자 입력부를 더 포함할 수 있다.And a user input unit for receiving a user input for an image cutting condition performed in the image processing unit.
상기 사용자 입력부는 상기 특정 객체를 선택하는 신호를 수신할 수 있다. 상기 사용자 입력부는 상기 특정 객체에 대응하여 커팅될 커팅 영역을 선택하는 신호를 수신 할 수 있다. The user input unit may receive a signal for selecting the specific object. The user input unit may receive a signal for selecting a cutting area to be cut corresponding to the specific object.
상기 영상 수신부는 촬영된 둘 이상의 영상을 수신하고, 상기 영상 처리부는 상기 둘 이상의 영상을 합성하고, 상기 합성된 영상 중 일부를 커팅하여 타겟 영상을 생성할 수 있다.The image receiving unit may receive two or more captured images, and the image processing unit may synthesize the two or more images, and may cut a part of the combined images to generate a target image.
본 발명의 다른 실시 형태에 따른 영상 처리 방법은 촬영된 영상을 수신하는 단계와; 하나의 프레임에 대응하는 전체 영상에서 상기 전체 영상에 포함되어 있는 특정 객체를 판단하고, 상기 특정 객체에 대응하여 상기 전체 영상 중 일부를 커팅하여 타겟 영상을 생성하는 단계와; 상기 타겟 영상을 외부로 전송하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided an image processing method comprising: receiving a photographed image; Determining a specific object included in the entire image in a whole image corresponding to one frame, and cutting a part of the entire image corresponding to the specific object to generate a target image; And transmitting the target image to the outside.
이상 설명한 바와 같이, 본 발명의 일 실시예에 따르면 쉽고 빠르게 원하는 영상을 편집할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공된다. As described above, according to an embodiment of the present invention, an image processing apparatus and an image processing method capable of easily and quickly editing a desired image are provided.
본 발명의 일 실시예에 따르면 영상에 포함되어 있는 인물 중심으로 전체 영상의 소정 픽셀을 커팅할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공된다.According to an embodiment of the present invention, there is provided an image processing apparatus and an image processing method capable of cutting predetermined pixels of a whole image centered on a person included in an image.
본 발명의 또 다른 실시예에 따르면 영상에 포함되어 있는 인물의 위치에 따라 전체 영상의 소정 픽셀을 커팅할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공된다.According to another embodiment of the present invention, there is provided an image processing apparatus and an image processing method capable of cutting a predetermined pixel of a whole image according to a position of a person included in the image.
또 본 발명의 다른 실시예에 따르면 영상에 포함되어 있는 인물의 시선에 따라 전체 영상의 소정 픽셀을 커팅할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공된다.According to another embodiment of the present invention, there is provided an image processing apparatus and an image processing method capable of cutting a predetermined pixel of an entire image according to a line of sight of a person included in the image.
또 본 발명의 다른 실시예에 따르면 영상에 포함되어 있는 인물의 이동에 따라 전체 영상의 소정 픽셀을 커팅할 수 있는 영상 처리 장치 및 영상 처리 방법이 제공된다.According to another embodiment of the present invention, there is provided an image processing apparatus and an image processing method capable of cutting a predetermined pixel of an entire image according to movement of a person included in the image.
도 1은 본 발명의 일 실시예에 따른 영상 처리를 위한 개략도이고,
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 제어 블럭도이고,
도 3은 본 발명의 영상 처리에 따른 전체 영상과 타겟 영상을 도시한 도면이고,
도 4는 본 발명의 일 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이고,
도 5는 본 발명의 다른 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이고,
도 6은 본 발명의 또 다른 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이고,
도 7은 본 발명의 또 다른 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이고,
도 8a 및 도 8b 는 본 발명의 또 다른 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이고,
도 9는 본 발명의 또 다른 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이고,
도 10은 본 발명의 영상 처리 방법을 설명하기 위한 제어 흐름도이고,
도 11은 본 발명의 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 도면이고,
도 12는 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 도면이다. 1 is a schematic diagram for image processing according to an embodiment of the present invention,
2 is a control block diagram of an image processing apparatus according to an embodiment of the present invention,
3 is a view showing a whole image and a target image according to the image processing of the present invention,
4 is a view for explaining setting of a cutting area according to an embodiment of the present invention,
5 is a view for explaining setting of a cutting area according to another embodiment of the present invention,
6 is a view for explaining setting of a cutting area according to another embodiment of the present invention,
7 is a view for explaining setting of a cutting area according to another embodiment of the present invention,
8A and 8B are views for explaining setting of a cutting area according to another embodiment of the present invention,
9 is a view for explaining setting of a cutting area according to another embodiment of the present invention,
10 is a control flowchart for explaining the image processing method of the present invention,
11 is a view for explaining an image processing method according to another embodiment of the present invention,
12 is a view for explaining an image processing method according to another embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.
도 1은 본 발명의 일 실시예에 따른 영상 처리를 위한 개략도이다.1 is a schematic diagram for image processing according to an embodiment of the present invention.
도시된 바와 같이, 본 발명에 따른 영상 처리는 강의실에서 촬영된 동영상 즉, 강의 내용을 콘텐츠를 대상으로 할 수 있다. 이러한 동영상에는 강의실 또는 강당과 같은 강의 또는 수업이 발생할 수 있는 공간을 배경으로 강의를 돕고자 하는 칠판 또는 보드판과 같이 글을 쓸 수 있는 물건이 고정된 객체가 포함될 수 있고, 강의실의 칠판 앞에서 움직이는 강사를 움직이는 객체가 포함될 수 있다. As shown in the figure, the image processing according to the present invention can target a moving picture photographed in a classroom, that is, a lecture content. These videos may include objects with fixed writings, such as a lecture room or auditorium, or a blackboard or board that is intended to help lecture around a space where a lesson can occur, and a lecturer who moves in front of the blackboard in the lecture room May be included.
카메라, 캠코더 같은 촬영 장치(A)는 강사와 칠판의 노트를 촬영하고, 촬영된 콘텐츠 즉, 동영상은 영상 처리 장치(B)로 전송된다. 촬영 장치(A)는 강의실과 같은 촬영 공간 뒤쪽에 이동 없이 고정되어 있으며, 칠판 전체와 움직임이 있는 강의자가 하나의 화면 내에 촬영할 수 있도록 그 위치가 조정될 수 있다. The photographing apparatus A such as a camera or a camcorder photographs the notes of the instructor and the blackboard, and the photographed content, that is, the moving image, is transmitted to the image processing apparatus B. The photographing apparatus A is fixed without moving in the rear of the photographing space such as the classroom, and its position can be adjusted so that the entire blackboard and the lecturer with the motion can take a picture in one screen.
본 발명에 따른 영상 처리에 따를 경우, 촬영 장치(A)는 이동하는 객체(이하, 인물)에 따라 좌우로 움직이거나 상하로 각도가 조절될 필요는 없으며, 줌인 또는 줌 아웃의 기능을 포함하지 않아도 무관하다. According to the image processing according to the present invention, the photographing apparatus A does not need to be moved left or right depending on a moving object (hereinafter referred to as a person), or the angle needs to be adjusted up or down, and does not need to include a function of zooming in or zooming out It is irrelevant.
다만, 보다 선명하고 화질이 우수한 영상을 얻기 위하여 촬영 장치(A)로부터 출력되는 영상의 해상도는 기설정된 해상도 이상인 것이 바람직하다. 예를 들어 촬영된 영상은 HD급(high definition level) 이상인 것이 바람직하다. However, it is preferable that the resolution of the image output from the photographing apparatus A is higher than a preset resolution in order to obtain a clearer image with excellent image quality. For example, the photographed image is preferably at a high definition level or higher.
촬영 장치(A)에서 촬영된 영상은 실시간 또는 저장되었다가 한번에 또는 일정한 시간 지연을 두고 영상 처리 장치(B)로 전송될 수 있다. The image photographed in the photographing apparatus A can be transmitted to the image processing apparatus B in real time or stored at a time or with a predetermined time delay.
영상 처리 장치(B)는 촬영 장치(A)로부터 수신한 영상을 편집하여 타겟 영상을 생성한다. 촬영 장치(A)로부터 수신한 영상은 연속으로 입력되는 복수의 프레임이며, 이하에서는 설명의 편의상 각 프레임 영상을 전체 영상이라고 정의하고, 하나의 프레임 영상, 즉 전체 영상에서 커팅된 영상을 타겟 영상으로 정의한다. The image processing apparatus B edits the image received from the photographing apparatus A and generates a target image. For convenience of description, each frame image is defined as a whole image, and one frame image, that is, an image cut from the entire image is referred to as a target image define.
영상 처리 장치(B)는 입력 영상에 포함되어 있는 객체를 파악하고, 객체의 움직임을 파악할 수 있는 이미지 프로세서, 또는 이미지 프로세서를 포함하고 있는 칩셋, 모듈 또는 전자 디바이스, 이들의 구성을 포함하는 서버 등으로 구현될 수 있다.The image processing apparatus B includes an image processor capable of grasping an object included in an input image and capable of grasping the motion of the object, or a chipset, a module or an electronic device including an image processor, a server Lt; / RTI >
영상 처리 장치(B)에서 생성된 타겟 영상은 이를 필요로 하는 유저, 예를 들어 강의를 한 강사 또는 교육생에게 제공될 수 있다. The target image generated in the image processing apparatus B may be provided to a user who requires it, for example, a lecturer or a student who has given a lecture.
본 발명의 다른 실시예에 따르면 영상을 촬영하는 촬영 장치(A)와, 영상을 처리하는 영상 처리 장치(B)는 서로 하나의 구성으로 머지될 수 있다. 즉, 영상 처리 장치(B)는 영상을 촬영하고, 촬영된 영상을 처리하는 컴퓨터 시스템, 카메라 시스템(closed-circuit television), 텔레비전 등으로 구현될 수 있으며, 영상을 수신하여 처리하는 것이라면 그 종류 및 특정 장치에 한정되지 않는다. According to another embodiment of the present invention, the photographing apparatus A for photographing an image and the image processing apparatus B for processing an image may be merged into one another. That is, the image processing apparatus B can be implemented by a computer system that captures an image and processes the captured image, a camera system (closed-circuit television), a television, and the like. But is not limited to a specific apparatus.
이하, 영상 처리 장치(B) 및 영상 처리 장치(B)에서 수행되는 영상의 커팅 편집에 대하여 구체적으로 설명한다. Hereinafter, cutting editing of an image performed in the image processing apparatus B and the image processing apparatus B will be described in detail.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 제어 블럭도이며, 도시된 바와 같이, 본 실시예에 따른 영상 처리 장치(1)는 영상 수신부(10), 영상 처리부(20), 영상 송신부(30)를 포함할 수 있다. 2 is a control block diagram of an image processing apparatus according to an embodiment of the present invention. As shown in the figure, the
영상 수신부(10)는 촬영된 영상을 수신한다. 영상 수신부(10)는 웹 상의 통신이 가능하도록 구현된 네트워크 통신부일 수도 있고, 촬영된 영상을 저장하고 있는 저장매체가 연결될 수 있는 커넥터와 같은 인터페이스를 포함할 수도 있다. The
상술한 바와 같이, 촬영된 영상은 촬영과 동시에 실시간으로 수신될 수 있고, 영상 처리부(20)는 수신된 영상을 실시간으로 처리할 수 있다. 이 경우, 영상 수신부(10)는 영상의 처리 과정 및 속도와 관련하여 촬영 장치(A)와 데이터를 주고 받는 통신을 수행할 수도 있다. As described above, the photographed image can be received in real time at the same time as the photographed image, and the
영상 송신부(30) 역시 네트워크 통신부 또는 다양한 커넥트 인터페이스로 구현될 수 있다. 펀집된 타겟 영상은 특정 웹 사이트로 업로드 될 수 있다. 이러한 웹 사이트는 영상 처리 장치(1)에 의하여 접근이 허용되는 웹 상의 공간을 의미하는 것으로, 예를 들어 다수의 교육생이 강의를 들을 수 있도록 업로드 될 수 있다. The
영상 처리부(20)는 하나의 프레임에 대응하는 전체 영상에서 전체 영상에 포함되어 있는 특정 객체를 판단하고, 특정 객체에 대응하여 전체 영상 중 일부를 커팅하여 타겟 영상을 생성한다. The
도 3은 본 발명의 영상 처리에 따른 전체 영상과 타겟 영상을 도시한 도면이다. 3 is a diagram showing a whole image and a target image according to the image processing of the present invention.
도시된 바와 같이 전체 영상은 영상 수신부(10)로 수신된 하나의 프레임 전체 영상을 의미한다. 이러한 전체 영상에는 강의실과 같은 배경과, 칠판과 같은 고정 객체, 강사와 같은 움직이는 객체가 존재할 수 있다. 고정 객체는 움직이는 객체와 비교하였을 때 배경으로 파악될 수 있다. As shown in the figure, the entire image is a whole frame image received by the
영상 처리부(20)는 전체 영상 중 일부를 타겟 영상으로 생성하기 위하여 전체 영상을 커팅한다. 이하, 파악된 객체에 기초하여 커팅될 영역을 커팅 영역으로 정의한다. 영상 처리부(20)는 커팅 영역을 설정한 후, 이러한 커팅 영역을 커팅함으로써 타겟 영상을 생성한다. 전체 영상이 칠판 앞에서 강의하는 인물을 포함할 경우 타겟 영상은 인물을 중심으로 칠판에 적혀있는 노트가 될 수 있다. The
영상 처리부(20)는 타겟 영상의 해상도가 전체 영상의 해상도보다 많이 낮아 동영상의 화질이 저하되는 경우, 타겟 영상의 해상도를 증가시킬 수 있는 다양한 영상 보간을 수행할 수 있다. 이 경우 픽셀 인터폴레이션 처리 과정을 통하여 픽셀 생성이 가능하여 객체의 경계 영역에 대한 필터링이 수행될 수도 있다. The
이하에서, 도 4 내지 영상 처리부(20)가 커팅 영역을 설정하는 다양한 방법에 대하여 설명한다. Hereinafter, various methods by which the
도 4는 본 발명의 일 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이다. 4 is a view for explaining setting of a cutting area according to an embodiment of the present invention.
본 실시예에 따른 영상 처리부(20)는 특정 객체가 전체 영상의 상단에 위치하는 칠판인 경우, 전체 영상에서 칠판에 대응되는 기설정된 개수의 열 픽셀을 커팅하여 타겟 영상을 생성한다. The
도시된 바와 같이, 영상 처리부(20)는 칠판 부분만 타겟 영상으로 설정하고 칠판 부분만 커팅할 수 있다. 촬영 장치(A)가 이동하지 않으므로 영상 처리 장치(1)로 수신되는 전체 영상에서 칠판은 고정된 객체로 취급될 수 있다. 영상 처리부(20)는 칠판이 차지하는 영역에 대한 정보, 즉 특정 열 픽셀에 대한 정보를 파악하고, 수신되는 모든 전체 영상에서 커팅 영역에 대응하는 영상만을 커팅하여 타겟 영상으로 생성할 수 있다. As shown in the figure, the
이러한 영상 처리는 칠판에 적혀 있는 노트 전체가 중요한 경우에 적용될 수 있다. This image processing can be applied when the entire note on the chalkboard is important.
도 5는 본 발명의 다른 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이다.5 is a view for explaining setting of a cutting area according to another embodiment of the present invention.
제1 특정 객체가 전체 영상의 상단에 위치하는 칠판이고, 제2 특정 객체가 인물인 경우, 영상 처리부(20)는 전체 영상에서 칠판에 대응되는 기설정된 개수의 열 픽셀을 커팅하고, 인물을 중심으로 기설정된 개수의 행 픽셀을 커팅하여 타겟 영상을 생성할 수 있다.If the first specific object is a blackboard positioned at the top of the entire image and the second specific object is a character, the
도 4와는 달리, 본 실시예에 따른 영상 처리부(20)는 인물을 중심으로 커팅 영역을 설정할 수 있다. 이 경우, 영상 처리부(20)는 칠판에 대응하는 영역을 파악하여 기설정된 개수의 열 픽셀을 커팅하고, 인물과 같은 또 다른 특정 객체를 파악하여 기설정된 개수의 행 픽셀을 커팅할 수 있다. Unlike FIG. 4, the
기설정된 개수의 열 픽셀 및 행 픽셀이 설정되면, 영상 처리부(20)는 자동적으로 전체 영상을 편집할 수 있다. When a predetermined number of column pixels and row pixels are set, the
도 6은 본 발명의 또 다른 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이다.6 is a view for explaining setting of a cutting area according to another embodiment of the present invention.
영상 처리부(20)는 전체 영상을 적어도 두 개의 세로 영역으로 분할하고, 세로 영역에 대응하는 커팅 영역을 설정할 수 있다. 영상 처리부(20)는 인물이 세로 영역 중 어느 하나에 포함되면, 인물이 포함된 세로 영역에 대응하는 커팅 영역을 커팅하여 타겟 영상을 생성할 수 있다. The
도시된 바와 같이, 본 실시예에 따른 영상 처리부(20)는 전체 영상을 세로 방향으로 모두 5개의 구간, 즉 5개의 세로 영역(①, ②, ③, ④, ⑤)으로 분할하고, 각 세로 영역에 대응하는 커팅 영역을 미리 설정할 수 있다. 예를 들어, 2번 세로 영역(②)에 대응하는 커팅 영역은 2 번 및 3번 세로 영역(②, ③)으로 설정될 수 있고, 4번 세로 영역(④)에 대응하는 커팅 영역은 4번 및 5번 세로 영역(④, ⑤)으로 설정될 수 있다. 가장 마지막에 위치하는 5번 세로 영역 (⑤)의 경우, 커팅 영역은 4번 및 5번 세로 영역(④, ⑤)으로 설정될 수 있다.As shown in the figure, the
인물이 2번 세로 영역(②)에 포함되면, 영상 처리부(20)는 2 번 및 3번 세로 영역(②, ③)을 커팅하여 타겟 영상을 생성한다. If the person is included in the second vertical region (2), the
본 실시예에 따를 경우에도, 제1 특정 객체에 해당하는 칠판 범위로 가로 방향 영상을 제한하기 위하여 칠판에 대응하는 기설정된 열 픽셀을 커팅할 수 있다. According to this embodiment, predetermined column pixels corresponding to the blackboard can be cut to limit the horizontal direction image to the range of the blackboard corresponding to the first specific object.
도 6에 따른 영상 처리의 경우, 도 5에 따른 영상 처리 보다 신속하게 커팅 영역을 파악할 수 있다. 즉, 인물이 어떠한 세로 영역에 포함되는지 파악하면 전체 영상에 대하여 행 픽셀에 대한 설정 없이 커팅이 가능하다. In the case of the image processing according to FIG. 6, the cutting area can be grasped more quickly than the image processing according to FIG. That is, if a person is recognized as being included in a certain vertical area, cutting can be performed on the entire image without setting the row pixel.
도 7은 본 발명의 또 다른 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이다. 7 is a view for explaining setting of a cutting area according to another embodiment of the present invention.
특정 객체가 소정의 인물인 경우, 영상 처리부(20)는 인물을 중심으로 상하좌우 기설정된 크기의 커팅 영역을 설정하고, 커팅 영역만큼 전체 영상을 커팅하여 타겟 영상을 생성한다. 도시된 바와 같이, 본 실시예에 따른 영상 처리부(20)는 고정된 객체인 칠판의 파악 없이, 인물을 중심으로 소정 영역을 커팅 영역으로 설정할 수 있다. When the specific object is a predetermined person, the
인물, 구체적으로 인물의 얼굴 또는 뒷통수를 중심으로 상측으로 기설정된 행 개수(a)만큼, 하측으로 기설정된 행 개수(b)만큼, 좌측으로 기설정된 열 개수(c)만큼, 우측으로 기설정된 열 개수(d)만큼의 크기를 커팅 영역으로 설정할 수 있다. (C) set to the left by the row number (b) set to the lower side by the number of rows (a) set to the upper side with respect to the person, specifically, the face or back row of the person The size of the number of columns d can be set as the cutting area.
커팅 영역으로 설정될 행 또는 열의 개수는 인물을 중심으로 현재 진행 중인 노트를 포함할 수 있는 크기로 설정될 수 있으며, 상하좌수의 크기는 동일하거나 또는 개별적으로 상이하게 설정될 수 있다. The number of rows or columns to be set as the cutting area can be set to a size that can include a note currently in progress around the person, and the sizes of the upper and lower left and right can be set to be the same or individually different.
인물의 중심에서 행 또는 열이 시작되는 기준은 인물, 객체의 경계선이 될 수도 있고, 인물의 중심점이 기준이 될 수도 있다. The criterion at which a row or column starts at the center of a person may be a boundary line of a person, an object, or a center point of a person.
또는 영상 처리부(20)는 인물이 전체 영상의 중심에서 오른쪽에 위치하는 경우, 타겟 영상에서 인물의 왼쪽 배경이 상기 인물의 오른쪽 배경보다 더 많이 포함되도록 전체 영상을 커팅하거나, 인물이 전체 영상의 중심에서 왼쪽에 위치하는 경우, 타겟 영상에서 인물의 오른쪽 배경이 인물의 왼쪽 배경보다 더 많이 포함되도록 전체 영상을 커팅할 수도 있다. Or the
이는 강사가 강의 중 수강자를 위하여 몸의 방향을 한 쪽으로 기울이는 성향을 반영한 것으로, 커팅 영역은 다양하게 설정될 수 있다. This reflects the tendency of the instructor to tilt the direction of the body toward the lecturer in the lecture, and the cutting area can be set variously.
도 8a 및 도 8b 는 본 발명의 또 다른 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이다. 본 실시예에 따를 경우, 영상 처리부(20)는 인물의 시선에 따라 커팅 영역을 설정할 수 있다. 8A and 8B are views for explaining setting of a cutting area according to another embodiment of the present invention. According to the present embodiment, the
예를 들어, 영상 처리부(20)는 도 8a와 같이 인물의 시선이 왼쪽을 향하는 경우, 타겟 영상에서 인물의 왼쪽 배경이 인물의 오른쪽 배경보다 더 많이 포함되도록 전체 영상을 커팅할 수 있다.For example, the
그리고, 도 8b와 같이 인물의 시선이 오른쪽을 향하는 경우, 영상 처리부(20)는 타겟 영상에서 인물의 오른쪽 배경이 인물의 왼쪽 배경보다 더 많이 포함되도록 상기 전체 영상을 커팅할 수 있다.8B, the
이는 강사의 시선 방향에 대응하여 강의에 직접적으로 연관되는 노트가 놓일 수 있는 가능성을 고려한 것이다. 영상 처리부(20)가 객체를 인식하고, 추가적으로 시각 방향을 인식함으로써 보다 직접적이고 실감나는 강의 편집이 가능해 진다. This takes into consideration the possibility that a note directly related to the lecture can be placed in correspondence with the direction of the instructor's gaze. The
도 9는 본 발명의 또 다른 실시예에 따른 커팅 영역을 설정을 설명하기 위한 도면이다. 9 is a view for explaining setting of a cutting area according to another embodiment of the present invention.
본 실시예에 따를 경우, 영상 처리부(20)는 전체 영상이 포함되어 있는 인물이 이동하고, 인물의 이동 거리가 기설정된 범위를 벗어나는 경우에만 커팅 영역을 변경할 수 있다. According to the present embodiment, the
영상 처리부(20)는 도 7 및 도 8a, 도 8b와 같이 커팅 영역을 설정한 후, 연속적인 프레임 영상에 대하여 설정된 위치의 영상을 커팅한다. 그러다, 인물이 이동하는 경우 인물의 이동에 따라 매 프레임 마다 커팅 영역을 설정할 수도 있지만, 인물의 이동 거리가 소정 범위를 벗어나는 경우에만 커팅 영역을 변경할 수도 있다, The
예를 들어, 인물이 한 두 걸음 정도 이동하여 참고해야 하는 노트가 크게 변경되지 않는 한, 영상 처리의 단순화 및 신속화를 위하여 매 순간 커팅 영역을 설정하는 것이 아니라 기존의 커팅 영역을 유지하다가 인물의 이동이 큰 경우에만 그에 대응하여 커팅 영역을 변경한다. For example, in order to simplify and speed up the image processing, it is not necessary to set the cutting area at every moment, but to keep the existing cutting area, The cutting area is changed correspondingly.
이동 거리에 대한 기설정된 범위는 강의실 또는 칠판의 크기, 영상의 해상도 등을 고려하여 설정될 수 있다. The predetermined range of the moving distance can be set in consideration of the size of the lecture room or board, the resolution of the image, and the like.
이와 같이, 본 발명에 따른 영상 처리부(20)는 다양한 기준 및 조건에 따라 커팅 영역을 설정할 수 있고, 설정된 커팅 영역을 커팅함으로써 타겟 영상을 생성할 수 있다. 전체 영상으로부터 새롭게 생성된 타겟 영상은 버퍼에 저장될 수도 있고, 하드 디스크 또는 플래쉬 메모리와 같은 저장부에 저장될 수도 있다. 저장부는 영상 처리부(20)에 머지될 수도 있고 독립된 구성으로 영상 처리 장치에 포함될 수도 있다.As described above, the
본 발명에 따른 영상 처리 장치(1)는 도시하지 않은 사용자 입력부를 더 포함할 수도 있다. 사용자 입력부는 영상 처리부(20)에서 수행되는 영상 커팅 조건에 대한 사용자 입력을 수신한다. 이러한 사용자 입력부는 사용자가 직접적으로 조작할 수 있는 리모컨, 마우스, 키보드, 터치 패널과 같은 사용자 인터페이스 및 이러한 사용자 인터페이스와 유무선으로 연결되어 사용자 선택 신호를 수신할 수 있는 다양한 커넥터, IR 통신부 등으로 구현될 수 있다. The
사용자 입력부는 칠판 또는 인물과 같은 특정 객체를 선택하는 신호를 수신하거나 특정 객체에 대응하여 커팅될 커팅 영역을 선택하는 신호를 수신할 수 있다. The user input may receive a signal to select a particular object, such as a board or a person, or a signal to select a cutting area to be cut corresponding to a particular object.
예를 들어, 사용자는 도 4의 기설정된 열 픽셀 개수를 설정할 수도 있고, 도 7의 커팅 영역을 아예 지정할 수도 있다. 이 경우 사용자는 열 또는 행의 개수를 입력할 수도 있고 드래그 및 그랍하는 방식으로 커팅 영역을 설정할 수도 있다. For example, the user may set the predetermined number of column pixels in Fig. 4 or designate the cutting area in Fig. 7 at all. In this case, the user can input the number of columns or rows, or set the cutting area by dragging and gracing.
또는 사용자 입력부를 통하여 시선 방향이 선택되거나, 세로 영역에 대응하는 커팅 영역이 설정될 수도 있고, 인물 이동에 따른 임계값도 설정될 수 있다 Alternatively, a line of sight may be selected through the user input unit, a cutting area corresponding to the longitudinal area may be set, or a threshold value for the movement of the person may be set
본 발명의 추가적인 실시예에 따르면 영상 수신부(10)는 촬영된 둘 이상의 영상을 수신할 수 있고, 영상 처리부(20)는 둘 이상의 영상을 합성한 뒤, 합성된 영상 중 일부를 커팅하여 타겟 영상을 생성할 수도 있다.According to a further embodiment of the present invention, the
강의실이 소정의 기준을 넘어 큰 경우, 하나의 촬영 장치만으로 충분히 강의 영상을 촬영할 수 없는 경우, 복 수의 촬영 장치가 강의를 촬영할 수 있다. 이 때 영상 처리부(20)는 개별적인 영상을 합성한 후, 도 4 내지 도 9의 방식 중 어느 하나에 따라 커팅 영역을 설정하여 타겟 영상을 생성할 수 있다. 영상의 합성 시 중복되는 영역 및 칠판 이외의 공간은 삭제될 수 있다. When the lecture room is larger than a predetermined standard and the lecture image can not be taken sufficiently by only one photographing apparatus, multiple photographing apparatuses can take the lecture. At this time, the
도 10은 본 발명의 영상 처리 방법을 설명하기 위한 제어 흐름도이다. 이하 도 10을 참조하여 본 발명에 따른 영상 처리 방법을 정리하면 다음과 같다. 10 is a control flowchart for explaining the image processing method of the present invention. The image processing method according to the present invention will be summarized as follows with reference to FIG.
우선, 영상 처리 장치는 촬영된 영상을 수신한다(S1010).First, the image processing apparatus receives the photographed image (S1010).
촬영된 영상의 개수의 촬영 장치의 개수에 따라 단수개가 될 수도 있고, 복 수개가 될 수도 있다. 이러한 촬영 영상을 촬영과 동시에 실시간으로 전송될 수 있다. And may be a single number or a multiple number depending on the number of photographing apparatuses of the number of photographed images. Such a photographed image can be transmitted in real time simultaneously with photographing.
영상 처리부는 전체 영상에 포함되어 있는 특정 객체를 파악한다(S1020).The image processing unit recognizes a specific object included in the entire image (S1020).
객체 파악을 통하여 영상 처리부는 고정된 칠판 또는 움직이는 인물에 대한 객체를 파악할 수 있다. Through the object identification, the image processing part can grasp the object of fixed blackboard or moving figure.
영상 처리부(20)는 파악된 특정 객체에 대응하는 커팅 영역을 설정한다(S1030).The
커팅 영역은 다양한 방법으로 설정될 수 있으며, 이러한 커팅 영역은 특정 조건에 따라 자동적으로 설정될 수도 있고 사용자 입력을 통하여 설정될 수 있다. The cutting area can be set in various ways, and this cutting area can be automatically set according to a specific condition or can be set through user input.
특정 객체가 전체 영상의 상단에 위치하는 칠판인 경우, 커팅 영역은 전체 영상에서 칠판에 대응되는 기설정된 개수의 열 픽셀로 설정될 수도 있다. If the specific object is the blackboard located at the top of the entire image, the cutting area may be set to a predetermined number of column pixels corresponding to the blackboard in the entire image.
이에 추가적으로 제1 특정 객체가 전체 영상의 상단에 위치하는 칠판이고, 제2 특정 객체가 인물인 경우, 커팅 영역은 전체 영상에서 칠판에 대응되는 기설정된 개수의 열 픽셀과, 인물을 중심으로 기설정된 개수의 행 픽셀 범위로 설정될 수도 있다. In addition, if the first specific object is a blackboard located at the top of the entire image, and the second specific object is a character, the cutting area includes a predetermined number of column pixels corresponding to the blackboard in the entire image, May be set to a number of rows of pixels.
또는 전체 영상은 적어도 두 개의 세로 영역으로 분할되고, 세로 영역에 대응하는 커팅 영역이 개별적으로 설정될 수도 있다. Or the entire image may be divided into at least two longitudinal regions, and the cutting regions corresponding to the longitudinal regions may be individually set.
영상 처리부는 인물을 중심으로 커팅 영역을 설정할 수도 있다. 예를 들어, 커팅 영역은 인물을 중심으로 상하좌우 기설정된 크기로 설정될 수도 있고, 인물의 시선이 오른쪽을 향하는 경우 타겟 영상에서 인물의 오른쪽 배경이 인물의 왼쪽 배경보다 더 많이 포함되도록 설정될 수도 있다. 물론, 인물의 시선이 왼쪽을 향하는 경우, 커팅 영역은 타겟 영상에서 인물의 왼쪽 배경이 인물의 오른쪽 배경보다 더 많이 포함되도록 설정될 수 있다. The image processing unit may set a cutting area around the person. For example, the cutting area may be set up to a predetermined size around a person, or when the person's gaze is directed to the right, the right background of the person in the target image may be set to include more than the left background of the person have. Of course, when the line of sight of the person is directed to the left, the cutting area may be set so that the left background of the person in the target image is included more than the right background of the person.
또한, 이러한 커팅 영역은 인물의 이동에 따라 변경될 수도 있고, 인물의 이동 거리가 기설정된 범위를 벗어나는 경우에만 변경되도록 제한될 수도 있다. In addition, such a cutting area may be changed according to the movement of the person, and may be limited to be changed only when the moving distance of the person is out of a predetermined range.
그런 후, 영상 처리부는 커팅 영역을 커팅하여 타겟 영상을 생성한다(S1040).Then, the image processing unit cuts the cutting area to generate a target image (S1040).
영상 처리부는 설정된 커팅 영역에 따라 복수의 프레임에 대하여 동일한 커팅 영역을 적용하여 전체 영상을 커딩할 수 있다. The image processing unit can cut the entire image by applying the same cutting area to a plurality of frames according to the set cutting area.
생성된 타겟 영상은 웹 사이트 또는 외부 저장장치로 전송될 수 있다(S1050). 타겟 영상은 촬영 장치와의 통신을 통하여 촬영 장치로 백업 될 수도 있고, 촬영 영상의 수신과 동시에 실시간으로 처리되어 외부로 전송될 수도 있다.The generated target image may be transmitted to a web site or an external storage device (S1050). The target image may be backed up to the image capturing apparatus through communication with the image capturing apparatus, or may be processed in real time and transmitted to the outside at the same time as the image capturing is received.
도 11은 본 발명의 다른 실시예에 영상 처리 방법을 설명하기 위한 도면이다.11 is a view for explaining an image processing method according to another embodiment of the present invention.
본 실시예에 따를 경우, 칠판 앞의 강의자의 이동에 따라 촬영 장치가 이동하면서 영상을 촬영할 수 있다. According to this embodiment, the photographing apparatus can move while photographing an image in accordance with the movement of the lecture chair in front of the blackboard.
도시된 바와 같이, 움직이는 인물 객체가 A 위치에 있는 경우, 촬영 장치로부터 출력되는 영상은 a와 같고, 인물이 A에서 B로 이동한 경우 촬영 장치로부터 출력되는 영상은 b와 같다. As shown in the figure, when the moving figure object is located at position A, the image output from the photographing apparatus is equal to a, and when the person moves from A to B, the image output from the photographing apparatus is equal to b.
본 실시예에 따른 촬영 장치는 인물의 위치를 파악하여 촬영되는 화면의 좌우 이동, 상하로 각도 이동 및 줌인, 줌 아웃의 기능을 실행할 수 있으며, 인물의 이동에 따라 이를 추적하는 것이 가능하다. The photographing apparatus according to the present embodiment can perform the functions of horizontally moving, vertically moving, zooming in and zooming out of a screen to be photographed by grasping the position of a person, and tracking it according to the movement of a person.
또한, 인물의 모션을 인식하여 화면의 축소 또는 확대가 가능하고, 강의 내용에 대한 PPT 슬라이스 제어가 가능하다. In addition, it is possible to reduce or enlarge the screen by recognizing the motion of the person, and PPT slice control can be performed on the contents of the lecture.
촬영 장치는 강의 중 촬영된 화면을 모니터로 송출 가능하고 저장된 강의를 외부의 서버 등에 업로드 할 수도 있다. The photographing apparatus can transmit a photographed screen during a lecture to a monitor and upload a stored lecture to an external server or the like.
촬영 장치가 인물의 움직임을 추적할 수 있도록 인물에는 IR 센서가 부착될 수 있고, 촬영 장치는 IR 신호를 수신할 수 있는 통신부를 포함한다. An IR sensor may be attached to the person so that the photographing apparatus can track the movement of the person, and the photographing apparatus includes a communication unit capable of receiving the IR signal.
즉, 본 실시예에 따른 촬영 장치를 이용할 경우, 서로 다른 강의실이라 할지라도 촬영 장치의 이동을 통하여 영상의 촬영이 가능한 장점이 있으며 촬영 장치 이외의 다른 기기 없이, 즉 별도의 영상의 편집 없이 원하는 영상을 얻을 수 있다. That is, when the photographing apparatus according to the present embodiment is used, there is an advantage in that the photographing of the image can be performed through movement of the photographing apparatus even in different classrooms, Can be obtained.
도 12는 본 발명의 또 다른 실시예에 영상 처리 방법을 설명하기 위한 도면이다. 12 is a view for explaining an image processing method according to still another embodiment of the present invention.
도시된 바와 같이, 칠판의 하단에는 복수의 IR 센서가 부착되어 있고, IR 센서는 도시하지 않은 촬영 장치에 IR 신호를 전송할 수 있다. As shown in the figure, a plurality of IR sensors are attached to the bottom of the blackboard, and the IR sensor can transmit an IR signal to a photographing apparatus not shown.
강사가 칠판 앞에서 이동할 경우, IR 센서는 인물 객체의 이동을 감지할 수 있고, 이에 대한 감지 신호를 수신한 촬영 장치는 감지 신호에 대응하여 특정 화면을 촬영할 수 있다.When the instructor moves in front of the blackboard, the IR sensor can detect the movement of the person object, and the photographing apparatus that receives the detection signal can photograph the specific screen in response to the detection signal.
예를 들어 도 12의 칠판에는 4개의 IR 센서가 부착되어 있고, 각 센서 마다 촬영 영역이 설정될 수 있다. 첫 번째 IR 센서에 인물이 감지되면 촬영 장치는 제1영역(Ⅰ)을 촬영할 수 있고, 두 번째 IR 센서에 인물이 감지되면 촬영 장치는 제2 영역(Ⅱ)을 촬영할 수 있다. For example, four IR sensors are attached to the black board of Fig. 12, and a photographing area can be set for each sensor. When the first IR sensor detects a person, the photographing apparatus can photograph the first region I, and when the second IR sensor detects a person, the photographing apparatus can photograph the second region II.
즉, IR 센서에서 감지된 인물의 위치에 따라 촬영 장치는 좌우로 이동하면서 인물을 촬영할 수 있으며, 그 이동 정도, 즉 촬영 영역은 센서의 개수 및 칠판의 크기 등을 고려하여 설정될 수 있다. That is, depending on the position of the person detected by the IR sensor, the photographing apparatus can photograph the person while moving left and right. The degree of movement, that is, the photographing region can be set in consideration of the number of sensors and the size of blackboard.
본 실시예에 따를 경우, 촬영 장치의 좌우 이동과 같은 단순한 움직임에 따라 인물의 이동 시 변경될 수 있는 칠판의 노트를 적절하게 촬영할 수 있다. According to the present embodiment, it is possible to appropriately take notes of the blackboard that can be changed when a person moves, according to a simple movement such as a lateral movement of the photographing apparatus.
촬영 장치는 촬영된 영상의 외부로 전송하여 저장하거나 다른 서버 등에 업로드할 수 있다. The photographing apparatus can be transferred to the outside of the photographed image and stored or uploaded to another server or the like.
이와 같이, 본 발명에 따르면 인물의 움직임에 따라 촬영 영상을 다양하게 획득할 수 있다. 획득된 영상을 커팅 편집하는 영상 처리를 수행할 수도 있고, 촬영 장치의 기능을 이용하여 보다 쉽게 영상을 생성할 수도 있다. 이러한 강의 영상은 강의자 개인의 위하여 또는 다수의 교육생을 위하여 저장되거나 배포될 수 있다. As described above, according to the present invention, various photographed images can be acquired according to the motion of a person. The image processing for cutting and editing the acquired image may be performed or the image may be generated more easily by using the function of the photographing apparatus. These lecture videos can be stored or distributed for individual lecturers or for many students.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.Although several embodiments of the present invention have been shown and described, those skilled in the art will readily appreciate that many modifications may be made without departing from the spirit or scope of the invention . The scope of the invention will be determined by the appended claims and their equivalents.
1: 영상 처리 장치 10: 영상 수신부
20: 영상 처리부 30: 영상 송신부1: image processing apparatus 10: image receiving unit
20: image processor 30: image transmitter
Claims (24)
촬영된 영상을 수신하는 영상 수신부와;
하나의 프레임에 대응하는 전체 영상에서 상기 전체 영상에 포함되어 있는 특정 객체를 판단하고, 상기 특정 객체에 대응하여 상기 전체 영상 중 일부를 커팅하여 타겟 영상을 생성하는 영상 처리부와;
상기 타겟 영상을 외부로 전송하기 위한 영상 송신부를 포함하고,
제1 특정 객체가 상기 전체 영상의 상단에 위치하는 칠판이고, 제2 특정 객체가 인물인 경우,
상기 영상 처리부는 상기 전체 영상에서 상기 칠판에 대응되는 기설정된 개수의 열 픽셀을 커팅하고, 상기 인물을 중심으로 기설정된 개수의 행 픽셀을 커팅하여 타겟 영상을 생성하는 것을 특징으로 하는 영상 처리 장치.An image processing apparatus comprising:
An image receiving unit for receiving the photographed image;
An image processing unit for determining a specific object included in the entire image in a whole image corresponding to one frame and generating a target image by cutting a part of the entire image corresponding to the specific object;
And an image transmitter for transmitting the target image to the outside,
If the first specific object is the blackboard located at the top of the entire image and the second specific object is the character,
Wherein the image processing unit cuts a predetermined number of column pixels corresponding to the blackboard in the entire image and cuts a predetermined number of row pixels around the person to generate a target image.
상기 특정 객체가 상기 전체 영상의 상단에 위치하는 칠판인 경우, 상기 영상 처리부는 상기 전체 영상에서 상기 칠판에 대응되는 기설정된 개수의 열 픽셀을 커팅하여 타겟 영상을 생성하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein the image processing unit cuts a predetermined number of column pixels corresponding to the blackboard in the entire image to generate a target image if the specific object is a blackboard located at the top of the entire image, .
제1 특정 객체가 상기 전체 영상의 상단에 위치하는 칠판이고, 제2 특정 객체가 인물인 경우,
상기 영상 처리부는 상기 전체 영상을 적어도 두 개의 세로 영역으로 분할하고, 상기 세로 영역에 대응하는 커팅 영역을 설정하고,
상기 인물이 상기 세로 영역 중 어느 하나에 포함되면, 상기 인물이 포함된 세로 영역에 대응하는 커팅 영역을 커팅하여 타겟 영상을 생성하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
If the first specific object is the blackboard located at the top of the entire image and the second specific object is the character,
Wherein the image processing unit divides the entire image into at least two vertical regions, sets a cutting region corresponding to the vertical region,
Wherein the target image is generated by cutting a cutting area corresponding to a longitudinal region including the person if the person is included in any one of the longitudinal regions.
상기 특정 객체가 소정의 인물인 경우,
상기 영상 처리부는 상기 인물을 중심으로 상하좌우 기설정된 크기의 커팅 영역을 설정하고, 상기 커팅 영역만큼 상기 전체 영상을 커팅하여 상기 타겟 영상을 생성하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
If the specific object is a predetermined person,
Wherein the image processing unit sets a cutting area of a predetermined size up, down, left, and right with respect to the person, and cuts the entire image by the cutting area to generate the target image.
상기 인물의 시선이 왼쪽을 향하는 경우,
상기 영상 처리부는 상기 타겟 영상에서 상기 인물의 왼쪽 배경이 상기 인물의 오른쪽 배경보다 더 많이 포함되도록 상기 전체 영상을 커팅하는 것을 특징으로 하는 영상 처리 장치.6. The method of claim 5,
When the line of sight of the person faces to the left,
Wherein the image processing unit cuts the entire image so that the background of the left side of the person is more than the background of the right side of the person in the target image.
상기 인물의 시선이 오른쪽을 향하는 경우,
상기 영상 처리부는 상기 타겟 영상에서 상기 인물의 오른쪽 배경이 상기 인물의 왼쪽 배경보다 더 많이 포함되도록 상기 전체 영상을 커팅하는 것을 특징으로 하는 영상 처리 장치.6. The method of claim 5,
When the line of sight of the person faces to the right,
Wherein the image processing unit cuts the entire image so that the background of the right side of the person is more than the background of the left side of the person in the target image.
상기 영상 처리부는 상기 인물이 이동하고, 상기 인물의 이동 거리가 기설정된 범위를 벗어나는 경우, 상기 커팅 영역을 변경하는 것을 특징으로 하는 영상 처리 장치.6. The method of claim 5,
Wherein the image processing unit changes the cutting area when the person moves and the moving distance of the person is out of a predetermined range.
상기 영상 수신부는 상기 촬영된 영상을 촬영과 동시에 실시간으로 수신하고, 상기 영상 처리부는 수신된 영상을 실시간으로 처리하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein the image receiving unit receives the photographed image at the same time as the photographed image, and the image processing unit processes the received image in real time.
상기 영상 처리부에서 수행되는 영상 커팅 조건에 대한 사용자 입력을 수신하는 사용자 입력부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Further comprising a user input unit for receiving a user input for an image cutting condition performed by the image processing unit.
상기 사용자 입력부는 상기 특정 객체를 선택하는 신호를 수신하는 것을 특징으로 하는 영상 처리 장치.11. The method of claim 10,
Wherein the user input unit receives a signal for selecting the specific object.
상기 사용자 입력부는 상기 특정 객체에 대응하여 커팅될 커팅 영역을 선택하는 신호를 수신하는 것을 특징으로 하는 영상 처리 장치.11. The method of claim 10,
Wherein the user input unit receives a signal for selecting a cutting area to be cut corresponding to the specific object.
상기 영상 수신부는 촬영된 둘 이상의 영상을 수신하고,
상기 영상 처리부는 상기 둘 이상의 영상을 합성하고, 상기 합성된 영상 중 일부를 커팅하여 타겟 영상을 생성하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
The image receiving unit receives two or more photographed images,
Wherein the image processing unit synthesizes the two or more images, and cuts a part of the synthesized image to generate a target image.
촬영된 영상을 수신하는 단계와;
하나의 프레임에 대응하는 전체 영상에서 상기 전체 영상에 포함되어 있는 특정 객체를 파악하고, 상기 특정 객체에 대응하여 상기 전체 영상 중 일부를 커팅하여 타겟 영상을 생성하는 단계와;
상기 타겟 영상을 외부로 전송하는 단계를 포함하고,
제1 특정 객체가 상기 전체 영상의 상단에 위치하는 칠판이고, 제2 특정 객체가 인물인 경우,
상기 타겟 영상을 생성하는 단계는 상기 전체 영상에서 상기 칠판에 대응되는 기설정된 개수의 열 픽셀을 커팅하고, 상기 인물을 중심으로 기설정된 개수의 행 픽셀을 커팅하는 것을 특징으로 하는 영상 처리 방법.In the image processing method,
Receiving a photographed image;
Recognizing a specific object included in the entire image in a whole image corresponding to one frame and cutting a part of the entire image corresponding to the specific object to generate a target image;
And transmitting the target image to the outside,
If the first specific object is the blackboard located at the top of the entire image and the second specific object is the character,
Wherein the step of generating the target image cuts a predetermined number of column pixels corresponding to the blackboard in the entire image and cuts a predetermined number of row pixels around the person.
상기 특정 객체가 상기 전체 영상의 상단에 위치하는 칠판인 경우,
상기 타겟 영상을 생성하는 단계는 상기 전체 영상에서 상기 칠판에 대응되는 기설정된 개수의 열 픽셀을 커팅하는 것을 특징으로 하는 영상 처리 방법.15. The method of claim 14,
If the specific object is a blackboard located at the top of the entire image,
Wherein the step of generating the target image cuts a predetermined number of column pixels corresponding to the blackboard in the entire image.
제1 특정 객체가 상기 전체 영상의 상단에 위치하는 칠판이고, 제2 특정 객체가 인물인 경우,
상기 타겟 영상을 생성하는 단계는 상기 전체 영상을 적어도 두 개의 세로 영역으로 분할하고, 상기 세로 영역에 대응하는 커팅 영역을 설정하는 단계와;
상기 인물이 상기 세로 영역 중 어느 하나에 포함되면, 상기 인물이 포함된 세로 영역에 대응하는 커팅 영역을 커팅하여 타겟 영상을 생성하는 것을 특징으로 하는 영상 처리 방법.15. The method of claim 14,
If the first specific object is the blackboard located at the top of the entire image and the second specific object is the character,
Wherein the generating of the target image comprises: dividing the entire image into at least two vertical regions and setting a cutting region corresponding to the vertical regions;
Wherein the target image is generated by cutting a cutting area corresponding to a longitudinal region including the person if the person is included in any one of the longitudinal regions.
상기 특정 객체가 소정의 인물인 경우,
상기 타겟 영상을 생성하는 단계는 상기 인물을 중심으로 상하좌우 기설정된 크기의 커팅 영역을 설정하고, 상기 커팅 영역만큼 상기 전체 영상을 커팅하는 것을 특징으로 하는 영상 처리 방법.16. The method of claim 15,
If the specific object is a predetermined person,
Wherein the step of generating the target image sets a cutting area having a predetermined size in the up, down, left, and right directions around the person, and cuts the entire image by the cutting area.
상기 인물의 시선이 오른쪽을 향하는 경우,
상기 타겟 영상을 생성하는 단계는 상기 타겟 영상에서 상기 인물의 오른쪽 배경이 상기 인물의 왼쪽 배경보다 더 많이 포함되도록 상기 전체 영상을 커팅하는 것을 특징으로 하는 영상 처리 방법.19. The method of claim 18,
When the line of sight of the person faces to the right,
Wherein the step of generating the target image cuts the entire image so that the background of the right side of the person is more than the background of the left side of the person in the target image.
상기 인물의 시선이 왼쪽을 향하는 경우,
상기 타겟 영상을 생성하는 단계는 상기 타겟 영상에서 상기 인물의 왼쪽 배경이 상기 인물의 오른쪽 배경보다 더 많이 포함되도록 상기 전체 영상을 커팅하는 것을 특징으로 하는 영상 처리 방법.19. The method of claim 18,
When the line of sight of the person faces to the left,
Wherein the step of generating the target image cuts the entire image so that the background of the left side of the figure in the target image is more than the background of the right side of the figure.
상기 타겟 영상을 생성하는 단계는 상기 인물이 이동하고, 상기 인물의 이동 거리가 기설정된 범위를 벗어나는 경우, 상기 커팅 영역을 변경하여 상기 전체 영상을 커팅하는 것을 특징으로 하는 영상 처리 방법.19. The method of claim 18,
Wherein the step of generating the target image comprises cutting the entire image by changing the cutting area when the person moves and the moving distance of the person is out of a predetermined range.
상기 타겟 영상을 생성하기 위하여 상기 특정 객체를 선택하는 신호를 수신하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.15. The method of claim 14,
Further comprising receiving a signal for selecting the specific object to generate the target image.
상기 특정 객체에 대응하여 커팅될 커팅 영역을 선택하는 신호를 수신하는 것을 특징으로 하는 영상 처리 방법.15. The method of claim 14,
And a signal for selecting a cutting area to be cut corresponding to the specific object is received.
상기 영상을 수신하는 단계는 촬영된 둘 이상의 영상을 수신하고,
상기 타겟 영상을 생성하는 단계는 상기 둘 이상의 영상을 합성하고, 상기 합성된 영상 중 일부를 커팅하는 것을 특징으로 하는 영상 처리 방법.15. The method of claim 14,
Wherein the receiving the image comprises receiving two or more captured images,
Wherein the generating of the target image comprises combining the at least two images, and cutting a part of the synthesized image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140193386A KR101686143B1 (en) | 2014-12-30 | 2014-12-30 | Image processing apparatus and image processing method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140193386A KR101686143B1 (en) | 2014-12-30 | 2014-12-30 | Image processing apparatus and image processing method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160082291A KR20160082291A (en) | 2016-07-08 |
| KR101686143B1 true KR101686143B1 (en) | 2016-12-13 |
Family
ID=56504236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140193386A KR101686143B1 (en) | 2014-12-30 | 2014-12-30 | Image processing apparatus and image processing method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101686143B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101908954B1 (en) * | 2017-02-27 | 2018-10-17 | (주)진명아이앤씨 | An apparatus for performing cut-out through real-time automatic tracking of the region of interest in videos and the method thereof |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101881292B1 (en) * | 2017-02-27 | 2018-07-24 | (주)진명아이앤씨 | A telestrator for performing stitching and cot-out in uhd videos |
| KR102029983B1 (en) * | 2018-01-23 | 2019-10-08 | 유혜인 | Device for tracking lecturer |
| KR102192558B1 (en) * | 2019-01-02 | 2020-12-17 | 충북대학교 산학협력단 | System and method for managing lecture for sharing taking notes |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006162692A (en) * | 2004-12-02 | 2006-06-22 | Hosei Univ | Automatic lecture content creating system |
| JP2006279894A (en) * | 2005-03-30 | 2006-10-12 | Casio Comput Co Ltd | Image processing apparatus, image processing method, and program |
| JP2013026978A (en) * | 2011-07-25 | 2013-02-04 | Sony Computer Entertainment Inc | Moving image capture device, information processing system, information processing device, and image data processing method |
| JP2013254302A (en) * | 2012-06-06 | 2013-12-19 | Sony Corp | Image processing device, image processing method, and program |
-
2014
- 2014-12-30 KR KR1020140193386A patent/KR101686143B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006162692A (en) * | 2004-12-02 | 2006-06-22 | Hosei Univ | Automatic lecture content creating system |
| JP2006279894A (en) * | 2005-03-30 | 2006-10-12 | Casio Comput Co Ltd | Image processing apparatus, image processing method, and program |
| JP2013026978A (en) * | 2011-07-25 | 2013-02-04 | Sony Computer Entertainment Inc | Moving image capture device, information processing system, information processing device, and image data processing method |
| JP2013254302A (en) * | 2012-06-06 | 2013-12-19 | Sony Corp | Image processing device, image processing method, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101908954B1 (en) * | 2017-02-27 | 2018-10-17 | (주)진명아이앤씨 | An apparatus for performing cut-out through real-time automatic tracking of the region of interest in videos and the method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160082291A (en) | 2016-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106791485B (en) | Video switching method and device | |
| US9760987B2 (en) | Guiding method and information processing apparatus | |
| KR20180042386A (en) | Method and apparatus for playing video content from any location and any time | |
| KR101686143B1 (en) | Image processing apparatus and image processing method thereof | |
| US10074216B2 (en) | Information processing to display information based on position of the real object in the image | |
| JP6628343B2 (en) | Apparatus and related methods | |
| KR20150084586A (en) | Kiosk and system for authoring video lecture using virtual 3-dimensional avatar | |
| JP2007158680A (en) | Tracking imaging apparatus and tracking imaging system utilizing it | |
| US20040078805A1 (en) | System method and apparatus for capturing recording transmitting and displaying dynamic sessions | |
| US11657574B2 (en) | Systems and methods for providing an audio-guided virtual reality tour | |
| JP2005033570A (en) | Method and system for providing mobile body image | |
| KR100901111B1 (en) | Live-Image Providing System Using Contents of 3D Virtual Space | |
| WO2017108426A1 (en) | Method, apparatus and arrangement for summarizing and browsing video content | |
| US9832372B1 (en) | Dynamic vediotelphony systems and methods of using the same | |
| KR101554574B1 (en) | System and Method for Recording Lecture Video Using Transparent Board | |
| KR101776839B1 (en) | Portable lecture storage and broadcasting system | |
| KR101502683B1 (en) | Instructor Tracing System Using 3 Dimensional Sensing Module | |
| KR101796226B1 (en) | System for outputting multiple videos simultaneously | |
| KR101769660B1 (en) | Image processing apparatus and image processing method thereof | |
| TWI554091B (en) | Multi-function video recorder system and control method | |
| Lindeman | Tell me about antarctica: Guidelines for in situ capture and viewing of 360-degree video highlighting antarctic science | |
| TWI709337B (en) | Image-capturing system | |
| Engelbert et al. | The use and benefit of a Xbox Kinect based tracking system in a lecture recording service | |
| JP4479414B2 (en) | Video distribution system and video receiver | |
| Ciofi et al. | Very Simple and Inexpensive System for Distance Learning with the Use of Chalkboard |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |