KR20080094321A

KR20080094321A - Apparatus and method for controlling panorama shot using auto focusing function

Info

Publication number: KR20080094321A
Application number: KR1020070038596A
Authority: KR
Inventors: 최진욱; 김현수
Original assignee: 삼성전자주식회사
Priority date: 2007-04-20
Filing date: 2007-04-20
Publication date: 2008-10-23

Abstract

An apparatus and a method for controlling the photographing of panorama images are provided to allow a user to photograph the panorama images conveniently without the need to check whether respective overlapping areas of a previous image and a current image are matched to each other. A controller stores a first image, which is photographed according to a request for photographing panorama images, in an image processor. The controller extracts a part of the first image, which corresponds to a predetermined area from a right end of the first image, and then sets the extracted part of the first image as a connection region, which is to be connected to a region of a second image. The controller extracts an RGB value for the connection region of the first image and an RGB value for a region of the second image, which corresponds to the connection region of the first image. The controller calculates a difference between the extracted RGB values(314). If the difference between the RGB values is less than a reference value, an orange-color indicator is displayed through a screen(322). If the difference between the RGB values is not less than the reference value, a green-color indicator is displayed on the screen(320).

Description

APAPATUS AND METHOD FOR CONTROLLING PANORAMA SHOT USING AUTO FOCUSING FUNCTION}

도 1은 종래의 파노라마 영상을 촬영하기 위한 동작을 설명하기 위한 예시도,1 is an exemplary diagram for explaining an operation for photographing a conventional panoramic image;

도 2는 본 발명의 실시 예에 따라 파노라마 영상 촬영 제어 장치의 블록 구성도,2 is a block diagram of a panoramic image capturing control apparatus according to an embodiment of the present invention;

도 3a 및 도 3b는 본 발명의 실시 예에 따라 파노라마 영상 촬영을 제어하기 위한 과정을 나타내는 흐름도,3A and 3B are flowcharts illustrating a process for controlling panoramic image capturing according to an embodiment of the present invention;

도 4는 본 발명의 실시 예에 따라 파노라마 촬영 시 현재 촬영 화면에 이전 영상의 연결 영역과 현재 촬영 화면이 이전 영상의 연결 영역과 겹치는 영역이 일치하는지를 알리기 위한 알림 표시를 표시하는 과정을 설명하기 위한 예시도.4 is a view for explaining a process of displaying a notification display for notifying whether a connection region of a previous image and a region overlapping a connection region of a previous image match a current region on a current photographing screen according to an embodiment of the present invention; Illustrated diagram.

본 발명은 파노라마 영상 촬영을 제어하기 위한 장치 및 방법에 관한 것으로, 특히 파노라마 영상 촬영 시 자동 초점(Auto focusing) 기능을 이용하여 영상과 영상 간의 겹치는 영역에 대해 일치성 여부를 알려주기 위한 파노라마 영상 촬 영 제어 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for controlling panoramic image capturing, and in particular, panoramic image capturing for informing whether or not there is a coincidence in overlapping regions between images using an auto focusing function when capturing panoramic images. A zero control device and method.

일반적으로 파노라마 영상 촬영은 카메라와 같은 영상 촬영 장치를 상하 또는 좌우로 이동하면서 여러 장을 촬영하고, 촬영된 다수개의 영상들을 연결시켜서 하나의 영상으로 만드는 촬영 기능을 의미한다. 그러나, 이러한 파노라마 영상을 촬영할 때 사용자가 바로 이전에 촬영한 영상과 현재 촬영할 영상의 겹치는 영역이 일치하는지 직접 확인해야 하기 때문에 촬영된 다수개의 영상들이 자연스럽게 연결되지 않을 수 있다. 상기와 같은 일반적인 파노라마 영상을 촬영하기 위한 방법에 대해서 도 1의 예시도를 참조하여 살펴보도록 한다.In general, panoramic image capturing refers to a capturing function in which a plurality of images are taken while moving an image capturing apparatus such as a camera up and down or left and right, and a plurality of photographed images are connected to form a single image. However, when capturing the panorama image, the user may need to directly check whether the overlapping region of the image previously captured and the image currently being captured matches directly, so that the plurality of captured images may not be naturally connected. A method for capturing such a general panoramic image will be described with reference to the exemplary diagram of FIG. 1.

도 1은 종래의 파노라마 영상을 촬영하기 위한 과정을 설명하기 위한 예시도이다. 도 1(a)와 같은 파노라마 영상 촬영 장치의 화면에서 파노라마 영상을 촬영하기 위한 요청이 있으면 도 1(a)의 화면이 파노라마 영상 촬영을 위한 이동 방향과 촬영할 영상의 개수를 선택할 수 있는 도 1(b)의 화면으로 전환된다. 이때, 파노라마 영상 촬영 장치는 촬영된 영상이 파노라마 영상 촬영 장치로부터 입력되는 영상과 겹치는 연결 영역의 위치를 선정하고, 선정된 위치의 연결 영역이 파노라마 영상 촬영 장치의 화면에 표시되기 위한 위치를 선택한다. 예를 들어, 사용자가 카메라의 이동방향을 왼쪽에서 오른쪽으로 이동하는 방향으로 선택하고, 촬영할 영상의 개수를 3개로 선택한다고 가정한다.1 is an exemplary view for explaining a process for photographing a conventional panoramic image. When a request for capturing a panoramic image is made on a screen of a panoramic image capturing apparatus as shown in FIG. 1 (a), the screen of FIG. 1 (a) may select a moving direction for capturing a panoramic image and the number of images to be captured. The screen of b) is switched to. In this case, the panoramic image capturing apparatus selects a position of a connection region where the captured image overlaps with an image input from the panoramic image capturing apparatus, and selects a position for displaying the connection region of the selected position on the screen of the panoramic image capturing apparatus. . For example, it is assumed that the user selects a moving direction of the camera from left to right, and selects three images to be photographed.

그러면, 사용자가 도 1(c)의 화면을 파노라마 영상을 생성하기 위한 첫 번째 영상으로 촬영하면, 파노라마 영상 촬영 장치는 도 1(d)와 같이 도 1(c)의 영상 오른쪽 끝에서부터 미리 설정된 크기만큼의 영역(100)을 두 번째 영상과 겹치는 연결 영역으로 설정한다. 그리고, 두 번째 영상을 촬영하기 위한 요청에 따라 첫 번째 영상에서 미리 설정된 사이즈만큼의 연결 영역을 잘라내고, 잘라낸 연결 영역을 투명하게 처리한 후 다음 파노라마 영상 촬영을 위한 화면 왼쪽에 표시한다. 그러면, 사용자는 도 1(e)의 화면과 같이 첫 번째 촬영 영상의 연결 영역이 겹쳐서 표시된 화면에 디스플레이된 영상이 정확하게 일치되도록 한 후 두 번째 영상을 촬영한다. 이후, 파노라마 영상 촬영 장치는 사용자가 선택한 개수만큼의 영상을 모두 촬영할 때까지 상기와 같은 과정을 반복한다. 이후, 파노라마 영상 촬영이 종료되면 파노라마 촬영 장치는 촬영된 영상들을 곡면에서 평면으로 변형시키는 곡면 재투영 과정과 겹쳐진 영역들을 서로 연결하는 스티칭(Stitching) 과정, 겹쳐진 영역을 부드럽게 연결되도록 하는 블렌딩(Blending) 과정을 수행한 후 최종적으로 도 1(f)와 같은 하나의 파노라마 영상을 생성한다.Then, when the user captures the screen of FIG. 1 (c) as the first image for generating the panoramic image, the panoramic image capturing apparatus may have a preset size from the right end of the image of FIG. 1 (c) as shown in FIG. As many regions 100 are set as connection regions overlapping the second image. In response to a request for capturing the second image, the connection area of the first image is cut out as much as the preset size, and the trimmed connection area is processed transparently and displayed on the left side of the screen for the next panorama image shooting. Then, as shown in the screen of FIG. 1 (e), the user captures the second image after exactly matching the displayed image on the displayed screen by overlapping the connection area of the first captured image. Thereafter, the panoramic image capturing apparatus repeats the above process until all of the number of images selected by the user are captured. Afterwards, when the panorama image recording is finished, the panorama photographing apparatus converts the photographed images from a curved surface into a plane, a stitching process of connecting the overlapped regions with each other, and a blending process for smoothly connecting the overlapped regions. After performing the process, one panorama image is finally generated as shown in FIG.

상기와 같이 종래에는 사용자가 화면에 디스플레이된 이전 촬영 영상이 현재 화면에 디스플레이된 영상과 겹치는 연결 영역을 현재 화면에 디스플레이된 영상이 연결 영역과 겹치는 영역과 직접 일치되도록 초점을 맞추어서 영상을 촬영했어야 했다.As described above, the user should have taken the image by focusing the connection area where the previous photographed image displayed on the screen overlaps the image displayed on the current screen so that the image displayed on the current screen is directly coincident with the area overlapping the connection area. .

그러나, 이와 같이 사용자가 연결 영역과 화면에 디스플레이된 영상이 겹치는 영역을 직접 확인할 경우, 사용자가 직접 눈으로 겹치는 영역이 서로 일치하는지 확인해야 하기 때문에 이전 촬영 영상과 화면에 디스플레이된 영상을 정확하게 일치시키기 어렵다. 그리고, 이와 같이 연결 영역과 화면에 디스플레이된 영상이 겹치는 영역이 일치되지 않은 상태로 촬영된 영상들은 스티칭과 블렌딩과 같은 이미지 처리 과정을 수행하더라도 하나의 파노라마 영상을 생성하기 위해 자연스럽게 연결되지 않은 문제가 발생할 수 있다. However, if the user directly checks the overlapping area between the connection area and the image displayed on the screen, the user needs to check whether the overlapping area is directly matched with each other, so that the previous shot image and the image displayed on the screen are exactly matched. it's difficult. In addition, the images captured in the state where the connection region overlaps with the image displayed on the screen do not coincide even if the image processing process such as stitching and blending is not naturally connected to generate a panorama image. May occur.

따라서, 본 발명은 파노라마 영상 촬영 시 자동 초점 기능을 이용하여 연결 영역과 현재 촬영할 영상이 연결 영역과 겹치는 영역에 대한 일치성 여부를 알려주기 위한 파노라마 영상 촬영 제어 장치 및 방법을 제공한다.Accordingly, the present invention provides an apparatus and method for controlling a panoramic image capturing for informing whether a connection region and a region to which an image to be captured currently overlap with the connection region by using an auto focus function are captured.

상술한 바를 달성하기 위한 본 발명은 카메라를 구비하는 파노라마 영상 촬영 제어 장치에 있어서, 파노라마 영상을 촬영하기 위해 촬영된 영상과 촬영할 영상을 서로 연결하기 위한 연결 영역의 사이즈를 저장하고, 상기 촬영된 영상의 연결 영역에 대응되는 영상과 촬영할 영상의 연결 영역에 대응되는 영상이 일치함을 알리기 위한 제1 알림 표시자와 상기 촬영된 영상의 연결 영역에 대응되는 영상과 촬영할 영상의 연결 영역에 대응되는 영상이 일치하지 않음을 알리기 위한 제2 알림 표시자를 저장하는 메모리부와, 입력되는 영상에서 상기 미리 설정된 사이즈를 가지는 연결 영역을 추출하는 이미지 처리부와, 입력되는 영상을 표시하는 표시부와, 파노라마 영상 촬영 요구에 따라 영상을 촬영하고, 상기 이미지 처리부를 통해 상기 촬영된 영상에서 연결 영역을 추출하여 상기 연결 영역을 설정하고, 상기 설정된 연결 영역에 대응되는 제1 영상을 상기 표시부를 통해 디스플레이하고, 상기 제1 영상과 다음 촬영을 위해 상기 표시부에 디스플레이 되는 영상에서 상기 연결 영역에 대응되는 영역의 제2 영상이 일치하면 상기 제1 알림 표시자를 상기 표시부 를 통해 디스플레이 하는 제어부를 구비함을 특징으로 한다.According to an aspect of the present invention, there is provided a panoramic image photographing control apparatus including a camera, the size of a connection area for connecting a photographed image and a photographed image to capture a panoramic image, and storing the photographed image. A first notification indicator for notifying that the image corresponding to the connection region of the image corresponding to the connection region of the image to be photographed matches the image corresponding to the connection region of the captured image and the connection region of the image to be photographed A memory unit for storing a second notification indicator for notifying that there is a mismatch, an image processing unit for extracting a connection area having the preset size from an input image, a display unit for displaying an input image, and a panoramic image photographing request Take an image according to the image processing unit, and Extract the connection area to set the connection area, and display a first image corresponding to the set connection area through the display unit, and display the first image and the image displayed on the display unit for the next image. And a controller configured to display the first notification indicator through the display unit when the second image of the corresponding region matches.

또한, 본 발명은 자동 초점 기능을 이용하는 파노라마 영상 촬영 제어 방법에 있어서, 파노라마 영상 촬영 요구에 따라 영상을 촬영하고, 상기 촬영된 영상에서 연결 영역을 추출하여 상기 연결 영역을 설정하는 과정과, 상기 설정된 연결 영역에 대응되는 제1 영상을 디스플레이하고, 상기 제1 영상과 촬영할 영상에서 상기 연결 영역에 대응되는 영역의 제2 영상이 일치하면 상기 제1 영상과 상기 제2 영상이 일치함을 알리기 위한 제1 알림 표시자를 디스플레이 하는 과정을 구비함을 특징으로 한다.The present invention also provides a panoramic image capturing control method using an autofocus function, comprising: capturing an image according to a panoramic image capturing request, extracting a connection region from the photographed image, and setting the connection region; And displaying a first image corresponding to the connection area and notifying that the first image and the second image match when the second image of the area corresponding to the connection area matches the first image and the image to be photographed. And displaying a notification indicator.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the annexed drawings, detailed descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention will be omitted.

본 발명에서는 파노라마 영상 촬영시 자동 초점 기능을 이용하여 이전에 촬영된 영상과 현재 촬영할 영상이 연결되는 영역에 대한 일치성 여부를 알려주기 위한 파노라마 촬영 방법을 제안하도록 한다. The present invention proposes a panorama photographing method for informing whether or not there is a coincidence between a region previously connected to an image currently captured and an image to be photographed by using an auto focus function when capturing a panorama image.

그러면 이제 도 2를 참조하여 자동 초점 기능을 이용하여 파노라마 영상을 촬영하기 위한 파노라마 영상 촬영 장치의 블록 구성도에 대해서 살펴보도록 한다.Next, a block diagram of a panoramic image capturing apparatus for capturing a panoramic image using the auto focus function will now be described with reference to FIG. 2.

먼저, 이미지 처리부(230)는 촬영된 영상에서 카메라가 이동하는 방향으로부터 미리 설정된 크기 만큼의 영역을 추출하여 촬영할 영상과 연결되는 연결 영역으로 설정한다. 이후, 이미지 처리부(230)는 촬영된 영상의 연결 영역에 대응되는 영상을 잘라서 투명하게 처리한 후 메모리부(260)로 출력한다. 또한, 이미지 처리 부(230)는 다수개의 촬영된 영상들을 곡면 재투영, 스티칭, 블렌딩과 같은 이미지 처리 과정을 수행한 후 최종적으로 하나의 파노라마 영상을 생성하여 메모리부(260)로 출력한다.First, the image processor 230 extracts an area of a predetermined size from the direction in which the camera moves from the captured image and sets it as a connection area connected to the image to be photographed. Thereafter, the image processor 230 cuts the image corresponding to the connection area of the captured image, processes the image transparently, and outputs the image to the memory unit 260. In addition, the image processor 230 performs an image processing process such as curved reprojection, stitching, and blending of the plurality of captured images, and finally generates one panoramic image and outputs it to the memory unit 260.

한편, 메모리부(260)는 파노라마 영상 촬영 요청에 따라 촬영된 영상들을 저장한다. 그리고, 메모리부(260)는 촬영된 영상의 일부와 촬영할 영상의 일부를 연결하기 위한 연결 영역에 대한 사이즈를 저장한다. 또한, 메모리부(260)는 촬영된 영상에서 연결 영역에 대응되는 영상과 촬영할 영상에서 연결 영역에 대응되는 영상이 일치함을 알리는 알림 표시자의 색상인 제1 색상과 연결 영역과 촬영할 영상에서 연결 영역에 대응되는 영상이 일치하지 않음을 알리는 알림 표시자의 색상인 제2 색상을 저장한다. 그리고, 메모리부(260)는 촬영된 영상에서 연결 영역에 대응되는 영상에 대한 RGB 값과 촬영할 영상에서 연결 영역에 대응되는 영상에 대한 RGB 값의 차이 값에 따라 영상의 일치성을 판단하기 위해 미리 설정된 기준치를 저장한다. 여기서, 기준치는 미리 설정된 가변적인 값으로, 파노라마 영상을 생성할 시 촬영된 영상과 촬영할 영상의 연결이 정확하게 일치하는지 여부를 판단하기 위한 최적의 RGB 차이 값을 의미한다. 또한, 메모리부(260)는 버퍼를 구비하여 이미지 처리부(230)를 통해서 입력된 연결 영역을 임시로 저장하고, 제어부(200)의 제어 하에 표시부(250)로 출력한다. 그리고, 메모리부(260)는 이미지 처리부(230)로부터 입력된 최종적인 파노라마 영상을 저장한다.The memory unit 260 stores images photographed according to the panorama image photographing request. The memory unit 260 stores a size of a connection area for connecting a part of the captured image and a part of the image to be captured. In addition, the memory unit 260 connects the first color, which is the color of the notification indicator indicating that the image corresponding to the connection area in the captured image and the image corresponding to the connection area in the image to be captured, and the connection area in the image to be photographed. The second color, which is a color of the notification indicator for notifying that the corresponding images do not match, is stored. The memory unit 260 may predetermine the consistency of the image based on a difference value between the RGB value of the image corresponding to the connection region in the captured image and the RGB value of the image corresponding to the connection region in the captured image. Save the set reference value. Here, the reference value is a preset variable value, and means an optimal RGB difference value for determining whether the connection between the photographed image and the image to be captured is exactly matched when generating the panorama image. In addition, the memory unit 260 may include a buffer to temporarily store the connection area input through the image processor 230, and output the temporary connection area to the display unit 250 under the control of the controller 200. The memory unit 260 stores the final panoramic image input from the image processor 230.

또한, 제어부(200)는 파노라마 영상 촬영 장치의 전반적인 동작을 제어한다. 특히, 본 발명에서 제어부(200)는 키 입력부(210)를 통해서 파노라마 영상 촬영을 시작하기 위한 키 입력이 있으면, 파노라마 영상을 생성하기 위해 촬영할 영상의 개수와 카메라의 이동 방향을 선택한다. 본 발명의 실시 예에서는 사용자가 파노라마 영상을 촬영하기 위해 3개의 촬영할 영상 개수와 오른쪽에서 왼쪽으로 카메라 이동 방향을 선택한다고 가정하고 설명한다. In addition, the controller 200 controls the overall operation of the panoramic image capturing apparatus. In particular, in the present invention, if there is a key input for starting the panorama image capture through the key input unit 210, the controller 200 selects the number of images to be taken and the moving direction of the camera to generate the panorama image. In the embodiment of the present invention, it is assumed that a user selects three images to be photographed and a camera moving direction from right to left in order to capture a panorama image.

먼저, 키 입력부(210)를 통해서 파노라마 영상을 촬영하기 위한 요청이 있으면, 제어부(200)는 표시부(250)의 화면에 디스플레이된 첫 번째 영상을 촬영하여 이미지 처리부(230)로 출력한다. 이후, 제어부(200)는 이미지 처리부(230)를 통해서 첫 번째 촬영 영상의 오른쪽 끝에서부터 미리 설정된 크기 만큼의 영역을 추출하여 두 번째 촬영 영상과 연결되는 연결 영역으로 설정한다. 그리고, 제어부(200)는 이미지 처리부(230)를 통해서 첫 번째 촬영 영상에서 연결 영역에 대응되는 영상을 자른 후 투명하게 처리하고, 처리된 영상을 표시부(250)의 화면 왼쪽 끝에 표시한다. 이후, 제어부(200)는 파노라마 영상 촬영 대기 상태를 알리는 흰 색의 알림 표시자를 표시부(250)를 통해서 화면에 표시한다. 여기서, 파노라마 영상 촬영 대기 상태를 알리는 알림 표시 색상은 흰 색 이외에 다른 임의의 색상을 사용할 수 있다.First, when there is a request for capturing a panoramic image through the key input unit 210, the controller 200 captures the first image displayed on the screen of the display unit 250 and outputs the first image to the image processor 230. Thereafter, the controller 200 extracts an area corresponding to a preset size from the right end of the first captured image through the image processor 230 and sets it as a connection region connected to the second captured image. The controller 200 cuts the image corresponding to the connection area from the first captured image through the image processor 230 and processes the image transparently, and displays the processed image at the left end of the screen of the display unit 250. Subsequently, the controller 200 displays a notification indicator of a white color indicating the waiting state for taking a panoramic image on the screen through the display unit 250. Here, the notification display color for notifying the panoramic image photographing standby state may use any color other than white.

이후, 제어부(200)는 키 입력부(210)를 통해서 또 다른 영상을 촬영하기 위한 요청이 있으면, RGB(Red, Green, Blue) 추출부(240)를 통해서 첫 번째 영상의 연결 영역에 대응되는 영상에 대한 RGB 값을 추출한다. 그리고 제어부(200)는 첫 번째 영상의 연결 영역에 대응되는 영상과 현재 촬영할 영상에서 첫 번째 영상의 연결 영역이 대응되는 영역의 영상에 대한 RGB 값을 추출한다. 이후, 제어부(200) 는 추출된 각각의 RGB 값에 대한 차이 값을 산출하여 미리 설정된 기준치와 비교한다. 그리하여, 제어부(200)는 미리 설정된 시간 내에 산출된 RGB 차이 값이 기준치 미만이 되면 첫 번째 영상의 연결 영역에 대응되는 영상과 현재 촬영할 영상에서 첫 번째 영상의 연결 영역이 대응되는 영역의 영상이 정확하게 일치함을 알리기 위한 녹색의 알림 표시자를 표시부(250)를 통해서 표시한다. 또한, 미리 설정된 시간 내에 상기 RGB 차이 값이 기준치 이상이 되면 제어부(200)는 첫 번째 영상의 연결 영역에 대응되는 영상과 현재 촬영할 영상에서 첫 번째 영상의 연결 영역이 대응되는 영역의 영상이 일치하지 않음을 알리기 위한 주황색의 알림 표시자를 표시부(250)를 통해서 화면에 표시한다. 여기서, 첫 번째 영상의 연결 영역에 대응되는 영상과 현재 촬영할 영상에서 첫 번째 영상의 연결 영역이 대응되는 영역의 영상에 대한 일치성 여부를 알리기 위한 알림 표시자의 색상은 초록색 또는 주황색 이외에 다른 임의의 다른 색을 사용할 수 있다.Subsequently, if there is a request for capturing another image through the key input unit 210, the control unit 200 corresponds to the connection area of the first image through the RGB (Red, Green, Blue) extracting unit 240. Extract the RGB value for. The controller 200 extracts RGB values of the image corresponding to the connection region of the first image and the image of the region corresponding to the connection region of the first image from the image to be captured. Thereafter, the control unit 200 calculates a difference value for each extracted RGB value and compares it with a preset reference value. Thus, when the RGB difference value calculated within the preset time becomes less than the reference value, the controller 200 accurately matches the image corresponding to the connection region of the first image and the region corresponding to the connection region of the first image in the current image to be captured. A green notification indicator for indicating a match is displayed through the display unit 250. In addition, when the RGB difference value exceeds a reference value within a preset time, the controller 200 does not match the image corresponding to the connection region of the first image and the region corresponding to the connection region of the first image in the current image. An orange notification indicator for notifying is displayed on the screen through the display unit 250. Here, the color of the notification indicator for notifying whether the image corresponding to the connection region of the first image and the image of the region corresponding to the connection region of the first image in the current image to be captured is any other color other than green or orange. You can use colors.

이후, 제어부(200)는 키 입력부(210)를 통해서 현재 카메라부(220)로부터 입력되는 영상을 촬영하기 위한 키 입력이 있으면 첫 번째 촬영 영상의 연결 영역에 해당하는 영상이 겹쳐서 표시된 두 번째 영상을 촬영하여 메모리부(260)에 저장한다. 그리고, 제어부(200)는 세 번째 영상도 상기와 같은 과정을 통해서 동일하게 촬영하여 메모리부(260)에 저장한다. 이후, 제어부(200)는 이미지 처리부(230)를 통해서 3개의 촬영된 영상들을 곡면 재투영과 스티칭, 블렌딩과 같은 이미지 처리 과정을 수행하여 최종적으로 하나의 파노라마 영상을 생성한다. 이후, 제어부(200)는 생성된 파노라마 영상을 메모리부(260)에 저장한다.Subsequently, when there is a key input for capturing an image currently input from the camera unit 220 through the key input unit 210, the controller 200 displays a second image in which an image corresponding to the connection area of the first captured image is overlapped. Photographed and stored in the memory unit 260. In addition, the controller 200 captures the third image in the same manner as described above and stores the same in the memory unit 260. Thereafter, the controller 200 performs an image processing process such as curved reprojection, stitching, and blending three photographed images through the image processor 230 to finally generate one panorama image. Thereafter, the controller 200 stores the generated panorama image in the memory unit 260.

한편, 키 입력부(210)는 사용자가 누르는 키에 대응하는 키 값의 데이터를 제어부(200)로 전송한다. 특히, 본 발명에서 키 입력부(210)는 파노라마 영상 촬영을 시작하기 위한 키와 파노라마 영상을 생성하기 위한 영상의 개수 및 카메라의 이동 방향을 선택하기 위한 키, 영상을 촬영하기 위한 키를 구비할 수 있다.Meanwhile, the key input unit 210 transmits data of a key value corresponding to a key pressed by the user to the controller 200. In particular, in the present invention, the key input unit 210 may include a key for starting the panorama image, the number of images for generating the panorama image, a key for selecting a moving direction of the camera, and a key for capturing the image. have.

그리고, 카메라부(220)는 카메라 렌즈로부터 입력된 광신호를 영상으로 변환하여 이미지 처리부(230)로 출력한다.The camera unit 220 converts the optical signal input from the camera lens into an image and outputs the image to the image processor 230.

또한, RGB 추출부(240)는 촬영된 영상의 연결 영역에 대응되는 영상에 대한 RGB 값과 현재 촬영할 영상에서 연결 영역이 대응되는 영상에 대한 RGB 값을 추출한다.In addition, the RGB extractor 240 extracts an RGB value of the image corresponding to the connection region of the captured image and an RGB value of the image corresponding to the connection region from the image to be captured.

한편, 표시부(250)는 액정표시장치(Liquid Crystal Display: LCD)로 구성되고, 카메라부(220)로부터 입력되는 영상을 디스플레이 하거나, 이미지 처리부(230)를 통해서 입력된 이전 영상의 연결 영역을 미리 설정된 위치에 따라 화면에 표시한다. 그리고, 표시부(250)는 제어부(200)의 제어 하에 메모리부(260)로부터 입력된 알림 표시자를 LCD화면에 표시한다. 이때, 알림 표시자는 LCD 화면의 중앙에 위치하는 것이 가장 이상적이지만 LCD 화면의 중앙 이외에도 위치할 수 있다.Meanwhile, the display unit 250 includes a liquid crystal display (LCD), and displays an image input from the camera unit 220 or previews a connection area of a previous image input through the image processor 230. Display on the screen according to the set position. The display unit 250 displays the notification indicator input from the memory unit 260 on the LCD screen under the control of the controller 200. At this time, the notification indicator is ideally located in the center of the LCD screen, but may be located in addition to the center of the LCD screen.

그러면, 상기 도 2와 같이 구성되는 파노라마 영상 촬영 장치에서 파노라마 영상을 촬영하기 위한 과정을 도 3a 및 도 3b와 도 4를 참조하여 살펴보도록 한다.Next, a process for capturing a panoramic image in the panoramic image capturing apparatus configured as shown in FIG. 2 will be described with reference to FIGS. 3A, 3B, and 4.

먼저, 도 3a를 살펴보면, 제어부(200)는 300단계에서 대기 상태를 유지하다가 302단계로 진행하여 키 입력부(210)를 통해서 파노라마 영상 촬영을 시작하기 위한 요청이 있는지 확인하여 파노라마 영상 촬영을 시작하기 위한 요청이 있으면 304단계를 진행하고, 그렇지 않으면 300단계로 진행하여 대기 상태를 유지한다. First, referring to FIG. 3A, the control unit 200 maintains the standby state in step 300 and proceeds to step 302 to check whether there is a request to start panorama image shooting through the key input unit 210 to start panorama image shooting. If there is a request to proceed to step 304, otherwise proceeds to step 300 to maintain the standby state.

이후, 304단계에서 제어부(200)는 키 입력부(210)를 통해서 파노라마 영상을 생성하기 위해 촬영할 영상의 개수와 파노라마 촬영을 위한 카메라의 이동 방향을 선택하기 위한 키 입력이 있는지 확인하여 키 입력이 있으면 306단계를 진행하고, 그렇지 않으면 300단계로 진행하여 대기 상태를 유지한다. 이때, 도 3a 및 도 3b의 실시 예에서는 사용자가 키 입력부(210)를 통해서 카메라의 이동방향을 왼쪽에서 오른쪽으로 이동하는 방향으로 선택하고, 촬영할 영상의 개수를 3개로 선택한다고 가정하고 설명하도록 한다.Thereafter, in step 304, the control unit 200 checks whether there is a key input for selecting the number of images to be photographed and the moving direction of the camera for panorama shooting through the key input unit 210 to generate a panorama image. Proceed to step 306, otherwise proceeds to step 300 to maintain the standby state. 3A and 3B, it is assumed that the user selects the moving direction of the camera from left to right through the key input unit 210 and selects three images to be photographed. .

그러면, 제어부(200)는 306단계로 진행하여 파노라마 영상을 촬영하기 위한 요청에 따라 현재 카메라부(220)를 통해서 입력되는 영상을 촬영하고, 촬영된 첫 번째 영상을 이미지 처리부(230)에 저장한다. 그리고, 제어부(200)는 308단계로 진행하여 이미지 처리부(230)를 통해서 저장된 첫 번째 촬영 영상의 오른쪽 끝에서부터 미리 설정된 크기 만큼의 영역을 추출하여 두 번째 영상의 영역과 연결되는 연결 영역으로 설정한다. 그리고, 제어부(200)는 이미지 처리부(230)를 통해서 첫 번째 촬영 영상에서 설정된 연결 영역과 대응되는 영상을 자르고, 해당 영상을 투명하게 처리한 후 표시부(250)의 화면 왼쪽 끝에 디스플레이 한다. 이후, 제어부(200)는 310단계로 진행하여 도 4(a)와 같이 파노라마 영상 촬영 대기 상태를 알리는 흰 색의 알림 표시자를 표시부(250)를 통해서 화면에 표시한다. In operation 306, the controller 200 captures an image currently input through the camera unit 220 and stores the first image captured in the image processor 230 in response to a request for capturing the panorama image. . In operation 308, the controller 200 extracts an area corresponding to a preset size from the right end of the first captured image stored by the image processor 230 and sets it as a connection area connected to the area of the second image. . The controller 200 cuts an image corresponding to the connection region set in the first captured image through the image processor 230, processes the image transparently, and displays the left end of the screen of the display unit 250. After that, the controller 200 proceeds to step 310 and displays a white notification indicator on the screen through the display unit 250 to notify the panoramic image photographing standby state as shown in FIG. 4 (a).

그리고, 312단계로 진행한 제어부(200)는 파노라마 영상을 촬영하기 위한 요청이 있는지 확인한다. 그리하여 제어부(200)는 촬영하기 위한 요청이 있으면 314 단계로 진행하고, 그렇지 않으면 310단계로 진행하여 흰 색의 알림 표시자를 표시부(250)를 통해서 화면에 표시하는 상태를 유지한다.In operation 312, the controller 200 checks whether there is a request for capturing the panorama image. Thus, the control unit 200 proceeds to step 314 if there is a request to take a picture, otherwise proceeds to step 310 and maintains a state of displaying a white notification indicator on the screen through the display unit 250.

한편, 312단계에서 진행한 ⓐ 이후 단계에 대해서는 도 3b을 참조하여 살펴보도록 한다.On the other hand, after step ⓐ in step 312 will be described with reference to Figure 3b.

도 3b을 참조하면, 314단계에서 제어부(200)는 RGB 추출부(240)를 통해서 첫 번째 영상의 연결 영역에 대응되는 영상에 대한 RGB 값과 현재 촬영할 영상에서 첫 번째 영상의 연결 영역이 대응되는 영역의 영상에 대한 RGB 값을 추출한다. 그리고, 제어부(200)는 RGB 추출부(240)를 통해서 추출된 각각의 RGB 값에 대한 차이 값을 산출한다.Referring to FIG. 3B, in step 314, the control unit 200 corresponds to the RGB value of the image corresponding to the connection region of the first image and the connection region of the first image in the current image to be captured by the RGB extractor 240. Extract the RGB values of the image of the area. The controller 200 calculates a difference value for each RGB value extracted through the RGB extractor 240.

이후, 제어부(200)는 316단계로 진행하여 첫 번째 영상의 연결 영역에 대응되는 영상과 현재 촬영할 영상에서 첫 번째 영상의 연결 영역이 대응되는 영역의 영상에 대한 일치성 여부를 확인하기 위해 메모리부(260)에 미리 저장된 기준치와 비교한다. 그리고, 제어부(200)는 318단계로 진행하여 미리 설정된 시간 내에 산출된 RGB 값에 대한 차이 값이 기준치 미만인지 확인하여 기준치 미만이면 320단계를 진행하고, 그렇지 않으면 322단계를 진행한다. 그리하여, 제어부(200)는 도 4(c)와 같이 첫 번째 영상의 연결 영역에 대응되는 영상과 현재 촬영할 영상에서 첫 번째 영상의 연결 영역이 대응되는 영역의 영상이 일치하지 않음을 알리는 주황색의 알림 표시자를 표시부(250)를 통해서 화면에 표시한 후 324단계로 진행한다. After that, the controller 200 proceeds to step 316 to determine whether the image corresponding to the connection region of the first image matches the image of the region corresponding to the connection region of the first image in the current image to be captured. It compares with the reference value previously stored at 260. In addition, the control unit 200 proceeds to step 318 to determine whether the difference value for the RGB value calculated within the preset time is less than the reference value and proceeds to step 320 if the reference value is less than, otherwise proceeds to step 322. Thus, the controller 200 notifies that the image corresponding to the connection region of the first image and the image of the region corresponding to the connection region of the first image do not match as shown in FIG. 4 (c). After the indicator is displayed on the screen through the display unit 250, the flow proceeds to step 324.

이후, 320단계로 진행한 제어부(200)는 도 4(b)와 같이 첫 번째 영상의 연결 영역에 대응되는 영상과 현재 촬영할 영상에서 첫 번째 영상의 연결 영역이 대응되 는 영역의 영상이 일치함을 알리는 녹색의 알림 표시자를 표시부(250)를 통해서 화면에 표시한 후 324단계로 진행한다. 이를 통해서 사용자는 첫 번째 영상의 연결 영역에 대응되는 영상과 현재 촬영할 영상에서 첫 번째 영상의 연결 영역이 대응되는 영역의 영상이 정확하게 일치하는지 확인할 수 있다.After that, the controller 200 proceeds to step 320 in which the image corresponding to the connection region of the first image matches the image of the region corresponding to the connection region of the first image in the current image as shown in FIG. 4 (b). After displaying a green notification indicator to the screen through the display unit 250 to proceed to step 324. In this way, the user can check whether the image corresponding to the connection region of the first image and the image of the region corresponding to the connection region of the first image in the current image to be captured match exactly.

그리고, 320단계와 322단계에서 324단계로 진행한 제어부(200)는 첫 번째 영상의 연결 영역에 해당하는 영상과 겹쳐서 디스플레이된 두 번째 영상을 촬영하여 메모리부(260)에 저장한다. 이후, 326단계로 진행한 제어부(200)는 촬영한 영상의 개수가 파노라마 영상 촬영을 하기 위해 선택된 영상의 개수와 동일한지 확인하여 동일하면 328단계를 진행하고, 그렇지 않으면 ⓑ 이후의 308단계 ~ 328단계를 진행하여 파노라마 영상 촬영하기 위한 단계를 수행한다.In operation 320 and 322, the control unit 200 proceeds to step 324 and captures and stores the second image displayed in the memory unit 260 overlapping with the image corresponding to the connection area of the first image. Thereafter, the controller 200 proceeds to step 326 and checks whether the number of captured images is the same as the number of images selected for the panorama image shooting, and proceeds to step 328, otherwise, steps 308 to 328 after ⓑ are performed. Proceed with the step to perform a step for taking a panoramic image.

그리고, 328단계로 진행한 제어부(200)는 이미지 처리부(230)를 통해서 3개의 촬영된 영상들을 곡면 재투영과 스티칭, 블렌딩과 같은 이미지 처리 과정을 수행하여 최종적으로 하나의 파노라마 영상을 생성한 후 생성된 파노라마 영상을 메모리부(260)에 저장하고, 파노라마 영상 촬영 과정을 종료한다.In operation 328, the control unit 200 performs an image processing process such as curved reprojection, stitching, and blending three photographed images through the image processor 230 to finally generate one panorama image. The generated panorama image is stored in the memory unit 260, and the panorama image capturing process is terminated.

상기 본 발명의 실시 예에서는 왼쪽에서 오른쪽으로 이동한 파노라마 영상 촬영 장치로 예를 들어 설명하였으나 카메라의 이동 방향에 따라 연결 영역의 위치가 달라질 수 있다. 예를 들어, 카메라의 이동 방향이 오른쪽에서 왼쪽으로 이동할 경우 연결 영역은 촬영된 영상의 왼쪽에 위치하게 된다. 그리고, 카메라의 이동방향이 위에서 아래로 이동할 경우 연결 영역은 촬영된 영상의 아래쪽에 위치하게 되고, 카메라의 이동방향이 아래에서 위로 이동할 경우 연결 영역은 촬영에도 된 영 상의 위쪽에 위치하게 된다. In the above-described embodiment of the present invention, the panoramic image photographing apparatus moved from left to right is described as an example, but the position of the connection region may vary according to the moving direction of the camera. For example, when the moving direction of the camera moves from right to left, the connection area is located on the left side of the captured image. In addition, when the moving direction of the camera moves from the top to the bottom, the connection area is located at the bottom of the captured image. When the moving direction of the camera moves from the bottom to the top, the connection area is located at the top of the captured image.

또한, 상기 본 발명의 실시 예에서는 알림 표시자를 화면에 표시하여 촬영된 영상의 연결 영역에 대응되는 영상과 현재 촬영할 영상에서 촬영된 영상의 연결 영역이 대응되는 영역의 영상의 일치하는지 여부를 알려주었으나 알림 문구를 화면에 표시하거나 음성을 통해서 연결 영역의 일치성을 사용자에게 알릴 수 있다.In addition, in the embodiment of the present invention, the notification indicator is displayed on the screen to indicate whether the image corresponding to the connection region of the captured image and the connection region of the image captured in the image to be captured match the image of the corresponding region. Notification text can be displayed on the screen or the user can be informed of the correspondence of the connection area.

상술한 바와 같이 본 발명은 파노라마 영상 촬영 시 자동 초점을 이용하여 이전에 촬영한 영상과 현재 촬영할 영상이 겹치는 영역에 대한 일치성 여부에 따라 미리 설정된 색상의 알림 표시를 화면의 중앙에 표시해줌으로써 사용자가 직접 이전에 촬영된 영상과 현재 촬영할 영상이 겹치는 영역에 대한 일치성 여부를 확인할 필요 없이 보다 편리하게 파노라마 영상을 촬영할 수 있는 이점이 있다.As described above, the present invention displays a notification display of a preset color in the center of the screen according to whether or not the previously captured image and the currently captured image overlap with each other by using the auto focus when capturing the panorama image. There is an advantage that it is possible to take a panorama image more conveniently without having to check whether or not there is a coincidence in the region where the image previously photographed and the image currently being captured overlap.

Claims

In the panoramic image shooting control device having a camera,

The size of the connection area for connecting the captured image and the image to be captured to capture the panorama image is stored, and the image corresponding to the connection region of the captured image and the image corresponding to the connection region of the image to be photographed are matched. A memory unit configured to store a first notification indicator for notifying the second notification indicator for notifying that an image corresponding to the connection area of the image to be captured and an image corresponding to the connection area of the captured image do not match;

An image processor extracting a connection area having the preset size from an input image;

A display unit for displaying an input image;

Taking an image according to a panoramic image capturing request, extracting a connection region from the photographed image through the image processing unit, setting the connection region, and inputting a camera together with a first image corresponding to the set connection region; Display the image through the display unit, and if the second image of the region corresponding to the connection area is identical to the first image and the image displayed on the display unit for the next photographing, display the first notification indicator through the display unit. The panoramic image photographing control device characterized in that it comprises a control unit.

The display apparatus of claim 1, further comprising an RGB extracting unit configured to calculate RGB (Red, Green, Blue) values of the first image and RGB values of the second image,

The memory unit stores a reference value for determining the correspondence of the first image and the second image according to the respective RGB values extracted from the RGB extraction unit,

The controller calculates an RGB difference value for each of the RGB values extracted from the RGB extractor, and if the calculated RGB difference value is less than the reference value, determines that the first image and the second image match. Panoramic video shooting control device.

The method of claim 2,

And the controller determines that the first image and the second image do not coincide when the calculated RGB difference value is equal to or greater than the reference value.

The method of claim 1,

The controller may display the second notification indicator through the display unit when the second image of the region corresponding to the connection area does not match in the image displayed on the display unit for the next image. Panoramic video shooting control device.

In the panorama image shooting control method using the auto focus function,

Capturing an image according to a panoramic image capturing request, extracting a connection region from the photographed image, and setting the connection region;

Displaying a first image corresponding to the set connection area, and notifying that the first image and the second image match when the second image of the area corresponding to the connection area matches the first image and the image to be photographed; And displaying a first notification indicator for the panoramic image capturing control method.

The method of claim 5,

And displaying a second notification indicator for notifying that the first image and the second image do not match when the second image of the region corresponding to the connection region does not match in the first image and the image to be photographed. Panoramic video shooting control method characterized in that.

The method of claim 5,

The displaying of the first notification indicator may include:

Calculating RGB (Red, Green, Blue) values for the first image and RGB values for the second image, and calculating difference values between the calculated RGB values;

And if the calculated RGB difference value is less than the reference value, determining that the first image and the second image match, and displaying the first notification indicator.

The method of claim 6,

Displaying the second notification indicator,

And determining that the first image and the second image do not coincide with each other when the calculated RGB difference value is less than the reference value, and displaying the second notification indicator.